HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

オートリサーチ、Claude、および制約付き最適化

Autoresearch, Claude and Constrained Optimization (elliotcsmith.com)

24 pointsby gmays4 コメント

要約

この記事では、AIエージェントに大規模なタスクをほとんど監視なしで実行させる方法について、筆者の実験的アプローチを説明しています。ファイル圧縮という単純な問題を選び、ファイルサイズ最小化を目標とし、圧縮・解凍時間の上限と、解凍後のファイルが元のファイルと完全に一致することという制約を設定しました。Claude Codeを用いた10回の反復実験により、AIがカスタムLZSS実装を改良し、性能を向上させることが示されました。

全文翻訳

Autoresearch、Claude、そして制約付き最適化

はじめに

AIが数十人分の仕事をこなしているという主張は、あちこちで見られます。私は証拠なしに改善を謳う主張には懐疑的になる傾向があります。そこで、その懐疑心を実証に活かすことにしました。これは、X(旧Twitter)での「ループ」に関する議論とわずかに重なる部分がありますが、それは偶然です。

ここ数週間、Kaparthay氏の「Autoresearch」のテーマに沿ったプロジェクトをまとめてきました。伝統的な機械学習や数値最適化の問題ではなく、成功の客観的な尺度がある問題を選びたかったのです。

このような問題を選んだのは、私が関わってきたプロジェクトや製品の多くがそのように構造化されているからです。変更したいメトリック(増減)があり、理想的にはそれを測定する方法があります。おそらく、いくつかの制約もあります。例えば、この機能ではページのロード時間を500ミリ秒以上にすることはできません。

未知の状態から成功への道筋が、機械学習のような明確な勾配最適化であるような問題に取り組んだ経験はまだありません。むしろ、ある作業を完了し、「実世界」でテストし、そのパフォーマンスを見て、次のステップについて決定を下すことが多いです。すべての変更が良い結果をもたらすわけではなく、局所的に最適化された結果に至る道に深く迷い込むのは簡単です。

この実験では、AIエージェントに、ほとんど監視なしでより大きな作業をどのように依頼できるかについての直感を得たかったのです。この結果を達成しようとする他のメカニズム、例えばRalph Loopsや、現在Claude Codeにある/goalコマンドなどはすでに存在します。このセットアップの違いは、成功の主要な尺度として定量化可能な数値を選択し、パス/フェイルの制約で問題を限定することでした。

物事を複雑にしすぎたくなかったので、ファイル圧縮の問題を選びました。目的と制約がシンプルだったからです。圧縮アルゴリズムは、最終的なファイルサイズが小さいほど優れています。問題に2つの制約を追加しました。1つは、非圧縮ファイルが完全に一致する必要があること、もう1つは、圧縮または解凍が300秒を超えることはできないことです。意図的に速度を最適化していたわけではありませんが、時間を制限し、タイムアウトが無限ループを捕捉できることを知って、プロセスがほとんど監視なしで実行できるようにしたかったのです。

ファイル圧縮の良い点は、最終的なベンチマークに使用できる既存のツールがたくさんあることです。これは小規模な概念実証だったので、新しい最先端のアルゴリズムを作成するつもりはありませんでした。

それにもかかわらず、この自家製のバージョンが既存のツールに対してどの程度うまく機能したかを知ることは、ライブラリや既製のソリューションからどの程度離れることができるかについてのデータポイントにもなります。エージェントが外部依存関係によって以前に解決された問題を迅速かつ確実に解決できる場合、内部ソリューションの価値が、サプライチェーン攻撃などのリスクを上回る時点があるはずです。これは単一の実験で解決できるものではありませんが、これをさらに検討する価値があるかどうかを判断するのに役立つでしょう。

方法論

問題設定

まず、ここでの目標は、このアプローチが実行可能かどうかを確認することであり、特定のモデルをベンチマークすることではないことを思い出してください。

次に、始める前に、このプロジェクトのすべてのコードはここで入手できます: https://github.com/smitec/agent-compression

この作業では、Sonnet 4.6のデフォルト設定でClaude Codeを使用しました。異なるモデルなら異なることをしただろうと確信していますが、それはまた別の日の演習です。

エージェントが関与する前に、プロジェクトの基本的な構造をセットアップしました。Rustを選んだのは、「関数シグネチャを変更しない」といった暗黙の制約が型システムによって容易に強制できたためです。圧縮関数と解凍関数のスタブを作成しましたが、これらはバイトをコピーするだけでした。これは「機能」しましたが、データに対して圧縮を全く提供しませんでした。

次に、文字列と単純なファイルの両方で圧縮・解凍のラウンドトリップをテストするための、基本的な単体テストをいくつか配置しました。これらのテストは網羅的ではありませんでしたが、compressおよびdecompress関数がビット単位で完璧なラウンドトリップを維持するという目標に準拠していることを検証しました。

そこから、ベンチマークスクリプトを作成しました。このスクリプトは、ビデオ、オーディオ、テキストの公開ドメインファイルサンプルを取得し、さまざまなサイズのランダムデータで満たされたファイルも作成しました。これらのファイルの多くは、すでにいくらか圧縮されている形式でしたので、より非圧縮に近い形式に変換するステップを追加しました。これにより、全体的な圧縮ベンチマークと並行して、ファイルごとの良いベンチマークが得られます。

このサンプルセットがあったことで、高エントロピーと低エントロピーのファイル形式の混合が存在しました。良い圧縮アルゴリズムは、低エントロピー形式を縮小し、高エントロピー形式はほとんど変更しません。フォーマット固有のバイトによりファイルサイズに若干の変更が生じる可能性がありますが、全体としてファイルサイズが大幅に増加しないことを望みます。

サンプルセットの最大のファイルは約150MBでした。圧縮はさらに大きなファイルでより意味がある可能性が高いですが、特に後半のステップでは非常に遅いテストループにつながるでしょう。

ベンチマークスクリプトは各ファイルをループし、個別に圧縮してから解凍しました。スクリプトは、解凍されたファイルが元のファイルとビット単位で一致するかどうかを確認し、サイズの変化と圧縮および解凍にかかった時間を記録しました。各ファイルのステップには300秒のタイムアウトが適用されました。これは主に偶発的な無限ループをチェックするためです。

スクリプトはdebug.csvファイルを生成し、ファイルごとの変更を概説し、改善があった場合は主要なメトリックをresults.csvファイルに書き込みました。注目すべき点として、複合圧縮メトリックは(合計圧縮バイト) / (合計オリジナルバイト)でした。サンプルセット全体の平均圧縮率を取ることも検討しました。この選択の違いと影響については、後で詳しく説明します。

これらすべてがセットアップされた後、スタブ実装のベンチマークを実行し、実験の準備ができたと考えました。

イテレーション

比較的よく制御された状態を保つために、各イテレーションの前にClaudeのコンテキストをクリアし、「現在のコードベースを確認し、改善の別のイテレーションを試してください」というプロンプトでモデルに指示しました。Claude Codeはデフォルトでプランモードに設定されているため、プランが完了するのを待ち、簡単なレビュー後にプランを受け入れて、エージェントが単独で実行できるようにしました。

この実験では、エージェントが完全に自律的な選択を行えるように、意図的にプランを変更しませんでした。介入が有用だったと思われることが何度かありましたが、それは学んだ教訓です。

10回のイテレーションを実行し、その後、いくつかの一般的な圧縮ツールに対する拡張ベンチマークと、データ固有の最適化を制御するための新しいデータセットに対するベンチマークを実行しました。これらのイテレーションは、約2週間にわたって実行され、通常は他のことをしている間に開始して実行させていました。この長い期間は、トライアルのデザイン上の特徴ではなく、主に他の作業中にClaude Codeの制限を使い果たさないようにするためでした。

結果

イテレーション

最初のイテレーション中に、エージェントはカスタムLZSS実装を生成しました。これは比較的標準的でよく知られた圧縮方法です。次の9回のイテレーションは、この方法の拡張であり、新しいエントロピーチェックとエンコーディング技術を追加してエントロピーを削除しようとしました。

各ループは、かかった時間と使用されたトークンが大きく異なりました。Claude Codeの/usageコマンドに基づくと、平均して1回のイテレーションのコストは約4ドルでした。これもデフォルト設定での話であり、モデルによって大きく変動するため、価格についてはあまり深く考えていません。

興味深いことに、モデルは1回のイテレーションで一度に1セット以上の変更を行うことはありませんでした。仮説を立て、コードを追加し、ベンチマークを実行し、それを「完了」としました。これは、/goalコマンドを使用しないプロンプト設定によるものかもしれません。

以下の結果は、モデルが圧縮率の改善を継続できたことを示しています。「圧縮可能」比率に特に注目すると、タスクの緩さを考えると、私の意見ではかなり印象的な結果でした。

[画像]

ベンチマーク

最終結果を評価するために、同じデータセットでいくつかの圧縮ツールを実行しました。これらのツールは、偶然にもすでにインストールされていたため選択されました。これはベンチマークを選択するための最も堅牢な方法ではありませんが、一般的なツールとの比較を反映しています。

全体として、カスタムアルゴリズムはかなりうまく機能しました。オーディオおよびビデオ圧縮に優れ、他のカテゴリではわずかに劣るか同等でした。オーディオおよびビデオのスコアが低いのは、最適化に使用されたメトリックを考えると驚くことではありません。これらのファイルタイプは圧縮されたバイトの大部分を占めていたため、複合スコアはそこで得た勝利によって大きく動かされました。

[画像]

このプロジェクトの目標に戻ると、これは画期的な圧縮アルゴリズムを見つけるための探求ではなく、エージェントにソフトウェアの最適化を依頼することについての直感を開発することでした。

学び

まとめとして、そしてこの投稿が長すぎる場合にスキップする人のために、このプロジェクトからのいくつかのハイレベルなテイクアウェイを以下に示します。全体として、堅牢で測定可能で、よく制約されたメトリックを見つけることができれば、このオートリサーチ/ループスタイルの作業は理にかなっていると思います。それらを見つけるのはしばしば難しいです。

モデルは「完了」を目指して競う

セットアップを見たりレビューしたりしている間に感じた全体的な印象は、できるだけ早く「完了」したかったということです。これに基づいて、実際のバージョンでは、明示的なループメカニズムを設定することが重要だと思います。

目的関数の選択が鍵

もう一つの観察は、300秒の時間パラメータは、おそらく緩すぎる制約だったということです。変更のダウンサイドを制限するには役立ちましたが、モデルは圧縮のみを最適化していました。最近、Mitchell HashimotoがこのXスレッドで捉えた現象です。

フレームタイムを最小化する(そして測定するためのテストがある)という目標でレンダラーを最適化するエージェントをループさせている。フレームタイムは88msから2msに、アロケーションは〜150Kから500に削減された。良いことのように聞こえるだろう? 間違いだ。これがエージェント精神病が大きな問題である理由だ。

As…

— Mitchell Hashimoto (@mitchellh) 2026年5月28日

この手法の実際のアプリケーションでは、より複雑な「スコア」を最適化するか、後で速度の最適化に切り替える必要があるでしょう。コードの長さ、メモリ使用量などの他の二次メトリックについても同様です。

[画像]

これは新しい問題ではなく、エージェントベースのコーディングに固有の問題でもありません。「成功」と「完了」の尺度を選択することは、エンジニアリング組織において長い間課題でした。現実的に、どのようなメトリックまたはメトリックの組み合わせにもトレードオフが伴います。おそらく、その事実に慣れ、時間の経過とともにニーズが変わるにつれて焦点をシフトする準備をする必要があります。

最近、PostHogがこの分野で新しいPostHog Code製品で作業しているのを見ました。ユーザーが製品分析をコーディングエージェントのコンテキストに持ち込み、意思決定をより良くガイドできるようにします。まだテストしていませんが、正しい方向のように感じます。

実世界の目的は測定が難しいことが多い

メトリックについて議論する際に、この手法が「実世界」でどのように異なるかを検討する価値があります。圧縮ツールは非常に高速なフィードバックループを持っています。ファイルを圧縮し、解凍し、結果を比較できます。この変更がより広範なもので、「チェックアウトコンバージョン率を改善する」といったものであれば、サンプルを収集するのにさらに時間がかかり、データのノイズにさらに影響を受けやすくなります。

ここでの1つの解決策は、コンバージョン率を改善するという希望/仮説を持ってプロキシメトリックを最適化することです。それは、「ページロード速度を改善する」や「チェックアウトに必要なクリック数を減らす」といったものかもしれません。これは確かに簡単に反復処理できますが、最終的な目標とわずかに関連しているだけのプロキシメトリックを過度に最適化するリスクがあります。より複雑なものと完全に線形相関するプロキシメトリックを見つけるのは困難です。

限界

ここにいくつかの非常に簡単な限界の認識があります:

  • モデルの選択、これらの結果はどのくらい有効か。モデルは常に変化しています(Sonnet 5が今日リリースされました)。現実的に、今日この同じトライアルの結果はかなり異なるでしょう。
  • コスト、これは理にかなっていますか? Claudeの推定によると、各ループのトークンコストは約4ドルでした。「実際の」製品で行うにはROIが必要です。40ドル(10ループ)は高いハードルではありませんが、コードベースのすべての変更に対してこのようなループを実行するのはコストがかかる可能性があります。
  • 単一マシン、単一スレッドの結果。圧縮ベンチマークはCPUによって大きく異なります。これらはすべてM2 Macbook Proで行われましたが、他のシナリオでは結果が異なっただろうと確信しています。
  • 最適化関数の選択。これは最も重要なもので、上記で数回概説しましたが、もし私がaverage(compressed / raw)やmedianのようなものを選んだら、より良い結果への道は非常に異なって見えたでしょう。私は過去にひどいメトリックの選択を避ける方法について多く書いてきましたが、これは人間だけでなくエージェントにも当てはまります。