HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

いつ止めるかを知る:ループを収束させる技術

Knowing When to Stop: The Art of Making a Loop Converge (a16z.com)

15 pointsby gmays4 コメント

要約

AIモデルが作業完了をどのように判断するかという問題に対し、人間がテストや承認、締め切りなどの外部信号に頼るのと同様に、AIシステムも「完了」の定義を外部システムに依存する必要があると論じています。ループエンジニアリングでは、AI自身が試行錯誤を繰り返すサイクルを設計しますが、その成功は検証プロセス、変更の局所性、そして明確な停止条件にかかっています。

全文翻訳

いつ止まるかを知る:ループを収束させる技術

AIモデルは、いつ作業が終わったかを知ることができるのでしょうか?

それは、人間はいつ自分の仕事が終わったかを知るのでしょうか?

プログラマーは、テストがグリーンになるのを待つか、チームからのPRレビューを待ちます。デザイナーは構図を調整し、一旦離れてから戻ってきて、残りの不完全さはもはや重要ではないと判断します。作家は、文章が客観的に最終的な状態に達したからではなく、締め切りが来たか、あるいは編集者が受け入れたから、ドラフトを提出します。

「完了」は、仕事そのものの特性であることは稀です。それは、仕事を取り巻くシステムによって生み出される判断です。 人間は「完了」のための普遍的な検出器を持っていません。私たちは、テスト、仕様、先例、承認、締め切り、リスク、そして収穫逓減点を見つけるといった、さまざまな信号に依存しています。それぞれの場合において、完了は仕事そのものの外部からやってきます。

永遠に続けられるモデル

AIモデルは、ほぼ常に別の答えを生成できます。

段落をもう一度修正できます。別の実装を試すことができます。より詳細に、異なる照明で、より強力な構図で、別の画像を生成できます。それは作業に疲れることはありません。私たちがそれに気づく方法を与えない限り、最後の3回の修正で結果が異なったものの、必ずしも良くはならなかったことに気づきません。

これが、最近のループエンジニアリングという考え方が非常に魅力的である理由の一部です。人間がモデルにプロンプトを与え、結果を検査し、何が悪かったかを説明し、再びプロンプトを与えるのではなく、システムにサイクル全体を自分で実行するように依頼できます。人はもはや各ターンの内側に座っている必要がなくなります。エージェントは作業を発見し、それをモデルに渡し、結果をチェックし、次に何が起こるべきかを決定します。

[画像: @steipete の X アバター]

Peter Steinberger 🦞 @steipete

コーディングエージェントにプロンプトを与えるのはもうやめるべきだという、毎月のリマインダーです。

エージェントにプロンプトを与えるループを設計すべきです。

  • 午後6時58分 · 2026年6月7日

  • 8.5M

  • 1,796

  • 1,414

  • 19,839

しかし、ループを書く際のニュアンスは、ループは各ステップの検証者(verifier)と同じくらいしか良くならないということです。ループエンジニアリングについて話し始める前から、すべてはすでにループとして実行されていました。ただ、非常に高価なツールコール(人間の手によるプロンプトと検証者としての役割)を介していましたが。人間をループから外すとき、各ステップで何を検証すべきかを設計することが、ループの状態を進歩させる鍵となります。そして現実は、それらを機能させることが難しいということです。

標準的なコーディングエージェントのループを例にとりましょう。テストがパスするまで作業を続けます。これはほぼ完璧に検証可能に聞こえます。しかし、テストはタスクの単なる代理にすぎません。SpecBenchでは、フロンティアエージェントは、同じ機能を一緒に実行するホールドアウトテストに失敗しながら、見えるテストを日常的にパスしました。あるエージェントは、単にテスト入力を記憶した2,900行の「コンパイラ」を生成しました。ループは収束しましたが、それは検証者に対してだけであり、ユーザーの意図に対してではありませんでした。

検証者は単なる停止条件ではありません。それは、ループが進行として扱うものを定義します。信号が不完全であれば、ループはタスクが改善するのではなく、チェックに合格することに長けるようになります。

ループエンジニアリングとは、エージェントに再試行させることではありません。それは、各サイクルで現在の状態と望ましい状態との間の距離を縮めることです。ループはまだ方向ではありません。

収束したループ

うまく機能した最初のループはコーディングループでした。これは偶然ではありません。コードは編集可能であり、実行可能でもあります。エージェントは1つの関数を変更し、プログラムを実行し、テストの失敗を読み取り、再度試すことができます。環境は、何が壊れたかについて比較的明確な信号を返します。ループは、正確なアクション方法と、進捗を測定できる検証者の両方を持っています。

私はビジュアルコード生成で同様のパターンについて書きました。SVGは単なる画像ではありません。パス、形状、テキスト、グラデーション、レイアウトを含んでいます。Blenderシーンは単なるレンダリングではありません。ジオメトリ、マテリアル、カメラ、ジョイント、制約を含んでいます。これらの表現は、エージェントが検査してローカルに変更できるものを提供します。1つの曲線が間違っていれば、パスを変更します。1つのオブジェクトが配置ミスであれば、そのオブジェクトを移動します。成果物は、最初から再生成されるのではなく、イテレーションを通じて改善できます。

しかし、編集可能性は問題の半分にすぎません。 オープンエンドな画像生成では、別のイテレーションはしばしば別のサンプルを生成し、最良のものを選ぶことを意味します。フィードバックはグローバルであり、「これはもっと悪く見える」を1つの正確な編集にマッピングするのは困難です。SVGとBlenderのループは、ターゲットが参照、ジオメトリ、制約、または関節を持つオブジェクトの機能的な動作として表現できる場合に収束します。ターゲットが単に「もっと良く、より良いセンスで、しかし人間には聞けない」という場合は苦労します。ビジュアルループは不可能ではありません。それらはしばしば検証が非常に困難です。

[画像]

完了の条件

検証者がループに方向を与えるなら、ループが収束するために必要なものは何でしょうか?

さまざまな分野のエンジニアや研究者との多くの会話に基づくと、4つの要素があると思います。

1. 目標状態

システムは、「完了」が何を意味するかの表現を必要とします。コードの場合、これはテストスイート、仕様、または一連のパフォーマンス制約かもしれません。SVGの場合、これは参照画像、寸法、色、レイアウトルールかもしれません。「もっと良くする」は目標状態ではありません。それは別のプロンプトです。

2. 観測可能な現在の状態

システムは、現在の状態を検査する必要があります。それはファイル、差分、テスト結果、トレース、DOMツリー、SVG構造、またはBlenderのシーングラフかもしれません。レンダリングされた出力だけでは不十分な場合が多いです。システムは、エラーの原因を特定できるように、基盤となる構造を見る必要もあります。

3. 変更を加えるための正確な方法

エージェントは、他のすべてを再生成することなく、エラーの原因となっている部分を変更する必要があります。1つの関数を変更することは、リポジトリ全体を書き直すことよりも優れています。1つのSVGパスを編集することは、新しい画像を生成することよりも優れています。Blenderシーンで1つのオブジェクトを調整することは、シーンを最初から再構築することよりも優れています。編集がローカルであるほど、ループはすでに機能しているものを維持する可能性が高くなります。

実際には、これが人々が正しく行うのに苦労する部分です。私が話したほぼすべての研究者が同じことを言いました。彼らのループは、適切なツール呼び出しと中間プロンプトのセットを見つけたときに機能し始めました。ループを有意義に進めるツールをどのように発見するのでしょうか?現在、誰も事前に知りません。それは主に試行錯誤です。

これは、不快な含意を示唆しています:ループはそのスタックに合わせて調整されます。 あるコードベースでループを収束させたツール呼び出しは、そのコードベースに関する仮定をエンコードしており、それらの仮定は他の場所では当てはまらなくなります。他の人にとってうまくいったループは出発点であり、保証ではありません。カスタムメイドのループは無料で汎用化しません。 そして、これが議論の両面が見られる理由です。一部の人々は、自分たちにとってうまくいく魔法のようなループを見つけましたが、他の人々は、公開されているループを使用してもまったく機能しないことを見つけました。

4. 停止ルール

システムは、停止を指示する条件を必要とします。条件はジェネレーターの外部から来るべきです。テストの合格、制約の満たし、スコアのしきい値超過、またはレビューアによる結果の承認などです。停止条件はコストも考慮する必要があります。500回の試行後に正しい答えに到達するループは、技術的には収束しても、経済的には収束しないかもしれません。

これを考える上で役立つ方法は、2つの軸で考えることです。成果物がどれだけ編集可能か、そして結果がどれだけ検証可能かです。

[画像]

コードはしばしば右上隅に位置します。編集が容易で、比較的強力な検証者を持っています。オープンエンドな画像生成はしばしば左下隅に位置します。システムは別の画像を生成できますが、特定の決定を容易に修正したり、結果がユーザーの意図に近づいていることを検証したりすることはできません。1つの重要な特性は、タスクの位置が問題の再定式化によって移動する可能性があることです。軸はタスク自体ではなく、表現を記述します。オープンエンドな画像は編集が困難ですが、同じ画像がSVGパスまたはBlenderシーンとして表現されると、編集可能になります。タスクが上に移動します。参照画像またはチェック対象の制約セットを与えると、進捗が検証可能になり、タスクが右に移動します。これはループエンジニアリングを説明する別の方法です。エージェントに再試行させるのではなく、ループが収束する象限に収まるまでタスクを再表現することです。

ループはエンジニアリングされる前に発見される

私は、ソフトウェアエンジニアリングからビジュアルおよびクリエイティブタスク、ビデオ編集まで、さまざまな分野でループエンジニアリングの何らかの形態に取り組んでいるプログラマーにインタビューしました。そして、それぞれに同じ質問をしました。ループが収束し、反復的に改善されると、どのようにしてわかったのですか?

今日の答えは、うまくいくループを発見するには多くの試行錯誤が必要だということです。それは適切なツール呼び出しを提供することかもしれません。あるいは、ループを数時間実行して、以前の数時間よりもはるかに改善されたかどうか(そして改善曲線が有望かどうか)を確認することかもしれません。それは、特定の環境で実行した特定のワークフローに深く入り込み、それを正確に再現することかもしれません。

しかし、どこでも機能するループを発見するのは困難であり、それはあたかもループ自体に人間の知識をエンコードしようとしているかのようです。自動化を試みる前に、まずループを機能させるものを深く理解するか、検証レイヤーを構築する創造的な方法を見つける必要があります。

しかし、ループを見つけることは初期費用にすぎません。ループを実行することが、開発サイクルのたびに伴う主要なコストです。

ループの経済性

したがって、試行錯誤が報われ、うまくいくループを見つけたとしましょう。この最も単純なバージョンは /goal [condition] です。条件が満たされるまで続けます。そしてループは最終的にそこに到達します。

「最終的に」が問題です。20回のイテレーションを実行しますか、それとも500回ですか?正直な答えは、ループは知らないということです。人間の開発者も、ループを開始した時点では知りません。これがループを実行する経済性を複雑にしている理由です。

私たちが知っているのは、曲線の形状です。テスト時間の計算に関するほぼすべての研究で、リターンは対数的です。品質の追加のインクリメントごとに、指数関数的に多くの試行が必要になります¹。あるWebエージェントベンチマークでは、1サンプルから10サンプルに増やしたところ、成功率が38.8%から43.2%に上昇しました。さらに倍増して20サンプルにしても、トークンを2倍にして0.2ポイントしか向上しませんでした²。そしてプラトーを超えると、限界イテレーションは負になる可能性があります。より大きな予算を与えられた推論モデルは、すでに正しかった回答を放棄し始めます。サイクルの増加は、単に役立つことをやめるだけではありません。害を及ぼし始めます³。

私は、Anthropic自身のループエンジニアリング投稿から、実際に最も人気のあるループ例の1つをテストしました。

[画像]

そして、増分トークン消費がループの実行時間が示唆するよりもはるかに効果が小さいことを発見しました。

意図的に壊れたページ(Lighthouse 35)で、Claude Codeは最初の試行でわずか0.35ドルで98をクリアしました。ループは期待通りにエンゲージしませんでした。そこで、目標を達成不可能にしました。同じページですが、スコアを約89に制限する2.2秒の人工遅延の背後で提供され、100を要求しました。

[画像]

最初の1.40ドルの消費でスコアは26から89に上昇しました。残りの2.84ドル、合計請求額の67%は、まったくポイントを購入しませんでした。HTMLの再ミニファイとLighthouseの再実行を、エージェントが変更できないボトルネックに対して繰り返すたびに、トランスクリプトが長くなるにつれて(そしてHaiku評価者が独自の0.67ドルを静かに蓄積するにつれて)、各ターンは以前よりも高価になりました。さらに悪いことに、ループのエスケープハッチは信頼性がありません。Claudeは遅延の天井を正しく診断し、約5回目の試行で目標が不可能であると宣言しましたが、評価モデルはそれを14回も跳ね返しました⁴。

教訓は、ループが機能しないということではありません。それは、ループが停止方法を知らないということです。 この実行では、すべての価値が消費の最初の3分の1で発生しましたが、ループは継続し、限界リターンしかない不可能なタスクのためにトークンを燃焼させました。

うまく停止することは、プロンプトで実現できるものではありません。インフラが必要です。コストを測定するもの、それに対して進捗を測定するもの、そして十分な情報を持ってループをオフにするものが必要です。ループエンジニアリングにはインフラスタックがあり、そのレイヤーは以下の通りです。

ループエンジニアリングのためのスタック

ループがエンジニアリングの単位になると、モデルと開発者はあらゆるレイヤーでインフラを必要とします。エージェントが動作する環境、長時間実行される状態を維持する場所、作業を検証またはループを閉じる方法、そして人間が指示するサーフェスです。各カテゴリの周りにすでにスタックが形成されています。

[画像]

推論時間 vs トレーニング時間のループ

ループエンジニアリングの問題を見るもう一つのレンズは、推論時間とトレーニング時間の観点からです。

推論時間では、ループはモデルではなく作業を変更します。エージェントはコードを書き、検証者を実行し、結果を読み取り、再度試行します。その重みは固定されたままで、システムはテスト時間計算を活用して、1つのタスク内でより良い答えを検索します。

トレーニング時間では、プロセスは、多くの軌跡を実行し、結果をスコアリングし、報酬を受けた行動がより可能性が高くなるようにモデルを更新する強化学習技術を使用するように見えます。両方のケースで同じルールが適用されます。ループはその検証者と同じくらいしか良くありません。エージェントループでは、その検証者はテストスイートかもしれません。RLでは、それは報酬信号です。時には両者は同じです。

この2つのループは最終的に互いにフィードバックし合うことができます。 推論時間の実行は、何が機能し、何が失敗し、どの修正が成功につながったかのトレースを生成します。それらのトレースは、トレーニングデータ、選好ペア、または報酬になり、モデルが以前は高価な検索を通じて発見しなければならなかった行動を学習できるようになります。しかし、すべての失敗がトレーニングで解決されるべきではありません。多くの場合、より高いレバレッジの修正は重みの外にあります。より良いツール、より明確な状態、より正確なアクションスペース、またはより強力な検証者です。

将来の含意

今日、ほとんどのエージェントインフラストラクチャとハーネスは、ループの実行を支援できます。より難しい問題は、実行する価値のあるループを見つけること、そして手元のタスクにとって収穫逓減点を見つけることです。

これらのループの実行を見てきて、2つのことが明確になったと思います。

1つ目は、経済性を明示的にする必要があるということです。 現在、私たちはかつて誰もオフにするのを忘れたクラウドインスタンスを実行していた方法でループを実行しています。エージェントはトークンごとに請求され、トークンはスコアを動かしても、9回目のHTML再ミニファイでも同じコストがかかります。私のLighthouseの実行では、費用の3分の2は何も購入しませんでしたが、ループも私も、後でトレースを読むまでそれを知りませんでした。欠けているピースは、退屈ですが必要なものです。イテレーションごとのコスト、1ドルあたりの進捗、ループがまだ実行中に誰かが見ることができる曲線です。

2つ目は、すでに収束しているループの場合、興味深いインフラ作業がループの外に移動したということです。 ループ自体はwhile文であり、それを収束させるすべてのものはその周りにあります。エージェントが動作する環境、長い実行を生き残る状態、何がカウントされるかを決定する検証者、人間が介入するサーフェスです。私がこれまでに見たすべてのうまく機能するループは、このようなスタックを構築するために必要であり、スタックこそが差別化が実際に行われる場所です。

では、AIモデルはいつ自分の仕事が終わったかを知るのでしょうか?今のところ、それは知りません。予算が尽きるか、私たちが設計したチェックが十分だと判断するまで停止します。そして、それらの両方を構築する必要があります。重要なシステムは、継続し続けることができるシステムではありません。それらはすべて可能です。それらは、その構築者が、完了にいくらかかり、完了が何を意味するかを、正確かつ事前に決定したシステムになるでしょう。

ループエンジニアリングの問題に取り組んでいる、この分野で研究している、またはこの分野がどのように進化するかについて考えがある場合は、yli@a16z.comまでご連絡ください。