HN 日本語サマリー

← 一覧へ戻る
プログラミング

来たるべきループ

The Coming Loop (lucumr.pocoo.org)

317 pointsby ingve223 コメント

要約

Armin Ronacherは、コーディングエージェントの利用において、モデル自身の内部ループを超えた「ハーネスレベルのループ」が台頭している現象について考察しています。彼は、このループがコードの品質や理解可能性に与える影響、特に生成されるコードが過度に防御的で複雑になる傾向に懸念を示しています。一方で、コードのポーティング、パフォーマンス探索、セキュリティスキャンといった特定の分野では、このループパターンが非常に効果的であることも認めています。

全文翻訳

来るべきループ

2026年6月23日執筆

もはやClaudeにプロンプトを送ることはない。Claudeにプロンプトを送るループを実行しており、何をするべきかを見つけ出している。私の仕事はループを書くことだ。

— Boris Cherny

ここ数ヶ月、私はますます多くの人々が、単にコーディングエージェントを使用するのとは意味的に異なる何かを、コーディングエージェントの上に構築しているのを見てきました。その一部はPiの上で行われており、見るのは確かにクールです!しかし、パターンはどこでも同じです:仕事は一種のキューに入れられ、マシンがそれを拾い上げ、試行し、停止し、そして何らかのハーネスがそれが本当に終わりかどうかを決定します。

そうでない場合、ハーネスは同じセッションを継続し、別のメッセージを注入し、変更されたコンテキストで新しいセッションを開始するか、タスクを別​​のマシンに送信します。タスクは、モデル自体が通常「完了しました」と言うであろう時点を超えて生きています。

私は、このタイプのループについて、認めたくないほど考えています。

すでに、すべてのコーディングエージェントの中にエージェントループが存在します。モデルはツールを呼び出し、その結果を組み込み、別のツールを呼び出し、ファイルを読み取り、ファイルを編集し、テストを実行し、最終的に何らかの回答を生成します。そのループは、私たちが長い間非常に慣れ親しんできたものです。もう一つのループはハーネスレベルのループです:エージェントループの外側のループです。そのループも新しくはありません。私たちは初期のClaude Code時代からこのバージョンのループを行ってきましたが、そのループはエージェントエンジニアリングにおいてますます存在感を増しており、ここ数週間でTwitterの議論を支配し始めています。

まだこれを得意としていない

私の現在の状況は、私が深く気にかけているコードに関しては、この働き方で多くの成功を収めていないということです。それはかなりの量のコードです。

その一部は好みであり、一部は制御です。私はコードがどのように見えるべきかについて高い基準を設定しようと努めており、出荷するコードを理解したいと思っています。プレッシャーの下で、または別の人間との議論の中で、それをまずクランカーに説明してもらうことなく、システムの仕組みを説明できるようになりたいと思っています。今、このコードを理解したいという願望が、数年後にもまだ持つであろう願望であるかどうかは明らかに疑問です。今のところ、理解が私にとって重要であるという点を超えていません。

この願望を考えると、私が注意を払わずに書かれたコード、特にループから生成されたコードに関する経験には欠けているものがあります。現在のモデルは、防御的すぎ、複雑すぎ、推論が局所的すぎることが多いコードを生成する傾向があります。それらは強力な不変条件を回避します。それらは悪い状態を不可能にするのではなく、フォールバックを追加します。それらはコードを重複させ、悪い抽象化を発明し、不明瞭な設計をより多くの機械で覆い隠します。さらに悪いことに、私はこれまでに改善が進んでいるのをほとんど見ていません。もし何かあるとすれば、その点に関しては、むしろ逆方向に進んでいるようにさえ感じます。少なくとも私の好みでは、Claude Codeとultracodeのような現在のハンズオフハーネスは、昨年の秋に生成していたものよりも悪いコードを生成します。それは、例えばFableを搭載したClaude Codeが、問題に対して30分以上中断なく取り組むため、以前はプロセスがもっと人間中心だったからです。

さらに、モデルが局所的な失敗を観察し、局所的な防御を追加する傾向があることはよく理解されています。Karpathyはそれらが「例外を極度に恐れている」と述べました。重要な不変条件を持つシステム、特に永続化されたデータ形式やコアインフラストラクチャでは、正しい修正は「すべての不正なケースを処理する」ことではありません。正しい修正は、不正なケースを表現不可能にするか、そもそも書き込めないようにすることです。しかし、多くの手動での指示があっても、そのようなコードは自然にLLMから出てくるわけではなく、たとえコードが自然に出てきたとしても、それらはまだ不可能になったエラーを処理しようとします。

その動作を取り、ループの後ろに置くと、それを増幅する傾向があります。各イテレーションで小さな防御が追加されると、システムはより堅牢に見える一方で、徐々に理解しにくくなります。ハンズオフであるほど、そのようになります。また、このようなツールが明確なガイダンスなしにジュニアに与えられた場合、非常に悪い習慣を教え込みます。なぜなら、彼らに尋ねると、彼らは説得力を持って自分の主張を論じるからです。

ループが機能する場所

同時に、ループパターンが機能しないと偽ることは不誠実でしょう。なぜなら、それはすでにいくつかのドメインで驚くほどうまく機能しているからです。

コードのポートは、その一つです。大規模な自動ポート作業の印象的な例がすでに存在しており、BunをZigからRustに移行する作業も報告されています。私もMiniJinjaをGoにポートするのに成功しました。パフォーマンスの探索も、これが美しく機能する別のケースです。マシンは実験を試み、ベンチマークし、失敗を破棄し、検索を続けることができます。セキュリティスキャンも自然に適合しますし、ほとんどあらゆる種類の研究も同様です:システムに複雑な問題空間を探索させ、永続的なコードをコミットする必要なしに結果を報告させることです。これらの多くに共通する一つのことは、新しいコードを生成するのではなく、既存のコードを変換するか、意図的に長持ちしないコードを生成することです。それらは概念実証やアイデアを生成するか、機械的変換に近いものです。

私は、永続性の必要なしに成果物を生成するループ、または明確に検証可能な機械的変換の何らかの形式を作成するループは、ハーネスが目標を機械的に測定する一般的な能力よりも重要であると信じています。ループの多くの成功したアプリケーションでは、別のLLMをジャッジまたはオーケストレーターとして使用しています。機械的変換のケースは、バイナリテストケースで検証できますが、LLMによってジャッジすることもできます!

例えば、Claude Codeは、実行する完全な実験ワークフローを作成するのがますます上手になっています。確かに、生成されるコードはゴミですが、それはハーネスがワークフローのステップが純粋な改善または完了につながったかどうかを判断するのに適していないというよりも、モデルのせいの方が大きいです。

ハーネスは、継続するために何らかの信号を必要とするだけです。それは客観的または二値的である必要はありません、それは単に別のイテレーションを駆動するのに十分有用である必要があります。

私はすでに、私の日常の退屈な部分を取り除き、実験や測定を行い、アイデアを与えてくれるループを完全に気に入っています。

ソフトウェアは生物のように

一方で、同じルーピング手法を使用して永続的なコードを書くことは、まだ私にしっくりきません。私が使いたい比喩は、ソフトウェアを決定論的なマシンから生物へと移行させるものです。

私は、マシンを理解することを奨励する環境でソフトウェアエンジニアになりました。常に理解を深めることができるレイヤーがありました。決定論的な観測可能な動作を示さないマシンは、おそらく受け入れられましたが、一般的には最適ではないと見なされていました。ソフトウェアアーキテクチャに関しては、私はより決定論に向かってさらに推進することを望ましいと考えていました。同様に、コードを理解する能力は否定できない目標でした。実際には常に可能ではありませんでしたが、新しいエンジニアでも巧妙なアーキテクチャを通じて複雑なコードベースをナビゲートできるようにコードを書くことに誇りを持っていました。うまく設計されたシステムでは、常に不変条件がどこにあるか、どの部分が荷重支持であるか、どの変更が安全であるかを知っているエンジニアがいました。理想的には、それらすべてがよく文書化されていました。その理解が不足していた場所は、一般的に改善すべきものと見なされていました。

明らかに、その理想は常に緊張してきました。多くのソフトウェアシステム、特に非常に成功したシステムは、チームのエンジニアがそれらをきれいに保つことができた時期がありました。大規模なソフトウェアシステムは、しばしば大きすぎて、ダイナミックすぎて、外部サービスに依存しすぎて、誰かの頭に収まりません。LLMがなくても、私たちはすでに分散システムを医師のように診断しています。症状を観察し、仮説を立て、「追加のテストを注文」し、いくつかの治療法を試み、再び観察します。

しかし、LLMを使用すると、私たちはその方向にさらに、そしてより速く進んでいます。私たちはそれらをコードを書くために使用し、診断と治療のためにも使用します。すでに多くのエンジニアが、本番環境の問題が発生した後の最初のステップは、クランカーにログを読ませ、根本原因を提案し、積極的にパッチを適用することである世界に住んでいます。生成されたパッチは、しばしば別のマシンによってレビューされ、場合によっては人間の監督なしにメインにマージされることさえあります。

明らかにそれは強力であり、魅力的に聞こえることを否定できません。しかし、その考えに屈すること、特にますます人間による監視が少なくなることは、私たちがシステム全体を同じように理解しなくなるかもしれないことを受け入れることを意味します。私たちはそれを治療し、監視し、安定させますが、必ずしもそれを理解するわけではありません。

一部のソフトウェアにとっては、それで問題ないことは疑いようがありません。すべてのコード行が人間の著者権に値するわけではなく、過去にはさらに悪いコードが書かれていた可能性があります。

しかし、すべてのソフトウェアがこのように作成されることを望むでしょうか?

オプトアウトはできない

非常に不快なのは、この完全にマシン駆動の未来からオプトアウトすることがオプションではないかもしれないということです。

セキュリティは今日最も明確な例です。たとえあなたがあなたのソフトウェアを構築するためにループを使用しなくても、他の人々はあなたのソフトウェアに対してループを使用します。攻撃者は継続的にマシンを実行し、たとえ攻撃者でなくても、セキュリティ研究者が実行し、その自動化された作業の一部はほこりを巻き上げますが、実際の問題も見つけるでしょう。そして、信号とノイズの両方が、あなた自身が問題に対処するためにマシンを投入しない限り、対処することがほぼ不可能になるような量であなたのもとにやってきます。

Daniel Stenbergのcurlに関する投稿、夏の至福は、メンテナーがすでに受けているプレッシャーの良い例です。私の知る限り、AIは今日のcurlのコア開発において大きな役割を果たしていません。それにもかかわらず、メンテナーは報告に圧倒されており、そのほとんどは現在AIによって生成されたものです。

攻撃者とレポーターがループする場合、防御者は最終的に追いつくためにループする必要があるでしょう。直接パッチを書くためではないかもしれません、単にトリアージと再現するためかもしれません、そしてプレッシャーは増加するでしょう。

競争の面でも同様です。一部のチームは、生のスピードで他のチームを凌駕するでしょう。一部のプロジェクトは、少数のグループがマシンを効果的にオーケストレーションする方法を見つけたため、突然速く動くでしょう。一部のスタートアップは、かつて50人を必要としたことを5人で成し遂げるでしょう。一部の人々は文字通りあなたの製品に対してループでマシンを配置し、「他のもののようにそれを作れ」と尋ねるかもしれません。そして、もしユーザーが満足しているなら、それは本当に重要でしょうか?

すべてのソフトウェアが同じように影響を受けるわけではありません。一部のドメインは不注意を罰し、信頼と責任を要求しますが、多くのソフトウェアは生のスピード、迅速な実験、および広範なカバレッジが非常に重要である世界に生きています。

新しい依存関係の構築

私にとって最も恐ろしいのは、私たちがこれらの新しいマシンに新しい方法で依存するようになることです。ソフトウェアは常にツールに依存してきました。コンパイラにお金を払わなければならなかった時代を覚えています。これらの新しいツールは、ソフトウェアを作成することに実際のコストがかかった時代へのフラッシュバックです。しかし、もはや一度限りの支払いではなく、それは継続的な依存関係です。満たされた財布への依存だけでなく、認知的依存関係でもあります。

もしコードベースがループによって生成され、ループによってレビューされ、ループによってパッチが適用され、ループによって維持されるとしたら、同じクラスのシステムにアクセスできなくなったときに何が起こるでしょうか?一部の貿易制限が最も強力なモデルへのアクセスを奪った場合、何が起こるでしょうか?もし単にコストが耐えられなくなったらどうなるでしょうか?もしあなたとあなたのチームが、マシンを使用せずにコードを理解する最後の能力を失ったらどうなるでしょうか?

私たちは、人間が維持するのが難しいだけでなく、メンテナンスモデルの一部として機械の参加を前提とするコードベースを作成するかもしれません。これはすでに起こっています!それはどこでも起こっているわけではなく、問題と見なされている方法で起こっているわけでもないかもしれませんが、私たちはますますそれを見ています。人々はますます、自分が完全に説明できないコードをマージしています。人々は、クランカーから提供されたコンテキストでメッセージを補強または言い換えることなく、問題レポートを作成したり、チャットで議論したりする能力を失っています。あまりにも多くの人々が、要約または文脈化するためにマシンにますます依存しています。LLMの介在を通じて私と会話する人々をますます多く目にします。

繰り返しになりますが、それは間違っていないかもしれませんが、それは私たちが物事を行ってきた方法からの大きな変化です。

将来のハーネス

これがどこに向かっているのかについてはほとんど疑いの余地はありませんが、そこへ行くには、コーディングエージェントだけでなく、あらゆる場所のツールについて何かを行う必要があります。

単にループを増やすだけでは十分ではありません。変更またはオーケストレーションまたはエージェントのより良い可視化は、私たちの理解を回復しません。私たちは、人間をループに呼び戻し、ループの変更を長期的に読めるようにする巧妙な方法を見つけるか、これらのますます複雑なシステムを構成するためのより良い方法を見つける必要があります。

これはまた、Piの役割についての私の考え方が変わる場所でもあります。Piは慎重であり、その慎重さは良いと思います。私は、すべてのやり取りが、私が追跡できない変更を行う制御不能なマシンの群れに変わる未来を望んでいません。私は、ソフトウェアが自己記述するレースに勝つための努力でPiが維持不可能な混乱になることを望みませんし、Piがこのタイプのエンジニアリングを促進することも望みません。同時に、Piはハーネスであり、ハーネスは人々がこれらの新しいタイプの実験を実行する中心にあります。

コーディングタスクのためのタスクキュー、エージェントのオーケストレーション、サブエージェント、耐久性のあるセッションはますます重要になります。たとえ私たちが予約を持っており、盲目的にループを受け入れていないとしても、これらの実験を開始しなければなりません。私たちは、この未来を制限可能で生存可能にする方法を理解する必要があるため、それを行う必要があります。

ループの制御

この記事から読めるように、私はこの未来について非常に不安を感じています。恐れからではなく、これまでのこの技術での経験に基づいた慎重さからです。

ハーネスループのアイデアを採用することは、ハーネスが作業の終了を決定することを意味します。エージェントループでは、モデルは最終的に「完了」と言い、私はレビューします。それ以前でさえ、私は通常、途中で指示を出します。私は関与しており、途中で学ぶことを楽しんでいます。ハーネスが操作するループでは、私の役割が何であるかさえわかりません。完了の信号さえすべての意味を失い、単に別のマシンに伝えられ、それが判断します。私の役割はメッセンジャーに削減されます。

今日、私はそのように構築されたシステムから見るコードの多くを好まず、AI支援で構築されたソフトウェアの多くと対話することも楽しんでいません。ルーピングは強力ですが、ますます責任を取り除き、少なくとも今日では私たちに機械に屈することを強く奨励します。

しかし、私はこのルーピングの未来が私たちの未来になることに疑いの余地はありません。たとえ私が現在それを嫌っていてもです。私はすでに驚くほど小さなチームが不可能​​なスピードで構築しているのを見ており、コードベースがますます、より多くのマシンによってのみ診断できる、曖昧で混乱した生物に変わっていくのを見ています。それらのコードベースは同時に有用であり、乱雑です。

だから、質問は、私たちがループするかどうかではなく、明らかに私たちはループするでしょう。おそらく質問は、ループの未来において、どのようにして判断を放棄しないか、どのように良いエンジニアリングのルールを維持できるか、どのように責任ある人間が監督を続けられるようにできるか、どのようにして正気を保つためにコードをアーキテクトする方法を再考する必要があるか、ということです。

この記事はaiとpiでタグ付けされました。

コピーとして / 表示 markdown