HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

知識のチップカッター:エージェントによるコーディングの物語

The Knowledge Chipper: An Agentic Coding Story (jg.gg)

9 pointsby jgbbrd1 コメント

要約

AIエージェントがコード変更を行う際、問題解決のために大量の知識(ファイルスキャン、APIドキュメント検索など)を構築しますが、その知識の多くはセッション終了とともに失われてしまいます。これは、開発者が詳細なメンタルモデルを構築しても、その知識が消えてしまうのと似ています。この知識の喪失は、コードレビューの困難さ、チーム間のコンテキスト共有の非効率性、そしてLLMのポータビリティの重要性を浮き彫りにしています。

全文翻訳

Jackson Gabbard's Blog

[画像: 開発者がコードを読み、詳細なメンタルモデルを構築する様子]

日々の開発作業で、私が設定した問題に対してエージェントが信じられないほどの知識を蓄積する必要があることに気づきます。エージェントはファイルをスキャンし、APIドキュメントを検索し、実際のコード変更に使われるごくわずかな最終トークンを出力するために十分なコンテキストを得るために多くの作業を行います。これは、開発者が多くのコードを読み、システムの動作に関する非常に詳細なメンタルモデルを構築し、その後必要なファイルだけを編集するのと似ています。そして、その知識の(ほぼ)すべてが…失われてしまいます。

私がここで書いていること(特にミーム)は、このカートゥーンストリップに触発されています。今日の世界との違いは、プログラマーが中断されるというよりも、LLMが行った作業の大部分が、実質的にすべて失われてしまうことです。確かに、賢いプログラマーはしばしばLLMにコミットメッセージを書かせます。それは良いことです。そして、はい…自分のマシンでセッションを再開することもできます。しかし、これはLLMが構築した状態の完全性を捉えることからはまだ程遠いです。そして、その作業が中断されたところから再開したい場合、それは制度的な知識、セッションの再開可能性、そして効率性において巨大な損失となります。

私は最近、The Session You Cannot Take With You(HNでの議論はこちら)を読み、それが私の心に強く残りました。これを読む前は、仕事を進める上でプロプライエタリなAIツールが関与することに特に反対していませんでした。しかし、この文章は、エージェントがブラックボックスであることの実際的な弊害をよく表しています。

真剣に考えてみてください。たとえば、あるチームメイトがCodexを好み、別のチームメイトがClaudeを使用しているという単純な状況です。一方のLLMが豊かなロジックの画像構築に懸命に取り組みます。次に、別のLLMが同じコードに取り組む必要があり…完全にゼロから始めます。この方法で無駄にされているトークンの数は数百万と見積もることができます。

「LLMポータビリティ」という概念全体は、正直に言って、少し高尚に聞こえました。モノモルフィズムのように。あるいはグルテン不耐症のように。しかし、偶然にも、今週初めにドバイ在住の技術系の友人と電話で話していました。彼はAWSのバーレーンデータセンターでの惨状について説明していました。彼が指摘した興味深い点は、その地域の多くの企業が、単に…戦争のために、AIの使用を別の地域で実行させることを絶対に許可できないということです。そのため、その戦争のためにあるサービスの地域全体が大規模に混乱すると…突然、LLMのポータビリティはより現実的で緊急のものになります。

私のチーム全体は、ほとんどの場合Claudeを使用しています。私は、さまざまなLLMを互いに、また連携させて試す熱心な導入者だと思います。Googleのエージェントが私がコミットする前にClaudeの作業をレビューしてくれるというのは、何かが正しいと感じます。

しかし、LLMが協力して作業することで、新しいセッションを開始したり「git commit」を実行するたびに、どれだけのコンテキストを捨てているかがわかります。

そして、最先端の話題に移りましょう。Claudeがオフラインになったので、CodexにClaudeが開始したところから引き継いでほしい場合はどうなるでしょうか?あるいは、Claudeと私がすでに多くの作業を行ったコードベースの領域で、他のモデルを試したい場合はどうなるでしょうか?何回目かのトークンファイアでトークンを再燃焼することなく、中断したところから再開したいのです。

[画像: 開発者がLLMのコンテキストウィンドウに大量の情報をロードしている様子]

この問題は、大規模なチームではさらに深く根ざしています。コードレビュー担当者(人間であれ、そうでなくても)は、コード変更の背後にあるすべてのニュアンスにどのように追いつくことができるでしょうか?

OpenAIで働いていた私の友人Philipは、AIが人間の能力を劇的に凌駕する時代におけるコードレビューについて非常に興味深い記事を書いており、これはここで非常に適切だと感じます。今日現在、十分にニュアンスがあり、十分に大きなコード変更を提示することが可能であり、それらをレビューするのは非常に困難です。そして、コンテキストの多くが開発者のマシンに残されたままなので、トークン消費の唯一の痕跡はコミットメッセージと、LLMが適切だと判断したコードコメントの量だけです。

LLMが登場する前でさえ、急速に進化するプロジェクトのテックリードを務めるのは大変な仕事でした。今では、すべてのPRは(半)文書化されていない複雑さの、新たに鋳造された小包です。大量の新しいプライバシーロジックを「vibe coding」したジュニア開発者はラップトップを閉じ、家に帰ります。一方、プライバシーレイヤーの仕組みを実際に知っているシニアエンジニアは、コンテキストなしでこの山を wading する必要があります。彼は、開始したことのないセッションを再開できません。では…彼は、コンテキストが切断された出力を理解するために、すでに一度生成されたコンテキストをすべて生成するように、LLMに依頼すべきなのでしょうか?

これは狂っているように感じます。

昨日250Kトークンが費やされたコードベースの領域に今日戻ってきた場合…再びコンテキストウィンドウをロードするために、さらに数万トークンを費やすことになるのでしょうか?はい…その通りです。

[画像: 開発者がLLMのコンテキストウィンドウに大量の情報をロードしている様子]