HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Claude、ランダムなガラクタを記憶しようとするのはやめてください

Claude, please stop trying to memorize random crap (12gramsofcarbon.com)

113 pointsby theahura88 コメント

要約

この記事は、AIエージェントがセッションのトランスクリプト全体を記憶しても、コーディングタスクにおけるパフォーマンス向上にはつながらないという見解を示しています。エージェントは既に、コードの変更履歴やメタデータといったアーティファクトに価値ある情報を抽出して保存しているため、トランスクリプトの自動記憶はトークンの浪費、コスト増加、モデル品質の低下を招くだけだと論じています。代わりに、人間が関与する形で重要な情報を整理・保存することの重要性を強調しています。

全文翻訳

Agentics: セッション記録の記憶は役に立たない

[画像: 31件の「いいね」は多くないように見えるかもしれませんが、実際にはSubstack Notesの全員です](https://substackcdn.com/image/fetch/$s_!p8M5!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F75caf207-0302-42e3-beba-2da2967864f8_1080x543.png)

31件の「いいね」は多くないように見えるかもしれませんが、実際にはSubstack Notesの全員です。

エージェントが他の形式のコンテキストにアクセスできる場合、過去のセッション記録への検索アクセスがあっても、SWE(ソフトウェアエンジニアリング)タスクにおけるパフォーマンスの向上はゼロであることがわかりました。また、人間が介在しない限り、セッション記録を自動的に検索してエージェントのコンテキストを改善しようとしても、あまり効果がないこともわかりました。

これはかなり驚くべきことでした。

直感的には、エージェントとエンジニアの間のトランスクリプトには多くの貴重な情報が含まれているように思えます。コードが存在する理由やユーザーの意図に関する情報が含まれているかもしれません。あるいは、ユーザーが試して却下した他のアプローチが含まれているかもしれません。少なくとも、エージェントが理解を深めるために利用できる追加のコンテキストがいくらか含まれているはずです。私はこれを非常に強く信じていたため、私の会社はこのコンセプトを中心に製品全体を構築しました。かつては「セッション記録は新しい石油だ」と人々に話していました。それはコードそのものよりも価値がある、と。

他の人々も明らかに同様の考えを持っており、セッションバックドメモリのための多くの異なるツールが存在する理由です。もちろん、Claude Code自体も含まれます。

最も一般的なアーキテクチャは、次のようなものだと思います。

  • 組織全体のすべてのトランスクリプトをDBに保存する
  • その前面にベクトル検索、Elasticsearch、またはSQL検索レイヤーを配置する。意欲的なチームはすべてを使用するでしょう。グラフも関与するかもしれません。
  • MCPを使用してエージェントにこれを利用可能にするか、スキルを持つCLIを公開する。

私たちにとって、この追加作業は少しの違いも生み出さないようです。むしろ、セッション検索アクセスがある場合とない場合での数ヶ月にわたるテストに基づくと、モデルを悪化させる可能性があります。

なぜこれが真実なのでしょうか?

私たちのチームが非常に重視していることの1つは、コーディングアーティファクトです。私たちはもはや手書きでコードを書くことはありません。PR(プルリクエスト)を読みやすくするために、優れたコミットメッセージ、優れたPRメッセージ、および包括的なドキュメントを重視しています。すべてのコード変更には、コードと一緒にコミットされる広範なメタデータが付属しています。エージェントがコードに取り組むとき、彼らはドキュメントと以前のPRを確認するように指示されます。

言い換えれば、エージェントは既にトランスクリプトに関する価値のあるすべての情報を蒸留し、必要な場所に保存して簡単にアクセスできるようにしています。そのため、エージェントがトランスクリプト検索サーバーを使用すると、既に知っていることを読むのにトークンを費やし、エージェントが書き留めないことを決定したすべてのものを拾い上げてしまいます。おそらく、時折、そこには有用な情報の断片があるかもしれません。しかし、ほとんどの場合、エージェントは単に疑似的に無意味なスクラッチパッドを見て、それを行うために貴重なトークンを無駄にしています。

また、エージェントはコンテキストを実際に削除するのが下手です。これは長期的なメモリを維持するために重要な能力です。文字通り数千セッションにわたって、それが一度も起こるのを見たことがありません。

これは、巧妙なプロンプトエンジニアリングで削除できる特性ではありません。エージェントには状態がないため、入力コンテキストウィンドウ内のすべてを真実であると仮定しなければなりません。コードの各行、既存のメモリの各ビット、トークンの各々は、たとえそのコードやメモリが以前のエージェントセッションによってランダムに決定されたものであり、人間によってレビューされたり理解されたりしたことがないものであっても、「意図」の表現として扱われます。この「意図のドリフト」は、エージェントが自律的にメモリベースを構築しようとすればするほど、累積していきます。

私の知る限り、入力データが破損していると仮定するコーディングベンチマークはゼロです。実際、モデルは入力データが間違っていると仮定するとペナルティを受けます。これは部分的にはアライメントの問題でもあります。私たちはエージェントが意図しないことをすることを望んでいませんし、「コードベースを削除しない」と「入力コンテキストの一部を削除する」という針の穴を通す簡単な方法はありません。

モデルは自身のメモリを実際に管理できないため、自動的な記憶は同じ場所に着地します。それは、トークンを消費し、請求額を膨らませ、モデルの質を低下させるゴミの山です。

結局のところ、私はセッション記録をインデックス化、保存、エージェントに提示するツールに対して非常に弱気になりました。セッション記録はチームのオブザーバビリティには役立つかもしれませんが、エージェントをより良くすることはありません。

だからといって、エージェントが時間をかけてコンテキストを学習する役割がないわけではありません。私たちは、社内のnoriボットを使用して、PR、Slack、Driveなどでその週に会社で起こったすべてのことをレビューしています。そして、それらは組み込みのnoriスキルセットへの変更セットを提案し、Slackでチームにタグ付けします。これらはすべてデフォルトで拒否されます。変更を受け入れるには、差分を確認し、それが意図に合っていることを確認する必要があります。

これらの変更の20%未満を受け入れています。つまり、これらの「自動」更新の80%はモデルを悪化させていたでしょう。もし数百人規模の組織が常にこれらの「更新」を自動的に保存していたら、それがどれほど持続不可能になるか想像できません。

Agenticsは、エージェントの使用方法と推論方法の研究です。コーディングエージェントの専門家であるか、エージェントについてもっと学びたい場合は、私たちのコミュニティSlackに参加してください。その他の記事はこちら。

バックグラウンドエージェントを構築したい場合は、お手伝いできます!Noriについてはnoriagentic.comで、バックグラウンドエージェント製品についてはnorisessions.comで詳細をご覧ください。

投稿なし