累積編集(Accretive Editing)
Accretive Editing (justindfuller.com)
要約
AIツールにおける「累積編集」とは、既存の情報を修正するのではなく、古い情報を残したまま新しい情報を追記してしまう失敗モードのことです。例えば、Amazon Bedrockのサポートを削除してLiteLLMを追加した場合、AIは「LiteLLMをサポートするが、Amazon Bedrockはもはやサポートしない」と追記する形で情報を更新します。この問題は、単に「短く書く」といった指示では解決せず、AIに古い情報を削除して正確な情報に置き換えるよう指示することが効果的です。
全文翻訳
累積編集
累積編集は、現在のAIツールの失敗モードです。おそらく皆さんも経験したことがあるでしょう。
[画像: 累積編集]
何か?
- 既存のテキストがある。
- そのテキストがもはや正確ではなくなるような変更が発生する。
- AIベースのツールに更新を依頼する。
- ツールは、テキストを修正するのではなく、括弧書きやその他の追加情報として追記する。
昨日私に実際に起こった実例を挙げます。
次のようなテキストがありました。「このプロジェクトはAmazon Bedrockで認証できます。」更新中に、Amazon Bedrockのサポートを削除し、LiteLLMのサポートを追加しました。Claudeはテキストを次のように更新しました。「このプロジェクトはLiteLLMで認証できますが、Amazon Bedrockはサポートしなくなりました。」
明確にしておくと、あるプロバイダーのサポートを削除して別のプロバイダーに置き換えるようなメジャーアップデートがあった場合、それを伝えることはおそらく望ましいでしょう。しかし、その情報をドキュメント全体に追記情報として散りばめるのは明らかに間違った方法です。代わりに、変更履歴、アナウンス、あるいはドキュメントの目立つ場所に注意書きを入れるのが良いでしょう。
これらのいずれかを行う代わりに(そして時にはそれらに加えて)、AIツールは累積編集を使用します。それは、もはや関連性のない以前の情報を保持し、新しい情報に付け加えます。
残念ながら、これはモデルに「短く書け」と指示することで修正できるようなものではありません。それは単に、簡潔な累積編集をもたらすだけです。「このプロジェクトはLiteLLMで認証できますが、Amazon Bedrockは使用しません。」
また、スタイルで修正できるものでもありません。「文末の装飾を避けてください」と指示しても、累積は新しい文に移動するだけです。「このプロジェクトはLiteLLMで認証できます。Amazon Bedrockはもう使用しません。」
なぜ?
大規模言語モデルの性質上、これがなぜ起こるのかは分かりませんし、おそらく知ることもできません。しかし、喜んで推測します。
人が文書を書くとき、それは他の人のために書いています。彼らは、人間が文書の履歴に関心がないことを理解しています。彼らはその中の情報に関心があります。そのため、文書を更新するとき、古い記述を削除して書き直します。彼らの焦点は、読者にとって文書が真実であるようにすることです。
LLMにはこの視点がありません。代わりに、2つの入力(古い情報と新しい指示)を持ち、次に何が来る可能性が最も高いかを予測する必要があります。「LiteLLM」と「Bedrock」が単に「LiteLLM」だけを生成することはめったにないため、両方を出力します。
修正
私の目標は、この問題を特定することです。いくつかの改善はできましたが、完全に止めることはできていません。これはより深いアーキテクチャ上の問題である可能性があります。
AIに関するほとんどの問題と同様に、何をしてはいけないかを伝えるよりも、何をすべきかを伝える方が効果的だと気づきました。
そのため、指示に次のようなものを追加することは推奨しません。「累積編集を避けてください。変更を加えるときは、古い情報を新しい情報に付け加えないでください。」
代わりに、文書を更新する方法について説明することに焦点を当ててください。
文章を更新する際は、古いテキストを保持して修正を追加するのではなく、古いテキストを正確なテキストに置き換えてください。最終的な文書は、最初から正しく書かれたかのように読めるべきです。
これで、AIの入力は3つの部分になります。古い(廃止された)、新しい、そして「廃止されたものを削除する」という指示です。