人間 vs. AI – エージェント編集下でのテキストにおける差分ベースの行レベル来歴
Human vs. AI – Diff-based line-level provenance for text under agentic editing (github.com)
要約
このプロジェクトは、エージェント(AI)による編集下にあるテキストの来歴を追跡するツール「Us vs. Them」を開発しました。テキストのバージョン履歴を分析し、どの行が人間によって書かれたか、あるいはAIによって生成・編集されたかを識別します。これにより、コードやドキュメントにおける人間とAIの貢献を明確に区別し、所有権や編集の意思決定を支援します。
全文翻訳
Us vs. Them
エージェント編集下でのテキストに対する行レベルの来歴 — この行を書いたのは誰か、私たちか、それとも彼らか? — テキストのバージョン履歴から導き出されます。ライブラリとしても、CLIツールとしても使用できます。
問題
エージェントによるコーディングや編集が進むにつれて、来歴は重要な問題となります。人間が書いた、あるいは編集したテキストは、ほぼ神聖なものと見なされるべきです。エージェントはそれに触れることに躊躇し、非常に良い理由がなければならないでしょう。一方、別のエージェントが生成した不出来なものは、完全に自由にいじることができます。
これのユースケースとしては、ほとんどバイブコード(vibecoded)で書かれたアプリで、自分のアイデアや所有権を主張したいコードの角を確立したい場合が挙げられます。次のセッションで、別のエージェントがこのコードを横暴に上書きすることを望まないでしょう。
別のユースケースとしては、元々生成されたREADME.mdで、冒頭の段落を書き直した場合です。エージェントは、下の方の部分をやり直したり追加したりするのは自由ですが、冒頭部分を変更する際には本当に二度考えるべきです。
仕組み
これが機能するための主な制約は、テキストがそのために特別にマークアップされる必要がないということです。遍在するプレーンテキスト(Markdown)はそのままサポートされるべきです。
その場合、活用できるのは、テキストの各新しいバージョンが、人間またはエージェントのいずれかの識別可能な作成者の下で作成されるという事実だけです。
与えられたテキストに対する評価の出力は、範囲のセットです — 機械生成されたテキストの「海」の中に、人間が作成した行の「島」です。技術的には単純な差分に基づいています。これが開発の指針となる比喩です。個々の行の作成者だけを追跡したいのではなく、意味的に一貫したテキストの断片の作成者を追跡したいのです。したがって、結合、分割、作成者の希薄化は考慮されるべき動作であり、また、完全に海または完全に島に収束しないような方法でも考慮されます。
使用方法
us-vs-themをCLIツールとして使用するには、ローカルインストールにbbinが必要です。
make install
Gitリポジトリはすでにバージョンの履歴であり、それぞれに来歴マーカーが付いています — ファイルの各リビジョンが、それを生成した変更の作成者とともに、順序付けられています。
Gitリポジトリ内のどこでも使用するには:
us-vs-them --ours dan@eighttrigrams.net README.md
これは以下のようなリストを生成します。
1-3 0.00
4 1.00
5-7 0.00
8-20 0.46
21-164 0.00
ここで、1.0は完全に人間が作成した範囲を意味します。
0.46は、元々人間が作成した範囲で、エージェントによってある程度変更されたものです。
0.00は、完全にエージェントが作成したものです。
パラメータは以下の通りです。
--ours: これらが人間であり、それ以外はすべてエージェントと見なされます。
--theirs: これらがエージェントであり、それ以外はすべて人間と見なされます。
リストが短い方を指定してください。
両方の引数を同時に渡すと拒否されます。
ライブラリとして
et.uvt.caution/assessは、履歴(古いものから順にバージョン、各{:text "…" :source marker})と{:ours #{markers}}(人間と見なされるマーカーのセット)を受け取り、上記の範囲をデータとして返します。
et.uvt.caution/degradationsは、同じ履歴に加えて、提案されているがまだ書き込まれていないバージョンを受け取り、それを書き込むことによって悪化する(消えるか、現在よりも低い値になる)現在のテキストの人間作成行を返します。空の回答は、編集が人間に何もコストをかけないことを意味し、これはゲートとなります。エージェントが空の回答が返ってくる限り書き込むことを許可します。
開発
make test
make test-cljs # 同じスイートをnodeで、この隣のcookbookチェックアウトから
cautionとcoreは.cljcです。Cookbookはそれらをブラウザバンドルにコンパイルします — そのレシピは暗号化されているため、サーバーは分割が描画された履歴を読むことができず、クライアントがそれをしなければなりません — そして、スイートが常に2つのホストのいずれかでしか実行されないライブラリは、もう一方のホストでドリフトするでしょう。ここでは意図的にnpmはありません。そのため、make test-cljsはnpmを持つコンシューマーを指します。これはcookbookのノードスイート全体を実行します。その大部分は、このライブラリのものではなくcookbookのものであるため、あなたの理由ではなく、失敗の理由で赤くなる可能性があります — 名前空間を失敗で読んでください。Makefileとhosts_test.cljcを参照して、ホストが一致しない2つの場所を確認してください。1つの数字が異なるスペルで、1つの退化した入力が一方のホストで拒否され、もう一方のホストで発明されています。
動作
動作を最もよく理解するには、caution_test.cljcを見てください。