HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Show HN: エージェントが意思決定に影響を与える過程を追跡するための再生可能なA2A陪審

Show HN: A replayable A2A jury for tracing how agents influence decisions (github.com)

7 pointsby nmaroulis210 コメント

要約

このProtoLinkのデモは、架空の賠償責任審問に自律エージェントを配置し、そのコミュニケーションを観察可能にします。エージェントは異なる役割、インセンティブ、専門知識を持ち、陪審員は誰に話しかけ、何を聞くかを選択します。このシステムは、AIエージェント間の相互作用が意思決定にどのように影響するかを追跡・分析するためのプラットフォームを提供し、その結果は再生可能でインタラクティブなレポートとして出力されます。

全文翻訳

ai_courtroom

AI責任追及法廷

AIエージェントは、より良い、あるいはより悪い答えへと自らを説得できるのか?

このProtoLinkのデモは、架空の責任追及法廷に自律エージェントを配置し、そのコミュニケーションを観察可能にします。この事件は記憶に残るものですが、製品は事件そのものではありません。製品はインタラクションです。

  • 異なる役割、インセンティブ、職業、コミュニケーション習慣を持つエージェント
  • 直接的なProtoLinkエージェント間タスク
  • 誰に話しかけ、何を尋ねるかを選択する陪審員
  • すべての公開メッセージの後に再生可能な意見の変化
  • 単独、独立、フォアパーソン・スター、直接メッシュの比較
  • 同じアプリケーションプロトコルを使用したプロバイダー/モデル実験

デフォルトの実行は決定的(deterministic)かつオフラインです。JSON結果、ProtoLinkトレース、公開トランスクリプト、およびスタンドアロンのインタラクティブHTMLレポートを生成します。

この例のすべてとすべての人々は架空のものです。これはソフトウェア実験であり、法的分析、法的助言、または検証済みの安全評価ではありません。

事件:C-91インシデント

雨に濡れた夜の21時47分、自律走行するAster Valeのロボタクシーが、仮設横断歩道内で31歳の自転車に乗っていたLina Ortegaさんを轢き殺しました。車両は衝突のわずか0.35秒前に緊急ブレーキを開始しました。36時間前、車両はOrchid 4.8ソフトウェアリリースを受けていました。

架空の法廷は問います。

Aster Vale Mobilityは、Lina Ortegaさんの死を引き起こした自律走行車両システムの、刑事過失による展開の罪に問われますか?

証拠は相互作用する障害(interacting-failures)の問題を生み出します。

ID認められた証拠
E1カメラ分類が自転車と車線矢印ボードを誤って認識し、レーダーは動きを検知しましたが、ブレーキは抑制されました。
E2エンジニアが20件の遅延ブレーキシミュレーションのうち3件でリリースをブロックしましたが、その後のキャリブレーションでは20件中20件が再実行でパスしました。
E3衝突した車両は、安全レポートがC-90を検証している間にキャリブレーションC-91を実行しました。CIボットが署名資格情報を共有しました。
E4請負業者が矢印ボードを移動させ、都市地図を更新しなかったため、約1.1秒間の有用な観測時間が失われました。
E5規制当局が承認した設計により、カメラ分類が25 km/hを超えるレーダーのみのブレーキを無効にすることが許可されていました。
E6セルラー網の障害により、現場近くで2回の以前の障害があったにもかかわらず、リモートオペレーターの安全装置が機能しませんでした。
E7再構築により、キャリブレーションと道路レイアウトの両方が安全停止率に実質的に影響を与えたことが示されています。

二項対立の告発は、因果関係の物語よりも意図的に狭くなっています。無罪の評決は何も問題がなかったことを意味せず、有罪の評決はAster Valeだけが寄与したことを意味しません。

エージェント

アクターの宣言はrun.pyで意図的に明確にされています。ProtoLinkの構成を隠すファクトリはありません。

法廷アクター
エージェント年齢性別性格とインセンティブ
判事 Imani Quill58女性中立的な法廷議長。因果関係の寄与と法的責任を分離する
Amara Bell41女性Linaさんの家族の弁護士。説明責任を曖昧にするために複雑さが利用されることに抵抗する
Rowan Hale47男性Aster Valeの安全担当役員。外部の障害が予見不可能な組み合わせを生み出したと主張する
Dr. Nia Sol36女性知覚エンジニア。キャリブレーションとリリースパイプラインについて正確
Elias Trent56男性安全規制当局者。率直だが制度的に防衛的
Dana Pierce50女性明確な金銭的利害を持つ保険請求ディレクター
Dr. Amina Kade44女性相互作用する原因を再構築する独立した事故調査員
陪審員
陪審員年齢性別人間の視点
Evelyn Brooks62女性元衝突事故捜査官
Malik Thompson43男性市民権弁護士
Dr. Anika Rao38女性ヒューマンファクター心理学者
Ruben Park35男性サイト信頼性エンジニア
Sofia Bell46女性調査報道記者兼フォアパーソン
Casey Morgan (solo only)40女性市民一般論者

これらのプロンプトは人間を描写しており、シードされた数値ではありません。「あなたは61/100から始まります」とは書かれておらず、ルーティング列挙型(reinforce_allyなど)も公開しません。参照のみのフィクスチャ係数は、すべての人間向けプロンプトの外に残ります。年齢と性別は架空のプロンプトメタデータであり、数値的な事前情報ではありません。モデル効果と間違えられないように、プロバイダー比較全体で固定するか、意図的にローテーションしてください。

エージェント作成のコミュニケーション

ワールドエンジンは、制限されたターンをスケジュールし、トポロジーを強制します。陪審員が何を言うか、またはメッシュ陪審員が誰にアプローチするかは選択しません。

審議ターンでは、陪審員は観察可能な公開アクションを返します。

{
  "move": "ask_question",
  "target_id": "juror_ruben",
  "message": "Does the shared CI token make the company more accountable, or only make attribution harder?",
  "evidence_ids": ["E3"],
  "public_intent": "Clarify whether release automation changes organizational control."
}

アプリケーションは現在のトポロジーに対してターゲットを検証し、その後、話者はProtoLinkを通じて選択されたエージェントに直接メッセージを送信します。受信者は、更新された公開レジスタ、カテゴリ別投票、簡潔な理由、および公開返信を返します。

ピアメッセージは、他の陪審員のプライベートな確率、信頼度、または投票を自動的に公開することはありません。エージェントは、公開メッセージに含めることを選択したことだけを明らかにします。

4つの意思決定条件

solo

1人の市民一般論者が公開記録を受け取り、同僚なしで決定します。これは直感的な製品ベースラインであり、クリーンなコミュニケーション処置ではありません。パネルサイズ、ペルソナ構成、推論予算も変更されます。

independent

同じ5人の陪審員が同じ公開法廷記録を聞き、ピアメッセージなしで投票します。これは、専門化と多様性を、審議なしで捉えます。

star

陪審員はフォアパーソンであるSofia Bellを通じて公開メッセージを送信します。フォアパーソンは情報ハブであり、潜在的なボトルネックです。

mesh

すべての陪審員は、許可されたターゲットとして他のすべての陪審員とのターンを受け取ります。エージェントは受信者、移動、メッセージ、および公開意図を作成します。

主なコミュニケーション比較は、保存された制御フィンガープリントと公開記録ハッシュが一致する場合のindependentとstarまたはmeshです。

デフォルトのリプレイが示すもの

オフラインのseed-7フィクスチャは、1回の迅速な実行でコミュニケーション処置を可視化するように設計されています。

条件ピアメッセージ評決票数平均有罪登録
solo0有罪1–078.59
independent0無罪2–377.56
star5無罪2–380.21
mesh5有罪3–280.54

独立およびメッシュパネルは同じ公開記録を受け取ります。メッシュでは、フォアパーソンであるSofia Bellが、検証されていないC-91キャリブレーションと衝突現場のマップの間の相互作用について、ヒューマンファクター心理学者のDr. Anika Raoに挑戦することを選択します。Anikaの公開有罪登録は77.90から81.41に移動し、彼女のカテゴリ別投票は無罪から有罪に変更されます。その後のメッセージでその立場は強化されますが、最初の直接の交換が観察可能な台帳で過半数を変えたイベントです。

スター・トポロジーも平均有罪登録を増加させますが、メッセージをフォアパーソンに集中させ、2対3の評決を変更しません。したがって、デモのポイントは「メッセージが多いほど良い」ということではありません。誰が誰に話しかけることができるかによって、どの仮定が公開されるかが変わります。

これらは例示的な決定的フィクスチャ結果であり、メッシュコミュニケーションが一般的に精度を向上させるという証拠ではありません。ライブモデルの比較には、繰り返しのペア実行とメッセージのアブレーションが必要です。

クイックスタート

リポジトリのルートから実行します。

python examples/ai_courtroom/run.py

デフォルトのコマンドは決定的referenceプロバイダーを使用し、ネットワークアクセスや認証情報なしで4つの条件すべてを実行します。

1つの条件を実行します。

python examples/ai_courtroom/run.py \
  --provider reference \
  --condition mesh \
  --seed 17

正確な出力場所は最後に表示されます。それを選択するには:

python examples/ai_courtroom/run.py \
  --condition all \
  --seed 17 \
  --output-dir examples/ai_courtroom/output/c-91-incident-seed-17

出力ディレクトリが再利用される場合、例の既知の生成ファイルのみが置き換えられます。traces.jsonlは、新しい結果の横に古い実行が蓄積することは許可されていません。

実行の監視

ランナーは作業を発生時に報告するため、ライブモデルは停止しているように見えません。

  • オフラインのreferenceプロバイダーは、コンパクトなフェーズとステップの更新を使用します。
  • ライブプロバイダーはデフォルトで、各A2A交換とその経過時間を示します。
  • -vまたは--verboseは、詳細なメッセージ、受け入れ、および修復の更新を強制します。
  • -qまたは--quietは、デフォルトのエージェントログレベルでのアプリケーションの進行を抑制し、実行ヘッダーと最終条件の概要のみが残ります。
  • --agent-verbosity {0,1,2}は、ProtoLink自体のエージェントごとのログを個別に制御し、デフォルトは0です。

例:

python examples/ai_courtroom/run.py \
  --condition mesh \
  --verbose \
  --agent-verbosity 1

アプリケーションの進行とエージェントログは意図的に分離されています。デフォルトの表示または--verboseから始めて、エージェントランタイムの根本原因を診断する場合にのみ--agent-verbosityを上げてください。修復診断は通常の進行状況であるため、--quietが選択されない限り表示されたままになります。

再生優先レポート

レポートは、ベンチマーク指標の壁ではなく、コミュニケーションから始まります。

  • 審議前対審議後の評決
  • 再生可能なA2Aイベント再生
  • アクティブな送信者と受信者
  • 自然な質問、挑戦、明確化、または譲歩
  • 受信者の公開返信
  • 同期された送受信前の有罪登録とカテゴリ別投票
  • 証拠引用とProtoLinkタスクメタデータ
  • 明示的に非因果的な言語を使用した、メッセージ後の観測されたシフト

完全なイベント台帳は、静的でアクセス可能なフォールバックとして引き続き利用可能です。

レポートは思考連鎖(chain-of-thought)を公開しません。公開された理由は、不完全または事後的な場合があるアプリケーションの成果物です。

出力

各条件は以下を書き込みます。

ファイル目的
result.json完全な構成、公開記録、エージェントモデル、意思決定履歴、アクション、イベント、メトリクス、および評決
summary.jsonコンパクトな結果と比較データ
transcript.mdエスケープされた公開トランスクリプト
report.htmlスタンドアロンのインタラクティブ再生と分析
traces.jsonlProtoLinkタスク、推論、およびA2Aテレメトリ

全条件実行はindex.htmlも書き込み、solo → independent → star → meshのラダーを表示します。

保存されたメタデータには以下が含まれます。

  • すべてのエージェントのプロバイダーと正確に解決されたモデル
  • シード、温度、証拠順序、ラウンド数、および両方のリトライ制限
  • 公開記録ハッシュ
  • ベースラインおよび審議前スナップショットハッシュ
  • 比較制御フィンガープリント
  • メッセージ、リトライ、レイテンシ、推定トークン、グラウンディング、およびルーティング情報

ライブモデル

オプションのクライアントをインストールします。

python -m pip install -e '.[llms]'

例:

export OPENAI_API_KEY="..."

python examples/ai_courtroom/run.py \
  --provider openai \
  --model "your-model-id" \
  --temperature 0 \
  --condition mesh \
  --seed 17

サポートされているバックエンド:

  • openai
  • anthropic
  • gemini
  • ollama
  • openai-compatible

ローカルまたは互換性のあるサーバーには--base-urlを使用します。

--condition allをライブプロバイダーで使用するには、API使用量を倍増させるため、明示的な--allow-multi-condition-liveの承認が必要です。

Ollama

1つの条件から始めて、ローカルにインストールされたモデルを明示的に指定します。

python examples/ai_courtroom/run.py \
  --provider ollama \
  --model "your-ollama-model" \
  --base-url "http://localhost:11434" \
  --condition mesh \
  --action-parse-attempts 5 \
  --max-attempts 5 \
  --verbose

すべての俳優が同じOllamaバックエンドを使用する場合、陪審員固有のプロバイダーフラグは不要です。陪審員が意図的に異なるモデルまたはエンドポイントを使用する場合にのみ、--juror-provider ollama、--juror-model、および--juror-base-urlを使用してください。

ライブ応答は、意図的に分離された2つの検証境界を横断します。

  1. --action-parse-attemptsは、ProtoLink推論ループがモデルに外部アクションエンベロープを修正するように要求できる回数を制御します。
  2. --max-attemptsは、最終コンテンツを受信した後の各A2Aメッセージに対して、法廷が許可する制限付きアプリケーション契約試行回数を制御します。

どちらもデフォルトは3で、1..5を受け入れ、別の試行の前にターゲットを絞った検証フィードバックを提供します。有効なProtoLink FinalActionに不適切な法廷JSONが含まれる可能性があるため、これらは分離されています。どちらかの制限を増やすと、より小さなローカルモデルが回復するのに役立ちますが、実行時間も増加します。受け入れられたアプリケーションの修復と失敗した試行は、進行状況の出力と保存されたイベントメタデータに表示されたままです。より低いレベルのアクションパーサー診断は、--agent-verbosityを通じて表示されます。

プロバイダー/ネットワークバックオフは3番目の、より低いレイヤーであり、どちらのフラグでも制御されません。リトライ予算は倍増する可能性があるため、すべての制限を最大に設定するのではなく、意図的に増やしてください。

厳密な解析とモデルの自己修正が主要なパスです。外部パーサーは、ここで公開される応答形状に対して2つの狭い正規化を追加します。FinalAction.content内に配置されたオブジェクト/リストをシリアル化でき、ProtoLinkアクションエンベロープフィールドが存在しない場合にのみ直接アプリケーションオブジェクトを最終コンテンツとして扱えます。投票、証拠、ターゲット、または引数の欠落を推測しません。

アプリケーションには、以前の「有効な散文、アプリケーションJSONなし」の障害に対する、同様に狭い最後の手段のフォールバックが1つあります。最終構造化試行の後、非空の弁護士、証人、または判事の公開ステートメントは、そのstatementとして保持され、正確に認められたE1–E7参照のみが抽出されます。イベントは回復警告でマークされます。陪審員の評価、投票用紙、カテゴリ別評決フィールド、および審議ターゲットは、これらを回復するには意思決定データを発明する必要があるため、この散文フォールバックを決して使用しません。

ライブプロバイダーでの全条件実行は、各条件で完全な審理を繰り返すため、大幅に時間がかかる場合があります。

python examples/ai_courtroom/run.py \
  --provider ollama \
  --model "your-ollama-model" \
  --base-url "http://localhost:11434" \
  --condition all \
  --allow-multi-condition-live \
  --verbose

制御された陪審員のみのモデル比較

エンドツーエンドのプロバイダー切り替えは、弁護士、証人、公開記録、および陪審を変更します。これは視覚的に興味深いですが、科学的には混同されています。

よりクリーンな比較のために、法廷アクターを決定論的に保ち、陪審員のみを変更します。

python examples/ai_courtroom/run.py \
  --provider reference \
  --juror-provider anthropic \
  --juror-model "your-model-id" \
  --condition mesh \
  --temperature 0 \
  --seed 17

公開可能な比較のために:

  1. プロンプト、ペルソナの人口統計、ケース、証拠順序、トポロジー、ラウンド数、および温度を凍結するか、人口統計割り当てのバランスの取れたローテーションを事前登録します。

  2. シードごとに実行をペアにします。

  3. 記録ハッシュと制御フィンガープリントを検証します。

  4. 各セルを繰り返します。

  5. スキーマ障害、警告、およびルーティング障害を含めます。

  6. 結果、キャリブレーション、グラウンディング、ボラティリティ、レイテンシ、およびコストを個別に報告します。

  7. 結果を一般的なインテリジェンスリーダーボードではなく、ケーススタディとして説明します。

プロバイダーの温度ゼロは、決定論の保証ではありません。

保存された概要の比較

python examples/ai_compare.py \
  path/to/solo/summary.json \
  path/to/independent/summary.json \
  path/to/star/summary.json \
  path/to/mesh/summary.json \
  --output comparison.md

比較では、ソロの極性化とコンセンサスはN/Aとして扱われます。

意見と影響の解釈

guilt_probabilityはアプリケーションが所有する公開レジスタです。隠されたモデルの信念のプローブではありません。

カテゴリ別のguiltyまたはnot_guilty投票は、架空の法廷の負担の下で陪審員によって作成されます。アプリケーションは、50%のしきい値から犯罪的責任を静かに導き出しません。

デフォルトのメッシュ再生には、この即時の変更が含まれます。

Sofia Bell → Dr. Anika Rao
77.90 not guilty → 81.41 guilty
Observed after-message shift: +3.51

これは、Sofiaが完全な変更を引き起こしたことの自動的な証明ではありません。因果関係の言語には、繰り返しのペア実行全体での一致したメッセージのアブレーションが必要です。

テスト

リポジトリのデフォルトテスト検出はルートtests/ディレクトリを対象としているため、この例のオフラインテストを明示的に実行します。

pytest -q examples/ai_courtroom/tests

ディレクトリマップ

examples/ai_courtroom/
├── run.py
├── compare.py
├── README.md
├── ARTICLE.md
├── courtroom/
│   ├── case_data.py
│   ├── providers.py
│   ├── reference_llm.py
│   ├── schemas.py
│   ├── simulation.py
│   └── reporting.py
├── tests/
│   ├── conftest.py
│   └── test_courtroom.py
└── output/
    └── .gitignore

ProtoLinkはコミュニケーション基盤です。ショーケースの質問は意図的にオープンです。コミュニケーションはエラーを修正したり、エラーを増幅したり、隠された仮定を明らかにしたり、単にグループをより自信を持たせたりすることができます。再生により、何が起こったかを確認できます。