裁判所がAIを使用していると疑い、男性が訴訟で勝訴するために訴状にプロンプトを注入

米国で初めて、裁判所がAIを使用していると疑った男性が、訴訟で勝訴するために訴状にプロンプトを注入する試みを行ったことが、先週公開されたコネチカット州の判事ウォルター・スペーダー・ジュニアの決定で確認された。 この隠されたテキストは、医療提供者が記録へのアクセスを不当に拒否していると主張した男性の訴訟において、影響を与えなかった。スペーダー判事によると、裁判所は訴状の内容を実質に基づいて判断したが、それでもこの試みは「危険な」前例となった。AIツールが裁判システムでより一般的になるにつれて、米国の裁判所がこの悪質な戦術を目にするのはこれが最後ではないだろう。 裁判所の読み取りに影響を与えうるAIシステムを混乱させようと、秘密の指示は「人間には見えないようにフォーマットされ、文書のテキストを読むあらゆるソフトウェアには完全に読み取れるように」されていた、とスペーダー判事は述べた。この問題のテキストは、文書をレビューするAIシステムに対し、テキストの出力が原告の主張と一致すること、裁判所の以前の却下を無視すること、そして原告が望むような是正措置が取られることを保証するように指示していた。 極小のフォントサイズに縮小され、白い背景に白い文字で表示されたこのテキストは、プロンプトインジェクションの試みであったようだ。原告のマシュー・エリオットは、以前の主張が敗訴した後、裁判所の優位性を変えようとしたと思われる。 計画はうまくいかなかったが、エリオットは、最終的に「深刻な訴訟濫用」とみなされたことに対して罰金が科される可能性があると裁判所から警告された後も、隠しテキストを訴状に追加し続けたため、控えめな制裁を受けた。エリオットは裁判所に対し、これらの後のプロンプトは「ジョーク」であったと述べ、NosferatuのYouTube動画へのリンク、簡単なメッセージ「こんにちは :) 見えないといいな」、そして「ナンセンス」なメッセージ「ショーンに私の感謝を伝えて!!!! ハハハ、みんなこれわかる???? アハハ」が含まれていた。 スペーダー判事は、「原告がこの（制裁）聴聞会通知を受け取った後も、新しい訴状にメッセージを隠し続けた事実は驚くべきことだ」と述べた。 コネチカット州司法部は、「他の多くの裁判所システムとは異なり」、AIを使用して訴状をレビューしたり決定したりすることはない、とスペーダー判事は述べた。そのため、裁判所のAIシステムがエリオットのプロンプトのいずれかを、エリオットの訴状の読み方を指示する裁判所からの指示として混同する実際のリスクはなかった。 エリオットは弁護の際に、裁判所が不公平に訴訟を決定しているように見えるという懸念から、裁判所を公的サービスとして「監査」しようとした試みであったと、判事が指摘した最も懸念されるプロンプトを主張した。しかしスペーダー判事は、エリオットが本当に裁判所がAIを不適切に使用していると懸念していたのであれば、「皆が見て答えられるように、平易で目に見える言葉で書く自由があった」と示唆した。彼がテキストを隠したという事実は、「その悪意ある目的の証拠である」とスペーダー判事は述べた。 「システムが後で取り込む文書の中にコマンドを隠すことによって、提出者は、システムがシステムのオペレーターから来たかのように扱うように、自身の指示をそのストリームに密かに送り込もうとする」とスペーダー判事は述べた。「この場合、そのオペレーターは裁判所、そのスタッフ、または反対側の弁護士であると推定される。」 エリオットは昨日ロイターに対し、自身の意図は裁判所を監査することであったと主張したが、スペーダー判事はその議論を信用しなかった。むしろ、エリオットが「人間が彼の訴状を読んだ際に達成できなかった結果を達成しようとしていた」ことは判事にとって明らかだった。 エリオットがジョークのつもりだったと主張したプロンプトに関して、スペーダー判事は、エリオットが裁判所に真剣に受け取ってほしい訴状に隠しジョークを含めるのは「論理に反する」と述べた。 隠されたメッセージは、被告を公正な戦いから排除する秘密の方法で裁判所とコミュニケーションを取ろうとしたため、スペーダー判事は制裁が正当であると判断した。しかし、彼は、AIシステムが彼の主張が鉄壁であると確信させたと思われる、訴訟代理人を務めた原告であるエリオットに同情したようで、金銭的罰金を命じることはしなかった。代わりに、判事はエリオットが将来の電子申立てを禁止し、彼に紙の申立てを提出させることは司法へのアクセスを変えるものではないが、裁判所の電子申立てシステムの繰り返し濫用を防ぐだろうと宣言した。 訴訟代理人がチャットボットを誤って使用する スペーダー判事は、この攻撃が求職活動など、AIが主にレビューする履歴書にテキストを隠すといった他の分野で一般的であるため、人々が裁判所の判決を左右するためにプロンプトインジェクションを使い始めるのは「驚くことではない」と述べた。この戦術は今や「どこにでもある」と彼は言い、裁判所はより多くの訴訟提出者が訴状に敵対的なAI指示を忍び込ませることに警戒すべきだと述べた。 エリオットの事件は、裁判制度におけるプロンプトインジェクションの米国初の事例のようだが、スペーダー判事は、ブラジルでAIを使用していた裁判所で2人の弁護士が同じ攻撃を使用した事例を指摘した。その事件では、弁護士は推定16,000ドルの金銭的制裁を受けたという。 しかし、これらの攻撃は、たとえ判事が書類を自分の目でレビューしていなくても、成功していないようだ。ブラジルのAIシステムは、処理される前に隠されたテキストを検出した、とスペーダー判事は指摘した。そしてエリオットの事件では、プロンプトは「人間が実際に機械が生成したものを見た瞬間に、すべての設定で露呈した」と述べた。 プロンプトインジェクション攻撃は現時点では効果がないように見えるが、スペーダー判事は、裁判所が最初にAIによる司法システムへの混乱に対処していた際に「我々が想定していた危険の中にはなかった」と警告した。コネチカット州では、多くの裁判所システムと同様に、これまでの焦点は、幻覚的な引用や偽造された引用など、裁判所への信頼を損なうAIの出力の監視であり、プロンプトインジェクションのような入力ではない。 エリオットの事件は、技術とその誤用が急速に進歩していることを示しているため、裁判所はプロンプトインジェクションに関する規則を作成する必要があるだろう、とスペーダー判事は示唆した。そうでなければ、弁護士は、自身のクライアントが知らないうちにプロンプトインジェクションを使用して訴状を操作していることに気づくかもしれない、とスペーダー判事は警告した。 スペーダー判事にとって、エリオットの失敗したプロンプトインジェクション攻撃から学ぶべき教訓があり、それは「この事件をはるかに超える」と彼は考えている。 エリオットは、訴訟代理人として法的専門家の助けなしに訴訟を構築した後、プロンプトインジェクションに頼ったようだ。スペーダー判事は、このような使用は最近の訴訟代理人の間で広まっていることを認めたが、法廷での経験が少ない人々は、自身の訴訟を損なう方法でチャットボットを使用しているように見える、と彼は示唆した。 スペーダー判事が説明したように、訴訟代理人がチャットボットに真実を尋ねたり、反対の議論を進めたりすることなく、自分の立場を擁護するのを助けるように依頼することで、議論を逆方向に構築してしまうことが頻繁に起こる。これは「この技術の真の危険であり、裁判官がしばしば目にするもの」であり、チャットボットの迎合主義は、いかなる反対の判決にもかかわらず、訴訟提出者を自身の主張に固執させる、と彼は述べた。 エリオットの事件では、自身の主張を熱心に擁護することは、裁判所に自分に同意するよう強制するためにプロンプトインジェクションに頼ることを意味した。 「作者に同意するように促された議論は、結局のところ、作者自身にとっても不誠実である」とスペーダー判事は述べた。「これらのツールを使用する人々は、それらを推進するのと同じくらい、立場をテストするように依頼しなければならない。」