HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

裁判所がAIを使用していると疑い、男性が訴訟で勝訴するために訴状にプロンプトを注入

Suspecting court of using AI, man injected prompts in filings to try to win case (arstechnica.com)

22 pointsby jnord15 コメント

要約

米国で初めて、訴訟で勝訴するために、裁判所がAIを使用していると疑った男性が、訴状に人間には見えないがAIには読めるように指示(プロンプト)を隠して注入する試みを行った。この試みは失敗に終わったが、裁判官はこれを「危険な」前例とみなし、同様の悪質な戦術が今後増える可能性を警告している。この男性は、AIによる訴訟の判断に不公平さを感じ、自身の主張をAIに有利に進めるよう仕向けようとしたが、裁判所はAIを使用しておらず、最終的に訴訟濫用として制裁を受けた。

全文翻訳

AIが裁判に使われていると疑い、男性が訴訟で勝つために提出書類にプロンプトを注入

FAFO

裁判官は、本人訴訟の原告がチャットボットを誤用し、窮地に立たされていると警告。

ある裁判官は、米国で原告が訴訟で勝訴するために、人工知能システムのみが読み取れるように裁判書類にテキストを隠そうとした、おそらく初めての試みを特定した。

先週公表された決定で、コネチカット州のウォルター・スペーダー・ジュニア判事は、医療提供者が記録へのアクセスを不当に拒否していると主張した男性の訴訟において、隠されたテキストは影響を与えなかったことを確認した。スペーダー判事によると、裁判所は提出書類を実質に基づいて検討したが、それでもこの試みは「危険な」前例を設定した。AIツールが裁判システムでより一般的になるにつれて、米国裁判所がこの悪意のある戦術を目にするのはこれが最後ではないだろう。

提出書類の裁判所による読み取りに影響を与えている可能性のあるAIシステムを混乱させようと、秘密の指示は「人間には見えないようにフォーマットされ、文書のテキストを読むあらゆるソフトウェアには完全に判読可能であるように」されていた、とスペーダー判事は述べた。問題のテキストは、文書をレビューするAIシステムに対し、テキスト出力が原告の主張と一致し、以前の裁判所の却下を無視し、原告が望むような救済が続くように指示するものだった。

[画像:隠されたテキストを含む裁判書類のスクリーンショット]

スクリーンショット:隠されたテキストを含む裁判書類。

出典:スペーダー判事の命令より

極小のフォントサイズに縮小され、白い背景に白い文字で表示されたこのテキストは、プロンプトインジェクションの試みであったように見え、原告のマシュー・エリオットは、以前に提示した主張が却下された後、裁判所の好意を向けようとしたと思われる。

計画はうまくいかなかったが、エリオットは、裁判所が最終的に「深刻な訴訟の濫用」と判断したものに対して罰金が科される可能性があると警告した後も、隠しテキストを提出書類に追加し続けたため、 modest な制裁を受けた。

エリオットは裁判所に対し、これらの後のプロンプトは「ジョーク」を意図したものであり、NosferatuのYouTube動画へのリンク、簡単なメッセージ「こんにちは :) 私が見えないといいな」、そして「ナンセンス」なメッセージ「ショーンに私のレ・ガーブを送ると伝えてくれ!!!! ハハハ、みんなこれわかるか???? アハハ」が含まれていたと述べた。

スペーダー判事は、「この(制裁)審問の通知を受けた後も、原告が新しい訴状にメッセージを隠し続けたという事実は驚くべきことだ」と述べた。

「他の多くの裁判システムとは異なり」、コネチカット州司法部はAIを使用して提出書類をレビューまたは決定することはない、とスペーダー判事は述べた。そのため、裁判所のAIシステムがエリオットのプロンプトのいずれかを、エリオットの提出書類の読み方に関する裁判所からの指示として混同する実際のリスクはなかった。

エリオットは自身の弁護で、裁判官が指摘した最も懸念されるプロンプトは、裁判所が不当にAIに訴訟を決定させているように見えたため、公共サービスとして裁判所を「監査」しようとする試みであったと主張した。

しかし、スペーダー判事は、エリオットが本当に裁判所が不当にAIを使用していると懸念していたのであれば、「誰にでも見えて回答できる、平易で明白な言葉で書く自由があった」と示唆した。テキストを隠したという事実は、「その悪意のある目的の証拠である」とスペーダー判事は述べた。

「システムが後に取り込む文書の中にコマンドを隠すことによって、提出者は、そのシステムがシステムのオペレーターから来たかのように扱うように、自身の指示をそのストリームに密輸しようとする」とスペーダー判事は述べた。「この場合、そのオペレーターは裁判所、その職員、または反対尋問の弁護士であると推定される。」

エリオットは昨日Reutersに、自身の意図は裁判所を監査することであったと主張したが、スペーダー判事はその議論を信憑性があるとは見なさなかった。むしろ、エリオットは「人間が法律に精通した上で彼の訴状を読んだときに達成できなかった結果を達成しようとしていた」と判事には明らかだった。エリオットが冗談のつもりだったと主張したプロンプトについて、スペーダー判事は、エリオットが裁判所に真剣に受け取ってほしい提出書類に隠しジョークを含めるのは「論理に反する」と述べた。

隠されたメッセージは、被告を公正な戦いから排除する秘密の方法で裁判所とコミュニケーションを取ろうとしたため、スペーダー判事は制裁が正当であると裁定した。

しかし、彼は、AIシステムによって自身の主張が鉄壁であると確信させられたと思われる本人訴訟の原告であるエリオットに同情したようで、金銭的罰金を命じることはしなかった。代わりに、判事はエリオットの将来の電子申立てを禁止し、紙での提出を要求することは彼の司法へのアクセスを変えるものではないが、裁判所の電子申立てシステムの繰り返し誤用を防ぐだろうと宣言した。

本人訴訟の原告はチャットボットを誤用している

スペーダー判事は、この攻撃が求職活動など他の分野で非常に一般的であるため、人々が裁判所の判決を左右しようとプロンプトインジェクションを使用し始めるのは「驚くことではない」と述べた。この戦術は今や「どこにでもある」と彼は言い、裁判所はより多くの訴訟原告が提出書類に敵対的なAI指示を忍び込ませることに警戒すべきだと述べた。

エリオットの事件は裁判システムにおけるプロンプトインジェクションの米国初の事例のようだが、スペーダー判事は、ブラジルでAIを使用していた裁判所で2人の弁護士が同じ攻撃を使用した事例を指摘した。その事件では、弁護士は、約16,000ドルの金銭的制裁を受けたという。

しかし、たとえ判事が自分の目で文書をレビューしていない場合でも、これらの攻撃は成功していないようだ。ブラジルのAIシステムは、処理される前に隠されたテキストを検出した、とスペーダー判事は指摘した。そしてエリオットの事件では、プロンプトは「人間が実際に機械が生成したものを見た瞬間に、すべての設定で露呈した」とスペーダー判事は述べた。

プロンプトインジェクション攻撃は現時点では効果がないように見えるが、スペーダー判事は、裁判所が最初にAIが司法システムを混乱させる問題に取り組んでいたときに「我々が予期していなかった危険の中にはプロンプトインジェクションはなかった」と警告した。コネチカット州では、多くの裁判システムと同様に、これまでの焦点は、偽の引用や捏造された引用など、裁判所への信頼を損なうAIの出力の監視であり、プロンプトインジェクションのような入力ではなかった。

スペーダー判事は、エリオットの事件が技術とその誤用が急速に進歩していることを示しているため、裁判所はおそらくプロンプトインジェクションに関する規則を作成する必要があるだろうと示唆した。そうでなければ、弁護士は、自身のクライアントが知らないうちにプロンプトインジェクションを使用して裁判書類を操作する可能性があるとスペーダー判事は警告した。

スペーダー判事にとって、エリオットの失敗したプロンプトインジェクション攻撃から学ぶべき教訓があり、それは「この事件をはるかに超える」と彼は考えている。

エリオットは、法律の専門家の助けなしに本人訴訟として自身の事件を構築するためにAIを使用した後、プロンプトインジェクションに転向したと思われる。スペーダー判事は、このような利用は最近の本人訴訟原告の間で広く行われていることを認めたが、法廷での経験が浅い人々は、自身の事件を損なう方法でチャットボットを使用しているように見えると示唆した。

スペーダー判事が説明したように、頻繁に起こるのは、本人訴訟の原告が議論を逆方向に構築し、チャットボットに真実を尋ねたり、反対の議論を進めたりすることなく、自身の立場を擁護するのを助けるように求めていることだ。これは「この技術の真の危険であり、裁判官がしばしば目にするものだ」とスペーダー判事は述べた。チャットボットの迎合は、原告の議論を強化し、反対の判決にもかかわらず、原告を自身の議論に固執させる。

「作者に同意するように促された議論は、結局のところ、作者自身に対しても不誠実である」とスペーダー判事は述べた。「これらのツールを使用する者は、それを推進するのと同じくらい、その立場をテストするように求める必要がある。」

[画像:アシュリー・ベランジャーの写真]

アシュリーはArs Technicaのシニアポリシーレポーターで、新しいテクノロジーとポリシーの社会的影響を追跡することに専念しています。彼女はシカゴを拠点とするジャーナリストで、20年の経験があります。

120件のコメント

  1. [画像:最も読まれた記事のリスト画像:インターネットが8件の侵害されたTLS証明書の発見後、高レベルの警戒態勢に]