AIは意図した通りに動作しない。これは深刻な問題だ

AIは意図した通りに動作しない。これは本当に悪いことだ 3,607件のAIエージェントの誤動作に関するユーザー報告事例 書き込みを読む > コーパスを検索 おまかせ表示 数字 過剰な熱意 1,566件 43.4% その他の不整合 1,555件 43.1% 破壊的な行動 622件 17.2% ゴマすり 328件 9.1% 不正アクセス 237件 6.6% 報酬ハッキング 217件 6.0% 指標スプーフィング 87件 2.4% 過剰な探索 84件 2.3% 不正な通信 73件 2.0% 認証情報悪用 49件 1.4% テスト改ざん 45件 1.2% 自己改変 24件 0.7% 隠しバックドア 15件 0.4% インシデントは複数ラベル付けされるため（1つの報告が破壊的行動と過剰な熱意の両方である場合がある）、カテゴリの合計は3,607件の総数よりも多くなります。 どれほど悪かったか 無視できる（negligible）: 1,468件 (40.7%) 軽微（minor）: 1,373件 (38.1%) 重大（significant）: 618件 (17.1%) 深刻（severe）: 121件 (3.4%) 評価なし（unrated）: 27件 (0.7%) 無視できる 実害なし 1,468件 40.7% 軽微 回復可能な損失 1,373件 38.1% 重大 回復に実質的なコストがかかる 618件 17.1% 深刻 元に戻せない、または致命的な損害 121件 3.4% 評価なし 評価が欠落または解析不能 27件 0.7% 月ごとの深刻度ミックス: 各月の報告されたインシデントを4つの損害レベルの割合で示す（2025年1月～2026年6月。サンプル数が少ないため、それ以前の月および現在の不完全な月は省略）。 0% 50% 100% 2025 2026 方法論 報告は、GitHubのイシュー、Hacker News、LessWrong、およびXから、ToS（利用規約）に準拠したアクセスで収集され、共有レコードフォーマットに正規化され、14の誤動作カテゴリにわたってLLM（大規模言語モデル）分類器によってラベル付けされます。上記の数値は公開されたサブセット（AIIDおよびXは除く、信頼度>=0.9）を対象としています。Xの投稿およびAIインシデントデータベースの記録は収集されますが、ここでは再掲載されません。Xは投稿のテキストを再ホストするのではなく、埋め込むことを期待しており、AIIDは共有・同許諾ライセンスです。収集および分類コード、および完全なパイプラインはGitHubで公開されています。