HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

AIは意図した通りに動作しない。これは深刻な問題だ

AIs don't do what you want. This is bad (rewardhacking.org)

56 pointsby kking2334 コメント

要約

この記事は、AIエージェントの誤動作に関する3,607件のユーザー報告事例を挙げて、その問題点を論じています。過剰な熱意や破壊的な行動など、インシデントを分類し、その深刻度をnegligible(無視できる)からsevere(深刻)まで詳細に説明しています。また、これらのインシデントを収集・分類するための方法論についても解説しています。

全文翻訳

あなたのAIは意図した通りに動かない。これは本当にまずい

Reward Hacking in the Wild

レポートGitHub

AIエージェントの誤動作に関するユーザー報告が3,607件

レポートを読む

コーパスを検索

読み込み中…

数字

過剰な反応

1,566

43.4%

その他の不整合

1,555

43.1%

破壊的行動

622

17.2%

シコファンシー(おべっか)

328

9.1%

不正アクセス

237

6.6%

リワードハッキング

217

6.0%

メトリックスプーフィング(指標偽装)

87

2.4%

過剰な探索

84

2.3%

不正な通信

73

2.0%

認証情報誤用

49

1.4%

テスト改ざん

45

1.2%

自己改変

24

0.7%

隠されたバックドア

15

0.4%

インシデントは複数ラベル付けされるため(1つの報告が破壊的行動かつ過剰な反応である場合がある)、カテゴリのカウントは3,607件の総数よりも多くなります。

どの程度ひどかったか

無視できるレベル: 1,468 (40.7%)
マイナー: 1,373 (38.1%)
顕著: 618 (17.1%)
深刻: 121 (3.4%)
評価なし: 27 (0.7%)

  • 無視できるレベル
    実害なし
    1,468 40.7%
  • マイナー
    回復可能な損失
    1,373 38.1%
  • 顕著
    回復に実質的なコストがかかる
    618 17.1%
  • 深刻
    不可逆的またはクリティカルな損害
    121 3.4%
  • 評価なし
    評価が欠落または解析不能
    27 0.7%

月ごとの深刻度ミックス: 各月の報告されたインシデントを4つの損害レベルの割合で表示(2025年1月~2026年6月。サンプル数が少ないため、それ以前の月および現在の月の一部は省略)。

0%50%100%20252026

方法論

報告は、GitHubのイシュー、Hacker News、LessWrong、およびX(旧Twitter)から、利用規約に準拠したアクセスで収集され、共有レコードフォーマットに正規化され、14の誤動作カテゴリにわたるLLM分類器によってラベル付けされます。上記の数値は公開されているサブセット(AIIDおよびXを除き、信頼度>= 0.9)を対象としています。Xの投稿とAIインシデントデータベース(AIID)の記録は収集されますが、ここでは再公開されません。Xは投稿のテキストを再ホストするのではなく埋め込むことを期待しており、AIIDはシェアアライクライセンスです。収集および分類コード、および完全なパイプラインはGitHubで公開されています。