HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

MUDはLLMを評価できるか? 99ドルの概念実証

Can a MUD evaluate LLMs? A $99 proof of concept (cruciblebench.ai)

96 pointsby Davisb13561 コメント

要約

著者は、1970年代から存在するテキストベースのゲームであるMUDを使用して大規模言語モデル(LLM)を評価する実験を行った。この実験では、LLMの評価にLLM分類器を使用したが、その信頼性に疑問が生じ、異なる評価者間での一致率が低く、特に分類器と同じモデルファミリーのLLMが影響を受けやすいことが判明した。これは概念実証であり、検証済みのベンチマークではないが、他の評価者ベースのベンチマークにも応用できる知見が得られた。

全文翻訳

友人たちと書いた論文の著者である私は、MUD、つまり1970年代に起源を持つテキストベースのゲームがLLMを評価できるのかという疑問から、この研究に着手しました。私たちは過去数ヶ月間、夜間や週末を利用して、個人用コンピュータと約99ドルのAPIクレジットのみでこの実験を実行し、論文を執筆しました。

私たちの実験では、興味深いリーダーボードが作成されましたが、それ以上に驚くべきだったのは、各LLMの測定結果でした。私たちは各LLMを4つの行動次元でスコアリングしましたが、そのうち2つはLLM分類器に大きく依存していました。これらの2つを除外すると、最先端のモデルの1つが6位も後退しました。次に、この分類器をセカンドジャッジ(別の評価者)と比較したところ、モデル間の合意率は85%から22%の範囲でした。集計されたカッパ値(プローブ検出で0.04)は、どのモデルにノイズが影響しているかを示さずに、測定器がノイズが多いことを示唆していました。最も影響を受けたモデルは、分類器と同じモデルファミリーを共有していました。これはバイアスの証拠ではありませんが、私たちが記録した観察の1つです。

LLMジャッジが信頼できない可能性があることは認識しており、当初の意図ではありませんでしたが、これが最も興味深い発見となりました。2つのジャッジ間の乖離は、他のジャッジベースのベンチマークにも一般化できる発見だと考えています。

これはあくまで概念実証であり、検証されたベンチマークではないことを強調します。論文には、モデルごとの実行回数が50回のみ、上位モデル間の信頼区間の重複、人間の評価者の不在、非常に小さな環境など、徹底した制限事項のセクションを用意しました。

私たちが実施したすべてのことは公開されており、論文とデータはCC BY 4.0、コードはMITライセンスです。論文、トランスクリプト、コード、および完全なAPI請求書のエクスポートは、https://doi.org/10.5281/zenodo.21386663 で見つけることができます。

問題点を見つけた場合は、お知らせください。それが私たちがこれを共有している理由です。現在、フェーズ2を設計しており、可能な限り堅牢なものにしたいと考えています。人間のベースライン、複数のジャッジ、より多くの目的、より大きな環境などを検討しています。