MUDはLLMを評価できるか？ 99ドルの概念実証

友人たちと書いた論文の著者です。私たちは、1970年代に登場したテキストベースのゲームであるMUDが、LLMを評価するために使用できるのかという疑問から、この実験を行いました。過去数ヶ月間、夜間や週末を利用して、個人のコンピューターでAPIクレジット約99ドルを費やしてこの実験を実行し、論文を執筆しました。 私たちの実験では興味深いリーダーボードができましたが、それ以上に驚きだったのは、各LLMの測定結果でした。私たちは、4つの行動次元で各LLMを採点しましたが、そのうち2つはLLM分類器に大きく依存していました。この2つを除外すると、最先端のモデルの1つが6つ順位を落としました。次に、分類器を2番目の評価者と比較したところ、モデル間の合意率は85%から22%の範囲でした。集計されたカッパ値（プローブ検出で0.04）は、どのモデルにノイズが影響しているかを示さずに、インストゥルメントがノイズが多いことを示していました。最も影響を受けたモデルは、分類器と同じモデルファミリーを共有していました。これはバイアスの証明ではありませんが、私たちが記録した観察の1つです。 LLM評価者の信頼性が低いことは認識しており、当初の意図ではありませんでしたが、これが最も興味深い発見となりました。2つの評価者間の乖離は、他の評価者ベースのベンチマークにも一般化できる発見だと考えています。 これはあくまで概念実証であり、検証済みのベンチマークではないことを強調します。論文には、モデルごとの実行回数が50回のみ、上位モデル間の信頼区間の重複、人間の評価者がいないこと、非常に小さな環境など、詳細な制限事項のセクションを用意しました。 私たちがやったことはすべて公開されており、論文とデータはCC BY 4.0、コードはMITライセンスです。論文、トランスクリプト、コード、および完全なAPI請求書のエクスポートは、https://doi.org/10.5281/zenodo.21386663 で見つけることができます。 問題点を見つけた場合は、共有している理由ですので、お知らせください。現在フェーズ2を設計しており、可能な限り堅牢にしたいと考えています。人間のベースライン、複数の評価者、より多くの目的、より大きな環境などを検討しています。