DishwasherBench – フロンティアモデルは食洗機を積み込めるか？

DishwasherBench DishwasherBenchは、現実の食洗機を物理シミュレーションで再現した食器積み込みゲームであり、ブラウザで人間もプレイ可能な言語モデルのベンチマークのために構築されました。ゲーム内はSpotlessと呼ばれ、パッケージは@spotless/*と命名されています。プレイヤーは、剛体物理シミュレーションを備えたBosch SMV4HAX40Gの3Dモデルに食器を積み込みます。その後、Eco 50プログラムでの洗浄がシミュレートされ（ジェット、水滴、排水、汚れ、洗剤の化学反応）、プレイヤーは洗浄された各アイテムに対してポイントを獲得します。最初のレベル以降は、すべてのアイテムが収まらないため、プレイヤーは何を積み込むか、どのように積み込むかを選択する必要があります。これはバージョン0.1.0の初期リリースです。シミュレーションは、実際の機械での1回のテスト洗浄に基づいて調整されています。スコアは、プレイヤーがうまく積み込めたか、カップ、グラス、ポットを口を下にして置いたかを示します。まだ、皿やカトラリーが洗浄されるように積み付けられたかどうかは示しません。「スコアが信頼できるもの」のセクションにその詳細が記載されています。今日確かなこと：積み込みは決定論的な剛体物理シミュレーションであり、各エピソードは誰でも再生によって検証可能であり、同じゲームがブラウザで人間によって、またMCPを介してモデルによってプレイされます。不確かなのは、洗浄スコアが皿やカトラリーをどのように評価するかです。Composoによって構築・保守されています。docs/以下の多くのドキュメントは作業記録としてそのまま保持されており、docs/README.mdにその読み方が説明されています。 ブラウザで最初のレベルをロードする様子。ディナープレートが下段バスケットの上にあり、「Suggest spots」は空きスペースを、最も良いものから順に番号付けしています。右側のパネルには、プログラムが送信する正確なポーズが表示されます。 目次 今日機能すること スコアが信頼できるもの 要件 クイックスタート ブラウザでプレイする スクリプトプレイヤーを実行する モデルを実行する これまでの結果 仕組み 制限事項とロードマップ どこにあるか 貢献 ライセンス、通知、免責事項 引用方法 今日機能すること 機械。オーナーの写真とテープ測定値から得られたBosch SMV4HAX40Gのデータとジオメトリ（packages/machine）：両方のバスケットとそのピン、棚、レスト、スプレーアーム、およびEco 50プログラム。 積み込み。アイテムと汚れのカタログ、決定論的な剛体積み込み（Jolt）、およびゲームのアクションとクエリ（place、remove、set_rack、list_slots、check_loadなど）を持つセッションレイヤー。 洗浄。2層でのシミュレーション。公式層はスコア付きの結果を提供し、高速層はより粗いプレビューです。最も大きいレベルのコールドウォッシュは、参照マシン（Apple M3 Pro、18 GBのMacBook Pro）で3回のうちベストで4.9分、別のジョブが並行して実行されている場合は5〜8.5分かかります。難易度順に番号が付けられた7つのレベルのコース（docs/benchmark/levels.md）、それぞれに3つのスクリプトプレイヤー（慎重、不注意、ランダム）の保存された参照ロードがあります。6つは参照ロードでベンチマークのゲートを通過します。チュートリアルは通過しません（その不注意なロードは失点が少なすぎます）。 3つのプレイ方法。ページ（apps/web）、エージェント用のMCPサーバー（packages/mcp）、およびスクリプトプレイヤーとモデルを実行し、検証済みのエピソードレコードを書き込むハーネス（packages/bench）。 チェック。文献からの48の積み込み現象を、実行可能な洗浄ペアとして（docs/research/standards.mdセクション9）、および実際の洗浄の記録に対してシミュレーションをスコアリングし、パラメータを適合させ、候補テスト洗浄をランク付けするキャリブレーションツール（保存されたランキングは以前のパラメータセットのものであり、再度実行されていません）。 2つのモデルがプレイしました。OpenAI互換のエンドポイントを介して：公式層での3つのレベルに対する6つのエピソード（これまでの結果）。ベースラインのために人がプレイしたことはなく、AnthropicのAPIのパスはライブAPIに対して実行されていません。 スコアが信頼できるもの すべての数値とその出所に関する完全な説明はdocs/validation/README.mdにあります。要するに、シミュレーションは4つの点でチェックされています。 実際の機械での1回のテスト洗浄。Eco 50で4つの卵黄プレート。結果がプレートの順序と残留物の形状を正しく把握する前に書かれた予測であり、2つのオーブンドライプレートに残った量の点で10〜30倍楽観的すぎました。その後のキャリブレーションで1つの数値が変更されました：ポンプが作動する長時間浸漬の割合が0.5から0.8になりました（0.59から1の間）。予測が最初になったという記録は、公開されていないプライベート開発履歴にあり、このリポジトリからその順序をチェックすることはできません。 公開されたクラスの姉妹機（Bosch SMV6ECX51E、エコプログラム、参照洗剤）による手段：カトラリーはスコアポイントの0.1以内、陶器は0.2低く、ガラスは0.1〜0.5低いです。これは適合であり、予測ではありません。これらの数値が出るように汚れと化学のデフォルトが設定されました。 文献に証拠がある48の積み込み現象：17が合格、21がサイズまたは符号で不合格、1が欠陥シナリオ、9が構築されていないメカニズムを必要とします。 独自のブックキーピング。水は正確に保存され、同じ入力は1台のマシンで同じ結果をもたらします。高速層は、標準的な13人分のロードの判定の89％、およびレベルの判定の97％で公式層と一致します。 今日のスコアは、プレイヤーがうまく積み込めたか、カップ、グラス、ポットを口を下にして置いたかを示します。まだ、皿やカトラリーが洗浄されるように積み付けられたかどうかは示しません。 証言が信頼できるもの 証言が信頼できないもの グラス、マグカップ、またはポットが口を上または横にして置かれている場合：洗浄されずに残ります。 倒れたり、互いに寄りかかったりしているプレート：洗浄されますが、これはほとんど間違っている可能性が高いです。 洗剤トレイがタンパク質系の汚れ（卵、ヨーグルト、ひき肉、牛乳）で詰まっている場合。 アイテムによってスプレーアームが静止している場合：その上のプレートは証言を維持します。 ボウルまたはスプーンが実際に別のものの中にある場合。 カトラリーが1つのセルに詰め込まれ、積み込み物理学が通常ネストするスプーン：洗浄されます。 卵黄やその他のタンパク質系の汚れが、洗浄の閾値から遠く離れたアイテムについて。 閾値に近いアイテム；紅茶、コーヒー、ワイン；ガラスに乾燥した牛乳；洗剤なしでも洗浄される脂肪。 慎重なロードと不注意なロードの間のギャップの約4分の3は、間違った向きに入れられた空のピースです。それらのピースの汚れ（スムージー、トマトスープ、ケチャップ、ワカモレ）は、テスト洗浄でチェックされていない文献の値に基づいています。 全くモデル化されていないもの：乾燥、ガラスのシミや膜、ジェットによって動かされたアイテム、および洗浄されたピースの上に沈殿する汚れ。 Eco 50のみがキャリブレーションされ、スコアリングされています。 要件 DishwasherBenchは1台のマシンで実行されています：macOS 27上のMacBook Pro（Apple M3 Pro、18 GB）。このリポジトリのすべての数値はこのマシンで測定されました。LinuxとWindowsはテストされていません。それらを排除するものは何も知られていません。そこでの状況の報告は歓迎されます（docs/ROADMAP.md）。 Node 20.19以降（20ライン）（.nvmrcは20.19.0をピン留め）。古いNodeはインストール時に拒否されます。Node 22は試されていません。 pnpm 9（package.jsonは9.4.0を名前付け。corepack enableでピックアップ）。 Dawnが開けるGPU。洗浄は、Node（webgpuパッケージ、バージョン0.6.2、Dawnのプリビルドバイナリを運ぶ）からWebGPUを介してGPU上に水をトレースします。参照マシンではMetalです。このバージョンは、同じハードウェアのmacOS 14.7ではロードされませんでした。 Google ChromeまたはChromium、エージェントが送信される画像とページを駆動するスクリプトのため。ハーネスは通常のインストール場所でそれを探します。別のプログラムを選択するには、SPOTLESS_CHROMEをプログラムのパスに設定します。 手動でプレイするにはデスクトップブラウザのみが必要で、スクリプトプレイヤーは不要です（--no-render）。 クローンには約680 MB（ダウンロード約290 MB。ファイル自体は約385 MBで、主に写真、スクリーンショット、エピソードレコード）、node_modulesには約420 MBが必要です。 公式ウォッシュレベルには1〜2 GBのメモリ（標準13人分のロードでは2.4 GBを確認）、およびポート8787（ゲームサーバー）と8788（MCPサーバー）の空きポートが必要です。 結果は1台のマシンでビットごとに再現可能です。マシン、オペレーティングシステムビルド、およびwebgpuパッケージのバージョン間では、最後のビットが異なる場合があります。そのため、eve