AI・機械学習
Show HN: Pac-Bench – モデルはPac-Manゲームをどれだけうまくワンショットできるか?
Show HN: Pac-Bench – How well can models one-shot a Pac-Man game? (jonclegg.github.io)
要約
このプロジェクトは、単一のプロンプトからPac-Manゲームを生成する能力をモデルごとにベンチマークする「Pac-Bench」です。各モデルは一度だけ(ワンショット)試行でき、追加のプロンプトや修正は許されません。結果はHTMLページとして生成され、モデルのワンショットでのゲーム生成能力を評価します。
全文翻訳
Harness+modelsが単一のプロンプトからPac-Manゲームをどの程度うまく作成できるかをベンチマークします。
「HTMLページ1枚でPac-Manゲームを作成してください」
各モデルは一度だけ試行します。フォローアップのプロンプトや修正はありません。