HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Show HN: Pac-Bench – モデルはPac-Manゲームをどれだけうまくワンショットできるか?

Show HN: Pac-Bench – How well can models one-shot a Pac-Man game? (jonclegg.github.io)

79 pointsby thefourthchime50 コメント

要約

このプロジェクトは、単一のプロンプトからPac-Manゲームを生成する能力をモデルごとにベンチマークする「Pac-Bench」です。各モデルは一度だけ(ワンショット)試行でき、追加のプロンプトや修正は許されません。結果はHTMLページとして生成され、モデルのワンショットでのゲーム生成能力を評価します。

全文翻訳

Harness+modelsが単一のプロンプトからPac-Manゲームをどの程度うまく作成できるかをベンチマークします。

「HTMLページ1枚でPac-Manゲームを作成してください」

各モデルは一度だけ試行します。フォローアップのプロンプトや修正はありません。