AI・機械学習
Show HN: Jevman – AI決定モデルがパックマンをプレイ
Show HN: Jevman – AI decision models play Pac-Man (opper.ai)
要約
OpenAIの決定エンドポイントやCloudflareのClefなどの最新AIモデルの性能をテストするため、パックマンをシンプルな意思決定のベンチマークとして使用しました。Jev 1.13、Kev、Clef、GPT-6 Luna、Layaといったモデルがボットのゴーストと対戦する様子を記録し、リーダーボードを公開。リポジトリはオープンソース化されており、誰でも自分のモデルを登録してランキングに参加できます。また、ユーザー自身がパックマンとしてプレイし、AIモデルと対戦することも可能です。
全文翻訳
OpenAIが決定エンドポイントをローンチし、Cloudflareが先週Clefをローンチし、他にも多くのJevの代替が登場しています。
人気のモデルをテストしたいと考え、パックマンはシンプルで高速な意思決定のベンチマークとして適していると思いました。
そこで、Jev 1.13、Kev、Clef、Clef Flash、GPT-6 Luna、Layaにパックマンをボットのゴーストと対戦させました。
これらのモデルの低レイテンシはリアルタイムプレイを可能にします。各モデルに100ゲームをプレイさせ、リーダーボードを公開し、リポジトリをオープンソース化したため、誰でも自分のモデルを実行してランキングに参加できます。リポジトリへのリンクはこちらです。
https://github.com/opper-ai/jevman-benchmark/blob/main/CONTRIBUTING.md#benchmark-your-own-model
ゲームに参加して自分でパックマンとしてプレイすることもできます。ゴーストはモデルで、モデルの組み合わせや、Jev、Kev、Clefなどのいずれかになります。1ゲームあたりのコストは約2セントで、すべてのモデルは私のスタートアップであるOpperを通じて実行されます。試してもらうために、全員に無料クレジットを追加しました。
プレイするのはかなり楽しく、Jevのハイスコアを打ち負かすのは驚くほど難しいです。フィードバックを歓迎します!