HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

AIラボはペリカンマクシングしているのか?

Are AI Labs Pelicanmaxxing? (dylancastillo.co)

611 pointsby dcastm234 コメント

要約

AIモデルの性能を測る非公式ベンチマークとして有名な「自転車に乗るペリカン」のSVG生成タスクにおいて、AIラボがこのベンチマークに特化してモデルを最適化(ペリカンマクシング)しているかを検証した実験結果を報告する記事です。7つの最先端モデルで1,008個のSVGを生成・評価した結果、ペリカンや自転車の描画能力、あるいはペリカンと自転車の組み合わせにおいて、特定のベンチマークに特化した最適化の兆候は見られませんでした。

全文翻訳

AIラボはペリカンマクシングしているのか?

過去数年間、サイモン・ウィリソンは、主要なLLMのリリースごとに同じプロンプトでテストしてきました。「ペリカンが自転車に乗っているSVGを生成してください」というものです。

これは当初、おふざけのベンチマークでしたが、AI分野で最も有名な非公式ベンチマークの一つとなりました。サイモンの「自転車に乗るペリカン」の結果は、AIラボからの新リリースを発表するHacker Newsのスレッドで、しばしば最も多くの票を獲得するコメントの一つとなります。

このベンチマークは今や有名になり、その有用性や、AIラボがそれにベンチマークマクシング[1]しているのではないかという議論がたくさん あります。議論 数十億、あるいは数兆ドルがかかっている状況で、良い結果が出ればユーザーを説得するのに役立つなら、モデルを少しだけペリカンマクスしたくなる誘惑に駆られないでしょうか?

それを知りたいと思い、小規模な実験を企画しました。7つの最先端モデルで1008個のSVGを生成し、LLMジャッジで採点し、Claude Fable 5で分析を行いました。

この記事ではその結果を発表します。すべてのコードはGithubで公開されています。

テスト方法

8つの動物 × 6つの乗り物 = 48個のプロンプトのグリッドを作成しました。有名なプロンプトはそのうちの1つです。

  1. 動物: ペリカン、フラミンゴ、サギ、ラッコ、アライグマ、アンテロープ、クジラ、猫
  2. 乗り物: 自転車、一輪車、スケートボード、スクーター、飛行機、ボート

すべてのプロンプトは、サイモンのものとほぼ同じフレーズを使用し、動物と乗り物だけを変更しました。動物と乗り物の選択は厳密な方法で行われたわけではありませんが、元のプロンプトとの類似性と難易度の両方を変化させようとしました。フラミンゴとサギはペリカンに非常に似ています。猫、アライグマ、ラッコは簡単なケースです。アンテロープは難しく、クジラは可能な限り異なります。

OpenRouter経由で7つのモデルをテストしました:GPT-5.6 Terra、Claude Sonnet 5、Gemini 3.5 Flash、Grok 4.5、Qwen3.7-Max、GLM-5.2、DeepSeek V4 Proです。各プロンプトにつき3つのサンプルを、温度1.0で生成し、すべてのモデルに同じ推論努力を求めました。これにより、1008個のSVGが生成されました。

その後、各画像を3段階のパイプラインで処理しました。

  1. レンダリング: 各SVGをPNGにレンダリングします。モデルがSVGを返さないか、レンダリングに失敗した場合、有効なものが生成されるまで再生成し、試行回数を記録します。1008回の生成で、再試行はわずか11回でした。
  2. 判定: GPT-5.6 Lunaが、動物、乗り物、アクションの一貫性について、各画像に1〜5の評価を付けます。動物や乗り物を個別にランク付けする場合、その評価を使用します。画像ごとに1つの数値が必要な場合は、3つの平均値を使用し、これをジャッジスコアと呼びます。
  3. 特徴抽出: より詳細な分析のために、レンダリングされた各画像をGemini 3.1 Flash-Liteに渡し、認識された動物と乗り物、被写体の向き、そして自由形式のシーン要素のリストを記録しました。

私の仮説は、もしラボがベンチマークでトレーニングしていたなら、それはペリカンの行のスコアがその動物にふさわしい以上に高い、自転車の列のスコアがその乗り物にふさわしい以上に高い、あるいは特定のペリカンと自転車のセルのスコアが両方よりも高い、という組み合わせで現れるはずだというものです。

証拠1:自転車に乗るペリカンは別に良く見えない

採点する前に、最も簡単なテストは自分で画像を見ることです。ラボごとに、そのラボが描いたすべてを表示し、各画像のジャッジのスコアを下に表示します(クリックするとフルサイズで開きます)。

[画像: 各AIモデルが生成した「ペリカンが自転車に乗っている」SVGのグリッド。各画像の下にジャッジスコアが表示されている。]

分析を行う前に、自分で画像を見ました。何も目立つものはありませんでした。他の画像と比較して、ペリカンと自転車の画像が明らかに優れているというケースは見つかりませんでした。GLM-5.2の最初のサンプルでは、他のものよりわずかに優れているように感じましたが、そのバッチではスケートボードに乗る素晴らしいサギも生成されたので、確信を持って言えません。それ以外は、各モデルが描く他の画像と同じように見え、良いペリカンと自転車を描くラボは、他の動物と乗り物の組み合わせも上手に描いています。

しかし、このテストは再現が難しく、人によって意見が異なります。そのため、より定量的なものを求めて、上記の方法を採用しました。

証拠2:ラボはペリカンを描くのが上手ではない

動物ごとの平均動物評価を、すべてのモデルで集計した結果です。

[画像: 動物ごとの平均評価スコアの棒グラフ。ペリカンは6位。]

ペリカンは8種中6位で、猫、クジラ、アライグマ、サギ、アンテロープの後塵を拝しています。もしAIラボがベンチマークでトレーニングしていたなら、ペリカンが上位に来ると予想されるでしょう。しかし、それらは下半分に位置しています。7つのラボすべてが、ペリカンよりも猫、クジラ、アライグマを上手に描いています。

もちろん、ペリカンは猫よりも描くのが難しいだけかもしれません。ラボはペリカンでトレーニングしても、それらを簡単な動物の上に押し上げられない可能性があります。そのため、このランキングだけでは除外できません。証拠4で難易度を調整します。

証拠3:ラボは自転車を描くのが上手ではない

自転車はさらに悪く、2番目に悪い位置にあり、飛行機とほぼ同等で最下位です。

[画像: 乗り物ごとの平均評価スコアの棒グラフ。自転車は2番目に悪い位置。]

もしラボがベンチマークでトレーニングしていたなら、自転車がこのランキングの上位に来ると予想されるでしょう。しかし、そうではありません。ただし、ここでも同じ注意点が適用されます。自転車はスケートボードよりも描くのが難しい乗り物です。2つの同じ車輪、両方の車軸に届くフレーム、ハンドルバー、シート、ペダルが必要です。ジャッジは、自転車画像の3分の2で、これらのうちの1つが欠けているか接続されていないと指摘しています。自転車の画像をトレーニングしても、より単純な乗り物と比較して、うまく描けない可能性があります。

飛行機に関する注意点ですが、「plane」ではなく「airplane」を選ぶべきでした。モデルはしばしばそれを幾何学的に解釈します。動物が航空機に乗っているのではなく、平らな面に立っていると描きました。飛行機は、特徴抽出器が乗り物を見つけられなかった唯一の乗り物です(168画像中25画像、他の5つはゼロ)。そして、飛行機の画像の20%が乗り物評価で1または2のスコアでしたが、自転車は5%、ボート、スクーター、スケートボードはゼロでした。

証拠4:難易度を調整しても、ラボはペリカンと自転車を描くのが上手ではない

これら2つを組み合わせると、「自転車に乗るペリカン」は、48個中42位と、ランキングの下位に位置します。

[画像: 動物と乗り物の組み合わせごとの平均評価スコアのヒートマップ。ペリカンと自転車の組み合わせは下位。]

しかし、ここでも、一部の組み合わせは他の組み合わせよりも描くのが難しい可能性があります。

それを考慮するために、1008個すべての画像に固定効果回帰モデルを適用しました:スコア ~ ラボ + 動物 × 乗り物、それにペリカン、自転車、およびペリカンと自転車のセルに対する各ラボの相互作用項を追加し、ロバスト標準誤差を使用しました。動物 × 乗り物の項は、48個すべての組み合わせの固有の難易度を吸収します。相互作用は、平均的なラボと比較した、ベンチマーク固有の各ラボのブーストを、信頼区間とともに測定します。

結果は以下の通りです。

  1. 各ラボのペリカン効果(6つの乗り物すべてにおけるペリカンに対するラボのブースト)は、-0.11から+0.14のジャッジポイントの間に収まり、有意な値に近づくものはありませんでした(最小p値 = 0.25)。
  2. 各ラボの自転車効果(8つの動物すべてにおける自転車に対するラボのブースト)は、-0.18(p=0.11)のGrok 4.5から、+0.27(p=0.022)のGemini 3.5 Flashまでです。p < 0.05をクリアしたのはGeminiのみで、7つの結果は両方の方向に現れています。
  3. ペリカンと自転車のセルの効果(ラボのペリカンと自転車の効果に加えて、特定の組み合わせに対する追加のブースト)は、p < 0.05をクリアするものはありませんでした。最大のプラスはGLM-5.2の+0.35(p=0.12)で、これは前述したものです。これはこの実験で最も信号に近いものですが、依然として偶然の範囲内です。

以下は、各ラボの完全な推定値です。ペリカンマクシングしているラボは、その行全体でゼロラインの右側にドットが表示されるはずです。

[画像: 各ラボのペリカン効果、自転車効果、ペリカン・自転車セル効果の推定値と信頼区間を示す散布図。]

すべてのペリカンの区間とすべてのセルの区間にはゼロが含まれています。ゼロを含まないのは1つだけです:自転車の列のGemini 3.5 Flash。しかし、p < 0.05のテストが21件あると、偶然だけでも約1件の偽陽性が予測されます(21 × 0.05 ≈ 1.05)。そして、まさに1件が発生しました。また、多重比較補正にも耐えられません。21件のテストに対するボンフェローニ閾値は0.05/21 ≈ 0.002ですが、そのp値は0.022です。推定値とp値の完全な表はリポジトリにあります。

しかし、これらの区間は広く、平均して約±0.6ジャッジポイントです。それよりも小さいブーストは、このテストでは捉えられません。

証拠5:ペリカンと自転車のシーンは記憶されたものではないように見える

ペリカンが自転車に乗っている画像は、記憶された構図のように見えるという意見もあります。例えば、ペリカンが常に右を向いている、あるいは太陽やスカーフのような要素が繰り返し現れるといったパターンが指摘されています。そこで、これが事実かどうかを知りたいと思いました。

向き: 7つのラボすべてで生成された21個のペリカンと自転車の画像は、すべて右を向いています。他の動物/乗り物の組み合わせではこのようなことはありません。

しかし、右を向くことは一般的です。1008個の画像の60%がそうです。その頻度は動物と乗り物によって異なり、自転車はそれが最も強い2つの乗り物の1つです。

乗り物左右不明
スクーター9%83%8%
自転車11%81%8%
スケートボード19%60%21%
飛行機21%58%21%
一輪車22%45%33%
ボート33%35%32%

ペリカンも右を向きがちな動物の1つです。

動物左右不明
アンテロープ21%78%1%
ペリカン22%78%0%
サギ22%77%1%
クジラ34%65%1%
フラミンゴ36%64%0%
ラッコ8%45%47%
猫8%40%52%
アライグマ3%36%61%

ペリカンや自転車を視聴者の方に向けた向きで描くのは難しいため、モデルはほとんどの場合、横向きで、左または右を向かせて描きます。そのため、不明な画像が非常に少ないのです。他の組み合わせもほぼ一様です。スクーターに乗るアンテロープとスクーターに乗るペリカンは21枚中20枚、自転車に乗るサギは21枚中19枚です。したがって、21枚中21枚という結果は外れ値ではないようです。

シーン要素: 抽出器に、画像に見られる要素をすべて列挙させました。以下はそのカウントです。

[画像: ペリカンと自転車のシーンで頻繁に見られる要素のカウントリスト。太陽、スカーフ、バスケットなどが含まれる。]

記憶されたシーンであれば、画像ごとに同じ要素が繰り返し現れるはずです。それを探しましたが、毎回同じ要素が生成される傾向がある組み合わせがいくつか見つかりました。ボートに乗るフラミンゴは、すべて太陽が含まれています。飛行機に乗るラッコは、38%の確率でスカーフを着用しています。自転車に乗る猫は、38%の確率でバスケットを手に入れます。

ペリカンと自転車の組み合わせは、特に他と異なる点はないようです。他のすべての動物と乗り物の組み合わせと同様に、一部の要素がより頻繁に現れるだけです。

限界

  1. 単一のLLMジャッジを使用した採点。ここでのすべてのスコアは、1つのモデル、GPT-5.6 Lunaによるもので、一度に1つの画像を見ています。アライメントはあまり行わず、再実行時の自己一致度も確認していません。もしモデルが描画を信頼性をもって判定できない場合、上記の数値はほとんど意味をなしません。ジャッジは、コンテスト参加者の一人であるGPT-5.6 Terraと同じファミリーのモデルでもあります。しかし、すべてのラボが48個の組み合わせすべてを描画するため、あるラボのスタイルを偶然気に入るジャッジがいる場合、そのラボのグリッド全体が引き上げられます。しかし、この分析はラボ内の違いのみに関心があるため、結果は変わりません。
  2. SVGマクシング。SVG生成全体(または動物と乗り物のサブセット)を最適化したラボは、すべてのセルで同時に上昇し、単に優れたラボと見分けがつかなくなります。Google/DeepMindのような一部のラボは、公然とこれを行っています。この実験ではそれを検出できません。
  3. 限られた予算。実験全体でAPIクレジットは約80ドルで実行されました。これにより、セルあたりのサンプル数は3、ジャッジは1、モデルは7台に制限されました。また、「plane」と「airplane」のケースのように、プロンプトやパイプラインを何度も反復することもできませんでした。

結論

HNの嫌われ者たち、残念ですが、AIラボがペリカンマクシングしているという証拠はほとんどありません。少なくとも、明白な方法では行われていないようです。

ペリカンは他の動物よりも上手に描かれていません。自転車は他の乗り物よりも上手に描かれていません。そして、どのラボも、そのペリカンと自転車の能力から予測されるよりも、その組み合わせを上手に描いていません。GLM-5.2が最も近いかもしれません。それは、正確なペリカンと自転車のセルに対するブーストが最も大きく、最初のペリカンと自転車のサンプルが私の目を引きました。しかし、その効果は小さく、有意ではないため、あまり重きを置くべきではありません。

もう1つ際立っているのは、シーン構成における向きです。ペリカンと自転車のすべての21個の画像は右を向いており、グリッド内ですべての画像が一致する唯一の組み合わせです。しかし、それはそれほど奇妙ではないようです。右を向くことは、実験全体で一般的です。他の3つの組み合わせは90%以上に達しており、48個の組み合わせがあれば、1つが21個中21個に達しても驚きではありません。

より可能性の高い話は、Google/DeepMindが行っているようなSVGマクシングです。他のラボも、より静かに行っているかもしれません。残念ながら、この実験では誰がそれを行っているかを言うことはできません。しかし、少なくとも、AIラボがサイモン・ウィリソンを騙すためだけに、ペリカンが自転車に乗っているテラバイトのデータを生成しているわけではないと知って、安心して眠ることができるでしょう。

自分でデータを確認したい場合は、完全なパイプラインがリポジトリにあります。

注釈

  1. 人気のあるベンチマークで高スコアを達成するためにAIモデルを最適化する行為。↩︎

引用

BibTeX 引用:

@online{castillo2026,
  author = {Castillo, Dylan},
  title = {Are {AI} Labs Pelicanmaxxing?},
  date = {2026-07-18},
  url = {https://dylancastillo.co/posts/pelicanmaxxing.html},
  langid = {en}
}

帰属表示のため、この作品は以下のように引用してください。

Castillo, Dylan. 2026. “Are AI Labs Pelicanmaxxing?” July 18. https://dylancastillo.co/posts/pelicanmaxxing.html。