AIラボはペリカンマクシングしているのか？

ここ数年、サイモン・ウィリソンは主要なLLMのリリースごとに同じプロンプトでテストしてきました。「自転車に乗るペリカンのSVGを生成してください」。これは当初、茶化すためのベンチマークでしたが、AIにおける最も有名な非公式ベンチマークの一つとなりました。サイモンのペリカン・オン・ア・バイシクルの結果は、AIラボからの新リリースを発表するHacker Newsのスレッドで、しばしば最も多くの票を集めるコメントの一つとなります。このベンチマークは今や有名になり、その有用性や、AIラボがこれにベンチマークマクシングしているのではないかという議論も多くなっています。数十億、あるいは数兆ドルが関わる状況で、良い結果が出ればユーザーを説得するのに役立つとしたら、モデルを少しだけペリカンマクシングしたくなる誘惑に駆られないでしょうか？私はそれを知りたいと思い、小さな実験をまとめました。7つの最先端モデルで1,008個のSVGを生成し、LLMジャッジで採点し、Claude Fable 5で分析を行いました。この記事ではその結果を発表します。すべてのコードはGithubで公開されています。 どのようにテストしたか 私は8つの動物 × 6つの乗り物 = 48個のプロンプトのグリッドを作成しました。有名なプロンプトはこのセルの1つです。 動物：ペリカン、フラミンゴ、サギ、ラッコ、アライグマ、アンテロープ、クジラ、猫 乗り物：自転車、一輪車、スケートボード、スクーター、飛行機、ボート すべてのプロンプトは、サイモンのものとほぼ同じフレーズを使用し、動物と乗り物だけを切り替えています。動物と乗り物の選択は、それほど厳密な方法で行われたわけではありませんが、元のプロンプトとの類似性と難易度の両方を変化させようとしました。フラミンゴとサギはペリカンに非常に似ています。猫、アライグマ、ラッコは簡単なケースです。アンテロープは難しいです。そしてクジラは、可能な限り異なります。 OpenRouter経由で7つのモデルをテストしました：GPT-5.6 Terra、Claude Sonnet 5、Gemini 3.5 Flash、Grok 4.5、Qwen3.7-Max、GLM-5.2、DeepSeek V4 Pro。各プロンプトに対して3つのサンプルを生成し、温度は1.0、すべてのモデルに同じ推論努力を求めました。これにより、1,008個のSVGが生成されました。その後、各画像を3段階のパイプラインで処理しました。 レンダリング：各SVGはPNGにレンダリングされます。モデルがSVGを返さないか、レンダリングに失敗するSVGを返した場合、有効なものを生成するまで再生成し、試行回数を記録します。1,008回の生成で、再試行はわずか11回でした。 採点：GPT-5.6 Lunaが、動物、乗り物、アクションの一貫性について、各画像に1〜5の評価を付けます。動物や乗り物を単独でランク付けする場合、その評価を使用します。画像ごとに1つの数値が必要な場合は、3つの平均値を使用します。これをジャッジスコアと呼びます。 特徴抽出：より詳細な分析のために、レンダリングされた各画像をGemini 3.1 Flash-Liteに渡し、認識された動物と乗り物、被写体の向き、およびシーン要素の自由形式のリストを記録させました。 私の仮説は、もしラボがベンチマークでトレーニングしていたなら、それはペリカン行が動物にふさわしい以上のスコアを上げる、自転車列が乗り物にふさわしい以上のスコアを上げる、あるいは特定のペリカン・自転車のセルが両方よりも優れている、といった組み合わせで現れるはずだというものです。 証拠1：自転車に乗るペリカンは、それ以上良く見えない 採点を行う前に、最も簡単なテストは、自分で画像を見ることです。ラボを選んで、そのラボが描いたすべてを表示し、各画像の下にジャッジのスコアを表示します（クリックするとフルサイズで開きます）： 私は分析を実行する前に、自分で画像を見ました。何も目立つものはありませんでした。他のグリッドの画像と比べて、ペリカン・自転車の画像が明らかに優れているケースを見つけることができませんでした。GLM-5.2の最初のサンプルでは、他のものよりわずかに優れているように感じましたが、そのバッチではスケートボードに乗ったサギも pretty cool なものが生成されたので、確信を持って言えません。それ以外は、各モデルが描く他のものと同じように見え、良いペリカン・自転車の絵を描くラボは、他の動物・乗り物の組み合わせも上手に描いています。しかし、このテストは再現が難しく、人によって意見が異なります。そのため、より定量的なものが欲しかったのです。それが、上記で詳述した方法を選択した理由です。 証拠2：ラボはペリカンを描くのが得意ではない これは、すべてのモデルを合わせた、動物ごとの平均動物評価です： 図1：すべてのモデルを合わせた、動物ごとの平均動物評価。ペリカンは8匹中6位で、猫、クジラ、アライグマ、サギ、アンテロープの後ろに位置しています。もしAIラボがベンチマークでトレーニングしていたなら、ペリカンが上位に来ると予想されるでしょう。しかし、実際には下位半分にいます。7つのラボすべてが、ペリカンよりも猫、クジラ、アライグマをうまく描いています。もちろん、ペリカンは猫よりも描くのが難しいのかもしれません。ラボがペリカンでトレーニングしても、簡単な動物を上回ることはできないかもしれません。このランキングだけでは、それを排除することはできません。証拠4で難易度を調整します。 証拠3：ラボは自転車を描くのが得意ではない 自転車はさらに悪いです。飛行機とほぼ同率の、最後から2番目の位置にあります。 図2：すべてのモデルを合わせた、乗り物ごとの平均乗り物評価。もしラボがベンチマークでトレーニングしていたなら、自転車がこのランキングの上位に来ると予想されるでしょう。しかし、そうではありません。ただし、ここでも同じ注意点があります。自転車はスケートボードよりも描くのが難しいです。2つの同じ車輪、両方の車軸に届くフレーム、ハンドルバー、シート、ペダルが必要です。ジャッジは、自転車の画像の3分の2で、これらのうちの1つが欠けているか、接続されていないと指摘しています。自転車の画像でトレーニングしても、より簡単な乗り物と比較して、良い結果が得られない可能性があります。ただし、飛行機に関する注意点があります。私は「plane」ではなく「airplane」を選ぶべきでした。モデルはしばしばそれを幾何学的に解釈します。彼らは動物が航空機を操縦しているのではなく、平らな面に立っているように描きました。飛行機は、特徴抽出器が乗り物を見つけられなかった唯一の乗り物です（168枚中25枚、他の5つはゼロ）。そして、飛行機の画像の20%が乗り物評価で1または2となり、自転車では5%、ボート、スクーター、スケートボードではゼロでした。 証拠4：難易度を調整しても、ラボはペリカンと自転車を描くのが得意ではない この2つを組み合わせると、「自転車に乗るペリカン」はランキングのほぼ下位、48個中42位になります： 図3：48個すべての組み合わせをランク付け。ペリカン＋自転車をハイライト。 しかし、ここでも、一部の組み合わせは他の組み合わせよりも描くのが難しい可能性があります。それを考慮するために、私は1,008枚すべての画像に対して固定効果回帰を適合させました：スコア 〜 ラボ + 動物 × 乗り物、さらにペリカン、自転車、そしてペリカン・自転車のセルに対する各ラボの相互作用項を追加し、ロバスト標準誤差を使用しました。動物 × 乗り物の項は、48個すべての組み合わせの固有の難易度を吸収します。相互作用項は、平均的なラボと比較した、ベンチマーク固有の各ラボのブーストを、信頼区間とともに測定します。結果は以下の通りです： すべてのペリカン効果（すべての6つの乗り物におけるペリカンのラボのブースト）は、-0.11から+0.14のジャッジポイントの間に収まり、有意なものはありません（最小p値 = 0.25）。各ラボの自転車効果（すべての8つの動物における自転車のラボのブースト）は、Grok 4.5の-0.18（p=0.11）からGemini 3.5 Flashの+0.27（p=0.022）までです。Geminiのみがp < 0.05をクリアしており、7つのポイントは両方の方向を指しています。ペリカン・自転車のセルの効果（ラボのペリカンと自転車の効果に加えて、特定の組み合わせに対する追加のブースト）は、p < 0.05をクリアするものはありません。最大のプラスはGLM-5.2の+0.35（p=0.12）ですが、これは私が以前に言及したものです。これはこの実験で最も信号に近いものですが、それでも偶然の範囲内です。 以下に、各ラボの推定値を示します。ペリカンマクシングしているラボは、その行全体でゼロ線より右側にドットを示すでしょう： 図4：難易度調整後の各ラボの効果と95%信頼区間。ハイライトされた区間はゼロを含みません。すべてのペリカン区間とすべてのセル区間はゼロを含みます。ゼロを含まないのは1つだけです：自転車列のGemini 3.5 Flash。しかし、21回のテストでp < 0.05の場合、偶然だけでも約1つの偽陽性が予測されます（21 × 0.05 ≈ 1.05）。そして、まさに1つが検出されました。これは多重比較補正にも耐えられません。21回のテストに対するボンフェローニ閾値は0.05/21 ≈ 0.002であり、そのp値は0.022です。推定値とp値の完全な表はリポジトリにあります。しかし、これらの区間は広く、平均して約±0.6ジャッジポイントです。どのようなブー