HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

"描画"するモナ・リザ:GPT-5.6、Claude、Gemini、GrokによるAI描画アリーナ

"Drawing" the Mona Lisa with GPT-5.6, Claude, Gemini, and Grok (tryai.dev)

238 pointsby hershyb_87 コメント

要約

この記事では、GPT-5.6 Sol、Claude Fable 5、Grok 4.5、Gemini 3.6 Flashの4つのAIモデルが、色鉛筆ツールセットを使用してモナ・リザや星月夜などの画像を生成する実験について報告しています。各モデルのツール使用法、コスト、描画品質、および自己評価のプロセスが分析され、特にGemini 3.6 Flashが客観的な類似性で最高スコアを記録したものの、最終的な描画は途中の最高パフォーマンスから低下する傾向が見られました。この実験は、AIの創造性や能力を評価するためのオープンエンドなタスクの有効性を示しています。

全文翻訳

"描画"によるモナ・リザ:GPT-5.6、Claude、Gemini、Grokで挑戦

私たちは描画アリーナを構築しました。モデルに白いキャンバスと色鉛筆ツールセットを与え、あとは見守るだけです。モデルは色、線の太さ、筆圧を設定し、複数のストロークを描き、ぼかしで馴染ませ、消しゴムで修正し、view_canvasを呼び出して自身の作業を確認し、修正点を決定します。ターゲット画像を再現するか、テキストプロンプトから描画します。

GPT-5.6 Sol、Claude Fable 5、Grok 4.5、Gemini 3.6 Flashの4つのビジョンモデルを、2つのターゲット(モナ・リザとゴッホの星月夜、どちらも客観的に採点)と5つの自由形式プロンプトで実行し、合計28枚の描画を作成しました。ツールの使用法、コスト、出力、そしてモデルが実際に作業を改善したかどうかを、最後に私たちの意見とともに報告します。

なぜこれらのテストを行うのか

なぜこれを行うのかについての簡単な注記です。というのも、私たちの前回のテスト(モデルによるミュージックビデオ作成)は、一部の読者がモデルの創造性や芸術的能力を宣伝していると受け取ったため、良い議論を巻き起こしました。これらはモデルの能力の客観的なテストではありません。意図的にオープンエンドで曖昧なタスクです。私たちが個人的にこれらのテストを続けいている理由は以下の通りです。

  • 楽しいし、本当に有益です。 モデルが曖昧でオープンエンドなタスクに取り組むのを見るのは、単なるベンチマークの数字よりも、能力の視覚的な指標として興味深いです。
  • フロンティアモデルとオープンモデルの実際のギャップを明らかにします。 より安価なオープンウェイトモデルは、多くの実行作業においてフロンティアモデルを完全に置き換えることができます。私たちは今後もそれを報告していきます。しかし、多くのベンチマーク詐欺も存在し、このようなタスクはそれを切り抜けます。これらはフロンティアの能力とそれ以外を真に区別します。ご覧の通り、Grok 4.5はこの「基本的な」描画タスクではひどいものでした。また、試したオープンウェイトモデルは全く使用できず、いくつかは単に空白のキャンバスを返しただけでした。(Kimi K3が完全にオープンソース化されたら報告する予定です)
  • 長期的なタスクの実際のコストを示します。 Claude Fable 5は、他のモデルよりもはるかに時間がかかり、はるかに高額でしたが、ここではより悪い結果を出しました。Fableは、ミュージックビデオチャレンジを含む多くのタスクでGPT-5.6を上回っていましたが、このタスクではより多くのオーバーヘッドをかけても劣っていました。ユースケースによっては、そのトレードオフが重要になります。
  • 議論を楽しんでいます。 議論は本当に興味深いものでした。セットアップや新しいタスクに関する提案があれば、考慮に入れます。これらのテストの実行は非常に楽しく、出力を見るのは非常にエキサイティングです。

ツール

すべてのモデルは、全く同じ色鉛筆ツールセットを使用しました。

  • plan: ステップ間の思考と計画のためのノーオペレーションのスクラッチパッド。
  • view_target: ターゲット画像を再度表示します。
  • view_canvas: 現在のページを描画し、表示します。この時点で、描画をターゲットと比較して採点します。
  • set_color / set_brush / set_pressure: 現在の色鉛筆の色、線の太さ、筆圧(0から1の不透明度、低い筆圧でよりソフトなトーン)。
  • draw: 一度の呼び出しで複数のマーク(ストローク、線、形状のアウトライン、点)を描画します。ベタ塗りはなく、トーンと色は実際の鉛筆のように重ねて構築されます。
  • smudge: ブレンディング stump のように、長方形の領域をぼかしたり滑らかにしたりします。
  • erase / clear_canvas: 特定の領域を白に戻す / ページ全体をリセットします。

ハーネス全体はgithub.com/hershalb/canvas-arenaでオープンソース化されています。ターゲット画像またはテキストプロンプトを指定して、ご自身で実行できます。

2つのターゲット再現

モデルは常にターゲットを見ることができ、構造的類似性(SSIM)に基づいて採点されました。SSIMスコアを以下に示します。

モナ・リザ (ターゲット)GPT-5.6 SolClaude Fable 5Grok 4.5Gemini 3.6 Flash

完全なトランスクリプト: GPT-5.6 Sol · Claude Fable 5 · Grok 4.5 · Gemini 3.6 Flash

星月夜 (ターゲット)GPT-5.6 SolClaude Fable 5Grok 4.5Gemini 3.6 Flash

完全なトランスクリプト: GPT-5.6 Sol · Claude Fable 5 · Grok 4.5 · Gemini 3.6 Flash

5つのプロンプト描画

ターゲットなし、スコアなし、ただのテキスト概要と空白のページです。

「初老の漁師の風雨にさらされた顔、暖かい午後の太陽、深いしわと無精ひげ」

GPT-5.6 SolClaude Fable 5Grok 4.5Gemini 3.6 Flash

完全なトランスクリプト: GPT-5.6 Sol · Claude Fable 5 · Grok 4.5 · Gemini 3.6 Flash

「穏やかな海に沈む美しい夕日、オレンジから紫の空、シルエットになった水平線」

GPT-5.6 SolClaude Fable 5Grok 4.5Gemini 3.6 Flash

完全なトランスクリプト: GPT-5.6 Sol · Claude Fable 5 · Grok 4.5 · Gemini 3.6 Flash

「ガラスの花瓶に入った一輪の赤いバラ、暗い背景、ドラマチックなレンブラント風ライティング」

GPT-5.6 SolClaude Fable 5Grok 4.5Gemini 3.6 Flash

完全なトランスクリプト: GPT-5.6 Sol · Claude Fable 5 · Grok 4.5 · Gemini 3.6 Flash

「窓辺で丸まって眠る縞模様の猫、午後の日差し」

GPT-5.6 SolClaude Fable 5Grok 4.5Gemini 3.6 Flash

完全なトランスクリプト: GPT-5.6 Sol · Claude Fable 5 · Grok 4.5 · Gemini 3.6 Flash

「暖炉に火が灯った居心地の良いキャビンの内部、暖かい琥珀色の光と柔らかな影」

GPT-5.6 SolClaude Fable 5Grok 4.5Gemini 3.6 Flash

完全なトランスクリプト: GPT-5.6 Sol · Claude Fable 5 · Grok 4.5 · Gemini 3.6 Flash

ヘッドラインの数値

7つの描画すべてにおけるモデルごとの平均と合計。

モデル
GPT-5.6 Sol7296.2 分3.4M$7.746.0116
Claude Fable 575412.5 分14.6M$160.5815.6207
Grok 4.57994.8 分34.0M$9.214.3354
Gemini 3.6 Flash7736.9 分27.7M$12.8722.6190

ツールの呼び出し

4つのモデルは、全く異なる方法で全く同じツールセットを使用しました。

GPT-5.6 SolClaude Fable 5
Grok 4.5Gemini 3.6 Flash

GPT-5.6 Solは一度もset_color、set_brush、set_pressureを呼び出しませんでした。代わりに各draw呼び出しでそれらをインラインで設定したため、その呼び出しのほとんどはdraw、smudge、view_canvasでした。Grok 4.5はその逆でした。1,349回のツール呼び出しの65%がset_color / set_brush / set_pressureであり、これが1回の描画あたり平均99ステップかかった理由です。Claude Fable 5はsmudge(123回)に頼り、頻繁に確認しました。Gemini 3.6 Flashは最も強迫的な確認者であり、呼び出しの約3分の1がview_canvas(描画あたり約23回の自己レビュー)でした。Solと同様に、set_*ツールには一切触れませんでした。

コストとトークン

Claude Fable 5の7回の描画にかかった推定コストは160ドルで、GPT-5.6 Sol(7.74ドル)、Grok 4.5(9.21ドル)、Gemini 3.6 Flash(12.87ドル)の約20倍でした。これは驚くべきことではありません。Grokは圧倒的に多くのトークン(34M)を使用しましたが、約98%が低レートのキャッシュ読み取りだったため、安価に抑えられました。また、Grokのレートは4つの中で最も低いです。Geminiもキャッシュ読み取りに大きく依存していたため、27.7Mトークンでも控えめなコストでした。

モデルは実際に改善したのか?

view_canvasの呼び出しごとにキャンバスがターゲットに対して再採点されるため、実行中の進捗を確認できます。両方のターゲットで2つのパターンが見られました。

まず、早期にプラトーに達します。 Claude Fable 5はモナ・リザを27回レビューしましたが、約5回目のレビュー以降、類似性は実質的に横ばいでした。次に、8つのターゲット実行すべてにおいて、最終的な描画は、実行中にモデルが到達した最高スコアを下回りました。 GPT-5.6 Solのモナ・リザは0.352 SSIMでピークに達し、最終的に0.325になりました。星月夜は0.179でピークに達し、0.130で終了しました。Gemini 3.6 Flashは最も多くレビューし(描画あたり約23回)、バッチ全体で最高の0.449をモナ・リザで記録しましたが、その後最終的には0.337まで低下しました。レビュー回数が多いほど、より良い仕上がりにはつながりませんでした。モデルは自身の最高のパフォーマンスを超えて編集を続けました。

客観的な類似性(ターゲット実行)

SSIMは0から1で、高いほどターゲットに近いことを示します。RMSEは0から255で、低いほどターゲットに近いことを示します。

モデル
GPT-5.6 Solモナ・リザ448分41秒70.3250.35254.2
Claude Fable 5モナ・リザ8618分58秒270.2860.28956.9
Grok 4.5モナ・リザ1064分30秒50.1510.15295.6
Gemini 3.6 Flashモナ・リザ605分31秒220.3370.44951.1
GPT-5.6 Sol星月夜235分47秒40.1300.17937.8
Claude Fable 5星月夜4311分30秒120.1530.17640.9
Grok 4.5星月夜585分51秒30.0390.039104.9
Gemini 3.6 Flash星月夜746分36秒240.1720.19042.8

生のSSIMでは、Gemini 3.6 Flashが両方のターゲットで最高スコアを記録しましたが、最終スコアとピークスコアの両方でそうです。ただし、最高フレームと最終フレームの間で最も変動が大きかったのもGemini 3.6 Flashでした。Gemini 3.6 Flashはまともでしたが、ターゲット出力に最も近いとは言えません。生のスコアが実際には高かったというのは非常に興味深いです。いつものように、SSIMは構造的な近さを測定するものであり、描画が人間にどう見えるか(後述の私たちの見解を参照)を測定するものではありません。

メソッドノート

  • 4つのモデル、2つの採点済みターゲットと各5つのプロンプト、合計28枚の描画。すべての実行で同じ色鉛筆ツールセットを使用しました。推論はすべてのモデルで高に設定されました。
  • SSIM/RMSEは、両方の画像を256x256にリサイズして比較することで計算されます。これらは構造的/ピクセル的な近さを測定するもので、芸術的な品質を測定するものではありません。プロンプトには採点対象となる参照がないため、ターゲット実行にのみ適用されます。
  • 壁時計時間は、モデル自身の思考とツールの往復を含みます。

私たちの見解

GPT-5.6 Solは圧倒的なリーダーでした。その星月夜とバラの絵は、バッチ全体で私たちのお気に入りでした。これは、空白のキャンバスにストロークごとに描いたことを考えると驚くべきことです。また、高齢の漁師の絵を除いて、ほとんどの描画で他のモデルよりも詳細さで優れていました。

Grok 4.5はここでは基本的にゴミでした。実用的なものをほとんど生成せず、その熱狂的なツールの使用にもかかわらず、視覚的な出力を確実に理解または判断できるとは思いません。

Gemini 3.6 Flashは、わずかなコスト増でGrokよりも間違いなく優れていましたが、Flashモデルをフロンティアバージョンと比較するのは少し不公平です。Gemini 4がどのようにパフォーマンスを発揮するかを見るのが楽しみです。また、これはすでに知っていましたが、トークン出力速度は非常に印象的です。

Claude Fable 5は品質では2位でしたが、コストと時間では最下位でした。このタスクでは、3つの中で最も魅力のないトレードオフでした。Solに追いつかない出力に対して、はるかに遅く、はるかに高価(他のモデルの約20倍)でした。