HN 日本語サマリー

← 一覧へ戻る
Web開発

AIモデルの選択:1つのプロンプト、11のモデル、異なる結果

Choosing an AI model: one prompt, 11 models, different results (netlify.com)

197 pointsby toddmorey80 コメント

要約

NetlifyはOpenRouterとの提携により、AI Gateway経由で多様なAIモデルを提供開始しました。これにより、開発者は用途や予算に合わせて最適なモデルを選択できるようになります。記事では、同一プロンプトを11の異なるモデルで実行し、その結果、生成されたウェブサイトの見た目、問題点、そしてクレジット消費量を比較分析しています。

全文翻訳

AIモデルの選択:1つのプロンプトで11モデルを試し、異なる結果を得る

私たちは先日、OpenRouterとのパートナーシップを発表し、2つの新機能を提供できるようになりました。

  • まず、プロジェクトは当社のAI Gatewayを通じてOpenRouter上のあらゆるモデルを使用できます。これは、ご自身のWebアプリがエンドユーザーにAI推論ベースの機能を提供する場合、あらゆるタスクと予算に適合する、より幅広いモデルの選択肢が利用可能になったことを意味します。
  • 次に、Agent Runnersを介して利用できる最先端のコーディングモデルの選択肢を拡大しています。Agent Runnersは、Netlify内で利用できるチャットプロンプトボックスであり、ゼロから新しいプロジェクトを構築したり、既存のプロジェクトを改良したりすることができます。モデルの選択肢には、Kimi K3、GLM 5.2、DeepSeek V4といった、最近話題のオープンモデルが含まれており、誰でも利用可能です。

Agent Runnersと呼んでいるのは、内部でフル機能のコーディングエージェントを実行しており、機能を限定したものではないからです。これまでは、これらのプロバイダーのモデルを実行するように最適化されたClaude Agent、OpenAI Codex、Gemini CLIをサポートしてきました。

これらのエージェントには追加のスキルと、現在のプロジェクトに関するコンテキストを提供するため、エージェントは利用可能なNetlifyの機能(例:Netlify Database、AI Gateway、またはIdentity)を正確に把握し、いつ、どのように使用するかを知ることができます。しかし、さまざまな新しいモデルを効果的に活用するために、人気のオープンソースであるOpenCodeを新しいエージェントの選択肢として追加しました。

しかし、選択肢が増えると、避けられない疑問が生じます。「どのモデルが自分に適しているかどうかわからない」「もっと優れたものや、コスト効率の良いもの(クレジットでより多くのことができる)、あるいはインターネットで話題になっているような驚くべき結果を見逃しているのではないか?」といったFOMO(取り残されることへの恐れ)が最近蔓延しています。

洞察を提供するために、ここではさまざまなモデルで同一のプロンプトを実行して学んだことをご紹介します。これらはすべて、本日Netlifyで利用可能です。

テストしたすべてのモデルの結果は、完全なレポートとともに作成したこのサイトで確認できます。

テスト内容

Netlifyでは、内部でモデルを自動評価するためにAXISを使用しています。これは、最近オープンソース化されたツールです。

AXISには、さまざまなテストケースを提供します。新しいサイトを構築し、それを改良するためのプロンプトです。AXISに、これらのプロンプトをテストするエージェントとモデルを指定し、AXISが実行して生成されたサイトを採点するチェックを定義します。

これらのチェックは、生成されたサイトの機能的な正しさに重点を置いており、デザインではありません。例えば、ユーザーのニーズがデータベースを必要とする場合、それは使用されているか?その場合、Netlify Databaseが適切に使用されているか?単純な静的サイトで十分な場合は、生成されたサイトが過剰に設計されておらず、データベースが設定されていないことも確認します。

特定のモデルがテストスコアで遅れている場合、Agent Runnersでは提供しません。モデルがスキルを正しく適用するのに頻繁に失敗したり、機能はするもののクレジットコストが割高に思える場合は、問題はおそらくスキル側にある(その場合はスキルを最適化します)と考えられます。

しかし今回は、もっとすぐに役立つものを提供したいと思います。さまざまなモデルを使用して夢のプロジェクトを構築する際に、それぞれが大きく異なるクレジット量を消費した場合、何が得られるのでしょうか?結果はどのように見えるのでしょうか?

比較的単純な3つのユースケースをテストしました。

  1. 地元のコーヒーショップのサイト。LLMは地元のコーヒーショップのサイトを作るのが大好きです!最初のプロンプトはシンプルで、派手なデータベースなどは不要な静的サイトで十分です。次に、座席予約の簡単なオプションを求めるフォローアッププロンプトを実行し、モデルがそれをどのように処理したかを確認します。
  2. シンプルなToDoリストWebアプリ。複数のユーザーがタスクを表示・追加できるものです。これはシンプルなデザインを必要としますが、最初から共有データベースが必要です。次に、アイテムごとにオプションの画像アップロードをサポートするように求め、モデルが適切なNetlifyプリミティブを使用したかを確認します。
  3. 「何が作れる?」Webアプリ。ユーザーが自宅にある材料を入力すると、AIがレシピを提案するものです。サイト自体は非常にシンプルですが、生成されたサイトがAI Gatewayを正しく使用してユーザーにレシピを生成することを確認したいと考えています。

これらの各ケースについて、生成されたサイトの外観、注目すべき問題点、そして生成にかかったクレジット数を比較します。もちろん、これは内部テストスイートよりもはるかに主観的なテストになりますが、非常に楽しいものでもあります。皆様のご意見をお聞かせいただければ幸いです!

すべてのモデルは、Netlify上でデフォルト設定で実行されました。特筆すべき点として、現在GPT 5.6 Solはデフォルトで低負荷モードで実行されており、Opusよりも経済的な選択肢でありながら、非常に優れた結果を提供します(下記参照)。ただし、負荷設定は現在ユーザーの制御下にあり、デフォルト設定は時間とともに変更される可能性があります。

この記事では、最初のシナリオであるコーヒーショップの静的ページのみを扱います。フォローアップ記事では、この単純なユースケースを超えた内容に焦点を当てます。この単純なケースでさえレビューすることはたくさんありますので、始めましょう。

シナリオ#1:地元のコーヒーショップ

最初のプロンプトは以下の通りです。

近所のコーヒーショップの1ページサイトを構築してください。営業時間、住所、簡単なメニュー、写真を含めてください。私が自分で編集しない限り、何も変更されないようにしてください。

最後の文は、モデルに、派手なコンテンツ管理システムは必要ないというヒントを与えるために追加されました。デフォルトのスキルには、UIデザインに関するガイダンスも含まれています。これは主に、既知の落とし穴(例:今や忌み嫌われている紫色のAIスロップ)を避け、モデルにユーザーの要求に適したビジュアルアイデンティティを考えさせるためです。しかし、それ以外は、各モデルが自由に構築できるものに任せます。

サイトの外観を公開する前に、テストした各モデルのクレジット使用量を比較する表をご覧ください。各モデルは3回実行され、結果のいずれかをクリックすると、実際の生成サイトに移動します!

モデル平均1回の実行あたりのコスト(リンクは実際のサイトへのものです)
Claude Opus 5519253クレジット · 249クレジット · 1,055クレジット
Claude Sonnet 514381クレジット · 245クレジット · 103クレジット
GPT 5.6 Sol (低負荷デフォルト)141173クレジット · 158クレジット · 92クレジット
Gemini 3.6 Flash103109クレジット · 91クレジット · 111クレジット
Kimi K3102125クレジット · 95クレジット · 86クレジット
Gemini 3.1 Pro5357クレジット · 52クレジット · 49クレジット
GPT 5.6 Terra3943クレジット · 23クレジット · 49クレジット
DeepSeek V4 Pro3747クレジット · 30クレジット · 33クレジット
GLM 5.22715クレジット · 42クレジット · 24クレジット
Kimi K2.7 Code1921クレジット · 18クレジット · 17クレジット
DeepSeek V4 Flash (latest revision - 0731)2.43.4クレジット · 1.3クレジット · 2.5クレジット

かなりの幅がありますね?それだけでなく、Claude Opusの平均値は、3回の実行のうち1回が驚異的な1,055クレジットを消費したため、大幅に上方偏っています。(リマインダーとして、無料プランには300クレジット、パーソナルプランには1,000クレジットが含まれ、Proプランには3,000クレジットが含まれます。追加クレジットパックはProプランの場合、1,500クレジットあたり10ドルです。)

すぐに生じる疑問は、このOpusの消費はそれに見合う価値があるのか?そして他のモデルはどのようなトレードオフを提供しているのか?掘り下げてみましょう。

Claude Opus 5

1,055クレジットを消費した実行(他の実行の約4倍)で生成されたフルページはこちらです。

正直なところ、私はこれが素晴らしいと思います。ビジュアルデザイン(中央のコーヒー豆の「スタンプ風」要素を考えてみてください。これは実際にアニメーション可能なテキスト要素です)と、下部のカスタムマップの両方に詳細が満載です。ダークモードもすぐに機能します。上記のリンクでライブサイトを確認してください。

もちろん、コーヒーショップの具体的な詳細をモデルに明示的に提供したわけではありません(「近所」のコーヒーショップであるという情報だけは、すべてのモデルを特定の方向に誘導しています)。デザイン言語はヒップですが、おそらく陳腐化しているかもしれません(例:2つのフォント、2つの色の見出し)。しかし、他に指示を与えなかったので、仕方ありません。

では、Opusによる他の2回の実行はどうだったのでしょうか?(左の実行は253クレジット、右の実行は249クレジットを使用しました)

これも悪くありません!ベクターグラフィックスはモデルにかなりの作業を要求しますが、上記の例は、LLMが現在達成できることの最先端にほぼ相当します(正直なところ、画像やテキスト生成と比較すると、まだあまり良い状態ではありません)。

最初の結果が本当に「4倍良い」かどうかについては、意見が分かれるでしょう。しかし、私が実施したすべてのテストにおいて、Opusは他のモデルよりも、その「典型的な」ベースラインと比較して、過剰なクレジット消費に陥る傾向があることは確かです。ただし、それが必ずしも悪い結果や良い結果を保証するわけではありません。それは単に頻繁に起こることです。

他のモデルを見て、そこから何を学べるか考えてみましょう。

Claude Sonnet 5

私たちの3つの候補はこちらです。平均143クレジットです(81クレジット · 245クレジット · 103クレジット):

これらのそれぞれに、まだ魅力的なディテールがありますが、それだけ(そして全体的にコンテンツが少ない)です。ベクターグラフィックスは明らかにシンプルで、ライブサイトで検討するようなものではありません。これは、このモデルが複雑なコードを書いたり、哲学的な質問に答えたりする能力について何も言っているわけではありませんが、ここではそれを求めているわけではありません。この価格帯で、OpenAI、Google、Kimiが何を提供しているか見てみましょう。

GPT 5.6 Sol (低負荷)

OpenAIのOpusクラスのモデルに、思考時間を少し減らすように依頼するとどうなるでしょうか?

(平均141クレジット:173クレジット · 158クレジット · 92クレジット)

結果を見ると、このシナリオでは、低負荷モードのOpenAIの最上位モデルが、基本的なデザインの直感において、Anthropicの中間モデルを上回っていると思います。コンテンツの豊かさがあり、奇妙なベクターシェイプはありません(画像は少し一般的ですが)。

GPT 5.6 Terra

OpenAIの提供するモデルで一段階下がると(Sol→Terra→Luna)、AnthropicのOpusからSonnetに切り替えたときに観察されたような低下が見られるでしょうか?

驚くべきことに、そうではありません。ここでは、Terraが異なるビジュアル言語を持っており、必ずしも劣っているわけではないようです。コンテンツ的にはシンプルに見えます。いくつかのビジュアルグリッチがあります。左側の実行では画像が欠落し、中央の実行では画像の上にコントラストの低いテキストがありますが、それほど重大な問題はありません。

(平均39クレジット:43クレジット · 23クレジット · 49クレジット)

ここまでのところ、プロジェクトのデザインや言語について非常に漠然としたアイデアがある場合、個人的な好みとしては、Opus 5とGPT 5.6 Terraで同じプロンプトを実行し、2つの異なるが価値のある結果を得ることになるでしょう。

Gemini (3.6 Flash & 3.1 Pro)

これらのモデルは同じ世代ではなく、それが表れています。Gemini 3.6 Flashは、Gemini 3.1 Proよりも優れた結果(少なくとも他のモダンなモデルに近いもの)を生成し、より多くのクレジットを消費しました。

平均53クレジットでGemini 3.1 Proが生成したものは以下の通りです。ここではライブサイトへのリンクさえ掲載しません。見るべきものは本当に何もありません。

[画像: Gemini 3.1 Proによって生成されたコーヒーショップのページ — 左の実行]

[画像: Gemini 3.1 Proによって生成されたコーヒーショップのページ — 中央の実行]

[画像: Gemini 3.1 Proによって生成されたコーヒーショップのページ — 右の実行]

はい、これらは完全に別々の実行です。プロンプトで要求されたことを実行しましたが、それ以上のことは何もありませんでした。

一方、Gemini 3.6 Flashはまったく新しい世代のように見え、平均103クレジットを消費しました(109クレジット · 91クレジット · 111クレジット)。コンテンツ面でもより多くの作業を行いました。すべてのモデルは繰り返しを行いますが、Geminiはさらに繰り返すように思われます。

Kimi (K3 および K2.7 Code)

さて、オープンウェイトモデルに移りましょう。最新のKimi K3から始めます。以下がその結果です(平均102クレジット;125クレジット · 95クレジット · 86クレジット):

明確にしておきますが、Kimi K3は主に長期間のエージェントタスク向けの最先端モデルとしてマーケティングされており、さまざまなベンチマークやレビューがその分野での能力を確認しています。Opus 5よりもFable 5に対抗するために構築されました。しかし、この狭いデザイン主導のタスクでは、他のモデルの中で特に輝くわけではありません。このモデルの真価を発揮させるには、複雑なWebアプリ向けに設計された、まったく異なるプロンプトセットが必要になります。これはフォローアップ記事で取り上げます。

モデルアーキテクチャで大きく後退したKimi K2.7 Codeでは、わずか19クレジットの平均で以下のような結果が得られます。

K2.6モデルのリリース頃からKimiのビジュアル機能に関するいくつかの話題がありましたが、デザインやコンテンツに関しては、ここではあまり見るべきものはありません。

GLM 5.2

これを試してみましょう。これらのページを見て、GLMのメープルへの愛情は無視して、各ページがいくらのクレジットを使用したか推定してみてください。

左から順に、正解は15、42、24(平均:27)です。驚くべきことに、これらの実行は、メープルを除けば、まるでいくつかの異なるモデルから来たかのように、非常に異なります。GLMの比較的低いクレジットコストを考えると、このモデルが何ができるかを判断する前に、数回実行してみる価値はあるでしょう。

テキストのみのモデルであり、画像入力を受け付けないことに注意してください。GLMは現在の5.2版では、Kimiモデルができること、つまり「このようなデザインを探しています」というように、ユーザーからスクリーンショットを取得することができません。

DeepSeek V4 (V4 Pro および V4 Flash 0731)

V4 Proは最新のV4 Flashリビジョン(0731とも呼ばれる)よりも少し古いモデルです。約47クレジットで、特に上記のGPT 5.6 Terraミドルティアモデルと比較すると、感動的な結果は提供されません。これはほぼ同等のコストです。

中央の実行では画像が壊れています。HTMLファイルは実際にはプロジェクトに存在しない画像ファイルを指していますが、これはOpenAI、Anthropic、Googleの商用モデルでは現在ほとんど発生しない問題です。

V4 Flash 0731は、一方、より新しく、ここで消費するクレジットの少なさで新記録を樹立しました。

平均わずか2.4クレジット(3.4クレジット · 1.3クレジット · 2.5クレジット)で、さまざまな結果が得られます。興味深いことに、中央の実行はミドルティアのクローズドモデルが提供するものに最も似ているだけでなく、言語の面でも同じように感じられ、すべての実行の中で最も少ないクレジットを消費しています。

中間結論と今後の予定

ここで2つの重要な点を挙げます。

第一に、単純なWebサイトやプロジェクトの初期アイデア出しフェーズを超えたものについては、モデルのデザインとコピーの良さという問題から、以下の点に移行します。

  • 目的の機能を実現するために、どのプラットフォーム機能を、いつ、どのように使用すべきかを知っているか?ユーザーデータを保存し、WebアプリでAIを使用し、認証とセキュリティを処理できるか?
  • 自身の作業を厳密に検証できるか?プロジェクトのフロントエンド側面を検証できるか(画像入力が重要になるのはこの部分です)?ユーザーからのフィードバックに基づいて問題を確実に発見・修正し、ユーザー自身の入力が誤解を招く場合や、重要な懸念を見落としている場合にそれを伝えることができるか?

このフォローアップ記事では、これらの問題に入り込み、(ティーザーとして)モデルがプロジェクトのコードをどのように作成するかについての興味深い違いに注目します。

私の2番目の注意点として、このデザインとコピーに焦点を当てたテストだけを考慮しても、モデルにどの程度のアイデア出しを自律的に行わせたいかを考慮することが重要です。現在、Opusはおそらく最も巧妙な言葉遊びと洗練されたデザインを提供するでしょうが、必ずしもそれが必要とは限りません。もちろん、Opusは自身の作業の徹底的な自己検証も行います(見た目だけで請求されるわけではありません)。しかし、それに伴うクレジットコストは平均よりも高いことを忘れないでください。

限られた予算を考えると、すべてを事前に計画し、処理しようとするターンキーソリューションを好みますか、それともよりシンプルなモデルと、フォローアッププロンプトでモデルを希望するものに導く、より反復的なアプローチを取りますか?どちらの選択肢も必ずしも間違っているわけではありません。

この記事が、さまざまなアプローチを試し、ご自身で得られる結果の品質を判断するきっかけとなることを願っています。また、Netlifyプラットフォームの機能が真価を発揮する、より高度なWebアプリのユースケースの結果を(近日中に!)共有できることを楽しみにしています。