Claude、Codex、Cursor はどのツールを選ぶか？ 17,000回の実行で測定して判明

Claude Code, Codex, Cursor はどのツールを選ぶのか？ 16,893セッションを実行して調査しました。

リサーチ · 2026年9月3日 · The Armatureチーム

免責事項: Armature はデベロッパー向けツールのグロースサービスを販売しています。本調査は、コーディングエージェントの選択に影響を与え、製品を選ばせる方法に関する、当社の広範な取り組みの一環です。

エージェントがコーディングジャーニーのより多くの部分を担うようになるにつれて、ソフトウェアのバックグラウンドを持たないビブコーダーからシニアエンジニアまで、誰もがエージェントにアウトソースする特定の作業があります。それは、既存のコードベース内の特定のニーズに対して、どのサービスを実装するかを選択することです。

データベースの選択を例に取ってみましょう。

• ビブコーダーが個人の旅行アプリを構築し、アプリが接続ごとにリセットされることに気づきます。彼らは Claude Code に次のように尋ねます。

アプリで入力したことをどこかに保存して、次回アプリを開いたときにまだそこにあるようにする必要があります。

Claude Code はコードベースを分析し、5分後に次のように回答します。

データベースが必要ですが、Neon は無料枠があり、インストールが簡単で、あまり使用しない場合に Supabase のようにアプリを一時停止しないため、適しています。

ユーザーはこれを受け入れ、エージェントがそれをインストールします。完了です。

• 本番環境のアプリに取り組んでいるシニアエンジニアが Cursor に尋ねます。

このアプリに最適なデータベースソリューションは何ですか？予測可能なコストで、完全に管理されている必要があります。

5分後、結論は同じで、Neon が推奨され、競合他社がなぜニーズに合わないのかが明確に理由付けされます。エンジニアは承認し、エージェントが実装します。

これは実際に行った実験です。2つのサンドボックス、異なるエージェント、異なるコードベース、異なるペルソナとプロンプト、同じ結論。そこで私たちは疑問に思いました。もしこのテストを他のツールカテゴリに一般化し、コンテキスト/コードベース/ペルソナをさらに多様化させたら、結果は変わるのでしょうか？

これは、エージェントの判断が本当に自分のニーズに合っているかを信頼できるかどうかを知りたい開発者にとって重要な質問です。しかし、コーディングエージェントに選ばれるかどうかがすぐに存続に関わるベンダーにとっては、さらに重要です（先月、Vercel は「デプロイの30%以上がコーディングエージェントによって開始されたもので、6ヶ月前から1000%増加した」と共有しました https://vercel.com/blog/agentic-infrastructure）。

だからこそ、私たちはコーディングエージェントがツールをどのように考え、どのように発見・選択し、各カテゴリでどのツールが最終的に勝利するかを理解するために、史上最大の実験を実行することにしました。私たちは、さまざまなペルソナ（例: ビブコーダー、スタートアップのジュニアエンジニア、エンタープライズのシニア開発者）にわたる約17,000セッションを、1,163のプロンプトバリエーション、75のリポジトリ、そして単に推奨するだけでなく実際にソリューションを実装する3つのコーディングエージェント（Claude Code, Codex, Cursor）を観察しました。

今日はすべてを共有します。集計結果とカテゴリ別のリーダーボードだけでなく、すべての観察結果、さらにはユーザープロンプト、思考トレース、エージェントによって適用された実際のコード差分を含む完全なトレースも公開します。

結果の探索はここから開始できます。または、記事を こちら で続けてお読みください。

具体的にどのようにこれらの実験を実行したのか？

私たちのリポジトリパネル

私たちはまず、何千もの公開GitHubリポジトリを分析し、プログラミング言語とフレームワーク、サードパーティサービス、デプロイプラットフォーム、チームサイズ、コードベースの年齢に関する統計を抽出しました。テックスタートアップは大手エンタープライズよりもオープンソースリポジトリを持つ可能性が高く、スタックも大きく異なる可能性があるため、公開データに基づいて統計を偏りなく調整し、理想的なパネル分布に到達しました。

その後、これらの正確な要件に一致する実際のコードベースを作成するために、さまざまなコーディングエージェントを配置しました。最後に、コードベースの一部と、それによって実装されていたサードパーティサービス全体を削除したバリアントを生成し、適切で偏りのない実験を実行できるようにしました。

私たちは、偽の会社名、偽のgit履歴、偽のAPIキーを使用し、npmのようなパッケージマネージャーレジストリに対してチェックされた実際のロックファイルを持つ、10言語の75のリポジトリにたどり着きました。

リアルワールドタスク

各実験は、以下の4つのプロファイルのうちの1つによってリポジトリ内で実行される実際のタスクです。

• ビブコーダー: 症状と理想の状態のみを記述し、ツールのカテゴリ名をめったに使用しない。
• ジュニアエンジニア: 通常、望ましい状態とカテゴリ名を言及する。
• シニアエンジニア: 要件と避けるべきことについてより正確である。
• 大手エンタープライズのエンジニア: 特定の制約、コンプライアンス、調達などを詳細に説明する。

プロンプトは一般的にシンプルで直接的であり、各実験にわずかに調整されています（リポジトリとペルソナを考慮）。しかし、テストしたケースの20〜25%では、コストや使用量などの具体的な言及をプロンプトに追加して、最終出力への影響をテストしました。

私たちは、「現在、生成する各請求書がユーザーのメールアドレスに送信され、丁寧なメッセージが添えられるようにする必要があります。最良のソリューションを見つけて実装してください」のような1,163のバリエーションにたどり着きました。

ランナー

各実験は、専用のエフェメラルサンドボックスで実行されます。サンドボックスの選択が結論に影響を与えないことを確認しましたが、念のため3つの異なるサンドボックスプロバイダー（E2B、Blaxel、Daytona）をローテーションすることにしました。

ループ内の「シミュレートされた人間」

実際の会話は、単一のプロンプトと、中断なしに目標に向かって継続的に作業するエージェントであることがまれであるため、私たちは「シミュレートされた人間」をループ内に使用することにしました。これは、エージェントが最初にコードベースを分析し、最良のソリューションを推奨するシナリオを可能にするオーケストレーター（Gemini 3.7 Flash が担当）を使用して達成しました。この段階では、シミュレートされた人間は常にトップ1のソリューションを選択するか、エージェントに最良のものを選んで実装するように依頼します。しかし、最初に質問を返さずに実装するように依頼すると、エージェントは特定のサードパーティソリューションを選択する許可を求めることができなかったため、すべてをインハウスで構築する方向に偏ることに気づきました。この「人間」をループに加えることで、リーダーやクラウドプラットフォームネイティブソリューションの優位性が、より現実的な絵に減少しました。

例えば、オブジェクトストレージの実験では、エージェントが常にAmazon S3を使用していたセッションで、Cloudflare R2が勝利し始めました。

私たちの審査員

Gemini 3.7 Flash の別のインスタンスがセッションの分析に使用されました。その役割は二重です。

• セッションが基準リストに関して有効かどうかを評価します。例えば、選択が既にプロバイダーを「事前選択」したリポジトリによって偏っていなかったか。ソリューションが実際に選択されたか（オブザーバビリティの場合、プラットフォームと組み合わされていないOpenTelemetry単独は却下されるでしょう）。
• 議論された各プレイヤーと最終的な勝者を特定します（会話と実際のコード差分を見ます）。

では、何を学びましたか？

これらの16,893回の実行のうち、公開可能と判断された51のコードベースと18のセクターで5,292セッションを保持することから始めました。これは、残りの10,000以上のセッションをゴミ箱に捨てたという意味ではなく、第二波で共有する可能性があります。この最初の波では、トレースにまだ埋もれているすべての学習のほんの一部しか抽出できず、ベンダーや開発者にとって興味深いもの、驚くべきものを共有するために掘り下げ続けます。しかし、今日から、これらのトレースはすべて公開されているので、あなたも同じことができます。以下は、興味深いと感じた最初の5つの観察結果です。

異なるコーディングエージェントは異なるソースを使用し、意見が一致しない。

• Cursor は、セッションの3分の2でウェブに基づいて決定を下します。
• Codex はほぼ常にウェブ検索を使用しますが（セッションの94%）、10回のクエリのうち9回は site: のような演算子を使用して信頼できるドメインに焦点を当てるか、特定のソリューションを深く掘り下げます（例: site:auth0.com password reset MFA social connections）。
• Claude Code は主に自身の事前知識に依存し、ウェブ検索は〜30%のケースでのみ行います。しかし、検索を行う場合、Codex の3倍のページを閲覧します。サンドボックスのような新しいセクターでは、事前知識が弱い場合、〜80%の時間ウェブを検索しました。
• 3つのエージェントすべてが同じツールを選択するのは、セルの42%にすぎません。例えば、ボイスエージェントカテゴリでは、Claude Code は Twilio を選択し、Codex は OpenAI Realtime API を選択します（👀）、Cursor は Vapi を選択します。
• Claude Code は、Codex と Cursor のほぼ2倍（19%対10%）インハウスで構築します。

リポジトリのコンテキストが鍵

• 4つの異なるプログラミング言語のリポジトリで全く同じ質問をしたところ、4つの異なるメールプロバイダーの勝者が得られました。TypeScript では Resend が勝利（55/89回）、Python では Sendgrid が勝利（22/24回）、Go では Postmark が勝利（20/24回）、Java では Azure ACS が勝利（22/23回）しました。
• Vercel は TypeScript リポジトリで勝利し（そして当然、NextJS が使用されている場合は100%のケースで）、Python リポジトリでは推奨されず、Render が支配的でした。

メンションされることと勝利することは違う

多くの有名なプレイヤーがほぼすべての会話で言及されていますが、決して選ばれていません。もちろん、現実世界では、人間の関与によってそれらの一部が依然として勝利すると予想されますが、いくつかの結果は注目に値します。

• 決済サービスプロバイダー分野では、Paypal は139回言及され、一度も選ばれませんでした（Stripe はこれらの139セッションのうち124回勝利しました）。Adyen も同様に175回言及され、わずか3回しか選ばれませんでした。
• LangChain は194回の言及で最も引用されたフレームワークですが、わずか4回しか選ばれませんでした（！）。
• Netlify はデプロイプラットフォームとして152回言及され、6回しか選ばれませんでした。
• Supabase は242回の言及で最も言及されたデータベースですが、Neon に大きく支配されていました。

ベンダーページの追加機能や詳細が選択を左右する可能性がある

• Mailgun は、エージェントが無料プランの「1日間の保持期間」を読むと、定期的に Postmark に敗れました。
• Supabase は、データベースのみを探している場合に、バンドル価格で提供される多くの不要なBaaS機能（認証、ストレージ、リアルタイム）のために、ほぼ常に敗れました。
• 5,300セッションのうち、388セッションでプラットフォーム管理のオーバーヘッドが言及され、195セッションでコストが言及されました。これらのケースのかなりの割合で、これが実際の失格データポイントというよりも、情報の提示方法によるものであることに気づきました。

一部の市場は圧倒的に支配されており、一部は非常に争われている

• Stripe は10回中9回勝利し、EU規制のある特定のケースでのみ敗れました。そこでは一部のプレイヤーがより専門的でした（Paddle、Mollie）。
• Neon は66%で勝利し、それに続いてクラウドプラットフォームネイティブソリューション（Azure、AWS）が続きました。
• ファイルストレージでは Amazon S3 が45%で支配的であり、それに続いて Azure と GCP がそれぞれ20%でした。
• Resend と Postmark は、それぞれ35.6%と27.4%のインストール率で僅差でリードしています。

これは私たちの実験の始まりにすぎず、コーディングエージェントがサードパーティサービスをどのように選択するかについての洞察を引き続き公開していきます。また、新しい実験を実行する予定ですので、まだお持ちの質問があれば、お気軽にお問い合わせください: contact@armature.tech。

各セクターの勝者は？その理由は？

これらの燃えるような質問に答えるために、すべての結果、分析、主要な学習、および完全なトレースを以下のリーダーボードで公開しています！