9Bオープンモデルの500ドルでのRLファインチューニングが、カタログレビューでフロンティアモデルを上回る
A $500 RL fine-tune of a 9B open model beat frontier models on catalog review (fermisense.com)
要約
90億パラメータのオープンソースモデルを、わずか500ドルで強化学習(RL)を用いてファインチューニングしたところ、カタログレビューのタスクにおいて、最先端の商用モデルを大幅に上回る性能とコスト効率を達成しました。このアプローチは、企業が独自のデータとプロセスを活用してAIのROIを最大化するための鍵となります。
全文翻訳
知的財産の所有権
カタログの整合性におけるコストと品質
[画像: コスト(1,000件あたりのリスト数)と品質の散布図:最先端モデルは品質70~76%で1,000件あたり19ドルから172ドルかかるのに対し、ファインチューニングされた9Bモデルは約50セントで87%の品質を達成しています。]
この記事を一言で表すと:同じカタログレビューワークフロー、同じツール、同じ画像、同じスコアラーを使用した場合、当社の9BオープンソースモデルのGRPOファインチューン(青)は、テストしたすべての最先端構成を、1,000件あたり0.50ドルで上回りました。これは、最も安価な最先端セットアップの40倍、最も高価なセットアップの約340倍安価です。
パートI
皆が同じ質問をした
ChatGPTが2022年にリリースされて以来、ビジネスリーダーは同じ質問をしています。「AIは私たちに何をしてくれるのか?」その答えは、文書の要約、メールの下書き作成、人間が編集する初稿の生成といった、リスクの低いタスクから始まりました。
それはすぐに、ソフトウェア開発やコンテンツ生成のような、より価値の高い認知的な仕事へと移行し、AI カンパニーブレインの構築、つまり内部知識、データ、ツールに接続され、作業を調整し、最終的にはビジネスの一部を自律的に運用できるシステムの構築といった、より野心的なプロジェクトへと発展しました。
AI導入には多くの時間、エネルギー、トークンが費やされてきましたが、測定可能な成果はほとんど大規模に達成されていません。しかし、一部の企業はAIファーストであることを受け入れ、生産性、収益、コストで計り知れないほどの利益を上げましたが、他の企業は遅れをとるか、高いROIを達成するために組織を十分に変化させることができませんでした。
最近のデータによると、法人向け経費管理プラットフォームRampは、パフォーマンスの著しいコントラストを示しています。AIに投資している企業のトップ四分位は、2022年11月から2025年12月にかけて収益が2倍以上に増加しましたが、AI支出がゼロの企業ではわずか15%の増加にとどまりました。
AI導入企業は業界を問わず優れたパフォーマンスを発揮
AI支出トップ四分位の企業
AI支出ゼロの企業
同じ3年間、同じ経済状況下で:Rampのデータでは、AI導入が最も進んでいる企業は収益を2倍以上に伸ばした一方、AIに全く支出していない企業は約15%の成長にとどまりました(2022年11月=100を基準とした指数、報告された終点から描画された曲線)。この記事の残りの部分は、AI導入が進んでいるグループが実際に行ったことについてです。
AIが一部の企業で驚異的な成果を上げた一方で、他の企業が投資収益率の低迷に苦しんだ理由は数多くありますが、調査は主に5つの方向に向けられています。
01
タスクだけでなくプロセスを再設計する
AIファーストになるということは、人を中心に構築されたワークフローにモデルを投入するのではなく、作業の構造を再考することを意味します。何が承認され、誰が何をレビューし、どの引き継ぎがまだ人手を必要とするかです。プロセスが変更されないままだと、レガシーのボトルネックがP&Lに到達する前に生産性の向上を吸収してしまいます。McKinseyの2025年のジェネレーティブAI利用組織の調査では、ワークフローの再設計がEBITへの影響と最も相関の高い属性であり、そのうちわずか21%しかワークフローを再設計していませんでした。
02
実験を奨励する
モデル、ツール、ベストプラクティスは毎週変化するため、前四半期のセットアップが正しいことはめったにありません。これは、出荷するだけでなく、試行錯誤して失敗したことを報告した人に報酬が与えられない限り、拾い上げられません。技術チームは、機能全体で同じ問題が繰り返されるのを見て、モデルが実際に引き継げるものを判断できるため、開始するのに適した場所です。
03
カスタマイズされたビジネスコンテキストを提供する
プロンプトエンジニアリングと検索(retrieval)は、呼び出し時にビジネスコンテキストを注入できますが、それをうまく行うことはそれ自体がエンジニアリングプログラムです。データにアクセスし、各リクエストが見ることができるものに対するアクセス制御を強制し、適切な証拠を提示する検索を構築し、コンテキストウィンドウを管理することは、モデルが成長するにつれて不均一に使用するものです。
04
使用状況と影響を測定する
あらゆるAIの項目は、最終的にCFOからの質問に直面します。「何が変わったのか、それは価値があったのか?」ほとんどのデプロイメントでは、誰もそれに答えることができません。モデルのパフォーマンス、意思決定コスト、効率への影響を追跡するインフラストラクチャがなく、自己申告による時間の節約はしばしば不正確です。独自のデータに対するスコアリングされた評価なしでは、「雰囲気評価」が主張できる上限であり、防御するための確固たる予算となります。
05
この記事では、勝利グループが収束し続けているデプロイメント技術の詳細な概要を提供します。それは、強化学習によるオープンソースモデルのファインチューニングです。それが上記の最後の3つの課題にどのように対処するか、そして組織だけが持つ知識(すなわちデータ、ツール、プロセス)を、ベンダーAPIでは真似できないモデルに、ごく一部のコストでどのように変えるかについて説明します。
TL;DR
2.2倍
Rampのデータによると、AI支出トップ四分位の企業は2022年11月から2025年12月にかけて収益が2.2倍になりました。同じ経済状況下でAI支出ゼロの企業は同じ3年間で約15%成長したのに対し、ヘビーアダプターは8倍成長しました。
1
勝者が収束するプレイブック:オープンソースモデル、独自のタスクデータ、およびワークフローのスコアリングされたコピーに対する強化学習。Bridgewaterのトレーニング済みモデルは、最先端モデルよりも約30%少ない間違いを犯します。Harveyの法律エージェントは、独自のルーブリックでGPT-5.5およびClaude Opus 4.8を上回ります。IntercomのFin Apexは、より低いコストでより多くのサポート問題を解決します。
87.3%
カタログレビューで、当社のGRPOトレーニング済み9Bオープンソースモデルが達成した最大スコアの割合。最先端構成では76.9%でした。これは最先端モデルに対する相対的な改善が13.5%、未トレーニングのベースモデル(64.2%)に対する改善が36%です。5つの最先端モデルは、最適化されたプロンプトを使用しても、互いに0.1ポイント未満の差でプラトーに達しましたが、トレーニングされたスペシャリストはその天井を突破しました。
68倍
レビュー済みリストあたりのコストメリット:スペシャリストでは1,000件あたり0.50ドル、最も強力な最先端モデルでは34ドルです。それでも、最も安価な最先端オプションより40倍安価です。1日あたり約4,000万回の決定を行うと、これは約700万ドルになり、5億ドルではなく、98%のコスト削減になります。
パートII
勝者が異なること
AIレースで先行している企業のほとんどは同じ発見をしました。知性を所有することが、パフォーマンスとコストの両方で勝利をもたらすということです。特定の環境で特定のワークフローを完了するためにトレーニングされたモデルは、会社の内部を見たことのない汎用モデルよりも優れたパフォーマンスを発揮する可能性が非常に高いです。さらに、特定の環境で動作することを目的としたモデルに多くの汎用機能を詰め込む必要がないため、実行コストが桁違いに安い小型モデルで済むことがよくあります。
知性を所有することは、ChatGPTやClaudeのサブスクリプションをキャンセルすることを意味しません。ほとんどのワークフロー自動化は、依然として最先端モデルから始まります。これは正しい最初のステップです。技術的に何が可能かのベースラインを確立し、各呼び出しはスペシャリストモデルが後でトレーニングするためのデータ(入力、決定、修正)を生成します。自動化がプロトタイピング段階を過ぎたら、優先順位は量でのコストとパフォーマンスに移行します。そこで、強化学習によるオープンソースモデルのファインチューニングが登場します。それに加えて、Fable 5やChatGPTモデルは、内部知識を必要とするワークフローの部分を処理するためにスペシャリストモデルを呼び出すことができ、スペシャリストモデルは、高い汎用性を必要とするタスクのために最先端モデルを呼び出すことができます。
モデルがあなたの環境で動作することを学ぶ方法
[画像: 図:タスクがあなたのインフラストラクチャ上で実行されているAIモデルに送信され、モデルはツールやデータと対話し、ルーブリックが結果をスコアリングし、報酬信号がモデルを更新します。]
モデルはあなたのツールとデータと対話し、ルーブリックが結果をスコアリングし、報酬信号がモデルを更新します。数万のタスクで繰り返されることで、ワークフローの判断が重みに定着し、価格、在庫、ポリシーテキストなどの変更された事実は、それらが属するツールに残ります。
過去2年間で、これはプレイブックとして定着しました。オープンソースモデル、独自のタスクデータ、およびスコアリングされたワークフローのバージョンに対する強化学習ステージです。以下では、このアプローチが実際のタスクに適用された3つのシナリオについて説明します。
Bridgewater Associatesは、世界最大級のヘッジファンドの1つです。そのアナリストは、投資テーマに関連する文書、申請書類、メールの絶え間ないストリームを分析し、どこから定型コンテンツが始まるかを判断します。ただし、関連性とはBridgewaterの内部判断による関連性を意味し、プロンプトをいくら工夫しても、最先端モデルにその判断を確実に学習させることはできませんでした。そこで同社は、独自の専門家投資家からのラベルでオープンソースモデルをトレーニングすることにしました。トレーニングされたモデルは、最先端モデルよりも約30%間違いが少なく、推論コストはごく一部です。
Harveyは、法律事務所向けのAIエージェントを構築しています。その最も困難なワークロードは長期間にわたるものです。トランザクションのデューデリジェンスや法律メモの作成では、エージェントが大規模なドキュメントセットをナビゲートし、ステップ間でエラーが累積し、最先端モデルでさえ最大限の推論努力で品質基準を満たすことができませんでした。Harveyはオープンウェイトモデルで強化学習を実行し、独自のルーブリックでGPT-5.5およびClaude Opus 4.8を上回る法律エージェントを獲得しました。
Intercomは、顧客サービスプラットフォームであり、そのAIエージェントFinは週に約200万件の顧客問題を解決しています。そのボリュームでは、問題は単価経済です。最先端の通話ごとの価格設定はすぐに積み上がり、解決率の各ポイントが重要になります。そのため、IntercomのAIグループは、数十億件の顧客サービスインタラクションで独自の垂直サポートモデルFin Apexをポストトレーニングしました。Intercomは、最先端モデルよりも多くの問題を解決し、実行コストが低いと報告しています。
これら3社をはるかに超えて、同じパターンが繰り返されます。付録には、さらに8つのデプロイメントを収集しており、各モデルが何をトレーニングされ、出荷後に何が変わったかが記載されています。
1つのデプロイメントパターンがこれらのケース全体で繰り返されています。強化学習は、特定のワークフローでオープンソースモデルを最先端を超えて押し上げ、固定された劇的に低い単価で提供します。デプロイメントは通常、プロンプトとコンテキストをエンジニアリングした最先端モデルを使用して、最も強力なデフォルトベースラインを確立することから始まります。これらの最先端のトレースと学習は、その後、会社が所有するコンパクトなモデルに焦点を絞った機能を詰め込むために再利用されます。
パートIII
ケーススタディ:カタログ整合性エージェント
Eコマースプラットフォームを運営する上での中心的な課題の1つは、製品カタログの信頼性を維持することです。各リスティングは、プラットフォームの分類体系の正しいカテゴリに配置され、検索、フィルター、推奨、および下流の操作を可能にする属性が、画像と説明から正確に抽出されなければなりません。
+15%
当社のファインチューニングされた9Bオープンソースモデルは、テストした最先端モデルよりも正確にEコマース製品リスティングをレビューします。
68倍
当社のファインチューニングされたモデルがその最先端モデルの代わりにレビューを行う場合、リストあたりのコストが安くなります。
プラットフォームは、カタログとともに成長するカタログ整合性アナリストのチームをこの作業に配置しています。リストが増えれば、知るべきカテゴリが増え、チェックすべき属性が増え、判断すべき曖昧なエッジケースが増えます。一貫性のない決定が伝播し、製品が見つけにくくなり、推奨事項が悪化し、ポリシー違反が見過ごされます。偽造品を見逃すと、顧客とブランドが詐欺にさらされます。過剰にフラグを立てると、正当な販売者を苛立たせる高価なレビューキューが構築されます。
規模から始めましょう。eBayだけでも約25億件のライブリスティングを扱っており、Shopifyのカタログは1日に1,000万件以上の製品更新を吸収しています。Walmartは、AI支援のカタログ作業を人手だけで行う場合、約100倍の人員が必要だったと述べています。
間違った対応は収益を失います。消費者の71%が、リスティングと一致しなかったために製品を返品したことがあると述べています。しかし、レビュー自体も高価です。中規模のマーケットプレイスは、1日に約1,000万件のリスティング作成と編集を生成します。最先端モデルでレビューした場合、そのワークロードは年間約5億ドルかかりますが、ファインチューニングされたスペシャリストは同じ作業を約1,000万ドルで行います。
1つのワークロード、2つの価格タグ
最先端API(呼び出しごと)
ファインチューニングされたスペシャリスト(セルフホスト)
この2つのバー間の約50倍の差は、具体的な価値提案全体です。取り込み規模では、最先端の呼び出しごとのアーキテクチャは単にコストが高いだけでなく、予算を完全に超過します。これが、この正確なワークフローを実行している企業が、レンタルモデルで実行しない理由です。
このワークフローを実際に実行している企業は、その計算を確認しています。Shopifyは、約4,000万回の推論/日でファインチューニングされたオープンモデルを使用して製品を分類しています。これは、商用APIでは経済的に対応できないボリュームです。業界リーダーに触発され、私たちは独自のプレイブックを実行しました。リスティングを検査し、製品分類を検索し、ブランドをチェックし、属性スキーマを取得し、構造化された決定をコミットし、証拠が薄い場合やリスクが高すぎる場合に人間のレビューにエスカレートするエージェントです。
1つのエピソード、エンドツーエンド
[画像: 製品写真:黒いPUコーティングされた作業用手袋]
リスティング
作業用手袋、PUコーティング、黒、サイズ10
主張されたブランド
AmazonBasics
地域
US
1 search_taxonomy → 安全作業用手袋
2 lookup_brand → 登録済み、保護されていない
3 get_attribute_schema → ブランド、色、素材、サイズ
✓カテゴリ、属性、および判定 許可 をコミット
エージェントはアナリストのようにリスティングを処理します。適切なカテゴリを見つけ、主張されたブランドを確認し、そのカテゴリに必要な属性を取得し、その決定をコミットします。クリーンなリスティングは承認で終了し、疑わしいものはフラグで終了する必要があります。モデルは、実際の違反を見逃すことのコストが誤検知の7倍であるため、2つの間違いを非対称に重み付けすることを学びます。
パートIV
モデルが練習できるデジタルツイン
モデルは、実際に実行し、失敗し、再試行できるワークフローでのみ練習できます。そのため、Eコマースプラットフォームのデジタルツインとしてカタログワークフローを再構築しました。これは、実際の環境と同じリスティング、同じツール、同じリスクを持つシミュレーション環境です。原材料は、実際の製品画像とリスティングデータのアマゾン・バークレー・オブジェクト(Amazon Berkeley Objects)データセットであり、これを177,767件のレビューエピソードに変換しました。各リスティングには、画像、タイトル、説明、主張されたブランド、地域が含まれています。このストリームに、制御されたポリシーケース、不一致の画像、矛盾するブランド主張、および意図的に正当な主張をハードネガティブとして埋め込み、各エピソードにスコアリングするための既知の正解があるようにしました。
ツインの中で、モデルはアナリストのように動作します。約13,000カテゴリの分類体系を検索し、ブランドが登録され保護されているかを確認し、選択したカテゴリに必要な属性を取得できます。その後、カテゴリ、属性、およびポリシー決定をコミットする必要があります。スコアラーは各エピソードを採点し、正しい出力に報酬を与え、見逃された違反、無効な属性、無効なカテゴリ、および無駄なツール呼び出しにペナルティを課します。ペナルティはビジネスの優先順位を直接エンコードします。見逃された違反のコストは、誤検知のコストの7倍です。
デジタルツイン、エンドツーエンド
ツール
search_taxonomy() lookup_brand() get_attribute_schema()
リスティングエージェント
決定
スコア
報酬
0.3・カテゴリ + 0.3・属性 + 0.4・ポリシー - ツール超過
実際のワークフローのすべての部分には、ツイン内の対応するものがあります。リスティングが流れ込み、エージェントはアナリストと同じツールを参照し、スコアラーは各決定を採点します。戻ってくる報酬が、練習を学習に変えるものです。
最先端モデルのベンチマーク
トレーニング実行の前に、最先端がどこまで到達できるかを測定しました。5つの最先端モデル(GPT-5.5、GPT-5.6-sol、Gemini 3.1 Pro、Claude Opus 4.8、Claude Fable 5)を、同じツール、画像、スコアラー、ターンバジェットで、プレーンプロンプトと最適化されたプロンプト指示の両方で、200の層化された検証エピソードでベンチマークしました。最適化されたプロンプト指示は、プロンプトエンジニアが本番システムをチューニングする方法でチューニングされた、2,800文字の抽出規則、検索手順、および作業例です。下のチャートは、両方の構成を示しており、比較のために最終的なGRPOトレーニング済みモデルも追加されています。
最先端の構成では、達成可能なスコアの76.9%に達しました。トレーニングされた9Bモデルは87.3%に達しました。この差は知能ではありません。最先端モデルは各エピソードをゼロから開始します。このストアの分類体系、在庫規則、どの属性値がサポートされていると見なされるか、またはプラットフォームがコーナーケースをどのように解決することを望むかを知らず、それらすべてをオンザフライで、プロンプトに収まるものから、各呼び出しごとに再構築する必要があります。最適化された指示は、一部の知識を圧縮できますが、スコアを決定するコーナーケースは、指示プロンプトでは列挙できないものばかりです。
モデルベンチマーク
[画像: 棒グラフ:ファインチューニングされたQwen3.5-9Bは、すべての最先端モデルを上回る達成可能な天井の87.3%をスコアリングしています。最先端のバーは、最適化されたプロンプト指示からのゲインを示す明るい拡張を持つソリッドグリーンでゼロショットスコアを示しています。未トレーニングのオープンソースベースはより低くスコアリングされます。]
各最先端バーは、モデルのゼロショットスコアをソリッドグリーンで示しています。明るい拡張は、最適化されたプロンプト指示が追加したものです。最適化は役立ちましたが、それほどではありませんでした。最適化された構成は互いに0.1ポイント未満の差で収束し、最も強力なゼロショット抽出器(Gemini)は最適化された指示で悪化したため、そのバーにはゲインが表示されません。追加の指示も無料ではありませんでした。それらは、各呼び出し、永続的に、入力トークン請求額をモデルに応じて28~55%増加させました。プロンプトによるタスク知識は呼び出しごとにレンタルされ、トレーニングされたタスク知識は一度購入され、重みに保存されます。
パートV
トレーニングの詳細
トレーニングセットアップは控えめでした。2つのRTX PRO 6000 GPUをレンタルし、1つはロールアウトを生成し、もう1つは勾配更新を適用しました。オープンソースのprime-rlフレームワークがインフラストラクチャを実行しました。完全な実行は1,000回のオプティマイザステップで、約3日半かかり、GPU時間で約500ドルかかりました。
そのほとんどは、最先端を捉えるために必要ではありませんでした。モデルは、約250ステップ(約1日のトレーニング)で最先端バンドを通過しました。残りのステップは、最大パフォーマンスを引き出すために費やされました。最終モデルはベンチマークで0.626をスコアリングし、達成可能な天井の87.3%、および最先端構成よりも約10ポイント上でした。
このゲインは、モデルに環境のセマンティクスを教えることから来ています。スコアリングされたエピソードを数千回繰り返すことで、ストアの分類体系、ツール、ポリシーが報酬とどのように関連しているかを学習し、環境のアクションスペース全体での最適なアクション分布に収束します。汎用モデルは容量をすべてに分散させますが、スペシャリストは汎用能力を犠牲にして、特定のタスクにすべてを費やします。
この結果も行き止まりではありません。より有能なオープンソースベースモデルが出荷されると、レシピは転送されます。経験則として、より強力なベースはより強力なポストトレーニングスペシャリストを生み出します。そして、デプロイされたモデルは、動作中に独自のトレーニングデータを生成します。ログされた決定は、教師ありファインチューニングセットに蒸留でき、各再トレーニングは前回よりも安価で情報に基づいたものになります。
トレーニング実行
各点は、W&Bトレーニングモニターからの測定された評価です(エピソードあたり2つのサンプリングされたロールアウト)。9B実行は、ステップ1,000で約0.50から0.671に上昇し、250ステップ未満で最先端バンドをクリアします。モニターのサンプリングデコーディング実行は、最終的な9Bアダプターが0.626をスコアリングする厳密なベンチマークハーネスをわずかに上回ります。
これまでは、強化学習が言語モデルが会社の環境をより正確にナビゲートするのにどのように役立つかについて議論してきました。しかし、このパラダイムの最も重要な側面の一つは、その精度が最先端モデルを実行するよりも安価であるということです。この記事の冒頭にあるコスト対品質のチャートは、両方を1つの画像にまとめています。タスクスコア対1,000件あたりのリスト数であり、予算担当者にとっての要点は単純です。チャート上の他のすべてでは、品質とコストのどちらかを選択しています。トレーニングされたスペシャリストは、そのトレードオフを終了させ、測定された最高のスコアを最低価格の近くで提供します。
ファインチューニングは、同じ約0.50ドル/1,000リストのコストで、ベース9Bに対して約23ポイントを追加します。これは、最も安価な最先端構成(Gemini、$19/1k)の40倍、最も高価な構成(GPT-5.5-pro、$172/1k)の約340倍安価です。2,800文字のプロンプト指示は、GPT-5.5の測定コストを3分の1増加させました。これは、すべての将来の呼び出しで支払われるプロンプト税です。スペシャリストの指示は、その重みに存在します。Shopify規模の1日あたり約4,000万回の決定というボリュームでは、1,000件あたり34ドルと0.50ドルの差は、年間約5億ドル対700万ドルです。
これらの曲線があなたのワークフローでどのように位置するか疑問に思っていますか?30分間の監査を予約 →
パートVI
知的財産を所有することのメリット
この実験全体を3文で説明します。高ボリュームのEコマースワークフローである製品リスティングのレビューを取り上げ、デジタルツインとして再構築しました。数日間、約500ドルのGPU時間で、小規模なオープンソースモデルにその中で練習させました。トレーニングされたスペシャリストは、測定したすべての最先端構成を、決定あたりの価格のごく一部で上回りました。
このレシピは、ビジネスで繰り返し行われるあらゆる作業に転用できます。人々やAPI呼び出しが一日中情報を意思決定に変える場所を探してください。チケットのルーティング、ドキュメントからのフィールド抽出、ポリシーに対する提出のチェック、製品の分類、トランザクションの承認またはフラグ付けなどです。それらを結びつけるのは、各決定がチェックできることです。ルール、スキーマ、またはそれが正しかったかどうかを言える専門家が存在します。そのチェックがすべてです。決定がスコアリングできるなら、モデルはそれを練習できます。議論できるだけなら、できません。
これが間違ったツールである場所を知ることも同様に重要です。2つの質問がほとんどのケースを解決します。タスクの実行頻度と、その結果が検証可能かどうかです。
適切な問題形状のための適切なツール
プロンプト最適化された最先端モデル
ファインチューニングされたスペシャリスト
所有され、練習され、スケールで安価
最先端モデル
最先端モデル + 人間によるレビュー
検証可能
検証不可能
まれなタスク
頻繁なタスク
右上の領域がファインチューニングが効果を発揮する場所です。検証可能な結果を伴う頻繁な作業です。それ以外はレンタルするのが最善です。プロンプト最適化された最先端モデルは、検証可能だがまれな作業をカバーし、結果が検証できない場合は人間がループ内に留まります。問題が判断ではなく事実の変更である場合、検索はどのボリュームでも解決策です。以下のチェックリストは、右上の条件を、独自のワークフローに適用できるものに凝縮しています。
あなたのワークフローは、少なくとも1つの条件が当てはまる場合、ファインチューニングの候補です…
- 高ボリュームで発生し、決定ごとのコストとエラーが実質的な金額に積み重なるほど頻繁である
- 人間が介在することなく、ルール、テスト、またはルーブリックによって各結果をチェックできる
- あなたの専門家は、正しい答えがどのように見えるかについて合意している
- 有能なモデルがすでに時々成功しているが、十分に信頼性が高くない
- 正しい答えが幸運な推測であってはならない
- 推論、ツール呼び出し、そしてコミットされた決定という複数のステップにまたがる
- あなた自身のツール、スキーマ、およびポリシーで実行される
- 異なる間違いは異なるコストを伴う
- 機密データは、あなたが管理するインフラストラクチャを離れることができない
最後の条件は安全性の議論でもあります。あなたがトレーニングしたモデルは、あなた自身の境界内で実行されるため、プロンプトと記録はベンダーに到達しません。1つの条件でも、会話に値する十分な理由になります。どの条件が当てはまるかを検討することが、通話の目的です。
これがあなたのワークフローのいずれかに該当する場合、問題はそれがあなたに適しているかどうかではなく、どの決定をレンタルするのをやめるべきかということです。知性を所有することは、複利で増える利点です。モデル、評価、データはあなたのものとして残り、あなたの条件で共に改善されます。それがあなたのビジネスにとってどのようなものかを見たい場合は、喜んでお手伝いさせていただきます。
あなたのワークフローでこれらの数値を表示する
あなたのビジネスに役立ちそうなものですか?通話を予約していただければ、潜在的なビジネスインパクトを評価し、ビジネスROIを無料で判断するお手伝いをします。
モデルを自分で試してみたいですか?Hugging Faceで入手できます。
付録
実績:タスクトレーニングされたスペシャリスト vs. プロンプトされた最先端モデル
フラッグシップ以外にも、業界全体で同じパターンが繰り返されています。以下の各結果は、企業が置き換えまたは競合していた最先端モデルに対する独自の報告値です。各企業名は、出典元の記事へのリンクになっています。
| 企業 | モデルの役割 | 結果 | ビジネス上のメリット |
|---|---|---|---|
| Cognition | ソフトウェアの記述と修正(本番環境) | 標準的なコーディングベンチマークでGPT-5.5を上回る | サービングコストのごく一部で最先端レベルの出力、毎秒1,000トークンをストリーミング |
| AT&T | 1日あたり90万件のサポートコールを要約し、個人データをフラグ付け | 個人データの検出においてGPT-4oより17%優れている | 詐欺ケースを12倍速くレビュー(GPT-4oの精度)、年間数百万ドルを節約 |
| 候補者と求人のマッチング | 置換したGPTモデルより4%正確 | GPT-4より75倍安価、GPT-4oより6倍安価 | |
| Ambience Healthcare | 医療請求コードの割り当て | ゴールドパネルテストで18名の認定医師を上回る精度 | プロンプトされたo4-mini(OpenAIモデル)より12ポイント上回る |
| Phonely | 顧客の電話応対 | GPT-4oの94.7%に対し99.2%の精度 | 以前のGPT-4oセットアップより73%高速な応答。ある顧客は1ヶ月で350人の人間のエージェントを置き換えた |
| OpenPipe | メールおよびサポートチケットの処理 | サポートQAで93%(OpenAIのo3は50%) | o3より64倍安価で5倍高速 |
| Perplexity | ソース付き検索クエリへの回答 | ブラインドユーザーテストでGPT-4oと同等 | GPT-4oの10倍の速度、価格はごく一部 |
| Checkr | バックグラウンドチェックでの犯罪記録エントリの分類 | 難易度の高いケースでGPT-4を上回る | 以前のGPT-4セットアップより5倍安価で30倍高速 |
出典と注記
- Ramp AI支出と収益データ、2022年11月~2025年12月:Ramp CEO Eric Glyman on X、2026年7月。
- Uber:Fortune、2026年5月、2026年のAI予算全体を4ヶ月で使い果たす。Microsoft:BuildMVPFast、2026年、Claude Codeライセンスの中止について。
- Thinking Machines Lab × Bridgewater AIA Labs、Learning to Replicate Expert Judgment in Financial Tasks、2026年6月。
- Ramp × Prime Intellect、How Ramp Used RL to Beat Frontier Models at Spreadsheet Search、2026年7月。
- Shopify Engineering、Leveraging multimodal LLMs at scale。
- Checkr、LLMOps Micro-Summit presentation(Predibase上のファインチューニングされたチャージ分類について)。
- カタログサイズ:eBay investor relations(ライブリスティング約25億件、2025年12月)、Instacart Engineering(アイテム14億件、小売業者1,500社以上)、Marketplace Pulse(Walmart.com製品4億200万件以上。Walmartは非公開)。
- Walmart Q2 FY2025決算説明会、CIO Dive経由:ジェネレーティブAIで作成または改善されたカタログデータポイント8億5,000万件以上、手動で行った場合の現在の人員の約100倍と推定。
- Salsify 2025 Consumer Research(n=1,910、米国/英国)およびAkeneo 2023 Global B2C Survey。どちらも製品情報管理企業によるベンダー委託調査であり、方向性として扱うべきです。
- The Wall Street Journal、AI giants are handing out tons of free computing power to grab startup share:問題01で言及されているトークンコスト補助金。
- Anthropic Engineering、Effective context engineering for AI agents。
- Liu et al.、Lost in the Middle: How Language Models Use Long Contexts、arXiv 2307.03172。
- METR、AI usage survey、2026年5月:自己申告によるAIのメリットは、測定された時間の節約を約40パーセントポイント過大評価しています。
- Sentra、What is a company brain? The 2026 guide。
- テキスト内でリンクされているケーススタディ:Harvey × Applied Compute、Intercom Fin Apex、Cognition SWE-1.7、Adaptive ML × AT&T、LinkedIn EON、Ambience Healthcare、Phonely (VentureBeat)、OpenPipe ART·E、Perplexity Sonar、Instacart、DoorDash × Applied Compute、Shopify Flow agent。