HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

AIの次の時代は、モデルだけでなくインフラストラクチャが鍵となる理由

Why the Next Era of AI Is About Infrastructure, Not Just Models (blog.mozilla.ai)

15 pointsby royapakzad3 コメント

要約

AIの進化は、モデル自体の性能向上だけでなく、それを支えるインフラストラクチャの重要性を増しています。企業は、実験段階から本番運用へと移行する中で、モデルの断片化、コストの不透明性、ガバナンスの課題に直面しており、これらを解決するインフラが求められています。

全文翻訳

コントロールレイヤー:AIの次の時代は、モデルだけでなくインフラが重要である理由

専門家の意見

[画像: コントロールレイヤー:AIの次の時代は、モデルだけでなくインフラが重要である理由]

モデルは簡単な部分 - 価値をどのように獲得し、維持するか

ここ数年間の企業におけるAIの進化は、以下のように見ています。

  • 2022年秋、世界は景気後退に向かっていると考えられています。IT予算は2023年に凍結されます。
  • 2022年11月30日:ChatGPTがローンチされ、Cスイートの非技術部門はAIとの具体的な接点を持つことになります - オンラインで利用可能なシンプルなチャットインターフェースです。
  • CEO、CFO、CROはホリデーシーズンに帰宅し、初期段階のGenAIに驚嘆します - テイラー・スウィフトがエミネムのようにラップしたり、メールを要約したり、旅行の計画についてチャットしたりします。感銘を受けた彼らは、2023年にGenAIのペットプロジェクトのためだけにIT予算を解放します。
  • 2023年:ペットプロジェクト、実験。新しい予算はGenAIにしかなく、ITチームはすべてそこに集中しました。
  • 2024年:有望でないGenAIペットプロジェクトの90%が淘汰され、残りの10%は配備のためにGRC(ガバナンス、リスク、コンプライアンス)を通過し始めています。
  • 2025年:アプリケーションが本番環境に投入され、ガードレール、コスト追跡、ROI測定のレベルは様々です。(また、エージェント型コーディングが2025年後半に現実のものとなるため、製品展開の速度が向上します。)
  • 2026年:本番環境でのGenAIの内部および外部利用が爆発的に増加します。年間予算は数ヶ月以内に使い果たされます。主権AIに関する議論や、フロンティアラボへの政府の関与が増加するにつれて、システムとデータの所有権に関する懸念が高まります。

[画像]

簡単に言えば、私たちは「AIの実験をすべきか?」から「なぜまだ本番稼働していないのか?」、そして「ROIはいくらか、そしてなんと高額なんだ?!、私のデータはどこへ行った?!」へと移行しました。

全く異なる議論です!

実験は安価です:APIキーを起動し、何が起こるか見て、次に進みます。本番環境は異なります。信頼性、監査可能性、大規模なコスト管理が必要です。地理的制約、オンプレミスコンピューティング、独自のモデルを所有する能力といった厳格な制約が必要になる場合があります。だからこそ、私たちはOtariを構築しました。モデルが十分に良くないからではありません - 実際、その逆です、多くのモデルが多くのタスクにとって十分に良いのです。しかし、組織レベルでそれらを管理するためのインフラストラクチャはまだ存在しません。私たちはそれを構築しています。

過去2年間で何が変わったか

議論を呼ぶ見解ですが、最も重要な変化はモデルの能力ではありません。モデルは劇的に改善しました、確かに。特にオープンソースおよびオープンウェイトモデルは。しかし、真の変化は採用の速度です。本番環境でのAIは、少数の資金力のあるテクノロジー企業から、あらゆるセクターの何千ものチームへと移行しました。それに伴い、誰も完全に予期していなかった問題が発生しました。

第一:断片化。 ほとんどのチームは1つのモデルを使っているわけではありません - 彼らは数十個のモデルを使っています。高レベルでは、テキスト要約のためにGPTリリース、コーディングのためにClaude、機密性の高い何かのためにオンプレミスのオープンウェイトモデルを使用しているかもしれません。しかし、彼らが「OpenAIショップ」であったとしても、GPT-5.5、-5.4、-5.4-mini、-5.4-nano、そして配備時にうまく機能し、それ以来触られていないレガシーモデルを使用しているチームも依然として存在するでしょう。それぞれが独自のAPI、価格設定、レイテンシプロファイル、レート制限を持っています。柔軟に見えたものは、すぐに運用上の混乱となりました。

第二:コストの不透明性。 AI推論は非線形にスケールします。テストで月額200ドルの機能が、使用量がシフトした場合、本番環境では月額20,000ドルになる可能性があります。これは、「VC補助金」がフロンティアラボのIPOの到来とともにトークンから解除され、トークンの真のコストが不透明でなくなるにつれて、ますます重要になります。ほとんどのチームは、請求書を受け取るまで、自分がいくら負担するのかを知りません。プロバイダー間で、手遅れになる前にこれを表面化させるネイティブツールはありません。

第三:ガバナンスのギャップ。 AIが金融、ヘルスケア、法律、教育などの規制産業に進出するにつれて、「どのモデルが、いつ、誰に、なぜそのように発言したか」がコンプライアンス要件となります。そして、世界中で行われている主権AIに関する議論は、これらの要件をさらに複雑にします。現在のインフラストラクチャには、これに対する答えがありません。

複数のプロバイダーを管理する課題

これが、マルチプロバイダーの複雑さが実際にはどのように見えるかです。製品チームは、3つか4つの異なるモデルプロバイダーにルーティングしており、プロバイダーごとに複数のモデルがあり、アドホックなローカルソリューションにルーティングしています。障害発生時のカスタムフェイルオーバーロジックを構築しました。コストを追跡するスプレッドシートを持っています。エンジニアは、経験則と不完全なデータに基づいて、どのモデルがどのリクエストタイプを処理するかを手動で調整しています。

これは持続可能なアーキテクチャではありません。

問題は、チームが何か間違ったことをしているということではありません。ツールが追いついていないのです。クラウドコンピューティングが成熟したとき、組織はサーバーを手動で管理するのをやめ、複雑さを抽象化するプラットフォームを採用しました。私たちはAIでも同じような転換点にいます。モデルはコンピューティングです。それらを管理するコントロールレイヤーが欠けているのです。

コストの可視性はファーストクラスの問題

コストは戦略的な問題として過小評価されていますが、組織が「トークン最大化」が疑問視されるリターンに対してどれだけの資本を燃焼させているかを認識し始める2026年には変化するでしょう。とはいえ、AIインフラストラクチャをコストセンターとして扱っているほとんどの組織は、それを間違った方法で考えています。本当の質問は「いくら使っているか?」ではありません。それは「必要な成果を可能な限り低コストで得られているか、そしてそれを知っているか?」です。これらは全く異なる質問です。

現在、ほとんどのチームは後者の質問に答えることができません。プロバイダー間でコスト対成果を比較できません。比例した価値なしに予算を燃焼させているルートをリアルタイムで見ることができません。「このユースケースにはXドル以上は絶対に使わない、Yが起こらない限り」といったポリシーを設定し、それが自動的に強制されるようにできません。

財務チームは最終的に、率直に言って、今まさに、この種の可視性を要求するでしょう。それを先取りするエンジニアリングチームは、そうでないチームに対して構造的な優位性を持つでしょう。

コントロールがますます重要になる理由

私が繰り返し行き着く、そして私たちが構築しているものの中心にあるのがこの考え方です:コントロールが新しい堀(moat)である。

過去数年間、チームはどのモデルを使用するかで競っていました。その優位性は失われつつあります。モデルはコモディティ化しています。トップティアモデル間のわずかな差は縮小しており、Raspberry Piで実行できるものまで、あらゆるレベルのモデルパフォーマンスで複数の競争力のあるオプションが存在します。次の競争レイヤーは運用です:誰がAIを大規模に、信頼性高く、費用対効果が高く、安全に展開できるか?

それはインフラストラクチャの問題です。

ここで「コントロール」とは具体的に何を意味するのでしょうか?それは、コスト、機能、レイテンシ、コンプライアンスによってインテリジェントにリクエストをルーティングすることを意味します。それは、AIが何をしていて、なぜそうしているのかについてのリアルタイムのオブザーバビリティを意味します。それは、組織レベルでポリシーを設定し、すべてのチームが車輪の再発明をすることなく、一貫して強制されることを意味します。それは、アプリケーションレイヤーを書き直すことなくプロバイダーを切り替えることを意味します。

コントロールとは、成熟したエンジニアリング規律のようにAIを運用することを意味します。

なぜMozillaはOtariを構築することにしたのか

Mozillaは常に、オープンで、分散化され、公益のために管理され、そして一般市民によって管理される、という特定の種類のインターネットを信じてきました。AIインフラストラクチャの方向性を見たとき、私たちは見慣れたパターンに気づきました。少数のプロバイダーへの権力の集中。ほとんどの組織が、検査、変更、または制御できない不透明なシステムに依存している状態です。

私たちはこの話を以前にも見てきました。誰も介入しなければ、どのように終わるかを知っています。

Otariはそれに対する私たちの答えです。それはLLMのためのコントロールプレーンであり、その中核はオープンソースであり、組織にAIインフラストラクチャに対する真の主体性を与えるように設計されています。単なるルーターではありません。単なるコストダッシュボードではありません。アプリケーションとモデルの間に位置する完全なコントロールレイヤーであり、AIを独自の条件で運用するための可視性、ガバナンス、柔軟性を提供します。

私たちは意図的にそれをオープンソースで構築しました。ヘルスケア、教育、防衛、金融、市民技術など、これを最も必要としている組織は、ロックインを許容できません。はい、オープンソースは流通チャネルであり、私たちのコアバリューと一致していますが、私たちはそれをそれ以上に見ています:世界の経済を動かす最も重要な産業、機関、組織での採用にとって絶対的な要件です。

Otariの機会:新しいカテゴリの定義

エージェント(agentic)時代は来るのではなく、すでにここにあります。ソフトウェアにおける次のアーキテクチャシフトは、別のモデルリリースではありません。それはエージェントハーネスです:数十または数百のエージェントを並列で調整するシステムであり、それぞれがモデル呼び出しを行い、それぞれがコストを生成し、それぞれがガバナンスが必要なデータに触れます。それを大規模に管理する複雑さは、現在のインフラストラクチャが処理できるものを何桁も超えています。これは解決されるべき問題であり、まだ良い答えがありません。

そのギャップがカテゴリです。機能やニッチではありません。真剣なAIデプロイメントすべてが必要とする基盤レイヤーです。今コントロールのために計装する組織は、複利で増加する運用上の優位性を持つでしょう。待つ組織は、それのために構築されなかったシステムにガバナンスを後付けすることになるでしょう。

私たちはOtariをそのコントロールプレーンとして構築しています。オープンソースであることでコミュニティがこのカテゴリが何になるかを形作ることができ、そしてそれを最も必要とする組織が実際に採用できるようになります。ヘルスケアシステム、公共機関、金融機関、市民インフラ:彼らはブラックボックスベンダーに依存することはできません。ServiceNowのAmit Zaveryは直接こう言いました:「すべての顧客は、AI採用とエージェント型(agentic)を考えているとき、コントロールを心配しています。」Dell Inc.のMichael Dellはインフラストラクチャのケースを述べました - クラウドが提供したのは弾力的なスケールでした:「約束されず、おそらく提供できないのは、機密性の高いエンタープライズデータ上で、コスト予測可能なエージェント型AIを大規模に提供することです。」そして、PalantirのAlex Karpさえも、選択とオープンソースAIについて意見を述べています:「技術的な顧客が望むのは、コンピューティング、モデル、データスタック、そしてアルファに対するコントロールです。彼らは生産手段を所有していることを知りたいのです。」最も重要な機関や企業は、独自のスタックを所有する必要があります。そしてOtariはその必要性への一歩です。

AIの未来は、どのモデルが勝つかだけではありません。それは、モデルの上にあるレイヤーを誰がコントロールするかです。私たちは、そのコントロールが正しく行われれば、すべての人に属するべきだと考えています。私たちはそれを証明するために、Otariをオープンに構築しています。Otari.aiのホストインスタンスにアクセスするか、完全にオープンソースのGitHubリポジトリからセルフホストゲートウェイをセットアップしてください - あなたの推論を所有し、あなたのAIスタックを所有してください。