Modal Auto Endpoints: あなたが所有する最適化された推論

全投稿に戻る ニュース 2026年6月23日 • 5分で読めます Modal Auto Endpointsを発表：あなたが実際に所有する最適化された推論 Charles Frye @charles_irl 技術スタッフメンバー Deven Navani @DevenNavani 技術スタッフメンバー Hari Subbaraj @hsubbaraj 技術スタッフメンバー Greta Workman @gretaworkman プロダクトマーケティング Richard Gong @_gongy 技術スタッフメンバー Modalは、Cognition、Decagon、Fathom、DoorDashといった先進的なチームが、コストパフォーマンスや開発者の速度を犠牲にすることなく、自社の推論を所有することを可能にします。 これで、たった1つのコマンドで同じことができるようになります： modal endpoint create --name agent --model zai-org/GLM-5.2-FP8 Modal Auto Endpointsの紹介：本番環境レベルのLLM推論へのスムーズなセルフサービスオンランプ。 今すぐ試すか、その構築方法と理由について読み進めてください。 推論を実際に所有する時代のために構築 プロプライエタリなモデルプロバイダーは、モデルを密かに劣化させたり、アクセスを突然停止させたりすることがあります。もし推論を所有していなければ、自分の運命を所有していることにはなりません。 推論プロバイダーが提供するオープンモデルを扱う場合、ある程度の制御は得られます。しかし、私たちは所有権がAPIよりも深くにあると考えています。推論を実際に所有するには、推論を実行するコードを所有し、理解し、最適化する必要があります。 マネージド推論プロバイダーはAPIの取得を容易にしますが、提供スタックはブラックボックスです。そのため、これまで、推論を適切に所有したいチームには、推論サービスを自前で構築するという選択肢しかありませんでした。それは制御をもたらしますが、今度は推論だけでなく、エンジンチューニング、エンドポイントベンチマーク、コンテナデプロイメント、レプリカの自動スケーリングとルーティング、推論メトリクスなど、はるかに多くのものを所有することになります。 だからこそ、私たちはModal Auto Endpointsを構築しました。そして、それらは従来の推論プロバイダーが提供するものとは大きく異なります。 Modal Endpointは、Modal Appによってバックアップされた、OpenAI API互換の、本番環境対応サービスであり、そのAppをあなたは見たり制御したりできます。 このアプローチには3つの主要な違いがあります： 私たちはコードを隠しません。GPUの選択からリージョン化、推論エンジンフラグ、そしてたまにあるちょっとしたエンジンパッチまで、すべてあなたと共有されます。 私たちはメトリクスを隠しません。投機的デコーディングの受け入れ長や、レプリカごとのエンジン側トークンレイテンシーの分位数など、推論の問題をデバッグするために実際に必要なメトリクスは、ダッシュボードに自動的に提供されます。低いハードルですが、私たちが設定したわけではありません！ 私たちは「営業と話す」ボタンの裏に隠れません。GLM 5.2のような最先端のオープンモデルを、CLIコマンドまたはクリック操作でデプロイできます。Zoom会議は不要です。追加の専門知識が必要な場合は、いつでもご連絡ください。 推論のために構築されたインフラストラクチャ これらすべてを提供できるのは、ModalのAIインフラストラクチャプラットフォームという強固な基盤の上に構築しているからです。 私たちのユーザーは、このプラットフォームを構築してタンパク質を折りたたみ、ロボットを動かし、音楽を作成しています。そこで機能するのと同じ基本的なコンポーネントが、手作業またはAuto Endpointsを介したLLM推論でも機能します。 Modalを使用すると、見積もれない負荷を処理するために数ヶ月分の高価なGPU容量を予約する必要がありません。代わりに、使用した分だけ支払い、高パフォーマンスの自動スケーリングシステムとカスタムコンテナランタイムで需要に対応します。容量管理を気にすることなく、世界中のGPU、またはユーザーの近くのGPUを使用できます。それが私たちの強みであり、変わることはありません。 また、低レイテンシー推論の要求をサポートするために、システムに新しい基本的なコンポーネントを追加し、ベータ版からリリースしました：超低レイテンシールーティングのためのModal Servers。 Modal Serversは、Modal Web Functionsの弾力的なスケーリングと深い計算能力を維持します。しかし、キューイングを排除し、デフォルトでリージョン化されているため、信頼性と自動スケーリングを損なうことなく、わずか5msのオーバーヘッドでModal上でHTTPリクエストを処理できます。その構築方法については、今週後半に詳しく説明します。 クリック一つで高性能な推論コードを実現、手間いらずで 推論エンジンは、PostgreSQLのようなデータベース管理システムに似ています。つまり、ハードウェアの限界で性能を発揮しなければならない複雑でミッションクリティカルなソフトウェアです。データベースと同様に、このソフトウェアには多数のノブによって公開される複雑な内部構造があり、最高の性能を実現するにはそれらのノブを調整する方法を学ぶ必要があります。 それは大変な作業です。推論を自社で所有しようとするチームが、プロプライエタリなモデルAPI上で構築することに慣れている場合、APIレイヤーの抽象化を維持し、推論パフォーマンスの懸念をオープンウェイトモデルのプロプライエタリなラッパーに外部委託したくなるのは当然です。 Auto Endpointsは、両方の長所を提供します。パフォーマンスを手間なく実現します。サポートされている各モデルについて、私たちは世界で最も要求の厳しいAI製品を構築するチームとの経験に基づいて形成された開始デプロイメントを提供します。GPUの種類を指定したり、`--mamba-scheduler-strategy` や `--flashinfer-mxfp4-moe-precision` といったエンジンフラグをいじくり回したりする必要はありません。独自のワークロードに合わせて特別な最適化を行う準備が整うまでは。 私たちはこれらのレシピをプロプライエタリな推論プロバイダーとの直接競争の中で開発しました。SGLangのような基盤となる推論エンジンやFlashAttention-4のようなカーネルへの改善をパッチ適用してアップストリームすることでオープンソースに賭け、投機的デコーディングに全力で取り組むことで勝利しました。 特に、Z LabのDFlashブロック拡散ドラフターアーキテクチャを気に入っており、すべての互換モデルでそれを使用しています。私たちはZ LabおよびSGLangチームと緊密に協力して、DFlashを実際の提供システムで高速かつ信頼性の高いものにし、サポートを拡大し、最適なパフォーマンスを提供できるように独自のDFlashドラフターモデルを訓練してリリースしました。 Endpointを設定する際に、ベンチマーク結果を公開します： Endpointがデプロイされたら、クリックでテストし、レイテンシーとスループットのトレードオフを確認し、負荷がかかったときに自動スケーリングされるマルチレプリカサービス全体がどのように動作するかを見ることができます。 もちろん、推論に普遍的な構成はありません。低レイテンシーの分類エンドポイントと多ターンエージェントループでは、同じ提供設定を望みません。Modal Auto Endpointsは、トレースをプルする前に私たちが開始する構成、つまりクリーンで検査可能、ベンチマーク済み、ワークロードに対してチューニングする準備ができた構成であなたをスタートさせます。 エンジンレベルの可観測性 ベンチマークでのパフォーマンスだけでは十分ではありません。本番環境でのパフォーマンスは観測可能である必要があります。推論を所有するとは、パフォーマンスを向上させ、アプリケーションの問題を根本原因まで突き止めるために、エンジン内部のすべてを見ることができることを意味します。 Modalは、エンドポイントのパフォーマンスを理解するためのメトリクス（ダッシュボード内およびOTELエクスポート経由）を、2つのグループに分けて提供します。 サーバーメトリクス：GPU温度、電力、利用率などの従来のModal Appメトリクス 推論メトリクス：Time-to-first-token（TTFT）、Inter-token latency（ITL）、キューイング、投機的デコーディングの受け入れ長など、推論エンジンによってエクスポートされる標準メトリクス サーバーメトリクスは、どの推論サービスプロバイダーも公開しないほど深く掘り下げられています。しかし、推論メトリクスについても、さらに詳細な情報を提供します。ここに、大規模な（ベースラインと比較して）トラフィック急増を処理するビジョン言語モデルエンドポイントを示すサンプルダッシュボードがあります。 それが何を示すかを見ていきましょう。 負荷が増加すると、ベースライン負荷を処理している単一コンテナ（コンテナチャートの緑色）は、TTFT（左上、プリフィルキューイングによって引き起こされる）の絶え間ない増加に続き、ITL（右上、デコードキューイングによって引き起こされる）の上昇を示します。その結果、エンドツーエンドのレイテンシーが増加します（左下）。 Modalの自動スケーリングシステムによって、2つの追加レプリカが自動的に起動されます。キューは縮小し（右下）、レイテンシーは許容可能なレベルに戻ります — PagerDutyの呼び出しは不要で、インフラと自動化だけです。 「フルオート」へ：最高の状態で開始し、継続的に改善する 私たちはAuto Endpointsを、ワークロードとSLOに基づいた宣言的なインターフェースで設計しました。このインターフェースは、お客様と協力して推論サービスをベンチマークし最適化する方法についての私たちの考え方から導き出されています。私たちは、トップチームとの長年の推論デプロイメントの経験からこれを学びました。 しかし、私たちは過去を振り返って設計したわけではありません。私たちは…