HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Modal Auto Endpoints: あなたが所有する最適化された推論

Modal Auto Endpoints: Optimized inference you own (modal.com)

11 pointsby handfuloflight1 コメント

要約

Modalが、LLM推論を自社で完全に管理・最適化できる「Modal Auto Endpoints」を発表しました。これは、費用対効果と開発者速度を維持しつつ、プロプライエタリなモデルプロバイダーに依存せずに推論コードの深い部分まで所有、理解、最適化できることを目指しています。ワンクリックで高性能なオープンモデルの推論をデプロイし、詳細なメトリクスと自動スケーリングによって本番環境でのパフォーマンスを監視・調整可能です。

全文翻訳

Introducing Modal Auto Endpoints: Optimized inference you actually own

Modalは、Cognition、Decagon、Fathom、DoorDashのような先進的なチームが、コストパフォーマンスや開発速度を犠牲にすることなく、自社の推論を所有できるようにしています。

今や、あなたは単一のコマンドで同じことを実現できます。

Modal Auto Endpointsを紹介します。これは、本番レベルのLLM推論へのスムーズでセルフサービスな参入路です。

今すぐ試してみてください。または、どのように構築したか、そしてなぜ構築したかについて、さらに詳しくお読みください。

実際に推論を所有する時代のために構築

プロプライエタリなモデルプロバイダーは、モデルの品質を静かに低下させるか、突然アクセスを撤回する可能性があります。推論を所有しなければ、運命を所有することはできません。

推論プロバイダーによって提供されるオープンモデルを扱う場合、ある程度の制御は得られます。しかし、所有権はAPIよりも深いところにあると私たちは考えています。推論を実際に所有するには、推論を実行するコードを所有し、理解し、最適化する必要があります。

マネージド推論プロバイダーはAPIの取得を容易にしますが、サービングスタックはブラックボックスです。そのため、これまで、適切な推論の所有権を求めてきたチームには、一つの選択肢しかありませんでした。それは、自ら推論サービスを構築することです。これにより制御は得られますが、エンジンチューニング、エンドポイントベンチマーキング、コンテナデプロイメント、レプリカのオートスケーリングとルーティング、推論メトリクスなど、多くのものを自分で管理することになります。

だからこそ、私たちはModal Auto Endpointsを構築しました。そして、それらは従来の推論プロバイダーが提供するものとは大きく異なります。

[画像: Modal Endpointの概要図]

A Modal Endpointは、OpenAI API互換の本番対応サービスであり、あなたが確認・制御できるModal Appによってバックアップされています。

このアプローチには、3つの重要な違いがあります。

  • コードを隠しません。 GPUの選択やリージョナライズから、推論エンジンのフラグ、場合によってはカティエンジンのパッチまで、すべてを共有します。
  • メトリクスを隠しません。 スペキュラティブデコーディングの受け入れ長や、レプリカごとのエンジンサイドのトークンレイテンシの分位点など、推論の問題をデバッグするために実際に必要なメトリクスが、ダッシュボードで自動的に提供されます。これは最低限のことですが、私たちはこれを実装しました!
  • 「営業に連絡」ボタンの裏に隠れません。 GLM 5.2のような最先端のオープンモデルを、Zoomコールではなく、CLIコマンドやクリック操作でデプロイできます。追加の専門知識が必要な場合は、いつでもご相談ください。

推論のために構築されたインフラストラクチャ

これらすべてを提供できるのは、堅牢な基盤であるModalのAIインフラストラクチャプラットフォームの上に構築しているからです。

[画像: Modalプラットフォームのコンポーネント図]

当社のユーザーは、このプラットフォームを使用してタンパク質のフォールディングや、ロボットの駆動、音楽の作成を行っています。そこで機能する基本的なコンポーネントは、LLM推論にも同様に機能します。これは、手動で構築することも、Auto Endpoints経由で行うことも可能です。

Modalを使用すれば、見積もれない負荷に対応するために、高価なGPU容量を数ヶ月予約する必要はありません。代わりに、使用した分だけを支払い、高性能なオートスケーリングシステムとカスタムコンテナランタイムで需要に合わせてスケールできます。容量管理を気にすることなく、世界中の、またはユーザーに近い場所のGPUを使用できます。それが私たちの強みであり、それは変わりません。

低レイテンシ推論の要求をサポートするために、システムに新しい基本的なコンポーネントを追加し、ベータ版からリリースしました。それは、超低レイテンシルーティングのためのModal Serversです。

[画像: Modal Serversのアーキテクチャ図]

Modal Serversは、ModalのWeb Functionsの弾力的なスケーリングと深いコンピューティング容量を維持します。しかし、キューイングを排除し、デフォルトでリージョナライズされているため、信頼性とオートスケーリングを犠牲にすることなく、わずか5msのオーバーヘッドでModal上でHTTPリクエストをサーブできます。その構築方法については、今週後半に詳しく説明します。

クリック一つで高性能な推論コードを、苦労なく

推論エンジンは、PostgreSQLのようなデータベース管理システムに似ています。複雑でミッションクリティカルなソフトウェアであり、ハードウェアの限界でパフォーマンスを発揮する必要があります。データベースと同様に、このソフトウェアは多数のノブによって公開される複雑な内部構造を持っており、可能な限り最高のパフォーマンスを達成するには、それらのノブのチューニング方法を学ぶ必要があります。

それは大変な作業です。プロプライエタリなモデルAPI上で構築することに慣れているチームが推論を所有したい場合、APIレイヤーの抽象化を維持し、オープンウェイトモデルのプロプライエタリなラッパーに推論パフォーマンスの懸念をアウトソースしたくなる誘惑に駆られます。

Auto Endpointsは、両方の長所を提供します。パフォーマンスを、手間なく。サポートされている各モデルについて、私たちは世界で最も要求の厳しいAI製品を構築しているチームとの経験に基づいた、開始用のデプロイメントを提供します。GPUタイプを指定したり、--mamba-scheduler-strategyや--flashinfer-mxfp4-moe-precisionのようなエンジンフラグを、ワークロードに合わせたカスタム最適化を行う準備ができるまで、いじる必要はありません。

私たちは、プロプライエタリな推論プロバイダーと直接競合する中で、これらのレシピを開発しました。私たちはオープンソースに賭けることで勝利しました。必要に応じて、SGLangやFlashAttention-4のような推論エンジンやカーネルの改善をパッチ適用し、アップストリームに貢献しました。そして、スペキュラティブデコーディングにすべてを賭けました。

特に、私たちはZ LabのDFlashブロック拡散ドラフターアーキテクチャを気に入っており、互換性のあるすべてのモデルで使用しています。私たちは、DFlashを高速かつ信頼性の高い実際のサービングシステムで動作させるためにZ LabおよびSGLangチームと緊密に協力し、サポートを拡大し、最適なパフォーマンスを提供するために、独自のDFlashドラフターモデルをトレーニングしてリリースしました。

エンドポイントを設定する際に、ベンチマーキング結果を公開します。

[画像: Modal Endpointの設定画面とベンチマーク結果]

エンドポイントがデプロイされたら、クリック一つでテストし、レイテンシとスループットのトレードオフを確認し、オートスケーリングされたマルチレプリカサービス全体が負荷の下でどのように動作するかを確認できます。

[画像: Modal Endpointの負荷テスト結果]

もちろん、推論に普遍的な設定はありません。低レイテンシの分類エンドポイントとマルチターンのエージェントループでは、同じサービングセットアップは望ましくありません。Modal Auto Endpointsは、クリーンで、検査可能で、ベンチマーク済みで、ワークロードに対してチューニングする準備ができた、私たちが開始するであろう設定から始まります。

エンジンレベルのオブザーバビリティ

ベンチマークでのパフォーマンスだけでは十分ではありません。本番環境でのパフォーマンスはオブザーバブルである必要があります。推論を所有するということは、パフォーマンスを改善し、アプリケーションの問題の根本原因を特定するために、エンジンまで深く見通せることを意味します。

Modalは、エンドポイントパフォーマンスを理解するために、メトリクス(ダッシュボード内およびOTELエクスポート経由)を提供します。これらは2つのグループに分けられます。

  • サーバーメトリクス: GPU温度、電力、利用率を含む、従来のModal Appメトリクス
  • 推論メトリクス: time-to-first-token (TTFT)、inter-token latency (ITL)、キューイング、スペキュラティブデコーディングの受け入れ長など、推論エンジンによってエクスポートされる標準メトリクス

サーバーメトリクスは、あらゆる推論サービスプロバイダーが公開するものよりもはるかに詳細です。しかし、推論メトリクスに関しても、私たちはより詳細な情報を提供します。ここでは、大規模な(ベースラインと比較して)トラフィックスパイクを処理するビジョン言語モデルのエンドポイントを示すサンプルダッシュボードを示します。

何を示しているか見ていきましょう。

[画像: Modal Endpointのメトリクスダッシュボード]

負荷が増加すると、ベースライン負荷を処理する単一コンテナ(コンテナチャートの緑色)では、TTFT(左上、プリフィルのキューイングによる)が徐々に増加し、その後ITL(右上、デコードのキューイングによる)が上昇します。その結果、エンドツーエンドのレイテンシ(左下)が増加します。

Modalのオートスケーリングシステムによって、さらに2つのレプリカが自動的に起動されます。キューは縮小し(右下)、レイテンシは許容可能なレベルに戻ります。PagerDutyのアラートはなく、インフラストラクチャと自動化だけです。

「フルオート」へ: 優れた状態から継続的に改善

Auto Endpointsは、ワークロードとSLOに基づいた宣言型インターフェースで設計しました。そのインターフェースは、お客様と協力して、またはお客様のために推論サービスをベンチマークおよび最適化する方法に関する私たちの考え方から派生しています。これは、トップチームとの推論デプロイメントにおける長年の経験から学びました。

しかし、私たちは過去を振り返って設計したわけではありません。私たちは、推論エンドポイントのエンジニアリングが完全に自動化される未来を見据えて設計しました。

当初、Endpointsデプロイメントのコードは手作業で書いていました。あるいは、今日のソフトウェアエンジニアリングが行われる「手作業」に近い形でした。現在では、推論エンジンを設定し、正確性と品質を維持しながらパフォーマンスをヒルクライムできる、内部のautoresearchスタイルのエージェントシステムで生成しています。これについては、今週後半に詳しく説明します。

現時点では、そのエージェントシステムは人間のエンジニアによって監視されており、本番グレードの推論コードのみがEndpointsのパワーソースとして提供されることを保証しています。しかし、人工知能によるソフトウェアエンジニアリングの改善の軌跡は明らかであり、私たちはその流れに乗っています。

例えば、私たちのスペキュレーターモデルは優れています(例: 複数のベンチマークでベースラインより4倍以上高速、他のスペキュレーターより1.5倍以上高速)。しかし、それらは汎用的であり、幅広いタスクを処理するターゲットモデルからの出力を推測するようにトレーニングされています。スペキュレーターは、本番環境で見られるデータでトレーニングされると、はるかに、はるかに良くなります。

私たちは、最も高度でレイテンシに敏感なユーザーの一部とカスタムスペキュレーターをトレーニングしています。これも今週後半に詳しく説明します。しかし、私たちは人間のエンジニアがトレーニング実行を開始し、監視することに推論パフォーマンスの改善をボトルネックにしたくありません。また、スペキュレーターの再トレーニングの機会を自動的に検出し、それを利用するための自動トレーニングパイプラインを開発しています。

Auto Endpointsの終着点、そして最適化可能な他のソフトウェアエンジニアリングタスクと同様に、これらの自動化のすべてのレベルが含まれます。

  • autoinference: 推論サーバーを設定、パッチ適用、ベンチマークする
  • autospec: 合成データおよび本番データに基づいてスペキュレーターモデルを作成・更新する
  • autodistill: デプロイされたモデルから機能を取り込み、より小さく、より高速なモデルに蒸留する
  • autoresearch: パフォーマンス機能、推論エンジン、さらにはモデルを開発する

これらすべては、私たちが最初に構築したものの上に構築されています: autoscalingインフラストラクチャ。それが複利効果です。

今すぐ試す

こちらをクリックして、Modal Auto Endpointsで推論の所有権を獲得してください。