Mesh LLM: iroh上での分散AIコンピューティング
Mesh LLM: distributed AI computing on iroh (iroh.computer)
要約
Mesh LLMは、既存のGPUリソースを複数のマシンにわたってプールし、単一のOpenAI互換APIとして提供する分散AIコンピューティングプラットフォームです。モデルをローカルで実行したり、ピアにルーティングしたり、複数のマシンに分割して実行したりできます。iROHのP2Pネットワーキング技術を活用し、中央サーバーなしで安全な通信を実現します。これにより、高価なGPUを購入することなく、より大きなモデルを実行し、チームや世界とコンピューティングリソースを共有できます。
全文翻訳
Mesh LLM: iroh 上での分散型AIコンピューティング
[画像: 分散型モデル推論: ラップトップ、GPUリグ、ミニPC、サーバー、ワークステーション、クラウドノードが直接接続されたメッシュ]
人々が大規模言語モデルを実行することを想像するとき、データセンターを思い浮かべます。他人が所有するGPUラック、従量課金制のAPI、そして成功するたびに毎月増え続ける請求書。プロンプトをブラックボックスに送り、価格、モデル、プライバシーポリシーがサインアップ時と同じままであることを願います。
多くのチームにとって、それは悪い取引です。モデルがいつ変更されるか、データがどこへ行くか、どのハードウェアがワークロードを実行するかといった制御を放棄します。そして、使用量が増えるにつれて請求書も増え、「もっと支払う」以外の選択肢はありません。
Mesh LLM は異なる形状をしています。これは、追加したいマシン数に応じて、既存のGPUとメモリをプールし、それをすべて単一のOpenAI互換APIとして公開します。1つのノードから開始し、後でさらに追加します。モデルが目の前のボックスで実行されるか、ピアにルーティングされるか、あるいは複数のマシンに分割されるかをメッシュが決定します。
問題: AIは高価であり、それは誰か他の人のものである
人気のモデルはモノリスです。ほとんどの人はUIやAPIキーを通じてそれにアクセスし、大規模プロバイダーにすべてを実行してもらうために支払います。それは便利ですが、それは降伏でもあります。モデルがいつ更新されるか、どのメモリで実行されるか、あるいはどのハードウェアが基盤にあるかを制御できません。
これらのモデルに依存する多くのビジネスやサービスは、その逆を求めています。より多くの制御、より多くのプラグイン性、より低いコストです。彼らはオフィス、クローゼット、デスクの下にGPUを置いています。彼らが欠いているのは、それらのマシンを1つのもののように機能させる方法です。
Mesh LLM: モデルを自分で実行する
提案はシンプルです。より大きなGPUを購入せずに、より大きなモデルを実行します。エージェントやチャットを強化するために、チームとプライベートに、または世界とパブリックにコンピューティングを共有します。任意のOpenAIクライアントをhttp://localhost:9337/v1に向け、実際の作業がどこで行われているかを気にしないようにします。
内部では、Mesh LLMはirohエンドポイントのメッシュ全体にモデルのコンピューティングを分散させます。リクエストは3つの方法で処理できます。
- このマシンのGPUでローカルに実行する。
- すでにモデルをロードしているピアにルーティングする。
- 単一のボックスには大きすぎるモデルを、パイプラインとして複数のマシンに分割する。
仕組み
アーキテクチャはプラグイン可能です。プラグインはマニフェストで提供するものを宣言し、ランタイムがそれらを起動し、呼び出しをルーティングし、MCP、HTTP、推論、メッシュイベントを介してそれらの機能を公開します。カタログには、ラップトップに収まる5億パラメータ未満のモデルから、235Bの混合エキスパート(MoE)の巨大モデルまで、40以上のモデルが含まれています。
巨大モデルの場合、Mesh LLMには分割モード(内部的には「Skippy」)があります。モデルはレイヤー範囲ごとにステージにパーティション化されます。ステージ0から15は1つのノード、16から31は次のノード、そしてパイプラインを下降していきます。アクティベーションはステージからステージへと流れるため、いくつかの控えめなマシンで、単独では保持できないモデルを実行できます。OpenAIクライアントはこれらのいずれも認識しません。依然としてlocalhostとだけ通信します。
iroh の使用方法
モデルを提供するノードもリクエストを送信するだけのノードも、irohエンドポイントを起動します。そのエンドポイントはノードのID、公開鍵であり、唯一のネットワークサーフェスです。中央サーバーはありません。irohは、どこにあっても、任意の2つのノード間の直接的で認証されたQUIC接続を開くために必要なホールパンチング、NATトラバーサル、およびリレーフォールバックを処理します。
オープンインターネット全体でそれを機能させるために、Mesh LLMは異なるリージョンに2つのirohリレーを実行しているため、直接到達できないノードは常に近くにフォールバックパスを持っています。
プロトコル全体はQUICのALPNネゴシエーションに乗っています。3つあります。
| ALPN | 転送内容 |
|---|---|
| mesh-llm/1 | メインメッシュ: ゴシップ、ルーティング、HTTPトンネル、プラグインチャネル |
| mesh-llm-control/1 | オーナーコントロールプレーン (設定同期、所有権証明) |
| skippy-stage/2 | 分割モデルのためのレイテンシに敏感なアクティベーション転送 |
メインの mesh-llm/1 接続内では、すべてが単一の先頭バイトでタグ付けされた双方向QUICストリームであり、それがどのような種類のストリームであるかを示します。1つの接続は、ゴシップ、推論、ルートクエリ、およびピアライフサイクルイベントをすべて転送し、それらはすべてこの最初のバイトによってデマルチプレクスされます。
| バイト | ストリームタイプ | 説明 |
|---|---|---|
| 0x01 | GOSSIP | ピアアナウンス (モデル、GPU、RTT、機能) |
| 0x04 | TUNNEL_HTTP | ピアにプロキシされた推論リクエスト |
| 0x05 | ROUTE_REQUEST | "どのモデルをホストしていますか?" |
| 0x06 | PEER_DOWN | 死亡したピアの通知 |
| 0x07 | PEER_LEAVING | グレースフルシャットダウン |
| 0x08 | PLUGIN_CHANNEL | プラグインRPC |
| 0x0e | DIRECT_PATH_REQUEST | NATトラバーサル用の直接アドレスを共有 |
これがもたらす利点は素晴らしい点です。irohは、公開鍵でアドレス指定された、任意の2つのマシン間の認証済みNATトラバーサルQUICを提供します。「ピアにルーティングする」と「次のパイプラインステージにアクティベーションをストリーミングする」は、「localhostと通信する」と同じプリミティブになりますが、エンドポイントIDが異なります。ネットワーキングは、あなたが考える必要のあるものではなくなります。
irohはセキュアなトランスポートを提供します。Mesh LLMはその上に独自のゴシップレイヤーを構築するため、メッシュに誰が参加できるか、どのバージョンが互換性があるか、どのピアを信頼するかを正確に制御できます。
開始方法
ユーザーは軽量なソフトウェア(約18MB)をインストールし、パブリックメッシュに参加するか、プライベートデプロイメントを設定できます。システムは、標準的なOpenAIクライアントに対して localhost:9337/v1 として自身を提示します。
irohのSwift SDK上に構築されたモバイルアプリが登場します。ACPという、進化中のエージェント標準を話す計画なので、他のクライアントもメッシュに参加できます。一貫しているのは、プロジェクト全体を動機づけたのと同じ考え方です。より多くのピアツーピア、より少ないクローズドサーバー、そしてロックインなしです。
Irohは、動作する「ダイヤル・エニ・デバイス」ネットワーキングライブラリです。必要な機能を取得するために、既製のプロトコルのエコシステムから構成するか、ダンプパイプのクリーンな抽象化で完全にカスタムに進むことができます。Irohはオープンソースであり、すでに何十万ものデバイスで本番稼働しています。
開始するには、ドキュメントを確認するか、コードに直接飛び込むか、Discordチャンネルで私たちとチャットしてください。