HN 日本語サマリー

← 一覧へ戻る
オープンソース

Show HN: Lumabri – Colibri を使って P2P スウォームで MoE モデルを実行する

Show HN: Lumabri – Run Moe Models on a P2P Swarm with Colibri (github.com)

39 pointsby vforno14 コメント

要約

Lumabri は、Colibri エンジンを使用して、P2P スウォーム上で大規模な Mixture-of-Experts (MoE) モデルを実行できる C 言語で書かれたプロジェクトです。モデルのデータは事前にダウンロードせず、推論に必要な部分のみが初めて使用される際にピアから取得され、ローカルにキャッシュされます。これにより、GPU がないマシンでも参加でき、CPU と SSD を中心に設計されているため、幅広い環境で動作します。

全文翻訳

Your computers. Your models.

[画像: lumabri: tiny engine, immense swarm]

Lumabri は、Colibri によって強化された、お使いのコンピュータ群全体でプライベートな推論サービスを実行します。モデルを選択し、協力できるコンピュータを選び、それらのメモリがどのように使用されるかを承認します。ターミナルまたはバンドルされた Web ページからチャットできます。コントローラー、ターミナルインターフェース、推論統合は C 言語で書かれており、ブラウザはバンドルされた HTML/CSS/JS を使用します。

ワーカーはモデルの完全なコピーを自分で持つ必要はありません。 Resident Segment パスでは、アダプターが必要とする共有状態に加えて、割り当てられたレイヤーの重みをロードします。会話の状態は、それらのレイヤーを実行するノードに保持されます。完全なソースチェックポイントは、リクエスト元のコンピュータにまだ存在する可能性があります。その重みを配布しても、各ワーカーの RAM に重複して保存されるわけではありません。

  • 1台のコンピュータに収まらないサポートされているモデルを、作業を共有して実行できます。
  • 明示的なメモリ予算内で、複数の承認済みモデルを常駐させることができます。
  • コンピュータ、割り当て、測定されたワークロードを 1 つのローカルワークスペースで確認できます。

より多くのコンピュータを追加することで、利用可能なメモリと容量を増やすことができます。ただし、それらがチャットごとのトークン/秒を保証するわけではありません。Lumabri はパフォーマンスを測定するため、追加デバイスごとに推論が速くなることを約束しません。

[画像: The household workspace]

ここから始める

互換性のある Colibri チェックアウトを使用してソースからビルドします。

make ENGINE=/path/to/colibri/c
./lumabri

起動後、矢印キーと Enter を使用します。ワークスペースのアクションには / を押し、戻るには Esc を押します。少なくとも 60 列 x 28 行のターミナルを使用してください。

  1. 1台のコンピュータで、/ → /create を開きます。そのホーム(household)サービスはバックグラウンドで実行されます。
  2. 他のコンピュータで、/ → /join を開きます。LAN 上で見つかったホームを選択し、オーナーコンピュータの /create でその ID を比較してから、ホームキーを入力します。手動でのアドレス入力も可能です。そのキーはホーム内でのみ共有してください。
  3. /settings を開いて、提供する最大 RAM を設定します。参加可能な各コンピュータで Share resources を選択します。
  4. リクエスト元のコンピュータで、/settings を開いて、既存の Colibri モデルディレクトリが含まれるフォルダを設定します。
  5. Your computers を開きます。Enter を押してドナーを選択します。自動選択はありません。Tab キーで Models に切り替えます。
  6. モデルを選択し、そのプランを確認します。参加ドナーからのリクエスト承認を入力します。すべての承認が得られ、完全なチェーンが準備できた後にのみチャットが開始されます。

作成したコンピュータは、キーを保存し、Lumabri が再度開かれたときにホームを再起動します。トラッカーは TCP 47300 を使用し、ホームサービスは TCP 47301–47315 を使用し、LAN 検出は UDP 47300 を使用します。再起動時に別のランダムなポートを開く必要はありません。固定範囲が使用中の場合、Lumabri は範囲外のポートをサイレントに選択するのではなく、競合を報告します。

コンピュータは依然として直接の LAN 接続が必要です。ミラーリングされた WSL ネットワークを持つ Windows では、Windows コンピュータで /network を開きます。明示的な承認と Windows 管理者プロンプトの後、検出されたプライベートサブネットからのポートのみが許可されます。ファイアウォールは有効のままです。同じ操作で Lumabri のルールを削除できます。tools フォルダをビルド済みバイナリの隣に配置してください。他のシステムは通常のファイアウォール許可を使用します。ゲスト Wi-Fi の分離、VPN ルーティング、WSL NAT モードは、依然として直接の検出または接続を妨げる可能性があります。ヘルパーはそれらのネットワークを再構成しません。LAN アドレスが変更された場合は、アドレスを推測するのではなく、/join を使用してホームを再検出してください。

高度なマルチインターフェース設定(例: VPN または Tailscale)の場合、LUMABRI_ADVERTISE=100.101.102.103 ./lumabri でホームオーナーを起動し、例をそのコンピュータの到達可能な IPv4 アドレスに置き換えます。後続の起動でも同じオーバーライドを使用してください。Lumabri は、アナウンスされたトラッカーエンドポイントを home.conf に保存します。他のコンピュータでは、その正確なエンドポイントに参加します。値はポートなしの IPv4 アドレスであり、ホスト名ではありません。これは VPN やファイアウォールルールを設定するものではありません。アドレスの不一致は明示的に拒否され、ホーム認証やドナー承認をバイパスしません。再オープンされた TUI は、保存されたホームキーを復元します。

Apple Terminal は、互換性のある 256 色パレットとコントラストの高い選択背景を使用します。他のターミナルは、検出された色サポートを使用します。診断のために、LUMABRI_COLOR=16、256、truecolor、または none は検出をオーバーライドします。NO_COLOR=1 はキャンバスの色を無効にします。通常の利用では色コマンドは不要です。

ダウンロード前の計画

[画像: A real catalogue frame from the tiny-model integration test]

カタログは、モデルフォルダとホームインベントリを読み取ります。提供されている RAM、検出されたハードウェア、配置、および不足しているリソースを表示します。未調整 は、一致する速度測定がないことを意味し、速度がゼロであることを意味するわけではありません。検出された GPU が、この実行パスで使用されることを保証するものではありません。

オプションの短い測定のために、コンピュータとモデルを選択し、/ actions → /calibrate を開いて、レビューと確認を行います。ドナーは依然としてプランを承認する必要があります。Lumabri は最大 8 トークンのテストを生成し、20 秒の推論制限で、観測された速度を保存し、プランを解放します。不足している重みの転送とロードが最初に行われ、これにはさらに時間がかかる場合があります。これは短い実行の指標であり、長い会話の保証ではありません。

参加する各コンピュータは、独立して予算化された CPU、Resident Segment 割り当て を保持でき、検証済みのモデルサイジングとリクエスト元のコンピュータ上のソース重みを使用します。これは、個々のエキスパートではなく、連続したレイヤー範囲を配布します。各ドナーは、そのレイヤーの状態を保持します。選択されたチャットホストは、会話テキストを受け取ります。チャット接続自体は、チェックポイントをマウントまたはダウンロードしません。最大 4 つのモデル割り当てが、その合計予算内で 1 つのドナー上に共存できます。各プランは、明示的に 1〜8 の独立した会話スロットを予約します。コンピューティングはバウンドキューを使用し、各スロットがシングルユーザー速度で実行されることを保証しません。容量が枯渇すると、実行中のモデルを置き換えるのではなく BUSY が返されます。通常のホームプランでは、失われたドナーが自動的に置き換えられるわけではありません。管理対象 API モデルの場合、オプトイン レプリカポリシー により、繰り返し発生する可用性障害後に、承認された制限内で容量を復元できます。準備には依然としてドナーの許可と空き容量が必要であり、これにより中断されない応答が保証されるわけではありません。Web チャットは、承認された交換を最大 2 分間待機し、表示済みのテキストを確認してから応答を再開できます。停止は待機をキャンセルし、容量不足は不完全な回答を保持します。

ドナーは、インストールされている Segment ランタイムを共有前にクエリします。OpenMP なしでビルドされたランタイムは、1 つの実行スレッドを使用します。CPU コア数はエンジンの並列性を保証しません。デフォルトのシステム RAM 予約は、物理 RAM の 4 分の 1 で、1〜4 GiB(8 GiB コンピュータでは 2 GiB)に制限されます。共有制限は追加のキャップであり、システム予約を消費する許可ではありません。

コンピュータを追加することで、1 台のマシンでは収まらないモデルを収まるようにすることができます。ただし、各チャットが自動的に速くなるわけではありません。

共有はあなたの決定

[画像: A real donor request, defaulting to Decline]

リクエストには、モデル、レイヤー範囲、RAM 予算、ディスクヘッドルーム、およびコンピュータがチャットをホストしているかどうかが表示されます。Decline は最初に選択されています。 同意する場合のみ Accept に移動して Enter を押してください。

すべての参加ドナーが受け入れるまで、モデルはロードされません。準備中の拒否またはキャンセルは、不完全な割り当てを解放します。Esc はビューを閉じますが、サービスは閉じません。 承認された常駐重みは、チャットまたは TUI を閉じた後も存続します。Share resources で、x はモデルをアンロードし、s は共有を停止します。Resident models は保存されたプランをリストします。r はすべての承認済みドナーをチェックし、Enter は会話を開き、x はアンロード前に確認を求めます。保存されたプランは、ドナーが確認するまでライブとして表示されません。

/service を使用して、ローカルサービスを検査または明示的に停止します。lumabri service restart でマネージャーを再起動しても、ライブ割り当てキーパーは実行され続けます。保存された承認は再再生されません。再起動の動作と現在の制限については、service lifecycle を参照してください。

チャット内では、あなたのメッセージとストリーミングされた回答はトランスクリプトに残ります。コマンドの提案には / を入力し、矢印で選択し、Tab で補完します。/help、/debug、/reset、/quit は、ヘルプ、診断、新しい会話、終了を提供します。

ブラウザチャット

[画像: Lumabri's bundled browser chat, showing an example conversation]

準備された常駐モデルは、認証されたローカル API およびそのバンドルされたチャットページからも利用できます。オペレーターはユーザー トークンを作成し、特定のモデルまたは割り当てを付与して lumabri api start を実行します。印刷されたローカル URL を開きます。ページには、モデル選択、ストリーミング、停止、折りたたみ可能なプライベート履歴、エクスポート機能が用意されています。個別の Web サーバーやブラウザ側の AI エンジンは不要です。セットアップ、制限、プライバシー を参照してください。デフォルトのエンドポイントはループバック専用です。プレーン HTTP を直接公開しないでください。他の承認されたコンピュータの場合、明示的な HTTPS リバースプロキシセットアップ を使用してください。

Computers & models は、リソースレポート、常駐割り当て参照、モデルルート、ゲートウェイアクティビティを表示します。明示的な管理権限は、モデル準備、ドナー承認リクエスト、レプリカポリシー、ドレイン、および解放を追加します。読み取り専用オペレーターは割り当てを変更できません。

Measure & compare は、承認およびロード済みのモデルでバウンドワークロードを実行します。割り当て、クライアント数、ラウンドを選択し、最初のテキストとトークンギャップの制限を確認します。変更された構成は、古い証拠を無効にします。測定されたプランの適用には、個別の確認が必要であり、将来のターンルーティングをアトミックに置き換えます。重みをアンロードしたり、コンピュータをシャットダウンしたりしません。

[画像: Measured two-model plans and explicit routing review in the web workspace]

これらはコンパイルされた Web インターフェースのスクリーンショットです。チャットテキストは例示的なものであり、モデル品質のベンチマークではありません。比較は、実際の縮小 OLMoE ループバック統合実行からのものです。そのマシンの価格はテスト入力であり、クラウド請求やデモされた節約、または本番環境の容量を示すものではありません。ブラウザ履歴は API ユーザー間ではプライベートですが、サービスオペレーターと推論コンピュータは信頼される必要があります。これは、それらからのエンドツーエンド暗号化ではありません。

ホームチャットには、承認されたレイヤー割り当ても表示されます。/plan は、各コンピューティングドナー、そのレイヤー範囲、予約済み RAM、および Edge/チャットホストを表示します。/experts は、同じホームトラッカーのアクティビティをクエリします。チェックポイントファイルをサービングすることは、モデルレイヤーを実行することとは異なります。チャットプロセスは、別の承認済みドナーがそのコンピュータで実行されている場合でも、レイヤーを実行しません。割り当ては READY タイムのスナップショットであり、ライブ使用率または速度測定ではありません。

実際にチェックされたこと

  • Linux 環境でのビルド(警告はエラーとして扱われる)。
  • 実際の暗号化トラッカー、2 つのドナー TUI、Colibri Segment エンジン、およびループバックでの小さな合成 OLMoE チェックポイントを使用したホスト生成。
  • 矢印/Enter ナビゲーション、全参加者の承認、拒否、スラッシュ補完、ターミナル復元、リソース解放。
  • ターミナル画像は、その統合テストからのフレームであり、大規模モデルやマルチコンピュータ LAN のパフォーマンス主張ではありません。
  • ブラウザの容量パスは、2 つの実際の縮小 OLMoE モデルで実行されました。測定、比較、ルーティングの確認、その後両方のモデルでのチャット。キャンセル、承認、古い測定値、変更されたモデルリビジョンには、個別の回帰チェックがあります。

ネイティブ macOS Intel および Apple Silicon CI は、実際の Tiny ホームフローをカバーしています。ユーザー操作による Windows/WSL から macOS 12.6 Intel へのトライアルでも、すべてのモデル計算が Mac 上で行われ、ソース重みが PC 上で行われた状態で、2 つの Tiny レスポンスが完了しました。これはスモークテストであり、パフォーマンスまたは大規模モデルの認定ではありません。

まだ認定されていません: 一般的な物理 LAN 信頼性、ネイティブ Windows、GPU ホーム実行、すべてのモデルファミリー、マルチセッションホーム使用、またはドナー喪失後の透過的な回復。WSL テストはネイティブ Windows 認定ではありません。

アダプター登録は、テストされたホーム実行よりも広範です。カタログにチェックポイントが表示されても、そのサイジングまたはバックエンドがサポートされているわけではありません。約束されたトークン/秒や自動的な「ベストモデル」推奨はありません。

ネイティブランタイムビルド

make household ENGINE=/path/to/colibri/c で完全なランタイムをビルドします。lumabri のみをビルドしても、モデルサービスはインストールされません。macOS ビルドは、利用可能な場合は Homebrew libomp を使用し、それなしではシングルスレッドで動作します。OpenMP フラグを変更すると、生成されたエンジンビルドは自動的に無効になります。CI は再現性のために、Colibri を v1.12.1、コミット ce370e87d7b623d7759b52ec2007d75fc5b0e87e にピン留めしています。ローカルビルドでもそのリビジョンを使用してください。8 つのアップストリーム分散アダプターは、GLM、GLM5.3、Inkling、Kimi、OLMoE、Qwen3.6、Qwen3.8、および DeepSeek V4 です。Lumabri は、Engram およびクロスレイヤー状態を含む、Resident DeepSeek V4.1 テキスト CPU アダプター も提供します。Colibri によって追加された他のスタンドアロンエンジンは、自動的にクラスター化できません。それぞれに検証済みのアダプターが必要です。

検出とアウトバウンドレポートは、インバウンド接続を証明するものではありません。インデックス作成の前に、Lumabri は選択された各ドナーのアドレスと ID をチェックします。ホームトラッカーは、オーナーのウィンドウとは独立して実行されます。インストールされた lumabri および segment_node 実行可能ファイルが、ファイアウォールを無効にするのではなく、ドナーのアプリケーションファイアウォールを通過できるようにします。署名されていない実行可能ファイルを再ビルドすると、アプリケーションの許可を再度確認する必要がある場合があります。

開発と診断

make test ENGINE=/path/to/colibri/c
python3 tests/integration/home_flow_test.py --models-dir /path/to/tiny-model-folder

2 番目のコマンドは、実際のエンジンを使用したループバック統合テストを開始します。互換性のある小さな OLMoE チェックポイントが必要です。通常のホーム使用は TUI 内で行われます。

開発者向けの詳細については、repository layout、Segment engineering、および release checks を参照してください。Expert/Hybrid、パブリックネットワークプロトコル、および高度な CLI ツールは開発用に引き続き利用可能ですが、ホームインターフェースでの追加ステップはありません。