Show HN: Lumabri – LLMはNapsterのように動作したらどうなるか？

しばらく前に、普通のコンピュータで巨大なLLMを実行できるかどうかを調べるためにColibrìの開発を始めました。HackerNewsコミュニティの皆様のおかげで、このプロジェクトは予想をはるかに超える規模に成長しました。 それが私に新たな問いを投げかけました。 「1台のコンピュータについて考えるのをやめたらどうなるか？」 これがLumabriの背後にあるアイデアです。 1台のコンピュータに巨大なモデル全体を保存・実行させるのではなく、Lumabriは多数の普通のコンピュータのネットワークを共有リソースプールとして扱います。 あるマシンはディスクスペースを提供し、別なマシンは計算能力を提供し、また別なマシンはモデルの異なる部分を提供します。もし必要なブロックやエキスパートがローカルで利用できない場合、システムはそれをピアから取得したり、ピア上で実行したりできます。 これは、Mixture-of-Expertsモデルにとって特に興味深いことです。モデルは数百億のパラメータを持つことがありますが、トークンごとにアクティブになるのはその一部にすぎません。巨大なエキスパートの重みをネットワーク越しに移動させる代わりに、Lumabriは小さなアクティベーションを、すでにエキスパートを持っているピアに送信し、そこで実行させることができます。 目標は、各マシンが利用できるリソースを提供し、残りはスワーム（群衆）を利用することです。 このアイデアは、ピアツーピアシステムから強くインスパイアされています。ユーザーがインフラストラクチャとなるのです。 明らかに、ネットワーク遅延やセキュリティなど、大きな課題があります。私はピア検証、SHA-256検証、署名付きモデル状態、レプリカ選択、フェイルオーバー、決定論的実行などを実験しています。 Lumabriはまだ初期の実験段階です。私にはデータセンターも巨大なGPUクラスターもありません。そのため、手持ちのハードウェアで開発し、このアイデアが実際に意味をなすかどうかを調べています。 Colibrìではこう問いかけました。 「普通のコンピュータ1台で巨大なLLMを実行できるか？」 Lumabriではこう問いかけます。 「多数の普通のコンピュータが1つの巨大なコンピュータになれるとしたら？」 フィードバックをお待ちしています。 リポジトリ: https://github.com/JustVugg/lumabri