Show HN: Lumabri – LLMはNapsterのように動作したらどうなるか?
Show HN: Lumabri – What if LLMs worked like Napster? (github.com)
要約
Lumabriは、大規模言語モデル(LLM)を単一のコンピュータではなく、ネットワーク化された多数の一般コンピュータのリソースプールとして扱う分散型システムです。各コンピュータは、ディスク容量、計算能力、モデルの一部など、利用可能なリソースを提供し、必要なリソースはネットワーク経由で取得または実行されます。これは、特にMixture-of-Expertsモデルにおいて、モデルの実行に必要なリソースを分散させることを目指しています。
全文翻訳
しばらく前に、通常のコンピュータで巨大なLLMを実行できるかどうかを確認するためにColibrìの開発を始めました。HackerNewsコミュニティの皆様のおかげで、このプロジェクトは予想をはるかに超える規模に成長しました。
それが、私に新たな問いを投げかけました。
「1台のコンピュータについて考えるのをやめたらどうなるだろうか?」
これがLumabriの背後にあるアイデアです。
1台のマシンに巨大なモデル全体を保存・実行させるのではなく、Lumabriは通常のコンピュータのネットワークを共有リソースプールとして扱います。
あるマシンがディスクスペースを提供し、別 のマシンが計算能力を提供し、さらに別のマシンがモデルの異なる部分を提供します。必要なブロックやエキスパートがローカルで利用できない場合、システムはピアからそれを取得または実行できます。
これは、Mixture-of-Expertsモデルにとって特に興味深いものです。モデルは数百億ものパラメータを持つことがありますが、各トークンに対してアクティブになるのはその一部にすぎません。巨大なエキスパートの重みをネットワーク経由で移動させる代わりに、Lumabriは小さなアクティベーションを、すでにエキスパートを持っているピアに送信し、そこで実行させることができます。
目標は、マシンが提供できるリソースを貢献し、残りはスワーム(集合体)を利用することです。
このアイデアは、ピアツーピアシステムから強くインスパイアされています。ユーザーがインフラストラクチャなのです。
明らかに、特にネットワーク遅延とセキュリティに関して、大きな課題があります。私はピア検証、SHA-256検証、署名付きモデル状態、レプリカ選択、フェイルオーバー、決定論的実行などを実験しています。
Lumabriはまだ初期の実験段階です。私にはデータセンターも巨大なGPUクラスターもありません。そのため、手持ちのハードウェアで構築し、このアイデアが実際に意味をなすかどうかを突き止めようとしています。
Colibrìでは、こう問いかけました。
「通常のコンピュータ1台で巨大なLLMを実行できるか?」
Lumabriでは、こう問いかけています。
「多数の通常のコンピュータが1つの巨大なコンピュータになれるとしたらどうなるか?」
フィードバックをお待ちしています。