Show HN: Mini-AGI – 8GB VRAMで学習した動的な継続学習モデル
Show HN: Mini-AGI – Dynamic continual learning model trained on 8GB VRAM (github.com)
要約
開発者は、コンシューマー向けハードウェアで大規模モデルをトレーニングできないという不満から、8GB VRAMで動作する動的な継続学習モデル「Mini-AGI」を開発しました。このモデルは、動的に追加・削除される多数のエキスパートを持つMixture of Experts (MoE) と、単一の連続データストリームでのバッチ1学習を組み合わせることで、パラメータ数をディスク容量に、VRAM容量を小さく抑えることを目指しています。開発はAIアシスタントとの協力を得て進められ、現在7.8B文字のコーパスでの学習が進行中です。
全文翻訳
この名前は、私がAGIモデルに必要だと考える全ての要素を含んでおり、誘惑に耐えられなかったため、少し大げさだと分かっています。
まず、これは実際に動作し、トレーニング実行全体のサンプルをここで確認できます：https://raw.githubusercontent.com/volotat/mini-AGI/refs/heads/main/runs/samples.txt
これまでのスケーリング則のグラフは非常に有望に見えます：https://github.com/volotat/mini-AGI/blob/main/assets/scaling.png
このモデルは、中規模（1B+スケール）のモデルでさえ、コンシューマーハードウェアではトレーニングできないという深い不満から構築されました。推論やファインチューニングは確かに可能ですが、モデルが何を見るかについて完全に制御したいと考えており、それは特定の企業のためではなく、完全に私の興味に沿ったものにしたいのです。
しばらく考えて、追求する価値のある2つの興味深いアイデアを思いつきました。1つは、トレーニング中にモデルに追加・削除される多数のエキスパートを持つMoEで、特定の時点では少数のエキスパートのみが実際に使用されます。もう1つは、単一の連続データストリームでのバッチ1学習です。
最初のアイデアは、パラメータ数に関してディスク容量のみで制限され、エキスパートが必要なときにのみロード・アンロードできることを可能にします。2つ目のアイデア（実現可能であることが判明した場合）は、大きなランダムバッチとその勾配を保存する必要がないため、小容量VRAMで済むことを可能にします。
Claudeとブレインストーミングを開始し、しばらくして有望に見えるアプローチを見つけました。そして数週間後、その結果を自分で確認できるようになりました。
明らかに、このプロジェクトの作成プロセスでAIを使用しました。AIなしではこのようなことを成し遂げることは不可能だったと確信しており、それ以上の正当化は不要だと考えています。
モデルは、私がトレーニング用に選択した7.8B文字のコーパスの最初の部分をまだ処理中です。そのため、重みはまだ公開されておらず、現在の読み込み速度では、完成まであと数週間待つ必要があります。そして、モデルはデータセットから連続してインターリーブされたパッセージを、それぞれ32K文字長で、単一のストリームとして読み込みました。ちょうどあなたや私がそうするように。
セットアップは非常にシンプルに見えるので、プロジェクトをgit cloneし、実行して、すべてを自分で確認できます。
ご清聴ありがとうございました。