Show HN: NanoEuler – 純粋なC/CUDAでスクラッチからGPT-2スケールモデルを実装
Show HN: NanoEuler – GPT-2 scale model in pure C/CUDA from scratch (github.com)
要約
NanoEulerは、AnthropicでのAI分野でのキャリアを夢見る開発者が、LLMの仕組みを深く理解するために、純粋なC/CUDAでゼロから構築したGPT-2スケールのモデルです。低レベルでの実装を通じて、パラメータとデータ、モデルの成長、GPUの動作、そしてレイヤー最適化の相関関係を理解することを目指しています。シェイクスピアのテキストから学習を開始し、2300万パラメータで意味のあるテキスト生成ができることを示しました。
全文翻訳
皆さん、こんにちは。
Anthropic の Fable が禁止された後、私は nanoeuler の開発に着手しました。私の野心と夢は Anthropic で AI 分野で働くことです。nanoeuler を作成するに至った興味深い理由は2つあります。(1) LLM とインターフェースすることは、それらがどのように構成されているかを理解することを意味しません。(2) 非常に低レベルなレイヤーで LLM を扱うことで、パラメータとデータの相関、モデルの成長、GPU の動作、そして一部のレイヤーをどのように最適化できるかを理解したいと思いました。
そこで、研究的な側面から nanoeuler を徐々に成長させることにしました。まず Shakespeare.txt から始め、2300万パラメータでテキスト生成モデルが何を理解するかを把握しました。例えば、この数で nanoeuler は「Name:」がラインを開始し、そのラインを意味のある形で記述することを理解していました。
私はすべて CUDA で記述しました。なぜなら、トレーニング中のモデルと推論、そしてそれが実行すべきこととの間に仲介者を置きたくなかったからです。その後、SFT (Supervised Fine-Tuning) など、たとえ小規模であっても、チャットボットのような LLM を作成するための様々なステップを理解するのに非常に役立ちました。
フィードバック、協力、提案はすべて大歓迎です!