AI・機械学習
TypeScriptでLLMをゼロから構築するShow HN
Show HN: Building an LLM from Scratch in TypeScript (book.humanexperiences.io)
要約
Transformerを魔法なしで理解するために、TypeScriptでChatGPTスタイルのモデルをゼロから構築しています。このプロジェクトでは、データローダー、埋め込み、アテンションメカニズムといった概念を異なる言語で再実装することで、実装のニュアンスを深く理解することを目指しています。
全文翻訳
Transformerを魔法なしで理解するために、TypeScriptでChatGPTスタイルのモデルをゼロから構築しています。
PythonではなくTypeScriptを選んだのは、概念を異なる言語で再実装することで、実装のニュアンスを深く理解できるからです。
これまでのところ、データローダー、埋め込み、アテンションメカニズムをカバーする章があります。
不明な点があればフィードバックを歓迎します。