AIは独自の推論ハードウェアを開発できるようになりました
AI is now capable of developing its own inference hardware (github.com)
要約
openTPUは、AI自身がハードウェア設計の限界を探求し、自身の推論を実行するチップを構築できるかという問いに答えるオープンソースのAIアクセラレータです。このプロジェクトは、ハードウェア設計からシミュレータ、コンパイラ、ホストソフトウェアまで、AIアクセラレータの全体像を理解するための学習リソースとしても機能します。FPGAカード上で複数の現代的なAIモデルを効率的に実行し、シミュレータと同等の精度をビット単位で実現しています。
全文翻訳
openTPU
AIによって開発されたオープンソースAIアクセラレータ
openTPUは、auto-arch-tournamentで得られた教訓をAIアクセラレータにもたらします。AIエージェントがハードウェア設計でどこまで進めるか、そして自身の推論を実行するチップを構築できるか、という2つの問いを投げかけます。
[画像: otpu-chat on LFM2.5-230M with otpu-smi watching the card]
otpu-chatがFPGAカード上でLFM2.5-230Mを実行している様子(左)、otpu-smiがカードの利用率とDRAM帯域幅を示している様子(右)。
学びの場
openTPUは学習プロジェクトでもあります。アクセラレータ全体が1つの小さなモノレポに収められており、ハードウェア設計(SystemVerilog)、命令セット、ビット単位で正確なシミュレータ、カーネル言語とそのコンパイラ、そして実際のPCIeカードを駆動するホストソフトウェアまで、すべてを最初から最後まで読むことができます。AIアクセラレータがどのように動作するか、Pythonでの行列乗算から配線レベルまで理解したい場合、これは良い出発点となるでしょう。
結果
この設計は、Inspur YPCB-00338カード(Xilinx Kintex-7 xc7k480t、2つのDDR3チャネル)上で10個の最新モデルとその実際の重みで動作し、カードはシミュレータと同じトークンをビット単位で生成します。
| モデル | 重み | デコード(デバイス) | デコード(実時間) | プリフィル(デバイス) | デコード中のDRAM |
|---|---|---|---|---|---|
| LFM2.5-230M | int8 | 59.0 トーク/秒 | 52.3 トーク/秒 | 295.6 トーク/秒 | 14.5 GB/秒 (ピークの85%) |
| LFM2.5-230M | 4ビット、int8ヘッド | 85.8 トーク/秒 | 82.1 トーク/秒 | 335.4 トーク/秒 | 14.1 GB/秒 (82%) |
| Qwen3-0.6B | int8 | 21.6 トーク/秒 | 21.3 トーク/秒 | 92.1 トーク/秒 | 14.4 GB/秒 (84%) |
| Qwen3-0.6B | 4ビット、int8ヘッド | 31.3 トーク/秒 | 30.7 トーク/秒 | 103.4 トーク/秒 | 13.9 GB/秒 (82%) |
| Qwen3.5-0.8B | int8 | 17.6 トーク/秒 | 16.3 トーク/秒 | 61.4 トーク/秒 | 14.5 GB/秒 (85%) |
| Qwen3.5-0.8B | 4ビット、int8ヘッド | 24.5 トーク/秒 | 23.3 トーク/秒 | 66.7 トーク/秒 | 14.1 GB/秒 (83%) |
| Gemma 4 E2B | 4ビット、int8ヘッド | 10.57 トーク/秒 | 10.53 トーク/秒 | 32.1 トーク/秒 | 15.6 GB/秒 (92%) |
| Gemma 4 E2B | 4ビット、4ビットヘッド | 12.14 トーク/秒 | 12.09 トーク/秒 | 29.9 トーク/秒 | 15.5 GB/秒 (91%) |
| LFM2-2.6B | int8 | 6.05 トーク/秒 | 6.03 トーク/秒 | 21.4 トーク/秒 | 16.1 GB/秒 (94%) |
| LFM2-2.6B | 4ビット、int8ヘッド | 10.96 トーク/秒 | 10.93 トーク/秒 | 20.6 トーク/秒 | 15.8 GB/秒 (93%) |
| SmolLM3-3B | int8 | 5.00 トーク/秒 | 4.99 トーク/秒 | 21.1 トーク/秒 | 16.0 GB/秒 (94%) |
| SmolLM3-3B | 4ビット、int8ヘッド | 8.74 トーク/秒 | 8.72 トーク/秒 | 22.8 トーク/秒 | 15.7 GB/秒 (92%) |
| Phi-4-mini (3.8B) | int8 | 3.99 トーク/秒 | 3.98 トーク/秒 | 13.8 トーク/秒 | 16.0 GB/秒 (94%) |
| Phi-4-mini (3.8B) | 4ビット、int8ヘッド | 6.56 トーク/秒 | 6.55 トーク/秒 | 15.0 トーク/秒 | 15.8 GB/秒 (92%) |
| Qwen3.5-2B | int8 | 8.02 トーク/秒 | 8.00 トーク/秒 | 38.2 トーク/秒 | 16.0 GB/秒 (94%) |
| Qwen3.5-2B | 4ビット、int8ヘッド | 12.09 トーク/秒 | 12.03 トーク/秒 | 41.7 トーク/秒 | 15.8 GB/秒 (92%) |
| Qwen3.5-4B | 4ビット、int8ヘッド | 5.88 トーク/秒 | 5.87 トーク/秒 | 12.9 トーク/秒 | 15.7 GB/秒 (92%) |
| Gemma 4 E4B | int8、4ビットヘッドとダウン0-23 | 3.78 トーク/秒 | 3.75 トーク/秒 | 14.8 トーク/秒 | 16.0 GB/秒 (94%) |
*カードで測定:最初の3モデルは2026-09-29にプロダクションイメージdeploy_champ_e698dcd7で測定。LFM2-2.6B、SmolLM3-3B、Phi-4-miniは2026-09-30に、Qwen3.5-2Bおよび4B、Gemma 4は2026-10-01にビルドB、deploy_fused133c_79c5707aで測定され、それ以降プロダクション。ビルドBはe698dcd7よりもLFM2-2.6B、SmolLM3、Phi-4-miniを8-9%速くデコードし(Gemma 4 E2Bは10%)、DRAM帯域幅はピークの82-87%ではなく91-94%を使用。Qwen3.5-4Bのint8イメージは4 GiB超。
- *イメージ:メインe698dcdは133.33 MHz、すべてのモデルで1つのビットストリーム。メモリコア内の小さなCPUでキャリブレーションされたLiteDRAMコントローラ、4列のSystolic Matrix Unit、ストリームエンジン(docs/stream.md)を備えています。DDR3-1066、ピーク帯域幅17.1 GB/s。
- *ホスト:カードはopentpu(Intel Core i7-4790)に搭載されています。
- *方法、
tools/qual/perf.py:デコードは512トークンのプロンプトの後、64個の貪欲なトークン(ホストのargmaxを使用、ストリーミングなし)。「デバイス」はアクセラレータが実行したサイクルのみをカウントし、「実時間」はホストの時間を加算します。プリフィルは512トークンのプロンプトで、デバイス上で行われます。 - *DRAMトラフィックは、カード実行中のカード固有のカウンタからのものです。
- *Gemma 4 E2Bは、レイヤーごとの埋め込みテーブルをカード上に保持します(3.5-3.6 GiBイメージ;docs/gemma4.md)。int8では収まりません。ベースチェックポイント(gemma-4-E2B)は、3つのプロンプトでHugging Faceの貪欲トークンと一致します(ヘッドあり/なし)。チャットはインストラクトチェックポイント(gemma-4-E2B-it、...:同じイメージと速度)を実行します。E4Bのテーブル(2.95 GB)はホストに残り、トークンごとに11 KBの行をカードにコピーします。そのイメージは3.96 GiBで、int8(ヘッドと最初の24レイヤーのダウンプロジェクションは4ビット)です。これはここで測定されました(docs/gemma4_e4b.md)。2026-10-09以降、E4B-itのデフォルトはヘッドと最初の12レイヤーのゲート/アッププロジェクションが4ビットです。これはトークンあたり同じバイト数で、パープレキシティはint8の+3.2%以内、プロンプト実行は3-4行ではなく2行です(docs/formats.md)。カード自身のデコードループ(カードが各トークンを選択)では、Gemma 4はより速くデコードします:E2Bは11.01 / 12.73 トーク/秒(int8 / 4ビットヘッド)、E4Bは3.83 トーク/秒(デバイス上)。
- *すべての構成は、シミュレータとビット単位で、位置ごと、および常駐デコードプログラムで一致します。詳細はdocs/board.mdを参照してください。
logitsをカード実行中にストリームバックすると(tools/decode_profile.py、96トークン)、4ビットデコードはデバイス/実時間トークン/秒でより高速になります。
- LFM2: 89.5 / 84.5;
- Qwen3: 33.7 / 33.3;
- Qwen3.5: 24.6 / 24.2;
- LFM2-2.6B: 11.07 / 11.02 (ビルドB);
- SmolLM3-3B: 8.92 / 8.89 (ビルドB);
- Phi-4-mini: 6.69 / 6.67 (ビルドB)。
以前のプロダクションイメージse-cand3は、Xilinx MIG、2列のMatrix Unit、120.755 MHzクロックでビルドされました。同じ方法で測定された新しいイメージは以下の通りです。
- デコード: すべての構成で
se-cand3の2.3%以内。デコードはDRAMにバインドされており、LiteDRAMはMIGと同様にDDR3ピークの82-85%で読み取ります。 - プリフィル: 1.3倍(Qwen3.5)から2.0倍(LFM2 4ビット)高速。
- キャリブレーション: イメージ起動時、コアのCPUがDDR3チャネルを12秒でキャリブレーションし、ホストの関与はありません。
以前のイメージとその数値はdocs/board.mdのセクション5にあります。
Mixture-of-expertsモデルでカードの4 GiBを超えるものは、ホストストレージからストリームされるエキスパートと共に実行されます(docs/offload.md、セクション10)。カードは各トークンをルーティングし、すべてエキスパートを計算し、エキスパートをDRAMのレイヤーごとのスロットに保持します。ホストは、リンクの速度で(セクション10.1)、不足しているエキスパートをプールファイルからそれらのスロットにコピーするだけです。2026-10-01にビルドB(79c5707a)で測定され、カード自身のデコードループで各トークンを選択、4ビットエキスパート、int8ヘッドの場合:
- LFM2.5-8B-A1B (8.5Bパラメータ、1.7Bアクティブ): 160トークンで10.6 トーク/秒。エキスパート使用量の98.5%がスロットにヒットし、トークンあたり5.2 MBがストリームされました。
- Qwen3.5-35B-A3B (34.7Bパラメータ、3.0Bアクティブ): 16個の貪欲トークン(Hugging Face)で3.95 トーク/秒。エキスパート使用量の62%がヒットし、PCIe経由で1.41 GB/sでトークンあたり153 MBがストリームされました(セクション10.3)。
- 両方ともシミュレータとビット単位で一致します。
otpu-chatは、両方およびgemma-4-26B-A4B-it(--model lfm2-8b、qwen35-35b、gemma4-26b)と、同じエンジンと設定でチャットします。各モデルのエキスパートは、チェックポイントの隣にあるプールファイルに一度パックされ、チャットはロード前にプールを確認します(docs/offload.md、セクション14)。
4ビット重み(docs/quant.md)は、2レベルのブロックスケールを持つFP4値を使用し、重みあたり4.25ビットで、精度を保つためにLMヘッドはint8で保持します。これにより、トークンあたりのバイト数が約3分の1に削減され、デコード速度が40%(Qwen3.5)から45%(Qwen3、LFM2)向上しますが、docs/quant.mdでモデルごとに報告されているパープレキシティの低下という測定可能なコストがかかります。
ホストはほとんど関与しません。LFM2とQwen3の場合、カードは一度コンパイルされたデコードプログラムを1つ実行し、レジスタから位置を読み取り、自身の埋め込み行とRoPE行をルックアップします。カードがまだ実行中にlogitsがストリームバックされます。ホストはトークンあたり0.17〜0.30 ms(omarchyの場合、opentpuでは0.45〜1.3 ms)を追加します。Qwen3.5はデコードに関して同じ方法で実行されます。そのプリフィルはまだホスト上で各チャンクのプログラムをコンパイルします。
仕組み
olのカーネル mlp、アテンション、フルモデルレイヤー
| @ol.jit
言語 + コンパイラ レイアウト、アフィンループアドレス指定、フュージョン
|
ISA 命令あたり8 x 32ビットワード
|
ISAシミュレータ <======> RTL 同じビット、テストで検証済み
(Python) (SystemVerilog)
| Vivadoビットストリーム
FPGAカード Kintex-7 xc7k480t
| PCIe
ホスト otpu-chat、otpu-smi、otpu-lens
このマシンは意図的にシンプルです。シーケンサは、DMAがデータを移動し、Matrix UnitがDRAMからストリームされるint8重みを乗算し、Vector Unitがfp32演算を実行し、Quantizerが結果をint8に戻す、いくつかのユニットにサイクルごとに1つの命令を発行します。キャッシュや隠れたスケジューリングはありません。すべてのデータ移動は命令であり、トレースはサイクルがどこに使われたかを正確に示します。docs/isa.mdに命令セット全体が記載されています。
カーネルは以下のようになります。
from opentpu import language as ol
@ol.jit
def mlp(h, gamma, w_gate, w_up, w_down, out, eps): # simplified; see kernels/mlp.py
x = ol.load(h)
xs = ol.quantize(rmsnorm(x, ol.load(gamma), eps))
g = ol.dot(xs, w_gate)
u = ol.dot(xs, w_up)
a = ol.all_gather(silu(g) * u)
y = ol.all_gather(ol.dot(a, w_down))
if ol.program_id() == 0:
ol.store(out, x + y)
すべてのデータ移動が命令であるため、実行のトレースはその速度を説明します。Lens、プロファイラは、RTL、シミュレータ、またはカードからの実行を記録し、ルーフライン、タイムライン、命令ごとのテーブルとともにブラウザで開きます(docs/lens.md)。
[画像: Lens replaying a Qwen3 decode step on the floorplan]
LensがQwen3デコードステップの一部をフロアプラン上でリプレイしています。色は、各ユニットが各サイクルで何をしているかを示しています:ビジー、DRAM待ち、または他の命令待ち。
ASICフロー
FPGAカードに加えて、openTPUはチップレイアウトとしても構築されます。オープンなNanGate45(45 nm)セルライブラリ上のASICブロックで、33個のSRAMマクロと約56万個の標準セルで構成されます。これは、SystemVerilogソースからルーティングされたレイアウトまで、オープンソースツールのみ(合成にはYosys、配置配線にはOpenROAD、物理設計判断にはOpenLayoutのエージェントスキル)を使用して、エンドツーエンドでAIエージェントによって構築されます。
RTL → 合成 → フロアプラン → マクロ配置 → 配置/CTS/配線 → タイミング(STA)
↑ (OpenLayoutエージェント) (タイミング修復) │
└──────────── RTLを変更し、ビット単位で検証 ←────────────────────────┘
各ステップの概要
- 合成:RTLをライブラリセルのネットリストに変換します。SRAMはハードマクロのままです。
- マクロ配置:33個の大きなSRAMブロックをダイ上のどこに配置するかを決定します。それ以降のすべての配線はその選択に依存するため、チップがルーティング可能か、どのくらいの速度で動作するかを決定します。AIプレースは、すべての従来のアルゴリズムを凌駕する可能性があります。
- 配置/CTS/配線:標準セルを配置し、クロックツリーを構築し、配線を引きます。その過程でタイミングを修復します(バッファ、サイズ変更)。
- STA(静的タイミング解析):ルーティングされたレイアウトの最も遅いパスと、クロックにどれだけ miss しているかを報告します。
独自の設計で利用する。 docs/asic_timing_loop.mdは、ループをステップバイステップで説明し、ループ全体をコーディングエージェント(任意の設計、任意のノード)に渡す準備済みのプロンプトを含み、openTPUの実行とその過程で遭遇した落とし穴を記録します。
試してみる
カード以外はすべてラップトップで実行できます。
pip install -e .
pip install pytest torch transformers
python3 -m pytest -q # RTLテストにはVerilator 5も必要
hf download LiquidAI/LFM2.5-230M --local-dir models/LFM2.5-230M
otpu-chat --model lfm2 --backend isa # シミュレータでチャット
カードがある場合は、ビットストリームをビルドし(boards/ypcb-00338でmake bit)、JTAG経由でロードし、sudo otpu-setupを実行してotpu-chat --backend boardを実行します。docs/board.mdが起動手順を案内します。
| コマンド | 実行内容 |
|---|---|
otpu-chat | Qwen3-0.6B, LFM2.5-230M (--model lfm2), Qwen3.5-0.8B (--model qwen35), LFM2-2.6B (lfm2-2.6b), SmolLM3-3B (smollm3), Phi-4-mini (phi4-mini) または Qwen3.5-2B / 4B (qwen35-2b, qwen35-4b), Gemma 4 E2B / E4B (gemma4, gemma4-e4b: インストラクトチェックポイント、gemma-4-E2B-it / E4B-it) とチャットします。カードより大きいMoEモデルはエキスパートをストリームして実行します: LFM2.5-8B-A1B (lfm2-8b), Qwen3.5-35B-A3B (qwen35-35b), gemma-4-26B-A4B-it (gemma4-26b); チャットテンプレートなしのチェックポイント(ベースモデル)は--rawのみで使用します |
otpu-serve | OpenAIスタイルのAPIサーバー(/v1/chat/completions, /v1/completions、ストリーミングあり/なし;SGLangの/generate)。多数のクライアントを同時に処理します。コンテキストはカード上およびホストRAM/ディスクに保持されます(保存されたコンテキストを継続するプロンプトは残りの部分のみをフィードします)。デコードステップはカード上でバッチ処理されます(Qwen3およびLlama系)。各トークンはカードで選択されます(Qwen3-0.6B: クライアント78、単独25 トーク/秒);docs/serve.md |
otpu-smi | 温度、電力、DRAM帯域幅、ユニットごとの利用率を表示します。-l --csvで時系列ログを記録します |
otpu-lens | 実行を記録し、プロファイラで開きます(summaryはターミナルに概要を表示します) |
otpu-selftest, otpu-diag | カードが動作しているか確認します |
Hugging Faceとの検証
tools/validate.pyは、デバイスの貪欲トークンとlogitsをCPUのゴールデンと比較します。ゴールデンはHugging Face transformersでの同じチェックポイントで、CPU上でのfp32実行です。openTPUの量子化を使用します。ゴールデンの重みは、Matrix Unitが乗算する値(モデルイメージ自身の量子化器、選択したフォーマット)であり、そのアクティベーションはデバイスの量子化器が丸める場所(行列乗算の各入力、アテンションではクエリ、K、V、ソフトマックス重み)で、128値ごとにint8に丸められます。デバイスはISAシミュレータ、RTL(Verilator)、またはカードであり、--againstは2番目のデバイスを追加し、同じトークンとビット単位で同一のlogitsを生成する必要があります。これはQwen3-0.6B、LFM2.5-230M、Qwen3.5-0.8B、およびGemma 4 E2B(ベースおよびインストラクト)で測定されます。MoEモデルはサポートされていません。
python3 tools/validate.py --model qwen3 # ISAシミュレータ、int8
python3 tools/validate.py --model lfm2 --wformat fp4 --head-format int8 # 4ビットレイヤー
python3 tools/validate.py --model gemma4 # E2B-it: 16 GB (下記)
# RTLとISAシミュレータのビット単位比較:遅いため、1つのプロンプトと数トークンのみ
# (これは16コアホストで4分かかります。Verilatorビルドも含む)
python3 tools/validate.py --model lfm2 --backend rtl --against isa --tokens 3 "The capital of France is"
# カードとISAシミュレータのビット単位比較、カードホスト上で
otpu-lock -- python3 tools/validate.py --model qwen3 --backend board --against isa
# またはロック下でのカード実行のみ、残りは別のホストで:ISAシミュレータが
# カードが実行した構成で実行されます
otpu-lock -- python3 tools/validate.py --model qwen3 --backend board --no-golden --save card.npz
python3 tools/validate.py --model qwen3 --against card.npz
各プロンプト(デフォルトで8個、各16トークン)は、デバイスの継続とゴールデンを出力します。次に、デバイス自身のトークンがゴールデンにフィードされ、各ステップで同じコンテキストが比較され、ツールはトップ1一致率、平均および最大KLダイバージェンス、最大ロジット差、最小コサインを表示します。サマリーには4行あります:
| 行 | 内容 |
|---|---|
| デバイス vs W+A | 量子化ゴールデンに対するデバイス:検証 |
| デバイス vs fp32 | 平坦なチェックポイントに対するデバイス |
| W+A vs fp32 | 量子化単独のコスト |
| W+A~ vs W+A | 入力が1 fp32 ulpだけ変更されたゴールデンに対するゴールデン:フロア |
ゴールデンはデバイスと正確に同じように丸めることはできません。その合計、正規化、指数は最後のビットで異なります。int8値が別の方向に丸められると、その差は後続のレイヤーに広がります。そのため、実際のモデルでは、デバイスは量子化ゴールデンからの距離が、ゴールデンが1 ulpだけ変更された自身からの距離とほぼ同じになり、健全なデバイスはそのフロアに近い値を示します。4ビット重みの場合、フロアはfp32行よりもはるかに低くなります。ISAシミュレータで測定された、8つのデフォルトプロンプトと各16トークンを使用した場合:
| モデル | 重み | デバイス vs W+A: トップ1、KL | フロア KL | デバイス vs fp32: トップ1、KL | W+A vs fp32 KL |
|---|---|---|---|---|---|
| LFM2.5-230M | int8 | 96.2%、0.0038 | 0.0039 | 96.2%、0.0055 | 0.0050 |
| LFM2.5-230M | 4ビット、int8ヘッド | 94.6%、0.0045 | 0.0041 | 80.6%、0.152 | 0.157 |
| Qwen3-0.6B | int8 | 96.1%、0.0088 | 0.0109 | 96.1%、0.011 | 0.012 |
| Qwen3-0.6B | 4ビット、int8ヘッド | 96.9%、0.0123 | 0.0163 | 85.9%、0.193 | 0.195 |
| Qwen3.5-0.8B | int8 | 96.1%、0.0020 | 0.0017 | 97.7%、0.0033 | 0.0029 |
| Qwen3.5-0.8B | 4ビット、int8ヘッド | 96.9%、0.0020 | 0.0021 | 88.3%、0.076 | 0.077 |
| Gemma 4 E2B (ベース) | int8、4ビットPLEテーブル | 100.0%、0.0036 | 0.0035 | 99.2%、0.015 | 0.017 |
| Gemma 4 E2B (ベース) | 4ビット、int8ヘッドとPLEテーブル | 99.2%、0.0029 | 0.0036 | 96.9%、0.045 | 0.043 |
| Gemma 4 E2B-it | int8、4ビットPLEテーブル | 100.0%、0.0071 | 0.0078 | 97.5%、0.014 | 0.0085 |
| Gemma 4 E2B-it | 4ビット、int8ヘッドとPLEテーブル | 98.6%、0.0095 | 0.0136 | 93.1%、0.102 | 0.093 |
| Gemma 4 E2B-it | ベースのミックス、int8ヘッドとPLEテーブル | 100.0%、0.0135 | 0.0075 | 98.6%、0.028 | 0.036 |
KLはトークンあたりのnatsでの平均KL(ゴールデン || デバイス)です。デバイスの量子化ゴールデンからのKLはフロアの0.70〜1.16倍であり、fp32からの距離は量子化単独が予測するものと同じです。実行は16コアホストで2〜14分かかります(Gemma 4 E2B: 16分と26分、他のジョブと共有されたホスト;E2B-itはomarchy単独で8〜14分)。ピークメモリ使用量は2.5 GB(LFM2)から16 GB(Gemma 4 E2B)です。Gemma 4 E2B-it、otpu-chatが実行するインストラクトチェックポイント(2026-10-09、ツリーaa2166b1)は、ほとんどのプロンプトを数トークンで応答し、ターン終了(<turn|>)で停止します。その行はベースの128に対して71〜81ポジションであり、1ポジションあたりの重みが大きくなります。ミックスの1.80倍は71ポジションのうちの1つで、def fibonacci(n):ではほぼ同等(KL 0.69、フロアは0.17)です。それなしでは0.75倍です。プロンプトはベースと同様に<bos>の後のプレーンテキストですが、インストラクトトークナイザーは追加しません(gemma4.text_ids)。
Qwen3のアクティベーション丸めは、他のモデルよりもコストがかかります。そのk_normゲインには外れ値チャネルがあります(Qwen3-0.6B: 中央値の最大42倍)。Kはトークンあたり、ヘッドあたり、128値ごとに1つのスケールでint8に丸められるため、アテンションスコアに依存する他のチャネルは数レベルしか残りませんでした。そのint8 W+Aゴールデンはfp32から0.042でしたが、LFM2.5-230Mでは0.0050、Qwen3.5-0.8Bでは0.0029でした。イメージは現在、外れ値の大きさをKからqに移動させています(q_normとk_normゲインごとに2のべき乗のチャネルがあり、q . Kは変更されません;docs/quant.md、「K smoothing」)。テーブルでは0.012です。2つの固定テキスト(2,046ポジション、ペア)で、int8 W+AゴールデンのKLを0.059から0.015に、4ビットのKLを0.221から0.179に、512ポジションでのISAシミュレータのKLを0.064から0.019(int8)および0.228から0.195(4ビット、int8ヘッド)に低下させます。4ビット行の128個の貪欲ポジションは、その低下を示すには少なすぎます(各実行は独自のトークンで行われ、少数のポジションが支配的です)。
Gemma 4は、カードのフィット感に合わせたイメージフォーマットで実行されます(E2Bのint8イメージはレイヤーごとの埋め込みテーブルを4ビットで保持します)。ゴールデンは、デバイスが収集するのと同様に、LMヘッドから埋め込み行を取得し、レイヤーごとの埋め込みはデバイスのPLEレコードから取得し、ソフトキャップ後のlogitsを比較します。E2Bのfp32は約20 GBであるため、Hugging Faceは9.4 GBのPLEテーブルなしで言語モデルのみをロードします(ゴールデンはチェックポイントから必要な行を読み取ります)。ゴールデンはbf16チェックポイントの重みをbf16で保持し、これは正確であり、fp32パスのために一度に1つのマトリックスで拡張します。E2Bの実行は16 GBまで使用します。22 GBの空き容量があるホストを用意してください。
実行は、デバイスがトップ1トークンの少なくとも80%で量子化ゴールデンと一致し、平均KLがフロアの3倍以下である場合(--min-top1、--kl-ratio)に合格とみなされます。また、--againstを使用した場合、両方のデバイスが同じトークンとビット単位で同一のlogitsを生成した場合に合格とみなされます。終了ステータスはPASSの場合は0、FAILの場合は1です。--jsonはスクリプト用に各ステップを書き出します。--weights-onlyはゴールデンからアクティベーション丸めを削除します(この場合、トップ1のみがバウンドされます)。--no-fp32はfp32行をスキップします。
カード上(ビルド1025907f、2026-10-07:ロック下で--no-golden --save、ビルドホスト上で--against)で、Qwen3-0.6B、LFM2.5-230M、Qwen3.5-0.8Bのint8および4ビット(int8ヘッド)のすべての6回の実行で、ISAシミュレータのトークンとビット単位で同一のlogitsがすべてのプロンプトで生成されました(実行あたり103〜128ステップで0 ulp)。カードの量子化ゴールデンからの平均KLはフロアの0.94〜1.39倍で、トップ1一致率は94.5%〜97.7%でした。Qwen3-0.6B int8のfp32からのKLは、0.052(ビルド84989047、Kスムージング前)から0.012に低下しました。
読むべき場所
- docs/isa.md: 命令セット。他のすべてはこれに基づいています。
opentpu/kernelsとdocs/compiler.md: カーネルが命令になる方法。opentpu/isasim.py: シミュレータ、これが仕様です。rtl/: ハードウェア、rtl/top/otpu_top.svから開始。- docs/lfm2.md、docs/qwen35.md、docs/llama.md、docs/benchmarks.md: モデル全体とそのサイクルがどこに使われるか。
- docs/board.md: クロックからPCIeまでの物理カード。
- docs/targets.md: 1つの設計が複数のボードやチップ(ビルドごとにターゲットファイル:
targets/*.toml)でどのようにビルドされるか。
今後
-
DRAMの最後の数パーセント。 デコードはDRAM効率にバインドされており、DDR3-1066ピークの82〜85%を読み取ります。LiteDRAMパスの効率向上のための作業が進められています。
-
タイミングマージンと面積。 設計は133.33 MHzでクローズします。これは、128バイトポートが2つのDDR3チャネルと一致するクロックですが、わずかに(WNS +0.032 ns)。Vivado実行のトーナメントが、マージンと面積の改善を続けています。デコードはDRAMにバインドされているため、より高速なクロックは主にプリフィルに役立ちます。
-
高速なプリフィル。 4列のSystolic Matrix Unitはプロダクションイメージにありますが、プリフィルはまだMatrix Unitの乗算レートに制限されています。
-
より多くのターゲット。 設計はターゲットファイル(
targets/*.toml、docs/targets.md)からビルドされます。プロダクションのYPCB-00338、現在開発中のBCU1525(Virtex UltraScale+ VU9P、DDR4 DIMM x4)、およびNanGate45とOpenROADを使用したASIC(面積、クロック、電力の数値から開始)です。
貢献
イシューとプルリクエストは歓迎します。ほとんどの作業はPythonとVerilatorのみで可能で、FPGAは不要です。ISA、シミュレータ、またはRTLへの変更は、python3 -m pytest -qがパスするようにする必要があります。パフォーマンスの主張は、測定方法を示す必要があります。
ライセンス
Apache License 2.0。LICENSEを参照してください。