HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

AIは独自の推論ハードウェアを開発できるようになりました

AI is now capable of developing its own inference hardware (github.com)

320 pointsby fsbonetto359 コメント

要約

openTPUは、AI自身がハードウェア設計の限界を探求し、自身の推論を実行するチップを構築できるかという問いに答えるオープンソースのAIアクセラレータです。このプロジェクトは、ハードウェア設計からシミュレータ、コンパイラ、ホストソフトウェアまで、AIアクセラレータの全体像を理解するための学習リソースとしても機能します。FPGAカード上で複数の現代的なAIモデルを効率的に実行し、シミュレータと同等の精度をビット単位で実現しています。

全文翻訳

openTPU

AIによって開発されたオープンソースAIアクセラレータ

openTPUは、auto-arch-tournamentで得られた教訓をAIアクセラレータにもたらします。AIエージェントがハードウェア設計でどこまで進めるか、そして自身の推論を実行するチップを構築できるか、という2つの問いを投げかけます。

[画像: otpu-chat on LFM2.5-230M with otpu-smi watching the card]

otpu-chatがFPGAカード上でLFM2.5-230Mを実行している様子(左)、otpu-smiがカードの利用率とDRAM帯域幅を示している様子(右)。

学びの場

openTPUは学習プロジェクトでもあります。アクセラレータ全体が1つの小さなモノレポに収められており、ハードウェア設計(SystemVerilog)、命令セット、ビット単位で正確なシミュレータ、カーネル言語とそのコンパイラ、そして実際のPCIeカードを駆動するホストソフトウェアまで、すべてを最初から最後まで読むことができます。AIアクセラレータがどのように動作するか、Pythonでの行列乗算から配線レベルまで理解したい場合、これは良い出発点となるでしょう。

結果

この設計は、Inspur YPCB-00338カード(Xilinx Kintex-7 xc7k480t、2つのDDR3チャネル)上で10個の最新モデルとその実際の重みで動作し、カードはシミュレータと同じトークンをビット単位で生成します。

モデル重みデコード(デバイス)デコード(実時間)プリフィル(デバイス)デコード中のDRAM
LFM2.5-230Mint859.0 トーク/秒52.3 トーク/秒295.6 トーク/秒14.5 GB/秒 (ピークの85%)
LFM2.5-230M4ビット、int8ヘッド85.8 トーク/秒82.1 トーク/秒335.4 トーク/秒14.1 GB/秒 (82%)
Qwen3-0.6Bint821.6 トーク/秒21.3 トーク/秒92.1 トーク/秒14.4 GB/秒 (84%)
Qwen3-0.6B4ビット、int8ヘッド31.3 トーク/秒30.7 トーク/秒103.4 トーク/秒13.9 GB/秒 (82%)
Qwen3.5-0.8Bint817.6 トーク/秒16.3 トーク/秒61.4 トーク/秒14.5 GB/秒 (85%)
Qwen3.5-0.8B4ビット、int8ヘッド24.5 トーク/秒23.3 トーク/秒66.7 トーク/秒14.1 GB/秒 (83%)
Gemma 4 E2B4ビット、int8ヘッド10.57 トーク/秒10.53 トーク/秒32.1 トーク/秒15.6 GB/秒 (92%)
Gemma 4 E2B4ビット、4ビットヘッド12.14 トーク/秒12.09 トーク/秒29.9 トーク/秒15.5 GB/秒 (91%)
LFM2-2.6Bint86.05 トーク/秒6.03 トーク/秒21.4 トーク/秒16.1 GB/秒 (94%)
LFM2-2.6B4ビット、int8ヘッド10.96 トーク/秒10.93 トーク/秒20.6 トーク/秒15.8 GB/秒 (93%)
SmolLM3-3Bint85.00 トーク/秒4.99 トーク/秒21.1 トーク/秒16.0 GB/秒 (94%)
SmolLM3-3B4ビット、int8ヘッド8.74 トーク/秒8.72 トーク/秒22.8 トーク/秒15.7 GB/秒 (92%)
Phi-4-mini (3.8B)int83.99 トーク/秒3.98 トーク/秒13.8 トーク/秒16.0 GB/秒 (94%)
Phi-4-mini (3.8B)4ビット、int8ヘッド6.56 トーク/秒6.55 トーク/秒15.0 トーク/秒15.8 GB/秒 (92%)
Qwen3.5-2Bint88.02 トーク/秒8.00 トーク/秒38.2 トーク/秒16.0 GB/秒 (94%)
Qwen3.5-2B4ビット、int8ヘッド12.09 トーク/秒12.03 トーク/秒41.7 トーク/秒15.8 GB/秒 (92%)
Qwen3.5-4B4ビット、int8ヘッド5.88 トーク/秒5.87 トーク/秒12.9 トーク/秒15.7 GB/秒 (92%)
Gemma 4 E4Bint8、4ビットヘッドとダウン0-233.78 トーク/秒3.75 トーク/秒14.8 トーク/秒16.0 GB/秒 (94%)

*カードで測定:最初の3モデルは2026-09-29にプロダクションイメージdeploy_champ_e698dcd7で測定。LFM2-2.6B、SmolLM3-3B、Phi-4-miniは2026-09-30に、Qwen3.5-2Bおよび4B、Gemma 4は2026-10-01にビルドB、deploy_fused133c_79c5707aで測定され、それ以降プロダクション。ビルドBはe698dcd7よりもLFM2-2.6B、SmolLM3、Phi-4-miniを8-9%速くデコードし(Gemma 4 E2Bは10%)、DRAM帯域幅はピークの82-87%ではなく91-94%を使用。Qwen3.5-4Bのint8イメージは4 GiB超。

  • *イメージ:メインe698dcdは133.33 MHz、すべてのモデルで1つのビットストリーム。メモリコア内の小さなCPUでキャリブレーションされたLiteDRAMコントローラ、4列のSystolic Matrix Unit、ストリームエンジン(docs/stream.md)を備えています。DDR3-1066、ピーク帯域幅17.1 GB/s。
  • *ホスト:カードはopentpu(Intel Core i7-4790)に搭載されています。
  • *方法、tools/qual/perf.py:デコードは512トークンのプロンプトの後、64個の貪欲なトークン(ホストのargmaxを使用、ストリーミングなし)。「デバイス」はアクセラレータが実行したサイクルのみをカウントし、「実時間」はホストの時間を加算します。プリフィルは512トークンのプロンプトで、デバイス上で行われます。
  • *DRAMトラフィックは、カード実行中のカード固有のカウンタからのものです。
  • *Gemma 4 E2Bは、レイヤーごとの埋め込みテーブルをカード上に保持します(3.5-3.6 GiBイメージ;docs/gemma4.md)。int8では収まりません。ベースチェックポイント(gemma-4-E2B)は、3つのプロンプトでHugging Faceの貪欲トークンと一致します(ヘッドあり/なし)。チャットはインストラクトチェックポイント(gemma-4-E2B-it、...:同じイメージと速度)を実行します。E4Bのテーブル(2.95 GB)はホストに残り、トークンごとに11 KBの行をカードにコピーします。そのイメージは3.96 GiBで、int8(ヘッドと最初の24レイヤーのダウンプロジェクションは4ビット)です。これはここで測定されました(docs/gemma4_e4b.md)。2026-10-09以降、E4B-itのデフォルトはヘッドと最初の12レイヤーのゲート/アッププロジェクションが4ビットです。これはトークンあたり同じバイト数で、パープレキシティはint8の+3.2%以内、プロンプト実行は3-4行ではなく2行です(docs/formats.md)。カード自身のデコードループ(カードが各トークンを選択)では、Gemma 4はより速くデコードします:E2Bは11.01 / 12.73 トーク/秒(int8 / 4ビットヘッド)、E4Bは3.83 トーク/秒(デバイス上)。
  • *すべての構成は、シミュレータとビット単位で、位置ごと、および常駐デコードプログラムで一致します。詳細はdocs/board.mdを参照してください。

logitsをカード実行中にストリームバックすると(tools/decode_profile.py、96トークン)、4ビットデコードはデバイス/実時間トークン/秒でより高速になります。

  • LFM2: 89.5 / 84.5;
  • Qwen3: 33.7 / 33.3;
  • Qwen3.5: 24.6 / 24.2;
  • LFM2-2.6B: 11.07 / 11.02 (ビルドB);
  • SmolLM3-3B: 8.92 / 8.89 (ビルドB);
  • Phi-4-mini: 6.69 / 6.67 (ビルドB)。

以前のプロダクションイメージse-cand3は、Xilinx MIG、2列のMatrix Unit、120.755 MHzクロックでビルドされました。同じ方法で測定された新しいイメージは以下の通りです。

  • デコード: すべての構成でse-cand3の2.3%以内。デコードはDRAMにバインドされており、LiteDRAMはMIGと同様にDDR3ピークの82-85%で読み取ります。
  • プリフィル: 1.3倍(Qwen3.5)から2.0倍(LFM2 4ビット)高速。
  • キャリブレーション: イメージ起動時、コアのCPUがDDR3チャネルを12秒でキャリブレーションし、ホストの関与はありません。

以前のイメージとその数値はdocs/board.mdのセクション5にあります。

Mixture-of-expertsモデルでカードの4 GiBを超えるものは、ホストストレージからストリームされるエキスパートと共に実行されます(docs/offload.md、セクション10)。カードは各トークンをルーティングし、すべてエキスパートを計算し、エキスパートをDRAMのレイヤーごとのスロットに保持します。ホストは、リンクの速度で(セクション10.1)、不足しているエキスパートをプールファイルからそれらのスロットにコピーするだけです。2026-10-01にビルドB(79c5707a)で測定され、カード自身のデコードループで各トークンを選択、4ビットエキスパート、int8ヘッドの場合:

  • LFM2.5-8B-A1B (8.5Bパラメータ、1.7Bアクティブ): 160トークンで10.6 トーク/秒。エキスパート使用量の98.5%がスロットにヒットし、トークンあたり5.2 MBがストリームされました。
  • Qwen3.5-35B-A3B (34.7Bパラメータ、3.0Bアクティブ): 16個の貪欲トークン(Hugging Face)で3.95 トーク/秒。エキスパート使用量の62%がヒットし、PCIe経由で1.41 GB/sでトークンあたり153 MBがストリームされました(セクション10.3)。
  • 両方ともシミュレータとビット単位で一致します。

otpu-chatは、両方およびgemma-4-26B-A4B-it(--model lfm2-8b、qwen35-35b、gemma4-26b)と、同じエンジンと設定でチャットします。各モデルのエキスパートは、チェックポイントの隣にあるプールファイルに一度パックされ、チャットはロード前にプールを確認します(docs/offload.md、セクション14)。

4ビット重み(docs/quant.md)は、2レベルのブロックスケールを持つFP4値を使用し、重みあたり4.25ビットで、精度を保つためにLMヘッドはint8で保持します。これにより、トークンあたりのバイト数が約3分の1に削減され、デコード速度が40%(Qwen3.5)から45%(Qwen3、LFM2)向上しますが、docs/quant.mdでモデルごとに報告されているパープレキシティの低下という測定可能なコストがかかります。

ホストはほとんど関与しません。LFM2とQwen3の場合、カードは一度コンパイルされたデコードプログラムを1つ実行し、レジスタから位置を読み取り、自身の埋め込み行とRoPE行をルックアップします。カードがまだ実行中にlogitsがストリームバックされます。ホストはトークンあたり0.17〜0.30 ms(omarchyの場合、opentpuでは0.45〜1.3 ms)を追加します。Qwen3.5はデコードに関して同じ方法で実行されます。そのプリフィルはまだホスト上で各チャンクのプログラムをコンパイルします。

仕組み

  olのカーネル              mlp、アテンション、フルモデルレイヤー
        |  @ol.jit
  言語 + コンパイラ        レイアウト、アフィンループアドレス指定、フュージョン
        | 
  ISA                        命令あたり8 x 32ビットワード
        | 
  ISAシミュレータ  <======>  RTL          同じビット、テストで検証済み
  (Python)                 (SystemVerilog)
                            |  Vivadoビットストリーム
                           FPGAカード    Kintex-7 xc7k480t
                            |  PCIe
                           ホスト         otpu-chat、otpu-smi、otpu-lens

このマシンは意図的にシンプルです。シーケンサは、DMAがデータを移動し、Matrix UnitがDRAMからストリームされるint8重みを乗算し、Vector Unitがfp32演算を実行し、Quantizerが結果をint8に戻す、いくつかのユニットにサイクルごとに1つの命令を発行します。キャッシュや隠れたスケジューリングはありません。すべてのデータ移動は命令であり、トレースはサイクルがどこに使われたかを正確に示します。docs/isa.mdに命令セット全体が記載されています。

カーネルは以下のようになります。

from opentpu import language as ol

@ol.jit
def mlp(h, gamma, w_gate, w_up, w_down, out, eps):   # simplified; see kernels/mlp.py
    x = ol.load(h)
    xs = ol.quantize(rmsnorm(x, ol.load(gamma), eps))
    g = ol.dot(xs, w_gate)
    u = ol.dot(xs, w_up)
    a = ol.all_gather(silu(g) * u)
    y = ol.all_gather(ol.dot(a, w_down))
    if ol.program_id() == 0:
        ol.store(out, x + y)

すべてのデータ移動が命令であるため、実行のトレースはその速度を説明します。Lens、プロファイラは、RTL、シミュレータ、またはカードからの実行を記録し、ルーフライン、タイムライン、命令ごとのテーブルとともにブラウザで開きます(docs/lens.md)。

[画像: Lens replaying a Qwen3 decode step on the floorplan]

LensがQwen3デコードステップの一部をフロアプラン上でリプレイしています。色は、各ユニットが各サイクルで何をしているかを示しています:ビジー、DRAM待ち、または他の命令待ち。

ASICフロー

FPGAカードに加えて、openTPUはチップレイアウトとしても構築されます。オープンなNanGate45(45 nm)セルライブラリ上のASICブロックで、33個のSRAMマクロと約56万個の標準セルで構成されます。これは、SystemVerilogソースからルーティングされたレイアウトまで、オープンソースツールのみ(合成にはYosys、配置配線にはOpenROAD、物理設計判断にはOpenLayoutのエージェントスキル)を使用して、エンドツーエンドでAIエージェントによって構築されます。

RTL → 合成 → フロアプラン → マクロ配置 → 配置/CTS/配線 → タイミング(STA)
 ↑                           (OpenLayoutエージェント)   (タイミング修復)          │
 └──────────── RTLを変更し、ビット単位で検証 ←────────────────────────┘

各ステップの概要

  • 合成:RTLをライブラリセルのネットリストに変換します。SRAMはハードマクロのままです。
  • マクロ配置:33個の大きなSRAMブロックをダイ上のどこに配置するかを決定します。それ以降のすべての配線はその選択に依存するため、チップがルーティング可能か、どのくらいの速度で動作するかを決定します。AIプレースは、すべての従来のアルゴリズムを凌駕する可能性があります。
  • 配置/CTS/配線:標準セルを配置し、クロックツリーを構築し、配線を引きます。その過程でタイミングを修復します(バッファ、サイズ変更)。
  • STA(静的タイミング解析):ルーティングされたレイアウトの最も遅いパスと、クロックにどれだけ miss しているかを報告します。

独自の設計で利用する。 docs/asic_timing_loop.mdは、ループをステップバイステップで説明し、ループ全体をコーディングエージェント(任意の設計、任意のノード)に渡す準備済みのプロンプトを含み、openTPUの実行とその過程で遭遇した落とし穴を記録します。

試してみる

カード以外はすべてラップトップで実行できます。

pip install -e .
pip install pytest torch transformers
python3 -m pytest -q          # RTLテストにはVerilator 5も必要

hf download LiquidAI/LFM2.5-230M --local-dir models/LFM2.5-230M
otpu-chat --model lfm2 --backend isa    # シミュレータでチャット

カードがある場合は、ビットストリームをビルドし(boards/ypcb-00338でmake bit)、JTAG経由でロードし、sudo otpu-setupを実行してotpu-chat --backend boardを実行します。docs/board.mdが起動手順を案内します。

コマンド実行内容
otpu-chatQwen3-0.6B, LFM2.5-230M (--model lfm2), Qwen3.5-0.8B (--model qwen35), LFM2-2.6B (lfm2-2.6b), SmolLM3-3B (smollm3), Phi-4-mini (phi4-mini) または Qwen3.5-2B / 4B (qwen35-2b, qwen35-4b), Gemma 4 E2B / E4B (gemma4, gemma4-e4b: インストラクトチェックポイント、gemma-4-E2B-it / E4B-it) とチャットします。カードより大きいMoEモデルはエキスパートをストリームして実行します: LFM2.5-8B-A1B (lfm2-8b), Qwen3.5-35B-A3B (qwen35-35b), gemma-4-26B-A4B-it (gemma4-26b); チャットテンプレートなしのチェックポイント(ベースモデル)は--rawのみで使用します
otpu-serveOpenAIスタイルのAPIサーバー(/v1/chat/completions, /v1/completions、ストリーミングあり/なし;SGLangの/generate)。多数のクライアントを同時に処理します。コンテキストはカード上およびホストRAM/ディスクに保持されます(保存されたコンテキストを継続するプロンプトは残りの部分のみをフィードします)。デコードステップはカード上でバッチ処理されます(Qwen3およびLlama系)。各トークンはカードで選択されます(Qwen3-0.6B: クライアント78、単独25 トーク/秒);docs/serve.md
otpu-smi温度、電力、DRAM帯域幅、ユニットごとの利用率を表示します。-l --csvで時系列ログを記録します
otpu-lens実行を記録し、プロファイラで開きます(summaryはターミナルに概要を表示します)
otpu-selftest, otpu-diagカードが動作しているか確認します

Hugging Faceとの検証

tools/validate.pyは、デバイスの貪欲トークンとlogitsをCPUのゴールデンと比較します。ゴールデンはHugging Face transformersでの同じチェックポイントで、CPU上でのfp32実行です。openTPUの量子化を使用します。ゴールデンの重みは、Matrix Unitが乗算する値(モデルイメージ自身の量子化器、選択したフォーマット)であり、そのアクティベーションはデバイスの量子化器が丸める場所(行列乗算の各入力、アテンションではクエリ、K、V、ソフトマックス重み)で、128値ごとにint8に丸められます。デバイスはISAシミュレータ、RTL(Verilator)、またはカードであり、--againstは2番目のデバイスを追加し、同じトークンとビット単位で同一のlogitsを生成する必要があります。これはQwen3-0.6B、LFM2.5-230M、Qwen3.5-0.8B、およびGemma 4 E2B(ベースおよびインストラクト)で測定されます。MoEモデルはサポートされていません。

python3 tools/validate.py --model qwen3                                    # ISAシミュレータ、int8
python3 tools/validate.py --model lfm2 --wformat fp4 --head-format int8   # 4ビットレイヤー
python3 tools/validate.py --model gemma4                                   # E2B-it: 16 GB (下記)

# RTLとISAシミュレータのビット単位比較:遅いため、1つのプロンプトと数トークンのみ
# (これは16コアホストで4分かかります。Verilatorビルドも含む)
python3 tools/validate.py --model lfm2 --backend rtl --against isa --tokens 3 "The capital of France is"

# カードとISAシミュレータのビット単位比較、カードホスト上で
otpu-lock -- python3 tools/validate.py --model qwen3 --backend board --against isa

# またはロック下でのカード実行のみ、残りは別のホストで:ISAシミュレータが
# カードが実行した構成で実行されます
otpu-lock -- python3 tools/validate.py --model qwen3 --backend board --no-golden --save card.npz
python3 tools/validate.py --model qwen3 --against card.npz

各プロンプト(デフォルトで8個、各16トークン)は、デバイスの継続とゴールデンを出力します。次に、デバイス自身のトークンがゴールデンにフィードされ、各ステップで同じコンテキストが比較され、ツールはトップ1一致率、平均および最大KLダイバージェンス、最大ロジット差、最小コサインを表示します。サマリーには4行あります:

行内容
デバイス vs W+A量子化ゴールデンに対するデバイス:検証
デバイス vs fp32平坦なチェックポイントに対するデバイス
W+A vs fp32量子化単独のコスト
W+A~ vs W+A入力が1 fp32 ulpだけ変更されたゴールデンに対するゴールデン:フロア

ゴールデンはデバイスと正確に同じように丸めることはできません。その合計、正規化、指数は最後のビットで異なります。int8値が別の方向に丸められると、その差は後続のレイヤーに広がります。そのため、実際のモデルでは、デバイスは量子化ゴールデンからの距離が、ゴールデンが1 ulpだけ変更された自身からの距離とほぼ同じになり、健全なデバイスはそのフロアに近い値を示します。4ビット重みの場合、フロアはfp32行よりもはるかに低くなります。ISAシミュレータで測定された、8つのデフォルトプロンプトと各16トークンを使用した場合:

モデル重みデバイス vs W+A: トップ1、KLフロア KLデバイス vs fp32: トップ1、KLW+A vs fp32 KL
LFM2.5-230Mint896.2%、0.00380.003996.2%、0.00550.0050
LFM2.5-230M4ビット、int8ヘッド94.6%、0.00450.004180.6%、0.1520.157
Qwen3-0.6Bint896.1%、0.00880.010996.1%、0.0110.012
Qwen3-0.6B4ビット、int8ヘッド96.9%、0.01230.016385.9%、0.1930.195
Qwen3.5-0.8Bint896.1%、0.00200.001797.7%、0.00330.0029
Qwen3.5-0.8B4ビット、int8ヘッド96.9%、0.00200.002188.3%、0.0760.077
Gemma 4 E2B (ベース)int8、4ビットPLEテーブル100.0%、0.00360.003599.2%、0.0150.017
Gemma 4 E2B (ベース)4ビット、int8ヘッドとPLEテーブル99.2%、0.00290.003696.9%、0.0450.043
Gemma 4 E2B-itint8、4ビットPLEテーブル100.0%、0.00710.007897.5%、0.0140.0085
Gemma 4 E2B-it4ビット、int8ヘッドとPLEテーブル98.6%、0.00950.013693.1%、0.1020.093
Gemma 4 E2B-itベースのミックス、int8ヘッドとPLEテーブル100.0%、0.01350.007598.6%、0.0280.036

KLはトークンあたりのnatsでの平均KL(ゴールデン || デバイス)です。デバイスの量子化ゴールデンからのKLはフロアの0.70〜1.16倍であり、fp32からの距離は量子化単独が予測するものと同じです。実行は16コアホストで2〜14分かかります(Gemma 4 E2B: 16分と26分、他のジョブと共有されたホスト;E2B-itはomarchy単独で8〜14分)。ピークメモリ使用量は2.5 GB(LFM2)から16 GB(Gemma 4 E2B)です。Gemma 4 E2B-it、otpu-chatが実行するインストラクトチェックポイント(2026-10-09、ツリーaa2166b1)は、ほとんどのプロンプトを数トークンで応答し、ターン終了(<turn|>)で停止します。その行はベースの128に対して71〜81ポジションであり、1ポジションあたりの重みが大きくなります。ミックスの1.80倍は71ポジションのうちの1つで、def fibonacci(n):ではほぼ同等(KL 0.69、フロアは0.17)です。それなしでは0.75倍です。プロンプトはベースと同様に<bos>の後のプレーンテキストですが、インストラクトトークナイザーは追加しません(gemma4.text_ids)。

Qwen3のアクティベーション丸めは、他のモデルよりもコストがかかります。そのk_normゲインには外れ値チャネルがあります(Qwen3-0.6B: 中央値の最大42倍)。Kはトークンあたり、ヘッドあたり、128値ごとに1つのスケールでint8に丸められるため、アテンションスコアに依存する他のチャネルは数レベルしか残りませんでした。そのint8 W+Aゴールデンはfp32から0.042でしたが、LFM2.5-230Mでは0.0050、Qwen3.5-0.8Bでは0.0029でした。イメージは現在、外れ値の大きさをKからqに移動させています(q_normとk_normゲインごとに2のべき乗のチャネルがあり、q . Kは変更されません;docs/quant.md、「K smoothing」)。テーブルでは0.012です。2つの固定テキスト(2,046ポジション、ペア)で、int8 W+AゴールデンのKLを0.059から0.015に、4ビットのKLを0.221から0.179に、512ポジションでのISAシミュレータのKLを0.064から0.019(int8)および0.228から0.195(4ビット、int8ヘッド)に低下させます。4ビット行の128個の貪欲ポジションは、その低下を示すには少なすぎます(各実行は独自のトークンで行われ、少数のポジションが支配的です)。

Gemma 4は、カードのフィット感に合わせたイメージフォーマットで実行されます(E2Bのint8イメージはレイヤーごとの埋め込みテーブルを4ビットで保持します)。ゴールデンは、デバイスが収集するのと同様に、LMヘッドから埋め込み行を取得し、レイヤーごとの埋め込みはデバイスのPLEレコードから取得し、ソフトキャップ後のlogitsを比較します。E2Bのfp32は約20 GBであるため、Hugging Faceは9.4 GBのPLEテーブルなしで言語モデルのみをロードします(ゴールデンはチェックポイントから必要な行を読み取ります)。ゴールデンはbf16チェックポイントの重みをbf16で保持し、これは正確であり、fp32パスのために一度に1つのマトリックスで拡張します。E2Bの実行は16 GBまで使用します。22 GBの空き容量があるホストを用意してください。

実行は、デバイスがトップ1トークンの少なくとも80%で量子化ゴールデンと一致し、平均KLがフロアの3倍以下である場合(--min-top1、--kl-ratio)に合格とみなされます。また、--againstを使用した場合、両方のデバイスが同じトークンとビット単位で同一のlogitsを生成した場合に合格とみなされます。終了ステータスはPASSの場合は0、FAILの場合は1です。--jsonはスクリプト用に各ステップを書き出します。--weights-onlyはゴールデンからアクティベーション丸めを削除します(この場合、トップ1のみがバウンドされます)。--no-fp32はfp32行をスキップします。

カード上(ビルド1025907f、2026-10-07:ロック下で--no-golden --save、ビルドホスト上で--against)で、Qwen3-0.6B、LFM2.5-230M、Qwen3.5-0.8Bのint8および4ビット(int8ヘッド)のすべての6回の実行で、ISAシミュレータのトークンとビット単位で同一のlogitsがすべてのプロンプトで生成されました(実行あたり103〜128ステップで0 ulp)。カードの量子化ゴールデンからの平均KLはフロアの0.94〜1.39倍で、トップ1一致率は94.5%〜97.7%でした。Qwen3-0.6B int8のfp32からのKLは、0.052(ビルド84989047、Kスムージング前)から0.012に低下しました。

読むべき場所

  1. docs/isa.md: 命令セット。他のすべてはこれに基づいています。
  2. opentpu/kernelsとdocs/compiler.md: カーネルが命令になる方法。
  3. opentpu/isasim.py: シミュレータ、これが仕様です。
  4. rtl/: ハードウェア、rtl/top/otpu_top.svから開始。
  5. docs/lfm2.md、docs/qwen35.md、docs/llama.md、docs/benchmarks.md: モデル全体とそのサイクルがどこに使われるか。
  6. docs/board.md: クロックからPCIeまでの物理カード。
  7. docs/targets.md: 1つの設計が複数のボードやチップ(ビルドごとにターゲットファイル:targets/*.toml)でどのようにビルドされるか。

今後

  • DRAMの最後の数パーセント。 デコードはDRAM効率にバインドされており、DDR3-1066ピークの82〜85%を読み取ります。LiteDRAMパスの効率向上のための作業が進められています。

  • タイミングマージンと面積。 設計は133.33 MHzでクローズします。これは、128バイトポートが2つのDDR3チャネルと一致するクロックですが、わずかに(WNS +0.032 ns)。Vivado実行のトーナメントが、マージンと面積の改善を続けています。デコードはDRAMにバインドされているため、より高速なクロックは主にプリフィルに役立ちます。

  • 高速なプリフィル。 4列のSystolic Matrix Unitはプロダクションイメージにありますが、プリフィルはまだMatrix Unitの乗算レートに制限されています。

  • より多くのターゲット。 設計はターゲットファイル(targets/*.toml、docs/targets.md)からビルドされます。プロダクションのYPCB-00338、現在開発中のBCU1525(Virtex UltraScale+ VU9P、DDR4 DIMM x4)、およびNanGate45とOpenROADを使用したASIC(面積、クロック、電力の数値から開始)です。

貢献

イシューとプルリクエストは歓迎します。ほとんどの作業はPythonとVerilatorのみで可能で、FPGAは不要です。ISA、シミュレータ、またはRTLへの変更は、python3 -m pytest -qがパスするようにする必要があります。パフォーマンスの主張は、測定方法を示す必要があります。

ライセンス

Apache License 2.0。LICENSEを参照してください。