永続状態機械：INT4インメモリセルによるLLMアテンション

公開日: 2026年8月2日 | バージョン v8 プレプリント オープン 永続状態機械：完全な数学的証明と Vivado 実装合成（バージョン 8.0） 著者/作成者: Esaka, Yusuke1 (所属表示) 説明: 永続状態機械：完全な数学的証明と Vivado 実装合成（バージョン 8.0） 要旨 大規模言語モデル（LLM）におけるアテンション演算のための形式的な離散フレームワークを永続状態機械（PSM）を通じて提示します。計算は静的なインメモリセルにブロードキャストされ、局所的な決定論的状態遷移を評価します。量子化誤差の境界、明示的な有界ロジット仮定下での具体的なマルチフェーズ離散ソフトマックス構成、空間因数分解との決定論的有限オートマトン同等性、および DSPACE(O(n)) への所属に関する完全な数学的証明を提供します。現代のプログラマブルロジックファブリック上でのアーキテクチャの実装可能性を、2つの異なる評価フローで検証します。 低消費電力評価（Zynq-7000 xc7z020）：完全な1024セルアレイ（d=128）のコンテキスト外（OOC）ブロック設計実装。ポストルート機能シミュレーションから取得したスイッチングアクティビティ交換フォーマット（SAIF）ファイルにポストルートネットリストを注釈付けすることにより、ハードウェアレベルの自己アクティベーションゲーティングがアクティブな動的スイッチングをスパースセルに制限することを示します。コアロジックの動的電力は1.0 mW未満と推定され、正規化された動的エネルギーは 3.81 × 10^-5 pJ/op です。 システムオンチップ PCIe 統合（UltraScale+ xcvu9p）：システムレベルの互換性を検証するために、256セルサブアレイ（1ヘッドアテンションシステムを統合したもの）を完全なSoC内に統合します。これには、AMBA AXI4インターコネクトと AMD Xilinx PCIe Gen3 x1 ブリッジ（XDMA v4.2）が含まれます。完全なSoCは、AWS Cloud FPGA Developer環境下で、62.5 MHzの統一システムクロック（最悪ネガティブスラック WNS = +1.854 ns）でタイミングをクローズしました。SoCは、デバイスのロジックスライスをわずか0.67%、DSPブロックを0.00%しか占有せず、高いスケーリングポテンシャルを示しています。1000以上のランダムベクターを使用した機能シミュレーションは、固定小数点ソフトウェアリファレンスとのビット単位の正確な一致を確認しました。 すべてのエネルギー値は、合成されたロジックのシミュレーションベースのツール推定値です。物理FPGAボードの測定は行われておらず、システムレベルの外部メモリエネルギーは厳密に除外されています。 日本の特許出願番号：2026-177318（特許出願中） ファイル 029_Zenodo_ASMA_Paper_v8_0_FullProofMaster.pdf (17.7 kB) すべてダウンロード 029_Zenodo_ASMA_Paper_v8_0_FullProofMaster.pdf md5:dc7e3ec0a80faaa38e45073a61660739 17.7 kB プレビュー ダウンロード