1.58ビットの壁を破る：三値LLMの性能向上

三値大規模言語モデル（LLM）は、各重みを{-1, 0, +1}の3つのシンボルのいずれかとして格納するため、三値モデルのコストは情報理論的なlog2 3 ≈ 1.585ビット/重みで参照されます。普及しているデプロイメント形式では、5つの三値重みを1バイトにパックしており、実際には2のべき乗のグループサイズが使用されるため、これは1.625ビット/重みに切り上げられます。この実効ストレージビット幅は、{-1, 0, +1}の3つのシンボルが等確率であると仮定しています。私たちは29の三値LLMモデルの実際のシンボル分布を測定し、ゼロが全重みの最大51.5%を占めることを発見しました。この発見に触発され、我々はBITCOSを導入します。これは、ゼロ密度zを持つモデルの重みあたり2-zビットのコストで、密なプレゼンスビットマップとコンパクト化された符号ベクトルで構成されるシンプルな分布適応レイアウトです。BITCOSは、テストされた29モデル中26モデルで5トレイトパッキングよりもコンパクトに重みを格納し、最もスパースなモデルでは1.485ビット/重みに達します。BITCOSは最新のプロセッサおよびGPUでの効率的なアンパッキングに適しており、AVX-512、AVX2、およびIntel Xe2 GPU向けの最適化されたアンパッキングシーケンスを提示します。現実世界の三値モデルが示すゼロ密度において、提案されたレイアウトによる実現されたゲインは最大1.28倍です。最後に、5つの異なるプラットフォーム（クライアントおよびサーバーCPU、統合型およびディスクリートXe2 GPU）でのエンドツーエンドLLM推論結果を示し、デコードスループットがCPUで最大1.18倍、GPUで最大1.27倍向上しました。