Bonsai 2 27B: 9倍小さいフットプリントでほぼロスレスな圧縮を実現

Ternary Bonsai 2 27Bの紹介：9倍小さいフットプリントでほぼロスレスな圧縮を実現

2ヶ月前、私たちは最初のBonsai 27Bモデルをリリースし、27Bクラスのマルチモーダルモデルがローカルデバイスで効率的に実行できるように圧縮できることを示しました。本日、私たちはこれまでで最も高性能なモデルであるTernary Bonsai 2 27Bをリリースします。

Qwen3.8 27BをベースにしたTernary Bonsai 2 27Bは、Bonsaiシリーズに、より強力な推論、コーディング、ビジョン、エージェント機能を、その特徴である劇的に小さいメモリフットプリント、高いローカルスループット、そして優れたエネルギー効率というデプロイメントプロファイルを維持しながらもたらします。

Ternary Bonsai 2 27Bは、FP16グループワイズスケーリングを用いた三値（-1, 0, +1）の重みを使用しており、1.76実効ビット/重みで、モデル全体のフットプリントは5.9GBです。低ビット表現は、言語モデル全体にエンドツーエンドで適用されます。262Kトークンのコンテキストウィンドウ、マルチモーダルなテキスト・画像入力をサポートし、Apache 2.0ライセンスでリリースされます。

フルプレシジョン（全精度）の対応モデルと比較して、Ternary Bonsai 2 27Bは9倍以上小さく、集計ベンチマーク性能の98.2%を維持しています。このレベルの維持率であれば、圧縮はデプロイメントの解除となります。つまり、ほぼ同等の能力を、はるかに多くの場所で実行可能なフットプリントで実現できるのです。

初期のBonsai 27Bリリースからの変更点

最初のBonsai 27Bリリースは、27Bクラスのインテリジェンスをローカルデバイスで実行するための実用的な方法を提供する重要なマイルストーンでした。Bonsai 2 27Bは、次のステップ、すなわち現実世界のローカルアプリケーションに必要なモデル品質とランタイムパフォーマンスの向上に焦点を当てています。以前のBonsai 27B世代と比較して、Bonsai 2 27Bは以下をもたらします。

• より強力なベースモデル、Qwen3.8 27B
• フルプレシジョンモデルに対する集計能力維持率98.2%という高さ
• 推論、コーディング、ビジョン、および長期間にわたるエージェントパフォーマンスの向上

同じデプロイメントポイントでのより高い能力

推論、数学、コーディング、指示追従、ビジョン、エージェントツールの使用を網羅するベンチマークスイート全体で、Ternary Bonsai 2 27Bは83.9を記録し、Qwen3.8 27Bの集計パフォーマンスの98.2%を維持しています。

［図 I］: Ternary Bonsai 2 27B（思考モード）とフルプレシジョンのQwen3.8 27BおよびQwen3.6 27Bベースラインとのベンチマークスコア比較。全ベンチマークの詳細結果はホワイトペーパーに記載されています。

重要な結果は、集計スコアだけでなく、能力がどこで維持されているかです。コーディングエージェント、ツール使用システム、マルチモーダルワークフロー、長期間にわたるタスクは、モデルの劣化に特に敏感です。なぜなら、小さなエラーが多くのステップで累積する可能性があるからです。Bonsai 2 27Bは、これらの領域において、フルプレシジョンモデルのパフォーマンスの多くを、メモリフットプリントのわずかな割合で維持しています。

フルプレシジョンモデルやその他の低ビット代替モデルと比較して、Bonsai 2 27Bはインテリジェンス密度において際立っています。多くの低ビット代替モデルは、コーディング、ビジョン、またはエージェントツールの使用において意味のある能力を犠牲にすることでのみデプロイ可能になります。Bonsai 2 27Bは、より高い能力とより低いメモリ使用量の両方に向けてフロンティアを押し広げています。

［画像: Figure II: Intelligence density (per GB) of Ternary Bonsai 2 27B compared to other models in the same parameter class.］

デモ I: NVIDIA GeForce RTX 5090でTernary Bonsai 2 27Bを搭載したClineによるコーディングエージェント。

Bonsai 2 27Bにより、ローカルモデルは実際のナレッジワークに着手し始めます。コーディングエージェントループ、コンピューター使用ワークフロー、プライベートドキュメント分析、マルチモーダルデバッグ、そしてローカルモデルが機密性の高いタスクや高頻度のタスクを処理し、選択的にクラウドにエスカレーションするハイブリッドオーケストレーションなどです。

スループットとエネルギー効率

Ternary Bonsai 2 27Bは、NVIDIA GeForce RTX 5090で最大143トークン/秒、M5 Maxで46.8トークン/秒に達します。RTX 4090では、Ternary Bonsai 2 27Bはわずか0.714 mWh/トークンしか消費せず、フルプレシジョンで実行される8Bモデルよりも40%エネルギー効率が高くなっています。

コーディングアシスタントにとって、より高いスループットは、より速い編集・デバッグループを意味します。マルチモーダルエージェントにとっては、スクリーンショット、ドキュメント、ツール呼び出しのより迅速なイテレーションを意味します。プライベートなローカルワークフローにとって、より優れたエネルギー効率は、同じデバイスでより多くの有用な推論が可能になり、バッテリー寿命が延び、常にクラウドに接続することなくバックグラウンドで利用可能なアシスタントへのより現実的な道筋を意味します。

このリリースが重要な理由

Ternary Bonsai 27Bと比較して、新しいTernary Bonsai 2 27Bは、フルプレシジョンモデルとの維持率のギャップを95%から98%以上に縮小しました。これは、現在のリリースを実質的に「ロスレス」にする大幅な改善です。これは、低ビットモデルがAIをデプロイする最良の方法となり得るという考えをさらに強固なものにします。

これには、ローカル推論をはるかに超える影響があります。低ビットモデルは、デバイス、ワークステーション、データセンター全体にわたるAIシステムの経済性とアーキテクチャを変える可能性があります。同じメモリエンベロープに、より大きなモデルを収容し、同じハードウェアでより多くのユーザーにサービスを提供し、推論あたりのエネルギーを削減し、ローカルで実行されるべきものとクラウドで実行されるべきものを動的に決定するハイブリッドシステムを可能にします。

ますます問われるのは、モデルがどれほど有能かだけでなく、特定のメモリ、コンピューティング、および電力予算内でどれだけの有用なインテリジェンスを提供できるかです。能力がこれらの要件が劇的に低下する一方でスケールし続けることができれば、将来のモデルのデプロイメントエンベロープは、パーソナルデバイスから大規模なデータセンターまで、スタック全体にわたって拡大します。

プラットフォームカバレッジ

Bonsai 2 27Bは、CUDA経由でNVIDIA GPU上で、またMLX経由でAppleデバイス（Mac、iPhone、iPad）上で、カスタム低ビットカーネルを介して実行されます。モデルの重みは、Apache 2.0ライセンスの下で本日より利用可能です。

当社の圧縮、評価、およびベンチマークプロセスの完全な技術的詳細は、ホワイトペーパーで入手できます。

共に働きませんか

私たちは、ポストトレーニング（ドメイン固有データへの）からターゲットハードウェアの推論最適化まで、チームと協力してBonsaiモデルをアプリケーションに合わせて調整しています。メモリ、レイテンシ、または電力要件が厳しいAI製品を構築している場合は、Bonsaiがどのように役立つかをご検討ください。contact@prismml.comまでご連絡ください。

参加しませんか

PrismMLは、Caltechの研究者チームから生まれ、Khosla Ventures、Cerberus、およびGoogleの支援を受けて設立され、Samsungからの継続的な支援を受けています。私たちは、推論能力を犠牲にすることなくニューラルネットワークを圧縮するという、この分野で最も困難な問題の1つに長年取り組んできました。

最先端のAIの次世代を構築したい場合は、ぜひお話を聞かせてください。当社のキャリアページをご覧ください。