Bonsai 27B (1ビットLLM): スマートフォンで動作する初の27Bクラスモデル
Bonsai 27B (1-bit LLM): The First 27B-Class Model to Run on a Phone (prismml.com)
要約
PrismMLは、Qwen3.6 27BをベースにしたBonsai 27Bを発表しました。これは、スマートフォンで動作する初の27Bクラスのマルチモーダルモデルです。1.71ビットのTernary variant(5.9GB)と1.125ビットの1-bit variant(3.9GB)があり、後者はiPhone 17 Proのメモリ予算に収まります。このモデルは、従来の低ビットモデルと比較して、より高い精度と効率で高度な推論、ツール呼び出し、エージェントループを実現し、Apache 2.0ライセンスで提供されます。
全文翻訳
Bonsai 27Bを発表: スマートフォンで動作する初の27Bクラスモデル
本日、Bonsaiファミリーの新しいマルチモーダルフラッグシップであり、その能力クラスで初めてスマートフォンで動作するモデルであるQwen3.6 27BをベースにしたBonsai 27Bを発表します。
以前のリリースで、1ビットおよび3値(ternary)の重みを持つモデルが商用利用可能な言語モデルを生成できることを証明しました。Bonsai 27Bは、そのフロンティアを新しい能力層にまで拡張します。すなわち、マルチステップ推論、構造化されたツール呼び出し、ビジョンタスク、そして多くのステップにわたって一貫性を保つコンピューター利用エージェントループです。今日まで、その層をローカルにデプロイすることは、具体的な理由から非現実的でした。27Bモデルは16ビット精度で約54GBを占有し、優れた4ビットビルドでも18GBであり、スマートフォンやほとんどのラップトップには大きすぎます。
Bonsai 27Bはそれを変えます。2つのバリアントがあります。
3値Bonsai 27Bは、FP16グループごとのスケーリングを持つ3値{−1, 0, +1}の重みを使用し、1ウェイトあたり1.71ビットの実効ビット数を提供します。5.9 GBで、これは品質重視のバリアントです。フルな推論、ツール呼び出し、エージェント機能を備え、一般的なラップトップで動作します。
1ビットBonsai 27Bは、同じグループごとのスケーリングを持つバイナリ{−1, +1}の重みを使用し、1ウェイトあたり1.125ビットの実効ビット数を提供します。3.9 GBで、これはフットプリント重視のバリアントであり、iPhone 17 Proのメモリ予算内に収まり、初めて27Bクラスのモデルをスマートフォンにもたらします。
すべてのBonsaiリリースと同様に、低ビット表現は言語ネットワーク、埋め込み、アテンション、MLP、LMヘッド全体でエンドツーエンドで実行され、高精度なエスケープハッチはありません。両方のバリアントはマルチモーダルであり、ビジョンタワーはコンパクトな4ビット形式で提供されるため、オンデバイスワークフローはテキストだけでなく、スクリーンショット、ドキュメント、カメラ入力を処理できます。Bonsai 27Bはフルな262Kトークンのコンテキストを持ち、スペキュラティブデコーディングをサポートし、ロスレスなドラフト&ベリファイアクセラレーションで速度を増幅します。すべて本日よりApache 2.0ライセンスの下で利用可能です。
知能の維持
知識、推論、数学、コーディング、指示追従、ツール呼び出し、ビジョンを網羅する15ベンチマークスイート(モデルの完全な推論が行使されるシンキングモードで評価)において、3値Bonsai 27Bはフルプレシジョンベースラインの95%を、1ビットBonsai 27Bは90%を維持しています。
| カテゴリ(ベンチマーク) | Qwen 3.6 27B | 3値Bonsai 27B | 1ビットBonsai 27B |
|---|---|---|---|
| 数学 (GSM8K, MATH-500, AIME25, AIME26) | 95.3 | 93.4 | 91.7 |
| コーディング (HumanEval+, MBPP+, LiveCodeBench) | 88.7 | 86.0 | 81.9 |
| エージェント&ツール呼び出し (BFCL v3, TauBench) | 80.0 | 74.0 | 66.0 |
| 指示追従 (IFEval, IFBench) | 78.4 | 71.8 | 65.8 |
| 知識 / STEM (MMLU-Redux, MuSR) | 83.1 | 77.0 | 73.4 |
| ビジョン (MMMU Pro, OCRBench) | 72.6 | 65.2 | 59.6 |
| 全体(15ベンチマーク) | 85.0 | 80.5 | 76.1 |
図I: フルプレシジョンベースラインに対するBonsai 27B(シンキングモード)のベンチマークスコア。各ベンチマークの詳細結果はホワイトペーパーに記載されています。
能力別の表を見ると、平均値よりもさらに鮮明なストーリーが見えてきます。数学とコーディングはほとんど影響を受けておらず、ツール呼び出しもフルプレシジョンから数ポイントの差に留まっています。これらはまさにエージェントワークロードが依存する能力です。比較のために、同じベースモデルの最もアグレッシブな従来の低ビットビルドは、1ビットBonsai 27Bよりも大幅に低いスコアでありながら、メモリ使用量は2.5倍です。
これは、私たちが以前の言語モデルや画像モデルで実証したのと同じパレートシフトであり、今回は27Bスケールで実現されています。27Bクラスの能力を、フルプレシジョン2Bモデルよりも小さいフットプリントで提供します。知能密度(1ビットBonsai 8Bで導入した指標)で見ると、1ビットBonsai 27Bは1GBあたり0.53を提供します。これはフルプレシジョンベースラインの10倍以上、そして利用可能な最高の低ビット代替手段の約2.7倍です。
[画像: __wf_reserved_inherit]
図II: 同クラスの他のモデルと比較したBonsai 27Bの知能密度(GBあたり)。
これが重要なパラダイムシフトである理由
最も価値のあるAIワークロードは、単一の応答から持続的な作業へと移行しています。すなわち、実際のツールを操作するアシスタント、結果を返す前に無人で実行されるワークフロー、数十のドキュメントを合成する研究などです。この移行はワークロードの形状を変えます。エージェントはモデル呼び出しを1回行うのではなく、数百回行い、それぞれがコンテキストを運び、構造化された出力を生成し、次のステップにフィードします。
クラウドAPIは多くの製品にとって引き続き適切な選択肢となるでしょう。しかし、エージェントワークロードにとって、クラウドのみでの実行は構造的な制約を課します。各ステップはリモートリクエストであり、トークンあたりのコストは各イテレーションで蓄積され、各計画、ツール呼び出し、中間結果は、ユーザーのプライベートファイル、画面、データを含むネットワークを横断します。
デモI: NVIDIA GeForce RTX 5090上の3値Bonsai 27Bモデルを搭載したHermesによるエンドツーエンドのエージェントワークフロー。
ローカル実行は状況を一変させます。持続的なエージェント作業が可能なモデルがデバイスに収まるようになると、エージェントは製品内に存在できます。100ステップのループの限界費用はゼロになり、ユーザーのデータはマシンから離れることはありません。永続的なオンデバイスエージェント、オフラインで動作するアシスタント、構築によってプライベートなローカルデータを推論するアシスタントなど、まったく新しいカテゴリが開かれます。これまで欠けていたのは、このようにデプロイするのに十分小さく、作業を任せるのに十分信頼できる能力を持つモデルでした。Bonsai 27Bはそのモデルです。
また、新しいシステムアーキテクチャもアンロックされます。フロンティアにないタスクやプライバシーに関わるタスクはローカルの高性能モデルにルーティングし、最も難しいステップのためにフロンティアのクラウドモデルを予約することで、エージェントシステムのタスクあたりのコストを削減するハイブリッドデプロイメントです。
Bonsai 27Bは、NVIDIA GeForce RTX 5090で1ビットで最大163トークン/秒、3値で134トークン/秒に達します。M5 Maxでは、1ビットで最大87トークン/秒、3値で58トークン/秒に達します。
スマートフォンに収まることは、ストレージ数よりも厳しいゲートです。スマートフォンはアプリにその全メモリを公開することはありません。12GBのiPhoneは、オンデバイスでモデルが使用できる約6GBを提供し、モデルはその予算をKVキャッシュやアクティベーションと共有します。27Bモデルの従来のビルドでは、それをクリアできるものはありません。約4GBの1ビットBonsai 27Bは、作業スペースを確保して初めて通過できるものです。
その制約があるため、ファミリーは特にそれを念頭に置いて、2つの明確な動作ポイントを提供しています。ラップトップクラスの品質には3値、スマートフォンクラスのフットプリントには1ビットです。
デモIII: iPhone 17 Pro Max上の1ビットBonsai 27Bを搭載したマルチモーダルエージェントユースケース(デモモード:キャッシュ済み&事前入力済み画像コンテキスト)
フロンティアは動き続ける
Bonsaiのすべてのリリースは、ギガバイトあたりの知能のフロンティアを左に移動させてきました。Bonsai 27Bは、実用的な閾値を超えてそれを移動させます。思考、マルチモーダル理解、ビジョン、信頼性の高いツール使用といった最新モデルの完全な能力セットが、人々がすでに所有しているデバイスに収まるようになりました。
知能密度は、AIの次の段階の進歩を定義する軸の1つになると信じています。生の能力はモデルが何ができるかを決定し、密度はそれがどこでできるかを決定します。フロンティアの左へのあらゆるシフトは、高度なAIが動作できるデバイス、製品、環境のセットを拡大し、スマートフォンからシングルGPUサービングに至るまで、それが触れるすべてのデプロイメントサーフェスの経済性を変えます。Bonsaiの背後にある方法はアーキテクチャに依存せず、フロンティアは動き続けます。より大きなモデルと新しいアーキテクチャがすでに進行中です。
初期のコンピューターは部屋を満たしていましたが、今日それらは私たちのポケットの中にあります。知能も同じ旅をしており、Bonsai 27Bはその最大のステップです。
**
プラットフォームカバレッジ**
Bonsai 27Bは、MLXを介してAppleデバイス(Mac、iPhone、iPad)でネイティブに動作し、NVIDIA GPUではCUDAを介して動作します。これは、ハイブリッドアテンションアーキテクチャ用に構築されたカスタム低ビットカーネルを通じて実現されます。モデルの重みは本日よりApache 2.0ライセンスの下で利用可能です。このリリースに伴い、開発者がモデルを簡単に試せるように、期間限定の無料開発者プレビューAPIを提供しています。
圧縮、評価、ベンチマークプロセスの完全な技術詳細は、ホワイトペーパーで入手できます。
私たちに参加しませんか
PrismMLは、カルテックの研究者チームから生まれ、Khosla Ventures、Cerberus、Googleの支援を受けて設立され、Samsungからの継続的な支援を受けています。私たちは、推論能力を犠牲にすることなくニューラルネットワークを圧縮するという、この分野で最も困難な問題の1つに長年取り組んできました。
次世代の最先端AIを構築するお手伝いをしたい場合は、ぜひご連絡ください。私たちのキャリアページをご覧ください。