LFM3の紹介：特殊化されたインテリジェンスのためのあらゆるモダリティ

Introducing LFM3: Every Modality for Specialized Intelligence

本日、特殊化されたインテリジェンスのために構築された、当社の新世代Liquid Foundation Models（LFMs）であるLFM3を発表できることを嬉しく思います。LFM3モデルファミリーは、本質的にマルチモーダルであり、テキスト、ビジョン、オーディオ、オムニ、およびデシジョンモデルを1つの新しい共有バックボーンにもたらします。LFM3ファミリーの最初のリリースは、2Bパラメータ範囲のモデルをカバーしています。

新しいハイブリッドアーキテクチャと22兆トークンの事前学習に基づいたLFM3は、LFM2よりもはるかに表現力豊かでありながら、その効率性を維持しています。小型で高速なモデルにおける追加の容量により、LFM3は特殊化されたインテリジェンスのクラスにおける理想的な出発点となります。これは、ローカルでファインチューニングでき、あらゆるデバイスで実行でき、専門的なタスクの信頼できるエキスパートになる能力があるためです。

ベースモデルとポストトレーニング済みモデルはオープンウェイトであり、本日Hugging Face、当社のPlayground、およびLiquid AI APIで利用可能です。ローカルでの実行とファインチューニングの方法については、ドキュメントをご覧ください。

［画像: hugging face logo liquid AI］Download weights［画像: Liquid AI logo］Try in Liquid API［画像: Liquid AI logo］Try in Playground［画像: pipette open source model benchmark］Benchmark in Pipette

New architecture for more expressivity

LFM2は、短い畳み込みとアテンションのハイブリッドが、品質を犠牲にすることなくオンデバイスで高速に実行できることを示しました。その設計は、当社の自動ハードウェアインザループアーキテクチャ検索から生まれました。LFM3では、この検索を使用して、パラメータあたりの能力と長いコンテキストでの高速推論を必要とするエージェント的なユースケースのためにアーキテクチャを再設計しました。

また、ハードウェアインザループを、1台の電話と1台のラップトップのCPU（LFM2用）から、14のデバイスとバックエンドの組み合わせ（LFM3用）に拡張しました：電話（Samsung Galaxy S26 UltraとOnePlus 15）、Raspberry Pi 5、ラップトップ（Apple M4 MaxとAMD Ryzen AI）、およびArmとx86のクラウドCPU、さらにGPUとQualcomm Hexagon NPUです。

ゲート付き短畳み込みは依然としてレイヤーの半分以上を占めます。長いコンテキストを遅くすることなく能力を追加するために、一部を他のシーケンスブロックに置き換えてみましたが、スライディングウィンドウアテンション（SWA）が最良の品質と速度のトレードオフをもたらしました。他の変更は、意味のある速度コストなしで品質が向上した場合にのみ保持しました。その成果は長いコンテキストで現れます。パラメータあたりでは、LFM3-1.7Bはエッジデバイス全体で短いプロンプトにおいてLFM2-1.2Bと同等であり、8Kトークンのコンテキストでは約25%高速です。

トライハイブリッドレイヤーミックス。 LFM3は3つの演算子を組み合わせています：ゲート付き短畳み込み、スライディングウィンドウアテンション（SWA）、およびグローバルアテンション。24レイヤーのうち、13は畳み込み、5は256トークンウィンドウのSWA、6はグローバルアテンションです。畳み込みはLFM2の3から7にカーネルサイズを増やしています。

ヘッドごとのゲート付きアテンション。 シグモイドゲートが各ヘッドの出力をスケーリングするため、ヘッドは何も追加するものがない場合にオフにすることができます。これは、量子化を損なうアクティベーション外れ値の抑制に役立ち、トレーニングの安定性向上に貢献します。

部分RoPE。 グローバルアテンションレイヤーは、各ヘッドの高周波半分の部分のみを回転させ、低周波半分は回転させないため、これらの次元は距離に関係なくコンテンツに一致します。SWAレイヤーは完全なRoPEを維持します。

サンドイッチ正規化。 各ブロックは入力と出力の両方を正規化し、アクティベーションを適切にスケーリングするのに役立ちます。

LFM3は、非ラテン文字スクリプトをより効率的にトークン化するために構築されたLFM2.5-8B-A1Bと同じ128K語彙を使用しています。

トレーニング。 LFM3-1.7B-Baseは22兆トークンで事前学習されました。LFM2と比較して、ミックスはより多くの科学論文、リポジトリレベルのコード、より広範な知識ソース、およびかなりの量の数学を追加しました。最後の3.5兆トークンは、エージェント的なトレースと多様なツール呼び出しの割合を増やした、キュレーションされた高品質データでのトレーニング中期のステージであり、モデルをエージェント的なポストトレーニングの準備をします。このステージはコンテキストウィンドウを256Kトークンに拡張します。

A multimodal family for every need

最初のLFM3リリースには6つのモデルが含まれており、すべて同じLFM3-1.7B-Baseバックボーンから分岐しており、すべて約2Bパラメータです。そのうち4つは異なる入力モダリティ（テキスト、ビジョン、オーディオ、オムニ）をカバーし、最後の2つはビジョンモデルとオムニモデルから特殊化されたデシジョンモデルです。単一の大きな汎用モデルを実行する代わりに、ユースケースに合ったモデルを選択し、カスタマイズして、オンデバイスで実行できます。

これらのモデルのパフォーマンスと推論結果の詳細については、それぞれのモデルカードを参照してください。

AIがクラウドからクライアントへとますます移行するにつれて、開発者はAI PCの広範なスペクトルに効率的にデプロイできるモデルを必要としています。Liquid AIのLFM3ファミリーは、強力なマルチモーダル機能と、オンデバイスAIエクスペリエンスに適したコンパクトなフットプリントを組み合わせています。AMDは、複数の世代のモデルにわたってLiquid AIと緊密に協力しており、LFM3がAMD Ryzen™ AIプロセッサ搭載システムでローカルに実行される特殊化されたAIアプリケーションの可能性を広げるのを見ることに興奮しています。

Josh Hort
Senior Director and Head of ISV Enabling at AMD

業界全体で、エッジAIは専用の検出および知覚モデルの実行から、ビジョン言語モデル、自然言語インターフェース、マルチモーダル推論を含む複数の同時AIワークロードのサポートへと進化しています。課題は、これらの機能をエッジデバイスのコンピューティング、メモリ、および電力の制約内で提供することです。LFM3は、効率的なデプロイメントのために設計された統一アーキテクチャにテキスト、ビジョン、オーディオを統合し、開発者が特定のアプリケーション向けにファインチューニングできるオープンウェイトを備えています。開発者はすでにAmbarellaシリコン上でLiquid AIのLFM2.5-VLモデルをCooper Model Gardenを通じて実行できており、私たちは同じプラットフォームでLFM3を有効化し始めています。

Malhar Palkar
Senior Director for AI at Ambarella

次世代AIは、よりマルチモーダルで、パーソナライズされ、プライベートでありながら、デバイスとクラウド全体に分散されるでしょう。Liquid AIのLFM3ファミリーは、その方向へのエキサイティングな一歩であり、Snapdragon®プロセッサ搭載デバイスに高速で効率的で革新的なAIエクスペリエンスをもたらすために協力できることを嬉しく思います。

Vinesh Sukumar
Vice President, AI/ML Product Management, Qualcomm Technologies, Inc.

01 / 03

Text

LFM3-1.7Bは、256Kトークンのコンテキストウィンドウを持つ、ローカルエージェントおよび特殊化されたアプリケーション向けのテキストモデルです。

Hermes Agent、Pi、OpenClawなどのエージェントハーネスで実行するためにポストトレーニングされています。受信トレイのトリアージ、カレンダーの管理、Webでのトピックのリサーチ、WhatsAppでのモーニングブリーフィングの送信、数千のオプションの中から適切なツールを見つけるためのツール検索の使用が可能です。トークンは無料なので、数十のエージェントをバックグラウンドで継続的に実行できます。単一のGPUで短いファインチューニングを実行することで、ドメイン、ハーネス、ツールに適応させることができます。

ベンチマーク

LFM3-1.7B (1.7B)

LFM2.5-2.6B (2.6B)

MiniCPM5

2B (2.5B)

Gemma 4

E4B (8B)

Qwen3.5

4B (4.7B)

Qwen3.5

9B (9.7B)

エージェント

LiveClaw

45.60

14.70

30.37

20.36

19.94

35.77

Claw-Eval General (EN), average

68.64

62.63

60.74

56.14

61.96

66.53

Claw-Eval General (EN), pass^3

51.40

37.52

34.58

22.43

42.99

51.87

BrowseComp-Plus (OpenClaw subset)

37.00

26.33

16.83

21.00

24.67

38.00

WebArena-Verified

38.42

3.02

9.11

17.06

21.92

28.94

EnterpriseOps-Gym

28.20

7.94

13.41

9.86

25.96

28.97

AutomationBench (public)

41.29

0.94

4.71

1.92

8.67

15.10

ツール使用

BFCL V4

71.39

55.89

62.65

48.25

55.12

62.83

ToolSandbox

80.36

78.04

68.16

69.27

75.40

76.41

MCP-Atlas

32.57

16.45

26.38

6.19

41.37

42.67

τ³-bench

68.01

56.77

69.44

33.53

65.98

67.11

エージェントコーディング

SWE-bench Verified (OpenCode)

43.40

18.00

34.80

0.50

41.20

51.20

SWE-bench Multilingual (OpenCode)

23.00

8.00

15.67

0.67

23.33

35.00

Terminal-Bench 2.1 (OpenCode)

12.92

0.00

5.62

0.00

13.48

17.98

コーディング

LiveCodeBench v6

73.46

60.57

70.52

71.00

61.99

69.86

LiveCodeBench Pro 25Q2

31.74

19.16

29.34

29.94

24.25

34.43

SciCode

28.47

16.32

27.78

25.00

23.02

31.60

指示追従

IFEval

96.66

95.39

87.83

90.02

92.52

92.08

IFBench

73.03

60.48

62.08

44.56

38.16

48.84

IFStruct

93.72

82.18

72.65

78.45

87.05

89.20

Multi-IF

89.10

84.80

73.19

81.03

80.32

84.44

知識

GPQA Diamond

63.37

57.78

65.15

57.88

75.76

80.40

Humanity's Last Exam (no tools)

7.17

5.88

8.20

4.77

12.84

16.41

Humanity's Last Exam (with tools)

13.90

9.60

11.50

6.00

11.60

17.50

AA-Omniscience (public)

0.50

-33.17

-5.00

-15.33

-57.17

-28.00

AA-Omniscience accuracy (public)

7.07

8.75

9.13

9.83

15.67

13.17

AA-Omniscience non-hallucination (public)

92.93

53.69

84.44

72.09

13.64

52.59

長コンテキスト

AA-LCR

52.83

6.00

49.34

39.33

52.67

62.00

RULER 128K

65.56

1.15

37.96

18.82

84.63

87.11

平均

49.37

31.55

39.19

31.74

39.27

47.24

エージェントタスクにおいて、LFM3-1.7Bは数倍のサイズのモデルと競合します。指示追従と関数呼び出しではBFCLおよびToolSandboxでリードし、ブラウザやビジネスアプリ（WebArena-Verified、AutomationBench）での長タスクではQwen3.5-9Bを上回ります。エージェントコーディングや知識など、サイズが最も重要な分野ではより大きなモデルが依然として勝利しますが、検索は知識のギャップを埋めるのに役立ち、Humanity's Last Examでのスコアをほぼ倍増させました。

これらの結果を達成するために、モデルは4段階のポストトレーニングを経ました。

• 教師ありファインチューニング（SFT）： チャット、推論、ツール呼び出し、エージェントトレースを含む様々なタスクで1.75兆トークン。
• 混合強化学習： 数学、コード、SQL、構造化出力など、多くのドメインが同時にトレーニングされました。報酬における長さペナルティは、回答を簡潔に保ちます。
• マルチドメインオンポリシー蒸留（MOPD）： 6つの専門RL教師（コード、数学、ツール使用、長コンテキスト、エージェントワーク、エンタープライズワークフロー）が単一モデルに蒸留されます。
• エージェント強化学習： Webブラウジングからオフィスワークまでのタスクが実際の剤エージェントハーネス内で実行され、モデルを展開の準備をします。

オンデバイスでは、Q4_0および32Kトークンコンテキストのllama.cppでメトリクスを測定します。LFM3-1.7Bは、3つのデバイスすべてで最も高速なモデルであり、次のモデルよりも1.8〜2.8倍高速にデコードし、最も少ないメモリを使用します。長コンテキストは安価なままです：完全な128Kトークンコンテキストは、Qwen3.5-4Bの4.3GB、MiniCPM5-2Bの5.6GBに対して、1.6GBのKVキャッシュを必要とします。

単一のNVIDIA B300でSGLang（BF16）を使用すると、LFM3-1.7Bは1,024の同時リクエストで1日あたり36億トークンを生成でき、これはこの比較における他のどのモデルよりも多いです。

このスループットが可能にすることを示すために、300,000を超えるLFM3-1.7Bエージェントを並列実行して、Enronメールアーカイブを調査しました。

LFM3-1.7Bは、ランダムトラフィック下で低レイテンシでサーブでき、Liquid RIPLで実行される場合、オンライン不正検出のようなリアルタイムユースケースを可能にします。P95リクエストレイテンシは、vLLMでサーブされる競合モデルを上回り、高負荷下でも安定しています。

---