Inkling: Our Open-Weights Model
Inkling: Our Open-Weights Model (thinkingmachines.ai)
要約
Thinking Machinesは、自社でゼロからトレーニングしたオープンウェイトLLM「Inkling」を発表しました。このモデルは975Bの総パラメータと41Bのアクティブパラメータを持つMixture of Expertsモデルで、最大1Mトークンのコンテキストウィンドウを備えています。テキスト、画像、音声のネイティブなマルチモーダル処理能力と、Tinkerプラットフォームでの容易なファインチューニングが特徴です。
全文翻訳
Inkling: Our Open-Weights Model
私たちのミッションは、人間の意思と判断を拡張するAIを構築することです。私たちは、誰もがモデルをカスタマイズできるプラットフォームを開発し、インタラクティブなコラボレーションのために構築されたAIシステムをプレビューし、革新的な研究を発表してきました。本日、私たちは、モデルの全ウェイトを公開し、人々がそれを自分たちのものにできるようにすることで、私たちのミッションを前進させます。
Inklingと名付けられた私たちのモデルは、総パラメータ数975B、アクティブパラメータ数41BのMixture-of-Experts Transformerです。最大1Mトークンのコンテキストウィンドウをサポートします。45兆トークンのテキスト、画像、音声、動画で事前学習されました。これは、さまざまなサイズのモデルファミリーの最初のリリースであり、同時に、同様のレシピでトレーニングされた、より軽量なInkling-Smallモデル(アクティブパラメータ数12B)のプレビューも共有します。Inkling-Smallは、さらに低コストと低レイテンシで強力なパフォーマンスを発揮します。
Inklingは、テキスト、画像、音声に対してネイティブに推論を行い、効率的で制御可能な思考努力を通じてコストとパフォーマンスのバランスを取ります。私たちは、これを広範でバランスの取れた基盤モデルとしてトレーニングしました。つまり、多くのドメインで強力であり、適応するのに十分な柔軟性があります。Inklingは、現在利用可能な最も強力なモデル(オープンまたはクローズド)ではありません。むしろ、そのマルチモーダル機能、効率的な思考、およびファインチューニングのためのTinkerでの利用可能性といった、いくつかの品質の組み合わせが、カスタマイズのための優れたオープンウェイトベースとなっています。Inklingは単なる始まりであり、私たちが継続的に構築していくモデルファミリーの最初のリリースです。
より多くのユースケースでカスタマイズを可能にしたいと考えているため、Inklingは本日Tinkerでファインチューニングが可能です。ファインチューニングする適切なベースモデルを選択することは、測定可能なベンチマークと、実際に触ってみて得られるモデルのユニークな感覚を組み合わせた定性的な判断です。後者を可能にするために、TinkerコンソールにInkling Playgroundを追加します。これは、Inklingとチャットするための開発者向けインターフェースです。
カスタマイズが実際には何を意味するかを示すために、Inklingに自己ファインチューニングを依頼しました。Tinkerを使用して、モデルは独自のファインチューニングジョブを作成し、実行し、結果を評価しました。
[画像: OpenCode]
Build · inkling · tinker-prod
~/news/introducing-inkling/1.33.7
OpenCodeで開始: InklingはOpenCodeハーネス内で実行されます。
Capabilities
実世界のアプリケーションには、ファインチューニングによって組み合わせおよび改善できる幅広い能力を持つモデルが必要です。Inklingができることと、信頼性や安全性といった重要な品質でどのように評価されるかを示します。
Generalist model
Inklingは広範であることを目的として設計されています。私たちは、単一のドメインに狭く最適化するのではなく、エージェンティック、推論、コーディング、指示追従、事実性、ビジョン、オーディオタスク全体でトレーニングしました。この広範さは、カスタマイズと実世界の利用において重要です。さまざまなユーザーは、ベンチマークで優れているだけでなく、さまざまなワークフローに適応できるモデルを必要としています。
Inkling、Nemotron 3 Ultra、GLM 5.2、GPT 5.6 Sol、Claude Fable 5を10の評価(0から100でスコア付け)で比較したスパイダーチャート。Inklingはより太いコバルト線で示されています。モデルスコアが報告されていない評価は0としてプロットされます。評価にカーソルを合わせると、すべてのモデルのスコアを比較できます。
Inklingは、広範でバランスの取れた汎用モデルです。ベンチマークスコアは共有の0〜100スケールで表示され、高いほど良いです。結果は、テキスト、エージェンティック、マルチモーダル、オーディオ評価全体で競争力のあるパフォーマンスを示しており、単一のベンチマークファミリーに狭く最適化されたモデルではありません。この広範さは、Inklingの意図された役割を反映しています。それは、ドメイン、ワークフロー、製品全体でのカスタマイズのための実用的なマルチモーダル基盤モデルです。
Agentic coding and tool use
ファインチューニングの強力な基盤は、エージェンティックなツール使用により、さまざまなタスクを柔軟に解決できる必要があります。Inklingは、ほとんどのエージェンティックベンチマークで、オープンウェイトモデルの中で良好なスコアを獲得しています。
私たちはInklingをさまざまなコーディングおよびエージェントハーネス内で実行できるようにトレーニングし、特定のツールセットへの依存を減らすために、トレーニング中にツールセットとスキーマをランダム化しました。次のセクションで説明するInklingの制御可能な思考努力は、ハーネス内から設定できます。
以下は、Inklingのエージェンティックなコーディングとツール使用、およびそれが作成する成果物を示すデモのいくつかです。
One-shot web app with embedded browser use
Inklingは、単一のショットで機能的なWebアプリを構築し、その後、自然言語指示を通じてWebアプリインターフェースを操作できる組み込みAIアシスタントをパワーアップさせました。
Inklingは2番目のタブのプロンプトからジョブ応募Webアプリをワンショットで作成し、その後、ブラウザ使用エージェントが保存されたプロファイルからフォームに入力します。
Design Arena
InklingはDesign ArenaのエージェンティックWeb開発リーダーボードで評価されました。そこでは、ブラインドされた人間の評価者が生成されたWebアプリを直接比較します。オープンウェイトモデルの中で上位にランクされています。
Claude Sonnet 5
1333
Claude Fable 5
1329
Claude Opus 4.8
1285
GLM 5.2
1275
Grok 4.5
1271
GPT-5.6 Sol
1260
Inkling
1257
Claude Opus 4.6
1257
Gemini 3.5 Flash
1254
Kimi K2.6
1249
Claude Sonnet 4.6
1237
Kimi K2.7 Code
1234
GLM 5.1
1233
Claude Opus 4.5
1212
Grok 4.20 Reasoning
1203
Gemini 3.1 Pro Preview
1187
Grok 4.3
1185
Kimi K2.5 (Thinking)
1185
Design ArenaのエージェンティックWeb開発リーダーボードにおけるInklingの位置。ブラインドされた人間の評価による生成アプリの評価。ドットはオープンウェイトモデルを示します。
Cohesively styled artifacts
Inklingは、正確な指示追従、正確な情報、および全体にわたる一貫したスタイルとデザインを備えた、複数ページの成果物を作成します。
2番目のタブのプロンプトから、Inklingは洗練された9ページのPDFフード&トラベルジャーナルを生成します。上記の実際のドキュメントを参照してください。
Multiplayer game created through long refinement loop
Inklingは、レビュー担当者としてGPT Codexからのフィードバックを40回繰り返すことで、オンラインスネークゲームを洗練させました。長期的な改善プロセスを維持し、フィードバックから改善する能力は、最高の共同作業を作成するために不可欠です。
2番目のタブのプロンプトからInklingによって生成されたマルチプレイヤー型スネークゲーム。リアルタイムサーバー、ボット、リーダーボードなどすべてが含まれています。
Controllable thinking effort
テスト時のスケーリングと問題解決は、すべてのモデルのコア機能ですが、その能力を単一の数値で捉えるのは困難です。特定のタスクのためにモデルをファインチューニングする開発者は、公開ベンチマークでの最大努力パフォーマンスと同様に、効率性を重視します。コストとレイテンシは、実世界のアプリケーションではしばしば制約となり、特に低レイテンシは、イテレーションを通じたコラボレーションと改善を可能にするために不可欠です。
Inkling(努力スイープ) GLM-5.2 Kimi K2.6 Nemotron 3 Ultra Kimi K2.5 GPT-OSS (high)
努力設定を0.2から0.99までスイープすると、Terminal Bench 2.1、HLE、IFBenchでの平均生成トークンに対するパフォーマンスがトレースされます。競合モデルはデフォルトの動作点で示されています。Inklingは、たとえばTerminal Bench 2.1でNemotron 3 Ultraと同等のスコアを約3分の1のトークンで達成します。*Humanity’s Last Examのスコアは、以前のチェックポイントの結果であり、最終リリースよりわずかに低くなっています。
Inklingは、制御可能な思考努力をサポートしており、パフォーマンスとトークン効率のバランスを取ることができます。上記のチャートは、Inklingおよびその他のオープンウェイトモデルの努力/パフォーマンスカーブを、エージェンティックコーディングのためのTerminal Bench 2.1、高度な推論のためのHLE、指示追従のためのIFBenchの範囲で示しています。Inklingは、Terminal BenchでNemotron 3 Ultraと同等のパフォーマンスを達成するために、3分の1のトークンしか消費しません。コストとレイテンシは、数百万回実行するモデルや、より長いワークフローの一部として実行するモデルにとって重要であり、完全なコストカーブを見ることで、開発者は各ユースケースに最適なモデルを選択できます。
Multimodality
Inklingの設計の主要な目標の1つは、最近導入したインタラクションモデルシステムのバックグラウンド推論モデルとして機能することです。インタラクションモデルは、ユーザーがリアルタイムで音声とビジョンを使用して自然にコラボレーションすることを可能にします。これには、広範なマルチモーダル機能のためにネイティブにトレーニングされたモデルが必要です。
オープンウェイト
クローズドウェイト
Inkling effort=0.99
Qwen3-Omni
Nemotron-3Nano-Omni
Kimi K2.5
Kimi K2.6
Qwen3.5Omni-Plus
Gemini 3.1 Pro(high)
Audio
Audio MC
56.6%
24.3%
23.2%
–
–
37.6%
66.8%
MMAU
77.2%
77.5%
76.7%
–
–
81.1%
82.5%
VoiceBench
91.4%
88.8%
89.4%
–
–
92.4%
94.3%
Vision
MMMU Pro (Standard 10)
73.5%
60.0%
53.0%
75.0%
79.0%
71.0%
82.0%
Charxiv RQ
78.1%
61.1%
63.6%
77.5%
80.4%
72.5%
80.2%
Charxiv RQ with python
82.0%
–
–
78.7%
86.7%
–
89.9%
一般ドメインのデータでゼロからトレーニングされた、スペシャリストオムニモデル(オープンウェイトおよびクローズドウェイト)とのオーディオおよびビジョンのベンチマーク。effort=0.99で報告。
マルチモーダルコンポーネントは、一般ドメインのデータでゼロからトレーニングされました。インタラクションモデルの設計に沿って、オーディオおよびビジョン入力にはエンコーダーフリーアーキテクチャを採用しました。オーディオ信号はdMelスペクトログラムdMel: Speech Tokenization made Simple(Richard He Bai et al, 2024)として入力され、画像は4層のhMLPThree things everyone should know about Vision Transformers(Hugo Touvron et al, 2022)を使用して40x40ピクセルのパッチとしてエンコードされます。どちらも軽量な埋め込み層を介して変換され、テキストトークンと共同で処理されます。
Inklingは音声を文字起こしし、音声指示に従い、録音に関する質問に答え、長文オーディオを推論します。これらの機能により、VoiceBench、MMAU、AudioMCで最も強力なオープンウェイトオーディオモデルの1つとなっています。ビジョンに関しては、Inklingは画像を入力として受け取り、視覚コンテンツを説明し、質問に答え、提供された視覚情報に基づいて詳細な推論を実行できます。チャート、図、数学的視覚推論タスクで強力なパフォーマンスを示します。推論中、InklingはPythonツールを利用して、ズームやクロップなどの操作を通じて画像理解をサポートし、視覚推論とコードベースの推論をシームレスに統合できます。
私たちの最初のリリースとして、Inklingは将来の作業のための堅牢なマルチモーダル基盤を確立します。モデルとトレーニングパイプラインを反復ごとに拡張するにつれて、そのマルチモーダル機能はさらに向上すると予想されます。
Epistemics
私たちは、モデルの認識論と総称される、キャリブレーション、指示追従、検閲への抵抗のためにInklingをトレーニングしました。
事実を正しく把握するには、大量の知識コーパスを記憶する以上のことが必要です。有用なモデルは、適切な自信度で回答を表現するなど、適切にキャリブレーションされている必要があります。後者は、予測と予報にとって重要な機能であり、ファインチューニングされたモデルが最近数ヶ月で急速に進歩し、フロンティアLLMを上回るパフォーマンスを示した重要なユースケースです。
| Inkling | GPT-5.5 | Claude Opus 4.8 | Gemini 3.1 Pro | Grok 4.3 | Kimi K2.6 |
|---|---|---|---|---|---|
| ForecastBenchBrier Index ↑ · no search | 61.1 ± 0.79 | 59.1 ± 0.41 | 54.6 ± 0.99 | 61.1 ± 0.56 | 61.7 ± 0.54 |
| ForecastBenchBrier Index ↑ · with search | 63.7 ± 0.82 | 64.7 ± 1.28 | 58.6 ± 0.66 | 64.3 ± 1.05 | 63.2 ± 0.82 |
| Prophet ArenaBrier Score ↓ | 0.1617 | 0.1598 | 0.1605 | 0.1594 | 0.1715 |
結果は、2026年6月30日から7月13日の間にテスト中に得られたもので、リリースされたチェックポイントとは異なるInklingのチェックポイントを使用しています。
予測には、複数の情報源をキャリブレーションされた確率に統合する必要があります。これは、ユーザーが信頼できるモデルのコアスキルです。自信がない質問やこじつけであっても、すべての回答に自信を持っているモデルは、ユーザーにあらゆるものを再確認させることになります。適切なレベルの自信を提供するモデルは、情報がしばしば矛盾していたり、信頼性が低かったり、見つけにくかったりする、より多くの実世界のドメインで役立ちます。私たちは、解決済みの実世界の質問の大規模なコーパスに対して、適切なスコアリングルールに対するRLを使用してキャリブレーションのためにトレーニングしました。
信頼できるモデルの2番目のコンポーネントは、検証が難しい複雑なクエリを含む、指示への追従です。私たちは、ルーブリック評価者と主張評価者の2つの自動評価者を使用してRLを行いました。最初の評価者は、良い回答に含めるべきことのチェックリストに対して各応答をスコアリングします。ルーブリックは原則としてエラーを罰することができますが、実際には記憶を重視し、モデルがルーブリック項目に一致させるために、もっともらしい関連事実をばらまくことでハッキングされる可能性があります。主張評価者は、応答内の各事実的主張を検証し、チェックされない主張を罰します。それは、自身の知識だけに依存するのではなく、主張の検証のためにエージェンティックなWeb検索を実行します。これら2つの評価者は、一方を犠牲にするのではなく、同時に有用性を向上させ、幻覚を減らします。
これらの報酬は、長文応答におけるキャリブレーションされた不確実性を直接ターゲットにしていなかったため、それを行うためのターゲット付きデータセットを追加しました。最大規模のものは、棄権を意識した報酬を持つ短文の事実QAです。モデルが正しい可能性が高い場合にのみ回答に報酬が支払われるため、最適なポリシーは、自信がある場合は回答し、そうでない場合は「わかりません」と言うか、最善の推測を提示することです。一部のプロンプトは、あいまいな表現を奨励または禁止し、モデルに強制的な推測とキャリブレーションされた非回答のどちらを好むかというユーザーの好みに従うように教えます。
最後に、Inklingは検閲の対象となる可能性のあるトピックについて直接回答するようにトレーニングしました。Cognitionは、プロパガンダと検閲評価でモデルを評価し、検閲非準拠の強力なパターンを示しました。
Safety
私たちは、すべてのモダリティにわたる安全なモデルの動作に関する内部仕様に従ってInklingをトレーニングしました。その後、外部の安全テスターに結果の検証を依頼しました。
私たちは、いくつかの領域でInklingの安全性を評価しました。危険な能力(CBRN、サイバー、制御喪失)については、内部評価を実施し、外部テスターを募集しました。私たちは、内部評価と外部テスターを使用して、シコファンシー、脆弱なユーザー、有害な操作を含む、人間とAIの脅威ベクトルに注意を払いました。
| Inkling effort=0.99 | Nemotron 3 Ultra | Kimi K2.5 | Kimi K2.6 | GLM 5.2 | DeepSeek V4 Pro |
|---|---|---|---|---|---|
| FORTRESS (Adversarial) | 78.0% | 77.6% | 54.1% | 65.6% | 71.3% |
| FORTRESS (Benign) | 95.9% | 90.5% | 98.3% | 97.2% | 90.0% |
| StrongREJECT | 98.6% | 98.7% | 99.5% | 99.8% | 98.5% |
Inklingは、武器と暴力に関連する要求を拒否し、同時に無害な類似クエリを拒否するテストであるFORTRESSにおいて、比較したオープンウェイトモデルの中で最も強力な組み込みセーフガードを示しています。Inklingは、無害な類似クエリを過度に拒否することなく、より多くの有害な要求を拒否しました。Inklingは、他のオープンおよびクローズドウェイトモデルと同様に、明白な有害要求の拒否テストであるStrongREJECTで98%以上のスコアを獲得しています。
安全性はオープンウェイトモデルにとって不可欠です。私たちは、カスタマイズ可能なモデルにおける安全なモデルの動作と能力の向上、特にファインチューニングがTinkerでどのように安全な動作に影響するかを研究し続けています。
Benchmarking Inkling
Inklingを幅広い能力でベンチマークします。すべての評価は、effort 0.99、temperature 1.0で実行されます。すべてのコーディング評価は、256Kの最大トークン軌跡制限で実行されます。
一貫性を向上させるために、可能な場合は内部モデルと外部モデルの両方について、外部で報告された評価に依存します。具体的には、Humanity’s Last Exam、GPQA Diamond、GDPVal、Tau 3 Banking、AA Omniscience、MMMU Proの評価については、Artificial Analysisによって報告されたスコアを使用します。
オープンウェイト
クローズドウェイト
Inkling effort=0.99
Nemotron 3 Ultra
Kimi K2.5
Kimi K2.6
GLM 5.2
DeepSeek V4 Pro
Gemini 3.1 Pro(high)
Claude Fable 5(max)
GPT 5.6 Sol(max/xhigh)
Reasoning
HLE text only
29.7%
26.6%
29.4%
35.9%
40.1%
35.9%
44.7%
53.3%
47.2%
HLE with tools
46.0%
37.4%
50.2%
54.0%
54.7%
48.2%
51.4%
64.5%
55.0%
AIME 2026
97.1%
94.2%
95.8%
96.4%
99.2%
96.7%
98.3%
99.9%
99.9%
GPQA Diamond
87.2%
86.7%
87.9%
91.1%
89.5%
88.8%
94.1%
92.6%
94.1%
Agentic (coding)
SWEBench Verified*
77.6%
70.7%
76.8%
80.2%
80.0%
80.6%
80.6%
95.0%
82.2%
SWEBench ProPublic
54.3%
46.4%
50.7%
58.6%
62.1%
55.4%
54.2%
80.0%
64.6%
Terminal Bench 2.1*Best Harness
63.8%
56.4%
51.3%
71.3%
82.7%
64.0%
73.8%
84.6%
89.5%
Agentic (general)
GDPVal-AA v2
1238
1164
1009
1190
1514
1307
962
1760
1748
MCP Atlas
76.0%
44.7%
64.0%
68.1%
77.8%
73.2%
78.2%
83.3%
81.8%
Tau 3 Banking
23.7%
13.8%
14.2%
20.6%
26.8%
25.8%
16.5%
26.8%
33.0%
Toolathlon Verified
45.5%
34.3%
33.0%
58.0%
59.9%
55.9%
61.1%
76.4%
73.1%
BrowseComp w/ ctx management
77.1%
–
74.9%
83.2%
–
83.4%
85.9%
88.0%
90.8%
Factuality
SimpleQA Verified
43.9%
32.4%
36.9%
38.7%
38.1%
57.0%
77.3%
68.3%
71.6%
AA Omniscience
2.1
-1.0
-8.0
6.0
4.0
-10.0
33.0
40.0
22.0
Chat
IFBench
79.8%
81.4%
70.2%
76.0%
73.3%
76.5%
77.1%
63.5%
72.7%
Global-MMLU-Lite
88.7%
85.6%
84.0%
88.4%
89.2%
89.3%
92.7%
93.3%
91.8%
Vision
MMMU Pro Standard 10
73.5%
–
75.0%
79.0%
–
–
82.0%
84.2%
83.0%
Charxiv RQ
78.1%
–
77.5%
80.4%
–
–
80.2%
86.5%
84.7%
Charxiv RQ† with python
82.0%
–
78.7%
86.7%
–
–
89.9%
89.4%
87.8%
Audio
Audio MC†
56.6%
–
–
–
–
–
66.8%
–
–
MMAU
77.2%
–
–
–
–
–
82.5%
–
–
VoiceBench†
91.4%
–
–
–
–
–
94.3%
–
–
Safety
FORTRESS Adversarial
78.0%
77.6%
54.1%
65.6%
71.3%
36.0%
65.2%
96.0%
82.4%
FORTRESS Benign
95.9%
90.5%
98.3%
97.2%
90.0%
98.5%
98.0%
55.1%
98.1%
StrongREJECT
98.6%
98.7%
99.5%
99.8%
98.5%
98.6%
98.0%
98.7%
98.5%
*SWEBench Verified: Inklingの数値はbash-onlyハーネスを使用して報告されています。外部モデルについては自己報告された数値を使用します。
*Terminal Bench 2.1: Inklingの数値は内部コーディングハーネスを使用して報告されています。Web検索からの汚染が見つかった少数のソリューションはスコア0とされました。利用可能な場合は外部モデルについて自己報告された数値を使用します。それ以外の場合は、内部ハーネスを使用してパフォーマンスを報告します。
†Audio MC: 他のモデルは公式リーダーボードにないため、内部で評価されました。
†VoiceBench: VoiceBenchはルールベースのハードコーディングされた文字列マッチングを使用して採点するため、評価は出力フォーマットの違いに敏感です。そのため、期待される回答フォーマットに従うようにモデルに指示するシステムメッセージを追加しました。
†CharXiv RQ with tools: Claude Fable 5とGPT 5.6 Sol (max/xhigh) を内部Pythonハーネスを使用してベンチマークしました。
The making of Inkling
Architecture
InklingはMixture-of-Experts Transformerであり、一般的なレシピからいくつかの出発点があり、それぞれが効率性と長コンテキストパフォーマンスのために選択されています。
MoE設計はDeepSeek-V3にほぼ従っています。各MoEレイヤーには256のルーティングされたエキスパートと2つの共有エキスパートが含まれており、トークンごとに6つのルーティングされたエキスパートがアクティブになります。Inklingは、補助損失フリーの負荷分散バイアスを持つシグモイドベースのルーターを使用します。選択されたルーティングされたエキスパートと共有エキスパートのスコアは共同で正規化され、それらの結合された出力を重み付けするために使用されます。
アテンションについては、スライディングウィンドウレイヤーとグローバルレイヤーを5:1の比率で8 KVヘッドとインターリーブします。位置エンコーディングにロータリー位置エンコーディング(RoPE)よりも、相対位置埋め込みSelf-Attention with Relative Position Representations(Peter Shaw et al, 2018)Music Transformer(Cheng-Zhi Anna Huang et al, 2018)を使用すると、より長いシーケンスへのパフォーマンスと外挿性が向上することがわかりました。また、各アテンションレイヤーのキーとバリューの射出後、およびアテンションとMLPの残差ブランチ出力がメインの残差ストリームに再結合する前に、2つのポイントで短い畳み込みを適用します。
Training
Inklingは、テキスト、画像、音声、動画を含むさまざまなコンテンツタイプから45兆トークンで事前学習されました。私たちは、ハイブリッド最適化戦略(大きな行列ウェイトにはMuon、その他のパラメータにはAdam)と、以前のモジュラー多様体に関する研究に触発されたハイパーパラメータスケジュールを使用してInklingをトレーニングしました。ウェイト減衰強度を学習率の二乗に結合したところ、トレーニングホライゾン全体でモデルウェイトの全体的なサイズが安定することがわかりました。Kosson et al. (2023) および Defazio (2025) も参照してください。
Inklingを、数学、エージェンティックコードとツール使用、オーディオ、画像、チャット、および安全ドメインの広範な分布でポストトレーニングしました。ポストトレーニングをブートストラップするために、Kimi K2.5を含むオープンウェイトモデルによって生成された合成データで初期SFTを実行しました。ブートストラップは計算量のわずかな割合を占め、残りの大部分は合成および人間作成の環境での大規模RLに費やされました。
Inklingは私たちの最初の主要なトレーニング努力であり、NVIDIA GB300 NVL72システムでトレーニングされました。将来のモデルは、事前トレーニング、ポストトレーニング、およびRL全体で計算規模をさらに拡大します。
RL at scale
モデルの動作を形成し、推論と全体的なパフォーマンスを向上させるために、大規模な非同期RLに依存しました。下のチャートは、AIME、HLE、GPQAなどの推論評価のホールドアウト集計におけるモデルのスコアを示しています。RLを3000万以上のロールアウトにスケールアップし、2回の長期間の連続実行で安定したトレーニングを維持しました。推論パフォーマンスは、プロセス全体を通じて対数線形に改善し、全体として大幅な増加をもたらしました。
AIME、HLE、GPQAなどの推論評価のホールドアウト集計における報酬は、SFT初期化からリリースされたチェックポイントまで、3000万以上のRLロールアウトで対数線形に改善します。
システムメッセージを変更し、トークンあたりのコストを調整することで、さまざまなサンプルでモデルの努力レベルを指定しました。これにより、モデルはロールアウトごとに異なる量のトークンを使用し、思考努力を制御する能力を学習しました。
RLトレーニングの過程で、推論スタイルの出現的なシフトも観察されました。思考連鎖は時間とともに簡潔になり、文法的なオーバーヘッドを削減しながら、理解可能であり続け、最終的な応答に影響を与えませんでした。これは報酬によってターゲットされたものではなく、効率性のみが圧縮を推進しました。同様の効果は、最近、CognitionチームがSWE-1.7のトレーニングプロセスで指摘したことでもあります。以下は、RLでInklingの同じ数学問題に対する思考連鎖がどのように進化したかの例です。
RL初期の冗長で文法的な思考連鎖
We need to understand the operator. The 5D line element is ds² = e^{2A(x)} (ds²_4d + dx²), where A(x) = sin(x) + 4 cos(x), x in [0, 2π]. The internal coordinate is periodic. The background is a warped product: metric g_{MN} where M,N = 0..4. The internal direction has metric e^{2A(x)} dx²? Wait, the ds² is e^{2A} (ds²_4d + dx²). So the internal metric is e^{2A(x)} dx². Actually if the total metric is ds² = e^{2A(x)} (ds²_4d + dx²), then yes, internal metric is e^{2A} dx². …
RL後期の圧縮された、電報のような思考連鎖
We need determine eigenvalue problem for spin-2 fluctuations h_{μν}(x,y) with TT in 4d and depend on x. For metric of form ds² = e^{2A(x)} (g_{μν}(y) + h_{μν}(y,x)) dy^μ dy^ν + e^{2A(x)}? Wait internal metric is e^{2A} dx²? Actually ds² = e^{2A} [ds_4² + dx²]. So internal metric is e^{2A} dx²; warp factor same for 4d and internal? Yes. We need equation for h_{μν}(y,x) = h_{μν}(y) ψ(x) maybe with normalization. …
同じ思考連鎖。RL初期と後期。後期RLのトレースは、冠詞や接続詞を省略します。「We need to understand」は「We need determine」になりますが、理解可能であり続け、同じ答えに到達します。
Inkling-Small
Inklingと同時に、Inkling-Smallのプレビューを共有します。更新: この投稿が公開されてから2週間後、私たちはInkling-Smallをリリースしました。これは、276BパラメータのMixture-of-Expertsモデル(Inklingの41Bに対し、アクティブ12B)で、パフォーマンス/レイテンシのトレードオフが異なります。Inkling-Smallは、より小さいモデルのために事前トレーニングデータとレシピに加えた改善の結果として、多くのベンチマークでその大きな兄弟に匹敵するか、それを上回ります。両モデルは、その上に適用される同じスケーラブルなポストトレーニングスタックを共有します。
| Inkling effort=0.99 | Inkling-Small (Preview) effort=0.99 |
|---|---|
| Reasoning | |
| HLE text only | 29.7% |
| HLE with tools | 46.0% |
| AIME 2026 | 97.1% |
| GPQA Diamond | 87.2% |
| Agentic (coding) | |
| SWEBench Verified | 77.6% |
| SWEBench ProPublic | 54.3% |
| Terminal Bench 2.1 Best Harness | 63.8%* |
| Agentic (general) | |
| Tau 3 Banking | 23.7% |
| MCP-Atlas | 76.0% |
| Factuality | |
| SimpleQA Verified | 43.9% |
| Chat | |
| IFBench | 79.8% |
| Global-MMLU-Lite | 88.7% |
| Vision | |
| MMMU Pro Standard 10 | 73.5% |
| Charxiv RQ | 78.1% |
| Charxiv RQ with python | 82.0% |
| Audio | |
| Audio MC | 56.6% |
| MMAU | 77.2% |
| VoiceBench | 91.4% |
| Safety | |
| FORTRESS Adversarial | 78.0% |
| FORTRESS Benign | 95.9% |
| StrongREJECT | 98.6% |
両モデルともeffort=0.99で報告されています。各行のより高い結果がハイライトされています。*Web検索からのソリューション汚染があったTerminal Bench 2.1のロールアウトにはスコア0を割り当てます。
初期の結果では、Inkling-Smallは推論およびエージェンティックタスクにおいてInklingに近いパフォーマンスを示しています。12Bのアクティブパラメータと制御可能な思考努力により、コーディング、LLMを使用した評価、他のモデルの合成データ生成など、コストとレイテンシが重要なワークロードに適しています。
現在、Inkling-Smallのテストを完了しており、作業が完了次第、その全ウェイトをリリースする予定です。
Customizing Inkling
多くの実世界の課題は、最高の汎用モデルでもうまく解決できず、そのギャップは、組織の専門知識を活用するファインチューニングによって埋められています。Tinker顧客の経験も同様の方向性を示しています。私たちのポストトレーニングと大規模RLの結果は、Inklingがファインチューニングから迅速に学習できる能力があることを示唆しています。
Inkling availability
Inklingは本日Tinkerで、64Kおよび256Kトークンのコンテキスト長オプションで利用可能です。期間限定でInklingを50%割引で提供しており、完全な価格情報はドキュメントで確認できます。
Inklingを使用したTinkerでのファインチューニングをサポートするために、クックブックをInklingネイティブサポートするように更新し、Inklingのユニークなオーディオ機能を実証する3つの新しいクックブックレシピを追加しました。また、ツール呼び出し、推論コンテンツ、マルチモーダル入力を使用した信頼性の高いサンプリングとポストトレーニングのためのtml-rendererをリリースしました。
実行をコミットする前にモデルの感触を得るために、ユーザーはTinkerコンソールにあるInkling Playgroundにアクセスできます。このプレイグラウンドは、期間限定で無料の統合エージェンティックWeb検索を備えたチャットインターフェースを提供します。
私たちはエコシステム全体でパートナーシップを結び、顧客がTinkerでファインチューニングされたチェックポイントを展開するのを支援しています。Inklingは、Together AI、Fireworks、Modal、Databricks、およびBasetenのAPI経由で利用可能です。RadixArkと協力して、SGLangおよびMilesでオープンソース推論およびRLサポートを提供しました。Inferactと協力してvLLMでの推論をサポートし、LightseekとTokenSpeedで、Unslothとllama.cppで推論をサポートしました。最後に、Hugging Faceと協力してtransformersとの統合を行いました。
Inklingの全ウェイトはHugging Faceで公開されており、元のチェックポイントと、NVIDIA Blackwellシステムでの効率的な推論のためのNVFP4チェックポイントの両方があります。