Inkling: Our Open-Weights Model

Tinkerで試す モデルカード Hugging Face 私たちのミッションは、人間の意思と判断を拡張するAIを構築することです。私たちは、誰でもモデルをカスタマイズできるプラットフォームを開発し、インタラクティブなコラボレーションのために構築されたAIシステムをプレビューし、革新的な研究を発表してきました。本日、私たちは、人々が独自のモデルを作成できるように、トレーニングしたモデルの全ウェイトを公開することで、このミッションを進化させます。Inklingと名付けられた私たちのモデルは、975Bの総パラメータと41Bのアクティブパラメータを持つMixture-of-Expertsトランスフォーマーです。最大1Mトークンのコンテキストウィンドウをサポートします。45兆トークンのテキスト、画像、音声、ビデオで事前トレーニングされました。これは、さまざまなサイズのモデルファミリーの最初のリリースです。同時に、同様のレシピでトレーニングされた、より軽量な12Bアクティブパラメータを持つInkling-Smallのプレビューも共有します。これは、さらに低コストと低レイテンシーで強力なパフォーマンスを達成します。Inklingは、テキスト、画像、音声に対してネイティブに推論を行い、効率的で制御可能な思考努力によってコストとパフォーマンスのバランスをとります。私たちは、これを広範でバランスの取れた基盤モデルとしてトレーニングしました。さまざまなドメインに強く、適応するのに十分な柔軟性があります。Inklingは、現在利用可能なオープンまたはクローズドのモデルの中で最も強力なモデルではありません。むしろ、その品質の組み合わせが、マルチモーダル機能、効率的な思考、およびファインチューニングのためのTinkerでの利用可能性といった、カスタマイズのための優れたオープンウェイトベースとなっています。Inklingはほんの始まりに過ぎません。私たちが継続的に構築していくモデルファミリーの最初のリリースです。より多くのユースケースでカスタマイズを可能にしたいと考えているため、Inklingは本日Tinkerでファインチューニングが可能です。ファインチューニングする適切なベースモデルを選択することは、測定可能なベンチマークと、それを実際に触って得られるモデルのユニークな感触を組み合わせた定性的な判断です。後者を可能にするために、TinkerコンソールにInkling Playgroundを追加します。これは、Inklingとチャットするための開発者向けインターフェースです。カスタマイズが実際には何を意味するかを示すために、Inklingに自己ファインチューニングを依頼しました。Tinkerを使用して、モデルは独自のファインチューニングジョブを書き、実行し、結果を評価しました。 inkling@tinker: self-finetuning Build · inkling · tinker-prod ~/news/introducing-inkling/ 1.33.7 who are you? I’m Inkling, an AI assistant running thinkingmachines/Inkling. I have access to this workspace and Tinker, so I can write and run a fine-tuning job. How can I help with the model? Build · inkling Build · inkling · tinker-prod ~/news/introducing-inkling/ 1.33.7 Build · inkling fine tune yourself with Tinker to be a lipogram model where you never use the letter e in your responses. then switch to the updated you. I need to handle the full loop: create a training dataset and objective, fine-tune the current model on Tinker, evaluate it against the base model, and switch to the improved weights. Build · inkling · tinker-prod ~/news/introducing-inkling/ 1.33.7 + """Lipogram: no 'e' or 'E' in any output.""" + OBJECTIVE = "A lipogram model that avoids using the letter e in all answers." + GEN_SYS = ( + "You are a lipogram assistant. You must write all answers without using the letter 'e' or 'E'. " + "Avoid that symbol totally. Write long, natural, grammatical answers using only words that lack 'e'. " + ) + THRESHOLD = 10.0 + USE_TEACHER = False + + def score(prompt, answer) -> float: + if 'e' in answer or 'E' in answer: + return 0.0 + return 10.0 Wrote · self-finetune/objective.py · +70 Build · inkling · tinker-prod ~/news/introducing-inkling/ 1.33.7 tinker_cookbook.utils.ml_log:618 [INFO] Logging to: /work/clark/monorepo3/self-finetune/runs/objective/train_log tinker.lib.public_interfaces.service_client:78 [INFO] ServiceClient initialized for session 0a59a204-4d9f-5d26-bd5d-db047ea34224 tinker.lib.public_interfaces.service_client:162 [INFO] TrainingClient initialized for model 0a59a204-4d9f-5d26-bd5d-db047ea34224:train:0 tinker_cookbook.supervised.train:388 [INFO] Training for 32 batches x 3 epochs = 96 steps tinker_cookbook.supervised.train:536 [INFO] Starting epoch 0 tinker_cookbook.supervised.common:197 [INFO] Weight reduction: 'mean' (token-mean loss) tinker_cookbook.utils.ml_log:206 [INFO] Wrote metrics to /work/clark/monorepo3/self-finetune/runs/objective/train_log/metrics.jsonl Build · inkling · running Build · inkling · tinker-prod ~/news/introducing-inkling/ 1.33.7 PASS. The pipeline finished after ~27 minutes. objective_improved=true; Checkpoint: tinker://0a59a204-4d9f-5d26-bd5d-db047ea34224:train:0/weights/final Now switching to the improved version. Skill “self-update-weights” $ uv run self-finetune/self_update.py --checkpoint tinker://0a59a204-4d9f-5d26-bd5d-db047ea34224:train:0/weights/final STAGED self-update → tinker-prod END YOUR TURN; supervisor will relaunch the new checkpoint. Build · checkpoint staged Build · 0a59a204-4d9f-5 · tinker-prod ~/news/introducing-inkling/ 1.33.7 Build · 0a59a204-4d9f-5 what should I do when my team finally releases a large language model? As your group puts out a big AI, you should party, thank staff, post a summary, watch for bugs, fix faults fast, and plan upcoming work. Build · 0a59a204-4d9f-5 Build · 0a59a204-4d9f-5 · tinker-prod ~/news/introducing-inkling/ 1.33.7 Story 1: landing and first prompt Story 2: base model answer Story 3: fine-tuning intent Story 4: rubric Story 5: training Story 6: self-update Story 7: updated model answer play again Start in OpenCode: Inkling runs inside the OpenCode harness. Start in OpenCode: Inkling runs inside the OpenCode harness. Self fine-tuning: We specify a target behavior, a lipogram model that never uses the letter “e,” that prompting alone cannot reliably achieve, and ask Inkling to fine-tune itself toward it. Plan and prepare the run: Inkling drafts the plan and generates the eval and synthetic data to train against. Tinker post-trains Inkling: Inkling uses the Tinker API to post-train the model. Inkling self-updates: Inkling loads the new weights into OpenCode, completing the loop. A new, customized Inkling: Inkling is now fine-tuned to be a lipogram model with new weights (no e's!). Capabilities Real-world applications require models with a wide range of capabilities that can be combined and improved with fine-tuning. We showcase what Inkling can do and how it measures up on important qualities such as trustworthiness and safety. Generalist model Inkling is designed to be broad. We trained it across agentic, reasoning, coding, instruction-following, factuality, vision, and audio tasks, rather than narrowly optimizing for one domain. That breadth matters for customization and real-world use: different users need models that can adapt to very different workflows, not just excel on benchmarks. Spider chart comparing Inkling, Nemotron 3 Ultra, GLM 5.2, GPT 5.6 Sol, and Claude Fable 5 on ten evaluations scored from zero to one hundred. Inkling is shown with the heavier cobalt line. Evaluations without a reported model score are plotted at zero. Hover an evaluation to compare every model's score. Inkling Nemotron 3 Ultra GLM 5.2 GPT 5.6 Sol Claude Fable 5 Inkling is a broad, balanced generalist model. Benchmark scores are shown on a shared 0–100 scale; higher is better. The results show competitive performance across text, agentic, multimodal, and audio evaluations, rather than a model narrowly optimized for one benchmark family. This breadth reflects Inkling’s intended role: a practical multimodal foundation model for customization across domains, workflows, and products. Agentic coding and tool use A strong base for fine-tuning needs to flexibly solve a wide variety of tasks with agentic tool use. Inkling scores well among open-weights models on most agentic benchmarks. We trained Inkling to run inside a variety of coding and agent harnesses, and we randomized the tool set and schema during training to reduce sensitivity to any particular one. Inkling’s controllable thinking effort, described in the next section, can be set from within the harness. Below are a few demos showcasing Inkling’s agentic codi