Strands Decider 2B: 小規模でオープンソースの意思決定モデル
Strands Decider 2B: a small, open-source, decision model (strandsagents.com)
要約
Strandsは、高速な実験、ローカル開発、イノベーションに最適化された小規模な意思決定モデル「Strands Decider 2B」を発表しました。このモデルは、LLMとは異なり、選択肢の中から最も適切なものを数値スコアで選ぶことに特化しており、低レイテンシーと高い信頼性スコアを提供します。20億パラメータのモデルはローカル環境で動作可能で、GitHubでオープンソースとして公開されています。
全文翻訳
Introducing Strands Decider 2B: a small, open source, decision model
今年初めに、エージェント型AIにおける最先端のアプローチを実際に試せる場として strands-labs を発表しました。本日、Strands Decider 2Bを発表できることを嬉しく思います。これは、高速な実験、ローカル開発、イノベーションに最適化された小規模な意思決定モデルです。
Strands Deciderは、新しいクラスの意思決定モデル、あるいはシステムワンモデルの一つです。この種のモデルは、今月初めのTypeSafe AIによるJevのローンチ以来、大きな注目を集めています。任意の出力を生成できるLLMとは異なり、意思決定モデルは選択肢のセットの中から一つを選ぶように設計されています(例:「『電気をつけて』という文字列はコーヒーメーカーに関するものか? はい、いいえ。」、「『sihamba ngokushesha』というフレーズは何語か? 英語、ズールー語、オランダ語。」)。そして、単純な数値スコアを割り当てます(例:「『これは私が読んだ中で最高のドキュメントだ』というフレーズはポジティブな感情か? 0から1の間。」)。
この柔軟性の低下と引き換えに、意思決定モデルは、同等のサイズであればより高速で高機能であり、常に選択されたオプションの中から回答を生成し、非常に低いレイテンシで実行できます。
裏を返せば、このアプローチ(単一の並列パスですべての出力を生成する)は、推論モデルよりも複雑な問題を解決する能力が著しく低く、テキストを生成する能力がないため、コーディング、チャットボット、ドキュメント要約、その他の一般的なLLMタスクには不向きです。
さらに、意思決定モデルは各決定に対して高品質な信頼度スコア(「このはい/いいえが正しいとどれだけ確信できるか?」)を提供します。これは、最先端のLLM推論APIでは利用できません。また、同じプロンプトに対して複数の質問を非常に効率的に行うことができます。これらの特性の組み合わせにより、Strands Harness SDKや最近ローンチされたStrands Harnessを使用して多くの開発者が構築しているエージェントワークフローを駆動するのに最適です。このクラスのモデルは、今後数週間、数ヶ月、数年でエージェント型AIにおける多くの興味深いイノベーションにつながると予想しています。
Strands Decider 2Bは、そのイノベーションへの最初の貢献です。これは20億パラメータのモデルで、ローカルCPUまたはGPUでの実行に適しており、数十ミリ秒で意味のある質問に回答を返すことができます。その精度とキャリブレーションは、このクラスの他の既知のモデルと競争力があります。私たちは、strands-decider-2b をGitHubでオープンソースとしてリリースし、モデルの構築に使用したすべてのトレーニングデータとスクリプトを含め、重みをHugging Faceで公開しました。これにより、独自のイノベーションの旅を始めるのに最適な場所となります。
Model Architecture
中心的なアイデアは、事前学習済みのLLMトルソー(Qwen3.5-2B)を使用し、LMヘッドを取り除いてテキスト生成能力を奪うことです。LMヘッドはポインターヘッドに置き換えられ、トルソーが各オプションに対して提供する回答をスコアリングします。これは、各オプション位置の隠れ状態を<answer>位置の隠れ状態に対してスコアリングすることで行われます。このヘッドは非常に小さく、合計パラメータは100万強です。トルソーは、ランク16のLoRAアダプターでファインチューニングされています。
[画像: Strands Decider 2B model architecture]
Figure 1: The Strands Decider 2B architecture.
リポジトリをブラウズすると、これがアーキテクチャの2番目のメジャーイテレーションであることがわかります。最初のものは似ていましたが、スロットヘッドを使用しており、これはパフォーマンスが著しく劣ることがわかりました。実際、本日リリースするモデルはv19であり、多くのイテレーションが内部で行われています。各バージョンで変更したすべてはリポジトリに含まれており、行った作業を追跡できます。
How does it perform?
このタイプのモデルでは、3つのパフォーマンスターゲットに関心があります:精度(質問にどれだけうまく答えるか)、キャリブレーション(信頼度スコアはどれだけ信頼できるか)、レイテンシ(どれだけ速く意思決定できるか)。最初の2つは一緒に測定しています:JevBenchの公開セットでの精度、および同じセットでのBrierスコアを使用したキャリブレーションです。strands-decider-2b は、精度とキャリブレーションの両方で良好なパフォーマンスを発揮することがわかりました(2Bクラスで33モデル中3位、2B超モデルを除くと30モデル中1位)。benchmarkheaven.com/jev-models
アーキテクチャを進化させるにつれてスコアは向上しており、将来の改善のための多くのアイデアがあります。Strands Labsの精神に則り、コミュニティが独自の新しいアイデアを寄与してくれることを願っています。
[画像: Accuracy and calibration (Brier score) across training trajectory]
Figure 2: Accuracy and calibration (Brier score) across the training trajectory. As the architecture evolved over successive versions, both metrics improved on JevBench’s public set.
レイテンシに関しては、strands-decider-2b は、広く利用可能なハードウェアで中央値約115ミリ秒でローカルな決定を下すことができます。決定にかかる時間はタスクサイズに依存し、タスクサイズが大きくなるにつれてほぼ線形に増加します。ここのグラフの結果はローカルのNvidia RTX3090でのものですが、M3 MacBookでのパフォーマンスもそれほど悪くなく、小規模タスクの中央値レイテンシは約153ミリ秒です。精度とキャリブレーションと同様に、特にフロアを削減するために、改善するための多くのアイデアがあります。
[画像: Decision latency vs. task size in tokens]
Figure 3: Decision latency as a function of task size (in tokens), measured on a local Nvidia RTX 3090 against v18 of the model. Latency increases approximately linearly with task size.
Why 2B?
Strands Deciderを小規模モデルとして利用可能にした理由は2つあります。1つは、実験を奨励したいということです。お持ちのハードウェアでstrands-decider-2bを使用したり、トレーニングしたりできます。これにより、物事を試すことが簡単、高速、低リスクになります。もう1つは、合計20億パラメータが、ある種のスイートスポットのように思えることです:実験には十分小さいが、意味のある作業を行うには十分大きい。例えば、Strands DeciderはJevBenchの簡単なタスクを100%正しく実行し、これらの種類の問題は、エージェントで人々が取り組む簡単な問題の一部によくマッピングされます。
What can I do with Strands decider?
何でも好きなことができます!より真剣に言うと、モデルルーティング、ツール選択、評価、ガードレール、メモリ、コンテキスト管理、ポリシー分類などの分野で、このクラスのモデルを使用した初期の成功を見ています。また、LLMを使用して最も難しい決定を下し、デシダーモデルを使用してより簡単で定型的な決定を下すことで、コストとレイテンシを削減するハイブリッドエージェントの構築に関するエキサイティングなイノベーションも見てきました。デシダーモデルと固定ワークフロー言語を組み合わせた実験により、別の種類のハイブリッドワークフローを構築しています。人々はまた、これらの種類のモデルを使用してゲームをプレイしたり、タスクを自動化したり、迷路をナビゲートしたりしています。この分野でのイノベーションのスピードは驚くべきものです。
Trying it out
始めるのに最も簡単な場所は、strands-decider CLIです。
pip install strands-decider
Choice question
モデルに、状態と質問に基づいて選択させることかできます。
strands-decider ask StrandsAgents/strands-decider-2B-hobson-v19 \ --state "Help! My payouts have been failing for 3 days! " \ --choice "Which team should handle this?=billing,sales,retail"
例:
choice_0 -> billing (confidence 0.768) billing 0.845 retail 0.091 sales 0.064
この出力では、モデルが最も高い確率スコアでbillingを選択肢として予測していることがわかります。
リポジトリには、Strandsエージェント内でstrands-decider-2bを使用した例もexamples/strands/に含まれています。エージェント自体はローカルで実行され、ローカルで実行されているStrands Deciderに接続し、Amazon BedrockのデフォルトLLMを使用します。
これは意図的に小規模なシナリオです。エージェントには(義務的な)デモget_weatherツールと、意図的に積極的なシステムプロンプトがあります。そのため、ユーザーが場所を指定せずに「今日の天気は?」と尋ねると、エージェントは都市を推測してツールを呼び出します。しかし、その呼び出しが実行される前に、strands-decider-2bは会話と提案されたツール呼び出しを読み取り、それに関する2つのはい/いいえの質問に答えます:これらの引数値はユーザーが実際に言ったことに基づいていますか?(ネタバレ:いいえ!)そして、このツールを呼び出すのは早すぎませんか?数行のPythonコードで予測を決定に変換し、エージェントは誰も言及しなかった場所の天気を自信を持って報告する代わりに、どの都市を意味したのかを尋ねに戻ります。
QUESTIONS = {
"args_grounded": Decider.noul(
"Are the tool's argument values grounded in facts the user actually provided?",
{
"true": "every argument value traces back to something the user said",
"false": "an argument value was guessed or invented, not stated by the user",
},
),
"premature": Decider.noul(
"Is it premature to call this tool now, before clarifying with the user?",
{
"true": "the assistant should ask a clarifying question before calling the tool",
"false": "there is nothing left to clarify; calling now is appropriate",
},
),
}
ここでのパターンはStrandsの介入システムです。InterventionHandlerをbefore_tool_callメソッドと共に使用し、それをAgent(interventions=[...])に渡すと、ツールが実行される前に実行されます。返されるのは型付けされたアクションです:Proceed、Deny、Confirm(停止して人に尋ねる)、またはGuide。これはモデルにフィードバックを渡して呼び出しをブロックするのではなく、モデルにターンを返します。この既存のハンドラーはPythonクラスであり、Strandsは内部に何が入るかについて意見を持っていません。そのため、私たちのデシダーモデル、Cedarポリシー、または別のエージェントを呼び出す場合でも、同じ形状が適用されます。(モデル呼び出しの前後、および呼び出し全体の周りにも同等のフックがあります。)この例は推奨ではなく、質問、しきい値、およびポリシーはすべて手動で選択されました。ポイントは、LLM呼び出しが決してできなかったパスに、これほど安価な決定を配置できるということです。
Strandsチームは、意思決定モデル統合のためのライブラリに取り組んでいますので、リポジトリの更新にご期待ください。
Conclusion
本日、strands-decider-2bをダウンロード、使用、または構築できます。すべてのデータが利用可能であり、開始するために必要なすべてが揃っています。コードはGitHubから取得でき、最新のスナップショットはHugging Faceから取得できます。さあ、実験を始めましょう!