Clef: オープンウェイトの決定モデルと新しいRLファインチューニングプラットフォーム
Clef: Open-weight decision models, and new RL fine-tuning platform (blog.cloudflare.com)
要約
Cloudflareは、決定モデル「Clef」と「Clef-flash」をWorkers AI上で公開しました。これらは、Jev Decision Indexでトップクラスの性能を示し、高速かつ低コストで構造化された出力を生成します。画像入力にも対応し、64kのコンテキストウィンドウを持ちます。Apache 2.0ライセンスでオープンソース化され、ローカルでの実行や、新しいRLプラットフォームによるファインチューニングが可能です。
全文翻訳
Clefの紹介:オープンソースの意思決定モデルと新しいRLファインチューニングプラットフォーム
ここ数週間、Typesafe AIのJev System Oneモデルのような意思決定モデルを中心に多くの話題が集まっています。分類モデルは以前から存在していましたが、JevはAIの世界に新しい意思決定モデルの概念を導入しました。これは、決定が必要なワークフローに組み込むことができる、境界付けられた構造化出力を安価に、迅速に、そして一貫して生成するモデルです。これらのモデルは、新しい分類カテゴリを組み込むためにモデルを常に再トレーニングすることなく、あらゆる入力セットで機能するのに十分な能力を持っています。これは、主に非決定論的でありながら、エージェントワークロードのための推論やテキスト生成、ツール呼び出しを行うのに十分なオープンエンド性を持つ大規模言語モデル(LLM)の世界とは対照的です。
本日、Cloudflareがトレーニングした2つの意思決定モデル、ClefとClef-flashをWorkers AIでホストしてリリースします。Clefは現在、Jev Decision Indexで評価された結果、リーダーとなっています。完全な結果はライブベンチマークデモサイトで確認できます。これらのモデルはより賢く、より高速で、Jev APIと完全に互換性があるため、これらのホストモデルを簡単に試すことができます。Apache 2.0ライセンスの下で、これらのモデルをHugging Faceで完全にオープンソース化し、ローカルで実行してご自身で実験できるようにします。
[画像: decision-index-vs-latency.png]
最後に、新しい強化学習(RL)製品を発表できることを嬉しく思います。これにより、顧客はClefを自身のユースケースに合わせてファインチューニングできるようになります。
意思決定モデルとは?
意思決定モデルは、特定の確率に基づいてエージェントがどのように行動すべきかを決定するのに役立つ分類を行います。例えば、カスタマーサポートのメッセージ(入力)を渡し、それが緊急かどうか、そしてどのチームが処理すべきかを尋ねることができます。意思決定モデルは、確率(出力)を伴う型付けされた回答を返します。コードはこの回答を使用してチケットをルーティングしたり、エスカレーションをトリガーしたり、人間に委譲したりできます。これは、エージェントの決定において、必ずしも人間がループ内にいる必要がなくなったことを意味します。エージェントは、プログラムでコンテキストを収集し、決定を下し、タスクを実行したり、必要に応じて人間に委譲したりできます。
[画像]
具体的には、Cloudflareでは新しいClefモデルを脅威インテリジェンスチームでテストし、ウェブサイトドメインの分類に役立てています。Clefにドメイン(Browser Runを使用)を渡すと、ドメインが属するカテゴリを素早く特定できます。例えば、95%の確率でファッションサイト、85%でeコマース、1%未満でフィッシングサイトなどと分類できます。この分類は、Clefモデルがウェブサイトを取得、レンダリング、分類するのに2.2秒かかりました。対照的に、最速の汎用LLMであるgpt-oss-120bは同じワークフローで4.7秒かかり、返された分類は2つだけでした。ユーザーは、レイテンシと結果の2倍の節約が、脅威インテリジェンスワークフローを改善し、悪意のあるドメインまたは正当なドメインをより迅速に特定するのにどのように役立つかを想像できるでしょう。これを、迅速なプログラムによる意思決定が必要なあらゆるユースケースに一般化すると、自律的に決定、推論、実行できる強力なエージェントワークフローがアンロックされます。
音楽理論において、クレフ(clef)は五線譜の冒頭に置かれる記号で、線とスペースに特定の音高名を割り当てます。意思決定モデルは音楽のクレフに似ています。なぜなら、それはコンテキストのドメインとそれに続くノート(アクション)を定義するのに役立つからです。Cloudflareを連想させる「CF」と、同様の目的を果たすことから、意思決定モデルのファミリーにClefという名前を選びました。
Clefは他の意思決定モデルとどう違うのか?
意思決定モデルの市場はますます飽和していますが、Clefには公開に際して私たちを興奮させるいくつかのユニークな特性があります。第一に、ビジョンエンコーダーを備えているため、画像を入力として受け取り、視覚コンテンツを分類できます。これは、現時点ではテキスト分類のみを行うJevとは異なります。第二に、私たちのモデルは64kのコンテキストウィンドウ(Jevの32kと比較して)を備えており、ユーザーはモデルが分類できる入力状態をより多く詰め込むことができます。
第三に、私たちのモデルは正確で強力であり、市場の他の意思決定モデルと比較して、さまざまな品質ベンチマークで競争力のあるスコアを獲得しています。Jev Decision Indexで定義されている意思決定にとって重要な評価をいくつか抜粋し、市場で人気のあるモデルのスコアを付けました。ベンチマークについては以下の表を確認するか、ライブ意思決定インデックスデモサイトでスコアを確認してください。
| ベンチマーク | Clef | Clef-flash | Jev | DiffusionGemma Jev | Kev 9B | Laya |
| BFCL · case exact | 98.47 | 98.76 | 95.75 | 96.52 | 94.51 | 38.13 |
| ToolRet · nDCG@10 | 69.19 | 66.43 | 65.28 | 61.21 | 64.26 | 12.69 |
| API-Bank · accuracy | 91.93 | 93.11 | 88.19 | 83.66 | 56.30 | 11.41 |
| Home appliances · case exact | 82.95 | 97.73 | 52.27 | 42.05 | 25.00 | 0.00 |
| When2Call · accuracy | 72.37 | 65.58 | 80.97 | 75.44 | 49.62 | 11.94 |
| BANKING77 · macro-F1 | 94.20 | 90.93 | 79.74 | 74.28 | 84.83 | 14.29 |
| CLINC150+OOS · macro-F1 | 97.43 | 66.77 | 89.27 | 83.49 | 79.03 | 3.19 |
| BRIGHT · nDCG@10 | 45.91 | 39.26 | 47.52 | 42.94 | 38.53 | 19.90 |
| Amazon ESCI · macro-F1 | 57.48 | 57.39 | 55.21 | 53.37 | 49.22 | 24.40 |
| PhishNChips · accuracy | 79.60 | 75.05 | 62.55 | 85.35 | 50.75 | 50.15 |
Typesafeの評価スイートでもベンチマークを実行したところ、Clefモデルは4つの領域のうち3つでJevを上回りました。特に、Clef-flashは非常に高速であるにもかかわらず、例外的に優れたパフォーマンスを発揮します。
| ワークフロー | Clef | Clef-flash | Jev |
| Invoice processing | 64.7 | 57.1 | 61.8 |
| Customer service | 76.3 | 77 | 76.0 |
| Security incidents | 62.9 | 61.7 | 61.7 |
| Agent trace observability | 68.5 | 69.8 | 71.6 |
実行した43の評価ベンチマーク全体で、ClefモデルはLaya(非常に高速ですが、上記のベンチマークで品質が低下します)を除くすべてのモデルよりもレイテンシで上回りました。
| ベンチマーク | Clef | Clef-flash | Jev | DiffusionGemma Jev | Kev-9B | Laya |
| Median latency · ms | 209.3 | 38.8 | 524.1 | 84.4 | 51.4 | 5.8 |
| p95 latency · ms | 238.6 | 122.4 | 536.0 | 211.2 | 187.9 | 222.5 |
モデル自体のレイテンシの利点に加えて、ClefモデルはWorkers AIでホストされています。Cloudflareのインフラストラクチャ上でホストされているため、エッジのGPUを活用でき、ネットワークレイテンシが低く、より高速な意思決定が可能になります。これは、エージェントが意思決定を行うためのホットパスにClefを配置し、Workers AI上のLLMと組み合わせてアクションを実行できることを意味します。
curl https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/run/@cf/cloudflare/clef \
-X POST \
-H "Authorization: Bearer $CLOUDFLARE_AUTH_TOKEN" \
-d '{
"model": "clef",
"state": "Checkout has been failing for every customer for the last hour.",
"questions": {
"urgent": { "type": "noul", "instructions": "Is this support request urgent?" },
"team": {
"type": "choice",
"instructions": "Which team should handle this request?",
"criteria": {
"billing": "Payments, invoices, and refunds",
"technical": "Outages, errors, and configuration",
"sales": "Plans and upgrades"
}
},
"severity": {
"type": "score",
"instructions": "How severe is the customer impact?",
"criteria": ["No impact", "Minor", "Major", "Critical"]
}
}
}'
ClefはJevと同様に厳密に型付けされた出力を生成し、API互換性も完全に備えているため、非常に簡単に切り替えることができます。より大きなClefモデルはより強力な精度モデルであり、Clef-Flashモデルはレイテンシが重要な意思決定に最適です。これらのモデルはエンタープライズグレードであり、お客様のリクエストやレスポンスを読み取ったり、保存したり、トレーニングしたりしないことを保証します(ファインチューニング製品を使用する場合を除く。詳細は後述)。開発者ドキュメントから始めるか、Hugging Faceのリポジトリにあるオープンソースモデルで自由に試すことができます。
特定のワークロードに合わせてClefをチューニングするお手伝いが必要な場合は、ファインチューニングサービスも提供しています。まず、フォワードデプロイメントエンジニア(FDE)チームによるハンズオンパートナーとして、その後、顧客がモデルをトレーニングしてCloudflareに再デプロイできるセルフサービスファインチューニングプラットフォームとして提供します。
Clefのトレーニング方法
Jevが登場した週に、自社開発の意思決定モデルを使用した実験について投稿しました。デモでは、大規模言語モデルによって生成されるlogprobsを公開することで、DiffusionGemmaモデルを決定論的な確率を出力するようにどのように適応させたかを説明しています。初期のアプローチは、機械学習(ML)コミュニティで新しいアイデアを共有し、DiffusionGemmaのサポートを強化するためにvLLM推論エンジンにプルリクエストを送信しているMatt Mastracci氏の独立した研究に基づいています。
Clefはこの概念を基盤としていますが、バックボーンとして異なるベースモデルを使用しています。現在、Qwenをベースモデルとして使用し、意思決定モデルのユースケースに合わせてポストトレーニングを行っています。推論中、ClefはQwenをプリフィルのみのパスに使用し、その後、有効なスキーマ選択肢を並列でスコアリングします。決定ステップは非自己回帰的であるため、トークンごとにテキストを生成する中間ステップがなく、Clefは自己回帰型LLMよりも大幅に高速です。構造化された回答を生成するための中間テキストを生成するのではなく、ClefとClef-flashは内部バックボーン表現から直接スキーマ選択肢を導き出します。このアプローチは、特殊化された2段階アテンションルーティングプロセスに依存しています。各有効な選択肢はプロンプトに関連するコンテキストを抽出し、個々のフィールドパラメータが他のフィールドや元のペイロードとクロスアテンドしてからスコアリングされます。語彙的な事前情報(lexical prior)を活用することで、モデルはオプション全体で意味的な意図を保持します。最終的に、アーキテクチャはオプション固有の証拠ルーティング、共同クロスフィールドアテンション、およびスキーマに束縛されたスコアリングを統合します。
ClefのためにQwen3.8-27B、Clef-flashのためにQwen3.5-9Bをフリーズし、ランク256の低ランクアダプターとともにルーティングヘッドを共同で最適化しました。ポストトレーニングでは、有効なスキーマ出力に対してラベルスムージングクロスエントロピーを使用し、Brier損失を使用して確率キャリブレーションを洗練させました。このトレーニングでは、フィールド順序、プロンプト、スキーマ構造を順列化した独自の内部合成データセットを活用しています。また、キャリブレーションされた決定のための強化学習(RLCD)を二次的な最適化ターゲットとして開発しました。これにより、隣接する順序選択肢に部分的なクレジットを与え、完全に正確なレコード出力を報酬とし、分布シフトを防ぐために参照ペナルティを適用することで、より良い精度と汎化性能を実現しました。
これにより、Clefでいくつかの新しいことを達成できました。モデルの分類精度を向上させ、テキスト生成ではなく確率のみを出力するように制約し、JevおよびベースのQwenモデルよりも高速化しました。
ファインチューニングがClefの機能を拡張する方法
Cloudflareのエージェントワークフローに組み込むために、Clefモデルをファインチューニングする必要がある多くの内部ユースケースを聞きました。例えば、内部チームは、トラスト&セーフティの提出物を評価したり、Cloudflareサポートリクエストのトリアージを支援したり、あるいはボット製品に組み込んでクローラーが良いボットか悪いボットかを判断したりするための分類モデルを求めています。
これらのユースケースは非常に特異的であり、特定の分類器をトレーニングするために長年のラベル付き決定データがあります。モデルをファインチューニングすると、特定のドメインでの精度を高めるために、汎用的なパフォーマンスの一部を犠牲にする可能性があります。Cloudflareは15年以上にわたるさまざまなドメインのネットワークデータを持っているため、これらの特定のユースケースに適合するモデルをファインチューニングでき、これは汎用のClefモデルよりも正確で高速です。私たちはすでに内部チームと協力して、Clefをポストトレーニングして強力なMLモデルを作成し、Cloudflare全体でのインパクトを高め、ワークフローを改善する方法を模索しています。これらの内部チームとユースケースは、新しいFDEファインチューニングチームの次の担当範囲であり、強化学習(RL)製品の基盤となります。
新しいRLサービス
当社のハンズオンFDEチームを活用して、顧客がワークロードに合わせてClefをファインチューニングするのを支援するサービスを提供しています。そこから、ハンズオンでの経験から学び、顧客がデータをキャプチャし、ファインチューニングし、モデルを再デプロイできるセルフサービスプラットフォームを構築します。すべてCloudflare上で行われます。
これは実際、長年の構想でした。私たちは、カスタムRL製品を構築できる適切なプリミティブを備えたAIプラットフォームを構築してきました。Jevへの関心は、高速で小型、特定の分類モデルの必要性を示しており、RL環境の実験を開始するためのニッチとしてこれを選択しました。
これを行うために、Cloudflareプラットフォーム上に既に構築されているプリミティブを活用します。
- Cloudflare AI Gateway – すべてのAIトラフィックをAI Gateway経由で渡し、ユースケースのリクエストのデータセットを自動的に作成します。
- Cloudflare Workers AI – ベースのClefモデルに対してロールアウトを生成します。
- Cloudflare Containers – エージェントアクションのスコアリングとリプレイのためのRLサンドボックス。
- [NEW] Trainer – ファインチューニングされたClefモデルの重みを更新します。
- Cloudflare Workers AI + BYO Model – ファインチューニングされたモデルをWorkers AIに再デプロイします。
これには、AIプラットフォームのいくつかの開発中のコンポーネントが組み合わされています。AI GatewayはAIトラフィックをキャプチャして、独自の要求/応答データを活用できるようにします。ContainersはRLサンドボックス用です。Workers AIのBring Your Own Model(Cog)作業は、Replicateの買収以来進んでいます。
[画像]
今すぐ試してみてください
本日、Workers AIチームから最初のCloudflareトレーニング済みMLモデルをリリースできることを嬉しく思います。まだ初期段階であり、多くの改善が予定されていますが、AIプラットフォームチームで行ってきたハードワークの素晴らしい最初のショーケースです。Clefは、エージェントの使用方法を破壊する可能性を秘めていると信じており、これはCloudflareのエージェントクラウドであるという使命に自然に適合します。
特定のユースケースがあり、これらの製品の既存顧客である場合は、ぜひお話しさせていただき、この分野での実験におけるデザインパートナーになっていただければ幸いです。
Workers AIでホストされているClefモデルを試してみてください。自分で探索したい場合は、Hugging Faceでウェイトをダウンロードし、支援が必要なファインチューニングユースケースがあればご連絡ください。
当社のMLチームは、モデル最適化からモデルトレーニング研究まで、その影響力を拡大しています。私たちのミッションに参加することに興味がある場合は、募集中の職種をご確認ください。