Jev: 新しいフロンティアモデル、40～400倍安く、20～200倍高速

System OneモデルとJevの紹介

Diogo Almeida, founder, TypeSafe

モデルは長年、人間を超えたチャット能力を発揮してきましたが、なぜ自動化は進んでいないのでしょうか？

この4年間、これが私の問いかけでした。OpenAIでは、言語モデルを指示に従わせたり、人と対話させたりする上で役立つ手法を構築しました。その成果はChatGPTの基盤となる研究となりました。当時は、チャットモデルがAGI（汎用人工知能）につながるかもしれないと考えていましたが、誇大広告にもかかわらず、何か非常に大きなものが欠けていることは明らかでした。

2年間のステルス期間、数え切れないほどの技術的課題、そして研究のブレークスルーを経て…本日、TypeSafe AIが最初のSystem One Modelをリリースできることを大変嬉しく思います。これは、ソフトウェアが直接利用できる高速で構造化された意思決定を行うために構築された、新しいクラスのフロンティアモデルです。

自動化に完全に焦点を当てた新しいスタックを構築しました。新しいモデルアーキテクチャ、最大限の効率を実現する並列サンプラー、そしてReinforcement Learning for Calibrated Decisions（RLCD）と呼ぶトレーニング手法を採用しています。

最初の公開モデルはJevで、本日より早期アクセスで利用可能です。JevはSystem Oneタスクにおいて既存のLLMと同等の知能レベルを達成しながら、2桁（2 orders of magnitude）高速かつ高効率です。Jevは文字列生成を諦めていますが、構造化された出力に最適化されており、ハルシネーションを起こすことはありません。

Jevをフロンティア知能の関数呼び出しと考えてください。非構造化データ（状態）を入力し、型付けされた確率的決定を出力します。

並外れた主張には並外れた証拠が必要ですので、詳細は以下をご覧ください。💅

フロンティア：旧と新

証拠 / 技術的結果

私たちは懐疑論者を愛しており、私たち自身も懐疑的です。

簡単に検証できる主張がいくつかあります。

• 呼び出しあたりの速度：私たちは本当にそれほど高速です。公開されている評価は通常、私たちのラップトップ（現在サービスが拠点を置いている西海岸）で実行されています。

• 呼び出しあたりのコスト：価格設定は透明です。これが補助金を受けていないことを証明することはできません。価格設定の持続可能性を証明するには、長期的な視点が必要になります（価格は上がるのではなく、下がることを期待しています）。

• 型エラーなし：これは、単一の反例があれば簡単に偽造できることですが、数学的に不可能です。

より大胆な主張については、可能な限り多くのニュアンスを提供したいと思います。

サイドバイサイドデモンストレーション

私たちのサイドバイサイドデモは、私たちのモデルとLLMの重要な違いを示しています。Jevは、トークンごとに自動回帰的に生成するのではなく、すべての確率を並列で出力します。文字列は非常に強力で汎用的ですが、コストがかかります。「文字列を諦める」ことで、実際には多くのスーパーパワーが得られます！

ニュアンス

• TypeSafeの早期アクセスユーザー向けに、実際のクエリはこちらです。

  • クエリは高度に簡略化されており、questionsは記述的で人間が読めるキーを持つように選択されているため、画面上の出力が理解しやすくなっています。

  • stateも短く、密で詳細な段落であり、サンプリング方法の違いを強調しています。比較的短い入力は、私たちのモデルを有利に見せる可能性があります。

• 鋭い観察力のある方のために、記録された実行では、GPT-5.6 Terraとの唯一の意見の相違は「解約可能性レベル」についてです。実際の結果は、私たちにとっても本当に曖昧なようです。

• この例では、GPT-5.6 Terraをデフォルトの推論設定で使用しました。これは、平均してJevと同等の知能を持つ最も比較可能なモデルであるとわかったためです。

• 面白い事実：同様のデモが、私たちがSystem Oneモデルの方向へすべてを賭けることを決意させたきっかけでした！

ワークフロー評価

AIがコード内でどのように機能するかを測定するために、新しいタイプの評価を作成しました。私たちは、正解の分類に最適化したり、ハーネスとモデルを変更したり（ハーネスエンジニアリングによる過学習の可能性を許容する）しません。代わりに、正しい計算グラフ（コードで表される「ワークフロー」）が存在すると仮定し、最大、最も賢く、最も高価な外部モデルの予測を参照確率として使用します。

言い換えると、すべてのモデルに同じワークフローが与えられます。最も賢いモデル（この場合はAstraとFable）の平均と比較して、それらがどのように機能するかをテストします。

［画像］

Jevは、ほぼ2桁の範囲でパレートフロンティアを独占しており、グラフを突き抜けています。また、チェーンオブソート（思考連鎖）でロジックをすべて実行する生成プロンプトを持つモデルとも比較しますが、これはワークフロー自体を使用するよりも大幅にパフォーマンスが低下する傾向があります。

注意：ここでの呼び出しは、上記のサイドバイサイドデモンストレーションよりも大幅に複雑です。これは、真のビジネス自動化に必要な本番ワークロードのタイプをより代表しているためです。以下は、公開する4つのワークフローの中で最も単純なものです。

［画像］

最も信頼性の高い実世界のワークフローは、多くの場合、独立して分解された質問を持ち、離散的な決定ではなく確率に依存するきめ細かい動作をします。最終結果は離散的な分岐になりますが、最終的な回答に至るまでのプロセスには、非常に一貫して実行する必要がある多くのドメイン固有のエンジニアリングが必要です。

詳細については、ワークフロー評価サイトをご覧ください。例、意見の相違、完全なクエリ、および各ワークフローが含まれています。

ニュアンス

• ここから、ホームページの193.6倍高速、444.6倍安価という主張が来ており、これらは実際のゲインの範囲の上限であると予想しています。

• これらのワークフローの内容は、意図的にモデルを良く見せるために選択または構築されたものではなく、トレーニング分布にも含まれていません。しかし、モデル機能チームの担当者によって作成されたため、いくらかのバイアスが存在する可能性があります。

• GPT-6 AstraとFable 5.1の平均を参照回答として使用しており、これはOpenAIとAnthropicのモデルに回答を偏らせます。私たちのモデルとDeepSeekのモデルの相対的なパフォーマンスを過小評価している可能性があります。

• LLMは私たちのSystem One LLMラッパーを使用しており、これはLLMをAPIと互換性のある構造化された決定を出力するように制限します。私たちはこれがLLMから決定を得る最も正確な方法であると考えていますが、これは確率なしで決定を与えるよりも遅く、高価になる傾向があります。

ハルシネーションと型安全性

［画像］

ハルシネーションと型安全性は本質的に関連しており、後者は自動化の基本的な要件であると考えています。ツール呼び出しのハルシネーションはエージェントでは不便ですが、レイテンシ保証のあるシステムの一部であったり、依存関係チェーンの数層下に埋め込まれたりする場合、絶対的な取引不成立（deal-breaker）となります。既存のモデルは、どれほど賢くても、依然としてハルシネーションを起こし、型エラーを発生させます。

ニュアンス

• LLMの数値はOpenRouterからのものであり、ここにはほぼ確実にバイアスがあります。より複雑なクエリは、より優れたモデルにルーティングされている可能性があります。

• 私たちの数値は経験的なものではありません。スキーママッチングは保証されているため、プロットに自信を持って0%を追加できます。

面白いデモ

私たちの仕事の最もエキサイティングな部分はおそらく新しいユースケースを可能にすることです。お見せできるものは他にもたくさんありますが、チームのお気に入りのいくつかを紹介します。

Doom

このデモがリアルタイムの知能と、コードとAIで何ができるかを示している様子を気に入っています。これを作成したエンジニアは、毎秒10クエリ（約7ドル/時間かかる）を心配していましたが、他の皆は予想よりも低いことに同意しました！これは非常に面白いため、詳細なウォークスルーをリリースするだけでなく、このテーマでハッキングするイベントも開催する予定です。

ニュアンス

• デモは画像ではなく、テキストを含む構造化状態で行われます（まだ画像ではありません…）。

• AIを使わないDoomボットの方がうまくプレイできるかもしれませんが、私たちはゲームの状態のさまざまな表現に反応し、最も重要なこととして…指示に従うことが非常にクールなボットを求めていました！

Wikiracing

ゲームの目的は、1つのWikipediaページから始まり、移動中に見つけたリンクのみを使用して特定の別のWikipediaページに到達することです。各ステップでは、数百から数千のリンクから選択する必要があります！これは、毎秒の知能だけでなく、高カーディナリティの選択肢でハルシネーションしないことの累積的な利点を示すための素晴らしいプレイグラウンドです。

ニュアンス

• 私たちが知る限り、2番目と3番目のチャレンジが両方とも「Rubber Duck」で始まったのは完全に偶然でした。作成者はチームに指摘されるまでそれに気づきませんでした。

• ここでの速度向上は、以前のデモよりも大幅に少なくなっています。これは、推論を行わないモデル（Astraは最低の推論設定で実行）との比較であるためです。また、Jevがより少ないステップで終了する傾向があった（より高い知能の兆候）のもこのためです。これはデモをより視聴しやすくするためでした。推論を有効にした場合と比較して、LLMはこのタスクでさらに悪く見えます。

• Jevは最大255のカーディナリティをサポートしています。より高いカーディナリティの選択肢については、まず個別にスコアリングしてから明示的な選択を行う2段階システムを使用するため、時折遅延が発生します。

今後の予定

Jevはまだ初期段階です。パイプラインにはさらに多くのものが用意されており、継続的に出荷していくことに非常に興奮しています 🔥。

本日、早期アクセスを開始し、待機リストの開発者を可能な限り迅速に招待しています。どのような決定を自動化する必要があるか、Jevがどこで機能し、どこで不足しているかを知りたいです。どのようなSFを構築したいか教えてください！

TypeSafeを始めたのは、AIにはソフトウェアが依存できるインターフェースが必要だと信じているからです。新しいユースケースがコミュニティと経済全体に継続的に拡散していくのを見るのが待ちきれません。

よくある質問

「System One Models」と「Jev」という名前はどこから来たのですか？

ダニエル・カーネマンの『ファスト＆スロー（Thinking, Fast and Slow）』に触発されました。モデルクラス名は、速く直感的なシステム1思考と、遅く慎重なシステム2推論の区別に基づいています。

「システム1思考」は、エラーを起こしやすいという意味合いも持っていました。将来詳しく説明しますが、私たちはSystem Oneモデルをその代替手段よりも信頼性の高いものにできると信じています。

Jevはウィリアム・スタンレー・ジェボンズにちなんで名付けました。私たちは、機械知能が石炭と同様の道をたどると予想しています。蒸気機関の効率が需要の増加につながった後です。知能のコストが1桁低下するごとに、使用ケースが桁違いに増加します。

新しいトレーニングアルゴリズムが必要だったのはなぜですか？

Jevはどのようなユースケースに適していますか？

Jevは単なる小型LLMですか？

Jevは公開ベンチマークに対してどのようにパフォーマンスを発揮しますか？

私たちのトレーニングデータはどこから来ていますか？

これらの結果はかなりクレイジーですが、どのようにして可能になったのですか？