Laya：Jevのオープンソース版

現在AI分野では、新しい種類のモデルアーキテクチャが話題になっています。それは自己回帰型ではなく、テキストを生成せず、構造化スキーマに対する稲妻のように高速な確率予測を行うものです。 オンラインでの盛り上がりを見ると、それは検証されていると同時に、深く不満を感じさせます。私はちょうど1年前、2025年3月にこれに取り組みました。数ヶ月にわたるハードワーク、汗、そして眠れない夜を費やしてこれを構築し、arXiv論文（arXiv:2503.23303）を発表し、モデルの重みをHugging Face（sales-conversion-model-reinf-learning）で公開し、オープンデータセット（saas-sales-conversations）を構築し、PyPIパッケージを作成し、Reddit（r/LocalLLaMA discussion）でアプローチ全体を投稿しました。 その後、2025年9月に、強化学習によってガイドされるスキーマベースの意思決定のためのフレームワークを形式化した2番目の論文（arXiv:2510.01237）を発表しました。私のシステムにおける誘導脳は、単なる埋め込みモデルや自己回帰型LLMではなく、常に強化学習でした。 そして2026年9月、TypeSafe AI（OpenAIのChatGPTの共同発明者であるDiogo Almeidaによって設立された）という資金力のあるフロンティアラボがJevをローンチしました。彼らは、あたかも全く新しい科学的ブレークスルーであるかのように、全く同じ非自己回帰型意思決定の概念を提案しました。ただし、彼らは技術論文なし、オープンな重みなし、そしてゼロのオープン学習データセットでローンチしました。 私の以前のモデルは、シーケンス表現に対するPPOを使用して、垂直的なセールスコミュニケーションにおけるターンごとの会話軌跡（0.0から1.0の確率）を出力しました。Jevは、いわゆるRLCD（Reinforcement Learning for Calibrated Decisions）を使用して並列サンプリングを一般化し、信頼度分布とスキーマ選択を水平方向に出力しました。これは、100万入力トークンあたり0.042ドルで、典型的な応答時間は約150ミリ秒でした。 苦々しく思う代わりに、私は学んだすべてを取り入れ、古いアプローチのあらゆるアーキテクチャ上の制限を修正し、完全にオープンで水平的なSystem 1意思決定モデルファミリー「Laya」を構築することにしました。 そして、双方向エンコーダー上に適切に構築したため、当社のモデルは単一のGPUで32.8ミリ秒で実行され（バッチ処理で7.2ミリ秒/質問）、Jevよりも6〜8倍高速であり、100以上の言語を完全にサポートし、APIサブスクリプション料金はゼロ、そして100％オープンソースのApache 2.0ライセンスの重みを提供します。 1. コアの認識：System 1 vs System 2 現代のAIパイプラインには、巨大なボトルネックがあります。それは、単純な反射的な意思決定に生成型LLMを使用していることです。 カスタマーサポートチケットが到着したとき、メールが受信トレイに入ったとき、またはユーザーがAPIにプロンプトを送信したとき、通常は単純で構造化された質問に答えるだけで十分です。 このチケットはどの部署にルーティングすべきか？ この受信メールはフィッシング攻撃かスパムか？ このプロンプトはジェイルブレークや命令注入を試みているか？ この問題はどの程度緊急か（0から3の段階評価）？ このクエリはコード実行を必要とするか、それとも単純な事実に基づく回答か？ これに対して、8B、70B、またはフロンティア生成型LLMを呼び出すのは完全なオーバーキルです。トークンがストリーミングアウトされるのを500ミリ秒から2,000ミリ秒待ち、推論に実質的な費用をかけ、そして正規表現またはJSONパーサーを書いて、自由形式のテキストからクリーンなラベルを抽出する必要があります。最悪なのは、LLMは幻覚を見て、偽の信頼度を生成するのが好きだということです。LLMが「信頼度：0.95」と出力するとき、それは単に自信があるように聞こえるトークンを予測しているだけです。その背後には数学的なキャリブレーションは全くありません。 私たちは、人間の脳のSystem 1のように機能するモデルを必要としていました。つまり、正直でキャリブレーションされた確率を持つ、インスタントな反射的な意思決定であり、標準的な汎用ハードウェアでわずか30〜35ミリ秒しかかかりません。 2. 3つの意思決定プリミティブ Layaは、単一のフォワードパスで、任意の状態（生のテキスト、メール、チケット、またはJSONドキュメント）に対する型付けされた質問を評価します。それは3つのプリミティブに依存しています。 choice：基準の辞書から1つのオプションを選択します。選択されたキー、すべてのオプションにわたる確率分布、およびキャリブレーションされた信頼度スコアを返します。 score：状態を順序付けられたルーブリック（レベル0、1、2、...）に配置します。期待されるレベル、ルーブリックランクにわたる分布、および信頼度を返します。 noul：0.0から1.0までのキャリブレーションされた確率P(true)を返す直接的なブール質問（構築によりP(false) = 1 - P(true)）。 出力空間は純粋に確率と数値で構成されているため、モデルはテキストを生成せず、幻覚を見ることはなく、スキーマ違反や不正なJSONは物理的に不可能です。 3. 3つのチェックポイントとバンドルされたハブアーキテクチャ 1つのモデルがすべてのタスクと言語に最適であるとは限りません。私たちは3つの専門化されたチェックポイントをリリースしました。これらは現在、Hugging Face上の単一のリポジトリハブに統合されています。 チェックポイント | バックボーンエンコーダー | パラメータ | コンテキスト | 主な強み convaiinnovations/laya | ModernBERT-large | 421M | 512 | 英語のテキスト分類、ガードレール、メールトリアージ convaiinnovations/laya-multilingual | mmBERT-base (256k語彙) | 322M | 1024 (最大8k) | 100以上の言語、2.2倍高速、クロスリンガルAI convaiinnovations/laya-typed-decisions | ModernBERT-large | 421M | 1024 | エージェントオブザーバビリティ、カスタマーサービス、請求書処理、セキュリティアラート（0.766精度） サブフォルダの選択的ダウンロード ユーザーに3つの別々のリポジトリを管理させたり、2.5 GBの結合された重みをダウンロードさせたりする代わりに、メインリポジトリconvaiinnovations/layaはすべてをバンドルしています。Hugging Faceのallow_patternsを使用して、LayaのSDKは要求された特定のサブフォルダのみをダウンロードします。 # 英語モデル（約808 MB）をダウンロード agent_en = laya.load("convaiinnovations/laya") # 多言語サブフォルダ（約647 MB）のみをダウンロード（2.5 GBバンドル全体ではない） agent_ml = laya.load("convaiinnovations/laya", subfolder="multilingual") 4. ルーティングが不可欠な理由：マルチスクリプトの現実 当社の51言語でのMASSIVEベンチマーク（20オプション、ランダムベースライン=0.050）での調査から得られた最も啓発的な発見の1つは、英語モデルがラテン文字以外のスクリプトでどのように失敗するかでした。 ModernBERT-largeの50,000トークンの英語BPE語彙は、非ラテン文字を単純に破壊します。 クメール語：精度0.000、平均信頼度0.952。100の質問で1つの正しい決定もなく、約95％の信頼度を報告しました。 アルメニア語：精度0.050（完全なコインフリップランダム）、信頼度0.885。 ヘブライ語：精度0.060、信頼度0.964。 ベンガル語：精度0.080、信頼度0.945。 ヒンディー語：精度0.100、信頼度0.941。 これが重要な教訓です。モデル自身の信頼度は、入力スクリプトを読み取れない場合に警告を発しません。51言語全体で、英語チェックポイントの平均信頼度は、精度が82％であろうと0％であろうと、0.885を下回ることはありませんでした。 したがって、信頼度ゲーティングはあなたを保護できません。どのモデルを使用するかという決定は、フォワードパスの前に下される必要があります。 サブミリ秒のピュアPythonルーティング Layaには組み込みのルーターが含まれており、22のアルファベット（デーヴァナーガリー、CJK漢字、キリル文字、アラビア文字、ヘブライ文字、タミル語、タイ語など）にわたる入力テキストのUnicodeスクリプトを検査し、ラテン文字のストップワード分布を分析します。 標準的な英語テキスト：0.09ミリ秒の検出オーバーヘッド。 デーヴァナーガリー/インド系テキスト：0.54ミリ秒の検出オーバーヘッド。 大規模な200行のネストされたJSONドキュメント：0.73ミリ秒の検出オーバーヘッド。 33ミリ秒のフォワードパスと比較して、ルーティングオーバーヘッドは無視できるほど小さい（2％未満）です。そして、Router(preload=True)を使用すると、すべての必要なモデルがVRAM/RAMに常駐し、言語が交互に切り替わる際の7〜10秒のコールドスワップペナルティが完全に解消されます。 from laya import Router # チェックポイントをメモリにプリロードして、35ミリ秒未満のインスタントルーティングを実現 router = Router(preload=True) # 英語 -> ModernBERT-largeに自動的にルーティング res_en = router.predict({"body": "I was charged twice, please refund."}, questions) # ヒンディー語 -> mmBERT-base（100以上の言語）に自動的にルーティング res_hi = router.predict({"body": "मुझसे दो बार शुल्क लिया गया, कृपया पैसे वापस करें。"}, questions) # ドメインを既に知っている場合の明示的なオーバーライド res_spec = router.predict(state, questions, model="typed-decisions") 5. 直接対決：Laya（ルーティング付き） vs TypeSafe Jev 公開データセットおよび標準ベンチマーク全体で、LayaとTypeSafe Jevを直接比較しました。すべてのLayaの数値は測定されたものであり、Jevの数値は第三者の独立した研究（AbdelStark、nibzard）およびTypeSafe AIによって公開されたものです。 ベンチマーク / メトリック | TypeSafe Jev 1.13.0 | Laya（ルーティング済み） Ad