HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

テキスト分類のための言語モデル:Bag-of-wordsからJevまで

Language models for text classification: From bag-of-words to Jev (magazine.sebastianraschka.com)

213 pointsby Anon8410 コメント

要約

この記事は、テキスト分類における言語モデルの進化を、古典的なBag-of-words手法から最新のJevモデルまで辿ります。Bag-of-wordsが単語の出現頻度を基にテキストをベクトル化し、古典的な分類器で利用される方法を解説し、その限界(単語順序の喪失など)を指摘します。その後、RNNやCNNといったディープラーニングモデル、そしてTransformerベースのモデルへと進化する過程を説明し、Jevモデルがこれらの文脈の中で、高速かつ低コストで分類タスクを実行する利点を持つことを示唆しています。

全文翻訳

テキスト分類のための言語モデル:Bag-of-WordsからJevまで

最近リリースされた Jev AIモデルは、過去2週間で技術コミュニティにおいてかなりの文化的現象となっています。

Jevは分類を目的としていますが、Jevを「単なる分類器」として片付けるのは簡単であり、私自身のJevに対する見方もここ数日で大きく変化しました。特に、私の考えは「分類器はかつて私の得意分野だった。自分で簡単に構築できるだろう」(これについては後述)から、「すごい、これは思った以上にうまく機能する」へと変わりました。

[

[画像: jev-intro]

](https://substackcdn.com/image/fetch/$s_!0Q-x!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fa5481509-dd15-42bf-9ce0-29a292276016_6461x3353.png)

図1:Jev APIの概要。詳細は後述します。

確かに、最新の最先端GPTやオープンウェイトLLMは、Jevと同様の分類タスクを実行でき、さらに汎用的な意思決定も可能です。しかし、Jevの利点は、それらの分類タスクをはるかに高速かつ低コストで処理できることです。

一方で、狭く明確に定義された問題に対しては、Jevはおそらく専用の分類器よりも優れた、あるいは高速で、あるいは安価な分類はできないでしょう。しかし、そのセールスポイントは、それらのタスク固有のモデルよりもはるかに汎用的であることです。

では、Jevの(教育的な推測に基づく)方法論は何であり、何ができ、なぜそれほど人気があるのでしょうか?この記事の後半でこれらのすべてに答えることを目指します。しかし、意思決定のための言語モデルの簡単な歴史から始めるのが素晴らしい方法だと考えました。そして、それは誇大広告の一部を解明し、Jevが非常にうまく機能することを示すのに役立つでしょう(「Jevは本質的にテキスト分類器ですが、『Jevは単なるテキスト分類器ではない』」)。

追伸:私はJevとは一切関係がありません。また、Jevの無料アクセスも提供されておらず、これは製品の推奨でもなく、単に最近の誇大広告を理解するのに役立つテキスト分類の歴史に関する技術的な記事です。

この記事は長いため、ブラウザでの閲覧をお勧めします。左側にある目次メニューにアクセスできます。

1. Transformer時代以前の言語モデリングと分類

Jevを文脈(言葉遊びではありません)に入れる前に、完全性のために時系列で始めるのが最も理にかなっていると考えました。このセクションでは、Transformerベースのモデルが登場する前に、ナイーブベイズ、ロジスティック回帰、そしてより古典的な(ディープ)ニューラルネットワークを用いたテキスト分類の応用を簡単に見ていきます。

1.1 Bag-of-words:ナイーブベイズ、ロジスティック回帰、XGBoost

私が15年前に大学院生だった頃、リカレントニューラルネットワーク(後述)はすでに存在していましたが、テキスト分類は通常、Bag-of-words表現で行われていました。なぜなら、それは簡単で、中規模のデータセットで良好な結果が得られたからです。

簡単に言うと、Bag-of-words表現は、長さの異なる自由形式のテキスト入力を、固定サイズの入力ベクトルを期待する古典的な分類器(ナイーブベイズ、ロジスティック回帰、SVM、ランダムフォレスト、XGBoostなど)と互換性のあるものにする方法と考えることができます。

一般的な実世界の応用には、ニュース記事の分類からメールのスパムフィルタリングまで、あらゆるものが含まれます。そして、Gmailの元のスパムフィルタでさえ、Bag-of-words表現を持つナイーブベイズモデルを使用していたと言われています。

ちなみに、私はちょうど12年前にこのアプローチについて書きました。それは私がarXivで共有した最初のものの1つでした。

[

[画像]

](https://substackcdn.com/image/fetch/$s_!UgdR!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F7900489a-1e4c-4997-974b-3b5f89d62465_1050x1318.png)

図2:Bag-of-wordsモデルを使用したナイーブベイズ分類器を説明する、2014年の私の古いチュートリアル。

(ナイーブベイズによるテキスト分類は、少なくとも1961年まで遡り、コンピュータの抄録をソートするために使用されました。論文「Automatic Indexing: And Experimental Inquiry」を参照してください。)

では、このBag-of-words表現とは具体的に何でしょうか?それは、長さの異なる自由形式のテキストを、例えば以下のようなものに変換する方法です。

  • トレーニング例1:「Zentropaは私が何年も見た中で最も独創的な映画です。フィルムノワールに影響を受けたユニークなスリラーが好きなら、最近劇場を埋め尽くしているハリウッドのサマーブロックバスターの退屈さを解消するのにぴったりです。トリアーの『Breaking the Waves』のような後続作品はより高く評価されていますが、これは本当に彼の最高傑作です。」

  • トレーニング例2:「この映画はひどいだけです。ジョン・リッターがドタバタ劇を演じ、俳優の75%がキューカードを読んでいるかのようにセリフを言い、編集が悪く、音響ミキシングがひどい」

  • トレーニング例3:「Zentropaは、戦後ヨーロッパの瓦礫の中で繰り広げられる別のノワール風映画である『The Third Man』と多くの共通点があります。」

(上記の例は、人気のIMDb映画レビュー分類データセットからの抜粋です。)

[

[画像: bow]

](https://substackcdn.com/image/fetch/$s_!WLtd!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F5f041db0-58bb-43db-a07c-ac672b613470_7769x3701.png)

図3:Bag-of-words表現のイラスト。

Bag-of-wordsモデルは、まず語彙を構築することから始まります。語彙は、トレーニングセット内のすべてのユニークな単語で構成されます(オプションで、「a」や「the」のようなストップワード、つまりほとんどの文脈で意味をほとんど、あるいは全く持たない単語を削除することもできます)。

Bag-of-words表現は、語彙内の各単語にベクトル内の独自の場所を割り当てることで、これらの固定サイズの入力を生成します。次に、各単語がドキュメントに何回出現するかを数えます。例えば、50,000のユニークな単語の語彙がある場合、入力が10語であろうと30万語であろうと、50,000エントリの固定サイズのベクトルが生成されます。各ドキュメントは語彙のごく一部しか含まないため、ほとんどのエントリはゼロになることに注意してください。(生のカウントを表す代わりに、TF-IDFのような正規化スキームもあります。)

次に、これらの単語頻度ベクトルが得られたら、ラベル付きトレーニングセット(例えば、スパムまたは非スパムとラベル付けされたメール)で分類器をトレーニングできます。例えば、ロジスティック回帰モデルは、特定の単語(および単語数)が特定のラベルと相関する特徴の重みを学習します。例えば、特定の単語はスパム確率の予測を増加させ、他の単語はそれを減少させる可能性があります。

このアプローチは計算コストが低く、特定の単語がラベルについて強力な手がかりを提供する場合にはうまく機能します。スパム分類のような単純な分類タスクでは、迅速で合理的に正確な結果を得るのに十分です。

しかし、このアプローチの最大の欠点の1つは、Bag-of-words表現の性質上、単語の順序を失ってしまうことです。そのため、「犬が男を噛む」と「男が犬を噛む」は、異なる出来事を表しているにもかかわらず、同一のベクトルを生成します。

(単語のペアや、n-gramと呼ばれるより長いシーケンスを特徴として追加することで、ある程度の局所的な順序を保持するいくつかの回避策がありますが、これは語彙サイズを増加させます。)

欠点にもかかわらず、私はBag-of-wordsがその手軽さから、特定の低リスクのアプリケーションでは依然として価値があると考えています。そして、Bag-of-words表現とロジスティック回帰は、実装が非常に容易であるため、あらゆるテキスト分類問題に対する私のデフォルトのベースラインであり続けています。

[

[画像: logreg]

](https://substackcdn.com/image/fetch/$s_!qNQv!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F1fbb03a2-bb84-407b-8e08-f298e72a85f2_3907x2469.png)

図4:単純なロジスティック回帰分類器の構築に興味のある方向けに、チュートリアルをこちらに用意しました。このモデルは89.9%の精度を達成しています(バランスの取れたデータセットで)。

1.2 テキスト分類のためのディープニューラルネットワーク

前述のBag-of-wordsモデルは、(単純な)ディープニューラルネットワーク、例えば多層パーセプトロンでも機能します。しかし、欠点は依然として文の構造と単語の順序を失うことです。

しかし、より洗練されたニューラルネットワークアーキテクチャは、Bag-of-wordsの回避策を避け、単語埋め込みを入力として受け取ることができる畳み込みニューラルネットワーク(CNN)やリカレントニューラルネットワーク(RNN)を使用します。

1.2.1 単語埋め込み

まず、入力テキストをモデルに供給する前に、適切な表現に変換する必要があります。そのような表現の1つがBag-of-wordsです。もう1つは単語埋め込みベクトルです。違いは、Bag-of-wordsベクトルは語彙の各単語が何回出現するかを数えることによってテキスト全体を表すのに対し、単語埋め込みは個々の単語を学習された数値の密なベクトルとして表すことです。

[

[画像: word-embeddings]

](https://substackcdn.com/image/fetch/$s_!2shX!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fb7384f46-af12-44c5-a1b4-5ec0c023094c_7579x3181.png)

図5:単語埋め込みの作成のイラスト。

  • 単語埋め込みは、LLMの埋め込み層と似たように機能します。つまり、入力トークンを密なベクトルに変換します。埋め込みはモデルの外で行われることもあります(例:それらを学習するための古典的で人気のある2つの方法はWord2VecとGloVeです)、または埋め込み層はニューラルネットワークアーキテクチャ自体の一部であり、モデルトレーニング中に学習および調整されることもあります。

これらの古典的な埋め込みは、ルックアップ時にコンテキストに依存しません。例えば、「river bank」と「bank account」という文では、「bank」という単語は同じベクトルになります(ご存知のように、コンテキストはアテンションのような概念を通じて処理できます)。

埋め込みに関する追加のリソースとして、以下が役立つかもしれません。

  • 第2章:テキストデータの操作(これはLLMの章ですが、単語やトークンの埋め込みの要点を理解するのに役立ちます。LLMトークナイザーでは、単語をサブワードトークンに分割します。Word2Vecでは、通常1単語が1トークンです。)

  • 埋め込み層と線形層の違いを理解する(これは、埋め込みベクトルが数学的に線形層および行列乗算と等価になる場合を示すイラストです。)

1.2.2 リカレントニューラルネットワーク(RNN)

多くの皆さんはリカレントニューラルネットワーク(RNN)に精通していると思われるので、このセクションは短くします。RNNは自然言語処理のための古典的なニューラルネットワークアーキテクチャであり、人気のあるバリアントは1980年代から1990年代初頭に遡ります。2017年に導入されたTransformer(私のUnderstanding Large Language Modelsで簡単なタイムラインを参照)は、多くのNLPアプリケーションで徐々にそれらを置き換えました。

RNNは、テキストのようなシーケンスを一度に1単語ずつ読み取ります。各ステップで、現在の単語埋め込み(前のセクションで説明)を前のステップからの隠れ状態と組み合わせます。隠れ状態は、これまでに処理されたテキストを要約する固定サイズのベクトルと考えることができます。そのため、単語の順序が重要になります。なぜなら、単語を並べ替えると状態更新のシーケンスが変わるからです。

[

[画像: rnn-classify]

](https://substackcdn.com/image/fetch/$s_!k4d9!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F63c0da28-827d-4a59-9fed-cb283e57ad1b_7776x4745.png)

図6:RNN分類器のイラスト。

上記の図は、RNNを展開された表現で示しています。つまり、RNNは各入力に対して同じレイヤースタックを再利用するため、「リカレント」という用語が使われます。そして「リカレント」であるため、入力テキストは任意の長さにすることができます。下の図は、展開された表現を並べて「リカレント」を示しています。両方とも同一のアーキテクチャを示していますが、単に異なる視覚化です。

[

[画像: rolled-rnn]

](https://substackcdn.com/image/fetch/$s_!JOy3!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fdc3e8a8d-8e3b-4989-8b42-564cf84c80b6_7675x3257.png)

図7:同じRNNのロールされた表現と展開された表現のイラスト。

RNNのトレーニングは非常に困難であることが知られており、RNNには重要な改善があります。例えば、1997年に導入されたLong short-term memory(LSTM)ネットワークや、2014年に導入されたgated recurrent units(GRU)は、学習されたゲートを使用して情報の保持と更新を制御します。(また、より最近では2024年に導入されたxLSTM: Extended long short-term memoryもあります。)

また、状態空間モデルは、固定サイズの隠れ状態が逐次的に更新されるというこのアイデアに触発されていますが、これはTransformerのアテンションよりも安価です。しかし、ボトルネックは依然として隠れ状態が保持できる情報の量であり、逐次的に処理する必要があります。(豆知識:アテンションはTransformerアーキテクチャが登場する前にRNNのために最初に開発されましたが、それは別の話です。私はUnderstanding Large Language Modelsの記事でそれについて書きました。)

結論として、RNNはテキスト分類器のトレーニングに使用できます。IMDb映画レビューデータセットに戻ると、ロジスティック回帰を用いたBag-of-words分類器は約89.9%の精度を達成しましたが、LSTM RNNはわずか85.66%の精度でした。はい、RNNのトレーニングはより困難になる可能性があります(後述のULMFiTメソッドに注目してください。これははるかに高い精度でRNNをトレーニングします)。

[

[画像: rnn-imdb]

](https://substackcdn.com/image/fetch/$s_!PvQO!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fdbb8bd45-04a6-47c5-bbdb-b87fe171b32b_3866x2127.png)

図8:LSTMを用いた単純なRNNのチュートリアル。このモデルは85.66%の精度を達成しています(バランスの取れたデータセットで)。高いトレーニング精度は、かなりの過学習を示しています。

このRNNはゼロからトレーニングされたことに注意してください。より良いアプローチは、まずより大きなデータセットでモデルを事前トレーニングし、次にターゲットデータセットでファインチューニングすることです(古典的には、このアプローチを「転移学習」と呼びます)。

自然言語処理の分野では、このアプローチを提案した最も影響力のある論文の1つがULMFiT(2018)であり、IMDbで印象的な95.4%のテスト精度を達成しました。

[

[画像: ulmfit]

](https://substackcdn.com/image/fetch/$s_!HZOG!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F5e8aeef2-95e4-415a-8f5f-93895d1f2eb2_4470x2477.png)

図9:ULMFiT論文からの注釈付き図。

1.2.3 畳み込みニューラルネットワーク(CNN)

皆さんはおそらく、コンピュータビジョンでの使用から畳み込みニューラルネットワーク(CNN)を知っているでしょう。しかし、テキストにも使用することが可能です。歴史的にはそれほど一般的ではありませんでしたが。

[

[画像: cnn-vision]

](https://substackcdn.com/image/fetch/$s_!ZK8R!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fbacd70f8-4159-41b2-a812-9ab65de29f2b_7288x2635.png)

図10:画像分類のための畳み込みニューラルネットワーク(CNN)のイラスト。

上記の画像分類の例で示されているように、CNNは学習済みのフィルタを画像パッチ(ウィンドウ)に適用します。同様に、自然言語の分野でも、隣接する単語埋め込みのウィンドウに学習済みのフィルタを適用できます。

[

[画像: cnn-all]

](https://substackcdn.com/image/fetch/$s_!zRgr!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F5b710ad1-6fad-47a7-9b79-192b61097194_7935x7279.png)

図11:テキスト分類のためのCNN、ステップバイステップ。簡潔にするために、1つのフィルタ(チャネル)のみ。

上記の図で示されているように、ウィンドウサイズが3の畳み込みフィルタは、隣接する3つの単語の各グループに同じ重みを使用します。次に、入力上をスライドするとき、フィルタを「the movie had surprisingly good acting」という単語ごとに1つずつ移動させます。したがって、4つのウィンドウが得られます(パディングは簡潔にするために無視します)。

  • 1:「the movie had」

  • 2:「movie had surprisingly」

  • 3:「had surprisingly good」

  • 4:「surprisingly good acting」

したがって、最後のレイヤー、分類ヘッドの前に、フラット化するか、グローバルマックスプーリングして分類ヘッドに接続することができます。フラット化はすべての情報を保持しますが、テキスト入力の長さに応じて異なるサイズのベクトルを生成します(例:もし「the movie had surprisingly good acting」が長かった場合、より長い特徴マップが得られます)。そのため、入力長に依存しないようにするには、グローバルマックスプーリングがより良い選択肢となります。

要するに、テキストCNNは以下のように視覚化できます。

[

[画像: cnn-summary]

](https://substackcdn.com/image/fetch/$s_!7qXx!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F88ad7444-1759-4966-a53e-4744f13ff889_7748x2519.png)

図12:複数のフィルタ(チャネル)を持つテキスト分類用CNN。

また、フィルタの計算が位置間で並列実行できるため、RNNのステップバイステップの依存関係を回避できるという利点もあります。

簡単な比較として、前述のIMDbデータセットでは、私の実験ではそのようなCNNは約90.07%の精度を達成しています(ただし、これはアーキテクチャに大きく依存することに注意してください。例えば、コンピュータビジョンの文脈から、精度は大きく変動する可能性があることをご存知でしょう)。(例:古いAlexNetはImageNetで約62.5%のトップ1精度でしたが、ConvNeXt V2-Hは88.9%を達成しています。)

[

[画像: cnn-imdb]

](https://substackcdn.com/image/fetch/$s_!CSes!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F91765c78-a4d8-48bf-ade0-10b515441b8a_4442x2189.png)

図13:IMDb映画レビューを分類するためにトレーニングされたCNN。このバランスの取れたデータセットで90.07%の精度を達成しています。ソースコードはこちらで見つけることができます。

2. Transformer

2017年に、オリジナルのTransformerアーキテクチャがAttention Is All You Need論文で紹介されました。このトピックは(私や他の人々によって)非常に広範囲にカバーされているため、分類に関連する側面に焦点を当てます。しかし、アテンションメカニズムやその他のアーキテクチャの詳細に興味がある方は、関連する記事を参照してください。

[

[画像: The Big LLM Architecture Comparison]

](https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison)

[

[画像: A Visual Guide to Attention Variants in Modern LLMs]

](https://magazine.sebastianraschka.com/p/visual-attention-variants)

重要な点は、オリジナルのTransformerアーキテクチャは言語翻訳に使用されるエンコーダー・デコーダーのセットアップでしたが、以下のセクションで説明するように、テキスト分類タスクに簡単に適応させることができるということです。

2.1 エンコーダー型言語モデル

オリジナルのTransformerアーキテクチャのリリース後の最初の数年間は、2つの異なるアプローチのライバル関係によって定義されていたことをよく覚えています。

  1. Googleが主に開発したBERTのようなエンコーダー型モデル。
  2. OpenAIが主に開発したGPTのようなデコーダー型モデル。

エンコーダー型モデルは自然なテキスト分類器でしたが、GPTモデルは創発的な特性としてゼロショットおよびフューショット分類を実行できましたが、それらの強みは生成タスクにありました。

しかし、エンコーダー型モデルから始め、それらをファインチューニングしてテキスト分類に使用する方法を見ていきましょう。

Transformerを使用する際の普遍的な側面は、エンコーダー型かデコーダー型かに関わらず、大規模なテキストコーパスで事前トレーニングされたモデルを使用し、ゼロショットまたはフューショット分類器として使用するだけでなく、ターゲットデータセットでファインチューニングできることです(前述のRNNセクションで言及したULMFiTと同様)。

BERT論文(2018)からの図の抜粋(以下)に示すように、BERT/エンコーダー型モデルは、最初の位置に分類トークンがあり、これを便利にファインチューニングできます。

[

[画像: bert-annotate]

](https://substackcdn.com/image/fetch/$s_!zrSS!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F59456abf-cf68-4d6e-9c92-73ad3e593665_4982x3213.png)

図15:オリジナルのBERT論文からの注釈付き図。

BERTモデルは、自己回帰型GPTスタイルのTransformerほど人気はありませんが、幸いなことに、一部の人々はそれらを更新および近代化し続けています。分類タスクで私がよく使用する最近の例の1つは、2024年のModernBERTモデルです。

以下に示すように、IMDb映画レビューでは、ModernBERTは非常に少ないファインチューニングの労力で約95%の精度を達成します。

[

[画像: bert-imdb]

](https://substackcdn.com/image/fetch/$s_!GqmY!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Ff4cc75fe-608d-47fc-95aa-14f3f2b58b83_4147x2928.png)

図16:IMDb映画レビューを分類するためにファインチューニングされたさまざまなLLM。ソースコードはこちらで見つけることができます。(私はハイパーパラメータチューニングをほとんど行いませんでしたが、これはさらに1〜2%改善される可能性があります。しかし、ここでのポイントの1つは、非常に最小限の労力で非常に良い結果が得られるということです。)

2.2 デコーダー型LLM

GPTのようなLLMは、テキストやコードの生成にすべての注目(言葉遊びではありません)が集まっている、デコーダー型、自己回帰型Transformerです。

しかし、私のBuild A Large Language Model (From Scratch)という本の第6章で説明したように、ファインチューニングの簡単な入門として(インストラクションファインチューニングをカバーする前に)、これらをテキスト分類のために再利用することもできます。

確かに、以下のスクリーンショットに示すように、LLMを直接プロンプトすることもできます。

[

[画像: prompt-gpt]

](https://substackcdn.com/image/fetch/$s_!Rh-F!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F0be7e4aa-5436-46cf-8e85-809f776f39e1_4920x3189.png)

図17:映画レビューを分類するためにLLMにプロンプトを与える。

しかし、構造化された出力を求め、特定のターゲットドメインを念頭に置いている場合、これは不必要に脆く非効率的です。

代わりに、以下の図に示すように、出力層をより軽量な分類ヘッドに置き換えることができます。

[

[画像: gpt-head]

](https://substackcdn.com/image/fetch/$s_!T3RZ!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F9065aa90-305d-4373-bf45-73d82ec86768_1943x1931.png)

図18:GPTスタイルのモデルの出力層を、より軽量な分類ヘッドに置き換える。

ファインチューニングにはいくつかの注意点があります。例えば、自己回帰型アテンションマスクのため、分類トークンがシーケンス内の他のすべてのトークンに関する情報を持つように、ファインチューニングの設計方法には注意が必要です。

[

[画像: attention-masks]

](https://substackcdn.com/image/fetch/$s_!5cCi!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fc6bc5509-085e-4b93-b557-566a5a05f0ff_2940x2021.png)

図19:BERTとGPTのアテンションマスク。

さらに技術的な詳細に興味がある場合は、私の最近のエンドツーエンドの記事「Building an AI Text Detector From Scratch」を参照してください。

全体として、BERTバリアントと比較してGPTスタイルのLLMを使用する利点は、採用できる最新のオープンウェイトアーキテクチャが非常に多く存在することです。小さなQwen 3 0.6Bモデルから最新のKimi、GLM、DeepSeekモデルまで。もちろん、そのような10億パラメータ以上のモデルを分類に使用するのは、効率性の観点からは少し過剰かもしれませんが、まあ、可能です。

[

[画像: gpt-classify]

](https://substackcdn.com/image/fetch/$s_!z4j3!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fb41880c4-c2e4-4deb-b97b-13d82b47c8c7_4164x2928.png)

図20:前述のIMDb映画レビューデータセットでは、比較的小さなGPT-2 124Mモデルは約92%の精度を達成します。より大きく新しいLLM(最近のQwen3バリアントのような)は、おそらくより良いパフォーマンスを発揮するでしょう。

2.3 エンコーダー・デコーダー型アーキテクチャ

オリジナルのTransformerアーキテクチャ(エンコーダー・デコーダー)はエンコーダー型とデコーダー型の2つのパラダイムに分かれましたが、エンコーダー型モデル(BERTなど)とデコーダー型LLM(GPTなど)がありましたが、エンコーダー・デコーダー型バリアントを使用する取り組みもありました。最も最近のバリアントは(予想外にも)DeepSeek V4.1 Flashです。(ただし、この場合、T5のような双方向エンコーダーではなく、因果的エンコーダーです。)

分類のためのエンコーダー・デコーダーアーキテクチャに焦点を当てると、おそらく最も著名な候補は、Googleの2019年のT5 (Text-to-Text Transfer Transformer)です。

アーキテクチャ的には、T5とオリジナルのTransformerの違いには、アーキテクチャの更新(以下に要約)と、トレーニングの変更が含まれます。オリジナルのTransformerは言語翻訳(教師あり学習)を行うためにトレーニングされました。T5は、エンコーダーが欠落したスパンを持つテキストを受け取り、デコーダーがそれらの欠落したスパンを生成する、スパン破損による教師なしテキストでの事前トレーニングを使用します。

[

[画像: t5]

](https://substackcdn.com/image/fetch/$s_!EeEQ!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fb15fdb01-219a-4373-8b17-a15a9956436a_6256x4375.png)

図21:T5アーキテクチャのオリジナルのTransformerアーキテクチャからの変更。(アーキテクチャの図はAttention Is All You Needから引用)

これで、T5を上記の他のRNN、CNN、Transformerアプローチと同様に、分類ヘッドを追加して使用できます。

さらに、通常のLLMのように、デコーダーにクラスラベル予測(IMDb映画レビューデータセットの場合、「positive」または「negative」など)を出力させるように(トレーニングして)することもできます。このアプローチをテキスト・ツー・テキスト分類と呼びましょう。

GPTスタイルのLLMは大量のテキストでトレーニングされていますが、前述のように(便宜のために再度挿入された以下の図)、通常はそのままテキスト・ツー・テキスト分類をうまく実行します。

[

[画像: prompt-gpt]

](https://substackcdn.com/image/fetch/$s_!Rh-F!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F0be7e4aa-5436-46cf-8e85-809f776f39e1_4920x3189.png)

図22:GPTモデルでのテキスト・ツー・テキスト分類。

しかし、T5の場合、特定のターゲットドメインでこれらのタイプのタスクをうまく実行できるように、デコーダーをさらにファインチューニングすることが一般的です。

T5の場合、両方のアプローチが機能します。以下に概要を示します。

[

[画像: Classification head vs text-to-text approaches]

](https://substackcdn.com/image/fetch/$s_!bg1N!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fe2a84f80-0975-4ddc-aee6-d3579f50edc5_5046x1890.png)

図23:分類ヘッド対テキスト・ツー・テキストアプローチ。

3. Jevの概要

これまでに、Bag-of-words表現を持つロジスティック回帰やナイーブベイズのような伝統的な手法から、GPT-6のような最新のフロンティアLLMをプロンプトしたり、分類ヘッドを持つ任意のオープンウェイトLLMをファインチューニングしたりするなど、テキスト分類のための多くのアプローチを見てきました。

最初は、「単なる分類器」であり、自然言語入力を持つ分類タスク(例えば、私のAI Detector記事を最近の公開例として参照)を日常的に構築しているものだと、ほとんど無視していました。

3.1 Jev対既存のテキスト・ツー・テキスト分類

この議論を続ける前に、まずJevの簡単な概要から始めましょう。JevはTypeSafe AIによってリリースされた新しいモデルです。数週間前にステルスモードから抜け出し、多くの注目を集めました(最初は分類器のように見えるため、少し奇妙に見えました)。

Jevはプロプライエタリなモデルです(ただし、リリース後すぐに多数のオープンソースクローンが登場しましたが、それについては後述します)。比較的安価に使用でき、GPT-5.6 Luna(意思決定用)と同等でありながら、桁違いに高速かつ安価であると主張しています。

ここで、GPT-Lunaに関しては、前述のテキスト・ツー・テキスト分類アプローチと考えてください。

では、なぜこれほど話題になっているのでしょうか?私は、APIが優れており、あらゆる種類のタスクで非常にうまく機能するため、カスタムファインチューニングを必要としないことが理由の一部だと思います。

例えば、サポートチケット/メールの分類に使用できます(応答時間を示すためにビデオ版を作成しました)。

または、同じモデルにリアルタイムでテトリスをプレイさせることもできます(ここではChoice APIを使用しています)。

簡潔に説明する最良の方法は(技術的な詳細に入る前に)次のとおりです。2022年のChatGPTが、あらゆる種類のテキストを生成できる汎用チャットモデルとしてエキサイティングだったように、技術コミュニティがJevに興奮している理由の1つは、それが分類におけるChatGPTの瞬間であり、各タスクにカスタム分類器をファインチューニングする必要なしに、あらゆる種類のテキスト入力を安価に分類できることです。

(この記事の執筆時点では、アーキテクチャや正確なトレーニングアルゴリズムについては、創業者の1人が「Reinforcement Learning for Calibrated Decisions」でトレーニングされたと述べたこと以外、ほとんど知られていませんが、それについては後述します。)

3.2 Jev API

過去数年間、私たちはあらゆる種類の問題に対して、より大きく、より良く、より高価なGPTスタイルのLLMを投入することに慣れてきました。ターゲットを絞った意思決定や分類タスクの場合、Jevのような安価で高速なアプローチは、ほとんどの人にとって新鮮に感じられるかもしれません。特に、トレーニングデータを収集してカスタムModernBERTをファインチューニングするのが面倒すぎるような、一度きりのタスクでは、Lunaのようなモデルを投入するかもしれません。

しかし、その汎用性(つまり、さまざまなターゲットドメインでそのままうまく機能すること)で人気があるだけでなく、Jevはターミナルでcurl経由またはPython API経由で使用できる比較的優れたAPIも備えています。

要するに、以下に示す3つの主なAPIタイプがあります。まず、マルチクラス分類に便利なChoice APIから始めましょう。

[

[画像: jev-choice]

](https://substackcdn.com/image/fetch/$s_!SzWL!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F4ac35084-507b-4f08-856c-dd449f43ebf2_6461x3353.png)

図25:JevのChoice API。マルチクラス分類に使用します。

次に、よりシンプルで、質問に「はい」の確率を割り当てるNoul APIです。

[

[画像: jev-noul]

](https://substackcdn.com/image/fetch/$s_!8qtX!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fb63ec307-8be5-48c5-a0f3-21dbe461c78d_6461x3353.png)

図26:JevのNoul API。バイナリ分類またはマルチラベル分類(複数のNoul質問を使用)に使用します。

最後に、Score APIは、ルーブリックレベル(以下の例では0、1、2)に基づいてスコアを割り当てます。

[

[画像: jev-score]

](https://substackcdn.com/image/fetch/$s_!4RFc!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fb3eb167e-451f-4bb8-8c8d-4da0a781ab5d_6461x3354.png)

図27:JevのScore API。順序分類に使用します。

要約すると、さまざまなAPIとユースケースは次のようになります。

[

[画像: jev-api-table]

](https://substackcdn.com/image/fetch/$s_!QQ6G!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fe962a588-c3d3-453a-9e1a-abfccfd4e7b7_4455x1747.png)

図28:Jev APIチートシート。

3.3 JevによるIMDbの分類

これらのAPIをより具体的にするために、そしてJevが前述のIMDbデータセットでどの程度うまく機能するかを調べるために、Choice APIまたはNoul APIのいずれかを使用して実行できます。

まずChoice APIから始めましょう。各レビューは次のようにフォーマットされます。

このChoice APIは、バイナリ(ここでは)またはマルチクラスの問題に明示的なラベルを使用したい場合に便利です。

実際のエラー応答は次のようになります。

"choice": "positive"ラベルに加えて、この予測の信頼度も取得できます。これは実際のアプリケーションで非常に役立ちます。また、各クラスの確率も取得できます。(信頼度フィールドは、確率分布の集中度を要約します。これは、勝ったクラスに割り当てられた確率とは異なります。)Jevのセールスポイントの1つは、ドキュメントによると、これらが適切に調整されていることです(ただし、調整については後述します)。

または、ここでNoul APIを使用してレビューを分類することもできます。同じ映画レビュー分類のコンテキストを使用して、フォーマットは次のようになります。

そして、Noul API経由での応答は次のようになります。

(興味深いことに、同じテキストであるにもかかわらず、positiveクラスに対して1.0ではなく0.98を返しています。)

また、例えば1つのクラスにつき1つの質問をすることで、Noul APIを複数のクラスに適用することもできます。

  • 「この記事は金融に関するものですか?」

  • 「この記事は政治に関するものですか?」

  • 「この記事はテクノロジーに関するものですか?」

ここでは、各質問(互いに独立して)が確率を返します。これらの確率は合計で1になる必要はありません。したがって、各テキストが複数のラベルを持つ可能性のあるマルチクラス分類ではNoulを好むかもしれませんが、1つの最終的な回答しかない分類問題では、Choiceの方が便利です。

さて、ChoiceまたはNoulのいずれかで25,000の映画レビューのテストセットに対してJevを実行した結果は次のとおりです。

  • Choice:

    • 精度 96.47%(24,117件正解)
    • 合計実行時間:22分24秒
    • 15,456,663入力トークン、$0.6492の合計コスト
  • Noul:

    • 精度 96.20%(24,050件正解)
    • 合計実行時間:23分3秒
    • 15,106,663入力トークン、$0.6345の合計コスト

ChoiceとNoulのパフォーマンスと実行時間のわずかな違いは、他のLLMと同様に、実行が完全に決定的ではないため、ランダムな変動によるものである可能性があります。

例えば、Choice APIを同じテストセットで2回実行したところ、以下のようによりわずかに異なる結果が得られました。

[画像: jev-repeated]

図29:Jevの繰り返し実行。

(LLMやその他のモデルを大規模に提供する際の非決定性は、Horace Heが昨年書いたブログ記事で説明されているように、バッチ依存のGPUカーネル実行が浮動小数点演算の順序を変更することに起因する可能性が高いです。)

とにかく、全体的に結果はかなり良好に見えます(注意:IMDbテストセットがトレーニングセットに含まれていたかどうかは不明です)。

参考までに、ModernBERTモデルは以下のような結果でした。

  • トレーニングセットでのファインチューニングに23分。
  • テストセットでの評価に7分。

比較すると、最高のModernBERTモデルは同様の精度を持っています(以下の図を参照)。(追加のハイパーパラメータチューニングでさらに1〜2%精度を向上させることができると予想されます。)これはDGX Sparkで実行されたものであり、量子化とより高速なハードウェアを使用すれば、より高速な推論パフォーマンスが得られる可能性があります。

[

[画像: bert-vs-jev]

](https://substackcdn.com/image/fetch/$s_!mnNk!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F9933df13-7e9b-4144-86f3-b53781791e85_4776x2169.png)

図30:ModernBERT対Jev。

しかし、私たちのModernBERTモデルはテトリスをプレイできません。例えば、ファインチューニングしない限り、映画レビュー分類以外のことは何もできません。しかし、GPT-5.6 LunaまたはGPT-6 Lunaモデル(これは少し遅く、より高価です)を投入することはできました。

古典的な経験則は次のとおりでした。

  • 一度きりの意思決定タスクには、安価なLLM(GPT-6 Lunaなど)を使用する。
  • タスクを繰り返し実行したい場合は、カスタム分類器をファインチューニングする。

ここで、Jevのようなものは上記を置き換えることができます。a)Lunaよりもレイテンシを削減し、コストを節約し、b)カスタムモデルをファインチューニングする手間を省くことができます。(ただし、非常に高ボリュームのタスクがあり、非常に特定のタスクで速度と精度を最大化したい場合は、もちろんファインチューニングすることが依然として理にかなっています。)

4. Jev APIを備えたBERTおよびGPTスタイルのモデル

もちろん、(Modern)BERTまたは任意のGPTスタイルのモデルの上にJevライクなAPIを追加することもできます。JevライクなAPIを追加するのは非常に簡単です。実際、Jevがリリースされるとすぐに、私はJevライクなModernBERTモデルを構築して、どれほど簡単かを示しました。

私はJevクローンをリリースしないことにしました。なぜなら、その間に考えを変えたからです。つまり、ModernBERTの上にJevライクなAPIを配置するのは簡単で、多くの分類タスクでファインチューニングするのも簡単です。しかし、広範なトレーニングとテストなしで、このモデルをさまざまなタスク(テトリスのような)でうまく機能させることは簡単ではありません。(また、すでに多くの迅速なJevクローンが誇大広告に乗っています。世界はもう1つの迅速なクローンを必要としていませんが、強力なオープンウェイトバージョンがあればもちろん良いでしょう。)

しかし、そのレトロフィットがどのように機能するかに関心がある場合は、簡単な概要を以下に示します。例えば、前述のGPTモデルの変更で示したように、BERT、GPT、またはT5スタイルのモデルに小さな分類ヘッドを追加することで、JevライクなChoice APIを実装できます。しかし、このヘッドの出力ノードをクラス数に合わせるのではなく、1つの出力ノードを持つようにします。

[

[画像: gpt-1node]

](https://substackcdn.com/image/fetch/$s_!Doyz!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fdd09a503-5698-4cc1-8692-7a9bcb81ffba_1943x1931.png)

図31:出力層(語彙全体にマッピングする)を1つのノードを持つ出力ヘッドに置き換えたGPTモデル。

以前は、映画レビュー分類のような特定のタスクで、事前に定義されたクラスラベル数(ここでは「positive」と「negative」)でこれらのモデルをファインチューニングすることについて議論しました。この「1出力ノード」の設定では、これを柔軟で任意の数のクラスに拡張できます。

これを任意の数のクラス(顧客チケットを「billing」、「technical」、「account」の3つのカテゴリに分類する3クラスの場合を考えます)に拡張するには、以下の図に示すように行うことができます。

[

[画像: jev-diy]

](https://substackcdn.com/image/fetch/$s_!kK4c!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F4a0ef4b0-2afd-4ba9-9be5-95440b50b2aa_6723x3497.png)

図32:Jevライクなchoice APIを持つBERTまたはGPTスタイルのモデルの使用。

上記の図に示すように、各候補オプションについて、モデルに入力テキスト、タスク指示、および候補の説明を供給します。分類(スコアリング)ヘッドは、出力表現を単一のスカラー値にマッピングします。次に、候補スコア全体にソフトマックスを適用して確率分布を取得し、最も確率の高いオプションを返します。

このヘッドはクラスごとに1つの出力を持ちます。各クラスの説明は独自の表現を生成し、同じヘッドが(基本的にロジスティック回帰モデルである)出力層を介してスコアリングします。

(s_i = w imes h_i + b)

ここで、

  • si はクラスラベル i のスカラー値です。
  • w は学習可能な重みです。
  • b は学習可能なバイアスユニットです。
  • hi は分類ヘッド前のTransformerの出力です。

N個の候補に対して、これはN個のスコアを生成します。次にソフトマックスがN個の確率を返します。学習されたパラメータはNが変化しても同じままです。

hi については、

  • BERTスタイルのエンコーダーモデルは、[CLS]トークンの最終隠れ状態を使用します(オプションでプーリング層を通過させます)。
  • GPTスタイルの自己回帰モデルは、通常、最後の非パディングトークンの隠れ状態を使用します。これは、前述の自己回帰的な性質のため必要です(最後の非パディングトークンは、先行するテキスト、指示、および候補の説明にアテンションを向けることができます)。

次に、モデルとスコアリングヘッドを、正解オプションに対するクロスエントロピー損失を使用して共同でファインチューニングします。すべての候補が同じスコアリングヘッドを共有するため、アーキテクチャを変更せずにオプションの数と説明を変更できます。しかし、繰り返しますが、未知のタスクでこれがどれほどうまく機能するかは、トレーニングデータに依存します。

ところで、なぜ単純なRNNやCNNアーキテクチャ(前述)よりもBERTまたはGPTスタイルのTransformerベースのモデルなのでしょうか?技術的な観点からは、上記のアプローチはどちらでも機能します。しかし、Transformerベースのモデルは非常にうまくスケールします。つまり、より大きなデータセットで事前トレーニングでき、他のモデルよりも多くのメリットを得られます。また、アテンションのおかげで、コンテキストで提供される情報をうまく活用できます。したがって、各タスクで明示的にファインチューニングすることなく、さまざまなターゲットタスクにうまく汎化させたい場合、高品質なデータセットでTransformerベースのモデルを事前トレーニングすることが、RNNまたはCNNベースのモデルよりも近づく可能性が高いです。

5. Jevのアーキテクチャとトレーニングアルゴリズム

では、Jevはなぜこれほど多くの異なるタスク(映画レビューからテトリスのような任意のタスクまで)でうまく機能するのでしょうか?残念ながら、アーキテクチャ、アルゴリズム、およびトレーニングデータの詳細は公開されていません。また、このモデルの背後には、それに特化し、懸命に努力したチームと数百万ドル規模の会社があることを忘れないでください。数週間、オープンデータセットでModernBERTのようなモデルをトレーニングしても、そのレベルのパフォーマンスに匹敵することは期待できません。

とはいえ、教育的な推測をするとすれば、アーキテクチャ的には、ModernBERTに似た小さなものを使用していると推測します。したがって、レイテンシが低いのです。

トレーニングデータについては、前述のように、TypeSafe AIのCEOは次のように述べています。

私たちのデータの100%は合成です(ただし、LLMから単に出力されたようなゴミではありません)。

そう、私はほとんどの努力がこのデータセットのキュレーションに費やされたと考えています。これは私も長年、学生や共同研究者に説いてきたことです。短い逸話として、約8年前に、社会科学部の別の教授と協力し、テキスト分類問題の実験設定を設計するのを手伝いました。彼女の学生は、Bag-of-wordsベースラインとBERTモデルの両方でハイパーパラメータチューニングに数日を費やし、約2〜5%の精度を引き出しました。その後、数日間座って、より多くのデータを手作業でラベル付けすることを提案しました(元のデータセットは約300サンプルで、サイズを倍増させました)。これにより、精度が10〜20%以上向上しました。はい、その目的のために学習曲線を描くことは重要です。

[

[画像: learning-curve]

](https://substackcdn.com/image/fetch/$s_!RRQL!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fcfa6e6db-1008-4418-b319-41f1bba35410_6020x2962.png)

図33:多くの場合、追加のハイパーパラメータチューニングよりも、より多くのデータが役立つことを示す経験則。

最後に、トレーニングアルゴリズムです。これも詳細が不明ですが、TypeSafe AIのブログ記事では、Reinforcement Learning for Calibrated Decisions(RLCD)と呼ばれる新しいアルゴリズムを使用していると述べています。

「自動化に完全に焦点を当てた新しいスタックを構築しました。新しいモデルアーキテクチャ、最大の効率のための並列サンプラー、そしてReinforcement Learning for Calibrated Decisions(RLCD)と呼ぶトレーニング方法を備えています。」

この方法は公開されていません。同様のキャリブレーション目的を持つ公開されている方法として、RLCR(Reinforcement Learning with Calibration Rewards)があります。これは2025年の論文Beyond Binary Rewards: Training LMs to Reason About Their Uncertaintyで紹介されました。(両メソッド間に公式な関連性はありませんが、関連性がある可能性があると仮定しています。)

5.1 キャリブレーションについて

キャリブレーションは新しいトピックではなく、クラスメンバーシップ確率を使用および評価したい本番モデルに推奨するステップです。要するに、キャリブレーションは、モデルの確率推定値を、観測されたクラス頻度とよりよく一致するように調整します。

例えば、IMDb映画分類問題に戻りましょう。モデルは、レビューに74%のポジティブ、26%のネガティブと割り当てるかもしれません。これらは確率推定値ですが、モデルは過信または過小評価している可能性があります。キャリブレーションを評価せずに、数値が信頼できると仮定することはできません。つまり、74%ポジティブと54%ポジティブという予測は、どちらも50%の閾値で「positive」というクラスラベルを生成しますが、モデルは74%の場合により多くの自信を示しています。

[

[画像: calibration]

](https://substackcdn.com/image/fetch/$s_!k414!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F642f91a5-0550-4d6d-8f70-85a1b77330c7_5046x2578.png)

図34:キャリブレーションがどのように機能するかを示すイラスト。

キャリブレーション技術は、これらの確率推定値を調整するために、別のラベル付きデータセット、例えば保持された検証セットを使用します。正常なキャリブレーションの後、約74%のポジティブ確率が割り当てられた多くのレビューのうち、約74%が実際にポジティブであるはずです。詳細については、古いscikit-learnドキュメントをお勧めします。

これには多くの方法があります。例えば、私がAI detectorプロジェクトで使用した方法の1つは、温度スケーリングです。温度スケーリングは、ソフトマックスを適用する前に、モデルのロジットを温度(T)値で割ります。モデルの重みを固定したまま、キャリブレーションデータセットでクロスエントロピー損失を最小化することによってT(正の数)を学習します。温度が1より大きいと、最も確率の高いクラスの信頼度が低下し、0から1の間だと信頼度が上昇します。その後、新しい予測にも同じ温度を使用します。このスケーリングはロジットの順序を保持するため、最も確率の高いクラスを選択する際に、予測クラスは変更されません。

5.2 強化学習とキャリブレーション報酬(RLCR)

JevのRLCDトレーニング方法はプロプライエタリなままですが、議論できる関連するアイデアは、2025年の論文Beyond Binary Rewards: Training LMs to Reason About Their Uncertaintyで紹介されたReinforcement Learning with Calibration Rewards(RLCR)です。(両メソッド間に公式な関連性はありませんが、関連性がある可能性があると仮定しています。)

検証可能な報酬付き強化学習(RLVR)は、通常、正しい答えには1、間違った答えには0で報酬を与えます。(包括的な説明と実装については、私のBuild A Reasoning Model (From Scratch) bookを参照してください。)

要するに、RLCRは不正確な信頼度推定値に対する追加のペナルティを課します。

したがって、従来のRLVRメソッドでは、報酬Rは、答えの正誤に基づいて0または1になります(簡潔にするために、オプションのフォーマット報酬と長さペナルティは無視しています)。

RLCRでは、モデルは推論と答えを生成し、それに続いて不確実性分析と数値的な信頼度(q)が行われます。この変更された報酬は次のようになります。

(R = c - (q - c)^2,)

ここで、cは正しい答えの場合は1、それ以外の場合は0です。例えば、90%(0.9)の信頼度で間違った答えは、報酬-0.81を受け取ります。

(0 - (0.9 - 0)^2 = -0.81.)

20%の信頼度では、報酬は-0.04です。そして、90%の信頼度で正しい答えは0.99を得ます。(キャリブレーションされたモデルの評価に精通している読者は、二乗誤差項が、答えが正しいという表明された確率に対するBrierペナルティであることに気づくかもしれません。)

[

[画像: RLCR training loop]

](https://substackcdn.com/image/fetch/$s_!CodI!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F23d71def-2f99-4f25-a66e-9ee6e656c6d8_6070x2504.png)

図35:RLCRの概要。

同じ(ここではQwen2.5-7B)モデルが、応答の一部として不確実性分析とqを生成することに注意してください。

不確実性分析は、答えがどこで間違っている可能性があるかについての書面による評価です。答えた後、モデルは証拠の欠落、曖昧な言葉遣い、疑わしい仮定、または可能性のある推論エラーを調べます。論文のプロンプトは、修正を提案するのではなく、特定の不確実性を特定するように求めています。

また、システムプロンプトは明示的にタグ内に0から1の間の数値であるqを要求します。これは、答えが正しいというモデルの推定確率を表します。システムは、これらのすべての部分を同じ応答で逐次的に生成します。

例として、モデルの答えは次のようになります。

<think>...質問に関する推論...</think>
<answer>positive</answer>
<analysis>
この文章は肯定的な映画レビューに言及していますが、第2段落との関連性は不明です。
</analysis>
<confidence>0.6</confidence>

以下は、論文からの注釈付き図であり、通常のRLVRと温度スケーリングと比較して、期待キャリブレーション誤差をどのように改善するかを示しています。

HotpotQAでは、RLCRは、同程度の精度(62.1%対63.0%)で、RLVRと比較して期待キャリブレーション誤差(ECE)を0.37から0.03に削減します。他の6つのデータセット全体で、平均ECEは0.46から0.21に低下し、精度は53.9%から56.2%に上昇します。これらは論文の表1(a)の結果です。

概念的には、「RLVR + Classifier」の「Classifier」は、生成された答えが正しいかどうかを予測する教師あり二項分類器です。

Jevの場合、推論テキストを生成することなく、型指定された決定にキャリブレーション報酬を直接適用できます。例えば、セクション2.2で示した分類ヘッドをGPTスタイルのモデルに装備し、RLトレーニング目的を、正確な決定と調整された確率に報酬を与えるように適応させることができます。バックボーンと分類ヘッドを一緒にトレーニングします。これはRLCRに触発された適応であり、JevのRLCDがこのように機能するかどうかは不明なままです。

あるいは、Direct Policy Optimization(DPO)が強化学習(RLHF)のクロスエントロピー(CE)代替であるため、CE + Brier損失を分類器の確率で直接最小化することもできます。私はこれをModernBERTモデルで行い、通常の温度スケーリングよりもわずかな改善が見られました。

[

[画像: rlcr-brier]

](https://substackcdn.com/image/fetch/$s_!LD_H!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F420c9874-1fe8-4a87-9c7d-483966e77879_6239x2423.png)

図37:RLCRに触発されたBrier損失最適化によるModernBERTの改善。↑記号は高いほど良いことを意味します。↓記号は低いほど良いことを意味します。

(簡潔にするために、上記の図は9つのデータセット全体の平均結果のみを示しています。全体として、キャリブレーションは平均して有益であったことがわかります。しかし、9つのデータセットのうち1つではECEがわずかに悪化しました。)

5.3 余談:キャリブレーションは必要か?

クロスエントロピーはすでに正確な確率推定値を奨励しています。理想的な条件下では、追加のペナルティなしで調整された予測を得るのに十分です。

つまり、映画レビュー分類に類似した単純なコイン投げの例を使用すると、2つのクラスは「表」と「裏」です。もしそれが80%の確率で表が出るバイアスコイン(期待値)であれば、真の確率は80%の表と20%の裏です。代表的なトレーニングセットでは、クロスエントロピーを最適化するとき、モデルはクロスエントロピー(負の対数尤度)を最小化する副作用として、これらの確率をすでに学習します。

したがって、要するに、モデルが真のクラス確率を学習する場合、その予測は調整されており、追加のペナルティは不要です。(そして、Brier損失は、GneitingとRafteryによるStrictly Proper Scoring Rules, Prediction, and Estimation(2007)に記載されているように、クロスエントロピーと同じ理論的最適値を持っています。)

しかし、実際には、私たちは常に期待値の真の最適値までトレーニングするのではなく、有限のデータセットでトレーニングします。

したがって、ニューラルネットワークがほとんどのトレーニング例を正しく分類すると、トレーニングセットでクロスエントロピーをさらに減らすことができます。これらの信頼度推定値は、テストセットや新しいデータにはうまく汎化しない可能性があります。

例えば、On Calibration of Modern Neural Networksで、Guoらは「ニューラルネットワークは、0/1損失には過学習しないが、NLLには過学習する可能性がある」と観察しました。

これは、テスト精度が向上し続けても、テストクロスエントロピーが悪化する可能性があることを意味します。したがって、分類精度が向上し続けても、過学習は確率推定値に現れる可能性があります。

Brier損失を追加すると、トレーニング中に予測エラーの重み付けが変わります。しかし、これがキャリブレーションを改善するかどうかは、もちろん、保持されたデータで確認する必要があります。(私の実験でのわずかな改善は、この設定での経験的な観察であり、Brierを追加することが常に役立つと仮定すべきではありません。)

私の実験では(前の図を参照)、クロスエントロピーにBrier損失を追加しても、わずかな追加のキャリブレーション効果しか得られませんでした。

しかし、RLCRで説明されているようなRLコンテキストでは、答えの正誤を測定し、すでにクロスエントロピーを最小化していないため、動機はより直接的です。したがって、RLコンテキストでは、Brier項は、答えの正誤に対する報酬とともに、正確な信頼度を報告するようにインセンティブを与えます。

6. Jevは誰のためか?

Jevについてかなりの詳細をカバーしたので、Jevは誰のためでしょうか?私の評価に基づくと、a)各意思決定タスクのためにカスタム分類器をファインチューニングする手間を省きたい人、およびb)GPT-6や同様のLLMのような「ビッグガン」を使用するよりもコストを節約したい人の両方が交差する、かなり大きなターゲットオーディエンスです。

考えるべき興味深いユースケースもたくさんあります。以下のセクションには、アイデアの短いリストがあります。

6.1 Jevのユースケース

ユースケースのリストは無限にあるようです。確かに、ビデオゲーム(以前のビデオでAPIの低レイテンシを示すために示したように)をプレイさせるような派手な例もあります。しかし、ほとんどの人にとっては、メールのソートがより実用的な選択肢です。例えば、Jevを追加のスパムフィルタ、優先順位付けなどに使用できます。

しかし、そのようなもの以外にも、LLMエージェントハーネスを拡張するツールとしても機能する可能性があります。ここでは、次のように使用できます。

  • プロンプトインジェクションのためにコンテキストをスキャンするための、通常のLLMエージェントハーネスの事前スクリーナーとして。
  • モデルの推論努力レベルを選択する。
  • 登録済みのスキルライブラリからskill.mdを選択する。
  • 評価または自己改善のためのジャッジとして使用する。
  • コンテキスト構築のための関連ファイルを見つける。

リストは事実上無限です。誰かがarXivに、わずか数日で出現した2,170のJev関連プロジェクトを分析した調査を投稿しました。

6.2 JevクローンとローカルJevについて

Jevのリリース以来、数百、あるいは数千もの迅速なJevクローンが出現しています。私がチェックしたほとんどは、ModernBERTまたはQwenモデルをSFTでファインチューニングし、JevライクなAPIを追加した簡単な例でした。

私がわかる限り、それらのどれも、Jevのような幅広いタスクでのパフォーマンスレベルを達成していません。これらのプロジェクトとJevを比較することは、Alpaca(オリジナルのLLaMAオープンウェイトモデルに基づいた初期のインストラクションファインチューニングLLM)とGPT-6を比較するようなものです。確かに、精神的には似たように機能するかもしれませんが、実際のタスクでは結果は異なるでしょう。

悪気はありませんが、それらは誇大広告に乗るための迅速なプロジェクトのように見え、私は特定のものをここに紹介したくありません。

例外としては、約3年前から存在するGLiNERプロジェクトがありますが、根本的に同じではありませんが、同様の目的で使用できます。しかし、ベンチマークに基づくと、Jevは間違いなく強力です。

とにかく、良いオープンウェイトのJev代替に対する真のニーズと願望は間違いなくあります。その理由は必ずしもコストではありません(Jevは非常に安価なので)。プライバシーです。(また、Jevがすでにインターネット経由でそれほど高速であれば、強力なローカルハードウェアでどれほど高速になるかを想像してみてください。)

したがって、DeepSeek(またはKimi、GLM、MiMo)のJev版があればと思います。人々がこれに取り組んでいると確信していますが、時間がかかるでしょう。TypeSafe AIは、専任の専門家チームと数ヶ月間これに取り組んでいました。この開発と評価作業を1週間で再現できると期待するのは非現実的です。(ただし、これは1兆パラメータモデルよりも小さく、より効率的なモデルであるため、本質的にそれほど時間はかからないはずです。)

更新1(太平洋時間 9月29日 午前10時20分): OpenAIは、DevDay 2026カンファレンス(9月29日)でDecision APIを発表しました。これは、Lunaのインテリジェンスをユーザー定義の特定の質問セットに集中させる、Jevライクなモデルのようです。

Decisions APIは、Lunaのインテリジェンスをユーザー定義の特定の質問セットに集中させることで、リアルタイムの意思決定を可能にします。開発者はテキストまたは画像を使用してコンテキストを提供し、コンテンツを分類したり、リクエストをルーティングしたり、エージェントの次のアクションを選択したりするために使用できる回答を取得します。

本日、限定プレビューで利用可能になり、数日以内に一般公開される予定です。

[

[画像]

](https://substackcdn.com/image/fetch/$s_!nILp!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Ffecf4d0d-2865-4ad1-8322-24f27fc3d323_1840x876.png)

図39:OpenAI Dev Dayで発表されたOpenAIのJevライクなDecision API。

更新2: ある読者がコメントでContrastive Language Modelsプロジェクトを共有してくれました。これは、より見栄えの良いJevライクの1つです。試してみたところ、IMDbテスト精度はわずか82.90%(Jevでは96.47%以上)であり、テトリステストに失敗しました。

別の読者は、強力な候補であるLayaについて言及しました。IMDbではより良い結果(92.33%のテスト精度)を出しましたが、テトリステストではさらに悪く失敗しました。

したがって、私の主張は依然として有効です。多くの堅実な代替手段があります。しかし、Jevがこれほど人気があるのは、ユニークなアイデアではなく(前述のように、分類器は長い間存在していました)、多くの多様なタスクで非常にうまく機能するという事実です。唯一、 allegedly うまく機能しないタスク(読者から聞いた話)は、非英語言語での法的レビューです。(しかし、弱い多言語パフォーマンスは、安価な翻訳モデル(例:GPT-6 Lunaにわずかなレイテンシオーバーヘッドを追加)に接続することで回避できます。)

結論

全体として、一見すると、Jevは根本的に新しいものを提供していないように見えます。結局のところ、「単なる分類器」(その上に素敵なAPIが追加されているだけ)と言う人もいるかもしれません。しかし、それは驚くほど幅広いタスクでうまく機能します。その意味で、それは専用分類器のプラグアンドプレイバージョンです。

確かに、専門家は依然として専門モデルをファインチューニングするでしょうが、JevまたはJevライクなものを投入して十分な結果を得ることが容易になったため、専門モデルをファインチューニングすることを正当化するハードルははるかに高くなりました。

また、JevとJevライクが新しい能力を解き放ったり、以前は解決できなかったタスクを解決したりするようになるとは予想していません。しかし、そのようなモデルをエージェントハーネスの一部にして、そのハーネス内の意思決定を支援するために高価なGPT-6またはOpus 5.5モデルを補助する場合、将来的にエージェントハーネスの使用ははるかに高速かつ安価になる可能性があります。

この記事が役に立った場合は、有料購読者になることを検討してください。あなたのサポートは、このような記事の背後にある実験や詳細なイラストに、より多くの時間を費やすのに役立ちます。

また、これらの概念を自分で実装したい場合は、私の書籍Build a Large Language Model (From Scratch)とBuild a Reasoning Model (From Scratch)を通じて私の仕事をサポートすることもできます。(すでにコピーをお持ちの場合は、レビューを残すことも大いに役立ちます。)

読んでサポートしていただきありがとうございます!

投稿なし