ドメインに登るべき丘を与える：ベンチマーキングをデータアクティベーションとして

ベンチマーキングは新しいデータアクティベーションです 03 Jul 2026 ベンチマーク、評価、ヘルスケア、データアクティベーション この投稿を聞く 0:00 0:00 1× 最適化可能な指標を与えてくれれば、世界を動かしてみせる。 ベンチマーキング、つまりベンチマークを構築し適用する行為は、新し（い）データアクティベーションの形態です。ドメインデータを、モデルが測定され、ランク付けされ、最終的にはトレーニングされるものに変える方法です。以前、データアクティベーションについて書きましたが、それに立ち返りたいと思います。なぜなら、ベンチマーキングは、私が当時目指していたものの、よりクリーンな例の一つだと思うからです。 モデルが実際に良くなる場所から始めましょう。大規模言語モデルが最も速く進歩し、進歩し続けている場所は、検証可能な「登るべき丘」がある場所です。まずコーディング（おそらく最も検証可能なタスク）、次に数学、そして明確な目標を持つ最適化問題です。共通する糸は、最適化に意味を持たせるのに十分なほどターゲットを追跡する指標です。アルキメデスは立つ場所を求めていました。ベンチマークはそのような場所の一例です。 ほとんどの複雑なドメインには、その丘がありません。私が気にかけている医療や生物学は、本来それを持っていません。基盤が乱雑で、縦断的で、ほとんどコードのようにモデルの入力空間にないのです。したがって、RLの仕組みの前に、興味深い質問は、そのドメインにそもそも丘を与えることができるかどうかです。 私が始めたい最初の（そして最も基本的な）洞察は、測定できるだけで、すでに基本的なアクティベーションの形態であるということです。ヘルスケアデータ（構造化された記録、ワークフロー、既存の情報）を取り上げ、モデルに対してスコアリングできるもの（このシステムが実際に何を知っていて、どこで失敗するのか）に変えれば、モデル内の何も変わっていなくても、そのデータから価値を引き出したことになります。これは、データが重みへの監督として入ることを意味した、最初の投稿の「アクティベーション」よりも緩い意味合いです。ここでは、データは、モデルが測定され、選択され、最終的にトレーニングされる表面になることによってアクティベートされます。現在、ヘルスケアに関しては、この最初の部分でさえうまくできないことがほとんどです。「これらのモデルは何を知っているのか」という良い答えがなく、それに答えられること自体に価値があります。陳腐な言葉は（私が望む以上に）当てはまります。測定できないものを改善することはできません。 検証者は、一歩進んで、それが自己完結するのと同じ動きです。ベンチマークが強化学習を実行できる環境でもある場合、スコアは単なる事後報告ではなくなります。それは報酬になります。モデルを測定することと、それを改善することは、順序立てて行う2つの別々のことではなくなり、同じ基盤を共有します。その結合が力であり、危険でもあります。ベンチマークが優れているほど、トレーニング信号はより有用になります。ベンチマークが悪ければ悪いほど、間違ったものをより忠実に最適化します。 これらは、苦い教訓（bitter lesson）との議論ではないと思います。それはそれとは直交しています。苦い教訓は、スケールが利用可能になれば一般的な方法が勝つと言っています。その下の質問は、最初にくる質問です。そのドメインは、スケールが「行く場所」があるような形になっているのか？コードと数学はそうです。医療は、ほとんどの場合、そうではありません。したがって、仕事の一部は、乱雑なドメイン素材をチェック可能な結果を持つタスクに変換することであり、ベンチマーキングはその変換を行う方法の一つです。 最近、このように表現しましたが、今でも気に入っています。ドメインがすでにスケールがそれを消費できる形になっている場合もあれば、仕事はドメインをスケールが牽引力を持つ形に変える場合もあります。 では、実際に新しいのは、強化学習ではなく、本来言語やコードではなかったドメインにRL-over-verifiers（検証者に対するRL）が到着したことです。そのようなスコアリングサーフェスを構築する方法は複数あり、それらは相互に交換可能ではありません。それらをいくつかの軸で配置すると役立ちます。グラウンドトゥルースがどこにあるか、構築コストはいくらか、そしてそれが実際に気にかけているものからどれだけ離れているかです。 一方の端には、latchbioのアプローチがあります（SpatialBench-Longが私が最近読んだ最も明確な例です）。ここでは、グラウンドトゥルースは生データ自体から再構築されます。エージェントに生またはほぼ生のデータと、科学者が最初に知っていることを近似するために十分な校正されたコンテキストを与え、結論とその結論に至るパスの両方を採点します。特別なソースは、元の論文からの主張が候補であり、データに対して再チェックされてから回答として許可されることです。これは高価であり、現実のものに最も近いです（医療でこれを正確に行う方法は一種の未解決の問題であり、それを大規模に行う方法はまったく新しい問題です）。 中央には、HealthBenchのアプローチがあります。医師が書いたルーブリックに対して会話を評価します。作業単位は臨床的な回答の質です。応答は関連する問題を捉え、安全に伝え、害を避け、過剰を避けたか？それは実際の臨床作業であり、生データから主張を再構築するよりもはるかにスケーリングが容易です。しかし、最先端のモデルをランク付けする際には、シグナルはスタイルに偏り、すぐに飽和します。 軽量なエンド（しかし価値がないわけではありません！）では、MedMarksのアプローチがあります。ほとんどが多肢選択式で、検証者環境としてラップされているため、直接トレーニングできます。最も再利用可能で、生成が最も簡単で、臨床作業が実際に行われているものから最も離れており、汚染が最も容易です。 QuestBenchは別の理由で興味深いです（前回も言及しました）。これらの軸では特別な場所にはありません。なぜなら、その下では、ほとんどがまだ多肢選択式だからです。 盗む価値があるのは概念です。それは2つのことを尋ねます。モデルは情報が欠落していることに気づくことができるか？そして、それが提供されたらその情報を使用できるか？後者は通常の推論QAです。前者は私が気にかけているものです。なぜなら、多くの実際のタスクは、回答が始まる前に失敗するからです。システムは、知る必要があることを知らないのです。これは医療QAにほぼ直接マッピングされ、見えるビネット（vignette）は、どの事実が重要かを知ることのアップストリームの臨床作業を隠しています。 一部の医療QAは、制約充足問題のように形作られるべきではないかと常に考えています。どの欠落している事実が鑑別診断を分割するか、現在の処置を除外するか、管理を変更するか？すべてではありません、明らかに。しかし、有用な作業の多くは空間を狭めることであり、私たちのベンチマークのほとんどはその部分をテストしていません。 これのどれも、基盤となるデータ作業を容易にするものではありません。「複雑なデータから価値を「採掘」することは、これまで以上に容易になりましたが、それでも困難です。そして、私がこれまで見た最も印象的な作業、latchbioスタイルの作業は、最も高価でもあります。専門家グループが複雑なプロセスを手作業で分解しています（そしてその「コスト」は手がかりです）。なぜなら、コストはキュレーションであり、キュレーションはまさに私が問題を抱えていると主張したところだからです。 キュレーションのすべてにおいて、問題は、ベンチマークが、専門家の判断がすでに多くの判断をアップストリームで行った後に、臨床推論を測定すると主張できることでした。ビネットはタスクのように見えますが、タスクの多くはビネットが存在する前に発生していました。 ベンチマーク自体がアクティベーションレイヤーであるとき、その緊張は異なって見えます。キュレーションはまだ作業を行っていますが、今では作業は明確になっています。どの生のアートファクトがカウントされるか、どの主張が再チェックを生き残るか、モデルは何を見ることができるか、何が報酬を得て、何が除外されるかを決定することです。latchbioの特別なソース、生データから再現可能で決定論的に採点される主張を選択することは、報酬関数にされた専門家の判断です。 それが緊張を完全に解消するかどうかはわかりませんが、より検査可能な場所に移動させます。判断はどこかに具体的な場所に着地する必要があります。ベンチマークはその着地点の一つです。 フレームワークが、私がそれを許せば、過剰に売ってしまうので、いくつかの正直な注意点があります。生データから既知の結論を再現することは、私が推測したよりも意味のあるステップかもしれませんが、「一般的な科学的/医学的マインド」ではありません。そして、それはゼロから正しい質問をする部分ではありません。（それもQuestBenが...