Show HN: 型付き決定モデルのための再現可能なベンチマーク JevBench

HNの皆さん！ JevBenchを開発したのは、Jevが素晴らしいからで、真剣なオープンソースプロジェクトと偽の類似プロジェクトが実際にどのように比較されるかを世界に知ってもらいたいからです。

Jevクラスのモデルは、テキストの代わりに境界のある選択肢と確率を返し、LLMよりも破壊的に高速かつ安価でありながら、対象となるテキスト入力に対して同様にインテリジェントです。

JevBenchを使用すると、精度、レイテンシ、価格をすべて一度に、重み付けされた方法で確認できます。重み付けは設定することも可能です。

フルランでは、534個の英語の決定を行います。v1.3スコアは、チャンス補正された知性、キャリブレーション、速度、コストを組み合わせています。

現在のリーダーボード：

  #1 - Jev            74.4
  #2 - SemIf          73.1
  #3 - djev           73.0
  #4 - Winnow-12B Q8  71.2
  #5 reflex 4B        70.3.

MITハーネス、公開アイテム、凍結された成果物、スコアリングコード、および公開されたタスクごとの結果：

https://github.com/fstandhartinger/jevbench

サインアップ不要のデモが2つあります：

https://who-is-right.app.mintapis.com

https://is-it-ai-slop.app.mintapis.com

制限事項：英語のみ。レイテンシはドイツのサーバー1台からのものです。ローカル/デモのレイテンシには、開示済みの×2調整（私のサーバーでは+150ミリ秒）が適用されます。これは情報に基づいた仮定です。評価対象サービスには、評価済みプロンプトが引き続き到達します。約1ポイントの差はノイズである可能性があります。

どう思いますか？