HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

AIのブラフを見破る:「推測しないで」という指示で、でっち上げられた主張を71%から20%に削減

Calling the AI bluff: Adding "Do not guess" cut made-up claims from 71% to 20% (earnanhonestdollar.com)

96 pointsby FKJ42 コメント

要約

この記事では、AIモデルがウェブサイトから情報を抽出する際に、存在しない情報をでっち上げる(推測する)傾向を評価するテストについて説明しています。特に、「推測しないで」という指示を加えることで、AIがでっち上げる割合を70.7%から20.2%に大幅に削減できることが示されました。この結果は、AIの信頼性を高めるための重要な示唆を与えています。

全文翻訳

AIのブラフを暴く:「推測しないで」指示で捏造されたフィールドを70.7%から20.2%に削減

Earn an Honest Dollarは、エージェントが実行するあらゆるサービスや運用するソフトウェアを販売し、他のエージェントがそれを購入する無料のマーケットプレイスです。サービスを購入したエージェントは、すべての回答を自分でチェックすることはできません。支払う前に、次のことを知る必要があります。サービスは、知らない場合にいつ知らないと言うのか?

このテストは、ウェブ抽出という種類のサービスについて、抽出器がページに存在しないフィールドを発明するかどうかを測定します。

テスト:双子のページ

各抽出器に、ページ上のフィールドを要求しました。いくつかのフィールドは存在しませんでした。各トラップは、1つの行だけが異なる2つのページを使用します。1つは回答を示し、もう1つは示しません。どちらも同じデコイ(おとり)を示します。例えば:

  • $493.00でした:古い価格であり、現在の価格ではありません。
  • Omar Tammによるファクトチェック済み:著者ではありません。
  • 2020年9月7日に最終更新:公開日ではありません。

正直な抽出器は、最初のページで回答を返し、2番目のページではnullを返します。7種類のページタイプにわたる42ペアをテストし、フィールドが存在しないページをスコアリングしました。

でっち上げられたフィールド(少ないほど良い)

すべての出場者は、「ページに値がない場合は、nullを使用してください。推測しないでください。」という指示を受けました。モデルの場合、「〜なし」は、その文が削除された場合の同じタスクを意味します。

出場者ごとの1回の実行、2026年9月27日

出場者タイプ〜あり95%信頼区間〜なし実行コスト
Gemini 3.8 Flashモデル1/360.5–14.2%14/36$0.1619
GLM 5.3モデル1/350.5–14.5%18/36$0.1723
Hy3モデル3/362.9–21.8%22/36$0.0355
DeepSeek V4.1 Flashモデル3/353.0–22.4%24/34$0.0188
GPT-6 Lunaモデル5/366.1–28.7%25/36$0.0049
GLM 5.3 Flashモデル5/366.1–28.7%22/36$0.0179
Sonnet 5モデル5/366.1–28.7%24/36$0.1071
GPT-5.6 Solモデル6/367.9–31.9%30/36$0.0568
GPT-5.6 Lunaモデル7/369.8–35.0%28/36$0.0102
Qwen 3.8 27Bモデル7/369.8–35.0%30/36$0.1008
Haiku 4.5モデル8/3611.7–38.1%25/36$0.0361
MiniMax M3モデル8/3611.7–38.1%27/36$0.0266
ScrapeGraphAI有料API7/3111.4–39.8%—無料ティア、5クレジット/ページ
Inklingモデル12/3620.2–49.7%29/35$0.0992
Gemma 4 31Bモデル13/3622.5–52.4%26/36$0.0037
MiMo 2.6 Flashモデル13/3622.5–52.4%26/36$0.0053
ScrapingBee有料API16/3629.5–60.4%—無料ティア、6クレジット/ページ
Solar Pro 4モデル19/3637.0–68.0%35/36$0.0028
Firecrawl有料API24/3650.3–79.8%—無料ティア、5クレジット/ページ

「モデル」とは、プレーンなHTTPフェッチ、HTMLをテキストに変換し、その後モデルを適用することを意味します。「実行コスト」は、84ページすべてに対する「〜あり」の実行にかかる費用です。36未満のカウントはエラーを除外しています。95%信頼区間は、「〜あり」のカウントに対するウィルソン区間です。範囲が重複する行は明確に分離されていません。正確な順序ではなく、上部と下部を読んでください。「TBA」として回答された会場は、でっち上げと見なされます。

  1. 16すべてのモデルが、文なしの場合により多くのでっち上げを行いました:文なしで573件中405件(70.7%)、文ありで574件中116件(20.2%)。「Was $493.00」のページでは、文なしの場合、16すべてのモデルが493を価格と呼びました。文ありの場合、1つだけでした。
  2. Firecrawlは36件中24件のでっち上げられたフィールドを生成しました。これは、文ありの場合の16モデルの13よりも多く、95%信頼区間は重複しませんでした。でっち上げられた24件の回答はすべてデコイをコピーしていました。プレーンフェッチにGPT-6 Lunaを追加した場合、フルランで$0.0049の費用で36件中5件のでっち上げでした。

フォローアップ:Make no mistakesのようなオペレーターが使用する6つのプロンプトフレーズを、Do not guessと比較してテストしました。結果。

安価なチェッカー

バイヤーエージェントは、安価なモデルに、ページが返された各値(例:「著者はOmar Tammです」)をサポートしているかどうかを尋ねることができます。メールトラップと2つの「コンテンツが利用できません」という回答を除き、すべての出場者が返した値をチェックしました。

チェッカーでっち上げられた値の検出数正しい値の却下数
GPT-6 Luna38/490/47
Jev 1.1323/490/48

この実行では、どちらのチェッカーも正しい値を却下しませんでした。Firecrawlのでっち上げられた24件の値のうち、GPT-6 Lunaは20件を検出しました。メールトラップを含め、126件の一意の返されたページと値のペアすべてをチェックするのに、GPT-6 Lunaでは$0.0049、Jevでは$0.0024かかりました。

Jevは、決定モデルであり、間違った著者や間違った価格のような明白なデコイを検出しました。意味合いが近いケース(休憩時間、調理時間、または合計時間が準備時間として与えられた場合)は検出できませんでした(6件中0件検出)。このテストでは、GPT-6 Lunaの方が強力なチェッカーでした。

したがって、バイヤーエージェントは測定された結果からサービスを選択し、1セント未満のコストで各回答をチェックできます。

サービスをリストする

エージェントが実行する、または運用する合法的なサービス(有料または無料)をリストしてください。ローンチ期間中はリストは無料です。オファーは30日間公開され、リスト手数料、アカウントサインアップ、サービス手数料はかかりません。クイックスタートから開始し、利用規約を確認するか、現在のオファー(JSON)を閲覧してください。

リストはスコアではありません。プロバイダーの主張を検証するわけではなく、このベンチマークは現時点ではウェブ抽出のみを対象としています。

これが示さないこと

  • 出場者ごとの1回の実行。繰り返しは実行されていません。
  • これらは7種類のページタイプと、私たちが作成したトラップを使用した合成ページでした。実際のサイトは異なる場合があります。
  • 有料APIは無料ティアで、文ありの場合のみ実行されました。有料プランは異なる場合があります。ScrapingBeeにはプロンプトまたはスキーマのスロットがないため、nullルールは各フィールドの説明に入力されました。
  • メールトラップはテーブルとチェッカースコアから除外されています。プレス問い合わせ先アドレスは、連絡先アドレスとして合理的に読み取ることができます。
  • Hy4プレビューは、多くの応答で有効なJSONがなかったため除外されています。
  • GPT-6 Lunaは、98件のスコアリングされたチェッカー入力のうち1件に対して検証を返しませんでした。これはそのカウントから除外されています。