HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

AIのアドバイスは、研究者によると、人の正確性を3分の1にし、自信を2倍にした

AI advice made people 3x less accurate but 2x confident, researchers found (thenextweb.com)

320 pointsby rbanffy182 コメント

要約

研究によると、AIのアドバイスにアクセスすると、人々が「わからない」と答える意欲が大幅に減少し、正確性も低下することが判明しました。一方で、AIの誤った回答に対する自信は著しく増加しました。この現象は、AIが人間の批判的思考能力を抑制し、知識の限界を認識する能力を低下させる可能性を示唆しています。

全文翻訳

AIのアドバイスは、研究者によると、精度を3分の1に低下させるが、自信は2倍にする

[画像: ai-advice-suppresses-critical-thinking-wrong-answers-study]

AI

[画像: Image Credits] Credit: Canva

TL;DR

研究者によると、AIのアドバイスは判断の保留を44%から3%に、精度を27%から9%に抑制したが、自信度は30%から76%に上昇した。人々は誤ったAIの回答を信じた。

フランスとイタリアの3大学の研究者たちは、AIのアドバイスへのアクセスが、人々が「わからない」と言う意欲を44%から3%に激減させることを発見しました。正答率は27%から9%に低下しました。一方、自信度は30%から76%に上昇しました。「人々ははるかに悪くなり、精度はわずか3分の1でしたが、自信は2倍になりました」と、ミラノ・ビコッカ大学の准教授であるValerio Capraro氏は述べています。

Capraro氏と、エコール・ノルマル・シュペリウール(ENS)のChiara Marcoccia氏、ローマ・サピエンツァ大学のWalter Quattrociocchi氏が共著したこの研究は、AIモデルがしばしば失敗するような、映画の視覚的な詳細(例: 『ベッカムに恋して』のチームのユニフォームの色)に関する質問を意図的に使用しました。研究者たちは、Step 3.5 Flashという、これらの質問に対して通常は間違った回答をするモデルを使用しました。これにより、判断力の低下が、信頼できるツールへの合理的な委任として説明されないようにするためです。自分で正しく答えられた参加者の中にも、AIに尋ねた結果、間違った回答をする者が出てきました。

金銭的なインセンティブは役立ちましたが、それほどではありませんでした。無知を認める意欲は3%から8%に、精度は9%から16%に上昇しましたが、どちらもAIなしのベースラインである44%と27%を大きく下回ったままでした。Whartonの研究者たちは、今年初めに「コグニティブ・サレンダー(認知的放棄)」という用語を造り、同様の現象を説明しました。これは、人々がAIなしで作業する人よりも高い自信を報告しながら、AIからの誤った回答を80%の時間受け入れてしまうというものです。今回の新しい研究は、より鮮明なデータポイントを追加します。単に人々が誤ったAIの回答を信頼するだけでなく、AIの利用可能性そのものが、自分が何を知らないかを認識するという認知的習慣を抑制するのです。

「人間にとって、『わからない』と言う能力は、自身の知識の限界を認識することを表すため、非常に重要です」とCapraro氏は述べています。彼は、批判的思考スキルが発達する前にこれらのシステムと共に成長している子供たちについて、特に懸念しています。GoogleのAI検索の大規模な変更は、リンクを自信に満ちたAI生成の要約に置き換えましたが、Common Sense Mediaはこのデザインを学生にとって「許容できないリスク」であると今週呼びました。パターンは一貫しています。AI製品は回答するように設計されており、「わからない」と言うように設計されていません。それを使用する人間も同様に学習しています。

Get the TNW newsletter

Get the most important tech news in your inbox each week.