AI・機械学習
AI医療記録システムのエラー、患者を打ちのめす
Error by AI scribe during medical appointment leaves patient devastated (abc.net.au)
要約
AI医療記録システムが、患者の記録に幻覚剤の使用という虚偽の情報を記載した。このエラーは患者に多大な精神的苦痛を与え、特に労働災害補償のケースに影響を与える可能性があった。この事例は、AIが医療現場で「幻覚」を起こすリスクと、その誤りがもたらす深刻な結果への懸念を浮き彫りにしている。AI記録システムは事務負担を軽減する一方で、医師はAIの出力を注意深く確認する必要がある。
全文翻訳
AI記録システムのエラー、患者を打ちのめす
専門報道チームのペイジ・コックバーンによる記事
トピック: AI
投稿日: 2026年8月14日 金曜日 午前4:55
更新日: 2026年8月14日 金曜日 午前6:04
レベッカ・グリーンさんの医療記録におけるエラーは、彼女がサイケデリックマッシュルームを服用したと虚偽に主張していました。(ABC News: Madeline Grace)
レベッカ・グリーンさんが泌尿器科医との初診察に臨んだ際、人工知能(AI)による診察の文字起こしに同意するかどうか尋ねられました。
彼女はためらうことなく「はい」と答えました。
「先生の機嫌を損ねたくないし、時間をとりすぎる厄介な患者になりたくなかったんです」と彼女は言いました。
しかし、その決断は彼女に多大なストレスをもたらすことになります。AI記録システムは、グリーンさんが違法薬物を服用しているという、深刻でありながら虚偽の主張を作り上げたのです。
「私は唖然として、泣いてしまいました… AIは私が(サイケデリック)マッシュルームを服用していると作り上げたのです。私は人生で一度もマッシュルームを服用したことはありません」と彼女は語りました。
プライバシー監視団体による新たな研究は、AIが医療現場で使用されることについて、虚偽の症状や病状を「幻覚」する傾向があることから深刻な懸念を引き起こしており、患者がリスクにさらされていると警告しています。
グリーンさんがこの間違いに気づいたのは、3月の腎結石手術の後、専門医がGPに送った術後レターを読んだときでした。
そこには、グリーンさんがマッシュルームをマイクロドーズしており、それが腎臓周辺の過去の出血の原因である可能性があると記載されていました。
「この手紙に、何の証拠もないのに、私に甚大な影響を与える可能性のあることが書かれているなんて… かなり恐ろしかった」と彼女は言いました。
「私にとっては非常に非人間的に感じられました。このような脆弱な状況で、医師から期待するようなレベルのケアや親密さを得られませんでした。」
レベッカ・グリーンさんは、専門医からの術後レターを読んだ後、医療記録の間違いを発見しました。(ABC News: Madeline Grace)
グリーンさんは、労働災害補償を受けていたため、特にストレスを感じていました。医療記録に違法薬物の記載があれば、自身のケースに影響が出るのではないかと懸念したのです。
オーストラリアの医療従事者に対する最高規制機関であるAHPRAは、臨床医はAI記録システムのすべての出力を常に正確性を確認し、専門的義務を満たす必要があると述べています。グリーンさんは、担当医がそれを行わなかったことは明らかだと感じています。
「もしその手紙を確認していれば、送付される前に修正できたはずです… なぜ患者一人ひとりと、何が起こっているのかについて、それほど注意を払わないのですか?」
グリーンさんが苦情を申し立てた後、泌尿器科医は謝罪の手紙を送りました。
「当院では文書の正確性を非常に真剣に受け止めており、この件が発生したことを心よりお詫び申し上げます」と手紙には書かれていました。
医師は、マッシュルームに関する主張がどのように含まれるようになったのかを特定できなかったと述べましたが、「ディクテーションまたは文字起こしプロセス」中のエラーによるものだと見られると説明しました。
泌尿器科医は、通信記録を修正し、手紙の中で、自身の診療におけるAIの使用方法を見直すと述べました。
医師は、ABCの質問に対し、それ以降どのような変更が行われたか、あるいは行われなかったかについて回答しませんでした。
AIが癌のある乳房を混同
グリーンさんは間違いに気づけたことを幸運だと感じていますが、自分の医療記録の間違いに気づかず、健康、キャリア、または保険に影響が出る可能性のある人もいるのではないかと懸念しています。
今週、ABCは、民間の医療保険会社が「攻撃的な」監査慣行の一環として、患者の完全な臨床履歴を医療提供者に求めている事例を明らかにしました。
AI記録システムは、医療分野で普及しています。オーストラリア王立GP協会(RACGP)は昨年、GPの40%が定期的に使用していると推定しましたが、この数字は控えめだと考えられていました。
オーストラリアのGPのトップ団体は、GPの40%が職場でAI記録システムを定期的に使用していると推定しています。(ABC News: Tim Torpy)
研究によると、AIに診察を文字起こしさせることで、GPの事務負担を軽減し、コンピューターではなく患者により集中できるようになることが示されています。
しかし、利点があればリスクもあります。
擁護団体Digital Rights Watch(DRW)の最近の報告書は、オーストラリア人が規制されていないAI医療記録システムにさらされており、時には同意なしに使用され、エラーが臨床的意思決定を変える可能性を秘めていることを発見しました。
DRWの報告書で見つかった間違いの例には、記録システムが乳がんの診断で間違った乳房を記録したり、実際にはてんかんではない人に、てんかんがあると述べたりしたケースが含まれています。
オーストラリア消費者健康フォーラム(Consumers Health Forum of Australia)の最高経営責任者であるエリザベス・デヴェニー氏は、AIが言葉を混同する苦情をよく耳にし、患者は偶然にしか間違いを知らないと述べています。
「人々は、エラーの元の原因を見つけること、そして記録を変更してもらうことの両方にフラストレーションを感じていると報告しています」と彼女は言いました。
エリザベス・デヴェニー氏は、間違いがあった場合に記録を修正してもらう必要がある患者にとって、フラストレーションを感じると述べています。(ABC News: Darryl Torpy)
デヴェニー氏は、現在AI医療記録システムに関する主要な研究プロジェクトに関わっていますが、医師はAIを過信しすぎている可能性があると述べています。
「AIを使い始めて最初の数週間は、人々は物事を非常に注意深くチェックしますが、その後、正しいだろうと仮定してチェックをやめてしまうという証拠があります。」
3年間記録システムを使用しているパースのGP、ショーン・スティーブンス医師は、医師はすべての文字起こしを確認する義務があるが、技術はより正確になっていると信じていると述べています。
「3年前は、文字起こしごとに複数の修正が必要でした。最近では、3〜4回の文字起こしに1回の修正程度です。」
ショーン・スティーブンス医師は、AIの文字起こしはより正確になっているが、医師は依然としてそれらを確認する必要があると述べています。(提供)
スティーブンス医師はテクノロジーの大 advocates です。彼はRACGPのデジタルヘルス・イノベーション委員長であり、最大のAI記録システムの一つのアドバイザーでもありますが、AIには弱点があり、もっともらしく聞こえる不正確な結果を生み出す可能性があることを認めています。
「典型的なのは、体の片側を間違えて、左と言ったのに右と言ってしまうことです… ですから、特に薬の用量のようなものは、非常に注意深く確認する必要があります。」
彼は、AIを使用しても、より多くの患者を診察できるわけではないが、予定通りに診察を進め、より詳細な紹介状を作成できるようになったと述べています。
AIの関与への同意
DRWは、同意の取得方法に大きな不一致があることを発見しました。一部の医師は待合室にサインを掲示するだけですが、これはプライバシー法要件を満たしていません。
他の場合では、オンラインで予約する際に同意が必要となり、さらに驚くべきことに、同意しない患者には予約が拒否されることさえあります。
デヴェニー氏は、同意は熱心かつ十分に情報に基づいたものでなければならず、患者は、たとえそれが威圧的に感じられても、質問をすることを快適に感じるべきだと述べています。
DRWの報告書はまた、AIが聞いていると知っている場合、人々が家庭内暴力のような機密性の高い問題について率直に話さない可能性があることを特定しました。
スティーブンス医師は、そのため、たとえ常連患者であっても、すべての診察で同意を求めていると述べています。
「患者が自分の健康に関連するすべてのことを開示することが非常に重要です… そして、彼らが(AIに対して)ノーと言えることを知っていること… 医師として、あなたはそれを尊重しなければなりません。」
TGAは違反に対処すると警告
オーストラリアには約12のAI医療記録システムがありますが、そのうちのどれも規制当局である治療製品管理局(TGA)の承認を受けていません。これは、製品が単に文字起こしと要約のみを目的としていると主張する場合、監督から免除されるためです。
TGAは、診断や治療計画の提案を行うようなツールのみを「医療機器」とみなします。
現在、一部のAI記録システムは臨床的な提案を提供すると主張していますが、規制プロセスを経たものはありません。
TGAは、これにより一部の記録システムが法律に違反している可能性があることを認めています。
TGAは過去1年間AI記録システムをレビューしており、その結果は数週間以内に発表され、違反があれば措置が取られると述べています。
患者の最高経営責任者