AI医療記録システムのエラー、患者を打ちのめす
Error by AI scribe during medical appointment leaves patient devastated (abc.net.au)
要約
AI医療記録システムが、患者の記録に幻覚剤の使用という虚偽の情報を記載した。このエラーは患者に多大な精神的苦痛を与え、特に労働災害補償のケースに影響を与える可能性があった。この事例は、AIが医療現場で「幻覚」を起こすリスクと、その誤りがもたらす深刻な結果への懸念を浮き彫りにしている。AI記録システムは事務負担を軽減する一方で、医師はAIの出力を注意深く確認する必要がある。
全文翻訳
AI医療記録scribeの誤記、患者を打ちのめす
レベッカ・グリーンさんが泌尿器科医の初診に行った際、人工知能(AI)による診察記録の文字起こしに同意するかどうか尋ねられました。
彼女はためらうことなく「はい」と答えました。
「医者の機嫌を損ねたくないし、時間を取らせる面倒な患者だと思われたくなかった」と彼女は言いました。
しかし、その決定が彼女に多大なストレスを与えることになり、AI scribeは深刻でありながらも虚偽の主張、すなわちグリーンさんが違法薬物を摂取していると作り上げてしまったのです。
「私は茫然自失となり、泣いてしまいました…AIは私が(幻覚作用のある)キノコを摂取していると作り上げました。私は人生で一度もキノコを摂取したことはありません」
と彼女は語りました。
プライバシー監視団体による新たな研究は、AIが「幻覚」を起こして偽の症状や病状を作り出す傾向があるため、医療現場でのAI利用について深刻な懸念を提起しており、患者がリスクにさらされていると警告しています。
グリーンさんがこの間違いに気づいたのは、3月の腎結石手術の後、担当医がGP(一般開業医)に送った術後レターを読んだ時でした。
そこには、グリーンさんがキノコをマイクロドーズしており、それが腎臓周囲の出血の原因である可能性があると記載されていました。
「この手紙に、いかなる証拠にも基づかない、しかし私に潜在的に大きな影響を与えうるようなことが書かれているなんて…それは非常に恐ろしいことでした」と彼女は言いました。
「私にとっては非常に非人間的に感じられました。このような脆弱な状況で、医師からの期待するようなケアや親密さを得られませんでした。」
[画像: メガネをかけ、黒いノースリーブのトップスを着た女性が、書かれた紙を見ながら座っている。後ろはキッチン。]
レベッカ・グリーンさんは、担当医からの術後レターを読んだ後、自身の医療記録の間違いを発見しました。(ABC News: Madeline Grace)
グリーンさんは、労働災害補償を受けていたため、特にストレスを感じていました。医療記録に違法薬物の記載があれば、自身のケースに影響が出る可能性があると感じたのです。
オーストラリアの医療従事者の最高規制機関であるAHPRAは、臨床医はAI scribeからのすべての出力を正確性を期して常に確認し、専門的な義務を果たさなければならないと述べています。グリーンさんによると、担当医がこれを行わなかったことは明らかでした。
「もしその手紙を確認していれば、送付される前に修正できたはずです…なぜあなたは患者一人ひとりと、何が起こっているのかについて調和していないのですか?」
グリーンさんが苦情を申し立てた後、泌尿器科医は謝罪の手紙を送りました。
「当院では記録の正確性を非常に重視しており、この件が発生したことを心よりお詫び申し上げます」と手紙には記載されていました。
医師は、キノコに関する主張がどのように含まれたのかを特定できなかったと述べましたが、「ディクテーションまたは文字起こしプロセス」中のエラーであった可能性が高いとのことです。
泌尿器科医は、その通信記録を修正し、自身の診療におけるAIの利用方法を見直すと手紙で述べました。
医師は、ABCの質問に対して、その後どのような変更が行われたか、あるいは行われなかったかについて、一切の回答を提供しませんでした。
AIが乳がんの乳房を混同
グリーンさんは、間違いに気づけたことを幸運だと感じていますが、自身の医療記録の間違いに気づかず、健康、キャリア、または保険に影響が出る可能性のある人がいるのではないかと心配しています。
今週、ABCは、民間医療保険会社が「攻撃的な」監査慣行の一環として、患者の完全な臨床履歴を医療提供者に要求していた事例を明らかにしました。
AI scribeは医療分野で普及しています。オーストラリアGP協会(RACGP)は昨年、GPの40%が定期的にAI scribeを使用していると推定しましたが、この数字は控えめだと考えられています。
[画像: 後ろ姿の女性、髪は後ろで結ばれている。コンピューターの前に座っているスーツ姿の男性に顔を向けている。]
オーストラリアのGPの代表機関は、40%が職場でAI scribeを定期的に使用していると推定しています。(ABC News: Tim Swanston)
研究によると、AIに診察の文字起こしをさせることで、GPの管理業務の負担を軽減し、コンピューターではなく患者により集中できるようになります。
しかし、あらゆる利点にはリスクが伴います。
擁護団体Digital Rights Watch(DRW)による最近の報告書は、オーストラリア人が規制されていないAI医療scribeに、時には同意なしにさらされており、誤りが臨床的意思決定を変える可能性を秘めていることを発見しました。
DRWの報告書で見つかった間違いの例には、乳がんの診断で間違った乳房を記録し、実際にはてんかんではないのに、てんかんであると述べたケースが含まれていました。
オーストラリア消費者健康フォーラム(Consumers Health Forum of Australia)の最高経営責任者であるエリザベス・デベニー氏は、AIが言葉を混同する苦情をしばしば耳にし、患者は偶然にしかそれを知らないと述べています。
「人々は、エラーの元の原因を見つけること、そして記録を変更してもらうことの両方にフラストレーションを感じていると報告しています」と彼女は言いました。
[画像: 短いブロンドの髪をした女性のプロフィール写真。緑のブレザーと白いシャツ、赤い口紅を着用。]
エリザベス・デベニー氏は、エラーが発生した際に記録を修正してもらわなければならない患者にとって、それはフラストレーションであると述べています。(ABC News: Darryl Torpy)
AI医療scribeに関する主要な研究プロジェクトに関与しているデベニー博士は、医師はAIを過度に信頼している可能性があると述べています。
「AIを使い始めて最初の数週間は、人々は物事を非常に注意深くチェックしますが、その後、AIは正しいだろうと仮定してチェックをやめてしまうという証拠があります。」
パースのGPであるショーン・スティーブンス氏は、3年間scribeを使用しており、医師はすべての文字起こしを確認する義務があるが、技術はより正確になっていると信じていると述べています。
「3年前は、文字起こしごとに複数の箇所を修正する必要がありました。最近では、3〜4回の文字起こしに1回の修正といった具合です。」
[画像: 暗い色のシャツを着た男性が、口を開けて笑顔で写っている。短く刈り込んだ暗い髪をしており、後ろには植物がある。]
ショーン・スティーブンス氏は、AIの文字起こしはより正確になっているが、医師は依然としてそれらを確認する必要があると述べています。(提供)
スティーブンス博士はテクノロジーの大 advocates であり、RACGPのデジタルヘルス・イノベーション委員長であり、最大のAI scribeの一つのアドバイザーでもありますが、AIには弱点があり、もっともらしく聞こえる不正確な結果を生み出す可能性があることを認めています。
「古典的な例は、体の左右を間違えて、左と言ったのに右と言ってしまうことです…ですから、特に薬の用量のようなものは、非常に注意深く確認する必要があります。」
と彼は言いました。
AIを使用しても、より多くの患者を診察できるようになるわけではないが、より時間通りに診療を進め、より詳細な紹介状を作成できるようになると彼は述べています。
AIの関与への同意
DRWは、同意の取得方法に大きな不一致があることを発見しました。一部の医師は待合室にサインを掲示するだけですが、これはプライバシー法の要件を満たしていません。
他の場合では、オンラインで予約する際に同意が必要となり、驚くべきことに、同意しない場合は予約を拒否される患者さえいます。
デベニー博士は、同意は熱心かつ十分に情報に基づいたものでなければならず、患者はたとえそれが威圧的に感じられても、質問をすることを快適に感じるべきだと述べています。
DRWの報告書はまた、AIが聞いていることを知っている場合、人々が家庭内暴力のような機密性の高い問題について率直に話さない可能性があることも特定しました。
スティーブンス博士は、だからこそ、常連患者であっても、すべての診察で同意を求めていると述べています。
「患者が健康に関連するあらゆることを開示することが非常に重要です…そして、彼らが(AIに対して)ノーと言えることを知っていること…医師として、あなたはそれを尊重しなければなりません」と彼は言いました。
TGAは違反に対処すると警告
オーストラリアには約12のAI医療scribeがありますが、規制当局である治療製品管理局(TGA)によって承認されているものはありません。これは、製品が単に文字起こしと要約のみを目的としていると主張する場合、監視から免除されるためです。
TGAは、診断や治療計画の提案を行うようなツールのみを「医療機器」とみなします。
現在、一部のscribeは臨床的な提案を提供すると主張しているにもかかわらず、規制プロセスを経たものはありません。
TGAは、これが一部のscribeが法に違反している可能性があることを意味すると認めています。
TGAは過去1年間AI scribeのレビューを行っており、その結果が数週間以内に発表される予定であり、いかなる違反も措置の対象となると述べています。
Patients Australiaの最高経営責任者であるリサ・ロビンズ氏は、患者の要約であってもAIによる意思決定が関わるため、すべてのscribeは規制されるべきだと考えています。
スティーブンス博士は、規制の拡大は将来のイノベーションを抑制するだけだという懸念を抱いています。
DRWは、新設されたAI安全研究所に対し、AI scribeをテストし、承認されたツールのリストを公開するよう求めています。
これは、ニュージーランドのアプローチに似ています。ニュージーランドでは、国家AI諮問グループがツールをレビューし、昨年、Heidi HealthとiMedの2つのAIツールの臨床医による使用を承認しました。
デベニー博士は、医師がAIを安全に使用することを保証することは、ソフトウェアに組み込まれた必須のチェックアンドバランスや、3年ごとに行われる診療所の認定プロセスなど、他の方法でも実施できると述べています。
[画像: 短い茶色の髪をした女性のポートレート。メガネをかけ、カラフルなスカーフを着用し、まっすぐ前を見ている。笑顔ではない。]
医療記録の間違いは、レベッカ・グリーンさんに、再びAI文字起こしに同意するかどうかを再考させています。(ABC News: Madeline Grace)
グリーンさんは、AIに対する信頼が今回の出来事で粉々になったと述べ、今後は医師との間に確立された関係がない限り、AIの利用に同意しないだろうと語っています。
「私はAIが大好きです…しかし、不可欠な要素は人間です。結局のところ、ここで起こったことは、人間の関与の欠如がより大きいのです」
と彼女は言いました。