10年前のCNNが皮膚がん診断で最先端LLMを凌駕

10年前のCNNが皮膚がん診断で最先端LLMを凌駕

私は皮膚科医です。GPT-6 AstraとClaude Fable 5.1の皮膚がん診断能力をテストしたところ、予想よりも精度が低いことがわかりました。10年前のCNNと比較したところ、驚くべきことにCNNの方が優れていました。

これは悪性黒色腫です。

［画像: 臨床写真：耳の悪性黒色腫、厚さ0.8mm未満。］［画像: ダーモスコピー画像：耳の悪性黒色腫、厚さ0.8mm未満。］

図1. 耳の悪性黒色腫、厚さ0.8mm未満。両方のLLMはこれを脂漏性角化症と診断し、経過観察でよいとしました。CNNは悪性黒色腫と診断しました。左が臨床写真、右がダーモスコピー画像です。画像: MILK10k, MILK study team, CC BY-NC。

私はこれらの2枚の画像――臨床写真とダーモスコピー（皮膚顕微鏡）画像――を、2026年10月時点で利用可能な最も高性能なAIモデルであるGPT-6 AstraとClaude Fable 5.1に見せました。両モデルとも、これを良性のいぼ状の増殖物である脂漏性角化症と診断し、患者は経過観察でよいとしました。次に、これらを2015年にGoogleが発表した畳み込みニューラルネットワーク（CNN）であるInception v3のファインチューニング版に見せました。このモデルは公開されている皮膚科の画像でファインチューニングされています。CNNはダーモスコピー画像に基づいて正しい診断を下しました。

これは私が3つのモデルすべてに提示した、生検で確認された200の病変のうちの1つです。CNNは6つの可能な診断の中から正しい診断を125件（62%）で特定しました。2つの最先端LLMはそれぞれ84件と85件（42%）でした。10年前のネットワークを約20分間ファインチューニングしただけで、皮膚がんの認識において両者を上回りました。

テスト

病変は、2025年に国際皮膚画像協力機構（International Skin Imaging Collaboration）を通じて公開された公開データセットMILK10kから取得しました。このデータセットでは、各病変は臨床的なクローズアップ写真と、皮膚科医が使用する照明付き拡大鏡で撮影されたダーモスコピー画像の2枚で記録されています。私はランダムに200件の病変を選択しました。すべて病理組織学的に確認されています。

• 経過観察不要なもの100件: 悪性黒色腫30件、基底細胞がん25件、扁平上皮がん（ボーエン病を含む）25件、日光角化症20件。
• 経過観察で安全なもの100件: 良性母斑（ほくろ）50件、脂漏性角化症50件。

良性のものも含め、すべての病変が生検されているため、診断はより困難です。患者が切除を決めたほくろは、医師を心配させたものです。

［画像: 臨床写真：75歳男性の体幹の基底細胞がん。両モデルとも正しく回答しました。］［画像: ダーモスコピー画像：75歳男性の体幹の基底細胞がん。両モデルとも正しく回答しました。］

75歳男性の体幹の基底細胞がん。3つのモデルすべてが正しく回答しました。

［画像: 臨床写真：厚さ0.8mm未満の悪性黒色腫、色素が非常に少ない。GPT-6 Astraは95%の確信度で基底細胞がんと診断しました。］［画像: ダーモスコピー画像：厚さ0.8mm未満の悪性黒色腫、色素が非常に少ない。GPT-6 Astraは95%の確信度で基底細胞がんと診断しました。］

厚さ0.8mm未満の悪性黒色腫、色素が非常に少ない。GPT-6 Astraは95%の確信度で基底細胞がんと診断しました。Claude Fable 5.1とCNNは悪性黒色腫と診断しました。

［画像: 臨床写真：脚の脂漏性角化症。両モデルとも日光角化症と診断し、経過観察不要としました。］［画像: ダーモスコピー画像：脚の脂漏性角化症。両モデルとも日光角化症と診断し、経過観察不要としました。］

脚の脂漏性角化症。両LLMは日光角化症と診断し、CNNは扁平上皮がんと診断しました。3つのモデルすべてが間違っていましたが、いずれも経過観察不要とせず、切除を推奨する判断を下しました。

図2. テスト病変200件のうちのさらに3件。左が臨床写真、右がダーモスコピー画像です。画像: MILK10k, MILK study team, CC BY-NC。

LLMには両方の画像のみが与えられ、医師が使用するのと同様に、6つの診断の中から最も可能性の高いもの（または「不明」）、確信度、2番目の選択肢、および病変が治療なしで安全に経過観察できるかどうかを尋ねられました。両モデルはデフォルト設定で同じプロンプトを受け取り、どちらもケースを拒否しませんでした。

CNNは意図的に最先端ではありません。私は日常の写真で事前学習されたInception v3を使用し、その後、H100 GPU 1台で68,011件のダーモスコピー画像と臨床画像（ISIC Archiveより）で全層をファインチューニングしました。これらのテスト病変200件と、同じ病変または患者の他のすべての写真は、トレーニングデータ（検証セットを含む）から削除されたため、モデルはそれらを見たことがなく、モデルの選択や閾値の設定にも使用されていません。各病変の2枚の画像に対してスコアを付け、ダーモスコピー画像に大部分の重みを置いて結合し、同じ6つの診断から選択しました。

CNNを自分で試すことができます。驚くべきことに、このモデルはWebGPUを使用して電話ブラウザで完全に実行できるほど小さいです。何もアップロードされず、ランダムサンプリングボタンはこれらの同じ200件の病変から描画されます。

診断: 62% 対 42%

CNNは全体的にも、ほとんどの診断においても、より頻繁に正解しました。2番目の選択肢を考慮すると、173/200件に対し、LLMは134件と138件でした。悪性黒色腫30件のうち13件を特定し、LLMはそれぞれ8件と11件でした。最も大きな差が出たのは良性病変で、CNNは50件中37件の母斑と50件中26件の脂漏性角化症を認識しましたが、GPT-6 Astraはそれぞれ16件と13件、Claude Fable 5.1はそれぞれ33件と6件でした。基底細胞がんではGPT-6 Astraに1件及ばず、日光角化症では両LLMに劣りました。

モデルの誤診も異なりました。各LLMには好みの回答がありました。GPT-6 Astraは25件の基底細胞がんのうち75件を基底細胞がんと診断し、その中には30件の悪性黒色腫のうち14件も含まれていました。Claude Fable 5.1は20件の日光角化症のうち53件を日光角化症と診断しました。CNNの悪性黒色腫における誤診は逆の傾向で、間違った17件のうち8件を母斑、6件を脂漏性角化症と診断しました。

結果を1つの表にまとめる

注意点

• 少ないサンプル数。 200件の病変はパターンを示すには十分ですが、僅差の結果をランク付けするには不十分であり、最も重要な数値である悪性黒色腫30件では不確実性が大きくなります。各LLMのケースは1回実行されただけで、実行ごとに回答は変動します。
• 難しい症例。 すべての病変が生検されています。アーカイブからの通常の画像では、CNNは経過観察が必要な病変と不要な病変をはるかにうまく分離しました（ROC曲線下面積0.96、ここでは0.86）。
• データ汚染。 MILK10kは2025年から公開されているため、LLMはトレーニング中にこれを目にしている可能性があります。もしそうであれば、それはLLMに有利に働いたはずです。CNNは間違いなく見ていません。
• 最先端ではない。 Inception v3はベースラインです。最先端の皮膚がん診断AIは、より多くのデータでトレーニングされた画像トランスフォーマーのアンサンブルを使用しており、それらに基づいて構築された規制製品は、かなりの性能を発揮します。

患者として質問した場合

患者として、臨床写真のみを提示し、「医師の診察が必要か？」と質問したところ、両LLMは、良性の病変を含め、ほとんどすべてのケースで医師の診察を推奨しました。さらに100件の生検済み悪性黒色腫のうち99件と98件で同様の回答でした。

結論

古いアーキテクチャを使用した、小さく専門化されたネットワークは、2つの最先端LLMよりもはるかに優れた皮膚病変認識能力を示しました。

自分で実行する

ケース、プロンプト、すべてのLLMの応答、および採点コードは1つのダウンロードで入手でき、CNNはこちらで利用できます。

このテストを設計し、臨床的な判断を下したのは私です。分析と最初のドラフトは、テストされた2つのLLMのうちの1つでもあるAnthropicのClaudeモデルで動作するAnthropicのコーディングツールであるClaude Codeで作成されました。採点は、病理組織学に対してスクリプトによって行われました。

画像はMILK10kデータセット（MILK study team, International Skin Imaging Collaboration）から取得し、CC BY-NCライセンスの下で使用しています。

Dr Magnus Lynchは、Guy's Hospitalのコンサルタント皮膚科医およびモース手術医であり、King's College Londonの名誉読者（准教授に相当）です。彼の臨床業務は皮膚がん、モース手術、顔面再建手術、レーザーをカバーしています。彼の研究は、皮膚がんや瘢痕の細胞生物学、および皮膚科におけるAIの使用をカバーしています。完全なプロフィールをご覧ください。

---