脳波から言葉へ:手術不要な新しいコミュニケーション経路「Brain2Qwerty」
From brain waves to words: a new path to communication without surgery (ai.meta.com)
要約
Meta AIは、外科手術なしに脳活動をテキストにデコードする「Brain2Qwerty v2」を発表しました。この技術は、非侵襲的な脳波記録からリアルタイムで文章をデコードする最高性能のエンドツーエンドパイプラインであり、以前は手術を必要とする手法でしか達成できなかった精度に近づいています。この研究は、脳病変によりコミュニケーションが困難な数百万人の人々にとって大きな進歩となる可能性を秘めています。
全文翻訳
脳波から言葉へ:Brain2Qwertyが手術不要な新しいコミュニケーションへの道を開く
昨年、私たちはAIを用いて脳活動をテキストにデコードする、手術を伴わない研究「Brain2Qwerty」v1を発表しました。今回、私たちはその次のステップとして、非侵襲的な脳記録からリアルタイムで文章をデコードできる、最高性能のエンドツーエンドパイプラインであるBrain2Qwerty v2を共有します。これは、脳手術を必要とする技術にのみ従来は可能だった精度レベルに迫るものです。
神経科学のブレークスルーを加速させるため、Brain2Qwerty v1およびv2のトレーニングコード全体を公開します。また、私たちのパートナーであるバスク認知・脳・言語センター(BCBL)は、v1データセットを公開します。この研究は、コミュニケーションが困難な脳損傷を患う何百万人もの人々にとって、真の違いを生み出す可能性を秘めていると信じています。立体定位脳波(stereotactic electroencephalography)や皮質脳波(electrocorticography)のような侵襲的な処置は、AIデコーダーに信号を供給するニューロプロステーシスがコミュニケーションを回復できることを示しましたが、それらはスケールアップが困難です。私たちの非侵襲的なアプローチは、このギャップを埋めるのに役立つ可能性があります。
[画像: Brain2Qwerty v2のデモンストレーションを示す図]
私たちは、9人のボランティア参加者から収集した約22,000の文章データを用いてBrain2Qwerty v2をトレーニングしました。各参加者は、マグネトencephalography(MEG)デバイスを装着し、アクティブにタイピングしながら10時間記録されました。神経イベントを検出するために手作業で作成されたパイプラインに依存するのではなく、エンドツーエンドのディープラーニングを使用して、生の脳信号から直接デコードします。
[画像: MEGデバイスを装着した参加者の様子]
大規模言語モデルをニューラルデータでファインチューニングすることにより、システムは意味論的なコンテキストを活用し、ノイズの多い脳記録と一貫性のある言語との間のギャップを埋めることができます。また、デコードパイプラインの最適化を探索するためにAIエージェントを展開し、最終的なトレーニング構成はエンジニアによって手動で選択されました。
[画像: Brain2Qwerty v2のアーキテクチャを示す図]
その結果、Brain2Qwerty v2はノイズの多いニューラル入力から一貫性のある文章を回復し、単語精度率61%を達成しました。これは、他の非侵襲的な方法の8%という単語精度を大幅に上回っています。そして、最もパフォーマンスの高かった参加者では、78%の単語精度を達成し、全文章の半数以上が1単語のエラー以下でデコードされました。
また、デコード精度はデータ量に対して対数線形的に向上することも発見しました。これは、手術を伴うアプローチとの残りのパフォーマンスギャップが、データスケーリングのみによってさらに縮小される可能性を示唆しています。この研究は、脳のオープンな基盤モデルを構築するという私たちの取り組みに貢献します。知覚エンコーディングのためのTribev2モデル、大規模な脳データ処理のためのNeuralSet、そしてモデルを体系的に評価するためのNeuralBenchなどが含まれます。私たちは、Digital Brain Projectにおけるオープンデータセットを促進するための最近の500万ドルの資金提供などを通じて、コミュニティと緊密に協力してこれを行っています。私たちの希望は、オープンに行われたこの研究が、神経疾患の特定、診断、治療を、サイロ化された状態よりも速く進歩させることです。