非侵襲的EEGからのサイレントリーディングのデコード

非侵襲的な内なる言葉のデコードは、根本的なデータ問題に直面しています。すなわち、脳活動と個人の自発的な内なるモノローグをペアにしたコーパスを収集することは不可能であり、利用可能なプロキシパラダイム（キューによる反復、事後報告による生成的な内なる言葉）は、収集に時間がかかり、時間的な同期が悪く、被験者のコンプライアンスが検証不可能であるという問題があります。そこで、サイレントリーディングをスケーラブルなプロキシタスクとして扱い、対照デコーダーがそこからどの程度の語彙的および意味的情報を抽出できるかを問います。我々は、19チャンネルのドライ電極EEGを用いて、約49時間にわたる393回の実行（約240,000語の提示）から単一の高密度サンプリングされた被験者から記録された、オープンボキャブラリー分析を報告します。連続した物語テキストからの単語は、ラピッドシリアルビジュアルプレゼンテーション（RSVP）で提示され、各試行でタイポグラフィがランダム化され、単語の同一性が低レベルの視覚的形態から部分的にデコヒーレントされました。 畳み込みEEGエンコーダー、オプションで因果的トランスフォーマーを後置したものは、大規模言語モデルから取得した提示された単語の隠れ状態埋め込みと短いEEGウィンドウを整列させるために、CLIPスタイルの対照目的で訓練されました。デコーディングは、順列ベースラインに対する単語グループ化されたトップ10検索として評価され、偶然率を大幅に上回り、中頻度および稀な単語にまで拡張され、飽和の兆候なしに訓練データ量に対して対数線形にスケールしました。後頭部および後側頭部の電極を除去すると、単語レベルのゲインは約3分の1減少しましたが、コンテキスト追跡は変化しませんでした。 制御分析は、単語レベルのデコーディングを物語コンテキストの追跡およびトランスフォーマーの位置埋め込みによって導入された非ニューラルな位置的プライアから分離します。これらの結果は、サイレントリーディング中のEEGからオープンボキャブラリーの単語レベルの情報が回復可能であり、デコーディングは飽和ではなくデータ制限によるものであることを確立します。