HN 日本語サマリー

← 一覧へ戻る
科学・技術

EEGは脳が同時に2つの音声ストリームをエンコードできることを示す

EEG shows brain can simultaneous encode two speech streams (journals.plos.org)

240 pointsby giuliomagnifico159 コメント

要約

複数の話し手がいる騒がしい環境で注意を切り替える際の脳のメカニズムをEEGを用いて調査した研究です。注意を切り替える際、脳は古い音声ストリームから完全に離れる前に、一時的に両方の音声ストリームを同時にエンコードすることが明らかになりました。このプロセスは、α波パワーの低下と関連しており、語彙的文脈の更新も関与している可能性が示唆されています。

全文翻訳

EEGは脳が同時に2つの音声ストリームをエンコードできることを示す

記事一覧

[1] タイトル: EEG shows brain can simultaneous encode two speech streams
URL: https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.3003876
本文:

  • Loading metrics

Open Access

Peer-reviewed

Research Article

  • Emina Aličković,
  • Johannes Zaar,
  • Alejandro López Valdés ,
  • Giovanni M. Di Liberto

Competing speech streams are simultaneously represented in the human cortex during attention switching

  • Sara Carta,
  • Emina Aličković,
  • Johannes Zaar,
  • Alejandro López Valdés,
  • Giovanni M. Di Liberto

[画像: PLOS]

x

Figures

[画像: Fig 1]

[画像: Fig 2]

[画像: Fig 3]

[画像: Fig 4]

Abstract

複数の話者がいる状況での音声コミュニケーションは、持続的な注意と迅速な注意の切り替えを巧みに組み合わせる必要があります。神経生理学の文献は持続的な注意の神経基盤について詳細な洞察を提供していますが、注意の切り替えがどのように行われるかについては、かなりの不確実性が残っています。本研究では、没入型の複数話者環境における健聴成人からのEEG記録を使用して、背景の雑音の中で競合する2つの音声ストリームの神経エンコーディングを測定しました。参加者は15〜30秒ごとにストリーム間で注意を切り替えるように指示されました。神経追跡はTemporal Response Functions(TRF)を介して評価され、注意の焦点を確実にデコードできることが確認されました。私たちの結果は、注意切り替え中の非対称な解除および関与プロセスを示しており、新しいターゲットストリームの神経追跡は、前のターゲットから解除される前に現れ、2つの音声ストリームの一時的な同時エンコーディングを明らかにします。この遷移はEEGアルファパワーの低下によって密接に鏡像され、注意切り替えの異なる段階での認知努力を通知します。次に、語彙予測メカニズムを反映する皮質活動を分離し、大規模言語モデル(LLM)を使用して構築された4つのコンテキスト蓄積戦略を比較することにより、注意切り替え後の語彙コンテキストがどのように更新されるかを決定しました。私たちの発見は、聴覚注意シフトの背後にある時間的および文脈的メカニズムの両方を解明し、リスナーが注意を切り替えた後に語彙コンテキストのリセットを実行する可能性を示唆しています。動的な注意の再配分に焦点を当てることにより、この研究は、複雑なリスニング環境における脳の柔軟な音声処理能力への洞察を提供します。

Citation: Carta S, Aličković E, Zaar J, López Valdés A, Di Liberto GM (2026) Competing speech streams are simultaneously represented in the human cortex during attention switching. PLoS Biol 24(7): e3003876. https://doi.org/10.1371/journal.pbio.3003876

Academic Editor: Manuel S. Malmierca, Universidad de Salamanca, SPAIN

Received: July 3, 2025; Accepted: June 12, 2026; Published: July 16, 2026

Copyright: © 2026 Carta et al. This is an open access article distributed under the terms of the Creative Commons Attribution License, which permits unrestricted use, distribution, and reproduction in any medium, provided the original author and source are credited.

Data Availability: All data supporting the findings reported in this manuscript are freely accessible without restriction. The EEG pre-processed dataset, the resulting analysis files, and the analysis code are publicly available on the open repository Zenodo (https://zenodo.org/records/20569817). The EEG recordings are provided following the Continuous-event Neural Data (CND) format standard. The associated speech stimuli can also be found in the same repository, within the STIMULI folder.

Funding: S.C., A.L.V., and G.D.L. were supported by the William Demant Fonden (https://www.williamdemantfonden.dk/), under grants 21-0628 and 22-0552, and by Taighde Éireann – Research Ireland (https://www.researchireland.ie/) under grant No. 18/CRT/6223. G.D.L. additionally conducted this research with the financial support of Research Ireland at ADAPT, the Research Ireland Centre for AI-Driven Digital Content Technology (https://www.adaptcentre.ie/) at Trinity College Dublin [grant 13/RC/2106_P2]. The funders had no role in study design, data collection and analysis, decision to publish, or preparation of the manuscript.

Competing interests: The authors have declared that no competing interests exist.

Abbreviations: EEG, electroencephalography; EOG, electro-oculography; EMG, electro-myography; ERSP, event-related spectral perturbation; iEEG, intra-cranial electroencephalography; FDR, false discovery rate; fMRI, functional magnetic resonance imaging; ICA, Independent Component Analysis; IQR, interquartile range; LLM, large language model; MEG, magnetoencephalography; PSD, power spectral density; RMS, root-mean-squared; SE, standard error; SEM, standard error of the mean; SNR, signal-to-noise ratio; SPL, sound pressure level; TRF, Temporal Response Functions

Introduction

複数の話者がいる環境で音声を理解するためには、リスナーはターゲット話者を競合する音声ストリームから分離する必要があります
[1–3]。この選択的注意プロセスの神経生理学は、シミュレートされた「カクテルパーティー」シナリオで広く研究されており
[4,5]、脳がターゲットストリームを競合する音声ストリームからどのように分離し、ターゲット音声が言語的意味に変換されるかを明らかにしています。マスカー(妨害音)となる音声ストリームがどの程度処理されるかは依然として広く議論されていますが
[6–8]、ターゲット音声とマスカー音声の処理の間にはかなりの違いがあることは間違いありません。これは、非侵襲的脳波(EEG)
[1,9]、頭蓋内脳波(iEEG)
[10]、脳磁図(MEG)
[3,11]、機能的磁気共鳴画像法(fMRI)
[12,13]などの様々な技術で測定されてきました。この研究は、分離がどこで生じるか
[14]の聴覚皮質領域の正確な位置を特定するとともに、マスカー音声の言語処理の(完全ではないが)実質的な抑制を測定することに成功しました
[1,15–17]。しかし、この分野の神経生理学の文献は、持続的な注意タスクにほぼ完全に焦点を当てており
[2,10]、注意切り替えの神経基盤についてはかなりの不確実性が残っています。

動的な切り替えパラダイムは、認知の柔軟性と認知の安定性を調査するために、認知制御研究の分野で広く使用されてきました
[18]。これらの実験では、参加者はしばしば新しい指示に応じて行動応答を柔軟に適応させ、タスク切り替えを開始する必要があります
[19–21]。例えば、単一の数字が与えられた場合、参加者はその数字が偶数か奇数か(パリティ)、または5より大きいか小さいか(相対的大きさ)に基づいて分類する必要があります
[22]。これらのパラダイムでは、スイッチコストとは、一方のタスクから他方のタスクに切り替える際の反応時間またはエラー率の増加です。同様の行動パラダイムも、複数話者設定で単純な音声刺激を含んでいます
[23–25]。しかし、これらの厳密に制御された実験の主な関心事は、ターゲット音声選択のプロセスをタスク切り替え問題の特定の一例としてモデル化することでした(例:ターゲットストリーム選択は空間的位置または声の同一性
[23]に依存する可能性がある)、注意の再配分という動的な側面そのものに焦点を当てるのではなく。そのため、注意の柔軟な再配向が、連続する競合するストリームの音声処理にどのように影響するかについては、ほとんど知られていません。

最近の音声神経生理学の研究では、注意デコーディングの分野でのEEG/MEG方法論の進歩
[26,27]や、移動する聴覚オブジェクトの持続的な音声注意の展開
[28]を調査するためのツールとして、注意の切り替えを含む実験パラダイムが開始されています。しかし、私たちの知る限り、複数話者シナリオにおける注意切り替えの神経生理学に特化し、注意の再配向中の音声の神経エンコーディングをEEGアルファ活動および瞳孔径のダイナミクスに関連付けた研究は、これまでに1つだけです
[29]。これらの発見は、注意切り替えの神経生理学が非侵襲的に研究できることを証明しました。この研究を基盤として、私たちの研究は、2つの競合する音声ストリーム間で注意を操縦することをサポートする正確な神経ダイナミクスを解明し、前のターゲットストリームから注意を解除しながら新しいストリームに注意を向けます。

本研究では、リスナーが話者から話者へと注意を操縦する際に、様々なエンコーディングウィンドウ長を使用して音声の神経エンコーディングを測定します。新しい音声ストリームへの関与が、前のターゲットからの解除が完了する前に始まるかどうかをテストし、その結果、両方のストリームの一時的な同時追跡が生じます。この解除・関与プロセスの非対称性は、たとえ一時的であっても、与えられたストリームへの注意を維持しながら代替の音声ストリームを探索する能力をサポートする可能性があります
[30]。

音声の神経エンコーディングは、参加者が没入型の複数話者リスニングタスク中にEEGを使用して健聴成人の参加者から測定されました。参加者は、前面の2つのスピーカーから再生されるTEDトークからの2つの競合する音声ストリームにさらされ、後方のスピーカーから16話者の背景雑音(図1A)が再生されました。画面上の矢印は、参加者に2つの音声ストリームのいずれかに注意を向け、矢印の方向が変わるたびに迅速に注意を切り替えるように指示しました(約10〜30秒ごと)(図1B)。ターゲットおよびマスカー音声の神経追跡は、各音声ストリームと神経応答との間の線形関係を記述するTemporal Response Function(TRF)を使用して定量化されました。初期検証として、持続的な注意に関する広範な文献
[9,10,31]と一致して、注意が向けられたストリームがEEGから確実にデコードできることを確認しました。これにより、この実験におけるEEG応答が、ターゲット音声とマスカー音声の差分エンコーディングを反映していることが確認されました(図1C)。

[画像: thumbnail]

図1. 実験概要と検証。
(A) 参加者は、前面に60°の間隔(左30°および右30°)で配置された2つのスピーカーからの音声と、後方の4つのスピーカー(B1–B4)からの16話者の同時背景雑音にさらされました。各試行では、画面にターゲット音声ストリームを指す矢印が表示されました。参加者は、視覚キューの方向が変わるとすぐに注意を切り替えるように指示されました。 (B) 1つの実験試行の模式図。黒い領域は、左(L)または右(R)の前面ストリームへの注意ブロックを表します。赤い矢印は、注意キューが側を切り替える瞬間(試行ごとに6回)を示しています。ブロック期間はランダムであり、常に15秒から30秒の間であり、試行は3分間続きました。 (C) EEGデータの検証は、注意デコーディング分析を実行することによって行われました。徐々に長いデコーディングウィンドウが考慮されました(より大きなウィンドウはより多くのデータを使用し、通常、より正確なデコーディングスコアにつながります)。バイナリ分類スコアは、ターゲットストリームとマスカーストリームの間で裁定されました。破線は、ランダムに分類ラベルをシャッフルすることによって計算されたランダム分布の95パーセンタイルを示しています。統計的に有意な注意デコーディング分類スコアは、考慮されたすべてのデコーディングウィンドウで測定され、数値結果は選択的注意に関する以前の研究
[31,34,35]と比較可能です。この図を支持するデータは、https://zenodo.org/records/20569817で入手可能です。

https://doi.org/10.1371/journal.pbio.3003876.g001

次に、自然なリスニングにおける注意切り替えの神経メカニズムに関する2つの基本的な質問に取り組みました。第一に、新しい音声ストリームへの関与プロセスと前のストリームからの解除プロセスが対称的に展開するかどうかを尋ねました(図2および3)。これをテストするために、エンコーディングTRFモデルをEEGデータに適合させ、時間経過とともに2つの競合する音声ストリームの神経追跡を測定しました。これにより、注意切り替えを取り巻く平均エンコーディングダイナミクスを特徴付け、解除と関与のプロセスを比較することができました。第二の目的は、注意を切り替える際に脳が語彙コンテキストをどのように更新し、使用するかを理解することでした(図4)。音声理解が文脈予測によってサポートされることを示す以前の研究
[32,33]を基盤として、以前のコンテキストへの感度とスイッチの発生に関する異なる仮定を反映する4つの競合する仮説を定式化しました。最先端の大規模言語モデル(LLM)を使用して、各仮説に対する定量的予測を導き出し、それぞれについて語彙のサプライズとエントロピーの4つのレグレッサーを生成しました。これらのレグレッサーは、先行コンテキストとスイッチの発生に対する感度が異なります。次に、各仮説のエンコーディングTRFモデルを適合させ、代替のコンテキスト蓄積戦略を比較し、観察された神経応答と最も一致するモデルを特定できるようにしました。この研究は、音声の低レベルおよび高レベルの抽象化の両方を含む、注意切り替えを導く時間的展開と文脈的メカニズムに関する実質的な新しい洞察を提供します。

[画像: thumbnail]

図2. 注意切り替えキューは、話者1からの強力な解除と話者2への関与を促し、その後EEGアルファERSPの有意な低下が見られます。

解除は、関与よりも長い時間的ダイナミクスを持ちます。 (A) 左: 話者1から話者2への注意切り替えの音声追跡エンコーディング。パネル内の軌跡は、スイッチキュー(垂直の灰色の線)の後に解除と関与のプロセスが対称的に進行するという私たちの null 仮説を表します。 右: スイッチキュー周辺の、話者1と話者2の神経追跡の結果。エンベロープ(Env)、単語開始(WO)、および単語サプライズ(WS)の特徴を含む4秒のスライディングウィンドウTRFモデルから得られたEEG予測相関(すべてのチャネルの平均)。プロットの下部にある色付きの水平バーは、注意切り替えキュー周辺の注意指示を示しています。ターコイズ色の点は、Spk1およびSpk2音声特徴に基づくEEG予測相関のエンコーディングスイッチを示しています。区分的線形モデルの適合がEEG予測相関値の上に重ねられています。このプロットの破線フィットは、例示目的でグランド平均皮質追跡曲線に対して実行されたことに注意してください。単一参加者レベルでの推定値は、パネルCにあります。六角形は、解除(青)および関与(黄)プロセスの開始を示し、ひし形は遷移の終了を示します。 (B) 左: スイッチキュー周辺のアルファ帯ERSP(イベント関連スペクトル摂動)の期待される結果の図。 右: スイッチキュー周辺のアルファ帯(8〜12 Hz)のERSP(すべてのチャネルの平均)、4秒のスライディングウィンドウで計算されました。選択された時点での頭皮トポグラフィーは、指示の後に有意に低下する後方陰性パターンを示しています(太い黒線は、スイッチ指示後のベースラインと比較して統計的に有意な変化を示しています)。赤い点は、参加者間のERSP最小値の平均を表します。影付きの領域は、参加者間の平均標準誤差(SEM)を表します。 (C) 左: 4秒のスライディングウィンドウのEEG予測相関(ターコイズ色のバー)とアルファERSP最小値(赤いバー)のエンコーディングスイッチの比較。アルファERSPは、Spk1-Spk2エンコーディングスイッチポイントの後に有意に遅れて最小値に達します。 右: 解除および関与プロセスの開始および終了点の時間的ダイナミクスの比較。開始/終了遷移点は、単一参加者レベルで推定されます。星印は統計的に有意な効果(対応のあるサンプルt検定; p ≤ 0.05; **p ≤ 0.01; ***p ≤ 0.001)を示しています。この図を支持するデータは、https://zenodo.org/records/20569817で入手可能です。

https://doi.org/10.1371/journal.pbio.3003876.g002

[画像: thumbnail]

図3. 注意切り替えキュー後の解除および関与プロセスの開始および終了遷移点の比較。

新しい話者への関与プロセスは、以前注意を向けられていた話者からの解除よりも有意に早く開始および終了します。 (A, B) 5つのTRFスライディングウィンドウ長にわたる解除(青)および関与(黄)プロセスの遷移の開始および終了点。エラーバーは、参加者間のSEMを表します。星印は、プロセスの種類の有意な効果(2方向繰り返し測定ANOVA; *p ≤ 0.05; **p ≤ 0.01; ***p ≤ 0.001)を示しています。この図を支持するデータは、https://zenodo.org/records/20569817で入手可能です。

https://doi.org/10.1371/journal.pbio.3003876.g003

[画像: thumbnail]

図4. 注意切り替え中の語彙予測メカニズムの調査。
(A) 4つのコンテキストモデルのレイアウト。黒で色付けされたブロックは、左または右ストリームへの持続的な注意を示し、オレンジ色の矢印は注意切り替えキューを示します。太い赤い矢印は、現在のブロック(B7、オレンジ色で強調表示)の単語予測をガイドするために使用されたコンテキストを示します。 (B) 注意切り替えキューの前後の単語における平均語彙エントロピー。リセットモデルでは、コンテキストが完全に復元されるため、スイッチ後の最初の単語のエントロピー値は表示されません。 (C) 4つの多変量TRFモデルのEEG予測相関。これらはエントロピー特徴のみが異なります。色付きの点は、すべての電極と参加者の平均を示しています。下部の灰色の領域は、意味情報(エンベロープ+単語開始)なしの多変量TRFの平均エンコーディング精度を表します。星印は、他のモデルと比較してリセットモデルで統計的に有意に高いEEG予測相関を示しています(有意性レベル: *p < 0.05, **p < 0.01, ***p < 0.001)。トポグラフィーパターンは、4つのモデルすべてにおける意味情報(エンベロープ+単語開始TRFと比較)のゲインを示しています。 (D) (左) 刺激開始からの-100〜600ミリ秒のラグにおけるエントロピー特徴のTRF重み。透明な影付き領域は、参加者間の平均標準誤差(SEM)を表します。水平の黒線は、平均TRF-N400振幅を計算するために使用された時間ウィンドウを示します。(右) 4つのコンテキストモデルの参加者間のTRF-N400振幅の分布を表す箱ひげ図。各箱の中央線は中央値を表し、箱の端は四分位範囲(IQR)を示します。ひげは、四分位範囲の1.5倍を超える最も外側のデータポイントまで伸びています。外れ値は、ひげの外側の個々の点としてプロットされています。星印は統計的に有意な差を示しています(有意性レベル: *p < 0.05, **p < 0.01, ***p < 0.001)。この図を支持するデータは、https://zenodo.org/records/20569817で入手可能です。

https://doi.org/10.1371/journal.pbio.3003876.g004

Results

Behavioral performance

各試行の後、参加者はまず、タスクへの関与を確認するために、注意が向けられた音声ストリームの内容に関する4択の質問に回答しました。行動パフォーマンスは、彼らが内容関連の質問に成功裏に回答できたことを示し、平均精度は86.3%(SEM 2.6%)でした。参加者はまた、左右のストリーム間の好みを表明するように求められましたが、これは全体的にバランスが取れており、左ストリームは平均して試行の49.79%で選択されました(SEM 1.7%)。最後に、各試行での注意切り替えの知覚された難易度は、参加者に1(非常に簡単)から5(非常に難しい)のスケールで評価するように求めることによって測定されました。スイッチの平均難易度は5点中3.1と評価され、参加者間のSEMは0.11ポイントでした。技術的な問題のため、24人の参加者のうち1人の行動データは利用できませんでした。したがって、行動パフォーマンスは、残りの23人の参加者のデータに基づいて計算されました。

Decoding of selective auditory attention in a dynamic switching scenario

参加者の注意は、ターゲット音声のエンベロープとEEG信号の関係を記述する後方TRF分析によってデコードされました。各左出し試行について、ターゲットデコーディングモデルから再構築された音声エンベロープは、左と右の両方の音声ストリームのエンベロープと相関されました。注意は、再構築されたエンベロープがマスカーエンベロープよりもターゲットエンベロープとより強く相関するストリームのエンベロープを決定することによって分類されました。これは動的な注意切り替えシナリオであったため、注意が向けられた音声は、左または右のストリームのいずれかに対応する可能性があります。再構築されたエンベロープがターゲット音声エンベロープとマスカーエンベロープよりも強く相関する場合、分類は正しいと見なされました。分類精度は、この基準が満たされたインスタンスの割合として計算されました。チャンスパフォーマンスを確立するために、各デコーディングウィンドウについて、左右のラベルが100回ランダムにシャッフルされました。図1Cに示すように、デコーディングウィンドウが長くなるにつれて、分類パフォーマンスは向上しました。しかし、1秒のウィンドウでも、分類精度はチャンスレベルを大幅に上回り、すべてのデコーディングウィンドウで、そのチャンス分布の95パーセンタイルを大幅に上回る分類率が得られました(FDR補正されたペアの2方向t検定、ウィンドウ長1秒、2秒、4秒、8秒、16秒、32秒の場合: p = 0.47e−9; 0.53e−9; 0.27e−9; 0.24e−9; 0.24e−9; 0.24e−9)。これらの発見は、持続的な注意のデコーディングや、一致対不一致分類メトリック
[9,31,36]を使用した以前の研究と一致しており、エンベロープ再構築に基づく分類が注意切り替え中でも選択的注意を確実に追跡できることを確認しています。

Neural tracking of competing speech streams in a dynamic switching scenario reflects the listener’s focus of attention and is related to changes in alpha ERSP

多変量TRF分析を実施し、参加者が2つの競合する音声ストリーム間の注意を動的に切り替えるように指示された設定における、2つの競合する音声ストリームの神経追跡を特徴付けました。単一参加者TRFは、ターゲットストリームでトレーニングされ、エンベロープ、単語開始、および単語サプライズの特徴を含む多変量音声表現を使用した両方の話者(Spk1およびSpk2)でテストされました(詳細については、Methodsを参照)。EEG予測相関は、左出しクロスバリデーション手順を使用して時間経過とともに真のEEG信号と予測されたEEG信号を相関させるスライディングウィンドウを使用して計算され、すべてのEEGチャネルで平均されました。重要なことに、これらの相関はスライディングウィンドウを使用して計算されるため、結果のスイッチタイミングは、基盤となる神経プロセスのスライディングウィンドウ長に依存します。したがって、私たちの分析から得られる時間的ダイナミクスは、基盤となる神経プロセスの正確なタイミングを反映するものではなく、常にスライディングウィンドウ長の注意を払って解釈されるべきです。

堅牢なスイッチングダイナミクスを分析するために、スイッチの過程で信頼できる注意バイアスを示した21人の参加者を選択しました(50%を超える分類精度基準)。これにより、(解除)関与の開始および終了点を推定できなかった参加者を除外しました(この除外は、開始/終了推定値を特定する前に決定されることに注意してください。この意味では、極端な開始/終了値を排除する外れ値除去とは異なります)。

私たちの期待(図2A)と一致して、スイッチキュー周辺のEEG予測相関は、注意指示と一致するSpk1およびSpk2ストリームの追跡を反映しており、スイッチ前はSpk1がSpk2よりも有意に追跡され、スイッチ後は逆のパターンが観察されました(ゼロに対するSpk1-Spk2差のペアの2方向t検定、多重比較のためのFDR補正、p < 0.005)。

注意切り替えが進むにつれて、グランド平均ERSPもアルファ周波数帯でベースラインと比較して統計的に有意な変化を示し(ゼロに対する1サンプルt検定、多重比較のためのFDR補正)、頭皮トポグラフィーに後頭頂葉の陰性パターンを明らかにしました(図2B)。これは、注意の再配向がEEGアルファ帯に与える影響という私たちの期待と一致しており、競合する音声リスニングシナリオでの注意切り替え行動をすでに反映していることが示されています
[29]。

Spk1とSpk2のEEG予測相関は、スイッチングプロセスが完了し、おそらく注意が完全に再配分された後、再び有意に分離される前に収束しました。ここでは、EEG予測がSpk1とSpk2の間で重なる時間点をエンコーディングスイッチポイントと呼びます。アルファERSPの統計的に有意な低下が観察されたことを考慮して、この低下の時間的ダイナミクスがEEG予測相関の時間的ダイナミクスと比較してどのように変化するかを尋ねました。これを処理するために、各参加者について、アルファERSPの最小値の時間とエンコーディングスイッチポイントを、4秒のエンコーディングウィンドウに基づいて特定しました(図2C)。私たちの主な分析のためにこの特定のエンコーディングウィンドウを選択した理由は、分類精度結果(図1C)に基づいており、時間分解能と分類パフォーマンスの間の良い妥協点です。しかし、複数のエンコーディングウィンドウを同時に考慮した場合でも、同じ結果パターンが保持されます(S1図)。アルファERSPの低下の時間的ダイナミクスとEEG予測相関の時間を比較したペアt検定では、アルファERSPの最小値がエンコーディングスイッチポイントに有意に後続することが示されました(t(20) = 4.29, p = 3.59e−4, Cohen’s d = 0.94)。

次に、複数のエンコーディングウィンドウ長を評価し、2方向繰り返し測定ANOVAで、メトリック(エンコーディングスイッチ対ERSP最小値)とウィンドウ(1、2、4、8秒)の効果が、エンコーディングスイッチとアルファERSP最小値の時間に与える影響を評価しました。分析の結果、エンコーディングウィンドウ長が増加するにつれて、エンコーディングスイッチとアルファERSP最小値の両方の時間的ダイナミクスが長くなることが明らかになりました(F(1.68, 33.55) = 52.77, p = 2.3e−10, ηp2 = 0.72; 球面性の違反によるグリーンハウス-ガイザー補正が適用されました)。これは、ウィンドウ長の選択による方法論的な制約を考えると驚くべきことではありません(Methodsを参照)。より興味深いことに、メトリックの統計的に有意な効果が現れました(F(1,20) = 20.26, p = 2.18e−4, ηp2 = 0.5)。アルファERSPの最小値は、様々なエンコーディングウィンドウにわたってエンコーディングスイッチよりも有意に遅れて発生しました(Holm補正後t検定: t(20) = 4.5, p = 2.18e−4, Cohen’s d = 0.97)。

Dissecting the temporal dynamics of attentional disengagement and engagement during attention switching

注意切り替えキューは、リスナーが以前注意を向けられていた話者(Spk1)から新しく注意を向けられた話者(Spk2)へと注意を再配分するように促します。この注意のルーティングは単一の統一されたプロセスのように見えますが、それが起こるために必要な2つの別々の操作を区別することが可能です。解除(disengagement)は、以前注意が向けられていた音声ストリームの神経追跡の減少として定義され、関与(engagement)は、以前注意が向けられていなかった音声ストリームの神経追跡の増加として定義されます。私たちの目標は、これらの2つの操作の時間的ダイナミクスを明確にし、それらが完全に並列に、逐次的に、またはある程度の重複で発生するかどうかを理解することでした。注意解除と関与の時間的ダイナミクスの推定は、エンコーディングウィンドウの使用により、基盤となる神経プロセスの正確な時間経過を反映しないことに注意してください。それらは相対的な、絶対的な時間的指標ではなく、相対的なものとして解釈されるべきです。前述の分析と同様に、まずスイッチの過程で信頼できる注意バイアスを示した参加者を選択しました(Methodsを参照)。この21人の参加者の選択について、EEG予測相関に区分的線形回帰を適合させ、解除と関与の開始および終了時刻に対応する最適なブレークポイントを見つけました(図2C)。上記と同様に、4秒の例示ウィンドウに焦点を当て、後で様々なエンコーディングウィンドウ長で結果を複製しました。解除および関与プロセスの空間的パターンをさらに特徴付けるために、選択された時点でのEEG予測相関の頭皮トポグラフィーを図S2に示しており、最も予測的なチャネルが主に中央頭頂領域に位置していることを示しています。解除および関与プロセスは、開始時刻と終了時刻に基づいて個別に比較され、関与の方が解除よりも一貫して早い時間的ダイナミクスを示しました。新しい注意が向けられた話者への関与は、以前注意が向けられていた話者からの解除よりも有意に早く開始し(対応のあるサンプルt検定: t(20) = 2.37, p = 0.03, Cohen’s d = 0.52)、有意に早く終了しました(対応のあるサンプルt検定: t(20) = 2.35, p = 0.03, Cohen’s d = 0.39)。

次に、様々なスライディングウィンドウ長に分析を拡張し、繰り返し測定ANOVAで、ウィンドウ(1、2、4、8、16秒)とプロセス(解除対関与)を主要因子として含め、解除および関与プロセスの開始時刻と終了時刻を比較しました。開始点(図3A)に関して、私たちの分析は、ウィンドウの統計的に有意な効果を示しました。これは、より長いエンコーディングウィンドウ長に対応するより長い時間的ダイナミクスを示しています(F(1.51,30.14) = 9.7, p = 0.001, ηp2 = 0.33; 球面性の仮定は満たされませんでした。したがって、グリーンハウス-ガイザー補正が適用されました)。より重要なことに、プロセスの有意な主効果も観察されました(F(1,20) = 5.48, p = 0.03, ηp2 = 0.21)。これは、新しい注意が向けられたストリームへの関与が、以前注意が向けられていたストリームからの解除よりも有意に早く開始することを示しています(Holm補正後t検定: t(20) = 2.34, p = 0.03, Cohen’s d = 0.54)。同じ統計分析が、解除および関与プロセスの終了時刻に対して個別に繰り返されました(図3B)。ここでもウィンドウの主効果が明らかになり、より長いエンコーディングウィンドウがより長い時間的遷移をもたらしました(F(1.97,39.32) = 31.76, p = 7.2e−9, ηp2 = 0.61; 球面性の仮定は満たされませんでした。したがって、グリーンハウス-ガイザー補正が適用されました)。プロセスの有意な主効果も現れました(F(1,20) = 4.46, p = 0.047, ηp2 = 0.18)。これは、新しい注意が向けられた話者への関与プロセスが、解除よりも有意に早く開始するだけでなく、終了することも示しています(Holm補正後t検定: t(20) = 2.11, p = 0.047, Cohen’s d = 0.58)。

スイッチキュー周辺でチャンスを下回る分類精度を示した3人の参加者を含めたフォローアップ分析は、これらのデータポイントが関与と解除の潜時の推定にノイズを導入したことを確認しました。これは予想通りでした。なぜなら、これらの参加者では開始点と終了点を決定できないからです。観察されたパターンは、上記の結果と質的に似ており、関与の方が解除よりも早い時間的ダイナミクスを示しましたが、統計的有意性の閾値を下回る弱い効果でした(繰り返し測定ANOVA; 開始点: F(1,23) = 2.69, p = 0.11, ηp2 = 0.1; 終了点: F(1,23) = 2.96, p = 0.1, ηp2 = 0.11)。

Determining how lexical predictions are built during attention switching

別の音声ストリームに注意を再配向することは、コンテキストの変化を意味し、それに応じて語彙予測のための異なる意味的先行情報が得られます。したがって、多変量エンコーディングTRFモデルの構造にこのコンテキストの変化を組み込むと、動的に更新される競合する音声ストリームの神経追跡をよりよく反映するため、EEG予測相関が増加すると仮定しました。4つの代替モデルを比較し、特定の注意ブロック(例:図4AのB7)での語彙予測を実行するためにコンテキストがどのように段階的に蓄積されるかを表しました。現在のストリームのすべての利用可能な過去のコンテキスト(注意が向けられたかどうかにかかわらず)を使用して現在のブロックの単語を予測するナイーブなOracleモデルは、スイッチに依存しない文脈表現であったため、ベースラインとして機能しました。一方、Speaker-SpecificおよびAttentionモデルはスイッチに依存するモデルであり、それらのコンテキストは語彙予測のためのコンテキストとして以前に注意が向けられたブロックのみを考慮しました。Resetモデルは、代わりに、すべてのストリームからの以前に注意が向けられたブロックを無視し、注意の現在のブロックの進行中にのみコンテキストを計算しました。これは、語彙予測の先行情報が各注意切り替えでリセットされるかのように機能しました(図4A)。

語彙エントロピーは次の単語予測の不確実性の代理であるため、その値はコンテキストモデルによって異なるスイッチキューの影響を受けるはずです。図4Bは、スイッチキューの前後の単語における平均語彙エントロピー値の変化を示しており、コンテキストモデルによって異なります。Resetモデルは最も高い不確実性でピークに達し、次の単語の進行中にゆっくりと減衰するのに対し、AttentionおよびSpeaker Specificモデルは全体的に同様の語彙エントロピーダイナミクスとより安定した値を持つことが観察されます。スイッチに依存しない性質と一致して、Oracleモデルはスイッチにもかかわらず、ほとんど変化しないエントロピー値を示します。4つのコンテキスト蓄積戦略の平均エントロピー値の明示的な比較は、統計的に有意な差を示しました(繰り返し測定ANOVA、球面性の違反によるグリーンハウス-ガイザー補正; F(1,19) = 39.57, p = 9.59e−10, ηp2 = 0.68)。後続のペアワイズテスト(Holm補正済み)は、ResetモデルがOracleモデルよりも有意に高いエントロピーを示し(t(19) = 5.75, p = 1.44e−6, Cohen’s d = 0.45)、Attention(t(19) = 4.64, p = 6.28e−5, Cohen’s d = 0.36)およびSpeaker-Specificモデル(t(19) = 2.24, p = 0.04, Cohen’s d = 0.17)よりも有意に低いエントロピーを示したことを示しました。したがって、注意切り替えキューの後に最も高いピークを示したにもかかわらず、Resetモデルはここで考慮された4つの語彙期待モデル全体で中間的なエントロピー値を持っていました。

語彙サプライズと語彙エントロピーは、各コンテキストモデルのセマンティック情報レグレッサーとして使用され、単一参加者エンコーディングTRF(エンベロープ-単語開始-単語サプライズおよびエンベロープ-単語開始-単語エントロピー)を適合させるために多変量刺激表現に個別に含まれました。結果のTRF重みとEEG予測相関は、スイッチに依存するコンテキストリッチな表現(例:Speaker-SpecificまたはAttention)が注意切り替えシナリオにおける神経活動を最もよく記述するという仮説に基づいて、コンテキストモデル間で比較されました。

コンテキストモデルを比較する前に、各モデルが、音響特徴(エンベロープと単語開始)のみで構成されるベースラインモデルと比較して、統計的に有意なエンコーディング精度ゲインをもたらしたかどうかをテストしました。エントロピーをセマンティクス用のレグレッサーとして使用した場合、Oracleを除くすべてのモデルが統計的に有意なゲインを示し、刺激音響に加えてセマンティック情報の堅牢な追跡を示唆しました(ペアt検定: Oracle対Acoustics: p = 0.2; Spk.Spec.対Acoustics: p = 0.04; Attention対Acoustics: p = 0.04; Reset対Acoustics: p = 0.002)。単語サプライズをセマンティックレグレッサーとして使用した場合も同様の結果が得られ、Oracleを除くすべてのモデルがセマンティック情報の堅牢なエンコーディングを示しました(ペアt検定: Oracle対Acoustics: p = 0.15; Spk.Spec.対Acoustics: p = 0.02; Attention対Acoustics: p = 0.02; Reset対Acoustics: p = 0.01)。Oracleモデルの音響モデルに対する有意でないゲインは、Oracleが制御用のスイッチに依存しないモデルとして設計されていたため、予想通りでした。

私たちの予想とは対照的に、Resetコンテキストモデルは、エントロピーがセマンティクス用のレグレッサーとして使用された場合、より高いEEG予測相関値を示しました(図4C)。繰り返し測定ANOVAは、主因子であるコンテキストモデルの統計的に有意な効果を示しました(F(2.1,47.75) = 9, p = 4e−4, ηp2 = 0.28; グリーンハウス-ガイザー補正付き)。Holm補正後テストでは、ResetモデルはOracle(t(23) = 4.99, p = 2.63e−5, Cohen’s d = 0.14)、Speaker Specific(t(23) = 3.73, p = 0.002, Cohen’s d = 0.1)、およびAttention(t(23) = 3.28, p = 0.006, Cohen’s d = 0.09)よりも有意に高いエンコーディング精度を示しました。次に、4つのコンテキストモデル間のエントロピー特徴のTRF重みの差を評価しました(図4D)。これは、TRF-N400潜伏時間(350〜550 ms)を中心に広範囲にわたる重みの振幅を平均することによって行われました。重みの振幅値に対して繰り返し測定ANOVAを実行したところ、コンテキストモデルの主効果が明らかになりました(F(3,69) = 15.51, p = 8.2e−8, ηp2 = 0.4)。後続テスト(Holm補正済み)では、Resetモデルの重みがOracle(t(23) = −5.56, p = 2.4e−6, Cohen’s d = 0.45)、Attention(t(23) = −5.84, p = 9.2e−7, Cohen’s d = 0.47)、およびSpeaker Specific(t(23) = −5.24, p = 6.5e−6, Cohen’s d = 0.43)よりも低いTRF-N400振幅を持つことが示されました。

語彙サプライズをセマンティックレグレッサーとして含む多変量TRFを適合させた場合、4つのコンテキストモデル間でEEG予測相関に統計的に有意な差が観察されました(F(1.59,36.6) = 3.96, p = 0.04, ηp2 = 0.15、グリーンハウス-ガイザー補正付き)。後続分析では、ResetモデルとOracleモデルの間に統計的に有意な差が示されました(t(23) = 3.18, p = 0.013, Cohen’s d = 0.1)。一方、他のすべての後続ペアワイズ比較は有意水準に達しませんでした(p < 0.05)。同様に、モデルのTRF重みのTRF-N400振幅の比較でも有意な差は現れませんでした。

Discussion

複数の話者がいる環境での音声コミュニケーションは、持続的な注意と迅速な注意切り替え能力の巧みな組み合わせを必要とします
[5,30]。持続的な音声注意の神経生理学は広く研究されてきましたが
[1,9,37,38]、注意切り替えの神経メカニズムについてはあまり知られていません。ここでは、音声の抽象化の様々なレベルでの注意切り替えの神経生理学を調べるように調整されたEEG実験で、このギャップを埋めます。そうすることで、(1)持続的な注意と注意切り替えのメカニズムの両方をうまく調査できる実験パラダイムを実証しました。(2)解除および関与プロセスを高い時間分解能でうまく解剖し、それらの時間的展開における実質的な非対称性と、2つの音声ストリームの一時的な同時エンコーディングを特定しました。(3)注意を切り替える際に脳が語彙コンテキストをどのように更新し、使用するかについての神経生理学的に妥当な説明を提案しました。

この研究の発見は、音声注意切り替えメカニズムの理解にいくつかの影響を与えます。解除プロセスと関与プロセスの間に測定された非対称性は、2つのプロセスを別々に研究することの重要性を強調しています。この区別は、注意バイアスや分類の測定に焦点を当てることが多かった以前の研究ではしばしば考慮されていませんでした
[10,31,34,39]。そのようなデコーディングメトリックの有効性は、認知制御聴覚デバイスなどのブレイン・コンピューター・インターフェースの研究の推進力となってきました
[40–43]。私たちの発見は、エンコーディングメトリックが、異なるストリームのエンコーディングが時間とともにどのように進化するかを解きほぐすのに十分な詳細レベルを可能にすることを示しています。ここでは、非常に特定のシナリオにおける注意切り替え中の解除と関与プロセスの間の非対称性を測定しました。確かに、認知負荷、加齢、認知能力、聴覚障害、音声内容への関心、試行あたりの注意切り替えの頻度など、多くの要因によってこの関係がどのように変調されるかを判断することが重要になります。もちろん、将来の研究では、タスクの特定の性質がこの現象にどのように影響するかを精査する必要があります。

リスナーがマスカーを無視しながらターゲット音声に集中する持続的な注意タスク
[2,44]は、リスナーが注意が向けられていないストリームを監視するインセンティブがないという、かなり特殊なシナリオを含みます。しかし、現実の状況では、リスナーは、例えば、現在の話者への関心の欠如など、代替の音声ストリームを探索する理由があるかもしれません。私たちの実験パラダイムは、このシナリオをより密接に模倣しています。タスクの指示された性質はそれを非現実的にしますが、パラダイムはマスカーを監視し、迅速に注意を切り替える準備をすることを奨励します。これは持続的な注意タスクとは対照的です。観察された非対称性は、この実験パラダイムに固有のものであるかもしれませんが、結果は、脳が前のストリームから解除を開始する前に新しいターゲットへの関与を開始できることを示唆しています。これにより、2つのストリームの一時的な同時追跡が可能になり、聴覚シーン監視メカニズム
[45,46]と一致します。言い換えれば、注意切り替え後に、前のストリームの追跡を変更することなく、新しいストリームの追跡が出現する短い期間があります。関与と解除の潜時はウィンドウに依存するため、絶対的な神経タイミングとして意図されていません。それにもかかわらず、関与・解除の非対称性はスライディングウィンドウ長の選択に対して堅牢であり
[3]、ウィンドウによる時間的平滑化や試行・参加者平均化では説明できません。時間的平滑化は、原理的には関与・解除ダイナミクスを時間的に引き伸ばす可能性がありますが、非対称性を生成することはできません。将来の研究では、これらの時間的ダイナミクスをよりよく特徴付けるために、試行間および参加者間の変動を調査すべきです。背側-腹側注意フレームワーク
[47,48]内では、注意の再配向は、目標指向性の背側ネットワークと刺激駆動性の腹側ネットワークの柔軟な相互作用から生じます。関与・解除の非対称性という私たちの発見は、注意の解放と再配分の統合されたプロセスというこの見解と一致しており、潜在的に重複する神経ダイナミクスを持っています。

直感的に、注意切り替え中に複数の音声ソースの一時的な並列表現を維持することは、効率的な神経処理戦略です。これにより、新しい音声にすぐに完全にコミットすることなく、必要に応じて前のストリームに切り戻す柔軟性が得られます。この現象は、脳が音声マスカーを音響レベルを超えて処理し、ある程度言語的特性をエンコードできるという以前の主張を支持しています
[7,8,16]。注意が向けられていない音声ストリームも人間の皮質活動に表現されており、エンコーディング強度が低い、またはターゲットストリームよりも時間遅延が長いという証拠があります
[1,49,50]。また、一次聴覚野から非一次聴覚野への注意バイアスの勾配があり
[13,14]、注意が向けられていないストリームのエンコーディングは、高次皮質領域では実質的に減少するか、測定できない傾向があります
[51,52]。以前の研究では、音声エンベロープだけでなく、注意が向けられていない音声の他の重要な特徴(例:音響開始)も神経的に表現されており
[53,54]、音声マスキングによってそれらが容易に利用できない場合、それらは後時間のスケールでさえ回復されることが示されています
[55]。1つの解釈は、注意が向けられていない音声のテンプレート構造をエンコードすることが、それを抑制するための有用な戦略である可能性があるということです
[53]。他の研究では、ターゲットとマスカーの相対的な音響エネルギーの変化に対応する注意の変動が発見されており、脳が注意が向けられていないストリームの音韻情報の一部をエンコードしている可能性を示唆しています
[56,57]。そのような注意が向けられていないストリーム情報のエンコーディングは、注意切り替え中の迅速な関与を促進する要因の1つである可能性があります。

リスニング努力の指標としてアルファERSPを使用して、この研究は知覚的需要と注意切り替えダイナミクスを関連付けました。注意切り替えキューの約4.5秒後に、EEGアルファ帯電力の大幅な低下が一貫して測定されました。ERSP軌跡は、注意切り替え全体を通して強いリスニング努力が持続し、スイッチの終盤近くで大幅に低下することを示唆しています(図2A)。興味深いことに、この研究で観察されたアルファERSPの谷は、新しいターゲットストリームが完全に追跡されるようになった時点、つまり関与プロセスが完了した時点とほぼ一致します。これは、解除プロセスが完了するずっと前です。注意切り替えプロセスは、両方のストリームの皮質追跡測定値がスイッチ前のレベルに戻ったときに完了したと見なされるため、この結果はアルファパワーと特にエンコーディングプロセスとの関連を示唆しています。別の可能性は、アルファERSPダイナミクスが、新しいターゲットストリームに注意を再集中しながらのリスニング努力と、新しいマスカーの積極的な抑制の組み合わせを反映していることです。新しい注意が向けられたストリームがスイッチ前のレベルで追跡されるとき、そのストリームに関する十分な音響的および言語的コンテキストが蓄積され、追跡を容易にし、認知リソースを解放した可能性があります。将来の研究では、スイッチの難易度が皮質追跡の非対称性とアルファERSPの対応にどのように影響するかを調べるべきです。この発見は、選択的注意とリスニング努力の神経相関に関する以前の研究を拡張するものです。アルファ帯活動の変動は、聴覚注意努力
[58–62]だけでなく、内部焦点と外部焦点の脳状態の変動
[63]、および行動目標に合わせた無関係な情報の積極的な抑制
[64–66]とも関連付けられています。特に、認知負荷と無関係な刺激の抑制は、単一話者への注意維持よりも注意の再配向によってさらに強く影響されるようです
[29,67]。これは、注意切り替えの認知要求の増加を強調しています。アルファパワーは一般的に主観的なリスニング疲労
[58,60]または注意が向けられたストリームと注意が向けられていないストリーム間の信号対雑音比(SNR)
[61]の変動に関連付けられていますが、音声追跡の神経マーカー
[68,69]とはあまり関連付けられていません。本研究では、音声追跡の神経ダイナミクスとリスニング努力の関連性を特定し、注意切り替えの課題に関する将来の研究に役立つ可能性のある指標を示しました。

皮質追跡とアルファERSPメトリックは、注意が競合するストリーム間で動的にどのように再配分されるかを調査するために使用できますが、それらは高レベルの言語表現が注意切り替え中にどのように更新されるかを特定しません。音声理解におけるコンテキストの重要性を考慮すると、音声ストリームから別の音声ストリームに注意を切り替える際に、それがどのように調整されるかを調査することは特に重要です。この質問に取り組むには、比較可能な意味のある時間的ダイナミクスを持ち、関連する神経署名の分離を可能にするのに十分な音声エンベロープ追跡との区別を持つ、比較的長い時間的ダイナミクスを持つ神経表現に焦点を当てる必要があります。語彙エントロピーとサプライズは、それらの長い潜伏時間と広く研究された神経署名により、注意切り替えへのコンテキストの影響を特徴付けるのに理想的です。他の情報量の多い音声特性(音韻論やイントネーションなど)も重要ですが、それらの速い時間的ダイナミクスは、音声エンベロープ追跡からそれらの注意切り替えダイナミクスを分離することを困難にします。したがって、注意切り替え後に意味的予測がどのように更新されるかに焦点を当て、言語的コンテキストが維持されるか、リセットされるか、またはプロセス中に更新されるかをモデル化しました。

この研究では、コンテキストの注意切り替えへの感度と過去のコンテキストへのアクセスが異なる4つのコンテキスト蓄積モデルを比較しました。Oracleモデル(コンテキストリッチだがスイッチに依存しない)、Speaker SpecificおよびAttentionモデル(両方ともコンテキストリッチでスイッチに依存するが、ストリーム選択性が異なる)、およびResetモデル(スイッチに依存するが現在のブロックのコンテキストに限定される)。各モデルについて、それぞれのコンテキスト戦略に合わせたセマンティックレグレッサーを使用した多変量TRFを適合させました。私たちのデータは、ResetモデルがEEGデータを最もよく予測し、過去のコンテキストを保持するモデルを上回り、注意切り替え中の理解を助けるために過去の意味情報が利用されるという仮説に挑戦したことを示しています。この発見は予想外でしたが、私たちが仮説を立てた可能性のある結果の1つであり、リスナーが新しいストリームに注意を切り替える際にコンテキストをリセットし、語彙予測を動的に再調整する可能性を示唆しています。これは、エピソード記憶とイベントセグメンテーションの文献
[70–72]での発見と一致しています。

興味深いことに、多変量TRF分析は、語彙サプライズではなく語彙エントロピーをセマンティックレグレッサーとして使用した場合に、4つのコンテキストモデル間で精緻な違いを明らかにしました。これは、語彙サプライズの反応的な性質とは対照的に、エントロピーの前向きな性質を反映している可能性があります。もう1つの考慮事項は、参加者が積極的に注意切り替えを実行したため、異なる音声素材に遭遇することを期待しており、サプライズを抑制した可能性があることです。これは、スイッチキューを受け取らなかったLLMモデルには当てはまりませんでした。LLMと人間の脳とのこの可能性のある不一致は、サプライズに影響を与える可能性がありますが、エントロピーには影響しません(コンテキスト構築プロセスを反映するため)。これは、Resetモデルがエントロピーレグレッサーに対してのみ最良の結果を示す潜在的な説明を提供します。これらの結果を解釈する上で、MistralのようなLLMは、神経生理学的に妥当である必要がないという要件なしに、次の単語予測に最適化されていることも重要です。私たちの脳の語彙予測がコンテキストをリセットした後に構築されるという1つの解釈がありますが、Mistral LLMと私たちの脳がこれらの音声の不連続性を全く異なる方法で処理する可能性もあります。これらの注意点を念頭に置くと、現代のLLMと神経生理学的活動との類似性に関する一貫した報告
[73–75]に反して、Resetモデルのより高い神経生理学的妥当性は、過去のコンテキストが、競合するモデルであるAttentionおよびSpk-Specificで実装されている方法では、私たちの脳によって利用されていないことを示唆しています。

過去のコンテキストを利用する他の戦略も存在する可能性があります。1つの可能性は、注意を切り替えることが、例えば、物語の要点として、その抽象的な意味を要約するなど、コンテキストの異なる使用を促すことです
[16]。したがって、例えば、文予測に最適化された大規模概念モデル
[76]を使用して、コンテキスト表現のための異なる戦略を探求することに価値があるかもしれません。後者の可能性は、LLMと人間の脳における言語的コンテキストの蓄積に関する最近の研究
[77]によっても支持されており、限られたコンテキストウィンドウ(32トークン)と過去のコンテキストの粗い要約へのアクセスを持つLLMが、より高いトークンメモリを持つLLMよりも神経活動をよりよく予測することを示しています。

要約すると、この研究は、現実的な複数話者シナリオにおける注意切り替えプロセスが、解除と関与のコンポーネントの観点から、2つのストリームの一時的な並列表現を伴って調査できることを示しました。神経音声追跡の指標とリスニング努力の指標を関連付けることの重要性を強調し、リスニング努力が注意の再配分中の2つのストリームの成功した曖昧さの解消後に低下し始めることを示しました。最後に、コンテキストの蓄積戦略における微妙な違いに対するトランスフォーマーベースの言語モデルの感度を示す、動的な注意シナリオの語彙コンテキストをモデル化するためのアプローチを導入しました。これらの発見は、注意の再配向の皮質メカニズムに関する将来の研究に影響を与え、年齢や聴覚レベルの異なる多様な集団間の違いを強調するために使用できます。

Methods

Ethics statement

研究参加者から書面によるインフォームドコンセントを得ました。本研究はヘルシンキ宣言に従って実施され、プロトコルはトリニティカレッジダブリンの心理学部研究倫理委員会(倫理承認番号: SPREC012023-08)によって承認されました。

Participants and experimental procedure

本研究に参加するために、24人の若いネイティブ英語話者(18歳から39歳)を募集しました。参加者は、0.25 Hzから8 kHzまでの純音聴力検査スクリーニング基準を満たし、神経学的または精神的疾患の既往歴がなく、視力は正常または矯正視力で正常でした。

実験は、リスナーを取り囲む6つのスピーカーの円形アレイ(半径1.50m)で、複数話者シナリオをシミュレートしました(図1A)(参加者に対する水平角度±30°、±112.5°、および±157.5°)。参加者は、前面にある画面の中央に表示される左向きまたは右向きの矢印の視覚キューに従って、前景の左右の音声ストリーム間で注意を動的に切り替えるように指示されました。前景ストリーム間で注意を切り替えながら、後方の4つのスピーカー(B1-B4)から再生される16話者の雑音を無視するように求められました。前面のストリームはそれぞれ60 dBの音圧レベル(SPL)で提示され、各雑音バブルは54 dB SPLで提示され、前景が背景に対して3 dBのSNRとなりました。

参加者は20試行(各180秒)にさらされ、試行ごとに6回の注意切り替えを実行する必要がありました。これは半ランダムな間隔で発生しました(図1B)。このため、特定の音声ストリームへの持続的な注意のブロックは、期間が10秒から30秒まで大きく変動しました。各試行では、左と右のスピーカーから前景の異なる男性と女性の音声ストリームが再生され、実験全体で提示の側と注意ブロックの開始がカウンターバランスされました(つまり、実験は以下の試行シーケンスを持つ5つのサブブロックで構成されました:男性左 – 注意開始:左;女性左 – 注意開始:左;男性左 – 注意開始:右;女性左 – 注意開始:右)。

各試行は、注意が向けられる側を指す視覚キューと背景雑音のみで開始され、5秒後に2つの前景音声ストリームが同時に開始されました。各試行の最後に、参加者は3つの多肢選択式の質問に答えました。まず、注意が向けられた音声ストリームの内容に関する4択の質問が提示されました。試行中に注意が左右の音声ストリーム間で交互に切り替わるため、質問はどちらかの競合するストリームに関するものでした。2番目の質問は、個人的な興味に基づいて、2つのストリーム(左または右)間の参加者の好みを評価する二項選択でした。最後に、5段階のリッカート尺度質問(1:非常に簡単;5:非常に難しい)を使用して、注意切り替えタスクの知覚された難易度を定量化しました。実験フローは自己ペースであり、疲労を最小限に抑えるために、5試行ごとに少なくとも5分間の3回の必須休憩が含まれていました。

音声ストリームは44.1 kHzのサンプリングレートで提示され、Roland Octa-Capture 10×10サウンドカード(24ビット/192 kHz)を介して配信され、6つのPreSonus Eris 4.5BTスピーカーで再生されました。参加者のEEG活動は、BioSemi ActiveTwoシステムを使用して512 Hzのサンプリングレートで記録され、標準的なキャップ上の64電極は国際10/20システムに従って配置されました。アクティブ(CMS)およびパッシブ(DRL)電極はすべての電極の参照として使用され、さらに2つの電極が乳突部に配置され、オフラインで参照されました。24人の参加者のうち21人については、さらに脳波図(EOG)と筋電図(EMG)を記録しました。左と右のこめかみに2つの電極を配置して水平眼球運動を捉え、左目の上下に2つの電極を配置して垂直眼球運動とまばたきを記録しました。頭部回転に関連するEMG活動を捉えるために、左三角筋に電極を配置しました。これらの外部電極からの活動は、本研究では分析されていないことに注意してください。

Stimuli

前景音声刺激には、様々なトピックをカバーする40のTEDトークが含まれており、20人の女性と20人の男性のプレゼンターが、それぞれ様々な英語アクセントで話していました。すべての音声ストリームは、男性と女性の声の違いを減らすために、二乗平均平方根(RMS)で正規化されました。各4話者の背景バブル信号は、4つの個別のTEDトークのオーディオ信号を合計することによって取得されました。バブルノイズの長期平均スペクトルは、男性と女性の両方の前景話者の全体的なスペクトルに一致するように調整され、マスキングの一貫性を確保しました。

EEG data preprocessing

神経データは、CNSPイニシアチブ(Cognition and Natural Sensory Processing; https://cnspworkshop.net)の一部として公開されているスクリプトとリソースに基づいて、MATLABソフトウェア(MathWorks)のカスタムスクリプトで分析されました。神経信号は、まず0.5 Hzから8 Hzの間でバンドパスフィルタリングされ、4次ゼロ位相シフトバタワースフィルタが使用され、その後512 Hzから64 Hzにダウンサンプリングされました。平均から3標準偏差以上離れたチャネルを置き換えるために、球面スプライン補間が適用されました。EEGはその後、2つの乳突部電極の平均に再参照されました。

Speech features

本研究は、前景音声刺激の音響的および語彙的特性に関連する様々な特徴とEEGデータとの関係を測定することにより、動的な複数話者シナリオの神経追跡を特徴付けることを目的としました。音声音響をモデル化するために、オーディオの広帯域振幅エンベロープは、ヒルベルト変換の絶対値を取ることによって抽出されました。音声の語彙的特性をモデル化するために、転写された刺激とそのオーディオは、まずWebMAUS Basic aligner
[78–80]を使用して自動的にアラインメントされ、各単語の開始と終了に対応するタイムスタンプが特定されました。結果として得られた自動アラインメントはTextGrid形式で保存され、必要に応じてPraatソフトウェア
[81]を使用して手動で調整されました。その後、タイムスタンプを使用してMATLABでバイナリ単語開始ベクトルが構築されました。バイナリ単語開始ベクトルは単語セグメンテーションに関連する情報を表しますが、各単語のサプライズまたはエントロピー値に応じて変調され、高次の意味情報を表すこともできます。単語サプライズは、先行する言語コンテキストを考慮した場合の単語の予期せぬ度合いの尺度であり、大規模言語モデル(LLM)を使用して、先行コンテキストを与えられたその単語の確率の負の対数として計算できます。一方、単語エントロピーは、次の単語の不確実性または予測不可能性を測定します。ここでは、事前学習済みのオープンソースLLM、Mistral-7B-v0.1
[82]を使用して単語確率を抽出し、その後、各単語の語彙サプライズと語彙エントロピー値を計算しました。

注意切り替えタスクの動的な性質を考慮すると、現在の単語予測に含めるべきコンテキストの定義は、単純な問題になります。機械の観点からは、例えば左ストリームに属する単語wが与えられた場合、LLMは左ストリームからのすべての利用可能な言語コンテキストが提供された場合にそれをより容易に予測します。しかし、神経/行動の観点からは、参加者が左右のストリーム間で注意を柔軟に再配向していたため、最適なコンテキストは注意切り替えの影響を受け、潜在的に以前に注意が向けられたブロックの情報を保存する可能性があります。これらのコンテキスト蓄積の代替案を比較するために、4つの代替表現に従ってコンテキストを表現しました。機械的理想モデルであるOracleは、特定のストリーム内の現在の単語の前のすべての単語をコンテキストとして考慮します。これは、注意が向けられたかどうかにかかわらずです。したがって、このモデルは注意の切り替えを認識していません。より神経生理学的に妥当でスイッチに依存するコンテキスト蓄積モデルの中で、Attentionモデルを構築しました。これは、左右両方の音声ストリームからの以前に注意が向けられたブロックをコンテキストとして取り込みます。また、Speaker Specificモデルも構築しました。これは音声ストリームバイアスを示し、現在のブロックの語彙予測のコンテキストとして、同じストリームの以前に注意が向けられたブロックのみを含めます。AttentionおよびSpeaker Specificと同様に、4番目のモデルであるResetはスイッチに依存しますが、コンテキストには依存しません。実際、これは以前に注意が向けられたかどうかにかかわらず、以前の音声ブロックを追跡せず、各注意切り替えキューの後にコンテキストをリセットします。

Temporal Response Function (TRF) and analysis procedure

本研究では、TRFと呼ばれる遅延線形回帰に基づいた線形モデルを使用して、EEGデータを予測する(エンコーディング)または未見の刺激特徴を再構築する(デコーディング)能力として、音声特徴の神経追跡を定量化しました。TRFモデルは、過学習を避けるために左出しクロスバリデーション手順を使用して、参加者ごとに個別に適合され、エンコーディングモデルの場合は-100〜600ミリ秒、デコーディングモデルの場合は0〜600ミリ秒の範囲の時間遅延が考慮されました。TRFモデル計算では、チホノフ正則化が適用され、正則化パラメータ(λ)は10−6から104までの対数スケールで網羅的な検索によって調整されました。この検索は、クロスバリデーションプロセスの各イテレーション中にトレーニングフォールドで実施され、最適なλは、真のデータと予測/再構築されたデータの間の相関(ピアソンのr)を最大化したパラメータとして選択されました。

まず、左右の音声ストリームの注意が向けられたセグメントの組み合わせから、注意音声モデルを構築しました。次に、EEGと注意が向けられた刺激特徴をカップリングすることによってTRFモデルを適合させました。デコーディングアプローチでは、注意が向けられたTRFモデルに基づいて各試行のエンベロープを再構築し、その後、対応する試行の左右のストリームの真のエンベロープと相関させました。左右の真の注意ラベルが試行全体で知られていたため、分類精度は、注意が向けられた刺激として正しく分類された左または右のセグメントの割合として計算できました(図1C)。また、注意が向けられた刺激を正しく分類するモデルの能力に相関ウィンドウサイズが与える影響を評価するために、様々なデコーディングウィンドウ長(1、2、4、8、16、32秒)を使用して、分類精度のnull分布を計算しました。

時間経過とともに左右のストリームの神経追跡の進化を、神経生理学的に解釈可能なアプローチで観察するために、スライディングウィンドウアプローチ(MATLABのmovcorr関数)を使用して、ステップサイズ0.125秒で、真のEEG信号と予測されたEEG信号を相関させるエンコーディングTRFモデルを計算しました。したがって、推定された時間的ダイナミクスはウィンドウに依存し、神経タイミングの相対的な指標として解釈されるべきであり、絶対的なものではありません。エンコーディングTRFは、音響的および意味的特徴の両方の影響を評価するために、エンベロープ(Env)、単語開始(WO)、および単語サプライズ(WS)または単語エントロピー(WE)を含む多変量刺激特徴のセットで適合されました。

スイッチ周辺の注意の再配向は、解除ストリーム(注意が向けられた > 注意が向けられていない)と関与(注意が向けられていない > 注意が向けられた)ストリームの観点から分析できます。これらのプロセスの開始点と終了点を比較するために、まず参加者をスイッチの過程での注意バイアスに基づいて選択しました。参照4秒エンコーディングウィンドウに基づいて、注意切り替えキューの前後の15秒ウィンドウでの単一参加者分類精度を決定しました。次に、プリスイッチまたはポストスイッチウィンドウで50%を下回る分類パフォーマンスを示した参加者を見つけ、スイッチの時間的ダイナミクスに関するさらなる分析から除外しました。解除および関与プロセスの開始点と終了点は、各参加者について、注意切り替えキュー周辺のEEG予測相関値に区分的線形回帰モデルを適合させることによって特定されました。各EEG予測相関ストリームについて、モデルは平均プリスイッチおよびポストスイッチ値を定数として含み、これらの平坦なセグメントが接続されるブレークポイント、すなわちプロセスの開始点と終了点を推定しようとします。ブレークポイントの初期推定値は、合理的な仮定(例:解除/関与の開始は、切り替えキューより前に発生しない可能性がある)に基づいて提供され、フィッティングはMATLABのlsqcurvefit関数を使用して実行されました。この関数は、モデルと観測データ間の差を最小化します。

コンテキスト蓄積モデルの異なる種類を比較するエンコーディングTRFを計算する際、意味情報処理に最適化されたアプローチ
[83]を採用しました。この方法では、真のEEGデータと予測されたEEGデータの間の予測相関は、単語開始から300〜500ミリ秒の範囲をカバーするウィンドウ内で計算され、意味エンコーディングの影響を効果的に高めることができます。

Event-related spectral perturbation (ERSP)

以前の研究では、頭頂葉のアルファ帯(8〜12 Hz)EEG電力の低下がリスニング努力の増加と関連付けられており、注意を切り替えるには、単一話者への注意を維持するよりも多くのリスニング努力が必要であることが示されています
[29]。アルファパワーの時間経過を評価し、TRF予測相関の時間的ダイナミクスと比較する方法に関心があったため、スイッチ周辺の努力の代理としてアルファ帯におけるイベント関連スペクトル摂動(ERSP)を計算しました。アルファ帯の神経活動は眼球運動アーチファクトに敏感であるため、標準的なEEGLAB関数
[84]を使用して独立成分分析(ICA)を実行しました。各被験者について、時間的特性と空間的トポグラフィーに基づいて眼球運動アーチファクト(まばたきや水平眼球運動など)を反映する独立成分を特定し、データから除去しました。ICAベースのアーチファクト除去は、アルファ帯ERSP分析にのみ適用され、神経追跡には適用されませんでした。TRF推定値は、拡張された時間遅延にわたる刺激-応答共分散に基づいており、音声信号と体系的に共分散しないスイッチ周辺の短い眼球運動の影響を受ける可能性は低いと考えられます。TRFは完全なデータセットで適合され、TRF重みの検査では眼球汚染を示すゼロに近い潜時スパイクは検出されませんでした。眼球運動は原理的にはスイッチ周辺のSNRに影響を与える可能性がありますが、対応するEEG予測相関の変化(例:図4B、Oracleモデル)は観察されず、スイッチ方向は左右のストリーム間でカウンターバランスされました。

各参加者、試行、および注意切り替えについて、ERSPは、ベースラインと比較した電力スペクトル密度(PSD)の相対変化として計算されました。まず、スイッチキューを中心とする±15秒のセグメントを定義し、神経追跡分析と同じ時間分解能でERSPを推定するために、ステップサイズ0.125秒で4秒のスライディングウィンドウを選択しました。この分析は、神経追跡分析と一致して、様々なスライディングウィンドウ長(1、2、8秒)でも複製されました。スイッチセグメントに沿って、Welchの方法(MATLABのpwelch関数)を使用してスライディングウィンドウ内で各前進ステップでPSDが計算され、アルファ帯周波数ビン(8〜12 Hz)全体で合計されました。各ステップで計算されたPSDは、プリスイッチセグメントの最初のスライディングウィンドウの参照PSD値と比較され、スイッチ中のアルファパワーの相対変化を反映する一連のERSP値(dB単位)が生成されました。

Statistical analysis

統計分析は、2つまたは3つの因子を持つ繰り返し測定ANOVAを使用して実行され、F値はF(dftime, dferror)として報告されました。球面性の仮定が満たされない場合、Mauchlyの球面性検定によって明らかになった場合、グリーンハウス-ガイザー法による補正が適用されました。有意な主効果が見つかった場合、後続テストが実行され、p値はHolm法で多重比較のために補正されました。時間系列がゼロに対して有意であるかどうかを比較するために、各時点についてWilcoxon符号順位検定が使用され、偽発見率(FDR)はBenjaminiとHochbergの手順で制御されました。FDR調整済みp値を報告します。神経生理学的結果の記述統計は、平均と標準誤差(SE)の組み合わせとして報告されます。

Supporting information

S1 Fig. 4つのスライディングウィンドウ長におけるEEG予測相関(ターコイズ色)とアルファERSP最小値(赤色)のエンコーディングスイッチの時間遅延。

バーは参加者と電極全体の平均時間遅延を表し、エラーバーは参加者間のSEMを示します。星印は統計的に有意な比較を示しています(有意性レベル: *p < 0.05, **p < 0.01, ***p < 0.001)。この図を支持するデータは、https://zenodo.org/records/20569817で入手可能です。

https://doi.org/10.1371/journal.pbio.3003876.s001

(TIF)

S2 Fig. 注意切り替えキューを横断する話者1と話者2の神経追跡時間経過と頭皮トポグラフィー。

EEG予測相関は、エンベロープ、単語開始、および単語サプライズ特徴を含むモデルから得られた結果で、4秒のスライディングウィンドウを使用しています。頭皮トポグラフィーは、選択された時点(黒い点)での電極全体のTRFモデルの予測性能を示しており、関与および解除プロセスについてです。色付きの水平バーは、切り替えキューの前後の指示された注意の焦点を表します。ターコイズ色の点は、EEG追跡がSpk1からSpk2に移行するエンコーディングスイッチを示しています。重ねられた区分的線形フィットは、最初に注意が向けられた話者からの解除と新しく注意が向けられた話者への関与の開始を表します。青と黄色の六角形はそれぞれ解除と関与の開始を示し、ひし形は各遷移の終了を示します。フィットは、例示のためにグランド平均追跡曲線に示されています。参加者レベルの推定値は、図2Cに示されています。この図を支持するデータは、https://zenodo.org/records/20569817で入手可能です。

https://doi.org/10.1371/journal.pbio.3003876.s002

(TIF)

Acknowledgments

ADAPT、Research Ireland Centre for AI-Driven Digital Content Technology、およびOticonの一部であるEriksholm Research Centreの支援に感謝します。データ収集の支援でAmirhossein Chalehchaleh、Emily Ip、Martin Winchesterに感謝します。また、実験スペースへのアクセスを容易にする支援でDr. Enda Batesに感謝します。オープンアクセスを目的として、著者は本提出から生じるいかなる著者受諾原稿バージョンにもCC BYパブリック著作権ライセンスを適用しました。

References