読唇術で人々が見ているものを明らかにする研究
Study reveals what people see when they read lips (news.ku.edu)
要約
カンザス大学の研究者たちは、ネットワーク科学を用いて読唇術の誤りがなぜ起こるのかを解明しました。英語の単語の約3分の1は、発話時に少なくとも他の1つの単語と視覚的に似ていることが判明しました。この研究結果は、読唇術のトレーニング改善や、AIによる読唇・文字起こし能力の向上に貢献する可能性があります。
全文翻訳
研究:人が口唇を読むときに何を見ているかが明らかに
[画像: 口唇のポップアート風イラスト]
KUの研究者たちは、英語の単語の約3分の1が、発話時に少なくとも他の1つの単語と似た見た目になることを発見しました。Credit: Adobe Stock
LAWRENCE — カンザス大学(KU)の新しい研究は、ネットワーク科学を用いて、口唇を読む際に人が間違いを犯す理由を明らかにしています。
KUの音声言語聴覚学科教授であるマイケル・ヴィテヴィッチ氏と同氏の共著者は、英語の約2万語の視覚的なマップを作成し、なぜ一部の単語が他の単語よりも口唇読唇が難しいのかをより深く理解しようとしました。
この結果はジャーナル・オブ・ジ・アコースティカル・ソサエティ・オブ・アメリカに掲載されています。この発見は、口唇読唇のトレーニングを改善し、口唇を読むAIの能力を高め、文字起こしやその他のデジタルサービスを提供することにつながる可能性があります。
「この研究で私たちが調べたのは、人々が基本的にどのように口唇を読むのか、その精度はどの程度なのか、そして特にどのような種類の誤りを犯すのかということです」とヴィテヴィッチ氏は述べています。「以前の研究の多くは、人々の精度に焦点を当てていましたが、エラー自体の特性を必ずしも調べていませんでした。自分が犯す間違いからは多くのことを学ぶことができます。それが私たちが採用したアプローチでした。」
口唇読唇に関する以前の研究はエラーを調べていましたが、その研究の多くは、言語の音素、つまり言語の音に焦点を当て、参加者が単語の音に近いかどうかを調べていた音声言語研究者によって行われていました。
ヴィテヴィッチ氏は異なるアプローチを取りました。
「私たちは視覚的な特性に焦点を当てました」と彼は言います。「人々が単語の音のうちいくつを取得できたかを見るのではなく、私たちが『ビシーム』(音素の視覚的等価物)と呼ぶ視覚的特性のうち、いくつを取得できたかを見ました。私たちは、聴覚的な音を使わずに、唇、顎、口から得られる情報に焦点を当てました。見ている情報からだけを得ようとするのです。」
「その音は、話されたときにどのように見えますか? 音がどう聞こえるかは気にしません。話されたときにどう見えるかだけを気にします」と彼は言います。「『kit』、『cat』、『cut』のように、単語が似た音で似た見た目をすることもあります。また、『vet』、『fit』、『fuzz』のように、音が似ていなくても見た目が似ている単語もあります。どちらの場合も、私の顔だけを見ている場合、一方の単語ともう一方の単語を区別することはできません。」
単語マップの分析を通じて、研究者たちは以下のことを特定しました。
- 人々は、より一般的に使用される単語を間違えやすい傾向があります。
- 発話時、英語の単語の約3分の1は、少なくとも他の1つの単語と似た見た目をします。
- 単語に多くの視覚的な類似語がある場合、口唇読唇は一貫して難しくなります。
- 口唇読唇の間違いはランダムには発生しません。視覚的に似た単語が視覚ネットワークの同じ領域を占める場合に、より発生しやすくなります。
「驚きの一つは、人々がこれほど得意ではないということです」とヴィテヴィッチ氏は述べています。「私たちは自分たちが得意だと思っていますが、実際はそうではありません。ほとんどのエラーは、1つか2つの視覚的特徴、つまり1つか2つのビシームがずれていることを示しています。かなりの部分を取得していますが、おそらく十分ではありません。」
ヴィテヴィッチ氏によると、研究者たちの視覚マップにより、単語が景観全体にどのように分布しているかを理解することができました。マップでは、単語は似て見える場合に近く、視覚的に異なって見える場合に離れていました。
「特定の領域が予想よりも圧縮されていることがあります」と彼は言います。「景観は、私たちが予期していなかった方法で伸び縮みします。その伸び縮みは、口唇読唇を試みる際の精度に影響を与えます。それは、そうでなければ持つであろうよりも多くの競合相手を与えますか? それとも、それらをより離して、知覚的に区別しやすくしますか?」
KUの研究者は、グループが口唇読唇のトレーニングに進むことを望んでいます。
「アイデアは、人々のエラーを時間の経過とともに追跡すれば、それらのエラーはターゲット単語に向かって縮小していくはずだということです」とヴィテヴィッチ氏は述べています。「遠く離れているのではなく、人々は必要な情報を拾い上げ、より正確な推測をするようになります。」
研究の追加の応用は、自動文字起こしのトレーニングにあります。
「Zoomのようなシステムは、すでに音声を文字起こしする上でかなりの仕事をしています」とヴィテヴィッチ氏は言います。「音声だけでなく、話者の顔からの視覚情報も使用した場合、それらはより良くなるでしょうか? コンピュータはパターンを見つけるのが非常に得意であり、時には人間が使用するのと同じパターンを使用します。私たちは、コンピュータをより人間らしい方法で物事を行うように訓練できるかもしれません。」
ヴィテヴィッチ氏は、グループがさまざまな方法でこの作業をフォローアップし続けると述べています。
「私たちは人々がこれをどのように行うかを引き続き探求しており、機械学習アプリケーションに進む可能性があり、音声理解に支援が必要な人々を助ける方法を見つけることを目指しています」と彼は言います。
ヴィテヴィッチ氏の共著者には、KUの大学院生であるマイア・フリン氏とレイド・ケリー氏、そしてカリフォルニア州立大学フレズノ校のロリン・ラクス氏が名を連ねています。
Tue, 06/30/2026
author
Brendan M. Lynch