スマートウォッチだけで全身の動きを追跡する研究者たち
Researchers track whole body movement with just a smartwatch (news.cornell.edu)
要約
コーネル大学の研究者たちは、市販のスマートウォッチと軽量なAIモデルのみを使用して、超音波で全身の動きを追跡する新技術「EchoMotion」を開発しました。この技術は、プライバシーを保護しつつ、ワークアウト追跡、日常活動、リハビリテーションの進捗管理などに活用できる可能性があります。従来のセンサーやカメラベースのシステムと比較して、低消費電力、プライバシー保護、効率的なデータ処理といった利点があります。
全文翻訳
スマートウォッチだけで全身の動きを追跡する研究者たち
研究者たちは初めて、市販のスマートウォッチと軽量な人工知能モデルを使用し、超音波で人の全身の動きを追跡できるようになりました。これはプライバシーと効率性を確保しながら実現されています。
EchoMotionと名付けられたこの新技術は、コーネル大学のSmart Computer Interfaces for Future Interactions (SciFi) Labによって開発されました。このラボは、コーネル大学ボワーズ計算情報科学カレッジの情報科学准教授であるCheng Zhang氏が率いています。この技術は、商用スマートウォッチに内蔵されたスピーカーとマイクを利用し、ソナーのようなセンシングシステムを用いて人の体の位置を特定します。EchoMotionが商用ウェアラブルデバイスや仮想現実(VR)システムに統合されれば、ワークアウト、日常活動、身体リハビリテーションの進捗状況の追跡に利用できるようになります。
EchoMotionは、AIを活用して現実世界での人間の行動を理解するためのスケーラブルなアプローチを表しているとZheng氏は述べています。
彼は、“EchoMotion: Towards Full-Body Pose Tracking with a Single Smartwatch Using Active Acoustic Sensing”と題された論文を、10月13日に上海で開催されたAssociation for Computing Machinery国際合同会議であるPervasive and Ubiquitous ComputingおよびInternational Symposium on Wearable Computing (UbiComp/IWSC)で発表しました。
情報科学分野の博士課程候補者であるSaif Mahmud氏が、市販のスマートウォッチを使用して体の動きを追跡するシステム、EchoMotionを実演しています。
「これはボディトラッキングにとって非常に重要な飛躍です」と、新しい研究の筆頭著者である情報科学分野の博士課程学生、Saif Mahmud氏は述べています。既存のウェアラブルデバイスは、加速度計やジャイロスコープなどのセンサーを使用しており、これらはデバイス自体の動きを特定するだけだと彼は説明しました。その結果、全身の追跡には従来、スマートフォン、イヤホン、またはVRヘッドセットを含む、より複雑なセットアップが必要でした。
一部の追跡システムはカメラも統合していますが、EchoMotionの音波利用は複数の利点を提供します。音響信号は、着用者とその周囲の人々のプライバシーを保護します(ジムにカメラを設置する必要はありません)。また、処理が容易で安価な、より少ないデータ量を生成します。
「ChatGPTのような大規模言語モデルがニュースになっていますが、EchoMotionは、ウェアラブルデバイスで動作する非常に小さなモデルが、ヒューマンコンピュータインタラクションにおけるセンシングに革命をもたらしたことを示しています」と、共著者でコーネル大学ボワーズ校の情報科学教授であるFrançois Guimbretière氏は述べています。
この技術はバッテリー消費も抑え、既存の市販ウォッチでも動作します。プロトタイプでは、センシングは約12ミリワットを消費し、ウェアラブルカメラの約40分の1でした。また、Galaxy Watch 6での30分間のセッションでは、バッテリーの5%から6%しか使用しませんでした。
「私たちは、EchoMotionが商用デバイスで動作するように多大な努力を払ってきました。これにより、導入が非常に容易になります」とMahmud氏は述べています。
この技術を開発するために、研究者たちは当初、独自に3Dプリントされた時計のレプリカを作成しました。これには、両側にマイクとスピーカーのペアが搭載されていました。2つのスピーカーは超音波信号を発し、人が動くにつれて、聞こえない音波の球体でその人を囲みます。その後、2つのマイクが、人が動く際に手足から跳ね返ってくるエコーを拾います。
研究者たちは、10人のボランティアが非利き手に時計を装着し、18種類の運動を行った際のエコーパターンを収集しました。そのデータを使用して、研究者たちはディープラーニングモデルを開発し、それらのパターンを体の動きに変換しました。彼らは、頭から足首までの12個の関節の予測位置を、カメラで捉えられた体の姿勢と比較することで精度を測定しました。
しかし、市販のスマートウォッチにはマイクとスピーカーのペアが1つしかありません。そのため、彼らは未改造のSamsung Galaxy Watch 6で、15人の新しいボランティアに対してEchoMotionシステムをテストしました。システムに慣れていない人々が使用した場合、各関節の位置を予測する平均誤差は4インチ未満でした。1回限りの12分間のキャリブレーションにより、その誤差は3分の1以上削減され、約2.4インチになりました。
同じAIモデルは、再トレーニングなしで、Samsung Galaxy Watch 7とGoogle Pixel Watch 3でも動作しました。
EchoMotionが研究室外でどのように機能するかを確認するため、研究者たちは10人の新しい参加者に、小さな部屋、狭い廊下、騒がしい道路の隣で、スマートウォッチを装着して18種類の運動を行ってもらいました。家具や周囲の騒音は干渉しませんでしたが、廊下では他の人々からのエコーによりシステムのパフォーマンスがわずかに低下しました。しかし、Mahmud氏は、数十人ではなく数千人のユーザーからのより多くのデータがあれば、モデルは地下鉄のような混雑した環境でも着用者の動きを解釈する能力が向上すると予想しています。
現在、チームはフィットネス追跡での利用に向けてこの技術を開発しており、パーソナルフィットネスエージェントがユーザーのレップ数をカウントしたり、ブルガリアンスクワットのような運動のフォームを修正したりできるようになります。また、スマートグラスのファーストパーソンビジョンと組み合わせて、人が扱うオブジェクトを効率的に追跡するためにEchoMotionを使用することも検討しています。
「非常に近い将来、スマートウォッチやスマートグラスのようなウェアラブルデバイスを使えば、パーソナルエージェントがあなたの1日の行動をすべて記述するでしょう。何をしたか、何を食べたか」とMahmud氏は述べています。「このプロジェクトは、そのビジョンのボディトラッキング部分を可能にします。」
この研究の共著者には、KAISTのJiwan Kim氏、情報科学分野の博士課程学生であるTianhong Catherine Yu氏、2024年卒業のKenny Liang氏、および2020年卒業・2024年修士号取得のVineet Parikh氏が含まれます。
この研究は、国立科学財団(National Science Foundation)の支援を受けています。
Patricia Waldronは、コーネル大学ボワーズ計算情報科学カレッジのライターです。