HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

オーディオARの台頭(2024年)

The Rise of Audio AR (2024) (dbreunig.com)

34 pointsby dbreunig23 コメント

要約

かつて期待されたVR/ARのブームが落ち着く中、スマートヘッドホン、音声認識・生成技術、AI言語モデル、そしてコンテキストデータの進化により、「オーディオ拡張現実(Audio AR: AAR)」が静かに台頭している。AARは、ユーザーの視線を奪うことなく、適切な情報を適切なタイミングで提供することを目指しており、テクノロジーとのインタラクション方法に大きな変化をもたらす可能性を秘めている。過去の試み(Microsoft Soundscape, FourSquare MarsBot)の課題を踏まえ、現在の技術的進歩がAARの普及を後押ししている。

全文翻訳

オーディオARの台頭

適切な情報を、適切なタイミングで、見ることなく

[画像: Justin Lynham - Listen carefully] Photo by Justin Lynham

しばらくの間、バーチャルリアリティ(VR)と拡張現実(AR)は「次の大きなもの」として喧伝されていました。

Metaは巨額を投じ、Oculusの研究開発に毎年数十億ドルを費やし、最終的にはその注力を示すために会社名を変更しました。MicrosoftのHoloLensは大きな話題を呼び、Magic Leapはテック系メディアや投資家の寵児となり、Sonyは数百万台のPSVRを出荷し、Appleも何か大きなものを開発していると噂されていました。

しかし、その熱狂は現実のものとなりませんでした。

Oculusはまだキラーアプリを見つけられておらず、AppleのVision Proをどう活用すべきか誰もが手探り状態です。ChatGPTが登場し、AIが急速に「次の大きなもの」となり、VR/ARは後回しにされました。

最近ではMetaでさえ、ARよりもLLaMAについて語っているように見えます。

しかし、静かに、別の種類のAR、すなわちオーディオ拡張現実(AAR)のためのピースが組み合わさってきています。スマートヘッドホンの台頭、音声認識と生成技術の向上、AI言語モデル、そしてより良いコンテキストデータのおかげで、AARはゆっくりと、しかし確実に私たちの日常生活に浸透していくでしょう。AARは、私たちの集中力を変えることなく、適切な情報を適切なタイミングで提供します。これは、私たちがテクノロジーとどのようにインタラクションするかにおける記念碑的な変化であり、あなたが思うよりも早く訪れます。


[画像: Microsoft Soundscape]

オーディオARのパイオニアたち

オーディオARのコンセプトは全く新しいものではありません。MicrosoftのSoundscapeとFourSquareのMarsBotは、オーディオAR体験を提供する初期の試みでした。

MicrosoftのSoundscapeは、主に視覚障がい者向けのアクセシビリティツールとして開発されました。ユーザーが街を歩くと、空間オーディオのピンが、ランドロマットからレストランまで、周囲の興味深い場所を通知しました。これは、空間オーディオと位置情報に基づいたアラートを使用して現実を拡張する可能性を示しました。しかし、密集した都市環境では、圧倒的な騒音の渦を作り出しました。郊外では、あまりにも情報が少なく、あまり有用ではありませんでした。

FourSquareのMarsBotは、よりパーソナライズされたデータ駆動型のアプローチを取りました。FourSquareの広範な場所データベース、評価、レビューを活用して、ユーザーが興味を持つ可能性のある場所を予測・推奨しました。しかし、MarsBotはニューヨーク市のような高密度環境でしか成功しませんでした。それは実験であり、オーディオファーストのARアプリであることの意味について素晴らしい考察がありましたが、実際には成功しませんでした。無関係なアラートをフィルタリングするためにユーザーの注意を引きすぎ、真にパッシブであることに苦労しました。

これらのアプリやそれに類する実験は、重要な基盤を築き、オーディオARが単純なナビゲーション以上のものに使用できることを示しました。Soundscapeは、空間オーディオと位置情報に基づいた通知が道案内において強力であることを示しました。MarsBotは、パーソナライズされたデータを使用し、より人間的な通知を実験しました。しかし、私のような非常に特定の種類のオタクだけが注目したようです。それらのアイデアは、適切な技術が登場するのを待って、数年間休眠状態にありました。


エンablingテクノロジーの登場

近年、いくつかの重要なテクノロジーが登場し、新しい世代のオーディオARアプリケーションを可能にしました。

  1. スマートワイヤレスヘッドホン:AppleのAirPodsのような製品は、爆発的に普及し、多くの人の耳に常に利用可能でハンズフリーのオーディオインターフェースを提供しました。これらは高品質なサウンドを提供し、開発者に音量から頭の動き、生体認証まで、さまざまなコントロールとセンサーデータへのアクセスを可能にします。内蔵マイクとシンプルなコントロールにより、アシスタントやオーディオアプリを簡単に起動できます。

  2. 音声認識:ノイズキャンセリング、言語モデル、エッジコンピューティングの改善により、劇的な進歩を遂げました。仮想アシスタントとの会話は、人間との会話とほとんど変わらなくなりました。スピーチを修正することなく、カジュアルに話しかけることができます。音声認識は、ネットワーク接続なしで、高速かつ正確になりました。

  3. テキスト読み上げ(Text-to-speech):人間の声のような、リアルなイントネーションと抑揚を持つ音声を生成できるようになりました。最新のモデルは、特に短いやり取りでは、本物の人間と区別するのが難しいほどです。これにより、動的なコンテンツを流暢に生成できます。

  4. 大規模言語モデル(LLM):オープンエンドな会話を行い、フォローアップの質問に答え、ユーザーの代わりにアクションを実行することさえできます。これらは、不完全で一貫性のない音声コマンドをプログラム可能なアクションに変換し、画面なしでより複雑なインターフェースを可能にします。さらに、LLMは、どのコンテンツをいつ表示するかを決定するエンジンとして使用できます。

  5. リッチな位置情報とコンテキストデータ:オーディオARアプリが、ユーザーの環境と現在の状況を深く理解できるようにします。これには、詳細な場所データ、リアルタイムの天気と交通情報、カレンダーやメッセージデータなどが含まれます。このデータがなければ、正確なタイミングで適切な情報をサービスすることは不可能です。

これらをすべて組み合わせることで、ユーザーが一日を過ごす中で、高度にコンテキスト化されパーソナライズされたオーディオコンテンツとインタラクションを提供できるようになりました。課題は、エンablingテクノロジーの構築からUXの構築へと移行しました。


解決すべき課題

オーディオARアプリケーションにおける中核的なUXの課題は、適切な情報を適切なタイミングで提供することです。

あまりにも多くの無関係な情報は、圧倒的になります。少なすぎると、体験はあまり有用ではありません。そのスイートスポットは、非常に狭いです。

この課題を説明するために、まず、うまく機能するオーディオARアプリとユースケースであるオーディオツアーから始めましょう。

[画像: Ghent]

数週間前、私はOverture Maps Foundationの会議(位置情報データへのアクセス改善といえば…)のためにベルギーのゲントを訪れました。最初の朝、少し時間があったので、VoiceMapで街のオーディオツアーを試しました。他のツアーがどれほど優れているかは分かりませんが、このツアーは完璧でした。あまりにも素晴らしかったので、オーディオARの可能性を示唆しました。

Voice Mapのツアーは、スマートフォンのGPSを使用して、特定のウェイポイントに関連付けられたオーディオ説明をトリガーすることで機能します。歩いていると、ナレーターが次の目的地を優しく案内し、次のセグメントが始まる場所のランドマークを提供します。Voice Mapは、クリエイターがコンテンツを特定のルートセグメントに合わせるのを助け、(この場合は)散歩中にリラックスしながらもシームレスな体験を実現しました。カフェに立ち寄って少し休憩するために一時停止すると、次のキューはトリガーされず、オーディオは一時停止します。外に出ると、コンテンツが再開されます。インターフェースは私のヘッドホンと私の位置情報だけで、それだけでした。

しかし、ゲームデザインの用語を借りれば、私はレールに乗っていたのです。

コンテンツと通知は完璧でした。なぜなら、私がツアーを購入して開始したからです。Voice Appは私の目的地と私が望む情報を知っていました。ゲントの小さな範囲では、それは完璧なオーディオAR体験でした。街全体をコンテンツとキューでカバーし、どこへでも歩けるようにするには何が必要だろうかと考え始めました。しかし、それでも、以前歩いた道をたどっている場合や、しばらく邪魔されたくない場合は、ツアーをオフにするでしょう。コンテンツがカバーされていても、キューはすぐに複雑になり、現在の位置情報以上のものが必要になります。時刻、私のカレンダー、過去の場所の履歴など、すべてがコンテンツをどのように表示すべきかに影響します。

常にオンで、関連情報を積極的に表示するアンビエントな体験を作成することは、かなりの挑戦です。

ツアーの後、MarsBotがまだ利用可能かどうか調べました。利用可能ではありませんが、FourSquareの創設者でありMarsBotの作成者であるDenis Crowleyは、BeeBotという新しい会社で再びこの分野に挑戦しています。BeeBotはLLMを活用してコンテンツ作成とオーディオ通知をプッシュするタイミングを決定するのを支援しています。Crowleyは最近、Alex KantrowitzのBig Technology Podcastでインタビューを受けました。

MarsBotやSoundScapeと同様に、CrowleyのBeeBotのアプローチはユーザーにコンテンツを「プッシュ」することです。これは間違いなくオーディオARの「ハードモード」です。どのコンテンツをプッシュするかだけでなく、いつプッシュするかを決定する必要があります。

Metaは、オーディオARへの参入において、反対のアプローチを取っています。


[画像: Meta & Ray Ban's Wayfarer] Photo by Phil Nickinson for Digital Trends

未来の一端

MetaのWayfarerサングラスは、おそらく現在市場で最高のオーディオAR製品です。これらは、エンablingテクノロジー(スマートヘッドホン、音声認識と合成、LLM、コンテキストデータ)を単一のまとまった製品に統合しています。

それにもかかわらず、これらはほとんど注目されていません。私が自分のペアを持つ前は、それを使用している知人は一人しかいませんでした…そしてその人はMetaで働いていました。もしあなたが私のようにMetaのWayfarersに詳しくないなら、簡単な概要を説明します。これらはRay Banの象徴的なWayfarerサングラスとほとんど同じように見えますが、アームが少し重くなっています。内蔵スピーカーは空間オーディオを配信するのに優れており、あなただけが聞くことができます。低音はありませんが、話し言葉には最適です。POVの写真を撮ったり短いビデオを撮ったりできるカメラが搭載されています。そして、ベータプログラムに参加すれば、Metaの音声マルチモデルAIにアクセスできます。見ているものについてもっと知りたい場合は、「Hey Meta」と言って質問するだけです。

確かに、粗削りな部分はあります。アシスタントは多くの種類の質問への回答を拒否し、時折間違った回答をします。インターフェースは不可視であるため、ユーザーは試行錯誤に頼らざるを得ません。

それにもかかわらず、MetaのWayfarersは「プル」UXモデルを使用しているため成功しています。ユーザーは明示的に情報を要求する必要があります。コンテンツをプッシュするタイミングを知るという推測作業は排除されます。これは、粗削りな部分がまだ非常に明白な製品(したがってベータプログラム)にとって歓迎すべき決定です。コンテキストデータは、ユーザーの位置情報とカメラのビューの両方でアシスタントの応答を通知するために引き続き使用されますが、タイミングはユーザーが制御します。

そして、すべてがうまくいったとき、MetaのWayfarersは未来の一端を示しています。


[画像: Starting an Apple workout] Photo by Trusted Reviews

特定のコンテキストセッションに焦点を当てる

UXのハイブリッドアプローチとして検討する価値のあるものがあります。それは、ユーザーが積極的に関与する特定のコンテキストに焦点を当てることです。この期間中、アプリは関連性があると確信してコンテンツをプッシュできます。このデザインパターンは、AppleのFitnessアプリによって非常にうまく活用されています。

Fitnessアプリを使用中にAirPodを耳に入れておくと、ペース情報、心拍数フィードバックなどが得られます。サイクリング中、Fitnessアプリは一方の耳に通知を送り、電話をバッグに入れたままにできます。特定のコンテキストに関与することで、プッシュ通知はすべて関連性があります。UXのサーフェスエリアは限定されており、より制御された体験が可能になります。

フィットネスを超えて、このモデルは、ユーザーがコンテキスト固有のセッションを選択する多くのコンテキストでうまく機能する可能性があります。Voice Mapsは街を生成されたコンテンツで覆い、ユーザーが探索モードを有効にできるようにして、アプリが頻繁にコンテンツをプッシュするように招待できます。料理アプリは、レシピセッションの開始後に、指示をプッシュしてタイマーを設定できます。ショッピングアプリは、ショッピングセッションが開始されたら、店舗で商品を手に取ったときに製品のランキングとレビューを提供できます。

積極的に関与するコンテキストに焦点を当てることは、オーディオARの解決すべき課題を克服するための素晴らしい方法です。アプリは自由にプッシュできますが、ユーザーがオンにした場合に限ります。開発者は、取得および考慮すべき特定のコンテキストデータと、限定された通知トリガーのセットに集中できます。


メインストリーム化のために必要なもの

オーディオARの可能性を完全に実現するには、コンテキストを不可視のインターフェースに変えるために必要なツールを構築し、データを取得する必要があります。

上記で議論した3つの例(Voice Map、MetaのWayfarers、Apple Fitness)では、オーディオARの可能性と課題の両方を見ることができます。各製品は独自の形で扱いにくいですが、それらのつまずきはしばしばコンテキストデータへのアクセスに関連しています。

Voice Mapツアーのレールから外れると、アプリは何も言うことがありません。その世界の知識は、ツアー作成者が準備したパスに限定されており、探索を助けることはできません。

MetaのWayfarersは、私のカレンダーやメッセージに関する質問に答えることができません。なぜなら、それらのデータにアクセスできないからです。そして、Siriはそれらのものにアクセスできますが、メガネから呼び出すことはできません。

Apple Fitnessは、会議が近い場合や雨が降りそうな場合に、家に帰ることを提案しません。データは存在しますが、Fitnessが気にするコンテキストドメインは私のワークアウトに限定されています。

Web 2.0時代の始まりに戻ったような気分です。APIのカンブリア紀爆発以前は、私たちのツールがお互いに通信することを可能にしました。アシスタントインターフェースは広範な機能を持っているかのように見えますが、別のプラットフォームからの何かを必要とする場合はつまずきます。

オーディオARがコンテキストセッションを超えて普及するには、ヘッドホンとのインターフェース、コンテキスト情報の共有、音声アシスタントの呼び出しのためのオープンスタンダードが必要です。AirPodsとAndroidのAwareness APIの最近のアップデートは正しい方向への一歩ですが、理想的な基盤にはまだ程遠いです。(反トラスト法への懸念がより良い習慣を促すことを願っています…)

この安定した基盤が得られるまで、私たちはオーディオARのUXの課題、つまり適切な情報を適切なタイミングで提供するという課題を、特定のコンテキストセッションで chipping away していきます。


[画像: Ving Rhames in Mission Impossible, the man in the chair]

チェアマン(我らが男)

テクノロジー業界は、しっかりとしたポップカルチャーの参照があるときに、新しいテクノロジーのユースケースを支持する習慣があります。Ready Player Oneは、MetaのVRポジショニングにとって、映画としてよりも、タッチストーンとしてより価値がありました。Minority ReportやThe Dark Knightを参照して商品を販売したビッグデータまたはビジネスインテリジェンス企業の数は、数え切れないほど多いです。

ChatGPTが登場し、AIがその瞬間を迎えるにつれて、テクノロジー業界は会話型AIのビジョンを実現するためにHerに大きく依存してきました。これはオーディオARにふさわしいように見えるかもしれませんが、私はより良いことができると思います。

人々はAIアシスタントとの会話的な関係を求めているわけではありません。人々は「チェアマン」(椅子に座っている男)を求めています。

おそらく「チェアマン」トロフィーの最良の例は、Mission ImpossibleシリーズのLuther Stickell役のVing Rhamesです。Lutherは、チームの進捗状況を監視し、成功に必要な情報を提供する、基地に残るテクニカルガイです。彼は大局を見ることができ、ヒーローを成功に導くことができます。彼は、ヒーローが目の前のタスクから目を離す必要なしに、適切な情報を適切なタイミングで提供できる人物です。

Herのアシスタントは例外です。チェアマン(男性または女性)のトロフィーは、私たちのメディアにおいて絶え間なく広まっています。Mission Impossible、The Matrix、Apollo 13、The Martian、そしてBatman、Spiderman、Avengersシリーズに登場します。ビデオゲームでは、Metal Gear Solid、Portal、Half-Life、Mass Effectのデザインに不可欠なステープルです。TV Tropesのページにある例は、ほぼ無限にあります。

私たちは、目の前のタスクから目を離す必要なしに、適切な情報を適切なタイミングで提供してくれるチェアマンを求めています。


オーディオARは、デジタル情報とのインタラクション方法における大きな変化を表しています。インターフェースを画面から耳に移すことで、私たちは顔を上げ、周囲の世界に関与し続けることができます。テクノロジーをより邪魔にならず、よりアンビエントで、デバイスのフォームファクターに制約されないものにする可能性があります。

しかし、そこに至るには、いくつかの重要なインタラクションの課題を解決する必要があります。ヘッドホンとの統合、コンテキストの理解のためのオープンスタンダードが必要です。適切な情報を適切なタイミングで提供する、思慮深いデザインが必要です。

エンablingテクノロジーはすでに整っています。ヘッドホン、音声インターフェース、AIは、オーディオARが実用的になるレベルに成熟しました。そして、実験だけでなく、MetaのWayfarerグラスのような説得力のある製品を目にしています。

オーディオARの時代はすでにここにあります。それがメインストリームになるのは時間の問題です。