HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

なぜAIはローカルになりたがるのか – Pete Warden(Moonshine Voiceのクリエイター)

Why AI Wants to Be Local – With Pete Warden (Creator of Moonshine Voice) (thedataexchange.media)

260 pointsby datascientist228 コメント

要約

この記事は、AIがクラウドではなくローカルで動作することを望む理由について、Pete Warden氏へのインタビューを基に解説しています。ローカルAIの能力、オープンモデルの進化、ラップトップやブラウザでのAI実行の可能性、低遅延音声インターフェースの重要性、そしてAIハードウェアの将来について議論されています。ローカルAIはプライバシー保護やコスト削減の観点からも注目されており、今後の普及が期待されています。

全文翻訳

なぜAIはローカルになりたがるのか

ローカルAI、オープンモデル、音声インターフェース、そしてハードウェアの未来についてPete Warden氏が語る。

購読: Apple • Spotify • Overcast • Pocket Casts • YouTube • AntennaPod • Podcast Addict • Amazon • RSS.

Pete Warden氏は、Moonshine Voiceの共同創設者であり、長年のディープラーニングエンジニアです。彼は、AIがクラウドではなくローカルで実行されることをますます望む理由について、私と議論します。オープンウェイトモデルの急速な進歩、AIをラップトップやブラウザで実行するために必要なこと、そして低遅延音声モデルが音声をもっと自然なインターフェースにする可能性を探ります。また、特化型モデルとエンドツーエンドモデル、ローカルAIの経済性、そして今日のGPU中心のインフラに挑戦する可能性のある新しいハードウェアアプローチについても議論します。(このエピソードは、私がO'Reillyのためにホストしているポッドキャストシリーズ「Generative AI in the Real World」で最初に放送されました。)

Gradient Flow Newsletterを購読する

インタビューのハイライト – 動画版の主要セクション:

トランスクリプトへジャンプ



関連コンテンツ:


私たちの活動をサポートするために、ニュースレターを購読してください📩


トランスクリプト

以下は、編集・校正済みのトランスクリプトです。

Ben Lorica: さて、今日は古くからの友人であるPete Warden氏(Useful Sensorsの創設者で、主なウェブサイトはmoonshine.aiです)をお迎えしました。彼らはオンデバイスでの音声に非常に力を入れています。もちろん、スピーチモデルとエッジコンピューティングのあらゆることについてPete氏と話しますが、Pete氏が長年のディープラーニングエンジニアであるという機会を活かして、最近の動向についても彼の見解を聞きたいと思います。それではPeteさん、ポッドキャストへようこそ。

Pete Warden: お招きいただきありがとうございます、Ben。

Ben Lorica: さて、Peteさん、あなたの仕事の主な推進力の一つは、ローカルAIは妥協する必要がない、むしろもっと真剣に受け止めるべきだという考え方ではないでしょうか。先ほども触れましたが、オンデバイスでのスピーチモデルに関するあなたの仕事については、後ほど詳しくお話しします。しかし、広範に言えば、ローカルモデルをあまり追っていない私たちのリスナーのために、ラップトップでモデルを実行したい場合、電話ではなくラップトップで、その使いやすさはどの程度でしょうか? おそらく、クラウドAPIを使う方が常に簡単だということが障害の一つですよね。ローカルAIを取り巻くツールは、現在どの段階にあるのでしょうか?

Pete Warden: ええ、今のところ、多くのオープンソースプロジェクトと同じような状況です。毎年がLinuxデスクトップの年になるでしょう。この種のものの使いやすさについては、平均的なユーザーには常に少し遅れがあるでしょうが、マーケティングにはさらに大きな遅れがあると思います。なぜなら、ローカルモデルでお金を稼ぐのは非常に難しいからです。

つまり、AnthropicやOpenAIのような大企業、そして一般的に大手のテクノロジー企業は、それを推進しないでしょう。もし彼らに、実際にお金を稼げるSaaSサービスと、人々がそれを使っていることにすら気づかない(サービスに連絡してこない)他のものの選択肢を与えられたら、どの企業も簡単なサブスクリプション収益モデルを持つ方を選ぶでしょう。

そのため、ウェブサイト上の小さなテキストボックスにすぎないこれらのツールの周りには、大量のマーケティングが存在します。そして、それはほとんどの人がこれらのローカルモデルについて聞いたことがないことを意味します。

今、Ollamaのようなものを使えば、おそらく最もよく知られているものですが、その使いやすさとモデルの品質に多くの人が驚くでしょう。最近、Anthropicが少し懸念しているというニュースを見ました。なぜなら、人々は常に最も広範で高価なモデルを選ぶのではなく、より特化されたモデルに移行しているからです。

ローカルモデルは、ベンチマークでは実際によく機能しています。それらは、大手商用モデルであるAnthropicやOpenAIのモデルの能力に、わずか数ヶ月遅れているだけです。しかし、私はまた、ローカルモデルが人々がそれを使いたいと思っていることを実行できるレベルに達したと信じています。

私が本当に望んでいるのは、ドットコムバブルを覚えているような人たちにとって、ウェブサーバーが高価で難解なものだと見なされていた時代に、数千ドルもするSPARCサーバーに支払ったり、Microsoft IISを使ったりしていた状況のようなものです。その後、ApacheやNginx、そして他の多くの代替手段が登場し、人々が実際に周りを見回し、代替手段が少し改善される時間を得ると、商用代替品を圧倒しました。

そこまでたどり着けるかはわかりませんが、それが私が目にしているパターンです。

Ben Lorica: ええ、私の感覚では、オープンモデル(どのような定義であれ、主にオープンウェイト)が最終的に普及すると思います。それは私にはるかに理にかなっているように思えます。

あなたが言及したように、LinuxとSolarisの初期の頃、あるいはPostgresとMySQLとOracleの比較でも、これらのオープンソースプロジェクトが真剣に受け止められるレベルに達するとは、全く明らかではありませんでした。しかし最終的には、それらはスタックの非常に重要な部分であり、オープンな代替手段が選ばれることになると思います。

さて、Peteさん、Ollamaについて言及しましたね? そして明らかに、他の代替手段もあります。仮に、それらが実際にインストールや使用が簡単だとしましょう。モデルに関しては、Gemmaのようなものや、その他の小さなモデルがありますよね? プロンプトごとに20分も待たずにモデルを実行するには、どのようなハードウェアが必要なのでしょうか?

Pete Warden: それはモデルの選択に大きく依存します。

Ben Lorica: ええ。

Pete Warden: 今では90億パラメータのような、非常に高機能なモデルを入手できます。特にQwenファミリーのモデルを見ると、それらは非常にうまく機能していますが、他にも多くの代替手段があります。

Ben Lorica: しかし、Peteさん、それを普通のラップトップを持つ人にとって、90億は大きいのですか、小さいのですか?

Pete Warden: 鍵となるのは、それをグラフィックカードのメモリに収めることができるかどうかです。ウェイトの量子化により、90億パラメータを8ビットで表すと、約9ギガバイトになります。現在出荷されている多くのまともなミッドレンジラップトップには、それ以上のメモリがあります。

しかし、Q4のようなものや、さまざまなスキームを使えば、それを4ギガバイトのグラフィックカードに収めることができ、これは広く利用可能です。それだけのGPUメモリ、VRAMを持っている古いラップトップもたくさんあります。

したがって、実際には、人々が考えているよりもハードウェアの障壁ははるかに低いです。そしてもう一つの良いニュースは、すべてのハードウェアメーカーがこれを見ているということです。DRAMの狂騒、価格上昇によって彼らは少し制約を受けていますが。しかし、Appleの新しいM5 Studioを見ると、256ギガバイトのシステムメモリを備えた構成があります。

Appleは、現在すべてのMacに組み込まれているアクセラレータにそれを実際に利用可能にするという点で、素晴らしい仕事をしています。そしてそれを使えば、数百億パラメータのモデルをまともな速度で実行できます。

それらの数に達すると、Claudeを使っているのか、オープンウェイトモデルを使っているのか区別するのが難しいレベルになります。それらは異なる特性を持っていますが、どちらかが明らかに劣っているということはありません。

Ben Lorica: 先ほども言いましたが、後ほど音声とスピーチについては詳しく掘り下げますが、ローカルモデルという考え方に留まりましょう。プライバシーとIPセキュリティは明らかにそのための議論です。

将来、例えば12〜24ヶ月先を見ると、これらのローカルモデルは、企業で知識労働をしている人々が時々それらを検討するほど十分に高機能になると思いますか?

例えば、頻繁に旅行する人が飛行機に乗っていて、インターネットに接続されておらず、ラップトップで文書を書き続けたり、画像を生成したり、あるいはコーディング(ヴァイブコーディング)したりする必要がある場合です。これらのローカルモデルを使えば、知識労働をしているときに妥協していると感じないレベルに達すると思いますか?

Pete Warden: 私は、それは現在でも達成可能だと思います。そして、それはかなり大胆な発言だとわかっています。

Ben Lorica: しかし、あなたが「あなた」と言うとき、それはPete Wardenがそれらすべてをコンパイルするということですか? 私たちは普通の人間、一般市民を求めているのです、Peteさん。

Pete Warden: 最大の障壁は使いやすさだと思います。ベンチマークを見ると、モデルの品質の問題ではなくなっています。

Ben Lorica: モデルの品質。

Pete Warden: ええ、モデルの品質の問題です。まだ端の方に、商用のオンラインモデルの方が優れていると感じるようなことがあるかもしれませんが、それは明確ではありません。

そして人々は、特に、検閲とは呼びたくありませんが、多くの商用モデルには制限があるため、一部のモデルが実際にはよりうまく機能することを発見しています。それらは悪いユースケースを防ぐことを意図しているかもしれませんが、善意の目的であっても、無害なことをしようとしている場合でも、しばしばあなたを妨げることがあります。

例えば、サイバーセキュリティで働く多くの人々、ホワイトハットですが、悪意のある行動に関する質問をしなければならない状況で、多くの作業をしています。商用モデルでは、善意で組み込まれた制限やガードレールに繰り返しつまずくことになり、それはあなたの仕事に本当に影響を与える可能性があります。

Ben Lorica: なるほど、なるほど。ところで、Peteさん、モデルは一つのコンポーネントですが、その周りのいわゆるハーネス、あるいはコンテキスト、メモリ、知識といったものもあります。

誰かが、これは実際に私が考えていたことですが、LLMをセラピストや友人のように使い始めているのを見たことがありますよね?

Pete Warden: はい。

Ben Lorica: それなら、なぜそれをローカルモデルでやらないのですか? なぜクラウドに接続されたものでやるのですか?

おそらく、それに対する一つの議論は、ローカルで行う場合、モデルのアップグレードなどの責任はあなたにあるということですよね? 一方で、これらのデジタルセラピストやAIセラピストサービスを使用する場合、彼らはあなたのすべての履歴などをすべて処理してくれます。

消費者が、自分が100%信頼できる、つまり自分が所有しているローカルモデルを、より簡単に使えるようになると思いますか?

Pete Warden: ええ、つまり、これらはOSの一部であるべきです。この時点で、それは本当にアプリで利用可能になるべきオペレーティングシステムの機能であり、Appleがこの方向に向かっているように感じます。

Ben Lorica: なるほど。ええ、それは理にかなっています。

Pete Warden: ええ、彼らはハードウェア機能を手に入れています。

もう一つ言いたいのは、ローカルであることは必ずしもラップトップ上にあることを意味しないということです。特にエンタープライズユーザーの場合、オンプレミスでホストすることも、企業が管理するクラウドインスタンスを起動して、そこでモデルを実行し、同じエクスペリエンスを得ることもできます。

一つ強調したいのは、人々はAnthropicやOpenAIを通じてこれらのモデルを実行する真のコストに近いものを、ようやく支払い始めているということです。そして、ローカルでホストしたり、オンプレミスでホストしたりすることも、はるかに安く済む可能性があります。

Ben Lorica: ただし、コンシューマー向け製品を見ると、まだ信じられないほど安価ですよね? 月額20ドルです。おそらく、1日で使い切ってしまうでしょう。

Pete Warden: ええ。特にエンタープライズ側では、ハイエンドのNVIDIA GPUを必要としないオプションがいくつかあります。トレーニングにはまだそれらが必要ですが、推論、つまりモデルを実行するだけであれば、エンタープライズとしては、すでに余剰の能力を持っているかもしれません。

Ben Lorica: さて、あなたの仕事のもう一つの重要な側面は、人々を音声とスピーチに興奮させることですよね? スピーチが基本的なコンピューティングプリミティブになるという考え方です。必ずしもリモートサービスのように感じる必要はありません。

私は、数年前にあなたが、騒がしいカフェで、ラップトップですらなく、Raspberry Piで動作していた音声文字起こしサービスを見せてくれたことを今でも覚えています。

Pete Warden: はい。そうですね。

Ben Lorica: そのものの精度は驚異的でした。そして、それはどこで動作していたのですか?

Pete Warden: その通りです。ええ。

Ben Lorica: そして、音声がマウスやキーボードのような実際のインターフェースとしての状態について教えてください。私たちはどこにいますか?

Pete Warden: 多くの人が音声に懐疑的だと思います。なぜなら、彼らはSiriやAlexaを使ったことがあり、それは非常にぎこちないコミュニケーション方法だからです。

しかし、私がこの種の話題について話すときに、その抵抗に遭遇する人によく尋ねる質問は、ソファに座っていて、隣にいるパートナーと一緒にどのテレビ番組を見るか決めているとき、テキストメッセージを送りますか、それとも話しますか?

Ben Lorica: なるほど。

Pete Warden: 一部のZ世代を除いて、ほとんどの人が「話す」と答えます。

そして、それに続いて、それは人々が音声インターフェースを嫌いなのではなく、人々が悪い音声インターフェースを嫌いなのだということです。

したがって、問題は、快適で効率的な音声インターフェースをどのように作るかというエンジニアリングとユーザーエクスペリエンスの問題になります。

それができれば、音声はキーボードやタッチスクリーンよりも頻繁な入力媒体になるかもしれません。

Ben Lorica: ええ、なぜなら、人々が持っている一般的な印象は、音声やスピーチはキーボードやタッチスクリーンよりもはるかに決定論的ではないということですよね?

人々は今、LLMとやり取りする際に、スペルミスをたくさんしていますが、それは問題にならないようです。

しかし、人々が持っている印象は、アクセント、背景ノイズ、言い回しなどの問題が発生するだろうということです。では、これらの問題のすべてに関して、私たちはどこにいますか?

Pete Warden: これらの問題のほとんど、あるいは少なくとも大きな改善策は、すでに解決策があります。しかし、それらをすべてまとめる商業的なインセンティブがないため、まだ主流にはなっていません。

私は、まだ前の世代のインターフェースを扱っていると感じています。それらはLLM時代を完全に取り入れておらず、あなたがリストした多くの問題にまだ苦しんでいます。

だからこそ、オープンソースが非常に強力なレバーになり得ると考えています。

Ben Lorica: では、これらのインターフェースの問題の多くを解決しようとする中で、どのような教訓を学びましたか? 実際、音声に関わっていない、単にAIアプリケーションを構築している人々に適用できる教訓もあるかもしれません。

数年前にあなたが私に言ったことの一つは、音声の場合、誰かが話し終えるのを待ってから作業を開始する必要はないということですよね? では、これらのインターフェースの教訓は何ですか?

Pete Warden: 遅延は非常に重要です。それは、クラウドベースの音声インターフェースでは得られないものです。

通常、少なくとも数秒待つ必要があり、それは人々が実際に聞かれたかどうか疑問に思うのに十分な時間です。

Ben Lorica: ええ、それはZoom通話や電話で誰かと話しているときに、一時停止があるようなものです。

Pete Warden: ええ、そして彼らはただそこに座っています。相手があなたを無視しているように感じます。

一般的なユーザーエクスペリエンスの研究から、応答性が高いと感じるためには、200ミリ秒以下である必要があることがわかっています。

私はしばしば、キーボードのキーを押して、そのキーがウィンドウに表示されるのに2秒かかることを想像するように人々に頼みます。それは非常に厄介でしょう。

Ben Lorica: ところで、これはLLMを扱う人々も対処しなければならないことですが、出力側ですよね? 彼らは、応答があまりにも長すぎないようにしたいと考えています。そうでなければ、人々は我慢できなくなりますよね?

Pete Warden: ええ、まったくその通りです。

そして、ローカルAI全般を考えている人々にも役立つかもしれないもう一つのことを言いたいと思います。

トークンごとに支払う必要がなくなり、音声インターフェースの使用料を支払う必要がなくなると、これらのものを利用する方法、可能性の世界は非常に広くなります。

もし、すべてのアプリ開発者が、アプリのタッチスクリーンのアイコンを誰かがタッチするたびに数セント支払わなければならないと想像してみてください。あなたはアプリを非常に異なる方法で設計するでしょうし、その税金のために多くのアプリは存在しなくなるでしょう。

したがって、LLMがOSに組み込まれ、無料でどこでも利用できるようになり、音声も同様に、それがセントからゼロへの単なる漸進的な変化ではありません。それは、それらを使用できる実行可能なものの数を大幅に増加させます。

Ben Lorica: さて、Peteさん、これはあなたが多くの仕事をしてきたことの一つだと思いますが、それは基本的に失敗のための設計ですよね? 音声では、多くのことがうまくいかない可能性があります。

失敗を念頭に置いてアプリケーションを設計するという点で、どのような教訓がありますか?

Pete Warden: 失敗のための設計の私のお気に入りの例の一つは、Google検索のスニペットの使用です。

Google検索は、最初から、常に最初の結果を正しく取得できるわけではないことを知っていました。「ラッキー」ボタンを押すだけではなかったのには理由があります。

Ben Lorica: ええ、その通りです。「ラッキー」ボタン。

Pete Warden: 彼らのアプローチの天才的なところは、実際にあなたが目をスキャンして閲覧できることでした。

彼らは、上位3つの結果をほとんどの場合正しく取得できることを望んでおり、その後、スニペットを見て正しいものをクリックするのに十分な情報を提供することで絞り込みます。

音声も同様です。相手のボディランゲージをどれだけ理解できるか、私たちが話している間、私はうなずいて何が起こっているかを示しています。

Ben Lorica: 待ってください、私は音声だけなので、あなたは私を見ることができません。

Pete Warden: いいえ、見えます。

Ben Lorica: いいえ、いいえ、でも一般的には、ですよね? 一般的に。

Pete Warden: まあ、それは私がまだ言及していない、まったく別の部分です。

完全にローカル専用の小さなカメラがあれば、それはこのすべてにおいて非常に重要な部分になると思います。しかし、カメラがなくても、もしあなたがサポートするような音を聞いたり、応答を開始して誰かが反応したりした場合、私たちが人間として認識するそれらのすべては、私たちが正しいものを選んだと仮定するのではなく、それらに応答し、さらに質問することになります。

したがって、私たちが人間として使用するそれらのすべての合図を実際に理解しようとすること。それらのいくつかは言語的であり、いくつかはボディランゲージや視覚的ですが、それらすべてがローカルで理解されるようにすること。

そして、それらのすべての録音が決して記録されないようにすることです。なぜなら、それはローカルで検証できるからです。クラウドに送信した後のオーディオやビデオがどうなるかはわかりません。基本的に監査不可能だからです。

ローカルなものであれば、監査できます。だから、ユーザーのプライバシーリスクを増やすことなく、カメラを使用する機会が開かれることを願っています。

Ben Lorica: 音声モデルを開発している人々がいて、その分野では多くの作業が行われてきました。

実際、私が過小評価されていると思うことの一つは、人々がディープラーニングにImageNetの瞬間があったと話しますが、実際には最初の印象的なディープラーニングモデルは、ImageNetよりも前に音声にあったということです。

ですから、音声モデルに取り組んでいる人々がいます。彼らはエンドツーエンドモデルについても話しましたが、明らかにLLMがあります。

この分野をあまり詳しく知らない人々のために、Peteさん、LLMと音声モデルの関係は何ですか? それとも人々はLLMを使わないのですか? 音声モデルだけを使うのですか?

Pete Warden: LLM至上主義者と私が考える人々の間で、大きな議論、分裂がありました。彼らはすべてがエンドツーエンドモデルになることを期待しています。

Ben Lorica: 「Machines of Loving Grace」ですね。

Pete Warden: はい、まさに。そして私は通常、Anthropic、OpenAI、大手のAI企業を見ています。

Ben Lorica: あるいは、まあ、誇大広告の機械に餌を与えなければならないですよね?

Pete Warden: まあ、誇大広告の機械に餌を与えなければなりません。そして特に、未来がエンドツーエンドモデルであるならば、それらを構築しトレーニングできるのは最もお金を持っている人々だけです。

私は、バークレーがコンパウンドAIと呼ぶ陣営に非常に強く属しています。そこでは、アプリケーションを複数のモデルから構築し、それぞれが専門的なタスクを実行します。

したがって、音声を入力して音声オーディオを出力するモデルの代わりに、実際には音声オーディオを入力してテキストに変換し、それをLLMにフィードし、LLMがテキストを出力し、それが音声に変換されるモデルがあります。しかし、オーディオをテキストに変換するたびに、表現力が失われます。それは情報のボトルネックのようなものです。

特定のイントネーションで質問しているのか、それとも他のすべてのものなのか、それを伝えることができません。

Ben Lorica: その翻訳を行っている間に、メタデータを追加することはできませんか?

Pete Warden: ある程度はできますが、コンパウンドAIのポイントは、異なるソースからのモデルを組み合わせてプラグインできることです。したがって、何らかの共通言語が必要になります。そして現時点では、すべてのLLMが話す唯一のものはテキスト入力とテキスト出力です。

しかし、利点は、すべてのモデルを独立してトレーニングできることです。エンドツーエンドの音声モデルの場合、新しいアクセントがある場合、それが真のエンドツーエンドモデルであれば、かなりのトレーニングを行う必要があります。

新しい入力アクセントがある場合、新しい出力音声や新しい機能がある場合、それが真のエンドツーエンドモデルであれば、すべてをトレーニングする必要があります。それが実際にはそうでない場合、エンドツーエンドが単なるマーケティング用語である場合、個々のコンポーネント、個々のモジュールを個別にトレーニングできます。

しかし、それでも共通のインターフェースデータ、スキーマ、言語に常に同意する必要があります。たとえそれがテキストでなくても、埋め込みであっても、固定されたポイントが必要です。

ですから、はい、私はエンドツーエンドをマーケティング用語として、そしてこれらの企業に流れる法外な金額を正当化するためのものとして見ています。

Ben Lorica: Peteさん、私たちのリスナーがマルチモーダルという言葉を聞いたことがあると思いますが、それについてはどうですか? Geminiはマルチモーダルであるはずです。

そして偶然ですが、私は視覚的推論と理解の分野で働く人と話したばかりで、彼らはGeminiがビデオを理解する能力に関してはかなり劣っていると言いました。

では、あなたのドメインである音声における、これらのマルチモーダルモデルの状態はどうですか?

Pete Warden: それらは実際にはかなり良いことが多いです。Qwen、17億パラメータ、確かそうですが、一部の言語(例えば中国語)ではWhisperよりも大幅に優れたパフォーマンスを発揮します。Gemmaも同様です。

問題は、汎用モデルとして、Gemmaの失敗例の一つは、音声のオーディオをアップロードすると、それを文字起こししますが、その音声の内容に混乱し、例えば文字起こしされた音声に質問があった場合、あなたが質問していると思われてしまうことです。

だから、これは万能ナイフを使おうとしているようなもので、実際の木工用ノコギリを使う方が、すべてができる小さなノコギリのアタッチメントが付いているものよりもはるかに簡単です。

だから、それはエンドツーエンドモデルのもう一つの欠点です。

Ben Lorica: ところで、あなたは明らかにこのトピックの第一人者です。汎用モデルはエッジではすぐに時代遅れになりますよね?

Pete Warden: つまり、現時点では、唯一…

Ben Lorica: あなたが取り組んでいる非常に小さなハードウェアの種類のタイプでは。

Pete Warden: 最近私がやったことの一つは、Wi-Fiに接続してパスワードを設定できるような、完全な音声インターフェースを、RAMが500キロバイトしかないRaspberry Pi Picoマイクロコントローラーで実行することでした。

そこでは、あなたのためにうまく機能する汎用モデルを決して持つことはできません。しかし、いつものように…

Ben Lorica: そして、あなたが興味深いことに取り組んできたことの一つで、多くの人が取り組んでいないのは、ブラウザをもっと真剣に受け止めることですよね?

だから、その動機と、どのような反応があったかについて教えてください。

Pete Warden: ええ、それは難しいです。なぜなら、私は時々「Xをブラウザでやった」というのをHacker Newsの餌だと思っています。なぜなら、それは常にノベルティとして多くの注目を集めるからです。しかし、これらの多くの実用的な用途を見つけるのは難しいことがよくあります。

音声機能、音声入力と音声出力に関しては、それがブラウザのオペレーティングシステムの一部、あるいはブラウザのオペレーティングシステムの一部のように感じられるようにしたことです。

そして、ブラウザで高速かつ正確に文字起こしできるようになると、人々が簡単にこの種のものを試す方法になり、現時点ではコストはかかりません。

私はいくつかの例を載せようとしました。Moonshine AIに行けば…

Ben Lorica: しかし、ブラウザを推論のポイントとして使用するという考え方ですよね? あなたの音声に焦点を当てたものではなく、他のモデルもそれを行うことができると想像できますよね? テキスト、つまりテキストベースのアプリケーションのためのブラウザ推論を想像できますよね?

Pete Warden: ええ、Chromeを実行している場合、すでに非常に高機能なモデルがインストールされています。40億パラメータのモデルがあります。

私は昨年、Chromeの設定を調べて、それをチャットボットとして使い始め、ウィンドウにタイプして応答を得る方法を示すブログ記事を書きました。

私は、それがモデルがオペレーティングシステムの一部になる例だと思います。なぜなら、Chromeは基本的に他のオペレーティングシステムの上に存在するオペレーティングシステムだからです。

私は、それが拡張機能だけだった頃から、今ではどのウェブサイトでもJavaScriptからアクセスできるようになったと思います。

そして再び、私たちはまだそのための最良のユースケースを模索しています。しかし、それが無料になり、どこでも利用できると確信できるようになれば、私はそれが多くのこれらの新しいLLMテクノロジーにとってiPhoneの瞬間だと本当に感じています。

Ben Lorica: あるいは、あなたが以前言及したように、ラップトップ上の人々にとって、それは何らかの形でOSの一部になるということですよね?

では、Peteさん、そしてリスナーの皆さん、Peteさんの仕事はMoonshot AI(Moonshine、ああ、Moonshine.ai)でフォローできます。そして、彼の仕事の多くはオープンソースであり、あなたはそれを利用できます。

では、Peteさん、今後12〜24ヶ月先を見てみましょう。私はあなたを追い詰めるのは嫌ですが。どこにいるのでしょうか? まず、ローカルまたはエッジモデルについて、そして第二に、オープンモデル全般の状態についてです。

Pete Warden: ええ、私はいつも予測が苦手です。

Ben Lorica: しかし、Peteさんが非常に得意なことの一つは、何に取り組むべきかを知っていることです。それは一つの兆候です。あなたが何に取り組んでいるか教えてください。

Pete Warden: はい。だから、技術的な側面に深く入り込んでいることからわかるのは、私が何かを開発していて、唯一合理的な技術的解決策がXであるということが明白になることが多く、だからもちろんXに取り組みたいのです。

そして私が目にしているのは、そして過去数年間見てきたのは、これをローカルまたはオンプレミスで実行するという重力です。

私はしばしば、「AIはローカルになりたがる」と言います。

Google検索のようなものを考えると、大規模なデータベース、何千台ものサーバー、そしてそれらすべてが必要になります。ClaudeやChatGPTがやっていることを見ると、インターネット接続なしで、1台のラップトップで完全に実行できます。

だから、これらのモデルの形状はローカルで実行するのに最適です。過去20年間の他のほとんどのもののようには、クラウドの方が理にかなっていました。

だから、私は、企業にとってのコスト、プライバシーへの懸念、機能が失われることへの懸念、変更への懸念といった、これらのすべての圧力が…

もしあなたが特定のバージョンのClaudeの上にアプリケーションを構築した場合、ドロップダウンで同じバージョンを使用していても、実際にはバックグラウンドで何が起こっているかは日によって変わる可能性があります。

だから、安定性が必要な場合は、少なくとも自分のクラウドインフラストラクチャで、あるいはユーザーのラップトップでローカルにホストする必要があります。

そして、私はこのことについて延々と話すことができます。

Ben Lorica: ええ。そしてまた、多くの企業は、堀、つまり彼らの堀は実際にはモデルではなく、モデルを取り囲むその累積的なループであることに気づいていますよね?

Pete Warden: モデルでファインチューニングすることもできないのですか?

Ben Lorica: ええ、つまり、そのデータで。

Pete Warden: ええ、まさに。

Ben Lorica: そして、あなたが指摘するように、あなたは実際に自分のタイミングとロードマップを制御できます。なぜなら、あなたはモデルを持っており、いつそのモデルを何か別のものに置き換えるのが安全かを知っているからです。誰もあなたの下からそのモデルを置き換えることはありませんよね?

Pete Warden: 夜中に10倍の値段で請求し始める人はいません。

Ben Lorica: なるほど、なるほど。そしてまた、たとえコストを同じにしても、何らかの理由でモデルを弱める可能性がありますよね?

Pete Warden: はい。ええ、そしてそれは外部からの圧力である可能性もあります。

Ben Lorica: では、ところで、Peteさん、最後の質問です。あなたはハードウェアを非常に重視する分野で働いていますよね?

現在、Jensen Huangがすべてを所有しているように見える世界にいます。AIハードウェアの状態について、あなたの予測はどうですか?

より多様化が進むのでしょうか? AMDはゲームを向上させるのでしょうか、それともハードウェア全般で何が起こっているのでしょうか?

Pete Warden: Appleに注目してください。

そして免責事項として、私は2000年代にAppleで5年間働きました。私の妻はそこで13年間働きました。

しかし、彼らがやっていることを見ると、彼らは大量のRAMを手に入れ、RAMの速度を向上させて、モデルをはるかに高速に実行できるようにし、独自の推論専用アクセラレータを持っています。

私は、これら3つがあれば、GPUは必要ないと思います。

Ben Lorica: では、すべてCPUで実行するのですか?

Pete Warden: いや、別の種類のアクセラレータで実行します。

Ben Lorica: ああ、なるほど。それは…

Pete Warden: GPU。

Ben Lorica: なるほど、なるほど。つまりCPU…

Pete Warden: かなり速くなる可能性があります。明らかに、…

Ben Lorica: NVIDIAの答えは、なぜGPUにHBM、高帯域幅メモリがあるのかということですよね?

Pete Warden: そして私はGPUを、大きなバッチとトレーニングのために設計されたものだと考えています。

私はGPUを、買い物に行くためにタンカーを使おうとしているようなものだと考えています。

それらはこれらの大規模なトレーニングジョブには素晴らしいですが、推論には完全なオーバーキルです。推論は、ハードウェアにかかるワークロードとは非常に異なる形状をしています。

Ben Lorica: 最近私が注目し始めたことの一つは、非常に、非常に初期段階ですが、高帯域幅フラッシュです。

Pete Warden: まったくその通りです。

Ben Lorica: なるほど。それで、あなたの見解は?

Pete Warden: それは別の例です。

私はNVIDIAが稼いでいる巨額のお金を見ており、それはすべてのハードウェア企業に独自の重力を持っています。技術的な側面から見ると、彼らは見ています。私には特別な洞察はありません。私はこれらのものを使って仕事をしてきました。ワークロードがどのようなものかを知っています。他の人々もそれらを見ており、「ああ、なるほど。すべてのウェイトをストリーミングしなければならない。すべてのトークンごとにすべてのウェイトを処理しなければならない」と考えています。

だから、たとえCPUで実行していても、270億のウェイトを1秒の数分の一で引き出すのに十分な高帯域幅を持つものがあれば、残りの処理は比較的簡単です。通常、それは非常にメモリバウンドです。

だから、高帯域幅フラッシュ、Appleがやっていること、通常のRAMの帯域幅を増やしているのを見るのは素晴らしいことです。

人々がワークロードの様子を理解したので、今では多くの想像力に富んだソリューションを目にするでしょう。

Ben Lorica: ええ、そしてそれで、Peteさん、ありがとうございました。そして再び、ウェブサイトはmoonshine.aiです。