HN 日本語サマリー

← 一覧へ戻る
プログラミング

OpenAIは依然としてWebRTCの問題を抱えている

OpenAI still has a WebRTC Problem (moq.dev)

74 pointsby surprisetalk23 コメント

要約

この記事は、OpenAIが音声AIにWebRTCを使用していることの根本的な問題を指摘しています。WebRTCはリアルタイム性を最優先するため、AI処理に必要な遅延した音声パケットを破棄し、結果としてユーザー体験を損なうと論じています。著者は、AIが人間よりも高速に音声処理できることを踏まえ、WebRTCに代わるMoQのような転送プロトコルが、音声AIの遅延と品質のトレードオフを解決する鍵となると提案しています。

全文翻訳

OpenAIは依然としてWebRTCの問題を抱えている

2026年10月27日 · kixelated

以前の記事で、私はOpenAIがWebRTCを使用していることを非難しました。この記事はHacker Newsでバイラルになりました。

感謝

私の激しい批判の後、OpenAIのWebRTC専門家であるSean DuBois氏とJustin Uberti氏が連絡をくれたことに心から感謝します。彼らは私を「@kixelated、お前は馬鹿だ」と言うこともできましたが、そうしませんでした。

しかし、WebRTCに対する私の神聖な使命はまだ終わっていません。deus vult

ホットテイク(過激な意見)

最先端の研究所でボイスAI製品を開発している、いわゆる「バイブコーダー」だとしましょう。

莫大な金額を費やしている(そして燃やしている)としましょう。

ユーザーが次のように発話したとしましょう:「フランスの首都は?」

もしあなたのAIが次のように返答したら:

すみません、途切れました。もう一度言っていただけますか?

あなたは間違っています。ボイスAIにWebRTCを選んだのが間違いです。

潜む危険

お気に入りのアプリケーション、ChatGPT™を起動します。マイクをクリックして、こう言います:

フランスの首都は?

ああ、なんてこった、仮説上の突然のパケットロス。海底ケーブルをクラーケンがむしゃむしゃ食べています。残念ながら、これは非常に一般的です。

WebRTCは、リアルタイムの人間同士の音声通話のために設計されています。非常に攻撃的で、レイテンシをリアルタイムに保つために、遅延したオーディオパケットをすべて破棄します。レオナルド・ディカプリオのように、30ミリ秒を超えるものは古すぎます。

WebRTCは遅延したオーディオを諦める

話された / 理解された

受信したが、まだ理解されていない

永遠に失われた

「フランスは?」

これはボイスAI製品にとっては非常に残念です。Wi-Fi範囲外に出たり、携帯電話の圏外に入ったり、Starlink端末が衛星を切り替えたりすると、あなたのトークンは無駄になるか、最悪の場合、AIがあなたが何を言ったのか推測しようとします。

WebRTCは通常、パケットロスを検出し、再送信できます。しかし、オーディオの場合、再送信はデフォルトで無効になっています。そして、たとえ有効になっていても、オーディオジッターバッファはそれらを待ちません。

しかし、なぜ待てないのでしょうか? これはネットワーキングの基本ではないですか?単にそれをもう一度送ればいいだけでは?

それは私たちのせいです。

あなたのスピード

私たち人間は、オーディオを「リアルタイム」、つまり人間のクロックレートで消費/生成します。私たちのニューロンはそれほど速く発火できません。

Google Meetのようなリアルタイム会議製品では、レイテンシはほぼゼロである必要があります。遅延は非常に不快なため、WebRTCはそれを最小限に抑えるためにあらゆる手段を講じます。

再送信でブロックすると遅延が発生します。これはTCPの致命的な欠陥であり、WebRTCがそもそもUDPベースである理由です。さらに悪いことに、再送信は回復時にオーディオの急速なバーストを引き起こします。

これは悪いユーザー体験です。人間は待ってから、10倍速でオーディオのバーストを処理したくありません。WebRTCは代わりに、主に人間の再送信に依存します。

あなた:フランスの首都は?

私:

あなた:フランスの首都は?と言いました。

  • WebRTCの戦士がLinkedInで私を炎上させる前に、「修正、修正、修正」セクションを読んでください。

私たちは平凡さに甘んじなければならないのでしょうか?

そのハンダ付け野郎を時計で測れ

もちろん、そうではありません。目を覚ませ、老人、もう2020年ではありません。インターネットはもはや私たちのたるんだ唇のためだけのものではありません。

私たちのロボット支配者は、シリコンクロックレートに基づいてオーディオを生成/消費します。私たちは岩に電気を流し込み、今や数分で図書館を読むことができます。生きているって素晴らしい時代だ。

音声エージェントは、リアルタイムよりも速くオーディオを聞いたり話したりできます。

20倍速で聞く?問題ありません。

20倍速で話す?問題ありません。

人間はリアルタイムに縛られている。

私たちは話すのが遅すぎるため、音声認識(STT)は私たちを待たなければなりません。

私たちは聞くのが遅すぎるため、音声合成(TTS)は私たちを待たなければなりません。

WebRTCは人間向けに設計されており、音声AIエージェント向けではありません。これらの哀れなロボットは、私たちの平凡さによって足かせをかけられています。

コンテキストが必要だ

LLMに関しては、レイテンシ予算は奇妙になります。

通常、レイテンシとは、缶の中をうめき声が移動するのにかかる時間として考えます。しかし、LLMはコンテキストにブロックされます。

[画像: コンテキストが必要だ]

コンテキストが必要だ

ここに、時間とともに成長するコンテキストの単純な例を示します:

  • 1秒: 何
  • 2秒: 何が
  • 3秒: 何がフランス
  • 4秒: 何がフランスの首都
  • 5秒: 何がフランスの首都は
  • 6秒: 何がフランスの首都はフランス?

LLMが完全なコンテキストを取得する前に応答しようとすると、事態は悪化します。フランスはゲートキーパーであり、それ以前のすべては実質的に前提条件です。この例では、重要なのは最後のパケットのレイテンシです。

クラーケンに襲われたあの哀れなパケット?WebRTCは実際、レイテンシペナルティなしで数秒間再送信する時間がありました。AIエージェントは、エンドユーザー(つまりあなた)が気づくことなく、リアルタイムよりも速く処理して追いつくことができます。

それがMoQが行っていることです。パケットは一つも残しません。AIが実際にオーディオを必要とするまで、再送信を続けます。

MoQは最大5秒間再送信する

話された / 理解された

受信したが、まだ理解されていない

再送信を待っている

クラーケン氏よ、くたばれ

これも高価ではありません。オーディオは非常に小さいです。64KbpsのOpus 1秒は8KBで、元々は50個の小さなパケットとして送信されますが、約6個のQUICパケットで再送信できます。ユーザーへの影響を避けるために、6個のパケットを再送信する文字通りの数秒があります。

そして、この大変な作業を達成できれば、すべてのコンテキストが時間内に到着します!

モデルは推測する必要がなくなります。沈黙や歪みでトレーニングする必要もなくなります。これは純粋なユーザー体験の勝利です。

マイクだけじゃない

ご存知ですか?WebRTCはSTTだけでなく、TTSにも役立ちません。

[画像: マイクだけじゃない]

車もひどい、私は機会均等な憎しみ屋です

豆知識:WebRTCは、再生されるべきタイミングではなく、オーディオ(およびビデオ)が到着したタイミングに基づいてレンダリングします。他のすべてのプロトコルはタイムスタンプを使用しますが、Mr. WebRTCはほとんど見ません。なぜなら、精度は目標ではないからです。確かに、オーディオとビデオを数ミリ秒同期させますが、ビデオをオーディオの500ミリ秒後に送信するのは運次第です。

これは音声AIにとって大きな問題です。TTSはリアルタイムよりも速く生成され、各パケットに未来のタイムスタンプが付けられます。しかし、WebRTCでオーディオを正しい時間に再生するには…エージェントは各パケットを送信する前にスリープする必要があります。

そして、パケットロスがあれば、私たちのTTSは失われ、二度と再送信されず、トークンは燃え尽き、 yada yadaとなります。

WebRTCは人間の速度で送信し、遅延したオーディオを諦める

送信された / 再生された

生成された / バッファリングされた

永遠に失われた

クラーケンが攻撃したら、戻ることはできません。

各オーディオパケットのレンダリングタイミングを示す信号を送る方法があればいいのに。スタンプのようなものです。

ランダムアクセスメモリ

未来へようこそ、マーティ。私たちは今やリアルタイムよりも速いです。

RAMには、非常に高価であるという驚くべき特性があります。そして、ローカルに何かを保存できる能力。つまり、スピーカーで再生する必要のあるオーディオのようなものです。

各オーディオフレームにタイムスタンプを付け、それを使用していつ再生するかを決定します。ばかげているかもしれませんが、そうします。

MoQはすべてをすぐに送信し、プレイヤーはバッファリングする

送信された / 再生された

生成された / バッファリングされた

再送信を待っている

私は超高速だ、坊や

YouTubeがネットワーク接続が失われてもビデオを再生し続ける方法です。MoQも同様のことをしますが、音声AI向けです。あなたの素晴らしいベーキングレシピは、予期せぬ輻輳の対象にはなりません。

心配しないでください、2分間のオーディオはわずか1MBです。もう1つのRAMスティックを購入するためにローンを組む必要はありません。

免責事項:この動作はIETF標準ではありません。私のmoq.devクライアント(したがってPipecat)のみがサポートしています。公式標準に組み込むために、Ciscoと議論したい場合はご自由にどうぞ。

敵の登場

では、なぜOpenAIはWebRTCを使用しているのでしょうか?

WebRTCは、リアルタイムの会話型オーディオの最先端技術です。Googleによって維持されているC++モノリスであるlibwebrtcを介して、すべてのブラウザで利用可能です。それは非常に複雑で洗練されているため、SafariやFirefoxも、他のすべてのように自分でバイブコーディングするのではなく、libwebrtcを使用しています。

問題は、WebRTCはGoogle Meetクライアントそのものであるということです。それはGoogleの会議製品専用に設計されており、彼らのボイスAI製品(WebSocketを使用)や、ましてやあなたの製品のためではありません。

正直言って、かなり反競争的な策略だ。
Googleは、他のブラウザベンダーに相談することなく製品アップデートをリリースできます。他のどの会議アプリもウェブ上でこれを行うことはできません。

豆知識:これが、他のすべての会議アプリがネイティブクライアントを推奨する理由です。そうでなければ、せいぜいGoogle Meetと同等の機能しか提供できません。ネイティブアプリはUDP上で好きなように動作できます。

修正、修正、修正

だからこそ、あなたの超デラックスChatGPT™ボイスAIモデルは、数十億ドルを投資した後、あえて「もう一度言っていただけますか?」と尋ねるのです。

WebRTCを何日もけなすことができますが、今回はポジティブになりたいです。修正方法は以下の通りです。

まず、WebRTCが持っているものを認めなければなりません:

  • NetEQは素晴らしいです。ジッターに基づいてオーディオ再生速度を変更します。しかし、パケットロスには対応しません。
  • オーディオ再送信は、SDP munging(見苦しい)を介して有効にできるようになりました。しかし、NetEQジッターバッファはそれらを待ちません。
  • playout-delay RTP拡張機能は、ボイスAIに最適です。しかし、ビデオ専用です。

WebRTCを修正するには、Googleに請願する必要があります:

  • オーディオにplayout-delayを実装する。
  • ジッターバッファを、過去と未来(TTS用)の両方で拡張できるようにする。
  • バイブではなく、タイムスタンプに基づいてオーディオをレンダリングする。
  • IDK、トラック生成を増やすためのRTP拡張機能(割り込み用)。

そしてもちろん、より広いWebRTCエコシステムにも同様の請願を行います。

ゲートキーパー

WebRTCの主な問題は、Googleがゲートキーパーであることです。

あなたのClaudeの友達は、これらの問題を修正するためにlibwebrtcをフォークすることはできません。ウェブサポートにはGoogleが必要であり、少なくともTheoが42万ドルを費やしてChromiumをRustで書き直すまではそうです。

playout-delayが10年前にマージされたのに、オーディオにはまだそれがないというのは素晴らしいと思います。WebRTCにとって、高レイテンシ/高品質再生は決して優先事項ではありません。なぜなら、Google Meetが唯一重要な製品だからです。

豆知識:だからこそ、私はMoQを作成したのです。TwitchでWebRTCを使用しようとしましたが、リアルタイム優先の姿勢がユーザー体験を損ないました。私はただの謙虚なソフトウェアエンジニアであり、試みにもかかわらず、Googleに請願することはできませんでした。

しかし、OpenAIはWebRTCを修正するのに十分な影響力を持っています。長らく待望されていた改善の1つはWARP(あのWARPではありません)であり、私の最後のブログ投稿の直後に登場しました。Justin、頑張ってください、または私と一緒にダークサイドに加わってください。

主人公の登場

私の謙虚でハンサムな意見では、より良い転送に投資する時です。BとTからMをいくつか取ってください。誰も気づかないでしょう。

音声エージェントは、ユーザーにプロンプトの再送信を依頼すべきではありません。

音声エージェントは、代わりに転送にプロンプトの再送信を依頼すべきです。

ネタバレ:QUIC上のメディア(Media over QUIC)が、そのより良い転送です。

PipecatはMoQをサポートしました!Vanessa(@vipyne)とClaude Code(claude.com/claude-code)には、作業を行い、私の絶え間ない「改善」に耐えてくれたことに多大な感謝を捧げます。

ここに、私のクレジットカード情報が付いた粗末なデモがあります。どうか私を破産させないでください。

注意:私はこのデモに約1日(仕事プロンプト)しか費やしていません。このひどいブログ記事を書くのに比べれば、ずっと短いです。あまり厳しく判断しないでください。

そしてはい、時々「もう一度言っていただけますか?」と言います。これはひどく皮肉です。最初/最後のホップはMoQですが、パイプラインの残りの部分は制御できません。Deepgram、OpenAI、またはCartesiaがあなたのパケットをドロップした場合、私にはどうすることもできません。

割り込み

まだ終わりではありません。ブログの途中でMoQを宣伝したかったのですが、残りは…

[画像: 聞いて!]

少なくともフクロウではない

AIが独白していて、それを黙らせる必要がある場合があります。WebRTCでは、送信前にスリープするため、これは非常に簡単です。しかし、MoQでは、プレイヤーに再生バッファを破棄するように指示する信号が必要です。

ここに、信号なしの単純なアプローチがあります:

MoQ(単純)単一トラックなので、応答はバッファリングされた応答の後ろで待機する

送信された / 再生された

生成された / バッファリングされた

私は間違いなく、最初の実装ではこれをしませんでした。

このための私の解決策は、狡猾に巧妙です。非常に巧妙です。

MoQでは、トラックの動的な追加/削除機能を優先しました。ほとんどのメディアプロトコルは固定トラックを持っており、それは面倒なことです:HLS、DASH、RTMP、WebRTCなど。ブロードキャストがライブになった後に1080pを追加したり、コーデックを切り替えたりすることはできません。

私の超巧妙なアイデアは、この機能を利用して割り込みを処理することです。新しいオーディオトラックを作成し(古いものを削除して)、STFUシグナル™として使用します。

MoQ新しいトラックが古いトラックを置き換え、そのバッファは破棄される

送信された / 再生された

生成された / バッファリングされた

破棄された

クレプの家

これは汎用MoQプレイヤーで動作します。タイムスタンプを使用して同期を維持しながら、トラックを自動的に切り替えます。

簡単

ケツからケツへ

おい、馬鹿、お前のブログ記事は間違っている。音声対音声(speech-to-speech)について言及していないのか?

おい、ダンニング・クルーガー効果こそが、前のブログ記事が存在する唯一の理由だ。コメント欄を見るまで音声対音声が存在することを知らなかった。言うことは「どういたしまして」だけだ。

免責事項:私はまだ音声AIの現状について調査していません。あなたが私に「@kixelated、お前は馬鹿だ」とツイートすることを全面的に許可します。

音声対音声のアイデアは、テキストの中間業者をカットすることです。断片化されたSTT -> LLM -> TTSパイプラインが統合され、レイテンシを削減しつつ音声コンテキストを維持します。OpenAIはこの分野のパイオニアであり、多大な称賛に値します。

では、これはWebRTCを正当化するのではないか?音声対音声のレイテンシは、パケットロスを許容できるほど低くできるのか?

そう急ぐな、文学的なストローマン。レイテンシと品質の間には根本的なトレードオフがある。

レイテンシ予算

何かを行うための時間が増えれば増えるほど、結果は良くなる。良いものは時間がかかる。例えば、私が貧乏で超高速料金の3.5倍を払えないので、FableがREADME.mdの1行を変更するようなものだ。

ネットワークも同じだ。何かを送信するための時間が増えれば増えるほど、品質は向上する。だからこそ再送信が存在するのだ。

ブロードキャストテレビを除いては、それはまだ MPEG-TSを使用しており、まだグリッチだらけの惨状をもたらす。マジで何なんだよ、テレビはもう空中で放送されておらず、188バイトのパケットはもう必要ない。

とにかく、ユーザーが何かを待つ時間は製品の決定事項だ。大人用のズボンを履いて、PMになろう。ユーザーは速くてロスが多いものを望むのか、それとも遅くて信頼できるものを望むのか?

なぜ両方ではないのか?

それが音声対音声のアイデアだ。簡単なプロンプトのために低レイテンシのSTSを実行し、フィラーノイズを生成する。

人間:フランスの首都は?

ChatGPT:少々お待ちください。調べています。

ほら、その役に立たない「考えています」という応答でさえ、人間は良い気分になる。しかし、私たちアンチPMにとってはより重要なのは、より遅いパスを開始するための時間を稼ぐことだ。

私は最先端の研究所で働いていないので、これはすべて推測だが、これらの遅いパスのためにもSTT->LLM->TTSがまだ使用されていると想像している。Astra/Fable品質のSTSモデルは絶対に理想的だが…おそらく投資する価値はないだろう。

いずれにせよ、STSであろうとSTT->LLM->TTSであろうと関係ない。重要なのはレイテンシ予算だけだ。

MoQは両方を行う

MoQで解決しようとしている中心的な問題の1つは、業界における「レイテンシごとに1つの転送」という問題だ。レイテンシ予算に基づいて異なるプロトコルを使用するのは、顔を覆いたくなるほど一般的だ。

例えば、全員参加のプレゼンテーションで、スピーカーはZoomを使用し、他の全員はHLSで視聴し、参加できない。

そんなノイズはクソだ。MoQは単一接続で複数のレイテンシターゲットをサポートする。音声AIの場合:

  • 迅速な応答のためのリアルタイムレイテンシ(STS)。
  • 遅い応答のためのロスレス品質(STT->LLM->TTS)。

どうやって? 各MoQサブスクリプションには、加入者が待機する意思のある時間が含まれています。

リアルタイムモデルは最大レイテンシ500ミリ秒、より正確なモデルは最大レイテンシ5秒を持つことができます。どちらも単一のアップストリームサブスクリプションに統合され、ファンアウトできます。

MoQ単一アップストリーム、異なるレイテンシ予算を持つ2つの加入者

話された / 理解された

受信したが、まだ理解されていない

再送信を待っている

永遠に失われた

すべてはジッターバッファのサイズ次第だ、ベイビー

これは最大レイテンシであることに注意してください。レイテンシは、ひどいネットワーク条件の場合を除き0であり、最終的には諦めます。これがMoQとTCP/WebSocketが音声AIにおいて異なる中心的な違いです。

転送レイテンシは、製品のレイテンシ予算と一致させるべきです。

シンプルだ:未来を予測する

さらに別のストローマンを打ち砕く。

おい、馬鹿、お前のブログ記事は間違っている。WebRTCはFECを使用するため、パケットロスを気にしない。

おい、私の以前のブログ記事を読め:データグラムは絶対に使用しないと前方誤り訂正。これは私のより愚かなホットテイクの1つだ。

WebRTC(およびOpus)には、パケットロスをマスクするのに役立つ前方誤り訂正が含まれています。アイデアは、前のオーディオフレームのより低ビットレートのコピーを次のパケットに詰め込むことです。

しかし、単一の最後のパケットだけです。連続した2つのパケットロス、ましてや完全なネットワークの頓挫さえ処理できません。

これはWebRTCにとっては問題ありません。30ミリ秒より古いオーディオを気にしないからです。しかし、音声AIやインターネット上の他のものにとっては問題ありません。輻輳によるパケットロスはバースト的であり、ランダムではありません。

一般的な「修正」は、これらのコピーを時間内に分散させることで、X個の連続したパケットロスを処理できるようにすることです。Opus 1.5を参照してください。この追加データすべてには実際のコストがかかり、あなたが(そしてあなたは)やり方を知らない場合、バッファブロートを悪化させることになります。

私の謙虚で(そして魅力的な)意見では、FECは非常に長いRTT(月への送信など)に最適です。現在の年では、代わりにCDNを使用してロスのある最初/最後のマイルを短縮し、再送信をOPにします。400ミリ秒に分散されたより多くのバイトを送信するのではなく、40ミリ秒で再送信するのはなぜですか?

しかし、WebRTCの戦士が主張するなら、QUICライブラリはストリームデータを何度でも再送信できます。基本的にREDですが、パケットではなくバイトオフセットに基づいており、受信者には完全に透過的です。それは無料のアイデアです。

さらに無料のアイデア

ここでブログ記事を終えるべきですが、真剣に、私は3週間費やしたので、このクソを内部で転送する必要があります。内部Slackでスクリーンショットを撮ってください。

おい、OpenAI。音声AIの最先端を代表していることを非難してごめん。私たちは間違った足で始まったのかもしれない。

おい、Anthropic。お前をオレンジ色のケツ穴会社と呼んでごめん。私たちは間違った足で始まったのかもしれない。

両方のために埋め合わせをします。ここに、あなたの無限のFable/Astro 7トークンでプロトタイプできる無料のアイデアがあります。gitコミットにCo-Authored-Byクレジットをくれればいい。Scionでも構わない。

お願いだ、私のGitHubの緑色の四角を増やしてくれ。

[画像: トークン最大化]

私がトークン最大化を開始した正確な瞬間が見えるはずだ。

コンピュートの分離

莫大な資本があることは知っていますが、世界中のすべてのユーザーの近くにGPUを配置するのは困難です。しかし、世界中のすべてのユーザーの近くに安価なDELLサーバーを配置するのは簡単です。

  • CDNエッジ内にmoq-relayを実行する。
  • GPUが利用可能な場所でモデルを実行する。

前述のように、これはCDNの前提です。ユーザーに近い多数のエッジノードは、輻輳する最初/最後のマイルを最小限に抑えます。バックボーンを過剰にプロビジョニングして、トラフィックをGPUに輻輳なしで転送できるようにします。

ネットワークとコンピュートを独立してスケーリングできます。

これはおそらくすでにやっていることでしょうし、標準化されたMoQ実装を使用する代わりにカスタムボイスAIプロトコルを正当化するのに十分大きいでしょう。

それ以外の場合は、MoQはボイスAI以外にも対応できるほど汎用的です。MoQをライブHTTPのようなものと考えてください。結局のところ、IETF標準であり、HTTPというものを行うのと同じ本体です。

実際、私の最初の大きな顧客は、JSONブロブを大量にファンアウトするためにmoq.proを使用しています。文字通り、A/Vプロトコルを装った汎用パブ/サブプロトコルです。

コンテキストを優先する

私は転送とアイデアの人であり、AI科学者ではありません。これが明白または/または不可能であっても、私を炎上させないでください。

WebRTC+AIの根本的な問題は、モデルと転送の間に断絶があることです。このブログはレイテンシの調整に焦点を当てましたが、コンテキストの調整はどうでしょうか?

結局のところ、すべてのトークンが同じ重みを持つわけではありません。各トークンの相対的な重要性がわかれば、情報に基づいたネットワーク決定を下すことができます。

高優先度: フランスの首都
低優先度: は
ゼロ優先度: <無音>

これをMoQで実装するには、オーディオトラックを個別にエンコードされた別々のトラックに分割します。高優先度トラックは利用可能な帯域幅を最初に確保し、加入者はそれにより長く待ちます。

しかし、正直なところ、難しいのは実際に気にかけることです。オーディオビットレートは非常に低いため、優先順位を付ける機会はめったにありません。クライアントサイドのトークナイザーを行う価値はありません。ビデオの場合は役立つかもしれません。

バックフィル

30ミリ秒後にオーディオをドロップするもう1つの問題は、一方通行のドアであることです。

大胆な予測:次のClaudismは、この投稿でトレーニングされた後、「一方通行のドア」になるでしょう。

ネットワーク転送がネットワーク経由でデータをドロップすることを決定すると、他の目的には使用できなくなります。さて、最先端の研究所が生のオーディオを保存しているかどうかはわかりませんが、おそらく保存すべきです。

最終的に、AIモデルは待つのをやめ、不完全なデータに基づいて推測する必要があります。良い仕事をしたか、悪い仕事をしたか?どうすればわかりますか?

まあ…オーディオを実際にドロップしないでください。そのクソをRAMに保存しておいてください。オーディオは結局のところ非常に小さいです。max-latencyを10分に設定すると、最終的に最低優先度で送信されます。ネットワークが完全に回復したときにそれをバックフィルします。

なぜMoQでバックフィルするのですか?ファイルを保存して後でトレーニングしないのですか?

ブイーン、ブイーン、GPUは暖かいです。コンテキストがキャッシュされている間に、数秒前にユーザーが言ったことを推測するのに良い仕事をしたかどうか、モデルに尋ねてください。トレーニングデータとして使用します。IDK、科学者ではありません。

終わり

ああ神よ、このブログ記事に費やした時間が長すぎました。お気に入りのリンク集計サイトでアップボートしてください。

私はスタートアップにYOLO(You Only Live Once)で飛び込もうとしているので、Kixel, Corp.の株式の一部を買収することに興味があるなら、連絡してください。私が精神的に失業中で、感動しやすい間に割引を提供します。

また、十分な報酬を得ることにうんざりして、YOLOで仕事に飛び込みたいなら、連絡してください。来月にはすでに2人目のオタクが参加します。


[2] タイトル: It's All about the Allocator
URL: https://aarol.dev/posts/zig-allocator/
本文:

アロケーターがすべてだ

AIデータセンターの拡大により、グローバルなメモリ供給が驚異的な逼迫状態にある世界に私たちは生きています。これは、より多くのRAMを搭載したデバイスが非常に高価になったことを意味します。MacBook Neoのような新しいデバイスが登場し、RAMはわずか8GBしかありません!

これは、RAMを過剰に消費するアプリケーションに対する精査が増加していることを意味します。Discord、Teams、Spotifyは、すべてChromiumを基盤としているため、悪名高い例です。そしてChromiumはブルートです。

幸いなことに、状況は変化しています。一部の企業は、無限のAIトークン予算を有効活用し始めています。Discordは、デスクトップクライアント全体をRustにポートし始め、gpuiを使用し、モバイルアプリをReact Nativeから適切なネイティブiOS/Androidアプリに移行したと発表しました。

しかし、ClaudeにコードをRustに書き直させるだけでは、すべての問題が解決するわけではありません。このRedditの投稿では、誰かがAIを使用してTypeScriptで書かれた12,000行以上のゲームエンジンをRustに移植しました。最終的には動作し、非常に厳格なテストすべてに合格しましたが、予期せず遅くなりました。OPがコードを監査したところ、技術的にはメモリ安全だが非常に無駄の多いコード(いたるところでクローニングし、std::mem::takeを使用する)を書くための多くのトリックを使用して、「借用チェッカーのなだめ」を行っていたことが判明しました。その結果、プログラムは数ギガバイトの不要なメモリを割り当て、数千ものOSスレッドを生成したようです。

したがって、真にメモリ効率の高いコードを書きたい場合、AIにそれを任せるだけでは不十分かもしれません。AIのトレーニングデータに含まれるほとんどのコードは、メモリ効率(またはパフォーマンス)を念頭に置いて書かれていません。

私のポイントを実証するために、Claudeに次のように依頼しました:

Rustでrust-sfmlを使用して、画面の左上にプレイヤーのスコアを描画したいです。どうすればよいですか?

それが私に与えたもの(抜粋)は次のとおりです。

fn main() {
    let mut window = RenderWindow::new(
        VideoMode::new(800, 600, 32),
        "My Game",
        Style::CLOSE,
        &ContextSettings::default(),
    );
    // フォントは一度だけロードします。ゲームループの外で。
    let font = Font::from_file("assets/arial.ttf").expect("Failed to load font");
    let mut score_text = Text::new("Score: 0", &font, 24);
    score_text.set_fill_color(Color::WHITE);
    score_text.set_position((10.0, 10.0)); // 左上からの小さなマージン
    let mut score: u32 = 0;
    while window.is_open() {
        // ... スコアを変更するゲームロジック ...
        score_text.set_string(&format!("Score: {}", score));
        window.clear(Color::BLACK);
        // ゲームオブジェクトをここに描画します
        window.draw(&score_text); // HUDを最後に描画すると、上に表示されます
        window.display();
    }
}

メインループの問題点を見つけられますか?その通り、format!()はStringを返します。そのため、毎フレームスコアの新しい文字列を割り当てています。

この状況での適切な修正は何でしょうか?さて、それはscoreがどれくらいの頻度で更新されるかによります。1秒に1回変更される場合は、スコアが実際に変更されたときにのみテキストを更新するのが最善です。フレームごとに近い頻度で更新される場合は、最初に1つのStringを割り当て、毎フレームそのメモリを再利用するのが最適なソリューションになります:

use std::fmt::Write;
// ..
let score: i32 = 0;
let mut score_text_buf = String::with_capacity(32);
while window.is_open() {
  // ..
  write!(score_text_buf, "Score: {score}")
    .expect("enough space in score_text_buf");
  score_text.set_string(&score_text_buf);
  // ..
}

これは完璧なソリューションではありません。なぜなら、set_string()は&strを渡してもメモリを割り当てるからです。C++側で独自の文字列表現に変換するためです。

これは些細な問題(そしてこの場合は些細な問題)のように思えるかもしれませんが、プロジェクトがこの1000倍大きい場合、あちこちの小さな割り当てが積み重なっていくと想像できます。

Rustでは、割り当て関数と非割り当て関数の区別はありません。すべての関数が割り当てを行う可能性があり、+演算子のオーバーロードのようなものでさえそうです。

もう1つのより陰湿な例は、私がしばらく前に書いたコードです。JSONから数値をできるだけ速く解析するために使用されていました:

pub fn parse_line(line: &str) -> Coords {
    let bytes = line.as_bytes();
    let x = parse_f32(b"\"x\":", bytes, b',').expect("X found");
    let y = parse_f32(b"\"y\":", bytes, b',').expect("Y found");
    let z = parse_f32(b"\"z\":", bytes, b'\'}').expect("Z found");
    Coords::new(x,y,z);
}

fn parse_f32(needle: &[u8], haystack: &[u8], end_char: u8) -> Option<f32> {
    let x_start = memchr::memmem::find(haystack, needle)? + needle.len();
    let x_end = memchr(end_char, &haystack[x_start..])?;
    let x_str = unsafe { std::str::from_utf8_unchecked(&haystack[x_start..x_start + x_end]) };
    Some(x_str.parse::<f32>().expect(&format!("{}", x_str)))
}

ここで問題点を見つけられますか?はい、それはexpect()に渡される別の文字列割り当てです。パラメータとして渡しているため、使用されていない場合でもその文字列は早期に評価されるため、parse_f32のほとんどの呼び出しは完全に不要な文字列割り当てを行います。

このバグに気づいたのは、コードのプロファイリングを行い、parse_f32内の時間のほとんどを文字列割り当てが占めていることを示したフレイムチャートを見たときでした。

修正はクロージャを使用することです:

Some(x_str.parse::<f32>().unwrap_or_else(|_| panic!("{}", x_str)))

AIにコードベース全体をレビューさせて、これを見つけられるか尋ねましたが、見つけられませんでした(コードにはもっと大きな問題がありました)。

この状況では、メモリがいつ割り当てられているかがわかりやすければ、この問題がより際立って見えたでしょう。

Zigでの割り当て

Zigは異なるアプローチをとっています。Cの後継者、手動メモリ管理を備えたシステムプログラミング言語として設計されています。Zigでは、すべての割り当てはstd.mem.Allocatorインターフェイスを通じて行われます。プログラムのトップレベルで、アロケーターを作成し、割り当てを行いたい関数に渡します。アロケーターの例には、std::heap::DebugAllocator、std::heap::ArenaAllocator、std::heap::FixedBufferAllocatorなどがあります。

標準ライブラリとサードパーティライブラリはこの抽象化を中心に構築されています。これは、各メモリ割り当てが明示的であることを意味します。関数がアロケーターを取らない場合、それは割り当てを行いません。これは強力な概念であり、いつ/どこでメモリを割り当てるかを強制します。

Zigには、Rustのformat!()マクロに直接相当するものはありません。いくつかの選択肢があります:

  1. std.Io.Writerのインスタンスがある場合

    try writer.print("Score: {}", .{score});
    

    Writerは、std::Io::File、std::Io::Writer::fixed(&buf)、またはstd::Io::Writer::Allocatingなどから取得できます。

  2. 新しいスライスを割り当てたい場合は、allocator.printを呼び出します:

    const text: []u8 = try allocator.print("Score: {}", .{score});
    
  3. バッファがある場合は、std::mem.printを使用します:

    var buf: [32]u8 = undefined;
    const slice: []u8 = try std::mem.print(&buf, "Score: {}", .{score});
    

スコアゲームの例では、std::mem.printSentinelを使用できます。これは、文字列の末尾に0バイトを追加できます(sfmlはヌル終端文字列を期待します)。

var score_text_buf: [32]u8 = undefined;
const score_text: []u8 = try std::mem.printSentinel(&score_text_buf, "Score: {}", .{score}, 0);
sf.sfText_setString(self.scoreTextShape, score_text);

明示的なアロケーターを持つことで、どの方法が最も適切かを考えるようになります。ゲームにさらに複雑さがあれば、フレームごとに割り当てを行うための「スクラッチ」を作成し、フレームの終わりにリセットするArenaAllocatorを使用できます。

アリーナアロケーターのもう1つの代表的な例はWebサーバーであり、リクエストごとにメモリを割り当てる必要がある場合があります。サーバーが接続を閉じると、アリーナをリセットして次のリクエストを処理できます。

重い計算を行うプログラムでは、メモリアクセスがボトルネックになることがほとんどです。CPUは機会があれば信じられないほどのことを実行できますが、メモリを半分待っているだけでは意味がありません。メモリ割り当てを理解することは、マシンに対する機械的共感を持つことの一部です。この概念は、TigerStyle(TigerBeetleデータベースの作成者)によって最もよく説明されていると思います。彼らは動的メモリ割り当てをゼロにし、静的割り当てのみを行うという極端なアプローチをとっています。

これらのアイデアは、高レベル言語にも適用できます。割り当てが発生している場所を理解できれば、JavaScriptコードを高速化できます。たとえば、arr.push(1)とarr = [...arr, 1]で配列に数値を加算する場合です。Typed Arraysは、数値演算コードを大幅に高速化することもできます。

私が気に入っているその他のアイデアは、制御フローを上に、データフローを下にプッシュする、構造体の配列 vs 配列の構造体、そして検証するな、解析せよですが、最後のものはパフォーマンスよりも設計に関するものです。