MoonshineをJavaScriptに移植しました
I Ported Moonshine to JavaScript (petewarden.com)
要約
開発者からの強い要望に応え、Moonshineのブラウザ版をJavaScript(WebAssembly経由)で提供開始しました。この移植は、単にC++コアをコンパイルするだけでなく、Web開発者にとって使いやすい高レベルAPI、テストインフラ、CI/CD統合、インタラクティブなサンプル、インメモリモデルサポートの改善など、多くの追加作業を伴いました。これにより、Webページ上で直接、音声認識やAIボットとの対話などの機能が、低遅延かつ低コストで利用可能になります。
全文翻訳
MoonshineをJavaScriptに移植した理由
開発者から最もよく聞かれる要望の一つは、Moonshineのブラウザ内バージョンで、Webページ上で実行できるものを作ってほしいというものでした。理論的にはこれは簡単なはずです。以前の世代のモデルのためにMoonshineJSを既に構築しており、コアライブラリはポータブルなC++で書かれているため、emscriptenでWASMにコンパイルできます。コミュニティによる興味深いポートプロジェクトもいくつかありましたが、公式サポートは十分な時間をかけて行うまで控えていました。
C++コアの移植は始まりに過ぎないことを私は知っていました。Web開発者が使いやすいものを作るには、さらに多くのことが必要でした。
- ブラウザのJavaScriptにとって慣用的であり、他のMoonshine言語バインディングとも一貫性のあるハイレベルAPI。
- ユニットから完全なWebページまでのテストインフラ。
- 既存のCIおよびデプロイメントプロセスとの統合。
- インタラクティブで、コードスニペットがインライン表示されるライブラリの主要な機能をデモンストレーションする例。
- フレームワークが実際の条件でどのように実行されるかを実証およびテストする、より大きなアプリケーション。
- メモリ内モデルとデータファイルに対するサポートの改善。これはコアライブラリに多くの変更をもたらしました。ファイルからのロードと比較して、メモリバッファを受け取るメソッドはいくつかありましたが、カバレッジはまばらでした。
多くの作業を経て、フィードバックを受け付けられるバージョンがようやく完成しました。試す最も簡単な方法は、新しいmoonshine.aiのホームページです。そこでは、最小限の文字起こし例から本格的なGranolaスタイルの会議メモ作成ツールまで、すべてを見ることができます。オープンソースプロジェクトとして、これらのすべてのコードが利用可能であり、簡単な例にはインラインのコードスニペットも含まれています。以下は、APIの感触を掴むために、Webページで音声認識を実行する方法を示す例です。
import { MoonShine } from '@moonshine-ai/moonshine-js';
const moonshine = new MoonShine();
const audio = await navigator.mediaDevices.getUserMedia({ audio: true });
const transcription = await moonshine.transcribe(audio);
console.log(transcription);
それでも、なぜブラウザでのJavaScriptサポートをこれほど優先したのか疑問に思うかもしれません。「WASMに移植されたX」という話の多くは、実用的な用途がないままHacker Newsの注目を集めるだけで終わります。私を駆り立てた証拠は次のとおりです。
- 明確な開発者の需要。ユーザーと話しているときに、ウィッシュリストアイテムとして頻繁に挙がりました。
- JavaScriptの支配力。Pythonは機械学習を支配していますが、JSはアプリケーション(Webおよびサーバーサイド)で最も一般的な言語です。
- 代替手段に対する利点。音声インターフェースの重要性は今後数年間で明らかに増加するでしょうが、ブラウザAPIは無視されており、サーバーベースの代替手段はクライアントフレームワークと比較して遅くコストがかかります。
- 明白なアプリケーション。ディクテーションと会議メモの作成は、すでに音声技術の一般的なユースケースであり、AIボットとの会話もますます一般的になっています。
- 技術的な整合性。私の心の奥底では、音声インターフェースはクライアントで実行されるべきだと知っています。テキストとインテントを取得するためだけにオーディオデータをサーバーにストリーミングするという現在の状況は、モデルが大きすぎてコンシューマーハードウェアで実行できなかったためだけに存在します。今日では、家庭用電化製品でさえローカル音声エージェントに十分な計算能力を持っています。モデルが大きすぎてコンシューマーハードウェアで実行できなかったためだけに存在します。今日では、家庭用電化製品でさえローカル音声エージェントに十分な計算能力を持っています。古いアプローチが単なる慣性で長引いているのを見るのは、私のエンジニアリングの感覚を不快にさせます。キーボード、マウス、タッチスクリーン、カメラのような他のすべての入力デバイスと同様に、音声は自由に使用でき、ローカルであることを望んでいます。移植により、Web上でそれが可能になります。
- 選択肢。最近、多くの人が言語やオペレーティングシステムを頻繁に切り替える必要があり、AIコーディングアシスタントのパワーは、アプリケーションを迅速に移植する必要性をさらに高めています。ライブラリの依存関係は大きなコミットメントであり、将来実行する可能性のあるどこでも利用可能であることを知っていると、フレームワークに賭けるリスクは大幅に低下します。たとえ最終的にそのオプションが必要なくてもです。
初期バージョンの改善方法についてフィードバックを得ることに興奮しており、人々がそれを使って何を作るかを聞くのを楽しみにしています。コミュニティに参加したい場合は、Discordチャンネルにお越しください。