500KB未満で実現する音声認識とTTS
Speech Recognition and TTS in less than 500kb (github.com)
要約
Moonshine Microは、マイクロコントローラーなどの組み込みシステム向けに設計された、軽量なオープンソースAIボイスインターフェイストゥールキットです。音声アクティビティ検出、コマンド認識、ニューラル音声合成機能を備え、わずか470KBのRAMで動作します。このプロジェクトは、リソースが限られたシステムでのリアルタイム音声エージェント開発を目的としています。
全文翻訳
Moonshine Micro — マイクロコントローラー向け音声インターフェース
Moonshine Voice は、リアルタイム音声エージェントやアプリケーションを開発する開発者向けのオープンソースAIツールキットです。Moonshine Micro は、マイクロコントローラーやDSPのような組み込みシステムプロセッサ向けに特別に設計されたバージョンで、価格80セントのRaspberry Pi RP2350をリファレンスプラットフォームとして使用しています。これには、音声アクティビティ検出、コマンド認識、およびニューラル音声合成が含まれており、わずか470KBのRAMで動作します。
以下のビデオで、完全なウォークスルーを確認できます。
メモリとコンピューティング要件は、リソースが制約されたシステムに適合するように設計されています。以下の数値は、RP2350デモのものです。詳細なメモリバジェットは、各項目を分解しています。
| コンポーネント | フラッシュ | SRAM (アリーナピーク) | コンピューティング |
|---|---|---|---|
| VAD (音声アクティビティ検出) | ~89 KiB | ~36 KiB | ~0.8 MMAC/フレーム (~25 MMAC/秒) |
| STT (SpellingCNN 音声認識) | ~1.3 MiB | ~346 KiB | ~36 MMAC/秒 |
| TTS (ニューラルジフォンス合成 @ 16 kHz) | ~1.8 MiB ボイスパック | ~340 KiB | ~37 MMAC 通常応答 (~65 MMAC/秒出力) |
| 合計 (デモパイプライン) | ~3.6 MiB | ~468 KiB プロビジョニング* | 分類 + 発話 ~0.7–1.0 秒 |
注記:
- フラッシュは
.text+.rodataで、デフォルトのmoonshine_micro_echoファームウェア(組み込みニューラルボイスパックを含む)でarm-none-eabi-sizeを使用して測定されています。SRAM は.bss+ ヒープ + スタックです。 -
VAD、STT、ニューラルTTSは逐次実行され、約384KiBのTFLMアリーナを時間共有するため、SRAMは加算されません。約468KiBは、520KiBのRP2350(wifi_hardware ~491KiB)にプロビジョニングされた合計RAMです。
- MACは1回の乗算-累積です。MMAC/秒 = アクティブ(アイドルでない)ステージ中の100万回/秒。
コードは、商用アプリケーションに適した、寛容なMITライセンスの下でリリースされています。
RP2350 MCU上で音声を使用してマイクロコントローラーにWi-Fi接続を設定する方法を示す、完全なエンドツーエンドの例があります。
VAD、STT、TTSライブラリは、ニューラル計算のために含まれているTensorFlow Lite Microライブラリに依存しており、互いに独立して使用できます。
ドキュメント
ライセンス
このコードは、third-party/ のソースを除き、MITライセンスの下でライセンスされています。詳細は、このディレクトリ(リポジトリのルートにもあります)のLICENSEを参照してください。
models/ 内の SpellingCNN および TinyVadCNN モデルは、MITライセンスの下でリリースされています。
third-party/ 内のコードは、各サブフォルダの LICENSE ファイルに詳細が記載されており、その起源となったオープンソースプロジェクトの条件に従ってライセンスされています。