HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

500KB未満で実現する音声認識とTTS

Speech Recognition and TTS in less than 500kb (github.com)

544 pointsby petewarden79 コメント

要約

Moonshine Microは、マイクロコントローラーなどの組み込みシステム向けに設計された、軽量なオープンソースAIボイスインターフェイストゥールキットです。音声アクティビティ検出、コマンド認識、ニューラル音声合成機能を備え、わずか470KBのRAMで動作します。このプロジェクトは、リソースが限られたシステムでのリアルタイム音声エージェント開発を目的としています。

全文翻訳

[画像: Moonshine Voice ロゴ]

Moonshine Micro — マイクロコントローラー向け音声インターフェース

Moonshine Voice は、リアルタイム音声エージェントやアプリケーションを開発する開発者向けのオープンソースAIツールキットです。Moonshine Micro は、マイクロコントローラーやDSPのような組み込みシステムプロセッサ向けに特別に設計されたバージョンで、価格80セントのRaspberry Pi RP2350をリファレンスプラットフォームとして使用しています。これには、音声アクティビティ検出、コマンド認識、およびニューラル音声合成が含まれており、わずか470KBのRAMで動作します。

以下のビデオで、完全なウォークスルーを確認できます。

[動画: Moonshine Micro デモビデオ]

メモリとコンピューティング要件は、リソースが制約されたシステムに適合するように設計されています。以下の数値は、RP2350デモのものです。詳細なメモリバジェットは、各項目を分解しています。

コンポーネントフラッシュSRAM (アリーナピーク)コンピューティング
VAD (音声アクティビティ検出)~89 KiB~36 KiB~0.8 MMAC/フレーム (~25 MMAC/秒)
STT (SpellingCNN 音声認識)~1.3 MiB~346 KiB~36 MMAC/秒
TTS (ニューラルジフォンス合成 @ 16 kHz)~1.8 MiB ボイスパック~340 KiB~37 MMAC 通常応答 (~65 MMAC/秒出力)
合計 (デモパイプライン)~3.6 MiB~468 KiB プロビジョニング*分類 + 発話 ~0.7–1.0 秒

注記:

  • フラッシュは .text + .rodata で、デフォルトの moonshine_micro_echo ファームウェア(組み込みニューラルボイスパックを含む)で arm-none-eabi-size を使用して測定されています。SRAM は .bss + ヒープ + スタックです。

VAD、STT、ニューラルTTSは逐次実行され、約384KiBのTFLMアリーナを時間共有するため、SRAMは加算されません。約468KiBは、520KiBのRP2350(wifi_hardware ~491KiB)にプロビジョニングされた合計RAMです。

  • MACは1回の乗算-累積です。MMAC/秒 = アクティブ(アイドルでない)ステージ中の100万回/秒。

コードは、商用アプリケーションに適した、寛容なMITライセンスの下でリリースされています。

RP2350 MCU上で音声を使用してマイクロコントローラーにWi-Fi接続を設定する方法を示す、完全なエンドツーエンドの例があります。

VAD、STT、TTSライブラリは、ニューラル計算のために含まれているTensorFlow Lite Microライブラリに依存しており、互いに独立して使用できます。

ドキュメント

ライセンス

このコードは、third-party/ のソースを除き、MITライセンスの下でライセンスされています。詳細は、このディレクトリ(リポジトリのルートにもあります)のLICENSEを参照してください。

models/ 内の SpellingCNN および TinyVadCNN モデルは、MITライセンスの下でリリースされています。

third-party/ 内のコードは、各サブフォルダの LICENSE ファイルに詳細が記載されており、その起源となったオープンソースプロジェクトの条件に従ってライセンスされています。