ローカル音声アシスタントパイプラインの再構築
Rebuilding my local voice assistant pipeline (blog.platypush.tech)
要約
著者は、Platypushフレームワークを使用してローカル音声アシスタントパイプラインを再構築し、その改善点について解説しています。特に、ウェイクワード検出を`microWakeWord`に、音声認識の終端検出をSilero VADを用いて強化し、より堅牢で誤検出の少ないシステムを実現しました。これにより、商用アシスタントに匹敵する使い心地を目指しています。
全文翻訳
ローカル音声アシスタントパイプラインの再構築
- ウェイクワード検出: 新しい
assistant.microwakewordプラグイン - 音声認識 (Speech-to-text):
assistant.openai、より優れた聞き取り能力 - 応答とコンテキスト:
openaiプラグイン - 音声合成 (Text-to-speech):
tts.openai - 完全な設定
- コード側の変更点
- 注意点
数ヶ月前に、Platypush で古い音声アシスタントパイプラインを再構築した方法について記事を書きました。
また、セルフホスト型音声アシスタントの旅について、2024年(Picovoice と共に)、2020年(レガシーなassistant.google統合、現在は廃止されたassistant.alexa統合、現在は廃止されたSnowboy統合、現在は廃止されたDeepSpeech統合、およびPicovoiceを掘り下げる)、そして2019年の最初の記事(Google Assistant統合について説明)で、以前の記事を書いています。
数ヶ月間、最新の記事で説明した音声パイプラインをメインで使用していましたが、商用音声アシスタントの堅牢性に慣れてしまうと、セルフホスト型パイプラインの誤検出/未検出の発生率の高さや、特に騒がしい環境や安価なマイクを使用した場合の音声の開始/終了検出の堅牢性の欠如に不満を感じていました。
いくつかの実験の後、いくつかの部分を交換・微調整することにしました。数日間の試行の結果、満足のいくものになったため、短い記事にすることにしました。
結果として得られたパイプラインは以下の通りです。
HotwordDetectedEvent
SpeechRecognizedEvent
フォローアップ
ウェイクワード検出
assistant.microwakeword(ローカル)
音声認識 (Speech-to-text)
assistant.openai(クラウド)assistant.vosk(ローカル)
応答生成
openai(クラウドまたはローカル)
音声合成 (Text-to-speech)
tts.openai(クラウド)tts.piper(ローカル)
ウェイクワード検出: 新しい assistant.microwakeword プラグイン
最近まで、assistant.openwakeword(openWakeWordをラップしたもの)を使用していました。
これは機能しますが、プロジェクトはしばらく静かで、事前学習済みモデルはすべて2023年のv0.1ファイルであり、主に合成音声でトレーニングされています。
実際には、誤検出(背景ノイズでウェイクワードがトリガーされる)と誤未検出(マイクに近づかないとウェイクワードが検出されない)の両方がありました。
pymicro-wakeword Pythonバインディングを介して、microWakeWordの上に新しいプラグイン、assistant.microwakewordを追加しました。
microWakeWordはESPHomeやHome Assistant Voiceで使用されているエンジンであり、そのモデルは積極的にメンテナンスされており、組み込みモデル(okay_nabu、hey_jarvis、hey_mycroft、alexa)はパッケージに含まれているため、ダウンロードは不要です。
現在の公式モデルは、ESPHome micro-wake-word-models リポジトリで提供されています。
カスタムモデルもサポートされています。microWakeWord JSONマニフェスト(.tfliteモデルと共に)をプラグインのモデルディレクトリに配置し、名前で参照してください。
このプラグインは、assistant.openwakewordと同じAPI(同じmodels、detection_threshold、frame_duration、patience_frames、input_device、input_volumeパラメータ、同じlist_modelsアクション、同じHotwordDetectedEvent)を公開しているため、設定を変更して新しいプラグインを指すだけで切り替えられます。
assistant.microwakeword:
models:
- alexa
いくつかの設計上の注意点です。
- 明示的な
detection_thresholdがない場合、各モデルはそのマニフェストのprobability_cutoff(alexaの場合は0.9)を使用します。これはモデルが検証された値です。 - モデルはすでにスライディングウィンドウで出力を平滑化しているため、openwakewordとは異なり、
patience_framesはここでデフォルトで0になります。 - オーディオスレッドはTFLiteモデルに直接触れることはありません。
MicroWakeWord.reset()はインタープリタを再ロードし、同時に呼び出すのは安全ではないため、フレーム(とリセットマーカー)をメインスレッドにキューイングします。 assistant.openwakewordと同様に、プラグインは別のアシスタントプラグインが会話を開始するとオーディオデバイスを解放し、会話が終了すると再取得します。
音声認識 (Speech-to-text): assistant.openai、より優れた聞き取り能力
assistant.openaiは、会話が開始されるとオーディオを録音し、Whisperを介してそれを文字起こしします。
最も難しい部分は常に音声終了検出でした。ユーザーが話し終えたタイミングを知ることです。以前の実装では、WebRTC VADからのフレームごとのブール値を使用していましたが、音声として分類された単一のフレームでもサイレンスタイマーがリセットされていました。少しの背景ノイズでも、会話は最大会話時間がヒットするまで終了しませんでした。
オーディオ前処理レイヤー(STT統合で共有されるAudioPreprocessor)が再設計されました。
- Silero VADをプライマリバックエンドとして使用(
onnxruntime経由、PyTorch不要)、WebRTC VADと単純なRMSベースの検出器をフォールバックとして使用します。音声アクティビティ検出におけるSilero VADのパフォーマンスを他のソリューションと比較するには、示唆に富む記事「One voice detector to rule them all」をご覧ください。Sileroモデルは初回使用時にPlatypushの作業ディレクトリにダウンロードされ、チェックサム検証が行われます。
assistant.openai:
# auto = silero -> webrtc -> energy、インストールされているものに応じて
vad_backend: auto
-
ヒステリシス + スライディングウィンドウ: フレームはVADしきい値を超えると音声と見なされ、スコアが一定のマージンまで低下するまで音声として維持されます。フレームごとの決定は、0.5秒のウィンドウで多数決によって平滑化されます。単一のノイズバーストで会話が長引くことはなくなりました。
-
適応型ノイズフロア: バックグラウンドノイズレベルは時間とともに追跡され、ノイズフロアの
noise_floor_factor(デフォルト2.0、約6 dB)倍よりも大きくないフレームは音声と見なされることはありません。
合成ベンチマーク(バブルノイズとバーストノイズが混在するPiper生成のフレーズ)では、古い設定では音声終了後6〜10秒間会話が継続していましたが、新しいパイプラインでは、設定されたconversation_end_timeoutに平滑化ラグを加えた、最後の単語から1.0〜1.6秒後に会話が終了します。
Platypushでの変更はAudioPreprocessorで直接行われたため、他のネイティブ音声認識エンジンもこれを使用しています。例えば、完全にオンデバイスで検出を行うためにassistant.voskを使用している場合でも、これらの改善の恩恵を受けることができます。
応答とコンテキスト: openai プラグイン
文字起こしされたフレーズはopenaiプラグインによって処理され、APIキーと会話コンテキストの両方を管理します。デフォルトでは、アシスタントは設定されたtts_pluginを通じて応答をレンダリングします。応答が疑問符で終わる場合、会話はフォローアップで継続されます。
カスタムフックは、デフォルトの応答が発生する前にフレーズをインターセプトできます。例えば、LLMとの往復なしにホームオートメーションコマンドをローカルで処理する場合などです。
from platypush import run, when
from platypush.message.event.assistant import SpeechRecognizedEvent
@when(SpeechRecognizedEvent, phrase='play (the)? music')
def play_music():
run('music.mpd.play')
そして、ウェイクワードイベントは同様のフックで会話開始に接続されます。
from platypush import run, when
from platypush.message.event.assistant import HotwordDetectedEvent
@when(HotwordDetectedEvent)
def on_hotword(**_):
run('assistant.openai.start_conversation')
音声合成 (Text-to-speech): tts.openai
応答はtts.openaiによってレンダリングされ、音量と音声は設定可能です。しかし、私のテストではtts.piperも良好な結果をもたらし、これは完全にローカルで実行されます。ただし、RaspberryPi 5での私のテストでは、応答をオーディオに処理するのにtts.openaiと比較して約3〜4秒の遅延が追加されました。
TTS出力はスピーカーに行き、ウェイクワード検出器はマイクでリッスンするため、アシスタントプラグインは会話がアクティブな間はウェイクワード検出を一時停止します。そうしないと、アシスタントが自分自身の音を聞いてしまいます。
完全な設定
openai:
api_key: YOUR_API_KEY
# または、OpenAI APIと互換性のあるモデルプロバイダーを使用するカスタムセットアップの場合
# 例: ローカルOllamaインスタンス:
# base_url: http://localhost:8000/v1
# model: gpt-5
# オプションのコンテキスト。アシスタントの初期化に使用できます
# context:
# role: system
# content: You are a useful assistant.
assistant.microwakeword:
models:
- alexa
assistant.openai:
tts_plugin: tts.openai
conversation_start_sound: ~/sounds/wake_word_detected.wav
input_volume: 100
# assistant.vosk:
# model: /path/to/vosk/model
# conversation_start_sound: ~/sounds/wake_word_detected.wav
# input_volume: 100
tts.openai:
output_volume: 80.0
# または、tts.piperを使用する完全にローカルなセットアップの場合:
# tts.piper:
# output_volume: 80.0
コード側の変更点
- 新しい
assistant.microwakewordプラグイン:pymicro-wakewordを介したmicroWakeWordウェイクワード検出。assistant.openwakewordと同じAPI、パッケージに含まれる組み込みモデル、JSONマニフェストによるカスタムモデル。 assistant.openwakewordの修正: フレームサイズが500msから80ms(openWakeWordが推奨する1280サンプル)に変更されました。より長いチャンクではサブフレームの最高スコアのみが返され、ウェイクワードを見逃す可能性があります。また、patience_framesパラメータ(しきい値を超える連続フレーム数)と明示的なdetection_thresholdパラメータ(デフォルト0.5)が追加されました。- 共有
AudioPreprocessorのリワーク:vad_backend: auto選択、しきい値ヒステリシス、スライディングウィンドウ多数決、適応型ノイズフロアを備えたSilero/WebRTC/energy VADバックエンド。assistant.openaiとassistant.voskの両方で使用されます。 - 新しいSilero VADラッパー:
onnxruntimeを介したONNX推論、フレーム間で受け継がれる再帰状態、作業ディレクトリへのチェックサム検証済みモデルダウンロード。
注意点
私のRPiのマイクはネイティブで16kHzをサポートしていないため、オーディオは44.1kHzでキャプチャされ、ソフトウェアでリサンプリングされます。これは機能しますが、検出が遅く感じる場合は、ソフトウェアリサンプリングが最初の疑いとなることが多いです。
VADとしきい値のデフォルトは、合成オーディオと私のオーディオ録音数件で調整されました。
部屋、マイク、音響環境が異なると、結果も異なる可能性があります。ウェイクワードプラグインのdetection_thresholdとSTTプラグインのnoise_floor_factorは、結果に満足できない場合に調整する必要があるかもしれません。