HN 日本語サマリー

← 一覧へ戻る
プログラミング

Show HN: Yap – ダウンロード不要な macOS 用 OSS オンデバイス音声ディクテーション

Show HN: Yap – OSS on-device voice dictation for macOS with no model to download (github.com)

79 pointsby pancomplex28 コメント

要約

Yap は、macOS 用のオープンソース(MIT ライセンス)のメニューバーアプリで、完全にローカルで動作する音声入力機能を提供します。macOS の新しい SpeechAnalyzer および SpeechTranscriber API を利用しており、モデルのダウンロードや外部 API への依存が不要です。このアプリは、メモリ使用量が少なく、Intel Mac でも動作し、プライバシーが保護されています。

全文翻訳

HN の皆さん!私が取り組んできた OSS プロジェクトを共有したいと思います。 これは Yap と呼ばれるもので、macOS 用の小さなメニューバーアプリで、あらゆる入力に対して音声からテキストへの変換を行います。ホットキーを設定し、それを押して話し、もう一度押すと、テキストが現在フォーカスされているフィールドに貼り付けられます。すべてローカルで実行され、コンピューターから離れることはありません。完全に OSS で MIT ライセンスです。 macOS 14 では、Apple は最近、OS が提供・管理するモデルを使用してストリーミングオンデバイス音声からテキストへの変換を行う SpeechAnalyzer および SpeechTranscriber という 2 つの新しい API を追加しました。そのため、このアプリは独自のモデルを同梱しておらず、最初の単語が入力されるまで何もロードしません。最近のベンチマークでは、Apple のモデルは精度で Whisper Small をわずかに上回り、速度は約 3 倍でした(参照: https://news.ycombinator.com/item?id=48894752)。Mac では、モデルをダウンロードしたり、高価な API に料金を支払ったりする必要はもはやまったくありません。 多くの既存のディクテーションツールは、この OSS プロジェクトで回避したかったことのいくつかを行っています。それらは次のいずれかです。 - お金がかかる(OS に組み込まれているものに対して) - メモリ集約型のモデル(例: Whisper や Parakeet)をバンドルしている - Electron でラップされた Web アプリ - Intel Mac ではまったく動作しない - クローズドソース - すべてのトランスクリプトにアクセスできるサードパーティ API を使用している これは約 3,000 行のネイティブ Swift コードで、4 MB のアプリサイズで、アイドル時には 60 MB 近くのメモリを使用します。オーディオは AVAudioEngine から SpeechAnalyzer に、ライブプレビューのために volatile results を有効にして入力され、履歴は SwiftData に保存されます。ネットワークコードは一切含まれていません。 リポジトリとデモはこちらで利用可能です: https://github.com/FrigadeHQ/yap 質問があれば喜んでお答えしますし、機能リクエストも大歓迎です!