HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Show HN: Qwen Scribe – Apple Silicon向けのローカル文字起こしと音声入力

Show HN: Qwen Scribe – local transcription and dictation for Apple Silicon (github.com)

64 pointsby sidclaw17 コメント

要約

Qwen Scribeは、Apple Silicon Mac上で動作するプライベートでローカルな音声・動画文字起こしおよびシステム全体の音声入力ツールです。Qwen3-ASRモデルをMacのMetal GPUで実行し、アカウントやクラウドサービスは不要で、データはローカルに保存されます。ドラッグ&ドロップでの文字起こし、ローカルでの履歴管理、右Commandキーを使った音声入力機能などを備えています。

全文翻訳

Qwen Scribe

[画像: Qwen Scribe アプリケーションアイコン]

Apple Silicon向けのプライベートでローカルな音声認識とシステム全体でのディクテーション。

[画像: CIステータス] [画像: 最新リリース] [画像: Apache-2.0ライセンス] [画像: macOS 14以降、Apple Silicon搭載] [画像: 全ての処理がオンデバイスで実行されます]

Qwen Scribeは、MacのMetal GPU上で動作するmlx-qwen3-asrを介してQwen3-ASRを使用し、オーディオとビデオを音声認識します。アカウント、APIキー、Qwen Scribeのクラウドサービスは一切不要です。オーディオと認識されたテキストはMac上に留まります。

プロジェクトステータス: v0.3.0-beta.1。コアとなる音声認識、履歴、ディクテーション機能は動作します。リリースページでダウンロード可能なベータ版ビルドが存在し、その出所に関する注記には署名および公証ステータスが明記されています。アドホックビルドは、システム設定 → プライバシーとセキュリティ → 開く anyway で承認するまで初回起動時にブロックされます。ソースからmake appでビルドすると、この手間は回避できます。開発者ID署名および公証済みのバイナリは、認証情報が設定され次第提供されます(RELEASING.md、ROADMAP.md参照)。フィードバックと慎重なテストを歓迎します。

[画像: Qwen Scribeインターフェース。ローカル音声認識オプション、合成されたトランスクリプト、保存されたトランスクリプト履歴が表示されています]

上記のインターフェースはデモ用の合成テキストを使用しており、プライベートな録音やトランスクリプトは表示されていません。

ハイライト

  • フォーカスされたローカルWebインターフェースでのオーディオおよびビデオのドラッグ&ドロップ音声認識
  • 高精度なQwen3-ASR 1.7Bまたは高速な0.6Bモデル
  • 自動言語検出、オプションでの言語強制、語彙ヒント、単語タイムスタンプ、SRTエクスポート
  • 検索、再オープン、一括エクスポート、個別の削除、一括削除コントロールを備えた自動ローカルトランスクリプト履歴
  • 設定されたプッシュ・トゥ・トークキー(デフォルトは右Commandキー。右Option、右Control、またはFn/Globeキーも選択可能)を任意のテキストフィールドで押し続け、話してから離すと、ローカルで音声認識され、カーソル位置に貼り付けられます。または、長時間のディクテーションのためにプレス・トゥ・スタート、プレス・トゥ・ストップモードに切り替え、HUDで秒数をカウントします。
  • ディクテーションの状態、プッシュ・トゥ・トークキーピッカー、明示的な再起動と終了コントロールを備えたメニューバーのステータスアイテム
  • リスニング中、音声認識中、成功、失敗の状態を示す、フォーカスを奪わないHUD
  • ホストとブラウザオリジンのチェックを行うlocalhost専用API

[画像: Qwen Scribeディクテーションフロー:リスニング中、音声認識中、テキスト挿入]

要件

  • Apple Silicon搭載Mac
  • 現在のMLXリリースで要求されるmacOS 14以降
  • アプリケーションにPythonは不要です。 独自のインタープリタを内蔵しているため、何もインストールされていないMacでも実行できます。ソースから./run.shで実行する場合のみPython 3.12以降が必要です。これはpyproject.tomlで設定され、requirements-lock.txtでピン留めされたNumPyによって要求されます。もし適切なPythonがインストールされており、そちらを使用したい場合は、BUNDLE_PYTHON=0 make appでビルドされたアプリはそれを使用します。
  • AVI、Matroska、WebM、Ogg、Opus、WMA形式のみffmpegが必要です。それ以外の形式(mp3、m4a、aac、aiff、flac、mp4、mov、m4v、Voice Memos)は、アプリがAVFoundationを通じてデコードするため、HomebrewがインストールされていないMacでも処理できます。これら6形式については、Homebrew(brew install ffmpeg)またはMacPorts(sudo port install ffmpeg)でffmpegをインストールしてください。アプリは標準のHomebrewおよびMacPortsパス、そしてログインシェルのPATHを検索します。ソースから./run.shで実行する場合はヘルパーがないため、ffmpegは引き続きWAV以外の全ファイルに対応します。
  • ソースからアプリをビルドするためのApple Command Line Tools: xcode-select --install

1.7Bモデルは、通常のアプリケーションオーバーヘッドに加えて、約3.4GBのユニファイドメモリを必要とします。0.6Bモデルは約1.2GBです。ピッカーがMac上で準備できる量子化されたバリアントは約1.9GBと0.5GBを必要とします(docs/models.md参照)。モデルの重みはこのリポジトリには含まれていません。初回使用時にダウンロードされ、ジョブで進捗が表示されます。ロードされたモデルは、20分間ジョブがないと解放され、ディクテーションモデルはアプリ起動時にロードされるため、最初のディクテーションは迅速に行われます。両方とも設定 → 詳細設定にあり、歯車アイコンの奥にあります。

日本語と韓国語の単語タイムスタンプは、アップストリームのalignerエクストラからのnagisaおよびsoynlpトークナイザーを使用します。ランタイムロックにはv0.2.2以降含まれているため、全てと一緒にインストールされます。アライナーが特定のファイルで実行できない場合でも、トランスクリプトは.srtなしで生成・保存され、インターフェースに理由が表示されます。

Macアプリのビルドと実行

ダウンロードまたはクローンしたソースディレクトリから:

make app
open "dist/Qwen Scribe.app"

生成されたアプリは、Python依存関係とモデルの重みを除いて自己完結型です。これらは初回使用時にインストールまたはダウンロードされます。ビルド後、dist/内の両方のアプリを/Applicationsに移動できます:

  • Qwen Scribe.appはサーバーとデスクトップディクテーションヘルパーを起動します。
  • Stop Qwen Scribe.appはQwen Scribeによって開始されたプロセスのみを停止します。

メニューバーのログイン時に起動は、macOS独自のログインアイテムサービスを通じてアプリをログインアイテムとして登録します。アイテムはバンドルの場所を指すため、アプリは/Applications内に保持してください。そうしないと、dist/への再ビルドで移動したバンドルを指したままになります。macOSは初回起動時にシステム設定 → 一般 → ログイン項目で許可を求める場合があります。

ローカルでビルドされたアプリはアドホック署名されています。Gatekeeperがダウンロード済みビルドをブロックする場合、一度開き、その後システム設定 → プライバシーとセキュリティ → 開く anywayで承認してください(macOS 15では右クリックの開くバイパスが削除されました)。安定した公開バイナリは、Apple Developer IDで署名され、公証されるべきです(ROADMAP.md参照)。

サーバーログは~/Library/Logs/QwenScribe.logに書き込まれます。

ターミナル代替
./run.sh

その後、http://127.0.0.1:8990を開きます。最初の音声認識で、選択したモデルが一度ダウンロードされます。依存関係と重みがキャッシュされると、その後の使用はオフラインで機能します。

制限とコントロール

Qwen ScribeはメニューバーアプリとローカルWebインターフェースです。メニューバーの右側にある波形アイコンは、Open、Restart Server、Quitを担います。ブラウザページ(http://127.0.0.1:8990)は、ファイル音声認識、履歴、設定のためのインターフェースです。ブラウザタブを閉じても何も停止しません。メニューバーから(またはStop Qwen Scribe.appで)終了してください。デスクトップディクテーションはブラウザタブを開く必要は全くありません。

最大ファイルサイズ4 GB。 アップロードはデコード前に一時フォルダにステージングされるため、1回のジョブでは一時的にファイルサイズの2倍の空きディスク容量が必要です。これはモデルの制限ではありません。より長いビデオの場合は、まずオーディオトラックを抽出してください: ffmpeg -i input.mp4 -vn -ac 1 -ar 16000 output.wav
同時実行性一度に1ファイル。複数のファイルを一度にドロップしたり、実行中にさらにドロップしたりすると、順序通りにキューイングされます。キューリストはその順序を示し、各エントリはキャンセルでき、失敗したものは再アップロードせずに再試行できます。待機中のファイルをキャンセルするのは即時です。処理中のファイルをキャンセルするには、現在の30秒チャンクの完了を待つ必要があります。モデルの呼び出しは途中で中断できないためです。
語彙ヒント最大2000文字。設定 → 音声認識で設定します。ヒントはファイルの各チャンクのプロンプトに追加されるため、チャンクごとに1回だけコストがかかります。設定されている間、ページにはディクテーションカードの上にその旨が表示され、そのラベルをクリックするとフィールドが開きます。
ディクテーション設定プッシュ・トゥ・トークキー、モード、最長録音時間、モデル、言語、辞書、履歴の選択は、設定 → ディクテーション(歯車アイコン、またはディクテーションカードのセットアップ)にあり、約10秒で適用されます。ホールド・トゥ・トークモードでは、キーを押している間録音されます。プレス・トゥ・スタート、プレス・トゥ・ストップモードでは、タップで開始し、次のタップで停止します。タップより長く押し続けた場合はホールドとして機能します。設定された制限(デフォルトは2分、最大10分)に達すると、録音が自動的に停止します。辞書は、頻繁にディクテーションする名前や用語です。これはモデルの語彙ヒントとして、各ディクテーションと共に送信されます。「新しい行」または「新しい段落」を単独で、文間に言うと改行されます。置換は、あなたが言うフレーズを、単語のみで構成される目的のテキストに置き換えます。例えば、「私のメール」をあなたのメールアドレスに置き換えることができます。これらは、ファイル音声認識に使用されるモデル、言語、語彙とは別です。
言語自動検出、またはQwen3-ASRがサポートする14言語のいずれか。日本語と韓国語の単語タイムスタンプは、requirements-lock.txtに含まれるトークナイザーを使用します。アライナーが実行できない場合でも、トランスクリプトは.srtなしで生成・保存されます。

デスクトップディクテーションの権限

デスクトップディクテーションはMacアプリから開始されます。初回起動時に、システム設定 → プライバシーとセキュリティでQwen Scribeに以下の権限を許可してください:

  • マイク — プッシュ・トゥ・トークキーが押されている間録音します。
  • 入力監視 — 他のアプリがアクティブな間、そのキーを検出します。
  • アクセシビリティ — 完成したテキストをフォーカスされたフィールドに貼り付けます。

入力監視またはアクセシビリティを変更した後は、Qwen Scribeを停止して再起動してください。これらのオプションの権限が許可されていない場合でも、ファイル音声認識は利用可能です。

ヘルパーは修飾キーの変更イベントを監視し、設定されたプッシュ・トゥ・トークキー(デフォルトでは右Commandキー、Webインターフェースまたはメニューバーで変更可能)にのみ反応します。Fnキーは、macOSがFnキーを全ての矢印キーやナビゲーションキーと合成するため、キーボード自体のレポートを通じて物理的なキーとして監視されます。メニューバーでは、Fnキー付きキーボードが接続されている場合にのみ表示されます。クリップボードをメモリにスナップショットし、トランスクリプトを貼り付け、変更されていない場合は前のクリップボードを復元します。アクセシビリティアクセスがない場合、テキストを挿入できないため、クリップボードにトランスクリプトを残し、成功を主張する代わりに失敗を報告します。完全なデータおよび権限の動作については、PRIVACY.mdを参照してください。

ローカルファイルと削除

データデフォルトの場所
保存されたトランスクリプト~/Library/Application Support/Qwen Scribe/transcripts
設定~/Library/Application Support/Qwen Scribe/settings.json
プライベートランタイム~/Library/Application Support/Qwen Scribe/runtime
診断ログ~/Library/Logs/QwenScribe.log
ダウンロードされたモデル~/.cache/huggingface/hub
このMacで準備された量子化バリアント~/Library/Application Support/Qwen Scribe/models

保存されたトランスクリプトは、読み取り可能な暗号化されていないJSON形式です。履歴コントロールを使用して、個別にまたは全て削除してください。通常のファイルシステムでの削除は安全な消去ではなく、ローカルバックアップにコピーが残る可能性があります。

環境変数

これらはserver.pyによって読み取られるため、./run.shおよびMacアプリが起動するサーバーに適用されます:

変数デフォルト目的
QWEN_SCRIBE_DATA_DIR~/Library/Application Support/Qwen Scribeトランスクリプト履歴が保存される場所
QWEN_SCRIBE_MODEL_DIR~/Library/Application Support/Qwen Scribe/modelsこのMacで準備された量子化バリアントが保存される場所
QWEN_SCRIBE_PORT8990ローカルサーバーのポート

QWEN_SCRIBE_PORTは、./run.shでサーバーを自分で起動した場合にのみ適用されます。Macアプリとデスクトップディクテーションヘルパーは両方とも127.0.0.1:8990に直接アドレス指定するため、ディクテーションは別のポートのサーバーを見つけることはできません。

開発

make setup       # .venvを作成し、レビュー済みの依存関係ロックをインストール
make test        # モデルの重みなしで軽量なAPI/履歴テストを実行
make check       # テスト、ソースコンパイル、公開衛生チェック
make lock        # uvを使用してpyproject.tomlを再解決し、requirements-lock.txtをエクスポート
make app         # dist/にアドホック署名されたアプリバンドルをビルド
make package     # dist/にベータリリースzipを作成

make appは、native/DictationHelper.mをarm64バンドル実行可能ファイルとしてコンパイルし、サーバーランチャーと追跡ソースを署名済みリソースとして埋め込み、プロパティリストを検証し、署名して結果を確認します。プライバシーに関わるレコーダーをバンドル実行可能ファイルとして維持することで、macOSにアクセシビリティ、入力監視、マイクアクセス用の安定したアプリIDを1つ提供します。リリースビルドにはCODESIGN_IDENTITYを開発者IDに設定してください。公証は意図的に、リリースオーナーによる別個のステップです。

量子化モデル

モデルピッカーは、2つのアップストリームモデルの隣に1.7B 8ビットと0.6B 4ビットを提供します。いずれも、準備ボタンを押すと、アップストリームの重みからMac上で作成されます(設定 → モデルに、各モデルの状態と共にリストされているか、準備ができていないモデルを選択した際にページ自体に表示されます)。一度数分かかり、~/Library/Application Support/Qwen Scribe/modelsの下に保存されます。docs/models.mdに各モデルの期待されるパフォーマンスが記載されています。ターミナルから同じ変換を行うには、python quantize_8bit.py [1.7b-8bit|0.6b-4bit]を実行します。python compare_models.py recording.m4aは、自身の録音でfp16モデルとの速度と単語の違いを測定します。量子化モデルに依存する前に、代表的な録音で名前と数値を検証してください。

アーキテクチャ

ブラウザUI ──localhost──> FastAPIジョブキュー ──> MLX / Qwen3-ASR
                                  │
                                  └──> ローカルJSONトランスクリプト履歴

プッシュ・トゥ・トーク ──> ネイティブmacOSヘルパー ──> 一時WAV ──> 同じジョブキュー
        フォーカスされたアプリ <── 復元されたクリップボード + Command-V <── トランスクリプト

APIは、メモリ競合を避けるためにGPUジョブをシリアライズします。メディアはランダムな一時ファイル名の下にステージングされ、処理完了時に削除されます。

フィードバック

テストレポートがリリースを推進します。v0.2.2全体は、実際のビデオファイルをアプリに通して何が起こったかを記録した1人のユーザーから生まれました。Qwen Scribeを試す場合は、実行した内容、使用したMac、何が機能し、何が機能しなかったかを記載したテストレポートを提出してください。バグと機能リクエストにはそれぞれテンプレートがあります。投稿する前に、プライベートなトランスクリプトテキストとパスを削除してください。

貢献とセキュリティ

変更を提案する前に、CONTRIBUTING.mdをお読みください。脆弱性は、公開された問題ではなく、SECURITY.mdに従って報告してください。計画されているリリースシーケンスはROADMAP.mdに文書化されています。

プロジェクトソースと問題追跡はVladUZH/qwen-scribeにあります。

ライセンスとプロジェクトアイデンティティ

Qwen ScribeはApache-2.0ライセンスの下で提供されます。サードパーティのライセンスと帰属表示はTHIRD_PARTY_NOTICES.mdにリストされています。

Qwen Scribeは独立したコミュニティプロジェクトです。Alibaba Cloud、Qwenチーム、またはApple Inc.とは提携、承認、またはスポンサーされていません。Qwenおよびその他の名称は、それぞれの所有者の商標である場合があります。