Cloudflare AI を使用したオープンソースで無料枠対応の Whispr
Open Source, Free Tier Capable Whispr Using Cloudflare AI (github.com)
要約
VoiceBox は、音声を入力として受け取り、Whisper で文字起こしし、LLM で整形されたテキストを生成するデスクトップアプリケーションです。ホットキーを押して話すだけで、整形されたテキストがクリップボードにコピーされ、入力中のアプリケーションに自動的に貼り付けられます。バックエンドは Cloudflare Worker で動作し、Whisper STT と LLM フォーマッターを利用します。
全文翻訳
VoiceBox
音声をキャプチャし、Whisper を介して文字起こしを行い、LLM で出力を整形する音声テキスト変換ツールです。ホットキーを押して話し、離すと、整形されたテキストがクリップボードに配置され、入力中のアプリケーションに自動的に貼り付けられます。
仕組み
┌──────────────────────┐ PCMチャンク ┌──────────────────────────────────┐ 整形済み
│ Wailsデスクトップアプリ │ ──WebSocket──▶ │ Cloudflare Worker (Durable Obj) │ ──テキスト────▶ クリップボード → 自動貼り付け
│ (Go + React WebView)│ ◀─────────────│ Whisper STT → LLM フォーマッター │
└──────────────────────┘ └──────────────────────────────────┘
- Ctrl+Cmd を押し続ける — フォーカスコンテキストがキャプチャされ、録音が開始され、画面上部中央にオーバーレイが表示されます。
- マイクに向かって話します(音声レベルメーターが入力表示)。
- Ctrl+Cmd を離す — 音声がクラウドにストリーミングされます。
- Whisper が文字起こしを行い、LLM が整形し、結果がクリップボードにコピーされて元のアプリケーションに自動的に貼り付けられます。
プロジェクト構造
voicebox/
├── main.go # Wails エントリポイント、アプリメニュー
├── app.go # アプリのライフサイクル、ホットキーハンドラ、パイプラインオーケストレーション
├── window_darwin.go # macOS ウィンドウ管理(オーバーレイ、設定、ドッククリック)
├── window_other.go # macOS 以外のビルド用スタブ
├── internal/
│ ├── audio/ # PCM 音声キャプチャ(malgo/miniaudio)、RMS レベル
│ ├── pipeline/ # WebSocket クライアント、音声とフォーカスコンテキストを Worker にストリーミング
│ ├── accessibility/ # macOS AX API: フォーカス要素のコンテキストと自動貼り付け(Cmd+V)
│ ├── config/ # TOML 設定の読み込みと保存
│ ├── hotkey/ # グローバルホットキー登録
│ ├── stt/ # STT プロバイダーインターフェース(スタブ)
│ └── formatter/ # LLM フォーマットプロバイダーインターフェース(スタブ)
├── frontend/ # React + Tailwind オーバーレイ UI (Vite)
│ └── src/
│ ├── App.tsx # 設定モードとオーバーレイモード間のルーティング
│ ├── components/
│ │ ├── settings-form.tsx # 設定エディター(react-hook-form + zod)
│ │ └── title-bar.tsx # フレームレスタイトルバーとドラッグ領域
│ └── hooks/
│ ├── use-voicebox.ts # voicebox:state / voicebox:mode / voicebox:level イベント
│ └── use-config.ts # GetConfig / SaveConfig / GetConfigPath バインディング
├── worker/ # Cloudflare Worker (TypeScript)
│ ├── src/
│ │ ├── index.ts # ルーター: /ws (WebSocket), /health
│ │ ├── session.ts # Durable Object: 音声蓄積 + AI パイプライン
│ │ ├── prompt.ts # システムプロンプト + ユーザーメッセージビルダー
│ │ ├── wav.ts # PCM から WAV へのラッパー
│ │ └── types.ts # 共有型
│ ├── test/ # Vitest テスト
│ └── wrangler.jsonc # Worker 設定
├── go.mod
└── voicebox.toml # ユーザー設定(gitignore 済み)
セットアップ
前提条件
- Go 1.24 以降
- Node.js + pnpm
- Wails v2 CLI
- Cloudflare アカウントと Workers AI へのアクセス
- macOS(自動貼り付けにはアクセシビリティ権限が必要)
Worker のデプロイ
cd worker
pnpm install
wrangler secret put VOICEBOX_TOKEN # 共有シークレットを設定
pnpm deploy
デスクトップクライアントの設定
初回起動時に VoiceBox は設定ウィンドウを開きます。設定ファイルを手動で ~/.config/voicebox/voicebox.toml に作成することもできます。
[provider]
mode = "cloud"
[cloud]
worker_url = "https://voicebox.<your-subdomain>.workers.dev"
token = "your-shared-secret"
[audio]
sample_rate = 16000
channels = 1
chunk_size = 4096
[hotkey]
record = "ctrl+cmd"
設定は以下の順序で読み込まれます: ~/.config/voicebox/voicebox.toml、バイナリの隣、./voicebox.toml。
macOS アクセシビリティ権限
自動貼り付けには macOS のアクセシビリティアクセスが必要です。初回使用時に macOS が権限を求めるか、システム設定 → プライバシーとセキュリティ → アクセシビリティで手動で付与できます。
ビルドと実行
wails dev # ホットリロード付き開発モード
wails build # 本番用バイナリ
ウィンドウモード
設定(700×450、中央揃え): 起動時、ドッククリック時、または録音メニューから開きます。ここで設定を編集します。
オーバーレイ(160×48、画面上部中央、フローティング): 録音中に表示されます。録音インジケーターと音声レベルメーター、処理中はスピナー、成功時にはチェックマークを表示します。
WebSocket プロトコル
クライアントは GET /ws?token=<auth-token> に接続します。
{"type":"ready"} を受信した後、クライアントは音声とフォーカスコンテキストを含む configure メッセージを送信し、バイナリ PCM チャンクをストリーミングします。
クライアント サーバー
│── connect /ws?token=... ──────▶│
│◀── {"type":"ready"} ──────────│
│── {"type":"configure", ...} ──▶│
│── [binary PCM chunk] ─────────▶│
│── [binary PCM chunk] ─────────▶│
│── {"type":"audio_end"} ───────▶│
│◀── {"type":"processing",...} ──│
│◀── {"type":"result",...} ──────│
configure メッセージには、LLM フォーマッターが出力を調整するために使用する音声パラメータとフォーカス要素のコンテキスト(アプリ名、バンドル ID、要素のロール、タイトル、プレースホルダー、現在の値)が含まれます。
クラウドバックエンド
- STT:
@cf/openai/whisper-large-v3-turbo - フォーマッター:
@cf/qwen/qwen3-30b-a3b-fp8
ローカルバックエンド(フェーズ 2)
- STT: faster-whisper
- フォーマッター: Ollama
プロバイダーインターフェースはinternal/stt/およびinternal/formatter/に存在します。
音声仕様
- サンプルレート 16kHz、モノラル、PCM サイン 16ビット LE
- 約 4096 バイトチャンク(約 128ms ごと)
- 最大録音時間: 約 25 MiB(約 13 分)
開発
# デスクトップアプリ
wails dev # 開発サーバー(Go + Vite ホットリロード)
wails build # 本番用ビルド
go vet ./... # Go のリント
go test ./internal/... # Go のテスト
# フロントエンド
cd frontend && pnpm install && pnpm build
# Worker
cd worker
pnpm dev # ローカル開発サーバー
pnpm lint # 型チェック
pnpm format # prettier
pnpm test # vitest
pnpm deploy # Cloudflare へのデプロイ