HN 日本語サマリー

← 一覧へ戻る
プログラミング

Cloudflare AI を使用したオープンソースで無料枠対応の Whispr

Open Source, Free Tier Capable Whispr Using Cloudflare AI (github.com)

12 pointsby TreDub7 コメント

要約

VoiceBox は、音声を入力として受け取り、Whisper で文字起こしし、LLM で整形されたテキストを生成するデスクトップアプリケーションです。ホットキーを押して話すだけで、整形されたテキストがクリップボードにコピーされ、入力中のアプリケーションに自動的に貼り付けられます。バックエンドは Cloudflare Worker で動作し、Whisper STT と LLM フォーマッターを利用します。

全文翻訳

VoiceBox

音声をキャプチャし、Whisper を介して文字起こしを行い、LLM で出力を整形する音声テキスト変換ツールです。ホットキーを押して話し、離すと、整形されたテキストがクリップボードに配置され、入力中のアプリケーションに自動的に貼り付けられます。

仕組み

┌──────────────────────┐  PCMチャンク   ┌──────────────────────────────────┐   整形済み
│  Wailsデスクトップアプリ │ ──WebSocket──▶ │  Cloudflare Worker (Durable Obj) │ ──テキスト────▶ クリップボード → 自動貼り付け
│  (Go + React WebView)│ ◀─────────────│  Whisper STT → LLM フォーマッター     │
└──────────────────────┘               └──────────────────────────────────┘
  1. Ctrl+Cmd を押し続ける — フォーカスコンテキストがキャプチャされ、録音が開始され、画面上部中央にオーバーレイが表示されます。
  2. マイクに向かって話します(音声レベルメーターが入力表示)。
  3. Ctrl+Cmd を離す — 音声がクラウドにストリーミングされます。
  4. Whisper が文字起こしを行い、LLM が整形し、結果がクリップボードにコピーされて元のアプリケーションに自動的に貼り付けられます。

プロジェクト構造

voicebox/
├── main.go                 # Wails エントリポイント、アプリメニュー
├── app.go                  # アプリのライフサイクル、ホットキーハンドラ、パイプラインオーケストレーション
├── window_darwin.go        # macOS ウィンドウ管理(オーバーレイ、設定、ドッククリック)
├── window_other.go         # macOS 以外のビルド用スタブ
├── internal/
│   ├── audio/              # PCM 音声キャプチャ(malgo/miniaudio)、RMS レベル
│   ├── pipeline/           # WebSocket クライアント、音声とフォーカスコンテキストを Worker にストリーミング
│   ├── accessibility/      # macOS AX API: フォーカス要素のコンテキストと自動貼り付け(Cmd+V)
│   ├── config/             # TOML 設定の読み込みと保存
│   ├── hotkey/             # グローバルホットキー登録
│   ├── stt/                # STT プロバイダーインターフェース(スタブ)
│   └── formatter/          # LLM フォーマットプロバイダーインターフェース(スタブ)
├── frontend/               # React + Tailwind オーバーレイ UI (Vite)
│   └── src/
│       ├── App.tsx         # 設定モードとオーバーレイモード間のルーティング
│       ├── components/
│       │   ├── settings-form.tsx  # 設定エディター(react-hook-form + zod)
│       │   └── title-bar.tsx      # フレームレスタイトルバーとドラッグ領域
│       └── hooks/
│           ├── use-voicebox.ts    # voicebox:state / voicebox:mode / voicebox:level イベント
│           └── use-config.ts      # GetConfig / SaveConfig / GetConfigPath バインディング
├── worker/                 # Cloudflare Worker (TypeScript)
│   ├── src/
│   │   ├── index.ts        # ルーター: /ws (WebSocket), /health
│   │   ├── session.ts      # Durable Object: 音声蓄積 + AI パイプライン
│   │   ├── prompt.ts       # システムプロンプト + ユーザーメッセージビルダー
│   │   ├── wav.ts          # PCM から WAV へのラッパー
│   │   └── types.ts        # 共有型
│   ├── test/               # Vitest テスト
│   └── wrangler.jsonc      # Worker 設定
├── go.mod
└── voicebox.toml           # ユーザー設定(gitignore 済み)

セットアップ

前提条件
  • Go 1.24 以降
  • Node.js + pnpm
  • Wails v2 CLI
  • Cloudflare アカウントと Workers AI へのアクセス
  • macOS(自動貼り付けにはアクセシビリティ権限が必要)
Worker のデプロイ
cd worker
pnpm install
wrangler secret put VOICEBOX_TOKEN     # 共有シークレットを設定
pnpm deploy
デスクトップクライアントの設定

初回起動時に VoiceBox は設定ウィンドウを開きます。設定ファイルを手動で ~/.config/voicebox/voicebox.toml に作成することもできます。

[provider]
mode = "cloud"

[cloud]
worker_url = "https://voicebox.<your-subdomain>.workers.dev"
token = "your-shared-secret"

[audio]
sample_rate = 16000
channels = 1
chunk_size = 4096

[hotkey]
record = "ctrl+cmd"

設定は以下の順序で読み込まれます: ~/.config/voicebox/voicebox.toml、バイナリの隣、./voicebox.toml。

macOS アクセシビリティ権限

自動貼り付けには macOS のアクセシビリティアクセスが必要です。初回使用時に macOS が権限を求めるか、システム設定 → プライバシーとセキュリティ → アクセシビリティで手動で付与できます。

ビルドと実行
wails dev      # ホットリロード付き開発モード
wails build    # 本番用バイナリ

ウィンドウモード

設定(700×450、中央揃え): 起動時、ドッククリック時、または録音メニューから開きます。ここで設定を編集します。

オーバーレイ(160×48、画面上部中央、フローティング): 録音中に表示されます。録音インジケーターと音声レベルメーター、処理中はスピナー、成功時にはチェックマークを表示します。

WebSocket プロトコル

クライアントは GET /ws?token=<auth-token> に接続します。

{"type":"ready"} を受信した後、クライアントは音声とフォーカスコンテキストを含む configure メッセージを送信し、バイナリ PCM チャンクをストリーミングします。

クライアント                          サーバー
  │── connect /ws?token=... ──────▶│
  │◀── {"type":"ready"} ──────────│
  │── {"type":"configure", ...} ──▶│
  │── [binary PCM chunk] ─────────▶│
  │── [binary PCM chunk] ─────────▶│
  │── {"type":"audio_end"} ───────▶│
  │◀── {"type":"processing",...} ──│
  │◀── {"type":"result",...} ──────│

configure メッセージには、LLM フォーマッターが出力を調整するために使用する音声パラメータとフォーカス要素のコンテキスト(アプリ名、バンドル ID、要素のロール、タイトル、プレースホルダー、現在の値)が含まれます。

クラウドバックエンド

  • STT: @cf/openai/whisper-large-v3-turbo
  • フォーマッター: @cf/qwen/qwen3-30b-a3b-fp8

ローカルバックエンド(フェーズ 2)

  • STT: faster-whisper
  • フォーマッター: Ollama
    プロバイダーインターフェースは internal/stt/ および internal/formatter/ に存在します。

音声仕様

  • サンプルレート 16kHz、モノラル、PCM サイン 16ビット LE
  • 約 4096 バイトチャンク(約 128ms ごと)
  • 最大録音時間: 約 25 MiB(約 13 分)

開発

# デスクトップアプリ
wails dev                              # 開発サーバー(Go + Vite ホットリロード)
wails build                            # 本番用ビルド
go vet ./...                           # Go のリント
go test ./internal/...                 # Go のテスト

# フロントエンド
cd frontend && pnpm install && pnpm build

# Worker
cd worker
pnpm dev                               # ローカル開発サーバー
pnpm lint                              # 型チェック
pnpm format                            # prettier
pnpm test                              # vitest
pnpm deploy                            # Cloudflare へのデプロイ