AI・機械学習
MacBook Airで1時間のオーディオを約13秒で文字起こし
An hour of audio transcribed in about 13s on MacBook Air (eg2.haku.sh)
要約
Gemma 2をベースにした新しい音声認識モデルは、MacBook Air上で完全にローカルに動作し、1時間のオーディオをわずか13秒で文字起こしする驚異的な速度を実現しました。このモデルは、Gemma 2のマルチモーダルな埋め込み能力を活用し、音声エンコーダーをそのままに、小さなリーダーモデルで音声スライスをテキスト空間にマッピングすることで機能します。現在の単語エラー率は約5%ですが、さらなる改善が期待されています。
全文翻訳
Gemma Transcribe 임베딩 Google의 EmbeddingGemma 2는 임베딩 모델입니다. 우리는 이를 음성-텍스트 모델로 만들었습니다. MacBook Air에서 1시간 분량의 오디오를 약 13초 만에, 완전히 기기 내에서 처리합니다. Mac용 다운로드 (무료) v1.6 · macOS 14+ · Apple Silicon 모델은 첫 실행 시 다운로드됩니다 (715 MB). 임베딩 모델이 음성을 문자화할 수 있습니까? EmbeddingGemma 2는 텍스트, 이미지, 오디오, 비디오를 하나의 공유 공간에 담는 멀티모달 임베딩 모델입니다. 단어를 소리 내어 말하면 그 오디오는 해당 단어와 가까운 공간에 위치합니다. 그래서 우리는 그 공간에서 직접 단어를 읽어보았습니다. 작동 방식 EmbeddingGemma 2의 오디오 인코더는 그대로 유지됩니다. 작은 리더가 각 짧은 오디오 조각을 모델의 텍스트 공간으로 이동시킵니다. 약 229,000개의 영어 단어 중 가장 가까운 단어가 선택되며, 조각들은 전사본이 됩니다. 아주 작은 추가 모델이 구두점과 대문자를 추가합니다. 리더만 훈련되었습니다. 공개 라이선스 영어 음성 데이터로 8xH100에서 2시간 미만이 소요되었습니다. 기본 모델은 음성-텍스트용으로 훈련된 적이 없습니다. 속도는 얼마나 빠릅니다? 모델 Mac에서 실행 속도 Embedding Gemma Transcribe Neural Engine 기본 M3 MacBook Air, 8 GB 288x 1시간을 12.6초 만에 IBM Granite Speech 5.0 Turbo CTC GPU (MLX) 기본 M3 MacBook Air, 8 GB 약 150x 1시간을 25.7초 만에 NVIDIA Parakeet TDT 0.6B v3 (FluidAudio) Neural Engine M4 Pro 156x NVIDIA Parakeet TDT 0.6B v3 (FluidAudio) Neural Engine M5 Pro 335x Phonon-2, Parakeet v3 파인튜닝 (FluidAudio) Neural Engine M5 Pro 480x x 실시간: 처리 초당 오디오 초. 행 1–2: 동일한 기본 M3 MacBook Air에서의 테스트 결과. 행 3–5: 더 크고 최신 Mac 및 다른 오디오에 대한 FluidAudio의 공개 벤치마크 결과. 정확한 순위가 아닌 대략적인 가이드입니다. 현재 위치 현재 단어 오류율은 약 5%로, 선도적인 음성 모델의 2–3%에 비해 높습니다. 더 잘 훈련된 리더가 이 격차를 좁힐 수 있다고 믿으며, 이것이 다음 반복 작업입니다. 사용 방법 오디오 파일을 드롭하거나, 오른쪽 Option 키를 누른 채 말하고 놓으면 모든 앱에 받아쓰기할 수 있습니다. Mac의 Neural Engine에서 실행되며, 오디오는 기기를 벗어나지 않습니다. Mac용 다운로드 (무료)