Show HN: Overtone – 画面形状に合わせてキャプションを書き起こし、修正、カットするツール

皆さん、こんにちは。Lontの共同創業者であるRuudです。私たちは会社のメールをパーソナライズされた動画に変換しています。

動画のキャプション作成には、手作業で2度手間がかかります。聞き間違えた単語を修正し、次に「the」で終わるような行末のレイアウトを修正します。

Overtoneは複数のモデルを使用して音声を聴取します。gpt-transcribe、Azure STT、Elevenlabs Scribeです。これらのモデルが矛盾した結果を返した場合、Overtoneは小さなクリップを再度モデルに送信し、LLMに実際に何が言われたかを判断させます。

LLMは、文字起こしモデルの正誤確認を行う人間のようなものです。人間は文脈に基づいて、単語が違うことを容易に認識できます。LLMは基本的に同じことを、オプションのコンテキストプロンプトと世界知識を使用して行います。このため、多くのテストファイルで、Overtoneを使用した場合の単語誤り率（WER）は、モデルを単独で使用した場合よりも低くなります。

確かに、3種類ものSTTモデルとLLMを使用するためコストは高くなりますが、それでも間違いを減らし、キャプション修正に必要な時間を最小限に抑え、見落としの可能性を減らします。私たちにとっては、その価値はあります。超高ボリュームのユースケースでは、そうではないかもしれません。

ルールベースのカッターは、画面サイズに応じて見た目が良いキャプションにトランスクリプトをきれいにカットします。16:9と9:16では異なり、私たちが作成したOvertone Formatは、実際にあらゆる形状をサポートします。一時停止は改行になり、キャプションは話者ごとにグループ化され、名前や数字が複数のキャプションにまたがることはありません。

これらのキャプションを動画に追加するにはどうすればよいでしょうか？ videojsプラグインを使用すると、キャプションを焼き付けずに自動的に追加できます。このプラグインにより、スタイル付きキャプション、プレーンキャプション、オフを切り替えることができます。overtone burnを使用してMP4ファイルに焼き付けることもできます。

カッターだけをすぐに試したいですか？以下を実行してください。

  npx overtone-captions recut yoursub.srt

APIキーを使用して音声を文字起こしすることもできます。送信前にコスト見積もりを表示するには、--dry-runを使用してください。

私たちはこの最初のバージョン（MIT）をオープンソース化しました。なぜなら、多くの人々が、特にキャプションを良くする必要がある場合に、このツールから恩恵を受けられると信じているからです。改善の余地はたくさんありますが、スタイルパック、言語、プロバイダー/モデルを追加するための貢献を容易にしました。

デモはこちらでご覧いただけます：https://overtone.lont.ai/

コードとベンチマークはこちらで見つかります：https://github.com/lonthq/overtone-captions