HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Transcribe.cpp

Transcribe.cpp (workshop.cjpais.com)

696 pointsby sebjones144 コメント

要約

Transcribe.cppは、最新の音声認識モデルをサポートするggmlベースの音声文字起こしライブラリです。GPUアクセラレーションに対応し、多数のモデルで数値検証とWERテスト済みです。クロスプラットフォームな音声認識アプリケーションの配布における課題を解決するために開発され、Python、JavaScript、Rust、Objective-C/Swiftなどの言語バインディングも提供します。

全文翻訳

transcribe.cpp

本日、transcribe.cppを公開できることを大変嬉しく思います。

transcribe.cppは、最新の音声認識モデルをすべてサポートするggmlベースのライブラリです。handy-computer HF組織の下で公開されているすべてのモデルは、数値的に検証され、参照実装と一致することがWERテストで確認されています。あらゆる場所で高速化されています。

私はHandyの作者兼メンテナーです。このライブラリは、クロスプラットフォームの音声認識アプリケーションを多くの人々に配布する際の苦労から生まれました。

これはv0.1.0のライブラリであり、私だけでは発見できないいくつかの未熟な点があることを意味します!ぜひ報告してください。一緒に修正していきましょう!

動機

こう言わせてください。現在のASR推論スタックでクロスプラットフォームアプリケーションを配布するのはひどいと思います。

基本的にwhisper.cppとONNXがあります。それだけです。Appleデバイス向けにMLXを導入することもできますが、そうすると2つの異なるエンジンをサポートし、モデルをそれぞれにポートする必要があります。Handyで迅速にモデルサポートを得るためにONNXを支持してきましたが、CPUのみでは多くのパフォーマンスが失われています。

多くのモデルをサポートすると主張するライブラリがいくつかありますが、私の知る限り、作者もテストも不明です。それらは私に多くの疑問を残します。

このライブラリのメンテナンスはいつ止まるのでしょうか?作成者は、実際のデスクトップまたはモバイルアプリで使用できるバインディングを考えたのでしょうか?これは実質的にデモコードなのでしょうか?ベンチマークは取られているのでしょうか?ONNXより速いのでしょうか?

そして、これがtranscribe.cppにつながった理由です。Handyのメンテナーとして、信頼できるライブラリが必要でした。ファイルをダウンロードして推論を実行できる場所。エンジン内のモデルからの推論が、参照実装と同じくらい優れていることを知ることができる場所。最高のパフォーマンスを得るために、推論はGPUで実行されるべきです。Handyに簡単に組み込める必要があり、巨大なPyTorchライブラリではいけません。Mac、Windows、Linuxで動作するものでなければなりません。そしてggmlは、現時点では最良の方法であるように思えました。強力なコミュニティと優れた配布ストーリーがあります。

では、何が得られるのか?

広範なモデルサポートを備えた、高速で正確な推論エンジンが得られます。

  • 16のASRファミリー(60以上のモデル)をサポートし、さらに追加予定
  • Vulkan, Metal, CUDA, TinyBLASによるアクセラレーション
  • すべてのモデルは数値的に検証され、WERテスト済み
  • ストリーミング音声認識のサポート
  • バッチ音声認識のサポート
  • ほぼwhisper.cppのドロップイン代替
  • 4つの言語でのメンテナーサポートバインディング
    • Python
    • Javascript/Typescript
    • Rust
    • ObjC/Swift
広範なモデルサポート

可能な限り多くの最先端の音声認識モデルをサポートする予定です。現時点では、公開されているほとんどの最新の音声認識モデルをサポートしています。まだいくつか不足していますが、まもなく追加される予定です。

アクセラレーションサポート

私のトップ目標の1つは、Vulkanで任意のASRモデルを実行できるようにすることでした。私の意見では、ローカル推論を配布するあらゆるアプリケーションの最低ラインです。サポートするモデルごとに、Fedora上のRyzen 4750U(CPU + Vulkan)と私のM4 Maxでのベンチマーク実行があります。

数値検証済み

transcribe.cppでの推論が正確で、参照実装に可能な限り近いことを確認することも重要でした。これは、Hugging Faceで見つけた.onnxモデルを使用する際の推論精度の不確実性が大きかったためです。実行する推論が正しいことを保証するために、参照と比較してすべてのモデルを数値的に検証します。数値検証に加えて、参照が出力するものをすべて同じように出力することを確認するために、完全なWERスイープを実行します。これは、すべてのモデルが数千の音声を通して実行され、参照に非常に近いか同じであることを意味します。このデータの結果は、transcribe.cppリポジトリおよびHugging Faceの各モデルで公開されています。

whisper.cppのドロップイン代替

transcribe.cppは、ほぼwhisper.cppのドロップインサポートです。主な理由は、Handyがwhisper.cppを使用しており、transcribe.cppに置き換えるアップデートをリリースする必要があったからです。Handyに同梱されていた、非常に人気のある.binファイルとの互換性を維持する必要がありました。transcribe.cppはそれらを実行できます。まだサポートしていないフラグや機能がいくつかあります。しかし、ほとんどのユースケースでは、私たちのwhisper実装は堅牢であり、同等のパフォーマンスでwhisper.cppを置き換えることができると考えています。

実際の配布

当初から言語バインディングを念頭に置いていました。このライブラリはC/C++で書かれていますが、Rustでバインディングが必要でした。また、ローカル音声認識を可能な限り広く配布するためには、少なくともまともなファーストパーティのバインディングサポートが必要であることも知っていました。人々がライブラリを使用するであろう場所をかなり代表していると思われる4つの言語を選択しました。プロジェクトに直接バインディングを貢献してくれる人も歓迎します。ただし、それらのメンテナンスを引き受ける意欲があることが前提です。

そしてもちろん、最終的には、多くの決定はHandyによって推進されました。Handyが人気がある結果として、Handyを維持してきたのと同じように、このライブラリを維持するつもりです。オープンソースプロジェクトのメンテナンスを続け、可能な限りエコシステムに貢献する人物でありたいと思っています。

Handyがなければこのライブラリは存在しなかったでしょう。なぜなら、さまざまなASRモデルをサポートしようとする問題に直面しなかったからです。ASRのユースケースをすべて学ぶこともなかったでしょう。最もよく耳にするものをカバーするように最善を尽くしました。確かに、ライブラリには現在処理されていないケースがあります。もし私が何かを見逃していたら、自由にライブラリに貢献してください!

ローカル音声認識をより身近にする

transcribe.cppは、ローカルで実行されるASRを容易にすることに的を絞っています。ほとんどのデバイスで音声認識が非常に正確に実行できることを知っており、音声をクラウドサービスに送信する必要はありません。RK3566は、その貧弱なCPUでリアルタイムよりも速くtranscribe.cpp経由でモデルを実行できます。最先端モデルでのリアルタイムよりも速い音声認識は、わずか数ワットで実行されます。それは希望や夢ではなく、事実です。

将来を見据えると、何らかの理由でローカルでの推論が増えると考えています。これにより、配布ストーリーが最前面に出てきます。ローカルで推論を実行するアプリケーションを増やすためには、推論の実行を容易にする必要があります。確かにtranscribe.cppは全体としてこの問題を解決していませんが、前進するための小さな一歩となることを願っています。私は多くのことを学びました。

感謝

このプロジェクトを支援してくれたすべての人々に心から感謝しています。

まず第一に、Mozilla AI、そのBiRプログラム、そしてMozilla AIのDavide氏です。このプロジェクトは、私が彼らに持ち込んだ頭の中の問題の大部分であり、彼らは私を支援して問題を解決してくれることにしました。当時、transcribe.cppはまだ具体的なアイデアすらなく、Handyでのアクセラレーション配布をどのように解決するかを模索していました。そのため、彼らの支援と、このプロジェクトの実現に貢献してくれたことに多大な感謝を捧げます。

ggml。このプロジェクトはggmlとそのすべての貢献者なしには実現できませんでした。皆さんの仕事に心から感謝します。ggmlは、ローカル推論アプリケーションの配布を容易にし、可能にする上で驚くべき仕事をしていると思います。

Modalも私にとって非常に重要な助けとなりました。彼らに連絡したところ、クレジットを提供してくれました。これらのクレジットは、WERテストの実行と、ライブラリがCUDAでうまく動作することの確認に充てられています。作業の正確性を検証できることは、計り知れない助けとなります。

Blacksmithは、transcribe.cppの一部のCI/CDを支えています。再び彼らに連絡したところ、すぐにクレジットを提供してくれました。もちろん、CI/CDは、提供されるすべてが少なくともある程度テストされていることを確認するために不可欠です。

Hugging Faceは、ローカルAIコミュニティの柱であるだけでなく、handy-computer組織のプライベートストレージを提供してくれたため、自分の意思でモデルをアップロードできました。

AI支援?

はい、間違いなく。数ヶ月でggmlを使ってこの規模のエンジンをゼロから書くことは、外部の助けなしには不可能だと思います。ここに書かれた言葉のいずれかがAIによって書かれたものでしょうか?いいえ。それらは私の口や指から出てきたものです。