HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Ask HN: テキストと参照に基づいて音声を生成するAIモデルはありますか?

Ask HN: Are there AI models for generating sounds based on a text and reference? (news.ycombinator.com)

22 pointsby onemiketwelve12 コメント

要約

ユーザーは、参照音声とテキスト指示を入力して別の音声を生成できる商用AIモデルを見つけるのに苦労している。画像生成ではテキストと参照画像による多モーダル入力が一般的だが、音声生成ではテキストと音声入力から音声を出力する「Audio + text -> Audio」のワークフローがまだ確立されていない。ElevenLabs SFXやStable Audio 3のようなモデルも、参照なしでは精度が低いか、期待通りの結果が得られないという。

全文翻訳

解決策を見つけるのに苦労しています。テキスト指示と参照音声をフィードして別の音声を出力できる、商用化されたモデルは本当にないのでしょうか?

現在、画像またはテキスト出力のためのマルチモーダル入力はコモディティ化され、解決済みの問題です。つまり、画像生成のプロンプトを入力し、参照画像を使用してモデルに何を求めているかをガイドできます。結局のところ、1枚の絵は1000の言葉に値する、ということわざがありますよね。

また、テキストと音声入力を利用して、テキストの説明や分類を得ることもできました。

しかし、Audio + text -> Audio の解決策がどうしても見つかりません。

私のユースケースは、クリーンな例があまり多くないソースに基づいて新しい効果音を生成しようとしていることです。これは単なる解決済みのワークフローだと思っていましたが、あまり多くは見つかりません。ElevenLabs SFXを試しましたが、それはテキストから音声への変換のみであり、参照がないと、テキストだけでガイドして精度を再現するのは困難です。私がやりたいことを行うはずのStable Audio 3モデルを試しましたが、結果はひどいものでした。このモダリティは、画像生成が2016年頃にあった状態に留まっているようです。他に何かありますか、それともこれは一般的なニーズではないのでしょうか?