Ask HN: テキストと参照に基づいて音声を生成するAIモデルはありますか?
要約
ユーザーは、参照音声とテキスト指示を入力して別の音声を生成できる商用AIモデルを見つけるのに苦労している。画像生成ではテキストと参照画像による多モーダル入力が一般的だが、音声生成ではテキストと音声入力から音声を出力する「Audio + text -> Audio」のワークフローがまだ確立されていない。ElevenLabs SFXやStable Audio 3のようなモデルも、参照なしでは精度が低いか、期待通りの結果が得られないという。
全文翻訳
解決策を見つけるのに苦労しています。テキスト指示と参照音声をフィードして別の音声を出力できる、商用化されたモデルは本当にないのでしょうか?
現在、画像またはテキスト出力のためのマルチモーダル入力はコモディティ化され、解決済みの問題です。つまり、画像生成のプロンプトを入力し、参照画像を使用してモデルに何を求めているかをガイドできます。結局のところ、1枚の絵は1000の言葉に値する、ということわざがありますよね。
また、テキストと音声入力を利用して、テキストの説明や分類を得ることもできました。
しかし、Audio + text -> Audio の解決策がどうしても見つかりません。
私のユースケースは、クリーンな例があまり多くないソースに基づいて新しい効果音を生成しようとしていることです。これは単なる解決済みのワークフローだと思っていましたが、あまり多くは見つかりません。ElevenLabs SFXを試しましたが、それはテキストから音声への変換のみであり、参照がないと、テキストだけでガイドして精度を再現するのは困難です。私がやりたいことを行うはずのStable Audio 3モデルを試しましたが、結果はひどいものでした。このモダリティは、画像生成が2016年頃にあった状態に留まっているようです。他に何かありますか、それともこれは一般的なニーズではないのでしょうか?