HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

100ドルのAIミュージックビデオ:Claude Fable 5 vs. GPT-5.6 Sol

$100 AI Music Video: Claude Fable 5 vs. GPT-5.6 Sol (tryai.dev)

325 pointsby hershyb_441 コメント

要約

本記事では、Claude Fable 5とGPT-5.6 Solという2つのAIモデルが、予算内でミュージックビデオを制作する実験について報告しています。両モデルは、動画生成モデルの調査、クリップ生成、編集などのタスクを自律的に行い、そのプロセスと結果が比較されました。生成されたビデオの品質には課題が見られたものの、モデルのツール使用方法やアプローチの違いが明らかになりました。

全文翻訳

$100 AIミュージックビデオ:Claude Fable 5 vs. GPT-5.6 Sol

私たちは、モデルに楽曲、厳格なドル建て予算、一連のツールを与え、あとは自律的に完全なミュージックビデオを制作させるという、単一のジョブを持つ小規模なエージェント型ハーネスを構築しました。モデルは、存在するビデオモデルをリサーチし、クリップを生成し、自身の映像を確認し、ffmpegで編集し、最終的なカットを組み立てます。

以前のビルドオフの読者数名から、モデル間のツール使用の実際の違いを見たいという要望があったため、フロンティアレベルのモデルに、各モデルが自らリサーチ、生成、編集の内容を決定する、オープンエンドで長期間にわたるタスクを与えました。私たちはすべてのツール呼び出しを記録するため、各モデルがどのように機能したかを正確に確認できます(完全なトランスクリプトは以下にあります)。

私たちは、Claude Fable 5とGPT-5.6 Solの2つのモデルを、それぞれ2つの予算(25ドルと100ドル)で、合計4回の実行を行いました。各実行には、同じ楽曲(ブルーノ・マーズとマーク・ロンソンの「Uptown Funk」)、短いテキスト説明、タイムスタンプ付きの歌詞トランスクリプトが与えられました。

セットアップ

各モデルは、6つのツールを備えた自律的なツール呼び出しループを実行しました。

  • plan: 思考のためのツール(コストなし、アクションなし)。
  • web_search: 生成モデルとそのAPIをリサーチし、ミュージックビデオに関する情報を取得するため(必要に応じて)。
  • get_budget: 残りの予算を確認するため。
  • generate_image および generate_video: 予算を消費する唯一のツール。モデルは任意のFALまたはReplicateモデルを選択し、独自のパラメータを渡すことができます。
  • run_command: ffmpeg/ffprobeが利用可能なローカルシェル。オーディオの分析、クリップのカットと連結、最終ビデオのマージに使用されます。

予算がゼロになると、有料の生成は拒否されますが、モデルは編集を続けることができます。すべてのモデルメッセージ、ツール呼び出し、請求、エラーが記録されました。ハーネス全体はgithub.com/hershalb/music-video-arenaでオープンソース化されているため、ご自身で実行することも可能です。

4つのビデオ

以下の各クリップは、モデルが最終的に自己アセンブルしたoutput.mp4で、元の楽曲がマージされたフルレングスのビデオです。

Claude Fable 5 · $25GPT-5.6 Sol · $25
[動画][動画]
Claude Fable 5 · $100GPT-5.6 Sol · $100
[動画][動画]

数値

4回の実行すべてが(ステップまたは時間制限に達することなく)自律的に完了し、4回すべてで元の楽曲がマージされた有効なフルレングスのビデオが生成されました。

モデル
Claude Fable 5$2539m10s250541$24.301280x720
GPT-5.6 Sol$2542m52s38614610$23.181280x720
GPT-5.6 Sol$10049m39s340702$36.571280x720
Claude Fable 5$10038m56s280800$48.601920x1080

「Generation spend」(生成費用)は、予算の上限となるFALのメーター付きコストです。25ドルの場合、両モデルともほぼ予算を使い切りました。100ドルの場合、Solは36.57ドル、Fableは48.60ドルを費やしたため、予算が増えればより多くの映像が生成されることにつながりました。これには、モデル自体の実行コストは含まれておらず、それは以下に追加されます。

完成ビデオまでの時間

各モデルが構築したもの

ツールを自由に選択させたところ、モデルは分岐しました。4回の実行のうち3回は純粋なテキストから動画生成(text-to-video)でした。25ドルのGPT-5.6 Solのみが、画像から動画生成(image-to-video)パイプライン(まず静止画を生成し、それをアニメーション化する)を使用しました。100ドルのGPT-5.6 Solは、1回の実行で3つの異なるビデオモデルを混在させました。

実行画像モデルビデオモデルアプローチ
Fable 5 · $25なしWan 2.5 t2v ($0.05/秒)テキストから動画生成のみ
Sol · $25FLUX schnell ($0.003/画像)Wan 2.2-5b i2v ($0.10/秒)キーフレーム、その後画像から動画生成
Sol · $100なしWan 2.5 ($0.05/秒), Veo 3.1 Lite ($0.10/秒), Hailuo 2.3 Standard ($0.28/ビデオ)テキストから動画生成、複数モデルの混在
Fable 5 · $100なしSeedance 1.0 Pro t2v (~$0.12/秒 @ 1080p)テキストから動画生成のみ

価格はFALの表示レートで、出力ビデオの秒単位で示されています(特記がない限り)。Hailuo 2.3 Standardはビデオ単位(約6秒クリップあたり0.28ドル)で、Seedance 1.0 Proはトークン単位(約5秒1080pクリップあたり0.62ドル、上記は実効秒間レートとして表示)で価格設定されています。実行ごとに生成された個別のクリップ数は46から80の範囲でした。

ツール使用

各実行がツール呼び出しをどのように費やしたか(これは試行回数を含み、生成呼び出しの失敗も含まれます)。

Claude Fable 5 · $25GPT-5.6 Sol · $25
Claude Fable 5 · $100GPT-5.6 Sol · $100

各実行の完全なトランスクリプト、すべてのプラン、ツール呼び出し、コマンドはここにあります:Fable 5 · $25, Sol · $25, Sol · $100, Fable 5 · $100。

途中のエラー

「Failed calls」(失敗した呼び出し)は、エラーを返した生成リクエスト(主にプロバイダーへの一時的なネットワーク障害)です。これらは課金されませんでしたが、モデルはそれらを再試行するためにステップを費やしました。

トークン使用量

実行入力トークン出力トークン推論キャッシュ入力
Fable 5 · $251,476,90044,341n/a0
Sol · $252,956,27033,2209,6562,558,029
Sol · $1002,097,57231,71512,3301,819,050
Fable 5 · $1002,264,61048,029n/a0

実行ごとの総コスト

予算は生成(FAL)の支出のみを計測します。Claude Fable 5(100万入力/出力あたり10ドル/50ドル)とGPT-5.6 Sol(100万入力/出力あたり5ドル/30ドル)のLLMトークンコストを加えると、各実行の総コストがわかります。

実行生成費用LLMトークンコスト総コスト
Fable 5 · $25$24.30$16.99$41.29
Sol · $25$23.18$4.27$27.45
Sol · $100$36.57$3.25$39.82
Fable 5 · $100$48.60$25.05$73.65

Claude Fable 5の場合、トークンだけで16.99ドルから25.05ドルかかり、これは実行総コストの約30〜40%でした。GPT-5.6 Solのトークンコストは、トークン量がおおよそ同じであるにもかかわらず、3〜4ドル近辺に留まりました。

方法に関する注記

  • すべての4回の実行で同じ入力を使用:楽曲、短いテキスト説明、タイムスタンプ付き歌詞トランスクリプト。各モデルはFALで独自の生成モデルを選択し、独自のffmpeg編集を行いました。
  • 壁時計時間は、モデル自身の再試行やプロバイダーキューでの待機時間を含みます。
  • 生成費用は、モデルごとの価格表からの最善の推定値です。

ご自身で試す

アリーナはオープンソースです:github.com/hershalb/music-video-arena。独自の楽曲と予算を指定し、対戦させたいモデルを入れ替えて、何が構築されるかを確認してください。IssueやPRは歓迎します。セットアップに関するフィードバックをいただけると幸いです。

私たちの見解

どのミュージックビデオも素晴らしくはありませんでしたが、モデルがどのようにそこに至ったかを見るのは非常に興味深く、フロンティアレベルのモデルにまだ明らかに存在するギャップを示しています。いくつかの点を挙げます。

  • キャラクターとストーリーの一貫性は、4つすべてで苦労しました。 繰り返し登場するキャラクターはショットごとに変化し、どのビデオも最初から最後まで一貫したストーリーラインを維持できませんでした。
  • モデルは歌詞を非常に文字通りに受け取ります。 「Make a dragon wanna retire, man」は、画面上に実際のドラゴンを表示させます。これは数ショットは興味深いですが、しばらくすると少し奇妙になりました。
  • テンポマッチングは弱いです。 カットはビートに合わせていますが(すべてffmpegのビート検出を実行しました)、クリップ内の動き、ダンス、カメラワークは曲のテンポにほとんど合っておらず、しばしば少しずれているように感じられます。例として、「gotta kiss myself I'm so pretty」というラインでは、主人公がキスをする動きが遅すぎます。
  • 25ドルのGPT-5.6 Solは最も独創的なエディターでした。 他の実行では試みられなかったテキストのオーバーレイや、静止画のアニメーション化、ビデオエフェクトを使用しました。残りはほとんど生成されたクリップを単純に連結しただけでした。100ドルのGPT 5.6 Solは、Fableのように単一のビデオモデルに固執するのではなく、複数のビデオモデルを混在させました。
  • 誰も編集を反復しませんでした。 クリップが存在すると、モデルは連結とマージを行いましたが、再カットしたりエフェクトを追加したりすることはほとんどなく、自身のクリップの品質を確認するために真剣に調査することもありませんでした。GPT-5.6 Solの100ドルの実行では、実際に低品質なAIクリップが出力されましたが、Claude Fable 5はより一貫性のある出力を生成するモデルを選択しました。このうちいくつかはモデルの限界かもしれませんが、自己レビューの欠如は注目に値します。
  • どちらのモデルもReplicateには触れませんでした。 FALとReplicateの両方のキーが利用可能でしたが、4回の実行すべてでFALのみが使用されました。
  • Claude Fable 5はより高価な選択肢でした。 GPT-5.6 Solよりも速く完了したにもかかわらず、実行あたりのコストが高く(全体で最も高価な73.65ドルでした)。主観的には、Fableの100ドルのビデオをわずかに好みましたが、どれも私たちを圧倒するものではありませんでした。
  • 100ドルは多すぎる予算だったようです。 どちらのモデルもキャップ近くまで使おうとせず、ステップ数も控えめでした。この余裕があれば、例えば、最初に一貫したキャラクター画像を生成してそこからアニメーション化することもできたかもしれませんが、どちらもそれを選択しませんでした。

モデルがスマートになり続けるにつれて、より主観的/様式的なタスクで改善できるかどうかを見ていくことになりますが、現時点ではまだ改善の余地が多くあります。

ご自身で試す

ここで言及されているすべてのモデルはTryAIで利用可能で、アカウントごとに従量課金制、サブスクリプションなしで利用できます。

無料で始める