100ドルのAIミュージックビデオ：Claude Fable 5 vs. GPT-5.6 Sol

私たちは、1つのジョブを持つ小さなエージェント型ハーネスを構築しました。そのジョブとは、モデルに楽曲、厳格な予算、そして一連のツールを与え、あとは邪魔をせずに自律的にフルミュージックビデオを制作させることです。モデルは存在するビデオモデルを調査し、クリップを生成し、自身の映像を視聴し、ffmpegで編集し、最終的なカットを組み立てます。前回のビルドオフの読者の一部は、モデル間のツールの使用方法の違いを見たいと述べたため、フロンティアレベルのモデルに、各モデルが自ら何を調査し、何を生成し、どのように編集するかを決定する、オープンエンドで長期間のタスクを与えました。私たちはすべてのツール呼び出しを記録するため、各モデルがどのように機能したかを正確に確認できます（完全なトランスクリプトは以下にあります）。私たちは、2つのモデル、Claude Fable 5とGPT-5.6 Solを、それぞれ2つの予算（25ドルと100ドル）で、合計4回の実行を行いました。各実行には、同じ楽曲（ブルーノ・マーズとマーク・ロンソンの「Uptown Funk」）、短いテキスト説明、タイムスタンプ付きの歌詞トランスクリプトが与えられました。 セットアップ 各モデルは、6つのツールを持つ自律的なツール呼び出しループを実行しました。 plan: 思考のためのツール（コストなし、アクションなし）。 web_search: 生成モデルとそのAPIを調査し、ミュージックビデオに関する情報を取得するため（必要に応じて）。 get_budget: 残りの予算を確認するため。 generate_imageおよびgenerate_video: 予算を消費する唯一のツール。モデルはFALまたはReplicateの任意のモデルを選択し、独自のパラメータを渡すことができます。 run_command: ffmpeg/ffprobeが利用可能なローカルシェル。オーディオを分析し、クリップをカット・連結し、最終ビデオをmux化するために使用されます。 予算がゼロになると、有料生成は拒否されますが、モデルは編集を続けることができます。すべてのモデルメッセージ、ツール呼び出し、課金、エラーが記録されました。ハーネス全体はgithub.com/hershalb/music-video-arenaでオープンソース化されているため、ご自身で実行できます。 4つのビデオ 以下の各クリップは、モデルが最終的に自己組み立てた出力です。mp4、元の楽曲をmux化したフルレングス。 Claude Fable 5 · 25ドル GPT-5.6 Sol · 25ドル Claude Fable 5 · 100ドル GPT-5.6 Sol · 100ドル 数値 4回の実行すべてが自律的に完了し（ステップまたは時間制限に達したものはありません）、すべてが元の楽曲をmux化した有効なフルレングスビデオを生成しました。 | モデル | 予算 | 壁時計 | ステップ | 画像 | ビデオ | 失敗した呼び出し | 生成費用 | 出力 | | --------------- | ---- | ------ | -------- | ---- | ------ | ---------------- | -------- | ------ | | Claude Fable 5 | $25 | 39m10s | 250 | 54 | 1 | 0 | $24.30 | 1280x720 | | GPT-5.6 Sol | $25 | 42m52s | 386 | 146 | 10 | 0 | $23.18 | 1280x720 | | GPT-5.6 Sol | $100 | 49m39s | 340 | 702 | 4 | 0 | $36.57 | 1280x720 | | Claude Fable 5 | $100 | 38m56s | 280 | 800 | 0 | 0 | $48.60 | 1920x1080 | 「生成費用」は、FALの従量課金コストであり、予算の上限となります。25ドルの場合、両モデルともほぼ予算を使い切りました。100ドルの場合、それぞれ36.57ドル（Sol）と48.60ドル（Fable）を費やしたため、予算が増えればより多くの映像が生成されることになります。これには、モデル自体の実行コストは含まれておらず、それは以下に追加されます。 ビデオ完成までの時間 各モデルが構築したもの ツールを自由に選択させたところ、モデルは分岐しました。4回の実行のうち3回は純粋なテキストからビデオへの変換を行いました。25ドルのGPT-5.6 Solのみが、画像からビデオへのパイプラインを使用しました（まず静止画を生成し、それをアニメーション化しました）。100ドルのGPT-5.6 Solは、単一の実行で3つの異なるビデオモデルを混在させました。 | 実行 | 画像モデル | ビデオモデル(s) | アプローチ | | --------------- | ---------- | --------------------------------------------- | ------------------------------------------- | | Fable 5 · $25 | なし | Wan 2.5 t2v ($0.05/s) | テキストからビデオのみ | | Sol · $25 | FLUX schnell ($0.003/img) | Wan 2.2-5b i2v ($0.10/s) | キーフレーム、その後画像からビデオ | | Sol · $100 | なし | Wan 2.5 ($0.05/s), Veo 3.1 Lite ($0.10/s), Hailuo 2.3 Standard ($0.28/video) | テキストからビデオ、モデル混在 | | Fable 5 · $100 | なし | Seedance 1.0 Pro t2v (~$0.12/s at 1080p) | テキストからビデオのみ | 価格はFALのリスト価格で、出力ビデオの秒単位で表示されます（記載がない限り）。Hailuo 2.3 Standardはビデオ単位で価格設定されており（約6秒のクリップあたり0.28ドル）、Seedance 1.0 Proはトークン単位で価格設定されています（1080pで5秒のクリップあたり約0.62ドル、上記の効果的な秒間レートとして表示）。実行ごとに生成されたユニークなクリップは46から80の範囲でした。 ツールの使用方法 各実行がツール呼び出しをどのように費やしたか（これは試行回数をカウントし、失敗した生成呼び出しも含まれます）。 Claude Fable 5 · 25ドル GPT-5.6 Sol · 25ドル Claude Fable 5 · 100ドル GPT-5.6 Sol · 100ドル 各実行の完全なトランスクリプト、すべてのプラン、ツール呼び出し、コマンドはここにあります：Fable 5 · 25ドル、Sol · 25ドル、Sol · 100ドル、Fable 5 · 100ドル。 途中のエラー 「失敗した呼び出し」は、エラーを返した生成リクエストです（主にプロバイダーへの一時的なネットワーク障害）。これらは課金されませんでしたが、モデルは再試行するためにステップを費やしました。 トークン使用量 | 実行 | 入力トークン | 出力トークン | 推論 | キャッシュ入力 | | --------------- | ---------- | ---------- | ---- | -------------- | | Fable 5 · $25 | 1,476,900 | 44,341 | n/a | 0 | | Sol · $25 | 2,956,270 | 33,220 | 9,656 | 2,558,029 | | Sol · $100 | 2,097,572 | 31,715 | 12,330 | 1,819,050 | | Fable 5 · $100 | 2,264,610 | 48,029 | n/a | 0 | 実行ごとの総コスト 予算は生成（FAL）の費用のみを計測します。Claude Fable 5（100万入力/出力あたり10ドル/50ドル）とGPT-5.6 Sol（100万入力/出力あたり5ドル/30ドル）のLLMトークンコストを追加すると、各実行の総コストが得られます。 | 実行 | 生成費用 | LLMトークンコスト | 総コスト | | --------------- | -------- | --------------- | -------- | | Fable 5 · $25 | $24.30 | $16.99 | $41.29 | | Sol · $25 | $23.18 | $4.27 | $27.45 | | Sol · $100 | $36.57 | $3.25 | $39.82 | | Fable 5 · $100 | $48.60 | $25.05 | $73.65 | Claude Fable 5の場合、トークンだけで16.99ドルから25.05ドルかかり、各実行の総コストの約30〜40％を占めました。GPT-5.6 Solのトークンコストは、同様のトークン量にもかかわらず、4ドル前後に留まりました。 方法に関する注記 すべての実行で同じ入力を使用しました：楽曲、短いテキスト説明、タイムスタンプ付きの歌詞トランスクリプト。各モデルはFALで独自の生成モデルを選択し、独自のffmpeg編集を行いました。壁時計時間は、モデル自身の再試行やプロバイダーキューでの待機時間を含みます。生成費用は、モデルごとの価格表からの最善の推定値です。 自分で試してみてください このアリーナはオープンソースです：github.com/hershalb/music-video-arena。独自の楽曲と予算を指定し、互いに競わせたいモデルを入れ替えて、それらが何を作るかを確認してください。問題やプルリクエストは歓迎します。このセットアップに関するフィードバックをいただけると幸いです。 私たちの見解 生成されたミュージックビデオのどれも素晴らしくはありませんでしたが、モデルがどのようにそこに至ったかを見るのは非常に興味深く、フロンティアレベルのモデルにまだ明らかに存在するギャップを示しています。いくつかの点を挙げます。 キャラクターとストーリーの一貫性は、4つすべてで苦労しました。繰り返し登場するキャラクターはショット間で drifting し、どのビデオも最初から最後まで一貫したストーリーラインを維持できませんでした。 モデルは歌詞を非常に文字通りに受け取ります。「Make a dragon wanna retire, man」という歌詞は、画面上に実際のドラゴンを表示させます。これは数ショットでは興味深いですが、しばらくすると少し奇妙になりました。 テンポマッチングは弱いです。カットはビートに着地しますが（すべてffmpegのビート検出を実行しました）、クリップ内の動き、ダンス、カメラの動きは、曲のテンポにほとんど一致しないため、しばしば少しずれているように感じられます。例として、「gotta kiss myself I'm so pretty」というラインでは、主人公がキスをする動きが遅すぎます。 25ドルのGPT-5.6 Solは最も独創的なエディターでした。他のどの実行も試みなかったテキストのオーバーレイや静止画のアニメーション化、ビデオエフェクトを使用しました。残りはほとんど生成されたクリップを単純に連結しただけでした。100ドルのGPT 5.6 Solは、Fableのように1つのビデオモデルに固執するのではなく、複数のビデオモデルを試しました。 誰も編集を反復しませんでした。クリップが存在すると、モデルは連結とmux化を行いましたが、再カットしたりエフェクトを追加したりすることはめったになく、自身のクリップを真剣に調べて、それが良いものであるかを確認することもしませんでした。GPT-5.6 Solの100ドルの実行は、実際に低品質なAIクリップを出力しましたが、Claude Fable 5はより一貫性のある出力を生成するモデルを選択しました。これらの一部はモデルの限界かもしれませんが、自己レビューの欠如は注目に値します。 どちらのモデルもReplicateに触れませんでした。FALとReplicateの両方のキーが利用可能でしたが、4回の実行すべてでFALのみが使用されました。 Claude Fable 5はより高価な選択肢でした。GPT-5.6 Solよりも速く完了したにもかかわらず、実行あたりのコストが高く（そして全体で最も高価な73.65ドルでした）。主観的には、Fableの100ドルのビデオをわずかに好みましたが、どれも私たちを圧倒するものではありませんでした。 100ドルは多すぎる予算だったようです。どちらのモデルもキャップ近くで費やすことを望まず、ステップ数も控えめでした。この余裕があれば、例えば、最初に一貫したキャラクター画像を生成してそれらをアニメーション化することもできましたが、どちらもそれを選択しませんでした。 モデルがより主観的/様式的なタスクで改善できるかどうかは、今後も賢くなるにつれてわかるでしょうが、現時点では改善の余地はまだたくさんあります。 自分で試してみてください ここで言及されているすべてのモデルは、TryAIで1つのアカウントで利用でき、従量課金制で、