Seedance 2.5の紹介:ワンテイク制作、柔軟な参照
Seedance 2.5 (seed.bytedance.com)
要約
ByteDanceは、次世代ビデオ生成モデルSeedance 2.5を発表しました。このモデルは、最大30秒の高品質ビデオを生成し、複数回の延長に対応することで、長編ストーリーテリング能力を大幅に向上させています。また、画像、ビデオ、音声の参照機能を強化し、より複雑なクリエイティブの意図を捉えることが可能になりました。さらに、タイムスタンプレベルでの編集機能も精度と安定性が向上し、プロフェッショナルな映像制作の要求に応えます。
全文翻訳
Seedance 2.5: 長尺動画制作、マルチモーダル参照、編集機能が大幅に進化
本日、次世代ビデオ生成モデル「Seedance 2.5」を正式にリリースします。Seedance 2.0のリリース以来、ユーザーは単なるクリップ生成から、クリエイティブな作品の完成までをビデオ生成モデルに期待するようになっていることに気づきました。Seedance 2.0の統一されたマルチモーダル音声・ビデオ統合生成アーキテクチャを基盤とするSeedance 2.5は、基盤となる生成と参照ベースの生成に焦点を当て、長尺ストーリーテリング、マルチモーダル参照、編集において大きなブレークスルーをもたらします。実世界のユースケースに基づき、より大きなクリエイティブな想像力とコントロールを開き、生産性をさらに解き放ちます。
主なハイライトは以下の通りです:
生成時間は最大30秒、複数回の延長に対応: Seedance 2.5は、高品質な30秒の音声・ビデオクリップを一度のパスで生成でき、複数回の延長をサポートします。また、ショット遷移やシーン変更を改善し、長尺動画の連続性を高め、画像、音声、モーションの品質で顕著な向上をもたらし、AI生成ビデオで一般的に見られるものよりも自然で洗練されたビジュアル品質を実現します。その結果、ユーザーは一貫した視聴覚言語で高品質な数分間のコンテンツを制作し、一度のテイクで完全なストーリーを生き生きと表現することができます。
マルチモーダル参照機能を完全にアップグレード: ユーザーは一度のパスで最大30枚の画像、10本のビデオクリップ、10本のオーディオクリップを参照資料として入力できるようになりました。このモデルは、クレイレンダリング、モーション、クリエイティブ参照など、さまざまな参照能力を強化し、クリエイターの意図をより良く把握し、複数の被写体、シーン、ショット変更にまたがる複雑なアイデアを実現できるようにします。
より精密で安定した編集機能: Seedance 2.5は、タイムスタンプレベルのコントロールを提供し、音声およびビデオコンテンツのターゲット編集を可能にし、効率と制御性を大幅に向上させます。このモデルは、グリーン スクリーン、カメラ パースペクティブ、参照ベースの編集などの高度な編集機能も強化し、映画や広告のようなプロフェッショナルで複雑な分野の厳しい要求に応えます。
長尺ストーリーテリング、マルチモーダル参照、編集の進歩により、Seedance 2.5は、より長い単一パスのビデオ生成を超えています。このモデルは、クリエイティブな意図をより良く理解し、アイデアから完成したビデオまでの旅を、より大きなコントロールで提供します。それでは、Seedance 2.5によってエンドツーエンドで制作された短いクリエイティブフィルムをご覧ください。
[動画: 您的浏览器不支持视频播放。]
本日、Seedance 2.5はJimeng AI、Doubao Proなどのプラットフォームで展開され、APIアクセスはまもなくBytePlus ModelArk経由で提供されます。ぜひお試しいただき、フィードバックをお寄せください。
プロジェクトホームページ:
https://seed.bytedance.com/seedance2_5
アクセス方法:
Jimeng Web -> ビデオ生成 -> Seedance 2.5を選択
Doubao Pro -> ビデオ生成 -> Seedance 2.5を選択
複数回の延長に対応した30秒の長尺ストーリーテリング:完全なストーリーを一度のテイクで表現
Seedance 2.5は、単一パスのビデオ生成を15秒から30秒に拡張し、長尺動画でのストーリーテリングをさらに強化します。30秒以内であれば、モデルは複数の論理的に接続されたショットを構成し、単に一つの瞬間を延長するのではなく、セットアップ、展開、転換点、解決というストーリー展開を実現できます。例えば、歌手のステージパフォーマンスの一発撮りクリップでは、モデルは、ステージに上がる瞬間だけでなく、楽屋でスタッフと交流し、バックステージの廊下を歩き、ダンサーと会い、彼らと一緒にステージに上がるという、歌手の完全なストーリーを表現します。
[動画: 您的浏览器不支持视频播放。]
T2V プロンプト: ワンテイクのハンドヘルドジンバル追跡ショット。カメラは重い赤いカーテンの隙間からゆっくりと押し入り、温かみのある楽屋に入る。カメラに背を向けた若い女性歌手がイヤホンを調整しており、スタッフが時間だと告げる。彼女はカメラの方を向き、シティポップを歌い始める。カメラは引き、彼女がカーテンを抜けて薄暗いバックステージの廊下に出るのを追跡し、その途中でダンサーたちと自然に交流する。一人のスタッフがマイクを手渡す。彼女とダンサーたちはステージに上がり、カメラは後ろに円を描くように動き、徐々に赤いLEDスクリーン、スポットライト、ハレーション、反射する床が現れる。カメラは最終的にアリーナのワイドショットに引き、満員の観客、ライトボード、サイリウム、歓声を上げる群衆を映し出し、コンサートの若々しく自由奔放なクライマックスを捉える。
モデルの複数回延長機能のおかげで、ユーザーは既存のビデオ出力に後続のショットをスムーズに追加できます。延長プロセス全体を通して、主要キャラクター、環境、ナレーションのペースの一貫性を維持します。これにより、ユーザーは一度に数分間のビデオを出力でき、クリップの分割、繰り返し映像の編集、トランジションの修正にかかる労力を削減できます。
[動画: 您的浏览器不支持视频播放。]
R2V プロンプト: ビデオを延長してください。@Video 1 のビジュアルと被写体から継続し、キャラクター被写体、シーン、ビジュアルスタイル、サウンドエフェクトを維持して、さらに30秒のクリップを生成してください。小さな男の子がサッカーボールを持って列車内を走っている。地下鉄が止まると、側面のドアが開き、彼はすぐに飛び出す。男性主人公がその後を追う。二人はプラットフォームを駆け抜け、路上に出る。その途中、通行人や車を驚かせる。男性主人公はついに追いつき、彼を捕まえる。男の子は不満そうに見上げる。男性主人公の怒りはゆっくりと消え、男の子の頭を撫で、無力な笑顔を見せる。
ビジュアルプレゼンテーションに関しては、モデルはカメラの動き間のよりスムーズな遷移を実現します。主要な被写体は複数のカットにわたって安定しており、音声とビジュアルは同期したまま、非常に一貫性のある長尺動画を実現します。例えば、京劇のシーンでは、カメラは主役の流れるような袖を追って優雅な円を描くパンを実行し、主役と背景は完全に一貫したままです。袖のスイングは空中に自然な弧を描き、現実世界の物理法則に厳密に従います。
[動画: 您的浏览器不支持视频播放。]
R2V プロンプト: 16:9 ワイドスクリーン、シネマティックな質感、シングル連続テイク、スムーズなカメラワーク、カットなし。シーン参照: @Image 4。0~5秒: 重厚な赤いカーテンの隙間からゆっくりとカメラが入り込み、温かみのある楽屋に入る。カメラに背を向けた若い女性歌手がイヤホンを調整しており、スタッフが時間だと告げる。彼女はカメラの方を向き、シティポップを歌い始める。カメラは引き、彼女がカーテンを抜けて薄暗いバックステージの廊下に出るのを追跡し、その途中でダンサーたちと自然に交流する。一人のスタッフがマイクを手渡す。彼女とダンサーたちはステージに上がり、カメラは後ろに円を描くように動き、徐々に赤いLEDスクリーン、スポットライト、ハレーション、反射する床が現れる。カメラは最終的にアリーナのワイドショットに引き、満員の観客、ライトボード、サイリウム、歓声を上げる群衆を映し出し、コンサートの若々しく自由奔放なクライマックスを捉える。
さらに、AI生成ビデオでしばしば見られる過度に人工的な外観に対処するため、Seedance 2.5は、オブジェクトのテクスチャ、肌や目の特徴、照明、色の彩度などの詳細を体系的に最適化します。このモデルは、字幕やBGMの制御不能な発生も最小限に抑え、実写映像のシネマティック品質に非常に近い最終製品を提供します。
マルチモーダル参照機能の包括的なアップグレードにより、複雑なクリエイティブタスクに対するコントロールが向上
Seedance 2.5は、マルチモーダル参照生成機能をさらに強化します。一度のパスで最大30枚の画像、10本のビデオクリップ、10本のオーディオクリップを参照資料として入力できます。より大量で多様な参照により、ユーザーの意図をより良く捉え、より多くの被写体、より豊かなシーン、より柔軟なカメラワークを持つ複雑なビデオを生成できます。
このモデルは、すべての資料にわたるビジュアル構成、シーン、スタイル、キャラクター、小道具などの要素を包括的に理解し、指示通りにビデオ生成プロセスに適用します。マルチキャラクターショットやグループストーリーテリングのような複雑なシナリオでも、複数のキャラクターの外見と声を維持しながら、各被写体の特徴を安定させることができます。
[動画: 您的浏览器不支持视频播放。]
R2V プロンプト: 16:9 横長の30秒のコンサートシーケンス。シネマティックなリアリズム、本格的なコンサートホールの照明と影、温かいゴールデンステージ照明、フォーマルなクラシックコンサートの雰囲気。会場には@Image 1を使用。ピアニストには@Image 2を参照。チェロには@Image 3を参照。ヴァイオリンには@Image 4を参照。リードボーカルは@Image 5に厳密に従うこと。オーケストラの残りは@Images 6から10を参照。合唱隊は@Images 11から14を参照。観客席は@Images 15から18を参照。リードボーカルがセンターステージから最前列に向かって歩く。ピアニストはピアノのそばに配置される。オーケストラは両側と後方に配置される。合唱隊はステージ後方に立つ。コンサートホールの全体を俯瞰する高アングルショットで開始。ピアニストが鍵盤を叩き、リードボーカルがスポットライトに入り歌い始める。カメラはヴァイオリン、チェロ、オーケストラが演奏する様子を自然に横切り、ヴァイオリンは明るく、チェロは暖かく感じられる。後半では合唱隊が加わる。リードボーカルは最前列の観客と短いアイコンタクトを取り、観客は笑顔で軽く頷いて応える。最後のショットでカメラは引き戻される。歌が終わり、観客が拍手喝采する。
Seedance 2.5は、クレイレンダリング、モーション、クリエイティブ参照などの特定の参照機能も強化し、ユーザーに被写体、アクション、フレーム内のカメラワークに対するより細かいコントロールを提供します。例えば、クレイレンダリング参照を使用すると、ユーザーはテクスチャのない3Dモデルを使用してシーンの空間構造、キャラクターのポーズ、モーションパス、カメラアングルを構築できます。モデルはその後、この構造を使用してビデオを生成し、複雑なショットの構成とブロッキングがクリエイターの期待に厳密に一致することを保証します。さらに、Seedance 2.5は照明コントロールを改善します。クレイレンダリングからの空間情報を活用することで、光源の方向、色温度、強度、影の投影など、物理法則に従うリアルな照明効果を生成します。これにより、最終出力でより自然な光と影が得られます。
[動画: 您的浏览器不支持视频播放。]
R2V プロンプト: カメラワーク、ペース配分、ショットサイズ遷移、被写体軌道、ブロッキングについては@Clay Render 1を参照。キャラクターデザイン、シーン、素材、照明、色、おとぎ話のような雰囲気については@Image 2を参照し、白いモデルを子供のようなファンタジー感のある、夢のような、温かい3Dアニメーションショートとしてレンダリングしてください。物語は次のように展開します:ファンタジーの空を飛行 → 雲の海を一緒に飛ぶ神話の生き物 → 海へのダイブ → マンタレイと一緒に深海を縫う → 時空の鏡の裂け目を通過 → 宇宙から星を拾う → 寝室に戻る → 父が毛布をかける → 絵本が閉じ、最後のフレームで静止する。
より精密で信頼性の高い編集により、クリエイティブ効率を向上
ビデオ制作では、ユーザーは通常、生成プロセス中のペース配分を制御し、その後で詳細を微調整する必要があります。アクションが発生する正確な秒、カメラカットの正確なタイミング、特定のクリップでのキャラクターの動きの調整が必要かどうかは、すべて最終結果に大きな影響を与えます。より精密で信頼性の高い編集機能により、クリエイターはアイデアを正確に具現化でき、効率を向上させ、繰り返し生成のコストを削減できます。
Seedance 2.5は、タイムスタンプによる精密なコンテンツ編集をサポートします。生成フェーズ中、ユーザーはプロンプトを使用して、特定の時間枠のナレーション、カメラパースペクティブ、動き、全体的なリズムを制御し、出力をクリエイティブな意図により密接に一致させることができます。生成後、ユーザーは特定のクリップ内のキャラクター、アクション、またはプロット要素をターゲット編集でき、編集の前後に連続性とリアリズムを維持できます。
Seedance 2.5は、グリーン スクリーン編集、カメラ パースペクティブ編集、参照ベース編集などの複数の編集機能も強化し、映画や広告のようなプロフェッショナル分野の厳しい要求に応えます。例えば、グリーン スクリーン編集では、モデルは背景を置き換え、主要な被写体をそのまま維持しながら、まったく異なるストーリーを語ることができます。さらに、被写体が新しい環境の物理法則にどのように反応するかをレンダリングすることに優れています。これには、衣服のなびき方、髪の状態、歩行のリズム、照明との相互作用などが含まれ、被写体がシーンと調和して溶け込むことを保証します。
[動画: 您的浏览器不支持视频播放。]
R2V プロンプト: @Video 1 を使用して、グリーン スクリーン背景、障害物、衣装、サポートキャラクターをレンダリングしてください。0~4秒: 屋外トレーニング、障害物を岩、レンガ、タイヤ、木箱に置き換える。4~10秒: ロッカールーム、友人たちが励ましの言葉をかける。10~15秒: 国際試合、トレーニングポールをオリジナルディフェンダーとゴールキーパーに置き換え、主人公がゴールを決める。全体的にフォトリアルでシネマティックな品質。
[動画: 您的浏览器不支持视频播放。]
R2V プロンプト: @Video 1 を編集してください。キャラクター、アクション、ビジュアルスタイルは変更しないでください。カメラワークのみを調整してください。15秒のセグメント化されたカメラプラン: 0~4秒、マイクロFPVムーブがパンのすぐ近くをかすめ、次にトーストが飛び出すのを追い、コーヒーにウィップパンする。4~7秒、パンの縁に沿ってプッシュインし、横方向にトラッキングし、目玉焼きが飛び上がって元の場所に戻るのを追う。7~11秒、トップダウンビューに急速に上昇し、次に一定のペースで下降し、プレートとキーを横切るようにスキャンする。11~15秒、ハンドヘルドクローズアップを使用して、速い横方向のウィップで手を追い、次に朝食にプッシュインし、ミディアムツーショットに引き戻す。シーケンス全体をスムーズ、連続、安定させる。
より広範な産業シナリオへの深化、実世界の価値の継続的な探求
モデルの機能が進化するにつれて、Seedance 2.5は教育や製造業など、より広範な産業シナリオに深く入り込んでいます。教育分野では、このモデルは実際の学習環境に入り始めています。例えば、Seedance 2.5は、授業の歴史的背景、登場人物、ストーリーラインを、より鮮やかで没入感のあるビジュアルに変えることができます。また、教師が教材ビデオをより効率的に制作するのを支援し、抽象的なコンテンツ(科学原理、歴史的出来事、実験手順など)をダイナミックなデモンストレーションに変えます。これにより、教育教材制作のハードルが下がるだけでなく、非常に柔軟なコンテンツカスタマイズが可能になります。
[動画: 您的浏览器不支持视频播放。]
Doubao Learningアプリの「Doubao Classroom」シナリオの例
R2V プロンプト: 表現力豊かな東洋絵画スタイル。南宋時代の臨安の街並み。数人の子供たちが賑やかな通りを走り回り、「振り返ると、そこに彼がいる、提灯の灯りが消えゆくところに」と叫んでいる。カメラは子供たちを追い、賑やかな通りを駆け抜ける。カメラはその後、@Image 1の辛棄疾(シン・チーチー)が現れるように上方に傾く。辛棄疾は頭を向け、遠くには消えゆく提灯の灯りの中に立つ男がいる。ショットは全体を通して連続している。
産業製造、具体化された知能、自動運転などの分野では、Seedance 2.5は非常に特定の生産ワークフローに統合されつつあります。このモデルは、ロボットの知覚および操作スキルをトレーニングするのに役立つ高品質な合成ビデオデータを生成できます。また、産業シミュレーション、プロセス トレーニング、機器デモンストレーションにも利用されています。自動運転においては、モデルは極端な気象条件や複雑な交通状況のようなロングテールシナリオをシミュレートし、システム テストとトレーニングのために、より多様なサンプルを提供できます。
[動画: 您的浏览器不支持视频播放。]
R2V プロンプト: @Clay Render 1 からカメラワーク、構成、ショットスケール、空間関係、部品位置、モデル構造、組み立て順序、モーションパスを参照してください。@Image 1 から素材、照明、色、反射、雰囲気を参照し、クレイレンダリングをハイエンドでフォトリアルな車の組み立てシーケンスにしてください。
要約と今後の展望
Seedance 2.5は、現実世界を理解しレンダリングする上で大きな一歩を踏み出し、ビデオ生成をクリップレベルの出力から包括的なクリエイティブワークフローへと引き上げました。同時に、特に複雑なモーションの物理的な妥当性や、複数の被写体間の相互作用を伴うシーンの安定性に関して、まだ改善の余地があることを認識しています。
今後、Seedチームは、より一貫性のあるストーリーテリングを探求し、より直感的な生成および編集エクスペリエンスを提供し、モデルの現実世界の物理法則に対する理解をさらに深めていきます。Seedanceモデルがより鮮明に、より制御可能に、そしてユーザーの意図をより良く理解できるようになり、より多くのユーザーがクリエイティブなアイデアを表現するのを支援しつつ、より広範な産業ニーズを探求し、サービスを提供し続けることを願っています。