参照動画生成 (Reference-to-Video)の定義
Reference-to-Video(参照動画生成)とは、人物や商品などの参照画像・参照動画とテキストの指示をもとに、見た目を保ったまま新しい動画を作る動画生成AIの機能のことです。R2Vとも略されます。
- 英語表記・略称
- Reference-to-Video(R2V)
- 入力するもの
- 参照画像(モデルによっては参照動画も)とテキストプロンプト
- 主な目的
- キャラクターや商品の見た目を、シーンやカットをまたいで同じに保つこと
- 早い時期の例
- Vidu 1.5(生数科技 Shengshu Technology、2024年11月)の「Multiple-Entity Consistency」。関係のない人物・物・背景の画像を1本の動画にまとめる
- 対応する主なモデル
- Vidu(API名 reference2video、被写体は最大7つ)、Alibaba Wan シリーズ、Seedance 2.0、Runway Gen-4
- 似た機能との違い
- 参照動画の「動き」を静止画の人物に移す処理(例:Wan2.2 Animate Move)は、見た目を保つR2Vとは別の機能
参照動画生成 (Reference-to-Video)とは(詳しく解説)
Reference-to-Video(参照動画生成、R2V)は、動画生成AIに「この人物」「この商品」といった見本を渡し、その見た目を保ったまま新しい動画を作る機能です。見本には主に画像を使い、モデルによっては動画も渡せます。あとはテキストで、どんな場面で何をさせるかを指示します。 テキストだけで動画を作ると、カットごとに顔や服装が変わりがちです。R2Vは参照素材で見た目を固定するので、同じキャラクターが別々のシーンに登場する動画や、同じ商品を背景違いで見せる広告動画を作りやすくなります。2024年11月に生数科技(Shengshu Technology)が出したVidu 1.5は、関係のない人物・物・背景の画像を1本の動画にまとめる機能を打ち出しました。 いまはViduのほか、AlibabaのWanシリーズ、Seedance 2.0、Runway Gen-4などが参照からの動画生成に対応しています。Vidu APIのreference2videoでは、被写体を最大7つまで指定できます。Wanの一部モデルは、参照動画から人物の見た目や声を読み取る使い方もできます。 似た言葉にImage-to-Videoがあります。こちらは1枚の画像を最初のコマとしてそのまま動かす機能で、構図も元画像に縛られます。参照動画の動きを静止画の人物に移す「モーション転写」も別の機能です。使うときは、1つの参照素材に1人だけが写ったものを選びます。Wanのドキュメントでも、参照素材1つにつき1人と指定されています。
参照動画生成 (Reference-to-Video)のよくある質問
Q. Reference-to-VideoとImage-to-Videoの違いは何ですか?
Image-to-Videoは、1枚の画像を最初のコマとしてそのまま動かします。Reference-to-Videoは、参照した人物や物の見た目だけを引き継ぎ、構図や背景はプロンプトに合わせて新しく作ります。
Q. リファレンス動画(動画参照)とは何ですか?
動画生成AIに見本として渡す動画のことです。Wanの一部モデルなどは、参照動画から人物の見た目や声を読み取り、新しいシーンの動画に登場させられます。
Q. Reference-to-Videoで参照画像は何枚使えますか?
モデルによって違います。Vidu APIのreference2videoでは、1回の生成で最大7つの被写体を指定でき、被写体ごとに画像を3枚まで付けられます。
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます(CC BY 4.0)。
出典: AI PICKS AI用語辞典「参照動画生成 (Reference-to-Video)とは」 https://aipicks.jp/glossary/reference-to-video
参照動画生成 (Reference-to-Video)の使用例
- 商品写真を参照素材にして、同じ商品が異なる背景で動くプロモーション動画を生成する使い方が一般的とされる。
- キャラクターの参照画像を複数アングルで用意し、シーンごとに一貫した見た目の動画カットをつなげる制作フローが広がっているとされる。
参照動画生成 (Reference-to-Video)に関連するAIツール
参照動画生成 (Reference-to-Video)の関連記事
12カテゴリ・1795語以上を体系的に整理しています
