Runway Gen-2の生成動画時間制限の壁を超えるアイデア
さて、まずは現在の仕様上限である「16秒より長いシーンを作成するアイデア」を紹介しましょう。
これまで動画生成AI『Gen-2』で生成できる動画は4秒まででしたが、8月10日のアップデートにより最長16秒の動画生成が可能になりました。この機能は生成した動画を4秒ずつ延長していくものです。
しかし、16秒でもまだ短い！もっと長い時間を生成したい！と考える方もいらっしゃるでしょう。そこで、紹介するのが下記のアイデアです。
■Gen-2で16秒より長い動画を生成する方法
【1】. 画像生成AIなどでベースフレームとなる画像を用意する。
【2】. Gen-2で【1】の画像から動画を生成し、延長して最大16秒の動画を生成。
【3】. 【2】の動画の最後のフレームのスクリーンショット画像を取得する。
【4】. 【3】の画像からGen-2で動画を生成する。
【5】. 【3】～【4】の工程をお好みで繰り返す。
【6】. 動画編集ソフトですべての動画をつないで編集する。
ポイントはステップ【3】～【4】の工程です。最大まで拡張した動画の最後のフレームのスクリーンショットを取得し、その画像を元にGen-2で動画を生成することで、動画の続きのシーンを生成することができ、それらの動画をつなぎ合わせれば、事実上無限に長い動画が作成できるというわけです。
違和感なく連続したシーンが生成できるかは運次第であることと、延長を重ねるたびにだんだんとフレーム描画があいまいになっていくので、実際には延長しすぎると動画崩壊を起こしてしまうのですが、それでもこの方法を知っておくと、表現の幅は広がるかと思います。
おそらくですが、今回のアップデートで行われた生成動画時間の延長も4秒ずつであることを考えると、Gen-2の動画生成はアップデートされたあとも相変わらず4秒単位でしか行えず、このTIPSと同様に、生成した動画の最後のフレームをキーフレームとして4秒の動画を生成し、前の動画とつなげているのではないかと思います。
Runway Gen-2で長尺の動画の作成手順その1
画像を用意する
それでは、先に紹介したステップに沿って動画を作っていきましょう。
まずはベースとなる画像を用意しましょう。ここではMidjourneyを使って生成しますが、それ以外のツールを使って用意した画像でもかまいません。
今回の方法では、テキストプロンプトを使わずに画像のみを使って動画を生成していくため、画像の選定が重要になります。
Gen-2に向かない画像を動画化すると、失敗してしまい無駄にクレジットを消費してしまうことになりますので、画像生成の前にどのような画像を使えば動画化が成功しやすいかを確認しておきましょう。
ただし、失敗するときは失敗します。というか失敗する確率の方が高いです（笑）。筆者自身の体感としては、5回生成して1つ満足のいくものが生成できるかどうかくらいのイメージです。何度もトライアンドエラーを繰り返す気持ちで遊んでみてください。
■Gen-2で失敗しない画像を選ぶコツとポイント
1. アニメ系の画像は崩壊しやすく、写真系の画像は成功しやすい
2. クローズアップ構図の方が成功しやすい
3. 複雑なディティールの画像は失敗しやすい
4. 自然物のように動きのイメージが容易に想像しやすいものがよく動く
（ 雨、滝、海の波、風に揺れる植物、キラキラと光る星空、水に溶けてマーブル模様をつくる絵の具など）
アニメテイストよりもリアルテイストの画像の方が動画として成功しやすいです。ただし、新 清士さんの記事にもあるような絵画調のイラストもきれいに動画化できるケースもあるようです。
また、背景が複雑な絵は失敗しやすいので、ディティールをシンプルにするか、被写体にクローズアップした構図にすると成功率がアップします。
ここでは下図の女性の画像を例に次へ進みます。
■極寒仕様装備の女性の自撮り画像のプロンプト
Selfie of beautiful girl wearing extremely cold weather down jacket on ice in Antarctica, red knit cap, Layering heavily, happy smile, hyper quality , weight gain from clothing, neck warmer, photo from national geographic, 32k --ar 3:2
訳：南極の氷の上で極寒のダウンジャケットを着た美少女のセルフィー、赤いニット帽、重ね着、幸せそうな笑顔、ハイパークオリティ、衣服による体重増加、ネックウォーマー、ナショナルジオグラフィックからの写真、32k
■画像のアスペクト比について
筆者は上の画像のアスペクト比を3:2で出力していますが、比率は作成する動画サイズに合わせてください。よくわからないという場合は、PCで再生される横長の動画によく用いられる比率である「16: 9」が良いでしょう。これはPC版YouTubeの標準的な比率です（YouTubeショート動画の場合は9:16）。
Runway Gen-2で長尺の動画の作成手順その2
Gen-2で画像から動画を生成する
画像が準備できたらRunway Gen-2のサイト(https://research.runwayml.com/gen2)にアクセスします。トップページの「Try Gen-2 in Runway」をクリックしてダッシュボードを開きます。ログインが必要になりますので、アカウント登録がまだの方は無料登録しましょう。
■Gen-2の料金について
Runway（Gen-2）は、専用のクレジットを消費して動画を生成します。
デフォルトのフリープランユーザーは、およそ動画生成25回分である125クレジットだけ無料で使うことができます。しかし、遊んでいるとあっという間に無くなってしまうのですが、フリープランでクレジットの追加購入ができないため、クレジットを手に入れるには月額プラン（12ドル～）の加入を検討する必要があります。
とりあえず一か月だけ使いたい場合は、最安の12ドルのスタンダードプランの加入後にすぐにキャンセルすれば、加入日から1か月使うことができ、キャンセルを忘れて自動課金されてしまうこともありませんのでおすすめの方法です。ただし、お伝えしたように失敗する確率が高いため、冒頭で紹介したくらいの長さの動画を作成するには追加購入が必要になるかと思います。
ダッシュボードが表示されます。いくつかの機能が並んでいますが、今回使うのは「Text-to-Video」なのでこちらをクリックします。
■Runway Gen-2の設定
まずは設定を見てみます。入力欄の左下のアイコン（図①）をクリックして設定を開きます（図②）。
現在設定可能なパラメーターは次のとおりです。
| 設定項目 | |
|---|---|
| 設定名 | 内容 |
| Seed（シード値） | シード値。画像を何度か生成する場合、 同じシード値を使うとある程度一貫性を保てる |
| Interpolate（補完） | フレーム間を補完して画像を滑らかに見せる |
| Upscale （アップスケール） |
ビデオの解像度を自動的に向上させる （生成時間が若干長くなる可能性がある） |
| Remove watermark （透かしの削除） |
動画右下に表示されるGen-2の透かしを非表示にする |
動画にウォーターマークを表示させたくない人は、［Remove watermark］のチェックを有効にしましょう。
[Interpolate]と[Upscale]は、動画のクオリティを上げるにはどちらもチェックをオンにした方がいいでしょう。
筆者は、すべてのチェックをオンにして全ての動画を生成しました。
①ベース画像をドラッグ＆ドロップで設置して、②Generateボタンを押します。
1～3分待つと次のように動画が生成されます。その場で動画を再生し、気に入らない場合は、シード値を適当に変えてもう一度実行してみるか、元画像を変えてみましょう。
気に入った動画は、下図赤枠の［Extend 4s］をクリックすると拡張することができます。これが冒頭で解説した新機能です。
気に入れば動画の右上のアイコン（下図赤枠）から自分のPCにダウンロードします。
なお、生成には数分待たなければいけませんが、生成している間に次の生成を行うことができます。
テキストプロンプトは使わないのか？ という疑問を持つ方もいるかもしれませんが、今回のテーマである「画像のキャラクターを動かす」という目的においては、テキストプロンプトは使用しません。テキストプロンプトを使用した場合、イメージプロンプトに入力した参考画像はほぼ構図だけが踏襲されるだけになり、キャラクターの絵柄などの重要な要素のほとんどが無視されてしまうためです。
テキストプロンプトが望むように機能しないため、結果はAI次第で失敗が多いという点が、現在のGen-2の最大の難点と言えるかもしれません。この点は、今後のアップデートで改善されていくはずなので今後の更新情報に期待しましょう。
Runway Gen-2で長尺の動画の作成手順その3
動画の最後のフレームのスクリーンショット画像を取得する
動画が生成できたので、次のシーンのベースとなるスクリーンショットを取得しましょう。
動画再生ソフトを使って動画を再生したら最後のフレームで一時停止します。その動画部分だけを切り抜く形でスクリーンショットを撮影します。
Runway Gen-2で長尺の動画の作成手順その4
スクリーンショット画像からGen-2で動画を生成する
スクリーンショットを取得できたら、この画像を元にもう一度Gen-2で動画を生成します。
これで16秒の動画が2つ作成できることになりますので、つなぎ合わせれば32秒の動画をつくることができます。この工程を繰り返して動画を拡張していきましょう。
今回は下図のように2つの動画を作成しました
動画の順番がわからなくなってしまわないように、ファイル名に連番をつけておくといいでしょう。
Runway Gen-2で長尺の動画の作成手順その5
動画編集ソフトですべての動画をつないで編集する
さて、動画が揃ったら動画編集ソフトでつなぎ合わせましょう。お好きな編集ソフトを使っていただければと思いますが、ここでは「Flexclip」をご紹介します。
「FlexClip」：動画編集の知識がなくても簡単に動画編集できるクラウドサービス
Flexclipは、ブラウザ上で動作するオンラインの動画編集サービスです。UIがシンプルで操作が簡単なので、動画編集未経験の方でも触りやすいかと思います。
また、無料の音楽メディアやトランジション機能も使えますのでPV風の動画も作成できます。無料版は、出力した動画に透かしが付く等のいくつかの制限があります。
FlexClipのサイト(https://www.flexclip.com/jp/)にアクセスしたら、［ビデオの作成］をクリックし、動画サイズ[16:9]、［タイムラインモード］を選択してプロジェクトを作成し、［メディア］タブをクリックして先ほどの3つの素材をドラッグ＆ドロップで追加します。
下図のようにメディア領域に素材を追加したら、動画素材にマウスオーバーすると表示される「＋」をクリックして画面下のタイムライン領域に追加していきます。ドラッグ＆ドロップでも追加できます。
並べたら画面右側のプレビュー領域の再生ボタンを押してプレビューしてみます。問題がなければ右上のエクスポートボタンからmp4ファイルとしてエクスポートしましょう。
エクスポート時に選択できる品質は、無料版は[720pまで]、有料版は[1080pまで]となります。
趣味でSNSで利用する場合でしたら720pでも十分かと思います。
ここで作成したのが次の動画です。動画をつなぎ合わせただけですが32秒の動画を作成することができました。
シーン拡張をやってみた感想としては、カメラが動くシーンは違和感がでやすいので、カメラが固定され、キャラクターや背景だけが動くシーンなら使いやすいテクニックかと思います。
■Gen-2の動画のカクカクについて
Gen-2で生成される動画は、映像がカクカクすることがあります。
映像のカクカクの原因の多くはフレームレートが低いことによるものが多いため、フレーム補間ができるソフトであれば改善できる可能性があるようです。下記のソフトは、AIによってフレーム補間やアップスケールができるソフトで、海外のGen-2ユーザーによって紹介されていました。
筆者も試用期間を使って試してみましたが、細かいカクカクは改善したものの、大きなカクカクの場合は元の動画にも問題があるようで満足の行く結果は得られなかったため諦めました。
この処理には、GPU性能も要求され処理時間もめちゃめちゃかかりますので、ここでの詳しい紹介は控えます。
なお、このソフトを使用する場合は、Gen-2の[Interpolate]と[Upscale]の設定はオフにした方がいいという情報があります。
週刊アスキーの最新情報を購読しよう
