Stable Diffusionで動画生成「AnimateDiff」に注目
いま、AIによる動画生成はホットな分野です。
ランウェイは今年2月、動画生成に関する論文を発表していますが、実はこれを受ける形でStable Diffusionでも同様の研究発表がありました。それが7月10日に登場した「AnimateDiff」。ビデオクリップで独自に訓練した「モーション・モデリング・モジュール」という仕組みによって、首尾一貫した動画を生成可能にするというものです。
花火#AnimateDiff
— Artoid XYZ (@Artoid_XYZ) July 30, 2023
AI Art / StableDiffution pic.twitter.com/9N8ZZbHTxj
AnimeteDiffの作成例
AnimateDiffは上海AIラボ、香港中文大学、スタンフォード大学の共同研究。ControlNetを作ったチャン・リュミンさんが所属していた大学が関わっていることもあり、画像生成AIでの研究人脈も感じられますね(「画像生成AIに2度目の革命を起こした『ControlNet』」参照)。
発表時には60GBものビデオメモリーが要求されるなど動作環境のハードルが非常に高く、事実上、専用の環境でなければ動作不可能なものでした。ところが発表後わずか1週間で12GBまでビデオメモリー容量を下げる方法が見つけられ、ビデオメモリー24GBの「NVIDIA GeForce RTX 3090」以上なら動作することが確認されました。
その後「Stable Diffusion web UI(AUTOMATIC1111 版)」の拡張機能として移植され、専用の独立したソフト「Vision Crafter」も登場しました。複数の画像を同時に作るという性質からビデオメモリーの要求は高く、動作環境を持つ人は限られますが、アニメ風のキャラクターであっても自然な動きを実現できる可能性が出てきています。
現在は2〜6秒程度の生成ができますが、長時間になるほど破綻する絵が出る傾向が高いようです。
AnimateDiff専用アプリ「VisionCrafter」で生成した6秒の動画サンプル。生成時間はNVIDIA GeForce RTX 4090環境で3分程度。自動生成の音楽生成機能も入っている
週刊アスキーの最新情報を購読しよう