Stable Diffusionと組み合わせると便利に
Adobe Fireflyは、Stable DiffusionやMidjourneyといった既存の画像生成AIとどうつながってくるのか。試してみた中では、両者ともに得意なところ、不得意なところがあるので、組み合わせると便利だなという感覚でした。
たとえば、先ほどのFireflyで拡張して作成した画像を、Stable Diffusionに持っていき、元の画像から別の画像を生成する「image2image(i2i)」に乗っけてしまえば、全体的な雰囲気を補正できます。「Tile」機能を使って、描き込みが足りないところを補填することもできます(Stable Diffusionのディテールアップ機能。詳しくは「画像生成AIに2度目の革命を起こした『ControlNet』」参照)。
実際にどんな画像ができるかというと、こういう3人のキャラクターが並んでいる画像が作れます。
これ、実はすべて背景画が別の4枚の画像を合成したものなんです。何をしたかというと、まず1枚目でAdobe Fireflyで背景だけの画像を生成します。残りの3枚からはキャラクターだけの画像を抽出します。そしてPhotoshop上で人物と背景をくっつける。それだけでは違和感があるので、影などを書き足し、最終的にもう一回Stable Diffusionに戻してi2iをしてなじませてやると、比較的自然な仕上がりになりました。
こういう使い方は今後増えるでしょう。i2iの機能はまだPhotoshopに搭載されていないので、Stable Diffusionのほうが得意かなという印象です。
Stable Diffusionでも「Firefly」的な機能が使えるように
ところで、5月29日に、ControlNetを開発したlllyasvielさんが、「inpaint」という機能を使い、完全ではないにせよAdobeFireflyと同じようなことを実現するアップデートを実施ました。わざと空白部分を使って、その部分を埋めるようにStableDiffusionに指示するとプロンプト(指示テキスト)なしでも、画像を埋めてくれるようになりました。
AdobeFireflyは「多段階サンプリング」という統計手法を用いて画像を生成しているようで、仕組み的にそれが入っていないStable Diffusionとは処理方法が違っています。
しかし、Stable Diffusionは画像を参照することで、生成過程の画像に影響を与えることができるため、その方法を応用して、空白の画像であっても、一定の結果を出すことに成功しているようです。たとえば、女の子の下半身を消してしまった状態で生成すると、下半身が追加されて出てくるんですね。
ただし、ここにも得意不得意は明確に出ていて、人物についてはStable Diffusionがきれいに出る傾向があるようです。
一方、人物を切り抜いて、背景だけを生成させた場合は、AdobeFireflyの方が圧倒的に自然に出ます。また、背景のみ生成すると、Stable Diffusionの場合、関係のないオブジェクトが出てきてしまいます。生成AIの手法により、生み出されるものの結果に差が出ているともいえます。やはり切り抜きについてはAdobe Fireflyの優秀さがよくわかります。
週刊アスキーの最新情報を購読しよう