Stable Diffusion入門 from Thailand

第5回

画像生成AI「Stable Diffusion XL」が簡単に使える「Fooocus」。画像から画像が作れる「Image Prompt」が便利です

　前回に引き続きStabilityAIの最新画像生成モデルSDXLを簡単に使えるWebインターフェイス「Fooocus」の新機能を紹介していく。

　「Fooocus」のインストール方法はこちらを参照。なお、一度インストールしてしまえばアップデートは起動時に自動でかかるため利用者が意識することはない。

「Discussions」一覧

　アップデートの内容についてはGitHub内のDiscussionsページを参照しよう。

作者によるヘルプページ

　新機能が追加されると、Discussionsページに作者からのアナウンスが掲載されることがあるので、参考にするといいだろう。また、作者に質問したりフィードバックを残したい場合などにもこのページを利用できる。

Image Promptを活用する

　Image Promptとは、テキストの代わりに画像をプロンプトとして用いる手法だ。

　Midjourneyでは以前から利用可能だが、Stable DiffusionではControlNetのIP-Adapterを使用するなど工夫が必要なうえに、プロンプトを無視したり複数の画像を使った生成がうまくいかなかったりといった問題があった。

　FooocusのImage Promptでは、これらIP-Adapterの弱点がすべて解消しているとのことだ。

　さっそく試してみよう。Fooocusを起動したら前回同様プロンプトウィンドウの下にある「Input Image」をクリック。続けてその下に表示される「Image Prompt」タブを選択する。

　すると、4つの画像を配置できる枠が表示される。Image Promptでは最大4つの画像をプロンプトとして活用できるのだ。

まずは単純にimage 2 image

　まずは単純に1枚の画像で試してみよう。左上のスペースに画像をアップロード（またはドラッグアンドドロップ）し、プロンプトにはなにも入れずに生成してみる。

　銃を持ち替えた画像と、女性がアップになった画像が生成された。構図は多少変わるものの基本的に元画像のバリエーションが生成されるようだ。

プロンプトを足してみる

　では、先ほどの画像はそのままに「ヘルメットをかぶった男性」というプロンプトを加えて生成。

　構図や背景はそのまま、顔だけが男性になった画像が生成された。ただしヘルメットはかぶってくれず手に持っているに留まった。

複数のイメージを合成

　次に複数の画像をプロンプトとして入力してみよう。

　どちらかと言えば、1枚目より2枚目の影響が強めの画像が生成された。

画像間の重みを変える

　画像間の重みを変えるにはImage Prompt欄の左下に表示されている「Advanced」にチェックを入れる。

　画像の下に詳細設定画面が表示される。ここでは生成画像への影響力を調整する「Weight」の値を変更、デフォルトの「0.6」から、1枚目を「0.8」にして影響力を強め、2枚めを「0.4」にして影響力を弱めることが狙いだ。

　よし、構図・キャラクター共にいい感じで混ぜることができた。

たくさんの画像をMIX

　それでは応用編として4枚の画像を混ぜてみることにする。Weightの他に「Stop at」の値を変更することもできるが、こちらはあまり画像への影響力はないようだ。

　それよりも、その下に配置されている4つのボタンの方が重要だ。これはおそらくControl NetにおけるControl Typeのようなもので、画像の特徴を抽出する手法を変更できるようだ。特に「FaceSwap」は強力で、文字通り顔だけを抽出して元の顔とすげ替えることができる。当然利用には細心の注意が必要だ。

　それでは、この4枚の写真をベースにパラメーターを変更しながら何枚か生成してみよう。

　1枚目と2枚目が絶妙にミックスされている。

　こちらは2枚目と3枚目、特に3枚目の影響が強い。

　4枚目の猫要素が反映されないなあ、、とWeightを爆上げした結果このようなものも……。

　以上、ごく簡単ではあるがImage Promptを使ってみたが、Weightの調整と追加プロンプト次第でかなり創作の自由度が上がるのではないかと感じた。