一度触ってしまうと、Stable Diffusionには戻れない
何がすごいって、この体験なんです。すごく変な感じなんですよね。雑な落書き程度の品質の絵を描いているとしても、それが、その落書きをきちんと踏襲した絵がリアルタイムに出てくるというのが。まるごと絵を描いているわけではないのに、絵を描いているという感覚だけはしっかりとあります。
やっていることは、原理的には今までのStable Diffusionと同じなんです。ラフからイラストを生成するのは、「ControlNet」のラフ描き用機能「Scribble（落書きの意味、線画抽出機能）」を使っているだけ。でも、LCMがペイントソフトに統合され、生成がリアルタイムになったことで体験が劇的に変わってしまうというのが最大の驚きでした。
ただ画像を出力するだけよりも、マウスやタブレットペンを通じて、自分の手を動かすという身体行為が伴っている分、“創作行為をしている”という感覚があります。
そうは言っても、中身はStable Diffusionなので、手指が破綻したり、腕の交差するようなポースが苦手だったり、細かいディティールがおかしかったりするのですが、リアルタイムになると破綻したところだけをすぐさま修正できるようになるだけでも大きく代わります。元々絵を描く能力が高い人であれば、使用度合いを検討しつつ機能の取捨選択を行い、自分が目的とする絵を生み出すのに使いこなしていくのではないかと思います。今後、イラスト制作のワークフローが劇的に変わってくる可能性はあります。
とにかく、このリアルタイム環境を触ってしまうと、今までのStable Diffusionには簡単にはもう戻れないですよ、便利すぎて。
パソコンは比較的ロースペックでも動作する
ちなみにバックグラウンドに走っているのはStable Diffusion実行環境の「Comfy UI」。設定はほとんど自動的にしてくれるため、ほとんど迷うことはありません。まだ細かなバグが残っていて戸惑う点もありますが、予想以上に安定していてほぼクラッシュはしません。開発者のAclyさんは過去にComfy UI関連のツールも発表しているので、Comfy UIの中身を的確に理解した優秀な方だなと感じます。
PC環境は割とロースペックでもOKで、たとえばGeForce RTX 3060でも動くようです。ただし、大きいサイズでやるとさすがに重くなるんですが。Aclyさんのデモでは、RTX 4070の環境で、512x640ピクセルの画像が0.6秒ごとに更新されるとされています。
モデルには好きなチェックポイントを入れられます。画像生成AIのベースとしてはStable Diffusion XL（SDXL）も旧来版のStable Diffusion v1.5も使えますが、SDXLはControlNetに一部しか対応してないので、筆者はv1.5を中心に使っています。
また、筆者環境はRTX 4090で、1200x1600ピクセルといった広めのサイズで試しています。生成速度は約5秒で一度更新されるくらいと少し遅れが出るようになりますが、十分に実用に耐えられるという印象です。
週刊アスキーの最新情報を購読しよう
