ControlNetの主な機能
当初提供されたControlNetの機能は8種類。中でも代表的なものが「OpenPose(オープンポーズ)」という機能です。
これは入力画像として写真などの情報を読み取らせると、その入力画像がどのような姿勢をしているのかということを解析し、棒人間状のデータに変換して、そのポーズに沿った画像を生成してくれる機能です。キャラクターに任意のポーズをさせることはこれまで非常に難しかったのですが、その問題が一気に解決されました。
「Canny(キャニー)」という機能は、入力画像から線画を生成し、その線画に沿って新しい画像を生み出してくれる機能です。これによって、同じような雰囲気を持たせながら、全く違った画像を作り出していくということが可能になりました。
今年4月に入ると、アップデート版のControlNet v1.1が配信。それまでの機能が強化された上、さらに、「Lineart(ラインアート)」や「Shuffle(シャッフル)」など、非常に強力な6種類の新機能が追加されました。
LineartはCannyの機能を発展させたもので、画面内の余計な不自然な線を消し、人物などの画像に絞り込んで線を抽出してくれる機能。キャラクターを再現しやすくなります。例えばLineartで特定のキャラクターの画像からデータを抽出した後に、プロンプトを通じて、髪の色を変えるといったことがより正確にできるようになりました。
Shuffleはまったく違ったアプローチの機能で、入力画像を指定すると、その画像情報に合わせて画風を変えてくれます。たとえば、葛飾北斎の神奈川沖浪裏を指定すると、北斎の画風に影響を受けた雰囲気の絵が生成されるんですね。白黒二値の画像を指定すると、絵が漫画風のシンプルな画像に変化します。
さらに5月に入って、「Tile(タイル)」というまた強力な機能が追加されました。
入力画像を小さなセグメントに分割し、再度プロンプトの情報を反映させることで、画像のディティールを上げる機能です。画像をアップスケールすることで情報を追加する方法もありましたが、Tileは元画像のイメージを大きく変えることなく情報量を増してくれます。
週刊アスキーの最新情報を購読しよう