無料でMaginific.AIとほぼ同じことができる「カクダイV1」
カクダイV1では、Maginific AIと同様のことができる環境をComfyUI向けに無料公開しています。ComfyUIはノードベースの「ワークフロー」と呼ばれるスクリプトによって制御され、どのような仕組みでカクダイV1が動作しているのかを見ることができます。
Marvericsでは、使用環境としてグーグルのクラウド環境「Google Colab」向けのノートブック(有償)、ローカルPC向けの環境を紹介しています。またGPT-4VのAPIを利用して画像のプロンプトを解析するため、OpenAIに有償登録してAPI Keyを取得しておくことが必要になります(ない状態でも動作可能です)。
筆者はローカルPC向け環境の構築に挑戦したのですが、カスタムノードのインストールに詰まって動作させられなかったため、Google Colabで検証しました。
カクダイV1は、すでに公開されている技術をうまく組み合わせて、Magnific AIに近いことを実現しようというやり方を取っています。Mavericksが公開したnoteによると、生成は5つのステップに分かれています。
1. GPT-4Vで画像を解析してプロンプトを作成
2. 2023年12月に発表されたStable Diffusionベースの新しいアップスケーラー技法「CCSR」を使い、画像を高解像度化(ディフォルト設定では4倍)
3. 拡大した画像を複数のタイルに分割し、ControlNetやLoRA(Tile)でi2iを実行
4. 「Multi Diffusion」でさらにアップスケール
5. カラーマッチ手法で色味を整える
推奨サイズは400x400ピクセル以下とされていますが、大きなサイズでも生成できます。Google Colabで検証したところ、Stable Diffusionの基本単位である512x512ピクセルで試した生成時間は6分程度。4倍がデフォルトということもあり時間がかかります。大きな画像サイズだと10~15分程度です。
同じ画像でMaginific AIと比べてみたところ、カクダイV1が得意なものと、そうでないものもありそうだと感じました。人物などは元の画像を再現しながらディティールを追加してくれます。一方、自然物は、形状次第ですが、解釈が元画像から変わった部分もありました。
同じ画像をMaginific AIでアップスケールした場合、独自解釈が増える部分があるものの、情報量が増えることできれいに見えてしまうという傾向もあり、生成品質だけで言えば、カクダイV1はMagnific AIに迫っている部分もあると感じました。
カクダイV1にも「Denoise」や「ControlNet Strength」といったパラメータ設定があり、時間を掛けて試行錯誤をすると最適な設定が見つかってくるかもしれないとは感じました。ただし、Midjouney v6の基本サイズが大きい画像をアップスケールする場合は生成にかなり時間がかかるので、普段利用をしていく場合にはそこが課題になりそうです。
週刊アスキーの最新情報を購読しよう