ローエンドPCでも画像生成AIが動き、ハイエンドPCでは動画生成が可能に
Latentは目立った例ですが、画像生成AIやLLMでは最近「いかにモデルを軽量化するか」という取り組みがたくさん出てきています。
たとえばStable Diffusionについても、どんな画像データを学習すると効果があるのかという研究が進んでいます。Stable Diffusionが学習に使用している60億枚に及ぶLAIONデータセットも、実はそれほど大量のデータは品質を出す上では必要ないのではないかとの考えが出てきているんですね。これまでは数億枚もの画像を使っていましたが、7000万枚でもデータをフォローしながら動かせば、十分生成可能なんじゃないか……というのが、米コーネル大学の博士過程の年生による「CommonCanvas」という研究です。
Stable Diffusionなどの学習データとして使用されているLAIONデータセットは著作権が争点になっていますが、権利的にオープンなのが明確化されているクリエイティブ・コモンズのデータだけであっても、7000万枚あれば、昨年末にリリースされたStable Diffusion 2と同等の性能が得られるというんですね。
Stable Diffusion 2（SD2-base）で生成している画像＝左、3種のCommonCanvasの3種の学習済みデータで生成した画像＝右。品質的には遜色ないどころか、むしろプロンプトに対して正確に生成されている。画像は論文より
研究のポイントは、学習データの質をいかに上げるかというところです。
LAIONのデータは、画像からテキストを取得する「CLIP」の作業がAIによって完了しています。画像と、それが何を示しているのかというテキストがペアになっているため、学習する上で都合のよいデータになっています。一方、クリエティブ・コモンズのデータはそうしたCLIP処理をあらかじめしておく必要があるのですが、その処理過程を見直し、より正確に画像が何を示しているのかを学習したデータを作成することで、少ない枚数であっても学習済みデータの品質が上がるという結果がわかってきたわけです。
また、CommonCanvasの学習済みデータは現在公開されておらず、広範な検証はされていません。しかし、既存のデータを見直すことで、より高精度な画像生成を可能にするアプローチは今後も引き続き開発されていくと考えられます。
実際に、OpenAIのDALL-E 3は、独自のCLIPプロセスを使用して性能を向上させるアプローチを既に採用していると言われています。
週刊アスキーの最新情報を購読しよう
