Stable Diffusionで生成する画像を好みの画風にしたい時がある。
例えば写実的な画像ではなく、アニメ画像にしたい時など。
こういった場合は、Stable Diffusionで利用するモデルをアニメ画像に特化したものにすることで、生成する画像をアニメ風にすることができる。

ただ、場合によってはもう少し細かい希望が出てくるかもしれない。
例えば、特定のアーティストの画風に似せた画像を生成したいがそのようなモデルがない場合や、自分の画風に似せた画像を生成したい場合などだ。

そういった時は、Stable Diffusionをファインチューニングする。
ファインチューニングは元になる大規模な学習データには手を加えずに、3枚〜5枚程度の画像を追加してあげるだけで、その画像の特徴を捉えた新たな画像を生成できるようになる技術だ。

試しに以下のアーティストの画風を取り込んでみた。
https://huggingface.co/sd-concepts-library/kuvshinov

その結果が以下。

学習前ではこのような画像は同じプロンプトでも生成できないが、ファインチューニングを行うことで取り込んだアーティストが描いたような画像を生成することができる。もちろん素人の描いたものでもOK.