Stable Diffusionを使ってアニメのキャラクタを生成していたのだが、そのアニメキャラクタに合わせてサディスティックな表情を作る必要があった。そこで、LoRAという手法を試すことにした。

Stable Diffusionを使って画像を生成していると、テーマを設定したい時がある。
鬼の角が生えたキャラクタばかりを生成したい、着物やメガネを着用した人物ばかりを生成したいなど。今回であればサディスティックな表情をテーマにしたかった。
そういった時はLoRAという方法を使って、Stable Diffusionに特徴を追加学習させる。
20〜30枚の画像を用意し、特徴を覚えさせることで、人物や背景、絵柄などを簡単に変更できるようになる。

LoRAはファインチューニングの手法よりも少ないパラメータ数で、同程度の精度が出せるため、
重みを最適化するための微分の計算量が少なくなり、訓練速度を上げることができる。

また、LoRAに学習させる画像は、視点や構図、対象との距離など、
同じような画像をたくさん追加するよりもバリエーションを増やした方が効果的だ。

ControlNetなどと組み合わせると、より自由度の高いシチュエーションを生成することができるだろう。

LoRAを導入することで無事サディスティックな表情を作ることができた。