以下のページにgoogle colab へのリンクがあるのでそこから実行
https://github.com/ShivamShrirao/diffusers/tree/main/examples/imagic
自分はローカル接続で試した。xformers のコンパイルに時間がかかったがその後はスイスイ進んだ。いつもは半日から数日浪費するので拍子抜けするぐらい簡単。
model.ckptの生成には10分ぐらいかかった。
学習にはこんな感じの
背景除去済の親戚の子の写真(実際にはもう少し普通の緑の洋服を着てる)を使ったが
出力された画像はというと、
prompt: One girl is smiling and jumping.
誰だよ。
人種も違うし服装も全く違う。
もうちょっと呪文を工夫してみると
prompt: One japanese girl is smiling and walking.
うーん。なぜ着物っぽい服を着てるのか謎。モデルに使った写真は普通の洋服を着てた。
もちろん、もう少し似てる写真もあったが特定されると嫌なので掲載しない。
しかしdream boothとたいして変わらない品質という印象。
写真1枚でmodel.ckptが作れるのとdream boothよりmodel作成時間が短いのが良い点か。
何か間違えているんだろうか?
生成にはautomatic1111を使用。
prompt: One japanese girl is smiling and walking. (masterpiece:1.3)
むこう向いちゃった。
色々とマシマシのプロンプトでも試してみる。
prompt:
illustration of a cute girl,
upper shot,
shot from below,
beautiful face,
long waved hair,
cute eyes,
beautiful costume,
fantasy background,
beautiful composition,
overhead sunlight,
cinematic lighting,
artstation,
deviantart,
concept art,
digital painting,
extremely detailed,
sharp focus,
ray tracing,
8k,
cinematic postprocessing
(masterpiece:1.3)
成長したなー
年齢を入れてみると、
うーん、似てない。