実写の撮影動画にStableDiffusion使ってみた。
■所感
・WEB UI使ってるからか、手順は超簡単！
・結局 img2img のトライアンドエラー膨大（prompt エンジニアリング力あがれば最短ルートで近づける？）
・結局 ルック（テイスト、画風）がフレーム感でずれる（他の人がやっているような定めるのが難しそう）
・ネガティブプロンプトの多用はやっぱり効果的（元素法典の手法）
・ローカルのSDは使い放題で気持ちが楽
■結果
・プロンプトエンジニアを学ぶ
・AI画像生成のことを学ぶ（ベクトル空間？）
動画は真ん中が撮影素材。
上下がimg2img適用。
・AUTOMATIC1111使用
・バッチ書き出し後は、AE＋AMEで動画変換
★★★Dir2Flipbook★★★
今回やったこと
フォルダ内の複数枚の透過PNGを１枚に結合するのを自動化。
WEB上はたくさんの「画像結合ソフト」がある！
ただ、試した見たもののやりたいことと若干ずれてたので
欲しい機能だけに絞ったPython作った。
＜機能＞
・フォルダ内の画像を１枚に結合
・透明度（アルファ）保持
・解像度に制限なし
・ただし、PNG専用
＜使い方＞
①Pythonをダウンロードして、３箇所変更する
フォルダパス、横枚数、縦枚数
pip install Pillow
＜コード＞
AUTOMATIC1111を更新すると、Checkpoint Mergerが追加されてた。
なんぞこれ？
Checkpointはつまり学習済みモデルのこと、と理解。
StableDiffusionのモデルも model.ckpt として格納してた。
で、その名の通りモデルをマージすることができるらしい！！
（参考 https://twitter.com/atsumi_y/status/1574769089566113795?s=20&t=YHwcmcP1-7mfEgWOW071cg）
試したので、メモ。
①マージするモデルをダウンロード
Waifu-diffusionを追加で用意した
https://huggingface.co/hakurei/waifu-diffusion-v1-3
②所定のフォルダに格納、リネーム
StableDiffusion用にセットアップしたAUTOMATIC1111なので、
Stable-diffusionフォルダ内にモデルを格納。
ckpt名は "-"ハイフンが無いようにリネーム。
③マージ
モデルを２つ指定して、Runするだけ。
超絶簡単。
時間は⑩分ほど？
ファイルサイズは２つの中間くらい（４GBと７GBで、６GBになった）
④text to imageテスト
SD、WD、SDとWDを50:50でマージ した３つのモデルで検証。
同じプロンプトで比較。
■おすすめ Settings
・ファイル名変更
・サブフォルダに格納
・生成したら通知
参考サイト
https://gigazine.net/news/20220928-automatic1111-stable-diffusion-webui-settings/
■CFG Scaleとは
高いほどPromptに忠実になる。ただ荒れる。
⇔低いと安定するが、Promptを無視する
