実写の撮影動画にStableDiffusion使ってみた。
■所感
・WEB UI使ってるからか、手順は超簡単！
・結局 img2img のトライアンドエラー膨大（prompt エンジニアリング力あがれば最短ルートで近づける？）
・結局 ルック（テイスト、画風）がフレーム感でずれる（他の人がやっているような定めるのが難しそう）
・ネガティブプロンプトの多用はやっぱり効果的（元素法典の手法）
・ローカルのSDは使い放題で気持ちが楽
■結果
・プロンプトエンジニアを学ぶ
・AI画像生成のことを学ぶ（ベクトル空間？）
動画は真ん中が撮影素材。
上下がimg2img適用。
・AUTOMATIC1111使用
・バッチ書き出し後は、AE＋AMEで動画変換
AUTOMATIC1111を更新すると、Checkpoint Mergerが追加されてた。
なんぞこれ？
Checkpointはつまり学習済みモデルのこと、と理解。
StableDiffusionのモデルも model.ckpt として格納してた。
で、その名の通りモデルをマージすることができるらしい！！
（参考 https://twitter.com/atsumi_y/status/1574769089566113795?s=20&t=YHwcmcP1-7mfEgWOW071cg）
試したので、メモ。
①マージするモデルをダウンロード
Waifu-diffusionを追加で用意した
https://huggingface.co/hakurei/waifu-diffusion-v1-3
②所定のフォルダに格納、リネーム
StableDiffusion用にセットアップしたAUTOMATIC1111なので、
Stable-diffusionフォルダ内にモデルを格納。
ckpt名は "-"ハイフンが無いようにリネーム。
③マージ
モデルを２つ指定して、Runするだけ。
超絶簡単。
時間は⑩分ほど？
ファイルサイズは２つの中間くらい（４GBと７GBで、６GBになった）
④text to imageテスト
SD、WD、SDとWDを50:50でマージ した３つのモデルで検証。
同じプロンプトで比較。
■おすすめ Settings
・ファイル名変更
・サブフォルダに格納
・生成したら通知
参考サイト
https://gigazine.net/news/20220928-automatic1111-stable-diffusion-webui-settings/
■CFG Scaleとは
高いほどPromptに忠実になる。ただ荒れる。
⇔低いと安定するが、Promptを無視する
■ GOOD（試したみて良い点）
・SeamlessTexure超簡単 Tiling=on するだけ
・X/Y plot の使い勝手慣れてきた
①繰り返し、いい感じで②繰り返し。Seed活用で狙った画に近づける
・Seam具合はBlenderで確認
・AUTOMATIC1111 毎日更新してるらしい。Git pull。→Seed Bake?が便利そう
■ まだうまく使いこなせていない点
・初期パラメータ変更（ui-config.json）がうまく反映しない
・512x512で生成したあとの高解像度化がうまくいかない
ローカル環境で StableDiffusion を試してみたところ
txt2img が成功したので、続けて img2img も試してみた。
以下サイトを参考にして、無事成功した ！🙏
https://self-development.info/%E3%80%90stable-diffusion%E3%80%91img2img%E3%81%AE%E3%82%A8%E3%83%A9%E3%83%BC%E8%A7%A3%E6%B1%BA%E6%96%B9%E6%B3%95/
また、Pythonでコードをカスタマイズして、
・生成される画像ファイル名の末尾の連番をインクリメントセーブする
・promptなどのパラメータをテキストで保存する
というのも実装できた！
※一応Code貼っておきます（py3.9）
・・・けれど、
地味に時間かかるし、使い勝手悪いので、ちょっと先行き怪しい、、、
とのことで、ちまたで騒がしい既存の超便利なWebUIを試してみる！
色々ありすぎるが、自分の用途が達成できそうな
-----------------------------------
「AUTOMATIC1111版Stable Diffusion web UI」が良さそう。
全部入り機能だが、特に気になった機能４選！！！
・Inpainting：特定の部分の描き直し ・Stable Diffusion upscale：512x512で作成後、高解像度化機能 ・Loopback：作成した画像をinputにして繰り返すことで、ブラッシュアップする ・Textual Inversion：自分で用意した学習データを使う
-----------------------------------
ということで、次回は、、、
■Stable Diffusion web UI（AUTOMATIC1111版）のインストール
https://gigazine.net/news/20220907-automatic1111-stable-diffusion-webui/
■基本の「tex2img」
https://gigazine.net/news/20220909-automatic1111-stable-diffusion-webui-how-to-use/
■クリエイティブを加速せよ「img2img」
https://gigazine.net/news/20220913-automatic1111-stable-diffusion-webui-img2img/
を試す！
ひとまず、ローカルのVRAMが12GBあるので ローカル環境でためそう。
どっかのタイミングで、Google Colabを使ってみたい。
・StableDiffusionを回数気にせず試したい！
・機械学習についてPythonとともに学びたい！
ということで、トライしたところ
なんとか開発環境構築が終わり、ローカルで何回でもStableDiffusionを使えるようになった！
たので備忘録メモ！
■事前チェック
CUDA 11.6をインストール済み
↓
■Python3.9インストール
C:\Users\{userName}\AppData\Local\Programs\Python\Python39
（デフォルトのまま）
↓
■仮想環境
任意のフォルダに仮想環境を構築（今回はC:\Python39）
>cd C:\Python39
>py -3.9 -m venv my_venv
↓
■パッケージインストール
仮想環境にインストールしたいので、
まず仮想環境への切り替え（仮想環境 .venv ディレクトリのactivate.batを実行）
>C:\Python39\my_venv\Scripts\activate.bat
この状態で、まず pip upgrade。
(.venv) >C:\Python39\my_venv\Scripts\python.exe -m pip install --upgrade pip
続けて、pipでインストール。 ※仮想環境を作ったときのバージョンになる
(.venv) >python -m pip install <package name>
・PyTorch
(.venv) >python -m pip install torch
・Transformers【仮想環境にインストール推奨】
(.venv) >python -m pip install tranformers
・Diffusers【仮想環境にインストール推奨】
(.venv) >python -m pip install diffusers
↓
■Diffusersの動作確認
pythonをコピペして、仮想環境で実行→OK
↓
■StableDiffusionの動作確認
Pythonをコピペして、仮想環境で実行 →OK ！簡単
もし、PyTorchエラーがでたら、PyTrochを入れ直してみる。
・PyTorch入れ直し
(my_venv) >pip list
で +cu116 が入っていないものをアンインストール
(my_venv) >pip uninstall torch
つづけてインストールし直し。
(my_venv) >pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu116
※https://pytorch.org/
--------------
StableDiffusionのテストPython
============================================
■参考サイト（諸先輩の説明に感謝）
・ローカル環境でStableDiffusionを実行する
・DreamStudio金額は？
・Prompt参考（lexica）
https://lexica.art/?q=city++siver&prompt=d9b2c577-5083-4b76-9de0-e01117682f56
・Promptまとめ
