UnrealEngine で作業効率化！
今回はUE4のEditorUtilityWidgetを使って、
Actorをセットしたら簡単にパラメータ制御ができるテスト！
SinglePropertyViewの設置。
パラメータ変更するボタンも設置。
実写の撮影動画にStableDiffusion使ってみた。
■所感
・WEB UI使ってるからか、手順は超簡単！
・結局 img2img のトライアンドエラー膨大（prompt エンジニアリング力あがれば最短ルートで近づける？）
・結局 ルック（テイスト、画風）がフレーム感でずれる（他の人がやっているような定めるのが難しそう）
・ネガティブプロンプトの多用はやっぱり効果的（元素法典の手法）
・ローカルのSDは使い放題で気持ちが楽
■結果
・プロンプトエンジニアを学ぶ
・AI画像生成のことを学ぶ（ベクトル空間？）
動画は真ん中が撮影素材。
上下がimg2img適用。
・AUTOMATIC1111使用
・バッチ書き出し後は、AE＋AMEで動画変換
★★★Dir2Flipbook★★★
今回やったこと
フォルダ内の複数枚の透過PNGを１枚に結合するのを自動化。
WEB上はたくさんの「画像結合ソフト」がある！
ただ、試した見たもののやりたいことと若干ずれてたので
欲しい機能だけに絞ったPython作った。
＜機能＞
・フォルダ内の画像を１枚に結合
・透明度（アルファ）保持
・解像度に制限なし
・ただし、PNG専用
＜使い方＞
①Pythonをダウンロードして、３箇所変更する
フォルダパス、横枚数、縦枚数
pip install Pillow
＜コード＞
AUTOMATIC1111を更新すると、Checkpoint Mergerが追加されてた。
なんぞこれ？
Checkpointはつまり学習済みモデルのこと、と理解。
StableDiffusionのモデルも model.ckpt として格納してた。
で、その名の通りモデルをマージすることができるらしい！！
（参考 https://twitter.com/atsumi_y/status/1574769089566113795?s=20&t=YHwcmcP1-7mfEgWOW071cg）
試したので、メモ。
①マージするモデルをダウンロード
Waifu-diffusionを追加で用意した
https://huggingface.co/hakurei/waifu-diffusion-v1-3
②所定のフォルダに格納、リネーム
StableDiffusion用にセットアップしたAUTOMATIC1111なので、
Stable-diffusionフォルダ内にモデルを格納。
ckpt名は "-"ハイフンが無いようにリネーム。
③マージ
モデルを２つ指定して、Runするだけ。
超絶簡単。
時間は⑩分ほど？
ファイルサイズは２つの中間くらい（４GBと７GBで、６GBになった）
④text to imageテスト
SD、WD、SDとWDを50:50でマージ した３つのモデルで検証。
同じプロンプトで比較。
■おすすめ Settings
・ファイル名変更
・サブフォルダに格納
・生成したら通知
参考サイト
https://gigazine.net/news/20220928-automatic1111-stable-diffusion-webui-settings/
■CFG Scaleとは
高いほどPromptに忠実になる。ただ荒れる。
⇔低いと安定するが、Promptを無視する
「スマホでFacialCaptureができる」時代、ってことで
最新のソフトの実状検証。
仕事で Dynamixyz 使ったものの、やりたいことを実現するための作業コストの高さから挫折した経験も踏まえて、検証してみる。
Faceware Studio
Epicがチュートリアルも作って押しているFacialAnimationのソフト。
フロー的には以下の通り。
顔撮影
↓動画ファイル読み込み or WEBカメラ
Faceware Studio でTrackingと信号送信
↓専用のLiveLinkプラグインでリアルタイム連動
UE で「Faceware専用BP」により信号受信、それをMetahumanに流してリアルタイムフェイシャルアニメ
Dynamixyzはじめ他のソフトと変わらない。
------------------------------------------------
先に、重要リンク３つ
①Epic公式チュートリアル（Faceware+Metahuman）
https://dev.epicgames.com/community/learning/courses/d66/metahuman-workflows-with-faceware-studio/bL8y/unreal-engine-livelink-client
②サンプルUEプロジェクト（Epic）
https://www.dropbox.com/sh/qd0nyv3banf6ch1/AABbSk9sC8R2ZeycMXvk4mQ_a?dl=0?dl=1
③Faceware用のBP ダウンロード（Faceware）
http://support.facewaretech.com/live-link-plugin
--------------------------------------------------
ここからは使ってみた所感。
■FacewareとUEの連動
これは素晴らしい！簡単！
撮影素材→Tracking（デフォ自動、計算一瞬）→UE連動 の流れが超簡単速い。
（今後それぞれのソフトのVersionupにどれだけ対応するか知らんけど）
■Faceware でのチューニング
・・・・これが、
結局フェイシャルのOptimizeが大変です。 Profileつくるのが大変（眉毛の右の下部、とか超細かい設定をしまくらないといけないのが）なので、やっぱりこれはやらないことにする。AI活用期待。。。
取り急ぎ、以上！
■ GOOD（試したみて良い点）
・SeamlessTexure超簡単 Tiling=on するだけ
・X/Y plot の使い勝手慣れてきた
①繰り返し、いい感じで②繰り返し。Seed活用で狙った画に近づける
・Seam具合はBlenderで確認
・AUTOMATIC1111 毎日更新してるらしい。Git pull。→Seed Bake?が便利そう
■ まだうまく使いこなせていない点
・初期パラメータ変更（ui-config.json）がうまく反映しない
・512x512で生成したあとの高解像度化がうまくいかない
