3DCG屋さんの活動記録

PROFILE ★★こんな人です

3DCGを活用した映像や没入体験コンテンツの制作をしています。テクノロジーの社会実装に興味があり。テクニカルディレクター。面白いこと新しいことにワクワクする気持ちに『素直』でいつづける。

2017年4月17日月曜日

Motioncapture with Kinect for BGE 〜キャラモデル編


【Realtime MotionCapture with Kinect for BlendeGameEngine】第3弾 キャラモデル編


前回、Kinectからモーションキャプチャの取得を実現して
自動で各ジョイントにオブジェクトが作成される方法を試しました。

今回は、DLしたヒト型キャラクターに
モーションキャプチャデータを送信します。
※某赤い帽子の男性モデルを使用させていただきました

① NI MATE のSkelton名に合わせて、Blender でEmpty(ロケータ)作成。
② Kinect接続、NI MATE起動、OSCの有効化。
③ BlenderのNI MATEのAdd-onsからEmptyでStart。Emptyがついてくるのを確認。
https://youtu.be/8aFbTy5nDeo


④ モデルの取り込み(DL)ジョイント作成。
ここで、ジョイント作成&スキニング。
参考チュートリアル(骨入門)
参考チュートリアル2(骨超入門)⬅︎日本語でオススメ
 ・ Shift+A でArmature/Single Bone 骨作成。
 ・ 骨の位置修正。tab押してBone修正モードにして、先端を移動(長さ調整)
 ・ NUM KEY 1 で正面非パース画面。
 ・ 骨選択して、Wキー、subdivide ➡︎方向一致する子骨追加
 ・ 骨先端選択で、Eキー ➡︎インタラクティブな小骨追加
もしくは、ヒト型ジョイントセットの作成
 ・ UserPreference/ Add-ons/Rigify を有効に。
 ・ Shift+a / Armature / Human(Meta-rig) でジョイントセット作成。

EmplyにBoneをコンストレイン。

ジョイントをEmptyにコンストレイン。Startでジョイントが追随するのを確認
⑤ Mesh作成。スキニンング。StartでMeshが反映するのを確認

以上で、キャラクターがKinectでリアルタイムに動くのを確認。


※ Blender 小ネタメモ
◆Shift+A オブジェクト作成
◆骨の操作でTab押すと編集モード
◆上記状態で E :骨追加、 W:方向の一致する骨追加
◆応用技 E:骨追加したあと続けてX,Y,Z押すとその方向にのみ移動
◆プレビュー画面で N  Mayaのアトリビュートエディタ的画面(アイテム?)
◆3キーで横カメラ、1キーで正面カメラ、5キーでパースの有無
Shift+タッチパッド(ダブル)ドラッグでパン

◆Shift+R 直前の処理繰り返し
◆スキニングは簡単 メッシュ+骨選択 Ctrl+P からAutomaticWeight
◆ArmatureのPreservedはON。体積の維持でスキニングが綺麗になる
◆プレビュー画面でA  全選択
◆Alt + R リセット。ポーズのリセット





2017年4月14日金曜日

BGE いろいろやりたい参考サイトまとめ


気になったBlender Game EngineのTipsやTutorialのサイトまとめです。
やりたい機能ばかり。。。



◆チェーンにボールが当たる、シミュレーション





◆煙もくもく




◆体力ゲージなどのHUD





◆惑星箱庭とかに、球体重力





◆ソフトボディ



≈



Motioncapture with Kinect for BGE ~導入編


【Realtime MotionCapture with Kinect for BlendeGameEngine】第2弾 導入編

まずは、BGEじゃなくて

単純に
BlenderでKinectのモーションキャプチャをリアルタイムに反映させる。

①まず、KinectをMacbookで認識、ジョイント確認まで。

NI MATEインストールして、起動。



そして、Kinect接続。


右上のアイコンから、Kinect認識されているのを確認。



















『Show output』でKinectの起動状況を表示。




簡単にジョイントまで認識してくれます!




ちなみに、表示タイプは7種類用意されています。
View上で右クリックするとプルダウンメニューが表示されます。





②ジョイントデータを外部に送る設定

まず右上から、Controle Interfaceで画面表示。




Skeleton tracking の OSCを有効にする。



この画面でもジョイント認識を確認します。





③そして、BlenderでKinectからのデータを認識させる。

NI MATEプラグイン for Blender をダウンロード。
Blenderを起動。
File/UserPreferences(Ctrl+Alt+U)の起動。
Add-ons/InstallFromFile でダウンロードしたAddonファイルを指定。
※animation_delicode_ni_mate_tools.py(2017.4月現在のファイル名)

すると左にNI Mateのタブが出現!
図形タイプを球にして『 Start 』するとモーションキャプチャデータが反映され
リアルタイムにヒトが動く!




以上。
一通りやってみたらすごく簡単。
これは便利。
足を地面から上げたりする動作も、結構な精度で読み取ってくれる!


とりあえず、モーションキャプチャデータの保存や、
オリジナルキャラクターへのジョイント割り当てなど、
引き続き検証していきます。


ちなみに、NI MATE無料版の機能制限は以下の通り。

・Kinect同時起動は1台まで
・モーションキャプチャを記録できない
・OSC inputはできない

まぁ現状は特に問題なし!
モーションキャプチャの記録は、Blender側でやる(?)みたいだし。
大きなシステムにしようとしたら有料版買うかも。高くても年間2万とかみたいだし。

あとそのうちKinect v2欲しいな。




2017年4月7日金曜日

Motioncapture with Kinect for BGE ~下調べ編


【Realtime MotionCapture with Kinect for BlendeGameEngine]】第1弾 下調べ編 

はい!

KinectでBlender




◆BlenderでKinectを認識する設定(NI MATE)
https://youtu.be/pgMBz-IXWkw

◆モーションキャプチャを記録する方法
最新版 https://youtu.be/Hx0q_6immxg

データの流れとしては・・
Kinect からのデータを NI MATEで一旦処理。 ←NI MATE本体
それをBlenderにリアルタイムに流す。 ←NI MATE addon for Blender

つまり、NIMATE本体のインストールと
Blenderのプラグインのインストール必要

2017年3月30日木曜日

BGEでRealtimeのPBR  〜お勉強編


仕事でも未だにスペキュラマップとか使ってるので、そろそろPBR始めなきゃと思います。
どうせやるならリアルタイムで、しかもゲームエンジンでやりたい!!


さて、BGEでは「GLSL」に設定すればできるみたいですね。
というか、PBRはマップ(テクスチャファイル)がちゃんと用意されていればできる!
(※PBRとはなんぞ?今までのマテリアルとの違い ←とてもわかりやすい丁寧な説明!!)

BGEでPBRのマテリアル設定チュートリアル

こりゃすごい、透明度とか屈折とかないとかなり早いな。
さて、PBRに使うテクスチャーの種類について
参考になる画像がたくさんあるサイトをいくつか紹介。

◼︎モンスターボール
Color, Metalness, Normal(tangent), AO, Roughness 〜4つ

◼︎単純マテリアル
Albedo、Metalnes、Roughness 〜3つ

◼︎リアルカメラ
Albedo、Microsurface(Roughness?) 細かい傷、Reflectivity、Fresnel、AmbientOcclusion、Cavity(Curvature) エッジの鋭さ 〜7つ ※下図は4つ



と、まあしようテクスチャについては使い方や呼び方いろいろあるみたいですね。
ちなみに冒頭に紹介したBlenderGameEngineのPBRでは、次の6つを使用

① Albedo ……反射能、どれだけ光を反射するか (≠Diffuse…拡散反射、色)
② Normal ……凹凸
③ AmbientOcculusion ……隙間 →立体感増す
④ Metalness(Reflectivity、Metalic) ……反射率、鏡
⑤ Roughness(Glossiness、Shiness) ……ざらつき
⑥ Cavity(Curvature) ……曲率マップ、凹凸エッジ

おそらく私が制作しようとする体験型コンテンツでは、
リアルタイム、そこそこフォトリアル、ただ超細部が必要ではないと思うので

①Albedo ④Metalness ⑤Roughnessの
3つだけでも良さそう。



キャラクターとか形状がやや複雑なものになったら、②③の形状補完は必要かも。
さらにハードサーフェス系で質感をリッチにしたい時は、⑥で角の擦れ具合UPに。

さて、時間作ってBGEで実際にマテリアル触ってみて試してみよう。

今回の内容というわけではないが、Blenderの情報まとめてある良いサイトありました。

2017年3月25日土曜日

初めてのBGE その2


前回の続き・・・
チュートリアルのステップ2途中から!

前回までで、CUBEの「移動」「ジャンプ」のアクションを追加して
床の上を動くまで。

さて、続きをします。



◼︎まず『コイン』を作成。
 別のビューを選択して、シリンダー作成。
 回転とスケール調整。
 マテリアルを変更で黄色に。
 名前変更でとりあえず完成!


次に、メインビューに戻って、コインの配置場所を設定。

Ctrl + A で Empty/PlaneAxis でロケータ作成&移動。
ここでLogic作成。
Always -> And -> EditObject(objectでCoin指定)

ここで、GameStartすると、ロケータ位置にコインが表示されるのを確認!
ロケータを複製していっぱい配置される。



ここからは、
◼︎「コインに当たるとコインが消える」のアクション作成
CoinのLogicで「当たったら消える」動作を追加。

[Coin]
Logic: Collision(Player) -> Add -> EditObject(EndObject)

[Cube1]
Property: Player と名前を追加

ここでポイント!ゲームを作るにあたっての新しい事実!!
3Dオブジェクト名と、ゲーム内での処理に用いる名前は別!?

Collisionで衝突判定するときは、
Properyでゲーム用の名前を作成する!

以上で、GameStartすると、箱動かしてコインに当たると消えるようになる。

・・・・がなぜか、消えない(エラーがどこかわからない)

というわけで、Blenderに最初から入っているモン吉モデルで作り直したらいけた。
というわけで、今後はCoinをMonkeyに変えて進めます!(すみません、エラー解決する時間なくて。。)



えーと、、箱動かしてモン吉が消えるとこまで出来たので、
次は
◼︎モン吉をとるとポイントゲット!!を表示する
 ➡︎ポイントカウンター設置!

ポイントカウンター用のゲームプロパティを作成。
今回は、擬似プレーヤーの箱に作成します。

 [cube1] 
   Property : Score と名前追加
 Logic : Collision(Monkey) ->   Add -> Property(Add,100)


とここで、上で指定したCollisionのMonkeyが今のままでは反応しません。。
以下を追加します。

 [Monkey]
   Property :  Monkey  と名前追加。

最後に、実行画面でポイントカウンターを表示するために
Scoreと作成たプロパティで 「インフォメーション」ボタンをONにして表示指示。
さらに、BGEのDisplay設定でDebugPropertyを ON にして画面表示を有効にする。

※3Dオブジェクト「Monkey」に、ゲーム用のプロパティ「Monkey」を追加(左下パネル)
 Game実行時に文字表示を有効にするDebugPropertiesのON設定(右上パネル)


とここで、「あれ?」と思いませんか。
ロケータにオブジェクトを呼び出すときはProperty追加してなかったぞ?
詳細は分かりませんが、今回は

『Collision(衝突判定)のときはProperty名で指定』
Propertyなければ追加作成する。

というということを学びました。



ステップ2の最後に、
◼︎モン吉が取られる間、回転している

[Monkey]
Logic: Always -> Add -> Motion(rotateZ -2.0)

これで、Z軸に毎フレーム-2°回転します。



以上でステップ2は終了です。
いや〜なかなか初心者には時間がかかりましたが、
一気にゲームっぽくなってきましたね、テンション上がります。


さておさらい。
ステップ2での作業は

◼︎物理法則を適用して箱がジャンプできるように …前回のブログ
◼︎別のビューアでコイン作成
◼︎コイン(モン吉)に箱が当たるとコインが消える
◼︎コイン(モン吉)をとるとポイントゲット&ポイントカウンター表示
◼︎コイン(モン吉)を待機中に回転させ続ける

そして、キーワードは

● 衝突判定
● ゲームプロパティの追加
● デバッグプロパティ表示

衝突判定がこんなに簡単だとは!涙
デバッグプロパティ(テキスト)表示も簡単!

Sensorのキーボードを外部インターフェースにすれば、Arduinoからシリアル通信できそう。
Actuatorsに外部動画ファイルの再生を当てたり、モーション付きの3Dモデルとか、Alembic再生させるのをつなげれば、リッチなコンテンツできそう。


にしてもBlenderはインターフェースが見やすいなぁ。
何より触るのが楽しい!無料もサイコーですね〜








2017年3月24日金曜日