コンテンツにスキップ
RealityCapture

RealityCapture

1. RealityCaptureとは

https://www.capturingreality.com/

RealityCaptureは、対象物を重複して撮影した複数の写真データから、カメラの位置(距離、角度)を推定して3Dモデルを生成するフォトグラメトリソフトウェア。写真解析、レーザースキャン、UAV(Unmanned Aerial Vehicle、無人航空機=通称ドローン)測量に対応。他のフォトグラメトリソフトウェアと比較しても高品質な3Dモデルを生成できる。高機能ゆえに若干難解な印象。徐々にウェブ上でも日本語情報が増えてきている。

CapturingReality社が販売しているRealityCaptureは、会社名とソフトウェア名が似ているのであわかりづらい。2021年3月にUnreal Engineの開発元であるEpic Games社に買収された。買収前よりも販売価格が大幅に見直されて(リーズナブルに)、Academicバージョンの無料ライセンス提供(登録申請は教員のみ)も始まった。

2. ライセンスの種類

PPI / ENTERPRISE

RealityCaptureには、PPI(PAT-PER INPUT、処理数に合わせた支払い)とENTERPRISE(買い切り)の2つのライセンスが存在する(2021.10現在)。

  • PPI 3,500クレジット 10 USD
  • PPI 8,000クレジット 20 USD
  • ENTERPRISE 3,750 USD

PPIバージョンでは、クレジット購入前でも書き出しを除いて全ての機能を利用することができる。書き出し時にPPIクレジットの購入が必要になる。PPIとENTERPRISEバージョンではプロジェクトファイルの互換性がない。

なお、RealityCaptureはインストールしただけでは使えず、EPIC GAMESのアカウント作成も必要になる。ACADEMICバージョンのToken利用では不要。

ACADEMICバージョン

RealityCaptureはEPIC GAMES社に統合された後、教育機関向けに無料ライセンス提供を開始した(統合前はACADEMICでも有料だった)。

ACADEMICライセンスは大学機関としての申請のみ可能であり、学生個人からは申請不可となっている。

CapturingReality社からのアナウンス「We offer licenses through academic institutions. While we do not offer directly to university students, we would encourage you to recommend that your university apply for one.」。

今回の演習では、大学として取得したACADEMICライセンスを配布して行う。Activate方法は次項で解説する。

3. Tokenを利用したLicense Activation

① RelityCaptureのダウンロードとインストール

https://www.capturingreality.com/

上記サイトにアクセスして、画面右上のDownload Nowボタンを押す。

ダウンロード後、インストーラをダブルクリックしてインストールを進める。

② Tokenの受け取り

学生個別のTokenをTeamsメッセンジャーから配布する。

※利用開始から90 daysの有効期限。授業終了後に自主制作で利用したい場合は、教員に相談すれば利用可能。

③ TokenによるActivation

Windowsの検索窓で「コマンド」と入力して、コマンドプロンプトを起動する。

「>」の後に、以下を入力する。

“C:\Program Files\Capturing Reality\RealityCapture\RealityCapture.exe” -activate TOKEN

上記のTOKEN部分を削除して、受け取ったTokenをコピー&ペーストしてEnterキーを押す。

④ RealityCaptureの起動

デスクトップショートカット or 検索起動により、RealityCaptureを起動する。

Activate後の初回起動時にアプリの再起動を求められるので、一度終了してから起動し直す。

4. チュートリアルデータの利用

今回の演習では、以下の2つのチュートリアルデータを利用する。 特に②では、Reconstruction RegionとGround Planeの設定が重要になる。

① kuu-satsu.comのチュートリアルデータの利用

下記URLページ「スマホ写真:62枚(211MB)」からダウンロードする。

② 靴データの利用(中安撮影)

授業内で配布する。

5. UI概観

上部にリボンメニュー、下部に各種パネルが位置する。

6. UIレイアウトの切り替え

RealityCaptureでは、作業段階によってUIレイアウトを変更しながら進める。

方法① 左上アイコンで切り替え

方法② WORKFLOW > Layoutから切り替え

7. パネル表示(View Types)の切り替え

パネル右上のプロダウンリストから、パネルの表示内容を切り替えることができる。

1Dsに関しては、一番左のパネルでしか表示できない。また、一番左のパネルでは1Ds、3Ds、helpの3種しか表示できない。

以下は、View Tpesの一覧。

  • 1D: textural infomation
  • 1Ds: hierarchical relations
  • 2D: graphical information
  • 2Ds: thumbnail view
  • 3Ds: 3D information
  • 4Ds: playing animations
  • con: console
  • map
  • help

本演習では、以下のレイアウトとパネル表示で始める。

  • レイアウト:1+1
  • 左パネル:2Ds
  • 右パネル3Ds

8. 作業の流れ

9. 写真データの読み込み

WORKFLOW > 1. Add imagery > Folderをクリックする。

フォルダを選択して、OKを押す。

2Ds(下図レイアウトでは左パネル)にサムネイルが表示される。

10. Aligning Images(低密度点群)

RealityCaptureでは、同じ作業を異なるボタンから行うことができる(そのため若干混乱する)。特に、WORKFLOWには、他のタブにあるものが整理されているので重複するものが多い。

方法① ALIGNMENT > Registration > Align Images

方法② WORKFLOW > 2. Process > Align Images

※本演習ではStart(一括処理)は利用しない

写真点数、解像度、処理パラメータにより処理時間は異なる。数分〜数十分かかる場合がある。

処理後は、低密度点群とカメラプレビュー(Alignment Cameras)が表示される。

カメラプレビューの大きさや写真サムネイルの表示/非表示の切り替えは、下図のUIで設定。

3Dsパネルの状態で、SCENE 3D > VIEW > Alignment Cameras > Camera Scale他

11. 3Dsのビュー操作

マウス操作

  • 左ドラッグ:移動
  • 右ドラッグ:回転
  • ホイールスクロール:拡大・縮小

回転のpivot(中心軸)はグリッドの中心となる。対象とするオブジェクトを中心に回転させるためには、後述のReconstruction RegionとGround Planeの設定が必要。

メニュー操作による視点切替

SCENE 3D > VIEW > View Camera > プルダウンメニューから選択

※プルダウンメニューはスクロールしなければ全ては見えない

回転軸がずれる場合は、Reset Viewすることで解消する場合がある。

テンキーによる視点切替 ※動作しない不具合?がある

  • 0: Perspective(透視投影)
  • 1: Parallel(Orthographic、平行投影)
  • 2: Top
  • 3: Bottom
  • 4: Left
  • 5: Right
  • 6: Front
  • 7: Back

8と9は割り当てなし

12. Reconstruction Region / Ground Plane

kuu-satsu.comのチュートリアルデータの場合

低密度点群の状態では、自動的にReconstruction Region(解析領域)が設定されているが、不要な部分も含まれている。次の工程のReconstruction(メッシュ生成)では処理に時間を要するため、3D生成したい部分だけ処理するようにReconstruction Regionを設定しておく。

色のついたギズモを操作して、Reconstruction Regionを必要な領域をあわせていく。Parallel(平行投影)表示を利用してもよい。

靴データ(中安撮影)の場合

靴データの場合は、低密度点群の状態で大きく水平がくずれている。

Paralell(平行投影)を利用しながら、Reconstruction Regionを合わせていく。この作業にはある程度慣れが必要なので根気よく調整する。

ある程度合わせた段階で、SCENE 3D > TOOLS > Scene Alignment  > Set Ground by Reconstruction Regionをクリックする。

グリッドの原点に対してReconstruction Regionが整列される。

13. Reconstruction(メッシュ生成)

MESH MODEL > Create Model > Normal Detailをクリックする。

14. 不要なメッシュの削除

本演習では行わない。人体スキャナで利用する。

  1. SCENE 3D > Mesh Model > Lasso or Rect or Box(削除するメッシュの選択)
  2. Filter Selection(メッシュ削除)

15. Clean Model(穴埋め)

本演習では扱わない。人体スキャナで利用する。

※Close Holesでは複数穴は塞がらない場合があり。(まだ理解しきれていない)

16. テクスチャ生成

MESH MODE > Mesh Color & Texture > Textureをクリックする。

Texturing処理が始まる。

17. 書き出し

SCENE 3D(3Dsパネル選択)> TOOLS > Export > Mesh and PointCloud

書き出すファイルは下図のような種類を選択することができる。マテリアル等の複数ファイルが出力されるので、保存先にはあらかじめフォルダを作成しておく。

下図のSettingが表示されるが、今回は何も変更せずにOKを押す。

以下の4つのファイルができる。 rcinfoはログファイルなので、RealityCapture以外では不要。