ホロラボは、西松建設との共同研究として進めている、ドローンの空撮映像への3Dモデル（CIMモデル）のリアルタイム重畳、およびヘッドマウントディスプレイ（HMD）連携による施工可視化・ドローン操縦支援技術について、大幅な機能拡充と技術的アップデートを実施した。
本システムは、GNSSによる位置情報や、ドローン（DJI Mavic 3 Enterprise）の姿勢情報・カメラ角度情報を活用し、マーカーを必要とせずにリアルタイムで3Dモデルを重畳できる点を特徴とする。
ホロラボと西松建設は、BIM/CIMなどのデジタル情報とリアルな現場を融合する「XR施工管理プラットフォーム」の実現を目指し、共同開発を進めてきた。
本技術の実用化に向けては、宮城県名取市で西松建設が施工中の「川内沢ダム」建設現場で、2023年から2026年にわたり、実際の施工プロセスに合わせた継続的な実証実験を実施してきた。
その結果、広大な現場を自由視点で俯瞰できる有用性が確認された一方で、空中でドローン姿勢が風などに流されることによるAR表示の位置ずれや、空撮映像・CGの高頻度なデータ送受信に伴うシステムの高負荷といった技術的課題が浮き彫りとなった。
今回の大型アップデートは、これら長期間の実証実験で抽出された課題を抜本的に解決し、現場の限られた通信リソースを最適化することで、実務での生産性向上と省人化をさらに進めるものだ。
今回のアップデートは、大きく「コア技術の向上」と「実務向けの新機能」の両面で行われた。
まず基本性能では、ARの位置合わせ精度が飛躍的に向上した。
ドローンの移動時や姿勢が流されることで発生していたAR表示の位置ずれを解消し、高速移動や複雑なカメラワークでも、より高精度で安定した3Dモデルの重畳が可能となった。
あわせて、映像取得からPC上でCG合成して出力するまでの処理フローを全面的に見直し、映像転送の大幅な高速化と低遅延化を実現している。
実務向けの新機能としては、3つの機能を実装。
空撮映像とCGの描画を個別のレイヤーに切り分けることで、CIMモデルに変更があっても全体を再レンダリングすることなく、該当レイヤーの映像のみを柔軟に更新できる。
複数モデルの同時表示や切り替え、CIMや地形によるオクルージョン（遮蔽表示）に対応し、モデル同士の干渉確認や現況との比較、施工計画の妥当性検証を直感的に行える。
操縦者が装着する透過型XRデバイス（Trimble XR10 with HoloLens 2）のヘッドアップディスプレイ上に、ドローンを目視できない長距離飛行時の安全対策として、障害物との距離に応じた「警告灯（黄色・赤色）」を表示する機能を追加した。
これにより、遠方からでも障害物までの距離や安全状態を直感的に判断できる。
ホロラボと西松建設は今後も、XRの特性を活かしたハードウェアおよびソフトウェアの開発に継続して取り組む。
本技術によって得られるドローンの「自由な視点」を最大限に活かし、遠隔施工や災害復旧工事において、現場の「目」としての機能を持つ次世代の施工管理支援ツールの実現と社会実装を進めていくとしている。
本システムは、GNSSによる位置情報や、ドローン（DJI Mavic 3 Enterprise）の姿勢情報・カメラ角度情報を活用し、マーカーを必要とせずにリアルタイムで3Dモデルを重畳できる点を特徴とする。
ダムでの3年間の実証で浮かんだ課題。位置ずれとシステム高負荷を解消
ホロラボと西松建設は、BIM/CIMなどのデジタル情報とリアルな現場を融合する「XR施工管理プラットフォーム」の実現を目指し、共同開発を進めてきた。
本技術の実用化に向けては、宮城県名取市で西松建設が施工中の「川内沢ダム」建設現場で、2023年から2026年にわたり、実際の施工プロセスに合わせた継続的な実証実験を実施してきた。
その結果、広大な現場を自由視点で俯瞰できる有用性が確認された一方で、空中でドローン姿勢が風などに流されることによるAR表示の位置ずれや、空撮映像・CGの高頻度なデータ送受信に伴うシステムの高負荷といった技術的課題が浮き彫りとなった。
今回の大型アップデートは、これら長期間の実証実験で抽出された課題を抜本的に解決し、現場の限られた通信リソースを最適化することで、実務での生産性向上と省人化をさらに進めるものだ。
位置合わせ精度と映像転送を改善。情報レイヤーの切り分けで更新も柔軟に
今回のアップデートは、大きく「コア技術の向上」と「実務向けの新機能」の両面で行われた。
まず基本性能では、ARの位置合わせ精度が飛躍的に向上した。
ドローンの移動時や姿勢が流されることで発生していたAR表示の位置ずれを解消し、高速移動や複雑なカメラワークでも、より高精度で安定した3Dモデルの重畳が可能となった。
あわせて、映像取得からPC上でCG合成して出力するまでの処理フローを全面的に見直し、映像転送の大幅な高速化と低遅延化を実現している。
実務向けの新機能としては、3つの機能を実装。
情報レイヤーの切り分け
空撮映像とCGの描画を個別のレイヤーに切り分けることで、CIMモデルに変更があっても全体を再レンダリングすることなく、該当レイヤーの映像のみを柔軟に更新できる。
複数の3Dモデルの同時表示・切替機能
複数モデルの同時表示や切り替え、CIMや地形によるオクルージョン（遮蔽表示）に対応し、モデル同士の干渉確認や現況との比較、施工計画の妥当性検証を直感的に行える。
HMDを活用したドローン操縦アシスト
操縦者が装着する透過型XRデバイス（Trimble XR10 with HoloLens 2）のヘッドアップディスプレイ上に、ドローンを目視できない長距離飛行時の安全対策として、障害物との距離に応じた「警告灯（黄色・赤色）」を表示する機能を追加した。
これにより、遠方からでも障害物までの距離や安全状態を直感的に判断できる。
ドローンの「自由な視点」を活かし、遠隔施工・災害復旧へ
ホロラボと西松建設は今後も、XRの特性を活かしたハードウェアおよびソフトウェアの開発に継続して取り組む。
本技術によって得られるドローンの「自由な視点」を最大限に活かし、遠隔施工や災害復旧工事において、現場の「目」としての機能を持つ次世代の施工管理支援ツールの実現と社会実装を進めていくとしている。
WRITTEN by
