ドコモとNAISTが現実の扉でバーチャル空間に移動できるMR技術を開発。Apple Vision Proで世界初の実装

NTTドコモと奈良先端科学技術大学院大学は、リアル空間の扉を開くことでバーチャル空間へ自然に移動できる複合現実(MR)技術を開発した。

現実の扉の開閉状態と視野に合わせた空間描画で没入感を向上、観光や不動産のバーチャル体験に応用可能

この技術は、Apple Vision Proを装着した利用者が、現実空間の任意の扉を開き、くぐることでその先に展開するバーチャル空間に入り込めるというものである。

従来のMR技術では、リアル空間とバーチャル空間の境目として扉などの出入口を空間コンピュータ上に仮想的に描画する事例はあったが、実際の扉を利用者が操作し、その触覚情報を伴う出入口体験の事例はなかった。

本技術の特徴は、現実に存在する扉の操作を検知して、その動きに合わせてバーチャル空間とリアル空間を適切に描画する点にある。

具体的な仕組みとしては、Apple Vision Proで見えるリアル空間の任意の扉の隅を指先で2箇所選択して扉の存在を認識させ、その扉を開閉する手の動きだけを検知することで、リアル空間の扉の開閉状態を把握する。

そして、扉が開いている角度と利用者のリアル空間側からの視野に合わせて扉の先にバーチャル空間を描画し、同様に、扉が開いている角度と利用者のバーチャル空間側からの視野に合わせて扉の先にリアル空間を描画する。

この技術は6つの要素技術で構成されており、手の認識、扉の認識、手と扉の接触認識、扉の開閉認識、扉開閉時のバーチャル空間描画、扉開閉時のリアル空間描画を組み合わせて実現している。





奈良先端科学技術大学院大学は、利用者が操作する出入口に触覚情報の伝達を伴うことがユーザー体験を向上させることに着目し、これを科学的に検証。

ドコモはこの科学的知見をもとに、手と扉の動きを動的に認識する技術を新たに開発し、簡単にユーザー体験向上の恩恵が得られるシステムを実現した。

「自分自身がバーチャル空間に確かに存在する」と利用者に感じさせる高いユーザー体験が得られるバーチャルリアリティ体験を実現するには、リアル空間からバーチャル空間を自然につなぐことが重要であると科学的に証明されているという。

日常生活にある扉を用いてリアル空間とバーチャル空間をつなげることで、利用者が自然にバーチャル空間に移動できるため、「バーチャル空間に行きたくなる」、「自分自身がバーチャル空間に確かに存在する」といった高い没入感をもたらすことが期待できる。

この技術の活用により、観光業におけるバーチャルツアーや、不動産業におけるバーチャル内見、エンターテインメントなど、バーチャル空間を用いたさまざまなMRアプリケーションでユーザー体験の向上が期待されている。