AR Roppongi x INGRESS

October, 2018

INNOVATION TOKYO 2018 - AR Playground with Niantic -にてSoftBank様がプロデュースされた、「AR Roppongi x INGRESS」 THINK AND SNESEは企画から参画し、インタラクティブプロジェクションマッピング、MRアプリケーションの開発を行いました。

Summary

1000分の1のスケールで精巧に再現された東京の都市模型に「Ingress」の世界観をプロジェクションマッピングしていきます。 Ingressのエージェントたちだけが見ている、現実の六本木を舞台に繰り広げられる青の「レジスタンス」と緑の「エンライテンド」の激しい戦いや、エージェントたちによって街の中に作り出された数々の「現代の地上絵」など、変化を続ける六本木の街に何がおこっているのかを都市模型でご覧いただきます。また、Microsoft Hololensを通して見ると、都市模型の上にコントロールフィールドやリンクが立体的なホログラムで浮かび上がり、最新作「Ingress Prime」の世界へ都市模型とともに没入できます。 Niantic,SoftBank,森ビル,THINK AND SENSEの共同開発です。

Workflow and Technical details

Projection Mapping

都市模型上には、任意の時点のリンクとコントロールフィールドの状況を模型上にプロジェクションマッピングを用いて表現することができます。 体験者は、模型の手前に設置された、タッチパネルから、
・日にち
・時間
・時間の変化速度
を操作することができます。 線状になったタイムラインの上をスワイプすることで、時間を自由に変化させることも可能です。

コンテンツには戦況の変化が表示されます。 六本木エリアでのコントロールフィールドやリンクの状況を、画像として1分単位で記録。 そうして生成された画像は、日ごとにタイムラプス的につなぎ合わさることで、一つの映像としてマッピングされます。 また、画像同士でフレームを補完するポストエフェクトをかけることで、違和感のない状況の変化を表現できるよう、チューニングを施しています。

MR Application

MRは、六本木の都市模型とIngressの世界感を完全に融合させる事で、もう一つの「現実」をよりリアルに感じる事ができます。それはビルの谷間から伸びるリンクの光や都市を覆うコントロールフィールドの光が、都市模型のビル群に遮られたり、あるいはビル群を覆い隠したりする様子が現実感をもって視覚化されていることで実現されています。 またMRならではの要素として、六本木周辺にある各ポータルの情報を、HoloLensのウィンドウを通して見ることが出来ます。この三次元的に表示された情報はリアルタイムに取得されたポータル情報です。そのためエージェントは、六本木周辺のポータルのオーナーとなることで、このMR世界に自らの名前を表示させることができます。

 

Occlusion

MRアプリケーションの没入感を高める重要な要素のひとつに、オクルージョンがあります。 すなわち、実在する物体のうしろにホログラムがある場合には、物体に隠れたホログラムの一部分、または全てが見えなくなり、ホログラムはより一層、現実の世界での存在感を帯びます。 OpenStreetMapの情報から自動的に生成される、3Dビルディングデータをベースとして都市模型上に配置することで、ビルのオクルージョンを実現しました。

本MRアプリケーションは、より多くの人に体験してもらうため、ジェスチャー操作を一切利用せず、視線のみで全ての操作が行えるよう設計されています。これは、HoloLensのジェスチャー操作には慣れが必要で、初めてMRアプリケーションを利用する人にも、スムーズに体験をしてもらうためです。 ポータルに視線を合わせると以下の情報が表現されます。
・ポータルの名称
・ポータルを現在所有しているユーザーの名前
・ポータルのレベル
ポータルの詳細情報は、リアルタイムの状況を反映しています。 本MRアプリケーションでは、このWebAPIを利用してポータルの詳細情報をインターネット経由で取得して表示しています。

ポータルに視線を合わせてから、ポータルの詳細情報を表示するまでに僅かにディレイを加えています。これはポータルが非常に多く存在するため、視線を合わせた瞬間にポータルの詳細情報を表示してしまうと、視線を少し左右に振るだけでポータルの詳細情報が大量に出てきてしまうためです。そのため、視線を動かしている間はポータルの詳細情報は表示せず、数秒注視した時に初めてポータルの詳細情報を表示する事で、ユーザー体験の向上を図っています。

 

SpectatorView

通常、HoloLensを装着している人がどのようなグラフィックスを見ているのかは、うかがい知ることが出来ません。 そこで、ビデオカメラを取り付け、そのビデオ映像にグラフィックスを合成しました。 この方法により、HoloLensを装着している人が何を見ているのかを、第三者視点から見る事が可能となっています。

 

Media

Engadget
Credit

Producer: Shigeki Inaba
Technical Direction /Experience Design: Shuhei Matsuyama
MR Application Design: Takahumi Yuasa
Graphic design :Junichi Kohmura