Mixed Reality purchase experience with IoT
using crypto currency

November, 2018

ソフトバンク株式会社様が企画する『エクスペリエンステクノロジー』のデモンストレーションのMRアプリケーション、IoT自販機の開発を担当しました。 『エクスペリエンステクノロジー』のユースケースとして『クラウドを活用したxR空間と現実空間のリアルタイム同期』、『ブロックチェーンによる認証/認可情報の証明・記録』、『指紋認証カードと秘密分散技術による秘密鍵管理』等の要素技術を融合し『Mixed Reality空間内の暗号通貨でリアル空間のIoT機器を操作し実物を購入する』 という全く新しい体験を実現しました。

Background

ブロックチェーンを用いた認証技術、指紋認識カード、秘密鍵分散技術を用いた、秘密管理、 Mixed Reality空間内での暗号通貨を用いたIoT機器との連動という技術複合を用いて、 『エクスペリエンステクノロジー』のユースケースの1つの「未来の購買体験」の示唆を目指したものです。

Concept

本デモンストレーションでは飲料の自動販売機をIoT機器としてMixedReality空間から操作します。 商品を購入する際、MixedReality空間においてコインを模した3Dオブジェクトを操作して、購入したい商品へそのコインを押し込む事で商品の購入を確定します。「仮想通貨のコイン」を手に取り自販機に押し込むという仮想空間ならではのインタラクションを実現しています。

本デモンストレーションの仕組みを応用することによって、飲料の自動販売機に限らず、例えばカプセルトイの販売機など様々な機器をMixedReality空間から操作することが可能になります。 また、ユーザー認証によって男性であるか女性であるか、あるいは年齢はどのくらいであるかがわかるため、それぞれのパーソナル情報にマッチした表示を行う事が可能になります。

Workflow and Technical details

体験の流れは以下のようになっています
1 本人認証
2 IoT機器認証
3 購入操作

本人認証

指紋認証機器(※ 東芝インフラシステムズ株式会社)を用いて、本人認証を行います。指紋認証機器はスマートフォンと接続されており、指紋認証が成功するとスマートフォンへユーザー情報をQRコードとして表示します。MixedRealityデバイス(以下、MRデバイス)でそのQRコードを読み取ることで、以下のような情報をQRコードから取得します。
・会員ID
・キャンペーンID
・秘密鍵
これらの情報を用いて本人である事が確認されると、その人のEthereumアカウントが取得できます。

IoT機器認証

IoT機器からBluetooth経由でそのIoT機器固有の情報をMRデバイスで受け取ります。MRデバイスはその固有情報を用いて、そのIoT機器が確かに正しい機器である事を認証します。

またIoT機器には、そのIoT機器が提供しているサービスを表すQRコードが表示されています。MRデバイスでそのQRコードを読み取ることで、該当のサービスにマッチした表示と機能を提供します。

購入操作

本人およびIoT機器が正しく認証される事で、商品の購入が可能となります。商品の購入を行うと、その情報はブロックチェーン上に書き込まれます。

ブロックチェーン

様々な認証/認可情報の証明・記録を全てブロックチェーン上に記録して管理を行っています。ブロックチェーン上に記録する事で、全ての情報が改ざん不可能な状態で記録されていきます。これにより、より安全で安心な購買行動をMixedReality空間内で行う事が可能になっています。

 

企画

ソフトバンク株式会社

Credit

Producer: Shigeki Inaba
Technical Direction / System Design: Shuhei Matsuyama
System Design: Takafumi Yuasa
System Design: Ryo Kikitsu
Graphic Design :Junichi Kohmura
Hardware Design :Takumi Akuzawa