Break the Bias

Open VINO

Open VINOはIntelが開発し提供しているAIのシステムです。

本作品ではOpen VINOの物体認識、セグメンテーションと呼ばれる技術を使用しています。

物体認識によって「Person」や「Dog」など個々の物体を識別し、その範囲をセグメンテーションによって切り出すことができます。

映像素材またはリアルタイムのカメラ映像を物体認識に掛け、切り取った物体範囲をTouchDesignerというクリエイションツールに繋ぎこみ表現を作り込む、という制作の流れが本作品で使用したシステム一連の形式となります。

物体認識、セグメンテーションにはOpen VINOが提供している学習モデルを使用し、TouchDesignerへの繋ぎ込みとして「矩形・認識ラベルのみ映像」、「マスクのみ映像」、「解析文字付き映像」、「それら全てを乗せた映像」の４つのレイヤーに分割しました。また、セグメンテーションの色をラベルごとに割り当て、TouchDesigner側でそれぞれの色ごとに違ったエフェクトを乗せることで特定のラベルの範囲にのみエフェクトを掛ける仕組みを制作しました。

上記の仕組みを採用することで、一般的な映像編集とは違いリアルタイム且つ簡単にマスクを切り出して編集することが可能になります。

TouchDesignerで制作したエフェクトと同時にAIの矩形やラベル、マスクも映像に使用するため、ラベルごとに色を固定した映像とは別に矩形やマスクの色を最終的な映像に合わせて表現の調整をしました。

映像ファイルとして書き出したエフェクト付きの映像と、AIから書き出した矩形やマスクの映像を複合的にコラージュすることで本作品のような仕上がりになりました。

Dance Creation 

ダンス振付の制作現場にPCを設置し、OpenVINOがどのように認識するのかを実際に見ながら振付を制作しました。人間視点から「人以外の○○の様に見える」はAIから見てもそう見えるのかを即興で踊りながら検証していきました。

人間が椅子や象や犬に見えるポーズが物体認識でも同じように読み取られていたり、即興で踊る中で顔近くに指で作る四角形ポーズはスマートフォンと読み込むなど振付のヒントとなる要素を沢山見つける事ができました。

また人間の頭部にオレンジ色のニット帽を被せるて抱えるとAIでもスポーツボールとして読み込まれ、この着想によってCONDENSE初の頭部をバスケットボールに見立てる振付が生まれました。

制作現場ではOpenVINOの精度が高くダンサーは「Person」として識別されることが多くAIの認識精度の高さにおどきました。振付制作から「人のBIASとは何か」をAIと遊びながら行うことで普段ではたどり着くことのできない振付やポーズに行き着く事ができました。

System Design and WorkFlow

1.Work Flow

Open VINOから得た映像は検出した複数のセグメンテーションのマスクが１つの映像に集約されており、そのままではエフェクトを付けることが困難だったため、こちらで指定したラベルのみを識別する機能を開発しました。

合わせて、目的のセグメンテーションの内側か外側のどちらにエフェクトをかけるのかを簡単に切り替えられるようにしたり、解析文字や矩形・認識ラベルの有無を自由に選択できるようにしたりしたことで表現の幅がさらに広がりました。

実際のエフェクト制作は複数人で分担し、各々がGLSLシェーダやアルゴリズムをTouchDesigner上で構築してジェネレーティブなヴィジュアルを作り上げました。さらにそれらを１つのファイルにまとめてそれぞれテイストを確認しつつ、全体の方向性を決めていきました。

最終的には、Open VINOから直接書き出した映像とTouchDesignerでエフェクトをつけた映像とをコンポジットして本作品は制作されています。

Visual Creation 

Open VINOから出力された物体認識とセグメンテーションの情報をTouchDesignerに入力しリアルタイムにヴィジュアルエフェクトを構築していきました。

動的にOpenVINOから生成されるセグメンテーションのマスク映像は、従来の人の手で作成するマスクとは違い大量のオブジェクトを大量に認識し生成するため、よりダイナミックなマスク映像になっていることに注目し、エフェクトを制作、画面内を自由に装飾し、大胆にヴィジュアルを変化させるエフェクトを中心に、渋谷の街並みとスタイリッシュなデジタル観という世界観を構築していきました。

また、絵文字(emoji)を大胆に使用した表現をいくつも織り交ぜています。具体的には、Open VINOが検出した「Dog」のセグメンテーションに対してはオリジナルの「Dog」の絵文字のeffectがマスクを埋める用に表現されます。これらの絵文字の出し分けを自動化することによってスピーディに演出パターンを生成することを実現しました。絵文字を使ったエフェクト表現にも、単純に１つのセグメンテーションに対してシンボリックに１つの絵文字を見せるパターンや、密集した絵文字の群が音に合わせてがうねるような動きを見せたり、各々がノイズののった複雑な形状に変形したりするる物など、バリエーションを用意しました。さらにGLSLシェーダで書いたオールドスクールなVHS風のポストエフェクトをこの絵文字に対してかけることにより、より一層のデジタルテイスト感を強調しています。