THINK AND SENSE

Stillness

February, 2020

禅をテーマにした本作品は、 京都 建仁寺塔頭 両足院 副住職伊藤東凌氏の協力の元、フォトグラメトリー技術により三次元化したデータを、最もミニマルな「点」のランドスケープと「うねり」のサウンドスケープにより禅の世界観の一端を表現します。 　生成される映像は、展示空間の環境情報をリアルタイムに反映する、「環境と映像のインタラクション」により、風に揺れる庭園の葉のように、バーチャルなランドスケープと鑑賞環境との相互の関係性を体現させます。 　また、空間を構成するサウンドスケープは、周波数の異なる波形を左右に配置し、その高低差から生まれる「うねり」や、倍音成分に着目する事によって、音の隙間やそれぞれの重なりから聴こえてくる「新たな音・微細な音」の存在に気付きを持たせる状況を構築します。 　静寂のなかでしか見つけることができないもの、聞くことができないもの、禅の思想を通して、自己に没入するイマーシブな体験の一端をデジタルで表現します。

Under the theme of Zen, this artwork represents a part of the philosophy of Zen with three-dimensional data created with photogrammetry technology composed of the most minimalistic landscape of “dots” and the soundscape of “undulations,” with the cooperation of Toryo Ito, vice priest of Ryosokuin, Kennin-ji Tacchu temple, Kyoto. The generated image reflecting the environmental information of the exhibition space creates “interaction between the environment and the image,” just like the trees and leaves swinging in the silence in the garden of a Zen temple. Also, the soundscape that composes the space constructs a situation which makes the audience realize the presence of “a new sound and a subtle sound” heard from gaps and layers of each sound, by positioning waves in different frequency on each side and focusing on undulations generated from the difference in pitch and the elements of harmonics. Through the philosophy of Zen and something visible and audible only in silence, it digitally expresses a part of immersive experience of one’s inner world.

New Experience System Design Installation Graphic Event Art

  Background 本作は、文化庁が主催する、「空港等におけるメディア芸術日本文化発信事業」のプロジェクトの一環として『メディア芸術×文化資源 分散型ミュージアム』の1つ、 羽田空港国際線ターミナルでの「ETERNAL ～千秒の清寂」展のために制作された、コミッションワークです。 This commissional work was created for “ETERNAL – the space and time of 1000 seconds of silence – “ at the Haneda International Airport as a Japanese Media Arts Distributed Museum as part of a project called the “Japanese Cultural Media Arts Dissemination Initiative in Airports And Other Institutions.”   *「空港等におけるメディア芸術日本文化発信事業」 本プロジェクトでは、日本各地域の土壌が育んだ豊かな文化資源をアーティスト・クリエイターたちがその魅力を新たな視点で表現し、各地域の玄関口である空港等で展示いたします。展示されたメディア芸術作品をきっかけに，訪日観光客を日本文化の新しい魅力に出会う旅へと促します。 * Japanese Cultural Media Arts Dissemination Initiative in Airports And Other Institutions The artists and creators featured in this exhibition capture the cultural resources borne out of various local cultures through fresh perspectives in places like airports, which serve as gateways to these regions. By showcasing the works of media arts, we invite visitors to explore the true spirit of these cultures throughout their travels.

Concept

・禅の思想とデジタルクリエーション 日々多様な変化が加速する現代社会においては、個人の内面に向きあうことへの関心が高まっています。 トランスフォーマティブ・テクノロジー（Transformative Technology）に代表されるように、人間の内面や、サイコロジカルな部分に対して、注目するテクノロジーの登場もみられます。   禅はとりわけ、長い歴史の中でも、修行や座禅という行いと、その先にあるものへ至るという思想の中で、「人間の内面」に対して、遠い昔から積極的に向き合いを持ってきた、思想の原点の1つです。座禅という行いは、精神的な瞑想だけでなく、身体性を持って全身を使い自分の内面と向き合う体験として、禅の思想を象徴するものとしても取り沙汰されます。座禅をし、心を落ち着かせていくことで、日々の生活の中では感じ取ることができていなかったものに意識が向くようになります。静寂に包まれた禅寺でも「無音」の状態などなく、静寂の中に潜む様々な気配や営みの存在に気が付いていきます。それにより、これまで見えていなかったもの、聞こえていなかったものを意識し、自分の内面に向き合うことにつながっていきます。本作は、京都 建仁寺塔頭 両足院 副住職伊藤東凌氏の協力の元、前述した禅の思想を通して得られる体験の一端をデジタルアートとして、表現しようとする試みです。京都 建仁寺塔頭 両足院への訪問と、 副住職伊藤東凌氏とのお話のからインスピレーションを得て、制作しました。 The Philosophy of Zen And The Digital Creation In this society where various things have been changing more and more rapidly, the importance of facing oneself has been drawing increasing attention. Including Transformative Technology, technologies with the emphasis on mental and physiological aspects have appeared.Zen has been one of the origins of philosophies to positively face one’s inner world. In the long history, it has aimed to reach something beyond the training and meditation. Zen meditation is considered not only as a spiritual practice, but also as an experience to face one’s inner world using one’s physical body. Sitting in Zen meditation to calm oneself down, one can feel what has slipped by in daily life. Even in a Zen temple located in a quiet place, a complete silence can’t exist. One realizes the fact and notice the various little signs of things in silence, which allows one to feel what hasn’t been visible and audible and to face one’s inner world.This artwork tries  to digitally express a part of the experience through the philosophy of Zen with the cooperation of Toryo Ito, vice priest of Ryosokuin, Kennin-ji Tacchu temple, Kyoto. It was inspired by the visit to Ryosokuin, Kennin-ji Tacchu temple, Kyoto and the story by vice priest Toryo Ito.
Visual Design
フォトグラメトリーにより三次元化された両足院のランドスケープは最もミニマルな「点」のみで構成されてます。高精細に構築された点群データ1000万個をリアルタイムに描画しています。点群の表現は、近いものほど粗になり、遠いものほど密になり、遠くから見るものほど、具体的に見えるという効果を持ちます。これは、人間の目の構造とは逆であります。また、自由に形状を変化させていく点群は、写実的な存在感と、仮想的な表現を自由に行き来し、現実と仮想の間を想起させるように作用します。 The three-dimensional landscape of Ryosokuin created with the photogrammetry technology is composed of the most minimalistic elements of “dots” only. Point Cloud data of ten million dots are depicted in real time. The accumulation of dots seems large up close while seems compact from afar: it has the opposite effect to the structure of human eye. Also, the dots changes the shape freely and be a medium of reality and virtual worlds, coming and going between the realistic existence and the virtual representation.
Sound design
周波数の異なる波形を使用することで生まれる「音のうねり」を軸とし、そこにシンギングボウルや笙など、倍音成分を多く持つ音源が重なることで構成されています。全体の音感や方向性は、「禅」という、ある種日本において根元的な概念との親和性を計るため、使用される要素もサイン波や古来の楽器など、プリミティブなものをベースとしました。これらの要素は全て可変式になっており、周波数の差異や倍音の増幅、伸縮など人為的にコントロールすることによって、音の隙間や重なりから聴こえてくる「新たな音・微細な音」の存在に気付きを持たせるサウンドスケープを目的として構築されています。 Centering on “undulations of sound” generated from waves in different frequency, it is composed by the layers of sound which have many harmonics such as singing bowls and Sho, a traditional Japanese wind instrument. The whole sense of sound and direction is based on primitive elements such as sine wave and traditional instruments to realize a harmony with Zen, one of the essential concepts in Japan. All of these elements are variable: the differences in frequency, amplification and expansion of harmonics are artificially controlled to realize a soundscape which makes the audience recognize the presence of “a new sound and a subtle sound” heard from gaps and layers of each sound.
Interaction design
鑑賞空間に設置された、4本のマイクが空間内の音を収音し、その情報をもとに、リアルタイムに点群の揺らぎ（動き）に変化を与えています。一見、映像として固定されたように思われる、点群のランドスケープは、鑑賞空間内の微細な変化によって揺らぎを起こし、変化します。「環境と映像のインタラクション」により、風に揺れる庭園の葉のように、バーチャルなランドスケープと鑑賞環境との相互の関係性を体現させます。禅寺の庭園の、静寂の中で微細に揺れる草木のように、作品内のランドスケープも微細な変化を帯びていきます。「揺らぎとうねり」を持った仮想のランドスケープとサウンドスケープにより構成された空間では、静寂のなかでしか見つけることができないもの、聞くことができないものに気が付いていくという、禅の思想の一旦を表現し、自己の内面に没入するイマーシブな体験の一端をデジタルで実現します。 Four microphones installed in the exhibition space affect  modify the movement of dots in real time according to the information of the sound they absorb in the space. While the landscape of the dots seem fixed as an image, they actually undulate and change reflecting the subtle changes in the exhibition space. With the interaction between “the environment and the image,” the generated image describes the mutual relationship between the virtual landscape such as the garden leaves swinging in the wind and the exhibition space. The landscape in the artwork also start to change subtly just like the trees and leaves swinging in the silence in the garden of a Zen temple.The space constructed by the virtual landscape and soundscape with “fluctuations and undulations” expresses a part of the philosophy of Zen which allows one to feel something visible and audible only in silence, and digitally realizes a part of immersive experience of one’s inner world.

Workflow and Technical details

Photogrammetry フォトグラメトリーとは、さまざまな角度から被写体を撮影し、そのデジタル画像を分析、および統合して立体的な3DCGモデルを作成する方法です。3Dフォトグラメトリーは3Dスキャナーなどの特別な機器は必要なく、通常の写真のみで生成できることが特徴です。本作では、一眼レフカメラを用いて、両足院の様々な場所を撮影し、3DCGモデルを構築しました。1つのシーンは数百枚の写真から構成されており1シーンあたりの情報量は膨大なものになりました。 Photogrammetry is a technique to create three-dimensional CG model by photographing objects from different angles, and then analyzing and integrating the digital data. To generate 3D photogrammetry, any special equipment such as 3D scanner is required but ordinary photographs.For this artwork, 3DCG model was constructed by photographing various spots in Ryosokuin with a single lens reflex camera. Each single scene composed of hundreds of photographs contains a huge amount of information.
 

Point Cloud Rendering System

Point Cloud Render

本作品では、1千万頂点にも及ぶ点群データをアニメーションさせながら高速にリアルタイムで描画することが必要となりました。そのため点群データの位置と色情報を画像にエンコードしGLSLシェーダーにより高速に描画する機能を開発しました。点群を変形させるアニメーションについてもCPUベースでの実装は、フレームレートの低下を引き起こすことにつながるため、GLSLのCompute Shaderで実装しています。通常の3Dモデルと異なり、点群データはそのまま描画すると見づらくなるため、視点からの距離により、点群の色と大きさを変化させる機能も実装しています。

To realize this artwork, it was necessary to depict at high speed in real time animating no less than ten million dots data, which required the development of a mechanism to encode the information of the positions and colors of the dots data into images and depict at high speed with GLSL Shader. The animation to modify the dots is implemented with GLSL Compute Shader as that based on CPU can lower frame rates. Unlike ordinary 3D model, dots data are hard to be seen when depicted as they are, therefore it is provided a function to modify the color and size of the dots according to the distance from the point of view.

Real Time rendering Movie 

映像はすべてリアルタイムレンダリングで生成されています。画像化された点群データの情報を直接操作することで、大量の点群のでもリアルタイムに描画することが可能です。点群データの動きや、ノイズをタイムラインに沿って演出していくことで一連のシーケンスを実現しています。

All the images are generated in real time rendering. Directly manipulating the information of the imaged dots data makes it possible to depict even a large quantity of dots in real time. A sequence is put into practice by directing the movement of the dots data and the noise according to its timeline.

Sound Design バイノーラルビート生成 「音のうねり」を体現するため、「バイノーラルビート」（周波数の高低差から生まれる新たな音の振幅）を使用しています。例として、左に100Hz、右に110Hzのサイン波を配置すると、その差異「10Hz」の振幅がセンター部分に現れます。 生成する波形として本作では敢えてプリミティブなサイン波を採用していますが、 トライアングルやスクエアなど、生成波形は変更できるようオシレータを配置しています。 全て数値として可視化されているため、意図したうねりを視覚的に調整ができます。 Generation of Binaural Beats To express “undulations of sound,” “binaural beats,” vibration generated from the difference in frequency, is applied. For example, when 100Hz wave is positioned on the left and 110Hz on the right, its difference 10Hz appears at the center. Although in this artwork a primitive form of sine wave is adopted, the installed oscillators can generate other forms of waves such as triangle wave and square wave. Everything is visualized as numerical data so that intended undulations can adjust visually. 倍音生成 インポートされたファイルや録音された音源の倍音を意図的に伸縮・増幅させることで、 多くが体感することなく減衰していく成分の存在に着目しています。 16チャンネルのマルチインポートが可能で、波形や倍音も全て視覚化されているので、 どの部分を再生させるか、どの倍音をどれだけ付加するかなど、全てコントロール可能なシステムになっています。 ここで生成された新たな成分や、バイノーラルビートとの組み合わせによって、 通常であれば微細な音を再認識する、またそれらの重なりによって生まれる新たな 音のうねりを体感することが可能となっています。 Generation of Harmonics What is focused on by expanding and amplifying the harmonics of imported files and recorded source is the presence of elements most of which are usually attenuate without being experienced.Since 16ch multi import is possible and everything including waves and harmonics are visualized, the system makes it possible to control which part to reproduce and how much of which harmonic to add. To experience a new undulation of sound generated from the layers of recognized subtle sound which normally slips by has become possible thanks to the new elements generated here and combination with binaural beats.
 
Credit Concept / Technical Direction: Shuhei Matsuyama (THINK AND SENSE) Point Cloud System Design:Takamitsu Masumi (THINK AND SENSE) Sound Design: Intercity-Express (Tetsuji Ohno) Photogrammetry Shooting: Naoya Takebe (THINK AND SENSE) Photogrammetry Engineering: Katsuya Sakuma (THINK AND SENSE)
Exhibition Japan Media Arts Distributed Museum ETERNAL (2020)
Cooperation Agency for Cultural Affairs MUTEK.jp