ところざわサクラタウン KADOKAWA所沢キャンパス

Point Cloud Movie

ドローンでところざわサクラタウン全域を空撮し、空撮映像からフォトグラメトリによりところざわサクラタウンとその周囲のPoint Cloudデータを作成しました。
そのデータをもとにTouchDesigner上で構築したオリジナルのPoint Cloudヴィジュアライズシステムを用いて、リアルタイムに1600万個以上のPoint Cloudをヴィジュアライズしています

THINK AND SENSEの得意とするリアルタイムヴィジュアライズシステム構築を活用し、
Point Cloudで構成された映像をリアルタイムで演出、編集可能なシステムを構築し制作を進めました。
ところざわサクラタウンの名称にもある「桜」のカラーを表現のポイントとし、6KのLEDヴィジョンの高精細さを活かした表現を目指しました。

As the first step, we took a drone shooting of the wide-area Tokorozawa Sakuratown, and then created point cloud data of the town and its surrounding area by photogrammetry with the shot images. Based on that data, we visualized over 16 million dots in real time, using an original point cloud visualizing system that is composed on TouchDesigner. We constructed a system that allowed the dots’ images to show or edit in real time with the real-time visualizing system, which is a specialty of THINK AND SENSE. We pursued an approach for the best expression of 6K LED high-definition vision, setting the color of “cherry blossom” as a point of representation, which is a part of the name of Tokorozawa Sakuratown.

Workflow and Technical details

Photogrammetry

本作品ではドローンで空撮を行い、ところざわサクラタウンの全域のみならず、周辺環境も含めて、Photogrammetry技術により3次元点群化を行いました。
ドローンで空撮した映像をReality Captureに取り込み複数のデータから、三次元復元を行い、点群を生成しました。

We took a drone shooting of Tokorozawa Sakuratown area including surrounding environments, and with those images, created 3D-point cloud data by photogrammetry. The captured images were imported into Reality Capture to carry out a 3D-restoring with the multiple data and then create the point cloud.

生成したPoint CloudデータをTouchDesignerでのリアルタイムヴィジュアライズするために、画像データに変換し読み込ませています。
ところざわサクラタウン全域のPoint Cloudデータは膨大になるため、演出をつけ分ける単位でpoint Cloudデータを分割し画像化しました。
画像化された点群ファイルをTouchDesignerのシェーダーシステムで事前に読み出し、リアルタイムに切り替えることで、シーンごとのPoint Cloudの切り替えもリアルタイムで行うことを可能としました。

同システム内でリアルタイムヴィジュアライズから、点群の動きのエフェクト、ポストエフェクトまですべてをTouchDesigner上で編集できるようにシステム構築を行い、
すべての工程をTouchDesignerで構築したオリジナルシステム上で完結し、制作を行いました。

The created point cloud data was converted to image data and loaded into TouchDesigner to visualize in real time. Since the point cloud data of Tokorozawa Sakuratown and surrounding area resulted in huge, we divided those data by a processing unit and then depicted images. Real-time dots switching by scenes is possible by leading the depicted point cloud files in advance with the TouchDesigner’s shader system and switching them in real time. We constructed an original system in the shader system, where all the processes from real-time visualization to dots moving effect or image effect can be edited, to unite the several functions.

Real-time Rendering Contents

天候、日照時間、季節などを情報をネットワーク経由で取得し、その情報をもとにPointCloud映像の表現がリアルタイムに変化します。
日々移り変わるサクラタウンの周辺の季節に合わせてPointCloud上のサクラタウンも表情を変化させていきます。

The expression of point cloud image exhibition will be constantly changed by information obtained via the network like weather, daylight hours, and season. The atmosphere of Sakuratown depicted with the dots will change according to the changing season of real-world Sakuratown.

Ambience system for KADOKAWA

6K2Kの高解像度LEDヴィジョンを一つのコントロールシステムから制御しています。
THINK AND SENSEが提供するオリジナルのメディアコントロールシステム「Ambience」をベースに所沢キャンパス用にカスタマイズしたシステムです。
dot by dotでの映像再生から、コンテンツ解像度を認識しての自動スケーリングインタラクティブコンテンツとの連携など幅広く対応します。

High-definition 6K/2K LED is controlled by one control system. This is a system tailor-made for the Tokorozawa campus based on “Ambience”, an original media control system provided by THINK AND SENSE. Dot-by-dot video replay, and working with interactive contents for an automatic scaling through recognition of contents resolution are widely supported by this system. 

Functions

Timeline,Event List 

ドラック＆ドロップの簡単操作でタイムラインを組むことが可能です。様々な解像度に対応し、コンテンツの解像度を自動認識し、スケーリングを行い最適な表示を実現します。
映像ファイルの再生のみならず、インタラクティブコンテンツの読み込みや、外部入力との連携などにも対応します。また、Event Listでは、リストに取り込んたコンテンツに時間を設定することで、
任意のタイミングにコンテンツを再生することが可能です。

It enables making playlists easily by drag and drop. It is adaptive to various resolutions. It recognizes content resolution automatically and scales to realize optimal display. In addition, it enables not only video files replay but also reading of interactive content and/or working with external inputs. Besides, on Event List, contents can be replayed at desired timing by setting the time on the imported contents to the list.

Photo call mode

ロゴ組みをしたパターン画像を読み込み表示させてます。
イベントでのフォトセッションなどで動的に変更可能なフォトパネルとして活躍します。

In this mode, pattern images with logos are read to be displayed. These are used as a photo panel that can be changed dynamically at photo session etc. in the event.

Window Designer

外部入力されたプレゼンテーション映像などを任意の位置に表示できる機能です。レイアウトをマウス操作で自由に変更でき、様々なプレゼンテーションスタイルに対応します。
またキャプチャハードウェアの増設によりさらに多くの外部入力に対応することも可能です。eスポーツ向けマルチ画面表示など様々なイベントニーズに対応します.

It is a function that can display output presentation images etc. at the desired location. With this function, layouts can be changed freely by using a mouse, and it suits various styles of the presentation. Also, installing additional capture hardware enables more outer input. Various needs for the event such as multiple displays for e-sports will be supported by this function.