NHK技研公開2023

June, 2023

THINK AND SENSEはNHK放送技術研究所（技研）が最新の研究成果を一般に公開する「技研公開2023」において、『イマーシブメディアが描くコンテンツの未来』と題した没入感のある体験型展示の企画具体化、映像制作、システム開発に協力しました。（NHKテクノロジーズ、NHKエンタープライズとの協業）

Experience Design MUSIC Event

Background

「イマーシブメディア」はNHK技研が放送メディアの未来ビジョン（Future Vision 2030-2040）の実現に向けて取り組んでいる研究課題の一つです。あたかもその場にいるような臨場感・没入感の高いコンテンツを提供することで、人と人とのコミュニケーションを促進するねらいがあります。

Content

ビジョンを実現するための一環として、今回の技研公開では壁面8Kと床面4Kの高解像度CG映像と22.2chサラウンド音響にラインアレイスピーカーを組み合わせた臨場感溢れる新しい視聴体験のデモンストレーションを展開しました。

「Immersive Galaxy Live」と称し、「未来の音楽番組」をテーマに、ライブエンターテイメントが持つ同時性とマッシブな音楽体験を組み合わせたコンテンツを主軸としました。番組MCが進行を務めるメインホールと、アーティストがパフォーマンスを披露するステージ、それぞれをCGで開発しました。

さらに今回は、タッチパネルを使って音や映像をリアルタイムに変更する試聴モードの切り替え機能を追加し、ユーザのインタラクティブ性も重視しました。

具体的には次の３つのモードを用意しました。・アーティストの間近で迫力のある演奏を楽しめる「アーティストモード」・音楽番組やMVを意識したカメラワークで演奏を楽しめる「ミュージックビデオモード」・やや離れた上空から世界観含めて演奏を楽しめる「ドローンモード」

ミュージックビデオモード

アーティストモード

ドローンモード

タッチパネル画面

Art Direction

メインホール

メインの会場設計は、広大な宇宙をモチーフにしています。視聴者の各家庭を星々に見立て、それらがステージを囲むように集まる様子は、活気がありながらもどこか神聖な銀河を想起させます。ステージ周辺は、NHKの音楽番組らしさを表現するために、抽象度の高いシェイプのオブジェを中心に扇、富士山、日の出、丸、三角などを使って構成しています。なお番組の進行は、技研のオリジナルキャラクター『ラボちゃん』が担当しています。

コンセプトアート

デザインパーツ案

最終的なメインホール

アーティストステージ

GLIM SPANKYをゲストアーティストとして迎え、新曲「Odd Dancer」を演奏していただきました。楽曲とアーティストの持つ独自性を充分に引き出すため、自然界に潜むサイケデリックでカラフルな要素をデジタル表現に落とし込み、1969年のウッドストックフェスティバルの雰囲気をバーチャル空間で再現することを試みました。

デザインラフ案

最終的なアーティストステージ

Workflow

NHKのボリュメトリックキャプチャスタジオ（4DViewsシステムを導入）で、アーティストの楽曲演奏シーンを48台のカメラで撮影し、3次元のデータとして記録しました。メインの制作ツールであるUnreal Engineで、試聴モードごとにカメラワークとシーケンスをそれぞれ組み立てました。さらに、ボリュメトリックデータをUnreal Engineのシーケンスで使いやすくするためのプラグインを開発しました。Unreal EngineのNiagara Systemのみならず、3ds MaxやC4D、Houdiniなど複数のデザインツールを使用して、レベル内の環境オブジェクトやエフェクトを開発しました。最終的な映像のレンダリングにはUnreal Engineを使用しました。

調整したVolumetric CaptureデータのUnreal Engine上でのルック

System Design

今回開発したシステム概要図は下記のとおりです。

・コンピュータA（TouchDesigner App）… 基幹となるシステム。タイムコードを生成し全体のシーン管理・タイムラインを制御している。床面投影の４K映像の再生をしている以外にも、タッチパネルからの入力を受けて視点モードの変更（映像・音声ともに）を各システムにリアルタイムで伝達している。・コンピュータB（TouchDesignerApp）… コンピュータAから映像の同期信号とモードの切り替え信号を受けて８Kコンテンツを再生している。・コンピュータC… コンピュータAから各種信号を受けて、ラインアレイスピーカーと22.2chスピーカーから同期したサウンドを再生している。

NHK技研公開2023の記事はこちら▼ 次世代のライブエンターテインメントを体感！｜技研だより｜NHK放送技術研究所イマーシブメディアが描くコンテンツの未来｜技研公開2023 (nhk.or.jp)

Credit

Experience Designer, Technical Director : Shuhei Matsuyama Software Engineer, Visual Creator : Ayato Ohkawara Art Director, Visual Creator : Kana Niijima / Michiko Isono Visual Creator : Suihou Matsumoto / Yuki Hikita / Shun Sasaguri Character Animator ∶ Kono Shinichiro Pipeline Engineer：Takaya Nakamura