リアルか？ バーチャルか？ それとも……音楽イベント『VEE Presents “Seek the Brilliance”』で探る音楽ライブの可能性➁

• 

  タカオミ氏

  Takaomi

  VR Creative Team“MIGIRI”Director

• 

  畠中光行

  Hatanaka Mitsuyuki

  ソニー株式会社 技術開発研究所

• 

  三浦 紹

  Miura Sho

  ソニー・ミュージックエンタテインメント

• 

  中居佑輝

  Nakai Yuki

  ソニー・ミュージックエンタテインメント

記事の前編はこちら：リアルか？ バーチャルか？ それとも……音楽イベント『VEE Presents “Seek the Brilliance”』で探る音楽ライブの可能性①

“星”であるVTuberを光輝かせる演出技術

――立体音響技術や配信システムといったテクノロジーのサポートを受けながら、VTuberによるイマーシブ体験を届けた『“Seek the Brilliance”』。音楽イベントとしてのテーマは、宇宙を舞台にした“旅する音楽ツアー”。観客はスペースシップに乗り込んで架空の惑星を旅しながら、それぞれの星にいるVTuberアーティストの音楽パフォーマンスを体験するという内容でした。このコンセプトはどのように考えていかれましたか。

タカオミ：プラネタリウムでの開催なので、やはり宇宙の要素は入れたいと思っていました。

――そこで惑星や星というアイデアが？

タカオミ：そうです。あと、散歩中に夜空を見上げたときに、VTuberという人たちこそ“星”だなと思ったことがあって。星は、明るいものほど見えやすい。明るい星ほど多くの人が見ているんですね。

VTuberもそれと同じで、リスナーが多いVTuberは強い光を放っているとも言える。その在り方はまるで星のようだなと。じゃあ、それぞれのVTuberを星に例えて、その人の星で歌唱とパフォーマンスをするのはどうかなと。そこからプラネタリウム空間を丸ごと宇宙船にしようと考えて、今回のコンセプトにつながりました。

三浦：言のハが考えてくれたイベントタイトルの“Seek the Brilliance”は“輝きを求めて”という意味。VTuberという光＝星を探しに行くツアーというコンセプトにもぴったりです。出演したVTuberも、「VEE」のなかでも歌の活動で人気のある天籠りのん、アルバ・セラ、カシ・オトハ、月白累、トゥルシー・ナイトメアの5人をキャスティングしました。

――イベント全体を貫く物語のシナリオもタカオミさんが？

タカオミ：大まかな流れは私が作成しましたが、脚本やストーリーは旅するスペースシップのツアーガイド役として出演した、VTuberの言のハさんに作っていただきました。ライブ演出、全体の映像的な演出は、私のチームで考案しています。なお、ライブの1～2曲目については、音楽とCGI領域を得意とする映像ディレクター・ReeeznDさんが制作しています。

言のハ

“プラネタリウム”ならではのイマーシブ体験

――タカオミさんは、リアル会場での映像演出は初めての経験ということでしたが、このプロジェクトをどう受け止められましたか？

タカオミ：実際にやってみて、面白さと難しさの両方を感じましたね。リアルライブの多くは、世界観を作り出すことができる空間が、ステージ上にとどまってしまいがちですが、今回の会場はプラネタリウムなので、ステージにあたるのは半円状のスクリーン。ステージが空間を覆うような見え方になるので、会場全体を使って世界観を作り出すことができました。そういうVR的なメリットを出せるというのが、とても面白かったです。

――難しかった点は何ですか？

タカオミ：映し出す映像の調整などのハードウェア面ですね。当然ですが、プラネタリウムのスクリーンは夜空を映し出すために設計されているので、VTuberの映像を流すには明るさやコントラストが薄く、くっきりとした映像は投影しづらくて。

加えて、スクリーンと客席の距離が近いので、映像の端々が歪んで見えてしまうことや、解像度の問題もありました。できればVTuberの体は等身大にしたかったんですけど、それでは表情もよく見えないし存在感も薄まってしまうので、最終的に実身長より大きくしました。

あとは、会場ごとにドームスクリーンに投影する映像のカメラ角度も違うので、両会場で違和感が出ないよう、事前に細かく調整して。本番では面白いイマーシブ体験が実現できたと思います。

イマーシブ系コンテンツに必要なのは立体音響システム

――立体音響による音響演出には、どんな印象を持たれましたか？

タカオミ：現状、VR空間の音楽ライブで立体音響を使っている例はさほど多くないのですが、私はこういったイマーシブ系のコンテンツにおいて、立体音響は必須だと考えています。だからこそ、今回のイベントで、プラネタリウムというリアル空間において立体音響体験を提供できたのは新たな一歩を踏み出せたと思いますし、今後のコンテンツ制作にいきる体験をさせてもらえたなと感じています。

また、今回使用した立体音響システムは、非常に有効なツールだと感じていて。ゲームを開発するツールと立体音響の親和性が高いことはメジャーですが、その分、Unityなどを駆使したプログラミング技術がないと使えなかったりします。そういった技術と、音楽的なエンジニアリングを両方備えている方はなかなかいなくて、後者の技能を持った方にお願いして作業していただくことが多いです。

いっぽうで、畠中さんたちのチームが今回トライされているシステムは、デジタル音楽制作用のDAW（Digital Audio Workstation）のプラグインとして使用することができ、普段からDAWを使って音楽制作をしているサウンドエンジニアにとっては、とても使いやすいシステムだったと思います。

畠中：今回お使いいただいたプラグインは、これまでの2チャンネルステレオのコンテンツの制作フローを十分意識して作られたものになっています。ただし、本プラグインを用いて大きな会場向けのコンテンツを作ることは未知の部分もありましたので、今回の制作にあたっては、立体音響コンテンツを作っていただくサウンドエンジニアとも、事前に密にやりとりをさせてもらって進めました。

そうしたやり取りのなか、実際の会場で本プラグインを使って音のテストをしたときには、立体音響の効果があることをしっかりと実感できました。ただ、会場での調整時間が足りなかったこともあり、何度かサウンドエンジニアに我々の試聴室に来てもらって制作コンテンツの音確認を行ない、またオンライン上でも意見交換をしながら音を作り上げられたのが、すごく良かったですね。そうした過程で各々のツールの使い方も共有できて、お互いに非常に有益なコラボレーションができたと感じています。

――特にスターシップで惑星間を移動している間の立体音響は、素晴らしい表現だと感じました。

畠中：そう言っていただけるととてもうれしいです！　また、今回の立体音響の表現として新しい部分は、VTuberの方がステージを動きながらトークする際、皆さんが動いている様子を可能な限り違和感なく表現するため、リアルタイムで位置情報を取り込んで伝送し、それに合わせた立体音響を作るということでした。

そのシステムは、音響チームだけでなく、伝送チームや映像側でセンシングを担当しているエンジニアの皆さんとも連携し、遠隔の遅延も含めた問題点を何度も話し合いながら詰めていきました。同じソニーにいても、今まで話す機会がなかった人たちとも共同作業ができ、複数の技術分野にまたがる課題を解決することができました。

中居：データの伝送に関しても、いろいろと工夫をしました。当初は映像を丸ごと各会場に送ろうと考えていたのですが、インフラが安定した国内だけではなく、海外も視野に入れたときにそう上手くいかないだろうと、途中で方針を変えました。

具体的には映像と音を一緒に送るのではなく、VTuberの動きと声を別のデータにして送り、現地でレンダリングして映像化、立体音響化するという仕組みにしました。

最終的には、家庭用のインターネット回線があれば投影可能なくらいまで、データ容量を圧縮するシステムを構築することにしたのですが、皆さんのご協力のおかげで、何とか本番に間に合わせることができました。

一番こだわったのは実在感

――タカオミさんには、ライブ映像の演出内容についても振り返っていただきたいです。

タカオミ：今回のイベント制作で、最初に不安を感じていたのが、僕らが作った映像がプラネタリウムではどう見えるのかがリアルではテストできないこと。

そこで、VRChat内に、東京と仙台の会場と全く同じスケールのプラネタリウムを再現したワールドを作り、制作チームの定例会でVRChatに入って、映像を見て問題点を洗い出していくというプロセスを踏みました。おかげで早い段階から演出プランを最適化することができました。

――今回、演出面で特にこだわったポイントはどこでしたか？

タカオミ：VTuberの皆さんが目の前で歌っている、という感覚をいかに表現するかという点です。プラネタリウムのスクリーン投影には輝度の限界に加え、キャラクターを大きくしたことによって、目の前で歌っている感じが出づらくて。その弱点を解消するために、VTuberに当たるライティングを繊細に調整して、実在感を出すことに注力しました。そこが弱いと、どれだけ派手な演出を作っても単なる映像を見ている感覚になってしまうので、非常に重要な部分です。

作り込んだライティングをベースに、惑星が舞台ということならではの、大胆でインパクトのあるライブ演出と共存させて、VTuberの皆さんが美しく見えるように制作しました。

歌と演劇でエンタテインメント性を高める

――普段、タカオミさんがVR空間でされている演出との明らかな違いもありましたか？

タカオミ：それはありました。 PC上のVR空間でのライブは、アバターとして参加する観客も自由に動き回れるので、前後左右からステージを見ることができますが、今回は観客の視点が正面で固定されます。そのため、CG背景のエフェクトの位置を工夫したり、背景自体をアクティブに動かしたりするなど、より奥行き感や没入感を高める効果も丁寧にケアしていきました。

――歌唱以外でも各惑星でのショートストーリーや、VTuber同士のかけ合いがあって脚本上の面白さも感じるパフォーマンスで、イベントとしてのエンタテインメント性も高いものになりましたね。

三浦：そうですね。これまでのVTuberのライブとも違い、合間に演劇、朗読劇のようなパートが入るので、ちょっとしたミュージカル要素もあって。お芝居の演出で物語を紡いでいったので、演者側にとってのチャレンジも大きかったと思いますが、そこも皆さんに楽しんでもらえたようです。月白のように、独自の世界観をファンから支持されているVTuberもいますので、「VEE」としても新たな扉を開けたと感じています。

タカオミ：今回はお芝居を挟んで、演出を目いっぱい作り込んだ各VTuberのソロ曲や、複数人が一緒に歌う曲など、全8曲を構成しました。汎用ステージを使用した曲は、演出を施した楽曲に比べて見劣りしてしまうのではないかと心配していたのですが、実際に見てみるとまったくそんなことはなく、皆さんにも喜んでいただけたようなので安心しました。

――音響の専門家である畠中さんは、タカオミさんが手がけられた映像演出を、どのように感じましたか？

畠中：初めて頭上のドーム型スクリーンで映像を見たとき、オープニングから映像の世界が迫ってくることに感動しました。文字や映像がわーっと流れる圧倒感にまずやられてしまって。テストの段階から、これに立体音響をつけたら絶対にいいものになると確信していましたが、それ以上に素晴らしく、本当に新しい体験でした。

『“Seek the Brilliance”』の可能性を広げて新しいエンタテインメントを！

――皆さんの初めてのチャレンジを詰め込んだライブは盛況のうちに終わりましたが、本プロジェクトの可能性について、どのように感じていますか。

三浦：VTuberサイドの目線でいうと、バーチャルな肉体と空間で活動している存在であるため、これまでのライブは、生身のアーティストに比べると実在感で負けがちなところを、映像演出やVJ的な要素でカバーしながらやっていました。今回は、そこに新しい道を加えることができたかなと思っています。

リアル会場を選択することで、VR空間に入り込むハードルを下げつつ、世界観にも没入できるという最大の検証目的は、皆さんのおかげで果たせつつあると思いますし、同時に高いポテンシャルを感じています。

中居：プラネタリウムという会場も運営が地域の自治体であることが多いので、イベント開催時の制限や規約も多いですが、今回をきっかけに協力していただける会場を増やしたいですね。

三浦：あと映像の3D化もやってみたいです。

中居：実際、3D映像が上演されているところもあるので、実現は不可能ではないと思います。

タカオミ：面白そうですね。それは僕もやってみたいです！

畠中：立体音響も大規模空間での再生には技術的な課題がいろいろありますが、開発を重ねて挑戦してみたいですね。

タカオミ：僕もプラネタリウムでのイマーシブコンテンツには、体験メディウムとしてのポテンシャルを改めて感じたので、3D映像×立体音響も演出してみたいです。また、『“Seek the Brilliance”』はライブに参加する方法の新しい選択肢を作り出す一歩になったと思います。

現在では、リアルライブに参加する、配信やVRで見るなど方法はさまざまですが、配信では客席の盛り上がりがわからないし、VRはバーチャル空間でのリアルタイムの盛り上がりはわかっても、サウンドの臨場感は欠けます。

いっぽう、リアルライブではすべてが揃っていますが、客席の遠近があるので場所によってはダイナミズムが下がるほか、バーチャル空間のような自由な演出や空間設計はできません。

その点、プラネタリウムライブはリアル×バーチャルのハイブリットという新しいかたちです。またそこにリアルとVRを同時開催することで、どこから参加するのかを選べたら、より面白いですよね。今回のように、いろんな人にイマーシブコンテンツの魅力や面白さを伝えられたらいいなと思います。

目指したのは“イマーシブコンテンツとリアルライブの融合”

――今回のライブもVTuberがリアルタイムで観客に話しかけたり、声援にリアクションしたりというコール＆レスポンスの光景も非常に印象的でした。

タカオミ：イマーシブコンテンツとリアルライブの融合ですよね。僕は、その瞬間を生み出したくて、この仕事をしていると言っても過言ではありません。

残念ながら現場では観ることができなかったんですが、自分にとってすごく印象的なライブがありまして……。それが、LiSAさんの初めての日本武道館ライブ（『LiVE is Smile Always～今日もいい日だっ～』）なんです。初の武道館というプレッシャーのなか、喉の調子が悪くなり序盤で声が出なくなってしまう。その後、涙を流しながらも、必死に会場を盛り上げ、歌っている姿に感動しました。

音楽のライブとしては、声が出ていないという点で失敗と言われるのかもしれないけど、その瞬間、その場所でしか絶対に味わえない、2度と出会えない体験だったと思うんです。そして、そういう奇跡的なライブというのは、本人が目の前のお客さんから受けるプレッシャーやシチュエーションが生み出す緊張がないと、絶対にできないと思います。

VR空間でのライブは、お客さんにとってだけでなく、ステージに立つVTuberにとっても非常に臨場感のあるものです。目の前にお客さんがいて、客席を見るとお客さんと目が合うという緊張のなかでしか生まれ得ない、奇跡が見られるライブを作り上げることが、僕の目標のひとつです。

目標は国内外での多拠点VRライブやイベントの実現

――その想いをつなげるためにも、このプロジェクトは続けたいですね。今後の展望を聞かせください。

中居：私は、このプロジェクトを通じてメタバース、VRエンタテインメントはすごい！　ということを、より多くの人に知ってもらって、マーケットを広げていきたいと考えています。

とはいえ、ハードウェア的なハードルもまだ高いですし、主催側もまだビジネスとして成立できていないのが現状です。そこをクリアしないと、ファンも優秀なクリエイターも増えていかない。

そこで我々ができることは、リアルと融合した新しいコンテンツをきっかけに、集客ができてマネタイズもできるエンタテインメントビジネスの仕組みを作り、スタークリエイターが生まれる土壌を開拓することです。今回の経験をいかし、またここにいる皆さんの力をお借りしながら、国内外での多拠点VRライブやイベントも実現したいですね。

記事の前編はこちら：リアルか？ バーチャルか？ それとも……音楽イベント『VEE Presents “Seek the Brilliance”』で探る音楽ライブの可能性①

文・取材：阿部美香
撮影：冨田 望