リアルとバーチャルが共存したライブの舞台裏…『ANISAMA V神 2024』からみるARシステムを使った音楽ライブのあり方【CEDEC2025】

2025年7月22日から24日かけて、ゲーム技術者やコンピュータエンターテインメントのエンジニアらを対象とした国内最大級のカンファレンス「CEDEC 2025」がパシフィコ横浜ノースにて開催されました。

多くのゲーム関連会社が講演を開くなか、24日にはbalus（バルス）株式会社の溝口健氏と伊藤雄二朗氏が登壇し、「『ANISAMA V神 2024』を支えた技術リアルライブの再現とARシステムの音楽ライブ」と題した講演を開きました。

balusは主にバーチャル関係に従事する会社で、ライブプラットフォーム・SPWN（スポーン）を中心にした事業のほかにライブコンテンツのプロデュースやVTuberを運営する事業も手掛け、2024年12月末にはライブイベント『ANISAMA V神 2024』を開催しました。

今回の講演では、そんな『ANISAMA V神 2024』を中心にしたバーチャルライブの技術講演となっており、きただにひろし、森口博子といったリアルアーティストとバーチャルアーティストが共演した当ライブの裏側を解説しました。

『ANISAMA V神 2024』では登壇者の溝口氏はARシステム、伊藤氏はLookDevや観客システムを主に担当し、2人でこのイベントを制作しました。

『ANISAMA V神 2024』へ話題を進める前に溝口氏から、balusが提供しているバーチャルライブシステムについての説明がされました。

balusでは、SPWN Stageと呼称しているバーチャルライブ空間をUnityで制作しています。モーションデータを受け取って3Dモデルへ反映し、照明卓からくる信号に応じた処理をおこない、Cinemachineを使ってのカメラスイッチングを可能にしています。溝口氏は、さまざまなイベントでの実装とフィードバックを繰り返し、どんどんとアップデートしていくとしています。

さらにViconというカメラシステムを使って、着ているスーツについているマーカーから人のボーン情報を生成します。そこからモーションビルダーというソフトウェアを経由して、ボーン情報をUnityへとリアルタイムに反映していきます。

またライブハウスなどで使われているDMX信号で、SPWN Stage上のバーチャル照明に連携させて操作することが可能になっています。照明チームと連動してルックの調整を行なうことで、リアルとバーチャルの照明を馴染ませているとのことです。

このカメラスイッチングはUnityの3D空間の中でカメラスイッチングが行えるように作られており、最大64台まで対応した実績があるそう。

位置が固定されている固定カメラやアーティストを追従するカメラなど、Cinemachineにある機能であるドリーカメラ、カメラマンが動かしモーションキャプチャーを通してCG空間に反映する手持ちカメラなどがあります。こうした機能を使いながら、イベントごとに多様なリクエストに対応・反映できるようなシステムになっているのです。

続いて、ここまでの説明をベースに本題となる『ANISAMA V神 2024』の内容が解説されました。

『ANISAMA V神 2024』は、2024年夏に開催された『Animelo Summer Live』のステージを設計図をもとにしてCG上に再現し、バーチャルアーティストがアニソンを歌う音楽ライブです。本家『Animelo Summer Live』と連携したライブイベントとなっており、実際の設計図をもとにCG空間に再現されました。

出演アーティストは、バーチャルアーティストが19名、リアルアーティストが3組で曲数は36曲。制作期間としてはおよそ6ヶ月で、通常よりも長いそう。曲数や曲の演出などの新規実装をする必要があり、ARシステムや観客システムを組んだり、ルックの調整ができる仕組みを作られています。溝口氏曰く、「かなりボリュームのある作業量でした」と語りました。

実際の写真と比較すると、ステージ中央にある道などが再現されているほか、LEDの作りなども同じように作られているのが分かります。

『ANISAMA V神 2024』ではバーチャルアーティストとリアルアーティストとの共演が見どころになっています。

リアルアーティストとバーチャルアーティストを違和感なくCG空間に存在させるため、溝口氏は課題として以下の3点を上げました。

リアルアーティストをCG空間に立たせるためにリアルタイムで反映させる
やりとりをスムーズにするために「同じスタジオ内」で歌唱・MCする
演出面充実のために自由なカメラワークを可能な限り実現する

ARシステムを組むにあたっての選択肢は2つ。ボリュメトリックシステムとクロマキー合成を使う方法があり、今回採用されたのはクロマキー合成でした。その理由として溝口氏は、制作期間が半年ほどある中で36曲分の演出やギミック作成も並行して作業していくことを考慮したとのこと。そこで、システム検証がしやすいクロマキー合成を採用したと説明しています。

溝口氏は、追従カメラなどの画角で写した際にグリーンが見えてしまう、CGカメラで写せる画角が増やせるのかなどを、事前に予測していた検証項目として上げていったそうです。

それを実際に検証した結果、立体感のない画になったりグリーン抜きが上手く出来ていない部分があったり、また実写映像とCG照明の明るさが合わないといった問題が判明しました。

立体感の対策としては、厚みを出すための技術としてレイマーチングを採用。キューブのメッシュに対してレンダーテクスチャーの映像を奥行きとして重ねる方法が取られました。

またグリーン抜きががうまくできない部分に関しては、Unityで直接グリーン抜きをせず、マスクするための映像を制作、それをそのまま受け取ることが対策となりました。これによりUnity自体の処理負荷などの影響で映像フレームがズレてしまうパターンが発生しましたが、この場合もUnityシステムの外で映像をいったん作成し、Unityとして1つの映像として受け取るようにされています。

これによりバストアップのカメラや、マイクなどの細かい部分で緑が残ることも無くなりました。

実写映像とCG照明の明るさについては、レンダリング時に同じシェーダーを使って色調整を行えるようにしたほか、実写映像とCGの色味を近づけるためプレビューが出来るようにしました。

溝口氏は今回、後者の対応について紹介。Custom Post Process Volume Componentを使ってR/G/Bそれぞれの強さをプレビューできるようにし、グレースケールで表現したとのこと。リアルタイムにUnity上で調整できるようにし、照明が動いた際にでも確認が行えるように実装しました。

さらに、映像を受け取ったあとにはRender Texture経由で最終レンダリング用のシェーダーへ渡しています。色の調整については、以下の写真のようなシェーダーグラフで行なっています。

工夫した点として、カメラの種類でARを出し分けており、固定カメラやドリーカメラを使用した際にステージの特定位置にある程度調整したキューブ型（長方体）の表示領域を設定。そこをレイマーチングで奥行きを表現することでレンダリングしたとのこと。

また追従カメラは、映像を反映しているMesh Rendererをカメラに対してビルボードさせる（カメラに対して常に正面を向く）ことで、角度などの違和感が出ないように趣向を凝らしました。

手持ちカメラでは、モーションキャプチャーから受け取ったモーションをCGカメラに反映し、全画面で出しています。こちらはCanvasとMeshRendererを組み合わせて実装したとのこと。

ここまでのまとめとして、クロマキー合成処理は目立ちづらいものに置き換えることができ、実写映像をUnity空間に配置することになったため、ポストプロセスの恩恵を受けることができたと解説。加えて、実写映像を写すCGカメラごとに写し方を工夫することで、違和感を少なくレンダリングすることができるようになったと語りました。

◆実際の舞台を元に制作…！ステージ制作コンセプトも解説

続いてスピーカーが伊藤氏へ代わり、『ANISAMA V神 2024』のステージ制作コンセプトについて紹介されました。

まず伊藤氏は、この『ANISAMA V神 2024』では実際のステージによせてCGを寄せていくということが主軸になっており、バーチャルライブを現実の雰囲気に近づけるためにライティングやCGアセットなどのリアリティを上げる必要があったと話しました。

ほかの課題を含めると、以下の写真のようにまとまります。

まずはライティングについて解説。伊藤氏は、ステージ制作全体を通しての開発期間は半年ほどで、36曲分のライティングを含めた演出を作り終えなくてはいけなかったそう。しかもCG担当を除いたUnityの開発担当は伊藤氏と溝口氏の2人のみの体制だったため、短期間のなかでリアリティある高品質なルックを実現しなくてはいけない状況だったと振り返ります。

そのため、光のルックをHDRPを採用。これでフルスクラッチと比べ、少しの調整で高いクオリティかつリアリティあるCG制作ができると伊藤氏は判断したそうです。

別のライブ制作で伊藤氏は、照明機材によるライトのビームをすべてHDRPのボリュメトリックフォグで表現し、より自然な発光感とレイトレーシングを用いた光を生かして構成したと語ります。

ボリュメトリックフォグで作られる光の表現は、それまでの3Dライブのクオリティよりも数段階レベルアップしており、HDRPではライトコンポーネントの調整に物理ライトの単位を使うので、より直感的にリアルベースの調整ができると説きます。

その反面、高い処理負荷がかかることもるため実際に採用できるか検証が行われました。検証した当初はしっかり動作しており、3Dライブを行なうのは問題ないと伊藤氏は考えていました。

しかし、ステージ制作の作り込みや3D照明の本格的な配置などによって制作途中でパフォーマンス不足に陥ります。

負荷検証の見積もりの甘さから、ボリュメトリックフォグを使ったライティングを含めた多くのHDRPのエフェクトを諦めることになったと伊藤氏はいいます。

ちなみに最も負荷がかかったのは、ライブのラストで19名のアーティストが一斉に歌い、銀テープが発射されるシーンだったそうです。

ライティングクオリティを維持するために、処理負荷の軽減の工夫を施しており、Decalを用いたコンポーネント節約と、電飾機材のMeshRendererの節約を行なったと伊藤氏は解説します。

たとえば、ステージ上部に吊るされた照明機材の1つ。円形に7つのライトが並んだ照明機材で、それぞれのライトが自由に動く設計になります。そのまま実現しようとすると、この機材に7つのライトコンポーネント搭載することになる上に、ステージ上には同じ機材が10台もあったそう。この照明機材だけで、実に70個分のライトコンポーネントがかかってしまいます。

このままでは大きな処理負荷がかかってしまうため、ライトの角度から接地面を計算し、Decalで描画するという方法を施したと伊藤氏はいいます。

また階段やステージふち部分の電飾も、MeshRendererをつかってうまく削減するなど工夫をこらしました。前述の通り実際の『Animelo Summer Live』のステージでは70台の照明機材が配置されているため、これをCGのステージで構成しようとすると70台分のDMX信号を受けとる必要があります。

これを、縦1ピクセル、横70ピクセルのテクスチャを70分割し、DMX信号をカラー信号として1ピクセルずつ反映していると伊藤氏は説明。このカラー信号にはRGBの3チャンネルの信号を割り当ててあり、このテクスチャだけで210チャンネル分をマイフレームリアルタイムに反映することができます。

例えば1番左をR200の赤、その隣をR180の赤と、右に向かうにつれてどんどん黒になるように照明信号を送ってみると、実際のテクスチャはグラデーションのような表現になります。

このテクスチャにシェーダーなどを加えて整えると赤いラインがステージを走り、それでいて電飾らしい粒感も表現できるようになります。このようにしてリアルステージの電飾が再現されています

そして最後に解説されたのが、今回のステージ制作の雰囲気づくりで最も検討されたエフェクト選定について。

HDRPの特有のエフェクトはパフォーマンス不足のために見送る結果となりましたが、それゆえにより良いルックを作り上げるためにエフェクトを厳選したと伊藤氏は話しました。このディレクションにおけるエフェクト1つで大きな変化をもたらし、ライブの印象をガラっと変えることになるからです。

テクニカルアーティスト、CG班、カメラ班、照明班、ディレクターと多くの人が選定に関わっていますが、今回大きく悩んだのがTone Mappingでした。

Tone Mappingとは、太陽の輝きから影の奥のコントラストなどの自然界の膨大な光のデータを持つHDRを、パソコンパニターやスマホが表現できるSDRへと落とし込むための翻訳作業を担うプロセスです。

今回のイベントで初めて本格的にTone Mappingを使用し、ライティングのクオリティ向上に大きく貢献したとのこと。

スタッフでACES、TonyMcMapface、Khronos PBR Natural、Agx Baseの4つを検討。最終的に採用されたのがTonyMcMapfaceでした。

照明班からは、照明機材のレンズ部分の青色を発色をきれいに見せたい、ライトが当たっている3Dキャラモデルをきれいに発色させたい、3Dキャラモデルとステージの雰囲気の調和をとりたいといった要望が出ており、その意見を重きに置きながら比較しました。

他のエフェクトと比べた際に、アップで映して青一色でつぶれることや逆に過剰に発光すること、会場が広く見えるように感じられないか、スポットライトの光同士が被った際に不自然に浮いて分離してみえないかなど、さまざまな角度・シチュエーションをみて判断したと言います。

他のポストエフェクトとも複合的に調整しているので、一概におなじような結果が得られるとは限りませんが、このToneMappingを適切に選択することで、全体の雰囲気に大きく影響するものだとハッキリ分かったと伊藤氏は語りました。

まとめとして、HDRPの機能は強力であり、パフォーマンス不足に悩まされるので検証は十二分にすべきであること。また処理負荷の低い、ポストエフェクトをもちいたルック調整も強力であることがわかりました。

伊藤氏はつづけて、今回のステージ制作における観客システムについて話をしました。

『ANISAMA V神 2024』では、約16,000人もの観客がリアルタイムでレンダリングされています。この迫力ある観客の動きや画を作り出すため、GPUレンダリング、DMX制御、VATでアニメーション制御の3つを活かしたそう。

観客は今回、女性と男性モデルしかつくっておらず、それぞれ右手持ち、左手持ち、両手持ちのみの3パターンで構成された6パターンの人間を客席ゾーンにランダムで配置しています。その中から一部を抜粋して、GPUで一括でレンダリングをしています。ランダムで配置している中から女性キャラだけを抜粋して、一括でレンダリングするような仕組みになっているのです。