バーチャルライバーグループ「にじさんじ」を運営するいちからは2019年11月25日に行われた、Live2Dによるクリエイター向けイベント「alive 2019」にて「にじさんじアプリにおける表情の豊かさの秘密」と題し講演を行いました。セッション後はインサイド編集部による独占インタビューも行われましたので、併せてお届けします。
まず壇上に登ったのはいちからCTOの草なぎ氏。Live2Dモデルを実際に使って、スマートフォンなどでライブ配信を行う演者（以下「ライバー」）向けのアプリについて、その開発経緯が語られました。
草なぎ氏は「アプリ側からできること」としての苦労話を展開します。アニメ的な表現であるそれぞれのモデルとは異なり、開発をはじめてみると人が話す時には唇をほとんど動かさないことに気付かされたと言います。モデルが「話している感じ」を抽出できずに困ってしまっていたようです。
一人で開発していた当初、少しずつ表情を認識させていく為に自身の顔を使っていたので、段々と自分の顔に最適化されてしまうなど、立ち上げには地道な苦労が重ねられたことが伺えます。
草なぎ氏は「人間の表情をそのまま落とし込めば良いとは限らない」とし、また単純に顔のパーツ分けを行って対応させるだけではなく、唇の動きに応じて（ライバーが動かしたかどうかに関わらず）眉毛を連動させるなどといった「現実と二次元の間」を見極める手法を取っているとのこと。
続けて登壇したのはLive2Dディレクターの野久保氏です。2019年4月の入社より「にじさんじ」におけるキャラクターモデリングを担当しています。とはいえ野久保氏はLive2Dモデリングが専門ではなく、イラストレーターとしての経験を活かして現在はビジュアル面の強化に携わっているそうです。
ライバーにとっては何が大事な要素なのかを力説する野久保氏によれば、それは「長時間に及ぶリアルタイムトラッキング」にあるとのことです。一度の配信で30分～12時間という長時間に渡って表情が写り続けるという特性を持つライバー。その表情に少しでも不自然な点があると視聴者が配信に集中できなくなるという問題が生じてしまいます。
さらに言うと、通常なら感情表現の手段として活用される手足の動きといったものは制限されているので、（「にじさんじ」における2Dモデルでの）バーチャルライバーは表情のみで勝負しなければなりません。その為、カメラで表情の位置情報をトラッキングする際は、忠実に読み取るだけでは視聴者へ伝わりづらくなってしまうと、その課題を浮き彫りにします。そこで、モデリングの際には「ライバーの表情情報」に掛け算をする形でキャラクターの動きを付け、より感情を伝えやすくする工夫こそが重要であるとしました。
そうした課題を見据えたモデリングで大事なこととして、野久保氏は「原画の分析」「人間とモデルの掛け算」「視聴者の為に破綻をなくす」の三点を挙げました。野久保氏が最も大切にしている部分でもあるという「原画の分析」は、一目見た原画キャラクターの印象からどのような人物像かを想像するところから始めるそうです。
どんな性格か？話しや声の大きさは？といった瞬間的な印象から、仮に優しそうな性格であれば大きな動作はそれほどしない……と連想を深めていき、そうしたイメージとかけ離れたモデリングにならないよう詰めていきます。こうした分析をしなければ、ライバーとモデルの掛け算がうまく合致しなくなってしまうのだと言います。
視聴者に伝わりやすいアニメライクな表情を作るにあたっては、安易にアイコン的な手法は採用しないようにしているとのことでした。あくまでも、顔の各パーツがなぜそのように動くのかという視点で、その構造を観察してモデリングする意識づけを行ったそうです。
例えば、目の開閉で変わるまつげの上下の向きの場合「開けている時は上、閉じている時は下でやるのが普通だよね」と短絡的に考えるのではなく、目を閉じる流れの中のどの瞬間にまつげが下に向くのか……また口の開閉では、人形劇のように顎全体がただ上下にスライドするのではなく、顎関節の軸を中心にして回転運動をしているから……といった理解を深めながら作り込むようです。
ライブ配信では、モデルの各パーツは「動きの流れの途中」で止まることも多く、更に長時間それらが視聴者の目に触れることとなるので、手を抜く訳にはいきません。
視聴者が集中して配信を楽しめるような工夫は、パーツ分けの方法にも及びます。例えば、前髪全体をひとつのパーツとしがちなところを細かく分類したり、口のパーツを背景色ごとまとめるのではなく、丁寧に輪郭線などと分割するといった工程を踏まれています。
口と背景色の例では、顔の輪郭が歪むような場合に不自然な色が浮かび上がってしまうといった問題が生じます。数秒のシーンでは許容できる場合があったとしても、やはり長時間の配信には耐えられず、結果として視聴者の集中を削いでしまうのだそうです。その上でも可能な限りコストを削減するため、丁寧に線対称なモデリングを実施するなど、力を掛けるべき部分を明確にし、破綻を無くしていく地道な作業が大切だと語られました。
こうした”大事なこと”を頭部全体にまで発展させたものが「2.0」と題したブラッシュアップモデルです。2.0は可動域を広げたものとして展開されていますが、これまで説明された点を踏まえると、より作業工程の緻密さが要求されるだろうことが分かります。
野久保氏によれば、これらのモデリング作業は「絵を描く工程と同じ」だと考えているとのこと。ある場面の平面を描き出すだけではなく、どのような構造になっているのかをしっかりと考えてモデリング必要があるためです。「キャラクターに魂を宿す上で生じる摩擦を可能な限り減らしてゆく」ことが、モデルの魅力に直結するとして講演を締めました。
にじさんじライバーの2Dモデルに込められた思いとは？―開発者インタビュー
──本日はよろしくお願いします。まずは改めてご担当領域について教えてください。
草なぎ氏：開発責任者をしています。開発・デザイン部全体の管理をしつつ、新規事業などのプログラミングをしていることが多いです。
野久保氏：Live2Dディレクターです。他のモデラーさんが作ったモデルをディレクションし、ビジュアル面におけるクオリティの統一化を図っています。自分でLive2Dモデリングをすることもあります。
白鳥氏：Live2Dイラストや3Dデザインの統括をしているデザイン部の部長しています。プロジェクトマネージャー、アドバイザーといった立ち位置ですね。
──今回、「alive 2019」への登壇を決めたきっかけは？
白鳥氏：Live2Dさんから声を掛けていただいたというのもありますが、ちょうどモデラー面での人材探しをしていたこともあり、参加させていただきました。持っている技術をお話ししつつ、興味を持ってくださった技術力のある方々が来てくだされば、という狙いもあります。
──VTuber向けに2Dツールを扱える人材はやはり貴重なのでしょうか？
野久保氏：Live2Dは元々アニメーションを再生してアプリに取り込む流れがメインだったと思います。なので、最近盛り上がってきた「リアルタイムトラッキング」をベースにLive2Dを扱える方は意外と少ないと感じますね。ゲーム制作のモデリングはできるけど、リアルタイムトラッキングはちょっと……という方はいらっしゃいますね。
──セッションでの「原画を分析して、その個性から外れないようにモデリングする」という説明につきまして。“清楚な委員長”なキャラクターデザインの「月ノ美兎」さんが顕著だと思いますが、原画から連想されるイメージから逸脱しているライバーさんも多いように感じます。キャラクターデザインの工程を過ぎると、その性格付け的なことはデザイン部から手離れするのでしょうか？
白鳥氏：ライバーさん自身でプロデュースされる面は多いですね。ただ、ライバーさんの方からLive2Dへの修正案などが挙がる場合もあります。キャラクターの方をライバーさんに合わせていくといったような、そうした擦り合わせは行いますね。
──もう一つ、具体的なライバーさんに絡めた質問をさせてください。「鈴原るる」さんが『バイオハザード RE:2』のゲーム実況にて、とある挙動がバズったことがありました。こちらは設計者の思惑通りだったのでしょうか？それともライバーさんが起こした偶然の産物ですか？
野久保氏：鈴原るるさんをモデリングした担当者のクセが出ているという面もあるとは思いますが……。恐らくは意図したというより、キャラクター性とライバーさんのアクションが奇跡的に噛み合ったのだと思います。
──そういったケースは度々起こるのでしょうか？
白鳥氏：最近はあまりないと思いますね。野久保がディレクションすることで、クオリティのラインを揃えていますので。
──クオリティラインを揃えるようになったということは、必ずしも良いものだけが偶然の産物として生み出されるわけではなかったと？
白鳥氏：わかりやすい例では、Ver2.0のお披露目動画で「笹木咲」さんの上目遣いが怖いと言われたのがあります。クオリティを一定にハンドリングできなければ、そうしたことが頻繁に起こってしまうんです。
野久保氏：ライバーさんに助けられている部分は多いです。先ほどの例は確実にモデラーのミスなのですが、笹木咲さんがたまたま面白おかしく取り上げてくれました。とはいえ、それにモデラー側が甘えてはいけないと考えています。あくまでも、アクシデントでバズってはいけないんです。
──予測できないからこそ出てくる面白さがあるにしても……ということですね。
野久保氏：それは私たちの仕事として考えれば、失敗していますので。
──次にモデルのデザインについてお伺いします。にじさんじの特色として、キャラクターに対して世界観設定を設けていますが、それはデザイン班が行っているのでしょうか？
白鳥氏：デザイン班が行うことではあるのですが、まず「新規デビューチーム」が仕様書を固め、こちらに渡して始めるといった場合もありますね。どちらが先というよりは、半々くらいでしょうか。
──例えば「健屋花那」さん。彼女は“ナース”と特にジャンル性が強いですが、そういったデザインは、どこから発想として生まれてくるのでしょう？
白鳥氏：健屋さんの場合は、はじめの段階でイラストレーターさんのかやはらさんにお願いしようと方向性が決まっていました。どんなデザインにしていただこうかと検討したところ、かやはらさんの描くイラストの中でも「全体的に白色で、目が隠れているキャラクター」が特に魅力的だと考えたんです。そのテーマから連想して“ナース”で行こう、となった次第です。
──ロジカルに進められていたんですね。イラストレーターさんの得意分野で、良さを引き出すための方法を模索するという訳ですね。
白鳥氏：イラストレーターさんの属性は特に大事だと思います。元々私はソーシャルゲームの2Dアートディレクターをしていたんです。その時から、マネージャーさんから出していただいた案に対し、どんなキャラクターならばいけるのかをきちんと考えて進めるようにしています。最近だと「えま☆おうがすと」さんのように“魔王”と“スクール水着”のミスマッチは面白いのではないか……とディレクションしていきました。なかなかうまくハマってくれたのではないかと思います。
──ところでLive2Dモデリングは、キャラクター各々がそれぞれ細かく「パーツ分け」されていると話されていましたが、イラストレーターさんへ「パーツ分け」を含めた依頼を行う際には、個々で指導などを行う場面も出てくるのでしょうか？もしくは、それも含めたマニュアル作りをされているのでしょうか？
白鳥氏：パーツ分けの仕様書とLive2Dの仕様書を用意していて、イラストレーターさんにはパーツ分けの仕様書をお渡しし、それに沿って作業いただいています。納品データは社内でパーツのチェックを行い、不足分や修正点などをフィードバックする体制で進めています。その上でどうしても足りないパーツが出てきた場合などは、イラストレーターさんの作風を踏襲しつつ、社内で描き足しを行う場合もありますね。
──「“配信で長く映り続ける”ことを意識したモデリングを」と話されていたことから、表情のパーツひとつひとつを丁寧に作り込んでいる印象を受けましたが、Live2Dの手法パターンとしては珍しいのでしょうか？
野久保氏：基本的には丁寧に制作するとは思います。ただ、「モーションの仕様」が先にあった上でモデリングをするという流れの方がメインなのではないでしょうか。それに対して、私たちが扱うようなリアルタイムトラッキング配信の場合は、キャラクターの動きが「0か1か」ではなく、0.5に位置するような部分も多く視聴者の目に触れてしまうことになります。それが0.3であっても、0.7であってもすべてがキレイに映るようでなくてはなりません。アニメーションの”中割り”とは異なるという訳です。
────なるほど……！ところで、少し話が戻るのですが、モデリングの際に「原画を分析」の重要さを強調されていましたが、バージョンアップとなる2.0に関しては、ライバーさんの分析になるんですかね？
野久保氏：表情の変更はしませんが、物理演算などに手を加えることがありますね。例えば、大きく頭を振るライバーさんだった場合、その部分に物理演算を細かく割り振ればよりキレイな表現になりますので。各ライバーさんの普段の配信から汲み取り、どういった付加価値を与えれば魅力が増すだろうか……というのは2.0における分析ではありますね。
──そうしたチューニングの際は、ライバーさんともやりとりされるのでしょうか？
白鳥氏：社内チャットツールがありますので、そこからライバーさんの要望をチームに伝えていただく体制を取っています。
──ちなみにライバーさんの要望はどれほど来るものなのでしょうか？これまで反映したものなどがあれば教えてください。
草なぎ氏：色々あるのですが、例えば「にじさんじ」アプリの機能面だと「画面に映るモデルの位置変更・拡大縮小」をセーブして、次回の配信時にも引き継ぐといったものは要望を受けて実装したものです。ただ、最近はそうした要望も落ち着いてきていますね。
──アプリについて詳しく教えていただきたいのですが、開発当初は一般ユーザー向けのサービス展開を狙っていらしたと思います。現在ではライバー向けにシフトしていますが、どのようなきっかけがあったのでしょうか？
草なぎ氏：今でいうREALITY（※）さんのように、元々は自社プラットフォームを構築しようとしていました。いくつか用意したアバターを一般ユーザーさんが選んでいただき、配信できるというようなものです。ライバーグループとしての「にじさんじ」がヒットしたから……という理由もあるのですが、丁度そのころは様々なプラットフォームが立ち上がっていたので、今から参入するのも厳しいといった判断があり、にじさんじアプリはライバー向けにシフトしようと決めました。
（※）グリー子会社のWright Flyer Live Entertainmentが運営するVTuber向けライブ配信サービス
──3Dではなく、2Dで表現し続けることのメリットはどのように考えていますか？
白鳥氏：3Dの場合、全身のモデリングは大変ですし、配信機材にもマシンスペックが求められますので、配信ハードルが低いことは私たちが用意しているアプリの強みだと考えています。クオリティも一定の所まで担保できているのではないでしょうか。
野久保氏：2Dはやはり日本での親和性が高いです。これが北米の文化だったのならば3Dだったのだろうと思います。アニメに慣れ親しんでいる文化が、にじさんじのコンテンツとがっちりハマったのでしょう。
──はじめは2Dでも、後に3D化を果たしてからはその姿で活動するVTuberの方が多いなか、にじさんじのライバーさんは高品質な3Dモデルを得た後でも2Dの姿を主軸とされていますよね。
草なぎ氏：3Dモデルをライバーさんに提供した後、それほど使用しない方が多いだけで。好きなように2Dか3Dか選んで使っていただいている結果、2Dが主軸のような形になっている状態です。配信がしやすいからかもしれません。
──様々お答えいただき、ありがとうございました。最後に“裏方”ならではのお話をお聞かせいただきたいのですが、まずは「なかなかうまくいかなかった！」といったエピソードはございますか？
野久保氏：例えば、横向きの可動域を増やした「2.0」を技術者として用意して、はじめのうちは珍しさでライバーさんも意識的に使っていただけるのですが、そのうち慣れてくるといいますか……「もうちょっと横を向いたりしてほしいな」というのは、開発者としてのエゴですね（笑）。コラボ配信でもない限りは中々難しいのかもしれません。ホラー系の配信で驚いた時なんかに、顔をそらすのを期待しているんですがなかなか（笑）。
──画面外に顔を向けるまではいかないんですね（笑）。では逆に「技術者冥利に尽きる！」と感じる瞬間はいかがでしょうか？
白鳥氏：新衣装など、ライバーさんの要望を受けてデザインを行うことがありますが、そのイメージ通りの意図を汲み取り、気に入っていただけたりするとかなり嬉しいですね。ライバーさんによっては細かい指定もあるのですが、それに応え切ったと思えた時はとても気持ちがいいです。
野久保氏：ファンの方が気が付いてくれた時なども嬉しいです。モデルを長くみているのは何と言っても彼らなので、こだわって作った細かい点まで反応をいただけると非常に嬉しいですね。最近だと「夢月ロア」さんの夏メイド服衣装は、尻尾に対して、身体の動きに対して先端が少し遅れて付いてくるといった細かいこだわりを仕込んでいたんです。ファンの方が「何だか尻尾がリアルになったね」と反応しているのを見て「あー！わかってくれた！」と盛り上がりましたね。
──ありがとうございます。それでは今回のインタビューの読者に向けて、それぞれメッセージをお願いします。
野久保氏：リアルタイムトラッキングをメインに据えたコンテンツですので、あらゆる角度・あらゆる動きの全てがキレイに見えることが必要だと考えています。「これこそが大事なことである」との認識の上でモデリングに携わってくれる人の存在は大切ですね。セッションではカッコつけて表現しましたが「キャラクターに魂を宿す上で生じる摩擦を徹底的に減らす」意識が、結果としてライバーさんの為になり、支援に繋がっていきます。これからもそうした部分は核にして続けていきたいと思います。
草なぎ氏：引き続きにじさんじアプリの開発を進め、Live2Dに頼りきりになるのではなく、できることはやっていきたいです。もっとかわいく、もっと自然にといった方向です。本日はLive2Dのイベントでしたので、人材募集の件についてはLive2Dに限定したような話となってしまいましたが、これに限ることなくUnity技術者や、もっとモデリングをかわいくしたい、ライバーさんの演出に貢献したいといった想いをお持ちの方はぜひ応募していただければと。
白鳥氏：Live2DでVTuberを作らせたら自分たちが日本一なんだという自負を持って取り組んでいます。実際、社内のLive2Dに対するスキルは高いと思いますので、我こそは！という方の応募をお待ちしています。技術者集団が揃っていますので、よろしくお願いします！
