2014年7月12日にニコニコ動画にて公開された映像「【AR】ピアノに合わせてミクが歌う Tell Your World【MMD】」では、人間によるピアノの演奏を認識し、それに合わせて初音ミクが歌うというインタラクティブ要素を取り入れたARアプリケーションがお披露目されました。まるでピアノの上に実在するかのようなミクが、軽やかなダンスと共に見事な歌声を披露してくれます。
このARアプリは、ピアノの打鍵情報をMIDIで受信し、演奏位置とテンポを推定。多少のミスタッチやテンポの乱れがあっても追従できるため、下手な演奏にも対応してくれるという臨機応変さも備えています。またミクの声はピアノ打鍵の解析結果をもとに、リアルタイムにテンポを調整しているので、演奏を早めればミクの歌も早くなり、ゆっくりと弾けばミクもそのテンポへと調整するという優れものなアプリです。
このARアプリを制作したfoxcage氏はマイリストを公開しており、その中でもっとも古い投稿は2010年の2月24日。「【AR】 テーブルの上でストロボナイツ 【MMD】」という、OpenCVを利用したARアプリを収めた動画を発表しています。トランプのカードをマーカーとしてミクが歌とダンスを見せてくれますが、そのアクションは残念ながらスムーズとは言いにくいものがありました。
2作目の動画となる「【AR】テーブルの上で「教えて!! 魔法のLyric」【MMD】」を公開したのは、約5ヶ月後の7月26日。「ソフトウェアをいろいろ改善しました」とのコメント通り、その動きは格段に滑らかなものへと進化。ふわりと遅れてついてくる髪の毛の挙動にも、つい目を奪われてしまいました。この短期間で目を見張る躍進ぶりを見せてくれます。
そしてクオリティを上げた後は、全体の技術を更に押し上げるとともに、2つのARマーカーを直角に配置することによりカメラワークの自由度を拡げるという試みも実施。1年5ヶ月後となる2011年12月28日に発表された「【AR】スイートマジック【MMD】」は、見る者の目を捉えて離さない魅力を備えることに成功しました。
それから8ヶ月ほど経過する2012年8月29日に登場したのは、冒頭で紹介した動画の方向性を切り開いた「【AR】ピアノに合わせてミクに歌ってもらった【MMD】」。ピアノの上に貼った緑色のシールを認識してCGをリアルタイム合成すると共に、特定の打鍵パターンをトリガーとしてCGアニメーションと音声の再生を制御。曲の要所にトリガーを設定することで、ピアノ演奏とミクの動き・歌声を同期させています。こうして、生の伴奏と共に歌うfoxcage氏のミクがここに誕生したのです。なお1年4ヶ月の時を経てこちらの映像のメイキング動画も作られました。
一見すると2012年8月29日の時点で、このたび発表された動画と同等のことをクリアしているようにも思えますが、この時はまだ歌うテンポは一定で、演奏側の速度に対しての対応はしていません。それを踏まえて「【AR】ピアノに合わせてミクが歌う Tell Your World【MMD】」を見てみると、その躍進ぶりを更に実感できることでしょう。
foxcage氏がARアプリ制作に駆け抜けた約4年半を、公開された動画をなぞる形で追いかけてみました。このミクのように上手な「追従」とはいきませんでしたが、少しでも興味を持たれた方がいましたら幸いです。
楽する為に努力する雑食系ライター 臥待 弦
世間のブームとズレた時間差でファミコンにハマり、主だった家庭用ゲーム機を遊び続けてきたフリーライター。ゲームブックやTRPGなどの沼にもどっぷり浸かった。ゲームのシナリオや漫画原作などの文字書き仕事を経て、今はゲーム記事の執筆に邁進中。「隠れた名作を、隠れていない名作に」が、ゲームライターとしての目標。隙あらば、あまり知られていない作品にスポットを当てたがる。仕事は幅広く募集中。
+ 続きを読む
関連リンク
編集部おすすめの記事
その他 アクセスランキング
-
片足のフレームが丸見え…「対戦相手のザクたち」も独特なデザイン！「ガンダム ジークアクス」第3話で活躍したメカ・キャラたちを一挙紹介
-
ちいかわ初の大型体験型施設「ちいかわパーク」2025年東京にオープン！ハチワレ、うさぎ達による“お知らせ映像”も可愛い
-
ジークアクスならぬ「ちいくあくす」！キャラデザ・竹さんが「ちいかわ」風になったマチュたちを投稿―ナガノ先生の“ガンダムレポ漫画”受け
-
ロケット団が極楽湯を占領！？『ポケモン』コラボで、ミュウツーの湯やスペシャルメニュー販売、『ポケカ』体験会などを実施
-
カービィの「まんまる焼き」が今年も販売！ピンクのもちもち生地に可愛い焼き印入り、キラキラシールも付属
-
ガンダム新作キャラデザは『ポケモン』『FGO』も担当した竹さん！「機動戦士 Gundam GQuuuuuuX」マチュの告知イラストもお披露目
-
4月5日放送の「ギルティギア」初TVアニメ「GUILTY GEAR STRIVE: DUAL RULERS」シンやソルたちの雄姿を熱い主題歌でダイナミックに描くオープニング映像公開
-
「ギルティギア」初のTVアニメ「GUILTY GEAR STRIVE: DUAL RULERS」4月5日放送開始！メインPVではソル、シン、ブリジットなどお馴染みのキャラ続々
-
「ガンダム ジークアクス」で話題のシャア声優、実はこれまで意外な役も担当していた！演技も「実績と才気と野心あふれる若手将校ならば十分あり」と評価の声
-
ジムやドムらしき機体も！新カット満載の「機動戦士Gundam GQuuuuuuX（ジークアクス）」TVアニメ最新PV公開
