実写による3D映像でリアルタイムのライブを可能に。ホログラム配信の現状と可能性

——ホログラムによる配信技術とは、どのような技術でしょうか。

簡単に説明すると、
① 3Dカメラで映像を撮影・送信し、
② スマホ、PC、HMDなどを使ってVR、AR上で見ることで、
③ ホログラムによるライブ配信やリモート会議などを可能にする、
という技術です。

SF映画の中などで、主人公の目の前に全く別の場所にいる人物がホログラムで登場し、会話をする、といったシーンが出てきますね。映画ではCGや合成が使われていますが、私たちはそれを実用化するため、現在プロトタイプの開発を行っています。

——ホログラム配信と、既存の疑似ホログラムや、VRの立体映像、多視点映像とはどう違うのでしょうか。

ホログラム配信には、空間と空間内で起きたことをそのままデータとして保存でき、インタラクション性を補完できるという大きなメリットがあります。
実写の人物をリアルタイムで撮影・配信できるため、モデリングやモーションキャプチャといった手間が不要です。3Dカメラによる映像を組み合わせるため、撮られた側を外側から見ることはもちろん、撮られた側からの視点にも切り替えることができます。VR用のHMDやスマホ、PCを通して見ることができ、特別なモニターやディスプレイなどは必要ありません。

店頭のディスプレイやライブなどで最近見かけるようになった「疑似ホログラム」は、2D映像を3D空間で映し出したものです。光を反射させ、像を結ぶための箱型のディスプレイやスクリーンなどが必要です。タッチの動作でホログラムを動かしたりするなどのインタラクティブ性を付加することができますが、センシングの技術なども必要になります。

VR上でも、リアルな立体感の人物アバターによるコミュニケーションが注目されていますが、アバターを3DCGやスキャニングによって制作する必要があります。VR上、AR上で動かすには、対象のモデリングやモーションキャプチャも必要です。

スポーツ観戦やライブ、コンサートなどに用いられている多視点映像による配信であれば実写のリアルタイム撮影・配信が可能ですが、立体映像ではなく、主観的な目線（撮られた側の目線）には切り替えられません。平面的な映像を組み合わせるため、一定以上の大きさのスタジオや、カメラの台数なども必要になってきます。

——2020年9月に行われた神戸市のクロスメディアイベント「078KOBE（ゼロナナハチコウベ）」で、ライブ配信の実証実験が行われました。どのような取り組みだったのでしょうか。

２組のアーティストのパフォーマンスをその場で撮影し、専用アプリをDLしたスマホから視聴できるようにしました。そのうち4人組のアーティストでは人物１人を前後２台の3Dカメラで撮影し（合計4台）、ホログラム映像をリアルタイムで合成・配信しています。

——視聴者やアーティスト側の反応はいかがでしたか？

音声が途切れるなど若干のトラブルもありましたが、配信中に最大100人前後の方が視聴され、「SFのようなワクワク感がある」「未来を感じることができた」などの感想をいただきました。演者の方々からも、「こういった技術が進めば、遠隔でもパフォーマンスが行えそう」との期待感が寄せられています。

——実際の動画から、実現のイメージはつかめましたが、画質などの課題もあるようですね。

はい。その点は現在の開発上の課題の一つです。例えば、100台のカメラで撮影した100個の動画を１体のホログラム映像に立体合成すれば画質は向上しますが、データ量が膨大になり、配信の遅延を招いてしまいます。

私たちとしては、コンテンツの大量生産に寄与できるよう、まずは、誰でも低コストでホログラム配信ができる簡易なシステムを確立したいのですが、並行して画質も担保していかねばならないと思っています。実は、ホログラムの撮影方法にはまだはっきりとベストな解答が出ておらず、研究・開発を行う各社が模索している状態でもあります。

——新型コロナウイルス感染症の影響で、ライブやコンサートをオンラインで楽しめるソリューションが注目されています。ホログラム配信へのニーズや期待感も増しているでしょうか。

動画やSNSを通じた配信では、実際のパフォーマンスの詳細やライブの熱狂を残念ながら100%は伝えきれないという課題を抱えているアーティストは多いでしょう。人気ゲーム「Fortnite」内のトラヴィス・スコットさんや米津玄師さんのライブの例のように、VR空間内であれば3DCGによる素晴らしい映像体験を得られますが、やはりリアルなライブの感覚とは異なります。

実写パフォーマンスに加えて、CGとの合成による演出などが同時に楽しめるという点で、ホログラム配信の実用化はより求められていると感じています。将来的には、主要なライブ配信技術の一つになるでしょう。

エンタメ以外では、スポーツ、医療、教育などの領域においてもホログラムの優位性は生きてくると思います。例えば、オンライン診療や高度な手技・技術の教育に、リアルな立体映像や、技術者の視点の保存・活用が役に立ちます。 関連する問い合わせも増えているため、我々もスピード感をもって開発に取り組んでいます。後述しますが、もちろんコミュニケーションの領域でも実用化への期待が高まっています。

——ホログラム市場の現状の規模感や、成長の可能性について教えてください。

MarketsandMarketsによる2020年2月の調査によれば、ホログラム市場（ボリュメトリックビデオ市場）は2020年の約1475億円から32.8%の複合年間成長率で推移し、2025年には約6108億円に達すると予想されています。

特に、スポーツ観戦の視聴体験の向上や、イベント、PRなどへのホログラムの活用が、市場の成長を推進すると予測されています。市場規模を示す数字の中には、関連するハード、ソフトの売上高なども含まれていますが、やはり配信や放送、広告の分野への期待感が強いようです。

——その他の技術との掛け合わせによって、活用や可能性が広がるといったことも考えられるでしょうか。

将来的な話をさせていただくと、機械学習（AI）を活用して、普通のカメラで撮影した動画をホログラム化して配信する、といったサービスが可能になります。実際に、動画を立体映像に変換する技術は、グローバルでいくつか成功例が出始めています。
過去のアーカイブ動画などもホログラム配信化すれば、例えば、美空ひばりさんや尾崎豊さんなどの歌を自分の部屋で等身大のホログラムで楽しむ―といったことも可能になるでしょう。

——コミュニケーションとインタラクティブ性に関する将来性についてはいかがでしょうか。

Facebookをはじめとする企業も、ホログラムによるコミュニケーションの革新を実現しようと試行錯誤しています。ホログラムの技術開発と、デバイスの普及、5Gの拡大、AIの進化と足並みがそろい、実用化が進めば、Ｎ対Ｎはもちろん、ＡとＢを安全に出会わせることが可能になります。物理的な障壁がゼロになり、コミュニケーションのあり方が根本的に変わりそうです。

Microsoft社による実証。MRデバイスを装着すると、別室にいる人物の姿（3Dキャプチャ）を、同じ物理的な空間内にいるように表示・操作できる。双方向コミュニケーションも可能

コロナ禍で、現状は“大人数で集まること”が難しくなっていますが、ホログラム同士が集まるのであれば、イベントもライブもパーティーも安全ですね。機械学習の組み合わせによってHMDやマスクを消すことで、相手の表情を見ながらコミュニケーションができます。

Facebook社による表情キャプチャ技術のデモ。Facebookは「コーデックアバター」と呼んでいるが、ホログラム技術の応用に当たる。VR内で相手のリアルな表情を見ながら会話が可能

——実用化、スケールするまでの課題は何でしょうか。目標も教えてください。

やはり、データ量が膨大であること、画質と配信の遅延がトレードオフになるといった、技術的、インフラ的な課題をクリアしなくてはなりません。10秒遅れでは生配信であっても、インタラクティブなやりとりが成立しません。ただ、この点はあと数年で解決するはずです。
360°VR動画や多視点映像とは、将来的には表現力やコスト面の比較によって使い分けが進むでしょう。先行する技術の進化に、ホログラムも追い付いていきたいと思っています。

目標としては、物理的な生活空間の中に、スッと人物の立体映像が現れ出てくるように見えるくらい、自然でタイムラグのないホログラム配信をお見せしたいと思います。「ホログラムを制するものがニューノーマルを制す」と表現しても、決して大げさではないと信じて開発を続けていきます。

テクノロジーの進化により、VRコミュニケーションやエンタメ、ARゲームなど、XRによる体験価値の向上は目覚ましいものとなっていますが、ホログラム配信もこれに追随する新たな選択肢としてより注目されそうです。
ARを活用したプロモーションなども増えている中、今後ホログラム独自の優位性や立体感の面白さをどのような表現に活用していくのか、クリエーターのアイデアにも期待が寄せられるところでしょう。