仮想と現実を同時に見られる“裸眼XR”で遠隔コミュニケーションが進化

――仮想のVRキャラクターなどと相席・対話ができるシステムを開発されました。一体どのようなシステムなのでしょうか。

簡単に説明すると、鏡の前のソファに座るだけでバーチャルキャラクター等と相席しているような体験ができるシステムです。「会いに行けるメタバース」をコンセプトに、誰でも気軽にリラックスした状態でXRコミュニケーションが楽しめるよう開発しました。

――仕組みはどのようになっているのでしょうか。

体験者には、ソファの片側に座ってもらいます。正面の暗室に透過率の異なる２種類のハーフミラー（マジックミラー）をセットして、透過率の低い片方のハーフミラーで体験者をそのまま映し、透過率の高いもう片方のハーフミラーでは暗室の中のディスプレイ上のバーチャルキャラクターを映します。

その状態で、体験者の側に照明を当てると、正面のミラーに体験者が座っている様子が映り、ソファのもう片側にはバーチャルキャラクターが座っているように見える、という仕組みです。この仕組みによって、リアルな存在である体験者とバーチャルキャラクターとを、シームレスに、一つの交錯空間上に表現できるのです。

体験者は斜め45度の角度で向き合うと、キャラクターと目線を合わせたり、膝を突き合わせているような感覚を得ることができて、周囲の人々からも相席している様子が見られます。

――VRゴーグルやARアプリを使った、類似のコミュニケーションとはどう違うのでしょうか。

一番の違いは、何も装着せず裸眼で見られるという点です。このシステムを使えば、ただ座るだけで、XR上で気軽にコミュニケーションをとることが可能です。

今までユーザーとVTuberなどが対面しようとした場合、お互い画面越しに話すタイプが多く、“同一空間にいるような体験”は不可能でした。ユーザー側がVRゴーグルをかぶり、仮想空間の中で自分のアバターとVTuberを出会わせて交流したり、ARアプリを使ってあたかも目の前にVTuberがいるような体験をしたりすることはできましたが、どちらも周囲から自分自身とVTuberが一緒にいる様子は見えませんし、ツーショット撮影などもできません。人によっては、VR酔いしてしまうといった課題もありました。

自身の姿を3Dモデリングで表現したり、ボリュメトリック・ビデオ（人やモノ、空間などを立体映像化する技術）などでデータ化して、バーチャルキャラクターの映像と組み合わせる、といった方法もありますが、これらも大きな手間とコストがかかります。人間を3Dモデリングで表現すると「不気味の谷現象（人工物の造形が人間の姿に近づけば近づくほど、見た人に違和感や嫌悪感を抱かせる心理現象の一つ）」が起きてしまう可能性もあります。

本システムは、「ユーザー側は鏡で映し、キャラクターの側は投影する」という視覚に訴える仕組みで、違和感や遅延のないリッチな体験を実現することに注力しています。19世紀から演劇やお化け屋敷に使われてきた「ペッパーズ・ゴースト（※）」というハーフミラーを用いた仕掛けがありますが、それに最新のXR技術を掛け合わせたような形です。
※ガラスと照明による反射を利用して、別の場所にある実像が突然舞台上に現れたように見せかける装置。東京ディズニーランドの「ホーンテッドマンション」などに応用されている。

どんな角度からもキャラクターの映像が鮮明に見えるように、キャラクター側には高透過のハーフミラーと、8Kの超高輝度LEDディスプレイを使っています。また、キャラクターのCGには絶えず細かな動作をさせ、微細に動く陰影をつけることで、自然な立体感を創り出しています。さらに、キャラクターが背景と馴染んで自然に見えるように、脚が透けてしまう部分や、映像の輪郭のダブり、背景の透けなどが発生しないように、机の配置や照明を工夫したり――といった点も、体験をリッチにするポイントになっています。

――先のイベントでの『あいせき幻燈茶屋』を体験された方の評判などはいかがでしたか。

大変好評でした。多くの方から「ミクさんと相席できた！」「本当に一緒にいるみたい」といった喜びの声や、多くの写真や動画がSNSに投稿され、拡散されました。繊細な表情はもちろん、着物の質感にまでこだわったビジュアルの魅力もあり、まさに憧れのスターの楽屋に招かれて、隣に座っているような感覚を楽しんでもらえたと思います。2日間で300人ほどがブースに来場され、最大約70分の待ち時間が発生しました。

初音ミクが笑ったり手を振ったりするほか、体験者側に少し首や体をかしげて近づいてくるようなモーションを用意したのですが、「本当に距離が詰まったような感じがしてドキッとした」と感じられる方も多かったようです。

体験後のアンケートでも、「目が合ったか」「顔や表情がはっきり見えたか」「立体的に感じたか」「ミラーの圧迫感は感じなかったか」といった項目に対して、ポジティブな回答がほとんどでした。

――その他にイベントやデモを実施されてみて気が付かれたことなどはありますか。

“相席”の自然さやリアリティは予想以上に伝わったと思います。前述の初音ミクの場合は主にファンの方が対象で、ほとんどの方に楽しんでもらうことができました。一方、社内で行った参考キャラクターによる実験の際には、「知らないキャラに近づかれてゾッとした」といった感想もありました。いわゆるパーソナルスペース（他人が近づくと不快に感じる距離）に、他人が入ってきたように感じたということですが、それだけリアリティがあるという結果になりました。

「VRキャラと写真が撮れる」というアクティビティの人気ぶりにも驚きました。イベントの際は何度も並んで撮影に臨まれる方もいましたし、ぬいぐるみや人形を相席させるファンもいました。

――相席するVRキャラクターを操作して、実際に対話をすることなども可能でしょうか。

可能です。『あいせき幻燈茶屋』の場合は、多くの人に楽しんでいただくため、一定の動作や表情が繰り返される映像を利用しました。しかし、イベントやキャラクターによっては“中の人”に操作をしてもらい、ユーザーには会話や動作をリアルタイムで楽しんでもらうこともできます。VTuberが活用しているような、PCのカメラに映る自分の動きや表情に合わせてキャラクターを動作させるソフトとの連携なども検討しています。

また、キャラクターだけでなく、リアルな人物映像や、別の場所にいる人のライブ映像との“相席”もできます。顔や上半身だけを映す通常のオンラインミーティングなどとは異なり、等身大の人同士が膝を突き合わせる状態で相席できるため、顔や手だけではないさまざまな表情や表現など、今まで遠隔では伝えにくかった感情の機微を含む情報を伝えることが可能になります。

――今後「裸眼XR相席対話システム」はどう進化していくでしょうか。

生成系AIによる技術を組み合わせることで、VRキャラクターと自動で会話できるような仕掛けを可能にしたいと考えています。ホログラム映像に触れることはできませんが、手や肩に触れる仕組みや香りをプラスして触覚や嗅覚に訴えかけることで、親近感や没入感をさらに深めることなども可能かもしれません。

私たちの開発する情報通信システムを活用した高画質・低遅延によるライブ中継によって、離れた場所にいる人が同じ場所にいるように見える映像の配信などにもトライしていきたいと思います。システム全体を小型化することで、移動や運搬がしやすい形に開発することなども検討しています。

――具体的には、どのようなシーンで活用されていくでしょうか。今後の展望なども教えてください。

まずは、さまざまなコンテンツのキャラクターやVTuberのファンイベント、VTuberやアイドルなどのコンセプトカフェといった店舗の演出などに活用できると考えており、実際に関連する業種からの問い合わせなどもいただいています。

ひいては、新しいオンライン会議システムとして、教育分野や、例えば首脳会談などへの活用も可能でしょう。リアルで対面した時のような、柔軟な対応や親密なコミュニケーションが実現しそうです。モニター画面やHMDを通じた遠隔コミュニケーション技術もそれぞれに進化してはいますが、中でも非常に簡便なXRの実現方法として、差別化を図っていければと考えています。

近年、VR空間やゲームといったメタバースの中で、遊びやコミュニケーションを楽しむ人は増え続けています。これらの仮想世界と、現実の世界とを切り離さずに、同時に交流する方法やクロスオーバーするポイントなどが、今後求められていくのではないでしょうか。私たちも、「裸眼XR相席対話システム」が持つ、現実世界と仮想空間とを結ぶゲートとしての可能性を、さらに模索していきます。

VRゴーグルなどをかぶる手間をなくしたXRシステム。ありそうでなかった切り口と発想で、推し活から首脳会談まで、今後のエンタメやコミュニケーションに新たな選択肢を提示してくれそうです。
画像を投影する機材などのセットが重要ですが、例えば、ボックス型の写真撮影ブースのような簡易なタイプが開発されれば、イベントやキャラバンで活躍するでしょう。
次世代型自販機と組み合わせてリテールで活用したり、生成系AIと組み合わせてチャット応対に活用することなどが可能になれば、生活者へ新たな体験と価値を提供する仕組みが考えられそうです。