感触や力加減のデータ活用がARコンテンツや遠隔医療の可能性を広げる

――モノに触れたりつかんだりした時の力加減、感触、スキルをデータ化して活用できる「リアルハプティクス」。技術としては2000年代前半に確立していますが、現在はどのように活用されているのでしょうか。

現在最も進んでいるのは、工場などで人のように動く機・装置とへの導入です。現状の機械は、力加減のコントロールができません。そのため、今までは人間のように「柔らかいケーキを壊さずにそっとつかんでうまく運ぶ」といった仕事は任せられませんでした。

しかし、リアルハプティクスによってケーキを人が持ち上げて動かす時の感触をリアルタイムでデータ化してフィードバックすることで、つぶさないための適切な力加減で運ぶことができるようになりました。

データは、感触を拡大・縮小するなど、編集して活用することもできます。例えば「岩を切断する際の感触を発砲スチロールを切断する時くらい軽くして、作業の負担を減らす」「血管などの繊細なものを縫う時の感触を分厚い布を縫う時のように拡大して、確実性を高める」といった形です。

――具体的には、特にどのような場面にリアルハプティクスが導入されているのでしょうか。

電子機器・自動車などの加工製造業や、研究所等への導入が進んでおり、主に感触データによって作業の確実性を高めたり、協働ロボットによる作業を増やしたりするために利用されています。

協働ロボットは産業用ロボットの中でも比較的軽量・小型で、人と同じ空間内で一緒に作業ができるメリットで注目されています。この協働ロボットにリアルハプティクスを付加することで、今までは人がやるしかなかった柔軟で繊細な作業を担わせるといった使われ方が増えているのです。

高額なものを慎重に運ぶ必要のある、流通の現場などでも導入に向けた開発が始まっています。また、ベテランの技術データを使って新人が作業することで、同じ力加減の習得に役立てるなど、感触データが教育や研修に活用される例も増えています。

――コロナ禍で工員の出勤状況等が見直される中で、工場等で「ロボットを使った作業の遠隔化にハプティクス技術を役立てたい」といったニーズは増えたのでしょうか。

そうですね。実例で言うと「同じ施設内の中央操作室からモニターの映像を見ながら、ごみ焼却プラントの溶融炉の内側にこびりついたゴミを取る」といった作業に活用されています。

遠く離れた場所からの操作――例えば海外と国内の現場を結ぶことなども可能ですが、実はそのようなリクエストはあまり多くありません。むしろ国内や同一拠点内での「近距離での遠隔化」のニーズが多いのです。

例えば「高熱を発する機器に近づかなくてはならなかった作業を、やや離れた場所から安全に行う」「いちいち着替えたりエアシャワーを通ったりしなくては入れなかったクリーンルーム内での検査を、ガラス窓の外から行う」といった形で、目視できる距離から、ロボットでも実際と変わらない感触で作業ができるメリットが買われています。

遠く離れた場所からの操作だと、映像と組み合わせる必要があり、カメラの設置等のコストがかかります。そのため、まず「近距離での遠隔化」への活用から導入が進んでいます。

――医療分野での活用も進んでいると言われていますが、リアルハプティクスによってどのようなことが可能になっているのでしょうか。

2023年1月に、北海道の岩見沢市で遠隔高度医療サービスの実証実験が行われました。ローカル5Gの活用によって、高画質映像を使った遠隔医療が可能かどうかを確かめる実証でしたが、この中で、リアルハプティクスシステムを備えたロボットアームによるエコー検査・拡大鏡検査が実現可能であることを確認しています。

2020年にも、横浜国立大学と共同でリアルハプティクスを使った遠隔PCR検体採取システムを開発しています。検体を採取する際に、機器が鼻腔に適切に当たって採取できているかをリアルハプティクスを用いて遠隔で判断することができ、将来的には検体採取の自動化も期待できるシステムです。

人体に関わる分野への技術活用であるため、法的な認証を得るのに時間がかかりますが、すでに申請などは進めており、近いうちに実用化できそうです。なお、医療分野については「『ダヴィンチ』のような手術支援ロボットにリアルハプティクスを活用できないか」といった質問も多く寄せられています。

――ここ数年、リモートでの体験やコミュニケーションを充実させるための取り組みが増加しています。リアルハプティクスについても、感触を使ったエンタメなどが開発されていますが、どのような内容でしょうか。

モーションリブでも、感触のコンテンツ化に取り組んでいます。例えば、2022年3月には、スカパーJSATとコロナ禍でのアイドル握手会を遠隔化した「さわれるVR握手会」を開催しました。

ハンドモデルを握ることで、ファン側にもアイドル側にも双方の感触が伝わるという趣向で、ソーシャルディスタンスを保った状態でもリアルなコミュニケーションが取れると好評でした。コロナ禍で制限が生じていた「病院や介護施設での面会などに活用できないか」といった声も寄せられました。

2023年2月には、東京都による「5G等先端技術サービスプロジェクト」の採択事業として、東京・西新宿の新宿中央公園で「新宿感触動物園 HapticZoo」のフィールドテストを開催しました。
動物園協力のもと、ワニ、カバ、ライオンなど、誰もが一度は触ってみたいと思う動物の感触データを採取し、参加者に伝えるという試みです。

実際には、公園内を散策しながらスマホのARアプリで動物の3Dモデルを探してもらい、見つけたところで感触を体験してもらうという、ゲームのようなイベントとしてまとめました。

表面の感触だけではなく、ワニの尾に触ると大きく尾っぽに弾かれたり、舞っていたタカが腕に飛び乗ってきたりと、動物の動きと連動した感触（衝撃）も体験してもらったところ、「動物の動作がリアルに伝わる」と大変好評でした。また「ライオンの肉球は柔らかそうだと思っていたのに、触ったらすごく硬かった」など、“ざんねんないきものの触り心地” も人気がありました（笑）。

――記者もデモを体験しましたが、「動画（視覚）＋手触り（感触）」の組み合わせによって、高い没入感を得られることに驚きました。

視覚と感触とが補い合うことで、情報量を大きく増やすことができます。応用として、動物園のゾウの檻の前でゾウに触れる感触を体験したり、国宝に指定された美術品など貴重なものの感触を体験したりと、“今までは見るだけだったもの、触ってはいけなかったものの感触をリアルハプティクスで知る”という新しいエンタメも展開できそうです。感触を受け取る側のデバイスの形なども変えることで、さまざまなパターンが考えられるでしょう。

最近では「VR空間やメタバース空間でリアルハプティクスを活用したい」といった問い合わせも急増しています。

ただ、VR空間でのゲームやコミュニケーションについては、触ったものの質感や形状に合わせて振動することで疑似的な感触を伝えるコントローラーやグローブ型のデバイスなどがすでに普及しています。仮想空間内でも、一般的なハプティクスでは補えない、リアルな感触が必要な作業などが増えれば、リアルハプティクスの導入が進むかもしれません。

――例えばEC上で、リアルハプティクスによって商品の感触を確かめてから買うことや、サイネージなどに感触を付加することなども可能になるでしょうか。

ECについては、例えば洋服や壁紙などの表面の感触を、オンライン上で確かめながら選ぶといったことは、近い将来実現すると思います。実際に、感触のデータを集め始めている素材メーカーなどもあります。

ただ「フサフサしている」「しっとりしている」など、現段階の技術では伝えきれない感触もいくつかあります。いわゆる圧覚（押しつける感覚）と、温度や湿度にまつわるごく繊細な感覚とを連動させて伝送することが難しいためです。

サイネージで感触を伝えることも、技術的には可能だと思います。リアルハプティクスで感触データを取り、それを一般的なハプティクス技術に近い超音波振動などを活用して、画面の表面に伝える、といったやり方であれば、“触ると画面に映っているものの感触がわかるサイネージ” が作れるかもしれません。

――今後、リアルハプティクスの活用はどのように進んでいくでしょうか。

市販のロボットを使った遠隔操作プロダクトの開発によって、リアルハプティクスによる遠隔自動操作が可能なシステムの導入コストは、ゼロからシステムを作る場合に比べて数分の1まで下がりました。さまざまな産業で起きている労働力不足課題の解決策として、リアルハプティクスを使った協働ロボットの普及は、大きく貢献できると考えています。

特に、今までのロボットではサポートが難しかった、農林水産業や建設業への活用が期待されています。リアルハプティクスによって、果物をつぶさずに優しくつかんで選定を行ったり、モルタルの固さや重さをコテで感じながら均一に塗ったり、といったことが可能だからです。

また感触のデータ自体の活用にも、大きな可能性があります。2022年6月に我々はインドのIT大手タタコンサルタンシーサービシズ（TCS）と提携して、各産業の職人の技術などにまつわる感触データのインフラ「Internet of Actions（IoA）」の構築、商用化を目指しています。

具体的には、現在の動画や音楽などのデータと同様に、膨大な動作・感触のライブラリの中から必要なデータをダウンロードして、必要な場所で活用する、といったことを可能にしたいと考えています。例えば、日本の優れた内視鏡技術のデータを、人材の少ない新興国に遠隔伝送システムとセットで提供するといったイメージです。

日常生活一般にリアルハプティクスが普及する未来も、そう遠くはないでしょう。皆さんのご自宅でも、手元のデバイスで映画の内容に合わせたリアルなモーションを楽しんだり、キッチンロボに一流シェフの技術を伝送してレストランの料理を味わえるようになったり、といったことが可能になる日がやってくるかもしれません。

人と共に働く協働ロボットの仕事や役割を拡大するリアルハプティクス。加工、製造、流通等の現場でのサポート役として、今後も大きく貢献しそうです。
また、今までは見るだけだったものの感触をあわせて伝えることで今までとは違う切り口からそのものの良さを伝えたり、「触れる」ことをカギとした体験型コンテンツで人を集めたりと、新しいエンタメへの活用についても、さまざまな展開が考えられるでしょう。
オンライン上においても、今までには不可能だったリアルな感触や動作の伝達が新たな役割や価値を広げていきそうです。