未来でアテンドするのはバーチャル美少女!? アイシンが開発したマルチモーダルエージェントの可能性


 自動車部品大手であるアイシン精機は2021年3月2日、車内でのコミュニケーションに最適なマルチモーダルエージェントを開発したと発表した。

 開発されたマルチモーダルエージェントは、まるで人間と見紛うばかりのバーチャル美女「Saya」だ。動画を見ると、その完成度の高さに驚く。

 より人間に近いマルチモーダルエージェントを開発した理由は何なのか? またこのマルチモーダルエージェントは、今後どのような可能性を秘めているのか? レポートしていきたい。

文/桃田健史
写真/AISIN、PDC

【画像ギャラリー】バーチャル美少女「Saya」ちゃんの お仕事ぶりを写真でチェック!!


■え!? Sayaって実写?

 「あの……」

 はにかんだ表情で、さりげなく気遣いをしてくれる「Saya」。

 こんな可愛い子がいつも見守ってくれていると思うと、心がほっとする人が世の中に増えるかもしれない。

実写に見えるけどじつは3DCGのSaya(サヤ)。2015年に公開されたコンセプトイメージは”不気味の谷を越えた”と話題になった

 今回、トヨタグループの大手自動車部品メーカー・アイシン精機が公表したのが「次世代の”移動”を支えるマルチモーダルエージェント」だ。マルチモーダルとは、画像や音声などさまざまなデータを総合的に解析することである。また、エージェントとは解析データを基に人に対してどのような行動をするべきかを誘導する仕組みを指す。

 詳しいことは後述するとして、まずはYouTubeで公開されている「車室内見守りシステム with “Saya”」をご覧いただきたい。

●まるで本物のように表情を見せる「Saya」の動画がコチラ

 冒頭のシーンをご紹介すると、場面は完全自動運転バスの車内。男性の乗客(加藤さん)が乗ってくる。すると、モニターのSayaが「加藤さん久しぶり。元気ですか?」と声をかけてくれる。

乗客の顔を認識して自分の記憶と照合・特定し挨拶をする「Saya」

 加藤さんが「元気だよ」と答えると、「いつも元気で、嬉しいです」。

 その状態で、加藤さんが視線を少し右にそらすと、ひと呼吸あってから、Sayaが「あの……」。

 「つり革を持ってもらってもいいですか」と、頼んでくる。なんとも自然体で、まるでモニター越しに生身の人間であるSayaと話しているような感じに見える加藤さんとのやり取りだ。

つり革を持っていないお客様に、つり革を持つようにさりげなく催促します

 むろん、Sayaはコンピューターのシステムを具現化した仮想の存在なのだが、これまで一般的だったエージェントは、動きや表情がぎこちなかったり、また同じことを音声化するにしても、もっとダイレクトな表現をするものだ。

 例えば、上記のつり革に関するシチュエーションでも「車内での安全のため、乗車中は必ずつり革につかまるようお願いいたします」といった感じだろう。

 それが、Sayaのように「あの……」と、こちらの動きを認識しているが、注意喚起について最大の効果を得られるような心理的なワザを駆使するところに、技術進化の奥深さを感じる。

■Sayaとは何者なのか?

 Sayaは、2016年頃に世に出た、永遠の「17歳の高校生」だ。生みの親は、CGアーティストのTELYUKA(石川晃之さん、友香さんご夫婦)である。

 今回、アイシンによるプロジェクトにおいて、Sayaの使命は「人との自然なコミュニケーション」だ。

 これを、一般社会の中で考えた時、開発者の描いたコンセプトは「社会弱者のためのユーザーインターフェース」となった。具体的には、子どもたちにとっての「お姉ちゃん」であり、高齢者にとっての「孫」のようなイメージだ。

 さらには、学校など教育の場面や、今回の自動運転バスのような街中の公共施設で、エージェントとして有り様を検証している。

 Sayaが動いたり話したりするためには、情報の原点として、AI(人工知能)による画像や音声の認識技術を高める必要がある。さらに過去の履歴(Sayaにとっての記憶)や、セリフや感情を構成するシナリオ、また人と対話するための制御など、マルチモーダルに情報を統合しなければならない。

 こうしたお膳立てができた上で、しぐさや感情の表現、くちびるの動き、そして音声合成などによってSayaという「ひとつの人格」としてまとめ上げている。

アイシンがIT企業や大学と協業して開発した「マルチモーダルエージェント」のシステムイメージ

 制作にあたっては、アイシンは画像認識とシステムソフト構築を担当し、その他にIT系企業各社や大学と連携している。アイシンによると、画像認識は同社の得意な領域であり、さらに2015年創業のベンチャー企業Ideinらと資本提携し革新的な製品開発に結び付いたという。

 また、アイシンが持つ車内のドライバーモニタリング機能での顔画像処理と、音声認識・対話制御を組合わせたマルチモーダル技術の開発を、名古屋大学・武田一哉教授や北岡教英准教授(現:豊橋技術科学大学・教授)と共に長年に渡り行ってきた。

 こうしたアイシンの基礎研究と、企業や教育機関との共同研究の成果がSayaに集約されている。

 技術面では、画像の撮影からSayaの反応まで、数10ms~100msという短時間で行っている。例えば、視線やマスクの検出で10ms程度、個人認証で100ms程度となる。

 今回公開した動画のような、人がSayaに話しかけてから、Sayaが動作や発話するまでは数100msかかっている。動画を見る限り、Sayaがおっとりした性格に思えるので、これでもけっして反応は遅いとは感じないが、技術的にはさらに反応時間を早めることが課題だという。

次ページは : ■完全自動運転での車内サービスの在り方

最新号

ベストカー最新号

【新型ランクルプラド 来年夏登場】新型86&BRZ初試乗!!|ベストカー8月26日号

本日、ベストカー8月26日号発売!! ランクルプラド、アルファードの次期型最新情報から、新型86&BRZ初試乗、シボレーコルベット公道初試乗など盛りだくさんの内容でお届けします!

カタログ