文章からジェスチャーを自動生成するモジュール「表現AI」

概要

近年、AI は飛躍的な進歩を遂げ注目されているが、人間のような表現が出来る AI はない。これは、将来的に AI が人間とコミュニケーションをする場合に致命的な弱点となる（例：商品を販売する際の付加価値）。

そこで本研究ではこのような弱点を克服するため、自己を表現し、かつ相手の表現を理解するための「表現 AI」の実現を目指す。

研究背景

近年、飛躍的に進歩を遂げる AI が注目を集めているが、実は、多くの AI は動きや表情による表現力がないという弱点を持っている。これにより、現在の AI は人間が表現することによって生み出すポジティブな感情などの付加価値を生み出せないでいる。

例として、商品の販売が挙げられる。人間と AI が同じ価値のものを売る場合、そのまま売るのであれば当然商品の価値は変わらないが、**人間はここに、身振り手振りやアイコンタクトなど様々な表現を用いて付加価値をつけることができる。**よって、将来的に AI がサービスロボットなどに搭載された際、相手とのコミュニケーションを行うにはこのような表現ができるような仕組みが必要になる。

表現による付加価値

研究目標

処理の流れ

文章及び音声特徴量（ピッチ、エネルギー）から適切なジェスチャーを生成する「表現 AI」の実装を目標とする。
この表現 AI の実装には、文章と人間の動作がどう対応しているかという情報が必要になる。
そこで本研究ではその対応づけを DeepLearning によってモデル化することで実現する。
また、より自然で人間らしい動作を生成するため、音声の特徴量から人間の無意識下の動き（リズムや感情による動作）を同様の方法により学習させ、取り入れる。

提案手法

表現 AI を実現するためには、人間の内部状態と表現の間の関係性が必要になる。そのような関係性を DeepLearning によって学習することによって実現する。また、一度に全ての表現を網羅するのは難しいので、まずは動きによる表現について考える。さらに、動きの中でも比較的データが集めやすいプレゼン時の動きに対象を絞る。