系列変換モデルによるプレゼンテーション動作の生成

概要

人間は他者に情報を伝えるために様々な表現を行います。 その手法は多岐にわたり、人間に備わった高い表現力を裏付けるものばかりです。 我々はこの表現力を AI に実装することで、AI と人間のコミュニケーションをより活発なものに出来るのではないかと考えました。 そこで本研究では、プレゼンテーションにおける動きによる表現に着目し、AI への実装を目標にしました。

本研究では人間の発話時の動きの要素は非言語的内容、言語的内容、文脈の３つの要素に分けられると考えました。そこでこれら３つの要素をそれぞれ実装し、組み合わせることで動きによる表現を実現しようと考えました。 文脈はプレゼンテーションに固定し、非言語的内容による動作は機械学習を用いて、言語的内容はジェスチャの合成によってそれぞれ実装を行いました。 提案手法によって生成された動作を用いて印象評価実験を行った結果、生成された動作は人間のものと匹敵する自然さと生々しさを持つことがわかりました。また、ジェスチャの合成によって技術、ジェスチャの活用度、熱意の評価が向上することもわかりました。