PredNetを用いた車載カメラ映像とセンサ値のモデル化マルチモーダルPredNet

概要

現在、自動車は我々の生活にとって必要不可欠なものとなっている。自動車の機能の 1 つとして各メーカー先進運転支援システム(ADAS)の開発に力を入れている。本研究では PredNet をマルチモーダル化することにより、自動車における自然画像と車両に取り付けられた様々な車両情報を統合することで自動車の動作を予測を行う。このモデルの解明、開発で ADAS の発展、さらには人間の予測のメカニズムの解明の一助になることを目指している。
また各ドライバーごとに適した学習を行うことで、アシスト機能の一環として自動車がパートナーとなり楽しい運転ができるようになることを考えている。

背景

近年、自動車は ADAS の開発が盛んである。ADAS は運転時における負担や事故軽減を目的として開発されている。ADAS の効果によりドライバーのうっかりミスなどによる事故の減少は顕著である。しかし現状の ADAS が操作、警告を出す際は、その事象が発生してから警告を出しているため、どうしてもドライバーの判断が間に合わない場合が発生してしまう。今では逆に装備されていない自動車の方が少ない感がする自動ブレーキ（プリクラッシュブレーキ）を例に挙げる。
人が運転しているとき歩行者の動きなどを見て飛び出しそうかなどを判断して減速などをするが自動ブレーキの場合、歩行者が実際に自動車の目の前に飛び出さないと反応することがない。
そこで自動車の行動を予測することで現状の ADAS よりも早いタイミングで警告、操作をすることができるようになり、さらなる負担、事故軽減が可能になると考えられる。

交通事故総合分析センター(ITARDA)の事故データをもとにトヨタが独自に算出(2017)

PredNet とは

PredNet とは神経科学で大脳皮質における予測符号化の概念に触発された予測ニューラルネットワークである。入力画像に対して 1 フレーム先の画像を出力するように学習されている。ネットワークは画像特徴抽出に適した畳み込みニューラルネットワーク(CNN)と系列データに適した長短期記憶(LSTM)を結合した畳み込み LSTM(Convolutional LSTM)が主に用いられている。