保育園児の行動軌跡からの教師なし活動場面分類 HDP-HMMとLDAを用いた2段階クラスタリング
はじめに
近年，親の共働きに伴い保育園の需要が高まる一方で保育士が不足している．このような状況下で，子どもの一日の活動を振り返る保育記録を付ける必要があり，保育士の負担が大きい．
そこで，保育記録業務を効率化するための保育士支援システムを構築することができれば，保育士への負担を軽減することができると考えている．
人工知能の技術により保育を支援するシステムの開発を行う保育園知能化プロジェクトを行っている．そこでは，保育園で活動している子どもを Kinect によりデータを計測している．しかし，Kinect で計測しているデータは RGB 画像と深度情報であり，このデータから直接活動へと分類するのは技術的に難しい．また，子どもが密集している場面や，予測しにくい動きをする場面などは子どもの行動追跡が難しい．
そこで本研究では，保育園の園児の活動場面を保育士に提示するために，行動追跡を取り入れた活動場面分類の手法を提案した．
提案手法
提案手法
分類は二段階で行い，一連の行動軌跡を Hierarchical Dirhiclet Process Hidden Markov Model を用いて局所的な行動へ離散化し，その局所行動の集合を Latent Dirichlet Allocation によって分類する．これらの 2 段階クラスタリングにより，行動軌跡から各活動に分類される． ここで，局所行動とは「ある瞬間に行っている動作」，活動とは「複数人の局所行動の集合によって構成される場面」を指す．
行動軌跡
室内に設置した Kinect により子どもの一連の動きを計測
子どもの位置は行動追跡システム張+ 16により自動追跡
子どもの動く速度は各時刻における位置の差分を計算
Hierarchical Dirichlet Process-Hidden Markov Model(HDP-HMM)
HDP-HMM は，隠れマルコフモデル(HMM)に階層ディリクレ過程(HDP)を導入したモデル
このモデルでは局所行動の状態数が推定可能
各個人の行動軌跡（行動軌跡系列）を HDP-HMM を用いて分節化することで局所的な行動へ離散化
本研究では，下図の HDP-HMM のグラフィカルモデルにおいて，st を局所行動の状態，xt を行動軌跡データとしている
局所行動頻度ヒストグラム
局所行動の集合は活動の特徴を表現していると捉える
局所行動系列からウィンドウ（一定時間）内の子ども全員分の各局所行動発生回数をカウントし，局所行動頻度ヒストグラムを作成
ウィンドウをオーバーラップさせながらずらし，ヒストグラム作成を繰り返す
Latent Dirichlet Allocation(LDA)
LDA は自然言語処理における文書分類のモデル
活動の特徴量である局所行動頻度ヒストグラムの類似性を基に LDA を用いて分類することで活動毎に分類
本研究では，下図の LDA のグラフィカルモデルにおいて，w を局所行動，z を活動と捉える
実験方法・結果
実験方法
実験には，保育園児 13 名がリトミックをしている 16 分 40 秒の場面を使用した．10fps，10,000 フレームの動画を 5fps にダウンサンプリングし，活動分類数は 8 個と設定した．
実験結果
実験の結果，以下の 8 つの活動に分類された．
- 主に画面の下側で活動している
- 輪になって活動している
- 2 人 1 組または輪になって活動している
- ぐるぐる回る状態とその場に留まっている状態が交互に含まれている
- 動き回っている状態とその場に留まっている状態が交互に含まれている
- 画面全体で活動している状態と画面の端で活動している状態が含まれている
- その場に留まって活動している
- ほぼ全員がその場に留まって活動しているが，数人は動いている
これらは，活動 4 や活動 5 といった子どもの動き方の特徴，活動 2 や活動 3 といった子どもの相互の位置関係，活動 1 や活動 6 といった子どもの位置，活動 7 や活動 8 といった子どもの動く速度に基づき分類された．しかし，場面の切り替わりで特徴が曖昧な活動や，本手法の特徴量では表現しきれていない活動はうまく分類できていなかった．実験の結果，全場面のうち 75%はうまく分類ができていた．