概要

　運転者の観察行動である顔の向き（頭部の姿勢）と、運転操作を行う両手と足の挙動を、コンピュータシステムがリアルタイムに把握し、運転者の身体挙動から推測される運転意図や心理状態を、運転者の状況を考慮した高度な安全運転支援や、自動運転から手動運転への切り替え時の支援などに活用します。

　運転者に向けて、カメラなどのセンサを複数設置し、元の情報となるセンサ信号を取得します。①運転者の顔を撮影するカメラを、ステアリングの奥に設置して、運転者の顔の正面画像を取得します。②シートベルトの巻き取り部の上に、ステアリングを見下ろす画角でカメラを設置して、ステアリングを操作する両手の挙動を撮影した画像を取得します。③足の挙動については、暗部であることからカメラは用いずに、マイクロ波の反射波に対するドップラ効果で得られる低周波信号（100Hz程度）を取得します。足の動く早さが周波数に反映され、足のセンサへの近さが信号の強度に反映されます。 複数のセンサから得られた画像や信号から、有益な情報を抽出します。①運転者の顔を撮影した動画像から、運転者の顔の向き（頭部の３次元位置・姿勢）とその時間変化を得ます。②ステアリングを操作する両手の挙動を撮影した動画像から、ステアリングを握る位置、腕の伸びる方向と、その時間変化を得ます。③足の動きや位置が反映されたドップラ信号の周波数と振幅に着目して、ペダルを操作していない状態での足の動きを推定します。 センサ信号から抽出された運転者の身体挙動の情報に基づき、運転意図や心理状態の推測を行うことで、運転者の状況を考慮した安全運転支援や、自動運転から手動運転への切り替え時の支援など、アイデア次第でさまざまなアプリケーションが可能となります。

　運転者挙動のリアルタイムでの把握は、日本工業大学18号館103室（展示ホール）にて常時稼動できる状態で研究を進めており、オープンキャンパスなどで訪問者が体験できるデモンストレーションとしても公開しています。

原理

　直接には観測できない（隠れた）本質的な要因を「状態」といい、これが時々刻々と変化している状況を考えます。運転者の挙動把握では、顔の姿勢（位置・向き）、両手のステアリングを握る位置と腕の伸びる方向、ペダルを操作していない右足の位置が、「状態」となります。カメラで撮影された顔画像や両手挙動の画像、足挙動のドップラ信号などのセンサ信号は、「状態」から派生した部分的な情報であり、これらを「観測」といいます。

　原因である「状態」と、派生物である「観測」との間には関係性があり、それを「観測モデル」と呼ばれる数式（確率分布）で表します。一方、「状態」の時間変化は、物理的な法則に従い、更に人の挙動では自由意志が加わります。これを「時間推移モデル（システムモデル）」と呼ばれる数式（確率分布）で表します。ここで確率が使われる理由は、観測情報が得られる過程での不確かさ（観測誤差、誤った検出など）や、人の自由意志を含む想定外の要因など、確かな数式で予め記述することのできない要素を、ゆるやかに表すためです。

　「観測モデル」と「時間推移モデル」に、初期時刻での状態の確率分布である「初期状態モデル」を加えたものを、「状態空間モデル」と呼びます。このモデルに基づき、最適な状態を求める方法が「最適状態推定」です。「最適状態推定」は、観測情報のノイズ除去を行うフィルタが発展したものであり、「最適フィルタ」とも呼ばれています。その原理は、統計学の中でも有用性が広く認められている「ベイズ推定」に基づきます。これは、聖職者であったトーマス・ベイズが導き出した「ベイズの定理」の数式に基づく推論です。状態推定の解は、単一の確定した数値ではなく、確率分布となります。

　最適フィルタの中でも、柔軟性が高く、広いクラスの状態空間モデルに適用可能なものが「パーティクルフィルタ」です。その原理は、状態推定の解を表す確率分布を、その確率分布に従う多数の候補数値で近似的に表します。これは「モンテカルロ法」による近似です。『モンテカルロ』とは、カジノで有名な地中海の地名ですが、「モンテカルロ法」はその地名になぞらえた名前で、乱数（さいころ投げの目ような数値）を用いた積分値計算の方法として有名です。パーティクルフィルタには様々な種類があり、日本で発明され、「モンテカルロフィルタ」という固有名で知られています。より詳しい内容は、参考文献[5]を参照して下さい。

発展

　運転者の挙動を把握するだけでなく、運転意図や運転者の心理の推測にもつながる研究で、今後の更なる発展が期待されます。コンピュータで把握した運転者の状態を活用した、より具体的な応用としては、例えば下記のようなものが考えられます。これらの他にも、アイデア次第でさまざまな応用があり得ると思います。

・運転者の異常（注意散漫、眠気、急な体調不良など）を検知して、注意喚起や警報を出し、非常時には自動停止などの安全措置をとる。
・運転中の非安全行動、例えばスマートフォンの操作や無理な片手運転、危険なよそ見などを検知し、安全運転を適切に行うよう支援する。
・運転意図を把握し、周囲の交通等に対しそれを発信する（車車間通信や路車間通信による）ことで、運転意図の情報を皆で共有して、交通シーン全体としての安全性を高める。
・自車に搭載した外部向けのセンサ情報と照合することで、周囲の交通にマッチした運転操作や観察行動が行われていることを確認し、過不足があれば支援する。例えば、顔姿勢の動作履歴から、観察されていない方向がわかり、そこにもし危険があれば運転者に知らせる。

　設置するセンサを増やすことも容易にできます。例えば心拍数などの生体信号をシートに設置したセンサから取得することや、マイクロフォンを複数設置して自動車内外の音響情報を取得することも考えられます。「最適状態推定」は、複数のセンサ情報を融合することを得意としています。様々なセンサからの情報を複合的に活用し、運転者や搭乗者、更には周囲の交通や人々の状況をも把握して、思いやりにあふれた支援が可能になるかも知れません。

自動運転との関連

　「2020年ころまでに完全自動運転が実用化されるから、運転者は要らなくなり、運転者の状況を把握する必要はないのでは？」との疑問が生じることと思います。完全な自動運転が本当に完成するのは、もっと先のことだと予想しますし、仮に実現したとしても、そこには人が乗っているはずです。乗っている人を意識したサービスが必要です。限定的な状況（高速道路など）での自動運転となれば、手動運転への円滑な切り替えも必要になります。

　自動運転自体においても、パーティクルフィルタをはじめとする最適状態推定の方法論は、有効に活用することができます。自動運転にせよ、人の状態推定にせよ、状況をしっかりと把握した上で、的確な判断を下せる自動化システムの構築が重要となってきます。周囲の交通等を考えると、そこには歩行者がいて、自転車なども走っています。自動車や交通に限らず、わたしたちの生活を豊かにするために、人の動く状況をコンピュータシステムが自動的に把握することは、重要な研究課題です。

人工知能との関連

　最近ブームとなっている「人工知能」が、何でもやってくれて、我々の仕事を代行してくれる世の中になるとの予想もありますが、本当でしょうか？人工知能が人を超える「シンギュラリティ」が近い将来に訪れるという予言もありますね。しかし今ブームの人工知能は、「深層学習」という複雑な脳ネットワーク計算法の性能向上と、「機械学習」という数学的な学習理論とが融合して、さまざまな分類問題をこれまでよりも高い精度で解いてくれるものあって、人の高度な認識能力や判断能力には、まだ遠く及ばないのが実情のようです。
パーティクルフィルタをはじめとする最適状態推定の問題設定は、確率論と統計学に基づきエレガントに定式化された、確かなものです。これを土台として、人工知能（深層学習や機械学習）の要素を盛りつけることができます。人工知能の持つ高性能な認識能力と、最適状態推定の持つ確かな状況把握の原理とを融合することで、更に高度で確かな状態推定・状況把握が可能となるでしょう。この方向性にて、我々の実世界のことを真に理解できる自動化システムの原理解明に一歩でも近づくことを期待し、それを様々なデモシステムとして具現化しつつ研究を進めています。

この研究を通して学べること

リアルタイムで動作するデモシステムの構築を通して、そこで使われている最先端の推定手法はもちろんですが、実装のためのさまざまな要素技術を学び、身に付けることができます。最適状態推定のパーティクルフィルタ、人工知能、深層学習や機械学習による認識技術、プログラミング、電子回路、ネットワーク通信、画像処理、信号処理、システム化技術などです。もちろん難しい面もありますが、その分、やりがいもあり、学ぶことの多い研究環境を提供しています。

参考文献

[1] 生駒哲一, "マイクロ波ドップラ信号からの運転者の足挙動の把握に向けた信号取得システムの構築", 自動車技術会2018年秋季大会学術講演会、to appear, 2018.
[2] 生駒哲一, "非安全行動の検知に向けた二カメラ動画像からの運転者の頭部姿勢および両手挙動の同時推定について"、第34回ファジィシステムシンポジウム, pp.801-804, 2018.
[3] 生駒哲一, "顔正面と両手挙動の２動画像からの運転者上半身挙動の把握"、第13回コンピューテーショナル・インテリジェンス研究会、pp.80-84, 2018.
 [4] 生駒哲一、"パーティクルフィルタによる運転者顔姿勢の実時間推定における首傾げの扱いについて"、第32回信号処理シンポジウム、pp.506-511, 2017.
 [5] 生駒哲一、"パーティクルフィルタ～汎用的な非ガウスフィルタ"、計測と制御、Vol.56, No.9, pp.644-649, 2017.
[6] 生駒哲一, "パーティクルフィルタと人工知能の融合", 計測自動制御学会システム・情報部門学術講演会2015 (SSI2015)、pp.1324-1329, 2015.
 [7] 生駒哲一, "パーティクルフィルタによる運転者の顔姿勢および両手挙動の実時間推定", 自動車技術会論文集、Vol.44, No.3, pp.919-924, 2013.

▶電気電子通信工学科の紹介　▶生駒哲一教授の紹介