JP7746879B2 - 座り直し判定装置 - Google Patents

Description

本開示は、車両の運転席に着座する運転者が座り直したか否かを判定する座り直し判定装置に関する。

車両の運転者が眠気を催すと、交通事故のリスクが高まる。特許文献１には、運転者の頭部を撮影する撮像部により撮像された画像から運転者の眼の輪郭を検出し、運転者の開眼率を導出する乗員観察装置が記載されている。車両の走行制御装置は、導出された開眼率により覚醒度を判断して、覚醒度に応じた車両の走行制御を行うことができる。

特開２０２０－１４９５０７号公報

車両の加減速または操舵のうち少なくとも一方が自動的に制御される自動運転では、運転者の周辺監視が必要とされない場合がある。このような場合、運転者は、車内に配置されたディスプレイの方向など、進行方向以外の方向に顔を向けていることがある。進行方向以外の方向に顔を向けた運転者を撮影した顔画像に運転者の目領域が適切に含まれない場合、特許文献１に記載の乗員観察装置は、運転者の覚醒度を適切に判断できない。

運転席に着座する運転者が着座姿勢を一時的に変更する座り直し動作は、運転者が眠気を催したときに表れる眠気行動特徴の一つとされている。そのため、運転席に着座する運転者の座り直し動作の有無を判定することにより、運転者の覚醒度を判断することができる。

本開示は、車両の運転者の覚醒度を判断するために、運転者が座り直したか否かを適切に判定することができる座り直し判定装置を提供することを目的とする。

本開示にかかる座り直し判定装置は、車両の運転席に着座する運転者の顔を撮影した顔画像から、運転者の顔の位置および向きのそれぞれを表す値を生成する生成部と、現在時刻よりも過去の判定期間に撮影された複数の顔画像から生成された顔の位置および向きのそれぞれを表す値の基本統計量を用いて、運転者が座り直したか否かを判定する判定部と、を備える。

本開示にかかる座り直し判定装置によれば、車両の運転者が座り直したか否かを適切に判定することができる。

座り直し判定装置が実装される車両の概略構成図である。 ＥＣＵのハードウェア模式図である。 ＥＣＵが有するプロセッサの機能ブロック図である。 ドライバモニタカメラによる運転者の撮影を説明する模式図である。 判定期間に撮影された複数の顔画像を説明する図である。 判定期間の顔画像から生成された値の例を示す表である。 判定期間の顔画像から生成された値の基本統計量の例を示す表である。 座り直し判定処理のフローチャートである。

以下、図面を参照して、車両の運転者が座り直したか否かを適切に判定することができる座り直し判定装置について詳細に説明する。座り直し判定装置は、車両の運転席に着座する運転者の顔を撮影した顔画像から、運転者の顔の位置および向きのそれぞれを表す値を生成する。そして、現在時刻よりも過去の判定期間に撮影された複数の顔画像から生成された顔の位置および向きのそれぞれを表す値の基本統計量を用いて、運転者が座り直したか否かを判定する。

図１は、座り直し判定装置が実装される車両の概略構成図である。

車両１は、ドライバモニタカメラ２と、ＥＣＵ３（Electronic Control Unit）とを有する。ＥＣＵ３は、座り直し判定装置の一例である。ドライバモニタカメラ２とＥＣＵ３とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。

ドライバモニタカメラ２は、車両の運転者の顔を撮影して顔画像を生成するための運転者撮影部の一例である。ドライバモニタカメラ２は、ＣＣＤあるいはＣ－ＭＯＳなど、赤外光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上の撮影対象となる領域の像を結像する結像光学系とを有する。また、ドライバモニタカメラ２は、赤外光を発する光源を有する。ドライバモニタカメラ２は、例えば車室内の前方に、運転席に着座する運転者の顔に向けて取り付けられる。ドライバモニタカメラ２は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに運転者に赤外光を照射し、運転者の顔が写った顔画像を時系列に出力する。

ＥＣＵ３は、ドライバモニタカメラ２が生成する顔画像から、運転者の顔の位置および向きのそれぞれを表す値を生成する。また、ＥＣＵ３は、運転者の顔の位置および向きのそれぞれを表す値の基本統計量を用いて、運転者が座り直したか否かを判定する。

図２は、ＥＣＵ３のハードウェア模式図である。ＥＣＵ３は、通信インタフェース３１と、メモリ３２と、プロセッサ３３とを備える。

通信インタフェース３１は、通信部の一例であり、ＥＣＵ３を車内ネットワークへ接続するための通信インタフェース回路を有する。通信インタフェース３１は、受信したデータをプロセッサ３３に供給する。また、通信インタフェース３１は、プロセッサ３３から供給されたデータを外部に出力する。

メモリ３２は、記憶部の一例であり、揮発性の半導体メモリおよび不揮発性の半導体メモリを有する。メモリ３２は、プロセッサ３３による処理に用いられる各種データ、例えば、判定期間にドライバモニタカメラ２から時系列で出力される顔画像および顔画像から生成される値を一時的に保存する。また、メモリ３２は、顔画像から運転者の顔の位置および向きのそれぞれを表す値を生成するために顔画像に照合される標準的な顔の３次元モデルデータを保存する。また、メモリ３２は、基本統計量から座り直しの有無を判定する識別器として動作するニューラルネットワークを規定するためのパラメータ群（層数、層構成、カーネル、重み係数等）を保存する。また、メモリ３２は、各種アプリケーションプログラム、例えば座り直し判定処理を実行する座り直し判定用プログラム等を保存する。

プロセッサ３３は、制御部の一例であり、１以上のプロセッサおよびその周辺回路を有する。プロセッサ３３は、論理演算ユニット、数値演算ユニット、またはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。

図３は、ＥＣＵ３が有するプロセッサ３３の機能ブロック図である。

ＥＣＵ３のプロセッサ３３は、機能ブロックとして、生成部３３１と、判定部３３２とを有する。プロセッサ３３が有するこれらの各部は、メモリ３２に記憶されプロセッサ３３上で実行されるコンピュータプログラムによって実装される機能モジュールである。プロセッサ３３の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。あるいは、プロセッサ３３が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、またはファームウェアとしてＥＣＵ３に実装されてもよい。

生成部３３１は、車両１の運転席に着座する運転者の顔を撮影した顔画像から、運転者の顔の位置および向きのそれぞれを表す値を生成する。

図４はドライバモニタカメラ２による運転者の撮影を説明する模式図であり、図５は判定期間に撮影された複数の顔画像を説明する図である。

ドライバモニタカメラ２は、車両１の運転席ＤＳに着座する運転者の顔に向かうように車両１の車室内に配置される。ドライバモニタカメラ２は、車内ネットワークを介してＥＣＵ３に、所定の撮影周期ごとに運転者の顔が写った顔画像を出力する。

現在時刻ｔ₀よりも過去の判定期間Ｒ_k（時刻ｔ_kから時刻ｔ_k+iまで、例えば１０秒間）にドライバモニタカメラ２により出力された顔画像（顔画像Ｐ_kから顔画像Ｐ_k+iまで）は、メモリ３２に一時的に保存される。

生成部３３１は、メモリ３２に一時的に保存された顔画像を、顔の部位を特徴点として検出するよう学習された識別器に入力することにより、運転者の顔の特徴点の位置を特定する。

識別器は、例えば、入力側から出力側に向けて直列に接続された複数の畳み込み層を有する畳み込みニューラルネットワーク（ＣＮＮ）とすることができる。顔の特徴点を含む顔画像を教師データとして用いて、誤差逆伝搬法といった所定の学習手法に従って予めＣＮＮの学習を行うことにより、ＣＮＮは顔の特徴点の位置を特定する識別器として動作する。

生成部３３１は、標準的な顔の３次元モデルにおける顔の各部位の位置が、顔画像から検出された顔の各部位の位置と最も適合するように、３次元モデルの位置および向きを特定する。そして、生成部３３１は、特定された３次元モデルの位置および向きのそれぞれを表す値を、顔画像に表された運転者の顔の位置および向きのそれぞれを表す値として生成する。生成部３３１は、生成された値をメモリ３２に一時的に保存する。

図６は、判定期間Ｒ_kの顔画像から生成された値の例を示す表Ｔ１である。

表Ｔ１では、判定期間Ｒ_kに含まれるそれぞれの時刻における運転者の顔の位置は、図４に示す座標空間における座標（ＰＸ、ＰＹ、ＰＺ）により表される。また、表Ｔ１では、判定期間Ｒ_kに含まれるそれぞれの時刻における運転者の顔の向きは、図４に示す座標空間における座標軸のそれぞれを中心とする回転角（ＲＸ、ＲＹ、ＲＺ）により表される。

判定部３３２は、現在時刻よりも過去の判定期間に撮影された複数の顔画像から生成された顔の位置および向きのそれぞれを表す値の基本統計量を用いて、運転者が座り直したか否かを判定する。

判定部３３２は、まず、メモリ３２に一時的に保存された値を読み出して統計処理を行うことにより、判定期間に対応するそれぞれの値の基本統計量を算出する。

図７は、判定期間Ｒ_kの顔画像から生成された値の基本統計量の例を示す表Ｔ２である。

表Ｔ２では、判定期間Ｒ_kの顔画像から生成された値の基本統計量として、それぞれの値の要素数、平均、標準偏差、最大値、最小値、中央値、1/4分位数、3/4分位数が示されている。表Ｔ２に示される統計量は基本統計量の一例である。判定部３３２が判定に用いる基本統計量は、これらの一部のみを含むものであってよい。また、判定部３３２が判定に用いる基本統計量は、最頻値、範囲、歪度、尖度といった他の統計量を含むものであってもよい。

判定部３３２は、算出された基本統計量のそれぞれを識別器に入力することにより、運転者が座り直したか否かを判定する。識別器は、予め学習された多層（例えば３層）パーセプトロンといったニューラルネットワークとすることができる。識別器は、入力された基本統計量に応じて、当該基本統計量に対応する判定期間に運転者が座り直した確からしさを示す確信度を出力する。判定部３３２は、出力された確信度がメモリ３２に予め保存された確信度閾値を超える場合、運転者が座り直したと判定する。

図８は、座り直し判定処理のフローチャートである。ＥＣＵ３は、車両１が自動運転により走行している間、図８に示す処理を所定の時間間隔（例えば１０秒間隔）で繰り返し実行する。

まず、ＥＣＵ３のプロセッサ３３の生成部３３１は、車両１の運転席に着座する運転者の顔を撮影した顔画像から、運転者の顔の位置および向きのそれぞれを表す値を生成する（ステップＳ１）。

続いて、判定部３３２は、判定期間に撮影された複数の顔画像から生成された顔の位置および向きのそれぞれを表す値の基本統計量を用いて、運転者が座り直したか否かを判定し（ステップＳ２）、座り直し判定処理を終了する。

このように座り直し判定処理を実行することにより、ＥＣＵ３は、運転者の顔が前方を向いていない状態であっても運転者が座り直したか否かを適切に判定することができる。ＥＣＵ３は、座り直し判定処理による判定結果を用いて運転者の覚醒度を判断し、例えば覚醒度が所定の閾値よりも低い場合に運転者に休憩を促すメッセージを表示するといった処理を実行し、覚醒度に応じて車両１の走行を適切に制御することができる。

変形例によれば、判定部３３２は、判定期間をさらに細分化した単位期間（例えば１秒間）ごとに、基本統計量を算出してもよい。この場合、判定部３３２は、判定期間に含まれる単位期間ごとの基本統計量を並べたテンソルを識別器に入力することで、運転者が座り直したか否かを判定する。このように処理することで、ＥＣＵ３は値の時系列変化を座り直し判定により反映させることができる。

当業者は、本発明の精神および範囲から外れることなく、種々の変更、置換および修正をこれに加えることが可能であることを理解されたい。

１ 車両
３ ＥＣＵ
３３１ 生成部
３３２ 判定部

Claims (1)

1. 車両の運転席に着座する運転者の顔を撮影した顔画像から、前記運転者の顔の位置および向きのそれぞれを表す値を生成する生成部と、
   現在時刻よりも過去の判定期間に撮影された複数の前記顔画像から生成された前記顔の位置および向きのそれぞれを表す値の基本統計量を用いて、前記運転者が座り直したか否かを判定する判定部と、を備え、
   前記判定部は、前記基本統計量を、前記判定期間をさらに細分化した単位期間ごとに算出し、前記単位期間ごとの前記基本統計量を並べたテンソルを、入力された前記基本統計量に応じて前記運転者が座り直した確からしさを示す確信度を出力するよう予め学習された識別器に入力し、前記識別器から出力された確信度が確信度閾値を超える場合、前記運転者が座り直したと判定する、
   座り直し判定装置。