JP7639999B2

JP7639999B2 - 乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラム

Info

Publication number: JP7639999B2
Application number: JP2024550935A
Authority: JP
Inventors: 智大松本
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2022-10-11
Filing date: 2022-10-11
Publication date: 2025-03-05
Anticipated expiration: 2042-10-11
Also published as: JPWO2024079779A1; WO2024079779A1

Description

本開示は、乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラムに関わる。

車両内部を撮像し、撮像画像内の乗員から抽出された、乗員の顔向き、頭位置等を用いて姿勢崩れを判定し、乗員に意識の喪失等の異常が生じたことを検出するとともに、長時間の運転や運転環境の変化（天候の変化や時間帯）などで乗員の意識的又は癖による姿勢変更（以下、乗員の姿勢変更という。）があった場合、乗員の顔向き、頭位置等の基準となる基準姿勢を更新する技術が開発されている。

例えば、特許文献１の情報処理装置は、運転者の顔の向きと顔の向きの基準とのずれを算出し、当該ずれが第１の範囲内且つ第２の範囲外である場合、当該ずれを示す情報を画像の顔の向きの検出情報に紐づけて顔向き記憶部に記憶し、基準からのずれが一定の方向（略同じ方向）を示している画像が、所定の頻度（又は比率）で検出された場合、前記一定の方向にずれている顔の向きの状態が、運転者の顔の向きの正面であると判断されやすくなるように、顔の向きの基準を変更する処理を行う制御ユニットを備え、乗員の姿勢変更があった場合、言い換えれば、基準からのずれが一定の方向（略同じ方向）を示している画像が、所定の頻度（又は比率）で検出された場合、乗員の顔の向きの基準を更新している。ここで、第１の範囲は、モニタリングの目的に応じて様々な範囲に設定される。第１の範囲は、例えば、脇見判定角度、集中・疲労度判定角度等で定められる範囲である。第２の範囲は、第１の範囲よりも狭い角度範囲であり、顔の向きが正面とみなす方向で定められる範囲である。

特開２０１９－０８８５２２公報

実際には、乗員の姿勢が基準姿勢に位置し、乗員が基準姿勢からの姿勢変更がない場合であっても、車両の振動等により、乗員の顔向き及び頭位置の少なくとも一方が、乗員が基準姿勢である場合の角度及び位置の少なくとも一方と乗員が姿勢変更をした場合の角度及び位置の少なくとも一方を行き来することがある（以下、状況Ａという。）。

そのため、乗員の姿勢は基準姿勢に位置しているため、検出頻度Ａが検出頻度Ｂよりも高くなることがある。
また、予め定められた期間における、乗員が基準姿勢であるとみなすことができる乗員の顔向き（以下、顔向きＡという。）及び頭位置の少なくとも一方の検出頻度（以下、検出頻度Ａという。）と乗員が基準姿勢から姿勢変更したとみなすことができる乗員の顔向き（以下、顔向きＢという。）及び頭位置の少なくとも一方の検出頻度（以下、検出頻度Ｂという。）の両方が、予め定められた頻度以上となることがある。
言い換えれば、検出頻度Ａが検出頻度Ｂよりも高いにも関わらず、検出頻度Ｂが予め定められた頻度以上となることがある。

ここで、状況Ａの場合、特許文献１では、顔向きＡに相当する第２の範囲内のずれに対応する画像の顔の向きの検出頻度（以下、検出頻度Ａ´という。）と顔向きＢに相当する第２の範囲外のずれに対応する画像の顔の向きの検出頻度（以下、検出頻度Ｂ´という。）の両方が、予め定められた頻度以上となることがある。

しかしながら、特許文献１では、まず当該ずれが第１の範囲内且つ第２の範囲外の条件を満たすか否かを判定し、当該条件を満たすずれと紐づけられた画像の顔の向きが、所定の頻度で検出された場合に、乗員の顔の向きの基準を更新している。そのため、第１の範囲内且つ第２の範囲外の条件を満たすずれに対応する画像の顔の向きの検出頻度のみが、顔の向きの基準の変更の要否を判定する対象となる。

そのため、特許文献１では、状況Ａの場合、検出頻度Ａ´が検出頻度Ｂ´よりも高いにも関わらず、検出頻度Ｂ´が予め定められた頻度以上となる場合、検出頻度Ａ´が当該対象から除外され検出頻度Ｂ´のみが当該対象となっているため、実際の顔の向きの基準は、検出頻度Ａ´を有する顔向きであるにもかかわらず、顔の向きの基準を検出頻度Ｂ´を有する顔向きに変更する処理が行われる。

つまり、特許文献１を用いて、基準姿勢の更新を行おうとした場合、乗員が基準姿勢である場合であっても乗員が基準姿勢から姿勢変更を行ったと判定され乗員の基準姿勢が更新されるという可能性がある。
そのため、姿勢崩れであるか否かの判定に用いられる基準姿勢からの変化量を精度よく算出することが困難となる。その結果、姿勢崩れが発生しているにもかかわらず、当該変化量を精度よく算出できないために、姿勢崩れでないと判定される姿勢崩れの未検知が発生し、乗員状態の検出精度が低下するという課題があった。

本開示は、このような問題を解決するためになされたものであり、乗員状態の検出精度が向上する乗員状態判定装置を提供することを目的とする。

本開示に係る乗員状態判定装置は、車両の乗員の顔が撮像された撮像画像において乗員の顔を検出する顔検出部と、顔検出部が検出した撮像画像における乗員の顔を用いて、乗員の顔向き及び頭位置の少なくとも一方である検出乗員姿勢を検出する特徴検出部と、特徴検出部が検出した検出乗員姿勢が第１の閾値未満である場合、乗員が、乗員の基準となる顔向き及び頭位置の少なくとも一方である基準姿勢であるとみなすことができる検出乗員姿勢とし、検出乗員姿勢が第１の閾値以上である場合、乗員が、基準姿勢から姿勢変更したとみなすことができる検出乗員姿勢とし、予め定められた期間において取得された、乗員が基準姿勢であるとみなすことができる検出乗員姿勢と乗員が基準姿勢から姿勢変更したとみなすことができる検出乗員姿勢のうち、特徴検出部が検出した頻度が最も高い検出乗員姿勢である最頻値を基準姿勢として推定する基準姿勢推定部と、撮像画像における最頻値を用いて推定された基準姿勢である第１の基準姿勢と、撮像画像とは異なる撮像画像における最頻値を用いて推定された基準姿勢である第２の基準姿勢との差分が第２の閾値以上である場合、第１の基準姿勢を第２の基準姿勢に更新し、差分が第２の閾値未満の場合、第１の基準姿勢を更新しない基準姿勢更新判定部と、検出乗員姿勢と第１の基準姿勢との比較によって、乗員の姿勢が複数の姿勢崩れタイプのいずれかに該当するかの姿勢崩れタイプ判定を行う姿勢崩れ判定部と、姿勢崩れ判定部が、乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定した場合、乗員は異常姿勢であると判定し、姿勢崩れ判定部が、乗員の姿勢は複数の姿勢崩れタイプのいずれにも該当しないと判定した場合、乗員は異常姿勢ではないと判定する異常姿勢判定部と、を備える。

本開示に係る乗員状態判定システムは、車両の乗員の顔が撮像された撮像画像において乗員の顔を検出する顔検出部と、顔検出部が検出した撮像画像における乗員の顔を用いて、乗員の顔向き及び頭位置の少なくとも一方である検出乗員姿勢を検出する特徴検出部と、特徴検出部が検出した検出乗員姿勢が第１の閾値未満である場合、乗員が、乗員の基準となる顔向き及び頭位置の少なくとも一方である基準姿勢であるとみなすことができる検出乗員姿勢とし、検出乗員姿勢が第１の閾値以上である場合、乗員が、基準姿勢から姿勢変更したとみなすことができる検出乗員姿勢とし、予め定められた期間において取得された、乗員が基準姿勢であるとみなすことができる検出乗員姿勢と乗員が基準姿勢から姿勢変更したとみなすことができる検出乗員姿勢のうち、特徴検出部が検出した頻度が最も高い検出乗員姿勢である最頻値を基準姿勢として推定する基準姿勢推定部と、撮像画像における最頻値を用いて推定された基準姿勢である第１の基準姿勢と、撮像画像とは異なる撮像画像における最頻値を用いて推定された基準姿勢である第２の基準姿勢との差分が第２の閾値以上である場合、第１の基準姿勢を第２の基準姿勢に更新し、差分が第２の閾値未満の場合、第１の基準姿勢を更新しない基準姿勢更新判定部と、検出乗員姿勢と第１の基準姿勢との比較によって、乗員の姿勢が複数の姿勢崩れタイプのいずれかに該当するかの姿勢崩れタイプ判定を行う姿勢崩れ判定部と、姿勢崩れ判定部が、乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定した場合、乗員は異常姿勢であると判定し、姿勢崩れ判定部が、乗員の姿勢は複数の姿勢崩れタイプのいずれにも該当しないと判定した場合、乗員は異常姿勢ではないと判定する異常姿勢判定部と、を備える乗員状態判定装置と、車両に少なくとも乗員の顔を撮像可能に設置された撮像装置と、車両に搭載され、乗員の姿勢が異常姿勢であることに対する警告を出力する出力装置と、を備えた乗員状態判定システムであって、乗員状態判定装置は、撮像装置が撮像した撮像画像を用いて、乗員の姿勢が異常姿勢であるか否かを判定し、乗員の姿勢が異常姿勢であると判定した場合、乗員の姿勢が異常姿勢であることに対する警告を、出力装置から出力させる。

本開示に係る乗員状態判定方法は、顔検出部が、車両の乗員の顔が撮像された撮像画像において乗員の顔を検出するステップと、特徴検出部が、顔検出部が検出した撮像画像における乗員の顔を用いて、乗員の顔向き及び頭位置の少なくとも一方である検出乗員姿勢を検出するステップと、基準姿勢推定部が、特徴検出部が検出した検出乗員姿勢が第１の閾値未満である場合、乗員が、乗員の基準となる顔向き及び頭位置の少なくとも一方である基準姿勢であるとみなすことができる検出乗員姿勢とし、検出乗員姿勢が第１の閾値以上である場合、乗員が、基準姿勢から姿勢変更したとみなすことができる検出乗員姿勢とし、予め定められた期間において取得された、乗員が基準姿勢であるとみなすことができる検出乗員姿勢と乗員が基準姿勢から姿勢変更したとみなすことができる検出乗員姿勢のうち、特徴検出部が検出した頻度が最も高い検出乗員姿勢である最頻値を基準姿勢として推定するステップと、基準姿勢更新判定部が、撮像画像における最頻値を用いて推定された基準姿勢である第１の基準姿勢と、撮像画像とは異なる撮像画像における最頻値を用いて推定された基準姿勢である第２の基準姿勢との差分が第２の閾値以上である場合、第１の基準姿勢を第２の基準姿勢に更新し、差分が第２の閾値未満の場合、第１の基準姿勢を更新しないステップと、姿勢崩れ判定部が、検出乗員姿勢と第１の基準姿勢との比較によって、乗員の姿勢が複数の姿勢崩れタイプのいずれかに該当するかの姿勢崩れタイプ判定を行うステップと、異常姿勢判定部が、姿勢崩れ判定部が、乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定した場合、乗員は異常姿勢であると判定し、姿勢崩れ判定部が、乗員の姿勢は複数の姿勢崩れタイプのいずれにも該当しないと判定した場合、乗員は異常姿勢ではないと判定するステップと、を備える。

本開示に係るプログラムは、顔検出部が、車両の乗員の顔が撮像された撮像画像において乗員の顔を検出するステップと、特徴検出部が、顔検出部が検出した撮像画像における乗員の顔を用いて、乗員の顔向き及び頭位置の少なくとも一方である検出乗員姿勢を検出するステップと、基準姿勢推定部が、特徴検出部が検出した検出乗員姿勢が第１の閾値未満である場合、乗員が、乗員の基準となる顔向き及び頭位置の少なくとも一方である基準姿勢であるとみなすことができる検出乗員姿勢とし、検出乗員姿勢が第１の閾値以上である場合、乗員が、基準姿勢から姿勢変更したとみなすことができる検出乗員姿勢とし、予め定められた期間において取得された、乗員が基準姿勢であるとみなすことができる検出乗員姿勢と乗員が基準姿勢から姿勢変更したとみなすことができる検出乗員姿勢のうち、特徴検出部が検出した頻度が最も高い検出乗員姿勢である最頻値を基準姿勢として推定するステップと、基準姿勢更新判定部が、撮像画像における最頻値を用いて推定された基準姿勢である第１の基準姿勢と、撮像画像とは異なる撮像画像における最頻値を用いて推定された基準姿勢である第２の基準姿勢との差分が第２の閾値以上である場合、第１の基準姿勢を第２の基準姿勢に更新し、差分が第２の閾値未満の場合、第１の基準姿勢を更新しないステップと、姿勢崩れ判定部が、検出乗員姿勢と第１の基準姿勢との比較によって、乗員の姿勢が複数の姿勢崩れタイプのいずれかに該当するかの姿勢崩れタイプ判定を行うステップと、異常姿勢判定部が、姿勢崩れ判定部が、乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定した場合、乗員は異常姿勢であると判定し、姿勢崩れ判定部が、乗員の姿勢は複数の姿勢崩れタイプのいずれにも該当しないと判定した場合、乗員は異常姿勢ではないと判定するステップと、をコンピュータに実行させる。

本開示の実施形態による乗員状態判定装置によれば、乗員状態の検出精度を向上することができる。

実施の形態１に係る乗員状態判定装置の構成例を示す図である。実施の形態１に係る検出ドライバ姿勢と予め定められた期間における検出ドライバ姿勢の各値の検出頻度との関係を示す図である。実施の形態１に係る検出ドライバ姿勢と予め定められた期間における検出ドライバ姿勢の各値の検出頻度との関係を示す図である。実施の形態１に係る検出ドライバ姿勢と予め定められた期間における検出ドライバ姿勢の各値の検出頻度との関係を示す図である。複数の姿勢崩れタイプを説明するための図である。実施の形態１に係る乗員状態判定装置の動作例を示すフローチャートである。実施の形態１に係る乗員状態判定装置のハードウェア構成の一例を示す図である。実施の形態１に係る乗員状態判定装置のハードウェア構成の一例を示す図である。

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
実施の形態１に係る乗員状態判定装置は、車両の乗員の少なくとも顔が撮像された撮像画像に基づき、車両の乗員の姿勢が異常姿勢であるか否かを判定する。
以下の実施の形態１では、一例として、乗員状態判定装置が異常姿勢であるか否かを判定する対象となる車両の乗員は、車両のドライバとする。

図１は、実施の形態１に係る乗員状態判定装置１の構成例を示す図である。
実施の形態１に係る乗員状態判定装置１は、車両に搭載されることを想定している。
乗員状態判定装置１は、撮像装置２及び出力装置３と接続され、乗員状態判定装置１と撮像装置２と出力装置３とで乗員状態判定システム１００を構成する。
乗員状態判定装置１は、長時間の運転や運転環境の変化（天候の変化や時間帯）などでドライバの意識的又は癖による姿勢変更があった場合、ドライバの基準となる顔向き及び頭位置である基準姿勢を更新する。

撮像装置２は、車両に搭載され、少なくともドライバの顔が存在すべき範囲を撮像可能に設置されている。実施の形態１では、撮像装置２は、例えば、インストルメントパネルの車幅方向の中央部付近、又は、センターコンソールに設置されていることを想定している。例えば、撮像装置２は、車室内をモニタリングすることを目的に設置される、いわゆるＤＭＳ（ＤｒｉｖｅｒＭｏｎｉｔｏｒｉｎｇＳｙｓｔｅｍ）と共用のものでもよい。撮像装置２は、可視光カメラ又は赤外線カメラである。撮像装置２は、撮像した撮像画像を、乗員状態判定装置１に出力する。
乗員状態判定装置１は、撮像装置２が撮像した撮像画像を用いて、ドライバの姿勢が異常姿勢であるか否かを判定する。乗員状態判定装置１の詳細については、後述する。
乗員状態判定装置１は、ドライバの姿勢が異常姿勢であると判定した場合、ドライバの姿勢が異常姿勢であることに対する警告を、出力装置３から出力させる。

出力装置３は、車両に搭載され、ドライバの姿勢が異常姿勢であることに対する警告を出力する。
出力装置３は、例えば、スピーカ等の音声出力装置である。出力装置３は、例えば、車両に設けられているオーディオ装置に備えられていてもよい。出力装置３は、例えば、乗員状態判定装置１から警告を出力させるための情報（以下「警告情報」という。）が出力されると、ドライバの姿勢が異常姿勢であることを知らせる警告音又は音声メッセージを出力する。また、出力装置３は、例えば、ディスプレイ等の表示装置でもよい。出力装置３は、例えば、乗員状態判定装置１から警告情報が出力されると、ドライバの姿勢が異常姿勢であることを知らせるメッセージを表示する。
また、出力装置３は、例えば、他車両から視認可能に車両外装等に設けられた方向指示器、ハザードランプ又は前照灯等であってもよい。例えば、乗員状態判定装置１は、出力装置３に、警告情報を出力して、他車両の乗員等、車両外に存在する人間へ、車両のドライバが異常状態である旨を報知させることもできる。
出力装置３は、例えば、他車両に搭載されていてもよい。乗員状態判定装置１は、他車両に搭載されている出力装置３に警告情報を送信して、他車両の乗員に対し、車両のドライバが異常状態である旨を知らせる音声出力又は表示等を行うこともできる。

図１に示されているように、乗員状態判定装置１は、画像取得部１１、顔検出部１２、特徴検出部１３、基準姿勢推定部１４、基準姿勢記憶部１５、基準姿勢候補記憶部１６、基準姿勢更新判定部１７、姿勢崩れ判定部１８、異常姿勢判定部１９、及び出力制御部２０を備える。
特徴検出部１３は、顔向き検出部１３１、頭位置検出部１３２及び検出信頼度算出部１３３を備える。

画像取得部１１は、撮像装置２から撮像画像を取得する。
画像取得部１１は、取得した撮像画像を、顔検出部１２に出力する。

顔検出部１２は、画像取得部１１が取得した撮像画像においてドライバの顔を検出する。
詳細には、顔検出部１２は、撮像画像に対して、エッジ検出等、公知の画像認識技術を用いて、ドライバの顔のパーツを示すドライバの顔の特徴点を検出する。なお、顔のパーツとは、目尻、目頭、鼻、口、眉又は顎等である。ドライバの顔の特徴点は、例えば、撮像画像上の座標であらわされる。また、顔検出部１２は、ドライバの顔領域を検出してもよい。ドライバの顔領域は、例えば、ドライバの顔の輪郭を囲む最小矩形とする。ドライバの顔領域は、例えば、撮像画像上の上記最小矩形の四隅の座標であらわされる。
なお、撮像装置２の設置位置及び画角は予めわかっているため、仮に、撮像画像には複数の乗員が撮像されていたとしても、顔検出部１２は、撮像画像上、どの領域に撮像されている顔がドライバの顔であるかを判別できる。例えば、撮像画像において、ドライバの顔が存在し得る領域（以下「ドライバ検知領域」という。）が予め設定されており、顔検出部１２は、ドライバ検知領域に対して、既知の画像認識技術を用いて、ドライバの顔の特徴点及び顔領域を検出する。
顔検出部１２は、検出したドライバの顔に関する情報（以下「顔情報」という。）を、特徴検出部１３に出力する。顔情報は、例えば、ドライバの顔の特徴点及び顔領域を特定可能な情報が付与された撮像画像である。

特徴検出部１３は、乗員、ここではドライバの姿勢を判定するための特徴を検出する。ドライバの姿勢を判定するための特徴とは、ドライバの顔向き及びドライバの頭位置の少なくとも一方（以下、検出ドライバ姿勢という。）である。

顔向き検出部１３１は、顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、実空間上のドライバの顔向きを検出する。顔向き検出部１３１は、例えば、撮像画像から顔向きを検出する公知の顔向き検出技術を用いて、ドライバの顔向きを検出すればよい。ドライバの顔向きは、例えば、予め決められた基準となる、車両の上下方向の軸に対する回転角であるヨー角、車両の左右方向の軸に対する回転角であるピッチ角及び車両の前後方向の軸に対する回転角であるロール角の少なくとも一方であらわされる。顔向き検出部１３１は、検出したドライバの顔向きに関する情報に関する情報（以下「顔向き情報」という。）を、基準姿勢推定部１４及び姿勢崩れ判定部１８に出力する。顔向き情報は、ヨー角、ピッチ角及びロール角の情報の少なくとも一方を含む。

頭位置検出部１３２は、顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、実空間上のドライバの頭位置を検出する。実施の形態１において、撮像画像におけるドライバの頭位置は、例えば、ドライバの眉間の中心で示される。頭位置検出部１３２は、例えば、撮像画像上のドライバの眉間の中心に対応する実空間上の点を、ドライバの頭位置として検出する。なお、これは一例に過ぎず、撮像画像におけるドライバの頭の位置は、例えば、ドライバの顔領域の中心又はドライバの両目頭を結ぶ直線の中心で示されてもよい。この場合、頭位置検出部１３２は、例えば、撮像画像上のドライバの顔領域の中心、又は、ドライバの両目頭を結ぶ直線の中心に対応する実空間上の点を、実空間上のドライバの頭位置として検出する。

頭位置検出部１３２は、例えば、撮像画像上の点を実空間上の点に変換する公知の座標変換技術を用いて、ドライバの頭位置を検出すればよい。ドライバの頭位置は、例えば、実空間上の座標であらわされる。頭位置検出部１３２は、検出したドライバの頭位置に関する情報（以下「頭位置情報」という。）を、基準姿勢推定部１４及び姿勢崩れ判定部１８に出力する。頭位置情報は、ドライバの頭位置の座標情報を含む。

検出信頼度算出部１３３は、検出ドライバ姿勢が予め定められた顔向き及び頭位置の少なくとも一方である信頼度を示す検出信頼度を算出する。そして、検出信頼度算出部１３３は、算出された検出信頼度を、基準姿勢推定部１４及び姿勢崩れ判定部１８の少なくとも一方に出力する。検出信頼度の算出方法については、例えば、例えば、文献「“ＲａｐｉｄＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎｕｓｉｎｇａＢｏｏｓｔｅｄＣａｓｃａｄｅｏｆＳｉｍｐｌｅＦｅａｔｕｒｅｓ”，２００１，ＰａｕｌＶｉｏｌａ，ｅｔａｌ．」に示された方法等を用いることができる。当該文献では、事前に大量の顔画像から学習しておいた顔向き及び頭位置の少なくとも一方と、ドライバを撮影した画像から抽出された顔向き及び頭位置の少なくとも一方のマッチングにおけるマッチ度合いから、顔向き及び頭位置の少なくとも一方の検出信頼度が算出される。

なお、上記文献に記載の方法ではなくても、顔向き及び頭位置の少なくとも一方に相当する特定の対象物を画像から検出し、その検出信頼度を算出することができる方法であれば、検出信頼度算出部１３３でその方法を利用することができる。

基準姿勢推定部１４は、検出ドライバ姿勢が第１の閾値未満である場合、ドライバが基準姿勢であるとみなすことができる検出ドライバ姿勢（以下、検出ドライバ姿勢Ａという。）とし、検出ドライバ姿勢が第１の閾値以上である場合、ドライバが基準姿勢から姿勢変更したとみなすことができる検出ドライバ姿勢（以下、検出ドライバ姿勢Ｂという。）とする。

そして、予め定められた期間（以下「基準設定期間」という。）における、検出ドライバ姿勢Ａと検出ドライバ姿勢Ｂのうち、特徴検出部１３が検出した頻度が最も高い検出ドライバ姿勢である最頻値をドライバの基準姿勢として推定する。

基準設定期間は、例えば、車両のイグニッションがＯＮにされてから予め設定された時間（例えば、１０秒）が経過するまでの期間である。なお、これは一例に過ぎず、基準設定期間は、例えば、車速が予め決められた速度（例えば、２５［ｋｍ／ｈ］）以上であって、かつ、操舵角が予め決められた範囲内（例えば、±２０度）である場合の所定時間（例えば、３秒）としてもよい。

また、検出ドライバ姿勢を用いて、ドライバの基準となる顔向き及び頭位置の少なくとも一方を基準姿勢として推定したが、検出ドライバ姿勢と顔向きの検出信頼度及び頭位置の検出信頼度の少なくとも一方を用いて、基準姿勢を推定してもよい。

基準姿勢推定部１４は、撮像画像における最頻値を用いて推定した基準姿勢（以下、第１の基準姿勢）を、基準姿勢記憶部１５に出力し、基準姿勢推定部１４は、基準姿勢記憶部１５に第１の基準姿勢を出力した後は、基準姿勢記憶部１５に出力された第１の基準姿勢を推定した撮像画像とは異なる撮像画像における最頻値を用いて推定した基準姿勢（以下、第２の基準姿勢）を基準姿勢候補記憶部１６に出力する。
また、基準姿勢推定部１４は、基準姿勢記憶部１５から第１の基準姿勢を姿勢崩れ判定部１８に出力する基準姿勢として取得する。

第１の基準姿勢及び第２の基準姿勢のうちの顔向きは、ヨー角、ピッチ角及びロール角のうち少なくともいずれか一方であらわされる。第１の基準姿勢及び第２の基準姿勢のうちの頭位置は、例えば、実空間上の座標であらわされる。また、基準姿勢情報は、ドライバの頭位置の情報として、ドライバの頭位置の座標情報を含む。

図２に、基準姿勢推定部１４がドライバの基準姿勢を推定する際に用いられる、検出ドライバ姿勢と予め定められた期間において検出ドライバ姿勢の各値が特徴検出部１３によって検出された頻度（以下、検出頻度という。）との関係を示すグラフを示す。

縦軸は検出頻度を示しており、図２では０～３５の値をとる。横軸は検出ドライバ姿勢を示しており、図２では１５０～２５０の値をとる。ここで、図２における検出ドライバ姿勢は、特徴検出部１３で検出されたドライバの頭位置を指す。また、ドライバが特定の頭位置に位置している場合、当該特定の頭位置の検出頻度は他の頭位置よりも高くなる。
ここで、検出ドライバ姿勢は、検出ドライバ姿勢Ａと、検出ドライバ姿勢Ｂに分類される。例えば、第１の閾値を２４０とすると、検出ドライバ姿勢が第１の閾値未満の場合、検出ドライバ姿勢Ａに、検出ドライバ姿勢が第１の閾値以上の場合、検出ドライバ姿勢Ｂに分類される。図２において、検出ドライバ姿勢Ａは１５０～２３０、検出ドライバ姿勢Ｂは２４０～２５０となる。

基準姿勢推定部１４は、図２に示される検出ドライバ姿勢Ａ及び検出ドライバ姿勢Ｂからなる検出ドライバ姿勢のうち、検出ドライバ姿勢の最頻値を第１の基準姿勢として推定する。図２において、基準姿勢推定部１４は、１９０を第１の基準姿勢として推定し、推定した第１の基準姿勢を基準姿勢記憶部１５に出力する。

基準姿勢記憶部１５は、基準姿勢推定部１４から出力された第１の基準姿勢を格納する。また、後述する、基準姿勢更新判定部１７が、第１の基準姿勢を第２の基準姿勢に更新する判定を行った場合、第１の基準姿勢は第２の基準姿勢に更新される。

基準姿勢候補記憶部１６は、基準姿勢推定部１４から出力された第２の基準姿勢を格納する。

基準姿勢更新判定部１７は、基準姿勢記憶部１５に格納された第１の基準姿勢と、基準姿勢候補記憶部１６に格納された第２の基準姿勢との差分が第２の閾値以上である場合、第１の基準姿勢を第２の基準姿勢に更新し、
当該差分が第２の閾値未満である場合、第１の基準姿勢を更新しない。

図３に、図２に示すグラフで基準姿勢推定部１４が基準姿勢を推定した後、ドライバが基準姿勢から姿勢変更した場合の検出ドライバ姿勢と予め定められた期間における検出ドライバ姿勢の各値の検出頻度との関係を示すグラフを示す。
縦軸は検出頻度を示しており、図３では０～３５の値をとる。横軸は検出ドライバ姿勢を示しており、図３では１５０～２５０の値をとる。ここで、図３における検出ドライバ姿勢は、特徴検出部１３で検出されたドライバの頭位置を指す。また、ドライバが特定の頭位置に位置している場合、当該特定の頭位置の検出頻度は他の頭位置よりも高くなる。また、図２と同様に、検出ドライバ姿勢は、検出ドライバ姿勢Ａ又は検出ドライバ姿勢Ｂに分類される。

図３に示された状況における、基準姿勢更新判定部１７の基準姿勢の更新判定について説明する。
図３において、基準姿勢推定部１４は、図３に示される検出ドライバ姿勢Ａ及び検出ドライバ姿勢Ｂからなる検出ドライバ姿勢のうち、検出ドライバ姿勢の最頻値を第１の基準姿勢として推定する。図３において、基準姿勢推定部１４は、２４０を第２の基準姿勢として基準姿勢候補記憶部１６に出力する。

ここで、基準姿勢更新判定部１７が、基準姿勢記憶部１５に格納された第１の基準姿勢と、基準姿勢候補記憶部１６に格納された第２の基準姿勢との差分を第２の閾値と比較することで、第１の基準姿勢を更新するか否かを判定する。

例えば、第２の閾値を４５とすると、当該差分が第２の閾値以上である場合、第１の基準姿勢を第２の基準姿勢に更新する。当該差分が第２の閾値未満である場合、第１の基準姿勢を更新しない。ここで、第１の基準姿勢が１９０、第２の基準姿勢が２４０である場合、当該差分は第２の閾値以上の条件を満たす５０となる。そのため、第１の基準姿勢を第２の基準姿勢２４０に更新する。

図４に、図２に示すグラフで基準姿勢推定部１４が基準姿勢を推定した後、状況Ａの検出ドライバ姿勢と予め定められた期間における検出ドライバ姿勢の各値の検出頻度との関係を示すグラフを示す。
縦軸は検出頻度を示しており、図４では０～３５の値をとる。横軸は検出ドライバ姿勢を示しており、図４では１５０～２５０の値をとる。ここで、図４における検出ドライバ姿勢は、特徴検出部１３で検出されたドライバの頭位置を指す。また、ドライバが特定の頭位置に位置している場合、当該特定の頭位置の検出頻度は他の頭位置よりも高くなる。また、図２と同様に、検出ドライバ姿勢は、検出ドライバ姿勢Ａ又は検出ドライバ姿勢Ｂに分類される。
ここで、状況Ａとは、実際には、ドライバの姿勢が基準姿勢に位置し、ドライバが基準姿勢からの姿勢変更がない場合であっても、車両の振動等により、検出ドライバ姿勢が、検出ドライバ姿勢Ａと検出ドライバ姿勢Ｂを行き来する状況を指す。

状況Ａの場合、検出ドライバ姿勢Ａの検出頻度（図４の２３０の検出頻度）と検出ドライバ姿勢Ｂの検出頻度（図４の２４０の検出頻度）の両方が、予め定められた頻度以上となることがある。
また、状況Ａの場合、検出ドライバ姿勢Ａの検出頻度（図４の２３０の検出頻度）が検出ドライバ姿勢Ｂの検出頻度（図４の２４０の検出頻度）よりも高くなることがある。
言い換えれば、検出ドライバ姿勢Ａの検出頻度が検出ドライバ姿勢Ｂの検出頻度よりも高いにも関わらず、検出ドライバ姿勢Ｂの検出頻度が予め定められた頻度以上となることがある。

図４に示された状況における、基準姿勢更新判定部１７の基準姿勢の更新判定について説明する。
基準姿勢推定部１４は、図４に示される検出ドライバ姿勢Ａ及び検出ドライバ姿勢Ｂからなる検出ドライバ姿勢のうち、検出ドライバ姿勢の最頻値を第２の基準姿勢として推定する。図４において、基準姿勢推定部１４は、２３０を第２の基準姿勢として推定し、推定した第２の基準姿勢を基準姿勢候補記憶部１６に出力する。

例えば、第２の閾値を４５とすると、当該差分が第２の閾値以上である場合、第１の基準姿勢を第２の基準姿勢に更新する。当該差分が第２の閾値未満である場合、第１の基準姿勢を更新しない。ここで、第１の基準姿勢が１９０、第２の基準姿勢が２３０である場合、当該差分は第２の閾値以上の条件を満たさない４０となる。そのため、第１の基準姿勢である１９０を更新しない。

姿勢崩れ判定部１８は、検出ドライバ姿勢と基準姿勢推定部１４から取得した基準姿勢との比較によって、ドライバの姿勢が予め定められた複数の姿勢崩れのタイプ（以下「姿勢崩れタイプ」という。）のうちのいずれかのタイプに該当するか否かを判定する。実施の形態１において、姿勢崩れ判定部１８による、ドライバの姿勢が複数の姿勢崩れタイプのうちのいずれかのタイプに該当するかの判定を、「姿勢崩れタイプ判定」ともいう。
複数の姿勢崩れタイプには、予め、ドライバが異常状態であることに起因する異常姿勢であるとする姿勢のタイプが設定されている。

ここで、図５（国土交通省自動車局先進安全自動車推進検討会「ドライバー異常自動検知システム基本設計書」平成３０年３月の一部改変）は、複数の姿勢崩れタイプを説明するための図である。図５に示されているように、姿勢崩れには複数の態様がある。図５では、ドライバが前方に倒れ、ハンドル付近まで顔が来ている姿勢が継続している状態である「突っ伏し」、ドライバの顔が下を向いている姿勢が継続している状態である「うつむき」、ドライバの上半身が後方に傾き、顔が上を向いている姿勢が継続している状態である「仰け反り」、ドライバの上半身が反り上がり、顔が上に向いている姿勢が継続している状態である「えび反り」、ドライバの顔が左又は右に傾いている姿勢が継続している状態である「首のみ横倒れ」、ドライバの上半身が左又は右に傾き、顔も同方向に傾いている姿勢が継続している状態である「横倒れ」又はドライバの上半身が左又は右に傾いている姿勢が継続している状態である「横もたれ」が示されている。本開示では、図５に示されている「突っ伏し」、「うつむき」、「仰け反り」、「えび反り」、「首のみ横倒れ」、「横倒れ」及び「横もたれ」を、予め設定されている複数の姿勢崩れタイプとする。複数の姿勢崩れタイプに関する情報は、姿勢崩れ判定部１８が参照可能な場所に記憶されている。

詳細には、姿勢崩れ判定部１８は、検出ドライバ姿勢が第１の基準姿勢と比べてどれぐらい変化しているかによって、ドライバが複数の姿勢崩れタイプのうちのいずれかのタイプに該当するかを判定する。なお、検出ドライバ姿勢が第１の基準姿勢と比べてどれぐらい変化している場合に、どの姿勢崩れタイプに該当すると判定するかの条件は、予め設定され、姿勢崩れ判定部１８が保持している。姿勢崩れ判定部１８は、例えば、ＳＶＭ（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ）等の学習器を使用して姿勢崩れタイプ判定を行ってもよい。

姿勢崩れ判定部１８は、姿勢崩れタイプ判定結果を、異常姿勢判定部１９に出力する。姿勢崩れタイプ判定結果は、ドライバの姿勢が姿勢崩れタイプのいずれかに該当するか否かの情報を含む。

異常姿勢判定部１９は、姿勢崩れ判定部１８が出力した姿勢崩れタイプ判定結果を用いて、ドライバの姿勢は異常姿勢であるか否かを判定する。

異常姿勢判定部１９は、姿勢崩れ判定部１８が、ドライバの姿勢が姿勢崩れタイプのいずれかに該当しないと判定した場合ドライバは異常姿勢ではないと判定する。

異常姿勢判定部１９は、姿勢崩れ判定部１８がドライバの姿勢は姿勢崩れであると判定した場合、ドライバの姿勢が姿勢崩れである状態の継続時間を判定する。例えば、異常姿勢判定部１９は、取得した範囲判定結果又は姿勢崩れタイプ判定結果を、当該範囲判定結果又は当該姿勢崩れタイプ判定結果を取得した日時の情報と対応付けて、図示しない記憶部に記憶させておく。異常姿勢判定部１９は、記憶させている範囲判定結果又は姿勢崩れタイプ判定結果から、ドライバの姿勢が姿勢崩れである状態の継続時間を判定すればよい。異常姿勢判定部１９は、ドライバの姿勢が姿勢崩れである状態の継続時間が予め設定された閾値（以下「異常姿勢判定用閾値」という。）に達した場合、ドライバは異常姿勢であると判定する。

異常姿勢判定部１９は、ドライバは異常姿勢であるか否かの判定結果（以下「異常姿勢判定結果」という。）を、出力制御部２０に出力する。

出力制御部２０は、異常姿勢判定部１９がドライバは異常姿勢であると判定した場合、ドライバに警告を行うための警告情報を、出力装置３に出力する。

実施の形態１に係る乗員状態判定装置１の動作について説明する。図６は、実施の形態１に係る乗員状態判定装置１の動作について説明するためのフローチャートである。
なお、乗員状態判定装置１の動作は、例えば、車両のイグニッションがＯＮにされた後に開始される。また、撮像装置２から撮像画像を取得する度、つまり毎フレーム乗員状態の判定処理を行うと好ましい。

画像取得部１１は、撮像装置２から撮像画像を取得する（ステップＳＴ１）。
画像取得部１１は、取得した撮像画像を、顔検出部１２に出力する。

顔検出部１２は、ステップＳＴ１にて画像取得部１１が取得した撮像画像においてドライバの顔を検出する（ステップＳＴ２）。
顔検出部１２は、顔情報を、特徴検出部１３に出力する。

顔向き検出部１３１は、ステップＳＴ２にて顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、実空間上のドライバの顔向きを検出する（ステップＳＴ３）。
顔向き検出部１３１は、顔向き情報を、基準姿勢推定部１４及び姿勢崩れ判定部１８に出力する。

頭位置検出部１３２は、ステップＳＴ２にて顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、実空間上のドライバの頭位置を検出する（ステップＳＴ３）。
頭位置検出部１３２は、頭位置情報を、基準姿勢推定部１４及び姿勢崩れ判定部１８に出力する。

検出信頼度算出部１３３は、ステップＳＴ２にて顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、顔向き及び頭位置の少なくとも一方の検出信頼度を算出する（ステップＳＴ４）。
検出信頼度算出部１３３は、検出信頼度を、基準姿勢推定部１４及び姿勢崩れ判定部１８の少なくとも一方に出力する。

基準姿勢推定部１４は、検出ドライバ姿勢のうち、検出ドライバ姿勢が第１の閾値未満である場合、検出ドライバ姿勢Ａとし、検出ドライバ姿勢が第１の閾値以上である場合、検出ドライバ姿勢Ｂとする（ステップＳＴ５）。

基準姿勢推定部１４は、基準設定期間における、検出ドライバ姿勢Ａと検出ドライバ姿勢Ｂのうち、特徴検出部１３が検出した頻度が最も高い検出ドライバ姿勢である最頻値をドライバの基準姿勢として推定する（ステップＳＴ６）。

基準姿勢推定部１４は、基準姿勢推定部１４が前フレームにおいてドライバの基準姿勢の推定を完了している場合、言い換えれば、基準姿勢記憶部１５に第１の基準姿勢を出力した後は（ステップＳＴ７の“ＹＥＳ”の場合）、基準姿勢記憶部１５に出力された第１の基準姿勢を推定した撮像画像とは異なる撮像画像における最頻値を用いて推定した第２の基準姿勢を基準姿勢候補記憶部１６に出力する（ステップＳＴ８）。

基準姿勢推定部１４が前フレームにおいてドライバの基準姿勢の推定を完了していない場合（ステップＳＴ７の“ＮＯ”の場合）、基準姿勢推定部１４は、撮像画像における最頻値を用いて推定した基準姿勢における第１の基準姿勢を、基準姿勢記憶部１５に出力する（ステップＳＴ９）。

基準姿勢推定部１４は、ドライバの基準姿勢を推定すると、基準姿勢推定済フラグを「１」にする。基準姿勢推定済フラグの初期値は「０」であり、基準姿勢推定済フラグは、例えば、乗員状態判定装置１のイグニッションがＯＦＦされる際に初期化される。基準姿勢推定済フラグは、乗員状態判定装置１が参照可能な場所に記憶される（ステップＳＴ１０）。

基準姿勢更新判定部１７は、基準姿勢記憶部１５に格納された第１の基準姿勢と基準姿勢候補記憶部１６に格納された第２の基準姿勢との差分が第２の閾値以上である場合（ステップＳＴ１１の“ＹＥＳ”の場合）、第１の基準姿勢を第２の基準姿勢に更新する（ステップＳＴ１２）。

基準姿勢更新判定部１７は、第１の基準姿勢と第２の基準姿勢との差分が第２の閾値未満である場合（ステップＳＴ１１の“ＮＯ”の場合）、第１の基準姿勢を更新しない（ステップＳＴ１３）。

姿勢崩れ判定部１８は、検出ドライバ姿勢と基準姿勢推定部１４から取得した基準姿勢との比較によって、ドライバの姿勢が予め定められた複数の姿勢崩れのタイプのうちのいずれかのタイプに該当するか否かを判定する（ステップＳＴ１４）。
姿勢崩れ判定部１８は、姿勢崩れタイプ判定結果を、異常姿勢判定部１９に出力する。

異常姿勢判定部１９は、姿勢崩れ判定部１８が、ドライバの姿勢が姿勢崩れタイプのいずれかに該当しないと判定した場合（ステップＳＴ１４の“ＮＯ”の場合）、ドライバは異常姿勢ではないと判定する（ステップＳＴ１５）。

異常姿勢判定部１９は、姿勢崩れ判定部１８がドライバの姿勢は姿勢崩れであると判定した場合（ステップＳＴ１４の“ＹＥＳ”の場合）、ドライバの姿勢が姿勢崩れである状態の継続時間を判定する（ステップＳＴ１６）。

異常姿勢判定部１９は、ドライバの姿勢が姿勢崩れである状態の継続時間が異常姿勢判定用閾値に達した場合（ステップＳＴ１６の“ＹＥＳ”の場合）、ドライバは異常姿勢であると判定し、ドライバの姿勢が異常姿勢であることに対する警告を、出力装置３から出力させる（ステップＳＴ１７）。
異常姿勢判定部１９は、ドライバの姿勢が姿勢崩れである状態の継続時間が異常姿勢判定用閾値に達しない場合（ステップＳＴ１６の“ＮＯ”の場合）、ドライバは異常姿勢ではないと判定する。

図７及び図８は、実施の形態１に係る乗員状態判定装置１のハードウェア構成の一例を示す図である。実施の形態１において、画像取得部１１、顔検出部１２、特徴検出部１３、基準姿勢推定部１４、基準姿勢更新判定部１７、姿勢崩れ判定部１８、異常姿勢判定部１９、及び出力制御部２０の機能は、処理回路１００１により実現される。すなわち、乗員状態判定装置１は、撮像画像に基づき、車両の乗員の姿勢が異常姿勢であるかを判定する制御を行うための処理回路１００１を備える。処理回路１００１は、図７に示すように専用のハードウェアであっても、図８に示すようにメモリ１００５に格納されるプログラムを実行するプロセッサ１００４であってもよい。なお、メモリ１０００には、基準姿勢推定部１４、基準姿勢記憶部１５が含まれる。

処理回路１００１が専用のハードウェアである場合、処理回路１００１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、又はこれらを組み合わせたものが該当する。

処理回路がプロセッサ１００４の場合、画像取得部１１、顔検出部１２、特徴検出部１３、基準姿勢推定部１４、基準姿勢更新判定部１７、姿勢崩れ判定部１８、異常姿勢判定部１９、及び出力制御部２０の機能は、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアは、プログラムとして記述され、メモリ１００５に記憶される。プロセッサ１００４は、メモリ１００５に記憶されたプログラムを読み出して実行することにより、画像取得部１１、顔検出部１２、特徴検出部１３、基準姿勢推定部１４、基準姿勢更新判定部１７、姿勢崩れ判定部１８、異常姿勢判定部１９、及び出力制御部２０の機能を実行する。すなわち、乗員状態判定装置１は、プロセッサ１００４により実行されるときに、上述の図７のステップＳＴ１～ステップＳＴ１６が結果的に実行されることになるプログラムを格納するためのメモリ１００５を備える。また、メモリ１００５に記憶されたプログラムは、画像取得部１１、顔検出部１２、特徴検出部１３、基準姿勢推定部１４、基準姿勢更新判定部１７、姿勢崩れ判定部１８、異常姿勢判定部１９、及び出力制御部２０の処理の手順又は方法をコンピュータに実行させるものであるともいえる。ここで、メモリ１００５とは、例えば、ＲＡＭ、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、又は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）等が該当する。

なお、画像取得部１１、顔検出部１２、特徴検出部１３、基準姿勢推定部１４、姿勢崩れ判定部１８、異常姿勢判定部１９、及び出力制御部２０の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、画像取得部１１と出力制御部２０については専用のハードウェアとしての処理回路１００１でその機能を実現し、顔検出部１２と、特徴検出部１３と、基準姿勢推定部１４と、姿勢崩れ判定部１８、異常姿勢判定部１９についてはプロセッサ１００４がメモリ１００５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

図示しない記憶部は、例えば、メモリ１００５で構成される。また、乗員状態判定装置１は、撮像装置２又は出力装置３等の装置と、有線通信又は無線通信を行う入力インタフェース装置１００２及び出力インタフェース装置１００３を備える。

以上のように、実施の形態１によれば、乗員状態判定装置１は、車両の乗員の顔が撮像された撮像画像において乗員の顔を検出する顔検出部１２と、顔検出部１２が検出した撮像画像における乗員の顔を用いて、乗員の顔向き及び頭位置の少なくとも一方である検出乗員姿勢を検出する特徴検出部１３と、特徴検出部１３が検出した検出乗員姿勢が第１の閾値未満である場合、乗員が、乗員の基準となる顔向き及び頭位置の少なくとも一方である基準姿勢であるとみなすことができる検出乗員姿勢とし、検出乗員姿勢が第１の閾値以上である場合、乗員が、基準姿勢から姿勢変更したとみなすことができる検出乗員姿勢とし、予め定められた期間において取得された、乗員が基準姿勢であるとみなすことができる検出乗員姿勢と乗員が基準姿勢から姿勢変更したとみなすことができる検出乗員姿勢のうち、特徴検出部１３が検出した頻度が最も高い検出乗員姿勢である最頻値を基準姿勢として推定する基準姿勢推定部１４と、撮像画像における最頻値を用いて推定された基準姿勢である第１の基準姿勢と、撮像画像とは異なる撮像画像における最頻値を用いて推定された基準姿勢である第２の基準姿勢との差分が第２の閾値以上である場合、第１の基準姿勢を第２の基準姿勢に更新し、差分が第２の閾値未満の場合、第１の基準姿勢を更新しない基準姿勢更新判定部１７と、検出乗員姿勢と第１の基準姿勢との比較によって、乗員の姿勢が複数の姿勢崩れタイプのいずれに該当するかの姿勢崩れタイプ判定を行う姿勢崩れ判定部１８と、姿勢崩れ判定部１８が、乗員の姿勢は複数の姿勢崩れタイプのいずれに該当すると判定した場合、乗員は異常姿勢であると判定し、姿勢崩れ判定部１８が、乗員の姿勢は複数の姿勢崩れタイプのいずれに該当しないと判定した場合、乗員は異常姿勢ではないと判定する異常姿勢判定部１９と、を備える構成とした。

基準姿勢推定部１４は、基準設定期間における、検出ドライバ姿勢Ａと検出ドライバ姿勢Ｂのうち、特徴検出部１３が検出した頻度が最も高い検出ドライバ姿勢である最頻値をドライバの基準姿勢として推定する。

また、基準姿勢更新判定部１７が、基準姿勢記憶部１５に格納された第１の基準姿勢と、基準姿勢候補記憶部１６に格納された第２の基準姿勢との差分を第２の閾値と比較することで、基準姿勢記憶部１５に格納された第１の基準姿勢を更新するか否かを判定する。

このような構成とすることで、乗員状態判定装置１は、長時間の運転や運転環境の変化（天候の変化や時間帯）などでドライバの意識的又は癖による姿勢変更があった場合、基準姿勢を更新する。そのため、姿勢崩れであるか否かの判定に用いられる基準姿勢からの変化量を精度よく算出することができる。その結果、姿勢崩れが発生しているにもかかわらず、当該変化量を精度よく算出できないために、姿勢崩れでないと判定される姿勢崩れの未検知を抑制し、乗員状態の検出精度を向上することができる。

また、図４に示された状況Ａにおいて、先述のとおり特許文献１を用いて基準姿勢の更新を行おうとした場合、乗員が基準姿勢である場合であっても乗員が基準姿勢から姿勢変更を行ったと判定され乗員の基準姿勢が更新されるという可能性がある。
そのため、姿勢崩れであるか否かの判定に用いられる基準姿勢からの変化量を精度よく算出することが困難となる。その結果、姿勢崩れが発生しているにもかかわらず、当該変化量を精度よく算出できないために、姿勢崩れでないと判定される姿勢崩れの未検知が発生し、ドライバの運転不能状態の検出精度が低下するという課題があった。

一方で、乗員状態判定装置１は、基準姿勢推定部１４が、基準設定期間における、検出ドライバ姿勢Ａと検出ドライバ姿勢Ｂのうち、特徴検出部１３が検出した頻度が最も高い検出ドライバ姿勢である最頻値をドライバの基準姿勢として推定する。

このような構成とすることで、状況Ａにおいて検出ドライバ姿勢Ａに該当する検出ドライバ姿勢が、基準姿勢推定部１４における最頻値算出の対象から除外され、検出ドライバ姿勢Ｂを含む検出ドライバ姿勢のみが、基準姿勢推定部１４における最頻値算出の対象となることを回避することができる。

その結果、基準姿勢更新判定部１７により更新された第１の基準姿勢と実際のドライバの姿勢における顔向き及び頭位置の少なくとも一方に差異が生じることを抑制でき、ドライバが基準姿勢である場合であってもドライバが基準姿勢から姿勢変更を行ったと判定されドライバの基準姿勢が更新されることを回避することができる。

そのため、姿勢崩れであるか否かの判定に用いられる基準姿勢からの変化量を精度よく算出することができる。その結果、姿勢崩れが発生しているにもかかわらず、当該変化量を精度よく算出できないために、姿勢崩れでないと判定される姿勢崩れの未検知を抑制し、乗員状態の検出精度を向上することができる。

また、以上の実施の形態１では、基準姿勢更新判定部１７が、基準姿勢記憶部１５に格納された第１の基準姿勢と、基準姿勢候補記憶部１６に格納された第２の基準姿勢との差分と第２の閾値を比較することで、第１の基準姿勢を更新するか否かを判定していたが、基準姿勢更新判定部１７は、第１の基準姿勢を更新するか否かを機械学習により判定してもよい。

また、以上の実施の形態１では、検出ドライバ姿勢Ａと検出ドライバ姿勢Ｂのうち、特徴検出部１３が検出した頻度が最も高い検出ドライバ姿勢である最頻値をドライバの基準姿勢として推定したが、検出ドライバ姿勢Ａと検出ドライバ姿勢Ｂのうち、特徴検出部１３が検出した頻度が予め定められた閾値以上の検出ドライバ姿勢を基準姿勢として推定してもよい。

また、以上の実施の形態１では、乗員状態判定装置１が異常姿勢であるか否かを判定する対象となる車両の乗員は車両のドライバとしたが、これは一例に過ぎない。乗員状態判定装置１は、ドライバ以外の車両の乗員を、異常姿勢であるか否かを判定する対象とできる。

また、以上の実施の形態１では、乗員状態判定装置１は、車両に搭載される車載装置とし、画像取得部１１、顔検出部１２、特徴検出部１３、基準姿勢推定部１４、基準姿勢記憶部１５、基準姿勢候補記憶部１６、基準姿勢更新判定部１７、姿勢崩れ判定部１８、異常姿勢判定部１９、及び出力制御部２０は、車載装置に備えられているものとした。
これに限らず、画像取得部１１、顔検出部１２、特徴検出部１３、基準姿勢推定部１４、基準姿勢記憶部１５、基準姿勢候補記憶部１６、基準姿勢更新判定部１７、姿勢崩れ判定部１８、異常姿勢判定部１９、及び出力制御部２０のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとでシステムを構成するようにしてもよい。
また、画像取得部１１、顔検出部１２、特徴検出部１３、基準姿勢推定部１４、基準姿勢記憶部１５、基準姿勢候補記憶部１６、基準姿勢更新判定部１７、姿勢崩れ判定部１８、異常姿勢判定部１９、及び出力制御部２０が全部サーバに備えられてもよい。

１乗員状態判定装置、２撮像装置、３出力装置、１１画像取得部、１２顔検出部、１３特徴検出部、１３１顔向き検出部、１３２頭位置検出部、１３３検出信頼度算出部、１４基準姿勢推定部、１５基準姿勢記憶部、１６基準姿勢候補記憶部、１７基準姿勢更新判定部、１８姿勢崩れ判定部、１９異常姿勢判定部、２０出力制御部、１００乗員状態判定システム、１００１処理回路、１００２入力インタフェース装置、１００３出力インタフェース装置、１００４プロセッサ、１００５メモリ

Claims

車両の乗員の顔が撮像された撮像画像において前記乗員の顔を検出する顔検出部と、
前記顔検出部が検出した前記撮像画像における前記乗員の顔を用いて、前記乗員の顔向き及び頭位置の少なくとも一方である検出乗員姿勢を検出する特徴検出部と、
前記特徴検出部が検出した前記検出乗員姿勢が第１の閾値未満である場合、前記乗員が、前記乗員の基準となる顔向き及び頭位置の少なくとも一方である基準姿勢であるとみなすことができる前記検出乗員姿勢とし、前記検出乗員姿勢が前記第１の閾値以上である場合、前記乗員が、前記基準姿勢から姿勢変更したとみなすことができる前記検出乗員姿勢とし、予め定められた期間において取得された、前記乗員が前記基準姿勢であるとみなすことができる前記検出乗員姿勢と前記乗員が前記基準姿勢から姿勢変更したとみなすことができる前記検出乗員姿勢のうち、前記特徴検出部が検出した頻度が最も高い前記検出乗員姿勢である最頻値を前記基準姿勢として推定する基準姿勢推定部と、
前記撮像画像における前記最頻値を用いて推定された前記基準姿勢である第１の基準姿勢と、前記撮像画像とは異なる撮像画像における前記最頻値を用いて推定された前記基準姿勢である第２の基準姿勢との差分が第２の閾値以上である場合、前記第１の基準姿勢を前記第２の基準姿勢に更新し、前記差分が第２の閾値未満の場合、前記第１の基準姿勢を更新しない基準姿勢更新判定部と、
前記検出乗員姿勢と前記第１の基準姿勢との比較によって、前記乗員の姿勢が複数の姿勢崩れタイプのいずれかに該当するかの姿勢崩れタイプ判定を行う姿勢崩れ判定部と、
前記姿勢崩れ判定部が、前記乗員の前記姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定した場合、前記乗員は異常姿勢であると判定し、前記姿勢崩れ判定部が、前記乗員の前記姿勢は複数の姿勢崩れタイプのいずれにも該当しないと判定した場合、前記乗員は異常姿勢ではないと判定する異常姿勢判定部と、
を備える乗員状態判定装置。
前記乗員の顔向きは、予め決められた基準となる、前記車両の上下方向の軸に対する回転角であるヨー角、前記車両の左右方向の軸に対する回転角であるピッチ角及び前記車両の前後方向の軸に対する回転角であるロール角のうち少なくともいずれか一方であらわされ、
前記乗員の頭位置は、前記顔検出部が検出した前記撮像画像における前記乗員の顔に任意に設けられた点を、実空間上の点に変換したものである、
請求項１に記載の乗員状態判定装置。
前記基準姿勢更新判定部は、前記第１の基準姿勢を前記第２の基準姿勢に更新するか、前記第１の基準姿勢を更新しないかを機械学習により判定する、
請求項１又は２に記載の乗員状態判定装置。
前記異常姿勢判定部が前記乗員は前記異常姿勢であると判定した場合、前記乗員に警告を行うための警告情報を出力する出力制御部を備えた請求項１又は２に記載の乗員状態判定装置。
請求項１又は２に記載の乗員状態判定装置と、
前記車両に少なくとも前記乗員の顔を撮像可能に設置された撮像装置と、前記車両に搭載され、前記乗員の前記姿勢が前記異常姿勢であることに対する警告を出力する出力装置と、を備えた乗員状態判定システムであって、
前記乗員状態判定装置は、前記撮像装置が撮像した撮像画像を用いて、前記乗員の前記姿勢が前記異常姿勢であるか否かを判定し、前記乗員の前記姿勢が前記異常姿勢であると判定した場合、前記乗員の前記姿勢が前記異常姿勢であることに対する警告を、前記出力装置から出力させる、
乗員状態判定システム。
顔検出部が、車両の乗員の顔が撮像された撮像画像において前記乗員の顔を検出するステップと、
特徴検出部が、前記顔検出部が検出した前記撮像画像における前記乗員の顔を用いて、前記乗員の顔向き及び頭位置の少なくとも一方である検出乗員姿勢を検出するステップと、
基準姿勢推定部が、前記特徴検出部が検出した前記検出乗員姿勢が第１の閾値未満である場合、前記乗員が、前記乗員の基準となる顔向き及び頭位置の少なくとも一方である基準姿勢であるとみなすことができる前記検出乗員姿勢とし、前記検出乗員姿勢が前記第１の閾値以上である場合、前記乗員が、前記基準姿勢から姿勢変更したとみなすことができる前記検出乗員姿勢とし、予め定められた期間において取得された、前記乗員が前記基準姿勢であるとみなすことができる前記検出乗員姿勢と前記乗員が前記基準姿勢から姿勢変更したとみなすことができる前記検出乗員姿勢のうち、前記特徴検出部が検出した頻度が最も高い前記検出乗員姿勢である最頻値を前記基準姿勢として推定するステップと、
基準姿勢更新判定部が、前記撮像画像における前記最頻値を用いて推定された前記基準姿勢である第１の基準姿勢と、前記撮像画像とは異なる撮像画像における前記最頻値を用いて推定された前記基準姿勢である第２の基準姿勢との差分が第２の閾値以上である場合、前記第１の基準姿勢を前記第２の基準姿勢に更新し、前記差分が第２の閾値未満の場合、前記第１の基準姿勢を更新しないステップと、
姿勢崩れ判定部が、前記検出乗員姿勢と前記第１の基準姿勢との比較によって、前記乗員の姿勢が複数の姿勢崩れタイプのいずれかに該当するかの姿勢崩れタイプ判定を行うステップと、異常姿勢判定部が、
前記姿勢崩れ判定部が、前記乗員の前記姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定した場合、前記乗員は異常姿勢であると判定し、前記姿勢崩れ判定部が、前記乗員の前記姿勢は複数の姿勢崩れタイプのいずれにも該当しないと判定した場合、前記乗員は異常姿勢ではないと判定するステップと、
を備える乗員状態判定方法。
顔検出部が、車両の乗員の顔が撮像された撮像画像において前記乗員の顔を検出するステップと、
特徴検出部が、前記顔検出部が検出した前記撮像画像における前記乗員の顔を用いて、前記乗員の顔向き及び頭位置の少なくとも一方である検出乗員姿勢を検出するステップと、
基準姿勢推定部が、前記特徴検出部が検出した前記検出乗員姿勢が第１の閾値未満である場合、前記乗員が、前記乗員の基準となる顔向き及び頭位置の少なくとも一方である基準姿勢であるとみなすことができる前記検出乗員姿勢とし、前記検出乗員姿勢が前記第１の閾値以上である場合、前記乗員が、前記基準姿勢から姿勢変更したとみなすことができる前記検出乗員姿勢とし、予め定められた期間において取得された、前記乗員が前記基準姿勢であるとみなすことができる前記検出乗員姿勢と前記乗員が前記基準姿勢から姿勢変更したとみなすことができる前記検出乗員姿勢のうち、前記特徴検出部が検出した頻度が最も高い前記検出乗員姿勢である最頻値を前記基準姿勢として推定するステップと、
基準姿勢更新判定部が、前記撮像画像における前記最頻値を用いて推定された前記基準姿勢である第１の基準姿勢と、前記撮像画像とは異なる撮像画像における前記最頻値を用いて推定された前記基準姿勢である第２の基準姿勢との差分が第２の閾値以上である場合、前記第１の基準姿勢を前記第２の基準姿勢に更新し、前記差分が第２の閾値未満の場合、前記第１の基準姿勢を更新しないステップと、
姿勢崩れ判定部が、前記検出乗員姿勢と前記第１の基準姿勢との比較によって、前記乗員の姿勢が複数の姿勢崩れタイプのいずれかに該当するかの姿勢崩れタイプ判定を行うステップと、
異常姿勢判定部が、
前記姿勢崩れ判定部が、前記乗員の前記姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定した場合、前記乗員は異常姿勢であると判定し、前記姿勢崩れ判定部が、前記乗員の前記姿勢は複数の姿勢崩れタイプのいずれにも該当しないと判定した場合、前記乗員は異常姿勢ではないと判定するステップと、をコンピュータに実行させるプログラム。