JP7589614B2

JP7589614B2 - ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラム

Info

Publication number: JP7589614B2
Application number: JP2021051353A
Authority: JP
Inventors: 俊一郎澤井; 健一郎原
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2021-03-25
Filing date: 2021-03-25
Publication date: 2024-11-26
Anticipated expiration: 2041-03-25
Also published as: US20220309808A1; US12462587B2; CN115179956A; JP2022149287A

Description

本発明は、ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラムに関する。

従来、車両に設けられた撮像装置を用いてドライバの状態を監視することが知られている（例えば特許文献１、２）。例えば、撮像装置によって生成されたドライバの顔画像に基づいて、ドライバが眼を閉じている状態が継続して検出された場合には、ドライバが居眠りしていると判定され、ドライバに警告が与えられる。

特開２０２０－１４９４９９号公報特許第６６８９４７０号公報

しかしながら、居眠り以外の要因によってもドライバが眼を閉じていると判定されるおそれがある。例えば、典型的には、人は笑うときに眼が細くなり、この結果、開眼度が小さくなる。このため、ドライバが笑っているときにドライバが居眠りをしていると判定され、このときの警告によりドライバが不快感を抱くおそれがある。

そこで、上記課題に鑑みて、本発明の目的は、ドライバの居眠りを誤判定することを抑制することにある。

本開示の要旨は以下のとおりである。

（１）車両のドライバの顔が表された顔画像に基づいて該ドライバの眼の開閉状態を検知し、該眼の開閉状態に基づいて、該ドライバが居眠りをしているか否かを判定する居眠り判定部と、前記ドライバが会話をしているか否かを判定する会話判定部とを備え、前記居眠り判定部は、前記ドライバが会話をしていると判定されている間、該ドライバが居眠りをしていると判定しない、ドライバ監視装置。

（２）前記居眠り判定部は、前記ドライバの会話が終了したと判定されてから所定時間が経過するまでの間、該ドライバが居眠りをしていると判定しない、上記（１）に記載のドライバ監視装置。

（３）前記会話判定部は、前記顔画像に基づいて、前記ドライバが会話をしているか否かを判定する、上記（１）又は（２）に記載のドライバ監視装置。

（４）前記会話判定部は、前記顔画像に基づいて前記ドライバの開口度を検出し、該開口度の変化量が所定の第１閾値以上となる頻度が所定の第１基準頻度以上である場合に、前記ドライバが会話をしていると判定する、上記（３）に記載のドライバ監視装置。

（５）前記顔画像に基づいて、前記ドライバがあくびをしているか否かを判定するあくび判定部を更に備え、前記あくび判定部は、前記顔画像に基づいて前記ドライバの開眼度及び開口度を検出し、該開口度が所定の上側閾値以上であるときに該開眼度が所定の下側閾値以下となり且つ該開口度の変化量が所定の第２閾値以上となる頻度が所定の第２基準頻度未満である場合に、ドライバがあくびをしていると判定する、上記（１）から（４）のいずれか１つに記載のドライバ監視装置。

（６）車両のドライバの顔が表された顔画像に基づいて該ドライバの眼の開閉状態を検知し、該眼の開閉状態に基づいて、該ドライバが居眠りをしているか否かを判定することと、前記ドライバが会話をしているか否かを判定することと、前記ドライバが会話をしていると判定されている間、該ドライバが居眠りをしていると判定しないこととを含む、ドライバ監視方法。

（７）車両のドライバの顔が表された顔画像に基づいて該ドライバの眼の開閉状態を検知し、該眼の開閉状態に基づいて、該ドライバが居眠りをしているか否かを判定することと、前記ドライバが会話をしているか否かを判定することと、前記ドライバが会話をしていると判定されている間、該ドライバが居眠りをしていると判定しないこととをコンピュータに実行させるドライバ監視用コンピュータプログラム。

本発明によれば、ドライバの居眠りを誤判定することを抑制することができる。

図１は、本発明の第一実施形態に係るドライバ監視装置を備える車両制御システムの概略構成図である。図２は、撮像装置が設けられた車両の内部を概略的に示す図である。図３は、ＥＣＵの構成を概略的に示す図である。図４は、第一実施形態におけるＥＣＵのプロセッサの機能ブロック図である。図５は、本発明の第一実施形態における会話判定処理の制御ルーチンを示すフローチャートである。図６は、本発明の第一実施形態における居眠り判定処理の制御ルーチンを示すフローチャートである。図７は、本発明の第二実施形態における会話判定処理の制御ルーチンを示すフローチャートである。図８は、第三実施形態におけるＥＣＵのプロセッサの機能ブロック図である。図９は、本発明の第三実施形態におけるあくび判定処理の制御ルーチンを示すフローチャートである。

以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。

＜第一実施形態＞
以下、図１～図６を参照して、本発明の第一実施形態について説明する。図１は、本発明の第一実施形態に係るドライバ監視装置を備える車両制御システム１の概略構成図である。車両制御システム１は、車両１０に搭載され、車両１０を制御する。図１に示されるように、車両制御システム１は、撮像装置２、ヒューマン・マシン・インターフェース（Human Machine Interface（ＨＭＩ））３及び電子制御ユニット（Electronic Control Unit（ＥＣＵ））４を備える。

撮像装置２は、車両１０のドライバの顔を撮影し、ドライバの顔が表された顔画像を生成する。撮像装置２は、ＥＣＵ４と電気的に接続され、撮像装置２の出力、すなわち撮像装置２によって生成された顔画像はＥＣＵ４に送信される。なお、撮像装置２はドライバモニタカメラとも称される。以下、撮像装置２の具体的な構成例について説明する。

撮像装置２はカメラ及び投光器を有する。カメラは、レンズ及び撮像素子から構成され、例えばＣＭＯＳ（相補型金属酸化膜半導体）カメラ又はＣＣＤ（電荷結合素子）カメラである。投光器は、ＬＥＤ（発光ダイオード）であり、例えばカメラの両側に配置された二個の近赤外ＬＥＤである。ドライバに近赤外光を照射することによって、夜間等の低照度時においてもドライバに不快感を与えることなくドライバの顔を撮影することができる。また、近赤外以外の波長成分の光を除去するするバンドパスフィルタがカメラの内部に設けられ、近赤外ＬＥＤから照射される赤色波長成分の光を除去する可視光カットフィルタが投光器の前面に設けられる。

図２は、撮像装置２が設けられた車両１０の内部を概略的に示す図である。撮像装置２は、車両１０のドライバの顔を撮影するように車室内に設けられる。例えば、図２に示されるように、撮像装置２は車両１０のステアリングコラム１１の上部に設けられる。図２には、撮像装置２の投影範囲が破線で示されている。なお、撮像装置２は、車両１０のステアリング１２、ルームミラー、メータパネル、メータフード等に設けられてもよい。また、車両制御システム１は複数の撮像装置を備えていてもよい。

ＨＭＩ３はドライバと車両１０との間で情報の入出力を行う。ＨＭＩ３は、例えば、情報を表示するディスプレイ、音を発生させるスピーカー、ドライバが入力操作を行うための操作ボタン、操作スイッチ又はタッチスクリーン、ドライバの音声を受信するマイクロフォン等を含む。ＨＭＩ３はＥＣＵ４に電気的に接続される。したがって、ＥＣＵ４の出力はＨＭＩ３を介してドライバに伝達され、ドライバからの入力はＨＭＩ３を介してＥＣＵ４に送信される。ＨＭＩ３は、入力装置、出力装置又は入出力装置の一例である。

図３は、ＥＣＵ４の構成を概略的に示す図である。ＥＣＵ４は車両の各種制御を実行する。図３に示されるように、ＥＣＵ４は、通信インターフェース４１、メモリ４２及びプロセッサ４３を備える。通信インターフェース４１及びメモリ４２は信号線を介してプロセッサ４３に接続されている。

通信インターフェース４１は、ＣＡＮ（Controller Area Network）等の規格に準拠した車内ネットワークにＥＣＵ４を接続するためのインターフェース回路を有する。ＥＣＵ４は、通信インターフェース４１及び車内ネットワークを介して、車内ネットワークに接続された車載機器と互いに通信する。

メモリ４２は、例えば、揮発性の半導体メモリ（例えばＲＡＭ）及び不揮発性の半導体メモリ（例えばＲＯＭ）を有する。メモリ４２は、プロセッサ４３によって実行されるコンピュータプログラム、プロセッサ４３によって各種処理が実行されるときに使用される各種データ等を記憶する。

プロセッサ４３は、一つ又は複数のＣＰＵ(Central Processing Unit)及びその周辺回路を有し、各種処理を実行する。なお、プロセッサ４３は、論理演算ユニット、数値演算ユニット又はグラフィック処理ユニットのような他の演算回路を更に有していてもよい。

本実施形態では、ＥＣＵ４は、車両１０のドライバの状態を監視するドライバ監視装置として機能する。図４は、第一実施形態におけるＥＣＵ４のプロセッサ４３の機能ブロック図である。本実施形態では、プロセッサ４３は居眠り判定部５１及び会話判定部５２を有する。居眠り判定部５１及び会話判定部５２は、ＥＣＵ４のメモリ４２に記憶されたコンピュータプログラムをＥＣＵ４のプロセッサ４３が実行することによって実現される機能モジュールである。なお、これら機能モジュールは、それぞれ、プロセッサ４３に設けられた専用の演算回路によって実現されてもよい。また、車内ネットワークを介して互いに接続された複数のＥＣＵによってこれら機能モジュールが実現されてもよい。すなわち、複数のＥＣＵがドライバモニタ装置として機能してもよい。

上述したように、撮像装置２によって生成された顔画像、すなわち、車両１０のドライバの顔が表された顔画像はＥＣＵ４に送信される。居眠り判定部５１は、顔画像に基づいてドライバの眼の開閉状態を検知し、眼の開閉状態に基づいて、ドライバが居眠りをしているか否かを判定する。

例えば、ドライバの眼の開閉状態を表す指標として、ドライバの開眼度が用いられる。この場合、居眠り判定部５１は顔画像に基づいてドライバの開眼度を検出する。例えば、居眠り判定部５１は、顔画像から顔領域を特定し、眼、鼻、口等の顔部品を検出する。そして、居眠り判定部５１は、右眼及び左眼のそれぞれについて、上瞼及び下瞼の特徴点を抽出し、二つの特徴点の距離を開眼度として算出する。一つの顔画像から検出される開眼度は、例えば、右眼の開眼度と左眼の開眼度との平均値として算出される。

なお、ドライバの開眼度を検出するために画像認識のための識別器が用いられてもよい。すなわち、居眠り判定部５１は、顔画像から開眼度を出力するように予め学習された識別器に顔画像を入力することによってドライバの開眼度を検出してもよい。

居眠り判定部５１は、ドライバの開眼度が所定の基準値以下である場合に、ドライバが閉眼状態にあると判定する。基準値は、不特定多数の人又はドライバが寝ている画像等を用いて予め定められる。また、居眠り判定部５１は、閉眼状態が所定の基準時間以上維持された場合、すなわちドライバの開眼度が基準値以下の値に基準時間以上維持された場合に、ドライバが居眠りをしていると判定する。基準時間は、瞬きによって眼が閉じる時間よりも長くなるように予め定められ、例えば１秒～７秒に設定される。

なお、居眠り判定部５１は、顔画像に基づいてドライバの眼の状態を開眼状態又は閉眼状態に分類するように予め学習された識別器に顔画像を入力することによってドライバの眼の開閉状態を検知してもよい。この場合も、居眠り判定部５１は、閉眼状態が基準時間以上維持された場合に、ドライバが居眠りをしていると判定する。開眼度又は眼の状態を出力する識別器として、例えば、ニューラルネットワーク（例えば畳み込みニューラルネットワーク（Convolutional Neural Network（ＣＮＮ））等）、サポートベクターマシン、ランダムフォレスト等の機械学習モデルが用いられる。

居眠り判定部５１は、ドライバが居眠りをしていると判定した場合、ＨＭＩ３によって警告表示及び警告音の少なくとも一方を出力することによってドライバに警告を与える。このことによって、ドライバが居眠りすることを抑制することができる。

一方、会話判定部５２は、車両１０のドライバが会話をしているか否かを判定する。例えば、会話判定部５２は、撮像装置２によって生成された顔画像、すなわち車両１０のドライバの顔が表された顔画像に基づいて、ドライバが会話をしているか否かを判定する。

人が会話をするときには、口の動きに応じて口が頻繁に開閉し、開口度が変化する。このため、会話判定部５２は、顔画像に基づいてドライバの開口度を検出し、開口度に基づいて、ドライバが会話をしているか否かを判定する。例えば、会話判定部５２は、顔画像から顔領域を特定し、眼、鼻、口等の顔部品を検出する。そして、会話判定部５２は、上唇及び下唇の特徴点を抽出し、二つの特徴点の距離を開口度として算出する。

なお、ドライバの開口度を検出するために画像認識のための識別器が用いられてもよい。すなわち、会話判定部５２は、顔画像から開口度を出力するように予め学習された識別器に顔画像を入力することによってドライバの開口度を検出してもよい。

会話判定部５２は、開口度の変化量が所定の第１閾値以上となる頻度が所定の第１基準頻度以上である場合に、ドライバが会話をしていると判定する。第１閾値及び第１基準頻度は、不特定多数の人又はドライバが会話をしているときの時系列の一連の顔画像等を用いて予め定められる。

なお、会話判定部５２は、顔画像に基づいてドライバの状態を会話状態又は非会話状態に分類するように予め学習された識別器に時系列の一連の顔画像を入力することによって、ドライバが会話をしているか否かを判定してもよい。開口度又はドライバの状態を出力する識別器として、例えば、ニューラルネットワーク（例えば、畳み込みニューラルネットワーク（Convolutional Neural Network（ＣＮＮ））、再帰型ニューラルネットワーク（Recurrent Neural Network（ＲＮＮ））等）、サポートベクターマシン、ランダムフォレスト等の機械学習モデルが用いられる。

ところで、上記のようにドライバの閉眼状態が維持されていることが検出されたとしても、必ずしもドライバが居眠りをしているとは限らない。例えば、典型的には、人は笑うときに眼が細くなり、この結果、開眼度が小さくなる。このため、ドライバが笑っているときにドライバが居眠りをしていると判定され、このときの警告によりドライバが不快感を抱くおそれがある。

したがって、居眠りによる閉眼と笑顔による閉眼とを識別できることが望ましい。例えば、ドライバが笑顔になる状況としては、ドライバが人と会話をしている場面が想定される。このため、会話中に検出される閉眼状態は、笑顔に起因している可能性が高い。

そこで、本実施形態では、居眠り判定部５１は、会話判定部５２によってドライバが会話をしていると判定されている間、ドライバが居眠りをしていると判定しない。すなわち、居眠り判定部５１は、ドライバの閉眼状態が維持されたとしても、ドライバが会話をしていると判定されている限り、ドライバが居眠りをしていると判定しない。この場合、会話によるドライバの笑顔が閉眼状態と判定されたとしても、ドライバが居眠りをしていると判定されることはない。したがって、ドライバの居眠りを誤判定することを抑制することができる。

＜会話判定処理＞
以下、図５及び図６を参照して、上述した制御のフローについて説明する。図５は、本発明の第一実施形態における会話判定処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ４によって所定の実行間隔で繰り返し実行される。

最初に、ステップＳ１０１において、会話判定部５２は、現在までの所定期間において撮像装置２によって生成された時系列の一連の顔画像を取得する。これら一連の顔画像は例えばＥＣＵ４のメモリ４２に記憶されている。メモリ４２では、現在までの所定期間に生成された画像に対応する所定数の最新の顔画像がメモリ４２に記憶されるように、撮像装置２からＥＣＵ４に顔画像が送信される度に、最も古い顔画像が削除される。

次いで、ステップＳ１０２において、会話判定部５２は、時系列の一連の顔画像に基づいて、ドライバの開口度の変化量が第１閾値以上となる頻度が第１基準頻度以上であるか否かを判定する。例えば、会話判定部５２は、一連の顔画像のそれぞれについて開口度を検出し、開口度が下側閾値と上側閾値との間で変化した回数が所定回数以上である場合に、開口度の変化量が第１閾値以上となる頻度が第１基準頻度以上であると判定する。

ステップＳ１０２において開口度の変化量が第１閾値以上となる頻度が第１基準頻度以上であると判定された場合、本制御ルーチンはステップＳ１０３に進む。ステップＳ１０３では、会話判定部５２は、ドライバが会話をしていると判定する。

次いで、ステップＳ１０４において、会話判定部５２は居眠り判定禁止フラグＦを１に設定する。ステップＳ１０４の後、本制御ルーチンは終了する。

一方、ステップＳ１０２において開口度の変化量が第１閾値以上となる頻度が第１基準頻度未満であると判定された場合、本制御ルーチンはステップＳ１０５に進む。ステップＳ１０５では、会話判定部５２は居眠り判定禁止フラグＦをゼロに設定する。ステップＳ１０５の後、本制御ルーチンは終了する。

なお、ステップＳ１０２において、会話判定部５２は、開口度を検出することなく、時系列の一連の顔画像を識別器に入力することによって、ドライバが会話をしているか否かを判定してもよい。

＜居眠り判定処理＞
図６は、本発明の第一実施形態における居眠り判定処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ４によって所定の実行間隔で繰り返し実行される。

最初に、ステップＳ２０１において、居眠り判定部５１は、撮像装置２によって生成された顔画像を取得する。

次いで、ステップＳ２０２において、居眠り判定部５１は、顔画像に基づいて、ドライバが閉眼状態にあるか否かを判定する。具体的には、居眠り判定部５１は、ドライバの開眼度が基準値以下である場合にドライバが閉眼状態にあると判定し、ドライバの開眼度が基準値よりも大きい場合にドライバが開眼状態にあると判定する。なお、居眠り判定部５１は、開眼度を検出することなく、顔画像を識別器に入力することによってドライバが閉眼状態にあるか否かを判定してもよい。

ステップＳ２０２においてドライバ閉眼状態にあると判定された場合、すなわち、ドライバの眼が閉じていると判定された場合、本制御ルーチンはステップＳ２０３に進む。ステップＳ２０３では、居眠り判定部５１は、閉眼状態が基準時間以上維持されたか否かを判定する。ステップＳ２０３において閉眼状態が基準時間以上維持されたと判定された場合、本制御ルーチンはステップＳ２０４に進む。

ステップＳ２０４では、居眠り判定部５１は、居眠り判定禁止フラグＦがゼロに設定されているか否かを判定する。居眠り判定禁止フラグＦがゼロに設定されていると判定された場合、本制御ルーチンはステップＳ２０５に進む。

ステップＳ２０５では、居眠り判定部５１は、ドライバが居眠りをしていると判定する。次いで、ステップＳ２０６において、居眠り判定部５１は、ＨＭＩ３によって警告表示及び警告音の少なくとも一方を出力することによってドライバに警告を与える。なお、居眠り判定部５１は、他の手段、例えば運転席のシートベルトを振動させることによってドライバに警告を与えてもよい。ステップＳ２０６の後、本制御ルーチンは終了する。

一方、ステップＳ２０２においてドライバが開眼状態にあると判定された場合、ステップＳ２０３において閉眼状態が基準時間以上維持されていないと判定された場合、又はステップＳ２０４において居眠り判定禁止フラグＦが１に設定されていると判定された場合、本制御ルーチンは終了する。この場合、居眠り判定部５１は、ドライバが居眠りをしていると判定しない。

なお、ステップＳ２０４はステップＳ２０１の前に実行されてもよい。すなわち、居眠り判定部５１は、ドライバが会話をしていると判定されている間、ドライバの眼の開閉状態を検知しなくてもよい。

＜第二実施形態＞
第二実施形態に係るドライバ監視装置は、以下に説明する点を除いて、基本的に第一実施形態に係るドライバ監視装置の構成及び制御と同様である。このため、以下、本発明の第二実施形態について、第一実施形態と異なる部分を中心に説明する。

第一実施形態では、ドライバの会話中に居眠り判定が禁止される。しかしながら、ドライバが会話をしていなかったとしても、同乗者の会話によってドライバが笑う可能性がある。斯かる状況は、特にドライバが会話をした直後に生じやすい。また、ドライバが会話をした直後にドライバが居眠りをする可能性は低い。

このため、第二実施形態では、居眠り判定部５１は、ドライバが会話をしていると判定されている間だけでなく、ドライバの会話が終了したと判定されてから所定時間が経過するまでの間も、ドライバが居眠りをしていると判定しない。このことによって、ドライバの居眠りを誤判定することをより一層抑制することができる。

＜会話判定処理＞
図７は、本発明の第二実施形態における会話判定処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ４によって所定の実行間隔で繰り返し実行される。

ステップＳ３０１～Ｓ３０４は、図５のステップＳ１０１～Ｓ１０４と同様に実行される。一方、ステップＳ３０２において、開口度の変化量が第１閾値以上となる頻度が第１基準頻度未満であると判定された場合、本制御ルーチンはステップＳ３０５に進む。

ステップＳ３０５では、会話判定部５２は、ドライバの会話が終了してから所定時間以内であるか否かを判定する。所定時間は例えば５秒～２０秒に設定される。なお、会話判定部５２は、ステップＳ３０２における判定の結果が肯定から否定に変化したときに、ドライバの会話が終了したと判定する。

ステップＳ３０５において、ドライバの会話が終了してから所定時間以内であると判定された場合、本制御ルーチンはステップＳ３０４に進む。ステップＳ３０４では、会話判定部５２は居眠り判定禁止フラグＦを１に設定する。ステップＳ３０４の後、本制御ルーチンは終了する。

一方、ステップＳ３０５において、ドライバの会話が終了してから所定時間以内ではないと判定された場合、本制御ルーチンはステップＳ３０６に進む。ステップＳ３０６では、会話判定部５２は居眠り判定禁止フラグＦをゼロに設定する。ステップＳ３０６の後、本制御ルーチンは終了する。

第二実施形態においても、第一実施形態と同様に、図６の居眠り判定処理の制御ルーチンが実行される。

＜第三実施形態＞
第三実施形態に係るドライバ監視装置は、以下に説明する点を除いて、基本的に第一実施形態に係るドライバ監視装置の構成及び制御と同様である。このため、以下、本発明の第三実施形態について、第一実施形態と異なる部分を中心に説明する。

図８は、第三実施形態におけるＥＣＵ４のプロセッサ４３の機能ブロック図である。第三実施形態では、プロセッサ４３は、居眠り判定部５１及び会話判定部５２に加えて、あくび判定部５３を有する。居眠り判定部５１、会話判定部５２及びあくび判定部５３は、ＥＣＵ４のメモリ４２に記憶されたコンピュータプログラムをＥＣＵ４のプロセッサ４３が実行することによって実現される機能モジュールである。なお、これら機能モジュールは、それぞれ、プロセッサ４３に設けられた専用の演算回路によって実現されてもよい。また、車内ネットワークを介して互いに接続された複数のＥＣＵによってこれら機能モジュールが実現されてもよい。すなわち、複数のＥＣＵがドライバモニタ装置として機能してもよい。

あくび判定部５３は、撮像装置２によって生成された顔画像、すなわち車両１０のドライバの顔が表された顔画像に基づいて、ドライバがあくびをしているか否かを判定する。通常、人があくびをするときには、口の動きに眼の動きが連動し、開口度が大きくなると共に、開眼度が小さくなる。また、会話と異なり、人があくびをするときには、口が一度だけ開かれ、口が連続的に開閉することはない。

このため、あくび判定部５３は、顔画像に基づいてドライバの開眼度及び開口度を検出し、開口度が所定の上側閾値以上であるときに開眼度が所定の下側閾値以下となり且つ開口度の変化量が所定の第２閾値以上となる頻度が所定の第２基準頻度未満である場合に、ドライバがあくびをしていると判定する。このことによって、あくびと居眠りとを識別してあくびを精度良く検出することができる。なお、ドライバの開眼度及び開口度は、居眠り判定部５１及び会話判定部５２に関して上述した手法によって検出される。

＜あくび判定処理＞
第三実施形態では、図５の会話判定処理の制御ルーチン及び図６の居眠り判定処理の制御ルーチンに加えて、図９のあくび判定処理の制御ルーチンが実行される。図９は、本発明の第三実施形態におけるあくび判定処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ４によって所定の実行間隔で繰り返し実行される。

最初に、ステップＳ４０１において、図５のステップＳ１０１における会話判定部５２による処理と同様に、あくび判定部５３は、現在までの所定期間において撮像装置２によって生成された時系列の一連の顔画像を取得する。

次いで、ステップＳ４０２において、あくび判定部５３は、時系列の一連の顔画像に基づいて、ドライバの開口度が大きくなり且つドライバの開眼度が低下したか否かを判定する。具体的には、あくび判定部５３は、一連の顔画像のそれぞれについて開口度及び開眼度を検出し、開口度が上限閾値以上であるときに開眼度が下限閾値以下になったか否かを判定する。ステップＳ４０２の判定が否定された場合、本制御ルーチンは終了する。

一方、ステップＳ４０２において開口度が上限閾値以上であるときに開眼度が下限閾値以下になったと判定された場合、本制御ルーチンはステップＳ４０３に進む。ステップＳ４０３では、あくび判定部５３は、時系列の一連の顔画像に基づいて、ドライバの開口度の変化量が第２閾値以上となる頻度が第２基準頻度未満であるか否かを判定する。第２閾値及び第２基準頻度は、不特定多数の人又はドライバがあくびをしているときの時系列の一連の顔画像等を用いて予め定められる。なお、第２閾値及び第２基準頻度は、それぞれ、会話判定に用いられる第１閾値及び第１基準頻度と同じ値であってもよい。例えば、あくび判定部５３は、一連の顔画像のそれぞれについて開口度を検出し、開口度が下側閾値と上側閾値との間で変化した回数が所定回数未満である場合に、開口度の変化量が第２閾値以上となる頻度が第２基準頻度未満であると判定する。

ステップＳ４０３において開口度の変化量が第２閾値以上となる頻度が第２基準頻度以上であると判定された場合、本制御ルーチンは終了する。一方、ステップＳ４０３において開口度の変化量が第２閾値以上となる頻度が第２基準値未満であると判定された場合、本制御ルーチンはステップＳ４０４に進む。

ステップＳ４０４では、あくび判定部５３は、ドライバがあくびをしていると判定する。次いで、ステップＳ４０５において、あくび判定部５３は、ＨＭＩ３によって警告表示及び警告音の少なくとも一方を出力することによってドライバに警告を与える。なお、あくび判定部５３は、他の手段、例えば運転席のシートベルトを振動させることによってドライバに警告を与えてもよい。また、あくび判定における警告の強度は居眠り判定における警告の強度よりも低く設定されてもよい。また、あくび判定部５３は、所定時間内にドライバがあくびをしていると判定した回数が所定回数に達したときにドライバに警告を与えてもよい。ステップＳ４０５の後、本制御ルーチンは終了する。

以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことができる。

例えば、会話判定部５２は、ドライバの音声を取得するように車室内に設けられたマイクロフォン（例えばＨＭＩ３のマイクロフォン）への入力信号に基づいて、ドライバが会話をしているか否かを判定してもよい。この場合、会話判定部５２は、例えば、マイクロフォンへの入力信号の周波数が人の声に対応する所定範囲の周波数である場合に、ドライバが会話をしていると判定する。

また、会話判定部５２は、マイクロフォンへの入力信号に基づいてドライバの状態を会話状態又は非会話状態に分類するように予め学習された識別器にマイクロフォンへの入力信号を入力することによって、ドライバが会話をしているか否かを判定してもよい。この場合、識別器として、例えば、ニューラルネットワーク（例えば再帰型ニューラルネットワーク（Recurrent Neural Network（ＲＮＮ））等）、サポートベクターマシン、ランダムフォレスト等の機械学習モデルが用いられる。

また、上述した実施形態によるドライバ監視装置のプロセッサが有する各部の機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読取り可能な記録媒体に記憶された形で提供されてもよい。コンピュータによって読取り可能な記録媒体は、例えば、磁気記録媒体、光記録媒体又は半導体メモリである。

また、上述した実施形態は、任意に組み合わせて実施可能である。第二実施形態と第三実施形態とが組み合わされる場合、図７の会話判定処理の制御ルーチンと、図６の居眠り判定処理の制御ルーチンと、図９のあくび判定処理の制御ルーチンとが実行される。

１０車両
４電子制御ユニット（ＥＣＵ）
４３プロセッサ
５１居眠り判定部
５２会話判定部

Claims

車両のドライバの顔が表された顔画像に基づいて該ドライバの眼の開閉状態を検知し、該眼の開閉状態に基づいて、該ドライバが居眠りをしているか否かを判定する居眠り判定部と、
前記ドライバが会話をしているか否かを判定する会話判定部と
を備え、
前記居眠り判定部は、前記ドライバが会話をしていると判定されている間、前記眼の開閉状態に関わらず、該ドライバが居眠りをしていると判定しない、ドライバ監視装置。
前記居眠り判定部は、前記ドライバの会話が終了したと判定されてから所定時間が経過するまでの間、前記眼の開閉状態に関わらず、該ドライバが居眠りをしていると判定しない、請求項１に記載のドライバ監視装置。
前記会話判定部は、前記顔画像に基づいて、前記ドライバが会話をしているか否かを判定する、請求項１又は２に記載のドライバ監視装置。
前記会話判定部は、前記顔画像に基づいて前記ドライバの開口度を検出し、該開口度の変化量が所定の第１閾値以上となる頻度が所定の第１基準頻度以上である場合に、前記ドライバが会話をしていると判定する、請求項３に記載のドライバ監視装置。
前記顔画像に基づいて、前記ドライバがあくびをしているか否かを判定するあくび判定部を更に備え、
前記あくび判定部は、前記顔画像に基づいて前記ドライバの開眼度及び開口度を検出し、該開口度が所定の上側閾値以上であるときに該開眼度が所定の下側閾値以下となり且つ該開口度の変化量が所定の第２閾値以上となる頻度が所定の第２基準頻度未満である場合に、ドライバがあくびをしていると判定する、請求項１から４のいずれか１項に記載のドライバ監視装置。
車両のプロセッサにより実行されるドライバ監視方法であって、
車両のドライバの顔が表された顔画像に基づいて該ドライバの眼の開閉状態を検知し、該眼の開閉状態に基づいて、該ドライバが居眠りをしているか否かを判定することと、
前記ドライバが会話をしているか否かを判定することと、
前記ドライバが会話をしていると判定されている間、前記眼の開閉状態に関わらず、該ドライバが居眠りをしていると判定しないことと
を含む、ドライバ監視方法。
車両のドライバの顔が表された顔画像に基づいて該ドライバの眼の開閉状態を検知し、該眼の開閉状態に基づいて、該ドライバが居眠りをしているか否かを判定することと、
前記ドライバが会話をしているか否かを判定することと、
前記ドライバが会話をしていると判定されている間、前記眼の開閉状態に関わらず、該ドライバが居眠りをしていると判定しないことと
をコンピュータに実行させるドライバ監視用コンピュータプログラム。