JP4888838B2 - 運転者撮像装置および運転者撮像方法 - Google Patents

Description

本発明は、運転者撮像装置および運転者撮像方法に関し、より特定的には、車両に乗車する運転者の前方から当該運転者を撮像する運転者撮像装置および運転者撮像方法に関する。

従来、車両を運転する運転者を撮像し、撮像された画像を用いて当該運転者の状態を監視するシステムが開発されている。例えば、運転者の前方から撮像するカメラが車両のステアリングホイール付近に設置され、当該カメラが撮像した画像を用いて運転者の状態が解析される。

例えば、運転者を撮像した撮像画像を用いて、運転者の眼の開閉度や視線方向を判定する運転者状態検出装置が開示されている（例えば、特許文献１参照）。上記特許文献１で開示された運転者状態検出装置は、上記撮像画像から運転者の眼の座標値を検出する。そして、当該運転者状態検出装置は、運転者の眼の滞留状況に応じて、運転者の視線方向の判定または運転者の眼の開閉度の判定を行って、運転者の脇見判定または居眠り判定を行う。
特開２００４−１９２３４５号公報

しかしながら、車両に乗車する運転者の前方から当該運転者を撮像する場合、車両の外部からの外光の影響等によって、運転者の眼の付近が影となって眼の付近が暗く撮像され暗い部分の階調が失われてつぶれた状態（黒つぶれ）の画像が得られることがある。この場合、運転者の眼の開閉度や眼の位置を検出することができないため、運転者の眼の開閉度判定や視方向の判定が困難となる。

一方、上記運転者を撮像する際の露光量を多く（例えば、電子シャッタの時間を長くする）して、影となっている部位に対する光量を上げて黒つぶれを防止して撮像することが考えられる。しかしながら、影となっている運転者の眼の付近を基準として露光量を決めた場合、当該眼の付近が明るくなった画像が得られるが、運転者の顔の輪郭等の他の明るい部分の階調が失われた状態（白とび）の画像が得られるため、当該明るい部分の画像を用いた処理ができなくなる。

それ故に、本発明の目的は、運転者の状態を判定するために適切な画像を撮像して、当該運転者の状態を判定することができる運転者撮像装置および運転者撮像方法を提供することである。

上記のような目的を達成するために、本発明は、以下に示すような特徴を有している。
第１の発明は、撮像手段、第１撮像画像処理手段、および第２撮像画像処理手段を備える運転者撮像装置である。撮像手段は、車両の運転者の顔を撮像する。第１撮像画像処理手段は、撮像手段が撮像した第１撮像画像を用いて、当該第１撮像画像に撮像されている運転者の顔の広域部分に対する画像処理を行う。第２撮像画像処理手段は、第１撮像画像より露光量が多い撮像条件で撮像手段が撮像した第２撮像画像を用いて、当該第２撮像画像に撮像されている運転者の顔の一部分に対する画像処理を行う。

第２の発明は、上記第１の発明において、第２撮像画像処理手段は、第２撮像画像に撮像されている運転者の眼周辺の部分に対する画像処理を行うことによって、運転者の眼の開閉度および視線方向の少なくとも一方を検出する。

第３の発明は、上記第１または第２の発明において、第１撮像画像処理手段は、第１撮像画像に撮像されている運転者の顔の広域部分に対する画像処理を行うことによって、車両の正面を基準とした運転者の顔の向きおよび運転者の眼の位置の少なくとも一方を検出する。

第４の発明は、上記第２の発明において、第１撮像画像処理手段は、第１撮像画像に撮像されている運転者の顔の広域部分に対する画像処理を行うことによって、当該第１撮像画像で運転者の眼が撮像されている範囲を検出する。第２撮像画像処理手段は、第１撮像画像処理手段が検出した範囲内を第２撮像画像に対して画像処理を行うことによって、運転者の眼の開閉度および視線方向の少なくとも一方を検出する。

第５の発明は、上記第１または第２の発明において、シャッタ制御手段を、さらに備える。シャッタ制御手段は、撮像手段が撮像の際に光を取り込む時間となるシャッタ時間を制御する。シャッタ制御手段は、第１撮像画像を撮像する際のシャッタ時間より、第２撮像画像を撮像する際のシャッタ時間を相対的に長くすることによって、撮像手段が撮像する露光量を制御する。

第６の発明は、上記第５の発明において、シャッタ制御手段は、シャッタ時間補正手段を含む。シャッタ時間補正手段は、第１撮像画像で撮像されている広域部分の明るさに応じて第１撮像画像を撮像する際のシャッタ時間を補正し、第２撮像画像で撮像されている一部分の明るさに応じて第２撮像画像を撮像する際のシャッタ時間を補正する。

第７の発明は、上記第１または第２の発明において、露光量制御手段を、さらに備える。露光量制御手段は、撮像手段が撮像の際の露光量をそれぞれ制御する。露光量制御手段は、第１撮像画像を撮像する露光量で撮像手段が撮像するタイミングと第２撮像画像を撮像する露光量で撮像手段が撮像するタイミングとを周期的に交互に切り換える。

第８の発明は、上記第１または第２の発明において、記憶手段を、さらに備える。記憶手段は、第１撮像画像および第２撮像画像を記憶する。第１撮像画像処理手段および第２撮像画像処理手段は、連続して撮像されて記憶手段に記憶された第１撮像画像および第２撮像画像の組を用いて、それぞれ画像処理を行う。

第９の発明は、撮像手段と、顔向き判定手段と、眼開閉度判定手段および視線方向検出手段の少なくとも一方とを備える運転者撮像装置である。撮像手段は、車両の運転者の顔を撮像する。顔向き判定手段は、撮像手段が撮像した第１撮像画像を用いて、車両の正面を基準とした当該第１撮像画像に撮像されている運転者の顔の向きを判定する。眼開閉度判定手段は、運転者撮像装置第１撮像画像より露光量が多い撮像条件で撮像手段が撮像した第２撮像画像を用いて、当該第２撮像画像に撮像されている運転者の眼の開閉度を判定する。視線方向検出手段は、上記第２撮像画像に撮像されている運転者の眼の視線方向を判定する。

第１０の発明は、第１撮像画像処理ステップおよび第２撮像画像処理ステップを含む運転者撮像方法である。第１撮像画像処理ステップは、車両の運転者の顔が撮像された第１撮像画像を用いて、当該第１撮像画像に撮像されている運転者の顔の広域部分に対する画像処理を行う。第２撮像画像処理ステップは、第１撮像画像より露光量が多い撮像条件で運転者の顔が撮像された第２撮像画像を用いて、当該第２撮像画像に撮像されている運転者の顔の一部分に対する画像処理を行う。

第１１の発明は、顔向き判定ステップと、眼開閉度判定ステップおよび視線方向検出ステップの少なくとも一方とを含む運転者撮像方法である。顔向き判定ステップは、車両の運転者の顔が撮像された第１撮像画像を用いて、車両の正面を基準とした当該第１撮像画像に撮像されている運転者の顔の向きを判定する。眼開閉度判定ステップは、運転者撮像方法第１撮像画像より露光量が多い撮像条件で運転者の顔が撮像された第２撮像画像を用いて、当該第２撮像画像に撮像されている運転者の眼の開閉度を判定する。視線方向検出ステップは、上記第２撮像画像に撮像されている運転者の眼の視線方向を判定する。

上記第１の発明によれば、撮像時の露光量が異なる２つの画像において、それぞれ適切な階調が得られる部分を用いた画像処理が可能となるため、運転者の状態を正確に判定することができる。例えば、第１撮像画像（露出量が相対的に少ない画像）を用いて明るく撮像される運転者の顔の広域部分の画像処理を行い、第２撮像画像（露出量が相対的に多い画像）を用いて暗く撮像される運転者の顔の一部分の画像処理を行うことによって、運転者の状態を正確に判定することができる。

上記第２の発明によれば、第２撮像画像を用いて暗く撮像される運転者の眼周辺等の顔の一部分の画像処理を行って、眼の開閉度や視線方向が検出される。これによって、暗く撮像される部分に対して露出量が相対的に多い画像を用いて、眼の状態に基づいた判定を行うことができるため、当該部分の状態に基づいた運転者状態の判定を正確に行うことができる。

上記第３の発明によれば、第１撮像画像を用いて明るく撮像される運転者の顔の広域部分（輪郭や鼻孔等）の画像処理を行って、運転者の顔の向きや運転者の眼の位置が検出される。これによって、明るく撮像される部分に対して露出量が相対的に少ない画像を用いて、運転者の顔の広域部分の状態に基づいた判定（例えば、運転者の顔向きに基づいた脇見判定）を行うことができるため、当該部分の状態に基づいた運転者状態の判定を正確に行うことができる。

上記第４の発明によれば、運転者の顔の広域部分（輪郭や鼻孔等）の階調が得られる第１撮像画像を用いて眼が撮像されている範囲を検出するため、当該範囲を正確に決定することができる。また、運転者の眼周辺等の顔の一部分の階調が得られる第２撮像画像を用いて、上記範囲内を探索する画像処理を行って運転者の眼の開閉度や視線方向を検出するため、画像処理の探索範囲が削減されると共に、運転者の眼の状態を正確に判定することができる。

上記第５の発明によれば、撮像手段のシャッタ時間（例えば、ＣＣＤの電子シャッタ時間）を調整することによって、容易に露光量の異なる第１撮像画像および第２撮像画像を得ることができる。

上記第６の発明によれば、運転者の顔の広域部分の明るさに応じて第１撮像画像を得るためのシャッタ時間を補正し、運転者の顔の一部分の明るさに応じて第２撮像画像を得るためのシャッタ時間を補正することによって、被撮像物の明るさが画像処理を行う部位に対して適切に調整することができる。したがって、画像処理を行う部位の階調が適切に得られる撮像画像を用いた処理が常に可能となる。

上記第７および第８の発明によれば、第１撮像画像および第２撮像画像を周期的に交互に切り換えて撮像することによって、時差の少ない第１撮像画像と第２撮像画像とを得ることができ、ほぼ同じ位置および状態で撮像された運転者の状態を判定することができる。

上記第９の発明によれば、撮像時の露光量が異なる２つの画像において、それぞれ適切な階調が得られる部分を用いた画像処理が可能となるため、運転者の顔向きおよび眼の開閉度を正確に判定することができる。

また、本発明の運転者撮像方法によれば、上述した運転者撮像装置と同様の効果を得ることができる。

以下、図１を参照して本発明の一実施形態に係る運転者撮像装置について説明する。なお、本実施形態では、当該運転者撮像装置を含むドライバサポートシステムが車両に搭載される例について説明する。一例として、ドライバサポートシステムは、当該車両を運転する運転者の顔を撮像し、撮像画像に基づいて運転者の状態（顔の向き、眼の開閉度、視線方向等）を判断して、判断結果に応じた車両の制御を行う。また、上記ドライバサポートシステムは、車両周辺の他の車両や障害物を認知し衝突の危険性を判断して、判断結果に応じた車両の制御も行う。なお、図１は、当該運転者撮像装置を含むドライバサポートシステムの機能構成の一例を示すブロック図である。

図１において、ドライバサポートシステムは、ドライバモニタカメラ１、ドライバモニタＥＣＵ（Electrical Control Unit）２、ドライバサポートシステムＥＣＵ３、ミリ波レーダ４、メータ５、ブレーキ制御ＥＣＵ６、警報ブザー６１、およびブレーキＡＣＴ（アクチュエータ）６２を備えている。そして、ドライバモニタＥＣＵ２、ドライバサポートシステムＥＣＵ３、およびミリ波レーダ４は、互いにＣＡＮ（Controller Area Network）１等を介して接続される。また、ドライバサポートシステムＥＣＵ３、メータ５、およびブレーキ制御ＥＣＵ６は、ＣＡＮ２等を介して接続される。

ドライバモニタカメラ１は、ドライバモニタＥＣＵ２から電力が供給されてそれぞれ作動するＣＣＤ（Charge Coupled Device）１１およびＬＥＤ（Light Emitting Diode）１２を含む。例えば、ＬＥＤ１２は、運転者の正面から当該運転者へ向けて近赤外光を照射する照明装置である。この場合、ＣＣＤ１１は、近赤外領域で高い感度特性を有する撮像装置であり、典型的には、近赤外ＣＣＤカメラである。このように、近赤外領域で高い感度特性を有するＣＣＤ１１を用いることにより、夜間やトンネル内等を走行中で車内が暗い状況でも、ＬＥＤ１２で照らされた運転者を感度よく撮像することが可能である。なお、ＣＣＤ１１は、運転者の顔を正面から撮像可能な位置に配置される。そして、ＣＣＤ１１は、所定の周期毎に運転者の顔およびその周囲の画像を撮像して、撮像された画像をドライバモニタＥＣＵ２へ出力する。具体的には、ＣＣＤ１１は、ドライバモニタＥＣＵ２の指示に応じて露光量の異なる２つの撮像画像（第１撮像画像Ｐ１および第２撮像画像Ｐ２）を所定の周期毎に交互に撮像して、撮像された２つの撮像画像をドライバモニタＥＣＵ２へ出力する。なお、ドライバモニタカメラ１の設置位置の詳細については、後述する。

ドライバモニタＥＣＵ２は、その内部に複数のマイクロコンピュータ（以下、マイコンと記載する）等の情報処理装置、処理に用いる各種データを格納するメモリ、ドライバモニタカメラ１に電力を供給する電源回路、およびインターフェース回路などを備える処理装置である。例えば、ドライバモニタＥＣＵ２は、ドライバモニタカメラ１で撮像された撮像画像を用いて、運転者の顔向きを検知したり、運転者の眼の開閉度や視線方向を検知したりして、その結果をドライバサポートシステムＥＣＵ３へ出力する。また、ドライバモニタＥＣＵ２は、所定の周期毎に交互に撮像された２つの画像を用いてＣＣＤ１１が撮像する露光量を調整する。

ミリ波レーダ４は、車両の前方、後方、斜め前方向等へ向けてミリ波を出射して、対象物から反射した電波を受信する。そして、ミリ波レーダ４は、受信した電波に基づいて、車両の周辺に存在する他の車両や障害物の位置や自車との相対速度等を測定して、その結果をドライバサポートシステムＥＣＵ３へ出力する。

ドライバサポートシステムＥＣＵ３は、ドライバモニタＥＣＵ２から出力された運転者の顔向き、眼の開閉度、および視線方向等の情報と、ミリ波レーダ４から出力された自車周辺の車両や障害物の認知結果とに基づいて、車両に搭載された乗員保護装置特性を適正に調整したり、衝突条件緩和システムを作動させたり、運転者に適切な警告を与えたりする。図１においては、ドライバサポートシステムＥＣＵ３が制御する装置の一例として、メータ５およびブレーキ制御ＥＣＵ６が記載されている。

メータ５は、車両の運転席に着席して当該車両を運転する運転者から視認可能な位置に設けられる。例えば、メータ５は、運転席前面の計器盤（インスツルメントパネル）に設けられ、ドライバサポートシステムＥＣＵ３からの指示に応じた警報を運転者に表示する。例えば、運転者が正面を向いていない状態や眼を閉じている状態や脇見している状態であると判断され、車両と他の物体との衝突の危険性がある場合、ドライバサポートシステムＥＣＵ３は、メータ５に運転者に衝突回避操作を促す表示を早期に行う（警報の前出し）。典型的には、メータ５は、主要ないくつかの計器、表示灯、警告灯、および各種情報を表示するマルチインフォメーションディスプレイ等を１つのパネル内に組み合わせて配置したコンビネーションメータで構成される。なお、メータ５は、ハーフミラー（反射ガラス）を運転席前面のフロントガラスの一部に設け、当該ハーフミラーに情報等の虚像を蛍光表示するヘッドアップディスプレイ（Head-Up Display；以下、ＨＵＤと記載する）等、他の表示装置で構成してもかまわない。

ブレーキ制御ＥＣＵ６は、車両に搭載された警報ブザー６１やブレーキＡＣＴ６２の動作を制御する。例えば、運転者が正面を向いていない状態や眼を閉じている状態や視線が脇見している状態であると判断され、車両と他の物体との衝突の危険性があるとドライバサポートシステムＥＣＵ３が判断した場合、ブレーキ制御ＥＣＵ６は、警報ブザー６１を早期に作動させて運転者に衝突回避操作を促す（警報の前出し）。これによって、運転者は、早期に上記脇見等の運転状態を解消して衝突回避操作を行うことができる。また、ブレーキ制御ＥＣＵ６は、運転者がブレーキペダルを踏んだ力に応じて、ブレーキ油圧を加圧加勢するように、ブレーキＡＣＴ６２の動作を制御する等を行う（警報ブレーキ）。これによって、ブレーキＡＣＴ６２の油圧応答性が向上し、車両の速度低減を図ることができる。

次に、図２および図３を参照して、ドライバモニタカメラ１について説明する。なお、図２は、車両に設置されたドライバモニタカメラ１を運転席の横方向から見た一例を示す側面概要図である。図３は、車両に設置されたドライバモニタカメラ１をステアリングホイール９１側から見た一例を示す正面概要図である。

図２および図３において、ドライバモニタカメラ１は、ステアリングコラム９２の上面に設置される。そして、ドライバモニタカメラ１は、ステアリングホイール９１の開口部（例えば、リム９１１の内側でスポーク９１２等が設けられていない開口部）を通って、ステアリングホイール９１を操作する運転者の正面から当該運転者の顔を撮像するように撮像方向が調整される。なお、図２においては、ドライバモニタカメラ１の視野を示す視体積の一部（カメラ画角の一部）が破線で記載されており、運転手の頭部が当該視体積内に含まれるようにドライバモニタカメラ１の撮像方向が調整される。ここで、上述したようにドライバモニタカメラ１にはＬＥＤ１２が設けられているが、ＬＥＤ１２も上記撮像方向と同様に、運転者の正面から当該運転者へ向けて近赤外光を照射する。なお、ＬＥＤ１２が近赤外光は、少なくともドライバモニタカメラ１のカメラ画角より広い範囲に照射される。このように、ドライバモニタカメラ１は、ステアリングコラム９２上に設置されるため、運転者の正面となる至近距離から当該運転者を撮像することができ、車両に乗車した運転者の顔を精度よく撮像することが可能となる。

次に、図４および図５を参照して、ドライバモニタカメラ１が撮像する第１撮像画像Ｐ１および第２撮像画像Ｐ２について説明する。なお、図４は、露光量を相対的に少なくしてドライバモニタカメラ１が撮像した運転者の第１撮像画像Ｐ１の一例を示す図である。図５は、露光量を相対的に多くしてドライバモニタカメラ１が撮像した運転者の第２撮像画像Ｐ２の一例を示す図である。

図４において、ドライバモニタカメラ１が運転者を撮像する場合、一般的には運転者の顔全体の明るさに応じた露光量で撮像される（当該撮像で得られる撮像画像を第１撮像画像Ｐ１とする）。したがって、第１撮像画像Ｐ１では、車両の外部からの外光の影響等によって、運転者の眼の付近が影となって眼の付近が暗く撮像され、当該暗い部分の階調が失われてつぶれた黒つぶれの状態（図４では斜線領域で示す）となることがある。特に、欧米の人のように彫りの深い顔であれば、眼の周りに影ができて暗い部分として撮像されることが多い。しかしながら、第１撮像画像Ｐ１は、運転者の顔全体となる明るい部分に対する階調が得られるため、運転者の顔の輪郭や鼻孔の位置等の広域部分の検出に適している。

図５において、ドライバモニタカメラ１が相対的に露出量を多く（例えば、電子シャッタの時間を長くする）して運転者を撮像する場合、上述した暗い部分が明るくなるために黒つぶれが防止されて撮像される（当該撮像で得られる撮像画像を第２撮像画像Ｐ２とする）。したがって、第２撮像画像Ｐ２は、一般的な露出量では暗く撮像される部分に対する階調が得られるため、運転者の眼等の顔の一部分に対する画像処理に適している。しかしながら、第２撮像画像Ｐ２では、運転者の顔全体となる明るい部分の階調が失われた白とび状態（図５では破線で示す）の画像が得られることがある。

本実施形態に係る運転者撮像装置では、相対的に露光量が少ない画像、すなわち第１撮像画像Ｐ１を用いて、運転者の顔の広域部分（例えば、顔の輪郭や鼻孔の位置）に対する画像処理を行う。また、当該運転者撮像装置では、相対的に露光量が多い画像、すなわち第２撮像画像Ｐ２を用いて、運転者の顔の一部分（例えば、眼）に対する画像処理を行う。

次に、図６および図７を参照して、運転者撮像処理において用いられる主なデータおよびドライバモニタＥＣＵ２の動作の一例について説明する。なお、図６は、ドライバモニタＥＣＵ２のメモリに記憶される主なデータの一例を示す図である。図７は、ドライバモニタＥＣＵ２によって実行される処理の一例を示すフローチャートである。なお、図７に示すフローチャートの各ステップは、ドライバモニタＥＣＵ２が所定のプログラムを実行することによって行われる。なお、これらの処理を実行するためのプログラムは、例えば、ドライバモニタＥＣＵ２に設けられた記憶領域（例えば、メモリ、ハードディスク、光ディスク等）に予め格納されており、ドライバモニタＥＣＵ２の電源がそれぞれオンになったときにドライバモニタＥＣＵ２によって実行される。

図６において、ドライバモニタＥＣＵ２のメモリには、第１画像データＤａ、第２画像データＤｂ、第１電子シャッタデータＤｃ、第２電子シャッタデータＤｄ、顔向き検知データＤｅ、眼の位置データＤｆ、および眼の開閉度／視線検知データＤｇ等が記憶される。

第１画像データＤａは、ドライバモニタカメラ１が撮像した相対的に露光量が少ない画像、すなわち第１撮像画像Ｐ１を示すデータが記憶され、所定の処理周期毎に更新される。第２画像データＤｂは、ドライバモニタカメラ１が撮像した相対的に露光量が多い画像、すなわち第２撮像画像Ｐ２を示すデータが記憶され、所定の処理周期毎に更新される。なお、後述により明らかとなるが、第１画像データＤａに記憶するための第１撮像画像Ｐ１を撮像するタイミングと、第２画像データＤｂに記憶するための第２撮像画像Ｐ２を撮像するタイミングとの時差は、極めて短い時間間隔（ドライバモニタカメラ１の撮像周期間隔であり、例えば、１／３０秒や１／６０秒）で行われる。

第１電子シャッタデータＤｃは、ドライバモニタカメラ１が第１撮像画像Ｐ１を撮像する際の電子シャッタの時間（光を取り込む時間）を示すデータが記憶される。第２電子シャッタデータＤｄは、ドライバモニタカメラ１が第２撮像画像Ｐ２を撮像する際の電子シャッタの時間を示すデータが記憶される。

顔向き検知データＤｅは、運転者の顔の向きが正面に対してどの程度左右方向に向いているかを示す顔向き角度αを示すデータが記憶される。眼の位置データＤｆは、第１撮像画像Ｐ１に対して設定された左眼探索範囲および右眼探索範囲の位置や大きさを示すデータが記憶される。眼の開閉度／視線検知データＤｇは、運転者の眼の開閉度および視線方向を示すデータが記憶される。

図７において、ドライバモニタＥＣＵ２は、初期設定を行い（ステップＳ５１）、次のステップに処理を進める。具体的には、ドライバモニタＥＣＵ２は、上記ステップＳ５１において、メモリに記憶されている各パラメータや画像データ等を初期化する。例えば、ドライバモニタＥＣＵ２は、第１撮像画像Ｐ１を撮像する際の電子シャッタの時間および第２撮像画像Ｐ２を撮像する際の電子シャッタの時間をデフォルトの時間に設定し、当該時間を用いて第１電子シャッタデータＤｃおよび第２電子シャッタデータＤｄに記憶する。

次に、ドライバモニタＥＣＵ２は、ドライバモニタカメラ１から第１撮像画像Ｐ１を取得して、第１画像データＤａを更新し（ステップＳ５２）、次のステップに処理を進める。例えば、ドライバモニタＥＣＵ２は、第１電子シャッタデータＤｃを参照して第１撮像画像Ｐ１用の電子シャッタの時間を取得し、当該電子シャッタの時間で撮像するようにドライバモニタカメラ１の動作制御を行う。そして、ドライバモニタＥＣＵ２は、第１撮像画像Ｐ１用の電子シャッタの時間で撮像された第１撮像画像Ｐ１を示すデータをドライバモニタカメラ１から取得して、第１画像データＤａを更新する。

次に、ドライバモニタＥＣＵ２は、ドライバモニタカメラ１から第２撮像画像Ｐ２を取得して、第２画像データＤｂを更新し（ステップＳ５３）、次のステップに処理を進める。例えば、ドライバモニタＥＣＵ２は、第２電子シャッタデータＤｄを参照して第２撮像画像Ｐ２用の電子シャッタの時間を取得し、当該電子シャッタの時間で撮像するようにドライバモニタカメラ１の動作制御を行う。そして、ドライバモニタＥＣＵ２は、第２撮像画像Ｐ２用の電子シャッタの時間で撮像された第２撮像画像Ｐ２を示すデータをドライバモニタカメラ１から取得して、第２画像データＤｂを更新する。

ここで、上記ステップＳ５２およびステップＳ５３の処理間隔は、できる限り短い時間間隔で行うのが好ましい。例えば、ドライバモニタカメラ１の撮像周期が１秒間で３０コマや６０コマである場合、当該撮像周期に合わせて上記ステップＳ５２およびステップＳ５３の処理間隔を１／３０秒や１／６０秒とする。これによって、第１画像データＤａに格納される第１撮像画像Ｐ１を撮像したタイミングと、第２画像データＤｂに格納される第２撮像画像Ｐ２を撮像したタイミングとの時差を、極めて短い時間にすることができる。

次に、ドライバモニタＥＣＵ２は、運転者の顔の向きが正面に対してどの程度左右方向に向いているかを検知する顔向き検知処理を、第１撮像画像Ｐ１を用いて行い（ステップＳ５４）、次のステップに処理を進める。以下、ステップＳ５４で行う顔向き検知処理の一例について説明する。

例えば、ドライバモニタＥＣＵ２は、上記のステップＳ５２において取得した第１撮像画像Ｐ１に基づいて、運転者の顔の向きが車両の正面に対してどの程度左右方向に向いているかを示す顔向き角度αを算出する。ここで、顔向き角度αの値は、ドライバモニタカメラ１に対して正面（つまり、車両の正面）を向いた状態がα＝０とする。そして、顔向き角度αの値は、顔がドライバモニタカメラ１に対して正面を向いた状態から右方向を向くほど大きな値になるとし、左方向を向くほど小さな値になるとする。つまり、顔向き角度αの値は、顔がドライバモニタカメラ１に対して右方向を向くと正の値となり、左方向を向くと負の値となる。

ドライバモニタＥＣＵ２は、ソーベルオペレータ等を用いたエッジ抽出処理によって、第１撮像画像Ｐ１中で顔の輪郭部分および顔の左右方向の中心となる縦中心線を探索して、第１撮像画像Ｐ１中に撮像されている運転者の顔の輪郭左端、輪郭右端、および顔の縦中心線を検出する。例えば、ドライバモニタＥＣＵ２は、第１撮像画像Ｐ１の輝度画像を作成し、当該輝度画像にエッジ抽出処理を施して、顔の輪郭左端、輪郭右端、および顔部品（眉、眼、鼻、口等）の位置を抽出する。次に、ドライバモニタＥＣＵ２は、抽出された顔の輪郭左端、輪郭右端、および顔部品の位置に基づいて、第１撮像画像Ｐ１に撮像された運転者の顔幅および縦中心線を算出する。そして、ドライバモニタＥＣＵ２は、輪郭左端から縦中心線までの左顔幅、および輪郭右端から縦中心線までの右顔幅をそれぞれ算出する。

次に、ドライバモニタＥＣＵ２は、上記左顔幅および右顔幅の値の比に基づいて顔向き角度αを算出する。例えば、運転者の顔がドライバモニタカメラ１に対して正面を向いている場合、右顔幅および左顔幅が等しくなる。一方、運転者の顔が右を向いている場合、右顔幅に比べ左顔幅の方が大きくなる。すなわち、顔向き角度αの大きさに応じて、右顔幅および左顔幅の値の比率が変化する。そこで、ドライバモニタＥＣＵ２は、右顔幅および左顔幅の値の比率に基づいて、顔向き角度αを算出する。そして、ドライバモニタＥＣＵ２は、算出された顔向き角度αを示すデータを用いて顔向き検知データＤｅを更新する。

このように、上記ステップＳ５４で行う顔向き検知処理においては、第１撮像画像Ｐ１を用いて行われている。ここで、上述したように第１撮像画像Ｐ１は、運転者の顔全体となる明るい部分に対する階調が得られているため、運転者の顔の輪郭や鼻孔の位置等を検出するのに適している。そして、上記顔向き検知処理では、撮像画像における顔の輪郭部分や顔の縦中心線の探索がエッジ抽出処理によって行われるため、第１撮像画像Ｐ１を用いることによって正確な顔向き角度αを得ることができる。

ステップＳ５４で行う顔向き検知処理の後、ドライバモニタＥＣＵ２は、運転者の眼の位置がどの範囲に撮像されているかを推定する眼の位置推定処理を、第１撮像画像Ｐ１を用いて行い（ステップＳ５５）、次のステップに処理を進める。以下、ステップＳ５５で行う眼の位置推定処理の一例について説明する。

まず、ドライバモニタＥＣＵ２は、上記ステップ５４で算出された運転者の顔幅情報等を用いて、第１撮像画像Ｐ１にいて運転者の鼻が撮像されていると推定される範囲を設定する。そして、ドライバモニタＥＣＵ２は、上記範囲内に対して運転者の鼻の部分を探索して、第１撮像画像Ｐ１における鼻の位置を検出する。具体的には、ドライバモニタＥＣＵ２は、上記範囲内における一対の鼻孔の位置を検出する。そして、ドライバモニタＥＣＵ２は、一対の鼻孔の中間位置を第１撮像画像Ｐ１における鼻の位置として設定する。なお、一般的に鼻孔の形状は、眼の形状等に比べて個人差が小さい。そのため、鼻孔の位置は眼の位置等に比べてより正確に検出することができる。

次に、ドライバモニタＥＣＵ２は、鼻の位置を基準に最適な左眼の探索範囲および右眼の探索範囲を第１撮像画像Ｐ１に対して設定する。例えば、ドライバモニタＥＣＵ２は、鼻の位置から予め定められた方向に所定距離だけ離れた第１撮像画像Ｐ１上の位置に、左眼探索範囲および右眼探索範囲をそれぞれ設定する。ここで、鼻の位置を基準として左眼探索範囲および右眼探索範囲をそれぞれ設定する方向および距離は、予め定められた標準となる情報に基づいて設定すればよい。なお、上記幅情報に応じて、左眼探索範囲および右眼探索範囲をそれぞれ設定する方向および距離や左眼探索範囲および右眼探索範囲の大きさをそれぞれ変化させてもかまわない。これによって、第１撮像画像Ｐ１で撮像されている運転者の顔のサイズが変化（典型的には、運転者の顔とドライバモニタカメラ１との間の距離が変化）しても、当該顔のサイズの変化に追従して左眼探索範囲および右眼探索範囲の位置や大きさを適切に設定することができる。そして、ドライバモニタＥＣＵ２は、設定された左眼探索範囲および右眼探索範囲の位置や大きさを示すデータを用いて眼の位置データＤｆを更新する。

このように、上記ステップＳ５５で行う眼の位置推定処理においては、第１撮像画像Ｐ１を用いて行われている。ここで、上述したように第１撮像画像Ｐ１は、運転者の顔全体となる明るい部分に対する階調が得られているため、運転者の鼻孔の位置等を検出するのに適している。そして、上記眼の位置推定処理では、撮像画像における顔の鼻孔位置を基準として左眼探索範囲および右眼探索範囲の位置が設定されるため、第１撮像画像Ｐ１を用いることによって正確な探索範囲の設定が可能となる。

ステップＳ５５で行う眼の位置推定処理の後、ドライバモニタＥＣＵ２は、運転者の眼の開閉度および視線方向を検知する眼の開閉度／視線検知処理を、第２撮像画像Ｐ２を用いて行い（ステップＳ５６）、次のステップに処理を進める。以下、ステップＳ５６で行う眼の開閉度／視線検知処理の一例について説明する。

まず、ドライバモニタＥＣＵ２は、第２撮像画像Ｐ２において左右の眼が撮像されている位置を検出する。ここで、上述したように第１撮像画像Ｐ１および第２撮像画像Ｐ２は、同じドライバモニタカメラ１によって極めて短い時間間隔で撮像されて得られた画像である。つまり、第１撮像画像Ｐ１および第２撮像画像Ｐ２に撮像されている被撮像物（すなわち、運転者の顔）は、ほぼ同じ位置に同じ状態で撮像されていると仮定することができる。また、眼の位置データＤｆには、第１撮像画像Ｐ１において設定された左眼探索範囲および右眼探索範囲の位置や大きさを示すデータが格納されている。したがって、ドライバモニタＥＣＵ２は、第１撮像画像Ｐ１において設定された左眼探索範囲および右眼探索範囲の位置や大きさを、そのまま第２撮像画像Ｐ２に適用して、第２撮像画像Ｐ２に対して左眼探索範囲および右眼探索範囲を設定する。

そして、ドライバモニタＥＣＵ２は、第２画像データＤｂを参照して、第２撮像画像Ｐ２に設定された左眼探索範囲内において、運転者の左眼を探索して検出する。また、ドライバモニタＥＣＵ２は、上記第２撮像画像Ｐ２に設定された右眼探索範囲内において、運転者の右眼を探索して検出する。例えば、探索範囲内における眼の検出については、予め設定された眼のテンプレート画像を用いた各種パターンマッチング手法を用いて行うことができる。

次に、ドライバモニタＥＣＵ２は、運転者の両眼の開閉度を算出する。例えば、ドライバモニタＥＣＵ２は、第２撮像画像Ｐ２における運転者の左眼および右眼それぞれについて、上瞼の輪郭および下瞼の輪郭を抽出する。例えば、左眼および右眼における上瞼および下瞼の検出については、予め設定された上瞼および下瞼のテンプレート画像を用いた各種パターンマッチング手法を用いて行うことができる。そして、ドライバモニタＥＣＵ２は、それぞれの上瞼と下瞼との間の距離を各眼の開閉度として算出する。

また、ドライバモニタＥＣＵ２は、運転者の視線方向を算出する。例えば、ドライバモニタＥＣＵ２は、第２撮像画像Ｐ２における運転者の左眼および右眼それぞれについて、虹彩の位置を抽出する。例えば、左眼および右眼における虹彩の検出については、楕円フィルタを用いる手法等を用いることができる。一般的に、虹彩の形状は、撮像画像上においては、顔向きや瞼で遮られたりして円形にはならず、むしろ楕円形状になることが多い。そこで、第２撮像画像Ｐ２における運転者の左眼および右眼それぞれについて、サイズが異なる複数の楕円フィルタを適用し、当該楕円フィルタの外側領域および内側領域に対する輝度をそれぞれ求める。このとき、外側領域の輝度と内側領域の輝度との間に輝度の差が生じれば、楕円フィルタの内側範囲を虹彩として、用いた楕円フィルタの位置から虹彩の位置を求める。なお、左眼および右眼における虹彩の位置検出については、この手法に限らず、予め設定された虹彩のテンプレート画像を用いた各種パターンマッチング手法や、左眼および右眼の内部を２値化して黒色領域の位置を抽出する手法等、他の検出手法を用いてもかまわない。

そして、ドライバモニタＥＣＵ２は、運転者の左眼および右眼それぞれにおける虹彩の位置と、顔向き検知データＤｅに記憶されている顔向き方向αとに基づいて、運転者の視線方向を算出する。例えば、ドライバモニタＥＣＵ２は、車両の正面方向に対する運転者の視線の角度を視線方向として算出する。そして、ドライバモニタＥＣＵ２は、算出された各眼の開閉度を示すデータおよび視線方向を示すデータを用いて、眼の開閉度／視線検知データＤｇを更新する。

このように、上記ステップＳ５６で行う眼の開閉度／視線検知処理においては、第２撮像画像Ｐ２を用いて行われている。ここで、上述したように第２撮像画像Ｐ２は、一般的な露出量では暗く撮像される部分に対する階調が得られるため、運転者の眼等の顔の一部分に対する画像処理に適している。そして、上記眼の開閉度／視線検知処理では、撮像画像における瞼や虹彩を探索して、瞼の間隔や虹彩の位置等が抽出されるため、第２撮像画像Ｐ２を用いることによって正確なパラメータの抽出が可能となる。

上記ステップＳ５６で行う眼の開閉度／視線検知処理の後、ドライバモニタＥＣＵ２は、処理結果をドライバサポートシステムＥＣＵ３へ出力し（ステップＳ５７）、次のステップに処理を進める。具体的には、ドライバモニタＥＣＵ２は、顔向き検知データＤｅに格納されている顔向き角度αを示すデータと、眼の開閉度／視線検知データＤｇに格納されている眼の開閉度および視線方向を示すデータとを、ドライバサポートシステムＥＣＵ３へ出力する。ドライバサポートシステムＥＣＵ３は、ドライバモニタＥＣＵ２から受け取った各データと、ミリ波レーダ４から出力された自車周辺の車両や障害物の認知結果とに基づいて、車両に搭載された乗員保護装置特性を適正に調整したり、衝突条件緩和システムを作動させたり、運転者に適切な警告を与えたりする。

次に、ドライバモニタＥＣＵ２は、第１撮像画像Ｐ１および第２撮像画像Ｐ２に基づいて、ＣＣＤ１１が撮像する電子シャッタの時間を補正して（ステップＳ５８）、次のステップに処理を進める。具体的には、ドライバモニタＥＣＵ２は、第１画像データＤａに格納されている第１撮像画像Ｐ１を参照し、第１撮像画像Ｐ１に撮像されている被撮像物全体の明るさ（典型的には、撮像されている運転者の顔全体の明るさ）が適正な明るさとなるように、第１撮像画像Ｐ１用の電子シャッタの時間を補正する。そして、ドライバモニタＥＣＵ２は、補正後の電子シャッタの時間を用いて、第１電子シャッタデータＤｃを更新する。また、ドライバモニタＥＣＵ２は、第２画像データＤｂに格納されている第２撮像画像Ｐ２を参照し、第２撮像画像Ｐ２に撮像されている被撮像物の一部分の明るさ（具体的には、撮像されている運転者の眼の周辺部位であり、例えば左眼探索範囲および右眼探索範囲）が適正な明るさとなるように、第２撮像画像Ｐ２用の電子シャッタの時間を補正する。そして、ドライバモニタＥＣＵ２は、補正後の電子シャッタの時間を用いて、第２電子シャッタデータＤｄを更新する。

次に、ドライバモニタＥＣＵ２は、処理を終了するか否かを判断する（ステップＳ５９）。例えば、ドライバモニタＥＣＵ２は、車両の運転者が処理を終了する操作（例えば、イグニッションスイッチをＯＦＦする操作等）を行った場合、処理を終了すると判断する。そして、ドライバモニタＥＣＵ２は、処理を継続する場合、上記ステップＳ５２に戻って処理を繰り返す。一方、ドライバモニタＥＣＵ２は、処理を終了する場合、当該フローチャートによる処理を終了する。

このように、本実施形態に係る運転者撮像装置によれば、撮像時の露光量が異なる２つの画像において、それぞれ適切な階調が得られる部分を用いた画像処理が行われるため、運転者の状態を正確に判定することができる。具体的には、第１撮像画像Ｐ１（露出量が相対的に少ない画像）を用いて明るく撮像される運転者の顔の広域部分（輪郭や鼻孔等）の画像処理を行い、第２撮像画像Ｐ２（露出量が相対的に多い画像）を用いて暗く撮像される運転者の顔の一部分（眼周辺等）の画像処理を行う。つまり、当該運転者撮像装置では、露出量が相対的に少ない第１撮像画像Ｐ１を用いて運転者の顔向き方向に基づいた判定（脇見判定）を行い、露出量が相対的に多い第２撮像画像Ｐ２を用いて眼の状態に基づいた判定（眼の開閉度、視線方向）を行うことができるため、これらの運転者状態の判定を正確に行うことができる。

なお、上述した実施例では、露出量の異なる第１撮像画像Ｐ１および第２撮像画像Ｐ２を得るために、ＣＣＤ１１が異なる電子シャッタの時間で撮像する例を用いたが、ＣＣＤ１１の他の撮像パラメータを調整して露出量が異なる画像を撮像してもかまわない。一例として、ＣＣＤ１１のゲイン（感度）をそれぞれ調整することによって、露出量が異なる画像を撮像してもかまわない。他の例として、ドライバモニタカメラ１に設けられている機械的な絞りをそれぞれ調整することによって、露出量が異なる画像を撮像してもかまわない。

また、上述した説明では、露出量が相対的に少ない第１撮像画像Ｐ１を用いて、運転者の顔向きおよび眼の探索範囲を検出する一例を用いたが、何れか一方のみを検出してもかまわない。さらに、上述した説明では、露出量が相対的に多い第２撮像画像Ｐ２を用いて、運転者の眼の開閉度および視線方向を判定する一例を用いたが、何れか一方のみを検出してもかまわない。

さらに、上述した説明では、露出量が相対的に多い第２撮像画像Ｐ２を用いて、運転者の眼の状態を判定する一例を用いたが、第２撮像画像Ｐ２を用いて運転者の顔の他の部位の状態を判定してもかまわない。例えば、第２撮像画像Ｐ２を用いて、運転者の口、眉、および皺等の状態を判定してもかまわない。本発明では、顔全体の明るさを確保した撮像画像を用いた画像処理に加えて、顔の一部分の明るさを確保した撮像画像を用いた画像処理を行うことによって、当該顔の一部分に対する正確な画像処理が可能となるので、運転者の顔の一部分であれば眼以外の部分の明るさに注目した撮像画像を用いてもかまわない。

また、上述した処理手順においては、第１撮像画像Ｐ１を取得するステップ（ステップＳ５２）および第２撮像画像Ｐ２を取得するステップ（ステップＳ５３）を連続して行い、その後のそれぞれの画像処理が終了するのを待って、再び第１撮像画像Ｐ１および第２撮像画像Ｐ２を連続して取得するステップを行うことによって、極めて短い時間間隔で撮像された２つの画像の組を取得している。これによって、両者に撮像された被撮像物の位置や状態がほぼ同じと仮定した画像処理が可能となる。しかしながら、このような効果を期待しない場合、他の処理周期で第１撮像画像Ｐ１および第２撮像画像Ｐ２を撮像してもかまわない。例えば、上述した画像処理周期とは独立して、ドライバモニタカメラ１の撮像周期で交互に撮像された第１撮像画像Ｐ１および第２撮像画像Ｐ２を用いて、第１画像データＤａおよび第２画像データＤｂを随時更新してもかまわない。この場合、上記ステップＳ５４およびステップＳ５５で用いる第１撮像画像Ｐ１を撮像したタイミングと、上記ステップＳ５６で用いる第２撮像画像Ｐ２を撮像したタイミングとの間の時間間隔が長くなることが考えられるが、各画像処理において最新の撮像画像を用いて処理できる利点がある。

また、上述した実施形態においては、ドライバモニタカメラ１をステアリングコラム９２の上面に設置される例を用いたが、ドライバモニタカメラ１を他の位置に設置してもかまわない。ドライバモニタカメラ１は、車両に乗車した運転者の顔を撮像できる位置であればどのような位置に設置されてもかまわず、例えば運転席前面の計器盤（インスツルメントパネル）内、計器盤上、ステアリングホイール内、および車室内上部等に設置してもかまわない。

本発明に係る運転者撮像装置および運転者撮像方法は、運転者の状態を判定するために適切な画像を撮像して当該運転者の状態を判定することができ、車両に着席した運転者の状態を判定するシステム等に有用である。

本発明の一実施形態に係る運転者撮像装置を含むドライバサポートシステムの機能構成の一例を示すブロック図 車両に設置されたドライバモニタカメラ１を運転席の横方向から見た一例を示す側面概要図 車両に設置されたドライバモニタカメラ１をステアリングホイール９１側から見た一例を示す正面概要図 露光量を相対的に少なくしてドライバモニタカメラ１が撮像した運転者の第１撮像画像Ｐ１の一例を示す図 露光量を相対的に多くしてドライバモニタカメラ１が撮像した運転者の第２撮像画像Ｐ２の一例を示す図 ドライバモニタＥＣＵ２のメモリに記憶される主なデータの一例を示す図 ドライバモニタＥＣＵ２によって実行される処理の一例を示すフローチャート

符号の説明

１…ドライバモニタカメラ
１１…ＣＣＤ
１２…ＬＥＤ
２…ドライバモニタＥＣＵ
３…ドライバサポートシステムＥＣＵ
４…ミリ波レーダ
５…メータ
６…ブレーキ制御ＥＣＵ
６１…警報ブザー
６２…ブレーキＡＣＴ
９１…ステアリングホイール
９１１…リム
９１２…スポーク
９２…ステアリングコラム

Claims (4)

1. 車両の運転者の顔を撮像する撮像手段と、
   前記撮像手段が撮像した第１撮像画像を用いて、当該第１撮像画像に撮像されている運転者の顔の広域部分に対する画像処理を行う第１撮像画像処理手段と、
   前記第１撮像画像より露光量が多い撮像条件で前記撮像手段が撮像した第２撮像画像を用いて、当該第２撮像画像に撮像されている運転者の顔の一部分に対する画像処理を行う第２撮像画像処理手段とを備え、
   前記第２撮像画像処理手段は、前記第２撮像画像に撮像されている運転者の眼周辺の部分に対する画像処理を行うことによって、運転者の眼の開閉度および視線方向の少なくとも一方を検出し、
   前記撮像手段が撮像の際に光を取り込む時間となる露光量を制御する露光量制御手段を、さらに備え、
   前記露光量制御手段は、前記第１撮像画像を撮像する際の露光量より、前記第２撮像画像を撮像する際の露光量を相対的に多くすることによって、前記撮像手段が撮像する露光量を制御し、
   前記露光量制御手段は、前記第１撮像画像で撮像されている前記広域部分の明るさに応じて前記第１撮像画像を撮像する際の露光量を補正し、前記第２撮像画像で撮像されている前記一部分の明るさに応じて前記第２撮像画像を撮像する際の露光量を補正する露光量補正手段を含む、運転者撮像装置。
2. 車両の運転者の顔を撮像する撮像手段と、
   前記撮像手段が撮像した第１撮像画像を用いて、当該第１撮像画像に撮像されている運転者の顔の広域部分に対する画像処理を行う第１撮像画像処理手段と、
   前記第１撮像画像より露光量が多い撮像条件で前記撮像手段が撮像した第２撮像画像を用いて、当該第２撮像画像に撮像されている運転者の顔の一部分に対する画像処理を行う第２撮像画像処理手段とを備え、
   前記第２撮像画像処理手段は、前記第２撮像画像に撮像されている運転者の眼周辺の部分に対する画像処理を行うことによって、運転者の眼の開閉度および視線方向の少なくとも一方を検出し、
   前記撮像手段が撮像の際の露光量をそれぞれ制御する露光量制御手段を、さらに備え、
   前記露光量制御手段は、前記第１撮像画像を撮像する露光量で前記撮像手段が撮像するタイミングと前記第２撮像画像を撮像する露光量で前記撮像手段が撮像するタイミングと
   を周期的に交互に切り換える、運転者撮像装置。
3. 車両の運転者の顔を撮像する撮像手段と、
   前記撮像手段が撮像した第１撮像画像を用いて、当該第１撮像画像に撮像されている運転者の顔の広域部分に対する画像処理を行う第１撮像画像処理手段と、
   前記第１撮像画像より露光量が多い撮像条件で前記撮像手段が撮像した第２撮像画像を用いて、当該第２撮像画像に撮像されている運転者の顔の一部分に対する画像処理を行う第２撮像画像処理手段とを備え、
   前記第２撮像画像処理手段は、前記第２撮像画像に撮像されている運転者の眼周辺の部分に対する画像処理を行うことによって、運転者の眼の開閉度および視線方向の少なくとも一方を検出し、
   前記第１撮像画像処理手段は、前記第１撮像画像に撮像されている運転者の顔の広域部分に対する画像処理を行うことによって、当該第１撮像画像で運転者の眼が撮像されている範囲を検出し、
   前記第２撮像画像処理手段は、前記第１撮像画像処理手段が検出した範囲内を前記第２撮像画像に対して画像処理を行うことによって、運転者の眼の開閉度および視線方向の少なくとも一方を検出する、運転者撮像装置。
4. 前記第１撮像画像処理手段は、前記第１撮像画像に撮像されている運転者の顔の広域部分に対する画像処理を行うことによって、前記車両の正面を基準とした運転者の顔の向きおよび運転者の眼の位置の少なくとも一方を検出する、請求項１から３の何れか１項に記載の運転者撮像装置。

Images