JP3232873B2 - 車両用視線方向検出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、車両運転者の視線方向
を非接触で計測してスイッチ操作等のインターフェース
に利用する車両用視線方向検出装置に関する。

【０００２】

【従来の技術】従来、車両上の各種装置の制御のための
入力装置としては、手動の機械式スイッチや、電気式ス
イッチ、電子式スイッチ等が知られている。この様な従
来のスイッチを用いた入力装置においては、操作対象と
なるスイッチを目で捜して手で操作するという一連の動
作を必要とするために、視線をスイッチに移さなければ
ならず、車両前方への注意がおろそかになる。また視線
移動を少なくするために他より前面に位置するステアリ
ングコラムにスイッチを設けても、スイッチ数が多くな
ると必要なスイッチを特定するために、車両前方からの
視線逸脱時間が長くなる。その上、手の届くところにス
イッチを設置しなければならず、装置のデザインに制約
をもたらす。

【０００３】このような問題の対策として、例えば特開
平２−１３４１３０号公報には、車両運転者の視線方向
を非接触で計測してスイッチ操作等のインターフェース
に利用する車両用視線方向検出装置が開示されている。
これは照明光源とカメラによって人間の角膜球を撮像し
て、光源の反射光の座標とカメラの座標を結び、角膜球
の中心を通る直線の式を求めるとともに、同時に瞳孔の
中心座標を求める２つの作業を、２組の照明光源および
カメラのセットにより行い、角膜球の中心座標と瞳孔の
中心座標とを結ぶ直線方向として、運転者の視線方向を
３角測量法により検出するようにしている。

【０００４】

【発明が解決しようとする課題】しかしながら、上記の
視線方向検出装置にあっては、眼球の反射像の合焦度を
検出する手段が施されていないために、車両運転者など
において、頭部位置が変動するような場合、視線方向検
出に必要な眼球反射像の合焦度が低下してしまい、正確
な眼球反射像の特定が困難で、そのため精度良く視線方
向を求めることができないという問題がある。したがっ
て、本発明は上記従来の問題点に鑑み、車両運転者の視
線方向を非接触で計測する車両用視線方向検出装置にお
いて、運転者の頭部位置が変動しても、常に眼球の反射
像にもっとも合焦した画像を用いて精度良く視線方向を
求めることができる車両用視線方向検出装置を提供する
ことを目的とする。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に、請求項１に記載の本発明は、運転者の眼球に不可視
光を照射し画像入力部により眼球からの反射像を撮像し
て運転者の視線方向を検出する視線検出装置において、
画像入力部のレンズの光軸と照射方向が一致する共軸系
照明と、前記レンズと非共軸な位置に設けた非共軸系照
明とで前記不可視光を照射し、前記画像入力部はピント
位置調節機能を有して異なるピント位置ごとに前記各照
明を交互に点灯させた各画像を入力するよう構成され、
前記ピント位置ごとの画像の合焦度を算出する合焦度算
出手段と、入力した複数枚の画像から、最大合焦度を有
する画像を選択する最大合焦画像選択手段と、前記最大
合焦度を有する画像のデータから網膜反射像と角膜反射
像を抽出する眼球反射像抽出手段と、前記網膜反射像と
角膜反射像を基に運転者の視線方向を算出する視線方向
算出手段とを有し、上記の合焦度算出手段は、画像入力
部からの入力画像から網膜反射像候補を抽出する網膜反
射像候補抽出手段を備え、画像の合焦度として網膜反射
像候補を包含する小領域の合焦度を算出し、眼球反射像
抽出手段は、最大合焦度を有する小領域の共軸系照明と
非共軸系照明による画像データの差分に基づいて網膜反
射像を抽出するものとした。

【０００６】また、前記最大合焦画像選択手段は、異な
るピント位置の画像の合焦度の比較に基づいて前記画像
入力部にピント位置調節指令を出力し、前記画像入力部
は該ピント位置調節指令に基づいてそのピント位置を変
更することができる。

【０００７】

【作用】請求項１のものは、ピント位置調節機能を有す
る前記画像入力部において、異なるピント位置ごとに共
軸系照明と非共軸系照明を交互に点灯させた各画像を入
力し、合焦度算出手段において、入力画像から抽出した
網膜反射像候補を包含する小領域で上記ピント位置ごと
の画像の合焦度を算出し、最大合焦画像選択手段におい
て、入力した複数枚の画像から、最大合焦度を有する画
像を選択し、眼球反射像抽出手段において、前記最大合
焦画像のデータから網膜反射像と角膜反射像を抽出す
る。この際、網膜反射像は小領域の共軸系照明と非共軸
系照明による画像データの差分に基づいて抽出される。
まず、ある程度ボケても可視化容易な網膜反射像候補を
包含する小領域で合焦度を算出するので、位置特定が簡
単である。視線方向算出手段では、網膜反射像と角膜反
射像を基に運転者の視線方向を算出出力することによ
り、運転者の頭部位置が変動する場合にも、視線方向の
計測が可能となる。

【０００８】

【実施例】図１は本発明の車両用視線方向検出装置の実
施例を示すブロック図である。運転者１６の眼球を撮像
するよう計器盤上にＣＣＤ等を用いた画像入力部４が設
置される。画像入力部４の前面には、ピント位置が任意
に変更可能なレンズ３が設けられている。レンズ３の中
心に画像入力部４の光軸と照射方向が一致する様に取り
付けられ近赤外ＬＥＤ等からなる共軸系の照明１が設け
られる。また照明１との相対関係が既知の位置に照明１
と同一仕様を有する非共軸系の照明２が設けられてい
る。画像入力部４からの撮像出力はＡ／Ｄ変換器５で画
像データとしてＡ／Ｄ変換され、画像メモリ６に格納さ
れる。画像メモリ６には、瞳孔抽出部７が接続され、こ
れに順次瞳孔位置決定部８、合焦度算出部９、最大合焦
画像選択部１０、レンズ駆動用アクチュエータ１１、眼
球反射像抽出部１２、視線方向算出部１３が接続されて
いる。

【０００９】瞳孔抽出部７では画像メモリ６に格納され
た各画像データの差分演算により照明１および照明２に
よる網膜反射像候補を抽出する。瞳孔位置決定部８で
は、網膜反射像候補の中心位置を演算抽出し小領域Ａを
設定する。合焦度算出部９では、小領域Ａにおける網膜
反射像候補への合焦度を算出する。レンズ駆動用アクチ
ュエータ１１はレンズ３を駆動しピント位置を変更す
る。最大合焦画像選択部１０では合焦度が最大になる画
像を決定する。

【００１０】眼球反射像抽出部１２では、最大合焦度を
与える画像から網膜反射像と、照明１、照明２による角
膜反射像が抽出される。そして視線方向算出部１３にお
いて、抽出された反射像位置から運転者の視線方向が演
算算出される。照明１、２にはその発光を制御する照明
発光制御部１５が接続されており、この照明発光制御部
１５，Ａ／Ｄ変換器５を含み装置全体の動作を制御する
全体制御部１４が設けられている。

【００１１】図２は上述した視線方向検出装置を用いた
車両の視線スイッチシステムの全体構成図を示し、図３
はその車載レイアウトを示す。図２において、図１に示
した視線方向検出装置が参照番号２０で示されている。
視線方向算出部１３には視線停留判断部２３を介してＨ
ＵＤ（ヘッドアップディスプレイ）表示制御部２４が接
続されている。ＨＵＤ表示制御部２４には、コントロー
ラ切り替え部２７が接続されている。コントローラ切り
替え部２７には、エアコンコントローラ２８、ＣＤコン
トローラ２９、ラジオコントローラ３０、ヘッドライト
コントローラ３１およびワイパコントローラ３２が接続
されている。視線スイッチエリア２６には、エアコン、
ワイパ等の各操作対象項目（エリア）が表示される。Ｈ
ＵＤ表示部には操作対象のエリア内容が表示される。メ
インスイッチ２１は全体制御部２１に、ステアリングス
イッチ２２はＨＵＤ表示制御部２４に接続されている。

【００１２】いま、メインスイッチ２１が押されるとシ
ステムがＯＮして、視線方向検出装置２０の視線方向算
出部１３は、運転者の視線方向を算出し、視線停留判断
部２３に出力する。視線停留判断部２３は視線が停留し
ているエリアを判断しＨＵＤ表示制御部２４へ出力す
る。ＨＵＤ表示制御部２４はＨＵＤ表示部２５上に決定
されたエリアの内容を表示するとともに、コントローラ
切り替え部２７によりエアコンコントローラ２８、ＣＤ
コントローラ２９、ラジオコントローラ３０、ヘッドラ
イトコントローラ３１あるいはワイパコントローラ３２
を選択する項目切り替えを行う。続いて、ステアリング
スイッチ２２からのユーザ入力判断による所定の制御対
象の制御が行われる。

【００１３】図３の（ａ）に示されるように、メインス
イッチ２１とステアリングスイッチ２２はステアリング
３４に取り付けられる。また、照明１、画像入力部４、
照明２等が運転席前方の計器盤ボード内パネルに設置さ
れ、ウインドシールド３３上にＨＵＤ表示部２５と視線
スイッチエリア２６が設定されている。視線スイッチエ
リア２６はさらに、図３の（ｂ）にその詳細を示すよう
に、各種コントローラの名称がＨＵＤ表示されているも
のである。また、同図（ｃ）にはステアリングスイッチ
２２の詳細が示されている。

【００１４】次に、上記のように構成された本実施例に
おける動作について説明する。まず、視線方向算出に必
要な網膜反射像と角膜反射像抽出の動作原理を最初に説
明しておく。網膜反射像と角膜反射像のうち、網膜反射
像は、ある程度ボケてもそのおおよその位置を特定可能
であるのに対し、角膜反射像はわずかなボケでも、その
位置を特定するのが困難になる。これは、両像に含まれ
る空間周波数成分が異なるためである。即ち、角膜反射
像は網膜反射像に対し、高周波成分を多く含んでいるの
で、ピントのボケは高域カットフィルタとして作用する
ため、ピントのボケた角膜反射像はパワーの低下量が大
きく、可視化困難になる。

【００１５】このため、上記のようにピントがボケても
網膜反射像の位置特定が可能であることを利用し、画像
から抽出した、ボケた網膜反射像候補を含む小領域Ａを
設定し、画像入力部のレンズのピント位置をずらしなが
ら、複数枚の画像を入力して、各画像の小領域Ａについ
て、周波数分析等によって合焦度を算出し、最大合焦画
像選択部１０で、最大合焦度を与える画像を決定する。
網膜反射像の縁（瞳孔面）と角膜反射像の結像位置はほ
ぼ一致するため、網膜反射像に合焦していれば角膜反射
像にも合焦している。この最大合焦画像から各反射像を
抽出することにより視線方向が算出可能となる。

【００１６】続いて、視線方向検出装置２０における動
作について説明する。図４および図５は、上記視線方向
検出装置２０における視線方向算出処理の流れを示すフ
ローチャートである。

【００１７】ステップ１０１において、ステアリング３
４に設けられたメインスイッチ２１を押すと、制御が開
始される。ステップ１０２で、抽出画像枚数ｎが０にセ
ットされる。ステップ１０３ではｎがインクリメントさ
れる。ステップ１０４において、照明発光制御部１５の
制御信号で、照明１が点灯し、照明２が消灯する。ステ
ップ１０５で、画像入力部４から入力された画像信号
は，Ａ／Ｄ変換器５でＡ／Ｄ変換され、画像メモリ６に
格納される。この画像をＩn1（ｘ，ｙ）とする。ステッ
プ１０６では、照明発光制御部１５の制御信号で、照明
１が消灯し、照明２が点灯する。ステップ１０７におい
て、画像入力部４から入力された画像信号は，Ａ／Ｄ変
換器５でＡ／Ｄ変換され画像メモリ６に格納される。こ
の画像をＩn2（ｘ，ｙ）とする。

【００１８】ステップ１０８では、ｎが１であるかどう
かがチェックされる。ｎが１であればステップ１０９へ
進み、以降の網膜反射像候補を決定するフローへ進む。
ｎが１以外のときには、ステップ１１５へ進む。ステッ
プ１０９において、瞳孔抽出部７では、画像Ｉn1（ｘ，
ｙ）から画像Ｉn2（ｘ，ｙ）を差引いて、画像Ｉn3
（ｘ，ｙ）を生成する。ステップ１１０で、画像Ｉn3
（ｘ，ｙ）を固定しきい値Ｔｈ1 で２値化し、２値画像
Ｉn4（ｘ，ｙ）を生成する。ステップ１１１では、画像
Ｉn4（ｘ，ｙ）にラベリング処理を施し、領域の番号付
けを行う。

【００１９】ステップ１１２において、ラベリングの結
果得られた各領域の面積Ｒi を、予め決めておいたしき
い値Ｓ1 、Ｓ2 （Ｓ1 ＜Ｓ2 ）と比較して、Ｓ1 ＜Ｒi
＜Ｓ2 を満足する領域のみ抜き出す。すなわち、画像Ｉ
n4（ｘ，ｙ）の中には、網膜反射像候補の他に、例え
ば、眼鏡レンズ反射像、眼鏡フレーム反射像、外部照明
の変動で生じた顔の一部等、様々なノイズが含まれてい
る可能性がある。これらのノイズは、一般に不定形状、
かつ面積も不定であるため、あらかじめ予想される面積
の円もしくは楕円として観測される網膜反射像候補とは
明確に識別可能である。したがって、ここでは先ず領域
の面積による選別を行うものである。

【００２０】上記Ｓ1 、Ｓ2 は、画像入力部４の撮影倍
率から推定した、予想される瞳孔径（直径２〜８ｍｍ）
を有する瞳孔の面積が対応する画素数の上限値と下限値
にセットされる。照明光源からの光による眼鏡レンズ反
射像も円形領域として観測されるが、例えば、画像入力
部４のレンズの絞りを絞ることによって、常に、網膜反
射像候補の面積より、眼鏡レンズ反射像の面積が小さく
なるようにしておけば、面積により、両者を識別でき
る。

【００２１】ステップ１１３では、ステップ１１２によ
る選別処理の結果残った領域に対して領域形状による選
別が行われる。ここでは、領域の外接長方形に対する領
域面積の比率Ｆを計算する。網膜反射像は円または楕円
形状で観測されるため、比率Ｆがある一定値以上である
のに対し、例えば眼鏡フレーム反射は、フレームに沿っ
た細長い領域になるため、仮に網膜反射像候補と同等の
面積を有していても、Ｆが小さくなるので識別される。
ステップ１１３による選別処理結果残った領域を網膜反
射像候補に決定する。瞳孔抽出部７ではこうして網膜反
射像候補が決定される。

【００２２】次にステップ１１４においては、瞳孔位置
決定部８において、抽出した網膜反射像候補の重心位置
（ｘg 、ｙg ）を求め、そこを中心とし、網膜反射像候
補を包含する小領域Ａを設定する。小領域Ａは、予め決
められたα、βを用いて、２点（ｘg −α、ｙg −
β）、（ｘg ＋α、ｙg ＋β）を左上、右下とする矩形
小領域Ａが設定される。

【００２３】続いてステップ１１５で、合焦度算出手段
９において瞳孔位置決定部８で設定された小領域Ａに対
応した画像Ｉsn1 （ｘ，ｙ）上の領域で、網膜反射像候
補への合焦度を算出する。合焦度を示す評価パラメータ
としては、小領域Ａをフーリエ変換したときのパワース
ペクトルの総和や、小領域Ａをフーリエ変換したときの
ある空間周波数以上のパワースペクトルの総和、または
画像Ｉsn1 （ｘ，ｙ）に微分フィルタを作用させた時の
出力の総和等が考えられる。

【００２４】ここで、画像Ｉsn1 （ｘ，ｙ）に微分フィ
ルタを作用させたときの出力の総和を例にとって、合焦
度Ｇn の算出法を説明する。微分フィルタの一例を図６
に示す。画像Ｉsn1 （ｘ，ｙ）に（ａ）のフィルタＥ1
を作用させると、画像Ｉsn1（ｘ，ｙ）の縦エッジ強度
Ｅt （ｘ，ｙ）が算出され、画像Ｉsn1 （ｘ，ｙ）に
（ｂ）のフィルタＥ2 を作用させると、画像Ｉsn1
（ｘ，ｙ）の横エッジ強度Ｅy （ｘ，ｙ）が算出され
る。このフィルタリング演算はコンボリューションと呼
ばれ、画像上に３×３フィルタを配した時の対応する画
素同士の積和演算で実行される。この時，Ｅt （ｘ，
ｙ）＋ Ｅy （ｘ，ｙ）を点（ｘ，ｙ）におけるエッジ
強度と定義する。画像Ｉsn1 （ｘ，ｙ）の全ての点にお
いてＥt （ｘ，ｙ）＋Ｅy（ｘ，ｙ）を算出し、その総
和を求め画像Ｉsn1 （ｘ，ｙ）のエッジ強度とする。一
般に、画像の合焦度が高い程、画像に含まれる高い空間
周波数成分が多くなるから、エッジ強度が強くなる。そ
こで、算出したエッジ強度を合焦度Ｇn とする。どの評
価パラメータを用いても、合焦度が高いほど、その値は
大きい。

【００２５】ステップ１１６では、ｎが２以上かどうか
がチェックされる。ｎが２以上になっていなければステ
ップ１１７において、最大合焦画像選択部１０からレン
ズ駆動用アクチュエータ１１にレンズ駆動信号をおく
り、レンズ３のピント位置を初期位置から△ｄ変更す
る。そしてステップ１０３に戻り、ステップ１０４から
ステップ１０８までとステップ１１５の処理が繰り返さ
れ、新たな合焦度Ｇn が得られる。ステップ１１６のチ
ェックでｎが２以上になると、ステップ１１８へ進む。
ステップ１１８において、最大合焦画像選択部１０にお
いて、合焦度Ｇn-1 が最大になったか否かを判定する。
Ｇn-1 ＜Ｇn の時にはステップ１１９へ進み、ステップ
１０３に戻りステップ１０４からステップ１０８までと
ステップ１１５を繰り返し、初めてＧn-1 ＞Ｇn になっ
た時の合焦度Ｇn-1 を最大合焦度Ｇmaxとし、最大合焦
度Ｇmax を与える画像を最大合焦画像Ｉmax1（ｘ，
ｙ），Ｉmax2（ｘ，ｙ）としステップ１２０へ進む。

【００２６】ステップ１１９では、もしＧ1 ＜Ｇ2 の時
は、上述のように、レンズのピント位置を△ｄ変更し
て、ステップ１０３へ戻る。以後、ステップ１１９で
は、同様にしてピント位置を△ｄずつ変更する。一方、
もしＧ1 ＞Ｇ2 の時は、Ｇ2 の位置から逆にピント位置
をー△ｄ変更して、再びステップ１０３へ戻る。以後ス
テップ１１９では、同様にしてピント位置を−△ｄずつ
変更する。

【００２７】ステップ１２０において、眼球反射像抽出
部１２において、最大合焦度を与える画像Ｉmax1（ｘ，
ｙ），Ｉmax2（ｘ，ｙ）から、網膜反射像と、照明１、
照明２による角膜反射像の抽出を行う。ここでは、小領
域Ａに対応した画像Ｉsmax1 （ｘ，ｙ），Ｉsmax2
（ｘ，ｙ）についてのみ、以下の処理を行う。Ｉsmax1
（ｘ，ｙ）−Ｉsmax2 （ｘ，ｙ）を演算し、演算結果
を、固定しきい値Ｔｈ1 で２値化する。抜き出された領
域は、網膜反射像である。抜き出された領域の重心位置
を求める。求めた重心位置を（ｘgmax1 ，ｙgmax1 ）と
する。

【００２８】次に画像Ｉsmax1 （ｘ，ｙ）−Ｉsmax2
（ｘ，ｙ）内で最大輝度階調を持つ画素を求める。求め
た画素（ｘpsmax1，ｙpsmax1）は、照明１による角膜反
射像である。さらにＩsmax2 （ｘ，ｙ）−Ｉsmax1
（ｘ，ｙ）を演算し、小領域Ａ内で最大輝度階調を持つ
画素を求める。求めた画素（ｘpsmax2，ｙpsmax2）は、
照明２による角膜反射像である。

【００２９】このあとステップ１２１では、視線方向算
出部１３において、眼球反射像抽出部１２で抽出した３
つの反射像位置から、運転者の視線方向を算出する。視
線方向の算出は、３つの反射像の位置関係、２つの照明
の設置位置の相対関係、画像入力部の光学パラメータ
（焦点距離、受光素子サイズ）及び、眼球の平均サイズ
（角膜球半径７．８ｍｍ、角膜球中心と瞳孔中心の間の
距離４．２ｍｍ）を用いて行う。

【００３０】具体的には、図７の角膜反射像生成の説明
図に示すように、照明１による虚像の角膜反射像を発生
する点Ｒ’、レンズの焦点位置Ｔ、角膜球中心Ｏは１直
線Ｌ上に存在する。照明２と、その虚像の角膜反射像を
生じさせる角膜表面上の正反射点Ｑを結ぶ線分と、照明
２による虚像の角膜反射像を発生させる点Ｒとレンズの
焦点位置Ｔを結ぶ線分のなす角の２等分線は、直線Ｌと
点Ｏで交わり、ＱとＯの距離は７．８ｍｍである。ま
た、このＯは角膜球中心である。ここで、図８はモデル
化された一般的な眼球構成を示す図であり、Ｏを中心と
する半径４．２ｍｍの球面と、画像上の網膜反射像の重
心とレンズの焦点位置を結ぶ直線の交点のうち、画像入
力部４に近い側の点は、瞳孔中心Ｐである。以上の条件
を満足する半直線ＯＰが、運転者の視線方向を与える。
上述のように運転者の視線方向の算出については、共軸
系照明１の角膜反射像と瞳孔中心と、非共軸系照明２の
角膜反射像とが定まれば視線方向が算出できる。

【００３１】ここで、本装置により、エアコンの設定温
度を制御するケースを例にあげ、視線方向算出以降の動
作について説明する。以上のステップ１０１〜ステップ
１２１において視線方向が算出されたのち、視線停留判
断部２３において視線スイッチエリア２６のどこに視線
が停留しているかが判断される。これは、一定回数連続
して同一エリアを見ているか否かで判定する。視線方向
算出に、１回あたり４００ｍｓｅｃ要するとすれば、例
えば連続して２回、すなわち約０．８ｓｅｃの間視線方
向が停留すれば、同一エリアを見ていると判断する。

【００３２】視線停留判断部２３において、視線スイッ
チエリア２６のエアコン部に視線方向が停留していると
判断されると、図９に示すようにＨＵＤ表示部２５に
は、現在のエアコン設定温度が表示される。ここで、Ｈ
ＵＤ表示部２５にエアコン設定温度が表示されると、ス
テアリングスイッチ２２のアップダウンスイッチが、設
定温度の上下調節を行うように機能するので、運転者
は、アップダウンボタンを操作して、ＨＵＤ表示部２５
を見ながら所定の温度に調節する。一定時間、例えば５
秒間アップダウンボタンが操作されないと、操作が終了
したものと判断して、スイッチ機能は全て停止する。再
び、何らかの操作の必要が生じたら、メインスイッチ２
１を押すことによって、動作が開始される。

【００３３】この実施例は以上のように構成されている
から、運転者の頭部位置に即応追尾して最大合焦画像を
採用することにより、運転者の頭部位置が変動しても、
視線方向を高い精度で算出することが可能になる。な
お、上記実施例では、レンズのピント位置調節量を△ｄ
の一定量ごととしたが、レンズを複数ステップずつ、例
えば２ステップずつ動かし、その中で極大点を探し、次
に極大点の周辺のみで、レンズを１ステップずつ動かし
ながら、真の極大点を求めることにより、高速に最大合
焦位置を検出する事ができる。また、最大合焦位置近傍
にて、レンズのピント位置調節量△ｄをさらに多段階に
小さくすることにより合焦位置検出の分解能を上げるこ
とが出来る。

【００３４】

【発明の効果】 以上のとおり、本発明によれば、画像
入力部よる画像データを基に、網膜反射像候補を抽出
し、合焦度を算出してレンズのピント位置を調節し、最
大合焦度を有する画像の選択を行い、この選択された最
大合焦画像から網膜反射像、角膜反射像を抽出し視線方
向を算出するものとしたので、運転者の頭部位置が変動
したときでも、視線方向を高い精度で算出できるという
効果を有する。そして、合焦度を算出する領域を網膜反
射像候補を包含する小領域に限定しているので、視線方
向検出処理が高速に行える。さらに、共軸系の照明と非
共軸系の照明および一台の撮像装置のセットを用いて画
像データを入力できるので、画像入力部を小型化でき
る。

【図面の簡単な説明】

【図１】本発明の第一の実施例を示す図である。

【図２】視線方向検出装置を用いた車両の視線スイッチ
システムの全体構成を示す図である。

【図３】視線スイッチシステムの車載レイアウト及び車
載レイアウト主要部の詳細を示す図である。

【図４】視線方向検出装置における処理の流れを示す図
である。

【図５】視線方向検出装置における処理の流れを示す図
である。

【図６】微分フィルタの説明図である。

【図７】角膜反射像生成の説明図である。

【図８】モデル化された眼球構成を示す図である。

【図９】ＨＵＤ表示部における表示状態の説明図であ
る。

【符号の説明】

１ 照明 ２ 照明 ３ レンズ ４ 画像入力部 ５ Ａ／Ｄ変換部 ６ 画像メモリ ７ 瞳孔抽出部 ８ 瞳孔位置決定部 ９ 合焦度算出部 １０ 最大合焦画像選択部 １１ レンズ駆動用アクチュエータ １２ 眼球反射像抽出部 １３ 視線方向算出部 １４ 全体制御部 １５ 照明発光制御部 １６ 運転者 ２０ 視線方向検出装置 ２１ メインスイッチ ２２ ステアリングスイッチ ２３ 視線停留判断部 ２４ ＨＵＤ表示制御部 ２５ ＨＵＤ表示部 ２６ 視線スイッチエリア ２７ コントローラ切り替え部 ２８ エアコンコントローラ ２９ ＣＤコントローラ ３０ ラジオコントローラ ３１ ヘッドライトコントローラ ３２ ワイパコントローラ ３３ ウインドシールド ３４ ステアリング Ｌ 正反射点Ｑ' と角膜反射像が発生する点Ｒ’
を結ぶ直線 Ｏ 角膜球中心 Ｐ 瞳孔中心 Ｑ 非共軸系照明２による正反射点 Ｑ’ 共軸系照明１による正反射点 Ｒ 非共軸系照明２による虚像の角膜反射像が発
生する点 Ｒ’ 共軸系照明１による虚像の角膜反射像が発生
する点

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) A61B 3/00 - 3/16 G02B 7/28

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 運転者の眼球に不可視光を照射し画像入
   力部により眼球からの反射像を撮像して運転者の視線方
   向を検出する視線検出装置において、前記画像入力部のレンズの光軸と照射方向が一致する共
   軸系照明と、前記レンズと非共軸な位置に設けた非共軸
   系照明とで前記不可視光を照射し、 前記画像入力部はピント位置調節機能を有して異なるピ
   ント位置ごとに前記各照明を交互に点灯させた各画像を
   入力するよう構成され、 前記ピント位置ごとの画像の合焦度を算出する合焦度算
   出手段と、 入力した複数枚の画像から、最大合焦度を有する画像を
   選択する最大合焦画像選択手段と、 前記最大合焦度を有する画像のデータから網膜反射像と
   角膜反射像を抽出する眼球反射像抽出手段と、 前記網膜反射像と角膜反射像を基に運転者の視線方向を
   算出する視線方向算出手段とを有し、 前記合焦度算出手段は、画像入力部からの入力画像から
   網膜反射像候補を抽出する網膜反射像候補抽出手段を備
   え、前記画像の合焦度として網膜反射像候補を包含する
   小領域の合焦度を算出し、 前記眼球反射像抽出手段は、最大合焦度を有する前記小
   領域の共軸系照明と非共軸系照明による画像データの差
   分に基づいて網膜反射像を抽出 することを特徴とする車
   両用視線方向検出装置。
2. 【請求項２】 前記最大合焦画像選択手段は、異なるピ
   ント位置の画像の合焦度の比較に基づいて前記画像入力
   部にピント位置調節指令を出力し、前記画像入力部は該
   ピント位置調節指令に基づいてそのピント位置を変更す
   るものであることを特徴とする請求項１記載の車両用視
   線方向検出装置。