JP5230748B2

JP5230748B2 - 視線方向判定装置及び視線方向判定方法

Info

Publication number: JP5230748B2
Application number: JP2010530731A
Authority: JP
Inventors: 宗太郎築澤; 健介丸谷
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2008-09-26
Filing date: 2009-09-25
Publication date: 2013-07-10
Anticipated expiration: 2029-09-25
Also published as: EP2338416A4; US20140043459A1; EP2338416B1; EP2338416A1; CN102149325A; JPWO2010035472A1; US8538044B2; CN102149325B; WO2010035472A1; US20110249868A1

Description

本発明は、被撮影者の視線方向が所定方向であることを判定する視線方向判定装置及び視線方向判定方法に関する。

人物の視線方向を判定する視線方向判定装置においては、検出した方向を、外界の座標系で表す必要がある。

特許文献１には、事前に特定方向を見たときの眼球の状態を検出し、その結果から、特定方向を見ているか否かを判断する視線検出装置が開示されている。特許文献１記載の装置は、ファインダ内の指標を注視し、その際の視軸と眼球軸のずれを補正する。

特許文献２には、運転中の視線方向を長時間にわたって観測し、その分布から、視線の基準方向を規定する運転状態検出装置が開示されている。特許文献２記載の装置は、時系列データから視線の基準位置を推定する。

このように、従来の視線方向判定には、２系統の手法が存在している。１つは、注視対象を指示もしくは検出し、注視状態を検出する（特許文献１記載の装置例）、いま１つは、長時間の視線の分布から視線方向の中心を規定する（特許文献２記載の装置例）である。

特開平４−２４２６３０号公報特開２００５−６６０２３号公報

しかしながら、このような従来の視線方向判定装置にあっては、以下のような課題がある。

（１）特許文献１記載の装置では、注視対象の指示が必要であり、煩雑な作業となる。自動判定では、本当に見ているのか判定することが困難である。いずれにしても事前の計測作業が必要であることから、利便性の向上が図れない。

（２）特許文献２記載の装置では、長時間測定したときの視線の分布が本当に正面方向になるのか保証できない。また、長時間測定した後でないと、補正できない。長時間の観測が必要である上、計測した統計結果が個人差なく一定である保証はないため、計測開始直後に判定が困難であること、精度保証が困難であるという課題があった。

本発明は、かかる点に鑑みてなされたものであり、注視対象の指示及び事前の調整作業なしに、計測開始直後から判定することができ、高精度かつ正確に視線方向を判定することができる視線方向判定装置及び視線方向判定方法を提供することを目的とする。

本発明の視線方向判定装置は、両目を含む顔画像を撮像する撮像部と、前記両目の角膜を光源によって照射する照射部と、前記顔画像から、前記両目のうち、一方の目の瞳孔の
中心座標である第１座標と、他方の目の瞳孔の中心座標である第２座標とを検出する瞳孔検出部と、前記顔画像から、前記一方の目の角膜における前記光源の角膜反射像の中心座標である第３座標と、前記他方の目の角膜における前記光源の角膜反射像の中心座標である第４座標とを検出する角膜反射像検出部と、前記第１座標と前記第２座標とを結ぶ第１の線分の垂直二等分線を算出し、前記垂直二等分線に対して前記第３座標と線対称の位置座標である線対称位置座標を算出する線対称位置算出部と、前記第４座標と前記線対称位置座標との座標距離を算出し、前記座標距離と所定の閾値との比較に基づいて、前記両目の視線方向を判定する視線方向判定部と、を備える構成を採る。

本発明の視線方向判定方法は、両目を含む顔画像を撮像し、前記両目の角膜を光源によって照射し、前記顔画像から、前記両目のうち、一方の目の瞳孔の中心座標である第１座標と、他方の目の瞳孔の中心座標である第２座標とを検出し、前記顔画像から、前記一方の目の角膜における前記光源の角膜反射像の中心座標である第３座標と、前記他方の目の角膜における前記光源の角膜反射像の中心座標である第４座標とを検出し、前記第１座標と前記第２座標とを結ぶ第１の線分の垂直二等分線を算出し、前記垂直二等分線に対して前記第３座標と線対称の位置座標である線対称位置座標を算出し、前記第４座標と前記線対称位置座標との座標距離を算出し、前記座標距離と所定の閾値との比較に基づいて、前記両目の視線方向を判定する。

本発明によれば、左右の目の瞳孔の中心線に対して、前記左目又は右目の角膜反射像が線対称の位置にあることを判定し、この判定結果から特定位置の視線方向を判定することにより、視線方向判定の際に、注視対象の指示及び事前の調整作業が不要となり、利便性を向上させることができる。また、人間に共通の特徴を利用するため、判定結果の信頼性が高く、統計処理を行う手法などと比べて高精度な視線方向の判定が可能となる。同様の理由で、判定された視線方向は正確な視線方向であると保証できるため、従来例のように長時間測定する必要がない。さらに、撮像画像から直ちに判定が可能であるため、計測開始後、すぐに判定可能となる。

以上の効果に加えて、さらに以下の効果がある。

特定の注視対象を見なくても、自動的に検出した視線方向のずれを補正することが可能である。また、注視が不要であるため、処理を軽量化することができ、誤判定を防止することができる。これは、補正可能な機会が多くなることにつながる。さらに、１フレームでもカメラ方向を見ればよいので、高確率で補正可能という効果がある。

本発明の実施の形態１に係る視線方向判定装置の構成を示すブロック図上記実施の形態１に係る視線方向判定装置の線方向判定方法を説明する図上記実施の形態１に係る視線方向判定装置の線方向判定方法を説明する図上記実施の形態１に係る視線方向判定装置の線方向判定方法を説明する図上記実施の形態１に係る視線方向判定装置の視線方向判定アルゴリズムを説明する図上記実施の形態１に係る視線方向判定装置の視線方向判定処理を示すフロー図上記実施の形態１に係る視線方向判定装置に入力される入力画像の例を示す図上記実施の形態１に係る視線方向判定装置で使用される画像特徴の例を示す図本発明の実施の形態２に係る視線方向判定装置の構成を示すブロック図上記実施の形態２に係る視線方向判定装置の視線方向判定処理を示すフロー図本発明の実施の形態３に係る自動校正機能付き視線方向判定装置の構成を示すブロック図上記実施の形態３に係る自動校正機能付き視線方向検出装置の動作を示すフロー図上記実施の形態３に係る自動校正機能付き視線方向判定装置の視線方向のオフセットを自動的に補正可能なことを説明する図本発明の実施の形態４に係る視線方向判定装置の構成を示すブロック図上記実施の形態４に係る視線方向判定装置の照射部と撮像部の位置関係を示す図上記実施の形態４に係る視線方向判定装置の角膜反射像と角膜投影像の位置関係を示す図上記実施の形態４に係る警報装置部を有する視線方向判定装置の構成ブロック図

以下、本発明の実施の形態について図面を参照して詳細に説明する。

（実施の形態１）
本発明は、照明手段を備える撮像装置で取得した顔画像から、瞳、もしくは瞳孔の中心と、照明の角膜反射像を検出し、それらの線対称性から、被験者の視線方向を判定する視線方向判定装置に関する。ここに、視線方向判定とは、被験者の視線が、特定の方向を向いているか否かを判定することを表す。但し、特定方向とは必ずしも１つである必要はなく、複数の方向であってもよい。

本発明の実施の形態１では、照明手段を備えた撮像装置で取得した顔画像から、瞳、もしくは瞳孔の中心と、照明の角膜反射像を検出し、それらの線対称性から、被験者の視線方向を判定する、視線方向判定装置について記載する。

図１は、本発明の実施の形態１に係る視線方向判定装置の構成を示すブロック図である。本実施の形態は、自動車の車室内に設けられ、ドライバーの視線方向を検出して、正面を長時間向かなかった場合には警告を行う警報装置に対して、本発明の視線方向判定装置を適用した例である。

図１に示すように、視線方向判定装置１００は、例えば、カーナビやテレビ、スピーカなどの情報提示機器や、運転者支援カメラや監視カメラなどの安全状態監視機器、スチールカメラやビデオカメラなどの映像記録機器、ロボットなどの生活補助機器等の、操作者や非撮影者がどこをみているのかという情報が必要となる機器に対して適用できる。

視線方向判定装置１００は、画像入力部１１０、顔検出部１２０、顔部品検出部１３０、画像特徴検出部１４０、線対称位置算出部１５０、評価値算出部１６０、及び視線方向判定部１７０を備えて構成される。

画像入力部１１０は、撮像部１１１によって撮影した画像を、後述の顔検出部１２０に出力する。

画像入力部１１０は、車のハンドルの上やダッシュボード上など、運転席の正面に設置され、運転者の撮影可能な位置に設置された撮像部１１１と、運転者の顔を照射する照射部１１２と、撮像部１１１と照射部１１２を同期させる同期部１１３とを有する。

撮像部１１１は、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅｓ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏ
ｒ）などのイメージセンサを備えており、同期部１１３から入力される同期信号に合わせて、画像を取得する。

なお、撮像した顔画像は、画像横方向をＸ軸、画像縦方向をＹ軸として、１画素が１座標点であるとして、以下、説明する。

照射部１１２は、不可視であるが、撮像部１１１では感度がある近赤外線ＬＥＤを備えており、同期部１１３からの同期信号に合わせて発光する。

同期部１１３は、撮像部１１１の露光開始から終了までに相当する時間だけ、同期信号を撮像部１１１と照射部１１２に出力する。

顔検出部１２０は、画像入力部１１０から入力された画像から、人物の顔の画像である顔画像を検出し、顔画像を顔部品検出部１３０に出力する。

顔部品検出部１３０は、顔検出部１２０から入力された顔画像から、目尻、目頭、瞳中心、鼻孔、口角、眉の両端などの顔部品を検出し、各顔部品の輪郭を形成する複数の点の座標を画像特徴検出部１４０に出力する。

画像特徴検出部１４０は、顔画像から瞳孔を検出する瞳孔検出部１４１と、顔画像から、角膜上の照射部１１２の反射像を検出する角膜反射像検出部１４２とを有する。角膜反射像とは、プルキニエ像と呼ばれる、角膜表面の反射像を表す。

瞳孔検出部１４１は、画像入力部１１０により入力された顔画像と、顔部品検出部１３０により入力された顔部品座標から、左右の目の瞳孔を検出し、左右瞳孔の中心座標を線対称位置算出部１５０に出力する。

角膜反射像検出部１４２は、画像入力部１１０により入力された顔画像と、顔部品検出部１３０により入力された顔部品座標から、左右の目の、照射部１１２の角膜反射像を検出し、左右角膜反射像の中心座標を、線対称位置算出部１５０に出力する。

線対称位置算出部１５０は、画像特徴検出部１４０から入力された左右の目の瞳孔中心座標と、角膜反射像中心座標から、左右片方の目の角膜反射像中心の線対称位置を算出し、線対称位置座標と、もう一方の目の角膜反射像中心座標とをそれぞれ、評価値算出部１６０に出力する。線対称とは、左右瞳孔中心を端点とする線分の垂直二等分線に関して、線対称であることを表す。

評価値算出部１６０は、線対称位置算出部１５０から入力された投影座標と、画像特徴検出部１４０から入力された角膜反射像中心座標と線対称位置座標から、角膜反射像の線対称性を評価する線対称性評価値を算出し、視線方向判定部１７０に出力する。

視線方向判定部１７０は、評価値算出部１６０から入力された線対称性評価値から、左右角膜反射像の線対称性を判断し、線対称性を有する場合には、被験者の視線方向が、カメラ方向を向いていると判定、また、線対称性がない場合には、カメラ方向を向いていないと判定し、判定結果を図示しない警報装置へ出力する。図示しない警報装置は、判定結果から、長時間カメラ方向を向いていない場合には、警報を発する。この警報は、警告メッセージ含む表示、音声合成ＬＳＩによる音声メッセージ、ＬＥＤ発光、スピーカ等による放音、またはこれらの組み合わせである。

上記各部の機能は、マイクロコンピュータが、制御プログラムを実行して実現する。す
なわち、視線方向判定装置１００は、制御部であるＣＰＵ、制御プログラムが記録されたＲＯＭ、及びプログラム実行用のＲＡＭ等、撮像装置であるカメラ、表示・警報装置である表示部を有し、この制御部が視線方向判定装置１００の各部の動作を制御する。図１の各部は、制御部が実行する視線方向判定処理を行うブロックとして明示したものである。

以下、上述のように構成された視線方向判定装置１００の動作を説明する。

まず、本視線方向判定方法の基本的な考え方について説明する。

図２乃至図４は、視線方向判定装置１００の視線方向判定方法を説明する図である。

図２Ａに示すように、投光器２０１（図１では、照射部１１２）は、顔２０２の眼球２０３を照射する。カメラ２０６（図１では、撮像部１１１）は、眼球２０３の角膜２０３ａに反射した角膜反射像２０５を取得する。図２Ｂに示すように、投光器２０１からの光照射により、眼球２０３の角膜２０３ａには、角膜反射像２０５が現れる。

視線方向判定装置１００は、顔の左右対称性を利用し、左右の目の角膜反射像２０５を検出する。すなわち、左右の目の角膜反射像２０５の位置を算出し、得られた角膜反射像位置が、左右の目で、線対称の位置にあるか否かを判定する。

図３に示すように、投光器２０１の角膜反射像２０５を左右の目で取得し、瞳孔２０４に対する反射像位置２０５の対称性から投光器２０１方向を見ている時を検出する。また、投光器２０１の角膜反射像位置の左右対称性を検証することで、カメラ２０６方向を見ているか否かを判定する。

具体的には、図４Ａに示すように、カメラ２０６、投光器２０１方向を見ているときは、角膜反射像２０５の位置が、左右対称となる。また、図４Ｂに示すように、カメラ２０６・投光器２０１方向を見ていないときは、角膜反射像２０５の位置が、左右非対称となる。

次に、視線方向判定方法の詳細について説明する。
[アルゴリズム]
１．瞳孔と角膜反射像を検出
２．左右瞳孔の垂直二等分線に関して対称な位置に片方の反射像を投影
３．投影反射像ともう一方の反射像のずれを検出
４．ずれ量が閾値以下ならその時の視線方向をカメラ方向と判定
図５は、視線方向判定アルゴリズムを説明する図であり、図５Ａは顔画像を示し、図５Ｂは顔画像と顔画像に基づいて算出された両目の瞳孔を結ぶ線分の垂直二等分線を示す。

図５Ａに示すように、顔画像２０２から、眼球２０３が検出され、両目の瞳孔２０４及び両目の角膜反射像２０５が検出される。

図５Ｂに示すように、本アルゴリズムは、左右瞳孔の垂直二等分線２１１に関して対称な位置に片方の反射像を投影する。一方の眼球２０３に投影（投影線２１２参照）された他方の角膜反射像２０５を、角膜投影像２１５と呼ぶ。ここでは、右目の角膜反射像２０５が左目に投影されて、左目上で、左目の角膜反射像２０５と投影された角膜投影像２１５とが近接して並ぶことになる。

本アルゴリズムは、左目の角膜反射像２０５と投影された角膜投影像２１５とのずれを検出する。このずれ量が閾値以下ならその時の視線方向をカメラ方向と判定する。なお、
本アルゴリズムの実現手段については、図６の視線方向判定処理フローにより後述する。

このように、両目の角膜反射像の座標位置が、垂直二等分線２１１に対して線対称であるか否かを検証することによって、視線方向を判定することができる。

図６は、視線方向判定装置１００の視線方向判定処理を示すフローチャートである。図７は、視線方向判定装置１００に入力される顔画像を示す図である。

図６において、本プログラムの開始により、画像入力部１１０は、撮影作業を開始する。撮影作業の開始は、人手により行われてもよいし、外的な何らかの信号をトリガに視線方向判定装置１００により行われてもよい。

ステップＳ１では、画像入力部１１０は、一定期間ごとに同期部１１３によって照射部１１２と同期の取れた撮像部１１１から、図７の顔画像３００を取得し、この顔画像３００を顔検出部１２０に出力する。

例えば、画像入力部１１０は、ＣＭＯＳイメージセンサとレンズを備えたデジタルカメラと、近赤外線ＬＥＤを備えた投光器によって構成されるセンサが想定され、これにより投光器と同期して撮影されるＰＰＭ（Portable Pix Map file format）形式の画像等が、画像入力部１１０中に存在する画像記憶部（例えば、ＰＣのメモリ空間）に一時記憶される。

そして、この一時記憶されている画像が、ＰＰＭ形式で顔検出部１２０に入力される。

このとき、照射部１１２は、撮像部１１１の露光時間だけ同期して点灯する、同期パルス駆動近赤外線ＬＥＤ投光器である。撮像に十分な光量が得られる場合は、同期パルス駆動ではなく、常時点灯であってもよい。

ステップＳ２において、顔検出部１２０は、画像入力部１１０により入力された顔画像３００から、顔領域３０１の検出処理を行う。

顔領域検出は、例えば、入力画像から特徴となる画像の抽出を行い、抽出した特徴となる画像と、あらかじめ用意した顔領域を表す特徴画像との比較し、比較した画像について類似度が高いものを検出する。

類似度は、例えば、あらかじめ取得した平均顔のガボール特徴量と、入力画像をスキャンし、抽出したガボール特徴量とを照合し、その差分の絶対値の逆数を用いる。

この場合、顔領域は、あらかじめ用意したテンプレートと比べて、図７の顔領域３０１の中で、最も相関の高い領域を画像中から探索される。

また、顔領域３０１は、画像中から肌色領域検出を行ったり、楕円検出を行ったり、統計的パターン識別手法を用いたりすることで検出してもよい。その他、上記顔検出を行うことができる技術であれば、どのような方法であってもよい。

ステップＳ３において、顔部品検出部１３０は、顔検出部１２０により入力された顔画像３００の顔領域３０１を探索領域とし、口角や目尻、目頭などの顔部品群３０２の検出処理を行う。

顔部品群検出は、例えば、分離度フィルタを用いて、口角、目尻、目頭などの顔部品の
端点や鼻の穴などの２次元座標を検出する。

また、あらかじめ複数の顔画像と、顔画像に対応する顔部品の位置との関係を学習器に学習させ、顔画像３００を学習器に入力した際に、最も尤度が高い場所を顔部品として検出してもよいし、標準的な顔部品のテンプレートを用いて顔画像３００内から顔部品を探索したりしてもよい。

ステップＳ４において、瞳孔検出部１４１は、上記ステップＳ３で顔部品群検出によって検出された目領域の中から、図３の瞳孔３０３の中心座標を検出する。

顔画像において瞳孔の中心座標は、例えば、上記ステップＳ３で顔部品群検出によって検出された目尻、目頭を含む目領域に対して円形分離度フィルタを適用し、最も輝度の分離度が高い円の中心の座標を瞳孔の中心座標として抽出する。

このとき、Ｓｏｂｅｌフィルタなどを用いたエッジ検出や、大津の閾値決定法などを用いた輝度の二値化などによって検出した瞼を考慮し、上下瞼に挟まれた領域内のみを検出対象範囲とする。

また、目尻、目頭を含む領域において、水平、垂直方向に輝度和を取り、もっとも垂直方向に取った輝度和と水平方向に取った輝度和が小さい点を瞳孔中心としてもよい。

また、検出対象が、瞳孔ではなく、虹彩の中心や、角膜の中心であってもよい。

その他、上記瞳孔の中心座標を検出できる技術であれば、どのような検出方法を採用してもよい。

ステップＳ５において、角膜反射像検出部１４２は、上記ステップＳ３で顔部品群検出によって検出された目領域の中から、図７の角膜反射像３０４の中心座標を検出する。

角膜反射像の中心座標は、例えば、上記ステップＳ４で検出された瞳孔の中心の周辺領域に対して、輝度ヒストグラムを算出し、最大輝度画素の座標の重心を、角膜反射像の中心座標として検出される。また、ヒストグラムの上位数％（例えば１％）の画素の重心を取得してもよい。

このとき、最大輝度が、あらかじめ定められた閾値よりも小さい場合は、角膜反射像が存在しないと見なし、判定処理を中止し、上記ステップＳ１に戻る。また、最大輝度の画素数が、あらかじめ定められた閾値よりも大きい場合は、角膜反射像に照射部１１２以外の物体の反射が含まれていると見なし、処理を中止して上記ステップＳ１に戻る。

ステップＳ６において、線対称位置算出部１５０は、画像特徴検出部１４０から入力された瞳孔３０３の中心座標と、角膜反射像３０４の中心座標とを結んだ線分の垂直二等分線を算出し、算出された垂直二等分線に対する左右一方の角膜反射像の線対称位置の中心座標を算出する。

図８は、視線方向判定装置１００で使用される画像特徴の例を示す図であり、図８Ａは視線がカメラ２０６の方向を向いている場合の画像４１０を示し、図８Ｂは視線がカメラ２０６の方向を向いていない場合の画像４２０を示す。

図８Ａにおいて、瞳孔４１１は図７における瞳孔３０３と同じであり、角膜反射像４１２は図７における角膜反射像３０４と同じである。

図８において、線対称位置算出部１５０は、両目の瞳孔４１１の中心座標を結ぶ線分の垂直二等分線４１４を次式（１）に従って算出する。

但し、右目瞳孔の座標を（ｘｒ，ｙｒ）、右目瞳孔の座標を（ｘｌ，ｙｌ）とする。

次に、式（１）で表される垂直二等分線直線４１４に関して、左右一方の目の角膜反射像３０４の中心座標の線対称位置を次式（２）に従って算出する。但し、式（２）は右目の角膜反射像の中心座標の線対称位置を表した式であり、線対称位置の座標は（ｘｓ，ｙｓ）で表すものとする。

但し、ａ，ｂはそれぞれ次式（３）で表されるものとする。

ステップＳ７において、評価値算出部１６０は、画像特徴検出部１４０から入力された角膜反射像３０４の中心座標と、線対称位置算出部１５０から入力された線対称位置から、左右角膜反射像位置の線対称性を、次式（４）で表される線対称性評価値Ｖとして算出する。

このとき、例えば、図８（ａ）の画像４１０で表されるように、視線がカメラ２０６の方向を向いている場合には、左右一方の角膜反射像の線対称位置４２４は、もう一方の角膜反射像と近い位置であるため、線対称性評価値Ｖは大きな値をとる。しかし、図８（ｂ）の画像４２０で表されるように、視線がカメラ２０６の方向を向いていない場合には、左右一方の角膜反射像の線対称位置４２２は、もう一方の角膜反射像４２１から遠い位置であるため、線対称性評価値は小さな値をとる。

また、線対称性評価値Ｖは、必ずしも式（４）で表される値である必要はなく、左右一方の角膜反射像の線対称位置４２２と、もう一方の角膜反射像４２１が近いほど高い値を返す評価値であればよい。

ステップＳ８において、視線方向判定部１７０は、評価値算出部１６０から入力された
線対称性評価値から、視線方向が特定の方向であるか否かを判定する。例えば、線対称性評価値があらかじめ定められた閾値以上であれば、特定の方向を向いていると判定する。

また、一定時間の評価値を記録し、その平均値が閾値以上の時、特定の方向を向いていると判定してもよい。特定の方向とは、画像入力部１１０の方向を表す。

その他、上記視線方向判定を行うことができる技術であれば、どのような判定方法を採用してもよい。

ステップＳ９において、図示しない警報装置は、視線方向判定部１７０において視線が正面方向を向いていないと判定された場合は、正面を向いていないと判定された回数を表す警報カウントを１増加する。このとき、Ｎが所定の閾値を超えた場合は、長時間正面を見ていないと見なして警報を発する。

また、正面を向いていると判定された場合は、警報カウントをゼロにする。なお、警報カウントは、初期状態ではゼロである。

ステップＳ１０において、終了判定を行う。終了判定は、人手による終了命令の入力によって行われてもよいし、外的な何らかの信号をトリガに視線方向判定装置１００により行われてもよい。

終了判定の結果、終了する場合は、視線方向判定装置１００の視線方向判定動作を終了する。上記ステップＳ１０において終了しない場合は、上記ステップＳ１に戻る。

以上詳細に説明したように、本実施の形態の視線方向判定装置１００は、左右の目の瞳孔の中心線に対して、左目又は右目の角膜反射像が線対称の位置にあることを判定する線対称位置判定部１５０と、線対称位置判定結果から、撮像部１１１又は略同じ位置の照射部１１２の設置位置を含む特定位置の視線方向を判定する視線方向判定部１７０とを備え、角膜反射像の線対称性を判定し、この線対称性から特定の視線方向を判定するので、注視対象の指示及び事前の調整作業なしに、計測開始直後から判定することができ、高精度かつ正確に視線方向を判定することができる。

従来例では、瞳孔と角膜反射像の位置関係を用いる場合、計算を片目のみで行っている。また、両目を用いる場合も、単に視線の安定化にのみ使用しており、本実施の形態のように特定方向の視線検出に利用した例はない。さらに、従来例において、特定方向の視線方向を検出しようとすると、注視対象を指示もしくは検出し、かつ長時間の検出結果の統計から推定する必要がある。これでは、精度かつ正確に視線方向を判定することができる。

これに対して、本実施の形態では、左右の目の瞳孔の中心線に対して、左目又は右目の角膜反射像が線対称の位置にあることを判定する。瞳孔や角膜反射像は、低解像度の撮影像からも安定して検出することができる特徴があり、安定して視線方向を判定することができる。また、角膜反射像の左右対称性は、個人差無く存在するので、事前の調整作業が不要であり、簡便に利用できる。さらに、１枚の画像だけでも判定が可能であるため、計測開始直後から判定可能である、一瞬だけ特定の方向を見ると言った状況でも判定が可能であるという効果も有する。
また、本実施の形態では、左右の角膜反射像の線対称性を表す評価値を算出する評価値算出１６０を備え、視線方向判定部１７０は、この評価値を基に、まず左右角膜反射像の線対称性を判断し、次に特定の視線方向を判定するので、より一層精度の良い視線方向判定が可能になる。

（実施の形態２）
図９は、本発明の実施の形態２に係る視線方向判定装置の構成を示すブロック図である。本実施の形態の説明に当たり、図１と同一構成部分には同一番号を付して重複箇所の説明を省略する。

本実施の形態は、自動車の車室内に設けられ、ドライバーの視線方向を検出して、正面を長時間向かなかった場合には警告を行う警報装置に対して、本発明の視線方向判定装置を適用した例である。

また、視線方向判定装置５００は、顔がカメラと投光器の中点方向を向いている場合に、視線がカメラと投光器の中点を向いている否かを判定する場合を例に採る。

視線方向判定装置５００は、画像入力部１１０、顔検出部１２０、顔部品検出部１３０、画像特徴検出部１４０、線対称位置算出部１５０、評価値算出部１６０、顔方向算出部５０１、及び顔視線方向判定部５０２を備えて構成される。

顔方向算出部５０１は、顔部品検出部１３０から入力された顔部品位置から、顔方向情報を算出し、顔視線方向判定部５０２に出力する。

顔視線方向判定部５０２は、まず、顔方向算出部５０１から入力された顔方向情報の水平成分がカメラと投光器の中間点を向いている場合は、処理を継続し、向いていない場合は、処理を終了する。次に、顔視線方向判定部５０２は、評価値算出部１６０から入力された線対称性評価値から、左右角膜反射像の線対称性を判断し、線対称性を有する場合には、被験者の視線方向が、カメラと投光器の中点方向を向いていると判定、また、線対称性がない場合には、カメラと投光器の中点方向を向いていないと判定し、判定結果を図示しない警報装置へ出力する。

以下、上述のように構成された視線方向判定装置５００の動作を説明する。

投光器（照射部１１２）が、カメラ（撮像部１１１）に対して水平にずれている場合の動作を示す。但し、本実施の形態におけるカメラと投光器のずれは、カメラと顔との距離に対して十分小さいものとする。

図１０は、視線方向判定装置５００の視線方向判定処理を示すフローチャートである。図６に示すフローと同一処理を行う部分には同一ステップ番号を付して重複箇所の説明を省略する。

ステップＳ７において、評価値算出部１６０により線対称性評価値が算出されると、ステップＳ２１に進む。

ステップＳ２１において、顔方向算出部５０１は、顔部品検出部１３０から入力された顔部品群３０２から、顔方向情報を算出する。

顔方向情報は、顔部品位置が三次元で入力される場合には、例えば、左右の目尻と、口角の中点がのる平面の法線ベクトルを顔方向ベクトルとして取得する。また、顔部品位置が二次元で入力される場合には、例えば、顔部品群３０２の分布から、標準的な頭部３次元モデルの姿勢を推定し、左右の目尻と、口角の中点が載る平面の法線ベクトルを顔方向ベクトルとして取得する。

ステップＳ２２において、顔視線方向判定部５０２は、まず、顔方向算出部５０１から入力された顔方向情報から、顔方向が、カメラと投光器の中点を向いているか否かを判定する。判定方法は、例えば、あらかじめ計測したカメラの中心と、投光器の中心から、カメラの中心と、投光器の中心を結ぶベクトルを算出し、顔方向ベクトルの水平成分との内積をとる。

内積の値が０の場合、顔方向が、カメラと投光器の中点を向いていると判定する。但し、内積の値は誤差を含んでいてもよく、必ずしも厳密に０でなくてもよい。このとき、顔方向が、カメラと投光器の中点を向いていると判定されなかった場合は、視線方向が特定の方向ではないと判定する。

次に、顔視線方向判定部５０２は、評価値算出部１６０から入力された線対称性評価値から、視線方向が特定の方向であるか否かを判定する。例えば、線対称性評価値があらかじめ定められた閾値以上であれば、特定の方向を向いていると判定する。また、一定時間の評価値を記録し、その平均値が閾値以上の時、特定の方向を向いていると判定してもよい。特定の方向とは、例えばカメラと投光器の中点方向を表す。

このように、本実施の形態によれば、視線方向判定装置５００は、顔方向情報を算出する顔方向算出部５０１を備え、顔視線方向判定部５０２は、まず、顔がカメラと投光器の中間点（一例に過ぎず任意位置でよい）を向いている場合は、実施の形態１と同様の視線方向判定処理を継続し、向いていない場合は、処理を終了する。これにより、視線方向だけではなく顔方向も判定動作に含めることができる。例えば、ドライバーの顔が正面を向いていることを検出することができる。ドライバーが正面を長時間向かなかった場合にこの情報を警報装置に出力し、警報装置が警報を発するなどの利用が可能になる。

（実施の形態３）
実施の形態３は、視線方向検出装置の検出誤差を自動的に補正する機能を有する、自動校正機能付き視線方向検出装置の適用例である。

一般に、被験者の視線方向を画像から検出する場合、目尻や目頭、眉、鼻孔などの顔部品の位置と、瞳孔の位置を用いて視線方向を算出する。このとき、顔部品が、真値からずれて検出されたり、視線方向の算出する際に必要な眼球モデルが実際の眼球の形状に対して誤差があったりするため、検出された視線方向は、実際に被験者が見ている方向とは異なり、定量的なずれが発生する。

この視線方向の真値とのずれを補正するために、計測前、もしくは計測中に校正作業が必要であるが、この作業は、頭部を固定して複数の点を注視するなど、被験者にとって煩雑で負荷が大きい。これは、校正の際に、被験者がどこを見ているのかを知る必要があるためである。

実施の形態３は、この校正作業を自動的に行えるようにする。具体的には、実施の形態１，２の視線方向検出装置１００，５００によって、視線がカメラ方向を向いている時を検出し、その時の視線方向検出装置１００，５００の検出結果と比較して、そのずれを修正する。

図１１は、本発明の実施の形態３に係る自動校正機能付き視線方向判定装置の構成を示
すブロック図である。

図１１に示すように、自動校正機能付き視線方向検出装置６００は、視線方向判定装置１００と、視線方向を顔画像から算出する視線方向算出部６１０と、視線方向算出部６１０の検出結果と真値とのずれを校正（補正）する視線検出校正部６２０と、校正結果のパラメータを記憶する校正パラメータ記憶部６３０と、視線検出の結果を出力する出力部６４０とを備えて構成される。

本実施の形態では、実施の形態１の視線方向判定装置１００を用いているが、視線方向判定装置１００に代えて、実施の形態２の視線方向判定装置５００を用いてもよい。

視線方向判定装置１００は、視線方向がカメラ方向を向いていることを判定し、判定結果を視線方向判定情報として取得する。また、視線方向判定装置１００の画像入力部１１０（図１参照）は、顔画像を視線方向算出部６１０に出力し、視線方向判定情報を、視線検出校正部６２０に出力する。

視線方向算出部６１０は、視線方向判定装置１００の画像入力部１１０から入力された顔画像から視線方向を算出し、視線方向情報として、視線検出校正部６２０へ出力する。

視線検出校正部６２０は、視線方向判定装置１００から入力された視線方向判定情報と、視線方向算出部６１０から入力された視線方向情報から、校正パラメータＰを算出し、校正パラメータを校正パラメータ記憶部６３０に入力する。また、視線検出校正部６２０は、視線方向算出部６１０から入力された視線方向情報と校正パラメータＰから、校正済み視線方向情報を取得する。校正パラメータＰについては、図１２のフローにより後述する。

校正パラメータ記憶部６３０は、視線検出校正部６２０から入力された校正パラメータＰを記憶し、視線検出校正部６２０を経由して視線方向算出部６１０に出力する。

出力部６４０は、視線検出校正部６２０から入力された校正済み視線方向情報を、音や映像、記号、文字などによって出力する。

図１２は、自動校正機能付き視線方向検出装置６００の動作を示すフローチャートである。

本プログラムがスタートすると、視線方向判定装置１００は、撮影作業を開始する。撮影作業の開始は、人手により行われてもよいし、外的な何らかの信号をトリガに視線方向判定装置１００により行われてもよい。

ステップＳ３１において、視線方向算出部６１０は、視線方向を算出する。視線方向の算出は、視線方向情報を視線方向ベクトルＶｅとして取得する。例えば、視線検出方法は、以下の方法を採る。
ａ．視線方向検出は、次のように、顔部品検出部１９０で検出した目尻及び目頭と、瞳孔検出部１４１で検出した瞳孔の中心から視線方向を算出する。
ｂ．まず、目尻及び目頭の位置から、眼球の中心位置を推定する。例えば、目尻及び目頭を結ぶ線分の法線方向に、あらかじめ定められた距離だけ進んだところに眼球中心があるとみなす。
ｃ．また、あらかじめ、目尻及び目頭に対する眼球中心の位置を多数の被験者に対して計測し、その平均を採るなど統計的な手法を採ってもよい。
ｄ．次に、推定した眼球中心と瞳孔中心を結ぶ直線を算出する。
ｅ．最後に、前記直線の方向ベクトルを算出し、これを視線方向ベクトルとして取得する。

なお、上記視線方向算出を行うことができる技術であれば、どのような算出方法を採用してもよい。

ステップＳ３２において、視線方向判定装置１００は、実施の形態１に示した方法で、視線方向がカメラ方向を向いているか否かを判定する。

視線方向がカメラ方向を向いていると判定された場合は、ステップＳ３３に移行する。

視線方向がカメラ方向を向いていないと判定された場合は、ステップＳ３５に移行する。

ステップＳ３３において、視線検出校正部６２０は、視線方向算出の校正パラメータＰを算出する。校正パラメータＰは、例えば、上記ステップＳ３１で算出された視線方向ベクトルＶｅと、視線がカメラ方向を向いた場合の視線方向ベクトルＶｃとのなす角で表す。校正パラメータＰは、次式（５）で算出する。

ステップＳ３４において、校正パラメータ記憶部６３０は、校正パラメータＰを記憶する。このとき、過去の校正パラメータＰは破棄し、最も新しい校正パラメータＰのみを記憶する。

ステップＳ３５において、視線方向校正部６２０は、校正パラメータＰから、視線方向情報を校正し、校正済み視線方向情報として取得する。校正済み視線方向情報は、本実施の形態では、校正済み視線方向ベクトルＶｆで表現する。視線方向情報の校正は、例えば、次式（６）により算出する。

但し、Ｒｏｔ（Ｐ）は、校正パラメータＰに相当する角度だけ回転させる回転行列である。

ステップＳ３６において、出力部６４０は、補正済み視線方向情報を出力する。

ステップＳ３７において、終了判定を行う。終了判定は、手動で行ってもよいし、何らかの自動的なトリガによってでもよい。

終了判定の結果、終了する場合は、自動校正機能付き視線方向検出装置６００の視線検出校正動作を終了する。上記ステップＳ３７で終了しない場合は、上記ステップＳ３１に戻る。

このように、本実施の形態によれば、視線方向の真値との定量的なずれを、リアルタイムで校正することができる。また、頭部を固定して複数の点を注視するなど、被験者にと
って煩雑で負荷のかかる作業を必要としない優れた効果がある。これにより、以下の効果を得ることができる。

（１）特定の注視対象を見なくても、自動的に補正（校正）が可能になる。このことは、注視が不要であることにつながり、処理の軽量化、誤判定防止を実現することができる。

（２）補正可能な機会を増やすことができる。１フレームでもカメラ方向を見ればよいので、高確率で補正可能な機会が拡がる。

図１３は、視線方向のオフセット（真値からの定量的なずれ）を自動的に補正可能なことを説明する図である。

図１３Ａに示すように、従来の視線検出手法では、視線方向に真値からの定量的なずれが発生する。顔２０２の中心正面方向を０°とした場合、視線方向は約１０°左方向にずれている。これを補正するためには、特定の場所を「いつ」見ているのか検出する必要がある。しかし解決課題で述べたようにこの補正は困難であった。本視線方向判定装置１００では、投光器２０１の角膜反射像を左右の目で取得し、瞳孔２０４に対する反射像位置２０５の対称性から投光器方向を見ている時をリアルタイムで検出することができる。これにより、図１３Ｂに示すように、視線方向のオフセットを自動的に補正し、高精度な視線検出を実現することが可能になる。

（実施の形態４）
図１４は、本発明の実施の形態４に係る視線方向判定装置の構成を示すブロック図である。

顔画像は、画像横方向をＸ軸、画像縦方向をＹ軸として、１画素が１座標点であるとして説明する。

図１４に示すように、視線方向判定装置１４００は、照射部１１２と、撮像部１４０１と、瞳孔検出部１４０２と、角膜反射像検出部１４０３と、線対称位置算出部１４０４と、視線方向判定部１４０５とを備えて構成される。

照射部１１２は、運転者の両目の角膜を光源によって照射し、撮像部１４０１は、光源によって照射された両目を含む顔画像を撮像する。

照射部１１２は、実施の形態１において説明したとおり、光源を有する。照射部１１２は、撮像部１４０１の露光開始から終了までの間は少なくとも発光する。照射部１１２と、撮像部１４０１との位置関係については後述する。

撮像部１４０１は、ＣＣＤやＣＭＯＳなどのイメージセンサを備えており、両目を含む顔画像を取得する。なお、撮像部１４０１は、運転者の視線が車の進行方向を向いた場合において両目の瞳孔を結ぶ線分の中心点に対して、正面上方または正面下方に設置される。すなわち、運転者の視線が車の進行方向を向いている場合、運転者の視線は撮像部１４０１の垂直方向を向いていることになる。

瞳孔検出部１４０２は、撮像部１４０１において撮像された顔画像に基づいて瞳孔の中心座標を算出し、角膜反射像検出部１４０３は、撮像部１４０１において取得した顔画像に基づいて照射部１１２の有する光源の角膜における角膜反射像の中心座標を算出する。

線対称位置算出部１４０４は、両目の瞳孔の中心座標と両目の角膜反射像の中心座標とに基づいて、左目の瞳孔の中心座標と右目の瞳孔の中心座標とを結ぶ線分の垂直二等分線に対する、両目のうち一方の目の角膜反射像の線対称位置の座標を算出する。

視線方向判定部１４０５は、両目のうち他方の目の角膜反射像の中心座標と、線対称位置の座標との距離に基づいて、運転者の視線方向を判定する。

次に、図１５を用いて、照射部１１２と撮像部１４０１との位置関係について説明する。

図１５は、両目、照射部１１２、及び撮像部１４０１の位置関係を示す図であり、図１５Ａは両目、照射部１１２、及び撮像部１４０１の鳥瞰図を示し、図１５Ｂは両目の正面図を示し、図１５Ｃは両目、照射部１１２、撮像部１４０１の側面図を示す。なお、図１５において、撮像部１４０１は両目を撮像できる位置であり、照射部１１２は両目の角膜を光源によって照射できる位置にあることが前提である。

図１５に示すように、右目の瞳孔１５０１、左目の瞳孔１５０２、右目の眼球１５０３、左目の眼球１５０４とした場合、右目の瞳孔１５０１の中心と左目の瞳孔１５０２の中心とを結ぶ線分１５０５が示される。また、線分１５０５を含む平面１５０６、照射部１１２から平面１５０６への垂線１５０７、撮像部１４０１から平面１５０６への垂線１５０８、平面１５０６に含まれる線分１５０５の垂直二等分線１５０９、平面１５０６に対する垂線１５０７の足１５１０、平面１５０６に対する垂線１５０８の足１５１１とする。

図１５Ａに示すように、右目の瞳孔１５０１の中心と左目の瞳孔１５０２の中心とを結ぶ線分１５０５に対して、撮像部１４０１及び照射部１１２の向きは垂直である。

また、図１５Ｂ．Ｃに示すように、線分１５０５を含む平面１５０６に対する撮像部１４０１の垂線１５０８の足１５１１と、平面１５０６に対する照射部１１２の垂線１５０７の足１５１０とを結ぶ線分１５０９は、線分１５０７の垂直二等分線である。

なお、図１５Ｃに示すように、平面１５０６は右目の瞳孔１５０１に対して垂直であるとして説明したが、この限りではない。すなわち、平面１５０６は、右目の瞳孔１５０１と垂直な面に対して任意の角度を有している場合においても、垂線１５０７及び垂線１５０９との関係が上述の関係にあればよい。

また、図１５Ａに示すように、撮像部１４０１から線分１５０５への距離は、照射部１１２から線分１５０５への距離よりも近いとして説明したが、この限りではない。すなわち、鳥瞰図において、撮像部１４０１から線分１５０５への距離は、照射部１１２から線分１５０５への距離よりも遠くてもよく、同じでもよい。

また、右目の瞳孔１５０１の視線方向に対して、撮像部１４０１及び照射部１１２は下方に位置しているとして説明したが、撮像部１４０１及び照射部１１２の一方、若しくは両方が上方に位置していてもよい。

以上のように、照射部１１２は、撮像部１４０１から両目の瞳孔を結ぶ線分を含む平面への垂線の足と、照射部１１２から当該平面への垂線の足とを結ぶ線分が、両目の瞳孔を結ぶ線分と直行するように設置される。

瞳孔検出部１４０２は、撮像部１４０１において取得した顔画像から両目の瞳孔を検出
し、両目の瞳孔の中心座標を算出する。具体的には、瞳孔検出部１４０２は、顔画像に含まれる両目に対して円形分離度フィルタを適用することにより、最も輝度の分離度が高い円を瞳孔として検出し、顔画像における瞳孔の中心座標を算出する。

角膜反射像検出部１４０３は、撮像部１４０１において取得した顔画像から、照射部１１２の有する光源の角膜における角膜反射像を検出し、左右角膜反射像の中心座標を算出する。上記角膜反射像とは、角膜に光源が映った場合に角膜に生じる光源の反射像である。具体的には、角膜反射像検出部１４０３は、顔画像に対して輝度ヒストグラムを算出し、輝度が最大となる画素の重心を検出し、角膜反射像の中心座標として算出する。

ここで、輝度が最大となる画素の重心は、輝度が最大となる画素、又は所定の値以上の輝度を有する画素を顔画像から抽出し、当該画素の座標を重心である。上記所定の値は、輝度ヒストグラムにおいて所定の値以上の輝度を有する画素の数が、所定の数以上となるように動的に決定してもよく、又は予め定められた値でもよい。

なお、重心の算出時の座標平均は、単純平均でもよいし、輝度を重みとした重み付き平均でもよい。

線対称位置算出部１４０４は、瞳孔検出部１４０３から両目の瞳孔の中心座標を受け、角膜反射像検出部１４０４から両目の角膜反射像の中心座標を受ける。そして、線対称位置算出部１４０４は、左目の瞳孔の中心座標と右目の瞳孔の中心座標とを結ぶ線分の垂直二等分線を算出し、両目のうち一方の目の角膜反射像の垂直二等分線に対する線対称位置の座標を算出する。

図１６は、角膜反射像と角膜投影像の位置関係を示す図であり、図１６Ａは視線が撮像部１４０１（図１４）の垂直方向を向いた場合の顔画像における両目の正面図を示し、図１６Ｂは視線が撮像部１４０１の垂直方向に対して横方向を向いた場合の顔画像における両目の正面図を示す。

図１６Ａに示すように、両目を含んだ顔画像１６００、右目１６０１、左目１６０２、右目の角膜１６０３、左目の角膜１６０４、右目の瞳孔１６０５、左目の瞳孔１６０６、右目の角膜反射像１６０７、左目の角膜反射像１６０８、右目の瞳孔と左目の瞳孔とを結んだ線分１６０９、線分１６０９の垂直二等分線１６１０、角膜投影像１６１１とする。

図１６Ａに示すように、視線が撮像部１４０１（図１４）の垂直方向を向いた場合、照射部１１２（図１４）の光源は両目の角膜を正面から照射するため、右目の角膜反射像１６０７ａは右目の瞳孔１６０５ａに対して顔の内側に投影され、左目の角膜反射像１６０８ａは左目の動向１６０６ａに対して顔の内側に投影される。

線対称位置算出部１４０４は、顔画像１６００ａにおいて、右目の瞳孔１６０５ａと左目の瞳孔１６０６ａとに基づいて線分１６０９ａを結び、線分１６０９ａの垂直二等分線１６１０ａを算出する。

そして、線対称位置算出部１４０４は、垂直二等分線１６１０ａに対して右目の角膜反射像１６０７ａと線対称の位置にある座標点を算出する。上記座標点を角膜投影像と定義する。

ここで、図１６Ａに示すように、視線が撮像部１４０１の垂直方向を向いた場合、照射部１１２の光源は両目の角膜を正面から照射するため、右目の角膜反射像１６０７ａと左目の角膜反射像１６０８ａとは、垂直二等分線１６１０ａに対して線対称である。従って
、両目の角膜の形状が同一である等の条件の下においては、角膜投影像１６１１ａと左目の角膜反射像１６０８ａとは、同一座標となる。

なお、線対称位置算出部１４０４は、図１６Ｂに示すように、視線が撮像部１４０１の垂直方向に対して横方向を向いた場合においても、図１６Ａを用いて説明した処理と同じ処理を行い、角膜等映像１６１１ｂを算出する。

ここで、図１６Ｂに示すように、視線が撮像部１４０１の垂直方向の横方向を向いた場合、照射部１１２の光源は両目の角膜を横方向から照射するため、右目の角膜反射像１６０７ｂと左目の角膜反射像１６０８ｂとは、垂直二等分線１６１０ｂに対して線対称とはならない。したがって、角膜投影像１６１１ｂの座標点と左目の角膜反射像１６０８ｂの座標点との間には距離が生じ、視線が撮像部１４０１の垂直方向から外れるほど距離は大きくなる。

以上説明した視線の方向と、角膜反射像１６０８ｂと角膜投影像１６１１ｂとの距離と、の関係に基づいて、視線方向判定部１４０５の機能を説明する。

ここでは、垂直二等分線１６１０ａに対して右目の角膜反射像１６０７ａと線対称位置にある座標点を角膜等映像として算出したが、垂直二等分線１６１０ａに対して左目の角膜反射像１６０８ａと線対称位置にある座標点を角膜等映像として算出してもよい。この場合、後述する視線方向判定部１４０５において、角膜等映像の座標点と右目の角膜反射像の座標点との距離に基づいて、視線方向を判定することとなる。

視線方向判定部１４０５は、線対称位置算出部１４０４において算出された角膜投影像１６１１の座標点と、角膜反射像１６１１と同一角膜に存在する角膜反射像との距離を算出し、所定の閾値と比較することにより、視線方向を判定する。

図１６で述べたように、視線が撮像部１４０１の垂直方向を向いている場合、一方の目の角膜投影像と他方の角膜反射像とは同一座標点、若しくは近傍の座標点に存在する。

一方、視線が撮像部１４０１の垂直方向に対して横方向を向いている場合、一方の目の角膜投影像と他方の角膜反射像とは離れる。

したかって、顔画像において、一方の目の角膜投影像と他方の角膜反射像との距離が、所定の距離よりも小さい場合は、視線が撮像部１４０１の垂直方向、若しくは垂直方向に対して近傍の横方向を向いていると判定でき、一方の目の角膜投影像と他方の角膜反射像との距離が、所定の距離よりも大きい場合は、視線が撮像部１４０１の垂直方向、若しくは垂直方向に対して近傍の横方向を向いていないと判定できる。

以上のような原理に基づき、視線方向判定部１４０５は、角膜投影像１６１１ａの座標点と角膜反射像１６０８ａの座標店との距離を算出し、所定の閾値と比較することによって、視線方向を判定する。

所定の閾値は、角膜形状を含む顔部品に起因するため、運転者の個性に合わせて設定される必要がある。

以上の説明においては、角膜投影像１６１１ａの座標点と角膜反射像１６０８ａの座標点との距離を視線方向判定部１４０５において算出することにより、視線方向を判定したが、実施の形態１において説明したように、評価値算出部を設けてもよい。

なお、実施の形態１において説明したとおり、図１７に示すように、警報装置部１７０１を更に有する構成としてもよい。図１７は、警報装置部１７０１を有する視線方向判定装置１７００の構成を示すブロック図である。警報装置部１７０１は、視線が正面方向を向いていないと判定された場合、正面を向いていないと判定された回数を表す警報カウントＮが所定の閾値を超えた場合は、長時間正面を見ていないと見なして警報を発する。

以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。本実施の形態では、自動車の車室内に設けられ、ドライバーの視線方向を検出して、正面を長時間向かなかった場合には警告を行う警報装置について説明したが、視線方向を判定する視線方向判定装置を有する電子機器であればどのような装置にも適用できる。

例えば、テレビ、スピーカなどの情報提示機器や、監視カメラなどの安全状態監視機器、スチールカメラやビデオカメラなどの映像記録機器、ロボットなどの生活補助機器、ＴＶゲームや体感ゲームなどの遊戯機器などに適用することも考え得る。上記機器に適用することで、従来の技術のように、個人ごとに校正をあらかじめ行ったりする必要がなく、かつ安定して視線方向の判定を行うことができるという効果を有する。

その場合、上記各実施の形態の警報装置は、入力画像を記録するための映像記録手段や、ロボットがユーザ又はロボットなどの状況を把握するための周辺情報把握手段、ゲームの状態を変化させるための状態更新手段などに置き換えることで、実現することができる。

また、上記各実施の形態における線対称位置算出方法は一例に過ぎず、様々な算出方法で代替可能である。また、線対称性評価値算出方法も他の算出方法を採ってもよい。但し、本発明者らの実験等によれば、線対称位置に対応する目の角膜反射像の中心との距離を基に、評価値を算出する本方法によると良好な結果が得られた。

また、本実施の形態では、視線方向判定装置及び視線方向判定方法という名称を用いたが、これは説明の便宜上であり、装置は視線検出装置、方法は視線方向検出方法等であってもよい。

さらに、上記視線方向判定装置を構成する各構成部、例えば顔検出部の種類、その顔部品検出方法など、さらには画像特徴検出部の種類などは前述した実施の形態に限られない。

以上説明した視線方向判定装置は、この視線方向判定装置の視線方向判定方法を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。

２００８年９月２６日出願の特願２００８−２４８８７７の日本出願に含まれる明細書、図面及び要約書の開示内容は、すべて本願に援用される。

本発明に係る視線方向判定装置及び視線方向判定方法は、パーソナルコンピュータ、ＯＡ機器、携帯電話などの情報端末や、自動車、飛行機、船、電車などの移動手段に搭載される情報提供装置として有用である。また、監視、警報装置や、ロボット、映像音響再生装置などの用途にも応用することができる。

１００，５００，１４００，１７００視線方向判定装置
１１０画像入力部
１１１撮像部
１１２照射部
１１３同期部
１２０顔検出部
１３０顔部品検出部
１４０画像特徴検出部
１４１瞳孔検出部
１４２角膜反射像検出部
１５０線対称位置算出部
１６０評価値算出部
１７０視線方向判定部
５０１顔方向算出部
５０２顔視線方向判定部
６００自動校正機能付き視線方向検出装置
６１０視線方向算出部
６２０視線検出校正部
６３０校正パラメータ記憶部
６４０出力部
１４００視線方向判定装置
１４０１撮像部
１４０２瞳孔検出部
１４０３角膜反射像検出部
１４０４線対称位置算出部
１４０５視線方向判定部
１５０１右目の瞳孔
１５０２左目の瞳孔
１５０３右目の眼球
１５０４左目の眼球
１５０５右目の瞳孔の中心と左目の瞳孔の中心とを結ぶ線分
１５０６平面
１５０７垂線
１５０８垂線
１５０９垂直二等分線
１５１０垂線の足
１５１１垂線の足
１６００顔画像
１６０１右目
１６０２左目
１６０３右目の角膜
１６０４左目の角膜
１６０５右目の瞳孔
１６０６左目の瞳孔
１６０７右目の角膜反射像
１６０８左目の角膜反射像
１６０９線分
１６１０垂直二等分線
１６１１角膜投影像１７００視線方向判定装置
１７０１警報装置部

Claims

両目を含む顔画像を撮像する撮像部と、
前記両目の角膜を光源によって照射する照射部と、
前記顔画像から、前記両目のうち、一方の目の瞳孔の中心座標である第１座標と、他方の目の瞳孔の中心座標である第２座標とを検出する瞳孔検出部と、
前記顔画像から、前記一方の目の角膜における前記光源の角膜反射像の中心座標である第３座標と、前記他方の目の角膜における前記光源の角膜反射像の中心座標である第４座標とを検出する角膜反射像検出部と、
前記第１座標と前記第２座標とを結ぶ第１の線分の垂直二等分線を算出し、前記垂直二等分線に対して前記第３座標と線対称の位置座標である線対称位置座標を算出する線対称位置算出部と、
前記第４座標と前記線対称位置座標との座標距離を算出し、前記座標距離と所定の閾値との比較に基づいて、前記両目の視線方向を判定する視線方向判定部と、
を備える視線方向判定装置。
前記撮像部から前記第１の線分を含む平面への垂線の足と、前記照射部から前記平面への垂線の足とを結ぶ第２の線分が、前記第１の線分と直行する請求項１記載の視差方向判定装置。
警報装置を更に有し、
前記警報装置は、前記視線方向判定部における判定結果を受け、前記視線方向が特定の方向ではないという判定結果を受けた回数をカウントし、前記カウント数が所定の回数を超えた場合は警告を発する請求項１記載の視線方向判定装置。
前記警報装置は、前記視線方向が前記特定の方向であるという判定結果を受けた場合、前記カウント数をゼロにする請求項３記載の視線方向判定装置。
前記顔画像に基づいて顔方向を判定する顔方向算出部と、
前記顔方向算出部において前記顔方向が前記特定の方向であると判定された場合は、前記座標距離と前記所定の閾値とに基づいて、視線方向を判定する顔視線方向判定部を更に有し、
前記視線方向判断部は、顔の方向をパラメータにして、視線方向を判定する請求項１記載の視線方向判定装置。
前記撮像部において取得した前記顔画像から視線方向情報を算出する視線方向算出部と、
前記視線方向判定部における判定結果と、前記視線方向算出情報とに基づいて、前記視線方向のずれ値を算出し、前記ずれ値に基づいて視線方向を校正する校正部と、
を備える請求項１記載の視線方向判定装置。
両目を含む顔画像を撮像し、
前記両目の角膜を光源によって照射し、
前記顔画像から、前記両目のうち、一方の目の瞳孔の中心座標である第１座標と、他方の目の瞳孔の中心座標である第２座標とを検出し、
前記顔画像から、前記一方の目の角膜における前記光源の角膜反射像の中心座標である第３座標と、前記他方の目の角膜における前記光源の角膜反射像の中心座標である第４座標とを検出し、
前記第１座標と前記第２座標とを結ぶ第１の線分の垂直二等分線を算出し、前記垂直二等分線に対して前記第３座標と線対称の位置座標である線対称位置座標を算出し、
前記第４座標と前記線対称位置座標との座標距離を算出し、前記座標距離と所定の閾値との比較に基づいて、前記両目の視線方向を判定する視線方向判定方法。