JP4186567B2

JP4186567B2 - 目判定装置及び方法

Info

Publication number: JP4186567B2
Application number: JP2002274551A
Authority: JP
Inventors: 健藤松
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2002-09-20
Filing date: 2002-09-20
Publication date: 2008-11-26
Anticipated expiration: 2022-09-20
Also published as: JP2004110621A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮影された映像に目があるかどうかを判定し、目がある場合にその映像をキャプチャする目判定装置及び方法に関するものである。
【０００２】
【従来の技術】
従来、撮影された映像に目があるかどうかを判定する目判定装置として、撮影された映像に、撮影時の光源によって発生した目の瞳孔による鏡面反射像（高輝度部分）があるかどうかを検索し、あれば、その大きさや、円形度、エッジ強度などを判定し、その判定結果に基づいて目の存在を判定するものが知られている（例えば特許文献１参照）。
【０００３】
【特許文献１】
特開平１０―２６９３５６号公報（第１―２頁、図１）
【０００４】
【発明が解決しようとする課題】
しかしながら、従来知られているものは、撮影された映像内に、鏡面反射像、すなわち、高輝度部があるかどうかを検索し、その結果に基づいて目の存在を判定するようにしているだけであり、最終的には、高輝度部の大きさ、円形度、エッジ強度などを考慮に入れて判定するとは言うものの、周囲に他の光源があったり、被測定者がめがねをかけていたりした場合には、瞳孔による鏡面反射像のほかに、同じような大きさ、円形度の高輝度部が発生する可能性があり、このような場合には、判定そのものを大きく誤ってしまうという問題があった。
【０００５】
本発明は、以上のような従来の問題に鑑みてなされたものであり、より精度良く目の存在を判定できる目判定装置及び方法を提供するものである。
【０００６】
【課題を解決するための手段】
本発明の目判定装置は、撮影装置で撮影された映像から目の位置を簡易的に検出する簡易目位置検出手段と、簡易目位置検出手段で検出された目の位置を基に検索ウインドウを作成する検索ウインドウ作成手段と、検索ウインドウ内の映像から高輝度部を検出する高輝度部検出手段と、高輝度部検出手段で検出された高輝度部の中に予め定めた規定範囲内の面積を持つ高輝度部があるかどうかを判定する判定手段とを備え、判定手段によって予め定めた規定範囲内の面積を持つ高輝度部があると判定されたとき、撮影装置で撮影された映像に目が存在すると判断し撮影装置で撮影された映像をキャプチャする構成とした。
【０００７】
この構成により、簡易的に目の位置を検出し、その位置を基に検索ウインドウを作成し、その検索ウインドウ内で予め定めた規定範囲内の面積を持つ高輝度部があるかどうかを検出するようにしているため、他の光源があったり、めがねがあったりしても、それらにほとんど影響されることなく精度良く目の存在を判定することができるという作用を有する。
【０００８】
また、本発明の目判定装置は、簡易目位置検出手段が、撮影装置で撮影された映像を二値化する二値化手段と、二値化手段で二値化された映像からＸ軸、Ｙ軸毎の投影出力を得る投影処理手段と、投影出力を基に二値化手段で二値化された映像の重心位置を算出し、目の位置を検出する検出手段とを備えた構成を有している。
【０００９】
この構成により、簡易的に目の位置を素早く算出することができ、全体として、その動作を素早くスムーズに実行することができる。
【００１０】
また、本発明の目判定装置は、高輝度部検出手段で検出された高輝度部に撮影時の光源による鏡面反射像を含んでおり、規定範囲が鏡面反射像による高輝度部の面積を含むように設定されている構成とした。
【００１１】
この構成により、撮影時の照明光源による目の瞳孔からの鏡面反射像を正確に検出することができ、目の存在を正確に判定することができるようになる。
【００１２】
また、本発明の目判定装置は、規定範囲内の面積を持つ高輝度部があったとき、規定範囲内の面積を持つ高輝度部の外方の輝度を測定し積分する積分手段と、積分手段で積分された輝度値を予め定めた閾値と比較し、規定範囲内の面積を持つ高輝度部が何処からの反射光によるものであるかを判定する第２の判定手段とを備え、第２の判定手段によって目の位置を判定する構成とした。
【００１３】
この構成により、目の位置をより正確に検知することができ、目の存在をより正確に判定することができる。
【００１４】
また、本発明の目判定装置は、積分手段が規定範囲内の面積を持つ高輝度部の重心位置を中心とする予め定めた半径ｒの円周上の輝度を測定し積分する構成とした。
【００１５】
この構成により、高輝度部の外方の位置を容易に設定でき、外方の輝度を簡単に測定し積分することができる。
【００１６】
また、本発明の目判定装置は、半径ｒが規定範囲内の面積を持つ高輝度部の半径より大きく瞳孔の半径より小さい構成とした。
【００１７】
この構成により、瞳孔、虹彩、白目などを正確に区別して目の位置を判定することができ、より正確に目の位置を判定することができる。
【００１８】
また、本発明の目判定方法は、撮影された映像を入力するステップと、入力された映像から目の位置を簡易的に検出するステップと、検出された目の位置を基にして検索ウインドウを作成するステップと、検索ウインドウ内の映像から高輝度部を検出するステップと、検出された高輝度部の中に予め定めた規定範囲内の面積を持つ高輝度部があるかどうかを判定するステップと、判定するステップにおいて規定範囲内の面積を持つ高輝度部があると判定されたとき、入力した映像に目が存在すると判断し、入力した映像をキャプチャするステップとを備えている。
【００１９】
この方法により、他の光源があったり、めがねをかけていたりした場合でも、それらに殆ど影響されることなく正確に目の位置を検出することができる。
【００２０】
また、本発明の目判定方法は、規定範囲内の面積を持つ高輝度部があると判定されたとき、規定範囲内の面積を持つ高輝度部の外方の輝度を測定し積分するステップと、積分された輝度値を予め定めた閾値と比較し、規定範囲内の面積を持つ高輝度部が何処からの反射光によるものであるかを判定するステップとを備え、規定範囲内の面積を持つ高輝度部が何処からの反射光によるものであるかを判定することによって目の位置を判定し入力した映像をキャプチャするようにしている。
【００２１】
この方法により、目の位置をより正確に検知し、目の存在をより正確に判定することができる。
【００２２】
【発明の実施の形態】
以下、本発明の一実施の形態について、図面を用いて詳細に説明する。
【００２３】
図１は、本発明の一実施の形態における目判定装置の概略構成図である。
【００２４】
本発明の一実施の形態における目判定装置は、図１に示すように、被写体を撮影する撮影装置１と、被写体に撮影時の照明光を与える発光ダイオードなどの光源２と、これらの撮影装置１、光源２をそれぞれ駆動したり、撮影装置１によって撮影された映像を入力し、それを基に目の存在を判定したりする目判定装置本体３とを備えている。
【００２５】
なお、目判定装置本体３は、入力部、出力部のほかに、入力部より入力された映像を一時記憶するメモリや、これらを制御するマイクロコンピュータ等の中央処理装置（ＣＰＵ）などを備えている。
【００２６】
次に、本発明の一実施の形態における目判定装置について、その動作を説明する。
【００２７】
図２は、本発明の一実施の形態における目判定装置の動作を示すフロー図であり、図３、図４は、それぞれの動作状態における動作説明図である。
【００２８】
まず、被写体を撮影する場合には、光源２で被写体を照明し、撮影装置１で被写体を撮影する。なお、ここで、虹彩などを測定する場合には、光源として赤外線を発するものを用いることが望ましい。
【００２９】
撮影装置１で被写体を撮影し、撮影した映像を目判定装置本体３に入力する（Ｓ２０１）と、目判定装置本体３は、入力された映像をまず二値化する（Ｓ２０２）。そして、二値化された映像について、Ｘ軸、Ｙ軸方向でそれぞれ投影処理を実施し（Ｓ２０３）、その映像の重心位置を計算する（Ｓ２０４）。計算された重心位置は、以下に説明するように、その映像中に目が存在した場合、ほぼ目の位置に合致するため、この位置を簡易的に目の位置と判断する。
【００３０】
すなわち、撮影装置１で撮影された映像が、図３（Ａ）に示すように目を含む映像であったとすると、これを二値化した場合、図３（Ｂ）に示すように、目の瞳孔部分がより鮮明に現れることになる。したがって、ここで、二値化された映像について、Ｘ軸、Ｙ軸方向にそれぞれ投影処理すると、その出力はそれぞれ１１、１２に示すようになり、その出力１１、１２を基に重心位置１３を求めると、その位置１３は、まつげ１４などの影響で多少瞳孔１５の位置とは異なるが、ほぼ瞳孔１５の位置を表すことになる。したがって、この位置１３を簡易的に先ず目の位置と判断する。
【００３１】
このようにして目の位置を簡易的に検出すると、次に、その位置を基にして検索ウインドウ１６を作成する（Ｓ２０５）。検索ウインドウ１６を作成する場合には、図４（Ａ）に示すように、簡易的に求めた目の位置１５が検索ウインドウ１６の中心に合致するように、あるいは、まつげの影響で簡易的に求めた目の位置１５が上方にずれる場合があることを考慮して、検索ウインドウ１６を下に長めに取るように位置決めし、その大きさは、瞳孔１５を含む虹彩部分１７の一部が充分選択される程度の大きさになるように作成する。
【００３２】
このようにして検索ウインドウ１６を作成すると、次に、その検索ウインドウ１６によって囲まれた範囲内の映像を取り出し、その映像内の高輝度部を検出する（Ｓ２０６）。高輝度部がない場合は、目の位置でないと判断し、再び、その次に撮影した映像を目判定装置本体３に入力する（Ｓ２０１）するが、高輝度部が存在する場合には、それらの高輝度部をそれぞれグループ分けして（Ｓ２０７）、各グループの面積を計算する（Ｓ２０８）。
【００３３】
今、検索ウインドウ内において、図４（Ｂ）に示すように、３つの高輝度部が存在したとすると、これらの高輝度部がそれぞれ第１、第２、第３のグループの高輝度部１８、１９、２０にグループ分けされ、それぞれのグループの高輝度部１８、１９、２０においてその面積が計算される。
【００３４】
そして、その計算結果に基づいて、各グループの高輝度部１８、１９、２０の面積が予め定めた規定の範囲内のものであるかどうかがそれぞれ順に判断され（Ｓ２０９）、全てが規定の範囲外のものであれば（Ｓ２１０のＮ）、ステップ２０１に移行し、１つでも規定範囲内のものがあれば（Ｓ２１０のＹ）、ステップＳ２０１において入力した映像に目が存在すると判断し、その映像をキャプチャする（Ｓ２１１）。
【００３５】
なお、ここで、予め定めた規定の範囲は、例えば、図５に示すように、面積Ｍ１〜Ｍ２の範囲（但し、Ｍ１＜Ｍ２）に設定されており、面積Ｍ１より小さい場合には、瞳孔以外の部分で反射された反射光、面積Ｍ２より大きい場合には、めがねなどで反射された反射光とそれぞれ判断し、これらの反射光を除外して光源１による瞳孔１５からの鏡面反射像のみをできるだけ正確に判断できるように、その範囲（Ｍ１〜Ｍ２）が設定されている。
【００３６】
したがって、図４（Ｂ）に示すように、第１のグループの高輝度部１８が予め定めた規定の範囲（Ｍ１〜Ｍ２）のものであり、第２、第３のグループの高輝度部１９、２０が予め定めた規定の範囲（Ｍ１〜Ｍ２）の外であった場合には、第１のグループの高輝度部１８のみが規定の範囲（Ｍ１〜Ｍ２）内の反射光であると判断され、第２、第３のグループの高輝度部１９、２０は、瞳孔以外の部分で反射された規定の範囲（Ｍ１〜Ｍ２）より小さい反射光であると判断される。そして、この場合には、面積が予め定めた規定の範囲（Ｍ１〜Ｍ２）内の高輝度部が存在すると判定され（Ｓ２１０のＹ）、ステップＳ２０１において入力された映像に目が存在すると判断され、その映像をキャプチャする（Ｓ２１１）。
【００３７】
このように、本実施の形態によれば、目の位置を簡易的に求め、その位置を基にして検索ウインドウを形成し、検索ウインドウ内に存在する映像を基にして高輝度部を検索し、検索された高輝度部に面積が予め定めた規定の範囲（Ｍ１〜Ｍ２）内のものがあれば、その映像に目があると判断し、その映像をキャプチャするようにしており、したがって、周囲に他の光源があったり、目以外の部分で反射された高輝度部があったり、めがねによる反射光があったりしても、それらは検索ウインドウ内に多く存在することがなく、仮に存在したとしても、その大きさが規定範囲（Ｍ１〜Ｍ２）内でないことからそれらにほとんど影響されることなく常に精度良く目の存在を判定することができ、正しく必要な映像をキャプチャすることができる。
【００３８】
なお、本実施の形態では、光源１を１個設けただけであるが、２個またはそれ以上設けてもよい。光源を２個またはそれ以上設けた場合には、光源１による瞳孔からの鏡面反射光がそれぞれ光源１の数だけ表れるため、それらの反射光の面積がすべて予め定めた規定の範囲（Ｍ１〜Ｍ２）内にあるかどうかを判定したり、それらの反射光の位置関係が予め定めた位置関係にあるかどうかを判断したりするように構成することが望ましい。すなわち、このように構成した場合には、目の存在をより精度良く判断することができ、より精度良く必要な映像をキャプチャすることができる。
【００３９】
また、本実施の形態では、検索ウインドウ内に存在する映像を基に高輝度部を検索し、検索された高輝度部に面積が予め定めた規定の範囲（Ｍ１〜Ｍ２）内のものがあれば、その映像に目があると判断しているが、目の位置をより正確に判定するためには、面積が予め定めた規定の範囲（Ｍ１〜Ｍ２）内の高輝度部を基にして次の判定を行うようにすればよい。
【００４０】
図６は、目の位置をより正確に判定するために、図２に示したフローに新たに付加するフローを示している。以下、このフロー図に従いその動作を説明する。
【００４１】
検索ウインドウ１６内に存在する映像を基に高輝度部を検索し、検索された高輝度部に面積が予め定めた規定の範囲（Ｍ１〜Ｍ２）内のものがあるかどうかを判断し（Ｓ２１０）、あった場合（Ｓ２１０のＹ）には、その規定の範囲（Ｍ１〜Ｍ２）内の高輝度部１８に関し、図７（Ａ）に示すように、重心位置２１を算出し（Ｓ６０１）、その重心位置２１を中心とした半径ｒの円周上の輝度を測定し（Ｓ６０２）、積分する（Ｓ６０３）。そして、積分された輝度値Ｋが予め定めた第１の閾値Ｋ１以下かどうかを判定し（Ｓ６０４）、第１の閾値以下でなければ、第２の閾値Ｋ２（Ｋ２＞Ｋ１）以上かどうかを判定する（Ｓ６０５）。
【００４２】
そして、これらの判定結果に基づいて高輝度部１８が瞳孔からの反射光によるものか、虹彩からの反射光によるものか、白目からの反射光によるものかをそれぞれ判断し、希望するものからの反射光であるかどうかを最終的に判定する。
【００４３】
例えば、高輝度部１８の重心位置２１からの半径ｒを予め定めた規定の範囲（Ｍ１〜Ｍ２）の半径より大きく、瞳孔の半径より小さく設定すれば、高輝度部１８が瞳孔からの反射光によるものである場合に、積分された輝度値Ｋが最も小さくなり、虹彩からの反射光によるものである場合に、次に小さく、白目からの反射光によるものである場合に、最も大きくなるので、図７（Ｂ）に示すように、第１、第２の閾値Ｋ１、Ｋ２を、積分された輝度値Ｋが第１の閾値Ｋ１より小さければ瞳孔からの反射光、第１の閾値Ｋ１と第２の閾値Ｋ２との間の値であれば虹彩からの反射光、第２の閾値Ｋ２より大きければ白目からの反射光となるようにそれぞれ設定すれば、これらの閾値Ｋ１、Ｋ２を用いて、積分した輝度値Ｋがどの閾値Ｋ１、Ｋ２より小さいか、大きいかで、何処からの反射光であるかを正確に判定することができる。
【００４４】
図６に示す実施の形態では、積分した輝度値Ｋが第１の閾値Ｋ１を超えた場合（Ｓ６０４のＮ）、その画像を放棄し、第１の閾値以下の時（Ｓ６０４のＹ）のみ、その画像をキャプチャする（Ｓ６０６）ようにしており、結果として瞳孔からの反射光のみで目の位置を検出することになり、目の位置をより正確に判定することができる。
【００４５】
なお、図６に示す実施の形態において、積分した輝度値Ｋが第２の閾値以下の時（Ｓ６０５のＮ）でも、その画像をキャプチャするように構成すれば、虹彩からの反射光でも目の位置を判定することができることは言うまでもないことである。
【００４６】
【発明の効果】
以上、説明したように、本発明によれば、他の光源があったり、めがねがあったりしても、それらに余り影響されることなく目の存在を判定することができ、より精度良く必要な映像をキャプチャすることができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態における目判定装置の概略構成図
【図２】本発明の一実施の形態における目判定装置の動作を示すフロー図
【図３】本発明の一実施の形態における目判定装置において目の位置を簡易的に検出する場合の概略説明図
（Ａ）撮影装置によって撮影された目の映像の一例を示す図
（Ｂ）二値化された映像と、各軸毎に投影処理された出力の波形図
【図４】本発明の一実施の形態における目判定装置において目の存在を判断する場合の概略説明図
（Ａ）検索ウインドウを示す概念図
（Ｂ）検索ウインドウ内の映像拡大図
【図５】本発明の一実施の形態における目判定装置において目の存在を判断する場合に使用する予め定めた規定の範囲を説明する概略説明図
【図６】本発明の他の実施の形態における目判定装置において新たに付加した部分の動作を説明するフロー図
【図７】本発明の他の実施の形態における目判定装置において目の位置をより正確に判定する場合の説明図
（Ａ）高輝度部とその重心の位置を中心とした半径ｒの円周を示す図
（Ｂ）積分した輝度Ｋと、２つの閾値Ｋ１、Ｋ２を示す図
【符号の説明】
１撮影装置
２光源
３目判定装置本体
１１、１２出力
１３重心位置
１４まつげ
１５瞳孔
１６検索ウインドウ
１７虹彩
１８、１９、２０高輝度部

Claims

撮影装置で撮影された映像から目の位置を簡易的に検出する簡易目位置検出手段と、前記簡易目位置検出手段で検出された目の位置を基に検索ウインドウを作成する検索ウインドウ作成手段と、前記検索ウインドウ内の映像から高輝度部を検出する高輝度部検出手段と、前記高輝度部検出手段で検出された高輝度部の中に予め定めた規定範囲内の面積を持つ高輝度部があるかどうかを判定する第１の判定手段とを備え、前記第１の判定手段によって予め定めた規定範囲内の面積を持つ高輝度部があると判定されたとき、前記撮影装置で撮影された映像に目が存在すると判断し、目が存在すると判断された前記映像をキャプチャする目判定装置であって、
前記規定範囲内の面積を持つ高輝度部があったとき、前記規定範囲内の面積を持つ高輝度部の外方の輝度を測定し積分する積分手段と、前記積分手段で積分された輝度値を予め定めた閾値と比較し、前記規定範囲内の面積を持つ高輝度部が何処からの反射光によるものであるかを判定する第２の判定手段とをさらに備え、前記第２の判定手段によって目の位置を判定することを特徴とする目判定装置。
撮影装置で撮影された映像から目の位置を簡易的に検出する簡易目位置検出手段と、前記簡易目位置検出手段で検出された目の位置を基に検索ウインドウを作成する検索ウインドウ作成手段と、前記検索ウインドウ内の映像から高輝度部を検出する高輝度部検出手段と、前記高輝度部検出手段で検出された高輝度部の中に予め定めた規定範囲内の面積を持つ高輝度部があるかどうかを判定する第１の判定手段とを備え、前記第１の判定手段によって予め定めた規定範囲内の面積を持つ高輝度部があると判定されたとき、前記撮影装置で撮影された映像に目が存在すると判断し、目が存在すると判断された前記映像をキャプチャする目判定装置であって、
前記規定範囲内の面積を持つ高輝度部があったとき、前記規定範囲内の面積を持つ高輝度部の重心位置を中心とする予め定めた半径ｒの円周上の輝度を測定した積分値を算出する積分手段と、前記積分値とあらかじめ定めた第１の閾値および第２の閾値とを比較し、前記規定範囲内の面積を持つ高輝度部が何処からの反射光によるものであるかを判定する第２の判定手段とを備えたことを特徴とする目判定装置。
前記簡易目位置検出手段が、前記撮影装置で撮影された映像を二値化する二値化手段と、前記二値化手段で二値化された映像からＸ軸、Ｙ軸毎の投影出力を得る投影処理手段と、前記投影出力を基に前記二値化手段で二値化された映像の重心位置を算出し、目の位置を検出する検出手段とを備えていることを特徴とする請求項１記載の目判定装置。
前記高輝度部検出手段で検出された高輝度部に撮影時の光源による鏡面反射像を含んでおり、前記規定範囲が前記鏡面反射像による高輝度部の面積を含むように設定されていることを特徴とする請求項１から請求項３までのいずれか１項に記載の目判定装置。
前記半径ｒが前記規定範囲内の面積を持つ高輝度部の半径より大きく瞳孔の半径より小さいことを特徴とする請求項２記載の目判定装置。
撮影された映像を入力するステップと、入力された映像から目の位置を簡易的に検出するステップと、検出された目の位置を基にして検索ウインドウを作成するステップと、前記検索ウインドウ内の映像から高輝度部を検出するステップと、検出された高輝度部の中に予め定めた規定範囲内の面積を持つ高輝度部があるかどうかを判定する第１の判定ステップと、前記第１の判定ステップにおいて前記規定範囲内の面積を持つ高輝度部があると判定されたとき、入力した映像に目が存在すると判断し入力した映像をキャプチャするステップとを備えた目判定方法であって、
前記規定範囲内の面積を持つ高輝度部があると判定されたとき、前記規定範囲内の面積を持つ高輝度部の重心位置を中心とする予め定めた半径ｒの円周上の輝度を測定した積分値を算出するステップと、前記積分値とあらかじめ定めた第１の閾値および第２の閾値とを比較し、前記規定範囲内の面積を持つ高輝度部が何処からの反射光によるものであるかを判定する第２の判定ステップとをさらに備えたことを特徴とする目判定方法。