JP4043973B2

JP4043973B2 - 顔検出システムとその方法

Info

Publication number: JP4043973B2
Application number: JP2003052046A
Authority: JP
Inventors: 貢己山田; 和広福井
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2003-02-27
Filing date: 2003-02-27
Publication date: 2008-02-06
Anticipated expiration: 2023-02-27
Also published as: JP2004259215A

Description

【０００１】
【発明の属する技術分野】
本発明は、広範囲の顔向き角度に対して、画像中から人物の顔画像を適切に切り出す、顔画像による顔検出システムとその方法に関する。
【０００２】
【従来の技術】
（１）顔検出の応用
画像による顔検出は、２次元画像データ中に人物の顔が存在するかどうかを検査し、存在する場合にはその位置を求める技術であり、様々な分野で利用可能である。しかしながら、カメラで撮影した画像中から様々な状態（様々な顔向き、様々な照明条件、様々な表情など）の顔を、コンピュータを利用してリアルタイムで頑健に検出することは難しく、コンピュータビジョン分野の最先端技術をもってしてもまだ充分な性能に達したとは言えない。このため、顔検出の応用分野にはまだ顕在化していないものもあると思われる。
【０００３】
現在において、顔検出技術は、主としてドアロックのようなセキュリティシステムへの応用としての顔認識システムに使われている。しかし、かりに顔検出技術の性能がさらに向上し様々な顔向きに対しても顔検出及び顔向き計算ができるようになれば、乗り物の運転者、展示物の観客、コンソール端末の操作者、ゲーム端末の操作者などに対して顔検出技術が応用可能である。
【０００４】
乗り物の運転者に対しては、顔検出及び顔向き計算により運転に支障となる脇見を検知して警報を鳴らせたり、顔向きに応じて安全運行のための適切な情報を提示することができる。
【０００５】
展示物の観客に対しては、顔検出及び顔向き計算により観客の注目している展示を見極めて、その展示に関する情報を自動提示することができる。
【０００６】
コンソール端末の操作者に対しては、顔検出及び顔向き計算により操作しようとしている表示窓を特定してカーソルを移動させたりして業務効率を高めることができる。
【０００７】
ゲーム端末の操作者に対しては、顔検出及び顔向き計算によりゲーム環境の視点を変更したり、シューティングの狙いを定めたり、首振り動作を用いて登場人物とのコミュニケーションに役立てたりすることができる。
【０００８】
（２）従来の顔検出技術
従来の顔検出技術のうち有望なものの一つとして、分離度フィルタを用いた目鼻などの顔の特徴点の検出と、特徴点を含む領域のパターンの検出とを組み合わせるものがある（例えば、特許文献１、非特許文献１、２参照）。この組み合わせの方法は、処理が複雑にはなるが、分離度フィルタを用いた特徴点検出のみで顔の検出を行わせる方法や、顔領域全体のパターンとの照合のみで顔の検出を行わせる方法よりも頑健で高精度な顔検出が行える。しかしながら、この手法は顔向きの大きな変化に対しては顔検出を失敗することがあった。
【０００９】
顔検出の別の手法として、顔向きの異なる顔向きテンプレートを予め登録しておき、それを用いる方法がある（例えば、非特許文献３参照）。この方法は顔向きの大きな変化に対しても顔検出が行えるが、特徴点検出の精度に関しては分離度フィルタを用いた方法には及ばない。
【００１０】
さらに、従来の顔検出技術においては、顔の特徴点として目を利用しており、眼鏡を着用している場合に顔検出を失敗することがあった。
【００１１】
【特許文献１】
特許第３２７９９１３号公報
【００１２】
【非特許文献１】
山口、福井、「顔向きや表情の変化にロバストな顔認識システム“Ｓｍａｒｔｆａｃｅ”」、電子情報通信学会論文誌、２００１年６月、第Ｊ８４−Ｄ−II巻、第６号、ｐ．１０４５−１０５２
【００１３】
【非特許文献２】
福井、山口、「形状抽出とパターン照合の組合わせによる顔特徴点抽出」、電子情報通信学会論文誌、１９９７年８月、第Ｊ８０−Ｄ−II巻、第８号、ｐ．２１７０−２１７７
【００１４】
【非特許文献３】
Ａ．Ｐｅｎｔｌａｎｄ，他２名、Ｖｉｅｗ−ｂａｓｅｄａｎｄｍｏｄｕｌａｒｅｉｇｅｎｓｐａｃｅｓｆｏｒｆａｃｅｒｅｃｏｇｎｉｔｉｏｎ，ＰｒｏｃｅｅｄｉｎｇｓｏｆＩＥＥＥＣｏｍｐｕｔｅｒＳｏｃｉｅｔｙＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，（Ｓｅａｔｔｌｅ，米国），１９９４年、ｐ．８４−９１
【００１５】
【発明が解決しようとする課題】
本発明は、上記事情を考慮してなされたもので、その目的は、人物の顔向きが左右に大きく変化したり、眼鏡を着用している場合でも、頑健で高精度の顔検出システムとその方法を提供することにある。
【００１６】
なお、「頑健」とは、画像によって顔検出処理などを行う際に、「悪条件においても大きな失敗をしにくい性質」のことを言う。例えば、顔画像が変形したり、照明条件が変化したり、化粧によって顔画像の色合いが変化しても、検出処理の失敗が起きにくいとき、「頑健な顔検出方式」等と呼ぶ。
【００１７】
そして、本発明は主として、顔が大きく横を向いた場合の顔検出処理の頑健性に関して優れた技術を提供する。
【００１８】
【課題を解決するための手段】
本発明は、画像中から人物の顔を検出する顔検出システムであって、前記画像を取得する画像取得手段と、前記取得した画像から特徴点候補の抽出を分離度フィルタによって行う分離度検出手段と、複数の顔向きテンプレートを記憶した顔向きテンプレート記憶手段と、右鼻孔テンプレートを記憶した右鼻孔テンプレート記憶手段と、左鼻孔テンプレートを記憶した左鼻孔テンプレート記憶手段と、前記抽出した特徴点候補に前記記憶した右鼻孔テンプレートを照合してテンプレートマッチングを行って右鼻孔検出を行う右鼻孔検出手段と、前記抽出した特徴点候補に前記記憶した左鼻孔テンプレートを照合してテンプレートマッチングを行って左鼻孔検出を行う左鼻孔検出手段と、前記右鼻孔が検出されたときは正面向きと左向きの顔向きテンプレート、または、前記左鼻孔が検出されたときは正面向きと右向きの顔向きテンプレートを選択し、この選択した顔向きテンプレートを前記取得した画像に照合してテンプレートマッチングを行って顔検出を行う顔検出手段と、を備えたことを特徴とする顔検出システムである。
【００２６】
本発明は、分離度フィルタと、右鼻孔テンプレートを用いた右鼻孔検出と左鼻孔テンプレートを用いた左鼻孔検出と複数の顔向きテンプレートを用いた顔検出を組み合わせているために、人物の顔向きが左右に大きく変化しても、頑健で高精度の顔検出システムを提供することができる。
【００３５】
【発明の実施の形態】
以下、図面を参照しながら本発明の各実施形態を説明する。
【００３６】
（第１の実施形態）
（１）用語の定義
本明細書において、前提となる用語の定義を行う。
【００３７】
（１−１）「左右」の定義について行う。
【００３８】
左右の定義は、被写体（主として人物の顔）の解剖学的な左右とすることを基本とする。通常のカメラで正面から撮影した正常な（逆さまではない）顔画像における右目は、我々が顔画像を見るときに、我々から顔画像に向かって左側にあることになる。顔向き、鼻孔についてもこれと同様とする。また、図３で説明される左向きの顔は、我々から顔画像に向かって右を向いている。一方、右向きの顔は、我々から顔画像に向かって左を向いている。さらに、図２、３における右鼻孔２３、３３は、我々から図に向かって左側にあり、左鼻孔２４、３４は、我々から図に向かって右側にある。以上のように左右を定義することにより、たとえ、被写体が逆さまになっていようとも、右目や右向きの定義に曖昧さは生じない。
【００３９】
右鼻孔と左鼻孔を総称して、両鼻孔に対して「単鼻孔」と呼ぶことにする。
【００４０】
（１−２）「顔向きの正面向き」、「上向き」、「下向き」、「右向き」、「左向き」、「上向き度」、「横向き度」の定義について行う。
【００４１】
カメラに写る顔画像は頭部の姿勢によって見え方が変化する。そのため、カメラを基準にした頭部の姿勢（すなわち、顔の姿勢）のことを「顔向き」と呼ぶことにする。
【００４２】
図２のように真っ直ぐにカメラに顔を向けたときの顔向きを「正面向き」とする。
【００４３】
正面向きよりも上を向いたとき「上向き」と呼び、角度変化が大きいほど「上向き度」が大きいとする。
【００４４】
正面向きよりも下を向いたとき「下向き」と呼ぶ。
【００４５】
正面向きよりも右を向いたとき「右向き」と呼び、角度変化が大きいほど右向き度が大きいとする。
【００４６】
正面向きよりも左を向いたとき「左向き」と呼び、角度変化が大きいほど左向き度が大きいとする。
【００４７】
図４に示したように、この右向き度と左向き度を総称して「横向き度」と呼ぶことにする。
【００４８】
（１−３）テンプレートマッチングについて以下に説明する。
【００４９】
「マッチング」とは（例えば、非特許文献４参照）、同じサイズの２つの画像があるとき、両者を重ね合わせてその違いを見ることでそれらが同じものか否かを判断することをいう。「マッチング」は「照合」ともいう。
【００５０】
「テンプレートマッチング」とは（例えば、非特許文献４「画像処理標準テキストブック編集委員会（編）、画像処理標準テキストブック、画像情報教育振興協会(CG-ARTS)、１９９７年」参照）、「テンプレート」と呼ばれる標準画像を予め用意しておき、対象画像とこのテンプレートとのマッチングによって対象画像がテンプレートと同じものであるかどうか判断することをいう。
【００５１】
２つの画像の違いを測る尺度としては、例えば、差の絶対値の和（ＳＡＤ：ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）が用いられる。ＳＡＤは、画像サイズがＭ×Ｎの対象画像をＩ（ｍ、ｎ）、（ｍ＝１、…、Ｍ、ｎ＝１、…、Ｎ）、事前に用意する標準パターンであるテンプレートをＴ（ｍ、ｎ）、（ｍ＝１、…、Ｍ、ｎ＝１、…、Ｎ）とすると、差Ｉ（ｍ、ｎ）−Ｔ（ｍ、ｎ）の絶対値をｍ＝１、…、Ｍ、ｎ＝１、…、ＮについてＭ×Ｎ個の和を計算することで得られる。
【００５２】
他に用いられる尺度として、正規化相互相関や差の自乗和がある。ここでは、さらに、部分空間法や増分符号相関法を用いた尺度も含めることにする。すなわち、マッチングの尺度が定義されるならば、用いられるテンプレートが元の画像そのままではなく変換されたものである場合も含めることにする。尺度を別の言葉で、「類似度」、「相違度」と呼ぶことがある。このとき、２つの画像の違いが小さいほど大きな値をとる場合は「類似度」、違いが小さいほど小さな値をとる場合は「相違度」と呼ぶ。
【００５３】
顔検出システムに入力された画像がＭ×Ｎより大きなサイズであり、比較すべき対象画像が、その画像中のどこに含まれているか予め分かっていない場合は、画像中をテンプレートを移動させながら両画像の類似度を調べていく。そして、最大類似度が、予め設定しておいた閾値よりも大きい場合に、テンプレートと同じものが最大類似度を与える位置に検出されたと判断する。最大類似度が、予め設定しておいた閾値よりも小さい場合は、入力された画像中にテンプレートと同じものは検出されなかったと判断する。
【００５４】
テンプレートの画像サイズよりも大きな画像サイズの対象画像を検出することが必要な場合がある。そのときは、画像中をテンプレートを移動させることと同時に画像を縮小することを行ってマッチングをとる。例えば、顔を検出するための顔テンプレートの画像サイズが１５×１５で、画像中の顔領域のサイズが１００×１００である場合等である。この場合、画像を縮小率＝１５／１００で縮小する処理と画像中をテンプレートを移動させる処理との両方を行う。顔領域のサイズが予め分かっていない場合は、縮小率も変化させる必要があり、様々な縮小率の値についてマッチングをとる。テンプレートのサイズを画像中の対象領域のサイズよりも小さくすることで、計算機処理時間やメモリ量の節約になる。
【００５５】
このようにしてテンプレートマッチングの処理により、テンプレートと同じものが画像中に存在するかどうか、存在するとすればその検出位置と大きさを知ることができる。存在すると判断された場合は「検出された」という。検出位置は、テンプレートと重ね合わせたときのテンプレートの中心位置や、テンプレートの左上隅、右下隅の位置等、その後の処理に便利な方法で表現する。
【００５６】
（２）顔向き計算システム１の構成
図１は、本発明の第１の実施形態に係る顔向き計算システム１を示す構成図である。
【００５７】
顔向き計算システム１は、画像を入力すると、画像中から顔を発見し、頭部位置と鼻位置と顔向きを出力するものであり、システム内部に、分離度フィルタによる右鼻孔検出と左鼻孔検出を行う部分と、複数の顔向きテンプレートによる顔検出を行う部分を持つことが特徴であり、図１に示すように、鼻検出部２と、画像入力部３と、顔検出部１０と、顔向きテンプレート格納部１１と、顔向き計算部１２から構成されている。
【００５８】
（２−１）画像入力部３
画像入力部３は、カメラから画像入力を受け取り、格納し、必要に応じて鼻検出部２や顔検出部１０に画像を送る。
【００５９】
（２−２）鼻検出部２
鼻検出部２は、画像入力部３に入力された画像を受け取り、画像中に鼻が存在するかどうか判定し、判定結果と、検出された鼻と鼻孔の位置の情報を顔検出部１０へ送るものであり、図１に示すように、分離度検出部４と、右鼻孔検出部５と、右鼻孔テンプレート格納部６と、左鼻孔検出部７と、左鼻孔テンプレート格納部８と、鼻検出判定部９から構成されている。
【００６０】
分離度検出部４は、画像入力部３から画像を受け取り、分離度フィルタを用いて顔の特徴点候補を抽出し、特徴点候補の情報と画像を右鼻孔検出部５と左鼻孔検出部７へ送る。
【００６１】
右鼻孔検出部５は、分離度検出部４から特徴点候補の情報と画像を受け取り、右鼻孔テンプレート格納部６から右鼻孔テンプレートを受け取り、これらの情報を元に画像中に右鼻孔が存在するかどうか探索を行い、存在する場合は右鼻孔を検出する。そして、右鼻孔検出結果情報を鼻検出判定部９へ送る。
【００６２】
ここで、「右鼻孔テンプレート」とは右鼻孔位置の近傍の領域の画像をそのまま或いは主成分分析を行う等で変換したものであり、上記で説明したテンプレートマッチングによる画像照合で用いられるデータのことである。
【００６３】
右鼻孔テンプレート格納部６は、予め右鼻孔テンプレートを格納しており、必要に応じて右鼻孔テンプレートを右鼻孔検出部５へ送る。
【００６４】
左鼻孔検出部７は、分離度検出部４から特徴点候補の情報と画像を受け取り、左鼻孔テンプレート格納部８から左鼻孔テンプレートを受け取り、これらの情報を元に画像中に左鼻孔が存在するかどうか探索を行い、存在する場合は左鼻孔を検出する。そして、左鼻孔検出結果情報を鼻検出判定部９へ送る。
【００６５】
左鼻孔テンプレート格納部８は、予め左鼻孔テンプレートを格納しており、必要に応じて左鼻孔テンプレートを左鼻孔検出部７へ送る。
【００６６】
ここで、「左鼻孔テンプレート」とは左鼻孔位置の近傍の領域の画像をそのまま或いは主成分分析を行う等で変換したものであり、テンプレートマッチングによる画像照合で用いられるデータのことである。
【００６７】
鼻検出判定部９は、右鼻孔検出部５から右鼻孔検出結果情報を受け取り、左鼻孔検出部７から左鼻孔検出結果情報を受け取り、これらの情報を総合的に判断して画像中から鼻が検出されたかどうか判定を行い、判定結果と検出された鼻と鼻孔の位置情報を顔検出部１０へ送る。
【００６８】
（２−３）顔検出部１０
顔検出部１０は、画像入力部３から画像を受け取り、鼻検出部２から鼻検出判定結果と検出された鼻と鼻孔の位置情報を受け取り、顔向きテンプレート格納部１１から複数の顔向きテンプレートを受け取る。
【００６９】
そして、これらの情報を用いて、画像中から顔の検出を行い、総合的に判断して顔が検出されたかどうか判定を行い、判定結果と、複数の顔向きテンプレートに対する類似度情報と、検出された顔、鼻、鼻孔の位置情報とを顔向き計算部１２へ送る。
【００７０】
顔が検出されたかどうかの判定は、例えば次のように行う。
【００７１】
鼻検出判定結果が「未検出」ならば、顔も未検出と判定する。
【００７２】
鼻検出判定結果が「検出」ならば、検出された鼻と鼻孔の位置を利用してその近傍の範囲に対して顔向きテンプレートを移動させてマッチングを行う。顔向きテンプレートとの最大類似度が設定された閾値より大きければ、最大類似度を与える位置に顔が検出されたと判定する。このとき、もし右鼻孔のみが検出されている場合は、右向き顔よりも左向き顔の方が検出され易いと考えられるので、右向き顔のみが検出されるようなことが生じた場合には、その矛盾は誤検出から生じたものであろうと総合的に判断し、顔は未検出であると判定することができる。
【００７３】
（２−４）顔向きテンプレート格納部１１
顔向きテンプレート格納部１１は、予め複数の顔向きテンプレートを格納しており、必要に応じて複数の顔向きテンプレートを顔検出部１０へ送る。
【００７４】
（２−５）顔向き計算部１２
顔向き計算部１２は、顔検出部１０から顔検出判定結果と、複数の顔向きテンプレートに対する類似度情報と、検出された顔、鼻、鼻孔の位置情報とを受け取る。
【００７５】
そして、類似度情報を元に検出された顔の顔向きを判定し、顔検出判定結果と、顔と鼻と鼻孔の位置情報と、顔向き情報をシステム外部に出力する。
【００７６】
（３）顔向き計算システム１の動作内容
図２は、顔向きテンプレート対応領域２１と両鼻孔テンプレート対応領域２２と右鼻孔２３と左鼻孔２４との位置関係を説明するための概念図である。
【００７７】
この顔画像の顔向きは正面向きであり、２つの鼻孔とも画像中に存在しており、両鼻孔が検出可能である。
【００７８】
図３は、顔向きテンプレート対応領域３１と右鼻孔テンプレート対応領域３２と右鼻孔３３と左鼻孔３４との位置関係を説明するための概念図である。
【００７９】
この顔画像の顔向きは左向きであり、右鼻孔が画像中に存在しており、右鼻孔が検出可能である。左鼻孔は隠れによって見えにくくなっており、左鼻孔の検出は困難である。
【００８０】
図４は、顔の横向き度と鼻孔検出可能範囲との関係を説明する概念図である。
【００８１】
顔向きが正面向きならば両鼻孔、単鼻孔ともに検出可能であるが、横向き度が右向きになっていくに従い右鼻孔が隠れるようになり、その結果左鼻孔のみ検出可能という事態になる。さらに右向き度が大きくなるとついには左鼻孔も検出できなくなる。逆に、横向き度が左向きになっていくに従い左鼻孔が隠れるようになり、その結果右鼻孔のみ検出可能という事態になる。さらに左向き度が大きくなるとついには右鼻孔も検出できなくなる。
【００８２】
これにより、顔が右向きであったり左向きであったりしても顔検出を成功させるためには、顔の特徴点である鼻孔の検出の際に、左鼻孔検出と右鼻孔検出の両方を行わせて、少なくともどちらか一方を検出することで鼻を検出すれば、広い範囲の横向き度に対して鼻検出及びそれを利用した顔検出を行わせることができるということが図４から判る。
【００８３】
（４）顔向き計算処理手順
図５は、本実施形態における顔向き計算システム１の処理手順を示す流れ図である。
【００８４】
最初に画像を入力し（ＳＴ１）、分離度検出部４が入力画像に分離度フィルタをかけて、分離度の値が大きく、極大値となる点（分離度ピーク）の画像上の位置を複数個抽出する（ＳＴ２）。
【００８５】
次に、右鼻孔検出部５が右鼻孔テンプレートと分離度ピーク上の画像を照合し（ＳＴ３）、左鼻孔検出部７が左鼻孔テンプレートと分離度ピーク上の画像を照合する（ＳＴ４）。これらステップＳＴ３とステップＳＴ４は同時に処理することができる。
【００８６】
次に、鼻検出判定部９が画像中から鼻が検出されたかどうか判定を行い（ＳＴ５）、検出された場合はステップＳＴ７へ進み、検出されなかった場合はステップＳＴ１へ行く（ＳＴ６）。
【００８７】
ステップＳＴ７では、検出された鼻位置の情報に基づいて顔向きテンプレートを移動させる顔探索範囲の設定を行う。顔探索範囲は、検出された鼻位置と顔の位置の整合性が著しく損なわれないようなある範囲に設定したり、鼻位置を基準にして決められた顔領域１個所のみに限定させる場合がある。
【００８８】
次に、顔検出部１０が画像中から顔の検出を行い、顔向き計算部１２が顔の顔向きを判定する（ＳＴ８）。
【００８９】
次に、顔向き計算部１２が頭部位置、鼻位置、顔向きを出力し（ＳＴ９）、顔向き計算を続ける場合はステップＳＴ１へ行き、顔向き計算を終了する場合は顔向き計算を終了する（ＳＴ１０）。
【００９０】
（第２の実施形態）
図６は、本発明の第２の実施形態に係る顔向き計算システム１０１を示す構成図であり、図１と同一部分には下２桁に関して同一符号を付して説明を省略し、ここでは異なる部分についてのみ述べる。
【００９１】
本実施形態では、両鼻孔検出を利用することにより正面向きの顔に対する検出性能を向上させている。
【００９２】
特に、両鼻孔を検出する閾値より右鼻孔や左鼻孔を検出する閾値を高く設定した場合に、右鼻孔や左鼻孔の単鼻孔は検出できないが両鼻孔を検出できる場合がある。そのため、このような場合に両鼻孔の検出状態を用いて正面向きの顔を検出するのに有効である。なお、両鼻孔を検出する閾値より右鼻孔や左鼻孔を検出する閾値を高く設定する理由は、両鼻孔は二つの孔が並んだ特有の特徴点候補であるため、閾値を低く設定しても検出できるからである。
【００９３】
（１）顔向き計算システム１０１の構成
鼻検出部１０２は、分離度検出部１０４と、右鼻孔検出部１０５と、右鼻孔テンプレート格納部１０６と、左鼻孔検出部１０７と、左鼻孔テンプレート格納部１０８と、両鼻孔検出部１１３と、両鼻孔テンプレート格納部１１４と、鼻検出判定部１０９から構成されている。
【００９４】
分離度検出部１０４は、画像入力部１０３から画像を受け取り、分離度フィルタを用いて顔の特徴点候補を抽出し、特徴点候補の情報と画像を右鼻孔検出部１０５と左鼻孔検出部１０７と両鼻孔検出部１１３へ送る。
【００９５】
両鼻孔検出部１１３は、分離度検出部１０４から特徴点候補の情報と画像を受け取り、両鼻孔テンプレート格納部１１４から両鼻孔テンプレートを受け取り、これらの情報を元に画像中に両鼻孔が存在するかどうか探索を行い、存在する場合は両鼻孔を検出する。そして、両鼻孔検出結果情報を鼻検出判定部１０９へ送る。
【００９６】
両鼻孔テンプレート格納部１１４は、予め両鼻孔テンプレートを格納しており、必要に応じて両鼻孔テンプレートを両鼻孔検出部１１３へ送る。
【００９７】
ここで「両鼻孔テンプレート」とは、右鼻孔と左鼻孔を含む特定の領域の画像をそのまま或いは主成分分析を行う等で変換したものであり、テンプレートマッチングによる画像照合で用いられるデータのことである。
【００９８】
鼻検出判定部１０９は、右鼻孔検出部１０５から右鼻孔検出結果情報を受け取り、左鼻孔検出部１０７から左鼻孔検出結果情報を受け取り、両鼻孔検出部１１３から両鼻孔検出結果情報を受け取り、これらの情報を総合的に判断して画像中から鼻が検出されたかどうか判定を行い、判定結果と検出された鼻と鼻孔の位置情報を顔検出部１１０へ送る。
【００９９】
（２）顔向き計算処理手順
図７は同実施形態に係る顔向き計算システム１０１の処理手順を示す流れ図であり、図５と同一部分には数値下２桁に関して同一符号を付して説明を省略し、ここでは異なる部分についてのみ述べる。
【０１００】
ステップＳＴ１１１では、分離度ピークの全ピーク対に対して、両鼻孔が対応づけ得るかどうか幾何学的な制約を課して判定を行う。
【０１０１】
次に、判定結果がＯＫだったピーク対に対して両鼻孔テンプレートとの照合を行う（ＳＴ１１２）。ステップＳＴ１０３と、ステップＳＴ１０４と、「ステップＳＴ１１１とステップＳＴ１１２」の３者は同時に処理することができる。
【０１０２】
【発明の効果】
上記詳記したように本発明によれば、人物の顔向きが左右に大きく変化したり、眼鏡を着用している場合でも、頑健で高精度の顔検出システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る顔向き計算システムの一例を示す構成図である。
【図２】同実施形態に係る両鼻孔テンプレートを説明する概念図である。
【図３】同実施形態に係る単鼻孔テンプレートを説明する概念図である。
【図４】同実施形態に係る顔の横向き度と鼻孔検出可能範囲との関係を説明する概念図である。
【図５】同実施形態に係る顔向き計算処理の一例を示す流れ図である。
【図６】本発明の第２の実施形態に係る顔向き計算システムの一例を示す構成図である。
【図７】同実施形態に係る顔向き計算処理の一例を示す流れ図である。
【符号の説明】
１、１０１顔向き計算システム
２、１０２鼻検出部
３、１０３画像入力部
４、１０４分離度検出部
５、１０５右鼻孔検出部
６、１０６右鼻孔テンプレート格納部
７、１０７左鼻孔検出部
８、１０８左鼻孔テンプレート格納部
９、１０９鼻検出判定部
１０、１１０顔検出部
１１、１１１顔向きテンプレート格納部
１２、１１２顔向き計算部
２１、３１顔向きテンプレート対応領域
２２両鼻孔テンプレート対応領域
２３、３３右鼻孔
２４、３４左鼻孔
３２右鼻孔テンプレート対応領域
１１３両鼻孔検出部
１１４両鼻孔テンプレート格納部

Claims

画像中から人物の顔を検出する顔検出システムであって、
前記画像を取得する画像取得手段と、
前記取得した画像から特徴点候補の抽出を分離度フィルタによって行う分離度検出手段と、
複数の顔向きテンプレートを記憶した顔向きテンプレート記憶手段と、
右鼻孔テンプレートを記憶した右鼻孔テンプレート記憶手段と、
左鼻孔テンプレートを記憶した左鼻孔テンプレート記憶手段と、
前記抽出した特徴点候補に前記記憶した右鼻孔テンプレートを照合してテンプレートマッチングを行って右鼻孔検出を行う右鼻孔検出手段と、
前記抽出した特徴点候補に前記記憶した左鼻孔テンプレートを照合してテンプレートマッチングを行って左鼻孔検出を行う左鼻孔検出手段と、
前記右鼻孔が検出されたときは正面向きと左向きの顔向きテンプレート、または、前記左鼻孔が検出されたときは正面向きと右向きの顔向きテンプレートを選択し、この選択した顔向きテンプレートを前記取得した画像に照合してテンプレートマッチングを行って顔検出を行う顔検出手段と、
を備えたことを特徴とする顔検出システム。
両鼻孔テンプレートを記憶した両鼻孔テンプレート記憶手段と、
前記抽出した特徴点候補に前記記憶した両鼻孔テンプレートを照合してテンプレートマッチングを行って両鼻孔検出を行う両鼻孔検出手段と、
を備え、
前記顔検出手段は、
前記両鼻孔が検出されたときは正面向きの顔向きテンプレートを選択し、この選択した顔向きテンプレートを前記取得した画像に照合してテンプレートマッチングを行って顔検出を行う
ことを特徴とする請求項１記載の顔検出システム。
前記顔検出手段は、
前記検出された右鼻孔、または、左鼻孔を基準にした所定の範囲に顔探索範囲を限定して、この限定した顔探索範囲で前記顔向きテンプレートを移動させて顔検出を行う
ことを特徴とする請求項１記載の顔検出システム。
前記顔検出手段は、
前記検出された両鼻孔、右鼻孔、または、左鼻孔を基準にした所定の範囲に顔探索範囲を限定して、この限定した顔探索範囲で前記顔向きテンプレートを移動させて顔検出を行う
ことを特徴とする請求項２記載の顔検出システム。
画像中から人物の顔を検出する顔検出方法であって、
前記画像を取得する画像取得ステップと、
前記取得した画像から特徴点候補の抽出を分離度フィルタによって行う分離度検出ステップと、
前記抽出した特徴点候補に予め記憶した右鼻孔テンプレートを照合してテンプレートマッチングを行って右鼻孔検出を行う右鼻孔検出ステップと、
前記抽出した特徴点候補に予め記憶した左鼻孔テンプレートを照合してテンプレートマッチングを行って左鼻孔検出を行う左鼻孔検出ステップと、
前記右鼻孔が検出されたときは正面向きと左向きの顔向きテンプレート、または、前記左鼻孔が検出されたときは正面向きと右向きの顔向きテンプレートを選択し、この選択した顔向きテンプレートを前記取得した画像に照合してテンプレートマッチングを行って顔検出を行う顔検出ステップと、
を備えたことを特徴とする顔検出方法。
画像中から人物の顔を検出する顔検出方法をコンピュータで実現するプログラムであって、
前記画像を取得する画像取得機能と、
前記取得した画像から特徴点候補の抽出を分離度フィルタによって行う分離度検出機能と、
前記抽出した特徴点候補に予め記憶した右鼻孔テンプレートを照合してテンプレートマッチングを行って右鼻孔検出を行う右鼻孔検出機能と、
前記抽出した特徴点候補に予め記憶した左鼻孔テンプレートを照合してテンプレートマッチングを行って左鼻孔検出を行う左鼻孔検出機能と、
前記右鼻孔が検出されたときは正面向きと左向きの顔向きテンプレート、または、前記左鼻孔が検出されたときは正面向きと右向きの顔向きテンプレートを選択し、この選択した顔向きテンプレートを前記取得した画像に照合してテンプレートマッチングを行って顔検出を行う顔検出機能と、
を実現することを特徴とする顔検出方法のプログラム。