JP4380308B2 - 顔領域検出方法及び装置及びプログラム及び顔領域検出プログラムを格納したコンピュータ読み取り可能な記憶媒体 - Google Patents

Description

本発明は、顔領域検出方法及び装置及びプログラム及び顔領域検出プログラムを格納したコンピュータ読み取り可能な記憶媒体に係り、特に、画像中から存在数やサイズが未知の顔領域を検出するための顔領域検出方法及び装置及びプログラム及び顔領域検出プログラムを格納したコンピュータ読み取り可能な記憶媒体に関する。

従来、顔領域のサイズが未知の場合、画像中から顔領域を検出する方法のひとつとして、画像の解像度を変化させながら処理を行う方法が用いられている。例えば、パターン検出によく用いられるテンプレートマッチングがある（例えば、非特許文献１参照）。

テンプレートマッチングとは、図１１のように、検出しようとする対象を表すテンプレートｔ（ｘ，ｙ）を画像ｆ（ｘ，ｙ）中の点（ｉ，ｊ）にその中心が重なるようにし、ｔ（ｘ，ｙ）とそれと重なる画像の部分パターンとの類似度を測り、その値を点（ｉ，ｊ）に対象が存在する確からしさとする方法である。

顔検出の場合にはテンプレートに顔画像を用いて、上記の操作を画像の全ての点に対して施し、類似度が最大となる点を求めたり、類似度がある閾値を超える点を求めたりすればよい。

点（ｕ，ｖ）における類似度ｍ（ｕ，ｖ）の算出式としては、例えば式１のようなものがある。

上記の式１では、（ｕ，ｖ）はテンプレートの中央ではなく、左上端の位置を表している。但し、この方法では、テンプレートと同サイズの顔領域しか検出できないため、顔領域のサイズが未知の場合には、図１２のように画像の解像度を変化させながら、各解像度におけるテンプレートとの類似度を求める必要がある。

動画像から顔領域を検出する際には、上記手順をフレームごとに適用し領域を求める。
コンピュータ画像処理入門ｐｐ．１４９−１５２ 田村秀行 総研出版

しかしながら、上記の従来の方法を用いると、顔領域のサイズが未知の場合、画像の解像度を逐次変化させながら顔領域の検出を行うため、処理に膨大な時間がかかってしまう。

また、動画像の場合には、処理対象とする画像の枚数が激増するため、処理時間が大幅に増えてしまうという問題がある。

この問題の解決方法として、顔領域の存在数が既知の場合である場合は、全ての顔領域が見つかった時点で処理を打ち切ることで高速化が可能であるが、顔領域が複数あり、存在数が未知の場合にはこの方法は利用できない。

本発明は、上記の点に鑑みなされたもので、複数の異なるサイズの顔領域が存在する画像中から顔領域の検出時間短縮を図ることが可能な顔領域検出方法及び装置及びプログラム及び顔領域検出プログラムを格納したコンピュータ読み取り可能な記憶媒体を提供することを目的とする。

図１は、本発明の原理を説明するための図である。

本発明（請求項１）は、静止画像及び動画像を含む画像から顔領域を検出する装置における顔領域検出方法において、
入力画像を読み込み、記憶手段に格納する画像読込過程（ステップ１）と、
記憶手段から１つの入力画像を読み出して、該入力画像から縦横それぞれの辺の画素数を減らした変換画像で、顔が判別できる程度で可能な限り低い解像度から該入力画像の解像度までの変換画像を、該入力画像の縦横比を変化させないで該入力画像を変換することにより予め定めた枚数を作成し、記憶手段に格納する解像度変換過程（ステップ２）と、
解像度変換過程により変換済みの変換画像のうち、解像度が一番低い変換画像から順に解像度を上げた変換画像を用いて顔領域検出処理を行う顔領域検出過程（ステップ３）と、
顔領域検出過程により初めて顔領域を見つけてから解像度を順に上げて顔領域検出処理を行うときの処理回数が所定の回数に達した場合に、顔画像検出過程の処理を終了させる終了判定過程（ステップ４）と、を行う。

本発明（請求項２）は、動画像から顔領域を検出する装置における顔領域検出方法において、
入力動画像を読み込み、記憶手段に格納する画像読込過程と、
記憶手段から前記入力動画像の最初のフレームを読み出して基準フレームとして記憶手段に格納する基準フレーム選択過程と、
基準フレームについて顔領域検出を行う顔検出過程と、
基準フレームに続くフレームを比較対象フレームとする比較対象フレームとする比較対象フレーム選択過程と、
基準フレームと比較対象フレーム間の差分値を求める差分算出過程と、
差分値算出過程で求められた前記差分値が一定の閾値以下であれば、前記基準フレームで検出された顔領域を比較対象フレームにおける顔領域と決定し、新たな比較対象フレームを次フレームとして差分算出過程を繰り返し、該差分値が一定の閾値より大きければ、該比較対象フレームを新たな基準フレームとして顔領域検出過程以降を繰り返す終了過程と、を行い、
顔検出過程は、
基準フレームの画像から縦横それぞれの辺の画素数を減らした変換画像で、顔が判別できる程度で可能な限り低い解像度から該基準フレームの画像の解像度までの変換画像を、該基準フレームの画像の縦横比を変化させないで基準フレームの画像を変換することにより予め定めた枚数を作成し、記憶手段に格納する解像度変換過程と、
解像度変換過程により変換済みの変換画像のうち、解像度が一番低い変換画像から順に解像度を上げた変換画像を用いて顔領域検出処理を行う顔領域検出過程と、
顔領域検出過程により初めて顔領域を見つけてから解像度を順に上げて顔領域検出処理を行うときの処理回数が所定の回数に達した場合に、該顔領域検出過程の処理を終了させる終了判定過程と、を行う。

また、本発明（請求項３）は、差分値算出過程において、差分値として、各画素値の差分値を求める。

また、本発明（請求項４）は、差分値算出過程において、差分値を、画像全体の色ヒストグラムの差分を用いて算出する。

図２は、本発明の原理構成図である。

本発明（請求項５）は、静止画像及び動画像を含む画像から顔領域を検出する顔領域検出装置であって、
入力画像を読み込み、記憶手段１２に格納する画像読込手段１１と、
記憶手段１２から１つの入力画像を読み出して、該入力画像から縦横それぞれの辺の画素数を減らした変換画像で、顔が判別できる程度で可能な限り低い解像度から該入力画像の解像度までの変換画像を、該入力画像の縦横比を変化させないで該入力画像を変換することにより予め定めた枚数を作成し、記憶手段１２に格納する解像度変換手段１３と、
解像度変換手段１３により変換済みの変換画像のうち、解像度が一番低い変換画像から順に解像度を上げた変換画像を用いて顔領域検出処理を行う顔領域検出手段１４と、
顔領域検出手段１４により初めて顔領域を見つけてから解像度を順に上げて顔領域検出処理を行うときの処理回数が所定の回数に達した場合に、顔画像検出過程の処理を終了させる終了判定手段１６と、を有する。

本発明（請求項６）は、動画像から顔領域を検出する顔領域検出装置であって、
入力動画像を読み込み、記憶手段に格納する画像読込手段と、
記憶手段から入力動画像の最初のフレームを読み出して基準フレームとして記憶手段に格納する基準フレーム選択手段と、
基準フレームについて顔領域検出を行う顔検出手段と、
基準フレームに続くフレーム比較対象フレームとする比較対象フレーム選択手段と、
基準フレームと比較対象フレーム間の差分値を求める差分値算出手段と、
差分値算出手段で求められた差分値が一定の閾値以下であれば、基準フレームで検出された顔領域を比較対象フレームにおける顔領域と決定する顔領域決定手段と、
顔領域決定手段の後に新たな比較対象フレームを次フレームとして、比較対象フレーム選択手段、差分値算出手段、顔領域決定手段の処理を繰り返す第１の繰り返し手段と、
差分値算出手段で求められた差分値が一定の閾値より大きければ、基準フレーム選択手段、顔検出手段、差分値算出手段、顔領域決定手段の処理を繰り返す第２の繰り返し手段と、を有し、
顔検出手段は、
基準フレームの画像から縦横それぞれの辺の画素数を減らした変換画像で、顔が判別できる程度で可能な限り低い解像度から該基準フレームの画像の解像度までの変換画像を、該基準フレームの画像の縦横比を変化させないで該基準フレームの画像を変換することにより予め定めた枚数を作成し、記憶手段に格納する解像度変換手段と、
解像度変換手段により変換済みの変換画像のうち、解像度が一番低い変換画像から順に解像度を上げた変換画像を用いて顔領域検出処理を行う顔領域検出手段と、
顔領域検出手段により初めて顔領域を見つけてから解像度を順に上げて顔領域検出処理を行うときの処理回数が所定の回数に達した場合に、該顔領域検出手段の処理を終了させる終了判定手段と、を有する。

また、本発明（請求項７）の差分値算出手段は、差分値として、各画素値の差分値を求める。

また、本発明（請求項８）の差分値算出手段は、差分値を、画像全体の色ヒストグラムの差分を用いて算出する。

本発明（請求項９）は、請求項５乃至８のいずれか１項に記載の顔領域検出装置を構成する各手段としてコンピュータを機能させるための顔領域検出プログラムである。

本発明（請求項１０）は、請求項９に記載の顔領域検出プログラムを格納した、コンピュータ読み取り可能な記憶媒体である。

上記のように、本発明では、静止画像または動画像における撮影上の特徴に着目した。撮影上の特徴とは、通常、人物を撮影する場合、顔がよく見えるように撮影するケースが多いということである。

また、画像中で着目している人物、何らかの意味を持つ人物を中心に大きく写るように撮影するケースが多い。

そのため大きく写っている顔の重要性が高く、それに比べて小さな顔を無視してもよい場合がある。例えば、主要な登場人物の一覧を作る場合である。

そこで、本発明では、低解像度の画像から高解像度の順に顔領域検出処理を行い、処理結果が予め定めた閾値以下であれば顔領域であると決定し、初めて顔領域を見つけた時点での画像の解像度より予め定めた割合だけ高解像度の画像について処理を行った時点で処理を打ち切るものである。

また、顔領域の検出を行う際に、その画像中に人物が存在するか否かを調べることが目的で、正確な位置は必要でない場合がある。例えば、動画像中の特定の人物登場シーンを探すような場合である。

そこで、別の方法として、動画像において、最初のフレームを基準フレームとし、基準フレームと基準フレームに続く核フレーム間で、同位置にある各画素値の差分を求め、画像全体での差分の絶対値の総和が一定の閾値以下であれば、フレーム間での変化が殆どないため、基準フレームで検出された顔領域を、そのフレームにおける顔領域と決定する。

差分の絶対値の総和が一定の閾値より大きければ顔領域を求め、新たな基準フレームとする。これを繰り返すことにより動画像全体で顔領域を決定する。

つまり、フレーム間の差分値が少ないフレームの検出処理を飛ばし、検出処理を行うフレーム間隔の適応的な調節を行うものである。

上記の発明は、各画素値の差分の代わりに画像全体の色ヒストグラムの差分を用いることや、差分の絶対値総和の代わりに差分の自乗和を求めることも可能である。

上記のように、本発明によれば、小さな顔領域の検出処理を省くことで処理時間の短縮が可能となる。

また、動画像中に存在する顔領域のうち、基準フレームから基準フレーム間の顔領域検出処理を除き、前基準フレーム同位置に顔領域が存在するとみなすことで処理時間の短縮が可能となる。

以下、図面と共に本発明の実施の形態を説明する。

［第１の実施の形態］
図３は、本発明の第１の実施の形態における顔領域検出装置の構成を示す。

同図に示す顔領域検出装置１０は、入力画像を読み込む画像読込部１１、読み込まれた画像を一時的に格納するメモリ１２、メモリ１２から入力画像を読み出して解像度を変換してメモリ１２に格納する解像度変換部１３、変換済みの画像のうち、低解像度の画像から高解像度の順に顔領域検出処理を行う顔領域検出部１４、顔領域検出部１４から参照されるテンプレート１５、及び処理の終了判定を行う処理終了判定部１６から構成される。なお、同図の構成では、テンプレート１５が含まれているが、本実施の形態の例として顔検出処理において、テンプレートマッチングを用いているためであり、テンプレートマッチング以外の処理の場合は不要である。

図４は、本発明の第１の実施の形態における顔領域検出処理のフローチャートであり、入力画像読み込みステップ（ステップ３０１）、入力画像解像度変換ステップ（ステップ３０２）、顔領域検出ステップ（ステップ３０３）、繰り返し判定ステップ（ステップ３０４）を示している。

以下、図４に基づいて顔領域検出の動作を詳細に説明する。

まず、ステップ３０１において画像読込部１１に入力されるのは、ディジタル化された静止画像、または、動画像の任意の単一フレームとする。なお、画像の解像度や、保存形式、内容、記録媒体については特に制限しないが、図３では例として、読み込まれたフレームをメモリ１２に一時的に保存するものとする。

ステップ３０１では、顔領域検出処理を行う画像を選択し、装置外部の記録媒体からメモリ１２に格納する。画像の選択はオペレータの判断で自由に行ってよい。

ここで得られた原画像の解像度を（Ｐ×Ｑ）とする。

次に、ステップ３０２では、解像度変換部１３において、ステップ３０１でメモリ１２に読み込まれた原画像（Ｐ×Ｑ）を低解像度の画像（Ｋ×Ｌ）に変換する。

初回のループでは顔が判別できる程度で可能な限り低解像度の画像に変換する（例えば、１６×１６程度）。

次回のループからは前回のループで用いた画像より一回り高解像度の画像に変換する。なお、変換の際には画像の縦横の比率は変化させない。

ここで、図５の原画像を図６で表す低解像度の画像へ変換する例について説明する。但し、各画素は各格子点に対応しているものとする。

まず、図６の低解像度画像における画素ａ’は、図５の原画像において同位置の点ａ’に対応する。ここで、図５の点ａ’の周辺は図７のようになっている。

このとき、各点の画素値をｆ（ｘ，ｙ）とすると、点ａ’の画素値ｆは式２で表現される。

ｆ＝ｆ（ｕ，ｖ）（１−α）（１−β）＋ｆ（ｕ＋１，ｖ）α（１−β）
＋ｆ（ｕ，ｖ＋１）（１―α）β＋ｆ（ｕ＋１，ｖ＋１）αβ （２）
同様にして図６の低解像度画像における他の格子点の画素値は、原画像の同位置にある点の周囲４点の画素値から求めることができる。

次に、ステップ３０３では顔領域検出部１４において、ステップ３０２で得られた低解像度に対して顔検出処理を行う。

顔検出処理の方法は、テンプレートマッチングを利用した方法、ニューラルネットワークを利用した方法、サポートベクターマシンを利用した方法などがあるが、ここではテンプレートマッチングを利用した方法について説明する。

まず、テンプレート１５となる顔画像（Ｍ×Ｎ）を記憶媒体（メモリ）上に用意する。

このテンプレートは複数人物の顔画像を（Ｍ×Ｎ）のサイズに切り出し、複数の顔画像の各画素の平均値をテンプレートの対応する画素の値とする。図８のように、テンプレートｔ（ｘ，ｙ）をステップ３０２で得られた低解像度画像ｇ（ｘ，ｙ）中の点（ｉ，ｊ）にその中心が重なるようにし、ｔ（ｘ，ｙ）とそれと重なる画像の部分パターンとの類似度ｍ（ｉ，ｊ）を式３により算出する。

同様に、低解像度画像ｇ（ｘ，ｙ）中の全ての点について類似度を算出し、その類似度ｍ（ｘ，ｙ）が予め定めた閾値以下であれば、点（ｘ，ｙ）に顔領域が存在すると見做す。また、全ての点の類似度が予め定めた閾値より大きければ何もしない。

このステップ３０３により、顔領域の座標を得ることができる。

ステップ３０４では、顔検出処理の繰り返しを行うか否かの判定を行う。以下の条件に当てはまらない場合は、前回のループで用いた変換画像の解像度を徐々に上げながらステップ３０２〜３０４を繰り返す。この場合も画像の縦横の比率は変更しない。

ステップ３０３により、初めて顔領域が検出されたループから予め定めた回数ループ処理を繰り返した場合、または、ループ毎に徐々に解像度を上げた変換画像が原画像と一致する場合、ループを終了する。

本実施の形態によって、画像中に存在する顔領域のうち、小さな領域の検出処理を省くことで処理時間の短縮が可能となる。

［第２の実施の形態］
図９は、本発明の第２の実施の形態における顔領域検出装置の構成を示す。

同図に示す顔領域検出装置２０は、入力画像を読み込む画像読込部２１、読み込まれた画像を格納するメモリ２２、メモリ２２に格納された最初のフレームを基準フレームとして選択してメモリ２２に格納する基準フレーム選択部２３、メモリ２２に格納されている基準フレームと当該基準フレームに続くフレームを比較対象フレームとし、基準フレームと比較対象フレームとの差分値を求め、差分値が一定の閾値以下であれば基準フレームで検出された顔領域を比較対象フレームにおける顔領域として決定する顔領域検出部２４、次の比較対象フレームをメモリ２２から取得し、顔領域検出部２４に渡す比較対象フレーム選択部２６、顔領域検出部２４から参照されるテンプレート２５、及び、各部の処理の終了を判定する処理終了判定部２７から構成される。

図１０は、本発明の第２の実施の形態における顔領域検出処理のフローチャートである
同図に示すフローチャートは、入力動画図読み込みステップ（ステップ８０１）、基準フレーム選択ステップ（ステップ８０２）、顔領域検出処理ステップ（ステップ８０３）、比較対象フレーム選択ステップ（ステップ８０４）、繰り返し判定ステップ（ステップ８０５）、フレーム間差分値算出ステップ（ステップ８０６）、処理方法判定ステップ（ステップ８０７）を示す。

以下、図１０に基づいて、顔領域検出の動作を詳細に説明する。

まず、ステップ８０１において、画像読込部２１において、ディジタル化された動画像が入力されるものとする。ここで、動画像の解像度や、保存形式、内容、記録媒体については特に制限しない。読み込まれた顔領域検出処理対象の動画像を記録媒体からメモリ２２に格納する。

ステップ８０２では、基準フレーム選択部２３において、ステップ８０１で得られた動画像から基準となるフレームを選択してメモリ２２に格納する。初回のループでは、動画像の最初のフレームをメモリ２２から読み出して基準フレームとして選択する。

ステップ８０３では、顔検出処理部２４において、ステップ８０２で得られた基準フレームについて顔検出処理を行う。顔検出処理の方法はテンプレートマッチングを利用した方法、ニューラルネットワークを利用した方法、サポートベクターマシンを利用した方法などがあるが、ここでは、テンプレートマッチングを利用した方法について説明する。

まず、テンプレートとなる顔画像（Ｍ×Ｎ）を記憶媒体（メモリ）上に用意する。

このテンプレート２５は、複数人物の顔画像を（Ｍ×Ｎ）のサイズに切り出し、複数顔画像の各画素の平均値をテンプレートの対応する画素の値とする。

図８のように、顔領域検出部２４は、テンプレートｔ（ｘ，ｙ）をステップ８０３で得られた基準フレーム画像ｇ（ｘ，ｙ）中の点（ｉ，ｊ）にその中心が重なるようにし、ｔ（ｘ，ｙ）とそれと重なる画像の部分パターンとの類似度ｍ（ｉ，ｊ）を前述の式３により算出する。

同様に、基準フレーム画像ｇ（ｘ，ｙ）中の全ての点について類似度を算出し、その類似度ｍ（ｘ，ｙ）が予め定めた閾値以下であれば、点（ｘ，ｙ）に顔領域が存在するとみなす。

類似度が閾値以下になる点が複数あれば、複数の点すべてに顔領域が存在するとみなす。全ての点の類似度を予め定めた閾値により大きければ何もしない。

ステップ８０３により、顔領域の座標を得ることができる。

ステップ８０４では、比較対象フレーム選択部２６によりメモリ２２から比較対象とするフレームを選択する。比較対象フレームは、前回の比較対象フレームの次フレームとする。初回は基準フレームの次フレームを比較対象フレームとする。

ステップ８０５では、処理終了判定部２７において、処理の繰り返し判定を行う。ステップ８０４において、比較対象フレームの次フレームが存在しない場合、つまり動画像の最後のフレームまで処理を行った場合、ループを終了する。それ以外の場合は、継続してループ処理を行う。

ステップ８０６では、顔領域検出部２４において、基準フレームと比較対象フレームの間で差分値を求める。差分値とは、画像全体の色ヒストグラムで各色毎の差分値の総和や対応する同位置の各画素値の差分自乗和を用いることもできるが、ここでは、対応する同位置の各画素値の差分絶対値総和を用いた例について説明する。

基準フレーム画像ｆ（ｘ，ｙ）と比較対象フレームｇ（ｘ，ｙ）の差分値ｄは、式４により算出される。

ステップ８０７では、顔領域検出部２４において、ステップ８０６で得られた差分値ｄに基づき、処理の分岐判定を行う。ステップ８０６で得られた差分値ｄが予め定めた閾値以下であれば、基準フレームと比較対象フレーム間で画像の変化が少ないため、基準フレームと同様の位置に顔領域が存在するとみなし、比較対象フレームの次フレームを新たな比較対象フレームとし、ステップ８０４〜８０７を繰り返す。

ステップ８０６で得られた差分値ｄが予め定めた閾値より大きければ、基準フレームと比較対象フレーム間で画像の変化が大きいため顔領域位置の更新を行う必要がある。

そこで、顔領域検出部２４は、基準フレーム選択部２３に対して、顔領域位置の更新のために、当該比較対象フレームを渡し、基準フレーム選択部２３において、比較対象フレームを新たな基準フレームとして選択し、ステップ８０２〜８０７を繰り返す。

本実施の形態によって、動画像中に存在する顔領域のうち、基準フレームから基準フレーム間の顔領域検出処理を省き、前基準フレームと同位置に顔領域が存在すると見做すことで処理時間の短縮が可能となる。

また、上記の第１の実施の形態における図４及び第２の実施の形態における図１０のフローチャートに示す動作を、顔領域検出装置として利用されるコンピュータにインストールし、ＣＰＵ等の制御手段により実行する、または、ネットワークを介して流通させることも可能である。

また、構築されたプログラムを、顔領域検出装置として利用されるコンピュータに接続されるハードディスク装置や、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、実施する際に、コンピュータにインストールすることも可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

本発明は、画像処理技術、顔認証システムや防犯システム等における顔領域を検出する機能を有するシステムに適用可能である。

本発明の原理を説明するための図である。 本発明の原理構成図である。 本発明の第１の実施の形態における顔領域検出装置の構成図である。 本発明の第１の実施の形態における顔領域検出処理のフローチャートである。 本発明の第１の実施の形態における高解像度画像の例である。 本発明の第１の実施の形態における低解像度画像の例である。 本発明の第１の実施の形態における解像度変換算出イメージを示す図である。 本発明の第１の実施の形態におけるテンプレートマッチングの例である。 本発明の第２の実施の形態における顔領域検出装置の構成図である。 本発明の第２の実施の形態における顔領域検出処理のフローチャートである。 従来のテンプレートマッチングの概要図である。 従来の画像解像度変換を示す図である。

符号の説明

１０ 顔領域検出装置
１１ 画像読込手段、画像読込部
１２ 記憶手段、メモリ
１３ 解像度変換手段、解像度変換部
１４ 顔領域検出手段、顔領域検出部
１５ テンプレート
１６ 終了判定手段、処理終了判定部
２０ 顔領域検出装置
２１ 画像読込部
２２ メモリ
２３ 基準フレーム選択部
２４ 顔領域検出部
２５ テンプレート
２６ 比較対象フレーム選択部
２７ 処理終了判定部

Claims (10)

1. 静止画像及び動画像を含む画像から顔領域を検出する装置における顔領域検出方法において、
   入力画像を読み込み、記憶手段に格納する画像読込過程と、
   前記記憶手段から１つの入力画像を読み出して、該入力画像から縦横それぞれの辺の画素数を減らした変換画像で、顔が判別できる程度で可能な限り低い解像度から該入力画像の解像度までの変換画像を、該入力画像の縦横比を変化させないで該入力画像を変換することにより予め定めた枚数を作成し、記憶手段に格納する解像度変換過程と、
   前記解像度変換過程により変換済みの変換画像のうち、解像度が一番低い変換画像から順に解像度を上げた変換画像を用いて顔領域検出処理を行う顔領域検出過程と、
   前記顔領域検出過程により初めて顔領域を見つけてから解像度を順に上げて顔領域検出処理を行うときの処理回数が所定の回数に達した場合に、前記顔画像検出過程の処理を終了させる終了判定過程と、
   を行うことを特徴とする顔領域検出方法。
2. 動画像から顔領域を検出する装置における顔領域検出方法において、
   入力動画像を読み込み、記憶手段に格納する画像読込過程と、
   前記記憶手段から前記入力動画像の最初のフレームを読み出して基準フレームとして記憶手段に格納する基準フレーム選択過程と、
   前記基準フレームについて顔領域検出を行う顔検出過程と、
   前記基準フレームに続くフレームを比較対象フレームとする比較対象フレームとする比較対象フレーム選択過程と、
   前記基準フレームと前記比較対象フレーム間の差分値を求める差分算出過程と、
   前記差分値算出過程で求められた前記差分値が一定の閾値以下であれば、前記基準フレームで検出された顔領域を前記比較対象フレームにおける顔領域と決定し、新たな比較対象フレームを次フレームとして前記差分算出過程を繰り返し、該差分値が一定の閾値より大きければ、該比較対象フレームを新たな基準フレームとして前記顔領域検出過程以降を繰り返す終了過程と、を行い、
   前記顔検出過程は、
   前記基準フレームの画像から縦横それぞれの辺の画素数を減らした変換画像で、顔が判別できる程度で可能な限り低い解像度から該基準フレームの画像の解像度までの変換画像を、該基準フレームの画像の縦横比を変化させないで基準フレームの画像を変換することにより予め定めた枚数を作成し、記憶手段に格納する解像度変換過程と、
   前記解像度変換過程により変換済みの変換画像のうち、解像度が一番低い変換画像から順に解像度を上げた変換画像を用いて顔領域検出処理を行う顔領域検出過程と、
   前記顔領域検出過程により初めて顔領域を見つけてから解像度を順に上げて顔領域検出処理を行うときの処理回数が所定の回数に達した場合に、該顔領域検出過程の処理を終了させる終了判定過程と、
   を行うことを特徴とする顔領域検出方法。
3. 前記差分値算出過程において、
   前記差分値として、各画素値の差分値を求める請求項２記載の顔領域検出方法。
4. 前記差分値算出過程において、
   前記差分値を、画像全体の色ヒストグラムの差分を用いて算出する請求項２記載の顔領域検出方法。
5. 静止画像及び動画像を含む画像から顔領域を検出する顔領域検出装置であって、
   入力画像を読み込み、記憶手段に格納する画像読込手段と、
   前記記憶手段から１つの入力画像を読み出して、該入力画像から縦横それぞれの辺の画素数を減らした変換画像で、顔が判別できる程度で可能な限り低い解像度から該入力画像の解像度までの変換画像を、該入力画像の縦横比を変化させないで該入力画像を変換することにより予め定めた枚数を作成し、記憶手段に格納する解像度変換手段と、
   前記解像度変換手段により変換済みの変換画像のうち、解像度が一番低い変換画像から順に解像度を上げた変換画像を用いて顔領域検出処理を行う顔領域検出手段と、
   前記顔領域検出手段により初めて顔領域を見つけてから解像度を順に上げて顔領域検出処理を行うときの処理回数が所定の回数に達した場合に、該顔画像検出手段を終了させる終了判定手段と、を有することを特徴とする顔領域検出装置。
6. 動画像から顔領域を検出する顔領域検出装置であって、
   入力動画像を読み込み、記憶手段に格納する画像読込手段と、
   前記記憶手段から前記入力動画像の最初のフレームを読み出して基準フレームとして記憶手段に格納する基準フレーム選択手段と、
   前記基準フレームについて顔領域検出を行う顔検出手段と、
   前記基準フレームに続くフレーム比較対象フレームとする比較対象フレーム選択手段と、
   前記基準フレームと前記比較対象フレーム間の差分値を求める差分値算出手段と、
   前記差分値算出手段で求められた前記差分値が一定の閾値以下であれば、前記基準フレームで検出された顔領域を前記比較対象フレームにおける顔領域と決定する顔領域決定手段と、
   前記顔領域決定手段の後に新たな比較対象フレームを次フレームとして、前記比較対象フレーム選択手段、前記差分値算出手段、顔領域決定手段の処理を繰り返す第１の繰り返し手段と、
   前記差分値算出手段で求められた前記差分値が一定の閾値より大きければ、前記基準フレーム選択手段、前記顔検出手段、前記差分値算出手段、顔領域決定手段の処理を繰り返す第２の繰り返し手段と、を有し、
   前記顔検出手段は、
   前記基準フレームの画像から縦横それぞれの辺の画素数を減らした変換画像で、顔が判別できる程度で可能な限り低い解像度から該基準フレームの画像の解像度までの変換画像を、該基準フレームの画像の縦横比を変化させないで該基準フレームの画像を変換することにより予め定めた枚数を作成し、記憶手段に格納する解像度変換手段と、
   前記解像度変換手段により変換済みの変換画像のうち、解像度が一番低い変換画像から順に解像度を上げた変換画像を用いて顔領域検出処理を行う顔領域検出手段と、
   前記顔領域検出手段により初めて顔領域を見つけてから解像度を順に上げて顔領域検出処理を行うときの処理回数が所定の回数に達した場合に、該顔領域検出手段の処理を終了させる終了判定手段と、
   を有することを特徴とする顔領域検出装置。
7. 前記差分値算出手段は、
   前記差分値として、各画素値の差分値を求める請求項６記載の顔領域検出装置。
8. 前記差分値算出手段は、
   前記差分値を、画像全体の色ヒストグラムの差分を用いて算出する請求項６記載の顔領域検出装置。
9. 請求項５乃至８のいずれか１項に記載の顔領域検出装置を構成する各手段としてコンピュータを機能させるための顔領域検出プログラム。
10. 請求項９に記載の顔領域検出プログラムを格納した、コンピュータ読み取り可能な記憶媒体。

Images