JP4534571B2

JP4534571B2 - 顔検出装置

Info

Publication number: JP4534571B2
Application number: JP2004127086A
Authority: JP
Inventors: 昭二田中
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2004-04-22
Filing date: 2004-04-22
Publication date: 2010-09-01
Anticipated expiration: 2024-04-22
Also published as: JP2005309850A

Description

この発明は、入力画像から人物の顔画像に係る顔領域を検出し、当該顔領域から適切な画角の顔画像を電子ファイルに登録する装置に関する。

従来の情報検索装置、情報検索システム及びサーバは、電子メールに添付された顔画像、あるいは、外部接続装置から入力した画像を電子ファイルに登録することによって、顔画像電話帳を作成していた（例えば、特許文献１）。

特開２００２−９２０１３

特開平９−３０９１３７

特開平１１−１１０５２９

特開２０００−３２２５８８

従来の情報検索装置、情報検索システム及びサーバは、顔電話帳を作成するとき、１人のみで撮影された単独写真画像を電子メールあるいは外部接続装置から入手しなければならないという問題があった。また、集合写真をそのまま電話帳に用いることも可能であるが、その場合、誰から電話がかかっているかを集合写真の画像を見ただけでは判断が困難という問題があった。さらに、たとえ単独写真画像であったとしても、被写体が小さく撮影されていたり、画像の端に撮影されている場合、背景が冗長となり、画像をそのまま登録すると電子ファイルに登録された画像が見づらくなってしまう問題があった。

この発明は上記のような問題点を解決するためになされたもので、集合写真画像あるいは単独写真画像から顔画像を自動抽出し、集合写真画像からでも個々の顔画像が登録された電子ファイルを作成することを可能とし、顔領域を適正な画角で切り出すことにより登録された顔画像を見易くすることを目的とする。

この発明にかかる電子ファイル生成装置は、画像を入力する画像入力装置と、顔画像のデータが登録された顔画像データベースと、画像入力装置により入力された画像上で移動する探索ブロック内側の画像の特徴量と顔画像データベースに登録されている顔画像の特徴量とを比較し、探索ブロック内側の画像が顔領域の一部又は全部であるか否かを判定する顔領域判定装置、および顔領域判定装置で顔領域の一部又は全部であると判断された複数の画像が同一人の顔領域と判断された場合に当該同一人の顔領域と判断された複数の画像を統合し、入力画像から当該入力画像に写された人の顔画像が存在する領域である第１の顔領域を生成する重複領域統合装置を有し、入力画像の特徴量と顔画像データベースに登録されている顔画像の特徴量とを比較することにより、第１の顔領域を人数分検出する顔領域検出装置と、顔領域検出装置により検出された第１の顔領域にかかる顔画像の特性に基づいて、電子ファイルに登録する際の適正な画角を求め、第１の顔領域を顔の特性を考慮して顔全体が含まれるべく所定の延長率で縦横に拡張した第２の顔領域にかかる顔画像を抽出する顔領域抽出装置と、顔領域抽出装置により抽出された顔画像を電子ファイルに登録する電子ファイル登録装置と、を備えて構成される。

この発明にかかる電子ファイル生成装置は、画像を入力する画像入力装置と、顔画像のデータが登録された顔画像データベースと、画像入力装置により入力された画像上で移動する探索ブロック内側の画像の特徴量と顔画像データベースに登録されている顔画像の特徴量とを比較し、探索ブロック内側の画像が顔領域の一部又は全部であるか否かを判定する顔領域判定装置、および顔領域判定装置で顔領域の一部又は全部であると判断された複数の画像が同一人の顔領域と判断された場合に当該同一人の顔領域と判断された複数の画像を統合し、入力画像から当該入力画像に写された人の顔画像が存在する領域である第１の顔領域を生成する重複領域統合装置を有し、入力画像の特徴量と顔画像データベースに登録されている顔画像の特徴量とを比較することにより、第１の顔領域を人数分検出する顔領域検出装置と、顔領域検出装置により検出された第１の顔領域にかかる顔画像の特性に基づいて、電子ファイルに登録する際の適正な画角を求め、当該第１の顔領域を顔の特性を考慮して顔全体が含まれるべく所定の延長率で縦横に拡張した第２の顔領域にかかる顔画像を抽出する顔領域抽出装置と、顔領域抽出装置により抽出された顔画像を電子ファイルに登録する電子ファイル登録装置と、を備えて構成されるものであり、集合写真画像あるいは単独写真画像から顔画像を自動抽出し、集合写真画像からでも個々の顔画像が登録された電子ファイルを作成することを可能とし、顔領域を髪の毛や顎まで含む適正な画角で切り出すことにより登録された顔画像を見易くする効果を有する。

実施の形態１．
図１を用いて、この発明の実施の形態における電子ファイル生成装置１００の構成を説明する。図１において、電子ファイル生成装置１００は、画像を入力する画像入力装置１と、顔画像のデータが登録された顔画像データベース（以下顔画像ＤＢ）7と、画像入力装置１により入力された画像と上記顔画像ＤＢ７に登録されたデータとを比較することにより、画像から画像に写された人の顔画像が存在する領域である第１の顔領域を画像に存在する人の人数分検出する顔領域検出装置２と、顔領域検出装置２により検出された第１の顔領域にかかる顔画像の特性に基づいて、電子ファイルに登録する際の適正な画角を求め、第１の顔領域を拡張した第２の顔領域にかかる顔画像を抽出する顔領域抽出装置３と、顔領域抽出装置３により抽出された顔画像を電子ファイルに登録する電子ファイル登録装置４と、で構成されている。

顔領域検出装置２は、入力画像を拡大又は縮小した複数の解像度の画像を生成するマルチスケール画像生成装置５と、入力画像の照明条件に応じて顔に光があたったような画像にするため画像を正規化する画像正規化装置６と、顔画像の特徴が定量化された顔画像特徴量が保存されている顔画像ＤＢ７と、一定の大きさ（例えば、２４（画素）×２４の矩形）を有し入力画像上で移動する探索ブロック１４の内側の画像の特徴量と顔画像ＤＢ７に登録されている顔画像特徴量とを比較し、探索ブロック１４内側の画像が顔領域の一部又は全部であるか否かを判定する顔領域判定装置８と、探索ブロック１４を順次移動させて顔領域判定を判定し、同一人の顔領域の一部又は全部と判断された複数の断片領域を統合し画像に存在する人の人数分の第１の顔領域を生成する重複領域統合装置９と、で構成されている。

顔領域抽出装置３は、顔領域検出装置２により検出された第１の顔領域に対して、顔画像の特性に基づいて電子ファイルに登録する際の適性な画角を算出する適正画角算出装置１０と、算出された適正画角に基づいて検出した第２の顔領域にかかる顔画像を入力画像から抽出する顔領域抽出装置１１と、で構成されている。

電子ファイル登録装置４は、顔画像が複数抽出された場合に、当該複数人分のうちの数人分又は全員分の顔画像の一覧を表示する一覧表示装置４０と、表示された顔画像の一覧からユーザが電子ファイルに登録したい顔画像を選択することができる顔画像選択装置４１と、で構成されている。

次に図２から図１０を用いて電子ファイルの動作を説明する。図２は、本発明の電子ファイル生成装置１００の動作を説明するためのフローチャートである。図３は、顔領域検出装置２の動作を説明するためのフローチャートである。図４は、顔領域抽出装置３の動作を説明するためのフローチャートである。図５は、電子ファイル登録装置４の動作を説明するためのフローチャートである。図６は、マルチスケール画像生成装置５の動作を説明するための図である。図７は、顔領域判定装置８の動作を説明するための図である。図８は、重複領域統合装置９の動作を説明するための図である。図９は、適正画角算出装置１０の動作を説明するための図である。図１０は、電子ファイル登録装置４を説明するための図である。

まず、図２を用いて電子ファイル生成装置１００の動作について説明する。画像入力装置１において画像を入力する（ステップS１-１）。入力画像は、例えば、携帯電話の場合、電子メールに添付された画像、カメラで撮影した画像、外部記憶装置から入力した画像など、携帯電話に入力可能な全ての画像を対象とする。次に、顔領域検出装置２において入力画像から第１の顔領域を検出し（ステップS１-２）、顔領域抽出装置３において電子ファイルに登録する際の適正画角を求め、第１の顔領域から拡大した第２の顔領域にかかる顔画像を抽出し（ステップS１-３）、電子ファイル登録装置４において当該抽出した顔画像を電子ファイルに登録する（ステップS１-４）。

次に、図３、図６、図７、図８及び図２０を用いて顔領域検出装置２の動作について説明する。具体的に、図６の１２に示す画像が入力された場合を考える。

画像が入力されると、顔領域検出装置２において、マルチスケール画像生成装置５を用いて図６の１３に示すような、入力画像が拡大又は縮小した複数の画像を生成する（ステップS２-１）。そして、求めた個々のスケール画像に対して以下の処理を繰り返す（ステップS２-２）。図７の１４に示す大きさが固定された探索ブロック１４の内側の画像の特徴量と、あらかじめ顔画像ＤＢ７の顔画像（機械学習などで学習した顔画像等）の特徴量とを比較することで顔の一部又は全部（顔領域の一部又は全部）か否かを判定する（ステップS２-４）。

探索ブロックサイズが固定されている場合、マルチスケール画像生成装置５を用いることにより画像を拡張縮小し、すなわち顔画像を大きく又は小さくし、探索ブロックサイズにあわせることができる。

このとき、照明条件の変化に応じて顔の特徴量が変化する問題を解決するために、探索ブロック１４内側の画素値を正規化する（ステップS２-３）。正規化の手法として、例えば、探索ブロック１４内側の画素値の分散を用いるもの、画素値平均値を用いるもの、ヒストグラムを用いるものなどがあり、どの手法を用いても良い。ここでは、次式の通り分散を用いて正規化する方法を用いることとして説明する。

ここでV(x、y)は座標値(x、y)における正規化後の画素値である。v(x、y)は座標値（x、y）におけるオリジナルの画素値である。varは探索ブロック１４内側の画素値の分散で

ある。上記式を用いて探索ブロック１４内側の画素値を正規化した後、顔画像ＤＢ７に格納された顔画像特徴量と探索ブロック１４内側の特徴量とのマッチングを行う（ステップＳ２−４）。マッチングの結果、探索ブロック１４内側にかかる画像が顔領域であるか否かを判定し（ステップＳ２−５）、顔領域であれば、現画像における顔領域矩形の４点の座標値を求め（ステップＳ２−６）、その領域を記憶する（ステップＳ２−７）。なお、顔領域の探索ブロックと学習データとのマッチング処理は例えば、以下の通り行う。まず、顔画像データベース７に登録されている、例えば顔の特徴を学習した顔画像データは、図２０に示すＲｅｃｔａｎｇｌｅＦｅａｔｕｒｅに基づいて定量化されているとする。ＲｅｃｔａｎｇｌｅＦｅａｔｕｒｅとは、探索ブロック内側の白い矩形領域の画素値合計からハッチングした矩形領域の画素値合計を引いた値である。

図２０に示す基本パターンの大きさ、位置、回転角を変えた複数のＲｅｃｔａｎｇｌｅＦｅａｔｕｒｅが存在する。顔の特徴は、このＲｅｃｔａｎｇｌｅＦｅａｔｕｒｅを組み合わせたＣｌａｓｓｉｆｉｅｒと呼ばれる顔領域判別関数を用いて表現する。具体的には、各ＲｅｃｔａｎｇｌｅＦｅａｔｕｒｅの値（Ｒｆ（ｉ））が閾値（ｔｈ）を超えたか否かに応じて重み（ｐｖ又はｎｖ）を与え、次に、全てのＲｅｃｔａｎｇｌｅＦｅａｔｕｒｅの重みの総和（Ｃｌｓ）がある閾値（ｔｈ２）を超えた場合に顔か否かを判別する。

ｐｖ，ｎｖは重み

マッチング処理が完了すると、顔領域検出装置２は探索ブロック１４を例えば、一画素ずつ移動させ（ステップＳ２−８）、スケール画像全体を操作し、画像にある人数分上記処理をした後、次のスケール画像を処理する（ステップＳ２−９）。以上の処理を全てのスケール画像に対して行った後（ステップＳ２−１０）、重複領域統合装置９において、検出領域のうち重なり合った領域を統合する（ステップＳ２−１１）。ここで、重複領域統合装置９をさらに詳しく説明する。顔領域検出装置２は、前述の通り探索ブロック１４を例えば、１画素ずつ移動させながら顔領域判定を行うため、図８の１５のように、顔の付近では複数の探索ブロック１４が顔領域と判定することにより顔領域判定装置８で記憶した顔領域矩形が重なり合う場合がある。これらは本来１つであるべきであるので、矩形同士が重なり合っている場合、その重なり合う割合に応じて矩形同士を統合し、その結果、１６に示す検出結果を得るようにする。重なり合う割合は、例えば矩形１、矩形２が重なり合っている場合、次式で求めることができる。
ｉｆ矩形１の面積＞矩形２の面積
重なり率＝重なり部分の面積／矩形１の面積
ｅｌｓｅ
重なり率＝重なり部分の面積／矩形２の面積
そして、重なり率がある閾値よりも大きい場合に２つの矩形を統合し、１つの矩形にする。２つの矩形を統合する場合、各４点の座標の平均値を求める、あるいは座標値の大小関係から求めることができる。この統合は、画像の人数分それぞれ行われる。

次に、図４、図９を用いて顔領域抽出装置３の動作について説明する。顔領域検出装置２で検出した第１の顔領域は、図９に示す１７のように頭髪を含めた顔全体を含んでいない場合が多い。

そこで、顔領域抽出装置３の適正画角算出装置１０において１７の領域を顔の特性を考慮して縦横を拡張し、１８に示す第２の顔領域を求める（ステップS３-１）。ここで適正画角とは、電子ファイルに登録するのに適した範囲であり、後で利用者が電子ファイルを開いて当該画像を見る場合に顔画像全体が適切に見れる範囲をいう。また、顔の特性を考慮する方法とは、例えば、検出した矩形の高さをh、幅をwとし、矩形の中心座標を(cx, cy)とした場合は、次の通り拡大する方法がある。

左上座標：（ｌｅｆｔ，ｔｏｐ）＝（ｃｘ−ｗ／２＊ｐ１，ｃｙ＋ｈ／２＊ｐ２）、右上座標：（ｒｉｇｈｔ，ｔｏｐ）＝（ｃｘ＋ｗ／２＊，ｃｙ＋ｈ／２＊ｐ２）、左下座標：（ｌｅｆｔ，ｂｏｔｔｏｍ）＝（ｃｘ−ｗ／２＊ｐ１，ｃｙ−ｈ／２＊ｐ３）、右下座標：（ｒｉｇｈｔ，ｂｏｔｔｏｍ，）＝（ｃｘ＋ｗ／２＊ｐ１，ｃｙ−ｈ／２＊ｐ３）、ｐ１，ｐ２，ｐ３は各辺の延長率で例えば、ｐ１＝１．５，ｐ２＝２．０，ｐ３＝１．５がある。これにより、図９に示すように、検出矩形では髪の毛や顎まで含まれなかったものが、適正画角の場合に基づく顔画像では含まれるようになる。

領域抽出装置１１において、求めた矩形の顔領域にかかる顔画像を入力画像から抽出し（ステップS３-２）、電子ファイルに登録する際のサイズに合わせて抽出した顔画像を拡大縮小する（ステップS３-３）。顔画像を拡大縮小する方法としては、双線形補間、間引き等がある。以上により、写真画像から複数人の画像がある場合には、その人数分の顔画像を抽出することができる。

次に、図５、図１０を用いて電子ファイル登録装置４の動作について説明する。図１０に示すように、一覧表示装置４０により顔領域抽出装置３で抽出した複数人分の顔画像のうち、数人分又は全員分の一覧を表示し（ステップS４-１）、顔画像選択装置４１によりユーザが一覧表示した顔画像から電子ファイルに登録したい顔を選択する。次に、メニューから新規登録あるいは、既に作成した電子ファイルに顔画像を追加するための登録編集のいずれかのメニュー２０を選択する（ステップS４-３）。ユーザが新規登録２１を選択した場合、新規登録画面２２を表示し、そこで必要な情報を入力し、顔画像と共に電子ファイルに登録する（ステップS４-７、S４-８）。ユーザが登録編集２３を選択した場合、既存の電子ファイル一覧２４を表示し（ステップS４−４）、ユーザは表示された電子ファイル一覧から、顔画像を登録したい項目を選択する（ステップS４-５）。そして、選択された項目のデータに顔画像が登録され２２と同様に登録内容を確認できる画面が表示される（ステップS４-８）。

以上のように、入力画像から複数の顔画像を抽出し当該画像を電子ファイルに登録可能とすることで、電子ファイル登録のために単独写真を撮影あるいは入手する必要がなく、顔画像を電子ファイルに登録するのを簡易化することが可能となる。

なお、この実施の形態では、顔画像を登録する媒体を、電子ファイルとして説明した。電子ファイルは、電子情報を保存できる電話帳を含む概念である。また、この実施の形態では、登録する画像は、顔画像として説明した。しかし、本発明は登録する対象として顔画像に限定されず、広くオブジェクト画像を含む。この場合、画像データベースはオブジェクトデータベースとなり、顔領域検出装置はオブジェクト領域検出装置となり、顔領域抽出装置はオブジェクト領域抽出装置、に対応する。例えば、花が電子ファイルに登録される対象である場合も含まれる。また、この実施の形態では、マルチスケール画像を生成した後に、画像の画像値を正規化するものとして説明した。しかし、本発明はマルチスケール画像を生成した後に、画像の画像値を正規化する場合に限られない。例えば、画像の画像値を正規化した後に、マルチスケール画像を生成する場合も含まれる。

実施の形態２
図１１を用いてこの発明の本実施の形態における電子ファイル生成装置２００の構成を説明する。なお、実施の形態１と共通する部分については説明を省略する。２０１は顔領域検出装置２により検出された第１の顔領域に基づいて顔画像を抽出する顔領域抽出装置、２５は顔領域抽出装置２０１のうち顔画像から両目や口である部位を検出する部位検出装置、２６は部位検出装置２５のうち、両目を検出する両目検出装置、２７は部位検出装置２５のうち、口を検出する口検出装置、２８は両目や口を検出するためのマッチング情報を格納した部位画像データベース（以下、部位画像ＤＢ）、３０は両目や口の位置を考慮して適正な画角調整を行う適正画角算出装置、である。

次に図１２から図１６を用いて本発明における各装置の動作を説明する。図１２は、本発明の電子ファイル生成装置２００の動作を説明するためのフローチャートである。図１３及び図１４は、部位検出装置２５の動作を説明するためのフローチャートである。図１５は、適正画角算出装置３０の動作を説明するためのフローチャートである。図１６は、適正画角算出装置３０の動作を説明するための図である。

まず、図１２を用いて電子ファイル生成装置２００の動作について説明する。画像入力装置１で画像を入力し（ステップS５-１）、顔領域検出装置２で第１の顔領域を検出する（ステップS５-２）。次に、部位画像ＤＢ２８を参照することにより第１の顔領域にかかる顔画像から両目及び口を検出する（ステップS５-３）。そして適正画角算出装置３０において検出した部位の位置に応じて画角を調整し（ステップS５−４）、調整した画角で第２の顔領域にかかる顔画像を抽出し、電子ファイルに登録するためのサイズにあわせるように顔画像を拡大縮小する（ステップS５-５）。最後に電子ファイル登録装置４で顔領域画像を電子ファイルに登録する（ステップS５-６）。

次に、図１３及び図１４を用いて部位検出装置２５の動作を説明する。まず、部位検出装置２５において、顔領域検出装置２により検出した第１の顔領域にかかる顔画像のマルチスケール画像を生成する（ステップS６-１）。次に一定の大きさ（例えば２４（画素）×２４の矩形）を有し、第１の顔領域にかかる顔画像上で移動し、左目、右目、口を探索する探索ブロックを、上記で生成したマルチスケール画像全てに対して走査し、マッチング処理を行い各部位を検出する。

具体的には、ステップS６-１で求めたマルチスケール画像に対して、以下の処理を繰り返す（ステップS６-２）。まず、左目を既に検出したか否かをチェックし（ステップS６-３）、検出していなければ、左目の探索ブロックと左目の特徴量が登録されている部位画像ＤＢ２８のデータでマッチング処理を行い（ステップS６-４）、マッチング処理した結果探索ブロックが左目と判断した場合（ステップS６-５）、左目の位置を記憶する（ステップS６-６）。探索ブロックが左目ではなかった場合、左目の探索ブロックを一画素移動させる（ステップS６-７）。

ここでマッチング処理とは、部位画像ＤＢ２８に登録されている、例えば、顔の部位の特徴を学習した部位データは、Rectangle Featureに基づいて定量化されているとする。顔の部位の特徴は、このRectangle Featureを組み合わせたClassifierと呼ばれる顔領域判別関数を用いて表現する。具体的には、各Rectangle Featureの値（Rf（i））が閾値（th）を超えたか否かに応じて重み（pv又はnv）を与え、次に、全てのRectangle Featureの重みの総和（Cls）がある閾値（th２）を超えた場合に部位画像か否かを判別する。

pv,nvは重み

次に右目、口も同様の処理を行い（ステップS６-８〜ステップS６-１７）、全ての部位が検出されるかあるいは、画像全体を走査し終えるまで検出処理を繰り返す。

以上で求めた部位の位置に基づいて適正画各算出装置３０において画角調整を行う。例えば、次のような手法がある。まず、両目間の距離を求める（ステップS７-１）。そして、両目の検出点でできるベクトルを求め（ステップS７-２）、両目の中心点から、求めた両目ベクトルに沿って、両目間の距離に応じて、両目ベクトルを左右に拡張する（ステップS７-３）。検出した両目及び口が図１６の３１であったとする。このときの両目ベクトルは３２であり、３２は両目間の距離に応じて拡張されたものである。次に、口の検出点と両目ベクトルとが垂直に交わるベクトルを求める（ステップS７-４）。図１６では、３３が求めたベクトルとなる。このベクトルを、両目ベクトルと口検出点との距離に応じてまず下方向に拡張し（ステップS７-５）、さらに、上方向に拡張する（ステップS７-６）。３３は上記の通り求めたベクトルである。

以上の通り求めた両目ベクトル、口−両目ベクトルから、顔領域の矩形３４を求め、この矩形に応じて領域抽出装置１１で領域を抽出する。このように、顔の部位をさらに検出することにより適正画角をさらに正確に求めることが可能となり、顔領域を適切に切り出すことが可能となる。

なお、本実施の形態においては、顔画像の部位として、両目及び口として説明した。しかし、本発明は、顔画像の部位として両目及び口に限定されない。すなわち、顔画像の部位として、鼻、耳等があり、このような部位を根拠として第２の顔の領域にかかる顔画像を抽出する場合もある。
実施の形態３

図１７を用いてこの発明の本実施の形態における電子ファイル生成装置３００の構成を説明する。なお、実施の形態１又は２と共通する部分については説明を省略する。図１７において、電子ファイル生成装置３００は、画像を入力する画像入力装置１と、入力された画像から顔の領域である第１の顔領域を検出する顔領域検出装置２と、第１の顔領域から顔画像の特徴に基づいて第２の顔領域にかかる顔画像を抽出する顔領域抽出装置２９と、顔領域抽出装置２９で抽出した顔画像を電子ファイルに登録する電子ファイル登録装置４と、で構成されている。電子ファイル登録装置４は、抽出した顔画像にアイコン等の装飾画像を重畳することにより顔画像を編集する画像合成装置３５を有する。

次に、図１８及び図１９を用いて画像合成装置３５を含む電子ファイル登録装置４の動作を説明する。図１８は、動作を説明するためのフローチャートである。図１９は、動作中の画面遷移を示した図である。

電子ファイル登録装置４において、図１９の３６に示すように画像から抽出した複数人分の顔画像のうち、数人分又は全員分の顔画像の一覧を表示し、ユーザがその中の１つを選択して顔画像編集メニューを選択すると（ステップS８-１）、画像合成装置３５は、合成可能なアイコンを３７のように一覧表示する（ステップS８-２）。一覧表示されたアイコン画像からユーザがアイコンを選択すると（ステップS８-３）、画像合成装置において、顔の大きさに合わせてアイコン画像を拡大縮小し、部位の位置に合わせてアイコン画像を合成する（ステップS８-４）。ここで、顔の大きさに合わせてアイコン画像を拡大縮小し、部位の位置に合わせてアイコン画像を合成するとは、例えば、部位検出に基づいてする場合がある。なお、アイコン画像は、各画素に対してそれぞれ透過情報を保持しているものであり、例えばアルファチャネルを持っている画像である。画像合成装置は、透過情報に基づいて顔画像とアイコンを重畳する。合成した結果は３８のように表示され（ステップS８-４）、ここでユーザが例えば、OKボタンを押下すれば（ステップS８-５）、通常の電子ファイル登録画面２２あるいは２４に遷移し電子ファイル登録可能となる（ステップS８-６）。

このように、切り出した顔写真を装飾可能とすることでより本人の特徴を誇張し、例えば電話を着信した際に、容易に本人を特定し易くすることが可能となる。

この発明の実施の形態１を示す電子ファイル生成装置の概念図である。この発明の実施の形態１を示す電子ファイル生成装置の概念図である。この発明の実施の形態１を示す電子ファイル生成装置の概念図である。この発明の実施の形態１を示す電子ファイル生成装置の概念図である。この発明の実施の形態１を示す電子ファイル生成装置の概念図である。この発明の実施の形態１を示す電子ファイル生成装置の概念図である。この発明の実施の形態１を示す電子ファイル生成装置の概念図である。この発明の実施の形態１を示す電子ファイル生成装置の概念図である。この発明の実施の形態１を示す電子ファイル生成装置の概念図である。この発明の実施の形態１を示す電子ファイル生成装置の概念図である。この発明の実施の形態２を示す電子ファイル生成装置の概念図である。この発明の実施の形態２を示す電子ファイル生成装置の概念図である。この発明の実施の形態２を示す電子ファイル生成装置の概念図である。この発明の実施の形態２を示す電子ファイル生成装置の概念図である。この発明の実施の形態２を示す電子ファイル生成装置の概念図である。この発明の実施の形態２を示す電子ファイル生成装置の概念図である。この発明の実施の形態２を示す電子ファイル生成装置の概念図である。この発明の実施の形態２を示す電子ファイル生成装置の概念図である。この発明の実施の形態２を示す電子ファイル生成装置の概念図である。この発明の実施の形態１に示すRectangleFeatureの基本形を示す図である。

符号の説明

１画像入力装置
２顔領域検出装置
３顔領域抽出装置
４電子ファイル登録装置
５マルチスケール画像生成装置
６画像値正規化装置
７顔画像データベース（顔画像ＤＢ）
８顔領域判定装置
９重複領域統合装置
１０適正画角算出装置
１１領域抽出装置
４０一覧表示装置
４１顔画像選択装置
１２入力画像
１３マルチスケール画像
１４探索ブロック
２５部位検出装置
２６両目領域検出装置
２７口領域検出装置
２８部位画像データベース（部位ＤＢ）
３０適正画角算出装置
２００電子ファイル生成装置
２０１顔領域抽出装置
２９顔領域抽出装置
３５画像合成装置
３００電子ファイル生成装置

Claims

顔画像を登録した電子ファイルを生成する電子ファイル生成装置において、
画像を入力する画像入力装置と、
顔画像のデータが登録された顔画像データベースと、
上記画像入力装置により入力された画像上で移動する探索ブロック内側の画像の特徴量と上記顔画像データベースに登録されている顔画像の特徴量とを比較し、上記探索ブロック内側の画像が顔領域の一部又は全部であるか否かを判定する顔領域判定装置、および上記顔領域判定装置で顔領域の一部又は全部であると判断された複数の画像が同一人の顔領域と判断された場合に当該同一人の顔領域と判断された複数の画像を統合し、上記入力画像から当該入力画像に写された人の顔画像が存在する領域である第１の顔領域を生成する重複領域統合装置を有し、上記入力画像の特徴量と上記顔画像データベースに登録されている顔画像の特徴量とを比較することにより、上記第１の顔領域を人数分検出する顔領域検出装置と、
上記顔領域検出装置により検出された第１の顔領域にかかる顔画像の特性に基づいて、電子ファイルに登録する際の適正な画角を求め、当該第１の顔領域を顔の特性を考慮して顔全体が含まれるべく所定の延長率で縦横に拡張した第２の顔領域にかかる顔画像を抽出する顔領域抽出装置と、
上記顔領域抽出装置により抽出された顔画像を電子ファイルに登録する電子ファイル登録装置と、
を備えたことを特徴とする電子ファイル生成装置。
上記顔領域検出装置は、
上記顔領域判定をする前に、上記探索ブロック内側の画素値を正規化する画素値正規化装置を備えたことを特徴とする請求項１に記載の電子ファイル生成装置。
上記顔領域抽出装置は、
顔画像の部位のデータが登録された部位画像データベースと、
上記顔領域検出装置によって検出された第１の顔領域にかかる顔画像と上記部位画像データベースに登録されたデータとを比較することにより第１の顔領域から顔画像の部位領域を検出する部位領域検出装置と、
上記部位領域検出装置により検出された部位領域に基づいて電子ファイルに登録するに適した画角の調整を行う適正画角算出装置と、
を備えたことを特徴とする請求項１または請求項２のいずれか一項に記載の電子ファイル生成装置。
上記顔領域抽出装置は、
両目及び口のデータが登録された部位画像データベースと、
上記顔領域検出装置によって検出された第１の顔領域にかかる顔画像と上記部位画像データベースに登録されたデータとを比較することにより第１の顔領域から両目及び口の領域である部位領域を検出する部位領域検出装置と、
上記部位領域検出装置により検出された部位領域に基づいて電子ファイルに登録するに適した画角の調整を行う適正画角算出装置と、
を備えたことを特徴とする請求項１乃至請求項３のいずれか一項に記載の電子ファイル生成装置。
上記電子ファイル登録装置は、
上記顔領域抽出装置により顔画像が複数人分抽出された場合に、当該複数人分のうち数人分又は全員分の顔画像の一覧を表示する一覧表示装置と、
上記一覧表示装置により表示された顔画像の一覧からユーザが電子ファイルに登録したい顔画像を選択することができる顔画像選択装置と、
を備えたことを特徴とする請求項１乃至請求項４のいずれか一項に記載の電子ファイル生成装置。
上記電子ファイル登録装置は、
上記一覧表示装置により表示された顔画像を選択すると当該選択された顔画像に合成可能なアイコンを一覧表示するアイコン一覧表示装置と、
上記アイコン一覧表示装置により表示されたアイコン画像からユーザが選択すると顔の大きさに合わせてアイコン画像を拡大縮小し、顔画像の部位の位置に合わせてアイコン画像を上記選択された顔画像に合成するアイコン画像合成装置と、
を備えたことを特徴とする請求項１乃至請求項５のいずれか一項に記載の電子ファイル生成装置。
上記電子ファイル登録装置は、電話帳生成装置であることを特徴とする請求項１に係る電話帳生成装置。
オブジェクトを登録した電子ファイルを生成する電子ファイル生成装置において、
画像を入力する画像入力装置と、
オブジェクトのデータが登録されたオブジェクトデータベースと、
上記画像入力装置により入力された画像上で移動する探索ブロック内側の画像の特徴量と上記オブジェクトデータベースに登録されているオブジェクト画像の特徴量とを比較し、上記探索ブロック内側の画像がオブジェクト領域の一部又は全部であるか否かを判定するオブジェクト領域判定装置、および上記オブジェクト領域判定装置でオブジェクト領域の一部又は全部であると判断された複数の画像が同一オブジェクトのオブジェクト領域と判断された場合に当該同一オブジェクトのオブジェクト領域と判断された複数の画像を統合し、上記入力画像から当該入力画像に写されたオブジェクト画像が存在する領域である第１のオブジェクト領域を生成する重複領域統合装置を有し、上記入力画像の特徴量と上記オブジェクトデータベースに登録されているオブジェクト画像の特徴量とを比較することにより、上記第１のオブジェクト領域をオブジェクトの数だけ検出するオブジェクト領域検出装置と、
上記オブジェクト領域検出装置により検出された第１のオブジェクト領域にかかるオブジェクト画像の特性に基づいて、電子ファイルに登録する際の適正な画角を求め、当該第１のオブジェクト領域をオブジェクトの特性を考慮してオブジェクト全体が含まれるべく所定の延長率で縦横に拡張した第２のオブジェクト領域にかかるオブジェクト画像を抽出するオブジェクト領域抽出装置と、
上記オブジェクト領域抽出装置により抽出されたオブジェクト画像を電子ファイルに登録する電子ファイル登録装置と、
を備えたことを特徴とする電子ファイル生成装置。