JP3575679B2

JP3575679B2 - 顔照合方法と該照合方法を格納した記録媒体と顔照合装置

Info

Publication number: JP3575679B2
Application number: JP2000099625A
Authority: JP
Inventors: 譲二田島
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2000-03-31
Filing date: 2000-03-31
Publication date: 2004-10-13
Anticipated expiration: 2020-03-31
Also published as: JP2001283224A; US7177450B2; US20010031073A1

Description

【０００１】
【発明の属する技術分野】
本発明は、画像入力装置から入力された顔画像と、データベース化された顔形状および顔画像データとを照合する顔照合方法及び該顔照合方法をプログラムとして格納した記録媒体に関する。
【０００２】
【従来の技術】
従来、顔画像をデータベース化しておいて、特定の対象顔画像を検索しようとする場合、単純に対象顔画像をディスプレイの側に置いて、ディスプレイ上にデータベースから１枚１枚繰り替え表示し、見比べて、同一顔画像を検索するという、人手で検索することが行なわれている。
【０００３】
通常、対象となる多人数の顔を複数の向きから撮影し、その人名・性別・年齢等の特徴分類と共にデータベース化しておく。以降、これをデータベース顔画像’と呼ぶ。検索・照合の場面では、人名等が不明な問合せ顔画像が得られると、その性別・年齢等の特徴から対象のデータベースを絞り込み、その写真あるいは画像データを画面に表示したものと問合せ顔画像とを、人が見比べて、同一人物かどうかを人が判断する。その際、問合せ顔画像の特徴点をイメージとして一様把握しておいて、そのイメージに近い顔画像がある場合には、近似データベース顔画像として特定し、極めて近似していれば、問合せ顔画像とデータベース顔画像とを入念に比較して、全く同一顔画像としてはコピーしない限りほとんどあり得ないが、顔画像の予測される動きを加味して、ほぼ一致すると見なすことにより、同一人物の顔画像であると判断することがよく行われている。
【０００４】
近年、これを自動化する試みが行なわれており、上記データベース顔画像と問合せ顔画像とを２次元の画像データとして、比較し、照合し、あるいは検索することが行なわれている。手法としては、問合せ顔画像から顔部分を自動的に背景画像中から切り出し、大きさおよび明るさ・コントラスト等をデータベース顔画像と同等になるように正規化し、画像同士を重ね合わせたり、画像部分を重ね合わせたりすることにより、その一致度を評価し、一致度の高いものを、同一人物のものと判断する。この手法は、データベース顔画像と問合せ顔画像を、ほぼ同等の環境、同等の装置で撮影した場合、また、その撮影の際、被写体の人物がほぼ同じ表情をすることが期待できる場合には、高い精度で実現される。
【０００５】
【発明が解決しようとする課題】
上述した手法は、基本的に２次元の画像と２次元の画像の濃淡の一致を評価するものである。しかしながら、人間の顔は本質的に３次元の形状をもっており、人物の表情がほぼ同じであっても、撮影時の顔の向き・照明条件の違いによって撮影された顔画像の輪郭や濃淡は異なっている。むしろ、向き・照明条件が異なる同一人物の画像同士より、向き・照明条件が同じなら、異なる人物の画像同士の方が画像としては一致度が高いことが多い。この問題を回避するためには、データベースは同一人物についてのすべての向き・照明条件の組み合わせについて、条件に応じた画像を持っておくことが考えられるが、データ量が膨大となる。３次元の形状を少ないデータ量で表現し、これと、入念な撮影条件を求められない問合せ画像の２次元画像とを照合する、現実に鑑みたシステムが求められていた。
【０００６】
本発明の目的は、従来の２次元画像同士の比較による照合システムの限界を克服した人物の顔照合システムや事物の照合システムを提供することにある。
【０００７】
【課題を解決するための手段】
本発明の顔照合方法は、多数の顔の３次元形状及びカラー画像を取得し、問い合わせ対象となる人物の顔の問合せ画像を撮影し、該撮影した問合せ画像に係る照明方向を含む撮影条件をユーザ入力に基づき決定し、該決定した撮影条件と前記多数の顔の３次元形状及びカラー画像とを用いて照合用カラー画像を生成し、該生成した照合用カラー画像を前記問合せ画像と順次比較し、差異が最小となる照合用カラー画像に係る顔を前記問合せ画像に係る顔に対応すると判定する。
【０００８】
本発明の事物照合方法は、多数の事物の３次元形状及びカラー画像を取得し、問い合わせ対象となる事物の問合せ画像を撮影し、該撮影した問合せ画像に係る照明方向を含む撮影条件をユーザ入力に基づき決定し、該決定した撮影条件と前記多数の事物の３次元形状及びカラー画像とを用いて照合用カラー画像を生成し、該生成した照合用カラー画像を前記問合せ画像と順次比較し、差異が最小となる照合用カラー画像に係る事物を前記問合せ画像に係る事物に対応すると判定する。
【０００９】
本発明の顔照合装置は、多数の顔の３次元形状及びカラー画像を取得する計測手段と、問い合わせ対象となる人物の顔の問合せ画像を撮影する画像入力手段と、該手段により撮影した問合せ画像に係る照明方向を含む撮影条件をユーザ入力に基づき決定する条件入力手段と、該手段により決定した撮影条件と前記多数の顔の３次元形状及びカラー画像とを用いて照合用カラー画像を生成するグラフィクス手段と、該手段により生成した照合用カラー画像を前記問合せ画像と順次比較し差異が最小となる照合用カラー画像に係る顔を前記問合せ画像に係る顔に対応すると判定する画像照合手段とを備える。
【００１０】
本発明の事物照合装置は、多数の事物の３次元形状及びカラー画像を取得する計測手段と、問い合わせ対象となる事物の問合せ画像を撮影する画像入力手段と、該手段により撮影した問合せ画像に係る照明方向を含む撮影条件をユーザ入力に基づき決定する条件入力手段と、該手段により決定した撮影条件と前記多数の事物の３次元形状及びカラー画像とを用いて照合用カラー画像を生成するグラフィクス手段と、該手段により生成した照合用カラー画像を前記問合せ画像と順次比較し差異が最小となる照合用カラー画像に係る事物を前記問合せ画像に係る事物に対応すると判定する画像照合手段とを備える。
【００１１】
本発明の記録媒体は、コンピュータを上記の顔照合装置又は事物照合装置として機能させるプログラムを格納している。
【００１５】
【発明の実施の形態】
図１を参照して、本発明の顔照合システムの実施形態について説明する。３次元形状計測手段１を用いて、検索対象となる多数の顔２の３次元形状とカラー画像が取得され、形状データ３、カラー画像データ４として、所定の表現形式に従って、データベース手段５に格納される。この場合、カラー画像データ４の撮影は、周囲からあまねく照明を行ない、得られた画像の各画素値は、肌の反射率に近似するように行なう。また、得られたカラー画像から照明の影響を推定し、その影響を取り除くような手法を用いて、反射率の画素値に変換してもよい。このカラー画像データには、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色要素に応じて、あるいは色度、輝度、彩度から示せるカラーのパラメータを用い、撮影した顔のカラー画像データとして顔の左右上下向き毎に、取り込む。また、形状データ３の撮影は、正面、左右側面、バック等から、輪郭形状、髪、眼、鼻、口、眉毛などの形状などを顔の左右上下向き毎に、データベースとして格納しておく。
【００１６】
また、問合せ画像６が画像入力手段７により入力される。画像入力手段７はビデオカメラ等が用いられ、３００万画素という高精細度のカメラであってもよいが、それほどの必要はなく、１００万画素程度で顔画像の特徴点を把握できればよい。
【００１７】
また、利用者はその画像の撮影条件（顔の向き、照明条件）８を条件入力手段９により入力する。条件入力手段９は、キーボードやマウス、タッチボード等で指定し、顔の向きを示す正面、右、左の３面程度でも、正面、左右９０度、左右４５度、上側４５度、下側４５度などの７面の指定キーと、照明条件も同じく正面、左右９０度、左右４５度、上側４５度、下側４５度などの７面の指定キー等で指定する。指定方法は画面上で特定ポイントをクリックしても良い。
【００１８】
また、グラフィクス手段１０は、データベース手段５に格納されている各人の３次元形状データ３とカラー画像データ４とを用い、前記撮影条件８に従って、コンピュータグラフィクス手法を用いて、２次元の照合用カラー画像１１を発生する。その際、問合せ画像６が撮影される条件と一致させることが好ましく、当てずっぽうに撮影条件を決定するのではなく、撮影状態に従った撮影条件を指定しておく。
【００１９】
画像照合手段１２は、問合せ画像６と、各人の照合用カラー画像１１とを比較し、一致度を計算し、一致度の高さを比較することで、問合せ画像６がどの人物の顔である可能性が高いかどうかを判断する。この一致度の計算は、後述する。
【００２０】
以下に、図面を参照して本実施形態の各部を詳細に説明する。図２および図３は、顔の３次元形状とカラー画像を取得する３次元形状計測手段１である。３次元形状計測手段１の例としては、１９９９年６月に発行された電子情報通信学会パターン認識とメディア理解研究会の技術報告（ＰＲＭＵ９９−２４）に「顔用レンジファインダ」として、石山、坂本等の著作により、詳しく説明されているものについて、構成を簡単に説明する。本技術報告には、３次元形状モデルをレンジファインダを用いて求め、３次元形状の測定方法を例示したもので、長い測定時間が必要なレーザー光によるスポット光・スリット光走査法や、高速なパターン投射・撮像装置による空間コード法などから、正弦波格子を利用した位相シフト法を選択したものである。本位相シフト法は、正弦波状の光強度パターンを時系列で位相を変化させながら投射し、観測される時系列光強度パターンの位相値によって空間をコード化している。この位相シフト法は、必要な画像が最低３枚でよく、各画素毎の３次元形状測定が可能であり、撮影画素と枚数を増やすことで高精細度化が容易で、カラーのテクスチャ画像が同時に測定できるという特徴を有している。
【００２１】
図２において、顔１０１に対して、光パターン投射器１０２から位相格子１０３のパターンが投影される。位相格子１０３は、空間的に図３に示す正弦波状の透過率を持っており、この位置を変化させながら、複数枚の画像が入力される。すると顔の上の特定の点では、照射される光の強度は、図３に示すように時間的に変化する。この情景をビデオカメラ１０４で撮影すると、ｔ枚目の画像上の画素（ｕ，ｖ）では、反射された光の強度が式（１）のように得られる。
【００２２】
Ｉ（ｕ，ｖ，ｔ）＝Ｉ_ｂｉａｓ（ｕ，ｖ）＋Ａ（ｕ，ｖ）ｃｏｓ（φ＋ｔ） ……（１）
ここで、Ｉ_ｂｉａｓ（ｕ，ｖ）は、環境光および投射光パターンの直流成分の反射光、Ａ（ｕ，ｖ）は、投射光パターンの強度を示す。
【００２３】
また、φは、投影された正弦波パターンのその位置での最初の画像での初期位相値を示す。図３によれば、この初期位相値φは約１２０度として示している。また、各画素における初期位相値φは、下記式（２）〜式（５）によって、入力された複数枚の画像から、画像処理手段１０５により計算される。
【００２４】
【数１】

【００２５】
【数２】

【００２６】
【数３】

【００２７】
【数４】

この初期位相値φは、図２に示す投射角αと密接に関係しているので、各画素におけるφが求められると、投射角αが定まる。また、ビデオカメラ１０４への入射角βは画素の位置（ｕ，ｖ）から求められる。正弦波パターンの投射位置と、カメラの位置関係が定まっており、その２点と投射角αおよびビデオカメラ１０４への入射角βが求まるため、三角形が一意に定まり、各画素におけるビデオカメラ１０４から対象までの距離が求まる。結局、適当な位置に原点を置くことによって、顔の表面の３次元座標（Ｘ，Ｙ，Ｚ）が、各画素毎に求まる。得られた３次元座標を隣接のものと結合することにより、３角形パッチを構成することなどにより、公知の技術で顔表面の形状データ３を作成する。
【００２８】
また、対象の顔のカラー画像データ４はであり、複数枚の画像から式（６）により求められる。
【００２９】
【数５】

以上のことが、上記技術報告に記載されており、本発明においても、同様の処理によって、３次元形状取得手段１において、上述した演算処理により、顔画像の形状データ３とカラー画像データ４とを確保している。
【００３０】
図４を用いて、条件入力手段９と、グラフィクス手段１０との処理例について説明する。表示モニタＡ１３は、問合せ画像を表示するモニタであり、図１に示す顔照合システムに条件入力手段９や本システムの状態表示のために備えられている。
【００３１】
図４において、問合せ画像６は、通常、顔の姿勢あるいはカメラや照明の位置を規定できないので、データベース手段５に格納されているカラー画像データのように、全方向からの照明で撮影されているわけではない。そのため、この画像をデータベース手段５に格納されているデータとそのまま照合することはできない。照合を実現するため、問合せ画像が撮影された撮影条件８を条件入力手段９によりグラフィクス手段１０に入力し、格納されている形状データ３と、カラー画像データ４と、から照合用カラー画像１１を発生する。
【００３２】
撮影条件８は、基本的には顔の姿勢と照明の方向である。まず、顔の姿勢を決定する。本実施形態では、顔の姿勢は、問合せ画像６を表示した表示モニタＡ１３と、標準姿勢画像を表示した表示モニタＢ１４を利用者が比較し、選択することで決定する。図４に、表示モニタＢ１４上に、顔画像の’正面’、’右向き’、’左向き’、’下向き’、’上向き’の５種類の画像を表示した例を模式的に示す。利用者は、問合せ画像６と、この標準姿勢画像を見比べながら、最も近い姿勢をキー入力により選択する。図４の例では、５種類の姿勢から、’左向き’を選ぶように説明しているが、照合精度を高めるためには、数十種類の姿勢の画像と比較し、できるだけ精度の高い姿勢を選択するのが望ましい。また、撮影条件８は、問合せ画像６の撮影条件を特定できない場合には、平均的な撮影条件を推定して、指定することもできる。
【００３３】
また、データベース手段５に形状データ３とカラー画像データ４を格納する際、’瞳位置’、’口の中心’などの特徴点を人手で与え、この位置を合わせてデータベース手段５に格納しておく。同様に、問合せ画像６についても、上記特徴点を人手で与え、その両者の特徴点の位置を比較することで、姿勢を決定することも可能である。
【００３４】
次に、照明の方向を決定する。この場合にも、上記で決定された顔の姿勢に対して標準照明画像を表示モニタＢ１４上に表示し、これを問合せ画像６と、使用者が比較して決定する。図５の例では、正面向きの姿勢の顔について、’正面から’、’右向き’、’左向き’、’下向き’、’上向き’の５種類の向きの照明をした標準照明画像を表示している。利用者は、問合せ画像６とこの標準照明画像を見比べながら、最も近い照明をキー入力により選択する。図５の例では、５種類の姿勢から選ぶように説明しているが、照合精度を高めるためには、数十種類の標準照明画像と比較し、できるだけ精度を高く照明方向を選択するのが望ましい。なお、画像から照明の向きを自動的に推定する手法も知られており、これを応用することも可能である。
【００３５】
また、上記５種類の姿勢で照明方向は１方向の例を示しているが、１方向に限らず、２方向或いは３方向からの照明もあり得るので、その場合のために、複数方向からの照明の場合の撮影条件の選択を表示モニタの表示で促して、キー入力して選択するようにしてもよい。また、照明方向を選択して指定したとしても、照明の照度にも強弱の差を設けて、例えば照明強度が大、中、小のいずれかを選択して指定してもよい。
【００３６】
以上の結果として、顔の姿勢と照明の向きが決定される。この撮像条件６とデータベース手段５に格納されている形状データ３とカラー画像データ４を利用して、グラフィクス手段１０により照合用カラー画像１１が生成される。この照合用カラー画像１１の生成の手法は、公知の手法を利用することができる。例えば、形状データ３は、顔の表面形状を、図６に示すように、例えば目と鼻の周辺の特徴部分だけを、細かい三角形パッチ６１の集合で表現している。上記の処理で得られた顔の姿勢により、顔表面全体のカメラに対する向きを変更する。この向きを変更された三角形パッチ６１の情報から、この面の法線方向ベクトルｎが得られる。また、図６の三角形パッチの一つを例として示せば、鼻の側面を三角形の頂点ＡＢＣで囲まれた唯一の平面として対象領域とすると、上記の処理で得られた照明方向により、この三角形パッチ６１に対する入射ベクトルｓが得られる。カメラの向きが射出ベクトルｖとして与えられたとき、よく知られたＰｈｏｎｇの反射モデルを用いると、この三角形パッチ６１の色としてカメラに入射する値（Ｒ，Ｇ，Ｂ）^ｔは、式（７）のように表される。
【００３７】
【数６】

ここで、（Ｒｏ，Ｇｏ，Ｂｏ）^ｔは、行列（Ｒｏ，Ｇｏ，Ｂｏ）の縦行列である転置を表し、物体表面の拡散反射成分の色を示す値であり、データベース手段５に格納されているカラー画像データ４を利用できる。
【００３８】
また、（Ｒｗ，Ｇｗ，Ｂｗ）^ｔは、物体表面の鏡面反射成分の色を示す値、θは法線方向ベクトルｎと入射ベクトルｓがなす角度、ψは鏡面反射方向ｐと、射出ベクトルｖがなす角度である。また、ｄは表面の性質で決まる拡散反射成分の光源による部分と、環境光による部分の比率を示す定数である。
【００３９】
さて、最終的な問合せ画像６と、照合用カラー画像１１との照合が、画像照合手段１２で実行される。画像照合手段１２としては、従来知られている２次元顔画像同士の照合方法を用いることで、多様な実現形態をとることができる。図７には、その典型的な実施形態を示した。問合せ画像６と照合用カラー画像１１のそれぞれに位置・大きさ・明度正規化手段１２１および１２２を作用させ、それぞれの顔画像を正規化する。顔画像の正規化については、図８に示すように、例えば問合せ顔画像６について、画像内の両方の瞳位置１１１と１１２を検出し、その位置が標準顔画像１１３内の標準瞳位置１１４，１１５に来るように画像の平行移動、回転、拡大・縮小を行なう。画像における瞳位置の検出は、利用者が表示手段を観察しながら予め行なってもよいが、自動的な画像処理手法も利用可能である。このように、標準顔画像１１３を基準として、瞳位置を合わせて、瞳幅、鼻幅、鼻位置、口幅、口位置、上唇幅、下唇幅、耳幅、耳位置、耳縦幅などのズレ分を求めて、正規化する。この正規化手法については、例えば「画像の認識・理解シンポジウム（ＭＩＲＵ’９８）」ＩＩ−３９７−４０３ページに記述された「新聞紙面向け顔画像処理」坂本、田島等の著作物に記載された手法が利用可能である。
【００４０】
また、標準顔画像１１３としては、問合せ顔画像６または照合用カラー画像１１のどちらかを使用してもよい。
【００４１】
また、明度については、図８に示した上記の目の位置を基準とした比較領域１１６を定め、問合せ画像６と照合用カラー画像１１の両者のこの比較領域１１６中の画素値Ｒ，Ｇ，Ｂの分布を計算する。例えば、問合せ画像６の比較領域１１６内のＲ値の分布の平均値Ｒａと標準偏差σｒを求める。そして、予め定められた、顔の比較領域１１６内の標準のＲ値の平均値Ｒａ０と標準偏差σｒ０に合わせるように、各画素値を式（８）により、Ｒ’に変換する。Ｇ，Ｂ値についても同様である。
【００４２】
【数７】

このようにして得られた、正規化問合せ画像１２３、正規化照合用カラー画像１２４を画像比較手段１２５で比較し、差異を例えば、式（９）のように計算し、この差異Ｄ_ｉ ^２が最小となるｉ番目の人物を問合せ画像６と一致する人物と推定して出力する。
【００４３】
【数８】

式（９）において、Ｒ’（ｘ，ｙ），Ｇ’（ｘ，ｙ），Ｂ’（ｘ，ｙ）は、正規化問合せ画像１２３の画素値、Ｒ’_ｉ（ｘ，ｙ），Ｇ’_ｉ（ｘ，ｙ），Ｂ’_ｉ（ｘ，ｙ）は、正規化照合用カラー画像１２４の画素値である。
【００４４】
この差異Ｄ_ｉ ^２が最小であることは、類似度が最も大きいこととも言え、類似度は差異Ｄ_ｉ ^２の逆数に比例する。このようにして、問合せ画像とデータベース中の３次元形状とカラー画像データとからのグラフィック処理した照合用カラー画像との類似度を求めることができる。
【００４５】
なお、上記の実施形態に示したカラー画像は、モノクロの濃淡画像でも同様に実現できる。
【００４６】
以上から、画像照合手段１２によって、一致した場合にはデータベース化された大量の顔形状・画像データの照合用カラー画像１１と問合せ顔画像６とが、同一人物と判定することができる。
【００４７】
また、上記実施形態では、主に顔画像について説明したが、顔画像以外にも、特徴のある建築物や名所旧跡、山、川、海の自然物や、動物、植物などの事物であっても、照合という点では共通に、本発明を適用できる。
【００４８】
また、当該顔照合方法を、コンピュータが読み取り可能な記録媒体から、プログラムとして読み出せばそのプログラムに従ってコンピュータが動作するので、当該プログラムを拡販することも可能であると共に、インターネットやイーメール形式の伝送媒体を通して伝送することも可能である。また、プログラムの対象は、照合方法に限らず、データベースをも含めた記録媒体であってもよく、多数の顔画像の３次元形状とその表面の画像とを、その記録媒体に積算していけば、極めて有効な顔照合が可能となる。
【００４９】
【発明の効果】
以上に説明した本発明により、データベース化された顔形状・画像データから、問合せ顔画像を高精度に検索・照合するシステムを構成することを可能とする。
【００５０】
また、上記の構成は、コンピュータ・システムを利用したコンピュータプログラムとしても実現することが可能である。このコンピュータプログラムをパッケージソフト等の記録媒体に格納して、パソコン、スパコン等にデータベースと共にインストールすることにより、上記の効果と同様な効果を備えた顔照合装置を提供できる。
【図面の簡単な説明】
【図１】本発明の実施形態である顔画像照合システムの構成を示すブロック図である。
【図２】本発明に用いる３次元形状取得手段の説明図である。
【図３】本発明に用いる３次元形状取得手段により、ビデオカメラの各画素に得られる画素値の説明図である。
【図４】本発明の条件入力手段により問合せ画像の顔の姿勢を決定する方法の説明図である。
【図５】本発明の条件入力手段により問合せ画像の照明の向きを決定する方法の説明図である。
【図６】本発明によるグラフィクス手段により照合用カラー画像を生成するためのＰｈｏｎｇのモデルの説明図である。
【図７】本発明による画像照合手段の典型的な構成を示すブロック図である。
【図８】本発明による画像照合手段における画像の照合方法の説明図である。
【符号の説明】
１３次元形状計測手段
２顔
３形状データ
４カラー画像データ
５データベース手段
６問合せ画像
７画像入力手段
８撮影条件
９条件入力手段
１０グラフィクス手段
１１照合用カラー画像
１２画像照合手段

Claims

多数の顔の３次元形状及びカラー画像を取得し、問い合わせ対象となる人物の顔の問合せ画像を撮影し、該撮影した問合せ画像に係る照明方向を含む撮影条件をユーザ入力に基づき決定し、該決定した撮影条件と前記多数の顔の３次元形状及びカラー画像とを用いて照合用カラー画像を生成し、該生成した照合用カラー画像を前記問合せ画像と順次比較し、差異が最小となる照合用カラー画像に係る顔を前記問合せ画像に係る顔に対応すると判定することを特徴とする顔照合方法。
前記撮影条件に前記問合せ画像に係る顔の姿勢を含むことを特徴とする請求項１記載の顔照合方法。
前記撮影条件の決定に際し、顔の複数の姿勢を表す複数の顔画像を含む標準姿勢画像を表示し、該標準姿勢画像からユーザが選択した顔画像に対する複数の照明方向を表す複数の顔画像を含む標準照明画像を表示し、該標準照明画像からユーザが選択した顔画像が示す顔の姿勢及び照明方向を前記撮影条件として決定することを特徴とする請求項２記載の顔照合方法。
前記標準照明画像において各照明方向に対し照度を指定するための選択肢を設けることを特徴とする請求項３記載の顔照合方法。
前記取得した３次元形状及びカラー画像を所定のデータベースに格納し、前記照合用カラー画像を生成するとき当該３次元形状及びカラー画像を前記データベースから読み出すことを特徴とする請求項１記載の顔照合方法。
多数の事物の３次元形状及びカラー画像を取得し、問い合わせ対象となる事物の問合せ画像を撮影し、該撮影した問合せ画像に係る照明方向を含む撮影条件をユーザ入力に基づき決定し、該決定した撮影条件と前記多数の事物の３次元形状及びカラー画像とを用いて照合用カラー画像を生成し、該生成した照合用カラー画像を前記問合せ画像と順次比較し、差異が最小となる照合用カラー画像に係る事物を前記問合せ画像に係る事物に対応すると判定することを特徴とする事物照合方法。
前記取得した３次元形状及びカラー画像を所定のデータベースに格納し、前記照合用カラー画像を生成するとき当該３次元形状及びカラー画像を前記データベースから読み出すことを特徴とする請求項６記載の事物照合方法。
多数の顔の３次元形状及びカラー画像を取得する計測手段と、問い合わせ対象となる人物の顔の問合せ画像を撮影する画像入力手段と、該手段により撮影した問合せ画像に係る照明方向を含む撮影条件をユーザ入力に基づき決定する条件入力手段と、該手段により決定した撮影条件と前記多数の顔の３次元形状及びカラー画像とを用いて照合用カラー画像を生成するグラフィクス手段と、該手段により生成した照合用カラー画像を前記問合せ画像と順次比較し差異が最小となる照合用カラー画像に係る顔を前記問合せ画像に係る顔に対応すると判定する画像照合手段とを備えることを特徴とする顔照合装置。
前記条件入力手段により決定する撮影条件に前記問合せ画像に係る顔の姿勢を含むことを特徴とする請求項８記載の顔照合装置。
前記条件入力手段により、顔の複数の姿勢を表す複数の顔画像を含む標準姿勢画像を表示し、該標準姿勢画像からユーザが選択した顔画像に対する複数の照明方向を表す複数の顔画像を含む標準照明画像を表示し、該標準照明画像からユーザが選択した顔画像が示す顔の姿勢及び照明方向を前記撮影条件として決定することを特徴とする請求項９記載の顔照合装置。
さらに、前記計測手段により取得した３次元形状及びカラー画像を格納するデータベースを備え、前記グラフィクス手段により照合用カラー画像を生成するとき当該３次元形状及びカラー画像を前記データベースから読み出すことを特徴とする請求項８記載の顔照合装置。
多数の事物の３次元形状及びカラー画像を取得する計測手段と、問い合わせ対象となる事物の問合せ画像を撮影する画像入力手段と、該手段により撮影した問合せ画像に係る照明方向を含む撮影条件をユーザ入力に基づき決定する条件入力手段と、該手段により決定した撮影条件と前記多数の事物の３次元形状及びカラー画像とを用いて照合用カラー画像を生成するグラフィクス手段と、該手段により生成した照合用カラー画像を前記問合せ画像と順次比較し差異が最小となる照合用カラー画像に係る事物を前記問合せ画像に係る事物に対応すると判定する画像照合手段とを備えることを特徴とする事物照合装置。
さらに、前記計測手段により取得した３次元形状及びカラー画像を格納するデータベースを備え、前記グラフィクス手段により照合用カラー画像を生成するとき当該３次元形状及びカラー画像を前記データベースから読み出すことを特徴とする請求項１２記載の事物照合装置。
コンピュータを請求項８乃至１１のいずれか１項に記載の顔照合装置として機能させるプログラムを格納したことを特徴とする記録媒体。
コンピュータを請求項１２又は１３に記載の事物照合装置として機能させるプログラムを格納したことを特徴とする記録媒体。