JP3570862B2 - 画像における物体の検出方法及び装置並びに記録媒体 - Google Patents
画像における物体の検出方法及び装置並びに記録媒体 Download PDFInfo
- Publication number
- JP3570862B2 JP3570862B2 JP20559497A JP20559497A JP3570862B2 JP 3570862 B2 JP3570862 B2 JP 3570862B2 JP 20559497 A JP20559497 A JP 20559497A JP 20559497 A JP20559497 A JP 20559497A JP 3570862 B2 JP3570862 B2 JP 3570862B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- shape
- principal component
- feature amount
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像における物体の検出方法及び装置並びに記録媒体に関し、特に、形状に変化のある物体の検出のための画像処理に適用される。
【０００２】
カメラで撮影された画像からその中に映っている物体を検出することは、画像処理における基本的な技術であり、様々な応用を持つ。例えば、人間の顔を撮影して得られた画像から、その中に映っている目、口、鼻などの形状又は位置を確認することができれば、人間の表情又は姿勢を機械が認識することが可能となり、人間と機械のコミュニケーションにとって極めて有用である。
【０００３】
このような状況から、形状に変化のある物体の検出を精度よく短時間で実行する方法が望まれている。
【０００４】
【従来の技術】
従来より、画像の中から対象となる物体を検出する方法として、物体を表すテンプレートを画像上で走査し、両者の一致度の高い位置を探すことにより物体を検出するテンプレートマッチングが用いられている。
【０００５】
例えば図１９に示すように、画像ＦＧの左上端から右下端まで、物体ＢＪを表すテンプレートＴＰを横方向に移動させ且つ縦方向に順次ずらせていき、その間に一致度の最も高い物体ｂｊの位置を検出する。
【０００６】
この場合において、物体ｂｊが、例えばボルト、ナット、ドリルの穴などのように、固定した形状のものである場合には、物体ＢＪを表すテンプレートＴＰも固定した形状のものでよい。
【０００７】
しかし、物体ｂｊが、例えば目、口、鼻などのように、同じ人物であっても表情によってそれらの形状が変化するものである場合には、物体ＢＪを表すテンプレートＴＰも可変形状のものを用いる必要がある。また、形状自体は固定している物体であっても、その物体の撮影方向が変化する場合にはそれに応じて見かけの形状が変化するので、同様に可変形状のテンプレートＴＰを用いる必要がある。
【０００８】
可変形状のテンプレートＴＰを用いた場合には、画像ＦＧ上でテンプレートＴＰを走査する際に、それぞれの位置においてテンプレートＴＰの形状を変化させ、一致度の最も高い物体ＢＪの位置及びテンプレートＴＰの形状を検出する。
【０００９】
【発明が解決しようとする課題】
しかし、従来の可変形状のテンプレートＴＰを用いるテンプレートマッチングの技術において、物体ｂｊの形状の変化を予想してテンプレートＴＰを作成する必要がある。そのようなテンプレートＴＰには、従来は人為的に作成されたものが用いられていた。そのため、テンプレートＴＰを対象となる物体ｂｊの形状変化に必ずしも追従させることができず、検出精度の低下を招いていた。
【００１０】
また、画像ＦＧ上でテンプレートＴＰを走査しながら、変化する物体ＢＪの形状の総てについて照合を行い、一致度の最も高い位置及び形状を検出することとした場合には、情報処理の量が膨大となって検出に多大の時間を要し実用的でないという問題がある。
【００１１】
本発明は、上述の問題に鑑みてなされたもので、画像の中から形状の変化する物体を精度よく且つ短時間で検出することのできる方法及び装置並びにそのような処理を実行させるための記録媒体を提供することを目的とする。
【００１２】
【課題を解決するための手段】
請求項１の発明に係る方法は、画像の中から形状に変化のある物体を検出する方法であって、前記物体が含まれる複数の画像から物体形状を表す数値化された特徴量である物体特徴量を抽出する第１のステップと、前記物体特徴量を主成分分析の手法を用いて分析する第２のステップと、与えられた画像から所定の方法により画像特徴量を抽出する第３のステップと、前記分析された物体特徴量から物体の形状を少数の主成分の値で表現し、前記画像特徴量と可変形状のテンプレートマッチングで照合を行なう第４のステップと、照合結果に応じて前記物体の形状及び位置を出力する第５のステップと、を有してなる方法である。
【００１３】
請求項２の発明に係る方法は、前記画像特徴量として、複数の特徴点の座標値を用い、前記第１のステップにおいて、前記物体についての形状の類似する複数のそれぞれの画像に対し複数の特徴点を指定し、その指定された特徴点の座標値を求める。
【００１４】
請求項３の発明に係る方法は、前記第４のステップにおいて、前記分析された物体特徴量の各主成分の値を変化させ、前記分析された物体特徴量と前記画像特徴量とがよく一致するときの各主成分の値の組を照合結果とする。
【００１５】
請求項４の発明に係る方法は、前記第４のステップにおいて、前記分析された物体特徴量の一部と前記画像特徴量の一部とが一致するように各主成分の値を調整し、調整された各主成分の値の複数の組のうち、前記分析された物体特徴量と前記画像特徴量とがよく一致するときの各主成分の値の組を照合結果とする。
【００１６】
請求項５の発明に係る方法は、前記第４のステップにおいて、最もよく一致する各主成分の値の組が複数存在する場合に、各主成分の値の絶対値の最も小さい組を照合結果とする。
【００１７】
請求項６の発明に係る方法は、前記第４のステップにおいて、前記分析された物体特徴量と前記画像特徴量との不一致度及び各主成分の値の絶対値をそれぞれ変数とする評価関数に最小値を与える各主成分の値の組を照合結果とする。
【００１８】
請求項７の発明に係る方法は、前記第５のステップにおいて、前記照合結果である各主成分の値によって定まる物体の形状を出力する。
請求項８の発明に係る装置は、画像の中から形状に変化のある物体を検出する装置であって、前記物体が含まれる複数の画像から物体形状を表す数値化された特徴量である物体特徴量を抽出する第１の手段と、前記物体特徴量を主成分分析の手法を用いて分析する第２の手段と、与えられた画像から所定の方法により画像特徴量を抽出する第３の手段と、前記分析された物体特徴量から物体の形状を少数の主成分の値で表現し、前記画像特徴量と可変形状のテンプレートマッチングで照合を行なう第４の手段と、照合結果に応じて前記物体の形状及び位置を出力する第５の手段と、を有して構成される。
【００１９】
請求項９の発明に係る記録媒体は、画像の中から形状に変化のある物体を検出するために、前記物体が含まれる複数の画像から物体形状を表す数値化された特徴量である物体特徴量を抽出する第１のステップと、前記物体特徴量を主成分分析の手法を用いて分析する第２のステップと、与えられた画像から所定の方法により画像特徴量を抽出する第３のステップと、前記分析された物体特徴量から物体の形状を少数の主成分の値で表現し、前記画像特徴量と可変形状のテンプレートマッチングで照合を行なう第４のステップと、照合結果に応じて前記物体の形状及び位置を出力する第５のステップと、をコンピュータに実行させるプログラムを記録したコンピュータが読み取り可能な記録媒体である。
【００２０】
本発明の検出方法においては、形状の変化する物体の形状データが統計学で用いられる主成分分析の手法で分析される。その分析結果に基づいて可変形状のテンプレートを設計することにより、画像中の物体の形状変化に追従した検出が行なわれる。
【００２１】
本発明の検出装置は、例えばパーソナルコンピュータ又はワークステーションを用いて実現される。本発明に係る方法を実行するためのプログラムは、半導体メモリ、ハードディスク、ＣＤ−ＲＯＭ、フロッピーディスク、又は光磁気ディスクなどの記録媒体に格納される。記録媒体に格納されたプログラムは、主メモリ上に適時ローディングされ、処理装置によって実行される。その際に、ＣＤ−ＲＯＭドライブ、フロッピーディスクドライブ、又は光磁気ディスクドライブなどのドライブ装置が必要に応じて用いられる。記録媒体がネットワークなどの通信回線で結ばれたサーバに設けられている場合には、通信回線を介してサーバからプログラムが読み取られ又はダウンロードされる。また、プログラムが通信回線を介して処理装置に転送される場合には、通信回線自体も記録媒体に相当する。プログラムは、種々のＯＳ、プラットホーム、システム環境、又はネットワーク環境の下で動作するように供給可能である。
【００２２】
【発明の実施の形態】
図１は本発明に係る検出方法の処理の流れを示すフローチャートである。
図１において、物体特徴量を抽出し（＃１）、抽出した物体特徴量を分析し（＃２）、画像特徴量を抽出し（＃３）、照合処理を行い（＃４）、その結果を出力する（＃５）。物体特徴量の抽出及び分析、画像特徴量の抽出は、照合処理よりも前であればそれらの順序及びタイミングは任意である。
【００２３】
以下において、最初に、物体ＢＪの形状の表現方法について説明し、これによってステップ＃１及び２の物体特徴量の抽出と分析の処理内容の例を示す。次いで画像ＦＧＳの特徴量の算出方法の例について説明し、これによってステップ＃３の画像特徴量の抽出の処理内容の例を示す。その次に、ステップ＃４の照合処理について説明する。
【００２４】
まず、物体ＢＪの表現方法について説明する。
本発明において、形状の変化する物体ＢＪについて、その形状データをいくつかの特徴量で表す。特徴量として、例えば特徴点の座標値を用いる。以下の説明においては、特徴量として特徴点の座標値を用いるが、本発明は物体の形状を何らかの数値で表現すれば適用可能であるので、それ以外の特徴量を用いることも可能である。
【００２５】
図２は対象となる物体ＢＪ１を５つの特徴点ＣＰ１〜５で表現した物体画像ＦＧＡ１の例を示す図である。
図２（Ａ）において、物体ＢＪ１は、形状についての５つの特徴点ＣＰ１〜５によって代表されている。この場合には、物体ＢＪ１は各特徴点ＣＰ１〜５を頂点とする多角形として表現される。各特徴点ＣＰ１〜５は、図２（Ｂ）に示すように、物体画像ＦＧＡ１の座標系における座標値により表される。物体画像ＦＧＡ１の左上端が原点（０，０）であり、原点から右方へ正のＸ座標が、原点から下方へ正のＹ座標が、それぞれ延びる。各特徴点ＣＰ１〜５の座標値はメモリに格納される。
【００２６】
特徴点ＣＰ１〜５は、物体画像ＦＧＡ１をディスプレイ装置の画面に表示した状態で、オペレータがそれぞれの特徴点ＣＰ１〜５をマウスなどのポインティングデバイスで指定することによって決定される。特徴点ＣＰ１〜５の指定によってそれらの座標値が取得され、メモリに格納される。特徴点ＣＰ１〜５の指定に当たって、オペレータは自身の判断基準に基づいて特徴点ＣＰ１〜５と思われる点を選択すればよいが、物体ＢＪ１の外観形状の変曲点を選択することが多い。なお、画面に表示された物体画像ＦＧＡ１の中から特徴点ＣＰ１〜５を指定するのではなく、オペレータが特徴点ＣＰ１〜５の座標値をキーボードなどから入力するようにしてもよい。
【００２７】
上述のような操作及び処理を、同じ物体ＢＪ１に対し、図３に示すような形状の異なる多数の物体画像ＦＧＡ２〜４について行う。例えば物体ＢＪ１が「口」又は「唇」である場合に、同一人物の口又は唇について撮影した多数のバリエーション画像について、それぞれの特徴点ＣＰ１〜５を選択して座標値を取得する。また、異なる人物のそれぞれの口を撮影した画像について、それぞれの特徴点ＣＰ１〜５を選択して座標値を取得する。つまり、この処理によって、同一の物体ＢＪ１について、形状の異なる物体画像ＦＧＡ２〜４の各特徴点ＣＰ１〜５の座標値がメモリに格納される。なお、同一人物についての画像であるか又は異なる人物についての画像であるかなど、どのような画像を用いるかは、物体検出の目的に依って決めればよい。
【００２８】
このようにして得られた総ての物体画像ＦＧＡ１〜４をテンプレートとしてテンプレートマッチングを行なえば、原理的には物体の形状変化に追従した物体検出が可能であるが、そうした場合には情報処理の量が膨大となって多大の処理時間が必要となり実用的でない。そこで、本実施形態においては、特徴量の変化を分析してそれら多数の物体画像ＦＧＡ１〜４を整理することを考える。なお、本実施形態において、物体画像ＦＧＡ１と物体画像ＦＧＡ３とは同一であるので、物体画像ＦＧＡ２〜４のみについて考える。
【００２９】
図３に示される物体画像ＦＧＡ２〜４の場合には、３つの物体画像ＦＧＡ２〜４における特徴点ＣＰ１〜５の変化は、図４の矢印に示すように、右上方の特徴点ＣＰ４の位置が直線的に移動しているだけであり、他の特徴点ＣＰ１〜３，５は変化していないものと分析できる。
【００３０】
そこで、統計学の主成分分析の手法を用い、このような分析を機械的に行なう。主成分分析とは、多数のデータについて、それらの各特徴量を平均値及び平均値からの代表的なずれの和の形で表現する手法である。具体的には、特徴量を確率変数と見なしたときの共分散行列の固有ベクトルを求める操作又は処理となる。特徴量として特徴点の座標値を用いる場合には、各特徴点の座標値を平均位置とその平均位置からの代表的なずれの和とで表現したものとなる。最も代表的なずれを第１主成分、２番目に代表的なずれを第２主成分と呼称し、以下同様に第３主成分、第４主成分…と呼称する。図４の特徴点列に対して主成分分析を適用すると、第１主成分として右上の特徴点ＣＰ４のみが移動するものが得られ、第２主成分以下は０（移動しない）となる。
【００３１】
主成分分析について実例を上げて説明する。
図５及び図６は主成分分析の手法を説明するための図であり、図５は２枚の物体画像ＦＧＢ１，２が入力された場合を示す図、図６は図５における平均値及び主成分ベクトルを数値で示す図である。なお、これらの例において、各物体画像ＦＧＢはそれぞれ２つの特徴点ＣＰ１，２の座標値によって表現されている。
【００３２】
図５において、物体画像ＦＧＢ１と物体画像ＦＧＢ２とにおいて、各特徴点ＣＰ１，２のＸ座標は変化がなく、Ｙ座標のみが変化している。各特徴点ＣＰ１，２の平均値（平均位置）は、各特徴点ＣＰ１，２のＸ座標又はＹ座標のそれぞれの平均値である。主成分ベクトルは、第１主成分についてのみ存在し、特徴点ＣＰ１についてはＹ軸に沿って負の方向（上方向）に向かう大きさ「５０」のベクトルであり、特徴点ＣＰ２についてはＹ軸に沿って正の方向（下方向）に向かう大きさ「５０」のベクトルである。つまり、各特徴点ＣＰ１，２の平均値及び主成分ベクトルは、全部の物体画像ＦＧＢ１，２に対して共通である。これに対して、各主成分ベクトルに係る倍率（主成分の値）は、入力される物体画像ＦＧＢ１，２毎に変化する。図５及び図６に示す例では、各物体画像ＦＧＢ１，２の第１主成分の値は、それぞれ「１．０」「−１．０」となっている。
【００３３】
図５に示す例では２枚の物体画像ＦＧＢ１，２が入力されたが、例えば３枚の物体画像ＦＧＢ１〜３が入力された場合には、第２主成分ベクトル及び第２主成分の値が存在する。一般に、複数枚の物体画像ＦＧＢが入力された場合において、各特徴点１，２，…の座標位置は、各特徴点の平均値、各主成分の値、及び各主成分ベクトルを用いて次のように表される。
【００３４】
特徴点１のＸ座標＝特徴点１のＸ座標の平均値＋（第１主成分の値×第１主成分ベクトルの特徴点１のＸ座標成分）＋（第２主成分の値×第２主成分ベクトルの特徴点１のＸ座標成分）＋……
特徴点１のＹ座標＝特徴点１のＹ座標の平均値＋（第１主成分の値×第１主成分ベクトルの特徴点１のＹ座標成分）＋（第２主成分の値×第２主成分ベクトルの特徴点１のＹ座標成分）＋……
特徴点２のＸ座標＝特徴点２のＸ座標の平均値＋（第１主成分の値×第１主成分ベクトルの特徴点２のＸ座標成分）＋（第２主成分の値×第２主成分ベクトルの特徴点２のＸ座標成分）＋……
特徴点２のＹ座標＝特徴点２のＹ座標の平均値＋（第１主成分の値×第１主成分ベクトルの特徴点２のＹ座標成分）＋（第２主成分の値×第２主成分ベクトルの特徴点２のＹ座標成分）＋……
平均値及び主成分ベクトルは、計算機の内部ではこれらの式の数字を並べた図６に示すような配列として表現される。
【００３５】
主成分分析の結果得られる物体ＢＪの各特徴点ＣＰの座標の平均値、主成分ベクトル、及び主成分の値が、物体ＢＪについての分析された特徴量である。これらの各特徴点ＣＰの座標の平均値及び主成分ベクトルを用いると、各主成分の値を変化させることによって物体ＢＪの様々な形状を表現することができる。主成分ベクトルは平均値からの代表的なずれを表しているので、主要な少数の主成分ベクトルを考慮するだけで、物体ＢＪの形状を精度良く表現することが可能である。したがって、主成分分析を行った特徴量を用いて物体検出を行うことにより、処理量が少なくなって短時間で精度の良い検出を行うことができる。なお、主成分分析の詳細に関しては、例えば「画像解析ハンドブック 第４版 第４０〜４４頁 東京大学出版会 １９９２年７月１５日」を参照することができる。
【００３６】
次に、画像ＦＧＳの特徴量の算出方法の例について説明する。
画像ＦＧＳは、一般的には、カメラなどにより撮影された濃淡画像である。濃淡画像である画像ＦＧＳは、負でない整数によって画素毎に明るさが表された２次元配列として表現される。
【００３７】
図７は画像ＦＧＳ１の例を示す図である。
図７において、各枡目は画素を示し、各枡目内の数値はその画素の濃度値を示す。この画像ＦＧＳ１から特徴量を算出する。以下において、特徴量として特徴点の座標値を用いる場合の処理について説明する。
【００３８】
画像ＦＧＳから特徴点を算出する方法の１つに、画像ＦＧＳを微分し、予め定めた設定値よりも大きな微分値を有する点（画素）を特徴点とする方法がある。これは、明るさの変化が激しい物体境界上の総ての点を特徴点と見なすものである。この方法を用いた特徴点算出の手順を以下に説明する。
（１）初期化
注目画素を、画像ＦＧＳの左上端から右下方に一画素分離れた位置に設定する。
（２）Ｘ微分値の計算
図８（Ａ）に示すＸ微分ウインドウの中央の枡目を画像ＦＧＳの注目画素の位置に置き、ウインドウの各枡目に記述された数値とその位置の画素値とをそれぞれ掛け合わせ、９個の画素についてのそれぞれの結果を加算し、それを注目画素についてのＸ微分値とする。
（３）Ｙ微分値の計算
図８（Ｂ）に示すＹ微分ウインドウの中央の枡目を画像ＦＧＳの注目画素の位置に置き、ウインドウの各枡目に記述された数値とその位置の画素値とをそれぞれ掛け合わせ、９個の画素についてのそれぞれの結果を加算し、それを注目画素についてのＹ微分値とする。
（４）微分値の計算
注目画素について、Ｘ微分値とＹ微分値との絶対値の和を求める。
（５）特徴点の出力
注目画素について、求められた微分値を予め定めたしきい値と比較し、微分値が設定値以上であるならば、注目画素の座標値を特徴点座標として出力する。
（６）画素の移動
注目画素を一画素分右に移動する。注目画素が画像ＦＧＳの右端の１つの手前まで来ている場合には、１画素分下へ移動させ且つ左端から一画素分右の画素に移動させる。それより下に移動できないときは終了する。
（７）繰り返し
Ｘ微分値の計算のステップに戻ってそれ以降を繰り返す。
【００３９】
図９は図７に示す画像ＦＧＳ１を図８に示すＸ微分ウインドウ及びＹ微分ウインドウによって微分した結果を示す図である。但し、最も外側の１行１列は除かれている。図９に示す微分結果に対して、しきい値が例えば「１２」である場合には、中央の画素を除いた枠状に繋がる８個の画素の座標値が、画像ＦＧＳ１の特徴点ＣＱとして出力される。
【００４０】
このように、画像ＦＧＳ１を微分することによって検出された物体ＢＪの輪郭（エッジ）を特徴量とすることができる。これによって、画像ＦＧＳが例えば人間の顔である場合に、その画像ＦＧＳに含まれる目、口、鼻などの輪郭を特徴量とすることができる。なお、例えば目が二重瞼の場合には、その輪郭が２画素分以上の幅を有することがある。そのような場合には、例えば最も外側の輪郭のみを特徴量とすればよい。
【００４１】
なお、画像ＦＧＳの特徴量を抽出するために、例えばオペレータが画像ＦＧＳに含まれる輪郭をなぞって指定するなど、他の種々の方法を用いることが可能である。
【００４２】
次に、画像ＦＧＳの特徴量と分析された物体ＢＪの特徴量との照合処理を行って画像ＦＧＳから物体ＢＪを検出する方法について説明する。
上述したように、主成分分析によって物体ＢＪの形状を少数の変換（主成分の値）で表現することが可能となったので、それを可変形状のテンプレートマッチングによる画像ＦＧＳからの物体検出に適用する。
【００４３】
図１０は照合処理の例を示すフローチャート、図１１は照合処理における座標系を説明する図である。
図１１に示すように、主成分分析が行われた物体画像ＦＧＡの座標系を「テンプレート座標系」又は「物体座標系」、検出の対象となる画像ＦＧＳの座標系を「画像座標系」と言うことがある。
【００４４】
図１０において、位置の初期化を行い、テンプレート座標系の原点を画像座標系の原点に合わせる（＃１１）。ここでは各画像の左上端を原点とする。
形状検出処理を行う（＃１２）。形状検出処理では、その時点における座標系の位置対応で、画像ＦＧＳの特徴点ＣＱと物体画像ＦＧＡの特徴点ＣＰとが最も良く一致するように、各主成分の値を調節する。一致度が十分高い場合には、例えば一致度がしきい値Ｓｈを越える場合には（＃１３でイエス）、物体ＢＪがその位置に存在すると判断し、調整された各主成分の値で定まる形状を出力する（＃５）。
【００４５】
一致度が十分高くない場合には（＃１３でノー）、物体画像を１画素分移動する（＃１４）。それより右へ移動できないときは１画素分下の左端へ移動させる。そしてステップ＃１２以降を繰り返す。それより右にも下にも移動できないときは終了する（＃１５でイエス）。
【００４６】
上述の照合処理において、ステップ＃１１及びステップ＃１４，１５は、従来からのテンプレートマッチングで用いられている処理である。上述の例では、画像ＦＧＳ上で物体画像を１画素分ずつ移動させながら形状検出を行ったが、テンプレート座標系と画像座標系との位置対応が予め分かっている場合、又はそれらの位置対応が別の手段で定められる場合には、形状検出処理のみを行なえばよい。
【００４７】
ステップ＃１２の形状検出処理において、画像ＦＧＳから抽出された（又は算出された）特徴点ＣＱは一般には多数個存在するので、物体形状を表す特徴点ＣＰと一致するか否かを照合してその一致の度合いを判断することは容易ではなく、処理に時間を要する。
【００４８】
なお、特徴点ＣＱと特徴点ＣＰとが一致するとは、それぞれの点の画素が互いに完全に一致する場合、つまりそれぞれの点の画素の座標値が互いに等しい場合を含むことは当然であるが、それぞれの点の画素間の距離がＸ方向又はＹ方向に定められた画素数以内であるときを含めることができる。例えば、特徴点ＣＱの１つの点と特徴点ＣＰの１つの点とがＸ方向又はＹ方向にｎ画素以内であれば一致するものとし、ｎを例えば１、２、３、４、５、６…などの数値から選択して定めておけばよい。
【００４９】
次に、形状検出処理における２つの検出照合方法について説明する。
図１２は第１の検出照合方法を示すフローチャート、図１３は第１の検出照合方法を説明する図、図１４は第２の検出照合方法を示すフローチャート、図１５は第２の検出照合方法を説明する図である。なお、これらのフローチャートは、図１０のステップ＃１２と完全に対応している訳ではない。
【００５０】
第１の検出照合方法では、図１３に示すように、物体ＢＪの特徴点ＣＰにおける主成分の値を調節し、その特徴点ＣＰを画像ＦＧＳの特徴点ＣＱと最も良く一致するようにする。
【００５１】
図１２において、各主成分の値を「０」とする（＃２１）。各主成分の値を「０」とすることによって、物体ＢＪの特徴点ＣＰの平均値から検出照合を開始することとなる。
【００５２】
その時点における主成分の値で定まる物体ＢＪの特徴点ＣＰの座標を算出し、画像ＦＧＳの特徴点ＣＱとの一致度を算出する（＃２２）。一致度の算出に当たっては、例えば、物体ＢＪの特徴点ＣＰの個数のうち、画像ＦＧＳの特徴点ＣＱと一致する点の割合を一致度とする。図２〜４に示す物体ＢＪ１においては、特徴点ＣＰが５個であるから、そのうちの３個が画像ＦＧＳの特徴点ＣＱと一致した場合には、一致度は３／５となる。算出した一致度が前回までよりも大きいときには、今回の一致度及び主成分の値をメモリに記憶しておく。メモリには一致度を保持するための変数が設けられている。
【００５３】
一致度が予め設定されたしきい値Ｓｈよりも大きくなった場合には終了する（＃２３でイエス）。一致度が小さいときには、主成分の値を微少変化させ（＃２４）、再度一致度を算出する（＃２２）。
【００５４】
なお、主成分の値を微少変化させるに当たっては、例えば、一致度が良くなっている場合には、前回に微少変化させた方向と同じ方向に微少変化させ、一致度が悪くなっている場合には、前回に微少変化させた方向と逆の方向に微少変化させる。
【００５５】
第２の検出照合方法では、図１５に示すように、画像ＦＧＳの多数の特徴点ＣＱのうちから選択された特徴点ＣＱが物体ＢＪの特徴点ＣＰと一致するように主成分の値を計算し、一致度の良いものを探す。特徴点ＣＱの選択に当たっては、例えば、主成分ベクトルが第ｎ次まである場合に、ｎ／２個の特徴点ＣＱを選択する。つまり主成分ベクトルが第２次まである場合には、１個の特徴点ＣＱを選択する。
【００５６】
図１４において、まず初期化を行う（＃３１）。初期化では、例えば画像ＦＧＳから抽出された特徴点ＣＱを一列に並べる。また、算出された一致度及び主成分の値を保持するための変数をメモリ内に設ける。
【００５７】
そして、特徴点ＣＱのうちのいくつかをランダムに選択し、選択された特徴点ＣＱと物体ＢＪの特徴点ＣＰとが一致するような主成分の値を計算する（＃３２）。つまり、特徴点ＣＱ及び特徴点ＣＰについて、主成分の値を未知数とし、Ｘ座標同士及びＹ座標同士をそれぞれ等しいと置いた連立方程式を解くことによって、主成分の値を計算する。この計算は、多元連立１次方程式を解くことに帰着されるので、簡単に実行することができる。
【００５８】
その主成分の値によって定まる物体ＢＪの特徴点ＣＰの座標を算出し、それらの中で画像ＦＧＳから抽出された特徴点ＣＱと一致するものの割合を一致度とする（＃３３）。
【００５９】
一致度が予め設定されたしきい値Ｓｈよりも大きくなった場合には終了する（＃３４でイエス）。一致度が小さいときには、特徴点ＣＱを変えて再度ステップ＃３２以降を繰り返す。
【００６０】
さて、主成分の値を変化させたとき、画像ＦＧＳと物体画像ＦＧＡとの一致度が最大になるような主成分の値の組は１つとは限らない。上述した第１及び第２の検出照合方法においては、それまで算出した範囲で最大の一致度を与える主成分の値の組を求めるものであり、最大の一致度を与える主成分の値の組が複数存在する場合には、最初に見つかった組が選択されて出力される。
【００６１】
そこで、次に説明するように、第１又は第２の検出照合方法のそれぞれに対し、付加的な評価基準を考慮することにより、最大の一致度を与える主成分の値のいずれかを優先させて出力することが可能となる。なお、その場合には、上述した検出照合方法の終了条件（ステップ＃２３，３４）を変更し、例えば、繰り返し処理を一定回数行った場合に終了させればよい。
【００６２】
まず第１の方法は、それまで算出した範囲での最大の一致度と、その一致度を与えた主成分の値をメモリなどに保持しておき、最大の一致度を与えた主成分の値の組が複数現れた時点で、それらのいずれかを優先させるものである。優先の評価基準は、例えば主成分の値の絶対値の総和、つまり（第１主成分の値の絶対値＋第２主成分の絶対値＋…）が小さい方を優先させる。この評価基準によると、特徴点ＣＰが平均値に近い方を優先させることになり、物体ＢＪの形状として無難なものを選択することを意味する。
【００６３】
第２の方法は、画像ＦＧＳと物体画像ＦＧＡとの不一致度及び平均値からの遠さの重み付きの和を評価基準とし、この評価基準を最小値とする主成分の値を求める方法である。換言すれば、画像ＦＧＳと物体画像ＦＧＡ，ＦＧＢとの不一致度及び各主成分の値の絶対値をそれぞれ変数とする評価関数に最小値を与える各主成分の値の組を求めて出力する方法である。
【００６４】
ここで言う不一致度は、例えば一致度の正負の符号を逆にしたものである。平均値からの遠さとしては、例えば主成分の値の絶対値の総和、つまり（第１主成分の値の絶対値＋第２主成分の絶対値＋…）を用いる。この第２の方法を用いる場合には、第１及び第２の検出照合方法において、「一致度」の代わりに「評価基準」を使用し、「最大の一致度」とするところを「最小の評価基準値」と置き換えればよい。この評価基準も、平均値に近いものを優先させる効果がある。
【００６５】
次に、上述した検出方法を実施するための検出装置１の例を説明する。
図１６は本発明に係る検出装置１の構成の例を示すブロック図である。
図１６において、検出装置１は、処理装置１１、カメラ１２、前処理部１３、磁気ディスク装置１４、ＣＤ−ＲＯＭ装置１５、フロッピィディスク装置１６、ディスプレイ装置１７、プリンタ１８、キーボード１９、マウス２０、通信回線２１などから構成されている。
【００６６】
カメラ１２によって対象物を撮影し、前処理部１３によって種々の画像処理又は編集処理を行った後、処理装置１１に対して画像ＦＧＳとして入力する。
磁気ディスク装置１４には、上述の検出方法を実行するためのプログラム、画像ＦＧＡ，ＦＧＢ，ＦＧＳ、特徴点ＣＱ，ＣＰの座標、平均値、主成分ベクトル、主成分の値などが格納されている。
【００６７】
処理装置１１にはメモリが設けられており、上述の種々のプログラム及びデータが必要に応じてロードされ又は生成させて記憶される。処理装置１１がプログラムを実行することにより、上述した検出方法が遂行される。つまり、処理装置１１は、本発明における第１〜第５の手段に相当する。検出方法を実行するためのプログラムは、例えば、ＣＤ−ＲＯＭ又はフロッピィディスクなどの記録媒体に記録されて供給される。又は、通信回線２１を介してオンラインロードされる。
【００６８】
ディスプレイ装置１７には画像ＦＧＡ，ＦＧＢ，ＦＧＳなどが表示され、キーボード１９又はマウス２０を操作して特徴点ＣＱ，ＣＰを指定することができる。
【００６９】
このような検出装置１は、例えば適当なプログラムが格納されたワークステーション又はパーソナルコンピュータなどによって実現することができる。
図１７は検出装置１の検出機能のみを示すブロック図である。
【００７０】
図１７において、検出装置１は、画像入力部５１、特徴算出部５２、分析部５３、照合部５４、出力部５５などを有している。
画像入力部は、与えられた画像ＦＧＳを読み込む。特徴算出部５２は、読み込まれた画像ＦＧＳから特徴点ＣＱを求める。分析部５３は、予め人手で入力された物体の特徴点ＣＰを主成分分析の手法を用いて分析し、分析結果をメモリに格納しておく。照合部５４は、画像ＦＧＳの特徴点ＣＱと最も合うように、分析された特徴点ＣＰの各主成分の値を調節する。出力部５５は、各主成分の値により定まる物体の形状及び位置を出力する。
【００７１】
出力部５５からの出力は、画像ＦＧＳにおける物体ＢＪの位置、物体ＢＪの形状、又は物体ＢＪの位置と形状などである。物体ＢＪの位置は、例えば画像ＦＧＳ中における画像ＦＧＡの原点の座標位置であり、物体ＢＪの形状は、主成分の値、又はその主成分の値による特徴点ＣＰの座標である。
【００７２】
また、検出装置１において種々の応用プログラムを実行するように構成しておき、その応用プログラムの実行のために出力部５５からの出力を用いるようにしてもよい。
【００７３】
図１８は本発明に係る方法を実行するためのプログラムの記録媒体ＳＴの形態の例を示す図である。
図１８に示すように、処理装置ＰＳに設けられた主メモリ、ＲＡＭ、ＲＯＭ、若しくはハードディスクなどの記憶装置ＳＴＡ、ＣＤ−ＲＯＭ、フロッピーディスク、若しくは光磁気ディスクなどの可搬媒体ＳＴＢ、ネットワーク若しくは通信回線ＳＴＤで結ばれたサーバ若しくはＤＡＳＤなどの回線先媒体ＳＴＣ、又は通信回線ＳＴＤそれ自体が、記録媒体ＳＴとして利用可能である。
【００７４】
上述の実施形態において、検出装置１の全体又は各部の構成、処理の内容又は順序などは、本発明の主旨に沿って適宜変更することができる。
【００７５】
【発明の効果】
請求項１乃至請求項９の発明によると、画像の中から形状の変化する物体を精度よく且つ短時間で検出することができる。
【００７６】
請求項２の発明によると、画像特徴量として複数の特徴点の座標値を用いることにより、処理がより簡単となる。
請求項５及び請求項６の発明によると、最大の一致度を与える主成分の値のいずれかを優先させて出力することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る検出方法の処理の流れを示すフローチャートである。
【図２】対象となる物体を５つの特徴点で表現した物体画像の例を示す図である。
【図３】形状の異なる多数の物体画像の例を示す図である。
【図４】物体画像の特徴点の変化の様子を示す図である。
【図５】２枚の物体画像が入力された場合を示す図である。
【図６】図５に示す物体の特徴点の平均値及び主成分ベクトルのデータを示す図である。
【図７】入力された画像の例を濃度値で示す図である。
【図８】微分ウインドウの例を示す図である。
【図９】図７に示す画像を図８に示す微分ウインドウによって微分した結果を示す図である。
【図１０】照合処理の例を示すフローチャートである。
【図１１】照合処理における座標系を説明する図である。
【図１２】第１の検出照合方法を示すフローチャートである。
【図１３】第１の検出照合方法を説明する図である。
【図１４】第２の検出照合方法を示すフローチャートである。
【図１５】第２の検出照合方法を説明する図である。
【図１６】本発明に係る検出装置の構成の例を示すブロック図である。
【図１７】検出装置の検出機能のみを示すブロック図である。
【図１８】プログラムの記録媒体の形態の例を示す図である。
【図１９】従来のテンプレートマッチングの手法を説明する図である。
【符号の説明】
１ 検出装置
１１ 処理装置（第１の手段、第２の手段、第３の手段、第４の手段、第５の手段）
１２ カメラ
５１ 画像入力部
５２ 特徴算出部（第３の手段）
５３ 分析部（第２の手段）
５４ 照合部（第４の手段）
５５ 出力部（第５の手段）
ＢＪ 物体
ＦＧＳ 画像
ＦＧＡ，ＦＧＢ 物体画像
ＣＰ 特徴点（物体特徴量）
ＣＱ 特徴点（画像特徴量）
ＳＴＡ，ＳＴＢ，ＳＴＣ，ＳＴＤ 記録媒体
【発明の属する技術分野】
本発明は、画像における物体の検出方法及び装置並びに記録媒体に関し、特に、形状に変化のある物体の検出のための画像処理に適用される。
【０００２】
カメラで撮影された画像からその中に映っている物体を検出することは、画像処理における基本的な技術であり、様々な応用を持つ。例えば、人間の顔を撮影して得られた画像から、その中に映っている目、口、鼻などの形状又は位置を確認することができれば、人間の表情又は姿勢を機械が認識することが可能となり、人間と機械のコミュニケーションにとって極めて有用である。
【０００３】
このような状況から、形状に変化のある物体の検出を精度よく短時間で実行する方法が望まれている。
【０００４】
【従来の技術】
従来より、画像の中から対象となる物体を検出する方法として、物体を表すテンプレートを画像上で走査し、両者の一致度の高い位置を探すことにより物体を検出するテンプレートマッチングが用いられている。
【０００５】
例えば図１９に示すように、画像ＦＧの左上端から右下端まで、物体ＢＪを表すテンプレートＴＰを横方向に移動させ且つ縦方向に順次ずらせていき、その間に一致度の最も高い物体ｂｊの位置を検出する。
【０００６】
この場合において、物体ｂｊが、例えばボルト、ナット、ドリルの穴などのように、固定した形状のものである場合には、物体ＢＪを表すテンプレートＴＰも固定した形状のものでよい。
【０００７】
しかし、物体ｂｊが、例えば目、口、鼻などのように、同じ人物であっても表情によってそれらの形状が変化するものである場合には、物体ＢＪを表すテンプレートＴＰも可変形状のものを用いる必要がある。また、形状自体は固定している物体であっても、その物体の撮影方向が変化する場合にはそれに応じて見かけの形状が変化するので、同様に可変形状のテンプレートＴＰを用いる必要がある。
【０００８】
可変形状のテンプレートＴＰを用いた場合には、画像ＦＧ上でテンプレートＴＰを走査する際に、それぞれの位置においてテンプレートＴＰの形状を変化させ、一致度の最も高い物体ＢＪの位置及びテンプレートＴＰの形状を検出する。
【０００９】
【発明が解決しようとする課題】
しかし、従来の可変形状のテンプレートＴＰを用いるテンプレートマッチングの技術において、物体ｂｊの形状の変化を予想してテンプレートＴＰを作成する必要がある。そのようなテンプレートＴＰには、従来は人為的に作成されたものが用いられていた。そのため、テンプレートＴＰを対象となる物体ｂｊの形状変化に必ずしも追従させることができず、検出精度の低下を招いていた。
【００１０】
また、画像ＦＧ上でテンプレートＴＰを走査しながら、変化する物体ＢＪの形状の総てについて照合を行い、一致度の最も高い位置及び形状を検出することとした場合には、情報処理の量が膨大となって検出に多大の時間を要し実用的でないという問題がある。
【００１１】
本発明は、上述の問題に鑑みてなされたもので、画像の中から形状の変化する物体を精度よく且つ短時間で検出することのできる方法及び装置並びにそのような処理を実行させるための記録媒体を提供することを目的とする。
【００１２】
【課題を解決するための手段】
請求項１の発明に係る方法は、画像の中から形状に変化のある物体を検出する方法であって、前記物体が含まれる複数の画像から物体形状を表す数値化された特徴量である物体特徴量を抽出する第１のステップと、前記物体特徴量を主成分分析の手法を用いて分析する第２のステップと、与えられた画像から所定の方法により画像特徴量を抽出する第３のステップと、前記分析された物体特徴量から物体の形状を少数の主成分の値で表現し、前記画像特徴量と可変形状のテンプレートマッチングで照合を行なう第４のステップと、照合結果に応じて前記物体の形状及び位置を出力する第５のステップと、を有してなる方法である。
【００１３】
請求項２の発明に係る方法は、前記画像特徴量として、複数の特徴点の座標値を用い、前記第１のステップにおいて、前記物体についての形状の類似する複数のそれぞれの画像に対し複数の特徴点を指定し、その指定された特徴点の座標値を求める。
【００１４】
請求項３の発明に係る方法は、前記第４のステップにおいて、前記分析された物体特徴量の各主成分の値を変化させ、前記分析された物体特徴量と前記画像特徴量とがよく一致するときの各主成分の値の組を照合結果とする。
【００１５】
請求項４の発明に係る方法は、前記第４のステップにおいて、前記分析された物体特徴量の一部と前記画像特徴量の一部とが一致するように各主成分の値を調整し、調整された各主成分の値の複数の組のうち、前記分析された物体特徴量と前記画像特徴量とがよく一致するときの各主成分の値の組を照合結果とする。
【００１６】
請求項５の発明に係る方法は、前記第４のステップにおいて、最もよく一致する各主成分の値の組が複数存在する場合に、各主成分の値の絶対値の最も小さい組を照合結果とする。
【００１７】
請求項６の発明に係る方法は、前記第４のステップにおいて、前記分析された物体特徴量と前記画像特徴量との不一致度及び各主成分の値の絶対値をそれぞれ変数とする評価関数に最小値を与える各主成分の値の組を照合結果とする。
【００１８】
請求項７の発明に係る方法は、前記第５のステップにおいて、前記照合結果である各主成分の値によって定まる物体の形状を出力する。
請求項８の発明に係る装置は、画像の中から形状に変化のある物体を検出する装置であって、前記物体が含まれる複数の画像から物体形状を表す数値化された特徴量である物体特徴量を抽出する第１の手段と、前記物体特徴量を主成分分析の手法を用いて分析する第２の手段と、与えられた画像から所定の方法により画像特徴量を抽出する第３の手段と、前記分析された物体特徴量から物体の形状を少数の主成分の値で表現し、前記画像特徴量と可変形状のテンプレートマッチングで照合を行なう第４の手段と、照合結果に応じて前記物体の形状及び位置を出力する第５の手段と、を有して構成される。
【００１９】
請求項９の発明に係る記録媒体は、画像の中から形状に変化のある物体を検出するために、前記物体が含まれる複数の画像から物体形状を表す数値化された特徴量である物体特徴量を抽出する第１のステップと、前記物体特徴量を主成分分析の手法を用いて分析する第２のステップと、与えられた画像から所定の方法により画像特徴量を抽出する第３のステップと、前記分析された物体特徴量から物体の形状を少数の主成分の値で表現し、前記画像特徴量と可変形状のテンプレートマッチングで照合を行なう第４のステップと、照合結果に応じて前記物体の形状及び位置を出力する第５のステップと、をコンピュータに実行させるプログラムを記録したコンピュータが読み取り可能な記録媒体である。
【００２０】
本発明の検出方法においては、形状の変化する物体の形状データが統計学で用いられる主成分分析の手法で分析される。その分析結果に基づいて可変形状のテンプレートを設計することにより、画像中の物体の形状変化に追従した検出が行なわれる。
【００２１】
本発明の検出装置は、例えばパーソナルコンピュータ又はワークステーションを用いて実現される。本発明に係る方法を実行するためのプログラムは、半導体メモリ、ハードディスク、ＣＤ−ＲＯＭ、フロッピーディスク、又は光磁気ディスクなどの記録媒体に格納される。記録媒体に格納されたプログラムは、主メモリ上に適時ローディングされ、処理装置によって実行される。その際に、ＣＤ−ＲＯＭドライブ、フロッピーディスクドライブ、又は光磁気ディスクドライブなどのドライブ装置が必要に応じて用いられる。記録媒体がネットワークなどの通信回線で結ばれたサーバに設けられている場合には、通信回線を介してサーバからプログラムが読み取られ又はダウンロードされる。また、プログラムが通信回線を介して処理装置に転送される場合には、通信回線自体も記録媒体に相当する。プログラムは、種々のＯＳ、プラットホーム、システム環境、又はネットワーク環境の下で動作するように供給可能である。
【００２２】
【発明の実施の形態】
図１は本発明に係る検出方法の処理の流れを示すフローチャートである。
図１において、物体特徴量を抽出し（＃１）、抽出した物体特徴量を分析し（＃２）、画像特徴量を抽出し（＃３）、照合処理を行い（＃４）、その結果を出力する（＃５）。物体特徴量の抽出及び分析、画像特徴量の抽出は、照合処理よりも前であればそれらの順序及びタイミングは任意である。
【００２３】
以下において、最初に、物体ＢＪの形状の表現方法について説明し、これによってステップ＃１及び２の物体特徴量の抽出と分析の処理内容の例を示す。次いで画像ＦＧＳの特徴量の算出方法の例について説明し、これによってステップ＃３の画像特徴量の抽出の処理内容の例を示す。その次に、ステップ＃４の照合処理について説明する。
【００２４】
まず、物体ＢＪの表現方法について説明する。
本発明において、形状の変化する物体ＢＪについて、その形状データをいくつかの特徴量で表す。特徴量として、例えば特徴点の座標値を用いる。以下の説明においては、特徴量として特徴点の座標値を用いるが、本発明は物体の形状を何らかの数値で表現すれば適用可能であるので、それ以外の特徴量を用いることも可能である。
【００２５】
図２は対象となる物体ＢＪ１を５つの特徴点ＣＰ１〜５で表現した物体画像ＦＧＡ１の例を示す図である。
図２（Ａ）において、物体ＢＪ１は、形状についての５つの特徴点ＣＰ１〜５によって代表されている。この場合には、物体ＢＪ１は各特徴点ＣＰ１〜５を頂点とする多角形として表現される。各特徴点ＣＰ１〜５は、図２（Ｂ）に示すように、物体画像ＦＧＡ１の座標系における座標値により表される。物体画像ＦＧＡ１の左上端が原点（０，０）であり、原点から右方へ正のＸ座標が、原点から下方へ正のＹ座標が、それぞれ延びる。各特徴点ＣＰ１〜５の座標値はメモリに格納される。
【００２６】
特徴点ＣＰ１〜５は、物体画像ＦＧＡ１をディスプレイ装置の画面に表示した状態で、オペレータがそれぞれの特徴点ＣＰ１〜５をマウスなどのポインティングデバイスで指定することによって決定される。特徴点ＣＰ１〜５の指定によってそれらの座標値が取得され、メモリに格納される。特徴点ＣＰ１〜５の指定に当たって、オペレータは自身の判断基準に基づいて特徴点ＣＰ１〜５と思われる点を選択すればよいが、物体ＢＪ１の外観形状の変曲点を選択することが多い。なお、画面に表示された物体画像ＦＧＡ１の中から特徴点ＣＰ１〜５を指定するのではなく、オペレータが特徴点ＣＰ１〜５の座標値をキーボードなどから入力するようにしてもよい。
【００２７】
上述のような操作及び処理を、同じ物体ＢＪ１に対し、図３に示すような形状の異なる多数の物体画像ＦＧＡ２〜４について行う。例えば物体ＢＪ１が「口」又は「唇」である場合に、同一人物の口又は唇について撮影した多数のバリエーション画像について、それぞれの特徴点ＣＰ１〜５を選択して座標値を取得する。また、異なる人物のそれぞれの口を撮影した画像について、それぞれの特徴点ＣＰ１〜５を選択して座標値を取得する。つまり、この処理によって、同一の物体ＢＪ１について、形状の異なる物体画像ＦＧＡ２〜４の各特徴点ＣＰ１〜５の座標値がメモリに格納される。なお、同一人物についての画像であるか又は異なる人物についての画像であるかなど、どのような画像を用いるかは、物体検出の目的に依って決めればよい。
【００２８】
このようにして得られた総ての物体画像ＦＧＡ１〜４をテンプレートとしてテンプレートマッチングを行なえば、原理的には物体の形状変化に追従した物体検出が可能であるが、そうした場合には情報処理の量が膨大となって多大の処理時間が必要となり実用的でない。そこで、本実施形態においては、特徴量の変化を分析してそれら多数の物体画像ＦＧＡ１〜４を整理することを考える。なお、本実施形態において、物体画像ＦＧＡ１と物体画像ＦＧＡ３とは同一であるので、物体画像ＦＧＡ２〜４のみについて考える。
【００２９】
図３に示される物体画像ＦＧＡ２〜４の場合には、３つの物体画像ＦＧＡ２〜４における特徴点ＣＰ１〜５の変化は、図４の矢印に示すように、右上方の特徴点ＣＰ４の位置が直線的に移動しているだけであり、他の特徴点ＣＰ１〜３，５は変化していないものと分析できる。
【００３０】
そこで、統計学の主成分分析の手法を用い、このような分析を機械的に行なう。主成分分析とは、多数のデータについて、それらの各特徴量を平均値及び平均値からの代表的なずれの和の形で表現する手法である。具体的には、特徴量を確率変数と見なしたときの共分散行列の固有ベクトルを求める操作又は処理となる。特徴量として特徴点の座標値を用いる場合には、各特徴点の座標値を平均位置とその平均位置からの代表的なずれの和とで表現したものとなる。最も代表的なずれを第１主成分、２番目に代表的なずれを第２主成分と呼称し、以下同様に第３主成分、第４主成分…と呼称する。図４の特徴点列に対して主成分分析を適用すると、第１主成分として右上の特徴点ＣＰ４のみが移動するものが得られ、第２主成分以下は０（移動しない）となる。
【００３１】
主成分分析について実例を上げて説明する。
図５及び図６は主成分分析の手法を説明するための図であり、図５は２枚の物体画像ＦＧＢ１，２が入力された場合を示す図、図６は図５における平均値及び主成分ベクトルを数値で示す図である。なお、これらの例において、各物体画像ＦＧＢはそれぞれ２つの特徴点ＣＰ１，２の座標値によって表現されている。
【００３２】
図５において、物体画像ＦＧＢ１と物体画像ＦＧＢ２とにおいて、各特徴点ＣＰ１，２のＸ座標は変化がなく、Ｙ座標のみが変化している。各特徴点ＣＰ１，２の平均値（平均位置）は、各特徴点ＣＰ１，２のＸ座標又はＹ座標のそれぞれの平均値である。主成分ベクトルは、第１主成分についてのみ存在し、特徴点ＣＰ１についてはＹ軸に沿って負の方向（上方向）に向かう大きさ「５０」のベクトルであり、特徴点ＣＰ２についてはＹ軸に沿って正の方向（下方向）に向かう大きさ「５０」のベクトルである。つまり、各特徴点ＣＰ１，２の平均値及び主成分ベクトルは、全部の物体画像ＦＧＢ１，２に対して共通である。これに対して、各主成分ベクトルに係る倍率（主成分の値）は、入力される物体画像ＦＧＢ１，２毎に変化する。図５及び図６に示す例では、各物体画像ＦＧＢ１，２の第１主成分の値は、それぞれ「１．０」「−１．０」となっている。
【００３３】
図５に示す例では２枚の物体画像ＦＧＢ１，２が入力されたが、例えば３枚の物体画像ＦＧＢ１〜３が入力された場合には、第２主成分ベクトル及び第２主成分の値が存在する。一般に、複数枚の物体画像ＦＧＢが入力された場合において、各特徴点１，２，…の座標位置は、各特徴点の平均値、各主成分の値、及び各主成分ベクトルを用いて次のように表される。
【００３４】
特徴点１のＸ座標＝特徴点１のＸ座標の平均値＋（第１主成分の値×第１主成分ベクトルの特徴点１のＸ座標成分）＋（第２主成分の値×第２主成分ベクトルの特徴点１のＸ座標成分）＋……
特徴点１のＹ座標＝特徴点１のＹ座標の平均値＋（第１主成分の値×第１主成分ベクトルの特徴点１のＹ座標成分）＋（第２主成分の値×第２主成分ベクトルの特徴点１のＹ座標成分）＋……
特徴点２のＸ座標＝特徴点２のＸ座標の平均値＋（第１主成分の値×第１主成分ベクトルの特徴点２のＸ座標成分）＋（第２主成分の値×第２主成分ベクトルの特徴点２のＸ座標成分）＋……
特徴点２のＹ座標＝特徴点２のＹ座標の平均値＋（第１主成分の値×第１主成分ベクトルの特徴点２のＹ座標成分）＋（第２主成分の値×第２主成分ベクトルの特徴点２のＹ座標成分）＋……
平均値及び主成分ベクトルは、計算機の内部ではこれらの式の数字を並べた図６に示すような配列として表現される。
【００３５】
主成分分析の結果得られる物体ＢＪの各特徴点ＣＰの座標の平均値、主成分ベクトル、及び主成分の値が、物体ＢＪについての分析された特徴量である。これらの各特徴点ＣＰの座標の平均値及び主成分ベクトルを用いると、各主成分の値を変化させることによって物体ＢＪの様々な形状を表現することができる。主成分ベクトルは平均値からの代表的なずれを表しているので、主要な少数の主成分ベクトルを考慮するだけで、物体ＢＪの形状を精度良く表現することが可能である。したがって、主成分分析を行った特徴量を用いて物体検出を行うことにより、処理量が少なくなって短時間で精度の良い検出を行うことができる。なお、主成分分析の詳細に関しては、例えば「画像解析ハンドブック 第４版 第４０〜４４頁 東京大学出版会 １９９２年７月１５日」を参照することができる。
【００３６】
次に、画像ＦＧＳの特徴量の算出方法の例について説明する。
画像ＦＧＳは、一般的には、カメラなどにより撮影された濃淡画像である。濃淡画像である画像ＦＧＳは、負でない整数によって画素毎に明るさが表された２次元配列として表現される。
【００３７】
図７は画像ＦＧＳ１の例を示す図である。
図７において、各枡目は画素を示し、各枡目内の数値はその画素の濃度値を示す。この画像ＦＧＳ１から特徴量を算出する。以下において、特徴量として特徴点の座標値を用いる場合の処理について説明する。
【００３８】
画像ＦＧＳから特徴点を算出する方法の１つに、画像ＦＧＳを微分し、予め定めた設定値よりも大きな微分値を有する点（画素）を特徴点とする方法がある。これは、明るさの変化が激しい物体境界上の総ての点を特徴点と見なすものである。この方法を用いた特徴点算出の手順を以下に説明する。
（１）初期化
注目画素を、画像ＦＧＳの左上端から右下方に一画素分離れた位置に設定する。
（２）Ｘ微分値の計算
図８（Ａ）に示すＸ微分ウインドウの中央の枡目を画像ＦＧＳの注目画素の位置に置き、ウインドウの各枡目に記述された数値とその位置の画素値とをそれぞれ掛け合わせ、９個の画素についてのそれぞれの結果を加算し、それを注目画素についてのＸ微分値とする。
（３）Ｙ微分値の計算
図８（Ｂ）に示すＹ微分ウインドウの中央の枡目を画像ＦＧＳの注目画素の位置に置き、ウインドウの各枡目に記述された数値とその位置の画素値とをそれぞれ掛け合わせ、９個の画素についてのそれぞれの結果を加算し、それを注目画素についてのＹ微分値とする。
（４）微分値の計算
注目画素について、Ｘ微分値とＹ微分値との絶対値の和を求める。
（５）特徴点の出力
注目画素について、求められた微分値を予め定めたしきい値と比較し、微分値が設定値以上であるならば、注目画素の座標値を特徴点座標として出力する。
（６）画素の移動
注目画素を一画素分右に移動する。注目画素が画像ＦＧＳの右端の１つの手前まで来ている場合には、１画素分下へ移動させ且つ左端から一画素分右の画素に移動させる。それより下に移動できないときは終了する。
（７）繰り返し
Ｘ微分値の計算のステップに戻ってそれ以降を繰り返す。
【００３９】
図９は図７に示す画像ＦＧＳ１を図８に示すＸ微分ウインドウ及びＹ微分ウインドウによって微分した結果を示す図である。但し、最も外側の１行１列は除かれている。図９に示す微分結果に対して、しきい値が例えば「１２」である場合には、中央の画素を除いた枠状に繋がる８個の画素の座標値が、画像ＦＧＳ１の特徴点ＣＱとして出力される。
【００４０】
このように、画像ＦＧＳ１を微分することによって検出された物体ＢＪの輪郭（エッジ）を特徴量とすることができる。これによって、画像ＦＧＳが例えば人間の顔である場合に、その画像ＦＧＳに含まれる目、口、鼻などの輪郭を特徴量とすることができる。なお、例えば目が二重瞼の場合には、その輪郭が２画素分以上の幅を有することがある。そのような場合には、例えば最も外側の輪郭のみを特徴量とすればよい。
【００４１】
なお、画像ＦＧＳの特徴量を抽出するために、例えばオペレータが画像ＦＧＳに含まれる輪郭をなぞって指定するなど、他の種々の方法を用いることが可能である。
【００４２】
次に、画像ＦＧＳの特徴量と分析された物体ＢＪの特徴量との照合処理を行って画像ＦＧＳから物体ＢＪを検出する方法について説明する。
上述したように、主成分分析によって物体ＢＪの形状を少数の変換（主成分の値）で表現することが可能となったので、それを可変形状のテンプレートマッチングによる画像ＦＧＳからの物体検出に適用する。
【００４３】
図１０は照合処理の例を示すフローチャート、図１１は照合処理における座標系を説明する図である。
図１１に示すように、主成分分析が行われた物体画像ＦＧＡの座標系を「テンプレート座標系」又は「物体座標系」、検出の対象となる画像ＦＧＳの座標系を「画像座標系」と言うことがある。
【００４４】
図１０において、位置の初期化を行い、テンプレート座標系の原点を画像座標系の原点に合わせる（＃１１）。ここでは各画像の左上端を原点とする。
形状検出処理を行う（＃１２）。形状検出処理では、その時点における座標系の位置対応で、画像ＦＧＳの特徴点ＣＱと物体画像ＦＧＡの特徴点ＣＰとが最も良く一致するように、各主成分の値を調節する。一致度が十分高い場合には、例えば一致度がしきい値Ｓｈを越える場合には（＃１３でイエス）、物体ＢＪがその位置に存在すると判断し、調整された各主成分の値で定まる形状を出力する（＃５）。
【００４５】
一致度が十分高くない場合には（＃１３でノー）、物体画像を１画素分移動する（＃１４）。それより右へ移動できないときは１画素分下の左端へ移動させる。そしてステップ＃１２以降を繰り返す。それより右にも下にも移動できないときは終了する（＃１５でイエス）。
【００４６】
上述の照合処理において、ステップ＃１１及びステップ＃１４，１５は、従来からのテンプレートマッチングで用いられている処理である。上述の例では、画像ＦＧＳ上で物体画像を１画素分ずつ移動させながら形状検出を行ったが、テンプレート座標系と画像座標系との位置対応が予め分かっている場合、又はそれらの位置対応が別の手段で定められる場合には、形状検出処理のみを行なえばよい。
【００４７】
ステップ＃１２の形状検出処理において、画像ＦＧＳから抽出された（又は算出された）特徴点ＣＱは一般には多数個存在するので、物体形状を表す特徴点ＣＰと一致するか否かを照合してその一致の度合いを判断することは容易ではなく、処理に時間を要する。
【００４８】
なお、特徴点ＣＱと特徴点ＣＰとが一致するとは、それぞれの点の画素が互いに完全に一致する場合、つまりそれぞれの点の画素の座標値が互いに等しい場合を含むことは当然であるが、それぞれの点の画素間の距離がＸ方向又はＹ方向に定められた画素数以内であるときを含めることができる。例えば、特徴点ＣＱの１つの点と特徴点ＣＰの１つの点とがＸ方向又はＹ方向にｎ画素以内であれば一致するものとし、ｎを例えば１、２、３、４、５、６…などの数値から選択して定めておけばよい。
【００４９】
次に、形状検出処理における２つの検出照合方法について説明する。
図１２は第１の検出照合方法を示すフローチャート、図１３は第１の検出照合方法を説明する図、図１４は第２の検出照合方法を示すフローチャート、図１５は第２の検出照合方法を説明する図である。なお、これらのフローチャートは、図１０のステップ＃１２と完全に対応している訳ではない。
【００５０】
第１の検出照合方法では、図１３に示すように、物体ＢＪの特徴点ＣＰにおける主成分の値を調節し、その特徴点ＣＰを画像ＦＧＳの特徴点ＣＱと最も良く一致するようにする。
【００５１】
図１２において、各主成分の値を「０」とする（＃２１）。各主成分の値を「０」とすることによって、物体ＢＪの特徴点ＣＰの平均値から検出照合を開始することとなる。
【００５２】
その時点における主成分の値で定まる物体ＢＪの特徴点ＣＰの座標を算出し、画像ＦＧＳの特徴点ＣＱとの一致度を算出する（＃２２）。一致度の算出に当たっては、例えば、物体ＢＪの特徴点ＣＰの個数のうち、画像ＦＧＳの特徴点ＣＱと一致する点の割合を一致度とする。図２〜４に示す物体ＢＪ１においては、特徴点ＣＰが５個であるから、そのうちの３個が画像ＦＧＳの特徴点ＣＱと一致した場合には、一致度は３／５となる。算出した一致度が前回までよりも大きいときには、今回の一致度及び主成分の値をメモリに記憶しておく。メモリには一致度を保持するための変数が設けられている。
【００５３】
一致度が予め設定されたしきい値Ｓｈよりも大きくなった場合には終了する（＃２３でイエス）。一致度が小さいときには、主成分の値を微少変化させ（＃２４）、再度一致度を算出する（＃２２）。
【００５４】
なお、主成分の値を微少変化させるに当たっては、例えば、一致度が良くなっている場合には、前回に微少変化させた方向と同じ方向に微少変化させ、一致度が悪くなっている場合には、前回に微少変化させた方向と逆の方向に微少変化させる。
【００５５】
第２の検出照合方法では、図１５に示すように、画像ＦＧＳの多数の特徴点ＣＱのうちから選択された特徴点ＣＱが物体ＢＪの特徴点ＣＰと一致するように主成分の値を計算し、一致度の良いものを探す。特徴点ＣＱの選択に当たっては、例えば、主成分ベクトルが第ｎ次まである場合に、ｎ／２個の特徴点ＣＱを選択する。つまり主成分ベクトルが第２次まである場合には、１個の特徴点ＣＱを選択する。
【００５６】
図１４において、まず初期化を行う（＃３１）。初期化では、例えば画像ＦＧＳから抽出された特徴点ＣＱを一列に並べる。また、算出された一致度及び主成分の値を保持するための変数をメモリ内に設ける。
【００５７】
そして、特徴点ＣＱのうちのいくつかをランダムに選択し、選択された特徴点ＣＱと物体ＢＪの特徴点ＣＰとが一致するような主成分の値を計算する（＃３２）。つまり、特徴点ＣＱ及び特徴点ＣＰについて、主成分の値を未知数とし、Ｘ座標同士及びＹ座標同士をそれぞれ等しいと置いた連立方程式を解くことによって、主成分の値を計算する。この計算は、多元連立１次方程式を解くことに帰着されるので、簡単に実行することができる。
【００５８】
その主成分の値によって定まる物体ＢＪの特徴点ＣＰの座標を算出し、それらの中で画像ＦＧＳから抽出された特徴点ＣＱと一致するものの割合を一致度とする（＃３３）。
【００５９】
一致度が予め設定されたしきい値Ｓｈよりも大きくなった場合には終了する（＃３４でイエス）。一致度が小さいときには、特徴点ＣＱを変えて再度ステップ＃３２以降を繰り返す。
【００６０】
さて、主成分の値を変化させたとき、画像ＦＧＳと物体画像ＦＧＡとの一致度が最大になるような主成分の値の組は１つとは限らない。上述した第１及び第２の検出照合方法においては、それまで算出した範囲で最大の一致度を与える主成分の値の組を求めるものであり、最大の一致度を与える主成分の値の組が複数存在する場合には、最初に見つかった組が選択されて出力される。
【００６１】
そこで、次に説明するように、第１又は第２の検出照合方法のそれぞれに対し、付加的な評価基準を考慮することにより、最大の一致度を与える主成分の値のいずれかを優先させて出力することが可能となる。なお、その場合には、上述した検出照合方法の終了条件（ステップ＃２３，３４）を変更し、例えば、繰り返し処理を一定回数行った場合に終了させればよい。
【００６２】
まず第１の方法は、それまで算出した範囲での最大の一致度と、その一致度を与えた主成分の値をメモリなどに保持しておき、最大の一致度を与えた主成分の値の組が複数現れた時点で、それらのいずれかを優先させるものである。優先の評価基準は、例えば主成分の値の絶対値の総和、つまり（第１主成分の値の絶対値＋第２主成分の絶対値＋…）が小さい方を優先させる。この評価基準によると、特徴点ＣＰが平均値に近い方を優先させることになり、物体ＢＪの形状として無難なものを選択することを意味する。
【００６３】
第２の方法は、画像ＦＧＳと物体画像ＦＧＡとの不一致度及び平均値からの遠さの重み付きの和を評価基準とし、この評価基準を最小値とする主成分の値を求める方法である。換言すれば、画像ＦＧＳと物体画像ＦＧＡ，ＦＧＢとの不一致度及び各主成分の値の絶対値をそれぞれ変数とする評価関数に最小値を与える各主成分の値の組を求めて出力する方法である。
【００６４】
ここで言う不一致度は、例えば一致度の正負の符号を逆にしたものである。平均値からの遠さとしては、例えば主成分の値の絶対値の総和、つまり（第１主成分の値の絶対値＋第２主成分の絶対値＋…）を用いる。この第２の方法を用いる場合には、第１及び第２の検出照合方法において、「一致度」の代わりに「評価基準」を使用し、「最大の一致度」とするところを「最小の評価基準値」と置き換えればよい。この評価基準も、平均値に近いものを優先させる効果がある。
【００６５】
次に、上述した検出方法を実施するための検出装置１の例を説明する。
図１６は本発明に係る検出装置１の構成の例を示すブロック図である。
図１６において、検出装置１は、処理装置１１、カメラ１２、前処理部１３、磁気ディスク装置１４、ＣＤ−ＲＯＭ装置１５、フロッピィディスク装置１６、ディスプレイ装置１７、プリンタ１８、キーボード１９、マウス２０、通信回線２１などから構成されている。
【００６６】
カメラ１２によって対象物を撮影し、前処理部１３によって種々の画像処理又は編集処理を行った後、処理装置１１に対して画像ＦＧＳとして入力する。
磁気ディスク装置１４には、上述の検出方法を実行するためのプログラム、画像ＦＧＡ，ＦＧＢ，ＦＧＳ、特徴点ＣＱ，ＣＰの座標、平均値、主成分ベクトル、主成分の値などが格納されている。
【００６７】
処理装置１１にはメモリが設けられており、上述の種々のプログラム及びデータが必要に応じてロードされ又は生成させて記憶される。処理装置１１がプログラムを実行することにより、上述した検出方法が遂行される。つまり、処理装置１１は、本発明における第１〜第５の手段に相当する。検出方法を実行するためのプログラムは、例えば、ＣＤ−ＲＯＭ又はフロッピィディスクなどの記録媒体に記録されて供給される。又は、通信回線２１を介してオンラインロードされる。
【００６８】
ディスプレイ装置１７には画像ＦＧＡ，ＦＧＢ，ＦＧＳなどが表示され、キーボード１９又はマウス２０を操作して特徴点ＣＱ，ＣＰを指定することができる。
【００６９】
このような検出装置１は、例えば適当なプログラムが格納されたワークステーション又はパーソナルコンピュータなどによって実現することができる。
図１７は検出装置１の検出機能のみを示すブロック図である。
【００７０】
図１７において、検出装置１は、画像入力部５１、特徴算出部５２、分析部５３、照合部５４、出力部５５などを有している。
画像入力部は、与えられた画像ＦＧＳを読み込む。特徴算出部５２は、読み込まれた画像ＦＧＳから特徴点ＣＱを求める。分析部５３は、予め人手で入力された物体の特徴点ＣＰを主成分分析の手法を用いて分析し、分析結果をメモリに格納しておく。照合部５４は、画像ＦＧＳの特徴点ＣＱと最も合うように、分析された特徴点ＣＰの各主成分の値を調節する。出力部５５は、各主成分の値により定まる物体の形状及び位置を出力する。
【００７１】
出力部５５からの出力は、画像ＦＧＳにおける物体ＢＪの位置、物体ＢＪの形状、又は物体ＢＪの位置と形状などである。物体ＢＪの位置は、例えば画像ＦＧＳ中における画像ＦＧＡの原点の座標位置であり、物体ＢＪの形状は、主成分の値、又はその主成分の値による特徴点ＣＰの座標である。
【００７２】
また、検出装置１において種々の応用プログラムを実行するように構成しておき、その応用プログラムの実行のために出力部５５からの出力を用いるようにしてもよい。
【００７３】
図１８は本発明に係る方法を実行するためのプログラムの記録媒体ＳＴの形態の例を示す図である。
図１８に示すように、処理装置ＰＳに設けられた主メモリ、ＲＡＭ、ＲＯＭ、若しくはハードディスクなどの記憶装置ＳＴＡ、ＣＤ−ＲＯＭ、フロッピーディスク、若しくは光磁気ディスクなどの可搬媒体ＳＴＢ、ネットワーク若しくは通信回線ＳＴＤで結ばれたサーバ若しくはＤＡＳＤなどの回線先媒体ＳＴＣ、又は通信回線ＳＴＤそれ自体が、記録媒体ＳＴとして利用可能である。
【００７４】
上述の実施形態において、検出装置１の全体又は各部の構成、処理の内容又は順序などは、本発明の主旨に沿って適宜変更することができる。
【００７５】
【発明の効果】
請求項１乃至請求項９の発明によると、画像の中から形状の変化する物体を精度よく且つ短時間で検出することができる。
【００７６】
請求項２の発明によると、画像特徴量として複数の特徴点の座標値を用いることにより、処理がより簡単となる。
請求項５及び請求項６の発明によると、最大の一致度を与える主成分の値のいずれかを優先させて出力することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る検出方法の処理の流れを示すフローチャートである。
【図２】対象となる物体を５つの特徴点で表現した物体画像の例を示す図である。
【図３】形状の異なる多数の物体画像の例を示す図である。
【図４】物体画像の特徴点の変化の様子を示す図である。
【図５】２枚の物体画像が入力された場合を示す図である。
【図６】図５に示す物体の特徴点の平均値及び主成分ベクトルのデータを示す図である。
【図７】入力された画像の例を濃度値で示す図である。
【図８】微分ウインドウの例を示す図である。
【図９】図７に示す画像を図８に示す微分ウインドウによって微分した結果を示す図である。
【図１０】照合処理の例を示すフローチャートである。
【図１１】照合処理における座標系を説明する図である。
【図１２】第１の検出照合方法を示すフローチャートである。
【図１３】第１の検出照合方法を説明する図である。
【図１４】第２の検出照合方法を示すフローチャートである。
【図１５】第２の検出照合方法を説明する図である。
【図１６】本発明に係る検出装置の構成の例を示すブロック図である。
【図１７】検出装置の検出機能のみを示すブロック図である。
【図１８】プログラムの記録媒体の形態の例を示す図である。
【図１９】従来のテンプレートマッチングの手法を説明する図である。
【符号の説明】
１ 検出装置
１１ 処理装置（第１の手段、第２の手段、第３の手段、第４の手段、第５の手段）
１２ カメラ
５１ 画像入力部
５２ 特徴算出部（第３の手段）
５３ 分析部（第２の手段）
５４ 照合部（第４の手段）
５５ 出力部（第５の手段）
ＢＪ 物体
ＦＧＳ 画像
ＦＧＡ，ＦＧＢ 物体画像
ＣＰ 特徴点（物体特徴量）
ＣＱ 特徴点（画像特徴量）
ＳＴＡ，ＳＴＢ，ＳＴＣ，ＳＴＤ 記録媒体
Claims (9)
- 画像の中から形状に変化のある物体を検出する方法であって、
前記物体が含まれる複数の画像から物体形状を表す数値化された特徴量である物体特徴量を抽出する第１のステップと、
前記物体特徴量を主成分分析の手法を用いて分析する第２のステップと、
与えられた画像から所定の方法により画像特徴量を抽出する第３のステップと、
前記分析された物体特徴量から物体の形状を少数の主成分の値で表現し、前記画像特徴量と可変形状のテンプレートマッチングで照合を行なう第４のステップと、
照合結果に応じて前記物体の形状及び位置を出力する第５のステップと、
を有してなることを特徴とする画像における物体の検出方法。 - 前記画像特徴量として、複数の特徴点の座標値を用い、
前記第１のステップにおいて、前記物体についての形状の類似する複数のそれぞれの画像に対し複数の特徴点を指定し、その指定された特徴点の座標値を求める、
請求項１記載の画像における物体の検出方法。 - 前記第４のステップにおいて、前記分析された物体特徴量の各主成分の値を変化させ、前記分析された物体特徴量と前記画像特徴量とがよく一致するときの各主成分の値の組を照合結果とする、
請求項１又は請求項２に記載の画像における物体の検出方法。 - 前記第４のステップにおいて、前記分析された物体特徴量の一部と前記画像特徴量の一部とが一致するように各主成分の値を調整し、調整された各主成分の値の複数の組のうち、前記分析された物体特徴量と前記画像特徴量とがよく一致するときの各主成分の値の組を照合結果とする、
請求項１又は請求項２に記載の画像における物体の検出方法。 - 前記第４のステップにおいて、最もよく一致する各主成分の値の組が複数存在する場合に、各主成分の値の絶対値の最も小さい組を照合結果とする、
請求項３又は請求項４記載の画像における物体の検出方法。 - 前記第４のステップにおいて、前記分析された物体特徴量と前記画像特徴量との不一致度及び各主成分の値の絶対値をそれぞれ変数とする評価関数に最小値を与える各主成分の値の組を照合結果とする、
請求項３又は請求項４記載の画像における物体の検出方法。 - 前記第５のステップにおいて、前記照合結果である各主成分の値によって定まる物体の形状を出力する、
請求項３乃至請求項６のいずれかに記載の画像における物体の検出方法。 - 画像の中から形状に変化のある物体を検出する装置であって、
前記物体が含まれる複数の画像から物体形状を表す数値化された特徴量である物体特徴量を抽出する第１の手段と、
前記物体特徴量を主成分分析の手法を用いて分析する第２の手段と、
与えられた画像から所定の方法により画像特徴量を抽出する第３の手段と、
前記分析された物体特徴量から物体の形状を少数の主成分の値で表現し、前記画像特徴量と可変形状のテンプレートマッチングで照合を行なう第４の手段と、
照合結果に応じて前記物体の形状及び位置を出力する第５の手段と、
を有してなることを特徴とする画像における物体の検出装置。 - 画像の中から形状に変化のある物体を検出するために、
前記物体が含まれる複数の画像から物体形状を表す数値化された特徴量である物体特徴量を抽出する第１のステップと、
前記物体特徴量を主成分分析の手法を用いて分析する第２のステップと、
与えられた画像から所定の方法により画像特徴量を抽出する第３のステップと、
前記分析された物体特徴量から物体の形状を少数の主成分の値で表現し、前記画像特徴量と可変形状のテンプレートマッチングで照合を行なう第４のステップと、
照合結果に応じて前記物体の形状及び位置を出力する第５のステップと、
をコンピュータに実行させるプログラムを記録したコンピュータが読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20559497A JP3570862B2 (ja) | 1996-10-02 | 1997-07-31 | 画像における物体の検出方法及び装置並びに記録媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26163896 | 1996-10-02 | ||
| JP8-261638 | 1996-10-02 | ||
| JP20559497A JP3570862B2 (ja) | 1996-10-02 | 1997-07-31 | 画像における物体の検出方法及び装置並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10162148A JPH10162148A (ja) | 1998-06-19 |
| JP3570862B2 true JP3570862B2 (ja) | 2004-09-29 |
Family
ID=26515147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20559497A Expired - Fee Related JP3570862B2 (ja) | 1996-10-02 | 1997-07-31 | 画像における物体の検出方法及び装置並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3570862B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4392886B2 (ja) * | 1999-01-22 | 2010-01-06 | キヤノン株式会社 | 画像抽出方法及び装置 |
-
1997
- 1997-07-31 JP JP20559497A patent/JP3570862B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10162148A (ja) | 1998-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10891511B1 (en) | Human hairstyle generation method based on multi-feature retrieval and deformation | |
| JP4234381B2 (ja) | 顔の特徴を位置確認するための方法及びコンピュータープログラム製品 | |
| JP3986583B2 (ja) | 確率的固有空間解析を用いた複雑な対象物の検出、認識、及び符号化方法及び装置 | |
| US8331619B2 (en) | Image processing apparatus and image processing method | |
| US20080219516A1 (en) | Image matching apparatus, image matching method, computer program and computer-readable storage medium | |
| JP2006520055A (ja) | ２次元画像からの３次元オブジェクトの不変視点検出および識別 | |
| US20040062424A1 (en) | Face direction estimation using a single gray-level image | |
| EP1758059A1 (en) | Parameter estimation method, parameter estimation device, and collation method | |
| KR20140004230A (ko) | 화상처리장치, 정보생성장치, 화상처리방법, 정보생성방법, 제어 프로그램 및 기록매체 | |
| JP4410732B2 (ja) | 顔画像検出装置、顔画像検出方法および顔画像検出プログラム | |
| CN117689887A (zh) | 基于点云分割的工件抓取方法、装置、设备及存储介质 | |
| JPH06301781A (ja) | コンピュータによるパターン認識のためのイメージ変換方法及び装置 | |
| Sapp et al. | A Fast Data Collection and Augmentation Procedure for Object Recognition. | |
| JP2010176504A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN107368832A (zh) | 基于图像的目标检测及分类方法 | |
| JP3570862B2 (ja) | 画像における物体の検出方法及び装置並びに記録媒体 | |
| Tapia et al. | Simulating print/scan textures for morphing attack detection | |
| JP4099981B2 (ja) | 画像認識システム、画像認識方法および画像認識プログラム | |
| JP2007025902A (ja) | 画像処理装置、画像処理方法 | |
| Lee et al. | Robust Face Detection Based on Knowledge‐Directed Specification of Bottom‐Up Saliency | |
| Wang et al. | Artificial aging of faces by support vector machines | |
| JP2007026308A (ja) | 画像処理方法、画像処理装置 | |
| JP2005071125A (ja) | 被写体検出装置、被写体検出方法、被写体データ選定プログラムおよび被写体位置検出プログラム | |
| Lattner et al. | A combination of machine learning and image processing technologies for the classification of image regions | |
| JP6814374B2 (ja) | 検出方法、検出プログラム及び検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040622 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040622 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080702 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090702 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100702 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100702 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110702 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110702 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120702 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120702 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130702 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |