JP2849256B2

JP2849256B2 - 画像認識装置

Info

Publication number: JP2849256B2
Application number: JP3344489A
Authority: JP
Inventors: 信小杉
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: NTT Inc
Priority date: 1991-12-26
Filing date: 1991-12-26
Publication date: 1999-01-20
Anticipated expiration: 2014-01-20
Also published as: JPH05174149A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、入力された自然画像の
中から目的とする画像を精度よく探索し、対象を特定す
るようにした画像認識装置に関する。

【０００２】

【従来の技術】代表的な自然画像は濃淡あるいはカラー
画像であるが、自然画像の中から目的とする画像を検出
し認識するため、従来は、画像の形状に注目し、形状情
報を特徴として入力画像内から特徴の一致する候補を探
出・認識するものであった。しかし、自然画像の中から
正しい形状を抽出することは至難であり、従来は、対象
物体と背景の切り分けのため、背景を事前学習したりす
ること、あるいは背景は一様なものに制限すること、線
分を抽出し易くするため人工的な剛物体などに対象を制
限すること、など種々の制約条件を課していた。

【０００３】

【発明が解決しようとする課題】目的の画像の有無の検
知でさえこのような困難が伴っており、まして自然画像
において対象物の正確な位置や大きさをつかむことは不
可能に近かった。

【０００４】即ち、任意の自然画像の中から対象物を正
確に抽出することは至難のことであり、このため、実用
上、制約が多く有用性に難があった。本発明は、上記の
さまざまな制約条件を緩和し、目的とする画像を画面内
のどこにあるか正確に求め、この結果に基づき対象を認
識できるようにすることを目的としている。

【０００５】

【課題を解決するための手段】本発明においては、対象
の特徴を形状ではなく粗い解像度の濃淡あるいはカラー
情報を用いる。即ち、リンカーンのモザイク画像からリ
ンカーンが識別できるように、解像度を大きく落とした
画像でも、対象の特徴を表現できることを根拠としてい
る。

【０００６】具体的には、認識対象となる物体画像を粗
くモザイク化し、これを探索時の対象画像の特徴として
用いて、未知画像を走査しおおよその位置と大きさとを
見つける。次に、認識対象となる物体画像を細かくモザ
イク化し、これを用いて、既に得られた大まかな位置付
近を走査し正確な位置と大きさとを見つける。さらに、
認識対象物体画像を細かくモザイク化し、すでに得られ
た未知画像中の位置と大きさとを得ている領域のモザイ
クと上記先の認識対象物体画像を細かくモザイクしたデ
ータのマッチングにより対象画像を認識する。

【０００７】

【作用】このように画像を数段階でモザイク化すること
により、任意の画面中から対象を正確に探し出し、さら
に認識することが容易に可能となる。

【０００８】

【実施例】以下、本発明の一実施例について図面により
説明する。図１は本発明における画像認識を行う一実施
例を示す図であり、図２は図１に示す粗探索部の構成、
図３は図１に示す詳細探索部の構成、図４は図１に示す
認識部の構成を示す。また図５と図６とは一緒になって
１つの図を表しており探索対象画像あるいは未知画像を
モザイク化し、未知画像の中から目的の対象を探索・認
識する過程を説明する図である。

【０００９】図１において１は認識対象画像入力部であ
り、ＴＶカメラあるいはスキャナなどを用い、認識対象
となる物体、例えば人物であれば典型的な人物の顔画像
を取り込み、粗探索部１００へ、具体的には、図２の粗
探索対象画像バッファ１０１へ入力する。したがって、
当該バッファ１０１の内容は濃淡あるいはカラーで表さ
れる画素の集合である。

【００１０】この認識対象画像を行列Ｆ＝［ｆ］で表
し、図５、図６のように、これをＷａ画素×Ｗａ画素の
サイズのブロックでＭ×Ｎに分割し、このモザイク画像
ＦＣの各ブロックを、ブロック内の、例えば濃淡ならば
ブロック内平均値、カラーならばブロック内で最大の頻
度を有する色で表す。なお当該ブロック内平均値やブロ
ック内での最大の頻度を有する色などによって代表され
る値を「代表値」と称することにし、複数の画像の対応
するブロックについての複数ブロック間での「平均値」
と区別して表現する。

【００１１】粗探索対象画像モザイク化部１０２は、前
記バッファ１０１の画像をモザイク化し、粗探索対象画
像辞書１０３に蓄積する。なお、必要ならば、複数の探
索対象、この例では複数の顔画像の平均値をとり、代表
的な顔のモザイクデータとするか、複数の粗探索対象画
像を用意してもよい。

【００１２】一方、未知画像Ｕは図１の未知画像入力部
２を介して粗探索部１００の中の、図２に示す未知画像
バッファ１０４に取り込まれる。そこで未知画像Ｕに対
して、やはり図５のように、未知画像モザイク化部１０
５でＷａ画素×Ｗａ画素のブロックサイズでＰ×Ｑに分
割し、ブロックごとに代表値を算出しモザイク画像ＵＣ
を得る。なお、未知画像入力部２は前記の認識対象画像
入力部１と同一でもよい。

【００１３】次に、図５のように、未知画像のモザイク
を走査して粗探索対象画像モザイクと一致する場所を探
索する。即ち、次の原理に基づく。未知画像のＰ×Ｑの
モザイクデータのうち、任意のＭ×Ｎのモザイクデータ
をＵｉ（斜線が存在する領域で示す）としたとき、Ｕｉ
と粗探索対象モザイクデータＦＣとの距離Ｄｉが最小値
となるときのＵｉの位置を粗探索結果とする。この距離
Ｄｉとして、種々の出し方があるが代表的なものとして
ユークリッド距離がある。

【００１４】具体的には次のとおりである。図２におい
て、１０６は候補選択部であり、未知画像モザイク化部
１０５の中からＭ×Ｎブロック分の枠に入る候補データ
Ｕｉ（ｉ＝１，２…）を選択する。一般的には、はじめ
に未知画像の左上のＭ×Ｎブロック分がＵ１として選択
される。このモザイクデータＵ１との粗探索対象画像辞
書１０３からの粗探索対象モザイクデータＦＣとが距離
算出部１０７に入力され、上記の距離が算出される。こ
の結果は、このときの未知画像モザイクデータＵＣにお
けるＭ×Ｎの位置データ、即ちＵ１の位置データ、なら
びにモザイクのブロックサイズＷａとともに位置・サイ
ズ・距離蓄積部１０８に蓄えられる。

【００１５】さらに、候補選択部１０６は未知画像モザ
イク化部１０５から次の候補Ｕ２を選択し、距離算出部
１０７はこの時の距離を算出して、候補Ｕ２の位置、ブ
ロックサイズとともに位置・サイズ・距離蓄積部１０８
に蓄える。同様に、未知画像モザイクの全領域に対して
Ｍ×Ｎの候補Ｕｉが順次選択され、選択された位置、ブ
ロックサイズと算出された距離はすべて位置・サイズ・
距離蓄積部１０８に蓄えられる。

【００１６】ところで、以上では未知画像のモザイク化
において、探索対象画像と同じブロックサイズ、Ｗａ画
素×Ｗａ画素を用いた。探索対象画像と未知画像内の探
索対象画像が同じサイズであればこのままでよいが、一
般的には、未知画像内における探索対象画像のサイズも
また未知である。このため、未知画像モザイク化部１０
５は、ブロックサイズの画素数を、例えば、Ｗａの１／
５〜１０／５などのＷａ’に変化させる。そこで、一つ
一つのブロックサイズＷａ’ごとに上記の手順を繰り返
して、得られた距離とそのときの位置ならびにブロック
サイズＷａ’を位置・サイズ・距離蓄積部１０８に蓄え
る。

【００１７】また、複数の探索対象画像を辞書においた
場合も、同様にして、一つ一つの探索対象画像ごとに上
記の手順を繰り返し、得られた距離とそのときの位置お
よびブロックサイズを位置・サイズ・距離蓄積部１０８
に蓄える。

【００１８】こうして、全部の場合の距離が位置・サイ
ズ・距離蓄積部１０８に蓄えられると、最小距離検出部
１０９と、位置・サイズ・距離蓄積部１０８の中の距離
データのうち、最小値を取るものを検出する。この値は
認識対象有無判定部１１０に送られ、この値がある閾値
以下の時は未知画像内に対象画像があると判断し、その
位置およびブロックサイズを位置・サイズ・距離蓄積部
１０８から取り出して結果を粗探索結果出力部１１１に
出力する。粗探索結果出力部１１１は、ブロックサイズ
Ｗａから未知画像内の探索対象画像の大きさを［Ｍ×Ｗ
ａ］×［Ｎ×Ｗａ］より算出する。

【００１９】一方、最小距離値がある閾値を越えたとき
は未知画像内に対象画像が無いと判断し、「無い」こと
を粗探索結果出力部１１１に出力する。粗探索結果出力
部１１１はこれらの結果を直ちに詳細探索部２００に通
知する。

【００２０】こうして粗探索により、認識対象のおおよ
その位置と大きさがわかると、モザイクのブロックを小
さくして、詳細にその位置を探索する。なお、詳細探索
では粗探索に比べ対象画像の領域を一部分に絞ってもよ
いが、ここでは、同一領域を用いる場合をのべる。

【００２１】まず、予め、図６のように、認識対象をＷ
ｂ画素×Ｗｂ画素（Ｗｂ＜Ｗａ）のサイズのブロックで
Ｍ’×Ｎ’に分割し、各ブロックをブロック内の代表値
で表す。

【００２２】具体的には、詳細探索対象画像バッファ２
０１は、認識対象画像入力部１から認識対象画像データ
を取り込み、これを詳細探索対象画像モザイク化部２０
２に送る。詳細探索対象画像モザイク化部２０２は、こ
の画像をモザイク化（ＦＤ）し、詳細探索対象画像辞書
２０３に蓄積する。

【００２３】なお、必要ならば、複数の詳細探索対象画
像の平均値をとるか、複数の詳細探索対象画像を用意す
ればよいのは、粗探索の場合と同じである。一方、上記
の粗探索結果が粗探索結果通知部２２０に通知される
と、未知画像バッファ２０４はこれを知って、図１の未
知画像入力部２から、未知画像Ｕの中の認識対象画像の
該当部分を取り込む。そこで、未知画像モザイク化部２
０５は、これに対して、やはり図６のように、Ｗｂ画素
×Ｗｂ画素のブロックサイズでＰ’×Ｑ’に分割し、ブ
ロックごとに代表値を算出しモザイクＵＤを得る。

【００２４】そこで、粗探索の場合と同様、図６のよう
に、未知画像の該当部分画像のモザイクを走査して詳細
探索対象モザイクＦＤと一致する場所を探索する。すな
わち、部分画像のＰ’×Ｑ’のモザイクＵＤのうち任意
のＭ’×Ｎ’のモザイクをＵｊ（斜線が存在する領域で
示す）としたとき、Ｕｊと探索対象のモザイクＦＤとの
距離Ｄｊを最小となるときのＵｊの位置を詳細探索結果
とする。

【００２５】具体的には、図３において、候補選択部２
０６は、未知画像モザイク化部２０５の中からＭ’×
Ｎ’分の枠に入る候補Ｕｊを取り出す。距離算出部２０
７は、このＵｊと詳細探索対象画像辞書２０３からの詳
細探索対象モザイクＦＤの距離Ｄｊを算出し、このとき
のＵｊの位置データ、ならびにモザイクのブロックサイ
ズＷｂとともに位置・サイズ・距離蓄積部２０８に送
る。

【００２６】ここで、必要に応じ、ブロックサイズＷｂ
を変化させ（Ｗｂ’）たり、複数の詳細探索対象画像を
用いたりすることも、粗探索の場合と同様である。こう
して、最小距離検出部２０９で最小値を検出すると、こ
の時のＵｊの位置データならびにブロックサイズＷｂが
詳細探索結果出力部２１０に送られる。詳細探索結果出
力部２１０はブロックサイズＷｂより探索対象画像の正
確な大きさ、即ち、［Ｍ’×Ｗｂ］×［Ｎ’×Ｗｂ］を
算出し、位置データとともに認識部３００に送出する。

【００２７】こうして詳細探索により、認識対象の正確
な位置と大きさがわかると、モザイクのブロックを小さ
くして、対象が何かを認識する。まず、予め、図６のよ
うに、認識対象をＷｃ画素×Ｗｃ画素（Ｗｃ＜Ｗｂ）の
サイズのブロックでＭ”×Ｎ”に分割する。このモザイ
クの各ブロックを、前記の場合と同様にブロック内の代
表値で表す。なお、認識対象の特徴が部分領域に集中し
ていれば、その部分をＭ”×Ｎ”に分割してもよい。す
なわち、探索の過程では対象に普遍的な特徴が必要であ
るが、認識の過程では、個々を区別する特徴が必要であ
り、より細かなモザイクや部分領域が有効となる。

【００２８】ここでは、この部分領域を用いる場合をの
べる。具体的には、認識対象画像バッファ３０１は、認
識対象画像入力部１から認識対象画像の部分領域のデー
タを取り込み、これを認識対象画像モザイク化部３０２
に送る。認識対象画像モザイク化部３０２は、この画像
をモザイク化（ＦＤＤ）し、認識対象画像辞書３０３に
蓄積する。

【００２９】なお、通常、多くの認識対象画像について
モザイク化し、認識対象画像辞書３０３に蓄積する。一
方、上記の詳細探索結果が詳細探索部２００より詳細探
索結果通知部３２０に通知されると、未知画像バッファ
３０４はこれを知って、図１の未知画像入力部２から、
未知画像Ｕの中の認識対象画像の正確な位置と大きさの
画像を取り込む。画像切り出し・モザイク化部３０５
は、さらにその中の部分領域に対して、やはり図６のよ
うにＷｃ画素×Ｗｃ画素のブロックサイズでＭ”×Ｎ”
に分割し、ブロックごとに代表値を算出しモザイクデー
タＵＤＤを得る。

【００３０】そこで、このモザイクデータＵＤＤと認識
対象画像モザイクデータＦＤＤの距離を算出し、これが
或る閾値以下であれば、未知画像は認識対象画像である
と判定する。あるいは、認識対象画像が複数あれば、Ｆ
ＤＤとの距離の最小となるものを認識対象として判定す
る。ここでは、一般的な、後者の場合を例にのべる。

【００３１】具体的には、図４において、距離算出部３
０６は、画像切り出し・モザイク化部３０５の出力であ
る未知画像モザイクデータＵＤＤと認識対象画像辞書３
０３からの認識対象画像モザイクデータＦＤＤの距離を
算出し、このときの距離と認識対象画像の符号を距離蓄
積部３０７に送る。同様に、距離算出部３０６は、認識
対象画像辞書３０３から次々と認識対象画像モザイクデ
ータを取り出しては、未知画像モザイクデータＵＤＤと
の距離を算出し、この値と認識対象画像の符号を距離蓄
積部３０７に送る。

【００３２】つぎに、最小距離検出部３０８は、距離蓄
積部３０７の中の最小値を検出すると、この時の認識対
象画像の符号を認識結果出力部３０９へ送出する。この
結果はさらに出力部３へ送出される。

【００３３】一方、粗探索の結果、対象画像が「無し」
の場合は、このことが出力部３に通知される。こうし
て、未知画像Ｕの中から、まず認識対象画像Ｆのおおよ
その位置がみつかり、これを手がかりに正確な位置と大
きさが見つけられ、さらに対象が特定される。

【００３４】

【発明の効果】本発明によれば、認識対象画像および未
知画像をモザイク化し探索・認識することによって、背
景に対する一様性など特殊な条件を与えることなく、ま
た、線分を用いた場合のノイズによるエラーを起すこと
なく、容易に対象画像を見いだしてその位置や大きさを
得た上、認識することが可能となる。とくに、形状や色
が似通った対象、例えば、人間の顔や蝶などには効果的
である。

【図面の簡単な説明】

【図１】本発明の全体を説明するブロック図である。

【図２】粗探索部１００の内容を示す図である。

【図３】詳細探索部２００の内容を示す図である。

【図４】認識部３００の内容を示す図である。

【図５】認識対象画像ならびに未知画像をモザイク化
し、未知画像の中から認識対象を段階的に探索・認識す
る過程を説明する図である。

【図６】図５と一緒になって１つの図を構成し、認識対
象画像ならびに未知画像をモザイク化し、未知画像の中
から認識対象を段階的に探索・認識する過程を説明する
図である。

【符号の説明】

１認識対象画像入力部２未知画像入力部３出力部１００粗探索部２００詳細探索部３００認識部

Claims

(57)【特許請求の範囲】

【請求項１】予め、認識対象となる自然画像を第１の
ブロックサイズに該当する大きなブロックサイズ（幅Ｗ
ａ，高さＷａ）でＭ×Ｎに分割し、各ブロックの濃淡あ
るいはカラーの代表値を算出して辞書データとして記憶
する第１の手段と、同じく、予め、当該認識対象の自然画像を第２のブロッ
クサイズに該当する小さなブロックサイズ（幅Ｗｂ，高
さＷｂ、ただしＷｂ＜Ｗａ）でＭ’×Ｎ’に分割し、各
ブロックの濃淡あるいはカラーの代表値を算出して辞書
データとして記憶する第２の手段と、同じく、予め当該認識対象の自然画像を第３のブロック
サイズに該当するさらに小さなブロックサイズ（幅Ｗ
ｃ，高さＷｃ、ただしＷｃ＜Ｗｂ）でＭ”×Ｎ”に分割
し、各ブロックの濃淡あるいはカラーの代表値を算出し
て辞書データとして記憶する第３の手段と、未知の自然画像が入力として与えられたとき、入力画像
を第１のブロックサイズに該当する大きなブロックサイ
ズでＰ×Ｑに分割して各ブロックの代表値を算出し、こ
の中から任意のＭ×Ｎの領域を取り出して第１の手段で
得られた代表値群とのなす距離を算出し蓄積する第４の
手段と、Ｐ×Ｑの全領域にわたって第４の手段を繰り返し適用
し、得られた距離の中から最小値を求め、この最小値が
予め与えられた閾値より小さいとき、入力画像中の最小
値を導いた位置に認識対象画像に相当する画像があると
判定し、一方、最小値が閾値より大きいとき、入力画像
内に認識対象画像に相当する画像が存在しないと判断す
る第５の手段と、第５の手段で、或る位置に認識対象有りと判定されたと
き、入力画像中の該当位置の近傍のＭ×Ｎ領域を第２の
ブロックサイズに該当する小さなブロックでＰ’×Ｑ’
に分割し各ブロックの代表値を算出し、この中から任意
のＭ’×Ｎ’の領域を取り出して第２の手段で得られた
代表値群とのなす距離を算出しこれを蓄積する第６の手
段と、Ｐ’×Ｑ’の全領域にわたって第６の手段を繰り返し適
用し、得られた距離の中から最小値を求め、この時の
Ｍ’×Ｎ’画像の位置と大きさを認識対象画像の位置と
大きさとする第７の手段と、第７の手段で得られた入力画像中の該当位置と大きさの
領域を、第３のブロックサイズに該当するより小さなブ
ロックサイズでＭ”×Ｎ”に分割して各ブロックの代表
値を算出し、第３の手段で得られた代表値群とのなす距
離を算出し、これが或る閾値以下ならば認識対象画像で
あると特定する第８の手段を有することを特徴とする画
像認識装置。
【請求項２】上記第１の手段において、予め対象とな
る画像を唯一でなく、類似する複数の画像群とし、これ
らの画像ごとにＭ×Ｎに分割して各ブロックについての
各ブロックごとの代表値を算出し、複数の画像間の対応
するブロックについての複数ブロック間での平均値を算
出し、これを辞書として記憶することを特徴とする請求
項１記載の画像認識装置。
【請求項３】上記第２の手段において、予め対象とな
る画像を唯一でなく、類似する複数の画像群とし、これ
らの画像ごとにＭ’×Ｎ’に分割して各ブロックについ
ての各ブロックごとの代表値を算出し、複数の画像間の
対応するブロックについての複数ブロック間での平均値
を算出し、これを辞書として記憶することを特徴とする
請求項１記載の画像認識装置。
【請求項４】上記第３の手段において、予め対象とな
る画像を唯一でなく、複数の画像群とし、これらの画像
ごとにＭ”×Ｎ”に分割して各ブロックについての各ブ
ロックごとの代表値を算出し、これを辞書として記憶す
ることを特徴とする請求項１記載の画像認識装置。
【請求項５】上記第２の手段において、予め、認識対
象画像の部分画像を第２のブロックサイズに該当する小
さなブロックサイズでＭ’×Ｎ’に分割し、各ブロック
の代表値を算出して辞書データとして記憶し、上記第６
の手段および第７の手段において、上記第５の手段で得
られたＭ×Ｎ領域の部分領域をＰ’×Ｑ’に分割し、こ
の中のＭ’×Ｎ’ごとに当該辞書データとの距離を算出
することを特徴とする請求項１記載の画像認識装置。
【請求項６】上記第３の手段において、予め、認識対
象画像の部分画像を、第３のブロックサイズに該当する
より小さなブロックサイズでＭ”×Ｎ”に分割し、各ブ
ロックの代表値を算出して辞書データとして記憶し、上
記第８の手段において、上記Ｍ’×Ｎ’領域を、第３の
ブロックサイズに該当するより小さなブロックサイズで
Ｍ”×Ｎ”に分割することを特徴とする請求項１記載の
画像認識装置。
【請求項７】上記第４の手段において、分割に用いる
ブロックサイズを可変とすることを特徴とする請求項１
記載の画像認識装置。
【請求項８】上記第６の手段において、分割に用いる
ブロックサイズを可変とすることを特徴とする請求項１
記載の画像認識装置。