JP4366318B2 - 画像処理装置及びその方法、プログラム - Google Patents

Description

本発明は、比較元画像と比較先画像間の類似比較を行うための比較領域を決定するための画像処理を実行する画像処理装置及びその方法、プログラムに関するものである。

２つの画像の相似比を算出する従来技術としては、特許文献１が知られている。特許文献１では、基準画像と検査画像との相似性を算出して、両者の類似照合（類似比較）を行う。その際、基準画像の投影波形間の比較領域の平行移動量と相似比の両方を算出し、これにより相似変換と位置補正を行うことにより詳細な比較を行う。

ところで、平行移動量と相似比を算出するためには、基準画像の投影波形と検査画像の投影波形の各ピーク位置同士の組み合わせについて、平行移動量と相似比を推定し、組み合わせ毎に推定された平行移動量と相似比を含む推定相似変換パラメータ群を生成し、当該推定相似変換パラメータ群の内、尤度が高いパラメータを相似変換パラメータとして決定する。
特開２００３−２４８８２７号公報

しかしながら、特許文献１では、多数の基準画像の投影波形と検査画像の投影波形の各ピーク位置同士の組み合わせを用いないと、平行移動量と相似比の推定を実行することができない。そのため、特徴の希薄な画像においては、十分な投影波形の各ピークの数が得られない問題がある。逆に、特徴が多すぎても、計算処理に時間が掛かり、また、ノイズや汚損などの要因により投影波形の各ピークに変動を起こし、正しい正解が得られないことがある。

このように、平行移動量と相似比を同時に算出する性質は、長所であり弱点でもある。

そこで、平行移動量と相似比を同時に算出するのではなく、平行移動量と相似比を別々のステージでノイズや汚損などの要因による影響を避けながらロバストに算出する方が安全であり、このような算出方法を採用して、かつ効率的に類似比較を実現することが好ましい。

本発明は上記の課題を解決するためになされたものであり、画像間の類似比較を効率的にかつ精度良く実行することができる画像処理装置及びその方法、プログラムを提供することを目的とする。

上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
比較元画像と比較先画像間の類似比較を行うために夫々の画像について比較領域を決定するための画像処理を実行する画像処理装置であって、
前記比較元画像と前記比較先画像の夫々から水平方向射影ヒストグラムと鉛直方向射影ヒストグラムとを算出するヒストグラム算出手段と、
前記ヒストグラム算出手段で算出した前記比較元画像と前記比較先画像の夫々の前記水平方向射影ヒストグラムと前記鉛直方向射影ヒストグラムに基づいて、前記比較元画像と前記比較先画像との夫々に比較領域候補を設定する設定手段と、
前記ヒストグラム算出手段で算出した前記比較元画像と前記比較先画像の夫々の水平方向射影ヒストグラムと鉛直方向射影ヒストグラムについて、前記比較領域候補に対応する自己相関値が所定閾値までに達するまでのインターバルとして、前記比較元画像と前記比較先画像の夫々に対する水平方向インターバルと鉛直方向インターバルとを算出するインターバル算出手段と、
前記ヒストグラム算出手段で算出した前記比較元画像と前記比較先画像の夫々の前記水平方向インターバルと前記鉛直方向インターバルとに基づいて、前記比較元画像と前記比較先画像の夫々について前記比較領域候補に関する第１のアスペクト比を算出する第１のアスペクト比算出手段と、
前記比較元画像と前記比較先画像の夫々の前記比較領域候補の鉛直方向の長さと水平方向の長さに基づいて、前記比較元画像と前記比較先画像の夫々について前記比較領域候補に関する第２のアスペクト比を算出する第２のアスペクト比算出手段と、
前記比較元画像と前記比較先画像の夫々の前記水平方向インターバル、あるいは前記比較元画像と前記比較先画像の夫々の前記鉛直方向インターバルを用いて、前記比較元画像と前記比較先画像との相似比を算出する相似比算出手段と、
前記比較元画像における前記第１のアスペクト比と前記第２のアスペクト比との差と、前記比較先画像における前記第１のアスペクト比と前記第２のアスペクト比との差との少なくとも一方が所定値以上である場合に、前記相似比と、前記第１のアスペクト比と前記第２のアスペクト比との差が所定値以上となる画像の前記比較領域候補とに基づいて、前記比較元画像と前記比較先画像とを比較するための比較領域を決定する比較領域決定手段と
を備える。

また、好ましくは、前記比較領域決定手段は、前記比較元画像と前記比較先画像の内で、前記第１のアスペクト比と前記第２のアスペクト比との差が大きい方の画像の比較領域候補を優先して補正することで、前記比較領域を決定する。

また、好ましくは、前記比較領域決定手段は、前記比較元画像の第１のアスペクト比と前記比較先画像の第１のアスペクト比の平均値と、前記比較元画像と前記比較先画像の内で、前記第２のアスペクト比との差が大きい方の画像の比較領域候補を優先して補正することで、前記比較領域を決定する。

また、好ましくは、前記相似比は、水平方向の第一相似比と鉛直方向の第二相似比とからなり、
前記比較領域決定手段は、前記第一相似比と前記第二相似比との差に基づいて、前記比較元画像と前記比較先画像の一方を用いて、他方を補正することで、前記比較領域を決定する。

また、好ましくは、前記第一相似比と前記第二相似比との差が閾値以下の場合、
前記比較領域決定手段は、
前記比較元画像及び前記比較先画像間の前記比較領域候補の水平方向の第一比較領域候補相似比と前記第一相似比間の差の第一絶対値と、
前記比較元画像及び前記比較先画像間の前記比較領域候補の鉛直方向の第二比較領域候補相似比と前記第二相似比間の差の第二絶対値と
に基づいて、前記比較元画像と前記比較先画像の一方を用いて、他方を補正することで、前記比較領域を決定する。

また、好ましくは、前記第一相似比と前記第二相似比との差が閾値より大きい場合、
前記比較領域決定手段は、
前記第一及び第二相似比と前記第一及び第二比較領域候補相似比と
に基づいて、該第一及び第二相似比の一方と、前記比較元画像と前記比較先画像の一方とを用いて、他方を補正することで、前記比較領域を決定する。

また、好ましくは、前記比較領域決定手段で決定された比較領域を用いて、前記比較元画像と比較先画像とを比較する比較手段を更に備える。

また、好ましくは、前記第一及び第二相似比と前記第一及び第二比較領域候補相似比とに基づいて、前記比較手段による比較をキャンセルする制御手段を更に備える。

また、好ましくは、前記ヒストグラム算出手段で算出した前記比較元画像と前記比較先画像の夫々の水平方向射影ヒストグラムと鉛直方向射影ヒストグラムとに基づいて算出される、前記比較元画像と前記比較先画像それぞれの比較領域候補とするオブジェクト最外接矩形のどちらか一方の面積と、前記比較領域の面積との面積差を算出する面積差算出手段と、
前記面積差算出手段で算出した面積差に基づいて、前記比較領域の位置を決定する位置決定手段と
を備える。

また、好ましくは、前記位置決定手段は、前記面積差が閾値以上である場合、
前記比較元画像と前記比較先画像それぞれの比較領域候補とするオブジェクト最外接矩形のサイズと、前記比較領域のサイズとのサイズ差が小さい方の画像のオブジェクト最外接矩形をブロック分割して、第１特徴量を算出する第１算出手段と、
前記サイズ差が大きい方の画像のオブジェクト最外接矩形のオブジェクト領域中に、前記比較領域のサイズとなる複数の比較領域候補を設定して、それぞれをブロック分割して、前記複数の比較領域候補それぞれの第２特徴量を算出する第２算出手段と、
前記第１特徴量と前記第２特徴量とを比較し、前記複数の比較領域候補の中から前記第２特徴量に最も類似する第１特徴量を算出した比較領域候補を判定する判定手段とを備え、
前記判定手段で判定された比較領域候補の座標を前記比較領域の座標として決定する。

上記の目的を達成するための本発明による画像処理方法は以下の構成を備える。即ち、
比較元画像と比較先画像間の類似比較を行うために夫々の画像について比較領域を決定するための画像処理を実行する画像処理装置における画像処理方法であって、
前記比較元画像と前記比較先画像の夫々から水平方向射影ヒストグラムと鉛直方向射影ヒストグラムとを算出するヒストグラム算出工程と、
前記ヒストグラム算出工程で算出した前記比較元画像と前記比較先画像の夫々の前記水平方向射影ヒストグラムと前記鉛直方向射影ヒストグラムに基づいて、前記比較元画像と前記比較先画像との夫々に比較領域候補を設定する設定工程と、
前記ヒストグラム算出工程で算出した前記比較元画像と前記比較先画像の夫々の水平方向射影ヒストグラムと鉛直方向射影ヒストグラムについて、前記比較領域候補に対応する自己相関値が所定閾値までに達するまでのインターバルとして、前記比較元画像と前記比較先画像の夫々に対する水平方向インターバルと鉛直方向インターバルとを算出するインターバル算出工程と、
前記ヒストグラム算出工程で算出した前記比較元画像と前記比較先画像の夫々の前記水平方向インターバルと前記鉛直方向インターバルとに基づいて、前記比較元画像と前記比較先画像の夫々について前記比較領域候補に関する第１のアスペクト比を算出する第１のアスペクト比算出工程と、
前記比較元画像と前記比較先画像の夫々の前記比較領域候補の鉛直方向の長さと水平方向の長さに基づいて、前記比較元画像と前記比較先画像の夫々について前記比較領域候補に関する第２のアスペクト比を算出する第２のアスペクト比算出工程と、
前記比較元画像と前記比較先画像の夫々の前記水平方向インターバル、あるいは前記比較元画像と前記比較先画像の夫々の前記鉛直方向インターバルを用いて、前記比較元画像と前記比較先画像との相似比を算出する相似比算出工程と、
前記比較元画像における前記第１のアスペクト比と前記第２のアスペクト比との差と、前記比較先画像における前記第１のアスペクト比と前記第２のアスペクト比との差との少なくとも一方が所定値以上である場合に、前記相似比と、前記第１のアスペクト比と前記第２のアスペクト比との差が所定値以上となる画像の前記比較領域候補とに基づいて、前記比較元画像と前記比較先画像とを比較するための比較領域を決定する比較領域決定工程と
を備える。

上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、

コンピュータを、比較元画像と比較先画像間の類似比較を行うために夫々の画像について比較領域を決定するための画像処理を実行する画像処理装置として機能させるためのプログラムであって、
前記比較元画像と前記比較先画像の夫々から水平方向射影ヒストグラムと鉛直方向射影ヒストグラムとを算出するヒストグラム算出手段と、
前記ヒストグラム算出手段で算出した前記比較元画像と前記比較先画像の夫々の前記水平方向射影ヒストグラムと前記鉛直方向射影ヒストグラムに基づいて、前記比較元画像と前記比較先画像との夫々に比較領域候補を設定する設定手段と、
前記ヒストグラム算出手段で算出した前記比較元画像と前記比較先画像の夫々の水平方向射影ヒストグラムと鉛直方向射影ヒストグラムについて、前記比較領域候補に対応する自己相関値が所定閾値までに達するまでのインターバルとして、前記比較元画像と前記比較先画像の夫々に対する水平方向インターバルと鉛直方向インターバルとを算出するインターバル算出手段と、
前記ヒストグラム算出手段で算出した前記比較元画像と前記比較先画像の夫々の前記水平方向インターバルと前記鉛直方向インターバルとに基づいて、前記比較元画像と前記比較先画像の夫々について前記比較領域候補に関する第１のアスペクト比を算出する第１のアスペクト比算出手段と、
前記比較元画像と前記比較先画像の夫々の前記比較領域候補の鉛直方向の長さと水平方向の長さに基づいて、前記比較元画像と前記比較先画像の夫々について前記比較領域候補に関する第２のアスペクト比を算出する第２のアスペクト比算出手段と、
前記比較元画像と前記比較先画像の夫々の前記水平方向インターバル、あるいは前記比較元画像と前記比較先画像の夫々の前記鉛直方向インターバルを用いて、前記比較元画像と前記比較先画像との相似比を算出する相似比算出手段と、
前記比較元画像における前記第１のアスペクト比と前記第２のアスペクト比との差と、前記比較先画像における前記第１のアスペクト比と前記第２のアスペクト比との差との少なくとも一方が所定値以上である場合に、前記相似比と、前記第１のアスペクト比と前記第２のアスペクト比との差が所定値以上となる画像の前記比較領域候補とに基づいて、前記比較元画像と前記比較先画像とを比較するための比較領域を決定する比較領域決定手段と
して機能させる。

本発明によれば、画像間の類似比較を効率的にかつ精度良く実行することができる画像処理装置及びその方法、プログラムを提供できる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

＜＜実施形態１＞＞
実施形態１では、オリジナル原稿の複写時にスキャンした画像データを記憶装置に蓄積しておき、そのオリジナル原稿に書込・汚損等が発生している原稿の複写時にスキャンした画像データから、対応するオリジナル原稿の画像データの検索処理（画像データの詳細比較処理）を実行して出力する構成を例に挙げて説明する。

これにより、書込や汚損が発生している原稿の複写物として、その書込や汚損がないオリジナル原稿を得ることができる。

＜装置構成＞
図１は本発明の実施形態１の画像処理装置の構成例を示す図である。

図１において、１０１はＣＰＵであり、実施形態１の画像処理（あるいは画像検索処理）における各種演算・制御を実行する。１０２はＲＯＭであり、本画像処理装置の起動時に実行するブートプログラムや各種の固定データを格納する。

１０３はＲＡＭであり、ＣＰＵ１０１が処理するための制御プログラムを格納すると共に、ＣＰＵ１０１が各種制御を実行する際の作業領域を提供する。例えば、ＲＡＭ１０３は、その記憶領域に、本発明の画像処理を行うプログラムである比較判定モジュール１０３ａの他、比較元画像、比較先画像、スケーリング画像や、各種処理を行うための作業領域、処理に関する処理情報（処理用パラメータ、各種カウンタ値、閾値等）を記憶している。

１０４はキーボード、１０５はマウスであり、ユーザによる処理モード指定等の各種入力操作環境を提供する。１０６は外部記憶装置であり、ハードディスクやフロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ等で構成される。１０７はネットワークインターフェースを有するＮＩＣ（ネットワークインタフェースコントローラ）であり、ネットワーク上の各機器との通信を可能とする。

１０８は表示装置であり、ＬＣＤやＣＲＴ等で構成される。１０９は外部機器（例えば、画像入力装置１１０）を接続するためのインタフェース（Ｉ／Ｆ）である。１１０は画像入力装置であり、イメージスキャナやデジタルカメラ等で構成される。また、１１１は本画像処理装置の各種構成要素を相互に接続するバスである。

尚、比較元画像や比較先画像は、ＲＡＭ１０３以外に、外部記憶装置１０６に記憶されていても良く、更には、ネットワーク上の外部機器あるいは画像入力装置１１０から取得されても良い。

次に、実施形態１の画像処理装置の処理概要について、図２を用いて説明する。

図２は本発明の実施形態１の画像処理装置の処理概要を示すフローチャートである。

まず、ステップＳ２０１において、画像入力元（例えば、外部記憶装置１０６や画像入力装置１１０等）からメモリ（例えば、ＲＡＭ１０３）へ比較元画像と比較先画像を、それぞれ読み込む。

次に、ステップＳ２０２において、比較元画像と比較先画像間の比較領域候補として、暫定的な比較元比較領域及び比較先比較領域を決定する。尚、この暫定的な比較領域は、ユーザによって手動で決定しても良いし、画像処理装置が自動で決定するようにしても良い。加えて、ステップＳ２０２では、比較元画像と比較先画像が相似しているか否かの相似判定を実行する。

尚、暫定的な比較領域（比較領域候補）の決定は、以下で詳述するように、自動で決定する場合には、比較元画像と比較先画像それぞれに対して水平方向及び鉛直方向に輝度値を射影したヒストグラムを作成し、その輝度ヒストグラムの分布から、比較対象のオブジェクトの最外接矩形を取得する。そして、この輝度ヒストグラムを閾値処理し、水平方向及び鉛直方向に閾値以上のヒストグラム区間を決定して、オブジェクトの最外接矩形を取得する。実施形態１では、この最外接矩形で規定される矩形領域を比較領域候補（比較範囲）として決定する。

ここで、ステップＳ２０２の処理の詳細について、図３を用いて説明する。

図３は本発明の実施形態１のステップＳ２０２の処理の詳細を示すフローチャートである。

ステップＳ３０１において、オブジェクトである比較先画像を画像Ａ、オブジェクトである比較元画像を画像Ｂに設定する。

尚、上述したような、オリジナル原稿の複写時にスキャンした画像データを記憶装置に蓄積しておき、そのオリジナル原稿に書込・汚損等が発生している原稿の複写時にスキャンした画像データから、対応するオリジナル原稿の画像データの検索処理（画像データの詳細比較処理）を実行して出力する構成を想定する場合には、比較先画像である画像Ａを蓄積画像データ（オリジナル画像データ）、比較元画像である画像Ｂを書込・汚損等が発生している原稿の複写時にスキャンした画像データであるとする。

ステップＳ３０２において、画像Ａの水平及び鉛直方向の射影ヒストグラムを算出する。ステップＳ３０３において、図４に示すように、処理対象画像である画像Ａの水平及び鉛直方向の射影ヒストグラムを閾値処理し、画像Ａの最外接矩形の座標、水平サイズＳＨ（Ａ）及び鉛直サイズＳＶ（Ａ）を取得する。

同様に、ステップＳ３０４において、画像Ｂの水平及び鉛直方向の射影ヒストグラムを算出する。ステップＳ３０５において、図４に示すように、処理対象画像である画像Ｂの水平及び鉛直方向の射影ヒストグラムを閾値処理し、画像Ｂの最外接矩形の座標、水平サイズＳＨ（Ｂ）及び鉛直サイズＳＶ（Ｂ）を取得する。

ステップＳ３０６において、図５に示すように、画像Ａの水平方向射影ヒストグラムの正規化自己相関を算出して、その値がある閾値（インターバル閾値）に達するまでのインターバルＴＨ（Ａ）を取得する。

尚、このインターバル閾値は、読取原稿への書込や汚損等の影響を考慮すると、実験では０．１から０．２程度の値が良いことがわかっている。

また、このインターバル閾値は、画像中のオブジェクト位置の影響を受けない観測量であり、また、射影ヒストグラムが書込や汚損等の影響を受けることを緩和する作用がある。更に、正規化自己相関がある閾値まで下がった点で評価することにより、更に射影ヒストグラムが書込や汚損等の影響を受け難くしている。

ステップＳ３０７において、画像Ａの鉛直方向射影ヒストグラムの正規化自己相関を算出して、その値がある閾値に達するまでのインターバルＴＶ（Ａ）を取得する。

ステップＳ３０８において、画像Ｂの水平方向射影ヒストグラムの正規化自己相関を算出して、その値がある閾値に達するまでのインターバルＴＨ（Ｂ）を取得する。更に、ステップＳ３０９において、画像Ｂの鉛直方向射影ヒストグラムの正規化自己相関を算出して、その値がある閾値に達するまでのインターバルＴＶ（Ｂ）を取得する。

更に、ステップＳ３１０において、
Ｒ１＝ＴＨ（Ａ）／ＴＨ（Ｂ） 式（１）
により、比較領域候補となるオブジェクト最外接矩形の水平方向の相似比の第一推定値Ｒ１を算出する。

ステップＳ３１１において、
Ｒ２＝ＴＶ（Ａ）／ＴＶ（Ｂ） 式（２）
により、比較領域候補となるオブジェクト最外接矩形の鉛直方向の相似比の第二推定値Ｒ２を算出する。

ステップＳ３１２において、
Ａｓｐ１＝ＴＶ（Ａ）／ＴＨ（Ａ） 式（３）
により、比較領域候補となるオブジェクト最外接矩形（画像Ａ）のアスペクト比の第一推定値Ａｓｐ１を算出する。

ステップＳ３１３において
Ａｓｐ２＝ＴＶ（Ｂ）／ＴＨ（Ｂ） 式（４）
により、比較領域候補となるオブジェクト最外接矩形（画像Ｂ）のアスペクト比の第二推定値Ａｓｐ２を算出する。

そして、ステップＳ３１４において、ＴＨ（Ａ）、ＴＶ（Ａ）、ＴＨ（Ｂ）、ＴＶ（Ｂ）、Ｒ１、Ｒ２、Ａｓｐ１及びＡｓｐ２を用いて、ＳＨ（Ａ）、ＳＶ（Ａ）、ＳＨ（Ｂ）、ＳＶ（Ｂ）及び比較領域候補座標を補正し、更に、相似であるか否かの相似判定を実行する。

尚、図３の処理によって得られた各種パラメータである、ＴＨ（Ａ）、ＴＶ（Ａ）、ＴＨ（Ｂ）、ＴＶ（Ｂ）、Ｒ１、Ｒ２、Ａｓｐ１及びＡｓｐ２、ＳＨ（Ａ）、ＳＶ（Ａ）、ＳＨ（Ｂ）、ＳＶ（Ｂ）は、メモリ（例えば、ＲＡＭ１０３）に記憶される。

このステップＳ３１４の詳細について、図６Ａ及び図６Ｂを用いて説明する。

図６Ａ及び図６Ｂは本発明の実施形態１のステップＳ３１４の処理の詳細を示すフローチャートである。

ステップＳ６０１において、図３の処理によってメモリに記憶された各種パラメータである、ＴＨ（Ａ）、ＴＶ（Ａ）、ＴＨ（Ｂ）、ＴＶ（Ｂ）、Ｒ１、Ｒ２、Ａｓｐ１及びＡｓｐ２、ＳＨ（Ａ）、ＳＶ（Ａ）、ＳＨ（Ｂ）及びＳＶ（Ｂ）を取得する。

ステップＳ６０２において、
ＡＶａｓｐ＝（Ａｓｐ１＋Ａｓｐ２）／２ 式（５）
により、正規化自己相関によるインターバル閾値から算出した、比較先画像（画像Ａ）と比較元画像（画像Ｂ）の２画像のアスペクト比の平均ＡＶａｓｐを算出する。

ステップＳ６０３において、
ＤｉｆｆａｓｐＡ＝ａｂｓ（ＳＶ（Ａ）／ＳＨ（Ａ）−ＡＶａｓｐ） 式（６）
により、画像Ａの比較領域候補抽出結果から得られたアスペクト比との差の絶対値ＤｉｆｆａｓｐＡを算出する。

更に、ステップＳ６０４において、
ＤｉｆｆａｓｐＢ＝ａｂｓ（ＳＶ（Ｂ）／ＳＨ（Ｂ）−ＡＶａｓｐ） 式（７）
により、画像Ｂの比較領域候補抽出結果から得られたアスペクト比との差の絶対値ＤｉｆｆａｓｐＢを算出する。

以下のステップＳ６０５〜ステップＳ６０９の処理は、画像Ａと画像Ｂのどちらの画像が、射影ヒストグラムによる比較領域候補抽出結果が信用に足るかを判定するための処理である。

ステップＳ６０５において、ＤｉｆｆａｓｐＡが閾値Ｔｈ１未満で、かつＤｉｆｆａｓｐＢが閾値Ｔｈ２未満であるか否かを判定する。これを満足しない場合（ステップＳ６０５でＮＯ）、画像Ａの比較領域候補抽出結果も画像Ｂの比較領域候補抽出結果も十分信じるに値しない状況なので、ステップＳ６０６において、経験側を元にもっともらしい結果を持つと予測できる画像甲を画像Ａ、より劣る結果を持つと予測できる画像乙を画像Ｂに設定し、かつ画像乙、即ち、画像Ｂの比較領域候補を補正対象に設定する。

尚、先のステップＳ３０１において、比較先画像である画像Ａを蓄積画像データ、比較元画像である画像Ｂを書込・汚損等が発生している原稿の複写時にスキャンした画像データとしているが、これは合理的な経験側に基づくものである。

一方、ステップＳ６０５において、ＤｉｆｆａｓｐＡが閾値Ｔｈ１未満である場合、あるいはＤｉｆｆａｓｐＢが閾値Ｔｈ２未満である場合（ステップＳ６０５でＹＥＳ）、ステップＳ６０７において、ＤｉｆｆａｓｐＡ≦ＤｉｆｆａｓｐＢであるか否かを判定する。ＤｉｆｆａｓｐＡ≦ＤｉｆｆａｓｐＢである場合（ステップＳ６０７でＹＥＳ）、画像Ａの比較領域候補抽出結果がより正しいと判定し、ステップＳ６０８において、画像Ａを画像甲、画像Ｂを画像乙に設定し、かつ画像乙の比較領域候補を補正対象に設定する。

一方、ＤｉｆｆａｓｐＡ≦ＤｉｆｆａｓｐＢでない場合（ステップＳ６０７でＮＯ）、画像Ｂの比較領域候補抽出結果がより正しいと判定し、ステップＳ６０９において、画像Ｂを画像甲、画像Ａを画像乙に設定し、かつ画像乙の比較領域候補を補正対象に設定する。

次に、ステップＳ６１０において
Ｅ１＝ａｂｓ（ＳＨ（Ａ）／ＳＨ（Ｂ）−Ｒ１） 式（８）
Ｅ２＝ａｂｓ（ＳＶ（Ａ）／ＳＶ（Ｂ）−Ｒ２） 式（９）
Ｅ１：水平方向の処理の総合的な確からしさ
Ｅ２：鉛直方向の処理の総合的な確からしさ
を算出する。

図６Ｂに進み、ステップＳ６１１において、閾値Ｔｈ３を用い、ａｂｓ（Ｒ１−Ｒ２）≦Ｔｈ３であるか否かを判定する。ａｂｓ（Ｒ１−Ｒ２）≦Ｔｈ３である場合（ステップＳ６１１でＹＥＳ）、非常に正規化自己相関インターバルによる相似比推定が水平方向も鉛直方向もうまく行っていると判定し、ステップＳ６１２において、Ｅ１≦Ｅ２であるか否かを判定する。

Ｅ１≦Ｅ２でない場合（ステップＳ６１２でＮＯ）、鉛直方向の処理がより正しいと判定し、鉛直方向の相似比Ｒ２を用いて比較領域候補サイズを補正することになる。この際、ステップＳ６１６において、画像乙が画像Ａであるか否か、即ち、補正対象画像が画像Ａであるか否かを判定する。

ステップＳ６１６において、画像Ａである場合（ステップＳ６１６でＹＥＳ）、ステップＳ６１７において、画像Ｂの比較領域候補サイズと鉛直方向の相似比Ｒ２を用いて、下記の補正式で補正を行い、その後、ステップＳ６３６へ進む。

ＳＨ（Ａ）＝ＳＨ（Ｂ）＊Ｒ２ 式（１０）
ＳＶ（Ａ）＝ＳＶ（Ｂ）＊Ｒ２ 式（１１）
一方、ステップＳ６１６において、画像Ａでない場合（ステップＳ６１６でＮＯ）、補正対象画像が画像Ｂであると判定し、画像Ａの比較領域候補サイズと鉛直方向の相似比Ｒ２を用いて、下記の補正式で補正を行い、その後、ステップＳ６３６へ進む。

ＳＨ（Ｂ）＝ＳＨ（Ａ）／Ｒ２ 式（１２）
ＳＶ（Ｂ）＝ＳＶ（Ａ）／Ｒ２ 式（１３）
ステップＳ６１２において、Ｅ１≦Ｅ２である場合（ステップＳ６１２でＹＥＳ）、水平方向の処理がより正しいと判定し、水平方向の相似比Ｒ１を用いて比較領域候補サイズを補正することになる。この際、ステップＳ６１３において、画像乙が画像Ａであるか否か、即ち、補正対象画像が画像Ａであるか否かを判定する。

ステップＳ６１３において、画像Ａである場合（ステップＳ６１３でＹＥＳ）、ステップＳ６１４において、画像Ｂの比較領域候補サイズと水平方向の相似比Ｒ１を用いて、下記の補正式で補正を行い、その後、ステップＳ６３６へ進む。

ＳＨ（Ａ）＝ＳＨ（Ｂ）＊Ｒ１ 式（１４）
ＳＶ（Ａ）＝ＳＶ（Ｂ）＊Ｒ１ 式（１５）
一方、ステップＳ６１３において、画像Ａでない場合（ステップＳ６１３でＮＯ）、補正対象画像が画像Ｂであると判定し、画像Ａの比較領域候補サイズと水平方向の相似比Ｒ１を用いて、下記の補正式で補正を行い、その後、ステップＳ６３６へ進む。

ＳＨ（Ｂ）＝ＳＨ（Ａ）／Ｒ１ 式（１６）
ＳＶ（Ｂ）＝ＳＶ（Ａ）／Ｒ１ 式（１７）
一方、ステップＳ６１１において、ａｂｓ（Ｒ１−Ｒ２）≦Ｔｈ３でない場合（ステップＳ６１１でＮＯ）、正規化自己相関インターバルによる相似比推定が水平方向と鉛直方向の両方が非常にうまく行っていないと判定し、水平方向と鉛直方向のどちらの相似比推定がうまく行っているかを判定し、相似比推定がうまく行っていない方の方向に対して比較領域候補サイズの補正を行うことになる。

そこで、まず、ステップＳ６１９において、Ｅ１≦Ｔｈ４、即ち、ａｂｓ（ＳＨ（Ａ）／ＳＨ（Ｂ）−Ｒ１）≦Ｔｈ４であるか否かを判定する。Ｅ１≦Ｔｈ４である場合（ステップＳ６１９でＹＥＳ）、ステップＳ６２０に進む。この場合、水平方向の相似比推定と比較領域候補抽出の水平方向処理結果が正しいと推定できる。

ステップＳ６２０において、画像乙は画像Ａであるか否か、即ち、補正対象画像が画像Ａであるか否かを判定する。画像Ａである場合（ステップＳ６２０でＹＥＳ）、ステップＳ６２１において、画像Ｂの比較領域候補サイズと水平方向の相似比Ｒ１を用いて、下記の補正式で鉛直方向のみ補正を行い、その後、ステップＳ６３６へ進む。

ＳＨ（Ａ）＝ＳＨ（Ａ） 式（１８）
ＳＶ（Ａ）＝ＳＶ（Ｂ）＊Ｒ１ 式（１９）
一方、ステップＳ６２０において、画像Ａでない場合（ステップＳ６２０でＮＯ）、補正対象画像が画像Ｂであると判定し、画像Ａの比較領域候補サイズと水平方向の相似比Ｒ１を用いて、下記の補正式で鉛直方向のみ補正を行い、その後、ステップＳ６３６へ進む。

ＳＨ（Ｂ）＝ＳＨ（Ｂ） 式（２０）
ＳＶ（Ｂ）＝ＳＶ（Ａ）／Ｒ１ 式（２１）
ステップＳ６１９において、Ｅ１≦Ｔｈ４でない場合（ステップＳ６１９でＮＯ）、ステップＳ６２３において、ａｂｓ（ＳＨ（Ａ）／ＳＨ（Ｂ）−Ｒ２）≦Ｔｈ４であるか否かを判定する。ａｂｓ（ＳＨ（Ａ）／ＳＨ（Ｂ）−Ｒ２）≦Ｔｈ４である場合（ステップＳ６２３でＹＥＳ）、ステップＳ６２４に進む。この場合、鉛直方向の相似比推定と比較領域候補抽出の水平方向処理結果が正しいと推定できる。

ステップＳ６２４において、画像乙は画像Ａであるか否か、即ち、補正対象画像が画像Ａであるか否かを判定する。画像Ａである場合（ステップＳ６２４でＹＥＳ）、ステップＳ６２５において、画像Ｂの比較領域候補サイズと鉛直方向の相似比Ｒ２を用いて、下記の補正式で鉛直方向のみ補正を行い、その後、ステップＳ６３６へ進む。

ＳＨ（Ａ）＝ＳＨ（Ａ） 式（２２）
ＳＶ（Ａ）＝ＳＶ（Ｂ）＊Ｒ２ 式（２３）
一方、ステップＳ６２４において、画像Ａでない場合（ステップＳ６２４でＮＯ）、ステップＳ６２６において、補正対象画像が画像Ｂであると判定し、画像Ａの比較領域候補サイズと水平方向の相似比Ｒ２を用いて、下記の補正式で鉛直方向のみ補正を行い、その後、ステップＳ６３６へ進む。

ＳＨ（Ｂ）＝ＳＨ（Ｂ） 式（２４）
ＳＶ（Ｂ）＝ＳＶ（Ａ）／Ｒ２ 式（２５）
ステップＳ６２３において、ａｂｓ（ＳＨ（Ａ）／ＳＨ（Ｂ）−Ｒ２）≦Ｔｈ４でない場合（ステップＳ６２３でＮＯ）、ステップＳ６２７において、ａｂｓ（ＳＶ（Ａ）／ＳＶ（Ｂ）−Ｒ１）≦Ｔｈ４であるか否かを判定する。ａｂｓ（ＳＶ（Ａ）／ＳＶ（Ｂ）−Ｒ１）≦Ｔｈ４である場合（ステップＳ６２７でＹＥＳ）、ステップＳ６２８に進む。この場合、水平方向の相似比推定と比較領域候補抽出の鉛直方向処理結果が正しいと推定できる。

ステップＳ６２８において、画像乙は画像Ａであるか否か、即ち、補正対象画像が画像Ａであるか否かを判定する。画像Ａである場合（ステップＳ６２８でＹＥＳ）、ステップＳ６２９において、画像Ｂの比較領域候補サイズと水平方向の相似比Ｒ１を用いて、下記の補正式で水平方向のみ補正を行い、その後、ステップＳ６３６へ進む。

ＳＨ（Ａ）＝ＳＨ（Ｂ）＊Ｒ１ 式（２６）
ＳＶ（Ａ）＝ＳＶ（Ａ） 式（２７）
一方、ステップＳ６２８において、画像Ａでない場合（ステップＳ６２８でＮＯ）、ステップＳ６３０において、補正対象画像が画像Ｂであると判定し、画像Ａの比較領域候補サイズと水平方向の相似比Ｒ１を用いて、下記の補正式で水平方向のみ補正を行い、その後、ステップＳ６３６へ進む。

ＳＨ（Ｂ）＝ＳＨ（Ａ）／Ｒ１ 式（２８）
ＳＶ（Ｂ）＝ＳＶ（Ｂ） 式（２９）
ステップＳ６２７において、ａｂｓ（ＳＶ（Ａ）／ＳＶ（Ｂ）−Ｒ１）≦Ｔｈ４でない場合（ステップＳ６２７でＮＯ）、ステップＳ６３１において、Ｅ２≦Ｔｈ４、即ち、ａｂｓ（ＳＶ（Ａ）／ＳＶ（Ｂ）−Ｒ２）≦Ｔｈ４であるか否かを判定する。Ｅ２≦Ｔｈ４である場合（ステップＳ６３１でＹＥＳ）、ステップＳ６３２に進む。この場合、鉛直方向の相似比推定と比較領域候補抽出の鉛直方向処理結果が正しいと推定できる。

ステップＳ６３２において、画像乙は画像Ａであるか否か、即ち、補正対象画像が画像Ａであるか否かを判定する。画像Ａである場合（ステップＳ６３２でＹＥＳ）、ステップＳ６３３において、画像Ｂの比較領域候補サイズと鉛直方向の相似比Ｒ２を用いて、下記の補正式で水平方向のみ補正を行い、その後、ステップＳ６３６へ進む。

ＳＨ（Ａ）＝ＳＨ（Ｂ）＊Ｒ１ 式（３０）
ＳＶ（Ａ）＝ＳＶ（Ａ） 式（３１）
一方、ステップＳ６３２において、画像Ａでない場合（ステップＳ６３１でＮＯ）、ステップＳ６３４において、補正対象画像が画像Ｂであると判定し、画像Ａの比較領域候補サイズと鉛直方向の相似比Ｒ２を用いて、下記の補正式で水平方向のみ補正を行い、その後、ステップＳ６３６へ進む。

ＳＨ（Ｂ）＝ＳＨ（Ａ）／Ｒ２ 式（３２）
ＳＶ（Ｂ）＝ＳＶ（Ｂ） 式（３３）
ステップＳ６３１において、Ｅ２≦Ｔｈ４でない場合（ステップＳ６３１でＮＯ）、すべての解析結果において、相似している根拠がないため、比較元画像と比較先画像間の比較領域候補は非相似と判定し、補正処理を終了する。

一方、ステップＳ６３６において、画像Ａと画像Ｂが相似していると判定し、補正比較領域候補サイズに合わせて、比較領域候補の左上端点の座標はそのままで、右下端点の座標を補正して、最終的な比較領域を確定する。

図２の説明に戻る。

ステップＳ２０３において、ステップＳ２０２に処理結果に基づいて、比較元画像と比較先画像が相似していないか否かを判定する。相似していない場合（ステップＳ２０３でＹＥＳ）、ステップＳ２０４において、位置補正処理及び比較処理をキャンセルして、処理を終了する。

一方、ステップＳ２０３において、相似している場合（ステップＳ２０３でＹＥＳ）、ステップＳ２０５において、比較元画像と比較先画像間の相似比を算出し、この相似比に基づいて、比較元画像が大きければ比較元画像に縮小処理を施して新たな比較元画像を生成して、その比較領域の座標情報も縮小処理に合わせて補正する。

一方、比較先画像が大きければ比較先画像に縮小処理を施して新たな比較先画像を生成し、その比較領域の座標情報も縮小処理に合わせて補正する。

ここで、比較元画像と比較先画像それぞれの比較領域のサイズを厳密に合わせる処理は、非常に重要である。これは、後述する比較領域のブロック分割では、比較領域を縦横複数のグリッドにブロック分割を行うが、この比較領域の大きさが異なると、ブロック分割数で縦横サイズを割って１ブロックあたりのサイズを得る際に発生する剰余が異なる。

ここで、図７に、比較元画像と比較先画像間の比較領域の相似比が１：２の場合の剰余例を示すが、剰余の値が異なるため、比較元画像と比較先画像に同じ条件で剰余をブロックに割り振れない。そのため、このような場合には、補正位置を算出する処理の精度に大きく悪影響を与える。

従って、比較元画像及び比較先画像を同じサイズに縮小することにより、比較先画像と比較元画像で同じ剰余を発生させ対等な関係にすることができ、ブロック分割時の剰余が非常に悪い影響を与える問題を回避することが可能となる。

この縮小処理によって、比較領域のサイズは、比較元画像と比較先画像で同じサイズとなる。ここで、比較領域のサイズの内、横サイズ（横画素数）をＩｍｇＨ、比較領域の縦サイズ（縦画素数）をＩｍｇＶとする。

次に、ステップＳ２０６において、比較対象画像間の特徴量レベル（色数及び階調数）を特徴量レベルの低い方へ合わせるレベル変換処理を実行する。

具体的には、比較対象画像（比較元画像と比較先画像）の双方がカラー画像である場合、あるいは２つともグレースケール画像である場合、あるいは２つとも２値画像である場合には変換を行わない。

あるいは、比較対象画像がカラー画像とグレースケール画像の組み合わせである場合、カラー画像の方をグレースケール画像へ変換する。更に、あるいは、比較対象画像のいずれか片方が２値画像である場合、他方を２値画像へ変換する。

これにより、比較対象画像の特徴量レベル（色数及び階調数）を特徴量レベルの低い方へ合わせることが可能となる。

次に、ステップＳ２０７において、比較処理の初期値を設定する。

具体的には、比較領域の横画素数ＩｍｇＨより小さい水平方向の上限ブロック分割数Ｄｈ＿Ｍを設定し、比較領域の縦画素数ＩｍｇＶより小さい鉛直方向の上限ブロック分割数Ｄｖ＿Ｍを設定する。

また、水平方向及び鉛直方向における初期値ブロック分割数（Ｖｈ，Ｖｖ）には、比較領域の縦横画素数より十分小さな値を設定するが、余りに小さいと、これを利用した後述する再帰処理回数が増え、処理時間が掛かることになる。逆に、大きすぎて、比較領域を分割した１ブロックの範囲に位置ずれ量が収まらないと、原理的に位置ずれ補正処理が収束できない恐れがある。

従って、比較領域の精度を予測し、その誤差がブロックサイズに十分収まるような初期値ブロック分割数を設定することが好ましい。

また、次の比較処理に用いるブロック分割数を、現在のブロック分割数に第二定数βを乗じた値とし、処理を繰り返す毎に高い精度の位置補正値に更新してゆくが、この第二定数βは、１．０よりは大きく２．０程度を上限、好ましくは２．０に設定すると良い。

尚、第二定数βに小さな値を用いる程、位置補正処理の収束がより安全になるが、再帰処理回数が増え処理に時間が掛かるため、用途や目的に応じて、所望の値を設定すれば良い。

ステップＳ２０８において、初期化処理を実行する。

具体的には、Ｘ（横）方向及びＹ（縦）方向に関する位置補正量（Ｃｘ，Ｃｙ）を０に初期化し、比較領域の縦横の画素数を縦横ブロック分割数として比較処理を行った回数カウンタＫｍも０に初期化し、更に、ブロック分割数（Ｖｈ，Ｖｖ）がそれぞれ上限ブロック分割数（Ｄｈ＿Ｍ，Ｄｖ＿Ｍ）に達したことを示すフラグＦＳｈ及びフラグＦＳｖも０に初期化する。

ステップＳ２０９において、ステップＳ２１０〜ステップＳ２１８の再帰処理の終了条件を満足しているか否かを判定する。この終了条件とは、再帰処理回数の制御を行うためのものであるが、これの詳細については後述する。終了条件を満足している場合（ステップＳ２０９でＹＥＳ）、ステップＳ２１９に進む。一方、終了条件を満足していない場合（ステップＳ２０９でＮＯ）、ステップＳ２１０に進む。

ステップＳ２１０において、位置補正量（Ｃｘ，Ｃｙ）とブロック分割数（Ｖｈ，Ｖｖ）を指定し、複数種類のブロックずらしパターンを用いる比較処理を行い、次の比較処理で用いる位置補正量（Ｃｘ，Ｃｙ）と最小の類似距離Ｄｍｉｎを算出する。

ここで、ステップＳ２１０の比較処理の詳細について、図８を用いて説明する。

図８は本発明の実施形態１の比較処理の詳細を示すフローチャートである。

ステップＳ５０１において、指定された位置補正量（Ｃｘ，Ｃｙ）で、比較元画像の比較領域の位置を補正して、その比較領域を指定されたブロック分割数（Ｖｈ，Ｖｖ）でブロック分割する。また、比較先画像の比較領域を指定されたブロック分割数（Ｖｈ，Ｖｖ）でブロック分割する。

尚、位置補正量（Ｃｘ，Ｃｙ）を適用する画像は、比較元画像あるいは比較先画像のどちらでも良いが、実施形態１では、比較元画像に位置補正量（Ｃｘ，Ｃｙ）を適用して位置補正を行う例で説明する。

ステップＳ５０２において、ブロック分割された比較領域の各ブロックの平均特徴量を算出する。

この算出は、比較対象画像の双方がカラー画像である場合には、カラー画像中の各カラーチャンネルの平均を平均特徴量とする。また、比較対象画像がカラー画像とグレースケール画像の組み合わせ、あるいは２つともグレースケール画像である場合には、画像中の平均輝度を平均特徴量とする。更に、比較対象画像のいずれか片方が２値画像である場合には、ブロック内の２値の過半を占める値を平均特徴量とする。

これにより、２つの画像の種類が異なっても、情報量の低い方に合わせて平均特徴量を算出して、両者を比較することが可能となる。

ステップＳ５０３において、位置ずらしパターンｉを示すカウンタｉを１に初期化する。ステップＳ５０４において、カウンタｉの値が９以下であるか否かを判定する。カウンタｉの値が９以下である場合（ステップＳ５０４でＹＥＳ）、ステップＳ５０５に進む。一方、カウンタｉの値が９より大きい場合（ステップＳ５０４でＮＯ）、ステップＳ５０８に進む。

尚、このステップＳ５０４の判定は、予め用意された位置ずらしパターンのそれぞれを用いた、類似比較処理の完了の是非を判定するものである。特に、実施形態１では、９種類（９方向）の位置ずらしパターンの例を説明するが、これに限定されず、任意の数（例えば、５方向）の位置ずらしパターンを使用することが可能である。

ここで、位置ずらしパターンの一例について、図９を用いて説明する。

図９は本発明の実施形態１の位置ずらしパターンの一例を示す図である。

図９では、９個の位置ずらしパターンを示している。図９の場合は、位置ずらしパターン１〜９が、カウンタｉの値に応じて選択されることになる。

また、図９では、各位置ずらしパターンにおける位置ずらし方向（位置補正量）として、その単位ベクトルＶ（ｉ）＝（ｘｉ，ｙｉ）で示されている。ここで、通常、単位ベクトルとは本来、大きさ１のベクトルを示すが、位置ずらしパターン６〜９の単位ベクトルＶ（６）〜Ｖ（９）は、位置ずらしパターン２〜５の単位ベクトルＶ（２）〜Ｖ（５）を用いて合成された大きさが１ではない単位ベクトル（√２）ではあるが、説明の便宜上、位置ずらしパターン６〜９に関しても単位ベクトルと言う表現を用いる。

図９において、例えば、位置ずらしパターン１は、位置補正量Ｖ（１）＝（０，０）となっている。つまり、この場合は、Ｘ方向及びＹ方向への実質的な位置ずらしは発生しない。また、例えば、位置ずらしパターン９は、位置補正量Ｖ（９）＝（１，−１）となっている。この場合は、Ｘ方向へ「１」、Ｙ方向へ「−１」、比較領域の位置ずらしを行うことになる。具体的には、図１０に示すように、比較元画像の比較領域の位置ずらしを行う。

図８の説明に戻る。

ステップＳ５０５において、処理対象の位置ずらしパターンｉで類似比較処理を行う。

具体的には、位置ずらしパターンｉによる、比較元画像の比較領域の位置ずらし後の比較元画像と比較先画像の重複部分の特徴量の差異の絶対値をブロック単位で算出し、各ブロックの差異の絶対値を累積加算する。

そして、この累積加算値を重複部分のブロック数で割り、１ブロックあたりの平均差異Ｄｉｆｆ（ｉ）を類似距離（類似度）として算出する。そして、ステップＳ５０６において、これまでのｉ回の類似比較処理における類似距離（類似度）、即ち、１ブロックあたりの平均差異Ｄｉｆｆ（ｉ）の最小となる上位２位までを決定する。ここで、類似距離は、平均差異Ｄｉｆｆ（ｉ）を示すものであるので、類似距離が小さい程、類似度が高いことになる。つまり、最小の類似距離は、最高位の類似度と言い換えることができる。

次に、ステップＳ５０７において、カウンタｉを１インクリメントして、次の位置ずらしパターンを選択するために、ステップＳ５０４に戻る。そして、ステップＳ５０４において、カウンタｉの値が９より大きい場合（ステップＳ５０４でＮＯ）、即ち、全ての位置ずらしパターンを選択して、各位置ずらしパターンによる類似比較処理が終了した場合、ステップＳ５０８へ進む。

ステップＳ５０８において、ステップＳ５０６の処理によって決定された類似距離の内、最小（第１位）の類似距離を第一定数αでα倍して、これを、第２位の類似距離となる位置ずらしパターンを有効にするか否かを判定するための閾値Ｔｈ５に設定する。

尚、定数αに関しては、１.２前後が好ましいという結果が、本発明者による実験により得られている。

ステップＳ５０９において、第２位の類似距離が閾値Ｔｈ５未満であるか否かを判定する。閾値Ｔｈ５以上である場合（ステップＳ５０９でＮＯ）、ステップＳ５１０において、最小（第１位）の類似距離となる、第１位の位置ずらしパターンｐ１と、フラグＦＳｈ及びＦＳｖから、位置補正量（Ｃｘ，Ｃｙ）を算出する。

ここで、位置補正量（Ｃｘ，Ｃｙ）は、以下の式（３４）で算出する。

−−−−− 式（３４） −−−−−
Ｉｆ（ＦＳｈ≠１）
Ｃｘ ＝ ＩｍｇＨ ／ Ｖｈ ＊ Ｖ（ｐ１， ｘ）
Ｅｌｓｅ
Ｃｘ ＝ Ｖ（ｐ１， ｘ）
Ｉｆ（ＦＳｖ≠１）
Ｃｙ ＝ ＩｍｇＶ ／ Ｖｖ ＊ Ｖ（ｐ１， ｙ）
Ｅｌｓｅ
Ｃｙ ＝ Ｖ（ｐ１， ｙ）
Ｖ（ｉ，ｘ）：位置ずらしパターンｉの単位ベクトルＶ（ｉ）のｘ成分
Ｖ（ｉ，ｙ）：位置ずらしパターンｉの単位ベクトルＶ（ｉ）のｙ成分
−−−−−−−−−−−−−−−−−−−−−−−−−
式（３４）において、ＩｍｇＨ／Ｖｈの項は分割ブロックの横サイズ（横画素数）を、ＩｍｇＶ／Ｖｖの項は分割ブロックの縦サイズ（縦画素数）を意味する。また、フラグＦＳｈ及びフラグＦＳｖが立っている（ＦＳｈ＝１、ＦＳｖ＝１）場合には、それぞれ水平及び鉛直方向のブロック分割数が上限ブロック分割数に達しているため、単位ベクトルの水平方向及び鉛直方向成分をそのまま使用する。

一方、ステップＳ５０９において、第２位の類似距離が閾値Ｔｈ５未満である場合（ステップＳ５０９でＹＥＳ）、ステップＳ５１１において、最小（第１位）の類似距離となる第１位の位置ずらしパターンｐ１と、２番目（第２位）に小さい類似距離となる第２位の位置ずらしパターンｐ２と、フラグＦＳｈ及びＦＳｖから、位置補正量（Ｃｘ，Ｃｙ）を算出する。

ここで、位置補正量（Ｃｘ，Ｃｙ）は、以下の式（３５）で算出する。

−−−−− 式（３５） −−−−−
Ｉｆ（ＦＳｈ≠１）
Ｃｘ＝ＩｍｇＨ／Ｖｈ＊（Ｖ（ｐ１，ｘ）＋Ｖ（ｐ２，ｘ））／２
Ｅｌｓｅ
Ｃｘ＝（Ｖ（ｐ１，ｘ）＋Ｖ（ｐ２，ｘ））／２
Ｉｆ（ＦＳｖ≠１）
Ｃｙ＝ＩｍｇＶ／Ｖｖ＊（Ｖ（ｐ１，ｙ）＋Ｖ（ｐ２，ｙ））／２
Ｅｌｓｅ
Ｃｙ＝（Ｖ（ｐ１，ｙ）＋Ｖ（ｐ２，ｙ））／２
Ｖ（ｉ，ｘ）：位置ずらしパターンｉの単位ベクトルＶ（ｉ）のｘ成分
Ｖ（ｉ，ｙ）：位置ずらしパターンｉの単位ベクトルＶ（ｉ）のｙ成分
−−−−−−−−−−−−−−−−−−−−−−−−−
式（３５）において、ＩｍｇＨ／Ｖｈの項は分割ブロックの横サイズ（横画素数）を、ＩｍｇＶ／Ｖｖの項は分割ブロック縦サイズ（縦画素数）を意味する。また、式（３５）において、（Ｖ（ｐ１，ｘ）＋Ｖ（ｐ２，ｘ））／２、及び（Ｖ（ｐ１，ｙ）＋Ｖ（ｐ２，ｙ））／２の項は、２つの位置ずらしパターンの単位ベクトルの平均ベクトルを意味する。更に、フラグＦＳｈ及びフラグＦＳｖが立っている場合には、それぞれ水平および鉛直方向のブロック分割数が上限ブロック分割数に達しているため、平均ベクトルの水平方向及び鉛直方向成分をそのまま使用する。

ここで、平均ベクトルとは、例えば、第１位の位置ずらしパターンがＶ（３）で、第２位の位置ずらしパターンがＶ（６）であるとすると、図１１のようになる。

尚、ここで、仮に、５個の位置ずらしパターンを使用する場合、例えば、位置ずらしパターン６のようなブロックの対角成分の大きさの位置ずれ補正を行おうとしても、水平の位置ずらしパターン２及び鉛直方向の位置ずらしパターン３の平均をとると、その方向は位置ずらしパターン６と同じでも大きさが１／２になり、位置補正量の上限が低くなる。そのため、図９に示すような、９個の位置ずらしパターンを用いることが好ましい。

そして、ステップＳ５１２において、位置補正量（Ｃｘ，Ｃｙ）と第１位の類似距離Ｄｍｉｎを出力する。

図２の説明に戻る。

ステップＳ２１０の比較処理の終了後、ステップＳ２１１からステップＳ２１８にかけて、現在のブロック分割数をβ倍して、次の再帰処理におけるブロック分割数を算出する一連の処理を行う。

まず、ステップＳ２１１において、現在の水平方向及び鉛直方向のブロック分割数（Ｖｈ，Ｖｖ）をβ倍したものが、ともに上限ブロック分割数（Ｄｈ＿Ｍ，Ｄｖ＿Ｍ）を超えているか否かを判定する。

上限ブロック分割数（Ｄｈ＿Ｍ，Ｄｖ＿Ｍ）を超えている場合（ステップＳ２１１でＹＥＳ）、ステップＳ２１２において、水平方向及び鉛直方向のブロック分割数（Ｖｈ，Ｖｖ）を上限ブロック分割数（Ｄｈ＿Ｍ，Ｄｖ＿Ｍ）に設定し、更に、ブロック分割数（Ｖｈ，Ｖｖ）がそれぞれ上限ブロック分割数（Ｄｈ＿Ｍ，Ｄｖ＿Ｍ）に達したことを示すフラグＦＳｈ及びＦＳｖを１に設定してフラグを立てる。更に、ステップＳ２１３において、ブロック分割数を上限ブロック分割数として処理を行う回数カウンタＫｍを１インクリメントして、ステップＳ２０９へ戻る。

一方、ステップＳ２１１において、現在の水平方向及び鉛直方向のブロック分割数（Ｖｈ，Ｖｖ）をβ倍したものが、ともに上限ブロック分割数（Ｄｈ＿Ｍ，Ｄｖ＿Ｍ）を超えていない場合（ステップＳ２１１でＮＯ）、ステップＳ２１４において、現在の水平のブロック分割数Ｖｈをβ倍したものが、水平方向の上限ブロック分割数Ｄｈ＿Ｍを越えているか否かを判定する。

水平方向の上限ブロック分割数Ｄｈ＿Ｍを超えている場合（ステップＳ２１４でＹＥＳ）、ステップＳ２１５において、水平方向のブロック分割数Ｖｈを水平方向の上限ブロック分割数Ｄｈ＿Ｍに設定し、現在の鉛直方向のブロック分割数Ｖｖをβ倍したものを新たな鉛直方向のブロック分割数Ｖｖに設定し、フラグＦＳｈを１に設定してフラグを立てる。その後、ステップＳ２０９へ戻る。

一方、水平方向の上限ブロック分割数Ｄｈ＿Ｍを超えていない場合（ステップＳ２１４でＮＯ）、ステップＳ２１６において、現在の鉛直方向のブロック分割数Ｖｖをβ倍したものが鉛直方向の上限ブロック分割数Ｄｖ＿Ｍを超えているか否かを判定する。鉛直方向の上限ブロック分割数Ｄｖ＿Ｍを超えている場合（ステップＳ２１６でＹＥＳ）、ステップＳ２１７において、鉛直方向のブロック分割数Ｖｖを鉛直方向の上限ブロック分割数Ｄｖ＿Ｍに設定し、現在の水平方向のブロック分割数Ｖｈをβ倍したものを新たな水平方向のブロック分割数Ｖｈに設定し、ＦＳｖを１に設定してフラグを立てる。その後、ステップＳ２０９へ戻る。

一方、鉛直方向の上限ブロック分割数Ｄｖ＿Ｍを超えていない場合（ステップＳ２１６でＮＯ）、ステップＳ２１８において、現在の水平方向及び鉛直方向のブロック分割数（Ｖｈ，Ｖｖ）をβ倍したものを、新たに次の再帰処理のブロック分割数（Ｖｈ，Ｖｖ）に設定して、ステップＳ２０９へ戻る。

そして、ステップＳ２０９において、再帰処理の終了条件を満足するか否かを判定する。満足しない場合（ステップＳ２０９でＮＯ）、新たな終了条件で、ステップＳ２１０以降の再帰処理を実行する。一方、満足する場合（ステップＳ２０９でＹＥＳ）、ステップＳ２１９において、最新の位置補正量（Ｃｘ，Ｃｙ）を比較元画像の比較領域へ反映して、比較元画像の比較領域の位置補正を実行して、最終的な位置補正を終了する。

そして、ステップＳ２２０において、差分画像生成処理を実行する。そして、得られる差分画像は、例えば、表示装置１０８に表示される。

この差分画像生成処理は、最適に位置補正を行った１対の比較対象画像間における比較領域内の差分情報（差分画像）を取得して、この差分画像の内、予め決められた閾値以上の画素値を有する画素の位置を記憶する。そして、比較元画像がカラーであればグレースケールへ変換し、グレースケール画像上に、閾値以上の画素を所定色（例えば、赤等の目立つ色）でオーバーレイ表示するものである。

以下、このステップＳ２２０の差分画像生成処理の詳細について、図１２を用いて説明する。

図１２は本発明の実施形態１の差分画像生成処理の詳細を示すフローチャートである。

ステップＳ９０１において、比較先画像の比較領域における画素値から比較元画像の比較領域における対応する画素値の差分値を算出し、その差分値が正の値のものだけを比較先画像の比較領域内の座標と対にして、メモリに記憶する。

ここで、正の値の画像とするのは、基準画像である比較元画像のグレースケール表示を行い、その上に比較先画像には存在するが基準画像には存在しない欠陥画素を強調して表示を行うためである。

ステップＳ９０２において、差分値をＱｍａｘ段階で量子化するための差分量子化テーブルと、各量子化段階に属する画素の表示色情報（設定）を読み込む。

尚、カラー情報で差分画像を生成する場合と、グレースケール情報で差分画像を生成する場合とでは、差分量子化テーブルは異なるので、処理対象の画像に応じて、適切な差分量子化テーブルに切り替えて読み込む。

また、表示色情報に関しては、混同が起きないように、例えば、量子化ステップが３つの場合には、
（Ｒ，Ｇ，Ｂ）＝（２５５，０，０），（０，２５５，０），（０，０，２５５）
のようにして、色相が異なる識別し易い色を選択し、この場合では、誤差が少ない場合には青、やや多い場合には緑、非常に異なる場合には赤というように、差分値に応じた差異を色で表現することが可能となる。

ステップＳ９０３において、表示に用いる下限量子化レベルＱｍｉｎを指定する。ここで、この下限量子化レベルＱｍｉｎは、これをＱｍａｘと設定すれば著しく差分が大きな差分値だけを、所定色（例えば、赤）で表示することになる。

ステップＳ９０４において、下限量子化レベルＱｍｉｎ以上の各量子化レベルに属する差分値を持つ画素の座標と、それらの座標を量子化レベルと対にして記憶する。ステップＳ９０５において、比較元画像をグレースケール画像で表示する。

ステップＳ９０６において、処理中の量子化ステップｉをＱｍｉｎに初期化する。ステップＳ９０７において、量子化ステップｉが最大量（量子化ステップＱｍａｘ）以下であるか否かを判定する。

量子化ステップｉが最大量（量子化ステップＱｍａｘ）以下である場合（ステップＳ９０７でＹＥＳ）、ステップＳ９０８において、グレースケール画像上に、量子化レベルｉに対応する座標に、量子化レベルに対応した表示色で点をプロットする。そして、ステップＳ９０９において、量子化レベルｉを１インクリメントし、次の量子化レベルに進める。

一方、量子化ステップｉが最大量（量子化ステップＱｍａｘ）より大きい場合（ステップＳ９０７でＮＯ）、即ち、すべての量子化ステップｉに対する処理が終了したら、処理を終了する。

この図１２の処理によって、基準となる比較元画像からの比較先画像の差異を、正しい位置あわせを行った上で、直感的に判りやすくその差に応じた色で、その差異を容易に視認することが可能となる。

さて、ステップＳ２０９における終了条件の判定処理に関しては、様々な方法が考えられる。以下、この判定処理のいくつかの例について、以下に説明する。

図１３は本発明の実施形態１の判定処理の詳細の一例を示すフローチャートである。

まず、ステップＳ１００１において、ブロック分割数を比較領域のサイズとして処理を行う回数カウンタＫｍの値を読み込む。ステップＳ１００２において、ブロック分割数を比較領域サイズとして処理を行う制限回数の閾値Ｋｍ＿ＭＡＸを読み込む。

ステップＳ１００３において、ＫｍがＫｍ＿ＭＡＸ以下であるか否かを判定する。ＫｍがＫｍ＿ＭＡＸ以下である場合（ステップＳ１００３でＹＥＳ）、ステップＳ１００４において、終了条件を満足しないと判定する。一方、ＫｍがＫｍ＿ＭＡＸ以下でない場合（ステップＳ１００３でＮＯ）、ステップＳ１００５において、終了条件を満足すると判定する。

以上の処理によって、仮に、Ｋｍが０の段階で、位置補正処理が正しい値の近傍で収束していない状況でも、Ｋｍがある程度の大きさになるまで、ブロック分割数を比較領域サイズとする比較元画像と比較先画像（比較元比較領域と比較先比較領域）間の比較処理（図８）がその位置を微調整（補正）しながら再帰的に繰り返されるように制御することができる。これにより、Ｋｍが０より大きい段階では１ブロック１画素での位置補正も１画素単位の９方向で微調整を何度か行えるので、正しい位置補正量に収束させることを補償することが可能となる。

次に、図１３の応用例について、図１４を用いて説明する。この図１４は、図１３の処理の効率性をより向上することが可能となる。

図１４は本発明の実施形態１の判定処理の詳細の一例を示すフローチャートである。

ステップＳ１１０１において、Ｋｍおよび次の処理の位置補正量（Ｃｘ，Ｃｙ）を読み込む。ステップＳ１１０２において、ブロック分割数を比較領域のサイズとして処理を行う制限回数の閾値Ｋｍ＿ＭＡＸを読み込む。

ステップＳ１１０３において、ＫｍがＫｍ＿ＭＡＸより大きいか否かを判定する。ＫｍがＫｍ＿ＭＡＸより大きい場合（ステップＳ１１０３でＹＥＳ）、ステップＳ１１０４において、終了条件を満足すると判定する。一方、ＫｍがＫｍ＿ＭＡＸ以下である場合（ステップＳ１１０５でＮＯ）、ステップＳ１１０５において、位置補正量（Ｃｘ，Ｃｙ）の水平成分と鉛直成分が共に０であり、かつＫｍが０でない（ブロック分割数を比較領域のサイズとして処理を行う段階まできている）か否かを判定する。

ともに０である場合（ステップＳ１１０５でＹＥＳ）、ステップＳ１１０４において、終了条件を満足すると判定する。一方、ともに０でない場合（ステップＳ１１０５でＮＯ）、ステップＳ１１０６において、終了条件を満足しないと判定する。

尚、位置補正量（Ｃｘ，Ｃｙ）の水平成分と鉛直成分が共に０となった時点で、その後も位置補正量（Ｃｘ，Ｃｙ）の水平成分と鉛直成分が共に０が続くことが原理から判っているため、図１４では、その性質を用いて処理を中断する構成となっている。

次に、図１４の更なる応用例について、図１５を用いて説明する。図１５では、ブロック分割数を比較領域のサイズとして処理を行う段階まできていない状態でも、予め定められたブロック分割数に達していて、かつ最小となる類似距離が定められた閾値以下の場合に、再帰処理を終了する構成を、図１４の構成に加えたものである。

図１５は本発明の実施形態１の判定処理の詳細の一例を示すフローチャートである。

ステップＳ１２０１において、Ｋｍおよび次の処理の位置補正量（Ｃｘ，Ｃｙ）を読み込み、更に、次の処理のブロック分割数（Ｖｈ，Ｖｖ）および最新の類似距離Ｄｍｉｎを読み込む。ステップＳ１２０２において、処理を停止可能な最低限の横ブロック分割数閾値ＶｈＴＨと縦ブロック分割数閾値ＶｖＴＨ、および処理の停止を許可する類似距離閾値ＤｍｉｎＴＨを読み込み、更にブロック分割数を比較領域のサイズとして処理を行う制限回数の閾値Ｋｍ＿ＭＡＸを読み込む。

次に、ステップＳ１２０３において、ＫｍがＫｍ＿ＭＡＸより大きいか否かを判定する。ＫｍがＫｍ＿ＭＡＸより大きい場合（ステップＳ１２０３でＹＥＳ）、ステップＳ１２０４において、終了条件を満足すると判定する。一方、ＫｍがＫｍ＿ＭＡＸ以下である場合（ステップＳ１２０３でＮＯ）、ステップＳ１２０５において、Ｋｍ＝０であるか否かを判定する。

Ｋｍ＝０でない場合（ステップＳ１２０５でＮＯ）、ステップＳ１２０６において、位置補正量（Ｃｘ，Ｃｙ）の水平成分と鉛直成分が共に０である否かを判定する。ともに０である場合（ステップＳ１２０６でＹＥＳ）、ステップＳ１２０４において、終了条件を満足すると判定する。一方、共に０でない場合（ステップＳ１２０６でＮＯ）、ステップＳ１２０９において、最新の類似距離Ｄｍｉｎが類似距離閾値ＤｍｉｎＴＨ以下であるか否かを判定する。

類似距離Ｄｍｉｎが類似距離閾値ＤｍｉｎＴＨ以下である場合（ステップＳ１２０９でＹＥＳ）、ステップＳ１２０４において、終了条件を満足すると判定する。一方、類似距離Ｄｍｉｎが類似距離閾値ＤｍｉｎＴＨより大きい場合（ステップＳ１２０９でＮＯ）、ステップＳ１２０８において、終了条件を満足しないと判定する。

他方、ステップＳ１２０５において、Ｋｍ＝０である場合（ステップＳ１２０５でＹＥＳ）、ステップＳ１２０７において、水平方向及び鉛直方向のブロック分割数（Ｖｈ，Ｖｖ）がともに、処理を停止可能な最低限の横ブロック分割数閾値ＶｈＴＨと縦ブロック分割数閾値ＶｖＴＨ以上であるか否かを判定する。

横ブロック分割数閾値ＶｈＴＨと縦ブロック分割数閾値ＶｖＴＨ未満である場合（ステップＳ１２０７でＮＯ）、ステップＳ１２０８において、終了条件を満足しないと判定する。一方、横ブロック分割数閾値ＶｈＴＨと縦ブロック分割数閾値ＶｖＴＨ以上である場合（ステップＳ１２０７でＹＥＳ）、ステップＳ１２０９に進む。

以上説明したように、実施形態１によれば、従来、射影ヒストグラムの閾値処理による画像内オブジェクトの最外接矩形領域検出処理では、ノイズや汚損などの要因を受けやすく、また、射影ヒストグラムの極・特徴点による相似比判定もノイズや汚損などの要因を受け易かった問題に対し、比較を行う一対画像（比較元画像及び比較先画像）の相似性があるという前提条件を生かし、異なる手法により鉛直および水平方向で算出した相似指標を用いて、両者の相似が成立する最良の組み合わせを判定して、比較領域を補正する補正処理を行う。

これにより、画像への依存度が低くノイズや汚損等の要因にも影響を受けにくい、画像比較を行うための比較領域を決定することができる。

また、更に、この補正処理を行った上で、平行移動による位置ずれ補正を正確に行う比較を行うことにより、精度の高い類似比較処理が可能となる。

以下、実施形態１の特徴的な構成についてまとめると、以下のようになる。

それぞれ相似と仮定されるオブジェクトを含む２つの画像Ａ及びＢの水平と鉛直方向に射影ヒストグラムを算出し、得られる４つの射影ヒストグラムの自己相関を算出して、その自己相関が所定閾値まで減少するまでのずらしインターバルを算出する。

次に、画像Ａの水平方向ずらしインターバルを画像Ｂの水平方向ずらしインターバルで割った値を、オブジェクト最外接矩形の相似比の第一推定値として算出する。また、画像Ａの鉛直方向ずらしインターバルを画像Ｂの鉛直方向ずらしインターバルで割った値を、オブジェクト最外接矩形の相似比の第二推定値として算出する。

次に、画像Ａの鉛直方向ずらしインターバルを画像Ａの水平方向ずらしインターバルで割った値を、オブジェクト最外接矩形の第一アスペクト比推定値として算出する。また、画像Ｂの鉛直方向ずらしインターバルを画像Ｂの水平方向ずらしインターバルで割った値を、オブジェクト最外接矩形の第二アスペクト比推定値として算出する。

そして、画像Ａ及びＢの水平方向と鉛直方向に射影ヒストグラムを算出し、オブジェクト最外接矩形としての比較領域候補を判定する。

このオブジェクトの相似比の推定値とオブジェクト最外接矩形アスペクト比の推定値の少なくとも一方に基づいて、比較領域候補を補正し、その補正した比較領域に対して、スケーリングを考慮して、位置補正を正確に行い、比較元画像と比較先画像間の比較領域の詳細な差異を検出する。

このずらしインターバルは、画像内オブジェクトの位置の影響を受けない観測量であり、また、射影ヒストグラムが汚れ等の影響を緩和する平滑作用があり、更に、正規化自己相関が所定閾値まで下がった点で評価することにより、更に射影ヒストグラムが汚れ等の影響を受け難いように、平滑作用を得ることができる。

比較領域候補の補正に関しては、汚損等によりオブジェクト最外接矩形が本来の値より大きくなっている可能性のあることが事前にわかっている画像を画像乙とし、汚損等の影響が画像Ａよりも小さく本来の値に近いと期待できることが事前にわかっている画像を画像甲とする、２つの画像のプライオリティ付けを行い、画像甲の比較領域候補よりも画像乙の比較領域候補を優先して補正する。

他方、オブジェクト最外接矩形の第一アスペクト比推定値とオブジェクト最外接矩形の第二アスペクト比推定値との平均値を算出して、比較元画像と比較先画像間の比較領域候補のアスペクト比と上記平均値との差が小さい方の比較領域候補のアスペクト比を持つ画像を本来の値に近いと期待できる画像甲とし、他方を本来の値と異なっている可能性のある画像乙とする、２つの画像のプライオリティ付けを行い、画像甲の比較領域候補よりも画像乙の比較領域候補を優先して補正する方法もある。

更に、オブジェクト最外接矩形の第一アスペクト比推定値とオブジェクト最外接矩形の第二アスペクト比推定値との平均値を算出して、２つの画像の比較領域候補のアスペクト比と上記平均値との差の小さい方が予め定めた閾値よりも小さい場合には、小さい方の比較領域候補のアスペクト比を持つ画像を本来の値に近いと期待できる画像甲とし、他方を本来の値と異なっている可能性のある画像乙とする、２つの画像のプライオリティ付けを行い、画像甲の比較領域候補よりも画像乙の比較領域候補を優先して補正する方法もある。

更に、２つの画像の比較領域候補のアスペクト比と上記平均値との差の小さい方が予め定めた閾値以上の場合には、汚損などによりオブジェクト最外接矩形が本来の値より大きくなっている可能性のあることが事前にわかっている画像を画像乙とし、汚損などの影響が画像乙よりも小さく本来の値に近いと期待できることが事前にわかっている画像を画像甲とする、２つの画像のプライオリティ付けを行い、画像甲の比較領域候補よりも画像乙の比較領域候補を優先して補正する方法もある。

そして、このようなプライオリティ付けした２つの画像に関して、以下の処理分岐により、比較領域候補の補正を行う。

まず、相似比第一推定値と相似比第二推定値の大きさの差異が所定閾値以下の場合には、比較領域候補の水平方向のサイズの比および鉛直方向のサイズの比を算出し、その水平方向のサイズの比と相似比第一推定値の差の絶対値を算出し、その鉛直方向のサイズの比と相似比第二推定値の差の絶対値を算出する。

そして、これら２つの差の絶対値を比較し、水平方向のサイズの比と相似比第一推定値の差の絶対値が小さいあるいは等しい場合には、相似比第一推定値と画像甲の水平および鉛直サイズを用いて、画像乙の水平および鉛直方向のサイズを補正する。

また、これら２つの差の絶対値を比較し、鉛直方向のサイズの比と相似比第二推定値の差の絶対値が小さい場合には、相似比第二推定値と画像甲の水平および鉛直サイズを用いて、画像乙の水平および鉛直方向のサイズを補正する。

他方、相似比第一推定値と相似比第二推定値の大きさの差異が所定閾値より大きい場合であって、相似比第一推定値と比較領域候補の水平方向のサイズ比の差が所定閾値以下の場合には、画像甲の比較領域候補の鉛直方向のサイズと相似比の第一推定値を用いて、画像乙の鉛直方向のサイズを補正する。

更に、相似比第一推定値と相似比第二推定値の大きさの差異が所定閾値より大きい場合であって、相似比第二推定値と比較領域候補の水平方向のサイズ比の差が所定閾値以下の場合には、画像甲の比較領域候補の鉛直方向のサイズと相似比の第二推定値を用いて、画像乙の鉛直方向のサイズを補正する。

更に、相似比第一推定値と相似比第二推定値の大きさの差異が所定閾値より大きい場合であって、相似比第一推定値と比較領域候補の鉛直方向のサイズ比の差が所定閾値以下の場合には、画像甲の比較領域候補の水平方向のサイズと相似比の第一推定値を用いて、画像乙の鉛直方向のサイズを補正する。

更に、相似比第一推定値と相似比第二推定値の大きさの差異が所定閾値より大きい場合であって、相似比第二推定値と比較領域候補の鉛直方向のサイズ比の差が所定閾値以下の場合には、画像甲の比較領域候補の水平方向のサイズと相似比の第二推定値を用いて、画像乙の鉛直方向のサイズを補正する。

更に、相似比第一推定値と相似比第二推定値の大きさの差異が所定閾値より大きく、且つ、相似比第一推定値と水平方向のサイズ比の差が所定閾値より大きく、且つ相似比第二推定値と水平方向のサイズ比の差が所定所定閾値より大きく、且つ相似比第一推定値と鉛直方向のサイズ比の差が所定所定閾値より大きく、且つ相似比第一推定値と鉛直方向のサイズ比の差が所定閾値より大きい場合においては、相似領域ではないと判定し、後段の位置補正処理及び比較処理はキャンセルする。

＜＜実施形態２＞＞
実施形態２は、実施形態１の応用例であり、図２のステップＳ２０３で、比較元画像と比較先画像間の比較領域候補が相似している場合には、図１６に示すような、その比較領域の最適化処理（ステップＳ２０３ａ）を実行する構成について説明する。

ステップＳ２０３の処理後には、画像甲及び画像乙の２つの画像の内、画像乙の比較領域サイズを補正することになるが、この段階では、オブジェクト最外接矩形中の比較領域の座標が定まっていない。

これは、図１７のように、処理対象の画像中に書込や汚損等が発生していて、オブジェクト最外接矩形が大きくなっていることが原因と考えられる。

実施形態２では、図１６に示すように、ステップＳ２０３ａで、比較領域の座標を最適化する最適化処理を実行する。これは、オブジェクト最外接矩形中において、より正しい比較領域を、後段の平行移動位置ずれを考慮した比較処理に渡すことで、処理対象画像中の誤差を安全に吸収することを可能にする。

以下、このステップＳ２０３ａの最適化処理の詳細について、図１８を用いて説明する。

図１８は本発明の実施形態２のステップＳ２０３ａの最適化処理の詳細を示すフローチャートである。

まず、ステップＳ８０１において、画像乙のオブジェクト最外接矩形の面積と、ステップＳ２０２で決定された比較領域サイズから算出した面積との面積差の絶対値Ｓｄｉｆｆを算出する。

次に、ステップＳ８０２において、Ｓｄｉｆｆ≧Ｔｈ６であるか否かを判定する。Ｓｄｉｆｆ≧Ｔｈ６でない場合（ステップＳ８０２でＮＯ）、オブジェクト最外接矩形中の比較領域サイズの任意領域を比較領域とし、その座標を最適な比較領域座標とする。具体的には、例えば、画像乙のオブジェクト最外接矩形の左上端点を起点とし、比較領域サイズとなる比較領域座標を設定する。

一方、Ｓｄｉｆｆ≧Ｔｈ６である場合（ステップＳ８０２でＹＥＳ）、ステップＳ８０４において、画像甲及び乙それぞれのオブジェクト最外接矩形のサイズと比較領域サイズとの差が小さい方の画像（画像甲あるいは画像乙）のオブジェクト最外接矩形をブロック分割して、特徴量Ｆ１を算出する。

ステップＳ８０５において、画像乙のオブジェクト最外接矩形のオブジェクト領域中に比較領域サイズとなる比較領域候補を設定し、それぞれをブロック分割して特徴量を算出する。図１７の例では、画像乙のオブジェクト最外接矩形のオブジェクト領域中に比較領域サイズとなる６個の比較領域候補を設定し、それぞれをブロック分割して特徴量を算出する。

尚、図１７では、比較領域候補を６個とする例を挙げて説明しているが、この比較領域候補の個数はこれに限定されるものではない。

ステップＳ８０６において、算出した比較領域候補の特徴量と特徴量Ｆ１との間で、ブロック同士の差を累積した累積距離（類似度）を算出し、最小（類似度が最高）となる比較領域候補Ｒ０を選択する。

ステップＳ８０７において、比較領域候補Ｒ０の座標を画像乙の比較領域座標に設定する。これにより、後段の平行移動位置ずれを考慮した比較処理に対して、安全に収束できる初期値を与えることができる。

以上説明したように、実施形態２によれば、実施形態１で説明した効果に加えて、特に、比較領域サイズの補正において、その尤もらしい位置の推定ができていない可能性を考慮して、位置の推定のためにオブジェクトの最外接矩形領域内に、複数の比較領域候補を設定し、これらに対して特徴量を算出し、オブジェクトの最外接矩形領域の補正のない方の特徴量と比較を行い、最も類似度の高いものを選択して、これを比較領域とする。これにより、後段の位置ずれを考慮した比較処理の初期値を適切に設定でき、ノイズや手書きや汚損等の要因を受けない、精度が高く堅牢性のある類似比較処理を実現することができる。

以下、実施形態２の特徴的な構成についてまとめると、以下のようになる。

比較対象画像となる２つの画像を入力し、比較対象の２画像のオブジェクト最外接矩形とその中の比較領域サイズを決定し、オブジェクト最外接矩形とその中の比較領域サイズから最適な比較領域座標を決定して、比較処理の初期状態を決定する。

つまり、処理対象の２つの画像の内、画像乙の比較領域サイズを補正するが、この段階では、オブジェクト最外接矩形中の比較領域の座標が定まっていない。

これは、書込や汚損などによりオブジェクト最外接矩形が大きくなっていることが原因と考えられる。

そこで、比較処理の初期状態の決定としては、後段の平行移動位置ずれを安全に吸収するためには、その初期値として、適切な比較領域を決定する。

この決定において、画像乙のオブジェクト最外接矩形のサイズと比較領域サイズとの差が所定閾値より小さい場合には、オブジェクト最外接矩形中の比較領域サイズの任意領域を比較領域とし、その座標を最適な比較領域座標とする。

一方、画像乙のオブジェクト最外接矩形のサイズと比較領域サイズとの差が所定閾値以上の場合には、画像甲及び乙それぞれのオブジェクト最外接矩形のサイズと比較領域サイズとの差が小さい方の画像（画像甲あるいは画像乙）のオブジェクト最外接矩形をブロック分割して、特徴量Ｆ１を算出する。

次に、画像甲及び乙それぞれのオブジェクト最外接矩形のサイズと比較領域サイズとの差が小さい方の画像（画像甲あるいは画像乙）のオブジェクト最外接矩形のオブジェクト領域中に比較領域サイズとなる複数の比較領域候補を設定し、それぞれをブロック分割して、それらの特徴量を算出する。そして、算出した比較領域候補の特徴量と特徴量Ｆ１との間で、ブロック同士の差を累積した累積距離を算出し、最小となる比較領域候補の座標を最適な比較領域座標とする。尚、この時のブロック分割数は小さい、即ち、低解像度のものでよい。

次に、実施形態１の構成で決定された比較領域、あるいは実施形態２の構成で決定された比較領域を、指定されたブロック分割数（水平（横）方向及び鉛直（縦）方向のブロック分割数）で複数のブロックに分割する。

尚、以下の説明は、実施形態１及び実施形態２で共通な特徴的な構成について説明するものである。

次に、各ブロックに対して、比較領域の特徴量を算出する。比較領域の類似比較を、その位置をずらして行うための複数種類の位置ずらしパターンそれぞれによって、その位置のずらし後の比較元比較領域と比較先比較領域間の類似距離を、算出した特徴量に基づいて算出する。

次に、算出した類似距離の内、最小の類似距離に対する位置ずらしパターン（あるいは、その位置ずらしパターンと、最小の累積距離から得られる閾値以内に収まる２番目に小さい累積距離に対する位置ずらしパターン）と、分割されたブロックのサイズに基づいて、次回の類似比較を行う際の比較元比較領域の位置を補正する位置補正量を算出する。

位置補正量が算出される毎に、前回の類似比較におけるブロック分割数よりも大きいブロック分割数を指定して、上記の処理を再帰的に実行する再帰処理を実行するとともに、位置補正量が算出される毎に、その再帰処理を終了するか否かを判定する。そして、判定の結果、再帰処理を終了する場合、その時点の位置補正量を、比較元比較領域の最終的な位置補正量として確定する。

これにより、最適な位置補正量で比較元比較領域を位置補正した上で、比較先比較領域との比較を行うことができ、比較元比較領域と比較先比較領域間の差異情報（例えば、差分画像）を生成することが可能となる。

ここで、比較元比較領域と比較先比較領域間のサイズが異なる場合には、ブロック分割の性質上、ブロック分割を行う前の段階で比較領域のサイズを同一（等価）にする等価処理を施しておくことが好ましい。それには、比較元画像と比較先画像間の相似比を算出し、その算出した相似比に基づいて、比較元比較領域と比較先比較領域と両者のサイズが等しくなるように、比較元比較領域と比較先比較領域の少なくとも一方を変倍（拡大／縮小）する。そして、変倍後の比較元比較領域と比較先比較領域を用いて類似比較を行うことで、厳密な類似比較を行うことができる。

また、比較対象領域間の色数や階調数等の特徴量レベルが異なる場合には、同一の特徴量レベルで類似比較を行うことが好ましい。それには、特徴量の算出の前の段階で、比較対象領域間の特徴量レベルが異なる場合には、比較対象領域がカラー画像とグレースケール画像である場合は、カラー画像の方をグレースケール画像へ変換し、このグレースケール画像を特徴量算出用画像として記憶する。また、比較対象領域の少なくとも一方が２値画像である場合は、一方を２値画像へ変換し、この２値画像を特徴量算出用画像として記憶する。そして、比較対象領域の特徴量の算出時には、記憶したブロック特徴量算出用画像を用いる。

また、比較対象領域間の位置合わせ処理の速度を稼ぐため、上記の処理に加えて、比較対象領域の双方がカラー画像である場合は、両者をグレースケール画像に変換し、そのグレースケール画像を特徴量算出用画像として記憶しても良い。

また、ブロック毎の特徴量の算出においては、比較対象領域の双方がカラー画像である場合には、そのカラー画像の各カラーチャンネルの平均を特徴量とする。また、比較対象領域がカラー画像とグレースケール画像あるいは双方がグレースケール画像である場合は、平均輝度を特徴量とする。更に、比較対象領域の少なくとも一方が２値画像である場合は、ブロック内の２値の過半を占めるものを特徴量とする。このように構成することで、比較対象領域間の特徴量レベルの差異を吸収することが可能となる。

また、比較対象領域間の差異情報の生成においては、比較対象領域の双方がカラー画像である場合は、カラー情報における差分情報を生成する。また、比較対象領域の双方がグレースケール画像あるいは一方がカラー画像で他方がグレースケール画像である場合は、グレースケール情報における差分情報を生成する。更に、比較対象領域の少なくとも一方が２値画像である場合は、２値情報における差分情報を生成する。

もちろん、比較領域のサイズの等価処理を行った場合には、等価処理後の比較対象領域から差異情報を生成する。

また、類似距離の算出においては、位置ずらしパターンで規定されるブロック単位の位置ずらし方向は、水平２方向、鉛直２方向、不動の１方向の計５方向を最小限とする。但し、再帰処理で、ブロック分割数を増加させながら詳細な位置補正を正確に行うための処理の収束性を安全に図るのであれば、水平２方向、鉛直２方向、斜め方向４方向、不動の１方向の計９方向とすることが好ましい。

ブロック分割数の増加においては、縦方向のブロック分割数を増加させ、これが縦方向の所定の上限ブロック分割数を超えないように、そのブロック分割数の増加を制限する飽和処理を行う。同様に、横方向のブロック分割数を増加させ、これが横方向の所定の上限ブロック分割数を超えないように、そのブロック分割数の増加を制限する飽和処理を行う。ここで、縦方向及び横方向のブロック分割数を増加させた数が、縦方向及び横方向の上限ブロック分割数を超えない場合には、飽和処理を行わないで、その増加させたブロック分割数を新たに比較対象領域に適用するブロック分割数として更新する。

位置補正量の算出においては、最小の類似距離の第一定数倍以内に収まる２番目に小さい累積距離となる位置ずらし方向が存在する場合は、類似距離が最小となる位置ずらし方向との平均による方向ベクトルを取得する。一方、最小の類似距離の第一定数倍以内に収まる２番目に小さい累積距離となる位置ずらし方向が存在しない場合は、最小の類似距離の方向ベクトルを取得する。

そして、縦方向のブロック分割数を増加させ、これが縦方向の所定の上限ブロック分割数で飽和処理を行った場合には、位置補正量となる補正方向ベクトルの縦方向成分は、取得した方向ベクトルの縦方向成分の値に設定し、補正方向ベクトルの横方向成分は、横方向のブロック分割数に取得した方向ベクトルの横方向成分へ乗じた値を設定する。

また、横方向のブロック数を増加させ、これが横方向の所定の上限ブロック分割数で飽和処理を行った場合には、位置補正量となる補正方向ベクトルの横方向成分は、取得した方向ベクトルの横方向成分の値に設定し、補正方向ベクトルの縦方向成分は、縦方向のブロック分割数を取得した方向ベクトルの縦方向成分へ乗じた値に設定する。

更に、縦方向及び横方向のブロック分割数を増加させ、これらがそれぞれ縦方向及び横方向の上限ブロック分割数で飽和処理を行わなかった場合には、位置補正量となる補正方向ベクトルの縦方向及び横方法成分は、縦方向及び横方向のブロック分割数に取得した方向ベクトルの縦方向及び横方向成分それぞれ乗じた値に設定する。

再帰処理の終了条件の１つには、図１３で示したように、縦方向及び横方向のブロック分割数がそれぞれ縦方向及び横方向の所定の上限ブロック分割数である状態で、所定回数分の再帰処理で実行された場合とする方法があるが、図１４で示したように、所定回数の再帰処理を行う間に、位置補正量が０となれば、位置補正が収束しているので、その時点再帰処理を終了する構成としても良い。更に、図１５で示したように、縦方向及び横方向のブロック分割数がそれぞれ縦方向及び横方向の所定の上限ブロック分割数に達し、かつその時点の類似距離の最小値が所定閾値を下回った時点で、再帰処理を終了する構成としても良い。

縦方向及び横方向の上限ブロック分割数は、通常、それぞれ比較対象領域の縦方向及び横方向のサイズとすれば良いが、画像の劣化等がある場合には、平滑化作用を期待して、縦方向及び横方向サイズの整数分の一として、例えば、２画素×２画素が１つのブロックとなるブロック分割数を指定するようにしても良い。

次回の類似比較におけるブロック分割数の指定は、現在のブロック分割数に定数を乗じて得ることが簡易な方法であり、この定数は、１.０より大きく望むべくは２.０程度、大きくとも３.０を超えない値を上限とする。これは、定数が大きすぎる場合には、位置補正処理が収束しづらくなるからである。

差異情報の生成においては、比較対象領域のサイズの等価処理後の双方がカラー画像である場合は、カラー情報における差分情報を生成する。また、双方がグレースケール画像である場合、あるいは一方がカラー画像で他方がグレースケール画像である場合には、グレースケール情報における差分情報を生成する。更に、少なくとも一方が２値画像である場合は、２値情報における差分情報を生成する。

また、差異情報とは、位置ずれ補正後の比較対象領域内の対応する画素の差分画素値や差分画素値の統計情報や差分画素値の量子化情報が挙げられる。あるいは、位置ずれ補正後の比較対象領域内の対応する画素の差分画素値の累積画素値を比較対象領域内の総画素数で割った値、即ち、１画素あたりに希釈した差異指標である。あるいは、比較対象領域のサイズの等価処理前の比較元画像と比較先画像のサイズに換算した比較対象領域の座標情報として、本発明の処理を正確な位置合わせを前提とした後工程のための前処理としても良い。更に、これらの任意の組み合わせを、差異情報としても良い。

また、差分情報の生成においては、位置ずれ補正後の比較元比較領域内及び比較先比較領域内の対応する画素の差分画素値を算出して、これが所定閾値以上となる画素を判定して、該当する差分画素値を複数の量子化ステップで量子化し、その量子化レベルと位置を対にして記憶する。そして、比較元画像がカラーである場合は、グレースケール画像に変換しておき、差異を表示する量子化レベル下限を指定して、そのグレースケール画像上に量子化レベル下限以上の画素をその量子化レベル毎に異なる色で表示することにより、比較対象領域間の差異を直感的に掴むことが可能となる。

また、簡易には、位置ずれ補正後の比較元比較領域内及び比較先比較領域内の対応する画素の差分画素値を算出して、これが所定閾値以上となる画素及びその位置を記憶する。そして、比較元画像がカラーである場合は、グレースケール画像へ変換し、そのグレースケール画像上に差分画素値が所定閾値以上の画素を所定色（目立つ色、例えば、赤）で表示することにより、簡便な処理で比較対象領域間の差異を直感的に掴むことが可能となる。

ここで、所定閾値を、０を含む正の値とすることにより、比較元画像からの比較先画像の差異のみを所定色（目立つ色）で表示することが可能となる。

また、比較元画像を基準とするのではなく、比較先画像を基準とした場合に、両者の差異情報の表示にも同様のことを実現することができる。この場合には、先の説明において、表示するグレースケール画像を比較先画像とし、位置ずれ補正後の比較元比較領域と比較先比較領域間の対応する画素同士の差分情報は、比較元比較領域内の画素値からこれに対応する比較先画像比較領域内の画素値の差分を算出すれば良い。

＜＜他の実施形態＞＞
上記実施形態１や２において、図６ＡのステップＳ６０２〜ステップＳ６０９において、最外接矩形のアスペクト比の推定値に基づいて、画像Ａと画像Ｂのどちらの比較領域抽出処理が正しいらしいかを判定している。

ここで、上記実施形態のように比較先画像である画像Ａを蓄積画像データ、比較元画像である画像Ｂを書込・汚損等が発生している可能性のある原稿のスキャンデータというように、明らかに画像Ｂの比較領域が間違っている可能性が高い場合には、ステップＳ６０５〜ステップＳ６０９では、単純に画像Ａを画像甲とし、画像Ｂを画像乙とし、画像乙、即ち、画像Ｂの比較領域を補正対象に設定しても良い。

この場合には、オブジェクト最外接矩形の相似比の推定値は用いるが、オブジェクト最外接矩形のアスペクト比の推定値は用いなくとも良い。この場合、ステップＳ６２０、ステップＳ６２１、ステップＳ６２４、ステップＳ６２５、ステップＳ６２８、ステップＳ６２９、ステプＳ６３２、ステップＳ６３３の処理は不要となり、処理工程数を軽減することが可能となる。

一方、上記実施形態のような環境とは異なり、明らかに比較領域が間違っている可能性が高い画像を特定できない環境下では、ステップＳ６０５とステップＳ６０６の処理を省略しても良く、画像Ａあるいは画像Ｂの比較領域を補正するか否かの判定は、ステップＳ６０７の判定のみにゆだねられることとなる。

更に、ステップＳ６３１において、Ｅ２≦Ｔｈ４でない場合、即ち、ａｂｓ（ＳＶ（Ａ）／ＳＶ（Ｂ）−Ｒ２）≦Ｔｈ４でない場合、すべての判定結果において、相似している根拠がないため、非相似と判定して比較領域の補正処理を禁止する。そして、その場合は、図２のステップＳ２０３及びステップＳ２０４を経て、その後の比較処理をキャンセルして処理を終了する構成としているが、比較領域の補正を行わずに、比較処理に係る精度を期待できなくとも、そのまま比較処理を強行する構成も、用途や目的に応じて実行する構成も可能である。

実施形態１や２においては、比較元画像と比較先画像間の比較領域の相似比を算出して、比較領域の大きい画像の全体を相似比に基づき縮小処理するとともに、その比較領域の座標情報も縮小処理することで、比較元画像と比較先画像間の比較領域のサイズを合わせる例について示したが、これに限定されない。

例えば、比較領域の小さい画像の全体を相似に基づき拡大処理するとともに、その比較領域の座標も拡大処理することで、比較元画像と比較先画像間の比較領域のサイズを合わせる構成としても良い。但し、この場合の拡大処理に関しては、単純な線形補間法などではなく、アフィン変換等の画質劣化の少ない方法を用いることが寛容である。

つまり、実施形態１や２では、比較元画像と比較先画像間の比較領域のサイズの一方を変倍（拡大／縮小）することで、両者間の比較領域のサイズを合わせる。また、比較元画像と比較先画像間の比較領域のサイズの一方ではなく、比較元画像と比較先画像それぞれの比較領域が等しくなるのであれば、両者を適宜変倍するようにしても良い。

また、実施形態１や２においては、比較元画像と比較先画像間の特徴量レベル（色数および階調数）を特徴量レベルの低い方へ合わせて変換する例について示したが、当然、高速化のために無条件で低い特徴量レベル（色数および階調数）に両画像を変換する構成としても良い。

例えば、比較元画像と比較先画像がともにカラー画像の場合には、３チャンネルの情報を処理しなければならないが、両者をグレースケール画像に変換した場合には１チャンネルの情報となり、概算で比較処理コストは１／３に減じることが可能となる。

更に、実施形態１や２においては、差分画像生成処理による差分画像の表示に関して、複数の量子化レベルで差異のある画素色を異ならせて、オーバーレイ表示する例について示したが、これに限定されない。

つまり、単純に、位置ずれ補正後の比較元画像の比較領域内および比較先画像の比較領域内の対応する２画素の差分画素値を算出して、これらの内、予め決められた閾値以上のものをその位置に対応させて記憶し、比較元画像がカラーであればグレースケール画像へ変換し、グレースケール画像上に、差分画素値が予め決められた閾値以上の画素を所定色で表示することにより、差異を直感的に判るような表示を構成とすることもできる。

また、差分画像の表示に関して、上述のような画像情報ではなく、比較処理画像の比較領域内の画素差分累積値を比較領域内の画素数で割った値を、位置画素あたりの差異の期待値として表示しても良く、もちろん両者を合わせて表示する、更に画像表示において、より視認性を高めるために、比較領域を矩形で囲む、ブリンク表示にする等の複合的な表示形態を採用して表示する構成としても良い。

以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。

本発明の実施形態１の画像処理装置の構成例を示す図である。 本発明の実施形態１の画像処理装置の処理概要を示すフローチャートである。 本発明の実施形態１のステップＳ２０２の処理の詳細を示すフローチャートである。 本発明の実施形態１の比較領域の決定方法を説明するための図である。 本発明の実施形態１の射影ヒストグラムの正規化自己相関によるインターバル決定を説明するための図である 本発明の実施形態１のステップＳ３１４の処理の詳細を示すフローチャートである。 本発明の実施形態１のステップＳ３１４の処理の詳細を示すフローチャートである。 本発明の実施形態１のブロック分割の注意点を説明するための図である。 本発明の実施形態１の比較処理の詳細を示すフローチャートである。 本発明の実施形態１の位置ずらしパターンの一例を示す図である。 本発明の実施形態１の位置ずらしの一例を示す図である。 本発明の実施形態１の位置補正量の算出方法を説明するための図である。 本発明の実施形態１の差分画像生成処理の詳細を示すフローチャートである。 本発明の実施形態１の判定処理の詳細の一例を示すフローチャートである。 本発明の実施形態１の判定処理の詳細の一例を示すフローチャートである。 本発明の実施形態１の判定処理の詳細の一例を示すフローチャートである。 本発明の実施形態２の画像処理装置の処理概要を示すフローチャートである。 本発明の実施形態２の比較領域候補を複数設定する場合を説明するための図である。 本発明の実施形態２のステップＳ２０３ａの最適化処理の詳細を示すフローチャートである。

符号の説明

１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ キーボード
１０５ マウス
１０６ 外部記憶装置
１０７ ＮＩＣ
１０８ 表示装置
１０９ Ｉ／Ｆ
１１０ 画像入力装置

Claims (14)

1. 比較元画像と比較先画像間の類似比較を行うために夫々の画像について比較領域を決定するための画像処理を実行する画像処理装置であって、
   前記比較元画像と前記比較先画像の夫々から水平方向射影ヒストグラムと鉛直方向射影ヒストグラムとを算出するヒストグラム算出手段と、
   前記ヒストグラム算出手段で算出した前記比較元画像と前記比較先画像の夫々の前記水平方向射影ヒストグラムと前記鉛直方向射影ヒストグラムに基づいて、前記比較元画像と前記比較先画像との夫々に比較領域候補を設定する設定手段と、
   前記ヒストグラム算出手段で算出した前記比較元画像と前記比較先画像の夫々の水平方向射影ヒストグラムと鉛直方向射影ヒストグラムについて、前記比較領域候補に対応する自己相関値が所定閾値までに達するまでのインターバルとして、前記比較元画像と前記比較先画像の夫々に対する水平方向インターバルと鉛直方向インターバルとを算出するインターバル算出手段と、
   前記ヒストグラム算出手段で算出した前記比較元画像と前記比較先画像の夫々の前記水平方向インターバルと前記鉛直方向インターバルとに基づいて、前記比較元画像と前記比較先画像の夫々について前記比較領域候補に関する第１のアスペクト比を算出する第１のアスペクト比算出手段と、
   前記比較元画像と前記比較先画像の夫々の前記比較領域候補の鉛直方向の長さと水平方向の長さに基づいて、前記比較元画像と前記比較先画像の夫々について前記比較領域候補に関する第２のアスペクト比を算出する第２のアスペクト比算出手段と、
   前記比較元画像と前記比較先画像の夫々の前記水平方向インターバル、あるいは前記比較元画像と前記比較先画像の夫々の前記鉛直方向インターバルを用いて、前記比較元画像と前記比較先画像との相似比を算出する相似比算出手段と、
   前記比較元画像における前記第１のアスペクト比と前記第２のアスペクト比との差と、前記比較先画像における前記第１のアスペクト比と前記第２のアスペクト比との差との少なくとも一方が所定値以上である場合に、前記相似比と、前記第１のアスペクト比と前記第２のアスペクト比との差が所定値以上となる画像の前記比較領域候補とに基づいて、前記比較元画像と前記比較先画像とを比較するための比較領域を決定する比較領域決定手段と
   を備えることを特徴とする画像処理装置。
2. 前記比較領域決定手段は、前記比較元画像と前記比較先画像の内で、前記第１のアスペクト比と前記第２のアスペクト比との差が大きい方の画像の比較領域候補を優先して補正することで、前記比較領域を決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記比較領域決定手段は、前記比較元画像の第１のアスペクト比と前記比較先画像の第１のアスペクト比の平均値と、前記比較元画像と前記比較先画像の内で、前記第２のアスペクト比との差が大きい方の画像の比較領域候補を優先して補正することで、前記比較領域を決定する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記相似比は、水平方向の第一相似比と鉛直方向の第二相似比とからなり、
   前記比較領域決定手段は、前記第一相似比と前記第二相似比との差に基づいて、前記比較元画像と前記比較先画像の一方を用いて、他方を補正することで、前記比較領域を決定する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記第一相似比と前記第二相似比との差が閾値以下の場合、
   前記比較領域決定手段は、
   前記比較元画像及び前記比較先画像間の前記比較領域候補の水平方向の第一比較領域候補相似比と前記第一相似比間の差の第一絶対値と、
   前記比較元画像及び前記比較先画像間の前記比較領域候補の鉛直方向の第二比較領域候補相似比と前記第二相似比間の差の第二絶対値と
   に基づいて、前記比較元画像と前記比較先画像の一方を用いて、他方を補正することで、前記比較領域を決定する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記第一相似比と前記第二相似比との差が閾値より大きい場合、
   前記比較領域決定手段は、
   前記第一及び第二相似比と前記第一及び第二比較領域候補相似比と
   に基づいて、該第一及び第二相似比の一方と、前記比較元画像と前記比較先画像の一方とを用いて、他方を補正することで、前記比較領域を決定する
   ことを特徴とする請求項４に記載の画像処理装置。
7. 前記比較領域決定手段で決定された比較領域を用いて、前記比較元画像と比較先画像とを比較する比較手段を更に備える
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記第一及び第二相似比と前記第一及び第二比較領域候補相似比とに基づいて、前記比較手段による比較をキャンセルする制御手段を更に備える
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記ヒストグラム算出手段で算出した前記比較元画像と前記比較先画像の夫々の水平方向射影ヒストグラムと鉛直方向射影ヒストグラムとに基づいて算出される、前記比較元画像と前記比較先画像それぞれの比較領域候補とするオブジェクト最外接矩形のどちらか一方の面積と、前記比較領域の面積との面積差を算出する面積差算出手段と、
   前記面積差算出手段で算出した面積差に基づいて、前記比較領域の位置を決定する位置決定手段と
   を備えることを特徴とする請求項１に記載の画像処理装置。
10. 前記位置決定手段は、前記面積差が閾値以上である場合、
    前記比較元画像と前記比較先画像それぞれの比較領域候補とするオブジェクト最外接矩形のサイズと、前記比較領域のサイズとのサイズ差が小さい方の画像のオブジェクト最外接矩形をブロック分割して、第１特徴量を算出する第１算出手段と、
    前記サイズ差が大きい方の画像のオブジェクト最外接矩形のオブジェクト領域中に、前記比較領域のサイズとなる複数の比較領域候補を設定して、それぞれをブロック分割して、前記複数の比較領域候補それぞれの第２特徴量を算出する第２算出手段と、
    前記第１特徴量と前記第２特徴量とを比較し、前記複数の比較領域候補の中から前記第２特徴量に最も類似する第１特徴量を算出した比較領域候補を判定する判定手段とを備え、
    前記判定手段で判定された比較領域候補の座標を前記比較領域の座標として決定する
    ことを特徴とする請求項９に記載の画像処理装置。
11. 第１の画像と第２の画像とを比較する画像処理装置であって、
    前記第１の画像と前記第２の画像の夫々から水平方向射影ヒストグラムと鉛直方向射影ヒストグラムを算出するヒストグラム算出手段と、
    前記ヒストグラム算出手段で算出した前記第１の画像と前記第２の画像の夫々の前記水平方向射影ヒストグラムと前記鉛直方向射影ヒストグラムに基づいて、前記第１の画像と前記第２画像との夫々に比較領域候補を設定する設定手段と、
    前記ヒストグラム算出手段で算出した前記第１の画像と前記第２の画像の夫々の水平方向射影ヒストグラムと鉛直方向射影ヒストグラムについて、前記比較領域候補に対応する自己相関値に基づいて、前記第１の画像と前記第２の画像の夫々について前記比較領域候補に関する第１のアスペクト比を算出する第１の算出手段と、
    前記第１の画像と前記第２の画像の夫々の前記比較領域候補の鉛直方向の長さと水平方向の長さに基づいて、前記第１の画像と前記第２の画像の夫々について前記比較領域候補に関する第２のアスペクト比を算出する第２の算出手段と、
    前記第１の画像の比較領域候補と前記第２の画像の比較領域候補の相似比を算出する第３の算出手段と、
    前記第１の画像における前記第１のアスペクト比と前記第２のアスペクト比との差と、前記第２の画像における前記第１のアスペクト比と前記第２のアスペクト比との差との少なくとも一方が所定値以上である場合に、前記相似比と、前記第１のアスペクト比と前記第２のアスペクト比との差が所定値以上となる画像の前記比較領域候補とに基づいて、前記第１の画像と前記第２の画像とを比較するための比較領域を決定する比較領域決定手段と
    を備えることを特徴とする画像処理装置。
12. 前記設定手段は、前記第１の画像と前記第２の画像の夫々からの前記水平方向射影ヒストグラムと前記鉛直方向射影ヒストグラムに基づいて、閾値以上の値を有する区間に外接する矩形を、前記第１の画像と前記第２の画像の夫々の前記比較領域候補として設定する
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 比較元画像と比較先画像間の類似比較を行うために夫々の画像について比較領域を決定するための画像処理を実行する画像処理装置における画像処理方法であって、
    前記比較元画像と前記比較先画像の夫々から水平方向射影ヒストグラムと鉛直方向射影ヒストグラムとを算出するヒストグラム算出工程と、
    前記ヒストグラム算出工程で算出した前記比較元画像と前記比較先画像の夫々の前記水平方向射影ヒストグラムと前記鉛直方向射影ヒストグラムに基づいて、前記比較元画像と前記比較先画像との夫々に比較領域候補を設定する設定工程と、
    前記ヒストグラム算出工程で算出した前記比較元画像と前記比較先画像の夫々の水平方向射影ヒストグラムと鉛直方向射影ヒストグラムについて、前記比較領域候補に対応する自己相関値が所定閾値までに達するまでのインターバルとして、前記比較元画像と前記比較先画像の夫々に対する水平方向インターバルと鉛直方向インターバルとを算出するインターバル算出工程と、
    前記ヒストグラム算出工程で算出した前記比較元画像と前記比較先画像の夫々の前記水平方向インターバルと前記鉛直方向インターバルとに基づいて、前記比較元画像と前記比較先画像の夫々について前記比較領域候補に関する第１のアスペクト比を算出する第１のアスペクト比算出工程と、
    前記比較元画像と前記比較先画像の夫々の前記比較領域候補の鉛直方向の長さと水平方向の長さに基づいて、前記比較元画像と前記比較先画像の夫々について前記比較領域候補に関する第２のアスペクト比を算出する第２のアスペクト比算出工程と、
    前記比較元画像と前記比較先画像の夫々の前記水平方向インターバル、あるいは前記比較元画像と前記比較先画像の夫々の前記鉛直方向インターバルを用いて、前記比較元画像と前記比較先画像との相似比を算出する相似比算出工程と、
    前記比較元画像における前記第１のアスペクト比と前記第２のアスペクト比との差と、前記比較先画像における前記第１のアスペクト比と前記第２のアスペクト比との差との少なくとも一方が所定値以上である場合に、前記相似比と、前記第１のアスペクト比と前記第２のアスペクト比との差が所定値以上となる画像の前記比較領域候補とに基づいて、前記比較元画像と前記比較先画像とを比較するための比較領域を決定する比較領域決定工程と
    を備えることを特徴とする画像処理方法。
14. コンピュータを、比較元画像と比較先画像間の類似比較を行うために夫々の画像について比較領域を決定するための画像処理を実行する画像処理装置として機能させるためのプログラムであって、
    前記比較元画像と前記比較先画像の夫々から水平方向射影ヒストグラムと鉛直方向射影ヒストグラムとを算出するヒストグラム算出手段と、
    前記ヒストグラム算出手段で算出した前記比較元画像と前記比較先画像の夫々の前記水平方向射影ヒストグラムと前記鉛直方向射影ヒストグラムに基づいて、前記比較元画像と前記比較先画像との夫々に比較領域候補を設定する設定手段と、
    前記ヒストグラム算出手段で算出した前記比較元画像と前記比較先画像の夫々の水平方向射影ヒストグラムと鉛直方向射影ヒストグラムについて、前記比較領域候補に対応する自己相関値が所定閾値までに達するまでのインターバルとして、前記比較元画像と前記比較先画像の夫々に対する水平方向インターバルと鉛直方向インターバルとを算出するインターバル算出手段と、
    前記ヒストグラム算出手段で算出した前記比較元画像と前記比較先画像の夫々の前記水平方向インターバルと前記鉛直方向インターバルとに基づいて、前記比較元画像と前記比較先画像の夫々について前記比較領域候補に関する第１のアスペクト比を算出する第１のアスペクト比算出手段と、
    前記比較元画像と前記比較先画像の夫々の前記比較領域候補の鉛直方向の長さと水平方向の長さに基づいて、前記比較元画像と前記比較先画像の夫々について前記比較領域候補に関する第２のアスペクト比を算出する第２のアスペクト比算出手段と、
    前記比較元画像と前記比較先画像の夫々の前記水平方向インターバル、あるいは前記比較元画像と前記比較先画像の夫々の前記鉛直方向インターバルを用いて、前記比較元画像と前記比較先画像との相似比を算出する相似比算出手段と、
    前記比較元画像における前記第１のアスペクト比と前記第２のアスペクト比との差と、前記比較先画像における前記第１のアスペクト比と前記第２のアスペクト比との差との少なくとも一方が所定値以上である場合に、前記相似比と、前記第１のアスペクト比と前記第２のアスペクト比との差が所定値以上となる画像の前記比較領域候補とに基づいて、前記比較元画像と前記比較先画像とを比較するための比較領域を決定する比較領域決定手段と
    して機能させることを特徴とするプログラム。

Images