JP4604100B2 - 画像処理方法、画像処理装置、画像形成装置、プログラムおよび記憶媒体 - Google Patents

Description

本発明は、共通フォーマットの画像に基づく画像データと例えば手書きの画像に基づく画像データとを含む複数の画像データを処理する画像処理方法、画像処理装置、画像形成装置、プログラムおよび記憶媒体に関するものである。

近年、情報の電子化処理として、紙の原稿をスキャナ等で読み取って画像データとし、記録媒体に保存することが行われている。一方で、上記画像データ同士の一致および不一致を判定するための文書照合技術が知られており、この文書照合技術は画像データの処理において種々利用されている。

例えば、上記電子化処理により、得られた画像データを単純に記録していくとデータ量が膨大となり、大きな記憶容量が必要となる。そこで、例えば、特許文献１においては、罫線枠などの共通フォーマットを有する複数の画像データについて、記録するデータ量を削減するために、文書照合技術を利用した提案がなされている。

すなわち、特許文献１では、複数の原稿を読み取って入力された画像データ（書画情報）から、全頁に渡って共通した部分（共通フォーマット）と頁毎に独立した部分とを抽出し、共通部分と独立部分とを分割して蓄積している。この場合、各画像データの共通部分については一つのデータのみを保存し、独立した部分については個々のデータを保存することになる。これにより、一定の定型書式に限定されることなく、蓄積する情報量を減らして画像データを蓄積するようになっている。

具体的には、２値化された画像データについて、全頁の画像データを取り出し、各頁間の論理積を計算することにより全頁に渡って共通した部分を抽出する。また、１頁ずつ画像データを取り出し、共通部分との排他的論理和を計算することにより、頁毎に独立した部分を抽出する。このようにして得られた画像データの共通部分と独立部分を符号化し蓄積する。
特開平３−１３５１６３（平成３年６月１０日公開） 国際公開第２００６／０９２９５７号パンフレット（２００６年９月８日公開） 中居 友弘、黄瀬 浩一、岩村 雅一：「複比の投票に基づく文書画像検索と射影歪み補正」、画像の認識・理解シンポジウム（ＭＩＲＵ２００５）（情報処理学会 コンピュータビジョンとイメージメディア研究会主催）予稿集、５３８−５４５頁

特許文献１に記載のように、複数枚の原稿を読み込んで得られた複数の画像データ（書画情報）から、論理積により共通部分を求めるには、あるいは共通部分との排他的論路和を用いて独立部分を求めるには、複数の画像データ同士を精密に位置合わせする必要がある。しかしながら、特許文献１には、そのように位置合わせできる構成については記載されていない。したがって、特許文献１に記載の技術では、実際上、共通部分あるいは独立部分を抽出するのは困難である。この問題は、特に、互いに共通部分を有しかつ互いに異なる書込みがされている複数の原稿画像から共通部分のみの原稿画像を抽出したいという要求を満たす上での障害となっている。

したがって、本発明は、共通部分（共通フォーマット）を含む複数の原稿画像同士の位置合わせを精密に行うことができ、これによって共通部分（共通フォーマット）の画像を精度良く抽出することができる画像処理方法、画像処理装置、画像形成装置、プログラムおよび記憶媒体の提供を目的としている。

上記の課題を解決するために、本発明の画像処理装置は、入力された複数の原稿画像データのうちの第１および第２の原稿画像データから、第１の原稿画像データの特徴点である第１の特徴点、および第２の原稿画像データの特徴点である第２の特徴点を抽出する特徴点抽出部と、前記第１の特徴点の特徴量である第１の特徴量、および前記第２の特徴点の特徴量である第２の特徴量を算出する特徴量算出部と、前記第１の特徴量と前記第２の特徴量とを比較し、特徴量が一致する第１の特徴点と第２の特徴点とを抽出する照合処理部と、前記照合処理部にて抽出された第１の特徴点の座標および第２の特徴点の座標に基づいて、第２の原稿画像データの座標系を第１の原稿画像データの座標系に変換する座標変換部と、第１の原稿画像データと前記座標変換部にて処理された第２の原稿画像データとの論理積を求めることにより、第１の原稿画像データと第２の原稿画像データとに含まれる共通フォーマットの画像データを抽出する論理積算出部とを備えていることを特徴としている。

また、本発明の画像処理方法は、入力された複数の原稿画像データのうちの第１および第２の原稿画像データから、第１の原稿画像データの特徴点である第１の特徴点、および第２の原稿画像データの特徴点である第２の特徴点を抽出する特徴点抽出工程と、前記第１の特徴点の特徴量である第１の特徴量、および前記第２の特徴点の特徴量である第２の特徴量を算出する特徴量算出工程と、前記第１の特徴量と前記第２の特徴量とを比較し、特徴量が一致する第１の特徴点と第２の特徴点とを抽出する照合処理工程と、前記照合処理工程にて抽出された第１の特徴点の座標および第２の特徴点の座標に基づいて、第２の原稿画像データの座標系を第１の原稿画像データの座標系に変換する座標変換工程と、第１の原稿画像データと前記座標変換工程にて処理された第２の原稿画像データとの論理積を求めることにより、第１の原稿画像データと第２の原稿画像データとに含まれる共通フォーマットの画像データを抽出する論理積算出工程とを備えていることを特徴としている。

上記の構成によれば、入力された複数の原稿画像データのうちの第１および第２の原稿画像データから、第１の原稿画像データの特徴点である第１の特徴点、および第２の原稿画像データの特徴点である第２の特徴点を抽出し、次に、第１の特徴点の特徴量である第１の特徴量、および第２の特徴点の特徴量である第２の特徴量を算出する。次に、第１の特徴量と第２の特徴量とを比較し、特徴量が一致する第１の特徴点と第２の特徴点とを抽出する。次に、抽出された第１の特徴点の座標および第２の特徴点の座標に基づいて、第２の原稿画像データの座標系を第１の原稿画像データの座標系に変換する。その後、第１の原稿画像データと座標変換された第２の原稿画像データとの論理積を求めることにより、第１の原稿画像データと第２の原稿画像データとに含まれる共通フォーマットの画像データを抽出する。

上記のように、本発明の構成では、入力された複数の原稿画像データのうちの任意の画像データである第１の原稿画像データと第２の原稿画像データとについて、互いに特徴量が一致する特徴点を抽出し、それら特徴点を用いて第１の原稿画像データに対する第２の原稿画像データの位置合わせを行っている。したがって、第１の原稿画像データと第２の原稿画像データとの位置合わせを精度良く行うことができる。この結果、書き込みがない共通フォーマットのみからなる原稿画像データを予め用意することなく、第１の原稿画像データと第２の原稿画像データとの共通フォーマットの画像データを精度良く抽出することができる。

なお、画像処理装置に入力される原稿画像データは、例えば、スキャナにて原稿を読み取ることにより得られた画像データ、あるいは電子データのフォーマットに、コンピュータ（ソフトウェア）を用いて必要事項を入力して作成される電子データである。すなわち、例えば、紙に印刷されあるいは記載された画像を電子化したもの、および電子データとして直接作成されたもの（電子申請書など）である。

上記の画像処理装置は、前記論理積算出部にて抽出された共通フォーマットの画像データを前記第１の原稿画像データとし、前記各部での処理に使用した原稿画像データとは異なる原稿画像データを前記第２の原稿画像データとして、前記特徴点抽出部、前記特徴量算出部、前記照合処理部、前記座標変換部および前記論理積算出部の処理を行い、前記論理積算出部にて第２の共通フォーマットの画像データを抽出する構成としてもよい。

また、上記の画像処理方法は、前記論理積算出工程にて抽出された共通フォーマットの画像データを前記第１の原稿画像データとし、前記各工程での処理に使用した原稿画像データとは異なる原稿画像データを前記第２の原稿画像データとして、前記特徴点抽出工程、前記特徴量算出工程、前記照合処理工程、前記座標変換工程および前記論理積算出工程の処理を行い、前記論理積算出工程にて第２の共通フォーマットの画像データを抽出する構成としてもよい。

上記の構成によれば、一度抽出した共通フォーマットの画像データを第１の原稿画像データとし、この第１の原稿画像データを抽出する処理に使用していない他の原稿画像データを第２の原稿画像データとして再度共通フォーマットの画像データを抽出する。したがって、さらに高精度に共通フォーマットの画像データを抽出することができる。

上記の画像処理装置において、前記照合処理部は、特徴量が一致する第１の特徴点と第２の特徴点とをそれぞれ複数抽出し、前記座標変換部は、前記照合処理部にて抽出されたそれぞれ複数の第１の特徴点の座標および第２の特徴点の座標に基づいて、第２の原稿画像データの座標系を第１の原稿画像データの座標系に変換する構成としてもよい。

上記の構成によれば、座標変換部は、特徴量が一致するそれぞれ複数の第１の特徴点および第２の特徴点を使用して座標変換を行う。したがって、複数の特徴点の中に、照合処理部において誤って特徴量が一致すると判定されてしまった特徴点が含まれている場合であっても、座標変換部では、その特徴点の影響を抑制した状態で座標変換を行うことができる。これにより、共通フォーマットの画像データの抽出をさらに高精度に行うことができる。

上記の画像処理装置は、前記第１の原稿画像データおよび前記論理積算出部にて抽出された共通フォーマットの画像データを記憶する記憶手段と、前記第１の原稿画像データから前記共通フォーマットの画像データに対応する画像データを読み出して出力する画像合成部とを備えている構成としてもよい。

上記の構成によれば、合成処理部は、例えば共通フォーマットの画像データを出力する要求に応じて、記憶手段に記憶されている共通フォーマットの画像データに代えて、第１の原稿画像データから上記共通フォーマットの画像データに対応する部分の画像データを読み出して出力する。

これにより、第１の原稿画像データの共通フォーマット部分に例えば有彩色が含まれている場合など、元の原稿画像を忠実に再現することができる。

上記の画像処理装置は、前記第１の原稿画像データから下地の画像データを抽出し、前記記憶手段に格納する下地検知処理部を備え、前記合成処理部は、前記第１の原稿画像データから前記共通フォーマットの画像データに対応する画像データを読み出し、この画像データの前記共通フォーマット部分以外の領域に前記下地の画像データを合成して出力する構成としてもよい。

上記の構成によれば、合成処理部は、例えば共通フォーマットの画像データを出力する要求に応じて、記憶手段に記憶されている共通フォーマットの画像データに代えて、第１の原稿画像データから上記共通フォーマットの画像データに対応する部分の画像データを読み出し、この画像データの共通フォーマット部分以外の領域に下地の画像データを合成して出力する。

これにより、第１の原稿画像データの共通フォーマット部分、および下地部分に例えば有彩色が含まれている場合など、元の原稿画像を下地を含めてさらに忠実に再現することができる。

本発明の画像形成装置は、上記のいずれかの画像処理装置と画像データを印刷して出力する画像出力手段とをなえていることを特徴としている。

上記の構成によれば、共通フォーマットを有しかつ書き込みのない原稿が必要な場合に、書き込みのない原稿がなくても、書き込みのある複数の原稿から共通のフォーマット部分のみの原稿を精度良く複製することができる。

本発明によれば、第１の原稿画像データと第２の原稿画像データとについて、互いに特徴量が一致する特徴点を抽出し、それら特徴点を用いて第１の原稿画像データに対する第２の原稿画像データの位置合わせを行っている。したがって、第１の原稿画像データと第２の原稿画像データとの位置合わせを精度良く行うことができる。この結果、書き込みがない共通フォーマットのみからなる原稿画像データを予め用意することなく、第１の原稿画像データと第２の原稿画像データとの共通フォーマットの画像データを精度良く抽出することができる。

〔実施の形態１〕
本発明の実施の形態を図面に基づいて以下に説明する。
図１は本実施の形態における画像処理装置１０１の構成を示すブロック図である。この画像処理装置１０１は、例えば図２に示すデジタルカラー複写機（画像処理装置、画像形成装置）１０２に備えられる。

画像処理装置１０１は、例えば図３（ａ）〜図３（ｃ）に示す原稿をスキャナにて読み込んで得られた画像データを処理する。図３（ａ）は基準原稿であり、図３（ｂ）および図３（ｃ）は参照原稿である。これら基準原稿と参照原稿とは、例えば罫線や所定の文字列等からなる共通部分（共通フォーマット）、および例えば手書き文字など、それぞれの原稿に特有の独立部分を有する。

画像処理装置１０１は、上記基準原稿の画像データ（基準画像データ）と上記第１および第２参照原稿の画像データ（参照画像データ）とを比較し、それら原稿の共通部分（共通フォーマット）の画像データを抽出するようになっている。図３（ｄ）は、共通部分（共通フォーマット）の画像データを印刷して得られる共通フォーマットの画像である。

上記基準画像データおよび参照画像データに関し、画像処理装置１０１は、順次入力されてくる複数枚の原稿についての各画像データのうち、例えば最初に入力されてくるものを基準画像データ（以下、単に基準画像と称する）として認識し、この基準画像よりも後に入力されてくるものを参照画像データ（以下、単位参照画像と称する）として認識する。

画像処理装置１０１は、図１に示すように、制御部１、文書照合処理部２およびメモリ（記憶手段）３を備えている。文書照合処理部２は、特徴点算出部１１、特徴量算出部１２、照合処理部１３、座標変換部１４、論理積算出部１５および登録処理部１６を備えている。

特徴点算出部１１は、文字列や罫線の連結部分を抽出し、連結部分の重心を特徴点として算出する。

特徴量算出部１２は、特徴点算出部１１にて算出された特徴点を用いて、回転、拡大、縮小に対して不変な量、すなわち原稿画像の回転、平行移動、拡大縮小を含む幾何学的変化に対して不変なパラメータである特徴量を算出する。特徴量を計算するために注目特徴点の近傍の特徴点を選択して用いる。

照合処理部１３は、基準画像と各参照画像との照合処理を行う。この照合処理においては、基準画像および各参照画像の２値の画像データを使用する。そして、基準画像（２値画像データ）と各参照画像（２値画像データ）とについて、特徴点算出部１１により算出された各特徴点について特徴量算出部１２により算出された特徴量（ハッシュ値）同士を比較する。次に、基準画像と参照画像との特徴量（ハッシュ値）が一致する各特徴点について、特徴量（ハッシュ値）、特徴点を表すインデックス、および各特徴点の座標を登録する。なお、基準原稿の画像データおよび各参照原稿の画像データの２値化処理は、特徴点算出部１１の２値化処理部２４（図６参照）が行う。

具体的には、照合処理部１３は、上記照合処理において、図４に示すように、基準画像についての各特徴点の特徴量（ハッシュ値）、各特徴点を表すインデックス、および各特徴点の座標を表すテーブルを使用する。このテーブルはメモリ３に登録されており、その登録処理は登録処理部１６において行われる。そして、照合処理部１３は、基準画像の特徴点の特徴量（ハッシュ値）と参照画像の特徴点の特徴量（ハッシュ値）との一致の有無を判定し、特徴量が一致した特徴点について座標を求める。この処理の結果、図４に示すテーブルに対して、さらに参照画像の、特徴量（ハッシュ値）が一致した特徴点を表すインデックスおよび特徴点の座標が登録され、図５に示すように、基準画像と参照画像との特徴量（ハッシュ値）が一致する特徴点の対応関係を示すテーブルが得られる。なお、このテーブルの登録処理は登録処理部１６により行われる。

図５の例では、例えば、参照画像の特徴点ｐ１の特徴量（ハッシュ値）が基準画像の特徴点ｆ１の特徴量と一致し、参照画像の特徴点ｐ２の特徴量（ハッシュ値）が基準画像の特徴点ｆ２の特徴量と一致し、参照画像の特徴点ｐ３の特徴量（ハッシュ値）が基準画像の特徴点ｆ４の特徴量と一致している。

座標変換部１４は、照合処理部１３において特徴量（ハッシュ値）が一致すると判定された基準画像（２値画像データ）の特徴点の座標と参照画像（２値画像データ）の特徴点の座標とを用いて、基準画像と参照画像との位置合わせを行う。なお、上記の内容については非特許文献１に関連記載がある。

また、実際には一致していない特徴点同士が一致していると判定されてしまう場合に対応するために、ロバスト推定などの方法を用いて一致しない特徴点の組（外れ点）に影響されないように座標変換を行う。

論理積算出部１５は、座標変換部１４において位置合わせを行った基準画像（２値画像データ）と参照画像（２値画像データ）とを用いて両者の論理積を求める。

登録処理部１６は、基準画像から算出された各特徴点の特徴量（ハッシュ値）、各特徴点を表すインデックス、および各特徴点の座標を互いに対応付けてメモリ３に登録する。この登録状態は前記図４に示したものである。また、論理積算出部１５において基準画像と参照画像との論理積が求められた画像データ（高濃度側の画像データ）をメモリ３に格納する。なお、基準画像の登録処理を行う場合、照合処理部１３、座標変換部１４および論理積算出部１５の処理はスルーとなり、何も行われない。

制御部（ＣＰＵ）１は、文書照合処理部２における上記各処理部およびメモリ３へのアクセスを制御する。

図６は特徴点算出部１１の構成を示すブロック図である。図６に示すように、特徴点算出部１１は、無彩化処理部２１、解像度変換部２２、ＭＴＦ処理部２３、２値化処理部２４および重心算出部２５を備えている。

無彩化処理部２１は、基準画像データおよび参照画像データ等の入力画像データがカラー画像であった場合に、入力画像データを無彩化して明度もしくは輝度信号に変換する。例えば、下記式より輝度Ｙを求める。

なお、無彩化処理は、上式による方法に限定されず、ＲＧＢ信号をＣＩＥ１９７６Ｌ^*ａ^*ｂ^*信号（CIE : Commission International de l'Eclairage、 Ｌ^*： 明度、a^*, ｂ^*:：色度）に変換するものであっても良い。

解像度変換部２２は、入力画像データが画像入力装置で光学的に変倍されていた場合に、所定の解像度になるように入力画像データを再度変倍する。上記画像入力装置は、例えば、原稿の画像を読み取って画像データに変換するスキャナであり、図２に示すデジタルカラー複写機ではカラー画像入力装置１１１がそれに相当する。

また、解像度変換部２２は、後段でのデータ処理量を軽減するために、画像入力装置により等倍の設定にて読み込まれる解像度よりも解像度を落とすための解像度変換部としても用いられる。例えば、６００ｄｐｉ（dot per inch）で読み込まれた画像データを３００ｄｐｉに変換する。

ＭＴＦ処理部２３は、画像入力装置の空間周波数特性が画像入力装置の種類ごとに異なることによる影響を吸収するために用いられる。すなわち、画像入力装置が備えるＣＣＤの出力する画像信号には、レンズやミラー等の光学部品、ＣＣＤの受光面のアパーチャ開口度、転送効率や残像、物理的な走査による積分効果および操作むら等に起因しＭＴＦの劣化が生じている。このＭＴＦの劣化により、読み込まれた画像がぼやけたものとなっている。そこで、ＭＴＦ補正処理部２３は、適切なフィルタ処理（強調処理）を施すことにより、ＭＴＦの劣化により生じるぼやけを修復する処理を行う。また、後段の特徴量算出部１２の特徴点抽出部３１での処理に不要な高周波成分を抑制するためにも用いる。すなわち、混合フィルタを用いて強調および平滑化処理を行う。なお、この混合フィルタのフィルタ係数は、例えば図７に示すものである。

２値化処理部２４は、無彩化処理部２１にて無彩化された画像データの輝度値（輝度信号）または明度値（明度信号）を閾値と比較することにより画像データを２値化し、この２値化した画像データ（基準画像、参照画像の２値画像データ）をメモリ３に格納する。

重心算出部２５は、２値化処理部２４において２値化された画像データ（例えば、「１」、「０」で表される画像データ）の各画素に対してラベリング（ラベル付け処理）を行う。このラベリングにおいては２値のうちの同一の値を示す画素に同一のラベルを付与する。次に、同一ラベルを付した画素を連結して形成された複数画素からなる領域である連結領域を特定する。次に、特定した連結領域の重心を特徴点として抽出し、抽出した特徴点を特徴量算出部１２へ出力する。なお、上記特徴点は、２値画像における座標値（ｘ座標、ｙ座標）で表すことができる。

図８は、２値化された画像データから抽出された連結領域およびこの連結領域の重心の一例を示す説明図であり、「Ａ」という文字に対応する連結領域およびその連結領域の重心（特徴点）を示している。また、図９は、２値化された画像データに含まれる文字列から抽出された複数の連結領域の各重心（特徴点）の一例を示す説明図である。

図１０は特徴量算出部１２の構成を示すブロック図である。特徴量算出部１２は、図１０に示すように、特徴点抽出部３１、不変量算出部３２およびハッシュ値算出部３３を備えている。

特徴点抽出部３１は、特徴点算出部１１にて算出された特徴点が画像データにおいて複数存在する場合に、１つの特徴点を注目特徴点とし、この注目特徴点の周辺の特徴点を、注目特徴点からの距離が近いものから順に所定数だけ周辺特徴点として抽出する。図１１の例では、上記所定数を４点とし、特徴点ａを注目特徴点とした場合に特徴点ｂ，ｃ，ｄ，ｅの４点が周辺特徴点として抽出され、特徴点ｂを注目特徴点とした場合には特徴点ａ，ｃ，ｅ，ｆの４点が周辺特徴点として抽出される。

また、特徴点抽出部３１は、上記のように抽出した周辺特徴点４点の中から選択し得る３点の組み合わせを抽出する。例えば、図１２（ａ）〜図１２（ｄ）に示すように、図１１に示した特徴点ａを注目特徴点とした場合、周辺特徴点ｂ，ｃ，ｄ，ｅのうちの３点の組み合わせ、すなわち、周辺特徴点ｂ，ｃ，ｄ、周辺特徴点ｂ，ｃ，ｅ、周辺特徴点ｂ，ｄ，ｅ、周辺特徴点ｃ，ｄ，ｅの各組み合わせが抽出される。

不変量算出部３２は、特徴点抽出部３１において抽出された各組み合わせについて、幾何学的変形に対する不変量（特徴量の１つ）Ｈｉｊを算出する。

ここで、ｉは注目特徴点を示す数（ｉは１以上の整数）であり、ｊは周辺特徴点３点の組み合わせを示す数（ｊは１以上の整数）である。本実施形態では、周辺特徴点同士を結ぶ線分の長さのうちの２つの比を不変量Ｈｉｊとする。

上記線分の長さは、各周辺特徴点の座標値に基づいて算出できる。例えば、図１２（ａ）の例において、特徴点ｂと特徴点ｃとを結ぶ線分の長さをＡ１１、特徴点ｂと特徴点ｄとを結ぶ線分の長さをＢ１１とすると、不変量Ｈ１１は、Ｈ１１＝Ａ１１／Ｂ１１である。また、図１２（ｂ）の例において、特徴点ｂと特徴点ｃとを結ぶ線分の長さをＡ１２、特徴点ｂと特徴点ｅとを結ぶ線分の長さをＢ１２とすると、不変量Ｈ１２は、Ｈ１２＝Ａ１２／Ｂ１２である。また、図１２（ｃ）の例において、特徴点ｂと特徴点ｄとを結ぶ線分の長さをＡ１３、特徴点ｂと特徴点ｅとを結ぶ線分の長さをＢ１３とすると、不変量Ｈ１３は、Ｈ１３＝Ａ１３／Ｂ１３である。また、図１２（ｄ）の例において、特徴点ｃと特徴点ｄとを結ぶ線分の長さをＡ１４、特徴点ｃと特徴点ｅとを結ぶ線分の長さをＢ１４とすると、不変量Ｈ１４は、Ｈ１４＝Ａ１４／Ｂ１４である。このようにして、図１２（ａ）〜図１２（ｄ）の例では、不変量Ｈ１１，Ｈ１２，Ｈ１３，Ｈ１４が算出される。

なお、上記の例では、注目特徴点に最も近い周辺特徴点と２番目に近い周辺特徴点とを結ぶ線分をＡｉｊ、注目特徴点に最も近い周辺特徴点と３番目に近い周辺特徴点とを結ぶ線分をＢｉｊとしたが、これに限らず、不変量Ｈｉｊの算出に用いる線分は任意の方法で選定すればよい。

ハッシュ値算出部３３は、例えば、
Ｈｉ＝（Ｈｉ１×１０^３＋Ｈｉ２×１０^２＋Ｈｉ３×１０^１＋Ｈｉ４×１０^０）／Ｄ
という式における余りの値をハッシュ値（特徴量の１つ）Ｈｉとして算出し、得られたハッシュ値メモリ８に格納する。なお、上記Ｄは余りが取り得る値の範囲をどの程度に設定するかに応じて予め設定される定数である。

上記不変量Ｈｉｊの算出方法は特に限定されるものではない。例えば、注目特徴点の近傍５点の複比、近傍ｎ点（ｎはｎ≧５の整数）から抽出した５点の複比、近傍ｎ点から抽出したｍ点（ｍは、ｍ＜ｎかつｍ≧５の整数）の配置、およびｍ点から抽出した５点の複比に基づいて算出される値などを注目特徴点についての上記不変量Ｈｉｊとしてもよい。なお、複比とは、直線上の４点または平面上の５点から求められる値であり、幾何学的変換の一種である射影変形に対する不変量として知られている。

また、ハッシュ値Ｈｉを算出するための式についても上記の式に限るものではなく、他のハッシュ関数（例えば特許文献２に記載されているハッシュ関数のうちのいずれか）を用いてもよい。

特徴量算出部１２の各部は、１つの注目特徴点に対する周辺特徴点の抽出およびハッシュ値Ｈｉの算出が終わると、注目特徴点を他の特徴点に変更して周辺特徴点の抽出およびハッシュ値の算出を行い、全ての特徴点についてのハッシュ値を算出する。

図１１の例では、特徴点ａを注目特徴点とした場合の周辺特徴点およびハッシュ値の抽出が終わると、次に特徴点ｂを注目特徴点とした場合の周辺特徴点およびハッシュ値の抽出を行う。なお、図１１の例では、特徴点ｂを注目特徴点とした場合、特徴点ａ，ｃ，ｅ，ｆの４点が周辺特徴点として抽出される。

そして、図１３（ａ）〜図１３（ｄ）に示すように、これら周辺特徴点ａ，ｃ，ｅ，ｆの中から選択される３点の組み合わせ（周辺特徴点ａ，ｅ，ｆ、周辺特徴点ａ，ｅ，ｃ、周辺特徴点ａ，ｆ，ｃ、周辺特徴点ｅ，ｆ，ｃ）を抽出し、各組み合わせについてハッシュ値Ｈｉを算出し、メモリ３に格納する。そして、この処理を各特徴点について繰り返し、各特徴点を注目特徴点とした場合のハッシュ値をそれぞれ求めてメモリ３に記憶させる。

次に、座標変換部１４における座標変換動作 について説明する。
共通のフォーマットを有する基準画像と参照画像とから、互いに共通する部分を抽出するには、照合処理部１３において特徴量（ハッシュ値）が一致すると判定された基準画像の特徴点と参照画像の特徴点とを用いて両者の位置関係を把握しておく必要がある。そこで、座標変換部１４では、参照画像の座標系を基準画像の座標系に変換して両画像の位置合わせを行う。なお、上記共通フォーマットには、罫線や表のみでなく、共通の文字列が含まれていてもよい。

図１４は、特徴量（ハッシュ値）が一致する基準画像の特徴点と参照画像の特徴点とに基づいて、基準画像と参照画像との位置合せを行う動作の説明図である。図１５は、基準画像と参照画像との位置合せの結果得られる基準画像の特徴点の座標と参照画像の特徴点の座標との対応関係を示す説明図である。図１４および図１５の例では、基準画像と参照画像との間において、特徴量（ハッシュ値）が一致する特徴点が４点存在する場合を示している。

次に、座標変換部１４では、基準画像の特徴点の座標についての行列をＰｏｕｔ、参照画素増の特徴点の座標についての行列をＰｉｎ、変換係数をＡとする。

そして、下記式により変換係数を算出する。

ここで、Ｐｉｎは正方行列ではないので、下式のように、両辺にＰｉｎの転置行列Ｐｉｎ^Ｔを乗算し、さらにＰｉｎ^ＴＰｉｎの逆行列を乗算する。

次に、上記のようにして得られた変換係数Ａを用いて、基準画像上における参照画像の座標位置を算出する。この場合、下式に示すように、参照画像上の任意の座標(ｘ’,ｙ’)は、変換係数Ａを用いて基準画像上の座標（Ｘ，Ｙ）に変換される。

次に、座標変換部１４が行う座標変換動作のうち、外れ点の影響を排除した座標変換動作について説明する。上記外れ点とは、特徴量算出部１２において、基準画像と参照画像との特徴量（ハッシュ値）が一致する特徴点として抽出されたもののうち、誤って特徴量（ハッシュ値）が一致するものとして抽出された特徴点である。

前述の座標変換動作においては、外れ点が存在した場合、求めた座標変換係数が本来の座標変換係数から大きくずれてしまうことになる。そこで、ロバスト推定など外れ点が含まれる場合に用いられる推定方法を用いて座標変換係数を求めることができる。以下には、ロバスト推定の中でＬＭｅｄＳ基準を用いて座標変換係数を求める例について説明する。

まず、照合処理部１３において基準画像と参照画像との特徴量（ハッシュ値）が一致するものとして抽出された特徴点の組から、３組をランダムに抽出する。この場合、基準画像の特徴点の座標についての行列をＰｏｕｔ２、参照画素の特徴点の座標についての行列をＰｉｎ２、変換係数をＡ２とする。

そして、変換係数Ａ２と特徴点（Ｐｏｕｔ２，Ｐｉｎ２）との関係を

とする。これにより、変換係数Ａ２は、次の式により求められる。

次に、上記のようにして求めた変換係数Ａ２を使用し、照合処理部１３において基準画像と参照画像との特徴量（ハッシュ値）が一致するものとして抽出された全ての特徴点の組について座標変換を行い、その結果から求めた座標値と実際の座標値との誤差を計算する。次に、求めた誤差をその値が大きい順番にソートしたときの中央値を、求めた変換係数Ａ２の評価値とする。なお、上記「求めた座標値」とは、例えば参照画像の座標系を基準画像の座標系に合わせ込む場合に、参照画像の特徴点の座標を変換した値（座標値）であり、「実際の座標値」とはこの座標値に対応する基準画像の座標値である。

上記のように、特徴量（ハッシュ値）が一致する特徴点の組をランダムに抽出し、変換係数を求め、その評価値を決定する処理を複数回繰り返す。そして、求めた評価値が最も小さくなるときの変換係数を求める変換係数とする。

次に、上記の画像処理装置１０１を備えるデジタルカラー複写機１０２の構成について説明する。図２はデジタルカラー複写機１０２の構成を示すブロック図である。

図２に示すように、デジタルカラー複写機１０２は、カラー画像入力装置１１１、カラー画像処理装置１１２およびカラー画像出力装置１１３を備えている。

カラー画像入力装置１１１は、例えばＣＣＤなどの光学情報を電気信号に変換するデバイスを備えたスキャナ部より構成され、原稿からの反射光像をＲＧＢのアナログ信号として出力する。

カラー画像入力装置１１１にて読み取られたアナログ信号は、カラー画像処理装置１１２内を、Ａ／Ｄ変換部１２１、シェーディング補正部１２２、文書照合処理部１２３、入力階調補正部１２４、領域分離処理部１２５、色補正部１２６、黒生成下色除去部１２７、空間フィルタ処理部１２８、出力階調補正部１２９、および階調再現処理部１３０の順で送られ、ＣＭＹＫのデジタルカラー信号として、カラー画像出力装置１１３へ出力される。

Ａ／Ｄ変換部１２１は、ＲＧＢのアナログ信号をデジタル信号に変換するもので、シェーディング補正部１２２では、Ａ／Ｄ変換部１２１より送られてきたデジタルのＲＧＢ信号に対して、カラー画像入力装置１１１の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施す。また、カラーバランスを整えると同時に、濃度信号などカラー画像処理装置に採用されている画像処理システムの扱い易い信号に変換する処理を施す。

文書照合処理部１２３は、画像処理装置１０１の文書照合処理部２に相当するものである。すなわち、文書照合処理部１２３は、共通のフォーマットを備える複数の原稿画像から選択された基準画像、基準画像以外の参照画像について、特徴点算出処理、特徴量算出処理を行い、基準画像の特徴点と参照画像の特徴点を用いて両者の位置関係を求め、基準画像、参照画像の２値画像データの論理積を求めることにより共通フォーマットの抽出を行う。この文書照合処理部１２３は、入力されたＲＧＢ信号をそのまま、あるいは画像データの合成がなされた場合は、合成画像データを後段の入力階調補正部へ出力する。

入力階調補正部１２４は、シェーディング補正部１２２にて各種の歪みが取り除かれたＲＧＢ信号に対して、下地濃度の除去やコントラストなどの画質調整処理が施される。

領域分離処理部１２５は、ＲＧＢ信号より、入力画像中の各画素を文字領域、網点領域、写真領域の何れかに分離するものである。領域分離処理部１２５は、分離結果に基づき、画素がどの領域に属しているかを示す領域識別信号を、黒生成下色除去部１２７、空間フィルタ処理部１２８および階調再現処理部１３０へと出力するとともに、入力階調補正部１２４より出力された入力信号をそのまま後段の色補正部１２６に出力する。

色補正部１２６では、色再現の忠実化を図るために、不要吸収成分を含むＣＭＹ色材の分光特性に基づいた色濁りを取り除く処理を行う。

黒生成下色除去部１２７は、色補正後のＣＭＹの３色信号から黒（Ｋ）信号を生成する黒生成、元のＣＭＹ信号から黒生成で得たＫ信号を差し引いて新たなＣＭＹ信号を生成する処理を行う。これによりＣＭＹの３色信号はＣＭＹＫの４色信号に変換される。

空間フィルタ処理部１２８は、黒生成下色除去部１２７より入力されるＣＭＹＫ信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正する。これにより出力画像のぼやけや粒状性劣化を軽減することができる。階調再現処理部１３０では、空間フィルタ処理部１２８と同様に、ＣＭＹＫ信号の画像データに対して、領域識別信号に基づいて後述する所定の処理が施される。

例えば、領域分離処理部１２５にて文字に分離された領域は、文字の再現性を高めるために、空間フィルタ処理部１２８における空間フィルタに高周波成分の強調量が大きいフィルタが用いられる。同時に、階調再現処理部１３０においては、高域周波成分の再現に適した高解像度のスクリーンによる２値化もしくは多値化処理が実施される。

また、領域分離処理部１２５にて網点に分離された領域に関しては、空間フィルタ処理部１２８において、入力網点成分を除去するためのローパス・フィルタ処理が施される。そして、出力階調補正部１２９では、濃度信号などの信号をカラー画像出力装置１１３の特性値である網点面積率に変換する出力階調補正処理を行った後、階調再現処理部１３０で、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理が施される。領域分離処理部１２５にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの２値化または多値化処理が行われる。

上述した各処理が施された画像データは、一旦、記憶装置（図示せず）に記憶され、所定のタイミングで読み出されてカラー画像出力装置１１３に入力される。

このカラー画像出力装置１１３は、画像データを紙などの記録媒体上に出力するものである。例えば、電子写真方式やインクジェット方式を用いたカラー画像出力装置等を挙げることができるが、特に限定されるものではない。なお、以上の処理は図示しないＣＰＵ（Central Processing Unit）により制御される。

上記の構成において、本実施の形態の画像処理装置１０１の動作を図１６のフローチャートに基づいて以下に説明する。

画像処理装置１０１では、まず、入力されてくる複数の原稿画像のうちの一つを基準画像（基準原稿）に設定する処理を行う（Ｓ１）。

この場合、複数の原稿画像は、例えば図２に示したデジタルカラー複写機１０２のカラー画像入力装置１１１により生成される。すなわち、ユーザにより例えば図３（ａ）〜図３（ｃ）に示すような共通フォーマットを有する複数枚（例えば５〜６枚）の原稿がカラー画像入力装置１１１にセットされ、カラー画像入力装置１１１がこれら原稿を読み込んで画像データに変換し、それら画像データが画像処理装置１０１に入力される。

画像処理装置１０１での基準原稿の設定については、例えば制御部１が行う。具体的には、制御部１は、順次入力されてくる一連の原稿画像（画像データ）のうちの最初に入力されてくるものを基準画像（基準原稿）として設定する。この場合、ユーザは、複数の原稿のうち、共通フォーマット部分が鮮明な原稿が最初にカラー画像入力装置１１１に読み込まれるように、複数の原稿をカラー画像入力装置１１１にセットする。

なお、最初に入力されてくるものを基準画像（基準原稿）として設定する構成は合理的であるものの、基準画像（基準原稿）を選択するルールについては特に限定されない。例えば、何番目に入力されてくる原稿画像を基準画像とするかをユーザが設定可能であったり、ユーザが操作パネル１１４（図２参照）から基準画像（基準原稿）を選択できるようにしてもよい。

次に、制御部１は、処理モードとして登録モードもしくは照合モードを選択する（Ｓ２）。この選択において、基準画像を処理する場合には登録モードを選択し、参照画像を処理する場合には照合モードを選択する。なお、この選択については、デジタルカラー複写機１０２では操作パネル１１４の操作により、また画像処理装置１０１とこれに接続された端末装置（コンピュータ）とを備えた画像処理システムでは端末装置からの入力操作により行われるものであってもよい。

Ｓ２において登録モードが選択された場合、特徴点算出部１１は入力画像データすなわち基準画像の各特徴点を算出し（Ｓ３）、それら特徴点の座標を算出する（Ｓ４）。

次に、特徴量算出部１２は、特徴点算出部１１にて算出された各特徴点の特徴量を算出する（Ｓ５）。

次に、登録処理部１６は、基準画像の上記の各特徴点について、特徴点の特徴量（ハッシュ値）、特徴点のインデックス、特徴点の座標をメモリ３に格納する（Ｓ６）。これにより、図４に示す基準画像についてのテーブルが得られる。その後、画像処理装置１０１での処理はＳ６を経た後、Ｓ２に戻る。

次に、制御部１は、Ｓ２において処理モードとして照合モードを選択する。Ｓ２において照合モードが選択された場合、特徴点算出部１１は入力画像データすなわち参照画像の各特徴点を算出し（Ｓ８）、それら特徴点の座標を算出する（Ｓ９）。

次に、特徴量算出部１２は、特徴点算出部１１にて算出された各特徴点の特徴量を算出する（Ｓ１０）。

次に、照合処理部１３は、基準画像と各参照画像との照合処理を行い、基準画像と参照画像との特徴量（ハッシュ値）が一致する各特徴点を求める。この処理を受けて、登録処理部１６は、図４に示す基準画像についてのテーブルに対して、特徴量（ハッシュ値）、特徴点を表すインデックス、および各特徴点の座標を登録する（Ｓ１１）。これにより、図５に示すように、基準画像と参照画像との特徴量（ハッシュ値）が一致する特徴点の対応関係を示すテーブルが得られる。

次に、座標変換部１４は、照合処理部１３において特徴量（ハッシュ値）が一致すると判定された基準画像の特徴点の座標と参照画像の特徴点の座標とを用いて、参照画像の座標系を基準画像の座標系に変換する（Ｓ１２）。

次に、論理積算出部１５は、基準画像の２値画像データと座標変換後の参照画像の２値画像データとの論理積を求める（Ｓ１３）。

次に、登録処理部１６は、論理積算出部１５から得られた２値画像（高濃度側の２値画像）を共通フォーマットの２値画像データ（図３（ｄ）に対応）としてメモリ３に格納する（Ｓ１４）。本実施の形態においては画像データとしてＲＧＢデータを用いているので、高濃度側の画像データは、輝度Ｙ＝０のデータ、例えば罫線や文字列を示すデータである。

その後、画像処理装置１０１は、上記Ｓ８〜Ｓ１４の処理を他の参照画像についても繰り返し、全ての原稿画像に対する処理が終了すると（Ｓ７）、動作を終了する。但し、他の参照画像についての上記Ｓ８〜Ｓ１４の処理においては、先に第１の参照画像を使用して取得した第１の共通フォーマットの画像データを第２の基準画像とし、この第２の基準画像と第２の参照画像とから第２の共通フォーマットの画像データを取得し、次に、第２の共通フォーマットの画像データを第３の基準画像とし、この第３の基準画像と第３の参照画像とから第３の共通フォーマットの画像データを取得するといったように、順次共通フォーマットを更新していく。これにより、共通フォーマットの画像データを精度よく取得することができる。

また、図１７には、画像処理装置１０１には、複数の原稿画像が入力される場合に、最初に入力される原稿画像を基準画像と設定する場合の動作を示す。図１７のフローチャートにおいては、Ｓ２４〜Ｓ２７の動作が図１６におけるＳ３〜Ｓ６の動作に相当し、Ｓ３０〜Ｓ３６の動作が図１６におけるＳ８〜Ｓ１４の動作に相当する。したがって、これらの説明については省略する。

図１７において、画像処理装置１０１では、まず、入力されてきた複数の原稿画像のうち最初に入力された原稿画像を基準画像（基準原稿）に設定する処理を行う（Ｓ２１）。

Ｓ２１の処理の後、入力される原稿画像の枚数が例えば５枚（Ｎ＝５）に設定される（Ｓ２２）。この設定は画像処理装置１０１の例えば制御部１が備えるカウンタに対して行われる。また、上記設定入力は、例えば図２に示したデジタルカラー複写機１０２においては、ＡＤＦにセットされた原稿枚数がユーザにより操作パネル１１４から入力されることにより行われる。

制御部１は、最初の原稿画像が入力されると、上記カウンタの当初設定値が５であるので（Ｓ２３）、その原稿画像を基準画像とし、Ｓ２４〜Ｓ２７の処理、すなわち図１６に示した登録モードの処理を行う。その後、カウンタの設定値を−１すなわちＮ＝４として（Ｓ２９）、Ｓ２３に戻る。

次に、制御部１は、次の原稿画像が入力されると、上記カウンタの設定値が４であるので（Ｓ２３）、その原稿画像を参照画像とし、Ｓ３０〜Ｓ３６の処理、すなわち図１６に示した照合モードの処理を行う。その後、画像処理装置１０１は、Ｓ３０〜Ｓ３６の処理を最後の原稿まで繰り返し、動作を終了する。

なお、前述のように、前回取得した共通フォーマットの画像データを基準画像として使用し、次の共通フォーマットの画像データを取得する第２の参照画像以降の参照画像に対する処理においては、Ｓ７１〜Ｓ８０の処理が行われる。すなわち、第２の参照画像以降の処理においては、共通フォーマットの画像データ（高濃度側の２値画像データ）が取得されていれば、Ｓ７２〜Ｓ８０の処理が行われる。この場合、Ｓ７２〜Ｓ７５、Ｓ７６の処理はＳ３０〜Ｓ３３、Ｓ３５に対応し、Ｓ７７〜Ｓ７９の処理はＳ２４〜Ｓ２７の処理に対応する。また、共通フォーマットの画像データ（２値画像データ）に対して行う２値の特徴点算出処理（Ｓ７７）は、図６に示した特徴点算出部１１の処理において、無彩化処理部２１から２値化処理部２４までの処理がスルーになり、重心算出部２５での処理のみがなされる。

上記のように、本実施の形態の画像処理装置１０１では、入力された複数の原稿画像のうちの一つを基準画像とするとともに他を参照画像とし、文書照合技術を用いて基準画像と参照画像との特徴量が一致する特徴点を抽出し、抽出した特徴点の座標値を用いて基準画像と参照画像との間の座標変換式を求め、この座標変換式を用いて基準画像と参照画像との位置合わせを行い、基準画像と参照画像とに含まれる共通のフォーマットを抽出している。

したがって、共通フォーマットのみの画像（原稿）が存在しない場合であっても、共通フォーマットを含む複数の原稿画像（少なくとも二つの原稿画像）から、共通フォーマットのみの画像を作成することができる。

なお、本実施の形態の画像処理装置１０１に適用可能な原稿としては、各種申請書、各種契約書、各種アンケート用紙など、定型のフォーム（共通フォーマット）を有し、個々の原稿に異なる書き込みがなされるものである。また、図３の例では、罫線を含むフォーム（共通フォーマット）を有するものとなっているが、例えば契約書など、罫線を含まない文字だけで構成された原稿も対象とし得る。

〔実施の形態２〕
本発明の他の実施の形態を図面に基づいて以下に説明する。
図１８は本実施の形態の画像処理装置１０３の構成を示すブロック図である。この画像処理装置１０３は、図１に示した画像処理装置１０１の文書照合処理部２に代えて文書照合処理部４を備えている。

文書照合処理部４は、上記特徴点算出部１１、特徴量算出部１２、照合処理部１３、座標変換部１４、論理積算出部１５および登録処理部１６に加えて、合成処理部１７を備えている。また、画像処理装置１０３は、文書照合処理部４の前段に下地検知処理部１８を備えている。

下地検知処理部１８は、入力画像データから下地画像データを抽出し、メモリ３に格納する。

合成処理部１７は、メモリ３に格納されている、共通フォーマットに相当する画像データ（図３（ｄ）に対応）に、それ以外の画像データとして下地検知処理部１８にて抽出された下地画像データを合成し、合成画像データを出力する。この場合、上記共通フォーマットに相当する画像データとしては、論理積算出部１５から得られた高濃度側の２値画像データをそのまま使用せずに、この画像データに相当する基準画像の画像データを使用する。

上記合成画像データは、共通フォーマット部分には基準画像の画像データが使用され、下地部分には例えば基準画像から抽出された画像データが使用されるので、それら部分に有彩色が含まれている場合、元の原稿の色を忠実に再現することができる。

本実施の形態の画像処理装置１０３を図２に示したデジタルカラー複写機１０２に適用した場合には、文書照合処理部１２３と入力階調補正部１２４との前後関係を入れ替えて、シェーディング補正部１２２の後段に入力階調補正部１２４を設け、入力階調補正部１２４の後段に文書照合処理部１２３を設け、入力階調補正部１２４で下地除去処理、すなわち上記下地検知処理部１８の処理に相当する処理を行うようにしても良い。

また、下地検知処理部１８にて行う下地抽出処理は、従来周知の手法により行うことができる。例えば、その一例として次の手法がある。
（１）入力画像データにおけるＲＧＢの各プレーン毎（色成分毎）で注目画素を含む複数の画素よりなるブロック（例えば７×７画素）の平均値を算出し、注目画素の画素値とする。
（２）次に、注目画素毎に、色成分毎の平均値に対するヒストグラム（Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅに対する３次元ヒストグラムであって濃度区分を例えば３２区分としたもの）を作成し、最大度数を示すＲａｖｅ，Ｇａｖｅ，Ｂａｖｅの値を下地濃度とする。

他の例としては、次のように、色成分毎にヒストグラムを作成し、下記の条件を満たすとき、有彩色の下地があると判定するものである。
（１）Ｒプレーン、Ｇプレーン、Ｂプレーンにおける度数値が、下地があると判断される閾値以上であり、ほぼ同じ値である場合。なお、下地があると判断される閾値は、例えば、全画素数に対する度数値の比率が５０％である。また、度数値がほぼ同じと判断される範囲の例は、最大の度数値に対して９５％の範囲内にある場合である。
（２）ヒストグラムの濃度区分数を３２とした場合、下地があると判断される閾値以上の度数を示す濃度区分数が２以下である。この条件を満たすとき、最大度数値を示す濃度区分値Ｒｍａｘ，Ｇｍａｘ，Ｂｍａｘの値を下地濃度とする。これは、有彩色の下地のヒストグラムは、度数の分布が狭くシャープであり、最大度数値がほぼ同じ値になるという特性を利用している。

上記の構成において、本実施の形態の画像処理装置１０３の動作を図１９のフローチャートに基づいて以下に説明する。図１９においては、Ｓ４１およびＳ４４〜Ｓ４９の動作が図１６におけるＳ１およびＳ２〜Ｓ７の動作に相当し、Ｓ５１〜Ｓ５７の動作が図１６におけるＳ８〜Ｓ１４の動作に相当する。したがって、これらの説明については省略する。

図１９において、画像処理装置１０３では、まず、入力されてくる複数の原稿画像のうちの一つを基準画像（基準原稿）に設定する処理を行う（Ｓ４１）。次に、基準画像をメモリ３に格納する（Ｓ４２）。

次に、画像処理装置１０３の下地検知処理部１８は、例えば基準画像から下地画像データを抽出し、メモリ３に格納する（Ｓ４３）。

次に、画像処理装置１０３では、登録モードの選択（Ｓ４４）、基準画像の各特徴点の算出（Ｓ４５）、基準画像の各特徴点の座標の算出（Ｓ４６）、基準画像の各特徴点についての特徴量（ハッシュ値）の算出（Ｓ４７）、並びにメモリ３への基準画像の各特徴点の特徴量、各特徴点のインデックスおよび特徴点の座標の格納（Ｓ４８）を行う。

次に、画像処理装置１０３では、照合モードの選択（Ｓ４４）、参照画像の各特徴点の算出（Ｓ５１）、参照画像の各特徴点の座標の算出（Ｓ５２）、参照画像の各特徴点についての特徴量（ハッシュ値）の算出（Ｓ５３）、基準画像と各参照画像との照合処理（Ｓ５４）、参照画像の座標系の基準画像の座標系への変換（Ｓ５５）、基準画像の２値画像データと座標変換後の参照画像の２値画像データとの論理積算出（Ｓ５６）、この論理積算出により得られた２値画像（高濃度側の２値画像）のメモリ３への格納（Ｓ５７）を行う。

その後、画像処理装置１０３の合成処理部１７は、上述したように、共通フォーマットの合成画像データを出力する（Ｓ５０）。

また、図２に示したデジタルカラー複写機１０２は、本実施の形態の画像処理装置１０３を備えた場合、次のような使用形態が可能となる。
（１）ユーザが、共通フォーマットを含み書込みのある複数の原稿をＡＤＦ（図示せず）に配置する。
（２）ユーザが、操作パネル１１４において「書き込みを消去した複製を作成するモード」を選択して実行を指示する。
（３）デジタルカラー複写機１０２では、文書照合処理部１２３（図１８の文書照合処理部２に相当）が例えば基準画像（図３（ａ）に相当）から書き込み部分を消去した共通フォーマットのみの画像データを合成する。
（４）合成された画像データに対して文書照合処理部１２３以降の処理を実行し、得られた画像データをカラー画像出力装置１１３により紙などのメディアに出力する。これにより、書き込みを消去した共通フォーマットのみの原稿の複製を作成することができる。

また、以上の実施の形態に示した画像処理装置１０１，１０３は、電子化データ、例えば原稿をスキャナで読み込んで取得した画像データをＪＰＥＧやＰＤＦなど所定のファイルフォーマットに変換した画像データについても処理することができる。

例えば、上記電子化データの形態に作成された画像データをサーバに格納しておき、それら画像データに対して、本発明をアプリケーションソフトウェアとして適用する対応である。具体的には、上記画像データがＪＰＥＧやＧＩＦなどの符号化された画像フォーマットである場合、それら画像データに対して、一旦、復号処理を行い、次に、必要に応じてＹＣＣ信号をＲＧＢ信号に変換するなどの色変換処理を行った後、本実施の形態の画像処理装置１０１，１０３の処理を行えばよい。

また、本実施の形態の画像処理装置１０１，１０３を適用する対象は、先に示したデジタルカラー複写機１０２に限定されず、コピー機能、プリンタ機能、ファクシミリ送信機能およびscan to e-mail機能等を備えたデジタルカラー複合機であってもよい。

図２０は上記デジタルカラー複合機（画像処理装置、画像形成装置）１０４の構成を示すブロック図である。
上記デジタルカラー複合機１０４は、図２に示したデジタルカラー複写機１０２に対して、例えばモデムやネットワークカードよりなる通信装置１１６を追加した構成である。

このデジタルカラー複合機１０４では、ファクシミリの送信を行う場合、通信装置１１６にて相手先との送信手続きを行い、送信可能な状態が確保されると、所定の形式で圧縮された画像データ（スキャナで読み込まれた画像データ）をメモリ３から読み出し、圧縮形式の変更など必要な処理を施した後、その画像データを通信回線を介して相手先に順次送信する。

また、ファクシミリの受信を行う場合、通信手続きを行いながら相手先から送信されてくる画像データを受信してカラー画像処理装置１１５に入力する。カラー画像処理装置１１５では、受信した画像データに対して圧縮／伸張処理部（図示せず）にて伸張処理を施す。伸張された画像データは、必要に応じて、回転処理や解像度変換処理が行なわれ、出力階調補正（出力階調補正部１２９）、階調再現処理（階調再現処理部１０）が施され、カラー画像出力装置１１３から出力される。

また、デジタルカラー複合機１０４は、ネットワークカード、ＬＡＮケーブルを介して、ネットワークに接続されたコンピュータや他のデジタル複合機とデータ通信を行なう。

また、上記の例では、デジタルカラー複合機１０４について説明したが、この複合機はモノクロの複合機であっても構わない。また、単体のファクシミリ通信装置であっても構わない。

また、本実施の形態の画像処理装置１０１，１０３は、画像読取装置にも適用可能である。図２１は、本実施の形態の画像処理装置１０１，１０３を適用したカラー画像読取装置（画像処理装置）１０５の構成を示すブロック図である。このカラー画像読取装置１０５は例えばフラットベッドスキャナであり、デジタルカメラであってもよい。

カラー画像読取装置１０５は、カラー画像入力装置１１１とカラー画像処理装置１１７とを備え、カラー画像処理装置１１７は、Ａ／Ｄ変換部１２１、シェーディング補正部１２２、文書照合処理部１２３とを備えている。文書照合処理部１２３は、図１に示した文書照合処理部２もしくは図１８に示した文書照合処理部４に相当する。カラー画像処理装置１１７は、文書照合処理部４を備えている場合、さらに下地検知処理部１８も備えている。

カラー画像入力装置１１１（画像読取手段）は、例えばＣＣＤ（Charge Coupled Device ）を備えたスキャナ部より構成され、原稿からの反射光像を、ＲＧＢ（Ｒ：赤・Ｇ：緑・Ｂ：青）のアナログ信号としてＣＣＤにて読み取って、カラー画像処理装置１１７に入力するものである。

カラー画像入力装置１１１にて読み取られたアナログ信号は、カラー画像処理装置１１７内を、Ａ／Ｄ（アナログ／デジタル）変換部１２１、シェーディング補正部１２２、文書照合処理部１２３の順で送られる。

Ａ／Ｄ変換部１２１は、ＲＧＢのアナログ信号をデジタル信号に変換するもので、シェーディング補正部１２２は、Ａ／Ｄ変換部１２１より送られてきたデジタルのＲＧＢ信号に対して、カラー画像入力装置１１１の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施すものである。シェーディング補正部１２２ではカラーバランスの調整を行い、またＲＧＢの反射率信号を濃度信号に変換する。

文書照合処理部１２３の機能は、文書照合処理部２および文書照合処理部４において前述したとおりである。文書照合処理部１２３にて作成された共通フォーマットの画像データ、あるいは、合成画像データ（画像データの合成がなされた場合）は、ネットワークを介してプリンタや複合機に送信され出力される。あるいは、コンピュータを介してプリンタに、もしくは直接プリンタに入力さる。

また、カラー画像読取装置１０５をサーバー、コンピュータもしくはプリンタのうちの少なくとも一つを備えたシステムの一構成要素として使用する場合には次のような動作も可能である。例えば、カラー画像読取装置１０５から上記のように共通フォーマットの画像データあるいは合成画像データを出力するのではなく、カラー画像読取装置１０５が、読み込んだ画像データの特徴点および特徴量を抽出し、それら情報をサーバー、コンピュータ、プリンタに出力する。サーバー、コンピュータ、プリンタではそれら情報に基づいて、共通フォーマットを抽出する。

本発明はコンピュータに実行させるためのプログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を記録したコンピュータ読み取り可能な記録媒体に、上記した文書照合並びに出力制御を行う画像処理方法を記録するものとすることもできる。この結果、文書照合並びに出力制御、原稿画像の登録処理を行う画像処理方法を行うプログラムコードを記録した記録媒体を持ち運び自在に提供することができる。

なお、本実施の形態では、この記録媒体としては、マイクロコンピュータで処理が行われるためにメモリ（図示せず）、例えばＲＯＭそのものがプログラムメディアであっても良いし、また、外部記憶装置（図示せず）としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであっても良い。

何れの場合においても、格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であっても良いし、あるいは、何れの場合もプログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータのプログラム記憶エリア（図示せず）にダウンロードされて、そのプログラムコードが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。

ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスクやハードディスク等の磁気ディスクやCD−ROM／MO／MD／DVD等の光ディスクのディスク系、ICカード（メモリカードを含む）／光カード等のカード系、あるいはマスクROM、EPROM（Erasable Programmable Read Only Memory）、EEPROM（Electrically Erasable Programmable Read Only Memory）、フラッシュROM等による半導体メモリを含めた固定的にプログラムを担持する媒体であっても良い。

また、本実施の形態においては、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムコードをダウンロードするように流動的にプログラムを担持する媒体であっても良い。なお、このように通信ネットワークからプログラムコードをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであっても良い。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

上記記録媒体は、デジタルカラー画像形成装置やコンピュータシステムに備えられるプログラム読み取り装置により読み取られることで上述した画像処理方法が実行される。

また、コンピュータシステムは、フラットベッドスキャナ・フィルムスキャナ・デジタルカメラなどの画像入力装置、所定のプログラムがロードされることにより上記画像処理方法など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するＣＲＴディスプレイ・液晶ディスプレイなどの画像表示装置およびコンピュータの処理結果を紙などに出力するプリンタより構成される。さらには、ネットワークを介してサーバーなどに接続するための通信手段としてのネットワークカードやモデムなどが備えられる。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明の実施の形態の画像処理装置の構成を示すブロック図である。 図１に示した画像処理装置を備えるデジタルカラー複写機の構成を示すブロック図である。 図３（ａ）は図１に示した画像処理装置にて処理される基準原稿を示す説明図、図３（ｂ）は同第１の参照原稿を示す説明図、図３（ｃ）は同第２の参照原稿を示す説明図、図３（ｄ）は、上記基準原稿と参照原稿とから抽出される共通フォーマットの画像を示す説明図である。 図１に示したメモリに格納されている、基準画像についての各特徴点の特徴量（ハッシュ値）、各特徴点を表すインデックス、および各特徴点の座標を表すテーブルを示す説明図である。 図１に示したメモリに格納されている、基準画像と参照画画像との特徴量（ハッシュ値）が一致する特徴点の対応関係を示すテーブルである。 図１に示した特徴点算出部の構成を示すブロック図である。 図６に示したＭＴＦ補正処理部が備える混合フィルタのフィルタ係数を示す説明図である。 図１に示した特徴点算出部の処理により、２値化された画像データから抽出された連結領域およびこの連結領域の重心の一例を示す説明図である。 図１に示した特徴点算出部の処理により、２値化された画像データに含まれる文字列から抽出された複数の連結領域の各重心（特徴点）の一例を示す説明図である。 図１に示した特徴量算出部の構成を示すブロック図である。 図１０に示した特徴点抽出部での注目特徴点に対する周辺特徴点の抽出動作の説明図である。 図１２（ａ）は、特徴点抽出部にて抽出された周辺特徴点４点の中から選択し得る３点の組み合わせの一例を示すものであって、注目特徴点ａに対する周辺特徴点ｂ，ｃ，ｄの組合せの例を示す説明図、図１２（ｂ）は、同注目特徴点ａに対する周辺特徴点ｂ，ｃ，ｅの組合せの例を示す説明図、図１２（ｃ）は、同注目特徴点ａに対する周辺特徴点ｂ，ｄ，ｅの組合せの例を示す説明図、図１２（ｄ）は、同注目特徴点ａに対する周辺特徴点ｃ，ｄ，ｅの組合せの例を示す説明図である。 図１３（ａ）は、特徴点抽出部にて抽出された周辺特徴点４点のうちの一つに注目特徴点を移した場合に選択し得る３点の周辺特徴点の組み合わせの一例を示すものであって、注目特徴点ｂに対する周辺特徴点ａ，ｅ，ｆの組合せの例を示す説明図、図１３（ｂ）は、同注目特徴点ｂに対する周辺特徴点ａ，ｅ，ｃの組合せの例を示す説明図、図１３（ｃ）は、同注目特徴点ｂに対する周辺特徴点ａ，ｆ，ｃの組合せの例を示す説明図、図１３（ｄ）は、同注目特徴点ｂに対する周辺特徴点ｅ，ｆ，ｃの組合せの例を示す説明図である。 図１に示した座標変換部における、特徴量が一致する基準画像の特徴点と参照画像の特徴点とに基づいて、基準画像と参照画像との位置合せを行う動作の説明図である。 図１４に示した基準画像と参照画像との位置合せの結果得られる基準画像の特徴点の座標と参照画像の特徴点の座標との対応関係を示す説明図である。 図１に示した画像処理装置の動作を示すフローチャートである。 図１６に示した画像処理装置の動作の他の例を示すフローチャートである。 本発明の他の実施の形態の画像処理装置の構成を示すブロック図である。 図１８に示した画像処理装置の動作を示すフローチャートである。 本発明の実施の形態の画像処理装置を備えたデジタルカラー複合機の構成を示すブロック図である。 本発明の実施の形態の画像処理装置を備えたカラー画像読取装置の構成を示すブロック図である。

符号の説明

２ 文書照合処理部
３ メモリ（記憶手段）
４ 文書照合処理部
１１ 特徴点算出部
１２ 特徴量算出部
１３ 照合処理部
１４ 座標変換部
１５ 論理積算出部
１６ 登録処理部
１７ 合成処理部
１８ 下地検知処理部
１０１ 画像処理装置
１０２ デジタルカラー複写機（画像処理装置、画像形成装置）
１０３ 画像処理装置
１０４ デジタルカラー複合機（画像処理装置、画像形成装置）
１０５ カラー画像読取装置（画像処理装置）
１１３ カラー画像出力装置

Claims (10)

1. 入力された複数の原稿画像データのうちの第１および第２の原稿画像データから、第１の原稿画像データの特徴点である第１の特徴点、および第２の原稿画像データの特徴点である第２の特徴点を抽出する特徴点抽出部と、
   前記第１の特徴点の特徴量である第１の特徴量、および前記第２の特徴点の特徴量である第２の特徴量を算出する特徴量算出部と、
   前記第１の特徴量と前記第２の特徴量とを比較し、特徴量が一致する第１の特徴点と第２の特徴点とを抽出する照合処理部と、
   前記照合処理部にて抽出された第１の特徴点の座標および第２の特徴点の座標に基づいて、第２の原稿画像データの座標系を第１の原稿画像データの座標系に変換する座標変換部と、
   第１の原稿画像データと前記座標変換部にて処理された第２の原稿画像データとの論理積を求めることにより、第１の原稿画像データと第２の原稿画像データとに含まれる共通フォーマットの画像データを抽出する論理積算出部とを備え、
   前記論理積算出部にて抽出された共通フォーマットの画像データを前記第１の原稿画像データとし、前記各部での処理に使用した原稿画像データとは異なる原稿画像データを前記第２の原稿画像データとして、前記特徴点抽出部、前記特徴量算出部、前記照合処理部、前記座標変換部および前記論理積算出部の処理を行い、前記論理積算出部にて第２の共通フォーマットの画像データを抽出することを特徴とする画像処理装置。
2. 前記照合処理部は、特徴量が一致する第１の特徴点と第２の特徴点とをそれぞれ複数抽出し、
   前記座標変換部は、前記照合処理部にて抽出されたそれぞれ複数の第１の特徴点の座標および第２の特徴点の座標に基づいて、第２の原稿画像データの座標系を第１の原稿画像データの座標系に変換することを特徴とする請求項１に記載の画像処理装置。
3. 前記座標変換部は、第２の原稿画像データの座標に変換係数を乗算することにより、第２の原稿画像データの座標を第１の原稿画像データの座標系に変換する座標変換処理を行うものであり、特徴量が一致する第１の特徴点と第２の特徴点との組をランダムに複数組抽出する第１の処理、前記第１の処理にて抽出された複数組の第２の特徴点を前記第１の処理にて抽出された複数組の第１の特徴点に変換するための変換係数を求める第２の処理、前記照合処理部にて特徴量が一致するものとして抽出された第１の特徴点と第２の特徴点との全ての組について、前記第２の処理にて求めた変換係数を使用して第２の特徴点の座標変換を行い、第２の特徴点の座標変換後の座標値とこの座標値に対応する第１の特徴点の座標値との誤差を前記全ての組について計算する第３の処理、および前記各誤差を値が大きい順序に並べたときの中央値を変換係数の評価値とする第４の処理を行い、これら第１の処理から第４の処理を複数回繰り返し、得られた各評価値のうち、最も値が小さくなるときの変換係数を前記座標変換処理に使用する前記変換係数とすることを特徴とする請求項２に記載の画像処理装置。
4. 前記第１の原稿画像データおよび前記論理積算出部にて抽出された共通フォーマットの画像データを記憶する記憶手段と、
   前記第１の原稿画像データから前記共通フォーマットの画像データに対応する画像データを読み出して出力する合成処理部とを備えていることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記第１の原稿画像データから下地の画像データを抽出し、前記記憶手段に格納する下地検知処理部を備え、
   前記合成処理部は、前記第１の原稿画像データから前記共通フォーマットの画像データに対応する画像データを読み出し、この画像データの前記共通フォーマット部分以外の領域に前記下地の画像データを合成して出力することを特徴とする請求項４に記載の画像処理装置。
6. 入力された複数の原稿画像データのうちの第１および第２の原稿画像データから、第１の原稿画像データの特徴点である第１の特徴点、および第２の原稿画像データの特徴点である第２の特徴点を抽出する特徴点抽出工程と、
   前記第１の特徴点の特徴量である第１の特徴量、および前記第２の特徴点の特徴量である第２の特徴量を算出する特徴量算出工程と、
   前記第１の特徴量と前記第２の特徴量とを比較し、特徴量が一致する第１の特徴点と第２の特徴点とを抽出する照合処理工程と、
   前記照合処理工程にて抽出された第１の特徴点の座標および第２の特徴点の座標に基づいて、第２の原稿画像データの座標系を第１の原稿画像データの座標系に変換する座標変換工程と、
   第１の原稿画像データと前記座標変換工程にて処理された第２の原稿画像データとの論理積を求めることにより、第１の原稿画像データと第２の原稿画像データとに含まれる共通フォーマットの画像データを抽出する論理積算出工程とを備え、
   前記論理積算出工程にて抽出された共通フォーマットの画像データを前記第１の原稿画像データとし、前記各工程での処理に使用した原稿画像データとは異なる原稿画像データを前記第２の原稿画像データとして、前記特徴点抽出工程、前記特徴量算出工程、前記照合処理工程、前記座標変換工程および前記論理積算出工程の処理を行い、前記論理積算出工程にて第２の共通フォーマットの画像データを抽出することを特徴とする画像処理方法。
7. 前記照合処理工程では、特徴量が一致する第１の特徴点と第２の特徴点とをそれぞれ複数抽出し、
   前記座標変換工程では、前記照合処理工程にて抽出されたそれぞれ複数の第１の特徴点の座標および第２の特徴点の座標に基づいて、第２の原稿画像データの座標系を第１の原稿画像データの座標系に変換し、
   さらに、前記座標変換工程では、第２の原稿画像データの座標に変換係数を乗算することにより、第２の原稿画像データの座標を第１の原稿画像データの座標系に変換する座標変換処理を行うものであり、特徴量が一致する第１の特徴点と第２の特徴点との組をランダムに複数組抽出する第１の処理、前記第１の処理にて抽出された複数組の第２の特徴点を前記第１の処理にて抽出された複数組の第１の特徴点に変換するための変換係数を求める第２の処理、前記照合処理工程にて特徴量が一致するものとして抽出された第１の特徴点と第２の特徴点との全ての組について、前記第２の処理にて求めた変換係数を使用して第２の特徴点の座標変換を行い、第２の特徴点の座標変換後の座標値とこの座標値に対応する第１の特徴点の座標値との誤差を前記全ての組について計算する第３の処理、および前記各誤差を値が大きい順序に並べたときの中央値を変換係数の評価値とする第４の処理を行い、これら第１の処理から第４の処理を複数回繰り返し、得られた各評価値のうち、最も値が小さくなるときの変換係数を前記座標変換処理に使用する前記変換係数とすることを特徴とする請求項６に記載の画像処理方法。
8. 請求項１から５項の何れかに記載の画像処理装置と画像データを印刷して出力可能な画像出力手段とを備えることを特徴とする画像形成装置。
9. 請求項１から５のいずれか１項に記載の画像処理装置の前記の各部としてコンピュータを機能させるためのプログラム。
10. 請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images