JP3849385B2

JP3849385B2 - 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体

Info

Publication number: JP3849385B2
Application number: JP2000026624A
Authority: JP
Inventors: 大作保理江
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2000-02-03
Filing date: 2000-02-03
Publication date: 2006-11-22
Anticipated expiration: 2020-02-03
Also published as: US20010017945A1; JP2001216501A; US7123291B2

Description

【０００１】
【発明の属する技術分野】
この発明は画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体に関し、特に、被写体を分割撮像して得られる複数の画像を貼合せて解像度の高い画像を撮影する画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来、被写体を分割撮像して得られる複数の部分画像を貼合せて解像度の高い画像を得る技術が知られている。これは、電荷結合素子（以下「ＣＣＤ」という）等の画素数に制限されて入力可能な画像の解像度が制限される場合に、解像度の高い画像を得るために有効な技術である。この技術としては、たとえば、特開平６−１６４８９０号公報、特開平５−１２４３０号公報および特開平６−９８１０１号公報がある。
【０００３】
これらの貼合せ技術においては、貼合せの対象となる分割画像間で、対応する特徴点や画素値変化の相関が検出され、求められる画像間の相対的な位置関係に基づき、位置合せが行なわれる。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の貼合せ技術においては、ＣＣＤ等で部分画像が入力される際の位置ずれや、レンズ歪み、あるいは煽り歪み等による微少な歪みが原因で、貼合せられる部分画像間のオーバーラップする領域が、完全に一致しない場合が生じる。この場合、貼合せられた画像の繋ぎ目部分において、不自然な画像となったり、画像がぼけたりして画質が低下するといいった問題があった。
【０００５】
また、貼合せの対象となる分割画像間で対応する特徴点の検出や画素値変化の相関の検出に時間がかかるといった問題があった。
【０００６】
この発明は上述の問題点を解決するためになされたもので、この発明の目的の１つは、複数の画像を貼合せた画像の画質が劣化するのを防止した画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体を提供することである。
【０００７】
この発明の他の目的は、複数の画像を貼合せる処理の速度を高めた画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体を提供することである。
【０００８】
【課題を解決するための手段】
上述の目的を達成するためにこの発明によれば、画像処理装置は、一部がオーバーラップするオーバーラップ領域を有するように被写体を分割撮像して得られる複数の分割画像を得る撮像素子と、前記複数の分割画像のうち、前記オーバーラップ領域を互いに有する第１の分割画像および第２の分割画像の間で対応する複数の対応点を検出する対応点検出部と、前記対応点検出部によって検出された前記第１の分割画像と前記第２の分割画像のそれぞれの対応点の位置をＰｉ，Ｑｉとし、また、前記第１の分割画像の対応点と前記第２の分割画像の対応点の対応点対の重み付け係数をＫｉとしたときに、以下の評価式（Ａ）で求められるＳｋが最小となる場合の変形パラメータＦを検出する変形パラメータ検出部と、
Ｓｋ＝ΣＫｉ（Ｐｉ−Ｆ（Ｑｉ））^２ …（Ａ）
前記対応点検出部によって検出された複数の対応点および前記変形パラメータ検出部によって検出された変形パラメータＦに基づき、前記第１の分割画像と前記第２の分割画像を貼合せる貼合せ部とを含み、前記変形パラメータ検出部は、前記評価式（Ａ）において、前記位置Ｐｉおよび前記位置Ｑｉが前記オーバーラップ領域の中の前記第１の分割画像および前記第２の分割画像以外の他の分割画像がさらに重なる領域に存在する場合には、前記位置Ｐｉおよび前記位置Ｑｉが前記オーバーラップ領域の中の前記第１の分割画像および前記第２の分割画像のみが重なる部分に存在する場合よりも、前記重み付け係数Ｋｉを大きくすることを特徴とする。
【０００９】
この発明に従えば、より多くの分割画像がオーバーラップする領域を重視して２つの分割画像が貼合されるので、分割画像の貼合せにおいてオーバーラップする領域におけるずれが少なくなる。これにより、貼合せられた画像のぼけやつぎはぎ部分が目立つのを防止することができる。その結果、複数の画像を貼合せた画像の画質を向上させた画像処理装置を提供することができる。
【００１２】
好ましくは、前記第１の分割画像と前記第２の分割画像の相対的な位置関係を検出するための対応関係検出部をさらに含み、前記対応点検出部は、前記対応関係検出部により検出された前記第１の分割画像と前記第２の分割画像の相対的な位置関係に基づいて、前記複数の対応点を検出することを特徴とする。
【００１３】
この発明に従えば、互いにオーバーラップするオーバーラップ領域を有する２つの分割画像の位置ずれ方向等の相対的な位置関係に基づいて、２つの分割画像の間で対応する複数の対応点が設定されるので、複数の画像を正確に貼りつけることが可能な画像処理装置を提供することができる。また、処理速度を高めた画像処理装置を提供することができる。
【００１８】
さらに好ましくは、画像処理装置の設定手段により設定される複数の対応点は、所定の距離だけ離れた対応点を含むことを特徴とする。
【００１９】
この発明に従えば、設定される複数の対応点は、所定の距離だけ離れた対応点を含むので、近接した対応点のみが設定されることがない。これにより、複数の画像をより正確に貼合せることができる。
【００２０】
この発明によれば、画像処理方法は、一部がオーバーラップするオーバーラップ領域を有するように被写体を分割撮像して複数の分割画像を得る撮像ステップと、前記複数の分割画像のうち、前記オーバーラップ領域を互いに有する第１の分割画像および第２の分割画像の間で対応する複数の対応点を検出する対応点検出ステップと、前記対応点検出ステップによって検出された前記第１の分割画像と前記第２の分割画像のそれぞれの対応点の位置をＰｉ，Ｑｉとし、また、前記第１の分割画像の対応点と前記第２の分割画像の対応点の対応点対の重み付け係数をＫｉとしたときに、以下の評価式（Ａ）で求められるＳｋが最小となる場合の変形パラメータＦを検出する変形パラメータ検出ステップと、
Ｓｋ＝ΣＫｉ（Ｐｉ−Ｆ（Ｑｉ））^２ …（Ａ）
前記対応点検出ステップによって検出された複数の対応点および前記変形パラメータ検出部によって検出された変形パラメータＦに基づき、前記第１の分割画像と前記第２の分割画像を貼合せる貼合せステップとを含み、前記変形パラメータ検出ステップは、前記評価式（Ａ）において、前記位置Ｐｉおよび前記位置Ｑｉが前記オーバーラップ領域の中の前記第１の分割画像および前記第２の分割画像以外の他の分割画像がさらに重なる領域に存在する場合には、前記位置Ｐｉおよび前記位置Ｑｉが前記オーバーラップ領域の中の前記第１の分割画像および前記第２の分割画像のみが重なる部分に存在する場合よりも、前記重み付け係数Ｋｉを大きくすることを特徴とする。
【００２１】
この発明に従えば、より多くの分割画像がオーバーラップする領域を重視して２つの分割画像が貼合されるので、分割画像の貼合せにおいてオーバーラップする領域におけるずれが少なくなる。これにより、貼合せられた画像のぼけやつぎはぎ部分が目立つのを防止することができる。その結果、複数の画像を貼合せた画像の画質を向上させた画像処理方法を提供することができる。
【００２２】
好ましくは、前記第１の分割画像と前記第２の分割画像の相対的な位置関係を検出するための対応関係検出ステップをさらに含み、前記対応点検出ステップは、前記対応関係検出ステップにより検出された前記第１の分割画像と前記第２の分割画像の相対的な位置関係に基づいて、前記複数の対応点を検出することを特徴とする。
【００２３】
この発明に従えば、互いにオーバーラップするオーバーラップ領域を有する２つの分割画像の位置ずれ方向等の相対的な位置関係に基づいて、２つの分割画像の間で対応する複数の対応点が設定されるので、複数の画像を正確に貼りつけることが可能な画像処理方法を提供することができる。また、処理速度を高めた画像処理方法を提供することができる。
【００２４】
好ましくは、前記対応点検出ステップにより検出される複数の対応点は、所定の距離だけ離れた対応点を含むことを特徴とする。
【００２５】
この発明に従えば、設定される複数の対応点は、所定の距離だけ離れた対応点を含むので、近接した対応点のみが設定されることがない。これにより、複数の画像をより正確に貼合せることができる。
【００２６】
この発明によれば、画像処理プログラムを記録したコンピュータ読取可能な記録媒体は、前記画像処理プログラムが、コンピュータに、一部がオーバーラップするオーバーラップ領域を有するように被写体を分割撮像して複数の分割画像を得る撮像ステップと、前記複数の分割画像のうち、前記オーバーラップ領域を互いに有する第１の分割画像および第２の分割画像の間で対応する複数の対応点を検出する対応点検出ステップと、前記対応点検出ステップによって検出された前記第１の分割画像と前記第２の分割画像のそれぞれの対応点の位置をＰｉ，Ｑｉとし、また、前記第１の分割画像の対応点と前記第２の分割画像の対応点の対応点対の重み付け係数をＫｉとしたときに、以下の評価式（Ａ）で求められるＳｋが最小となる場合の変形パラメータＦを検出する変形パラメータ検出ステップと、
Ｓｋ＝ΣＫｉ（Ｐｉ−Ｆ（Ｑｉ））^２ …（Ａ）
前記対応点検出ステップによって検出された複数の対応点および前記変形パラメータ検出部によって検出された変形パラメータＦに基づき、前記第１の分割画像と前記第２の分割画像を貼合せる貼合せステップとを実行させ、前記変形パラメータ検出ステップは、前記評価式（Ａ）において、前記位置Ｐｉおよび前記位置Ｑｉが前記オーバーラップ領域の中の前記第１の分割画像および前記第２の分割画像以外の他の分割画像がさらに重なる領域に存在する場合には、前記位置Ｐｉおよび前記位置Ｑｉが前記オーバーラップ領域の中の前記第１の分割画像および前記第２の分割画像のみが重なる部分に存在する場合よりも、前記重み付け係数Ｋｉを大きくすることを特徴とする。
【００２７】
この発明に従えば、より多くの分割画像がオーバーラップする領域を重視して２つの分割画像が貼合されるので、分割画像の貼合せにおいてオーバーラップする領域におけるずれが少なくなる。これにより、貼合せられた画像のぼけやつぎはぎ部分が目立つのを防止することができる。その結果、複数の画像を貼合せた画像の画質を向上させることが可能な画像処理プログラムを記録したコンピュータ読取可能な記録媒体を提供することができる。
【００２８】
好ましくは、前記画像処理プログラムは、コンピュータに、前記第１の分割画像と前記第２の分割画像の相対的な位置関係を検出するための対応関係検出ステップをさらに実行させ、前記対応点検出ステップは、前記対応関係検出ステップにより検出された前記第１の分割画像と前記第２の分割画像の相対的な位置関係に基づいて、前記複数の対応点を検出することを特徴とする。
【００２９】
この発明に従えば、互いにオーバーラップするオーバーラップ領域を有する２つの分割画像の位置ずれ方向等の相対的な位置関係に基づいて、２つの分割画像の間で対応する複数の対応点が設定されるので、複数の画像を正確に貼りつけることが可能な画像処理プログラムを記録したコンピュータ読取可能な記録媒体を提供することができる。また、処理速度を高めた画像処理プログラムを記録したコンピュータ読取可能な記録媒体を提供することができる。
【００３０】
好ましくは、前記対応点検出ステップにより検出される複数の対応点は、所定の距離だけ離れた対応点を含むことを特徴とする。
【００３１】
この発明に従えば、設定される複数の対応点は、所定の距離だけ離れた対応点を含むので、近接した対応点のみが設定されることがない。これにより、複数の画像をより正確に貼合せることができる。
【００３２】
【発明の実施の形態】
以下、本発明の実施の形態の一例における画像処理装置を備えたスキャナについて図面を参照しながら説明する。なお、図中同一符号は同一または相当する部材を示し、説明は繰返さない。
【００３３】
図１は、本発明の実施の形態の１つにおけるスキャナの回路構成を示すブロック図である。図１を参照して、スキャナ１は、スキャナ１の全体の制御を行なう中央演算装置（以下「ＣＰＵ」という）１００と、撮像を行なう撮像素子としてのＣＣＤ１０４と、ＣＣＤ１０４を移動させてＣＣＤ１０４と被写体との相対的な位置を変更するための移動部１０６と、ＣＣＤ１０４からの画像を一時記憶するためのランダムアクセスメモリ（以下「ＲＡＭ」という）１０８と、ＲＡＭ１０８に記憶された複数の画像の対応関係を検出するための対応関係検出部１１０と、貼合せの対象となる２つの画像間で対応する複数の対応点を検出するための対応点検出部１１２と、検出された対応点に基づき、画像を幾何変換するのに用いられる変換パラメータを検出するための変換パラメータ検出部１１４と、検出された変形パラメータおよび対応点に基づき２つの画像を貼合せるための貼合せ部１１６と、貼合せられた画像を出力するための出力部１１８と、ＣＰＵ１００で実行するためのプログラムを記憶するためのリードオンリメモリ（以下「ＲＯＭ」という）１０２とを備える。
【００３４】
なお、スキャナ１のＣＰＵ１００に外部記憶装置１２２を接続し、ＣＤ−ＲＯＭ１２４や光磁気ディスク、デジタルビデオディスク、フロッピーディスク等からスキャナ１の制御のためのプログラムを読取るようにしてもよい。この場合、後述する貼合せ処理をＣＰＵ１００で実行するためのプログラムが、ＣＤ−ＲＯＭ１２４などの記録媒体に記録され、外部記憶装置１２２でそのプログラムを読取ることによりＣＰＵ１００で実行可能になる。ＣＰＵ１００でプログラムを実行することにより貼合せ処理を行なう場合には、対応関係検出部１１０、対応点検出部１１２、変形パラメータ検出部１１４および貼合せ部１１６が不要となる。
【００３５】
また、以下に述べる貼合せ処理はスキャナ１の内部で行なってもよいし、スキャナ１に接続された別のスキャナやパーソナルコンピュータの端末などにデータを伝送してそこで行なってもよい。この場合、上述の貼合せ処理プログラムを、ＣＤ―ＲＯＭなどの記録媒体からパーソナルコンピュータに入力し、パーソナルコンピュータのＣＰＵで実行する。
【００３６】
本実施の形態におけるスキャナ１は、原稿を分割撮影し、得られる複数の部分画像を貼合せて１つの画像を出力する。具体的には、デジタルカメラやミノルタ社製ＢＣ３０００のように本などを上方から撮影するスキャナ等に適用することができる。以下、スキャナ１の説明を簡単にするために、原稿を４分割して撮影し、得られる４つの部分画像の貼合せを例に説明する。
【００３７】
なお、分割数は４に限られることはなく、４以上でも偶数または奇数の分割でもよく、任意の分割数とすることができる。
【００３８】
図１を参照して、ＣＣＤ１０４は、ＣＰＵ１００の指示により、積分を開始し、積分を終了すればＣＣＤデータのＲＡＭ１０８へのダンプを行なう。これにより、ＲＡＭ１０８に１枚の部分画像が記憶される。
【００３９】
移動部１０６は、ＣＰＵ１００の指示により、ＣＣＤ１０４の撮影位置を移動させ、ＣＣＤ１０４で異なる複数の部分画像の撮影を可能とする。スキャナ１で４分割して撮影する場合には、原稿を左上、右上、左下および右下の４つの部分に分割して撮影することとなる。ＣＣＤ１０４の撮影範囲に原稿を分割した４つの部分のいずれかが収まるようにＣＣＤ１０４の位置が移動部１０６により移動される。ＣＣＤの位置は、隣り合う２つの部分画像がオーバーラップするように定められる。なお、ＣＣＤを移動させるのではなく、原稿を移動させるようにしてもよい。また、ＣＣＤと原稿を移動させず、その間の光学系の移動により撮像領域を変更して分割画像を撮影してもよい。
【００４０】
移動部１０６によるＣＣＤ１０４の移動と、ＣＣＤ１０４による撮影とを繰返すことで、原稿の左上部分を撮影した左上部分画像と、右上部分を撮影した右上部分画像と、左下部分を撮影した左下部分画像と、右下部分を撮影した右下部分画像とが得られる。
【００４１】
図２は、原稿の一例を示す図である。図３は、図２に示す原稿を４分割撮影して得られる４つの部分画像の一例を示す図である。図３（Ａ）は左上部分画像Ｐを示し、図３（Ｂ）は右上部分画像Ｑを示し、図３（Ｃ）は左下部分画像Ｒを示し、図３（Ｄ）は右下部分画像Ｓを示す。
【００４２】
左上部分画像Ｐの右側のオーバーラップ部１３０Ａは、右上部分画像Ｑの左側のオーバーラップ部１３０Ｂとオーバーラップする。左上部分画像Ｐの下側のオーバーラップ部１３２Ａは、左下部分画像Ｒの上側のオーバーラップ部１３２Ｂとオーバーラップする。同様に、右下部分画像Ｓの左側のオーバーラップ部１３１Ｂは、左下部分画像Ｒの右側のオーバーラップ部１３１Ａとオーバーラップする。そして、右下部分画像Ｓの上側のオーバーラップ部１３３Ｂは、右上部分画像Ｑの下側のオーバーラップ部１３３Ａとオーバーラップする。
【００４３】
これらのオーバーラップする部分１３０Ａと１３０Ｂ、１３１Ａと１３１Ｂ、１３２Ａと１３２Ｂ、１３３Ａと１３３Ｂの画像に含まれる被写体像は、２つの部分画像で誤差を除きほぼ同じ画像である。
【００４４】
スキャナ１の対応関係検出部１１０は、ＲＡＭ１０８に記憶された複数の部分画像の対応関係を検出する。対応関係とは、貼合される２つの部分画像の相対的な位置関係を示す。ＣＣＤ１０４で撮影して得られる部分画像は、左右に並ぶ部分画像は上下方向に、上下に並ぶ部分画像は左右方向に一致して得られるのが好ましいが、実際には、それぞれの方向にずれることが多い。たとえば、図２（Ａ）と図２（Ｂ）とに示した左上部分画像Ｐと右上部分画像Ｑとでは、上下方向のずれが生じ、左上部分画像Ｐと左下部分画像Ｒとでは左右方向のずれが生じる。
【００４５】
相対的な位置関係は、貼合せの対象となる２つの部分画像のうちいずれの部分画像が原稿の中心方向にずれているかで表わされる。たとえば、図２に示す左上部分画像Ｐと右上部分画像Ｑとでは、原稿の中心方向は下方向となり、下方向にずれている部分画像で表わされる。左下部分画像Ｒと右下部分画像Ｓとでは、原稿の中心方向は上方向となり、上方向にずれている部分画像で表わされる。左上部分画像Ｐと左下部分画像Ｒとでは、原稿の中心方向は右方向となり、右方向にずれている部分画像で表わされる。右上部分画像Ｑと右下部分画像Ｓとでは、原稿の中心方向は左方向となり、左方向にずれている部分画像で表わされる。
【００４６】
この相対的な位置関係は、ＲＡＭ１０８に記憶されている複数の部分画像を縮小して低解像度の画像にし、縮小した部分画像から選択された２つの部分画像それぞれの上下方向または左右方向の中央付近で画素値の相関を用いて粗い位置合せを行なったり、２つの部分画像の水平方向または垂直方向への射影ヒストグラムの分布を比較したりすることにより、いずれの画像が原稿の中心方向にずれているかを容易に検出することができる。
【００４７】
なお、解像度の低い縮小画像を用いるのは、処理速度を向上させるためである。したがって、処理速度を向上させる必要がない場合には、縮小画像を用いる必要がない。
【００４８】
また、移動部１０６の出力をもとに、左上、右上、左下、右下のいずれの部分画像であるかを、ＣＣＤ１０４で撮影された部分画像とともにＲＡＭ１０８に記憶するようにすれば、相対的な位置関係の検出がさらに容易となる。
【００４９】
スキャナ１の対応点検出部１１２は、対応関係検出部１１０で検出された相対的な位置関係をもとに、貼合せの対象となる部分画像間で共通する対応点を検出する。対応点検出部１１２で求められた対応点は、ＲＡＭ１０８に記憶される。
【００５０】
２つの部分画像を貼合せる方法には、両画像を総当たり的に重ね合わせて相関の最も高い変形を求めることで両画像の対応関係を求める方法がある。この場合、最初は両画像を縮小した画像で対応関係を求め、解像度を徐々に上げることが行なわれる。また、相関は、両画像の差分値等が用いられる。この方法は、両画像を貼合せる場合に幾何変形を必要としない平行ずれのみの場合には、少ない処理時間である程度の精度で対応関係を求めることができる。しかし、両画像を貼合せる場合に回転移動や変倍等の幾何変形を必要とする場合には、局所的に、あるいは領域単位で対応関係を求めるのが、処理速度が向上するため好ましい。
【００５１】
２つの部分画像間で対応する対応点を検出する方法には、２つの方法がある。図４は、対応点を検出する第１の方法を示す図である。図４を参照して、第１の方法は、一方の部分画像１４１に含まれる特徴点１４１Ａ〜１４１Ｄと、他方の部分画像１４２に含まれる特徴点１４２Ａ〜１４２Ｄをそれぞれ検出し、一方の部分画像１４１に含まれる特徴点１４１Ａ〜１４１Ｄそれぞれを、他方の部分画像１４２に含まれる特徴点１４２Ａ〜１４２Ｄに対して総当たりで比較し、対応関係の有無を検出するものである。この方法によれば、一方の部分画像に含まれる特徴点を他方の部分画像に含まれる特徴点と総当たりで比較して対応の有無を判定するため、処理に時間がかかるという問題がある。
【００５２】
図５は、対応点を検出する第２の方法を示す図である。図５を参照して第２の方法は、一方の部分画像１４３に含まれる特徴点１４３Ａ〜１４３Ｄを検出し、検出された特徴点１４３Ａ〜１４３Ｄに対応する特徴点を、他方の部分画像１４４から検出する方法である。
【００５３】
特徴点は、二次微分フィルタ処理することにより検出されるエッジや、画素値の極大点、極小点等とすることができる。特徴点は、これらの方法により検出されるものに限られず、既存の他の方法により求めることができる。また、特徴点は点でなくても点が集合した特徴的な領域であってもよい。
【００５４】
特徴点の対応は、たとえば、一方の部分画像に含まれる特徴点を中心とするブロックと他方の部分画像に含まれる特徴点を中心とするブロックとの間の画像間の差分の絶対値和を求め、求めた絶対値和が最小となるようなブロックの組合せを求めることで検出される。
【００５５】
第２の方法によれば、第１の方法に比べて処理時間が短いという利点がある。しかし、図５に示すように一方の部分画像１４３が他方の部分画像１４４よりも下側に大きくずれているような場合には、一方の部分画像１４３に含まれる特徴点１４３Ｄに対応する特徴点が他方の部分画像１４４に存在しないことになる。このような場合、本来対応していない不適当な特徴点が他方の部分画像１４４から誤って検出されたり、対応する特徴点を検出するために余分な処理時間を必要としたりするという問題がある。
【００５６】
この問題は、より外側にある部分画像を基準にして対応する特徴点を検出することにより解決できる。より外側とは、貼合せの対象となる２つの部分画像の相対的な位置から求められ、他の部分画像を含む３つ以上の部分画像が重なる領域から離れる方向をいう。より外側にある部分画像の検出は、対応関係検出部１１０の出力をもとに検出される。
【００５７】
図６は、４分割撮影して得られる４つの部分画像を貼合せた結果を示す図である。４つの部分画像Ｐ，Ｑ，Ｒ，Ｓが貼合されることにより、４つの部分画像Ｐ，Ｑ，Ｒ，Ｓが重なる重なり領域１５１が生じる。重なり領域１５１は、４つの部分画像Ｐ，Ｑ，Ｒ，Ｓを貼合せてできる画像１５０のほぼ中央に位置する。
【００５８】
上側の２つの部分画像Ｐ，Ｑの相対的な位置は、右上部分画像Ｑが左上部分画像Ｐよりも重なり領域１５１から離れる方向にある。したがって、右上部分画像Ｑがより外側にある部分画像であり、基準となる部分画像である。
【００５９】
左上部分画像Ｐと左下部分画像Ｒの相対的な位置関係は、左上部分画像Ｑが左下部分画像Ｒよりも重なり領域１５１から離れる方向にある。したがって、左上部分画像Ｑがより外側にある部分画像であり、基準となる部分画像である。同様に、左下部分画像Ｒと右下部分画像Ｓの位置関係は、右下部分画像Ｒが外側にある部分画像であり、基準となる。右上部分画像Ｑと右下部分画像Ｓの位置関係は、右上部分画像Ｑが外側にある部分画像であり、基準となる。
【００６０】
ここで、図６に示した４つの部分画像Ｐ，Ｑ，Ｒ，Ｓのうち上側２つの部分画像Ｐ，Ｑについて、それぞれの部分画像に含まれる特徴点の対応を検討する。基準となる右上部分画像Ｑは、その上端部分で左上部分画像Ｐとオーバーラップしていない。このオーバーラップしていない領域に存在する特徴点に対応する特徴点は、左上部分画像Ｐには存在しないことは明らかである。したがって、基準となる右上部分画像Ｑに含まれる特徴点のうち重なり領域１５１から離れた特徴点を検出しないようにすればよい。
【００６１】
図７は、部分画像Ｐ，Ｑの対応点を検出する処理を説明するための図である。基準となる右上部分画像Ｑを上下方向に４等分し、そのうち下側３つの領域に含まれる特徴点１５２Ａ，１５２Ｂを検出する。そして、特徴点１５２Ａ，１５２Ｂにそれぞれ対応する特徴点１５３Ａ，１５３Ｂを左上部分画像Ｐから検出する。それぞれの領域で複数の特徴点が検出される場合は、最も左側にある特徴点を採用すればよい。最も左側にある特徴点が左側部分画像Ｐに含まれる可能性が最も高いからである。このようにすれば、基準となる右上部分画像Ｑから検出された特徴点に対応する特徴点が、左上部分画像Ｐから検出される確率が高くなる。このため、余分な処理時間を費やすことがなくなる。
【００６２】
これとは逆に、より外側にない左上部分画像Ｐを基準とし、左上部分画像Ｐを上下方向に４等分したうち上側の３つの領域に含まれる特徴点を検出し、検出された特徴点に対応する特徴点を右上部分画像Ｑから検出するようにすることも考えられる。左上部分画像Ｐの最も下側の領域に含まれる特徴点は、貼合せてできる画像１５０の中央付近に位置することになる。画像１５０の中央付近は、画像１５０の端付近よりも画質の変化が人の目につきやすいので、中央付近の対応点は、端付近の対応点よりも重要度が高い。したがって、より外側にある右上部分画像Ｑを基準として対応点を検出するのが好ましい。
【００６３】
なお、部分画像を４等分するようにしたが、貼合せる２つの部分画像の相対的な位置ずれの量が対応関係検出部１１０で検出されるのであれば、このずれ量に相当する領域に含まれる特徴点を検出しないようにしてもよい。
【００６４】
一方、基準とする部分画像を対応点の位置により変える方法がある。図８は、部分画像Ｐ，Ｑの対応点の検出を説明するための別の図である。図８を参照して、部分画像Ｐ，Ｑの上方半分における対応点を検出する場合、より内側にある左上部分画像Ｐを基準とし、下方半分における対応点を検出する場合、より外側にある右上部分画像Ｑを基準とする。より内側にある部分画像とは、重なり領域１５１に近づく方向にある部分画像をいい、より外側にある部分画像とは、重なり領域１５１から離れる方向にある部分画像をいう。
【００６５】
このように、貼合せの対象となる２つの部分画像の相対的な位置関係に加えて、特徴点の部分画像内における位置に基づき、基準となる部分画像を変えることによってより確実に対応点を検出することができる。
【００６６】
図９は、９分割撮影して得られる９つの部分画像を貼合せた結果を示す図である。４つ以上の部分画像の貼合せにおける対応点の検出は、３つの部分画像が重なる領域から離れる方向にある部分画像を基準とすればよい。たとえば、３つの部分画像１６０，１６１，１６３を貼合せることにより、３つの部分画像１６０，１６１，１６３が重なる重なり領域１６９が生じる。部分画像１６０と部分画像１６１との相対的な位置関係は、部分画像１６０の方が重なり領域１６９から離れる方向にあり、より外側にある。したがって、部分画像１６０と部分画像１６１との間における対応点の検出は、部分画像１６０を基準にして検出するようにすればよい。同様に、部分画像１６０と部分画像１６３との相対的な位置関係は、部分画像１６０の方が重なり領域１６９から離れる方向にあり、より外側にある。したがって、部分画像１６０と部分画像１６３との間における対応点の検出は、部分画像１６０を基準にして検出すればよい。
【００６７】
また、部分画像が２枚を超える場合の貼合せだけではなく、部分画像が２枚の場合の貼合せにおいても上述の方法により対応点を検出することができる。たとえば、左右２つに分割された部分画像の貼合せにおいて、どちらの部分画像が上であるかの相対的な位置関係の判定を行なわない場合には、予め対応点検出に用いる特徴点の検出範囲を基準となる部分画像内で限定すれば対応点を検出することができる。
【００６８】
しかしながら、特徴点を検出するための範囲を、上下方向において左側部分画像の中央付近にする必要があるため、検出されると対応点は画像の中央付近に集中する。このため、貼合せた画像の上端部または下端部がぼけるおそれがある。また、上端部または下端部に特徴的な領域が存在し、中央部分には特徴的な領域が存在しない場合、特徴点が検出されない場合がある。
【００６９】
これに対して、左側の部分画像と右側の部分画像との相対的な位置関係がわかっていれば、図７および図８で説明した対応点の検出方法を用いることができる。たとえば、左側の部分画像が右側の部分画像よりも下側にずれていることがわかっている場合、２つの部分画像間の極端なサイズのずれがなければ、右側の部分画像の下方部分は確実に左側の部分画像内に存在する。このため、右側の部分画像を基準にして、右側部分画像の下部の領域の特徴点を検出し、検出された特徴点に対応する特徴点を左側部分画像から確実に検出することができる。このようにして、２つの部分画像のみの貼合せにおいても、２つの部分画像の相対的な位置関係を用いて最適な対応点を確実に検出することができる。
【００７０】
スキャナ１のパラメータ検出部１１４は、対応点検出部１１２で求められた対応点をもとに、部分画像を幾何変形するための変形パラメータを求める。部分画像の変形は、アフィン変換やヘルマート変換等を用いることができる。
【００７１】
次に、変形パラメータの算出について、左側部分画像と右側部分画像とを貼合せる場合を例に説明する。変形パラメータは、左側部分画像を基準とした右側部分画像の変形パラメータをＦとした場合、評価式（１）で求められる値Ｓを最小にするようなＦを求めることで、変形パラメータを求めることができる。
【００７２】
Ｓ＝Σ（Ｐｉ−Ｆ（Ｑｉ））² …（１）
ただし、Ｐｉは左側部分画像の特徴点の位置を示し、Ｑｉは右側部分画像内の特徴点の位置を示す。
【００７３】
さらに、上述の評価式（１）に重み付けを考慮した評価式（２）を用いることで、特定の特徴点対（Ｐｉ，Ｑｉ）を重視することができる。
【００７４】
Ｓｋ＝ΣＫｉ（Ｐｉ−Ｆ（Ｑｉ））² …（２）
ただし、Ｋｉは各特徴点対に対応する重み付けを示す。
【００７５】
上式（２）において、係数Ｋｉを大きくすることで、特定の特徴点を重視した変形パラメータＦを求めることができる。
【００７６】
なお、重なり領域内の位置ごとに特徴点の重視度を変えることができるのであれば、変形パラメータＦの算出方法や特徴点の重視方法は上述のものに限定されるわけではない。
【００７７】
図６に示した４分割撮影して得られる部分画像Ｐ，Ｑ，Ｒ，Ｓの貼合せにおいては、重なり領域１５１あるいはその近傍に含まれる対応点の重視度を上げるようにすれば、貼合せられた画像１５０の中心付近の画質が向上する。同様に、図９に示した９分割撮影して得られる部分画像の貼合せにおいては、たとえば、重なり領域１６９で示されるような少なくとも３つの部分画像が重なる領域あるいはその近傍に含まれる対応点の重視度を上げることにより、貼合せられた画像１５０の画質を向上させることができる。
【００７８】
重視度は、重なり領域で重なる部分画像の数に応じて定めるようにしてもよい。より多くの部分画像が重なる領域あるいはその近傍における重視度を高くする。これにより、貼合された画像１５０の画質が低下するのを防止することができる。
【００７９】
スキャナ１の貼合せ部１１６は、ＲＡＭ１０８に記憶された部分画像を、対応点検出部１１２で検出された対応点と変形パラメータ検出部１１４で検出された変形パラメータとに基づき貼合せる。貼合せの方法には、つぎはぎによる接続処理と重み付け平均による接続処理とに大別されされる。
【００８０】
つぎはぎによる接続処理は、あるラインで２つの部分画像を接続する処理である。重み付け平均による接続処理は、貼合せの対象となる２つの部分画像でオーバーラップする領域内の画素の画素値を、位置ごとに重みを変化させて求めた平均値をオーバーラップ領域内の画素値とすることにより接続を行なう処理である。
【００８１】
つぎはぎによる接続処理は、文字などが表わされた文字領域のようにある画素とその周辺の画素との間に画素値の変化が少ない領域においては、有効な接続処理であるが、写真等が表わされた写真領域のように画素値が連続的に変化する領域では、接続されたラインで繋ぎ目が目立つために、画質的に不適当な処理となる。
【００８２】
図１０は、つぎはぎによる接続処理における２つの部分画像の貼合せを説明するための図である。図１０（Ａ）と図１０（Ｂ）とは、貼合せの対象となる部分画像をそれぞれ示し、図１０（Ｃ）は、２つの部分画像をあるラインでつぎはぎ処理により貼合せた結果を示す図である。図１０を参照して、図１０（Ａ）に示した部分画像と図１０（Ｂ）に示した部分画像とが、ライン１５５で貼合される。ライン１５５は、２つの部分画像のそれぞれに含まれるグラフを横切る線である。
【００８３】
これに対して、重み付け平均による接続処理は、２つの部分画像内でオーバーラップする領域内の位置ごとに重みを変化させて求めた平均値をオーバーラップ領域内の画素値とするので、写真領域等のように連続的に画素値が変化する領域での接続に有効である。
【００８４】
図１１は、重み付け平均による接続処理の原理を説明するための図である。図１１では、左側部分画像と右側部分画像との２つの部分画像を貼合せる場合を例に示している。図１１（Ａ）は、左側部分画像の水平方向における画素値の変化を示し、図１１（Ｂ）は右側部分画像の水平方向における画素値の変化を示す図である。図１１（Ａ）と図１１（Ｂ）とに示す画素値は、それぞれ対応している。図１１（Ａ）には、左側部分画像の水平方向の画素位置ごとの画素値が画素値変化１７０として表わされている。図１１（Ｂ）には、右側部分画像の水平方向の画素位置における画素値が、画素値変化１７１で表わされている。
【００８５】
図１１（Ｃ）は、重み付け平均による重ね合わせを示す。図１１（Ｃ）を参照して、左側部分画像の画素値変化１７０と右側部分画像の画素値変化１７１とが、オーバーラップ領域内において画素位置ごとに重みを変化させて求めた平均値で表わされる合成後の画素変化１７２が実線で表わされている。このように、重み付け平均による接続処理においては、左側部分画像と右側部分画像とのオーバーラップ領域が、それぞれの部分画像を重み付け平均したものとなるので、貼合せ後の画像において繋ぎ目が目立つことがない。
【００８６】
したがって、重み付け平均による接続処理は、文字領域と写真領域とのいずれにおいても有効な接続処理である。本実施の形態におけるスキャナ１の貼合せ部１１６においては、つぎはぎによる接続処理と重み付け平均による接続処理のいずれの方法をも用いることができる。以下、文字領域と写真領域とのいずれにおいても使用することが可能な重み付け平均による接続処理を例に説明する。
【００８７】
貼合せ部１１６では、変形パラメータ検出部１１４で求められた変形パラメータをもとに、貼合せの対象となる部分画像に対してアフィン変換等の幾何変換を行なう。そして、対応点検出部１１２で求めた対応点に基づき２つの部分画像を貼合せる。
【００８８】
ここで、対応点検出部１１２で求めた対応点に基づき変形パラメータ検出部１１４で検出された変形パラメータは、貼合せの対象となる２つの画像の対応点が存在する位置付近での２つの部分画像間の一致を保証している。しかしながら、ＣＣＤ１０４で撮影された部分画像は、レンズ歪みや煽り歪み等による微少な歪みが存在すると、２つの部分画像間でオーバーラップするオーバーラップ領域内において、対応点が存在する位置付近以外の領域においては、２つの部分画像が完全には一致しない場合がある。
【００８９】
また、対応点の検出を、高速な検出アルゴリズムを用いて検出した場合、局所的な領域における対応が画素単位程度の精度しかないため、この精度に基づき検出された対応点をもとに検出される変形パラメータは、１画素未満の誤差を含み得る。
【００９０】
このように、貼合せの対象となる部分画像のオーバーラップする領域が、部分画像の間で一致しない場合に、２つの部分画像を重み付け平均による接続処理で重ね合わせると、貼合せられた画像がぼけたり、二重になったりして、画質が劣化してしまう。これについてより具体的に説明する。
【００９１】
図１２は、貼合せの対象となる部分画像の一例の一部を示す図である。図１２（Ａ）は左側部分画像の一部を示し、図１２（Ｂ）は右側部分画像の一部を示す。図１２（Ａ）と図１２（Ｂ）とは、それぞれの部分画像においてオーバーラップ領域に含まれる画像である。図１２（Ａ）と図１２（Ｂ）にそれぞれ示した部分画像は、完全には一致しない。ここで、図１２（Ａ）と図１２（Ｂ）において、４つの対応点１８０，１８１，１８２，１８３が検出されたとする。
【００９２】
図１３は、貼合せに用いる対応点の重視度を異ならせて貼合せた結果を示す図である。図１３（Ａ）は対応点１８０，１８１を重視して重み付け平均による接続処理で貼合せた結果を示す図であり、図１３（Ｂ）は、対応点１８０，１８３を重視して重み付け平均による接続処理で貼合せた結果を示す図である。図１３（Ａ）は、重視する対応点が上側に偏っている。このように上側に偏った対応点１８０，１８１を重視して求めた変形パラメータを用いて幾何変形した画像を重み付け平均による接続処理で貼合せると、下側の部分において幾何変形の誤差が生じる。このため、貼合された画像が下側の部分においてぼやけたり二重に重なったりする。
【００９３】
これに対して、図１３（Ｂ）に示すように、上下方向とにばらつかせた対応点１８０，１８３を重視して求められた変形パラメータを用いて幾何変形した画像を重み付け平均による接続処理で貼合せると、幾何変形による誤差を軽減することができ、貼合せ後の画像の画質が劣化するのを防止することができる。
【００９４】
したがって、対応点検出部１１２で検出された複数の対応点から変形パラメータの検出に用いる対応点の重視度および貼合せに用いる対応点の重視度は、以下の基準に基づき決定される。
【００９５】
（１）選択される対応点は、できるだけばらついている対応点の重視度を上げる。換言すれば、選択される対応点と対応点との間の距離が、所定の距離だけ離れている対応点の重視度を上げる。
【００９６】
（２）複数の画像が重なる重なり領域あるいはその近傍に含まれる対応点の重視度を高くする。
【００９７】
また、（２）は「貼合せてできる画像の中央に近い対応点の重視度を高くする。」としてもよい。
【００９８】
本発明において、「対応点を重視する／しない」は、「対応点の重視度を上げる／下げる」の他に、「対応点を利用する／しない」を含む概念である。
【００９９】
重視される対応点がばらついている場合には、ばらついていない場合に比べて、貼合せられた画像の画質が劣化するのを防止することができる。ばらついた対応点を検出する方法としては、部分画像を強制的に複数の部分に区切り、区切られたそれぞれの領域で検出された特徴点を利用して対応点を検出する方法や、複数求めた対応点の中から、左右方向の部分画像を貼合せる場合には上下の端付近に位置する特徴点を、上下方向の部分画像を貼合せる場合には左右の端付近に位置する特徴点を利用して対応点を検出する方法がある。
【０１００】
本実施の形態においては、「重視」する例として、評価式（２）において重み付け係数Ｋｉを用いたが、評価に用いる対応点の分布により構成してもよい。つまり、複数の分割画像が重なる領域とその近傍の領域、または、貼合せてできる画像の中央に近い領域では、より多くの対応点を採用して評価式（１）により評価を行なうようにすればよい。
【０１０１】
また、２分割撮像して得られる２つの部分画像を貼合せる場合でも、貼合せてできる画像の中央に近い対応点を重視して貼合せれば、画像中央部の目立つ領域で高画質が得られるという効果がある。
【０１０２】
なお、本実施の形態においては、２つの部分画像を貼合せる方法を例に説明したが、４分割撮影して得られた４つの部分画像を同時に１枚の画像平面に貼合せる方法も考えられる。この場合においても、対応点の重視度は、貼合せの対象となる２つの部分画像間における対応に基づいて決定されるため、対応点の位置あるいはそれぞれの部分画像の相対的な位置関係に関しては、２つの部分画像の貼合せの場合と同じである。
【０１０３】
以上説明したとおり、本実施の形態におけるスキャナ１においては、４分割撮影して得られる４つの部分画像が重なる重なり領域あるいはその近傍に含まれる対応点を重視して部分画像を幾何変形あるいは接続処理を行なうので、複数の部分画像が重なる領域の画質が低下するのを防止することができる。また、２つを越える部分画像が重なる領域は貼合された画像の中央に近い領域となるので、画像のより中央の領域における画質が低下するの防止することができる。
【０１０４】
また、２つの部分画像を貼合せる場合に用いる対応点は、位置がばらついている対応点が重視されるので、貼合せにおける幾何変形が適切に行なわれ、貼合せ後の画像がぼけたり二重になったりするという不具合を防止することができる。
【０１０５】
さらに、対応点は、貼合せの対象となる部分画像の相対的な位置関係をもとに検出されるので、対応点が確実に検出される。また、対応点の検出に余分な比較あるいは検出を行なう必要がなく、処理速度を向上させることができる。
【０１０６】
さらに、対応点の検出において、貼合せの対象となる部分画像の相対的な位置と、それぞれの部分画像における対応点の位置とに基づき対応点を検出するので、より確実に対応点を検出することができる。
【０１０７】
次に、スキャナ１のＣＰＵ１００で貼合せ処理を行なう場合の処理の流れについて説明する。この場合、対応関係検出部１１０と、対応点検出部１１２と、変形パラメータ検出部１１４と、貼合せ部１１６とは不要となる。貼合せ処理プログラムは、ＣＤ−ＲＯＭ１２４に記憶され、外部記憶部１２２でＣＤ−ＲＯＭ１２４に記憶されたプログラムを読取ることによりＣＰＵ１００で実行される。
【０１０８】
図１４は、本実施の形態におけるスキャナ１のＣＰＵ１００で行なわれる貼合せ処理の流れを示すフローチャートである。図１４では、被写体を上下左右に４分割撮影して得られる部分画像の貼合せ処理を示している。ＣＰＵ１００で行なわれる貼合せ処理は、部分画像の数が４つに限られるわけではなく、２以上の数であればすべての場合に適用することができる。
【０１０９】
図１４を参照して、貼合せ処理は、ＣＣＤ１０４による撮像と移動部１０６によるＣＣＤ１０４の移動との繰返しにより、被写体を上下左右の４つに分割して撮影し、撮影された４つの部分画像がＲＡＭ１０８に記憶される（ステップＳ０１）。ＲＡＭ１０８に記憶される４つの部分画像は、隣り合う部分画像で互いに重なり合うオーバーラップ領域をそれぞれ有する。
【０１１０】
ステップＳ０１においては、ＣＰＵ１００は、ＣＣＤ１０４と移動部１０６とに制御信号を送信してＣＣＤ１０４で撮像された部分画像が、ＲＡＭ１０８に記憶される。
【０１１１】
次のステップＳ０２においては、ＲＡＭ１０８に記憶された４つの部分画像それぞれを、縮小して４つの縮小画像が作成される。そして、作成された４つの縮小画像同士で、対応関係が検出される（ステップＳ０３）。縮小画像同士の対応関係とは、隣り合う２つの画像の相対的な位置関係をいう。たとえば、左上部分画像Ｐと右上部分画像Ｑとの相対的な位置関係は、それぞれの画像を縮小した縮小画像のオーバーラップ領域における画素値の水平方向への射影ヒストグラムの分布をそれぞれの縮小画像で求め、その分布を比較することで検出することができる。
【０１１２】
これにより、２つの部分画像のいずれが他方の部分画像よりも上側にあるのかまたは下側にあるのかを検出することができる。左上部分画像Ｐと左下部分画像Ｒとにおいては、それぞれの部分画像を縮小した縮小画像の垂直方向への射影ヒストグラムの分布を求め、求められた分布を比較することで検出することができる。これにより、左上部分画像Ｐと左下部分画像Ｑのいずれの部分画像が他方の部分画像よりも右側にあるのかあるいは左側にあるのかを検出することができる。
【０１１３】
ステップＳ０４では、部分画像同士の対応関係が検出される（ステップＳ０４）。部分画像同士の対応関係においては、隣り合う部分画像同士で対応点が検出される。ステップＳ０４で行なわれる処理については後で具体的に説明する。
【０１１４】
次のステップＳ０５では、各部分画像間の変形パラメータが算出される。変形パラメータの算出については、上述した変形パラメータ検出部１１４で行なわれる処理と同様であるのでここでは説明を繰返さない。
【０１１５】
そして、ステップＳ０４で求められた対応点とステップＳ０５で求められた変形パラメータとに基づき、左上部分画像Ｐと右上部分画像Ｑとの上側２枚の部分画像の貼合せが行なわれる（ステップＳ０６）。
【０１１６】
ステップＳ０７においては、左下部分画像Ｒと右下部分画像Ｓとの下側２つの部分画像の貼合せが行なわれる。そして、ステップＳ０６で貼合された画像とステップＳ０７で貼合された画像とが貼合される（ステップＳ０８）。ステップＳ０６，Ｓ０７，Ｓ０８で行なわれる貼合せ処理は、上述した貼合せ部１１６で行なわれる処理と同様であるのでここでの説明は繰返さない。
【０１１７】
図１５は、図１４のステップＳ０４で行なわれる部分画像同士の対応関係検出処理の流れを示すフローチャートである。図１５を参照して、ステップＳ１１では、左上部分画像Ｐと右上部分画像Ｑとの対応関係が検出される。ステップＳ１２においては、左下部分画像Ｒと右下部分画像Ｓとの対応関係が検出される。ステップＳ１３においては、左上部分画像Ｐと左下部分画像Ｒとの対応関係が検出される。ステップＳ１４においては、右上部分画像Ｑと右下部分画像Ｓとの対応関係が検出される。
【０１１８】
図１６は、図１５のステップＳ１１で行なわれる対応関係の検出処理の流れを示すフローチャートである。図１６を参照して、ステップＳ２１では、図１４のステップＳ０３で求められた縮小画像同士の対応関係から、左上部分画像Ｐが右上部分画像Ｑよりも上側にずれているか否かが判断される。これは、左上部分画像と右上部分画像との相対的な位置の判断である。左上部分画像が右上部分画像よりも上にずれている場合には、ステップＳ２２に進み、そうでない場合にはステップＳ２５に進む。
【０１１９】
ステップＳ２２では、左上部分画像Ｐを基準画像とし、ステップＳ２３で基準画像すなわち左上部分画像Ｐを垂直方向に４分割する。そして、ステップＳ２４において、ステップＳ２３で分割された４つの領域のうち、下側の３つの領域それぞれについて次の処理が行なわれる。
【０１２０】
（１）特徴点を検出する。
（２）検出された特徴点のうち最も右端にあるものを選択する。
【０１２１】
ステップＳ２５においては、右上部分画像Ｑを基準画像に設定し、ステップＳ２６において基準画像を垂直方向に４分割する。
【０１２２】
そして、分割された４つの領域のうち下側の３領域のそれぞれに対して次の処理を行なう。
【０１２３】
（１）特徴点を検出する。
（２）検出された特徴点のうち最も左端にあるものを選択する。
【０１２４】
これにより、下側の３つの領域それぞれにおいて、最も左端にある特徴点が１つ選択される。
【０１２５】
ステップＳ２８においては、基準画像内の特徴点に対応する特徴点を、他方の部分画像（基準画像が左上部分画像Ｐの場合には右上部分画像Ｑ、基準画像が右上部分画像Ｑの場合には左上部分画像Ｐ）から検出する。検出された３つの特徴点は、対応点とされる。
【０１２６】
図１７は、図１５のステップＳ１２で行なわれる対応関係検出処理の流れを示すフローチャートである。図１７を参照して、ステップＳ３１においては、左下部分画像Ｒが右下部分画像Ｓよりも下にずれているか否かを検出し、ずれている場合にはステップＳ３２に進み、ずれていない場合にはステップＳ３５に進む。
【０１２７】
ステップＳ３２においては、左下部分画像Ｒを基準画像に設定し、ステップＳ３３において基準画像を垂直方向に４分割する。ステップＳ３４において、分割された４つの領域のうち、上側３つの領域のそれぞれに対して次の処理を行なう。
【０１２８】
（１）特徴点を検出する。
（２）検出された特徴点のうち最も右端にあるものを選択する。
【０１２９】
ステップＳ３５においては、右下部分画像Ｓを基準画像に設定し、ステップＳ３６において基準画像を垂直方向に４分割する。その後ステップＳ３７において、分割された４つの領域のうち、上側３領域のそれぞれに対して次の処理を行なう。
【０１３０】
（１）特徴点を検出する。
（２）検出された特徴点のうち最も左端にあるものを選択する。
【０１３１】
そしてステップＳ３８において、基準画像内の特徴点に対応する特徴点が、他方の部分画像（基準画像が左下部分画像Ｒの場合には右下部分画像Ｓ、基準画像が右上部分画像Ｓの場合には左上部分画像Ｒ）から検出される。
【０１３２】
このようにすれば、左下部分画像と右下部分画像との間で対応する対応点が３つ検出される。
【０１３３】
図１８は、図１５のステップＳ１３で行なわれる対応関係検出処理の流れを示すフローチャートである。図１８を参照して、ステップＳ４１において、左上部分画像Ｐが左下部分画像Ｒよりも左側にずれているか否かを判断し、ずれている場合にはステップＳ４２に進み、ずれていない場合にはステップＳ４５に進む。
【０１３４】
ステップＳ４２においては、左上部分画像Ｐを基準画像に設定して、ステップＳ４３において基準画像を水平方向に４分割する。そして、ステップＳ４４において、分割された４つの領域のうち、右側の３つの領域それぞれに対して次の処理を行なう。
【０１３５】
（１）特徴点を検出する。
（２）検出された特徴点のうち最も下側にあるものを選択する。
【０１３６】
ステップＳ４５においては、左下部分画像Ｒを基準画像に設定し、ステップＳ４６において基準画像を水平方向に４分割する。そして、ステップＳ４７において、分割された４つの領域のうち、右側の３つの領域それぞれに対して次の処理を行なう。
【０１３７】
（１）特徴点を検出する。
（２）検出された特徴点のうち最も上端にある特徴点を選択する。
【０１３８】
そしてステップＳ４８において、基準画像内の特徴点に対応する特徴点を、他方の部分画像（基準画像が左上部分画像Ｐの場合には左下部分画像Ｒ、基準画像が左下部分画像Ｒの場合には左上部分画像Ｐ）から検出する。
【０１３９】
これにより、左上部分画像Ｐと左下部分画像Ｒとの間で対応する対応点が３つ検出される。
【０１４０】
図１９は、図１５のステップＳ１４で行なわれる対応関係検出処理の流れを示すフローチャートである。図１９を参照して、ステップＳ５１においては、右上部分画像Ｑが右下部分画像Ｓよりも右にずれているか否かが判断され、ずれている場合にはステップＳ５２に進み、ずれていない場合にはステップＳ５５に進む。
【０１４１】
ステップＳ５２においては、右上部分画像Ｑを基準画像に設定し、ステップＳ５３において基準画像を水平方向に４分割する。そして、ステップＳ５４において、分割された４つの領域のうち、左側の３つの領域のそれぞれに対して次の処理が行なわれる。
【０１４２】
（１）特徴点を検出する。
（２）検出された特徴点のうち最も下側にある特徴点を選択する。
【０１４３】
ステップＳ５５においては、右下部分画像Ｓを基準画像に設定し、ステップＳ５６において基準画像を水平方向に４分割する。そして、ステップＳ５７において、分割された４つの領域のうち、左側の３つの領域それぞれに対して次の処理が行なわれる。
【０１４４】
（１）特徴点を検出する。
（２）検出された特徴点のうち最も上端にある特徴点を選択する。
【０１４５】
ステップＳ５８においては、基準画像内の特徴点に対応する特徴点が他方の部分画像（基準画像が右上部分画像Ｑの場合には右下部分画像Ｓ、基準画像が右下部分画像Ｓの場合には右上部分画像Ｑ）から検出する。
【０１４６】
これにより、右上部分画像Ｑと右下部分画像Ｓとの間で対応する対応点が３つ検出される。
【０１４７】
以上説明したとおり、本実施の形態におけるスキャナ１のＣＰＵ１００で行なわれる貼合せ処理においては、貼合せの対象となる２つの部分画像の間で対応する対応点が、４つに分割した領域のうち３つの領域それぞれから検出されるので、所定の距離を隔てた対応点が検出される。このため、ステップＳ０５で算出された変形パラメータに基づき幾何変形される部分画像は、最適に変形されるので、貼合せ後の画像の画質が低下するのを防止することができる。
【０１４８】
また、貼合せの対象となる部分画像間で対応する対応点を確実に検出することができるので、処理時間を短くすることができる。
【０１４９】
さらに、基準画像を４等分して対応点が検出されるので、貼合せられる２つの部分画像が互いに重複するオーバーラップ領域のうち、他の部分画像がさらに重複する領域から対応点が検出される可能性が高い。このため、貼合された画像の中央に近い領域の対応点を重視して、変形パラメータを求めることができる。その結果、貼合せられた画像の中央部分における画質が劣化するのを防止することができる。
【０１５０】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】本発明の実施の形態の１つにおけるスキャナの回路構成を示すブロック図である。
【図２】原稿の一例を示す図である。
【図３】図１に示す原稿を４分割撮影して得られる４つの部分画像を示す図である。
【図４】対応点を検出する第１の方法を説明するための図である。
【図５】対応点を検出する第２の方法を説明するための図である。
【図６】原稿を４分割撮影して得られる４つの部分画像を貼合せた結果を示す図である。
【図７】左上部分画像と右上部分画像の間で対応する対応点を検出する処理を説明するための図である。
【図８】左上部分画像と右上部分画像の間で対応する対応点の検出を説明するための別の図である。
【図９】原稿を９分割撮影して得られる９つの部分画像を貼合せた結果を示す図である。
【図１０】つぎはぎによる接続処理における２つの部分画像の貼合せを説明するための図である。
【図１１】重み付け平均による接続処理の原理を説明するための図である。
【図１２】貼合せの対象となる左上部分画像と右上部分画像の一例の一部を示す図である。
【図１３】貼合せに用いる対応点の重視度を異ならせて貼合せた結果を示す図である。
【図１４】本実施の形態におけるスキャナ１のＣＰＵ１００で行なわれる貼合せ処理の流れを示すフローチャートである。
【図１５】図１４のステップＳ０４で行なわれる部分画像同士の対応関係の検出処理の流れを示すフローチャートである。
【図１６】図１５のステップＳ１１で行なわれる対応関係検出処理の流れを示すフローチャートである。
【図１７】図１５のステップＳ１２で行なわれる対応関係検出処理の流れを示すフローチャートである。
【図１８】図１５のステップＳ１３で行なわれる対応関係検出処理の流れを示すフローチャートである。
【図１９】図１５のステップＳ１４で行なわれる対応関係検出処理の流れを示すフローチャートである。
【符号の説明】
１スキャナ、１００ＣＰＵ、１０２ＲＯＭ、１０４ＣＣＤ、１０６表示部、１０８ＲＡＭ、１１０対応関係検出部、１１２対応点検出部、１１４変形パラメータ検出部、１１６貼合せ部、１１８出力部、１２２外部記憶装置、１２４ＣＤ−ＲＯＭ。

Claims

一部がオーバーラップするオーバーラップ領域を有するように被写体を分割撮像して得られる複数の分割画像を得る撮像素子と、
前記複数の分割画像のうち、前記オーバーラップ領域を互いに有する第１の分割画像および第２の分割画像の間で対応する複数の対応点を検出する対応点検出部と、
前記対応点検出部によって検出された前記第１の分割画像と前記第２の分割画像のそれぞれの対応点の位置をＰｉ，Ｑｉとし、また、前記第１の分割画像の対応点と前記第２の分割画像の対応点の対応点対の重み付け係数をＫｉとしたときに、以下の評価式（Ａ）で求められるＳｋが最小となる場合の変形パラメータＦを検出する変形パラメータ検出部と、
Ｓｋ＝ΣＫｉ（Ｐｉ−Ｆ（Ｑｉ））^２ …（Ａ）
前記対応点検出部によって検出された複数の対応点および前記変形パラメータ検出部によって検出された変形パラメータＦに基づき、前記第１の分割画像と前記第２の分割画像を貼合せる貼合せ部とを含み、
前記変形パラメータ検出部は、前記評価式（Ａ）において、前記位置Ｐｉおよび前記位置Ｑｉが前記オーバーラップ領域の中の前記第１の分割画像および前記第２の分割画像以外の他の分割画像がさらに重なる領域に存在する場合には、前記位置Ｐｉおよび前記位置Ｑｉが前記オーバーラップ領域の中の前記第１の分割画像および前記第２の分割画像のみが重なる部分に存在する場合よりも、前記重み付け係数Ｋｉを大きくすることを特徴とする、画像処理装置。
前記第１の分割画像と前記第２の分割画像の相対的な位置関係を検出するための対応関係検出部をさらに含み、
前記対応点検出部は、前記対応関係検出部により検出された前記第１の分割画像と前記第２の分割画像の相対的な位置関係に基づいて、前記複数の対応点を検出することを特徴とする、請求項１に記載の画像処理装置。
前記対応点検出部により検出される複数の対応点は、所定の距離だけ離れた対応点を含むことを特徴とする、請求項１または請求項２に記載の画像処理装置。
一部がオーバーラップするオーバーラップ領域を有するように被写体を分割撮像して複数の分割画像を得る撮像ステップと、
前記複数の分割画像のうち、前記オーバーラップ領域を互いに有する第１の分割画像および第２の分割画像の間で対応する複数の対応点を検出する対応点検出ステップと、
前記対応点検出ステップによって検出された前記第１の分割画像と前記第２の分割画像のそれぞれの対応点の位置をＰｉ，Ｑｉとし、また、前記第１の分割画像の対応点と前記第２の分割画像の対応点の対応点対の重み付け係数をＫｉとしたときに、以下の評価式（Ａ）で求められるＳｋが最小となる場合の変形パラメータＦを検出する変形パラメータ検出ステップと、
Ｓｋ＝ΣＫｉ（Ｐｉ−Ｆ（Ｑｉ））^２ …（Ａ）
前記対応点検出ステップによって検出された複数の対応点および前記変形パラメータ検出部によって検出された変形パラメータＦに基づき、前記第１の分割画像と前記第２の分割画像を貼合せる貼合せステップとを含み、
前記変形パラメータ検出ステップは、前記評価式（Ａ）において、前記位置Ｐｉおよび前記位置Ｑｉが前記オーバーラップ領域の中の前記第１の分割画像および前記第２の分割画像以外の他の分割画像がさらに重なる領域に存在する場合には、前記位置Ｐｉおよび前記位置Ｑｉが前記オーバーラップ領域の中の前記第１の分割画像および前記第２の分割画像のみが重なる部分に存在する場合よりも、前記重み付け係数Ｋｉを大きくすることを特徴とする、画像処理方法。
前記第１の分割画像と前記第２の分割画像の相対的な位置関係を検出するための対応関係検出ステップをさらに含み、
前記対応点検出ステップは、前記対応関係検出ステップにより検出された前記第１の分割画像と前記第２の分割画像の相対的な位置関係に基づいて、前記複数の対応点を検出することを特徴とする、請求項４に記載の画像処理方法。
前記対応点検出ステップにより検出される複数の対応点は、所定の距離だけ離れた対応点を含むことを特徴とする、請求項４または請求項５に記載の画像処理方法。
画像処理プログラムを記録したコンピュータ読取可能な記録媒体であって、
前記画像処理プログラムは、コンピュータに、
一部がオーバーラップするオーバーラップ領域を有するように被写体を分割撮像して複数の分割画像を得る撮像ステップと、
前記複数の分割画像のうち、前記オーバーラップ領域を互いに有する第１の分割画像および第２の分割画像の間で対応する複数の対応点を検出する対応点検出ステップと、
前記対応点検出ステップによって検出された前記第１の分割画像と前記第２の分割画像のそれぞれの対応点の位置をＰｉ，Ｑｉとし、また、前記第１の分割画像の対応点と前記第２の分割画像の対応点の対応点対の重み付け係数をＫｉとしたときに、以下の評価式（Ａ）で求められるＳｋが最小となる場合の変形パラメータＦを検出する変形パラメータ検出ステップと、
Ｓｋ＝ΣＫｉ（Ｐｉ−Ｆ（Ｑｉ））^２ …（Ａ）
前記対応点検出ステップによって検出された複数の対応点および前記変形パラメータ検出部によって検出された変形パラメータＦに基づき、前記第１の分割画像と前記第２の分割画像を貼合せる貼合せステップとを実行させ、
前記変形パラメータ検出ステップは、前記評価式（Ａ）において、前記位置Ｐｉおよび前記位置Ｑｉが前記オーバーラップ領域の中の前記第１の分割画像および前記第２の分割画像以外の他の分割画像がさらに重なる領域に存在する場合には、前記位置Ｐｉおよび前記位置Ｑｉが前記オーバーラップ領域の中の前記第１の分割画像および前記第２の分割画像のみが重なる部分に存在する場合よりも、前記重み付け係数Ｋｉを大きくすることを特徴とする、画像処理プログラムを記録したコンピュータ読取可能な記録媒体。
前記画像処理プログラムは、コンピュータに、
前記第１の分割画像と前記第２の分割画像の相対的な位置関係を検出するための対応関係検出ステップをさらに実行させ、
前記対応点検出ステップは、前記対応関係検出ステップにより検出された前記第１の分割画像と前記第２の分割画像の相対的な位置関係に基づいて、前記複数の対応点を検出することを特徴とする、請求項７に記載の画像処理プログラムを記録したコンピュータ読取可能な記録媒体。
前記対応点検出ステップにより検出される複数の対応点は、所定の距離だけ離れた対応点を含むことを特徴とする、請求項７または請求項８に記載の画像処理プログラムを記録したコンピュータ読取可能な記録媒体。