JP6041649B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

この発明は、例えば、近い範囲を撮影している２枚の画像の位置あわせを行う際、並列処理を実施することで、処理時間の短縮を図ることが可能な画像処理装置及び画像処理プログラムに関するものである。

近年の画像取得用のセンサの発達により、様々な高解像度画像を撮影することが可能になってきている。
画像取得用のセンサとしては、二次元に配列されている画素によって一度に画像を取得するエリアセンサや、一次元に配列されている素子を動かしながら信号を取得することで画像を構成するラインセンサなどがある。
一般的には、エリアセンサよりもラインセンサの方が高解像度の画像を撮影することができる。

また、画像取得用のセンサにより取得された画像を利用してデータを生成する技術も発展してきている。
例えば、似たような場所が撮影されている複数枚の画像を利用して、超解像画像を生成する技術などがある（例えば、非特許文献１を参照）。
一般に使用される超解像画像の生成処理では、高解像度化（再構成）のために、複数枚の画像内の各ピクセル間の位置関係を求める必要がある。
ただし、ピクセル単位で処理を行う必要があるため、画像のピクセル数が増えるほど、処理時間が増加するが、上述したように、近年の画像取得用のセンサの発達により、高解像度画像の撮影が可能になっているため（縦方向及び横方向において、数千ピクセル単位での撮影も可能になっている）、画像当りのピクセル数が増えている。
上記のような高解像度画像を利用して、超解像画像を生成する場合、各ピクセル間の位置関係を求めるには処理時間が膨大になることが想定される。

ここで、処理時間の短縮を図る手法として、並列処理が挙げられる。
画像処理においては、対象となる画像を分割し、複数の分割画像に対して並列に処理（例えば、位置関係の計算）を実施し、その処理結果を結合するものである。
例えば、以下の特許文献１には、対象画像を分割して画像処理を行う画像処理装置が開示されている。
この画像処理装置では、画像にハーフトーン処理をかける際に画像を分割して、複数の分割画像に対して並列に処理を実施し、その処理結果を結合するようにしている。
ハーフトーン処理は、周囲の情報が必要になるため、複数の分割画像間に重なり部分を設け、重なり部分では、片方の処理結果だけを採用するようにしている。これは、ハーフトーン処理が近傍値のみに依存するためである。

この画像処理装置では、画像にハーフトーン処理をかける際に画像を分割しているが、複数枚の画像の位置ズレ計算処理や位置関係の取得処理では、近傍値だけを使うとは限らない。
このため、画像全体の情報を使うような処理では、画像を分割して並列処理を行う場合と、並列処理を行わないで処理する場合とでは、処理結果が異なることがある。
例えば、画像自体の情報（互いの画像の色分布情報など）を使う場合、画像を分割して並列処理を行うと、並列処理を行わないで処理する場合の処理結果と異なることがある。
また、位置関係を求める際に誤差を含む情報を使う場合などでも、画像を分割して並列処理を行うと、並列処理を行わないで処理する場合の処理結果と異なることがある。

特開２０１０−２４４０９８号公報（段落番号［０００７］から［００１１］）

「知っておきたいキーワード 超解像技術」http://www.ite.or.jp/data/a_j_keyword/data/FILE-20120103131407.pdf

従来の画像処理装置は以上のように構成されているので、高解像度画像を利用して、超解像画像を生成する場合でも、高解像度画像を分割して、複数の分割画像に対して並列に処理を実施するようにすれば、処理時間の短縮を図ることができる。しかし、複数の分割画像に対して並列に処理を実施する場合の処理結果が、並列処理を行わないで処理する場合の処理結果と異なってしまうことがある課題があった。

この発明は上記のような課題を解決するためになされたもので、並列処理を行わないで処理する場合の処理結果に相当する処理結果を短時間で取得することができる画像処理装置及び画像処理プログラムを得ることを目的とする。

この発明に係る画像処理装置は、重複分割画像生成手段により生成された重複分割画像を複数のブロックに分割する画像分割手段と、画像分割手段により分割されたブロックの各画素に対応する上記基準画像の画素を特定して、その基準画像に対する上記ブロックの位置ずれを計算するとともに、その位置ずれを補正する複数の位置ずれ計算手段と、位置ずれ計算手段による位置ずれ補正後のブロックが１つの重複分割画像だけに属している場合、あるいは、位置ずれ補正後のブロックが複数の重複分割画像に属しているが、重複分割画像の４隅のブロックでない場合、位置ずれ補正後のブロック内の画素を移動して、そのブロックと隣接しているブロックとの連続性を高めるスムージング処理を実施する一方、位置ずれ補正後のブロックが４隅のブロックである場合、スムージング処理を実施しないスムージング処理手段とから、複数の位置ずれ補正手段を構成するようにしたものである。

この発明によれば、重複分割画像生成手段により生成された重複分割画像を複数のブロックに分割する画像分割手段と、画像分割手段により分割されたブロックの各画素に対応する上記基準画像の画素を特定して、その基準画像に対する上記ブロックの位置ずれを計算するとともに、その位置ずれを補正する複数の位置ずれ計算手段と、位置ずれ計算手段による位置ずれ補正後のブロックが１つの重複分割画像だけに属している場合、あるいは、位置ずれ補正後のブロックが複数の重複分割画像に属しているが、重複分割画像の４隅のブロックでない場合、位置ずれ補正後のブロック内の画素を移動して、そのブロックと隣接しているブロックとの連続性を高めるスムージング処理を実施する一方、位置ずれ補正後のブロックが４隅のブロックである場合、スムージング処理を実施しないスムージング処理手段とから、複数の位置ずれ補正手段を構成するようにしたので、並列処理を行わないで処理する場合の処理結果に相当する処理結果を短時間で取得することができる効果がある。

この発明の実施の形態１による画像処理装置を示す構成図である。 この発明の実施の形態１による画像処理装置の位置ずれ補正部１２−ｎ（ｎ＝１，２，・・・，Ｎ）を示す構成図である。 重複分割画像生成部１１により対象画像Ｐ_ＯＢＪが分割されて生成される複数の重複分割画像ＤＰ_ＯＢＪｎを示す説明図である。 画像分割部２１による重複分割画像ＤＰ_ＯＢＪｎの分割例を示す説明図である。 ピクセルの位置計算を説明する説明図である。 スムージング処理部２３による各ピクセルのスムージングを示す説明図である。

実施の形態１．
図１はこの発明の実施の形態１による画像処理装置を示す構成図である。
図１において、基準画像格納部１は例えばＲＡＭやハードディスクなどの記憶装置から構成されており、基準画像Ｐ_ＳＴＤを記憶している。
対象画像格納部２は例えばＲＡＭやハードディスクなどの記憶装置から構成されており、基準画像格納部１に記憶されている基準画像Ｐ_ＳＴＤと位置あわせを行う画像（以下、「対象画像Ｐ_ＯＢＪ」と称する）を記憶している。

分割条件格納部３は例えばＲＡＭやハードディスクなどの記憶装置から構成されており、対象画像Ｐ_ＯＢＪの分割条件として、例えば、対象画像Ｐ_ＯＢＪの分割数（横方向分割数ｎｘ、縦方向分割数ｎｙ）や、分割画像間の重複範囲（横方向重複ピクセル数ｄｘ、縦方向重複ピクセル数ｄｙ）などを記憶している。
ベクトル情報格納部４は例えばＲＡＭやハードディスクなどの記憶装置から構成されており、基準画像Ｐ_ＳＴＤ及び対象画像Ｐ_ＯＢＪにおける各ピクセル（画素）に対応する視線ベクトルや撮影位置情報などを含んでいるベクトル情報を記憶している。

重複分割画像生成部１１は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、分割条件格納部３により記憶されている分割条件にしたがって、対象画像格納部２に記憶されている対象画像Ｐ_ＯＢＪを分割して、互いに一部分が重複している複数の重複分割画像ＤＰ_ＯＢＪｎ（ｎ＝１，２，・・・，Ｎ）を生成する処理を実施する。Ｎは分割数である。なお、重複分割画像生成部１１は重複分割画像生成手段を構成している。

位置ずれ補正部１２−１〜１２−Ｎは例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、重複分割画像生成部１１により生成された重複分割画像ＤＰ_ＯＢＪｎの各ピクセルに対応する基準画像Ｐ_ＳＴＤのピクセルを特定して、その基準画像Ｐ_ＳＴＤに対する重複分割画像ＤＰ_ＯＢＪｎの位置ずれΔｒを計算し、その計算結果にしたがって基準画像Ｐ_ＳＴＤに対する重複分割画像ＤＰ_ＯＢＪｎの位置ずれΔｒを補正する処理を実施する。なお、位置ずれ補正部１２−１〜１２−Ｎは位置ずれ補正手段を構成している。

図１では、重複分割画像生成部１１により生成された重複分割画像ＤＰ_ＯＢＪｎと同数の位置ずれ補正部１２が実装されている例を示しているが、必ずしも生成された重複分割画像ＤＰ_ＯＢＪｎと同数である必要はない。
ただし、重複分割画像生成部１１により生成された重複分割画像ＤＰ_ＯＢＪｎの数より、位置ずれ補正部１２の実装数が少ない場合、一部の位置ずれ補正部１２が複数の重複分割画像に対する処理を順番に実施する必要があるため、処理時間が多少長くなることが想定される。

重複分割画像接合部１３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、位置ずれ補正部１２−１〜１２−Ｎによる位置ずれ補正後の重複分割画像ＤＰ’_ＯＢＪ１，ＤＰ’_ＯＢＪ２，・・・，ＤＰ’_ＯＢＪＮを接合する処理を実施する。なお、重複分割画像接合部１３は重複分割画像接合手段を構成している。

図２はこの発明の実施の形態１による画像処理装置の位置ずれ補正部１２−ｎ（ｎ＝１，２，・・・，Ｎ）を示す構成図である。
図２において、画像分割部２１は重複分割画像生成部１１により生成された重複分割画像ＤＰ_ＯＢＪｎを複数のブロックＢ_ｉ，ｊに分割する処理を実施する。なお、画像分割部２１は画像分割手段を構成している。ｉ＝１，２，・・・，Ｉ、ｊ＝１，２，・・・，Ｊである。

位置ずれ計算部２２−１〜２２−Ｍは画像分割部２１により分割されたブロックＢ_ｉ，ｊの各ピクセルに対応する基準画像Ｐ_ＳＴＤのピクセルを特定して、その基準画像Ｐ_ＳＴＤに対するブロックＢ_ｉ，ｊの位置ずれΔｒ_ｉ，ｊを計算するとともに、その位置ずれΔｒ_ｉ，ｊを補正する処理を実施する。なお、位置ずれ計算部２２−１〜２２−Ｍは位置ずれ計算手段を構成している。
図２の例では、画像分割部２１により分割されたブロックＢ_ｉ，ｊと同数の位置ずれ計算部２２が実装されているものを想定しているが（Ｍ＝Ｉ×Ｊ）、必ずしも分割されたブロックＢ_ｉ，ｊと同数である必要はない。
ただし、画像分割部２１により分割されたブロックＢ_ｉ，ｊの数より位置ずれ計算部２２の実装数が少ない場合、一部の位置ずれ計算部２２が複数のブロックに対する処理を順番に実施する必要があるため、処理時間が多少長くなることが想定される。

スムージング処理部２３は位置ずれ計算部２２−１〜２２−Ｍによる位置ずれ補正後のブロックＢ’_ｉ，ｊが１つの重複分割画像だけに属している場合、あるいは、そのブロックＢ’_ｉ，ｊが複数の重複分割画像に属しているが、重複分割画像の４隅のブロックでない場合、位置ずれ補正後のブロックＢ’_ｉ，ｊ内の画素を移動して、そのブロックＢ’_ｉ，ｊと隣接しているブロックとの連続性を高めるスムージング処理を実施する一方、位置ずれ補正後のブロックＢ’_ｉ，ｊが４隅のブロックである場合、上記スムージング処理を実施しない処理手段である。
また、スムージング処理部２３は、スムージング処理後のブロックＢ”_１，１〜Ｂ”_Ｉ，Ｊ（スムージング処理を実施していない４隅のブロックを含む）を接合して、重複分割画像ＤＰ_ＯＢＪｎと同様に、互いに一部分が重複している位置ずれ補正後の重複分割画像ＤＰ’_ＯＢＪｎ（ｎ＝１，２，・・・，Ｎ）を生成する処理を実施する。
なお、スムージング処理部２３はスムージング処理手段を構成している。

図１の例では、画像処理装置の構成要素である基準画像格納部１、対象画像格納部２、分割条件格納部３、ベクトル情報格納部４、重複分割画像生成部１１、位置ずれ補正部１２−１〜１２−Ｎ及び重複分割画像接合部１３のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像処理装置がコンピュータで構成されていてもよい。
画像処理装置がコンピュータで構成されている場合、基準画像格納部１、対象画像格納部２、分割条件格納部３及びベクトル情報格納部４をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、重複分割画像生成部１１、位置ずれ補正部１２−１〜１２−Ｎ及び重複分割画像接合部１３の処理内容を記述している画像処理プログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されている画像処理プログラムを実行するようにすればよい。

次に動作について説明する。
分割条件格納部３には、対象画像Ｐ_ＯＢＪの分割条件として、例えば、対象画像Ｐ_ＯＢＪの分割数（横方向分割数ｎｘ、縦方向分割数ｎｙ）や、分割画像間の重複範囲（横方向重複ピクセル数ｄｘ、縦方向重複ピクセル数ｄｙ）などが記憶されている。
この実施の形態１では、位置ずれ補正部１２−１〜１２−Ｎの個数と同数の分割数が分割条件格納部３に記憶されているものとする。
ここで、図３は重複分割画像生成部１１により対象画像Ｐ_ＯＢＪが分割されて生成される複数の重複分割画像ＤＰ_ＯＢＪｎ（ｎ＝１，２，・・・，Ｎ）を示す説明図である。図３の例では、Ｎ＝１２である。

重複分割画像生成部１１は、基準画像格納部１から基準画像Ｐ_ＳＴＤを取得し、対象画像格納部２から対象画像Ｐ_ＯＢＪを取得する。複数枚の対象画像Ｐ_ＯＢＪが対象画像格納部２に記憶されている場合には、対象画像Ｐ_ＯＢＪを１枚ずつ順番に取得して、後述する重複分割画像ＤＰ_ＯＢＪｎの生成処理を行う。
次に、重複分割画像生成部１１は、分割条件格納部３に記憶されている分割条件を取得する。

重複分割画像生成部１１は、分割条件として、対象画像Ｐ_ＯＢＪの分割数（横方向分割数ｎｘ、縦方向分割数ｎｙ）と、分割画像間の重複範囲（横方向重複ピクセル数ｄｘ、縦方向重複ピクセル数ｄｙ）が記憶されていれば、対象画像Ｐ_ＯＢＪの分割数と分割画像間の重複範囲から、重複分割画像ＤＰ_ＯＢＪｎの横幅（横ピクセル数）ｗ１と、縦幅（縦ピクセル数）ｈ１を算出する。
ｗ１＝ｄｘ＋［（ｗ−（ｎｘ−１）×ｄｘ）／ｎｘ］ （１）
ｈ１＝ｄｙ＋［（ｈ−（ｎｙ−１）×ｄｙ）／ｎｙ］ （２）
式（１）（２）において、ｗは対象画像Ｐ_ＯＢＪの横幅（横ピクセル数）、ｈは対象画像Ｐ_ＯＢＪの縦幅（縦ピクセル数）である。
また、［］はガウス記号を表しており、割り切れない分については、別途、いずれかの重複分割画像ＤＰ_ＯＢＪｎに加える形で余りが無いようにしている。

重複分割画像生成部１１は、重複分割画像ＤＰ_ＯＢＪｎの横幅（横ピクセル数）ｗ１と、縦幅（縦ピクセル数）ｈ１を算出すると、図３に示すように、対象画像格納部２に記憶されている対象画像Ｐ_ＯＢＪを分割して、横幅がｗ１で縦幅がｈ１の重複分割画像ＤＰ_ＯＢＪｎ（ｎ＝１，２，・・・，Ｎ）を生成する。
このとき、横方向に隣り合っている重複分割画像同士の重なりはピクセル数ｄｘであり、縦方向に隣り合っている重複分割画像同士の重なりはピクセル数ｄｙである。
図３の例では、横方向には余りαがあるため、右端の重複分割画像ＤＰ_ＯＢＪｎに余りαを加えており、右端の重複分割画像ＤＰ_ＯＢＪｎの横幅（横ピクセル数）がｗ１＋αになっている。
また、縦方向には余りβがあるため、下端の重複分割画像ＤＰ_ＯＢＪｎに余りβを加えており、下端の重複分割画像ＤＰ_ＯＢＪｎの縦幅（縦ピクセル数）がｈ１＋βになっている。

重複分割画像生成部１１は、複数の重複分割画像ＤＰ_ＯＢＪ１〜ＤＰ_ＯＢＪＮを生成すると、重複分割画像ＤＰ_ＯＢＪ１を位置ずれ補正部１２−１、重複分割画像ＤＰ_ＯＢＪ２を位置ずれ補正部１２−２、・・・、重複分割画像ＤＰ_ＯＢＪＮを位置ずれ補正部１２−Ｎに出力する。
なお、重複分割画像生成部１１は、ベクトル情報格納部４に記憶されている基準画像Ｐ_ＳＴＤに関するベクトル情報については位置ずれ補正部１２−１〜１２−Ｎに出力するが、対象画像Ｐ_ＯＢＪの各ピクセルに対応するベクトル情報については、対象画像Ｐ_ＯＢＪと同様に分割し、重複分割画像ＤＰ_ＯＢＪ１の各ピクセルに対応するベクトル情報は位置ずれ補正部１２−１、重複分割画像ＤＰ_ＯＢＪ２の各ピクセルに対応するベクトル情報は位置ずれ補正部１２−２、・・・、重複分割画像ＤＰ_ＯＢＪＮの各ピクセルに対応するベクトル情報は位置ずれ補正部１２−Ｎに出力する。

ただし、重複分割画像生成部１１は、重複分割画像ＤＰ_ＯＢＪｎの横幅ｗ１が３×ｄｘ以上とならず、重複分割画像ＤＰ_ＯＢＪｎの縦幅ｈ１が３×ｄｙ以上とならない場合、対象画像Ｐ_ＯＢＪを分割せずに、その対象画像Ｐ_ＯＢＪ及びベクトル情報を１つの位置ずれ補正部（例えば、位置ずれ補正部１２−１）に出力する。

位置ずれ補正部１２−１〜１２−Ｎは、重複分割画像生成部１１から重複分割画像ＤＰ_ＯＢＪｎ及びベクトル情報を受けると、その重複分割画像ＤＰ_ＯＢＪｎの各ピクセルに対応する基準画像Ｐ_ＳＴＤのピクセルを特定して、その基準画像Ｐ_ＳＴＤに対する重複分割画像ＤＰ_ＯＢＪｎの位置ずれΔｒを計算し、その計算結果にしたがって基準画像Ｐ_ＳＴＤに対する重複分割画像ＤＰ_ＯＢＪｎの位置ずれΔｒを補正する。
以下、位置ずれ補正部１２−ｎ（ｎ＝１，２，・・・，Ｎ）の処理内容を具体的に説明する。

位置ずれ補正部１２−ｎの画像分割部２１は、重複分割画像生成部１１から重複分割画像ＤＰ_ＯＢＪｎ及びベクトル情報を受けると、その重複分割画像ＤＰ_ＯＢＪｎを複数のブロックＢ_ｉ，ｊに分割する。
ここで、図４は画像分割部２１による重複分割画像ＤＰ_ＯＢＪｎの分割例を示す説明図である。
画像分割部２１による重複分割画像ＤＰ_ＯＢＪｎの分割手順であるが、最初に、重複分割画像ＤＰ_ＯＢＪｎの左右ｄｘピクセル範囲及び上下ｄｙピクセル範囲（図４において、斜線が施されている範囲）を分割する。斜線が施されている範囲のブロックは、重複分割画像ＤＰ_ＯＢＪｎの４隅のブロックであり、右隣又は左隣の重複分割画像と、上隣又は下隣の重複分割画像と、右上、左上、右下又は左下の重複分割画像とに重なる可能性がある部分である。

次に、重複分割画像ＤＰ_ＯＢＪｎの外周部分（４隅のブロックを除く）において、上辺及び下辺に隣接している範囲（左上隅のブロックと右上隅のブロックとの間の範囲、左下隅のブロックと右下隅のブロックとの間の範囲）を横ピクセルがｄｘ以上で、縦ピクセルがｄｙとなるように分割する。
また、重複分割画像ＤＰ_ＯＢＪｎの外周部分（４隅のブロックを除く）において、左辺及び右辺に隣接している範囲（左上隅のブロックと左下隅のブロックとの間の範囲、右上隅のブロックと右下隅のブロックとの間の範囲）を縦ピクセルがｄｙ以上で、横ピクセルがｄｘとなるように分割する。
最後に、重複分割画像ＤＰ_ＯＢＪｎの中央部分（図４において、網掛けが施されている範囲）を横ピクセルがｄｘ以上で、縦ピクセルがｄｙ以上となるように分割する。
画像分割部２１により分割されたブロックＢ_ｉ，ｊでは、隣のブロックとの重なりは設けられていない。図４の例では、重複分割画像ＤＰ_ＯＢＪｎが２０個のブロックＢ_ｉ，ｊに分割されている。

画像分割部２１は、重複分割画像ＤＰ_ＯＢＪｎを複数のブロックＢ_ｉ，ｊに分割すると、ブロックＢ_１，１を位置ずれ計算部２２−１、ブロックＢ_２，１を位置ずれ計算部２２−２、・・・、ブロックＢ_Ｉ，Ｊを位置ずれ計算部２２−Ｍに出力する。
なお、画像分割部２１は、基準画像Ｐ_ＳＴＤに関するベクトル情報については位置ずれ計算部２２−１〜２２−Ｍに出力するが、重複分割画像ＤＰ_ＯＢＪｎの各ピクセルに対応するベクトル情報については、重複分割画像ＤＰ_ＯＢＪｎと同様に分割し、ブロックＢ_２，１の各ピクセルに対応するベクトル情報は位置ずれ計算部２２−１、ブロックＢ_２，２の各ピクセルに対応するベクトル情報は位置ずれ計算部２２−２、・・・、ブロックＢ_Ｉ，Ｊの各ピクセルに対応するベクトル情報は位置ずれ計算部２２−Ｍに出力する。

位置ずれ補正部１２−ｎの位置ずれ計算部２２−１〜２２−Ｍは、画像分割部２１からブロックＢ_ｉ，ｊ及びベクトル情報を受けると、そのベクトル情報を用いて、そのブロックＢ_ｉ，ｊの各ピクセルに対応する基準画像Ｐ_ＳＴＤのピクセルを特定して、その基準画像Ｐ_ＳＴＤに対するブロックＢ_ｉ，ｊの位置ずれΔｒ_ｉ，ｊ（ｉ＝１，２，・・・，Ｉ、ｊ＝１，２，・・・，Ｊ）を計算する。
以下、位置ずれ計算部２２−ｍ（ｍ＝１，２，・・・，Ｍ）の処理内容を具体的に説明する。
ここで、図５はピクセルの位置計算を説明する説明図である。

位置ずれ計算部２２−ｍは、ブロックＢ_ｉ，ｊのピクセル毎に、当該ピクセルに対応するベクトル情報に含まれている視線ベクトル（撮影方向）及び撮影位置を地球中心座標系に変換することで、撮影位置を基点とする視線ベクトル（撮影方向）と、高度情報の基準となる楕円体面（一般的な数値標高モデル（ＤＥＭ：Ｄｉｇｉｔａｌ Ｅｌｅｖａｔｉｏｎ Ｍｏｄｅｌ）では、地球楕円体面からの高さを高度情報として格納している）との交点Ｐを算出する。
撮影位置を基点とする視線ベクトルの途中に、画像の撮影箇所Ｑ（画像中のピクセルを示す場所）があり、その位置での高度は、地球楕円体面からの高さを示す高度情報（高度情報は、外部より与えられるようにしてもよいし、位置ずれ計算部２２−ｍが保持するようにしてもよい）に誤差がなければ、その高度情報が示す高度と一致する。
高度情報が示す高度と一致する位置が、当該ピクセルの位置Ｑとなるが、位置Ｑを直接求めることはできないため、反復計算を行いながら、交点Ｐ及び視線ベクトル（撮影方向）を利用してＱ’を求める形になる。

位置ずれ計算部２２−ｍは、ブロックＢ_ｉ，ｊの各ピクセルの位置Ｑを求めると、ブロックＢ_ｉ，ｊのピクセルと同様に、基準画像Ｐ_ＳＴＤに関するベクトル情報を参照して、基準画像Ｐ_ＳＴＤの各ピクセルの位置を求め、ブロックＢ_ｉ，ｊの各ピクセルの位置Ｑが基準画像Ｐ_ＳＴＤのどの位置に対応しているかを特定する。
位置ずれ計算部２２−ｍは、ブロックＢ_ｉ，ｊのピクセルの対象画像Ｐ_ＯＢＪ上での座標が（ｘ１，ｙ１）であり、ブロックＢ_ｉ，ｊのピクセルと位置が一致している基準画像Ｐ_ＳＴＤのピクセルの画像上での座標が（ｘ０，ｙ０）であるとすると、下記の式（３）（４）に示すように、ブロックＢ_ｉ，ｊのピクセルの横方向の位置ずれΔｒ_ｘと縦方向の位置ずれΔｒ_ｙを計算することで、各ピクセルの位置ずれΔｒ_ｘ，ｙを計算する。
Δｒ_ｘ＝ｘ０−ｘ１ （３）
Δｒ_ｙ＝ｙ０−ｙ１ （４）
Δｒ_ｘ，ｙ＝（Δｒ_ｘ，Δｒ_ｙ） （５）

位置ずれ計算部２２−ｍは、各ピクセルの位置ずれΔｒ_ｘ，ｙを計算すると、下記の式（６）に示すように、基準画像Ｐ_ＳＴＤに対するブロックＢ_ｉ，ｊの位置ずれΔｒ_ｉ，ｊを計算する。
Δｒ_ｉ，ｊ＝（Δｒ_１，１ Δｒ_２，１ ・・・ Δｒ_ｘ，ｙ ・・・ Δｒ_ａ，ｂ） （６）
式（６）において、ａはブロックＢ_ｉ，ｊの横方向のピクセル数、ｂはブロックＢ_ｉ，ｊの縦方向のピクセル数である。

位置ずれ計算部２２−ｍは、基準画像Ｐ_ＳＴＤに対するブロックＢ_ｉ，ｊの位置ずれΔｒ_ｉ，ｊを計算すると、基準画像Ｐ_ＳＴＤに対するブロックＢ_ｉ，ｊの位置ずれΔｒ_ｉ，ｊを補正する。
即ち、基準画像Ｐ_ＳＴＤに対するブロックＢ_ｉ，ｊの位置ずれΔｒ_ｉ，ｊがゼロになるように、ブロックＢ_ｉ，ｊにおける各ピクセルを移動させる。
位置ずれ計算部２２−ｍは、位置ずれ補正後のブロックＢ’_ｉ，ｊをスムージング処理部２３に出力する。

位置ずれ補正部１２−ｎのスムージング処理部２３は、位置ずれ計算部２２−１〜２２−Ｍから、位置ずれ補正後のブロックＢ’_１，１〜Ｂ’_Ｉ，Ｊを受けると、位置ずれ補正後のブロックＢ’_１，１〜Ｂ’_Ｉ，Ｊに対するスムージング処理を実施する。
位置ずれ補正後のブロックＢ’_ｉ，ｊが１つの重複分割画像だけに属している場合（図４において、網掛けが施されている内周のブロックである場合）と、位置ずれ補正後のブロックＢ’_ｉ，ｊが複数の重複分割画像に属しているが、重複分割画像の４隅のブロックでない場合（重複分割画像における４隅のブロック以外の外周ブロックである場合）と、位置ずれ補正後のブロックＢ’_ｉ，ｊが重複分割画像の４隅のブロックである場合（図４において、斜線が施されているブロックである場合）とで、スムージング処理部２３の処理内容が異なる。
以下、スムージング処理部２３の処理内容を具体的に説明する。
図６はスムージング処理部２３による各ピクセルのスムージングを示す説明図である。

［ブロックＢ’_ｉ，ｊが１つの重複分割画像だけに属している場合］
スムージング処理部２３は、図６に示すように、位置ずれ補正後のブロックＢ’_ｉ，ｊにおける各ピクセルを４方向にスムージングする。
即ち、隣り合っているブロックの境界付近では、位置ずれ補正の並列処理に伴って連続性が劣化している場合があるので、位置ずれ補正後のブロックＢ’_ｉ，ｊ内のピクセルを移動して、そのブロックＢ’_ｉ，ｊと隣接しているブロックとの連続性を高めるスムージング処理を実施する。
ただし、スムージングを行う際、内周ブロック同士の境界付近では、連続性を高めるために、互いに隣の内周ブロックのピクセルの位置を考慮して、ブロックＢ’_ｉ，ｊ内のピクセルを移動させるようにする。
一方、外周ブロックでは、後述するように、内周ブロックと外周ブロックが並んでいる方向へのスムージングが行われないので、内周ブロックと外周ブロックの境界付近では、外周ブロックのピクセルの位置を考慮することなく、内周ブロックＢ_ｉ，ｊ内のピクセルを移動させるようにする。

［重複分割画像における４隅のブロック以外の外周ブロック（上端又は下端の外周ブロック）の場合］
上端又は下端の外周ブロックは、上隣又は下隣の重複分割画像と重複しているため、上下方向にスムージングを行うと、後段の処理で複数の重複分割画像が接合されると、並列処理を行わないで処理する場合の処理結果と異なる不具合が生じる。
例えば、上端の外周ブロック（必要に応じて、「当該重複分割画像における上端の外周ブロック」と称する）は、上隣の重複分割画像における下端の外周ブロックと重複しており、上端の外周ブロックの各ピクセルを上下方向にスムージングを行う場合、上端の外周ブロックの１段下の内周ブロックのピクセルの位置を考慮して、各ピクセルを移動させることになるが、上端の外周ブロックを取り扱う位置ずれ補正部１２では、上隣の重複分割画像における下端の外周ブロックの１段上の内周ブロックのピクセルの位置が分からないため、上隣の重複分割画像における下端の外周ブロックの１段上の内周ブロックのピクセルの位置を考慮しないで、各ピクセルを移動させることになる。

一方、上隣の重複分割画像における下端の外周ブロックを上下方向にスムージングを行う場合、下端の外周ブロックの１段上のピクセルの位置を考慮して、各ピクセルを移動させることになるが、上隣の重複分割画像を取り扱う位置ずれ補正部１２では、当該重複分割画像における上端の外周ブロックの１段下の内周ブロックのピクセルの位置が分からないため、当該重複分割画像における上端の外周ブロックの１段下の内周ブロックのピクセルの位置を考慮しないで、各ピクセルを移動させることになる。
このように、重なり関係がある上端の外周ブロックと、上隣の重複分割画像における下端の外周ブロックとでは、上下方向にスムージングを行う際に考慮する隣のブロックのピクセルの位置が異なるため、後段の処理で複数の重複分割画像が接合されると、並列処理を行わない場合の処理結果と異なる不具合が生じる。

そのため、スムージング処理部２３は、図６に示すように、上端又は下端の外周ブロックについては、左右方向についてだけスムージングを実施して、上下方向のスムージングを実施しないようにする。
ただし、スムージングを行う際、４隅のブロック以外の外周ブロック同士の境界付近では、連続性を高めるために、互いに隣の外周ブロックのピクセルの位置を考慮して、ブロックＢ’_ｉ，ｊ内のピクセルを移動させるようにする。
一方、４隅のブロックでは、後述するようにスムージングが行われないので、外周ブロックと４隅のブロックの境界付近では、４隅のブロックのピクセルの位置を考慮することなく、外周ブロックＢ’_ｉ，ｊ内のピクセルを移動させるようにする。

［重複分割画像における４隅のブロック以外の外周ブロック（右端又は左端の外周ブロック）の場合］
右端又は左端の外周ブロックは、右隣又は左隣の重複分割画像と重複しているため、左右方向にスムージングを行うと、後段の処理で複数の重複分割画像が接合されると、並列処理を行わないで処理する場合の処理結果と異なる不具合が生じる。
例えば、右端の外周ブロック（必要に応じて、「当該重複分割画像における右端の外周ブロック」と称する）は、右隣の重複分割画像における左端の外周ブロックと重複しており、右端の外周ブロックの各ピクセルを左右方向にスムージングを行う場合、右端の外周ブロックの１行左の内周ブロックのピクセルの位置を考慮して、各ピクセルを移動させることになるが、右端の外周ブロックを取り扱う位置ずれ補正部１２では、右隣の重複分割画像における左端の外周ブロックの１行右の内周ブロックのピクセルの位置が分からないため、右隣の重複分割画像における左端の外周ブロックの１行右の内周ブロックのピクセルの位置を考慮しないで、各ピクセルを移動させることになる。

一方、右隣の重複分割画像における左端の外周ブロックを左右方向にスムージングを行う場合、左端の外周ブロックの１行右のピクセルの位置を考慮して、各ピクセルを移動させることになるが、右隣の重複分割画像を取り扱う位置ずれ補正部１２では、当該重複分割画像における右端の外周ブロックの１行左の内周ブロックのピクセルの位置が分からないため、当該重複分割画像の右端の外周ブロックの１行左の内周ブロックのピクセルの位置を考慮しないで、各ピクセルを移動させることになる。
このように、重なり関係がある右端の外周ブロックと、右隣の重複分割画像における左端の外周ブロックとでは、左右方向にスムージングを行う際に考慮する隣のブロックのピクセルの位置が異なるため、後段の処理で複数の重複分割画像が接合されると、並列処理を行わない場合の処理結果と異なる不具合が生じる。

そのため、スムージング処理部２３は、図６に示すように、右端又は左端の外周ブロックについては、上下方向についてだけスムージングを実施して、左右方向のスムージングを実施しないようにする。
ただし、スムージングを行う際、４隅のブロック以外の外周ブロック同士の境界付近では、連続性を高めるために、互いに隣の外周ブロックのピクセルの位置を考慮して、ブロックＢ’_ｉ，ｊ内のピクセルを移動させるようにする。
一方、４隅のブロックでは、後述するようにスムージングが行われないので、外周ブロックと４隅のブロックの境界付近では、４隅のブロックのピクセルの位置を考慮することなく、外周ブロックＢ’_ｉ，ｊ内のピクセルを移動させるようにする。

［ブロックＢ’_ｉ，ｊが重複分割画像の４隅のブロックである場合］
４隅のブロックは、右隣又は左隣の重複分割画像、上隣又は下隣の重複分割画像、右上隣、左上隣、右下隣又は左下隣の重複分割画像などと重複しているため、スムージングを行うと、後段の処理で複数の重複分割画像が接合されると、並列処理を行わないで処理する場合の処理結果と異なる不具合が生じる。
この不具合が生じる理由は、４隅のブロック以外の外周ブロックと同様に、スムージングを行う際に考慮する隣のブロックのピクセルの位置が異なるためである。
そのため、スムージング処理部２３は、位置ずれ補正後のブロックＢ’_ｉ，ｊに対するスムージング処理を実施しない。

スムージング処理部２３は、位置ずれ補正後のブロックＢ’_１，１〜Ｂ’_Ｉ，Ｊに対するスムージング処理を実施すると、スムージング処理後のブロックＢ”_１，１〜Ｂ”_Ｉ，Ｊ（スムージング処理を実施していない４隅のブロックを含む）を接合して、重複分割画像ＤＰ_ＯＢＪｎと同様に、互いに一部分が重複している位置ずれ補正後の重複分割画像ＤＰ’_ＯＢＪｎ（ｎ＝１，２，・・・，Ｎ）を生成し、位置ずれ補正後の重複分割画像ＤＰ’_ＯＢＪｎを重複分割画像接合部１３に出力する。

重複分割画像接合部１３は、位置ずれ補正部１２−１〜１２−Ｎのスムージング処理部２３から、位置ずれ補正後の重複分割画像ＤＰ’_ＯＢＪ１，ＤＰ’_ＯＢＪ２，・・・，ＤＰ’_ＯＢＪＮを受けると、互いに重複している部分を重ね合わせながら、位置ずれ補正後の重複分割画像ＤＰ’_ＯＢＪ１，ＤＰ’_ＯＢＪ２，・・・，ＤＰ’_ＯＢＪＮを接合して、元の対象画像Ｐ_ＯＢＪに相当する画像Ｐ’_ＯＢＪを生成する。
なお、重複分割画像接合部１３では、重複分割画像生成部１１での重複分割画像の分割結果を参照して、位置ずれ補正部１２−１〜１２−Ｎの処理結果を単に並べるだけで、元の対象画像Ｐ_ＯＢＪに相当する画像Ｐ’_ＯＢＪを生成することができる。

以上で明らかなように、この実施の形態１によれば、重複分割画像生成部１１により生成された重複分割画像ＤＰ_ＯＢＪｎを複数のブロックＢ_ｉ，ｊに分割する画像分割部２１と、画像分割部２１により分割されたブロックＢ_ｉ，ｊの各ピクセルに対応する基準画像Ｐ_ＳＴＤのピクセルを特定して、その基準画像Ｐ_ＳＴＤに対するブロックＢ_ｉ，ｊの位置ずれΔｒ_ｉ，ｊを計算するとともに、その位置ずれΔｒ_ｉ，ｊを補正する位置ずれ計算部２２−１〜２２−Ｍと、位置ずれ計算部２２−１〜２２−Ｍによる位置ずれ補正後のブロックＢ’_ｉ，ｊが１つの重複分割画像だけに属している場合、位置ずれ補正後のブロックＢ’_ｉ，ｊにおける各ピクセルを４方向にスムージングし、位置ずれ補正後のブロックＢ’_ｉ，ｊが複数の重複分割画像に属しているが、重複分割画像の４隅のブロックでない場合、複数の重複分割画像が並んでいる方向と９０度異なる方向にスムージングし、位置ずれ補正後のブロックＢ’_ｉ，ｊが４隅のブロックである場合、上記スムージング処理を実施しないスムージング処理部２３とから、位置ずれ補正部１２−１〜１２−Ｎを構成するようにしたので、並列処理を行わないで処理する場合の処理結果に相当する処理結果を短時間で取得することができる効果を奏する。
即ち、並列処理による処理の高速化が得られるとともに、対象画像Ｐ_ＯＢＪを分割しないで基準画像Ｐ_ＳＴＤとの位置合わせを行った場合と同様の処理結果が得られる効果を奏する。
なお、図１の画像処理装置により位置合わせが行われた対象画像Ｐ’_ＯＢＪと基準画像Ｐ_ＳＴＤを用いて、超解像画像などを生成することができる。

実施の形態２．
上記実施の形態１では、位置ずれ計算部２２−ｍが、ベクトル情報を参照して、ブロックＢ_ｉ，ｊの各ピクセルの位置Ｑ及び基準画像Ｐ_ＳＴＤの各ピクセルの位置を求めることで、ブロックＢ_ｉ，ｊの各ピクセルに対応する基準画像Ｐ_ＳＴＤのピクセルを特定するものを示したが、ブロックＢ_ｉ，ｊの位置をずらしながら（あるいは、ブロックＢ_ｉ，ｊの解像度を変えながら）、ブロックＢ_ｉ，ｊと基準画像Ｐ_ＳＴＤの画像相関を算出し、その画像相関が最高になる位置（あるいは、解像度）を特定することで、ブロックＢ_ｉ，ｊの各ピクセルに対応する基準画像Ｐ_ＳＴＤのピクセルを特定するようにしてもよい。

実施の形態３．
上記実施の形態１では、位置ずれ計算部２２−ｍが、基準画像Ｐ_ＳＴＤに対するブロックＢ_ｉ，ｊの位置ずれΔｒ_ｉ，ｊを計算して、その位置ずれΔｒ_ｉ，ｊを補正するものを示したが、その補正を行っても、位置ずれΔｒ_ｉ，ｊがゼロにならず、若干の位置ずれが残っている場合がある。
そこで、この実施の形態３では、位置ずれ計算部２２−ｍが、基準画像Ｐ_ＳＴＤに対するブロックＢ_ｉ，ｊの位置ずれΔｒ_ｉ，ｊを計算して、その位置ずれΔｒ_ｉ，ｊを補正したのち、基準画像Ｐ_ＳＴＤに対する位置ずれ補正後のブロックＢ’_ｉ，ｊの位置ずれを再度計算し、その計算結果にしたがって基準画像Ｐ_ＳＴＤに対する位置ずれ補正後のブロックＢ’_ｉ，ｊの位置ずれを再補正するようにする。
これにより、位置ずれの補正精度を高めることができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 基準画像格納部、２ 対象画像格納部、３ 分割条件格納部、４ ベクトル情報格納部、１１ 重複分割画像生成部（重複分割画像生成手段）、１２−１〜１２−Ｎ 位置ずれ補正部（位置ずれ補正手段）、１３ 重複分割画像接合部（重複分割画像接合手段）、２２−１〜２２−Ｍ 位置ずれ計算部（位置ずれ計算手段）、２３ スムージング処理部（スムージング処理手段）。

Claims (7)

1. 基準画像と位置あわせを行う対象画像の分割条件にしたがって上記対象画像を分割して、互いに一部分が重複している複数の重複分割画像を生成する重複分割画像生成手段と、
   上記重複分割画像生成手段により生成された重複分割画像の各画素に対応する上記基準画像の画素を特定して、上記基準画像に対する上記重複分割画像の位置ずれを計算し、その計算結果にしたがって上記基準画像に対する上記重複分割画像の位置ずれを補正する複数の位置ずれ補正手段と、
   上記複数の位置ずれ補正手段による位置ずれ補正後の重複分割画像を接合する重複分割画像接合手段とを備え、
   上記複数の位置ずれ補正手段は、
   上記重複分割画像生成手段により生成された重複分割画像を複数のブロックに分割する画像分割手段と、
   上記画像分割手段により分割されたブロックの各画素に対応する上記基準画像の画素を特定して、上記基準画像に対する上記ブロックの位置ずれを計算するとともに、上記位置ずれを補正する複数の位置ずれ計算手段と、
   上記位置ずれ計算手段による位置ずれ補正後のブロックが１つの重複分割画像だけに属している場合、あるいは、位置ずれ補正後のブロックが複数の重複分割画像に属しているが、上記重複分割画像の４隅のブロックでない場合、位置ずれ補正後のブロック内の画素を移動して、上記ブロックと隣接しているブロックとの連続性を高めるスムージング処理を実施する一方、位置ずれ補正後のブロックが４隅のブロックである場合、上記スムージング処理を実施しないスムージング処理手段と
   から構成されていることを特徴とする画像処理装置。
2. スムージング処理手段は、
   位置ずれ計算手段による位置ずれ補正後のブロックが１つの重複分割画像だけに属している場合、位置ずれ補正後のブロック内の画素を４方向にスムージングし、
   位置ずれ補正後のブロックが複数の重複分割画像に属しているが、上記重複分割画像の４隅のブロックでない場合、位置ずれ補正後のブロック内の画素を上記複数の重複分割画像が並んでいる方向と９０度異なる方向にスムージングする
   ことを特徴とする請求項１記載の画像処理装置。
3. 位置ずれ計算手段は、画像分割手段により分割されたブロックと基準画像の画像相関を算出し、その画像相関に基づいて上記ブロックの各画素に対応する上記基準画像の画素を特定することを特徴とする請求項１または請求項２記載の画像処理装置。
4. 位置ずれ計算手段は、ブロックの解像度を変えながら画像相関を算出し、その画像相関が最高になる解像度を特定することで、上記ブロックの各画素に対応する上記基準画像の画素を特定することを特徴とする請求項３記載の画像処理装置。
5. 位置ずれ計算手段は、基準画像に対するブロックの位置ずれを計算して、上記位置ずれを補正したのち、上記基準画像に対する位置ずれ補正後のブロックの位置ずれを再度計算し、その計算結果にしたがって上記基準画像に対する位置ずれ補正後のブロックの位置ずれを再補正することを特徴とする請求項１から請求項４のうちのいずれか１項記載の画像処理装置。
6. 重複分割画像生成手段は、基準画像と位置あわせを行う対象画像が複数枚ある場合、複数枚の対象画像の中から、分割する対象画像を１枚ずつ順番に選択して分割することを特徴とする請求項１から請求項５のうちのいずれか１項記載の画像処理装置。
7. 基準画像と位置あわせを行う対象画像の分割条件にしたがって上記対象画像を分割して、互いに一部分が重複している複数の重複分割画像を生成する重複分割画像生成処理手順と、
   上記重複分割画像生成処理手順により生成された重複分割画像の各画素に対応する上記基準画像の画素を特定して、上記基準画像に対する上記重複分割画像の位置ずれを計算し、その計算結果にしたがって上記基準画像に対する上記重複分割画像の位置ずれを補正する複数の位置ずれ補正処理手順と、
   上記複数の位置ずれ補正処理手順による位置ずれ補正後の重複分割画像を接合する重複分割画像接合処理手順とをコンピュータに実行させる画像処理プログラムであって、
   上記複数の位置ずれ補正処理手順は、
   上記重複分割画像生成処理手順により生成された重複分割画像を複数のブロックに分割する画像分割処理手順と、
   上記画像分割処理手順により分割されたブロックの各画素に対応する上記基準画像の画素を特定して、上記基準画像に対する上記ブロックの位置ずれを計算するとともに、上記位置ずれを補正する複数の位置ずれ計算処理手順と、
   上記位置ずれ計算処理手順による位置ずれ補正後のブロックが１つの重複分割画像だけに属している場合、あるいは、位置ずれ補正後のブロックが複数の重複分割画像に属しているが、上記重複分割画像の４隅のブロックでない場合、位置ずれ補正後のブロック内の画素を移動して、上記ブロックと隣接しているブロックとの連続性を高めるスムージング処理を実施する一方、位置ずれ補正後のブロックが４隅のブロックである場合、上記スムージング処理を実施しないスムージング処理手順と
   から構成されていることを特徴とする画像処理プログラム。

Images