JP4789964B2 - 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 - Google Patents

Description

本発明は、電子撮像機器・画像システムにおける複数枚画像の位置合わせ技術、画像重ね合わせ技術、画像間のブレ補正技術に関する。

従来、複数枚の画像間における動きベクトルを検出する手段として、相関演算に基づく相関法やブロックマッチング法が知られている。ブロックマッチング法は、入力された画像信号を複数の適当な大きさのブロック（例えば８画素×８ライン）に分割し、このブロック単位で前のフレームの一定範囲の画素との差を計算し、この差の絶対値の和が最小となるブロックの位置を探索する方法である。画面間の相対的なずれが、そのブロックの動きベクトルを示している。最終的に画像の位置合わせを行うには、各ブロックの動きベクトルを統合して、フレーム間の代表的な動きベクトルを算出して使用する。

ブロックマッチングでの相関の高いブロックの探索方法としては、画素値の差分の自乗和である誤差自乗和ＳＳＤ(Sum of Squared intensity Difference)や、画素値の差分の絶対値和である誤差絶対値和ＳＡＤ(Sum of Absolute intensity Difference)を求める方法がある。この方法では、ＳＳＤ、ＳＡＤが小さいほど、相関（一致度）が高いと判断する。マッチングの基準ブロック領域Ｉおよび対象とするブロック領域Ｉ'において、画素位置ｐ∈Ｉおよび、ｑ∈Ｉ'(ｐ、ｑは２次元の値を持つ量で、Ｉ,Ｉ'は２次元の領域、ｐ∈Ｉは座標ｐが領域Ｉに含まれていることを示す)の画素値をそれぞれＬｐ、Ｌｑとすると、ＳＳＤ、ＳＡＤは、それぞれ次式（１）、（２）で表される。

その他に、正規化相互相関ＮＣＣ(Normalized Cross-Correlation)を用いる方法がある。ゼロ平均相関は、マッチングの基準ブロック領域Ｉおよび対象とするブロック領域Ｉ'の各々に含まれる画素ｐ∈Ｉおよび、ｑ∈Ｉ'の平均値Ａｖｅ（Ｌｐ）、Ａｖｅ（Ｌｑ）を算出し、各ブロックに含まれる画素値との差分を次式（３）、（４）により計算する。

続いて、正規化相互相関ＮＣＣを次式（５）により計算する。

正規化相互相関ＮＣＣの大きいブロックを一致度の高い（相関の高い）ブロックと判断し、最も一致度の高いブロックＩ'とＩの間の相対的ズレ量を求める。

また、検出した動きベクトルの信頼度を評価する方法として、ブロック内の水平、垂直方向のエッジ数を検出して重み付けする方法（特許文献１）や、相関値そのものの値に基づいて信頼性判定を行う方法（特許文献２）などが知られている。
特開平５−２３３８１５号公報 特開２００５−２６０４８１号公報

ここで、内視鏡のように広画角で歪曲収差が大きい光学系を用いて画像を取得した場合、撮像素子に結像する位置によって光学系の局所的な倍率が大きく変化する。例えば、光学系が図９に示すような負の歪曲収差（樽形歪曲収差）を持つ場合、物体面で微小な長さΔＹをもつ被写体を撮像しても、光学系の局所倍率の違いにより、図１０に示すように、画像周辺に結像した像ΔＹ'ｏは、画像中心に結像した像ΔＹ'ｃに比べて、より小さくなる。このような光学系を用いて撮像した複数の画像間でブロックの動きベクトルを検出しようとしても、図１１に示すように、像面における半径方向の動きが大きい場合には、像位置の移動による被写体像の大きさの変動も大きいため、ブロック間の相関が低くなり、動きベクトルを検出することは困難である。

また、例えば生体の粘膜や血管構造のように、広い範囲の空間周波数にわたって類似した特徴点が多数存在するような被写体の場合、本来注目している部位と異なる部位が倍率の変化によって偶然似たような特徴の画像となり、誤った動きベクトルとして検出される現象が起こりうる。このように、誤った動きベクトルを含んだまま動きベクトルを統合してフレーム間の代表的な動きベクトルを算出すると、位置合わせの精度が著しく劣化するため、動きベクトルを統合する際に、誤った動きベクトルを低く評価、または除外する必要がある。しかしながら、前述の特許文献１や特許文献２に示された手法では、このような光学系の収差の影響が考慮されていなかった。

本発明は上記の課題に鑑みてなされたものであり、その目的は、光学系の収差の影響を考慮して、精度の高い画像間の位置合わせを実現することである。

本発明のある態様に係る画像処理装置は、複数枚の画像間で、動きベクトル算出により画像の位置合わせ処理を行う画像処理装置であって、動きベクトルを測定するための複数の動きベクトル測定領域を設定する動きベクトル測定領域設定部と、前記複数の動きベクトル測定領域の動きベクトルを算出する動きベクトル算出部と、画像を取得する際に用いられた光学系の予め格納された局所倍率の情報に基づいて、前記複数の動きベクトル測定領域の位置情報から前記複数の動きベクトル測定領域の局所倍率を求めることで動きベクトルの信頼度を算出する動きベクトル信頼度算出部と、前記動きベクトルの信頼度に応じて、前記複数の動きベクトル測定領域の動きベクトルを統合することにより、画像間の動きベクトルを求める動きベクトル統合処理部と、を備え、前記動きベクトル信頼度算出部は、前記複数の動きベクトル測定領域の各動きベクトルの始点および終点における前記光学系の局所倍率を求めることによって、各動きベクトルに対する局所倍率の変動量を求める倍率変動算出部を備え、前記局所倍率の変動量に基づいて、各動きベクトルの信頼度を算出する、ことを特徴とする。

本発明の別の態様に係る画像処理プログラムは、動きベクトル算出による複数枚の画像間の位置合わせ処理をコンピュータに実行させるための画像処理プログラムであって、動きベクトルを測定するための複数の動きベクトル測定領域を設定するステップと、前記複数の動きベクトル測定領域の動きベクトルを算出するステップと、画像を取得する際に用いられた光学系の局所倍率の予め格納された情報に基づいて、前記複数の動きベクトル測定領域の位置情報から前記複数の動きベクトル測定領域の局所倍率を求めることで動きベクトルの信頼度を算出するステップと、前記動きベクトルの信頼度に応じて、前記複数の動きベクトル測定領域の動きベクトルを統合することにより、画像間の動きベクトルを求めるステップと、を備え、前記動きベクトルの信頼度は、各動きベクトルの始点および終点における前記光学系の局所倍率を求めることによって、各動きベクトルに対する局所倍率の変動量を求め、前記局所倍率の変動量に基づいて算出することを特徴とする。

本発明のさらに別の態様に係る画像処理方法は、複数枚の画像間で、動きベクトル算出により画像の位置合わせ処理を行う画像処理方法であって、動きベクトルを測定するための複数の動きベクトル測定領域を設定するステップと、前記複数の動きベクトル測定領域の動きベクトルを算出するステップと、画像を取得する際に用いられた光学系の局所倍率の予め格納された情報に基づいて、前記複数の動きベクトル測定領域の位置情報から前記複数の動きベクトル測定領域の局所倍率を求めることで動きベクトルの信頼度を算出するステップと、前記動きベクトルの信頼度に応じて、前記複数の動きベクトル測定領域の動きベクトルを統合することにより、画像間の動きベクトルを求めるステップと、を備え、前記動きベクトルの信頼度は、各動きベクトルの始点および終点における前記光学系の局所倍率を求めることによって、各動きベクトルに対する局所倍率の変動量を求め、前記局所倍率の変動量に基づいて算出することを特徴とする。

これら態様によれば、光学系の局所倍率の情報を考慮にいれて複数の動きベクトル測定領域における動きベクトルの信頼度を算出するため、正確で信頼性の高い画像間の動きベクトルを算出することができる。その結果、精度の高い画像間の位置合わせを実現できる。

本発明によれば、精度の高い画像間の位置合わせを実現できる。

以下、図面を参照しながら本発明の実施の形態について説明する。

図１は、一実施の形態における画像処理装置の構成を示すブロック図である。図中、点線は制御信号、細線は動きベクトルや信頼度等のデータの流れ、太線は画像データの流れを表している。なお、本実施の形態に係る画像処理装置は、デジタルカメラ、デジタルビデオカメラや内視鏡など、正しく作動するために電流または電磁界に依存する機器である電子機器に搭載される。

メインコントローラ１０２は、装置全体の動作制御を行うプロセッサであり、例えば、ＤＳＰ（デジタルシグナルプロセッサ）などのＣＰＵが用いられる。

撮像部１０１によって撮影された複数フレームの画像は、フレームメモリ１０７にいったん格納される。フレームメモリ１０７に格納された複数のフレームデータには、位置合わせの基準となるフレーム（以下、基準フレームと呼ぶ）のデータと、基準フレームに対して位置合わせを行うフレーム（以下、対象フレームと呼ぶ）のデータとがある。

動きベクトル測定ブロック設定部１０３は、フレームメモリ１０７に格納されている基準フレームに対して、所定の複数の動きベクトル測定ブロックを設定する。この動きベクトル測定ブロックは、基準フレームと対象フレームとの位置合わせを行う際に用いられる。なお、以下では、この動きベクトル測定ブロックを単に「ブロック」とも呼ぶ。

図２は、基準フレームに対して設定された動きベクトル測定ブロックの一例を示す図である。図２に示す例では、動きベクトル測定ブロックは、基準フレーム上に、格子状に設定されている。この動きベクトル測定ブロックの中心座標が、動きベクトルの始点となる。

動きベクトル算出部１０４は、フレームメモリ１０７に格納された基準フレームおよび対象フレームの画像データと、動きベクトル測定ブロック設定部１０３で設定された動きベクトル測定ブロックのデータとを用いて、上述したＳＳＤ、ＳＡＤ、ＮＣＣ等の一致指標を演算するブロックマッチングにより、基準フレームの動きベクトル測定ブロックに対して、対象フレーム中の相関の高いブロック位置を算出する。この処理は、全ての動きベクトル測定ブロックに対して行う。

対象フレーム中の相関の高いブロックの中心座標は、動きベクトルの終点となる。従って、基本フレーム中の動きベクトル測定ブロックの中心座標から、対象フレーム中の相関の高いブロックの中心座標に対応する基本フレームの位置座標に向かうベクトルが動きベクトルとなる。

動きベクトル信頼度算出部１０５は、撮像部１０１の光学系の局所倍率情報を読み込み、動きベクトル算出部１０４で算出された各動きベクトルの信頼性を示す信頼度を算出する。光学系の局所倍率情報は、撮像部１０１に設けられたＲＯＭ１０９に予め格納されている。各動きベクトルの信頼度を算出する方法については、後述する。

動きベクトル統合処理部１０６は、動きベクトル信頼度算出部１０５によって算出された動きベクトルの信頼度の情報に従って各動きベクトルのデータの統合を行い、フレーム間の動きベクトルの代表値を算出する。動きベクトル統合処理部１０６が行う処理の詳細についても後述する。

フレーム加算部１０８は、フレームメモリ１０７に格納されている基準フレームおよび対象フレームの画像データと、動きベクトル統合処理部１０６によって算出された補正ベクトルデータ（画像間の動きベクトルの代表値）とに基づいて、フレーム加算処理を行う。

なお、図１に示す構成では、フレーム加算の例を示したが、補正ベクトルを用いて、基準フレームに対する対象フレームの位置あわせを行う動画ブレ補正を行う構成としてもよい。動画ブレ補正では、補正ベクトルを用いて、対象フレームが基準フレームに対して、ブレが少なくなるような補正を行う。

図３は、動きベクトル信頼度算出部１０５の詳細な構成を示すブロック図である。動きベクトル信頼度算出部１０５は、像高値算出部１０５１と、倍率変動算出部１０５２と、信頼度算出部１０５３とを備える。

像高値算出部１０５１は、各動きベクトルの始点となる、基準フレームにおける各ブロックの位置情報と、各動きベクトルの終点となる、対象フレームにおける各ブロックの位置情報を用いて、各動きベクトルの始点および終点における正規化された像高である像高値を算出する。

倍率変動算出部１０５２は、像高値算出部１０５１で算出された各動きベクトルの始点および終点における像高値と、ＲＯＭ１０９から読み込んだ光学系の局所倍率情報とに基づいて、各動きベクトルの始点および終点における光学系の倍率変動量を算出する。

信頼度算出部１０５３は、倍率変動算出部１０５２で算出された倍率変動量に基づいて、倍率変動量が大きい場合はブロックマッチングの結果が信頼できないため信頼度を小さくし、倍率変動量が小さい場合は信頼度が大きくなるように、各動きベクトルの信頼度を算出する。

なお、像高値算出部１０５１、倍率変動算出部１０５２、および、信頼度算出部１０５３で行われる処理の詳細については、図４に示すフローチャートを用いて後述する。

図４は、一実施の形態における画像処理装置によって行われる処理の処理手順を示すフローチャートである。ステップＳ１０において、動きベクトル測定ブロック設定部１０３は、フレームメモリ１０７に格納されている基準フレームに対して、複数の動きベクトル測定ブロックを設定する。

ステップＳ２０において、動きベクトル算出部１０４は、各動きベクトル測定ブロックの動きベクトルを算出する。

ステップＳ３０〜ステップＳ７０の処理は、動きベクトル信頼度算出部１０５によって行われる。ステップＳ３０において、像高値算出部１０５１は、基準フレームにおいてｉ番目の動きベクトルの始点となるｉ番目の動きベクトル測定ブロックの像高値ＩＨＲｉと、対象フレームにおいて、動きベクトルの終点となる、ｉ番目の動きベクトル測定ブロックと相関が高いと判断されたｉ'番目のブロックの像高値ＩＨＲｉ'を算出する。

ここで、像高値は、図５に示す画像中心から基準フレームのベクトル測定ブロック５１の中心座標までの距離ＩＨｉ、および、図５に示す画像中心から対象フレームの対応ブロック５２の中心座標までの距離ＩＨｉ'をそれぞれ最大像高ＩＨｍａｘで除算した値である。対象フレームの対応ブロック５２とは、ステップＳ２０で動きベクトル５３を求める際に求めた、基準フレームのベクトル測定ブロック５１と相関の高いブロックのことである。また、最大像高ＩＨｍａｘは、図５に示すように、画像中心から画像四隅の角までの距離である。画像中心点から画像四隅のそれぞれの角までの距離がそれぞれ異なる場合であれば、それら距離のうち最大の距離、すなわち画像中心点とその中心点から最も遠く離れた最遠点との距離を、最大像高ＩＨｍａｘとして採用する。

基準フレームのｉ番目のブロック５１の中心座標を（ｂｘｉ，ｂｙｉ）、対象フレームのｉ'番目のブロック５２の中心座標を（ｂｘｉ'，ｂｙｉ'）、画像の中心座標を（ｘ０，ｙ０）とすると、画像中心から基準フレームのベクトル測定ブロック５１の中心座標までの距離ＩＨｉ、および、画像中心から対象フレームの対応ブロック５２の中心座標までの距離ＩＨｉ'はそれぞれ次式（６）、（７）で表される。従って、像高値ＩＨＲｉおよびＩＨＲｉ'は、それぞれ次式（８）、（９）で表される。

ステップＳ４０〜ステップＳ６０の処理は、倍率変動算出部１０５２によって行われる。ステップＳ４０では、ステップＳ３０で算出した像高値ＩＨＲｉ'が像高値ＩＨＲｉ以上であるか否かを判定する。ＩＨＲｉ'がＩＨＲｉ以上であると判定するとステップＳ５０に進み、ＩＨＲｉ'がＩＨＲｉより小さいと判定するとステップＳ６０に進む。

ステップＳ５０およびステップＳ６０では、ｉ番目の動きベクトル５３の始点と終点における光学系の倍率変動量Ｍｉを算出する。この算出方法を図６を用いて説明する。

図６は、歪曲収差が大きい撮像部１０１の光学系の像高値と局所倍率との関係を示すグラフの一例である。図６において、横軸は像高値を示し、縦軸は正規化された局所倍率を示す。ここでは、像高値＝０（画像中心）での局所倍率が１になるように正規化している。図６に示すグラフから分かるように、像高値が大きくなるほど、局所倍率は小さくなっている。これは、画像中心と周辺に同じ物体が結像した場合には、周辺の方が小さく結像されることを意味している。

図６に示すグラフを３次式で近似すると、次式（１０）で表せる。ただし、ｘは像高値であり、ｆ（ｘ）は局所倍率を表す。

式（１０）で表されるｆ（ｘ）は、ＲＯＭ１０９に予め格納しておく。この場合、式（１０）で示される多項式の係数のみを格納しておくことができる。また、像高値に対する局所倍率の関係を規定したルックアップテーブルをＲＯＭ１０９に格納しておくようにしてもよい。

ステップＳ５０では、式（１０）より、基準フレームのｉ番目のブロック５１の中心座標における局所倍率ｆ（ＩＨＲｉ）、および、対象フレームの対応ブロック５２の中心座標における局所倍率ｆ（ＩＨＲｉ'）を算出して、次式（１１）より、ｉ番目の動きベクトル５３の始点と終点における光学系の倍率変動量Ｍｉを算出する。

一方、ステップＳ６０では、式（１０）より、基準フレームのｉ番目のブロック５１の中心座標における局所倍率ｆ（ＩＨＲｉ）、および、対象フレームの対応ブロック５２の中心座標における局所倍率ｆ（ＩＨＲｉ'）を算出して、次式（１２）より、ｉ番目の動きベクトル５３の始点と終点における光学系の倍率変動量Ｍｉを算出する。

基準フレームと対象フレームでブロックの中心座標における光学系の局所倍率が同じ場合、倍率変動量Ｍｉは１であり、局所倍率の変動量が大きくなるにしたがって、Ｍｉの値は減少する。ここで、Ｍｉは光学系の倍率の比であるから、０以下になることは無い。

なお、倍率変動量Ｍｉを求める際に、像高値ＩＨＲｉではなく、実像高ＩＨｉを使用しても同様の結果を得ることが可能であることは言うまでも無い。この場合、実像高と局所倍率の関係を示す関数として、近似式ｆ（ｘ）を予め求めておけばよい。さらに、上述した説明では、像高値と局所倍率の関係を３次式で近似したが、必要に応じて２次式や４次式以上の関数で近似しても良い。

ステップＳ７０において、動きベクトル信頼度算出部１０５は、次式（１３）より、ｉ番目の動きベクトル５３の信頼度Ｓｉを算出する。式（１３）において、Ｃは任意の係数である。

基準フレームと対象フレームの注目ブロック間で倍率変動が無い場合、倍率変動量Ｍｉ＝１となるので、信頼度Ｓｉは１となる。上述したように、局所倍率の変動量が大きくなるに従ってＭｉの値は減少するため、これに伴い信頼度Ｓｉの値も減少することになる。すなわち、信頼度Ｓｉの値は０より大きく、かつ、１以下の値となる。

図７は、動きベクトルと信頼度との関係の一例を示す図である。図７において、動きベクトル７４は、基準フレームの動きベクトル測定ブロック７１から、対応ブロック７２に向かうベクトルであり、動きベクトル７５は、基準フレームの動きベクトル測定ブロック７１から、対応ブロック７３に向かうベクトルである。

図７に示すように、動きベクトル７４は像高が大きく変動し、光学系の倍率変動量も大きい。一方、動きベクトル７５は、像高がほぼ一定であり、局所倍率変動量も小さい。この場合、式（１３）により算出される動きベクトル７４の信頼度Ｓｉは、動きベクトル７５の信頼度Ｓｉに比べて小さくなる。

また、図６に示したように、画像の中心付近（像高値が０に近い付近）では、像高の変化に対する光学系の倍率変動が比較的小さいため、画像中心付近においては、動きベクトルの移動量が大きい場合でも、比較的高い信頼度が得られる。逆に、歪みの小さい画像の中心付近から、歪みの大きい画像の端に向かう動きベクトルは、局所倍率変動量が大きくなるため、信頼度が低くなる。

ステップＳ８０において、動きベクトル統合処理部１０６は、基準フレームの全ての動きベクトル測定ブロックを対象としてステップＳ２０で求めた動きベクトルの測定結果Ｖｉと、ステップＳ７０で求めた信頼度Ｓｉを用いて、例えば以下の式（１４）により、フレーム間の動きベクトルの代表値Ｖ_Frameを算出する。なお右辺の分母は、正規化の係数である。

式（１４）によれば、各動きベクトル測定ブロックの動きベクトルを統合して、基準フレームと対象フレームとの間の動きベクトルの代表値Ｖ_Frameを算出する際に、信頼度Ｓｉの低い動きベクトルの寄与度が低くなるようにしている。これにより、フレーム間の動きベクトルの算出精度を向上させることができる。

−動きベクトル統合処理部１０６の変形例−
図８は、動きベクトル統合処理部１０６によって行われる変形処理の処理手順を示すフローチャートであって、図３に示すフローチャートのステップＳ８０の処理の代わりに行われる。

ステップＳ８１０では、動きベクトル信頼度算出部１０５で算出された信頼度Ｓｉが所定のしきい値Ｓ＿Ｔｈｒより大きいか否かを判定する。信頼度Ｓｉが所定のしきい値Ｓ＿Ｔｈｒより大きいと判定するとステップＳ８２０に進み、Ｓ＿Ｔｈｒ以下であると判定するとステップＳ８３０に進む。

ステップＳ８２０では、動きベクトル信頼度算出部１０５で算出された信頼度Ｓｉを信頼性係数ＳＴｉに代入して（ＳＴｉ＝Ｓｉ）、ステップＳ８４０に進む。

一方、ステップＳ８３０では、信頼性係数ＳＴｉの値を０として（ＳＴｉ＝０）、ステップＳ８４０に進む。

ステップＳ８４０では、次式（１５）により、基準フレームおよび対象フレーム間の動きベクトルの代表値Ｖ_Frameを算出する。

図８に示すフローチャートの処理によれば、信頼度Ｓｉが所定のしきい値Ｓ＿Ｔｈｒ以下の動きベクトルの寄与度を０とするので、動きベクトルの代表値Ｖ_Frameの算出精度をさらに向上させることができる。

以上、一実施の形態における画像処理装置によれば、動きベクトルを測定するための複数の動きベクトル測定ブロックを画像上に設定し、設定した複数の動きベクトル測定ブロックの動きベクトルを算出し、画像を取得する際に用いられた光学系の局所倍率の情報に基づいて、各動きベクトルの信頼度を算出し、算出した動きベクトルの信頼度に応じて、複数の動きベクトル測定ブロックにおける動きベクトルを統合することにより、画像間の動きベクトルを求める。光学系の局所的倍率情報に基づいて、各動きベクトル測定ブロックの動きベクトルの信頼度を算出するので、本来検出されるべきではない局所倍率の変動量が大きいブロックの動きベクトルを低く評価、または除外することができ、正確で信頼性が高いフレーム間の代表的な動きベクトルを算出することができる。

なお、上述した実施の形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像圧縮装置と同様の処理を実現させる。

ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。

本発明は、上述した各実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、上述した実施の形態では、樽形歪曲収差を有する光学系を例に挙げて説明したが、糸巻形歪曲収差を有する光学系に適用することもできるし、その他の種類の歪曲収差を有する光学系に適用することもできる。以下、さらなる変形例を述べる。

実施の形態では、図５に示すように、画像の中心を基準にして動きベクトル測定領域の像高値を求めたが、変形例として、それに限られず、画像の略中心点、すなわち画像の中心付近に存在するある点を基準にして動きベクトル測定領域の像高値を求めてもよい。この場合、画像処理装置は、図５に示す距離ＩＨｉとして、その画像の略中心点から基準フレームのベクトル測定ブロック５１の中心座標までの距離を設定し、一方、距離ＩＨｉ'として、その画像の略中心点から基準フレームのベクトル測定ブロック５１の中心座標までの距離を設定する。さらに、画像処理装置は、その画像の略中心点から画像四隅のそれぞれの角までの距離を角ごと求め、それら求めた４つの距離のうち最大の距離を最大像高ＩＨｍａｘとして設定する。なお、それ以外の処理は、実施の形態で述べた処理と同様である。この変形例によっても実施の形態と同様の効果を奏することができる。

また、実施の形態では、画像そのものの形状が矩形である場合を記載したが、これに限られない。すなわち、画像そのものの形状は任意であってもよい。例えば、画像の形状は円であってもよいし、八角形であってもよい。円の場合、画像の略中心点から最も遠く離れた最遠点は円画像の周縁部に位置し、八角形の場合、その最遠点は八角形画像の周縁部、すなわち八隅のうちいずれかの角に位置する。この変形例によっても実施の形態と同様の効果を奏することができる。

実施の形態に係る画像処理装置は、基準フレームおよび対象フレームにおける動きベクトル測定領域の像高値として数式（８）および数式（９）から得られる値を用いたが、変形例として、動きベクトル測定領域の像高値として、画像の略中心点と前記動きベクトル測定領域内の一点との間の距離そのものを用いてもよい。この場合、数式（８）および数式（９）の「ＩＨｍａｘ」に１を代入して得たＩＨＲｉおよびＩＨＲｉ'が、距離そのものを示す像高値となる。なお、それ以外の処理は、実施の形態で述べた処理と同様である。 実施の形態では、信頼度Ｓｉが所定のしきい値Ｓ＿Ｔｈｒ以下の動きベクトルの寄与度を０としたが、これに限られず、別の変形例として、０に近い値である略ゼロにしても本発明に係る技術思想を実現できる。すなわち、信頼度Ｓｉが所定のしきい値以下の動きベクトルの相対的な寄与度を出来る限り低く抑えればよい。

一実施の形態における画像処理装置の構成を示すブロック図である。 基準フレームに対して設定された動きベクトル測定ブロックの一例を示す図である。 動きベクトル信頼度算出部の詳細な構成を示すブロック図である。 動きベクトル信頼度算出部で行われる処理の処理手順を示すフローチャートである。 像高値の算出に必要な要素を説明するための図である。 歪曲収差が大きい光学系の像高値と局所倍率との関係を示すグラフの一例である。 動きベクトルと信頼度との関係の一例を示す図である。 動きベクトル統合処理部によって行われる変形処理の処理手順を示すフローチャートである。 負の歪曲収差を有する光学系の一例を示す図である。 従来技術の課題を説明するための図である。 従来技術の課題を説明するための図である。

符号の説明

１０１…撮像部
１０２…メインコントローラ
１０３…動きベクトル測定ブロック設定部
１０４…動きベクトル算出部
１０５…動きベクトル信頼度算出部
１０６…動きベクトル統合処理部
１０７…フレームメモリ
１０８…フレーム加算部

Claims (10)

1. 複数枚の画像間で、動きベクトル算出により画像の位置合わせ処理を行う画像処理装置であって、
   動きベクトルを測定するための複数の動きベクトル測定領域を設定する動きベクトル測定領域設定部と、
   前記複数の動きベクトル測定領域の動きベクトルを算出する動きベクトル算出部と、
   画像を取得する際に用いられた光学系の予め格納された局所倍率の情報に基づいて、前記複数の動きベクトル測定領域の位置情報から前記複数の動きベクトル測定領域の局所倍率を求めることで動きベクトルの信頼度を算出する動きベクトル信頼度算出部と、
   前記動きベクトルの信頼度に応じて、前記複数の動きベクトル測定領域の動きベクトルを統合することにより、画像間の動きベクトルを求める動きベクトル統合処理部と、
   を備え、
   前記動きベクトル信頼度算出部は、
   前記複数の動きベクトル測定領域の各動きベクトルの始点および終点における前記光学系の局所倍率を求めることによって、各動きベクトルに対する局所倍率の変動量を求める倍率変動算出部を備え、
   前記局所倍率の変動量に基づいて、各動きベクトルの信頼度を算出する、
   ことを特徴とする画像処理装置。
2. 基準フレームにおいて、動きベクトルの始点となる動きベクトル測定領域の位置座標、および、対象フレームにおいて、動きベクトルの終点となる動きベクトル測定領域の位置座標に基づいて、前記基準フレームおよび前記対象フレームにおける前記動きベクトル測定領域の像高に関する値を示す像高値を算出する像高値算出部をさらに備え、
   前記倍率変動算出部は、前記基準フレームおよび前記対象フレームにおける前記動きベクトル測定領域の像高値に基づいて、前記動きベクトルの始点および終点における前記光学系の局所倍率を求めることを特徴とする請求項１に記載の画像処理装置。
3. 前記動きベクトル測定領域の像高値は、画像の略中心点と前記動きベクトル測定領域内の一点との間の距離そのものであることを特徴とする請求項２に記載の画像処理装置。
4. 前記動きベクトル測定領域の像高値は、画像の略中心点と前記動きベクトル測定領域内の一点との間の距離を、画像の略中心点とその略中心点から最も遠く離れた最遠点との間の距離で除算して得た値であることを特徴とする請求項２に記載の画像処理装置。
5. 前記最遠点は、画像の周縁部に位置することを特徴とする請求項４に記載の画像処理装置。
6. 前記動きベクトル統合処理部は、前記動きベクトルの信頼度が低い動きベクトルの寄与度が低くなるように、前記複数の動きベクトル測定領域の動きベクトルを統合することを特徴とする請求項１から請求項５のいずれか一項に記載の画像処理装置。
7. 前記動きベクトル統合処理部は、前記動きベクトルの信頼度が所定のしきい値以下である動きベクトルの寄与度が略ゼロになるように、前記複数の動きベクトル測定領域の動きベクトルを統合することを特徴とする請求項１から請求項６のいずれか一項に記載の画像処理装置。
8. 動きベクトル算出による複数枚の画像間の位置合わせ処理をコンピュータに実行させるための画像処理プログラムであって、
   動きベクトルを測定するための複数の動きベクトル測定領域を設定するステップと、
   前記複数の動きベクトル測定領域の動きベクトルを算出するステップと、
   画像を取得する際に用いられた光学系の局所倍率の予め格納された情報に基づいて、前記複数の動きベクトル測定領域の位置情報から前記複数の動きベクトル測定領域の局所倍率を求めることで動きベクトルの信頼度を算出するステップと、
   前記動きベクトルの信頼度に応じて、前記複数の動きベクトル測定領域の動きベクトルを統合することにより、画像間の動きベクトルを求めるステップと、
   を備え、
   前記動きベクトルの信頼度は、各動きベクトルの始点および終点における前記光学系の局所倍率を求めることによって、各動きベクトルに対する局所倍率の変動量を求め、前記局所倍率の変動量に基づいて算出することを特徴とする画像処理プログラム。
9. 複数枚の画像間で、動きベクトル算出により画像の位置合わせ処理を行う画像処理方法であって、
   動きベクトルを測定するための複数の動きベクトル測定領域を設定するステップと、
   前記複数の動きベクトル測定領域の動きベクトルを算出するステップと、
   画像を取得する際に用いられた光学系の局所倍率の予め格納された情報に基づいて、前記複数の動きベクトル測定領域の位置情報から前記複数の動きベクトル測定領域の局所倍率を求めることで動きベクトルの信頼度を算出するステップと、
   前記動きベクトルの信頼度に応じて、前記複数の動きベクトル測定領域の動きベクトルを統合することにより、画像間の動きベクトルを求めるステップと、
   を備え、
   前記動きベクトルの信頼度は、各動きベクトルの始点および終点における前記光学系の局所倍率を求めることによって、各動きベクトルに対する局所倍率の変動量を求め、前記局所倍率の変動量に基づいて算出することを特徴とする画像処理方法。
10. 請求項１から請求項７のいずれか一項に記載の画像処理装置を有することを特徴とする電子機器。