JP5499261B2

JP5499261B2 - 画像処理装置

Info

Publication number: JP5499261B2
Application number: JP2009167372A
Authority: JP
Inventors: 拓真山口; 洋川崎
Original assignee: Nippon Signal Co Ltd; Saitama University NUC
Current assignee: Nippon Signal Co Ltd; Saitama University NUC
Priority date: 2009-07-16
Filing date: 2009-07-16
Publication date: 2014-05-21
Anticipated expiration: 2029-07-16
Also published as: JP2011022805A

Description

本発明は、超解像処理により複数枚の低解像度画像を合成して高解像度画像を生成する画像処理装置に関する。

複数枚の低解像度画像の中から任意に選択した基準画像に対する変動量を、各画像について１画素以内の精度で求め、その変動量を基に複数枚の低解像度画像を合成して高解像度画像を生成する超解像処理と呼ばれる画像処理が知られている。超解像処理において、変動量の算出は、画像中に移動物体、変形を伴う物体或いは奥行きが大きい物体が含まれなければ、画像単位にどの方向にどれだけ移動したかを算出すればよいが、移動物体、変形を伴う物体或いは奥行きが大きい物体が含まれる場合、画像単位で変動量を算出するとアーチファクト（データエラー）を含む合成画像が得られてしまう。そこで、移動物体、変形を伴う物体或いは奥行きが大きい物体が含まれる画像については、画像を領域分割し領域単位で変動量を算出する手法が用いられており、従来、三角形分割によって局所領域を生成してその局所領域単位で変動量を算出する方法が、例えば、特許文献１に記載されている。

特許文献１に記載された三角形分割による局所領域処理は、超解像処理に使用する低解像度画像の複数のフレームから任意に基準フレームを選択し、選択した基準フレームの画像中から特徴点を抽出し、基準フレーム以外の画像フレーム上で、基準フレームで検出した特徴点に対応する点の追跡処理、即ち、特徴点追跡処理（トラッキング）を行う。この特徴点追跡処理の後、各フレームについて特徴点を頂点とする三角形領域に分割して局所領域として三角形パッチを生成し、生成した三角形パッチを同じ平面と見なして各三角形パッチ毎に変動量を求めるようにしている。この場合、特徴点追跡処理によって各フレーム間での特徴点位置の対応関係が分かっており、基準フレームで生成した各三角形パッチが他のフレーム上のどの三角形パッチに対応しているかを知ることができるので、基準フレーム上の各三角形パッチが他のフレーム上のどこに移動したかを知ることができ、各三角形パッチの変動量を算出することができる。こうすることにより、移動物体、変形を伴う物体或いは奥行きが大きい物体が含まれる画像でも、各フレーム内の物体の変動量を算出でき、超解像処理を可能としている。

特開２００７−２０５号公報

しかしながら、特許文献１に記載された三角形分割方法は、特徴点追跡処理を行い、その後、各フレーム毎に特徴点を頂点とする三角形に分割する三角形分割処理を行って三角形パッチを生成するようにしているため、三角パッチが変動量の異なる平面間に跨って生成される可能性がある。そして、三角パッチが異なる平面間に跨っているにも拘わらずその三角パッチを同一平面と見なして変動量を算出するので、変動量を精度よく算出できず、合成した高解像度画像にアーチファクトが存在するという問題がある。

本発明は上記問題点に着目してなされたもので、アーチファクトのない高精細な高解像度画像の生成が可能な画像処理装置を提供することを目的とする。

このため、本発明は、複数の画像からこれら画像より高解像度の画像を生成する画像処理装置であって、同一の対象物を撮像した複数の低解像度画像を入力する撮像画像入力部と、前記複数の低解像度画像から高解像度化の基準とする画像を基準フレームとして選択する基準フレーム選択部と、基準フレーム以外の他の画像を参照フレームとして前記基準フレームの画像上の各画素に対する各参照フレームの画像上の各画素の変動量を算出する画像変動量算出部と、該画像変動量算出部で算出した前記変動量に基づいて、前記基準フレームと各参照フレームの各画素位置を高解像度画像の各画素位置に射影して合成し前記高解像度の画像を生成する画像合成部と、を備え、前記画像変動量算出部は、基準フレーム上の画像から特徴点を抽出し、抽出した特徴点を各参照フレームについて追跡処理する特徴点追跡部と、前記基準フレーム上の特徴点から少なくとも３つ以上の特徴点を選択して初期特徴点集合を生成し、前記特徴点追跡部から得られた基準フレームと各参照フレーム間の特徴点の対応関係に基づいて前記初期特徴点集合から射影変換行列を算出し、基準フレームの全ての特徴点について算出した前記射影変換行列に適合する特徴点を探索し、適合する特徴点を前記初期特徴点集合に追加して初期特徴点集合を更新し、同一平面上の特徴点集合を生成する同一平面上特徴点集合生成部と、各参照フレームの各画素について、前記同一平面上特徴点集合生成部により基準フレームの画像の異なる平面毎に生成される前記各特徴点集合から得られる各射影変換行列を用いて基準フレーム上に射影し、射影結果に基づいて前記異なる平面毎に生成される特徴点集合の中で最も適合する特徴点集合を選択し、各参照フレームの各画素について、選択された特徴点集合から得られる射影変換行列を用いて基準フレームの対応する画素に対する変動量を算出して基準フレームの画像に対する各参照フレームの画像の前記変動量を算出する平面選択部と、を備える構成であることを特徴とする。

かかる構成では、同一の対象物を撮像した複数の低解像度画像を撮像画像入力部から入力し、基準フレーム選択部で複数の低解像度画像から高解像度化の基準とする画像を基準フレームとして選択する。画像変動量算出部は、特徴点追跡部で基準フレーム上の画像から特徴点を抽出し、抽出した特徴点を各参照フレームについて追跡処理し、同一平面上特徴点集合生成部で基準フレーム上の特徴点から少なくとも３つ以上の特徴点を選択して初期特徴点集合を生成し、特徴点追跡部から得られた基準フレームと各参照フレーム間の特徴点の対応関係に基づいて初期特徴点集合から射影変換行列を算出し、基準フレームの全ての特徴点について算出した射影変換行列に適合する特徴点を探索し、適合する特徴点を初期特徴点集合に追加して初期特徴点集合を更新し、同一平面上の特徴点集合を生成する。平面選択部とは、各参照フレームの各画素について、同一平面上特徴点集合生成部により基準フレームの画像の異なる平面毎に生成される各特徴点集合から得られる各射影変換行列を用いて基準フレーム上に射影し、射影結果に基づいて異なる平面毎に生成される特徴点集合の中で最も適合する特徴点集合を選択し、各参照フレームの各画素について、選択された特徴点集合から得られる射影変換行列を用いて基準フレームの対応する画素に対する変動量を算出して基準フレームの画像に対する各参照フレームの画像の変動量を算出する。そして、画像合成部は、画像変動量算出部で算出した変動量に基づいて、基準フレームと各参照フレームの各画素位置を高解像度画像の各画素位置に射影して合成し高解像度の画像を生成する。これにより、基準フレームの画像上の各画素に対する各参照フレームの画像上の各画素の変動量の算出処理が、変動量を同じ変換行列で表現できる同一平面領域毎に行えるので、変動量の算出精度が向上して合成した高解像度画像についてアーチファクト（データエラー）を低減できるようになる。

請求項２のように、前記同一平面上特徴点集合生成部は、前記初期特徴点集合から算出される射影変換行列を用いて基準フレームの全ての特徴点を射影し、射影結果の特徴点位置と前記特徴点追跡部から得られた各参照フレームの特徴点位置とのずれ量を算出し、前記ずれ量が予め定めた閾値未満のとき前記射影変換行列に対する適合度合いが高いと判定し、その特徴点を前記初期特徴点集合に加えて初期特徴点集合を更新し、特徴点集合に変動がなくなったときの特徴点集合を、同一平面上の特徴点集合として生成する構成とするとよい。

請求項２の構成において、請求項３のように、前記同一平面上特徴点集合生成部は、前記ずれ量の算出結果に基づいて、前記初期特徴点集合から特徴点数が増加しないときは、前記特徴点集合が異なる平面に跨る特徴点で構成される特徴点集合であると判断し、再度、基準フレーム上の他の特徴点を選択して初期特徴点集合を生成する構成とするとよい。

請求項４のように、前記閾値は、生成する高解像度画像を低解像度画像のｎ倍の解像度にするとき、１／ｎピクセルに設定するとよい。

請求項５のように、前記平面選択部は、各参照フレームの各画素について、前記同一平面上特徴点集合生成部により基準フレームの画像の異なる平面毎に生成される前記各特徴点集合から得られる各射影変換行列を用いて基準フレーム上に射影し、射影したそれぞれの各参照フレームの各画素の画素値と基準フレームの対応する画素の画素値との差分をそれぞれ算出し、差分が最小となる射影変換行列に対応する特徴点集合を最も適合する特徴点集合として選択する構成とするとよい。

請求項５の構成において、請求項６のように、前記画素値を、輝度値とするとよい。

請求項７のように、前記射影変換行列は、４つ以上の特徴点から算出する射影変換行列とし、この場合、請求項８のように、前記同一平面上特徴点集合生成部は、前記基準フレーム上から１つの特徴点を選択し、この選択した特徴点近傍の少なくとも３つ以上の特徴点を選択して初期特徴点集合を生成するようになる。

請求項９のように、前記射影変換行列は、３つ以上の特徴点から算出するアフィン変換行列とし、この場合、請求項１０のように、前記同一平面上特徴点集合生成部は、前記基準フレーム上から１つの特徴点を選択し、この選択した特徴点近傍の少なくとも２つ以上の特徴点を選択して初期特徴点集合を生成するようになる。

本発明の画像処理装置によれば、基準フレームで抽出した特徴点の追跡処理で得られる基準フレームと各参照フレーム間の特徴点の対応関係に基づいて射影変換行列を算出し、算出した射影変換行列に適合する特徴点を探索して同一平面上の特徴点集合を生成し、各参照フレームの各画素について、同一平面上の特徴点集合から得られる射影変換行列を用いて，基準フレームの画像の異なる平面毎に生成される特徴点集合の中で最も適合する特徴点集合を選択し、各参照フレームの各画素について、選択された特徴点集合から得られる射影変換行列を用いて基準フレームの対応する画素に対する変動量を算出して基準フレームの画像上の各画素に対する各参照フレームの画像上の各画素の変動量を算出する構成としたので、変動量を同じ変換行列で表現できる同一平面領域毎に、基準フレームの画像上の各画素に対する各参照フレームの画像上の各画素の変動量を算出することが可能となり、画像の変動量の算出精度を向上できる。従って、アーチファクト（データエラー）の極めて少ない高精細な高解像度画像を得ることができる超解像処理を提供することができる。

本発明に係る画像処理装置の一実施形態の構成を示すブロック図。本実施形態の画像処理装置の超解像処理動作を説明するフローチャート。同一平面上特徴点集合算出処理を説明するフローチャート。同一平面上特徴点候補集合更新処理を説明するフローチャート。平面選択処理を説明するフローチャート。同一平面上特徴点集合から平面射影変換行列を算出する様子の説明図。同一平面上特徴点候補集合更新処理による特徴点集合の更新の様子を示す図。異なる平面に跨った特徴点で構成される特徴点候補集合の例を示す図。平面選択処理の処理過程の様子の説明するための低解像度画像列の一例を示す図。入力画像から抽出した特徴点集合を示す図。各特徴点集合から得られる各平面射影変換行列で変換した各参照フレームの画像を示す図。各参照フレームの各画素に対応する平面射影変換行列を決定する場合の説明図。同一平面上特徴点集合算出処理の別の例を説明するフローチャート。

以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明に係る画像処理装置の一実施形態を示す構成図である。
図１において、本実施形態の画像処理装置は、撮像画像入力部１と、撮像画像記憶部２と、基準フレーム選択部３と、画像変動量算出部４と、画像合成部５と、高解像度画像出力部６とを備えて構成される。

前記撮像画像入力部１は、カメラやビデオ等の撮像装置で撮像した低解像度の画像を入力する。例えば、異なる角度、距離、時間等の変位を持った同一の対象物を撮影した複数の画像や、ビデオ映像における一連のシーケンス等、若干の位置ずれを持つ複数の画像を時系列的に低解像度の画像フレーム列として入力する。尚、入力する画像は、必ずしも時系列な画像でなくともよい。

前記撮像画像記憶部２は、撮像画像入力部１によって入力された入力画像の中、超解像処理に利用する数の画像を記憶する。

前記基準フレーム選択部３は、撮像画像記憶部２に記憶された低解像度の画像フレーム列の中から１つの画像フレームを任意に基準フレームとして選択する。選択する基準フレームは、画像列の最初、中間、最後のいずれの位置の画像フレームでもよい。

画像変動量算出部４は、基準フレーム以外の画像を参照フレームとして基準フレームの画像上の各画素に対する各参照フレームの画像上の各画素の変動量（移動量と移動方向）を算出するもので、特徴点追跡部４Ａと、同一平面上特徴点集合生成部４Ｂと、平面選択部４Ｃとを備える。

前記特徴点追跡部４Ａは、基準フレーム上の画素から特徴点を抽出し、抽出した特徴点が各参照フレームのどの位置に対応するかを追跡処理（トラッキング）する。特徴点の抽出及び追跡（トラッキング）には、従来公知の例えばＴｏｍａｓｉ等の方法（Carlo Tomasi and Takeo Kanade. Detection and tracking of point features. Carnegie Mellon University Technical Report CMU-CS pages 91-132, April 1991）を使用することができる。この方法は、物体の角や輪郭等の追跡し易い特徴的な点を特徴点として自動選択するもので、画像の１次微分成分が大きく、且つ垂直成分と水平成分の相関がないものが選択される。基準フレーム上で特徴点を抽出してその座標リストを作成する。各参照フレームについて基準フレームで抽出した特徴点に関して勾配法による追跡処理を行い、基準フレーム上の各特徴点と対応する各特徴点の座標リストを、各参照フレームについてそれぞれ作成する。

前記同一平面上特徴点集合生成部４Ｂは、基準フレーム上の特徴点から少なくとも３つ以上の特徴点を選択して初期特徴点集合を生成し、特徴点追跡部４Ａから得られた基準フレームと各参照フレーム間の特徴点の対応関係に基づいて初期特徴点集合から基準フレームの部分領域（同一平面領域）とそれに対応する参照フレームの部分領域（同一平面領域）の変換を表す射影変換行列を算出し、基準フレームの全ての特徴点について算出した射影変換行列に適合する特徴点を探索し、適合する特徴点を初期特徴点集合に追加して初期特徴点集合を更新し、３次元空間で同一平面上に存在すると思われる特徴点集合を生成して同一平面上特徴点集合として記憶する。本実施形態では、基準フレーム上の特徴点から４つ以上の特徴点を選択して初期特徴点集合を生成し、算出する射影変換行列として平面射影変換行列を算出する構成である。

前記平面選択部４Ｃは、各参照フレームの各画素が同一平面上特徴点集合生成部４Ｂで記憶された同一平面上特徴点集合の中のどの特徴点集合のなす平面に所属するのが適切かを決定し、その決定結果を基に各画素の対応位置を算出し、基準フレームの対応する画素に対する各参照フレームの各画素の変動量を算出して基準フレームの画像上の各画素に対する各参照フレームの画像上の各画素の変動量を算出する。具体的には、各参照フレームの各画素について、同一平面上特徴点集合生成部４Ｂにより基準フレームの画像の異なる平面毎に生成され記憶された各特徴点集合から得られる各平面射影変換行列を用いて基準フレーム上に射影し、射影結果に基づいて全ての特徴点集合の中で最も適合する特徴点集合を選択し、各参照フレームの各画素について、選択された特徴点集合から得られる平面射影変換行列を用いて基準フレームの対応する画素に対する変動量を算出して基準フレームの画像上の各画素に対する各参照フレームの画像上の各画素の変動量を算出する。

前記画像合成部５は、画像変動量算出部４で算出された基準フレームの画像上の各画素に対する各参照フレームの画像上の各画素の変動量に基づいて、高解像度画像の各画素位置にそれぞれの低解像度画像の各画素位置を射影することにより、低解像画像である基準フレームの画像と各参照フレームの画像を合成して高解像度画像を生成する。

高解像度画像出力部６は、画像合成部５で合成した高解像度画像を出力する。

次に、本実施形態の画像処理装置の超解像処理動作を、図２〜図５に示すフローチャートを参照しながら説明する。
ステップ１（図中、Ｓ１で示す。以下同様とする）では、異なる角度、距離、時間等の変位を持った同一の対象物を撮影した複数の画像や、ビデオ映像における一連のシーケンス等、若干の位置ずれを持つ複数の画像を、低解像度の画像フレーム列として撮像画像入力部１に入力し、入力した画像フレーム列の中から超解像処理に利用する枚数分、撮像画像記憶部２に保存する。

ステップ２では、基準フレーム選択部３で、撮像画像記憶部２に記憶した複数枚の画像列から任意に１枚の画像を基準フレームとして選択する。

ステップ３では、画像変動量算出部４で、同一平面上に存在すると思われる特徴点集合を生成するための同一平面上特徴点集合算出処理を実行する。同一平面上特徴点集合算出処理は、例えば、図３のフローチャートのように実行する。

図３において、ステップ１１で、基準フレーム以外の他の画像を参照フレームとして、特徴点追跡部４Ａで、従来公知の上述したＴｏｍａｓｉ等の方法を使用して、基準フレーム上の特徴点を自動選択し、その特徴点の座標リストを作成する。次いで、各参照フレームについて基準フレームで抽出した特徴点に関して勾配法による追跡処理（トラッキング）を行い、基準フレームの各特徴点と対応する参照フレーム上の各特徴点の座標リストを各参照フレーム毎に作成する。

ステップ１２では、同一平面上特徴点集合生成部４Ｂにより、基準フレームにおいて未選択且つ何れの平面にも所属していない特徴点が存在するか否かを判定し、存在していればステップ１３に進む。同一平面上特徴点集合算出処理の初回では、判定はＹＥＳでステップ１３に進むことになる。

ステップ１３では、新しい同一平面上特徴点候補集合として未選択且つ何れの集合にも所属していない１つの特徴点を任意に選択し、その近傍の３つ以上の特徴点を選択して初期特徴点候補集合を生成する。

ステップ１４では、ステップ１３で生成した初期特徴点候補集合とし、３次元空間で初期特徴点候補集合と同一平面上に存在すると思われる特徴点の集合を生成するために、同一平面上特徴点候補集合更新処理を実行する。同一平面上特徴点候補集合更新処理は、図４のフローチャートのように実行する。

図４において、ステップ２１では、図３の同一平面上特徴点集合算出処理におけるステップ１３で生成した４つ以上の特徴点で構成される初期の同一平面上特徴点候補集合を用いて各参照フレームとの間の平面射影変換行列を算出する。

ここで、平面射影変換行列について簡単に説明する。平面射影変換行列は、下記の数１に示す（１）式のような行列で表される。

ここで、ａ〜ｈは未知パラメータである。

変換前の座標を（ｘ，ｙ）、射影先の座標を（ｘ′，ｙ′）とすると、平面射影変換行列によって下記の数２に示す（２）式から射影先の座標（ｘ′，ｙ′）を求めることができる。

平面射影変換行列は８つの未知パラメータを持つため、８元方程式を解くことで、これら８つの未知パラメータを求めることができる。（２）式は下記の数３に示す（３）式のように展開できるため、基準フレームと参照フレーム間で対応関係が分かっている少なくとも４組の特徴点座標があれば、未知パラメータを算出することができる。

従って、ステップ２１では、基準フレームの特徴点と各参照フレームの特徴点との対応関係は、前述の特徴点追跡処理によって既に既知であることから、基準フレームの特徴点座標を（ｘ，ｙ）とし、この特徴点に対応する各参照フレームの特徴点座標を（ｘ′，ｙ′）として、数３に示す（３）式を用いて初期の同一平面上特徴点候補集合を構成する４組以上の特徴点から未知パラメータａ〜ｈを算出し、初期の同一平面上特徴点候補集合から各参照フレームとの間のそれぞれの平面射影変換行列を算出する。

図６は、例えば立方体を例として、４つの特徴点で構成される同一平面上特徴点集合から平面射影変換行列を算出する様子を説明する図である。図６中、立方体の各平面内の黒丸は特徴点を示す。図６で、基準フレームの立方体前面の点線で囲まれた４つの特徴点を選択すると、基準フレームの特徴点と各参照フレームの特徴点との対応関係は特徴点追跡処理によって既知であるので、各参照フレームにおいても図の点線で囲まれた４つの対応する特徴点が分かる。従って、参照フレーム数がｎ枚であれば、図６に示すように基準フレームと各参照フレームとの間で平面射影変換行列Ｈ１〜Ｈｎが算出される。

ステップ２２では、各参照フレーム上の全ての特徴点について、算出した平面射影変換行列との適合度合いを判定する。ここでは、算出した平面射影変換行列によって（２）式から射影先の座標（ｘ′，ｙ′）を算出し、この算出した座標（ｘ′，ｙ′）と特徴点追跡部４Ａの追跡処理により既に得られた対応する特徴点の座標とのずれ量を算出し、そのずれ量が予め設定した閾値未満か否かを判定してその特徴点の平面射影変換行列との適合度合いを判定する。前記閾値としては、超解像処理で解像度をｎ倍とするのであれば、ずれ量は１／ｎピクセル（１／ｎ画素）未満であることが望ましく１／ｎピクセルに設定すればよい。そして、平面射影変換行例により算出した座標とトラッキングで得られている各参照フレームの特徴点座標とのずれ量が閾値未満のときは適合度合いが高いと判定し、同一平面上の特徴点であると判断する。尚、特徴点の追跡処理の誤差を考慮して、１／ｎ〜２／ｎ未満の誤差を許容するようにした方が望ましく、この場合は、前記閾値を２／ｎピクセルに設定するとよい。

ステップ２３では、ステップ２２で適合度合いが高いと判定した特徴点が存在すれば、その特徴点を初期の同一平面上特徴点候補集合に追加し、初期の同一平面上特徴点候補集合を更新して新たな同一平面上特徴点候補集合とする。

ステップ２４では、ステップ２３の処理で生成された同一平面上特徴点候補集合に特徴点数の変動がないか否かを判定し、変動があった場合はステップ２１に戻り、新たな特徴点候補集合を構成する特徴点で未知パラメータａ〜ｈを算出して新たな平面射影変換行列を算出し、ステップ２２で、再度、各参照フレーム上の全ての特徴点について新たな平面射影行列との適合度合いを判定し、ステップ２３で、適合度合いが高い特徴点があれば特徴点候補集合に追加する。ステップ２１〜２３の処理を、同一平面上特徴点候補集合における特徴点数に変動がなくなるまで繰返す。ステップ２３で生成された同一平面上特徴点候補集合の特徴点数に変動がなければ、ステップ２４の判定がＹＥＳとなり、同一平面上特徴点候補集合更新処理を終了する。

図３に戻り、ステップ１５で、初期の同一平面上特徴点候補から集合内の特徴点が増加しているか否かを判定する。増加していればステップ１６に進み、増加していなければステップ１２に戻る。

ステップ１６では、ステップ１４の同一平面上特徴点候補集合更新処理で得られた同一平面上特徴点候補集合を同一平面上特徴点集合として登録する。そして、未選択且つ何れの平面にも所属しない特徴点が存在しなくなるまで、ステップ１３〜１６の動作を繰返し、未選択且つ何れの平面にも所属しない特徴点が存在せずステップ１２の判定がＮＯになると、同一平面上特徴点集合算出処理を終了する。

図７の（Ａ）〜（Ｃ）は、図４の同一平面上特徴点候補集合更新処理による図６に示す立方体の前面、上面、側面の特徴点集合の変動の様子を示している。図中の破線で囲んだように特徴点数が更新され、同一平面上特徴点候補集合更新処理により、下段に示すように同じ平面内に存在する特徴点集合が生成される。即ち、ステップ１３〜１６の動作を繰返し行うことで、図７の（Ａ）〜（Ｃ）のように、前面、上面、側面のそれぞれの面について同一平面上特徴点集合が求められる。

初期の特徴点候補集合を生成する際、任意に１つの特徴点を選択し、その近傍の３点以上を選択して生成するので、初期の特徴点候補集合が、図８のように異なる平面に跨った特徴点で構成されることが考えられる。このような初期の特徴点候補集合から算出される平面射影変換行列と適合度合いが高い特徴点は存在せず、このような初期の特徴点候補集合は特徴点数が増加せず、ステップ１５でＮＯと判定される。従って、初期の特徴点候補集合が更新されずにステップ１５の判定がＮＯとなることで、図８のような初期の特徴点候補集合が生成されていると判断できる。図８のような初期特徴点候補集合が生成されていると判断したときは、別の特徴点を選択して初期の特徴点候補集合を生成し直せばよい。

図２に戻り、ステップ３の同一平面上特徴点集合算出処理が終了すると、ステップ４で、平面選択処理を実行する。平面選択処理は、各参照フレームの各画素がステップ３の同一平面上特徴点集合算出処理で得られた特徴点集合平面のどの平面に存在するのが適切かを決定するための処理であり、この処理によって基準フレームの各画素と各参照フレームの各画素との対応位置関係が分かる。平面選択処理は、図５のフローチャートのように実行する。

図５において、ステップ３１では、各参照フレームの全ての画素についてその画素値と基準フレームの対応する画素の画素値との差分を算出したかを判定する。判定がＮＯであれば、ステップ３２に進む。平面選択処理の初回ではステップ３２の判定はＮＯとなり、ステップ３２に進む。

ステップ３２では、各参照フレームの各画素について、図２のステップ３の同一平面上特徴点集合算出処理で登録された各同一平面上特徴点集合から得られるそれぞれの平面射影変換行列を用いて、基準フレームに近い画像となるように各参照フレームの画素を射影変換する。

ステップ３３では、ステップ３２で変換した各参照フレームの各画素について、その画素値と基準フレームの対応する画素の画素値との差分を算出する。

ステップ３１に戻り、判定がＹＥＳになれば、ステップ３４に進む。

ステップ３４では、ステップ３３の算出結果に基づいて各画素について最も適合度合いの高い同一平面上特徴点集合を選択する。具体的には、ステップ３３で算出した差分が最小となる平面射影変換行列に対応する特徴点集合を、最も適合度合いの高い同一平面上特徴点集合として選択する。これにより、平面選択処理を終了する。

図９〜図１２は、平面選択処理の処理過程の様子を説明する図である。例えば、図９に示すような４枚の低解像度の画像列が入力されたとする。この図は、丸い物体と四角い物体がそれぞれ移動している状況を想定したものである。この画像列の１つを基準フレームとして選択し、図３の同一平面上特徴点集合算出処理によって、図１０のような丸い物体領域と四角い物体領域について特徴点集合が得られたとする。これら特徴点集合から得られるそれぞれの平面射影変換行列を用いて他の３枚の各参照フレーム１〜３の画像を基準フレームの画像に近づくように射影変換する。かかる射影変換処理（図５のステップ３２）によって、図１１に示すような画像が得られる。図１１の上段は、各参照フレーム１〜３において、丸い物体領域の特徴点集合から得られるそれぞれの平面射影変換行列Ｈ１１〜Ｈ３１を用いて各参照フレーム１〜３の画像を基準フレームの画像に近づくように射影変換した画像である。図１１の下段は、各参照フレーム１〜３において、四角い物体領域の特徴点集合から得られるそれぞれの平面射影変換行列Ｈ１２〜Ｈ３２を用いて各参照フレーム１〜３の画像を基準フレームの画像に近づくように射影変換した画像である。ここで、Ｈ１１〜Ｈ３１は、基準フレームに対する各参照フレーム１〜３の丸い物体領域の特徴点集合から得られる平面射影変換行列であり、Ｈ１２〜Ｈ３２は、基準フレームに対する各参照フレーム１〜３の四角い物体領域の特徴点集合から得られる平面射影変換行列である。

次に、各参照フレーム１〜３について、図１１の上段に示す丸い物体領域の特徴点集合から得られる平面射影変換行列Ｈ１１〜Ｈ３１を用いた変換画像の各画素の画素値と基準フレームの対応する画素の画素値との差分を算出する。同じく、各参照フレーム１〜３について、図１１の下段に示す四角い物体領域の特徴点集合から得られる平面射影変換行列Ｈ１２〜Ｈ３２を用いた変換画像の各画素の画素値と基準フレームの対応する画素の画素値との差分を算出する。そして、どちらの差分が小さいかを判定し、差分の小さい方の平面射影変換行列に対応する特徴点集合で構成される平面を適合度合いの高い平面として選択する。これにより、各参照フレーム１〜３の各画素について適合度合いの高い平面射影変換行列が求まり、各画素の変動量を算出できる。

例えば、図１２において、図の上段に示す基準フレームの丸い物体領域内の「○」で囲われた領域と、四角い物体領域内の「△」で囲われた領域を考える。各参照フレーム１〜３について、丸い物体領域の特徴点集合から得られる平面射影変換行列Ｈ１１〜Ｈ３１で変換した場合は図の中段に示すような画像が得られる。四角い物体領域の特徴点集合から得られる平面射影変換行列Ｈ１２〜Ｈ３２で変換した場合は図の下段に示すような画像が得られる。各参照フレーム１〜３について、基準フレームの画像と比較した場合、「○」で囲われた領域については、丸い物体領域の特徴点集合から得られる平面射影変換行列Ｈ１１〜Ｈ３１で変換した中段の画像の方が基準フレームに近似しており適合度合いが高い。「△」で囲われた領域については、四角い物体領域の特徴点集合から得られる平面射影変換行列Ｈ１２〜Ｈ３２で変換した下段の画像の方が基準フレームに近似しており適合度合いが高いことが分かる。これにより、基準フレームの各画素に対応する各参照フレームの各画素の平面射影変換行列が求まり、その平面射影変換行列を用いて基準フレームの各画素に対する各参照フレームの各画素の変動量が算出できる。

図２に戻り、ステップ４の平面選択処理が終了すると、ステップ５で、画像合成部５により画像合成処理を実行する。平面選択部４Ｃでは、各参照フレームの各画素について平面射影変換行列により基準フレームの対応する各画素とのずれ量（移動方向と移動量）が算出される。画像合成部５は、解像度倍率に基づいて予め設定した高解像度画像の適切な画素位置に、前記変動量に応じて基準フレームと各参照フレームの各画素を射影して画像を合成する。具体的には、例えば、解像度をｎ倍に設定した場合、基準フレームの画素位置と対応する各参照フレームにおける各画素の、基準フレームに対するずれ量が１／ｎピクセル未満であれば、高解像度画像における画素位置において、参照フレームの画素を基準フレームの画素と同じ位置に射影し、参照フレームの画素の、基準フレームに対するずれ量が１／ｎピクセル以上であれば、そのずれ量に応じて基準フレームの画素とは異なる高解像度画像における画素位置に射影する。これにより、高解像度の画像が生成される。

ステップ６では、ステップ５で生成された高解像度画像を高解像度画像出力部６によって外部に出力する。

本実施形態の画像処理装置によれば、４つ以上の特徴点からなる初期特徴点集合を生成して平面射影変換行列を算出し、算出した平面射影変換行列に適合する同一平面上特徴点集合を生成し、各参照フレームの各画素について、同一平面上特徴点集合から得られる平面射影変換行列を用いて，基準フレームの画像の異なる平面毎に生成される特徴点集合の中で最も適合する特徴点集合を選択し、選択された特徴点集合から得られる平面射影変換行列を用いて、各参照フレームの各画素について基準フレームの対応する画素に対する変動量を算出して基準フレームの画像上の各画素に対する各参照フレームの画像上の各画素の変動量を算出するので、変動量を同じ変換行列で表現できる同一平面領域毎に、基準フレームの画像上の各画素に対する各参照フレームの画像上の各画素の変動量を算出することが可能となり、画像の変動量の算出精度を向上できる。従って、アーチファクト（データエラー）の極めて少ない高精細な高解像度画像を得ることができる超解像処理を提供することができる。

上記実施形態では、同一平面上の特徴点集合算出処理において、初期の特徴点候補集合を４つ以上の特徴点で構成して平面射影変換行列を算出する構成としたが、例えば、奥行きのない画像や画像の変動が微小な画像等の場合は、射影変換の特殊な場合であるアフィン変換を用いてもよい。アフィン行列は、（１）式の平面射影変換行列における未知パラメータｇ、ｈが０のものであり６つの未知パラメータを持つ。アフィン変換を用いる場合、初期の特徴点候補集合を３つ以上の特徴点で構成すればよく、基準フレームから任意に選択した１つの特徴点の近傍の２点を選択して初期の特徴点集合を生成してアフィン変換行列を算出すればよい。画像の変動がアフィン変換で表現できる場合は平面射影変換ではなくアフィン変換を用いることで、各画素の変動量を求める計算が簡素化できる利点がある。

また、同一平面上特徴点集合算出処理に関して、図１３のフローチャートに示すように、図３のフローチャートのステップ１５の判定動作を省略してもよい。その後の図５の平面選択処理において図８のような特徴点集合に適合する画素が存在しないので、図３のフローチャートのステップ１５の判定動作を省略しても問題はない。

１撮像画像入力部
２撮像画像記憶部
３基準フレーム選択部
４画像変動量算出部
４Ａ特徴点追跡部
４Ｂ同一平面上特徴点集合生成部
４Ｃ平面選択部
５画像合成部
６高解像度画像出力部

Claims

複数の画像からこれら画像より高解像度の画像を生成する画像処理装置であって、
同一の対象物を撮像した複数の低解像度画像を入力する撮像画像入力部と、
前記複数の低解像度画像から高解像度化の基準とする画像を基準フレームとして選択する基準フレーム選択部と、
基準フレーム以外の他の画像を参照フレームとして前記基準フレームの画像上の各画素に対する各参照フレームの画像上の各画素の変動量を算出する画像変動量算出部と、
該画像変動量算出部で算出した前記変動量に基づいて、前記基準フレームと各参照フレームの各画素位置を高解像度画像の各画素位置に射影して合成し前記高解像度の画像を生成する画像合成部と、を備え、
前記画像変動量算出部は、基準フレーム上の画像から特徴点を抽出し、抽出した特徴点を各参照フレームについて追跡処理する特徴点追跡部と、
前記基準フレーム上の特徴点から少なくとも３つ以上の特徴点を選択して初期特徴点集合を生成し、前記特徴点追跡部から得られた基準フレームと各参照フレーム間の特徴点の対応関係に基づいて前記初期特徴点集合から射影変換行列を算出し、基準フレームの全ての特徴点について算出した前記射影変換行列に適合する特徴点を探索し、適合する特徴点を前記初期特徴点集合に追加して初期特徴点集合を更新し、同一平面上の特徴点集合を生成する同一平面上特徴点集合生成部と、
各参照フレームの各画素について、前記同一平面上特徴点集合生成部により基準フレームの画像の異なる平面毎に生成される前記各特徴点集合から得られる各射影変換行列を用いて基準フレーム上に射影し、射影結果に基づいて前記異なる平面毎に生成される特徴点集合の中で最も適合する特徴点集合を選択し、各参照フレームの各画素について、選択された特徴点集合から得られる射影変換行列を用いて基準フレームの対応する画素に対する変動量を算出して基準フレームの画像に対する各参照フレームの画像の前記変動量を算出する平面選択部と、
を備えて構成されることを特徴とする画像処理装置。
前記同一平面上特徴点集合生成部は、前記初期特徴点集合から算出される射影変換行列を用いて基準フレームの全ての特徴点を射影し、射影結果の特徴点位置と前記特徴点追跡部から得られた各参照フレームの特徴点位置とのずれ量を算出し、前記ずれ量が予め定めた閾値未満のとき前記射影変換行列に対する適合度合いが高いと判定し、その特徴点を前記初期特徴点集合に加えて初期特徴点集合を更新し、特徴点集合に変動がなくなったときの特徴点集合を、同一平面上の特徴点集合として生成する構成である請求項１に記載の画像処理装置。
前記同一平面上特徴点集合生成部は、前記ずれ量の算出結果に基づいて、前記初期特徴点集合から特徴点数が増加しないときは、前記特徴点集合が異なる平面に跨る特徴点で構成される特徴点集合であると判断し、再度、基準フレーム上の他の特徴点を選択して初期特徴点集合を生成する構成である請求項２に記載の画像処理装置。
前記閾値は、生成する高解像度画像を低解像度画像のｎ倍の解像度にするとき、１／ｎピクセルに設定する請求項２又は３に記載の画像処理装置。
前記平面選択部は、各参照フレームの各画素について、前記同一平面上特徴点集合生成部により基準フレームの画像の異なる平面毎に生成される前記各特徴点集合から得られる各射影変換行列を用いて基準フレーム上に射影し、射影したそれぞれの各参照フレームの各画素の画素値と基準フレームの対応する画素の画素値との差分をそれぞれ算出し、差分が最小となる射影変換行列に対応する特徴点集合を最も適合する特徴点集合として選択する構成である請求項１〜４のいずれか１つに記載の画像処理装置。
前記画素値を、輝度値とする請求項５に記載の画像処理装置。
前記射影変換行列は、４つ以上の特徴点から算出する平面射影変換行列である請求項１〜６のいずれか１つに記載の画像処理装置。
前記同一平面上特徴点集合生成部は、前記基準フレーム上から１つの特徴点を選択し、この選択した特徴点近傍の少なくとも３つ以上の特徴点を選択して初期特徴点集合を生成する請求項７に記載の画像処理装置。
前記射影変換行列は、３つ以上の特徴点から算出するアフィン変換行列である請求項１〜６のいずれか１つに記載の画像処理装置。
前記同一平面上特徴点集合生成部は、前記基準フレーム上から１つの特徴点を選択し、この選択した特徴点近傍の少なくとも２つ以上の特徴点を選択して初期特徴点集合を生成する請求項９に記載の画像処理装置。