JP4964852B2 - 画像処理装置、方法及びプログラム - Google Patents

Description

本発明は画像処理装置、方法及びプログラムに係り、特に複数の画像間で特徴の一致する点（対応点）を検出する対応点検出の技術に関する。

複数の画像間で特徴の一致する対応点を検出する技術としては、ＫＬＴ法(Tomasi & Kanade,1991,Detection and Tracking of Point Features)などの数々の手法が提案されている。

具体的には、図１２に示すように２枚の画像を入力し、そのうち基準となる画像（図１２（ａ）に示す基準画像）上から特徴ある特徴点（画素）を抽出するステップと、その特徴点がもう一方の画像（図１２（ｂ）に示す追跡画像）上のどこに位置するかを追跡し、その特徴点に対応する点を検出するステップとからなる。ここで、特徴点を追跡した結果定まった点を追跡点と呼び、特徴点と追跡点とを合わせて対応点と呼ぶこととする。

特徴点と追跡点とを結ぶ線分は、いわゆるオプティカルフロー（＝動きベクトル）と呼ばれるものである（図１２（ｂ）参照）。

特徴点の追跡手法は様々であるが、その手法の一つとして、Lucas-Kanade法などに代表される勾配法がある。勾配法は、特徴点の変位（＝動き）を、時間方向と空間方向の画像信号の勾配（＝一次微分）から求めるものである。

一般的に、勾配法の長所は比較的処理時間が短いことである。一方、短所は大きな動きに対応できないことである。この短所を補うために、図１３に示すように、２つの画像をそれぞれ段階的に縮小してピラミッド階層の２つの画像群を生成し、それを利用して対応点検出を行う階層型勾配法が提案されている（特許文献１）。

即ち、低解像度の階層にて特徴点の追跡を行い、その追跡結果を初期値として、より高解像度の階層での追跡を行う。
特開平５−６１９７５号公報

ところで、上述のように特徴点の追跡にピラミッド階層の画像群を用いる場合、ピラミッド階層の画像群を生成する過程において、平滑化フィルタによるフィルタ処理が行われるため、その平滑化フィルタのカーネルサイズに応じて画像端に無効画素の領域（無効画像領域）が発生するという問題がある。

例えば、図１４に示すように、７タップカーネルのフィルタ演算を行うと、画像端の３画素（図１４（ａ）の０、１、２の画素）にはフィルタ演算を行うことができず、その結果、画像端の画素は無効画素となる。

このようにしてフィルタ処理により生じる無効画像領域の大きさは、ピラミッド階層の階層を深くすればするほど大きくなる。例えば、入力画像に対して、段階的に平滑化と縦横２分の１間引きを行ってピラミッド階層の画像群を生成したとすると、第ｎ階層（第０階層は入力画像）でＸの幅を持つ無効画像領域は、第０階層では、Ｘ＊２^ｎの無効画像領域となる。

より大きな画像間の動きに対応しようとしてピラミッド階層数を増やすと、対応点を検出することのできない無効画像領域も増えてしまうという問題がある。

本発明はこのような事情に鑑みてなされたもので、フィルタ演算により生じる画像端の無効画像領域においても特徴点の追跡を行うことができ、より多くの対応点の検出を行うことができる画像処理装置、方法及びプログラムを提供することを目的とする。

前記目的を達成するために請求項１に係る画像処理装置は、第１の画像と第２の画像とを取得する画像取得手段と、前記第１の画像から複数の特徴点を抽出する特徴点抽出手段と、前記第１の画像から抽出された複数の特徴点にそれぞれに対応する前記第２の画像上の複数の点をそれぞれ前記第２の画像上で追跡することにより複数の対応点を検出する対応点検出手段と、前記検出された複数の対応点から前記第１の画像と第２の画像とを一致させるための画像変形パラメータを算出する画像変形パラメータ算出手段と、前記算出された画像変形パラメータを用いて前記第２の画像を変形させ、該変形させた画像を第３の画像として取得する画像変形手段と、前記第１の画像から抽出された特徴点が、該第１の画像に対して所定のフィルタ処理を行うことにより生じる画像端の無効画像領域に位置するか否かを判定する特徴点存在領域判定手段と、を備え、前記対応点検出手段は、前記第１の画像から抽出された特徴点が前記無効画像領域に位置すると判定されると、その特徴点については、前記第１の画像と前記第３の画像とを用いて特徴点の追跡を行うことを特徴としている。

即ち、前記特徴点存在領域判定手段は、前記第１の画像から抽出された特徴点が、該第１の画像に対して所定のフィルタ処理を行うことにより生じる画像端の無効画像領域に位置するか否かを判定する。前記特徴点が無効画像領域に位置していない（有効画像領域に位置している）と判定されると、従来と同様に特徴点の追跡を行って対応点の検出を行う。

一方、前記特徴点が無効画像領域に位置していると判定されると、その特徴点については、前記第１の画像と前記第３の画像とを用いて特徴点の追跡を行うようにしている。ここで、前記第３の画像は、有効画像領域に位置する特徴点の追跡により検出された複数の対応点から算出された画像変形パラメータにより前記第２の画像を変形させたものであり、第１の画像と比較して画像間の動きが小さいものとなっている。従って、第１の画像と第３の画像とを用いて無効画像領域に位置する特徴点の追跡を行うことができる。尚、この追跡結果の第３の画像上の追跡点は、前記画像変形パラメータを使用して第２の画像上の点に変換することができる。

請求項２に係る画像処理装置は、第１の画像と第２の画像とを取得する画像取得手段と、前記第１の画像から複数の特徴点を抽出する特徴点抽出手段と、前記第１の画像から抽出された複数の特徴点にそれぞれに対応する前記第２の画像上の複数の点をそれぞれ前記第２の画像上で追跡することにより複数の対応点を検出する対応点検出手段と、前記検出された複数の対応点から前記第１の画像に対する第２の画像の変化量を示す座標変換パラメータを算出する座標変換パラメータ算出手段と、前記第１の画像から抽出された特徴点が、該第１の画像に対して所定のフィルタ処理を行うことにより生じる画像端の無効画像領域に位置するか否かを判定する特徴点存在領域判定手段と、前記第１の画像の無効画像領域に位置する特徴点の座標値を前記算出された座標変換パラメータにより変換する座標変換手段と、を備え、前記対応点検出手段は、前記第１の画像から抽出された特徴点が前記無効画像領域に位置すると判定されると、前記座標変換パラメータにより座標変換された特徴点の位置を前記第２の画像上の初期追跡点として使用し、該特徴点の追跡を行うことを特徴としている。

請求項２に係る発明は、前記特徴点が無効画像領域に位置していると判定されたときの処理が、請求項１に係る発明と相違する。即ち、有効画像領域に位置する特徴点の追跡により検出された複数の対応点から算出された座標変換パラメータより無効画像領域に位置する特徴点の位置を座標変換し、この座標変換した特徴点の位置を前記第２の画像上の初期追跡点として使用し、該特徴点の追跡を行うようにしている。前記座標変換された特徴点の位置（第２の画像上の位置）は、第１の画像上の特徴点に対応する点（正しい追跡点）に接近しており、この特徴点の位置を初期追跡点にすることにより良好に追跡することができる。

請求項３に示すように請求項１又は２に記載の画像処理装置において、前記第１の画像及び第２の画像に対して１段又は複数段の縮小処理を施して解像度が異なる複数の画像からなる第１の階層画像群及び第２の階層画像群を生成する階層画像生成手段を備え、該階層画像生成手段は、前記縮小処理する前の画像に対して前記所定のフィルタ処理を行うことを特徴としている。

画素の間引き処理等による画像の縮小処理を行う場合には、偽信号が発生しないように縮小処理前の画像に対して所定のフィルタ処理を施し、このフィルタ処理後の画像を縮小処理するようにしている。このフィルタ処理としては、所定のカーネルサイズのローパスフィルタ等の平滑化フィルタによる平滑化処理が適用される。

請求項４に示すように請求項１から３のいずれかに記載の画像処理装置において、前記対応点検出手段は、前記第１の階層画像群及び第２の階層画像群の同一階層の画像間における対応点を検出し、その検出結果を上位の階層の画像間における対応点の検出に利用することを特徴としている。

請求項５に係る画像処理方法は、第１の画像と第２の画像とを取得する画像取得ステップと、前記第１の画像から複数の特徴点を抽出する特徴点抽出ステップと、前記第１の画像から抽出された特徴点が、該第１の画像に対して所定のフィルタ処理を行うことにより生じる画像端の無効画像領域に位置するか否かを判定する特徴点存在領域判定ステップと、前記第１の画像から抽出された特徴点が前記無効画像領域に位置しないと判定されると、前記特徴点に対応する前記第２の画像上の対応点を、前記第２の画像上で追跡することにより検出する第１の対応点検出ステップと、前記無効画像領域に位置しないと判定された全ての特徴点に対して前記第１の対応点検出ステップによる処理が終了すると、該第１の対応点検出ステップにより検出された複数の対応点から前記第１の画像と第２の画像とを一致させるための画像変形パラメータを算出する画像変形パラメータ算出ステップと、前記算出された画像変形パラメータを用いて前記第２の画像を変形させ、該変形させた画像を第３の画像として取得する画像変形ステップと、前記第１の画像の無効画像領域に位置すると判定された特徴点に対応する前記第２の画像上の対応点を検出するステップであって、前記第１の画像と前記第３の画像とを用いて前記特徴点の追跡を行う第２の対応点検出ステップと、を含むことを特徴としている。

即ち、前記特徴点が無効画像領域に位置していない（有効画像領域に位置している）と判定されると、従来と同様に第１の対応点検出ステップにより特徴点の追跡を行って対応点の検出を行う。有効画像領域に位置している判定された全ての特徴点に対して前記第１の対応点検出ステップによる処理が終了すると、検出された複数の対応点から前記第１の画像と第２の画像とを一致させるための画像変形パラメータを算出する。そして、この画像変形パラメータにより前記第２の画像を変形させた第３の画像を作成する。その後、前記無効画像領域に位置していると判定された特徴点については、前記第１の画像と前記第３の画像とを用いて前記特徴点の追跡を行って対応点の検出を行うようにしている。

請求項６に係る画像処理方法は、第１の画像と第２の画像とを取得する画像取得ステップと、前記第１の画像から複数の特徴点を抽出する特徴点抽出ステップと、前記第１の画像から抽出された特徴点が、該第１の画像に対して所定のフィルタ処理を行うことにより生じる画像端の無効画像領域に位置するか否かを判定する特徴点存在領域判定ステップと、前記第１の画像から抽出された特徴点が前記無効画像領域に位置しないと判定されると、前記特徴点に対応する前記第２の画像上の対応点を、前記第２の画像上で追跡することにより検出する第１の対応点検出ステップと、前記無効画像領域に位置しないと判定された全ての特徴点に対して前記第１の対応点検出ステップによる処理が終了すると、該第１の対応点検出ステップにより検出された複数の対応点から前記第１の画像に対する第２の画像の変化量を示す座標変換パラメータを算出する座標変換パラメータ算出ステップと、前記第１の画像の無効画像領域に位置すると判定された特徴点に対し、該特徴点の座標値を前記算出された座標変換パラメータにより変換する座標変換ステップと、前記第１の画像の無効画像領域に位置すると判定された特徴点に対応する前記第２の画像上の対応点を検出するステップであって、前記座標変換された特徴点の位置を前記第２の画像上の初期追跡点として使用して追跡する第２の対応点検出ステップと、を含むことを特徴としている。

請求項６に係る発明は、前記特徴点が無効画像領域に位置していると判定されたときの処理が、請求項５に係る発明と相違する。即ち、有効画像領域に位置している判定された全ての特徴点に対して前記第１の対応点検出ステップによる処理が終了すると、検出された複数の対応点から算出された座標変換パラメータより無効画像領域に位置する特徴点の位置を座標変換する。そして、座標変換した特徴点の位置を前記第２の画像上の初期追跡点として使用し、該特徴点の追跡を行うようにしている。

請求項７に係る発明は、第１の画像と第２の画像とを取得する画像取得機能と、前記第１の画像から複数の特徴点を抽出する特徴点抽出機能と、前記第１の画像から抽出された複数の特徴点にそれぞれに対応する前記第２の画像上の複数の対応点を、それぞれ前記第２の画像上で追跡することにより検出する対応点検出機能と、前記検出された複数の対応点から前記第１の画像と第２の画像とを一致させるための画像変形パラメータを算出する画像変形パラメータ算出機能と、前記算出された画像変形パラメータを用いて前記第２の画像を変形させ、該変形させた画像を第３の画像として取得する画像変形機能と、前記第１の画像から抽出された特徴点が、該第１の画像に対して所定のフィルタ処理を行うことにより生じる画像端の無効画像領域に位置するか否かを判定する特徴点存在領域判定機能と、をコンピュータに実現させるための画像処理プログラムであって、前記対応点検出機能は、前記第１の画像から抽出された特徴点が前記無効画像領域に位置すると判定されると、その特徴点については、前記第１の画像と前記第３の画像とを用いて特徴点の追跡を行うことを特徴としている。

請求項８に係る発明は、第１の画像と第２の画像とを取得する画像取得機能と、前記第１の画像から複数の特徴点を抽出する特徴抽出機能と、前記第１の画像から抽出された複数の特徴点にそれぞれに対応する前記第２の画像上の複数の対応点を、それぞれ前記第２の画像上で追跡することにより検出する対応点検出機能と、前記検出された複数の対応点から前記第１の画像に対する第２の画像の変化量を示す座標変換パラメータを算出する座標変換パラメータ算出機能と、前記第１の画像から抽出された特徴点が、該第１の画像に対して所定のフィルタ処理を行うことにより生じる画像端の無効画像領域に位置するか否かを判定する特徴点存在領域判定機能と、前記第１の画像の無効画像領域に位置する特徴点の座標値を前記算出された座標変換パラメータにより変換する座標変換機能と、をコンピュータに実現させるための画像処理プログラムであって、前記対応点検出機能は、前記第１の画像から抽出された特徴点が前記無効画像領域に位置すると判定されると、前記座標変換パラメータにより座標変換された特徴点の位置を前記第２の画像上の初期追跡点として使用し、該特徴点の追跡を行うことを特徴としている。

本発明によれば、画像間で特徴の一致する対応点を検出する際に、フィルタ演算により生じる画像端の無効画像領域に位置する特徴点についてもその追跡を行うことができ、より多くの対応点の検出を行うことができる。

以下、添付図面に従って本発明に係る画像処理装置、方法及びプログラムの好ましい実施の形態について説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る画像処理装置を示すブロック図である。

この画像処理装置１０は、主として画像メモリ１２、データメモリ１４、特徴点抽出部１６、特徴点追跡部１８、画像変形パラメータ算出部２０、画像変形部２２、特徴点存在領域判定部２４、及びメインＣＰＵ（中央処理装置）２６から構成されている。

メインＣＰＵ２６は、画像処理装置１０の各部の動作を制御する統括制御部であり、また、画像メモリ１２に対する画像データの入出力の制御等も行う。

画像メモリ１２には、基準画像となる画像１（img1）、追跡画像となる画像２（img2）及び変形画像となる画像３（img3）が記録される。尚、画像１、２は、動画撮影や連写撮影により連続的に撮影された画像群のうちの前後の２枚の画像であり、画像３は、後述する画像処理の過程で生成される画像２を変形させた画像である。

特徴点抽出部１６は、画像メモリ１２から基準画像（画像１）を読み出し、この基準画像から複数の特徴点を抽出する。この抽出された複数の特徴点を示す特徴点データ（基準画像上の座標値、画素情報等）はデータメモリ１４に記録される。

特徴点の抽出は、その後の特徴点追跡の際に追跡のしやすい点を抽出するのが一般的で、Harrisのコーナー検出器、ＫＬＴ法、Moravecの手法、SUSANなど様々な手法が提案されているが、本発明では、特徴点抽出の手法については限定しない。

特徴点追跡部１８は、画像メモリ１２から基準画像（画像１）及び追跡画像（画像２）を読み出し、段階的に基準画像及び追跡画像にローパスフィルタ等の平滑化フィルタによる平滑化と間引き処理を施し、解像度が異なる複数の画像からなるピラミッド階層化された画像群を生成するピラミッド階層生成部と、前記データメモリ１４から読み出した基準画像上の特徴点に対応する点を追跡画像上で追跡し、対応点を検出する対応点検出部とを含み、追跡が成功した点（追跡点）を示す追跡点データ（追跡画像上の座標値を含むデータ）をデータメモリ１４に記録する。

尚、特徴点追跡部１８は、特徴点の追跡手法として、図１３に示したように特徴点の変位を時間方向と空間方向の画像信号の勾配から求める手法であって、前記ピラミッド階層生成部によりピラミッド階層化された画像群の低解像度の階層にて特徴点の追跡を行い、その追跡結果を初期値として、より高解像度の階層での追跡を行う階層型勾配法を適用している。

画像変形パラメータ算出部２０は、データメモリ１４から特徴点データと、その特徴点データに対応する追跡点データ（追跡が成功しているデータ）を読み出し、これらの対応点（特徴点＋追跡点）の座標値から画像変形パラメータを算出する。画像変形パラメータとは、基準画像と追跡画像の全体的な画像のズレを表すパラメータであり、例えば、画像の平行移動パラメータ、アフィン変換パラメータ、射影変換パラメータなどが想定される。画像変形パラメータ算出部２０により算出された画像変形パラメータは、データメモリ１４に記録される。

画像変形部２２は、画像メモリ１２から読み出した追跡画像（画像２）と、データメモリ１４から読み出した画像変形パラメータに基づいて追跡画像を変形させ、その変形させた画像（変形画像（画像３））を画像メモリ１２に記録する。ここで、データメモリ１４から読み出した画像変形パラメータがアフィン変換パラメータの場合には、画像変形部２２は、このアフィン変換パラメータにより追跡画像を変形（アフィン変換）して変形画像を生成する。このようにして生成された変形画像（画像３）と基準画像（画像１）とは、位置ズレがキャンセルされ、両画像はほぼ一致する。

特徴点存在領域判定部２４は、特徴点の追跡を行う前に、データメモリ１４から読み出した特徴点の座標値から、その特徴点が無効画像領域に存在するかどうかを判定する。具体的には、特徴点の座標値（x1,y1）に対する閾値処理を行っており、例えば、以下のif文（イフ文）の条件式により、判定される。

IF(x1＜border_x)OR(x1＞width-border_x-1)
OR(y1＜border_y)OR(y1＞height-border_y-1)
THEN 特徴点は、無効画像領域に存在する。

ELSE 特徴点は、有効画像領域に存在する。

ここで、widthは画像の幅、heightは画像の高さである。また、border_x、border_yは、無効画像領域と有効画像領域の境界を示すパラメータであり、平滑化フィルタのカーネルサイズ、及びピラミッド階層の階層数に基づいて予め算出することができる。

そして、特徴点追跡部１８は、特徴点存在領域判定部２４による判定結果（特徴点が無効画像領域に位置するか、又は有効画像領域に位置するか）に応じて、後述するように特徴点の追跡方法を変更するようにしている。

図２から図４は、本発明の第１の実施の形態に係る画像処理方法を示すフローチャートである。

以下、図２から図４のフローチャートに沿って本発明の第１の実施の形態に係る画像処理方法について説明する。

図２において、メインＣＰＵ２６は、まず、画像メモリ１２に記録されている画像１を基準画像（図５（ａ））として特徴点抽出部１６に読み込ませる。特徴点抽出部１６は、読み込んだ基準画像から特徴点を抽出する（ステップＳ１２）。図５（ｂ）に、基準画像から抽出された特徴点（●又は○で示した点）の一例を示す。

この抽出された特徴点の座標値等の特徴点データは、データメモリ１４に記録される（ステップＳ１４）。尚、抽出された特徴点には、０〜ｎ（ｎ＝全特徴点の個数−１）の番号が付けられているものとする。

続いて、メインＣＰＵ２６は、画像メモリ１２に記録されている画像１（基準画像）及び画像２（追跡画像）を特徴点追跡部１８に読み込ませる（ステップＳ１４、図５（ａ）、（ｃ）参照）。特徴点追跡部１８内のピラミッド階層生成部は、これらの基準画像と追跡画像とからそれぞれピラミッド階層化した画像群を生成する（ステップＳ１８、図１３参照）。

次に、メインＣＰＵ２６は変数ｉを０にセットした後（ステップＳ２０）、データメモリ１４から第ｉ番目の特徴点の座標を特徴点存在領域判定部２４に読み込ませる（ステップＳ２２）。特徴点存在領域判定部２４は、読み込んだ特徴点が無効画像領域に存在するか否かを判定する（ステップＳ２４）。図５（ｂ）において、〇で示した特徴点は、無効画像領域に存在する特徴点を示し、●で示した特徴点は、無効画像領域以外の領域（有効画像領域）に存在する特徴点を示す。

特徴点存在領域判定部２４は、第ｉ番目の特徴点が無効画像領域に存在する（「ｙｅｓ」）と判定すると、第ｉ番目の特徴点に対してエラー値１を出力して記録する（ステップＳ２６）。続いて、メインＣＰＵ２６は、変数ｉを１だけインクリメントし（ステップＳ２８）、ステップＳ２２に遷移させる。

一方、ステップＳ２４において、第ｉ番目の特徴点が無効画像領域に存在しない（「ｎｏ」）と判定されると、メインＣＰＵ２６は、その特徴点の追跡を特徴点追跡部１８にて行わせる（ステップＳ３０）。この特徴点の追跡は、ステップＳ１８で生成したピラミッド階層化した画像群を使用した階層型勾配法により行われる。

そして、特徴点の追跡が成功したか否かが判別され（ステップＳ３２）、追跡が成功した場合（「ｙｅｓ」の場合）には、その追跡点の座標値を出力して第ｉ番目の特徴点と関連づけて記録し（ステップＳ３４）、追跡が失敗した場合（「ｎｏ」の場合）には、第ｉ番目の特徴点に対してエラー値２を出力して記録する（ステップＳ３８）。図５（ｃ）において、●で示した追跡点は、追跡画像上で追跡が成功した点を示している。

続いて、メインＣＰＵ２６は、全特徴点に対するステップＳ２４からステップＳ３８の処理が完了したか否かを判別し（ステップＳ３６）、完了していない場合（「ｎｏ」の場合）には、変数ｉを１だけインクリメントし（ステップＳ２８）、ステップＳ２２に遷移させ、完了した場合（「ｙｅｓ」の場合）には、図３に示すステップＳ４０に遷移させる。

上記の図２に示した処理により、無効画像領域に存在する特徴点に対してはエラー値１が記録され、有効画像領域に存在する特徴点に対しては追跡点又はエラー値２が関連づけて記録される。

図３において、メインＣＰＵ２６は、有効画像領域に存在する特徴点のうちの追跡に成功した複数の特徴点と追跡点（対応点）の座標を、画像変形パラメータ算出部２０に読み込ませ、これらの対応点の座標に基づいて画像変形パラメータを算出させる（ステップＳ４０、Ｓ４２）。そして、画像変形パラメータが算出されたか否かを判別し（ステップＳ４２）、画像変形パラメータが算出された場合（「ｙｅｓ」の場合）には、ステップＳ４４に遷移させ、画像変形パラメータが算出されなかった場合（「ｎｏ」の場合）には、本処理を終了させる（図４）。例えば、画像変形パラメータがアフィン変換パラメータであり、検出された対応点の個数が２個以下の場合には、画像変形パラメータを算出することができず、本処理が終了することになる。

画像変形パラメータが算出されると、続いて、メインＣＰＵ２６は、画像メモリ１２から追跡画像（画像２）を画像変形部２２に読み込ませる（ステップＳ４４）。画像変形部２２は、前記算出された画像変形パラメータを使用して追跡画像を変形させ（ステップＳ４６）、この変形させた追跡画像（変形画像）を、画像３(img3)として画像メモリ１２に記録する（ステップＳ４８）。

次に、メインＣＰＵ２６は、画像メモリ１２から基準画像と変形画像とを特徴点追跡部１８に読み込ませ（図４のステップＳ５０）、以下に示すように無効画像領域に位置する特徴点の追跡を行わせる。

即ち、特徴点追跡部１８は、変数ｊを０にセットし（ステップＳ５２）、エラー値１が記録された特徴点のうちの第ｊ番目の特徴点の座標を読み込む（ステップＳ５４）。尚、図２のステップＳ２６によりエラー値１が記録された特徴点には、０、１、２…のエラー値１が記録された特徴点の番号が付けられているものとする。

続いて、特徴点追跡部１８は、第ｊ番目の特徴点に対応する点を、変形画像上で追跡する（ステップＳ５６）。この特徴点の追跡は、ピラミッド階層化した画像群を使用せず、０階層の画像（画像１と画像３）を使用した勾配法により行われる。

即ち、１度目の追跡（有効画像領域に位置する特徴点の追跡）は、できるだけ大きな動きに対応するためにピラミッド階層数を多くとるが、２度目の追跡（無効画像領域に位置する特徴点の追跡）は、基準画像と変形画像との間にはほぼ動きがない状態にあることから、ピラミッド階層化した画像群を使用する必要がなく、０階層の画像上で追跡することができる。また、０階層の画像では、図６（ａ）に示すように無効画像領域が、ピラミッド階層化される画像（図６（ｂ））よりも狭くなり、もともと追跡することができなかった特徴点を追跡することができるようになる。

続いて、上記第ｊ番目の特徴点の追跡が成功したか否かが判別され（ステップＳ５８）、追跡が成功した場合（「ｙｅｓ」の場合）には、その追跡点の座標値を出力して第ｊ番目の特徴点と関連づけて記録し（ステップＳ６０）、追跡が失敗した場合（「ｎｏ」の場合）には、第ｊ番目の特徴点に対してエラー値２を出力して記録する（ステップＳ６２）。

次に、メインＣＰＵ２６は、エラー値１が記録された全特徴点に対するステップＳ５４からステップＳ６２の処理が完了したか否かを判別し（ステップＳ６４）、完了していない場合（「ｎｏ」の場合）には、変数ｊを１だけインクリメントし（ステップＳ６６）、ステップＳ５４に遷移させ、完了した場合（「ｙｅｓ」の場合）には、本処理を終了させる。

ところで、ステップＳ６０で記録される追跡点の座標値は、変形画像上の座標値であるため、画像変形部２２は、画像変形パラメータを使用して変形前の追跡画像上の座標値に換算して記録し直す。尚、特徴点追跡部１８がデータメモリ１４に追跡点の座標値を記録するときに、上記の換算を行った座標値を記録するようにしてもよい。

この第１の実施の形態によれば、大きな動きに対応するために、ピラミッド階層を増加させることで広がってしまった無効画像領域に存在する特徴点については、変形画像を用いて追跡を行うようにしたため、もともと無効画像領域に存在する特徴点の追跡を行うことが可能となり、結果として面積的に密に対応点を検出することができる。

［第２の実施の形態］
図７は、本発明の第２の実施の形態に係る画像処理装置を示すブロック図である。尚、図１と共通する部分には同一の符号を付し、その詳細な説明は省略する。

この第２の実施の形態に係る画像処理装置１０’は、主として図１に示した第１の実施の形態に係る画像処理装置１０の画像変形パラメータ算出部２０及び画像変形部２２の代わりに、座標変換パラメータ算出部３０及び特徴点座標変換部３２を備えている点で相違する。

一般に勾配法で特徴点を追跡する際には、追跡点の初期値を定める必要があり、通常は図１０（ａ）に示す基準画像の特徴点(x1,y1)と同じ位置を、図１０（ｂ）に示す追跡画像上の初期追跡点(x2,y2)とする。そして、特徴点の周辺領域の画像情報と初期追跡点の周辺領域の画像情報を用いて正しい追跡点を導く。

ところが、図１０に示すように正しい追跡点と初期追跡点とが大きくずれていた場合には、特徴点周辺と初期追跡点周辺の画像情報に相関性がないことから、正しい追跡点を導くことが困難となる。そのため、初期追跡点を正しい追跡点に近くなるように設定するのが望ましい。

第２の実施の形態は、初期追跡点を適切に設定することにより、無効画像領域に存在する特徴点の追跡を可能にするものである。

図７において、座標変換パラメータ算出部３０は、有効画像領域において検出された対応点（特徴点＋追跡点）の座標値から座標変換パラメータを算出する。この座標変換パラメータは、第１の実施の形態の画像変形パラメータに相当するもので、基準画像と追跡画像の全体的な画像のズレを表すパラメータである。例えば、画像の平行移動パラメータ、アフィン変換パラメータ、射影変換パラメータなどが想定される。座標変換パラメータ算出部３０により算出された座標変換パラメータは、データメモリ１４に記録される。

いま、図１１に示すように有効画像領域における対応点が検出されたとすると、座標変換パラメータが平行移動パラメータの場合、特徴点の動きベクトル（追跡点座標−特徴点座標）の平均値から、ｘ方向に７、ｙ方向に２という平行移動量を得ることができる。これは、基準画像と追跡画像との間に、ｘ方向に７、ｙ方向に２という位置ズレが発生していることを示している。

特徴点座標変換部３２は、データメモリ１４から読み出した特徴点の座標値を、データメモリ１４から読み出した座標変換パラメータにより座標変換し、この座標変換した特徴点の座標値を追跡画像の初期追跡点の位置として特徴点追跡部１８に渡す。

特徴点追跡部１８は、有効画像領域に存在する特徴点の追跡は第１の実施の形態と同様に行い、無効画像領域に存在する特徴点の追跡は、特徴点座標変換部３２から受け取った初期追跡点の位置を使用して、追跡画像上で特徴点の追跡を行う。

以下、図８及び図９のフローチャートに沿って本発明の第２の実施の形態に係る画像処理方法について説明する。

図８において、まず、図２に示したフローチャートの処理と同じ処理を行い、１度目の追跡（有効画像領域に位置する特徴点の追跡）等を行う（ステップＳ１００）。

次に、メインＣＰＵ２６は、有効画像領域に存在する特徴点のうちの追跡に成功した複数の特徴点と追跡点（対応点）の座標を、座標変換パラメータ算出部３０に読み込ませ、これらの対応点の座標に基づいて座標変換パラメータを算出させる（ステップＳ１０２、Ｓ１０４）。そして、座標変換パラメータが算出されたか否かが判別され（ステップＳ１０６）、座標変換パラメータが算出された場合（「ｙｅｓ」の場合）には、ステップＳ１０８に遷移させ、座標変換パラメータをデータメモリ１４に記録させる。一方、座標変換パラメータが算出されなかった場合（「ｎｏ」の場合）には、本処理を終了させる（図９）。

次に、メインＣＰＵ２６は、画像メモリ１２から基準画像と変形画像とを特徴点追跡部１８に読み込ませ（図９のステップＳ１１０）、以下に示すように２度目の追跡（無効画像領域に位置する特徴点の追跡）を行わせる。

尚、図９において、図４に示した第１の実施の形態と共通するステップには同一のステップ番号を付し、その詳細な説明は省略する。

２度目の追跡時において、第１の実施の形態では、画像メモリ１２から基準画像と変形画像とを特徴点追跡部１８に読み込ませるようにしたが（図４のステップＳ５０）、第２の実施の形態では、上記のように基準画像と変形画像とを特徴点追跡部１８に読み込ませる点で相違する。

また、第２の実施の形態では、図４に示したフローチャートに対して、ステップＳ１１２、及びステップＳ１１４が追加されている。

ステップＳ１１２では、データメモリ１４から座標変換パラメータを特徴点座標変換部３２に読み込ませるようにしている。また、ステップＳ１１４では、ステップＳ５４で読み込んだ特徴点の座標を、ステップＳ１１２で読み込んだ座標変換パラメータにより座標変換し、その座標変換した座標値を追跡画像の初期追跡点の位置として設定する。

特徴点追跡部１８は、ステップＳ１１４で設定された初期追跡点を追跡の開始点として使用して特徴点の追跡を行う（ステップＳ５６）。

この第２の実施の形態によれば、大きな動きに対応するために、ピラミッド階層を増加させることで広がってしまった無効画像領域に存在する特徴点については、初期追跡点を正しい追跡点に近づける座標変換を行ったのち、その座標変換した初期追跡点から追跡を行うようにしたため、もともと無効画像領域に存在する特徴点の追跡を行うことが可能となり、結果として面積的に密に対応点を検出することができる。

［その他］
本発明に係る画像処理は、専用のハードウェアで行う場合に限らず、上記第１、第２の実施の形態に対応する画像処理を行うプログラムをパーソナルコンピュータにインストールすることにより、ソフトウェアにより実現するようにしてもよい。

また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

図１は本発明の第１の実施の形態に係る画像処理装置を示すブロック図である。 図２は本発明の第１の実施の形態に係る画像処理方法を説明するために用いたフローチャートである。 図３は本発明の第１の実施の形態に係る画像処理方法を説明するために用いたフローチャートである。 図４は本発明の第１の実施の形態に係る画像処理方法を説明するために用いたフローチャートである。 図５は基準画像上の特徴点及び追跡画像上で追跡された追跡点等の関係を示す図である。 図６はピラミッド階層を用いない場合と用いる場合の無効画像領域の差を示す図である。 図７は本発明の第２の実施の形態に係る画像処理装置を示すブロック図である。 図８は本発明の第２の実施の形態に係る画像処理方法を説明するために用いたフローチャートである。 図９は本発明の第２の実施の形態に係る画像処理方法を説明するために用いたフローチャートである。 図１０は特徴点の追跡における初期追跡点を説明するために用いた図である。 図１１は対応点（特徴点と追跡点）の座標値及び特徴点の動きベクトルの一例を示す図表である。 図１２は２枚の画像（基準画像と追跡画像）から特徴の一致する対応点を検出する従来の技術を説明するために用いた図である。 図１３はピラミッド階層の２つの画像群を利用して対応点検出を行う従来の階層型勾配法を説明するために用いた図である。 図１４はフィルタ演算により無効画素が発生することを説明するために用いた図である。

符号の説明

１０、１０’…画像処理装置、１２…画像メモリ、１４…データメモリ、１６…特徴点抽出部、１８…特徴点追跡部、２０…画像変形パラメータ算出部、２２…画像変形部、２４…特徴点存在領域判定部、２６…メインＣＰＵ、３０…座標変換パラメータ算出部、３２…特徴点座標変換部

Claims (8)

1. 第１の画像と第２の画像とを取得する画像取得手段と、
   前記第１の画像から複数の特徴点を抽出する特徴点抽出手段と、
   前記第１の画像から抽出された複数の特徴点にそれぞれに対応する前記第２の画像上の複数の点をそれぞれ前記第２の画像上で追跡することにより複数の対応点を検出する対応点検出手段と、
   前記検出された複数の対応点から前記第１の画像と第２の画像とを一致させるための画像変形パラメータを算出する画像変形パラメータ算出手段と、
   前記算出された画像変形パラメータを用いて前記第２の画像を変形させ、該変形させた画像を第３の画像として取得する画像変形手段と、
   前記第１の画像から抽出された特徴点が、該第１の画像に対して所定のフィルタ処理を行うことにより生じる画像端の無効画像領域に位置するか否かを判定する特徴点存在領域判定手段と、を備え、
   前記対応点検出手段は、前記第１の画像から抽出された特徴点が前記無効画像領域に位置すると判定されると、その特徴点については、前記第１の画像と前記第３の画像とを用いて特徴点の追跡を行うことを特徴とする画像処理装置。
2. 第１の画像と第２の画像とを取得する画像取得手段と、
   前記第１の画像から複数の特徴点を抽出する特徴点抽出手段と、
   前記第１の画像から抽出された複数の特徴点にそれぞれに対応する前記第２の画像上の複数の点をそれぞれ前記第２の画像上で追跡することにより複数の対応点を検出する対応点検出手段と、
   前記検出された複数の対応点から前記第１の画像に対する第２の画像の変化量を示す座標変換パラメータを算出する座標変換パラメータ算出手段と、
   前記第１の画像から抽出された特徴点が、該第１の画像に対して所定のフィルタ処理を行うことにより生じる画像端の無効画像領域に位置するか否かを判定する特徴点存在領域判定手段と、
   前記第１の画像の無効画像領域に位置する特徴点の座標値を前記算出された座標変換パラメータにより変換する座標変換手段と、を備え、
   前記対応点検出手段は、前記第１の画像から抽出された特徴点が前記無効画像領域に位置すると判定されると、前記座標変換パラメータにより座標変換された特徴点の位置を前記第２の画像上の初期追跡点として使用し、該特徴点の追跡を行うことを特徴とする画像処理装置。
3. 前記第１の画像及び第２の画像に対して１段又は複数段の縮小処理を施して解像度が異なる複数の画像からなる第１の階層画像群及び第２の階層画像群を生成する階層画像生成手段を備え、該階層画像生成手段は、前記縮小処理する前の画像に対して前記所定のフィルタ処理を行うことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記対応点検出手段は、前記第１の階層画像群及び第２の階層画像群の同一階層の画像間における対応点を検出し、その検出結果を上位の階層の画像間における対応点の検出に利用することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 第１の画像と第２の画像とを取得する画像取得ステップと、
   前記第１の画像から複数の特徴点を抽出する特徴点抽出ステップと、
   前記第１の画像から抽出された特徴点が、該第１の画像に対して所定のフィルタ処理を行うことにより生じる画像端の無効画像領域に位置するか否かを判定する特徴点存在領域判定ステップと、
   前記第１の画像から抽出された特徴点が前記無効画像領域に位置しないと判定されると、前記特徴点に対応する前記第２の画像上の対応点を、前記第２の画像上で追跡することにより検出する第１の対応点検出ステップと、
   前記無効画像領域に位置しないと判定された全ての特徴点に対して前記第１の対応点検出ステップによる処理が終了すると、該第１の対応点検出ステップにより検出された複数の対応点から前記第１の画像と第２の画像とを一致させるための画像変形パラメータを算出する画像変形パラメータ算出ステップと、
   前記算出された画像変形パラメータを用いて前記第２の画像を変形させ、該変形させた画像を第３の画像として取得する画像変形ステップと、
   前記第１の画像の無効画像領域に位置すると判定された特徴点に対応する前記第２の画像上の対応点を検出するステップであって、前記第１の画像と前記第３の画像とを用いて前記特徴点の追跡を行う第２の対応点検出ステップと、
   を含むことを特徴とする画像処理方法。
6. 第１の画像と第２の画像とを取得する画像取得ステップと、
   前記第１の画像から複数の特徴点を抽出する特徴点抽出ステップと、
   前記第１の画像から抽出された特徴点が、該第１の画像に対して所定のフィルタ処理を行うことにより生じる画像端の無効画像領域に位置するか否かを判定する特徴点存在領域判定ステップと、
   前記第１の画像から抽出された特徴点が前記無効画像領域に位置しないと判定されると、前記特徴点に対応する前記第２の画像上の対応点を、前記第２の画像上で追跡することにより検出する第１の対応点検出ステップと、
   前記無効画像領域に位置しないと判定された全ての特徴点に対して前記第１の対応点検出ステップによる処理が終了すると、該第１の対応点検出ステップにより検出された複数の対応点から前記第１の画像に対する第２の画像の変化量を示す座標変換パラメータを算出する座標変換パラメータ算出ステップと、
   前記第１の画像の無効画像領域に位置すると判定された特徴点に対し、該特徴点の座標値を前記算出された座標変換パラメータにより変換する座標変換ステップと、
   前記第１の画像の無効画像領域に位置すると判定された特徴点に対応する前記第２の画像上の対応点を検出するステップであって、前記座標変換された特徴点の位置を前記第２の画像上の初期追跡点として使用して追跡する第２の対応点検出ステップと、
   を含むことを特徴とする画像処理方法。
7. 第１の画像と第２の画像とを取得する画像取得機能と、
   前記第１の画像から複数の特徴点を抽出する特徴点抽出機能と、
   前記第１の画像から抽出された複数の特徴点にそれぞれに対応する前記第２の画像上の複数の対応点を、それぞれ前記第２の画像上で追跡することにより検出する対応点検出機能と、
   前記検出された複数の対応点から前記第１の画像と第２の画像とを一致させるための画像変形パラメータを算出する画像変形パラメータ算出機能と、
   前記算出された画像変形パラメータを用いて前記第２の画像を変形させ、該変形させた画像を第３の画像として取得する画像変形機能と、
   前記第１の画像から抽出された特徴点が、該第１の画像に対して所定のフィルタ処理を行うことにより生じる画像端の無効画像領域に位置するか否かを判定する特徴点存在領域判定機能と、をコンピュータに実現させるための画像処理プログラムであって、
   前記対応点検出機能は、前記第１の画像から抽出された特徴点が前記無効画像領域に位置すると判定されると、その特徴点については、前記第１の画像と前記第３の画像とを用いて特徴点の追跡を行うことを特徴とする画像処理プログラム。
8. 第１の画像と第２の画像とを取得する画像取得機能と、
   前記第１の画像から複数の特徴点を抽出する特徴抽出機能と、
   前記第１の画像から抽出された複数の特徴点にそれぞれに対応する前記第２の画像上の複数の対応点を、それぞれ前記第２の画像上で追跡することにより検出する対応点検出機能と、
   前記検出された複数の対応点から前記第１の画像に対する第２の画像の変化量を示す座標変換パラメータを算出する座標変換パラメータ算出機能と、
   前記第１の画像から抽出された特徴点が、該第１の画像に対して所定のフィルタ処理を行うことにより生じる画像端の無効画像領域に位置するか否かを判定する特徴点存在領域判定機能と、
   前記第１の画像の無効画像領域に位置する特徴点の座標値を前記算出された座標変換パラメータにより変換する座標変換機能と、をコンピュータに実現させるための画像処理プログラムであって、
   前記対応点検出機能は、前記第１の画像から抽出された特徴点が前記無効画像領域に位置すると判定されると、前記座標変換パラメータにより座標変換された特徴点の位置を前記第２の画像上の初期追跡点として使用し、該特徴点の追跡を行うことを特徴とする画像処理プログラム。

Images