JP6345339B2

JP6345339B2 - 画像補正装置および画像補正方法

Info

Publication number: JP6345339B2
Application number: JP2017507191A
Authority: JP
Inventors: 要介石渡
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2015-03-23
Filing date: 2015-03-23
Publication date: 2018-06-20
Anticipated expiration: 2035-03-23
Also published as: WO2016151730A1; JPWO2016151730A1

Description

この発明は、上方から地上を撮影した画像内の座標値を補正する技術に関するものである。

近年、画像取得用センサの性能が向上し、様々な高解像度の画像を撮影することが可能になっている。画像取得用センサとして、素子を二次元に配列して一度に画像を取得するエリアセンサと、素子を一次元に配列してセンサを動かしながら撮影することにより画像を構成するラインセンサとが存在する。一般的に、エリアセンサよりもラインセンサの方が、より高解像度の撮影を行うことができる。

上述したセンサを用いて地上を撮影した画像あるいは画像の各画素に撮影方向・撮影位置の情報を付与し、画像と組み合わせることによって様々な処理が行われる。例えば、撮影方向・撮影位置の情報と画像とを組み合わせた情報を用いることにより各画像の３次元座標を算出し、撮影された画像の詳細な位置を求めることができる。

撮影された画像の位置は、例えば同一地点を含む２つの画像上で、撮影位置および撮影方向から決まる直線の交点を求めることにより算出される。実際の算出には誤差が含まれるため、２直線が交わらない場合もある。そのため、２直線が最も近接する箇所の中心位置、即ち当該２直線に共に直交する線分において当該２直線との交点を結ぶ直線が最も短い線分の中心位置を２直線の交点とみなす。

撮影された画像の位置を正確に算出するためには、算出時の誤差をできる限り抑制することが望ましい。各画素の撮影方向（以下、方向ベクトルと称する）の誤差を修正する場合に、一般に地上基準点（以下、ＧＣＰ（ＧｒｏｕｎｄＣｏｎｔｒｏｌＰｏｉｎｔ）と称する）の情報が用いられる。ＧＣＰは、画像上の画素に対応付けた座標を有する地上の点であり、ＧＰＳなどの測定機器を用いて正確に測定された３次元座標である。ＧＣＰと画像上の点とを対応付けることにより、補正前の方向ベクトル用いて算出した３次元座標との差分が求まり、当該差分に基づいて方向ベクトルを補正することができる。補正データ１つを用いて方向ベクトルを平行移動するのみでも補正の効果が得られる場合もある。

ただし、ＧＣＰの情報を用いた補正を行う場合、ＧＣＰの算出精度のみではなく、ＧＣＰが対応する画像上の点を正確に求める必要がある。例えば、ＧＣＰが対応する画像上の点をユーザが目視で求める場合、画像によっては視差があり、正確に求められない場合もある。しかし、２つの画像の撮影方向が異なる場合、同一地点、同一対象物を撮影した場合であっても見え方が異なるため、同一地点を目視で指定することは困難である。

ＧＣＰが対応する画像上の点を目視以外で求める方法として、例えばいずれかの手法で正確なＧＣＰの位置を求めた画像が存在する場合に、リファレンスである当該画像のＧＣＰおよび当該ＧＣＰ周辺を部分画像として切り出し、異なる画像における当該ＧＣＰの座標を画像マッチングによる算出する方法がある。しかし、２つの画像のマッチングのみでは画像間に視差が生じる。つまり、撮影方向が異なる画像の場合、同一地点、同一対象物を撮影した場合であっても見え方が異なるため、画像マッチングを適用できない場合もある。

視差のある画像の幾何学的な歪みを補正するオルソ補正を適用して視差を除去したオルソ画像に変換することにより理論上は問題が解決される。地上を撮影した画像をオルソ画像に変換するためには、地上を撮影した画像の各画素の方向ベクトル・撮影位置および地上の任意の地点における正確な高度値Ｈが必要となる。撮影位置から方向ベクトルを延ばし、撮影位置に最も近い地点であり、且つ当該撮影位置に最も近い場所の高度が高度値Ｈから得られる高度値に等しくなる地点が求める３次元座標となる。

しかし、任意の地点における正確な高度値Ｈを求めることは不可能であることから、数メートルから数十メートルの間隔で測定された地表面高度データから概算する。地表面高度データの集合は数値高度モデル（以下、ＤＥＭ（ＤｉｇｉｔａｌＥｌｅｖａｔｉｏｎＭｏｄｅｌ）と称する）と呼ばれ、上述した測定間隔によって様々なものが存在する。

例えば、特許文献１には、地上を撮影した画像の幾何学的な歪みを補正するため、ＤＥＭデータを用いて、補正対象の画像の正射投影座標に合わせて地上を撮影した画像をオルソ化する第１の幾何補正を行い、幾何補正された画像が既存のオルソ化済み衛星画像と一致するように画像全域で対応点を取得して幾何補正する第２の幾何補正を行い、第１および第２の幾何補正済みの画像とをマージした画像を作成して最終的な正射投影画像を得る画像補正装置が開示されている。

特開２００８−９０８０８号公報

しかしながら、上述した特許文献１に開示された技術では、ＤＥＭを用いて任意の地表面の高度を近似することから、近似した高度値には誤差が含まれ最終的に得られた正射投影画像にも誤差が含まれる。そのため、正射投影画像内の基準点に基づいてマッチングした画像には誤差が含まれるという課題があった。また、リファレンス画像として参照するオルソ化済み衛星画像が正確な画像であることが前提であり、リファレンス画像に誤差が含まれる場合には適用できないという課題があった。

この発明は、上記のような課題を解決するためになされたもので、マッチング処理を行う画像に含まれる誤差を低減し、正確な画像内座標値の補正を実現することを目的とする。また、リファレンス画像に含まれる誤差を考慮して画像内座標値の補正を行うことを目的とする。

この発明に係る画像補正装置は、地上を撮影した衛星画像から、共通するＧＣＰ（ＧｒａｎｄＣｏｎｔｒｏｌＰｏｉｎｔ）を含む画像データを選択し、選択した画像データの撮影位置を示す撮影位置情報と、撮影位置から画像データを構成する各ピクセルへの方向を示すベクトルと、撮影対象の高度を示す高度情報と、ＧＣＰの既知の３次元座標およびＧＣＰの選択した画像データ内での座標とを取得する情報取得部と、情報取得部が取得したＧＣＰの既知の３次元座標と、ＧＣＰの選択した画像データ内での座標との差分に基づき、撮影位置情報を用いてベクトルを補正するベクトル補正部と、画像データと、ベクトル補正部が補正したベクトルとに基づいて画像データをオルソ補正してオルソ画像を生成するオルソ画像生成部と、オルソ画像生成部が生成したオルソ画像のずれ量を算出するずれ量算出部と、ずれ量算出部が算出したずれ量に基づいてＧＣＰの選択した画像データ内での座標を補正するＧＣＰ情報補正部とを備えるものである。

この発明によれば、マッチング処理を行う画像に含まれる誤差を低減し、正確な画像内座標値の補正を行うことができる。また、リファレンス画像に含まれる誤差を考慮して画像内座標値の補正を行うことができる。

実施の形態１に係る画像補正装置の構成を示すブロック図である。実施の形態１に係る画像補正装置のハードウェア構成を示す図である。実施の形態１に係る画像補正装置の動作を示すフローチャートである。実施の形態１に係る画像補正装置の方向ベクトル補正部の動作を示すフローチャートである。実施の形態２に係る画像補正装置の動作を示すフローチャートである。実施の形態２に係る画像補正装置のその他の動作を示すフローチャートである。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る画像補正装置１０の構成を示すブロック図である。
画像補正装置１０は、情報取得部１、取得情報蓄積部２、方向ベクトル補正部３、オルソ画像生成部４、ずれ量算出部５、処理結果判定部６およびＧＣＰ情報補正部７で構成されている。また、画像補正装置１０は、外部の蓄積領域である画像データ蓄積部１００、撮影位置情報蓄積部２００、方向ベクトル蓄積部３００、高度情報蓄積部４００およびＧＣＰ情報蓄積部５００から各種情報を取得する。

まず、画像補正装置１０が取得する各種データを蓄積する外部の蓄積領域について説明する。
画像データ蓄積部１００は、撮影手段（不図示）により上空から地上を撮影した観測画像の画像データを蓄積する。撮影位置情報蓄積部２００は、撮影手段が観測画像を撮影した位置情報を示す撮影位置情報を画像データごとに蓄積する。方向ベクトル蓄積部３００は、撮影地点と観測画像の画像データの各ピクセルの中心とを結んだ線、すなわち撮影手段から各ピクセルの中心への方向を示すベクトル線（以下、方向ベクトルと称する）を蓄積する。

高度情報蓄積部４００は、撮影手段が撮影の対象とした撮影対象の高度を示す高度情報を蓄積する。さらに、観測画像に含まれる範囲を網羅するＤＥＭ（ＤｉｇｉｔａｌＥｌｅｖａｔｉｏｎＭｏｄｅ：数値高度モデル）が蓄積されているものとする。

ＧＣＰ情報蓄積部５００は、画像データにおいてその画像位置を特定可能な目標物である地上基準点（ＧＣＰ：ＧｒｏｕｎｄＣｏｎｔｒｏｌＰｏｉｎｔ、以下ＧＣＰと称する）の３次元座標と、当該ＧＣＰの３次元座標を観測画像の画像データに適用した場合の画像データ内での座標（以下、画像内座標と称する）との組み合わせ情報を、観測画像ごとに蓄積している。ここで、ＧＣＰの３次元座標は、高い精度で予め予測されているＧＣＰの座標値である。また、３次元座標とは、地表面交点座標を示す。また、ＧＣＰの画像内座標は、ユーザが観測画像を参照して目視で決定する、あるいは方向ベクトルおよび撮影位置情報およびＤＥＭから求められる地表面座標と、ＧＣＰの３次元座標とに基づいて決定する。方向ベクトルおよびＤＥＭの誤差が存在するため、ＧＣＰの画像内座標はユーザが観測画像を参照して目視で決定する方が、誤差が抑制される場合がある。

上述した、撮影位置情報、方向ベクトルおよびＧＣＰの３次元座標は、地球中心座標系で表される。地球中心座標系は、地球の重心を原点とし、Ｘ軸をグリニッジ子午線と赤道との交点の方向、Ｙ軸を東経９０度の方向、Ｚ軸を北極の方向にとることにより定義される３次元空間を地球中心空間とする。地球中心空間における目標の位置は、地球中心Ｏを原点とした直交座標により表される。一方、高度情報が示す座標系は、緯度・経度・必要な場合には対応する高度で表される。

次に、画像補正装置１０の各構成について説明する。
情報取得部１は、画像データ蓄積部１００からＧＣＰの画像内座標を補正したい観測画像の画像データと、当該観測画像とマッチングするための観測画像の画像データを選択して取得する。なお、マッチングするための観測画像にも共通するＧＣＰが含まれているものとする。情報取得部１は選択した２つの画像データに対応する撮影位置情報、方向ベクトルおよび高度情報を、撮影位置情報蓄積部２００、方向ベクトル蓄積部３００および高度情報蓄積部４００から取得する。

また、情報取得部１は、ＧＣＰ情報蓄積部５００を参照し、選択した２つの画像データに含まれるＧＣＰを選択し、選択したＧＣＰの３次元座標と、２つの画像データの当該ＧＣＰの画像内座標を取得する。２つの画像データに含まれるＧＣＰの選択は、２つの画像データに含まれる座標から自動で選出してもよいし、２つの画像データに含まれる座標からユーザが任意に指定してもよい。情報取得部１は、取得した全ての情報を取得情報蓄積部２に蓄積する。

取得情報蓄積部２は、情報取得部１が取得した画像データ、撮影位置情報、方向ベクトルおよび高度情報、ＧＣＰの３次元座標およびＧＣＰの画像内座標を蓄積する。また、後述するＧＣＰ情報補正部７から補正した画像内座標が入力されると、対応する画像内座標を更新して蓄積する。

方向ベクトル補正部３は、取得情報蓄積部２から画像データ、撮影位置情報、方向ベクトルおよび高度情報、ＧＣＰの３次元座標およびＧＣＰの画像内座標を取得する。方向ベクトル補正部３は、ＧＣＰの画像内座標（ｕ，ｖ）に対応した３次元座標を撮影位置情報、方向ベクトルおよび高度情報から算出する。算出したＧＣＰの画像内座標の３次元座標と、ＧＣＰの３次元座標との差分を求め、当該差分を用いて方向ベクトルを補正する。
方向ベクトル補正部３は、補正した方向ベクトル、画像データ、撮影位置情報、高度情報、ＧＣＰの３次元座標およびＧＣＰの画像内座標をオルソ画像生成部４に出力する。

オルソ画像生成部４は、方向ベクトル補正部３が補正した２つの画像データの方向ベクトルおよび当該２つの画像データを用いて、オルソ補正を行い、２つのオルソ画像を生成する。オルソ画像とは、無限遠方を中心とした投影であり、真上から見たかのように正射投影して補正した画像である。また、オルソ画像は、高度以外の座標が決定すれば、高度データから高度値を取得することにより、各ピクセルの３次元座標値が決定される。オルソ画像生成部４は、２つのオルソ画像、ＧＣＰの３次元座標およびＧＣＰの画像内座標をずれ量算出部５に出力する。

ずれ量算出部５は、２つのオルソ画像のマッチング処理を行い、２つのオルソ画像の縦方向および横方向のずれ量（ｄｘ、ｄｙ）を算出する。マッチング処理は、正規化相関を用いる手法および位相限定相関を用いる手法など、既存のマッチング処理方法を適用する。また、ずれ量算出部５は、同一の画像データに対してずれ量を算出した回数をバッファなどに記憶する。ずれ量算出部５は、情報取得部１から入力される情報取得処理の開始情報が入力されると、当該ずれ量算出処理回数を「０」に初期化する。ずれ量算出部５は、算出したずれ量（ｄｘ、ｄｙ）、ずれ量算出処理回数、ＧＣＰデータを処理結果判定部６に出力する。

処理結果判定部６は、ずれ量（ｄｘ、ｄｙ）が閾値以内であるか、ずれ量の処理回数が予め設定された回数以内であるかに基づいて、補正処理を終了するか否か判定を行う。ずれ量の閾値は例えば縦方向、横方向共に０．５ピクセル、ずれ量の処理回数は１０回以下など適宜設定する。補正処理を終了する場合には、２つの画像データのＧＣＰの画像内座標を出力する。出力されたＧＣＰの画像内座標を用いてＧＣＰ情報蓄積部５００に蓄積されたＧＣＰの画像内座標を書き替えることにより、正確なデータを蓄積させることができる。一方、補正処理を継続する場合にはずれ量（ｄｘ、ｄｙ）、ＧＣＰデータをＧＣＰ情報補正部７に出力する。

ＧＣＰ情報補正部７は、入力されたずれ量（ｄｘ、ｄｙ）を、ＧＣＰの画像内座標に適用して補正を行い、補正後のＧＣＰの画像内座標を取得情報蓄積部２に格納する。

図２は、実施の形態１に係る画像補正装置１０のハードウェア構成を示す図である。
画像補正装置１０の情報取得部１、方向ベクトル補正部３、オルソ画像生成部４、ずれ量算出部５、処理結果判定部６およびＧＣＰ情報補正部７は、プロセッサ２０がメモリ３０に記憶されたプログラムを実行することにより、実現される。取得情報蓄積部２、は、メモリ３０を構成する。また、複数のプロセッサ２０および複数のメモリ３０が連携して上述した機能を実行するように構成してもよい。

次に、画像補正装置１０の動作について説明する。
図３は、実施の形態１に係る画像補正装置１０の動作を示すフローチャートである。
画像補正装置１０の情報取得部１は、画像データ蓄積部１００から２つの観測画像の画像データを取得する（ステップＳＴ１）。ステップＳＴ１の画像データの取得処理は、２つの観測画像に同一のＧＣＰの撮影画像が含まれている画像データを選出し、取得するものとする。具体的には、同一地点の観測画像を含む、互いに近接する領域を撮影した２つの画像データを自動で選出してもよいし、連続した２つの画像データを選出してもよいし、ユーザが任意で２つの画像データを選択し、入力手段（不図示）を介して選択指示を入力してもよい。

情報取得部１は、ステップＳＴ１で取得した２つの画像データの撮影位置情報、各ピクセルの方向ベクトルおよび高度情報を、撮影位置情報蓄積部２００、方向ベクトル蓄積部３００、高度情報蓄積部４００からそれぞれ取得する（ステップＳＴ２）。また、情報取得部１は、ＧＣＰ情報蓄積部５００を参照してステップＳＴ１で取得した２つの観測画像の双方に含まれるＧＣＰを選択し、選択したＧＣＰの３次元座標および当該ＧＣＰの２つの画像における画像内座標を取得する（ステップＳＴ３）。なお、以下ではＧＣＰの３次元座標および当該ＧＣＰの２つの観測画像における画像内座標の双方を示す場合、ＧＣＰデータと称する。

情報取得部１は、ステップＳＴ１、ステップＳＴ２およびステップＳＴ３で取得した画像データ、撮影位置情報、方向ベクトル、高度情報およびＧＣＰデータを取得情報蓄積部２に蓄積する（ステップＳＴ４）。方向ベクトル補正部３は、ステップＳＴ４で取得情報蓄積部２に蓄積された撮影位置情報、方向ベクトルおよび高度情報から、ＧＣＰの画像内座標Ｑ（ｕ，ｖ）に対する３次元座標Ｑ_３（ｇｘ１，ｇｙ１，ｇｚ１）を算出する（ステップＳＴ５）。なお、ステップＳＴ５の処理の詳細については後述する。

方向ベクトル補正部３は、ステップＳＴ５で算出したＧＣＰの画像内座標Ｑ（ｕ，ｖ）に対する３次元座標Ｑ_３（ｇｘ１，ｇｙ１，ｇｚ１）と、ＧＣＰデータの３次元座標（ｇｘ，ｇｙ，ｇｚ）との差分（ｄｇｘ，ｄｇｙ，ｄｇｚ）を、以下の式（１）に基づいて算出する（ステップＳＴ６）。
（ｄｇｘ，ｄｇｙ，ｄｇｚ）＝（ｇｘ１−ｇｘ，ｇｙ１−ｇｙ，ｇｚ１−ｇｚ）（１）

方向ベクトル補正部３は、ステップＳＴ６で算出した差分（ｄｇｘ，ｄｇｙ，ｄｇｚ）を用いて方向ベクトルａを補正する（ステップＳＴ７）。
具体的には、画像データ内の各ピクセルの座標Ｒ（ｓ，ｔ）から３次元座標Ｒ_３を算出する。算出した３次元座標Ｒ_３から算出した差分（ｄｇｘ，ｄｇｙ，ｄｇｚ）を差し引いて当該３次元座標Ｒ_３を平行移動させる。当該平行移動により得られた３次元座標Ｒ_３ｍと、撮影位置Ｐとから視線べクトを再計算し、補正方向ベクトルａ_ｃを取得する。なお、ＧＣＰの画像内座標Ｑ（ｕ，ｖ）の座標値が画素と画素の間のサブピクセルの場合、ＧＣＰの画像内座標の周辺に位置する画素の３次元座標から補間して算出する。方向ベクトル補正部３は、ステップＳＴ７で補正した補正方向ベクトルａ_ｃ、画像データ、撮影位置情報、高度情報およびＧＣＰデータをオルソ画像生成部４に出力する。

オルソ画像生成部４は、方向ベクトル補正部３から入力された補正方向ベクトルａ_ｃ、画像データ、撮影位置情報、高度情報およびＧＣＰデータに基づいて２つの画像データに対応したオルソ画像を生成する（ステップＳＴ８）。
まず、オルソ画像生成部４は、生成するオルソ画像の大きさ（１２８×１２８ピクセル）を決定し、好適な解像度（例えば、隣接するピクセル間の距離を２．５ｍに設定）を決定し、オルソ画像の各ピクセルの３次元座標を決定する。

オルソ画像の生成では、２つの観測画像から部分画像を取得するものとし、２つの部分画像の大きさは同一であり、ＧＣＰの画像内座標の座標値も同一であるものとする。上述のように決定された部分画像の各ピクセルの３次元座標と、ステップＳＴ７の方向ベクトルの補正で算出した各ピクセルの３次元座標Ｒ_３ｍとから、部分画像の各ピクセルに対応する画像データのピクセルを得ることにより、オルソ画像を生成する。オルソ画像生成部４は、生成した２つのオルソ画像およびＧＣＰデータをずれ量算出部５に出力する。

ずれ量算出部５は、ステップＳＴ８で生成された２つのオルソ画像のマッチング処理を行い、２つのオルソ画像における縦横方向のずれ量を算出する（ステップＳＴ９）。さらにずれ量算出部５は、バッファに記憶された処理回数に「１」加算する処理を行う（ステップＳＴ１０）。ずれ量算出部５は、ステップＳＴ９で算出したずれ量、ずれ量算出処理回数およびＧＣＰデータを処理結果判定部６に出力する。

処理結果判定部６は、ステップＳＴ９で算出されたずれ量を参照し、ずれ量が縦横方向共に閾値以下であるか否か判定を行う（ステップＳＴ１１）。ずれ量が閾値以下である場合（ステップＳＴ１１；ＹＥＳ）、処理結果判定部６は、ずれ量算出部５から入力されたＧＣＰデータを処理結果として出力する（ステップＳＴ１２）。一方、ずれ量が閾値より大きい場合（ステップＳＴ１１；ＮＯ）、処理結果判定部６はずれ量算出処理回数を参照し、処理回数が規定回数を超えたか否か判定を行う（ステップＳＴ１３）。処理回数が規定回数を超えた場合（ステップＳＴ１３；ＹＥＳ）、処理結果判定部６は、ステップＳＴ１２の処理に進む。一方、処理回数が規定回数以下である場合（ステップＳＴ１２；ＮＯ）、処理結果判定部６はステップＳＴ９で算出されたずれ量と、ＧＣＰデータをＧＣＰ情報補正部７に出力する（ステップＳＴ１４）。

ＧＣＰ情報補正部７はステップＳＴ１４で入力されたずれ量を、２つの画像データのＧＣＰの画像内座標に適用し、ＧＣＰの画像内座標を補正する（ステップＳＴ１５）。ＧＣＰ情報補正部７は、ステップＳＴ１５で補正したＧＣＰの画像内座標を用いて取得情報蓄積部２のＧＣＰデータを更新し（ステップＳＴ１６）、ステップＳＴ６の処理に戻る。

ステップＳＴ１５のずれ量の適用では、例えば２つの画像データＡ，Ｂの２．５ｍ解像度のオルソ画像Ａｏ，Ｂｏのずれ量が（ｄｘ、ｄｙ）であって、画像データＡ，Ｂの解像度も２．５ｍである場合に、画像データＡのＧＣＰの画像内座標にずれ量（ｄｘ／２、ｄｙ／２）を加算し、画像データＢのＧＣＰの画像内座標にずれ量（−ｄｘ／２、−ｄｙ／２）を加算する。なお、画像データＡ，Ｂの解像度と、オルソ画像Ａｏ，Ｂｏの解像度とが異なる場合には、画像データの解像度とオルソ画像の解像度との比ｋを上述したずれ量に乗算する。

また、ステップＳＴ１５のずれ量の適用は、次のように構成することも可能である。オルソ画像Ａｏ，Ｂｏのずれ量がｄ１である場合に、画像データＡのＧＣＰの画像内座標にｆ（ｄ１）／２を適用し、画像データＢのＧＣＰの画像内座標に−ｆ´（ｄ１）／２を適用する。ここで、ｆ（ｄ１）はオルソ画像Ａｏに対して元の画像データの解像度に戻すための関数ｆをずれ量ｄ１に適用したものであり、−ｆ´（ｄ１）はオルソ画像Ｂｏに対して元の画像データの解像度に戻すための関数ｆ´をずれ量ｄ１に適用したものである。

次に、上述したステップＳＴ５の処理について、図４のフローチャートを参照しながらより詳細に説明する。図４は、実施の形態１に係る画像補正装置１０の方向ベクトル補正部３の動作を示すフローチャートである。
方向ベクトル補正部３は、ＧＣＰの画像内座標Ｑ（ｕ，ｖ）のｕ，ｖが共に整数の場合、まずＧＣＰの画像内座標Ｑ（ｕ，ｖ）に対する撮影位置Ｐ＝（Ｘｕ，Ｙｕ，Ｚｕ）および方向ベクトルａ＝（ｗｘ，ｗｙ，ｗｚ）から、座標Ｘ（ｔ）＝Ｐ＋ｔａ（ｔは実数）の高度値が、ステップＳＴ４で取得情報蓄積部２に蓄積された高度情報から得られる高度値と等しくなる係数ｔを算出する（ステップＳＴ２１）。

方向ベクトル補正部３は、ステップＳＴ２１で算出した係数ｔにおける座標Ｘ（ｔ）を地球中心座標で算出し（ステップＳＴ２２）、さらに緯度、経度および高度値ｈａに変換する（ステップＳＴ２３）。ステップＳＴ２３の地球中心座標から緯度、経度および高度値への変換は、既存の技術を適用するものとする。ステップＳＴ２３で変換された高度値ｈａと、座標Ｘ（ｔ）の緯度および経度に基づいて高度情報から取得される高度値ｈｂとの差分である、高度差Δｈを算出する（ステップＳＴ２４）。

方向ベクトル補正部３は、ステップＳＴ２４で算出した高度差Δｈが予め設定した閾値の以下であるか否か判定を行う（ステップＳＴ２５）。閾値以下である場合（ステップＳＴ２５；ＹＥＳ）、方向ベクトル補正部３は現在の係数ｔにおける座標Ｘ（ｔ）からＧＣＰの画像内座標に対する３次元座標Ｑ_３（ｇｘ１，ｇｙ１，ｇｚ１）を算出し（ステップＳＴ２６）、図３のフローチャートのステップＳＴ６の処理に進む。

一方、閾値の範囲外である場合（ステップＳＴ２５；ＮＯ）、方向ベクトル補正部３はステップＳＴ２４で算出した高度差Δｈを用いて係数ｔを補正し（ステップＳＴ２７）、補正後の係数ｔを用いて再度座標Ｘ（ｔ）を算出する（ステップＳＴ２８）。その後、方向ベクトル補正部３は予め設定された計算回数（例えば１０回など）に到達したか否か判定を行う（ステップＳＴ２９）。

設定された計算回数に到達した場合（ステップＳＴ２９；ＹＥＳ）、方向ベクトル補正部３は現在の係数ｔにおける座標Ｘ（ｔ）からＧＣＰの画像内座標に対する３次元座標Ｑ_３（ｇｘ１，ｇｙ１，ｇｚ１）を算出し（ステップＳＴ３０）、図３のフローチャートのステップＳＴ６の処理に進む。一方、設定された計算回数に到達していない場合（ステップＳＴ２９；ＮＯ）、ステップＳＴ２１の処理に戻り、ステップＳＴ２８で再度算出した座標Ｘ（ｔ）について上述した処理を繰り返し行う。
ステップＳＴ２９において、予め計算回数の上限を設定して判定処理を行うことにより、上述したステップＳＴ２１からステップＳＴ３０の反復の計算処理が完了することが保証される。

以上のように、この実施の形態１によれば、高度情報を考慮してＧＣＰの画像内座標に対する３次元座標を算出し、算出したＧＣＰの画像内座標の３次元座標からＧＣＰの３次元座標との差分を算出し、算出した差分を用いて方向ベクトルを補正する方向ベクトル補正部３と、補正した方向ベクトルに基づいて生成した２つのオルソ画像のマッチング処理を行い、２つのオルソ画像の縦方向および横方向のずれ量を算出するずれ量算出部５と、算出されたずれ量が閾値よりも大きい場合に、算出したずれ量をＧＣＰの画像内座標に適応して補正を行うＧＣＰ情報補正部７とを備えるように構成したので、高度情報の誤差および方向ベクトルの誤差を低減させ、正確なＧＣＰの画像内座標を算出する。

また、この実施の形態１によれば、高度差に基づいて補正された座標を算出するための計算が予め設定した計算回数の上限に到達したか否か判定を行う方向ベクトル補正部３を備えるように構成したので、高度差が閾値以下となるまで、あるいは座標を再度算出するための計算回数が上限を超えるまで、高度差による補正処理を繰り返すことができる。これにより、より正確な高度情報を得ることができる。また、方向ベクトル補正部３は、より正確な高度情報を用いて方向ベクトルを補正することができ、正確な方向ベクトルを得ることができる。

また、この実施の形態１によれば、ずれ量が閾値以下か、処理回数が規定回数を超えたか判定を行う処理結果判定部６を備えるように構成したので、ずれ量が一定値以内となるまで、あるいは、２つの画像データのマッチング処理回数が一定回数以上となるまでずれ量の補正処理を繰り返すことができる。これにより、ＧＣＰの画像内座標を真値に近づけることが可能になる。

また、この実施の形態１によれば、高度差による座標の補正処理および２つのオルソ画像のずれ量の判定処理の回数に上限を設けるように構成したので、各判定処理が完了することを保証することができる。

また、この実施の形態１によれば、リファレンスである画像データについてもオルソ画像のずれ量を適用して補正を行うように構成したので、リファレンスの画像データにおける誤差を考慮した画像補正処理を行うことができる。

なお、上述した実施の形態１において、ＧＣＰの画像内座標（ｕ，ｖ）のｕ，ｖの値が整数でない場合には、当該ＧＣＰの画像内座標（ｕ，ｖ）周辺の座標における３次元座標を算出し、算出した３次元座標から近似してＧＣＰの画像内座標（ｕ，ｖ）を算出する。

なお、上述した実施の形態１では、ずれ量算出部５が２つのオルソ画像のずれ量を算出し、処理結果判定部６がずれ量と閾値との判定を行い、ＧＣＰ情報補正部７がずれ量と閾値との判定結果に基づいてＧＣＰの画像内座標を補正する手順を示したが、補正処理に影響のない範囲で、上記各処理の間に異なる処理を追加してもよいし、処理の適用順序を変更してもよい。例えば、算出したずれ量をＧＣＰの画像内座標に適用した後に、ずれ量と閾値との判定および処理回数の判定を行ってもよい。また、ＧＣＰの画像内座標を補正する前に、２つの画像データのマッチング処理を行ってもよい。

実施の形態２．
上述した実施の形態１では、２つの画像データに含まれるＧＣＰを１点選択して補正処理を行う場合を示したが、この実施の形態２では２つの画像データに含まれるＧＣＰを３点以上選択した場合について説明する。
なお、実施の形態２に係る画像補正装置１０の構成は、実施の形態１で示した画像補正装置１０と同一であるため、ブロック図の記載を省略し、各構成要素の説明を省略または簡略化する。

情報取得部１は、ＧＣＰ情報蓄積部５００を参照し、２つの画像データに含まれる３点以上のＧＣＰを選択し、選択した全てのＧＣＰの３次元座標、２つの画像データにおける選択したＧＣＰ全ての画像内座標を取得する。方向ベクトル補正部３、オルソ画像生成部４、ずれ量算出部５、処理結果判定部６およびＧＣＰ情報補正部７は、全てのＧＣＰデータに対して、実施の形態１と同様の処理を行う。

次に、フローチャートを参照しながら画像補正装置１０の動作について説明する。
図５はこの発明の実施の形態２に係る画像補正装置１０の動作を示すフローチャートである。なお、以下では実施の形態１に係る画像補正装置１０と同一のステップには図３で使用した符号と同一の符号を付し、説明を省略または簡略化する。

ステップＳＴ２において情報取得部１が２つの画像データの撮影位置情報、各ピクセルの方向ベクトルおよび高度情報を取得すると、さらに情報取得部１は、ＧＣＰ情報蓄積部５００を参照してステップＳＴ１で取得した２つの観測画像の双方に含まれるＧＣＰを３点以上選択し、選択した３点以上のＧＣＰの３次元座標および当該ＧＣＰの２つの画像における画像内座標を取得する（ステップＳＴ４１）。情報取得部１は、ステップＳＴ１、ステップＳＴ２およびステップＳＴ４１で取得した画像データ、撮影位置情報、方向ベクトル、高度情報およびＧＣＰデータを取得情報蓄積部２に蓄積する（ステップＳＴ４）。

方向ベクトル補正部３は、ステップＳＴ４で取得情報蓄積部２に蓄積された撮影位置情報、方向ベクトルおよび高度情報から、未処理の１つのＧＣＰの画像内座標Ｑ（ｕ，ｖ）に対する３次元座標（ｇｘ１，ｇｙ１，ｇｚ１）を算出する（ステップＳＴ４２）。その後、図３のフローチャートで示したステップＳＴ６からステップＳＴ１１と同一の処理を行い、およびステップＳＴ１１の判定処理においてずれ量が閾値より大きかった場合（ステップＳＴ１１；ＮＯ）、ステップＳＴ１３からＳＴ１６と同一の処理を行う。

一方、ステップＳＴ１１の判定処理においてずれ量が閾値以下であった場合（ステップＳＴ１１；ＹＥＳ）、処理結果判定部６は、全てのＧＣＰについて処理を行ったか否か判定を行う（ステップＳＴ４３）。全てのＧＣＰについて処理を行っている場合（ステップＳＴ４３；ＹＥＳ）、処理結果判定部６は、ずれ量算出部５から入力された全てのＧＣＰデータを処理結果として出力する（ステップＳＴ４４）。一方、全てのＧＣＰについて処理を行っていない場合（ステップＳＴ４３；ＮＯ）、ステップＳＴ４２に戻り、上述した処理を繰り返す。

上述した構成では、ずれ量算出部５が３点以上のＧＣＰについて個別に高度情報の補正、方向ベクトルの補正およびオルソ画像のずれ量の補正を行ったが、次に３点以上のＧＣＰについて同時にずれ量を算出し、算出したずれ量に基づいて変換行列を算出する構成を示す。なお、変換行列の算出は一次変換により行われ、例えば、ＧＣＰの３次元座標が（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ），（ｉ＝１，２，３）であり、各ＧＣＰについての画像内座標に対する３次元座標が（ｘ´_ｉ，ｙ´_ｉ，ｚ´_ｉ），（ｉ＝１，２，３）である場合、変換行列Ａは以下の式（２）で表される。

式（２）において行列Ｘ^−１は行列Ｘの変換行列を示す。

図６は、この発明の実施の形態２に係る画像補正装置１０のその他の動作を示すフローチャートである。
ステップＳＴ３において情報取得部１が２つの画像データの撮影位置情報、各ピクセルの方向ベクトルおよび高度情報を取得すると、さらに情報取得部１は、ＧＣＰ情報蓄積部５００を参照してステップＳＴ１で取得した２つの観測画像の双方に含まれるＧＣＰを３点以上選択し、選択した３点以上のＧＣＰの３次元座標および当該ＧＣＰの２つの画像における画像内座標を取得する（ステップＳＴ４１）。情報取得部１は、ステップＳＴ１、ステップＳＴ２およびステップＳＴ４１で取得した画像データ、撮影位置情報、方向ベクトル、高度情報およびＧＣＰデータを取得情報蓄積部２に蓄積する（ステップＳＴ４）。

ステップＳＴ４において情報取得部１が各種データの蓄積を行うと、方向ベクトル補正部３は、取得情報蓄積部２に蓄積されたデータを参照し、全てのＧＣＰについての画像内座標Ｑ（ｕ，ｖ）に対する３次元座標（ｇｘ１，ｇｙ１，ｇｚ１）を算出する（ステップＳＴ５１）。その後、図３のフローチャートで示したステップＳＴ６からステップＳＴ９と同一の処理を行い、２つのオルソ画像の３点以上のずれ量を算出すると、算出した３点以上のずれ量に基づき変換行列を算出する（ステップＳＴ５２）。

ずれ量算出部５は、バッファに記憶された処理回数に「１」加算し、算出した全てのずれ量、変換行列および処理回数の情報を処理結果判定部６に出力する（ステップＳＴ１０）。その後、処理結果判定部６は、全てのずれ量が閾値以下であるか否か判定を行う（ステップＳＴ５３）。全てのずれ量が閾値以下である場合（ステップＳＴ５３；ＹＥＳ）、処理結果判定部６は、ずれ量算出部５から入力された全てのＧＣＰデータを処理結果として出力する（ステップＳＴ５４）。

一方、いずれかのずれ量が閾値より大きい場合（ステップＳＴ５３；ＮＯ）、処理結果判定部６はステップＳＴ１０で算出された処理回数を参照し、処理回数が規定回数を超えたか否か判定を行う（ステップＳＴ１３）。処理回数が規定回数を超えた場合（ステップＳＴ１３；ＹＥＳ）、処理結果判定部６は、ステップＳＴ５４の処理に進む。一方、処理回数が規定回数以下である場合（ステップＳＴ１３；ＮＯ）、処理結果判定部６はステップＳＴ５２で算出された変換行列と、ＧＣＰデータをＧＣＰ情報補正部７に出力する（ステップＳＴ５５）。

ＧＣＰ情報補正部７はステップＳＴ５５で入力された変換行列を、２つの画像データの全てのＧＣＰの画像内座標に適用し、全てのＧＣＰの画像内座標を補正する（ステップＳＴ５６）。ＧＣＰ情報補正部７は、ステップＳＴ５６で補正したＧＣＰの画像内座標を用いて取得情報蓄積部２のＧＣＰデータを更新し（ステップＳＴ５７）、ステップＳＴ６の処理に戻る。

以上のように、この実施の形態２によれば、２つの画像データに含まれるＧＣＰを３点以上選択する情報取得部１と、３点以上のＧＣＰにおけるオルソ画像のずれ量を算出するずれ量算出部５と、算出したずれ量が閾値以下であるか判定を行う処理結果判定部６と、閾値より大きく、且つ処理回数が規定回数を超えていない場合にＧＣＰの画像内座標を補正するＧＣＰ情報補正部７とを備えるように構成したので、３点以上のずれ量に基づいてＧＣＰの画像内座標の補正を行うことができ、補正の精度を高めることができる。

また、この実施の形態２によれば、３点以上のＧＣＰの画像内座標に基づいて高度情報および方向ベクトルの補正を行うように構成したので、３点以上のＧＣＰの画像内座標に基づいて高度情報および方向ベクトルの補正を行うことができ、より正確に高度情報の誤差の低減および方向ベクトルの誤差の低減を行うことができる。

上記以外にも、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明に係る画像補正装置は、誤差を含む高度情報および誤差を含む方向ベクトルを用いてＧＣＰの画像内座標を補正することが可能であり、測定誤差を含む種々の画像を補正する画像補正装置などに適用し、精度の高いＧＣＰデータを得るのに適している。

１情報取得部、２取得情報蓄積部、３方向ベクトル補正部、４オルソ画像生成部、５ずれ量算出部、６処理結果判定部、７ＧＣＰ情報補正部、１０画像補正装置、２０プロセッサ、３０メモリ、１００画像データ蓄積部、２００撮影位置情報蓄積部、３００方向ベクトル蓄積部、４００高度情報蓄積部、５００ＧＣＰ情報蓄積部。

Claims

地上を撮影した衛星画像から、共通するＧＣＰ（ＧｒａｎｄＣｏｎｔｒｏｌＰｏｉｎｔ）を含む画像データを選択し、選択した画像データの撮影位置を示す撮影位置情報と、前記撮影位置から前記画像データを構成する各ピクセルへの方向を示すベクトルと、撮影対象の高度を示す高度情報と、前記ＧＣＰの既知の３次元座標および前記ＧＣＰの前記選択した画像データ内での座標とを取得する情報取得部と、
前記情報取得部が取得した前記ＧＣＰの既知の３次元座標と、前記ＧＣＰの前記選択した画像データ内での座標との差分に基づき、前記撮影位置情報を用いて前記ベクトルを補正するベクトル補正部と、
前記画像データと、前記ベクトル補正部が補正した前記ベクトルとに基づいて前記画像データをオルソ補正してオルソ画像を生成するオルソ画像生成部と、
前記オルソ画像生成部が生成したオルソ画像のずれ量を算出するずれ量算出部と、
前記ずれ量算出部が算出したずれ量に基づいて前記ＧＣＰの前記選択した画像データ内での座標を補正するＧＣＰ情報補正部とを備えた画像補正装置。
前記ベクトル補正部は、前記ベクトルから算出される高度値と、前記高度情報から得られる高度値との差分を算出し、当該算出した高度値の差分が閾値よりも大きい場合に、当該高度値の差分に基づいて前記ＧＣＰの前記選択した画像データ内での座標を補正し、前記ＧＣＰの前記選択した画像データ内での座標または前記補正した座標と、前記ＧＣＰの既知の３次元座標との差分に基づいて前記ベクトルを補正することを特徴とする請求項１記載の画像補正装置。
前記ずれ量算出部が算出したずれ量が閾値以下であるか、または前記ずれ量の算出処理回数が設定した上限回数を超えたか判定する判定部を備え、当該判定部が前記ずれ量が閾値以下である、または前記ずれ量の算出回数が前記上限回数を超えたと判定した場合に、前記ＧＣＰの前記選択した画像データ内での座標を出力することを特徴とする請求項１記載の画像補正装置。
前記情報取得部は、前記選択した画像データから、前記共通するＧＣＰを３点以上選択することを特徴とする請求項１記載の画像補正装置。
前記ずれ量算出部は、前記選択された３点以上のＧＣＰについて前記オルソ画像のずれ量を算出し、算出したずれ量から変換行列を生成し、
前記ＧＣＰ情報補正部は、前記ずれ量算出部が生成した変換行列を用いて前記ＧＣＰの前記選択した画像データ内での座標を補正することを特徴とする請求項４記載の画像補正装置。
情報取得部が、地上を撮影した衛星画像から、共通するＧＣＰ（ＧｒａｎｄＣｏｎｔｒｏｌＰｏｉｎｔ）を含む画像データを選択し、選択した画像データの撮影位置を示す撮影位置情報と、前記撮影位置から前記画像データを構成する各ピクセルへの方向を示すベクトルと、撮影対象の高度を示す高度情報と、前記ＧＣＰの既知の３次元座標および前記ＧＣＰの前記選択した画像データ内での座標とを取得するステップと、
ベクトル補正部が、前記取得したＧＣＰの既知の３次元座標と、前記ＧＣＰの前記選択した画像データ内での座標との差分に基づき、前記撮影位置情報を用いて前記ベクトルを補正するステップと、
オルソ画像生成部が、前記画像データと、前記補正した前記ベクトルに基づいて前記画像データをオルソ補正してオルソ画像を生成するステップと、
ずれ量算出部が、前記生成したオルソ画像のずれ量を算出するステップと、
ＧＣＰ情報補正部が、前記算出したずれ量に基づいて前記ＧＣＰの前記選択した画像データ内での座標を補正するステップとを備えた画像補正方法。