JP5100360B2 - 画像処理装置 - Google Patents

Description

本発明は動画像から取得された複数の連続する画像に基づいて写真測量を行う画像処理装置に係り、標定処理に必要な多種類のデータを容易かつ効果的に管理することができる画像処理装置に関する。

従来から写真測量の理論が研究されており、その理論は特に土木の分野において広く利用されている。この写真測量は、対象物を異なる方向から撮影した２枚のステレオペア画像から対象物の３次元情報を算出する技術である。以下、写真測量の概要について説明する。

まず、対象物をカメラにより２方向から撮影する。これにより左画像と右画像とからなるステレオペア画像が得られる。作業者は、左右画像で対応する点（標定点）を６点認定し、各画像内での座標値を求める。そして、この６点の座標値に基づいて、相互標定を行う。相互標定とは、左画像と右画像を撮影したカメラの相対座標と、左画像と右画像を撮影したカメラの３軸周りの回転角とを算出するものである。相互標定により、左右画像の縮尺、傾きを統一し、縦視差を取り除いたステレオモデル（ステレオ画像）を作成することができる（図２参照）。このステレオ画像は、２つのカメラの光軸が平行になるように設置されたステレオ視撮像系により取得された左右画像と等価である。

また、複数対のステレオペア間に共通する点（タイポイント）が３点以上ある場合には接続標定が可能である。接続標定とは、ステレオモデル間の傾き、縮尺を統一して同一座標系とするものである。接続標定は、一方の標定要素を固定し、他方の標定要素を操作することにより行われる。そして、接続標定により得られた各モデルから三角測量の原理（ステレオ法）に基づいて、各点の３次元座標を計測することができる。このステレオ法、相互標定、および接続標定の詳細については後述する。なお、カメラのレンズによっては内部標定を行う必要がある。内部標定とは、レンズの焦点距離やレンズの歪みを補正するための補正係数を算出するものである。

また近年では、写真測量における標定点の設定作業を画像処理により自動化する技術が提案されている（例えば、特許文献１）。特許文献１に記載の技術によれば、まず、撮影位置を少しずつ変化させながら被写体を動画撮影する。そして、動画データの最初のフレームで特徴点を抽出し、標定点として設定する。設定した標定点を動画データの各フレームで追跡し、各フレームで標定点を設定していく。そして、標定点が設定された２つのフレームをステレオペア画像として選択し、上述の写真測量解析を行うというものである。

一方、特許文献２に記載の発明は、動画像データへのデータ埋め込みシステムの技術である。このシステムは、複数の連続する画面のそれぞれ異なる位置の部分画像データを任意の埋め込みデータで上書きして送信する送信機側計算機と、この複数の画面の画像データを受信し、各画面の画像データ中の埋め込みデータが格納されていた位置に、一つ前の画面の画像データ中の同位置の部分画像データを書き込む受信機側計算機とを備えるものである。これにより、動画像データと動画像データに係る情報とを性能を劣化させることなく、複数の計算期間で送受信することができる。
特開２００５−３３２１７７号公報 特開平１０−１９１２７９号公報

ところで、上述のように動画データから特徴点を抽出し、追跡する処理は、抽出または追跡した点の座標データや点番号に加え、各点のテンプレートマッチング結果である評価値、生存／消滅フラグなど多種類のデータを各画像と関連付けて管理する必要がある。また、追跡できた点数が６点に満たない場合には特徴点を再抽出する処理が必要であるが、再抽出前のフレーム群と再抽出後のフレーム群で相互標定ができないため、これらのフレーム群を一つの世代として管理する必要もある。また、追跡できた点数が３点以上の場合は、世代間で接続標定が可能であるため、この世代間を引き継いだ点数も管理する必要がある。このように、多種類のデータを大量のフレーム画像と関連付けて管理することは容易ではない。

上述した特許文献２に記載の発明は、動画像データに係る情報（埋め込みデータ）を各画像に埋め込む技術ではあるが、埋め込まれた部分の画素データは、一つ前の画面の同一座標の画素データで置換するというものである。このため、置換された部分画像内の点座標は一つ前の画面の画像と同一座標となる。したがって、このような埋め込み技術を写真測量の分野に利用できるものではなく、写真測量の分野において利用できることを示唆するものでもない。

本発明は、このような問題に鑑み、動画像から取得された複数の連続する画像に基づいて写真測量を行う画像処理装置において、標定処理に必要な多種類のデータを容易かつ効果的に管理することができる技術を提供することを目的とする。

請求項１に記載の発明は、対象物と撮影部とが少しずつ相対移動して撮影された複数の連続する画像を取得する撮影画像取得部と、前記撮影画像取得部により取得された画像から特徴点を抽出する特徴点抽出部と、前記特徴点抽出部により抽出された特徴点に対応する点を前記複数の連続する画像内で追跡する特徴点追跡部と、前記特徴点抽出部により抽出された点のデータおよび前記特徴点追跡部により追跡された点のデータを含む追跡データを各画像内に埋め込む埋め込み部と、前記埋め込み部により前記追跡データが埋め込まれた複数の連続する画像を順次出力する出力部とを備え、前記特徴点追跡部が追跡できた点数が所定値未満の場合には、前記特徴点抽出部は特徴点を再抽出すると共に、前記埋め込み部は、前記特徴点抽出部がこれまでに抽出した回数を世代数として各画像内に埋め込むことを特徴とする画像処理装置である。

請求項１に記載の発明において、「点のデータ」とは、各点を識別するための点番号と、画像内における点のＸ座標およびＹ座標のデータのことを意味する。また、「点のデータを含む追跡データ」とは、標定処理を行うために必要なデータのことを意味する。例えば、追跡データはフレーム画像の番号や初期設定値（画面設定値、特徴点の抽出フィルター閾値、特徴点の追跡用の各種閾値、フレーム内の特徴点数閾値等）などである。このような追跡データは多種類のデータで構成されると共に、各画像に密接に関連している。埋め込み部がこの追跡データを各画像内に埋め込むことによって、標定処理を行う際に追跡データとフレーム画像の管理が容易になる。なお、本発明に係る画像処理装置は、追跡データを画像内に埋め込んで出力するため、画像を出力するインターフェースのみ備えていればよく、追跡データ用に専用のインターフェースを備える必要がない。このため、本発明に係る画像処理装置は部品点数が少なく、標定処理に必要なデータの転送時間も高速である。世代とは、言い換えればステレオペア画像が連続した画像群のことを意味する。埋め込み部はこの世代数を各画像に埋め込むため、相互標定の際、世代数が共通する２枚の画像を動画像内から選択するだけでステレオペア画像を取得することができる。

請求項２に記載の発明は、請求項１に記載の発明において、前記特徴点追跡部は、前記特徴点抽出部により抽出された特徴点をテンプレートマッチングにより追跡すると共に、前記埋め込み部は、前記テンプレートマッチングの算出結果であるマッチング評価値を各画像内に埋め込むことを特徴とする。請求項２に記載の発明によれば、埋め込み部は、各点のマッチング評価値を各画像に埋め込むため、相互標定や接続標定の際、マッチング評価値の優劣に基づいて標定点（パスポイント、タイポイント）を選択することができる。このため、標定精度が向上する。

請求項３に記載の発明は、請求項１に記載の発明において、前記特徴点抽出部が抽出した特徴点は前記特徴点追跡部により複数の連続する画像内で追跡されることによって前記世代間で引き継がれ、前記埋め込み部は、前記特徴点が世代間で引き継がれた数を各画像内に埋め込むことを特徴とする。請求項３に記載の発明において、世代間で引き継がれた点は接続標定に使用することができる。埋め込み部は各点の世代引き継ぎ数を各画像に埋め込むため、接続標定の際、世代引き継ぎ数が１以上の点をタイポイントとして使用することができる。

請求項４に記載の発明は、請求項１に記載の発明において、前記埋め込み部は、前記特徴点抽出部および前記特徴点追跡部が抽出および追跡した点の画像内における総点数を各画像内に埋め込むことを特徴とする。請求項４に記載の発明において、画像内の総点数は、標定点として利用できる点の多少を判断する指標となるため、埋め込み部が画像内の総点数を各画像に埋め込むことにより、相互標定の際、総点数の多少に基づいて使用する画像を選択することができる。

請求項５に記載の発明は、対象物と撮影部とが少しずつ相対移動して撮影された複数の連続する画像を取得する撮影画像取得部と、前記撮影画像取得部により取得された画像から特徴点を抽出する特徴点抽出部と、前記特徴点抽出部により抽出された特徴点に対応する点を前記複数の連続する画像内で追跡する特徴点追跡部と、前記特徴点抽出部により抽出された点のデータおよび前記特徴点追跡部により追跡された点のデータを含む追跡データを各画像内に埋め込む埋め込み部と、前記埋め込み部により前記追跡データが埋め込まれた複数の連続する画像を順次出力する出力部とを備え、前記埋め込み部は、前記特徴点抽出部および前記特徴点追跡部により抽出および追跡された点の画像内における配置を統計した点配置統計値を各画像内に埋め込むことを特徴とする画像処理装置である。請求項５に記載の発明において、各画像における点の偏り具合は相互標定の計算が収束するか否かに影響を及ぼす。このため、埋め込み部が点配置統計値を各画像に埋め込むことにより、相互標定の際、点配置統計値に基づいて点の偏りが小さい画像を選択することができる。

請求項６に記載の発明は、請求項１に記載の発明において、撮影部の位置座標を求めるＧＰＳ受信機を備え、前記埋め込み部は、前記ＧＰＳ受信機から取得した撮影部の位置情報を画像内に埋め込むことを特徴とする。請求項６に記載の発明によれば、埋め込み部がＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｎｉｎｇ Ｓｙｓｔｅｍ）受信機から取得した撮影部の絶対座標を画像内に埋め込むため、相互標定や接続標定の際、撮影部の絶対座標に基づいて相対座標系を絶対座標系に変換することができる。

請求項７に記載の発明は、請求項１に記載の発明において、撮影部の姿勢情報を求める姿勢センサを備え、前記埋め込み部は、前記姿勢センサから取得した撮影部の姿勢情報を画像内に埋め込むことを特徴とする。請求項７に記載の発明において、姿勢センサとは、撮影部の光軸をＺ軸と規定した場合、このＺ軸と直交するＸ軸とさらにこれらに直交するＹ軸からなる３軸回り回転角を算出するセンサのことを意味する。請求項７に記載の発明によれば、埋め込み部が姿勢センサから取得した撮影部の姿勢情報を画像内に埋め込むため、相互標定の計算が収束しなかった場合に、この姿勢情報に基づいて３次元計測が可能となる。また、撮影時には撮影部が突発的にブレを生じる場合があるが、画像内に埋め込まれた姿勢センサの姿勢情報に基づいてその状況を検出することができる。このため、ブレを生じた画像は計測に選択しないなどといった判断が可能となる。

請求項８に記載の発明は、請求項１〜７のいずれかに記載の発明において、前記埋め込み部は、各画像内の先頭領域に前記追跡データを埋め込むことを特徴とする。請求項８に記載の発明によれば、埋め込み部は追跡データを画像の先頭領域に埋め込むため、追跡データの読み出し時間が短縮される。

請求項９に記載の発明は、請求項１〜８のいずれかに記載の発明において、前記埋め込み部は、画像上で手動設定された手動設定領域に前記追跡データを埋め込むことを特徴とする。請求項９に記載の発明によれば、画像内で使用しない領域が予め分かっている場合、その領域を手動設定領域とすることにより、追跡データが埋め込まれた動画像は再利用可能なデータとなる。

請求項１０に記載の発明は、請求項５に記載の発明において、前記埋め込み部は、前記点配置統計値に基づいて自動判別された領域に前記追跡データを埋め込むことを特徴とする。請求項１０に記載の発明によれば、埋め込み部は、点配置統計値に基づいて画像内で使用しない領域を自動判別して追跡データを埋め込むため、追跡データが埋め込まれた動画像は再利用可能なデータとなる。

請求項１１に記載の発明は、請求項１に記載の発明において、前記追跡データが埋め込まれた複数の連続する画像を順次入力する入力部と、前記入力部により入力された画像から前記追跡データに基づいてステレオペア画像を選択し、前記ステレオペア画像に対して相互標定を行う相互標定部と、前記相互標定部により相互標定されたステレオペア画像と他の画像の座標系を接続する接続標定部と、前記接続標定部により接続された座標系に基づいて、前記追跡データに含まれる点の３次元座標を計測する３次元計測部とを備えることを特徴とする。請求項１１に記載の発明によれば、追跡データが埋め込まれた画像を入力する画像処理装置は、追跡データとフレーム画像とを容易に管理することができる。また、相互標定部や接続標定部は、追跡データに基づいて相応しい画像を選択することができる。

請求項１２に記載の発明は、請求項１１に記載の発明において、前記追跡データが埋め込まれた複数の連続する画像を順次入力する入力部と、前記入力部により入力された単一の画像に対して共線条件式もしくはＤＬＴ（Ｄｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）法を用いて、前記画像に埋め込まれた追跡データに含まれる点の画像座標と３次元座標との関係を求める単写真標定部とを備えることを特徴とする。請求項１２に記載の発明によれば、単写真標定部は、相互標定部がステレオペアを組まなかった単一の画像に埋め込まれた追跡データに含まれる点の３次元座標やその画像を撮影した撮影部の位置および姿勢情報を求めることができる。なお、共線条件式とは、投影中心、写真像および対象物が一直線上にあるという条件を利用して画像座標と対象物の３次元座標との関係を表した式のことを意味し、ＤＬＴ法とは、画像座標と対象物の３次元座標との関係を３次の射影変換式で近似したものである。

本発明によれば、動画像から取得された複数の連続する画像に基づいて写真測量を行う画像処理装置において、標定処理に必要な多種類のデータを容易かつ効果的に管理することができる。

まず、本発明に利用されるステレオ画像計測における基本原理を説明する。
１．［ステレオ法の原理］
まずステレオ法の原理について説明する。図１はステレオ法の原理を説明する説明図である。図１に示すように、２台のカメラ１、２が、光軸が平行で、カメラレンズ１、２の主点から撮影面としてのＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）面までの距離ａが等しく、ＣＣＤは光軸に直角に置かれているものとする。また、カメラ１、２の間隔と等しい、２つの光軸間距離（基長線）をｌとする。このとき、物体上の点Ｐ（ｘ、ｙ、ｚ）と、画像１上の点Ｐ_１（ｘ１、ｙ１）、画像２上の点Ｐ_２（ｘ２、ｙ２）の座標の間には、以下のような関係がある。

但し、全体の座標系の原点をカメラレンズ１の主点にとるものとする。数３式よりｚを求め、これを用いて数１式、数２式よりｘ、ｙが求められる。以上により、左右画像の対応点を求めれば、その位置の３次元座標を計測することができる。

２．［ステレオ画像作成の原理］
次にステレオ画像作成についての原理を説明する。ステレオ画像作成の原理は、ステレオ法が成立するように画像を修正すればよい。ステレオ画像とは、対象物に対して２枚の画像が平行であり、かつ、縦視差が除去されているものである。図２は、ステレオ画像を説明する説明図である。例えば、図２（Ａ）に示されている画像では、左右の画像間でいくらオーバーラップしている領域があっても、左右画像の縮尺が異なり、さらに回転や縦視差があるために、３次元計測することができない。しかしながら、図２（Ｂ）のように左右画像の倍率を合わせ、回転を補正し縦視差を除去すれば、ステレオ法を成り立たせることができる。

ステレオ画像（ステレオモデル）は、左右画像中に６点以上の同一の対応点を求めることにより作成することができる。左右画像中の同一の対応点をパスポイントという。図３はパスポイントを説明する説明図である。図３に示すように、左右の画像上で６点対応する点の画像座標があれば、２つのカメラの相対的な位置と傾きを求めることができるので、それにより左右画像の縮尺、回転、縦視差を補正し、ステレオ画像を作成することができる。

３．［相互標定］
相互標定は、画像中の６点以上の対応点によりカメラの相対的な位置と傾きを求める原理である。図４は相互標定を説明する説明図である。相互標定では、以下の共面条件式により各パラメータを求める。

図４に示すように、モデル座標系の原点を左側の投影中心Ｏ_１にとり、右側の投影中心Ｏ_２を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ_１、Ｙ軸の回転角φ_１、右側のカメラのＺ軸の回転角κ_２、Ｙ軸の回転角φ_２、Ｘ軸の回転角ω_２の５つの回転角となる。この場合、左側のカメラのＸ軸の回転角ω_１は０なので、考慮する必要はない。このような条件にすると、数４の共面条件式は数５式のようになり、この式を解けば各パラメータが求まる。

ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式が成り立つ。

これらの式を用いて、次の手順により、未知パラメータを求める。
（１）初期近似値は通常０とする。
（２）数５の共面条件式を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を数６、数７式により求め、観測方程式をたてる。
（３）最小二乗法をあてはめ、近似値に対する補正量を求める。
（４）近似値を補正する。
（５）補正された近似値を用いて、（２）〜（５）までの操作を収束するまで繰り返す。

以上により、カメラの相対的な３次元位置ならびに３軸の傾きが求まり、ステレオ画像（ステレオモデル）が作成できる。また、ステレオ撮影したカメラ間の距離（基線長）を入力してやれば、実寸のステレオモデルとすることができる。さらに、６点のうち３点のＸＹＺ座標を与えてやることができれば、実際の座標系に変換し、実座標における三次元計測が可能となる。また、基線長を仮に１とすれば、モデル座標系での三次元座標算出が可能になる。

４．［接続標定］
上記ステレオ法は２枚のステレオ画像から３次元座標を求める方法であるが、動画像の場合には、複数のステレオペア画像が存在する。このため、複数のステレオペア画像間の傾き、縮尺を統一して同一座標系として接続する処理が必要となる。この処理を接続標定という。接続標定は、ステレオペア画像間に３点以上の同一の対応点が必要となる。ステレオペア画像間の同一の対応点をタイポイントという。図５（Ａ）はタイポイントを説明する説明図である。２組のステレオペア画像間で共有する点が３点以上存在する場合には、一方の標定要素は固定し、他方の標定要素だけを操作して接続する処理が行われる。この処理を行った場合、以下の数８式で表される接続較差を算出する。算出した結果、ΔＺ_ｊおよびΔＤ_ｊが、所定値（例えば、０．０００５（１／２０００））以下なら接続標定が正常に行われたと判定する。接続標定が正常に行われると、複数のステレオ画像から３次元計測が可能となる。図５（Ｂ）は３次元計測の結果を示す図である。

５．［特徴点抽出法］
上記相互標定および接続標定を行うためには、左右画像から対応点を抽出しなければならない。対応点は、左右一方の画像から特徴点を抽出し、他方の画像から対応する特徴点の追跡を行うことにより自動で実行される。特徴点の抽出には、例えばモラベックオペレータが使用される。モラベックオペレータは、表１に示すように上下、左右、対角の４方向で、各方向上にある各画素の値と中心画素の値との差の２乗の和を計算し、４つの値から最小値を選択するものである。この計算式を数９に示す。そして、この最小値を初期設定値であるモラベックオペレータ閾値を比較することにより、特徴点が抽出される。

６．［特徴点追跡法］
左画像から特徴点が抽出されたら、右画像で対応する点の追跡が行われる。特徴点の追跡には、例えば高速なテンプレートマッチングである残差逐次検定法（ＳＳＤＡ法）が使用される。図６はＳＳＤＡ法を説明する説明図である。図６に示すようにＮ×Ｎ画素のテンプレート画像をＭ×Ｍ画素の追跡画像内の探索範囲（Ｍ−Ｎ＋１）^２上で動かし、数１０の残差が最小になった位置で、対応点が追跡されたとみなす。なお、（ａ，ｂ）は追跡画像内におけるテンプレート画像の左上位置を示し、Ｉ_{（ａ，ｂ）}（ｍ，ｎ）は追跡画像の部分画像、Ｔ（ｍ，ｎ）はテンプレート画像、Ｒ（ａ，ｂ）は追跡画像の部分画像とテンプレート画像との残差である。なお、本発明に係る画像処理装置においては、左画像で抽出された特徴点と右画像で追跡された対応点とを結ぶ移動ベクトルの距離と方向を初期設定値である距離判定閾値と方向判定閾値と比較することにより、誤った対応点を除去する処理を行う。

上記により、左右画像で対応する点が６点以上の場合には、相互標定が可能であり、ステレオペア画像間で対応する点が３点以上の場合には、接続標定が可能となる。

１．第１の実施形態
以下、上記ステレオ法を利用した本発明に係る画像処理装置および画像処理システムの一例について説明する。図７は、本発明に係る画像処理装置および画像処理システムのブロック図である。本発明に係る画像処理装置は、第１画像処理装置１０および／または第２画像処理装置２０で構成される。第１画像処理装置１０は、第２画像処理装置２０で行われる標定処理や３次元計測などに必要な追跡データを取得して各フレーム画像に埋め込んで出力する。一方、本発明に係る画像処理システムは、さらに撮影部３０、ＧＰＳ受信機４０、姿勢センサ５０、基準時計６０を組み合わせた構成である。以下、各装置の構成について追跡データの項目ごとに説明する。

（画像処理システムの構成）
撮影部３０は、例えば動画像を撮影可能なＣＣＤカメラであり、受光部で光電変換した信号をＮＴＳＣ信号として出力する。撮影部３０は、対象物と自身とが少しずつ相対移動しながら動画像を撮影する。撮影部３０により取得された動画像は、第１画像処理装置１０に入力される。

（１）ＧＰＳ情報
ＧＰＳ受信機４０は、ＧＰＳ衛星から電波を受信して、撮影部３０の絶対位置を測位演算する。撮影部３０の測位情報が得られると、上述した接続標定により統一された相対座標系を絶対座標系に変換することができる。ＧＰＳ受信機４０により測位演算された撮影部３０の絶対位置は、第１画像処理装置１０に入力される。この撮影部３０の位置情報は、撮影部３０により撮影されたフレーム画像内に埋め込まれる。なお、ＧＰＳ受信機４０を利用しない構成の場合には、既知の基準点の絶対座標を入力することができる。基準点は、図７に示す表示部７１に表示された画面上で操作部７０により指定され、その基準点の絶対座標が表示部７１に表示された入力欄に入力される。また、絶対座標が既知でない場合には、既知の２点間の実距離を入力することで相対座標系を実スケールにすることができる。２点間の実距離は、図７に示す表示部７１に表示された画面上で２点が操作部７０により指定され、その２点間の実距離が表示部７１に表示された入力欄に入力される。このような場合には、フレーム画像内にはＧＰＳ情報が埋め込まれず、ＧＰＳ情報が存在しないという情報が埋め込まれる。

（２）姿勢情報
姿勢センサ５０は、撮影部３０の光軸をＺ軸と規定した場合、このＺ軸とこれに直交するＸ軸とさらにこれらに直交するＹ軸からなる３軸回り回転角（または回転角速度、回転加速度）を算出することができるセンサであり、例えば３軸回りの回転角速度を計測するジャイロである。姿勢センサ５０は、相互標定によりカメラの各軸周りの回転角が算出できなかった場合に有効である。また、撮影時には撮影部３０が突発的にブレを生じる場合があるが、画像内に埋め込まれた姿勢センサ５０の姿勢情報に基づいてその状況を検出することができる。このため、ブレを生じた画像は計測に選択しないなどといった判断が可能となる。姿勢センサ５０により計測された撮影部３０の姿勢情報は、第１画像処理装置１０に入力され、撮影部３０により撮影されたフレーム画像内に埋め込まれる。

（３）基準時刻
基準時計６０は、例えば電波時計であり、基準時刻を取得する。この基準時刻は、各フレーム画像の撮影タイミング、ＧＰＳ受信機４０による測位演算タイミング、姿勢センサ５０による回転角速度の計測タイミングの同期をとるために利用される。基準時計６０により取得された基準時刻は、第１画像処理装置１０に入力される。この基準時刻は、撮影部３０により撮影されたフレーム画像内に埋め込まれる。

（画像処理装置の構成）
第１画像処理装置１０は、撮影画像取得部１１、特徴点抽出部１２、特徴点追跡部１３、埋め込み部１４、出力部１５を備えている。

（４）フレーム番号、インターレース又はプログレッシブ
撮影画像取得部１１は、撮影部３０からインターレース又はプログレッシブで順次フレーム画像を取得する。撮影画像取得部１１により入力されたフレーム画像は、連番のフレーム番号が割り当てられる。このフレーム番号、インターレース又はプログレッシブという画面情報は、各フレーム画像内に埋め込まれる。

（５）モラベックフィルター閾値
特徴点抽出部１２は、撮影画像取得部１１により入力されたフレーム画像から特徴点を抽出する。特徴点の抽出には、上述した表１および数９のモラベックオペレータが使用される。モラベックオペレータにより出力された値は、モラベックフィルター閾値と比較することにより特徴点として抽出するか否かが判定される。このモラベックフィルター閾値は、図７に示す操作部７０から入力することで初期設定される。設定されたモラベックフィルター閾値は、各フレーム画像内に埋め込まれる。なお、モラベックフィルター以外の特徴点の抽出法として、ハリスフィルターやスーザンフィルター等を利用することができる。この場合にはそれらの閾値がフレーム画像内に埋め込まれる。

（６）点のＸ座標およびＹ座標、点番号、フレーム内特徴点数閾値
また、特徴点抽出部１２により抽出された点は、点番号が割り当てられ、Ｘ座標およびＹ座標と共に、各フレーム画像内に埋め込まれる。相互標定はこのＸ座標およびＹ座標に基づいて行われる。また、特徴点抽出部１２により抽出された特徴点は、パスポイントおよびタイポイントとして利用されるため、抽出された特徴点数がフレーム内特徴点数閾値（例えば３点）以上か否かが判定される。このフレーム内特徴点数閾値も、各フレーム画像内に埋め込まれる。

（７）テンプレート色、マッチング評価値、マッチング評価値閾値、距離判定閾値
特徴点追跡部１３は、特徴点抽出部１２により抽出された特徴点に対応する点を次フレーム画像または前フレーム画像（隣接するフレーム画像）内で追跡する。特徴点の追跡には、上述したテンプレートマッチングであるＳＳＤＡ法が使用される。追跡中のテンプレート画像は、表示部７１に表示可能であり、テンプレート画像の表示色（テンプレート色）は、操作部７０により設定できる。また、上述したＳＳＤＡ法によるテンプレート画像と追跡画像との残差（マッチング評価値）は、マッチング評価閾値と比較される。マッチング評価値がマッチング評価閾値より小さい場合には、候補対応点として選別される。そして、特徴点追跡部１３は、特徴点と候補対応点との移動ベクトルを算出する。移動ベクトルの距離は、距離判定閾値と比較され、距離判定閾値より小さい場合には、さらに候補対応点として選別される。また、移動ベクトルの方向は、方向判定閾値と比較され、方向判定閾値の移動方向と大きく異なる場合には、候補対応点から除去される。このような段階を経て、候補対応点の中から特徴点に対応する点が確定される。以上のテンプレート色、マッチング評価値、マッチング評価値閾値、距離判定閾値、方向判定閾値は、各フレーム画像内に埋め込まれる。なお、各点のマッチング評価値は、標定点として使用するか否かの判断材料となる。なお、ＳＳＤＡ法以外のテンプレートマッチングとしては、正規化相関法や符号照合法等を利用することができる。

（８）点の状態、フレーム内総点数、世代数、世代継続点数閾値
特徴点追跡部１３が、特徴点に対応する全点について追跡を完了すると、追跡したフレーム画像における特徴点の生存又は消滅（点の状態）が確定する。これにより、フレーム画像内の総点数も確定する。また、特徴点追跡部１３が追跡できた点数が６点以下の場合には、特徴点抽出部１２が新たに特徴点を再抽出する。この際、特徴点抽出部１２がこれまでに抽出した回数は、世代数として各フレーム画像内に埋め込まれる。ここで、世代とは、言い換えればステレオペア画像が連続した画像群のことを意味する。この世代数が各フレーム画像内に埋め込まれることにより、世代数が共通する２枚の画像を動画像内から選択することによって相互標定に必要なステレオペア画像を容易に選択することができる。また、世代間で引き継がれた点数は、世代継続点数閾値（例えば６点）と比較される。世代間で引き継がれた点数が３点以上の場合、その世代同士は接続標定が可能となる。以上の点の状態、フレーム内総点数、世代数、世代継続点数閾値は、フレーム画像内に埋め込まれる。なお、特徴点抽出部１２が再抽出した場合は、特徴点追跡部１３が追跡した点数と特徴点抽出部１２が再抽出した点数とを合計した点数がフレーム内総点数となる。このフレーム内総点数は、標定点として利用できる点の多少を判断する指標となる。相互標定の際、総点数の多少に基づいて使用する画像を選択することができる。

上記世代について具体例を挙げて説明する。図８は世代を説明する説明図である。図８には、連続する６枚のフレーム画像が示されている。図８に示すフレーム画像の右上には、フレーム画像のフレーム番号が示されている。フレーム番号１の画像で抽出された６点の特徴点Ｘ_１〜Ｘ_６は、フレーム番号２の画像において対応する６点が追跡されている。フレーム番号２の画像で追跡された６点Ｘ_１〜Ｘ_６は、フレーム番号３の画像内において５点のみ生存している。このため、フレーム番号３の画像は、世代継続点数閾値である６点未満であるため、フレーム番号２とフレーム番号３の画像はステレオペア画像として相応しくない。このため、世代数が、世代１から世代２へ更新される。なお、フレーム番号２とフレーム番号３の画像間で対応する点は３点以上あるため、接続標定は可能となる。

（９）処理状態、世代番号、世代引き継ぎ数
また、世代が更新されると、フレーム画像３で特徴点■_１、■_８、■_９が再抽出される。このように、抽出→追跡→世代更新→抽出→追跡→世代更新→抽出→・・・といった抽出および追跡という２種類の処理状態（抽出または追跡）が繰り返される。そして、フレーム画像５には、世代１で抽出されたＸ_３、Ｘ_５、Ｘ_６と、世代２で抽出された■_８、■_９が併存している。したがって、これらを識別するために、各点は各点が抽出された世代を示す世代番号が付与される。具体的には、フレーム画像５におけるＸ_３、Ｘ_５、Ｘ_６の世代番号は１であり、■_８、■_９の世代番号は２であり、●_１、●_４の世代番号は３となる。また、各点には抽出された世代から引き継がれた世代数（世代引き継ぎ数）も付与される。具体的には、フレーム画像５におけるＸ_３、Ｘ_５、Ｘ_６の世代引き継ぎ数は世代１から世代３まで引き継がれているため、２である。同様に■_８、■_９の世代引き継ぎ数は１であり、●_１、●_４の世代引き継ぎ数は０となる。以上の処理状態、世代番号、世代引き継ぎ数は、各フレーム画像内に埋め込まれる。世代引き継ぎ数が１以上の点はタイポイントとして利用でき、このタイポイントがフレーム画像内に３点以上ある場合には接続標定が可能な画像であると判断できる。

（１０）フレーム内点配置統計値
また、抽出または追跡された点の画像内における配置を統計した点配置統計値が算出される。図９は点配置統計値の算出方法を説明する説明図である。点配置統計値とは、点がフレーム画像内でどのように偏って配置されているかを表す。点配置統計値は、画像の中心座標を（０、０）として、各点のＸ座標の合計値およびＹ座標の合計値として算出される。例えば、６４０×４８０ピクセルのフレーム画像内に座標値が（−１５０、２０）、（５０、−８０）、（２５０、４０）、（３５、−１８０）、（−３００、２００）からなる５つの点が存在していた場合、Ｘ方向の点配置統計値は−１５０＋５０＋２５０＋３５−３００＝−１１５となり、Ｙ方向の点配置統計値は２０−８０＋４０−１８０＋２００＝０となる。すなわち、点配置統計値は（−１１５、０）となり、フレーム画像の右側に点が偏っていることになる。各フレーム画像における点の偏り具合は相互標定の計算が収束するか否かに影響を及ぼすため、フレーム画像に埋め込まれた点配置統計値に基づいて点の偏り具合を見極め、そのフレーム画像を相互標定で使用するか否かを判断することができる。このフレーム内点配置統計値は、フレーム画像内に埋め込まれる。

図７に示す埋め込み部１４は、以上の追跡データをフレーム画像内に埋め込む。図１０は追跡データの埋め込み方法を説明する説明図である。埋め込み部１４は、図１０（Ａ）〜（Ｃ）に示す３種類の埋め込みモードを備えている。３種類の埋め込みモードは操作部７０により選択される。いずれの埋め込みモードについても、フレーム画像内で使用しない領域に追跡データが埋め込まれる。これにより、追跡データが埋め込まれた動画像は再利用可能なデータとなる。以下、３種類の埋め込みモードについて説明する。

（Ａ）先頭領域に埋め込み
図１０（Ａ）に示すように、埋め込み部１４は、追跡データを各フレーム画像の先頭の画素から順に埋め込む。フレーム画像の先頭領域は使用されない場合が多いため、追跡データの格納領域として好適である。また、第２画像処理装置２０がフレーム画像から追跡データを読み出す処理が容易であり、読み出し時間も短時間で済む。

（Ｂ）手動設定領域に埋め込み
また、図１０（Ｂ）に示すように、埋め込み部１４は、追跡データをフレーム画像内で手動設定した領域に埋め込む。手動設定領域は、表示部７１に表示された画像上で、操作部７０により矩形領域として設定される。この際、手動設定領域の左上の画素座標と右下の画素座標が、フレーム画像の先頭に埋め込まれる。これにより、第２画像処理装置２０は追跡データが埋め込まれた手動設定領域を認識することができる。このモードは、フレーム画像の使用しない領域が特定できる場合に有効である。この態様によれば、追跡データが埋め込まれた動画像は、再利用可能なデータとなる。

（Ｃ）自動判別領域に埋め込み
さらに、図１０（Ｃ）に示すように、埋め込み部１４は、フレーム画像の対象物の位置を上述したフレーム内点配置統計値に基づいて自動判別して、自動判別領域（対象物が存在しない領域）に追跡データを埋め込む。この際、自動判別領域の左上の画素座標と右下の画素座標がフレーム画像の先頭に埋め込まれる。これにより、第２画像処理装置２０は、追跡データが埋め込まれた自動判別領域を認識することができる。この態様によれば、追跡データが埋め込まれた動画像は、再利用可能なデータとなる。

以下、埋め込み部１４が埋め込む追跡データのデータ構造について説明する。図１１は追跡データのデータ構造の一例を示す図である。図１１（Ａ）は追跡データのデータフォーマットを示す図であり、図１１（Ｂ）は追跡データの具体例を示す図である。追跡データは、図１１（Ａ）の上段に示すフレーム画像単位のデータと、図１１（Ａ）の下段に示す点単位のデータとから構成される。追跡データは、フレーム画像単位のデータ、点単位のデータの順に埋め込まれる。フレーム画像内の点数は上限が設定されるため、点単位のデータには、所定点数分のデータ領域が確保される。

以下、追跡データの具体例について説明する。フレーム画像のフレーム番号は５であり、インターレース画像である。また、表示するテンプレート色は赤が設定されている。このフレーム画像は抽出フレームであり、世代数は３である。また、このフレーム画像には７つの点が存在しており、７つの点の点配置統計値は（−３０、−１２０）である。そして、各閾値はマッチング評価閾値＝１０、距離判定閾値＝１０ｐｉｘ、フレーム内特徴点数閾値＝６点、世代継続点数閾値＝６点である。また、撮影部３０の絶対座標がＮ４０゜５Ｅ１３５゜３であり、基準時刻１３：２５：０８、撮影部３０の姿勢情報がＸ２０゜Ｙ０゜Ｚ４５゜となっている。また、点番号１の点の座標値は（４５０、６３０）であり、この点が抽出された世代（世代番号）は３、世代引き継ぎ数が０である。また、点番号１の点はこのフレーム画像で初めて抽出された点であるため、マッチング評価値が０であり、点の状態は生存となっている。一方、点番号３の点の座標値は（１０、１８０）であり、抽出された世代（世代番号）が１、世代引き継ぎ数が２、マッチング評価値が１０、点の状態は生存となっている。

以上のようなデータ構造の追跡データが埋め込まれたフレーム画像は、図７に示す出力部１５によって順次第２画像処理装置２０へ出力される。出力部１５は、例えばＵＳＢ２．０、イーサネット（登録商標）などのインターフェースが利用される。出力されたフレーム画像は、第２画像処理装置２０に入力される。

（第２画像処理装置の構成）
第２画像処理装置２０は、入力部２１、相互標定部２２、接続標定部２３、選別部２４、３次元計測部２５、パノラマ画像作成部２６、撮影軌跡解析部２７を備えている。

入力部２１は、第１画像処理装置１０から追跡データが埋め込まれたフレーム画像を順次入力する。まず、第２画像処理装置２０では、上述した相互標定および接続標定が行われる。相互標定部２２は、埋め込まれた追跡データを読み出し、世代数、フレーム内総点数、フレーム内点配置統計数に基づいてステレオペア画像を選択する。まず、相互標定部２２は、世代数が同一である２枚の画像をステレオペア画像として選択する。この際、相互標定部２２は、フレーム内総点数が多いフレーム画像であって、点の偏りが小さい（フレーム内点配置統計数が（０，０）に近い）フレーム画像を優先的に選択する。例えば、図８の場合、フレーム番号３とフレーム番号４は、世代数が３で同一であり、フレーム内総点数が８点と多く、点の偏りも小さいため、ステレオペア画像として選択される。

次に、相互標定部２２は、選択したステレオペア画像内から６点の標定点（パスポイント）を決定する。この際、相互標定部２２は、一方のフレーム画像から点の状態が生存になっており、マッチング評価値が良好な点（マッチング評価閾値との差が大きい点）を見つけ、他方のフレーム画像から同一の世代番号を有する点をパスポイントとして６点取得する。例えば、フレーム番号３の画像の追跡データから、点の状態が生存であり、マッチング評価値が良好な点であるＸ_４を見つけた場合、フレーム番号４の画像から、そのＸ_４と同一の世代番号であるＸ_４を探してパスポイントとして設定する。残り５点も同様の手順で決定される。その後、相互標定部２２は決定したパスポイント６点の点座標を数５〜数７に入力し、撮影部３０の相対的な３次元位置と各軸回りの回転角を算出する。

相互標定部２２により未知パラメータの計算結果が収束した場合、接続標定部２３が接続標定を行う。まず、接続標定部２３は、相互標定部２２により使用されたステレオペア画像に接続できる画像（接続画像）を選択する。接続画像は、ステレオペア画像との共通点が３点（タイポイント）以上あるか否かで選択される。特に、接続画像がステレオペア画像と同一世代にない場合には、世代引き継ぎ数が大きい点を接続画像から探し、タイポイントとして決定する。そして、接続標定部２３は、相互標定で算出されたパラメータを固定し、数５〜数７に基づいて接続画像の未知パラメータを算出する。そして、接続標定部２３は、算出された結果が正常か否かを確認するため、数８の接続較差を算出する。接続較差ΔＺ_ｊおよびΔＤ_ｊが所定値（例えば、０．０００５（１／２０００））を超える場合には、接続標定部２３は、接続できなかったフレーム番号を表示部７１に表示する。

接続標定部２３によりステレオモデルの接続が行われた後、選別部２４（図７参照）が、アプリケーションである３次元計測部２５、パノラマ画像作成部２６、撮影軌跡解析部２７ごとに必要な追跡データが埋め込まれたフレーム画像を選別する。また、選別部２４は、選別したフレーム画像を標定処理により算出されたパラメータと共にファイル化またはデータベース化する。ファイル化する場合には、選別部２４は、追跡データが埋め込まれた状態でフレーム画像を静止画ファイルまたは動画ファイルとして保存する。一方、データベース化する場合には、選別部２４は、ＲＤＢＭＳ（リレーショナルデータベース管理システム）で設計された追跡データテーブルに追跡データを格納し、フレーム画像テーブルにフレーム画像を格納し、標定パラメータテーブルに標定パラメータを格納する。これにより、追跡データとフレーム画像とが関連付けられる。この態様によれば、各アプリケーションは共通のＳＱＬ（Ｓｔｒｕｃｔｕｒｅｄ Ｑｕｅｒｙ Ｌａｎｇｕａｇｅ）で、必要なデータの検索、挿入、更新、削除を行うことができる。

３次元計測部２５、パノラマ画像作成部２６、撮影軌跡解析部２７は、選別部２４により選別された追跡データ、フレーム画像、標定パラメータをファイルまたはデータベースから読み出す。その後、３次元計測部２５は、標定パラメータと数１〜数３に基づいて、各点の３次元座標を計測する。また、３次元計測部２５は、３次元空間上への点群データ形成、サーフェースモデル形成、断面積計測、体積計測などを行う。パノラマ画像作成部２６は、フレーム画像を標定パラメータに基づいて射影変換してステレオ画像を形成し、射影変換した点座標に基づいてステレオ画像を接続することによりパノラマ画像を作成する。撮影軌跡解析部２７は、ＧＰＳ受信機４０が取得した絶対座標と基準時刻に基づいて、接続標定部２３により統一された撮影部３０の相対座標を絶対座標に変換し、３次元空間上にプロットする。また、撮影軌跡解析部２７は、相互標定部２２により算出された撮影部３０の姿勢情報、または姿勢センサ５０により測定された撮影部３０の姿勢情報に基づいて、プロットした絶対座標に撮影部３０の姿勢ベクトルを付加して表示部７１に表示する。

（第１の実施形態の優位性）
標定処理を行うために必要な追跡データは多種類のデータで構成され、各画像に密接に関連している。この追跡データが各画像に埋め込まれることによって、標定処理を行う際の追跡データの管理が容易になる。また、追跡データが埋め込まれた画像は第１画像処理装置１０から順次出力されるため、第２画像処理装置２０は、この画像に基づいて逐次標定処理を行うことができる。すなわち、第２画像処理装置２０は、動画像の入力完了を待たずに標定処理を開始することができる。このため、標定処理に相応しい画像であるか否かを早期に判断することができる。さらに、第１画像処理装置１０は、追跡データを画像内に埋め込んで出力するため、画像を出力するインターフェースのみ備えていればよく、追跡データ用に専用のインターフェースを備える必要がない。このため、第１画像処理装置１０は部品点数が少なく、標定処理に必要なデータの転送時間も高速である。また、埋め込み部１４が以下の追跡データを埋め込むことにより、表２に示す効果を奏する。

一方、埋め込み部１４が追跡データを画像の先頭領域に埋め込んだ場合は、追跡データの読み出し時間が短縮される。また、画像内で使用しない領域が予め分かっている場合、その領域を手動設定領域とすることにより、追跡データが埋め込まれた動画像は再利用可能なデータとなる。さらに、埋め込み部１４は、点配置統計値に基づいて画像内で使用しない領域を自動判別することにより、追跡データが埋め込まれた動画像は再利用可能なデータとなる。

２．第２の実施形態
以下、単写真標定部を備えた画像処理装置および画像処理システムの一例について説明する。図１２は単写真標定部を備えた画像処理装置および画像処理システムのブロック図である。第２画像処理装置は、相互標定部２２と接続標定部２３との間に単写真標定部２８を備えている。単写真標定部２８は、以下に説明する単写真標定もしくはＤｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ（ＤＬＴ）法を用いて、単一の画像に埋め込まれた追跡データに含まれる点の画像座標と３次元座標との関係を求める。

１．［単写真標定］
単写真標定とは、１枚の写真の中に写された基準点に成り立つ共線条件を用いて、写真を撮影したカメラの位置（Ｘ０，Ｙ０，Ｚ０）およびカメラの傾き（ω，φ，κ）を求め、写真座標ｘ，ｙと地上座標Ｘ，Ｙ，Ｚの間の関係を求めるものである。共線条件とは、投影中心、写真像および地上の対象物が一直線上にあるという条件である。また、カメラの位置（Ｘ０，Ｙ０，Ｚ０）とカメラの傾き（ω，φ，κ）は外部標定要素と呼ばれる。

まず、カメラ座標系をｘ，ｙ，ｚ、写真座標系ｘ，ｙ、地上座標系をＸ，Ｙ，Ｚとし、カメラを各座標軸の正方向に対して左回りにそれぞれ κ，φ，ωだけ順次回転させた向きで撮影を行ったものとする。そして、４点の画像座標と対応する基準点の３次元座標を数１１に示す２次の射影変換式に代入し、観測方程式を立ててパラメ−タｂ１〜ｂ８を求める。

数１１のパラメータｂ１〜ｂ８を用いて、以下の数１２から外部標定要素を求める。

次に、単写真標定の原理より、地上の対象物（Ｘ，Ｙ，Ｚ）に対応する、傾いたカメラ座標系のカメラ座標（ｘｐ、ｙｐ、ｚｐ）を以下の数１３から求める。数１３では、数１２で求まったカメラの傾き（ω、φ、κ）を代入し、回転行列の計算をして、パラメータａ１１〜ａ３３を求める。

求まったパラメータａ１１〜ａ３３と数１２で求まったカメラの位置（Ｘ０、Ｙ０、Ｚ０）および基準点座標（Ｘ，Ｙ，Ｚ）を投影中心、写真像および対象物が一直線上にあるという以下の数１４の共線条件式に代入し、写真座標（ｘ、ｙ）を求める。

２．［ＤＬＴ法］
ＤＬＴ法は、写真座標と被写体の対象空間座標（３次元座標）との関係を３次の射影変換式で近似したものである。ＤＬＴ法の基本式は以下の数１５となる。

数１５の式の分母を消去すると、数１６の線形式を導き出せる。

さらに、数１６を変形すると、以下の数１７となる。

数１７を直接、最小二乗法を用いて解くと、写真座標と対象点座標との関係を決定するＬ_１〜Ｌ_１１の１１個の未知変量を取得できる。この未知変量により対象点の３次元座標を求めることができる。

（第２の実施形態の構成および優位性）
単写真標定部２８は、入力部２１が入力した単一の画像に対して上記単写真標定またはＤＬＴ法を実行する。この際、単写真標定部２８は、相互標定部２２により求められたモデル座標系における４点の対象空間座標を数１１および数１２に代入し、撮影部３０の位置および傾きを求め、数１３の画像座標と対象空間座標との関係式を求める。また、操作部７０により入力された４点以上の基準点の実座標がある場合には、単写真標定部２８は、それらを利用してモデル座標系を実座標系に変換できる。この単写真標定部２８を設けることにより、相互標定部２２がステレオペアを組まなかった単一の画像に埋め込まれた追跡データに含まれる点の３次元座標やその画像を撮影した撮影部３０の位置および姿勢情報を求めることができる。

また、単写真標定部２８は、相互標定部２２により求められた外部標定要素（撮影部３０の位置と傾き）を数１３に示す共線条件式に代入し、画像に埋め込まれた追跡データに含まれる点の３次元座標を求めることができる。一方、相互標定部２２で求めたモデル座標系における３次元座標または操作部７０により入力された実座標が６点以上あれば、単写真標定部２８は、数１７に示すＤＬＴ法の射影変換式に基づいて未知変量を取得し、写真座標と対象点座標との関係を決定することができる。

本発明は、地形測量、災害地域調査、崩落岩盤調査、土量計測、トンネル計測などを行う画像処理装置に利用することができる。

ステレオ法の原理を説明する説明図である。 ステレオ画像を説明する説明図である。 パスポイントを説明する説明図である。 相互標定を説明する説明図である。 タイポイントを説明する説明図（Ａ）および３次元計測の結果を示す図（Ｂ）である。 ＳＳＤＡ法を説明する説明図である。 画像処理装置および画像処理システムのブロック図である。 世代を説明する説明図である。 点配置統計値の算出方法を説明する説明図である。 追跡データの埋め込み方法を説明する説明図である。 追跡データのデータ構造の一例を示す図である。 単写真標定部を備えた画像処理装置および画像処理システムのブロック図である。

符号の説明

１０…第１画像処理装置、１１…撮影画像取得部、１２…特徴点抽出部、１３…特徴点追跡部、１４…埋め込み部、１５…出力部、２０…第２画像処理装置、２１…入力部、２２…相互標定部、２３…接続標定部、２４…選別部、２５…３次元計測部、２６…パノラマ画像作成部、２７…撮影軌跡解析部、３０…撮影部、４０…ＧＰＳ受信機、５０…姿勢センサ、６０…基準時計。

Claims (12)

1. 対象物と撮影部とが少しずつ相対移動して撮影された複数の連続する画像を取得する撮影画像取得部と、
   前記撮影画像取得部により取得された画像から特徴点を抽出する特徴点抽出部と、
   前記特徴点抽出部により抽出された特徴点に対応する点を前記複数の連続する画像内で追跡する特徴点追跡部と、
   前記特徴点抽出部により抽出された点のデータおよび前記特徴点追跡部により追跡された点のデータを含む追跡データを各画像内に埋め込む埋め込み部と、
   前記埋め込み部により前記追跡データが埋め込まれた複数の連続する画像を順次出力する出力部と
   を備え、
   前記特徴点追跡部が追跡できた点数が所定値未満の場合には、前記特徴点抽出部は特徴点を再抽出すると共に、前記埋め込み部は、前記特徴点抽出部がこれまでに抽出した回数を世代数として各画像内に埋め込むことを特徴とする画像処理装置。
2. 前記特徴点追跡部は、前記特徴点抽出部により抽出された特徴点をテンプレートマッチングにより追跡すると共に、前記埋め込み部は、前記テンプレートマッチングの算出結果であるマッチング評価値を各画像内に埋め込むことを特徴とする請求項１に記載の画像処理装置。
3. 前記特徴点抽出部が抽出した特徴点は、前記特徴点追跡部により複数の連続する画像内で追跡されることによって前記世代間で引き継がれ、前記埋め込み部は、前記特徴点が世代間で引き継がれた数を各画像内に埋め込むことを特徴とする請求項１に記載の画像処理装置。
4. 前記埋め込み部は、前記特徴点抽出部および前記特徴点追跡部が抽出および追跡した点の画像内における総点数を各画像内に埋め込むことを特徴とする請求項１に記載の画像処理装置。
5. 対象物と撮影部とが少しずつ相対移動して撮影された複数の連続する画像を取得する撮影画像取得部と、
   前記撮影画像取得部により取得された画像から特徴点を抽出する特徴点抽出部と、
   前記特徴点抽出部により抽出された特徴点に対応する点を前記複数の連続する画像内で追跡する特徴点追跡部と、
   前記特徴点抽出部により抽出された点のデータおよび前記特徴点追跡部により追跡された点のデータを含む追跡データを各画像内に埋め込む埋め込み部と、
   前記埋め込み部により前記追跡データが埋め込まれた複数の連続する画像を順次出力する出力部と
   を備え、
   前記埋め込み部は、前記特徴点抽出部および前記特徴点追跡部により抽出および追跡された点の画像内における配置を統計した点配置統計値を各画像内に埋め込むことを特徴とする画像処理装置。
6. 撮影部の位置座標を求めるＧＰＳ受信機を備え、
   前記埋め込み部は、前記ＧＰＳ受信機から取得した前記撮影部の位置情報を画像内に埋め込むことを特徴とする請求項１に記載の画像処理装置。
7. 撮影部の姿勢情報を求める姿勢センサを備え、
   前記埋め込み部は、前記姿勢センサから取得した前記撮影部の姿勢情報を画像内に埋め込むことを特徴とする請求項１に記載の画像処理装置。
8. 前記埋め込み部は、各画像内の先頭領域に前記追跡データを埋め込むことを特徴とする請求項１〜７のいずれかに記載の画像処理装置。
9. 前記埋め込み部は、画像上で手動設定された手動設定領域に前記追跡データを埋め込むことを特徴とする請求項１〜８のいずれかに記載の画像処理装置。
10. 前記埋め込み部は、前記点配置統計値に基づいて自動判別された領域に前記追跡データを埋め込むことを特徴とする請求項５に記載の画像処理装置。
11. 前記追跡データが埋め込まれた複数の連続する画像を順次入力する入力部と、
    前記入力部により入力された画像から前記追跡データに基づいてステレオペア画像を選択し、前記ステレオペア画像に対して相互標定を行う相互標定部と、
    前記相互標定部により相互標定されたステレオペア画像と他の画像の座標系を接続する接続標定部と、
    前記接続標定部により接続された座標系に基づいて、前記追跡データに含まれる点の３次元座標を計測する３次元計測部と
    を備えることを特徴とする請求項１に記載の画像処理装置。
12. 前記追跡データが埋め込まれた複数の連続する画像を順次入力する入力部と、
    前記入力部により入力された単一の画像に対して共線条件式もしくはＤＬＴ（Ｄｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）法を用いて、前記画像に埋め込まれた追跡データに含まれる点の画像座標と３次元座標との関係を求める単写真標定部とを備えることを特徴とする請求項１１に記載の画像処理装置。
    

Images