JP5787695B2

JP5787695B2 - 画像取得装置

Info

Publication number: JP5787695B2
Application number: JP2011212479A
Authority: JP
Inventors: 大友　文夫; 文夫大友; 大谷　仁志; 仁志大谷; 籾内　正幸; 正幸籾内; 大佛　一毅; 一毅大佛
Original assignee: Topcon Corp
Current assignee: Topcon Corp
Priority date: 2011-09-28
Filing date: 2011-09-28
Publication date: 2015-09-30
Anticipated expiration: 2031-09-28
Also published as: US9544575B2; CN103033169B; EP2575367A2; CN103033169A; US20160227197A1; US20130076862A1; JP2013072772A; US10602129B2

Description

本発明は、測定対象物の画像及び３次元データを取得すると共に３次元データに対応する光スペクトル特性を取得する画像取得装置に関するものである。

測定対象物を写真測量する等して、測定対象物の３次元データを取得するのと同時に測定対象物の画像を取得し、画像付の３次元データを取得することが行われている。

従来の３次元測定装置で得られる画像付の３次元データは、地図データ等に用いられており、使用者の視認性を高める等の効果が得られている。

一方、得られるデータは測定対象物の３次元位置データであり、得られる情報としては測定対象物の３次元位置である。

測定対象物について測定を行う場合、より多くの情報が得られることが望まれ、測定対象物の位置情報のみならず、測定対象物の性状についての情報が得られることが望ましい。

例えば、農作物の発育状態についての情報が得られれば、農作業について適切な判断、適切な処置が可能となり、或は地表に露出した鉱物の種類等が判断できれば、適切な土木工法の選択が可能となる等である。

特開２０１１−８９８９５号公報特開２００６−１０３７６号公報

本発明は斯かる実情に鑑み、変動状態のスペクトルカメラにより精度の高い光スペクトル画像を取得可能な、或は光スペクトル特性付の３次元データを取得可能な画像取得装置を提供するものである。

本発明は、時系列に連続するフレーム画像で構成される動画像を取得する第１カメラと、該第１カメラと既知の関係にあり、測定対象の光スペクトル画像を複数取得する第２カメラと、撮像制御装置とを具備し、該撮像制御装置は、１つの前記フレーム画像から複数の特徴点を抽出し、該特徴点を時系列に連続するフレーム画像中に順次特定し、前記複数の光スペクトル画像と対応するフレーム画像について前記特徴点に基づきフレーム画像間の画像マッチングを行い、該画像マッチングで得られた条件に基づき前記複数の光スペクトル画像を合成する様構成した画像取得装置に係るものである。

又本発明は、前記フレーム画像と前記光スペクトル画像とが同期して取得され、各フレーム画像の特徴点のフレーム画像上の位置に基づいて各光スペクトル画像の相対的な位置合わせを行う画像取得装置に係るものである。

又本発明は、前記第１カメラの動画像の第１フレーム画像から少なくとも５点の特徴点が抽出され、該少なくとも５点の特徴点が画像トラッキングにより第ｎフレーム画像中に特定され、両画像の特徴点に基づきステレオマッチングが行われ、前記測定対象の３次元モデルを形成する画像取得装置に係るものである。

又本発明は、前記３次元モデルに前記合成した光スペクトル画像の波長成分の情報を重合する画像取得装置に係るものである。

又本発明は、前記第２カメラが取得する光スペクトル画像は、所定の波長領域に関する２次元画像として取得される画像取得装置に係るものである。

又本発明は、飛行体と、該飛行体に設けられたＧＰＳ装置と、該飛行体の飛行を制御する制御装置と、該飛行体に搭載され、時系列に連続するフレーム画像で構成される動画像を取得する第１カメラと、該第１カメラと既知の関係に設けられ、測定対象の光スペクトル画像を取得する第２カメラと、撮像制御装置とを具備し、前記飛行体は第１地点で静止飛行を行い、静止飛行後第２地点に移動し、該第２地点で静止飛行を行い、前記ＧＰＳ装置は、第１地点、第２地点の地心座標系の位置を測定し、前記第１カメラは第１地点の静止画像を取得すると共に第１地点から第２地点に移動中に動画像を取得し、更に第２地点の静止画像を取得し、前記第２カメラは第１地点の静止飛行中に所定波長領域の光スペクトル画像を複数取得すると共に第２地点の静止飛行中に所定波長領域の光スペクトル画像を複数取得し、前記撮像制御装置は、第１地点の静止画像から複数の特徴点を抽出し、第１地点から第２地点に移動中の動画像により、動画像トラッキングを行い第２地点の静止画像に前記特徴点を特定し、特徴点に基づき第１地点の静止画像と第２地点の静止画像とをステレオマッチングすると共に前記第１地点及び第２地点の地心座標系の位置に基づき３次元モデルを形成し、又前記撮像制御装置は、第１地点の複数の光スペクトル画像を合成して第１光スペクトル合成画像を作成し、又第２地点の複数の光スペクトル画像を合成して第２光スペクトル合成画像を作成し、第１光スペクトル合成画像、第２光スペクトル合成画像の少なくとも一方と、前記３次元モデルとを合成し、前記測定対象の３次元位置データと光スペクトル情報を有する４次元モデルを作成する画像取得装置に係るものである。

又本発明は、前記第１カメラは前記静止飛行状態で同位置動画像を取得し、前記撮像制御装置は、前記同位置動画像のフレーム画像に同期させ、前記第２カメラで光スペクトル画像を取得し、フレーム画像間で画像トラッキングを行い、時間的に連続する２つの光スペクトル画像に対応する２つのフレーム画像の画像マッチングを行い、該画像マッチングで得られた条件で前記２つの光スペクトル画像を合成し、前記フレーム画像の画像マッチングと光スペクトル画像の合成とを順次繰返し、前記静止飛行状態で取得した全ての光スペクトル画像を合成する画像取得装置に係るものである。

又本発明は、飛行体と、該飛行体に設けられたＧＰＳ装置と、前記飛行体の飛行を制御する制御装置と、該飛行体に搭載され、時系列に連続するフレーム画像で構成される動画像を取得する第１カメラと、前記第１カメラと既知の関係に設けられ、測定対象の光スペクトル画像を取得する第２カメラと、撮像制御装置とを具備し、前記飛行体は第１地点から第２地点に移動し、前記ＧＰＳ装置は、第１地点、第２地点の地心座標系の位置を測定し、前記第１カメラは第１地点の静止画像を取得すると共に第１地点から第２地点に移動中に動画像を取得し、更に第２地点の静止画像を取得し、前記第２カメラは第１地点から第２地点の移動途中に所定波長領域の光スペクトル画像を複数取得し、前記撮像制御装置は、第１地点の静止画像から複数の特徴点を抽出し、第１地点から第２地点に移動中の動画像により、動画像トラッキングを行い第２地点の静止画像に前記特徴点を特定し、該特徴点に基づき第１地点の静止画像と第２地点の静止画像とをステレオマッチングすると共に前記第１地点及び第２地点の地心座標系の位置に基づき３次元モデルを形成し、又前記撮像制御装置は、複数の光スペクトル画像を合成して光スペクトル合成画像を作成し、前記３次元モデルと前記光スペクトル合成画像とを合成し、前記測定対象の３次元位置データと光スペクトル情報を有する４次元モデルを作成する画像取得装置に係るものである。

又本発明は、前記撮像制御装置は、前記動画像のフレーム画像に同期させ、前記第２カメラで光スペクトル画像を取得し、フレーム画像間で画像トラッキングを行い、時間的に連続する２つの光スペクトル画像に対応する２つのフレーム画像の画像マッチングを行い、該画像マッチングで得られた条件で前記２つの光スペクトル画像を合成し、前記フレーム画像の画像マッチングと光スペクトル画像の合成とを順次繰返し、前記移動途中に取得した全ての光スペクトル画像を合成する画像取得装置に係るものである。

本発明によれば、時系列に連続するフレーム画像で構成される動画像を取得する第１カメラと、該第１カメラと既知の関係にあり、測定対象の光スペクトル画像を複数取得する第２カメラと、撮像制御装置とを具備し、該撮像制御装置は、１つの前記フレーム画像から複数の特徴点を抽出し、該特徴点を時系列に連続するフレーム画像中に順次特定し、前記複数の光スペクトル画像と対応するフレーム画像について前記特徴点に基づきフレーム画像間の画像マッチングを行い、該画像マッチングで得られた条件に基づき前記複数の光スペクトル画像を合成する様構成したので、光スペクトル画像間でずれがあった場合も修正でき、精度の高い光スペクトル合成画像、ハイパースペクトル画像を取得することができる。

又本発明によれば、前記フレーム画像と前記光スペクトル画像とが同期して取得され、各フレーム画像の特徴点のフレーム画像上の位置に基づいて各光スペクトル画像の相対的な位置合わせを行うので、光スペクトル画像間でずれがあった場合も修正でき、精度の高い光スペクトル画像の合成が可能となる。

又本発明によれば、前記第１カメラの動画像の第１フレーム画像から少なくとも５点の特徴点が抽出され、該少なくとも５点の特徴点が画像トラッキングにより第ｎフレーム画像中に特定され、両画像の特徴点に基づきステレオマッチングが行われ、前記測定対象の３次元モデルを形成するので、第ｎフレーム画像での特徴点の特定が容易であり、ステレオマッチングが容易となる。

又本発明によれば、前記３次元モデルに前記合成した光スペクトル画像の波長成分の情報を重合するので、３次元位置情報に加え光スペクトル情報を含む４次元の画像を取得することができる。

又本発明によれば、飛行体と、該飛行体に設けられたＧＰＳ装置と、該飛行体の飛行を制御する制御装置と、該飛行体に搭載され、時系列に連続するフレーム画像で構成される動画像を取得する第１カメラと、該第１カメラと既知の関係に設けられ、測定対象の光スペクトル画像を取得する第２カメラと、撮像制御装置とを具備し、前記飛行体は第１地点で静止飛行を行い、静止飛行後第２地点に移動し、該第２地点で静止飛行を行い、前記ＧＰＳ装置は、第１地点、第２地点の地心座標系の位置を測定し、前記第１カメラは第１地点の静止画像を取得すると共に第１地点から第２地点に移動中に動画像を取得し、更に第２地点の静止画像を取得し、前記第２カメラは第１地点の静止飛行中に所定波長領域の光スペクトル画像を複数取得すると共に第２地点の静止飛行中に所定波長領域の光スペクトル画像を複数取得し、前記撮像制御装置は、第１地点の静止画像から複数の特徴点を抽出し、第１地点から第２地点に移動中の動画像により、動画像トラッキングを行い第２地点の静止画像に前記特徴点を特定し、特徴点に基づき第１地点の静止画像と第２地点の静止画像とをステレオマッチングすると共に前記第１地点及び第２地点の地心座標系の位置に基づき３次元モデルを形成し、又前記撮像制御装置は、第１地点の複数の光スペクトル画像を合成して第１光スペクトル合成画像を作成し、又第２地点の複数の光スペクトル画像を合成して第２光スペクトル合成画像を作成し、第１光スペクトル合成画像、第２光スペクトル合成画像の少なくとも一方と、前記３次元モデルとを合成し、前記測定対象の３次元位置データと光スペクトル情報を有する４次元モデルを作成するので、上空からの４次元モデルが容易に取得可能となり、測定対象の任意の位置の３次元位置データと光スペクトル情報が簡単に得られる。

又本発明によれば、前記第１カメラは前記静止飛行状態で同位置動画像を取得し、前記撮像制御装置は、前記同位置動画像のフレーム画像に同期させ、前記第２カメラで光スペクトル画像を取得し、フレーム画像間で画像トラッキングを行い、時間的に連続する２つの光スペクトル画像に対応する２つのフレーム画像の画像マッチングを行い、該画像マッチングで得られた条件で前記２つの光スペクトル画像を合成し、前記フレーム画像の画像マッチングと光スペクトル画像の合成とを順次繰返し、前記静止飛行状態で取得した全ての光スペクトル画像を合成するので、飛行体が完全に静止していない状態で取得した複数の光スペクトル画像間にずれがあった場合も、前記フレーム画像の画像マッチングを介して光スペクトル画像間の位置合せ或はマッチングを行うことができ、精度の高い光スペクトル合成画像を作成することができる。

又本発明によれば、飛行体と、該飛行体に設けられたＧＰＳ装置と、前記飛行体の飛行を制御する制御装置と、該飛行体に搭載され、時系列に連続するフレーム画像で構成される動画像を取得する第１カメラと、前記第１カメラと既知の関係に設けられ、測定対象の光スペクトル画像を取得する第２カメラと、撮像制御装置とを具備し、前記飛行体は第１地点から第２地点に移動し、前記ＧＰＳ装置は、第１地点、第２地点の地心座標系の位置を測定し、前記第１カメラは第１地点の静止画像を取得すると共に第１地点から第２地点に移動中に動画像を取得し、更に第２地点の静止画像を取得し、前記第２カメラは第１地点から第２地点の移動途中に所定波長領域の光スペクトル画像を複数取得し、前記撮像制御装置は、第１地点の静止画像から複数の特徴点を抽出し、第１地点から第２地点に移動中の動画像により、動画像トラッキングを行い第２地点の静止画像に前記特徴点を特定し、該特徴点に基づき第１地点の静止画像と第２地点の静止画像とをステレオマッチングすると共に前記第１地点及び第２地点の地心座標系の位置に基づき３次元モデルを形成し、又前記撮像制御装置は、複数の光スペクトル画像を合成して光スペクトル合成画像を作成し、前記３次元モデルと前記光スペクトル合成画像とを合成し、前記測定対象の３次元位置データと光スペクトル情報を有する４次元モデルを作成するので、上空からの４次元モデルが容易に取得可能となり、測定対象の任意の位置の３次元位置データと光スペクトル情報が簡単に得られる。

又本発明によれば、前記撮像制御装置は、前記動画像のフレーム画像に同期させ、前記第２カメラで光スペクトル画像を取得し、フレーム画像間で画像トラッキングを行い、時間的に連続する２つの光スペクトル画像に対応する２つのフレーム画像の画像マッチングを行い、該画像マッチングで得られた条件で前記２つの光スペクトル画像を合成し、前記フレーム画像の画像マッチングと光スペクトル画像の合成とを順次繰返し、前記移動途中に取得した全ての光スペクトル画像を合成するので、飛行体が移動中に取得した複数の光スペクトル画像を、前記フレーム画像の画像マッチングを介して光スペクトル画像間の位置合せ或はマッチングを行うことができ、精度の高い光スペクトル合成画像を作成することができるという優れた効果を発揮する。

本発明に係る撮像装置が搭載された小型飛行体を示す概略図である。該撮像装置のカメラ部及び撮像制御装置の概略構成図である。飛行体が２地点で撮影した画像から飛行体の高度、測定点の座標の測定を行う写真測量の原理を示す説明図である。写真測量で、カメラが傾斜している場合の相互標定についての説明図である。本発明の実施例に用いられる透過型の干渉フィルタを有するスペクトルカメラの光学系を示す説明図であり、（Ａ）は絞り孔が光軸と一致した状態を示し、（Ｂ）は絞り孔が光軸と離反した状態を示している。入射角と透過するピーク波長の関係を示すグラフである。干渉フィルタへの入射角に対応する波長透過特性を示すグラフである。本発明の実施例に用いられる他のスペクトルカメラで、反射型の干渉フィルタを有する光学系を示す説明図であり、（Ａ）は絞り孔が光軸と一致した状態を示し、（Ｂ）は絞り孔が光軸と離反した状態を示している。本発明の実施例に用いられる更に他のスペクトルカメラで、反射型の干渉フィルタを有する光学系を示す説明図であり、（Ａ）は絞り孔が光軸と一致した状態を示し、（Ｂ）は絞り孔が光軸と離反した状態を示している。特性の異なる複数の干渉膜を備えた干渉フィルタを示す正面図である。本実施例に於いて、ハイパースペクトル画像を取得する状態を示す説明図である。ホバリング状態で画像を複数枚取得した場合の画像間の状態を示す説明図である。本発明の実施例の作用を示すフローチャートである。図１３中のＳＴＥＰ：０３及びＳＴＥＰ：０８の詳細を示すフローチャートである。本発明の第２の実施例の作用を示すフローチャートである。

以下、図面を参照しつつ本発明の実施例を説明する。

本発明の実施例に係る画像取得装置は、小型無人飛行体、例えば遠隔操作可能な小型ヘリコプタ或は自律飛行可能な小型ヘリコプタに搭載される。

図１は、本実施例に係る画像取得装置を搭載した小型飛行体１を示している。

図１中、２は地上に設置される基地制御装置であり、該基地制御装置２は、前記飛行体１とデータ通信可能であり、前記飛行体１の飛行の制御、飛行計画の設定、変更、前記飛行体１が収集した情報を保存、管理する。

前記飛行体１は、例えば自律飛行する小型飛行体としてのヘリコプタである。該ヘリコプタ１は前記基地制御装置２から遠隔操作で操縦され、或は前記基地制御装置２から前記ヘリコプタ１の制御装置（図示せず）に飛行計画が設定され、該制御装置が航行手段（後述）を制御し、飛行計画に従って、自律飛行する。又、制御装置は、航行手段を制御し、ヘリコプタ１を所定の速度、所定の高度での飛行に制御すると共に、所定位置でホバリング（静止飛行状態）に制御することが可能である。

前記ヘリコプタ１は、機体３、該機体３に設けられた所要数のプロペラ、例えば前後左右、計４組のプロペラ４，５，６，７を有し、該プロペラ４，５，６，７はそれぞれ個別にモータ（図示せず）に連結され、又該モータは独立して駆動が制御される様になっている。尚、前記プロペラ４，５，６，７及び前記モータ等は飛行体の航行手段を構成する。

前記機体３には、前記ヘリコプタ１の基準位置を測定するＧＰＳ装置９が設けられている。

前記ヘリコプタ１の機体３には、撮像装置１１が搭載されている。前記撮像装置１１は光軸１２を有し、該光軸１２は下方に延出し、前記撮像装置１１は前記ヘリコプタ１の下方を撮像する様になっている。

次に、図２により、前記撮像装置１１の概略構成を説明する。

該撮像装置１１は、カメラ部１３及び撮像制御装置２１を有し、該撮像制御装置２１は前記カメラ部１３が撮像した画像データ及び前記ＧＰＳ装置９からの位置情報に基づき測定対象物の写真測量を行い、或は前記画像データと前記カメラ部１３が取得した光スペクトルデータの合成等の処理を行う。

先ず、前記カメラ部１３について説明する。

該カメラ部１３は、第１カメラとして画像カメラ１４及び第２カメラとしてスペクトルカメラ１５を具備し、前記光軸１２はハーフミラー１６によって分割され、一方の光軸１２ａ上に前記画像カメラ１４が設けられ、他方の光軸１２ｂ上に前記スペクトルカメラ１５が設けられている。前記画像カメラ１４は、測定対象物のありのままの画像（リアル画像）を取得し、前記スペクトルカメラ１５は光スペクトル画像を取得する。

上記した様に、前記画像カメラ１４と前記スペクトルカメラ１５とは前記光軸１２を共有しており、前記画像カメラ１４と前記スペクトルカメラ１５とは既知の関係となっている。又、前記画像カメラ１４と前記スペクトルカメラ１５とを分離して設けてもよい。この場合も前記画像カメラ１４と前記スペクトルカメラ１５の光軸は平行に設定され、光軸間の距離は既知とされ、前記画像カメラ１４と前記スペクトルカメラ１５は既知の関係に設定される。

前記画像カメラ１４は測定個所の画像を撮像し、デジタルの画像データを出力するものであり、静止画像を所定時間間隔で撮像するカメラであってもよいし、或は画像を連続的に撮像するビデオカメラであってもよい。

又、前記画像カメラ１４は、撮像素子１４ａとして、画素（ピクセル）の集合体であるＣＣＤ、或はＣＭＯＳセンサを有しており、前記撮像素子１４ａの中心（受光面の座標中心）を前記光軸１２ａが垂直に通過する様に該光軸１２ａと前記撮像素子１４ａとの関係が設定されている。従って、前記撮像素子１４ａの各画素は撮像素子１４ａ上の位置（座標）が特定でき、更に各画素の画角（前記光軸１２に対する角度）が分る様になっている。

前記スペクトルカメラ１５は、前記画像カメラ１４と同様、撮像素子１５ａとして、画素（ピクセル）の集合体であるＣＣＤ、或はＣＭＯＳセンサを有しており、該撮像素子１５ａの中心（受光面の座標中心）を前記光軸１２ｂが垂直に通過する様に該光軸１２ｂと前記撮像素子１５ａとの関係が設定されている。従って、前記撮像素子１５ａの各画素は撮像素子１５ａ上の位置（座標）が特定でき、該撮像素子１５ａの各画素の画角（前記光軸１２に対する角度）が分る様になっている。更に、前記撮像素子１５ａの各画素と前記撮像素子１４ａの各画素とは、１：１に対応している。

前記撮像制御装置２１について説明する。

該撮像制御装置２１は、演算制御部（ＣＰＵ）２２、画像データ記録部２３、画像コントローラ２４、カメラ制御部２５、スペクトルカメラコントローラ２６、スペクトルデータ記憶部２７、画像合成部２８、画像処理部２９、特徴抽出部３１、マッチング部３２、測定部３３、モデル画像形成部３４、表示部３５、記憶部３６を具備している。

前記カメラ制御部２５は、前記画像カメラ１４、前記スペクトルカメラ１５を同期制御するものであり、前記画像コントローラ２４は前記カメラ制御部２５からの指令信号に基づき前記画像カメラ１４を駆動し、画像データ（リアル画像データ）を撮像し、取得した画像データは撮像時間に関連付けて前記画像データ記録部２３に格納される。

又、前記スペクトルカメラコントローラ２６は前記カメラ制御部２５からの指令に基づき前記スペクトルカメラ１５を駆動し、光スペクトル画像データを取得し、取得した光スペクトル画像データは時間に関連付けられて前記スペクトルデータ記憶部２７に格納される。

前記画像合成部２８は、前記画像データ記録部２３に格納された画像データと前記スペクトルデータ記憶部２７に格納された光スペクトル画像データとを合成し、１つの画像の全ピクセル（画素）に光スペクトル情報を有するハイパースペクトル画像を合成するものである。

前記画像処理部２９は前記特徴抽出部３１、前記マッチング部３２を具備し、１フレームの画像データから特徴点（パスポイント）を少なくとも５以上抽出し、時間的に異なる画像データ或は、異なる撮像位置から取得した画像データについて前記特徴点に基づき画像のトラッキング或はマッチングを行うものである。

尚、画像トラッキング、画像マッチングについては、ＳＳＤＡ法（ｓｅｑｕｅｎｔｉａｌｓｉｍｉｌａｒｉｔｙｄｅｔｅｃｔｉｏｎａｌｇｏｒｉｔｈｍ）、正規化相互相関法、最小２乗マッチング法等が用いられる。

前記測定部３３は、異なる撮像位置から前記画像カメラ１４で取得した２つの画像データに基づき写真測量を実行するものである。

前記モデル画像形成部３４は、前記ハイパースペクトル画像に前記測定部３３で測定した各画素の距離データを関連付け、２次元位置データ（平面座標データ）＋光スペクトルデータ＋高さデータの４次元のデータを有するモデル画像を形成する。

前記記憶部３６には、カメラ制御に必要なプログラム、画像データと光スペクトル画像データの合成に必要なプログラム、画像処理に必要なプログラム、測定に必要なプログラム、モデル画像を形成する為に必要なプログラム、前記表示部３５を制御する為のプログラム等の各種プログラムが格納されている。尚、前記記憶部３６の一部に前記画像データ記録部２３、前記画像コントローラ２４を形成してもよい。

次に、図３及び図４により、写真測量による距離測定について説明する。

図３に於いて、前記ヘリコプタ１はＯ1 地点からＯ2 地点へ飛行し、Ｏ1 地点とＯ2 地点で撮像したとする。又、Ｏ1 地点からＯ2 地点迄の距離Ｂは撮影基線長であり、４１-1，４１-2は、それぞれＯ1 地点、Ｏ2 地点での前記撮像装置１１の撮像素子４１を示し、画像データと同等である。尚、図３では、前記撮像装置１１の光軸１２は鉛直、即ち前記ヘリコプタ１は水平姿勢の場合を示している。

Ｏ1 地点で撮像した測定点Ｐの画像上（即ち撮像素子上）の位置は、ｐ1 （ｘ1 ，ｙ1 ）、Ｏ2 地点で撮像した測定点Ｐの画像上（即ち撮像素子上）の位置は、ｐ2 （ｘ2 ，ｙ2 ）となる。前記撮像装置１１の焦点距離ｆ、前記撮影基線長ＢからＰ迄の距離Ｚ（前記ヘリコプタ１の高さ距離）は、３角形Ｏ1 ，Ｏ2 ，Ｐと３角形Ｏ1 ，ｐ1 及び３角形Ｏ2 ，ｐ2 との相似関係から、Ｚ＝−Ｂｆ／（ｘ1 ＋ｘ2 ）となる。

ここで、前記Ｏ1 地点、Ｏ2 地点の地上座標は前記ＧＰＳ装置９によって測定でき、又前記撮影基線長Ｂは前記Ｏ1 地点とＯ2 地点の２点間の距離となり、前記ＧＰＳ装置９の測定結果に基づき前記撮影基線長Ｂを求めることができる。又、測定点Ｐの地心位置（平面座標）も、同様にｐ1 （ｘ1 ，ｙ1 ）及びｐ2 （ｘ2 ，ｙ2 ）と前記ＧＰＳ装置９で測定したＯ1 地点、Ｏ2 地点の地心位置から求めることができる。

従って、前記ヘリコプタ１が移動する過程で順次撮像した２つの画像から、ヘリコプタ１の高度（地表からの高さ）をリアルタイムで測定（高さ距離測定）することができる。

上記写真測量に於いて、ｐ1 （ｘ1 ，ｙ1 ）及びｐ2 （ｘ2 ，ｙ2 ）は、Ｏ1 地点で撮像した左画像４２と、Ｏ2 地点で撮像した右画像４３との共通の点に対応するものであり、パスポイントと呼ばれる。

前記左画像４２中のｐ1 点は、前記Ｏ1 地点で取得した左画像４２についてエッジ処理等の画像処理をすることで特徴点として求められる。尚、図４中では１つを示しているが、実際には多数の点が特徴点として抽出される。

又、前記ｐ1 点に対応する前記ｐ2 点を右画像４３中に特定する作業は、動画像トラッキングによって行う。尚、動画像は、時系列に連続するフレーム画像によって構成されている。

動画像トラッキングは、Ｏ1 地点からＯ2 地点に至る間中、動画像（フレーム画像）を取得し続け、１つのフレーム画像中に、前記ｐ1 点を含む所定範囲を検索範囲に設定する。時間的に隣接する次フレーム画像中の検索範囲中でｐ1 点と対応する点を検索し、更に特定する。次フレーム画像に対して所定範囲での検索と、特定を順次繰返し、最終的に右画像４３中に前記ｐ2 点を特定するものである。

尚、動画像トラッキングについては特許文献２に記載されている。

前記ヘリコプタ１は図示しない飛行制御部によって水平に制御されているが、風等の影響で、水平状態が崩れることがある。この為、Ｏ1 地点での前記撮像装置１１の姿勢と、Ｏ2 地点での撮像装置１１の姿勢とが異なる場合がある。図４は、Ｏ1 地点で撮像した際の撮像素子４１-1の状態とＯ2 地点で撮像した際の撮像素子４１-2の傾きの状態を示す模式図である。又、前記撮像素子４１-1で得られる左画像４２、前記撮像素子４１-2で得られる右画像４３も同様な状態となっている。

画像の傾きは、光軸１２の鉛直（Ｚ軸）を基準とすると、Ｚ軸を中心とする回転角κ、水平第１軸（Ｘ軸）を中心とした回転角ω、水平第２軸（Ｙ軸）を中心とした回転角φによって表され、Ｏ1 地点で撮像した画像とＯ2 地点で撮像した画像とをκ，ω，φを変数として相互標定することで、図中破線で示す状態（図３の状態）に変換することができる。又、相互標定することで、測定点Ｐの３次元座標が演算でき、更にＯ1 地点、Ｏ2 地点でのヘリコプタ１の高度を測定できる。

ここで、Ｏ1 地点、Ｏ2 地点での前記３軸の回転角は、図示しないジャイロユニットによって測定でき、Ｏ1 地点での画像中のｐ1 の座標（ｘ1 ，ｙ1 ）、Ｏ2 地点での画像中のｐ2 の座標（ｘ2 ，ｙ2 ）は、撮像素子４１の画素の位置から測定できる。従って、相互標定後の変換座標系でのｐ1 の座標を（Ｘ1 ，Ｙ1 ，Ｚ1 ）とし、相互標定後の変換座標系（モデル座標）でのｐ2 の座標を（Ｘ2 ，Ｙ2 ，Ｚ2 ）、撮像装置１１の焦点距離をｆとすれば、

変換座標系（モデル座標）でのｐ1 ，ｐ2 の座標は以下に表される。

Ｘ1 ＝ｘ1 ｃｏｓφ1 ・ｃｏｓκ1 −ｙ1 ｃｏｓφ1 ・ｓｉｎκ1 −ｆｓｉｎφ1
Ｙ1 ＝ｘ1 ｓｉｎκ1 −ｙ1 ｃｏｓκ1
Ｚ1 ＝−ｘ1 ｓｉｎφ1 ・ｃｏｓκ1 −ｙ1 ｓｉｎφ1 ・ｓｉｎκ1 −ｆｃｏｓφ1
Ｘ2 ＝ｘ2 ｃｏｓφ2 ・ｃｏｓκ2 −ｙ2 ｃｏｓφ2 ・ｓｉｎκ2 −ｆｓｉｎφ2 ＋１
Ｙ2 ＝ｘ2 （ｃｏｓω2 ｓｉｎκ2 ＋ｓｉｎω2 ・ｓｉｎφ2 ｃｏｓκ2 ）＋
ｙ2 （ｃｏｓω2 ｃｏｓκ2 −ｓｉｎω2 ・ｓｉｎφ2 ・ｓｉｎκ2 ）＋
ｆｓｉｎω2 ・ｃｏｓφ2
Ｚ2 ＝ｘ2 （ｓｉｎω2 ・ｓｉｎκ2 −ｃｏｓω2 ・ｓｉｎφ2 ・ｃｏｓκ2 ）＋
ｙ2 （ｓｉｎω2 ・ｃｏｓκ2 ＋ｃｏｓω2 ・ｓｉｎφ2 ・ｓｉｎκ2 ）−
ｆｃｏｓω2 ・ｃｏｓφ2

従って、得られたｐ1 の座標（Ｘ1 ，Ｙ1 ，Ｚ1 ）、ｐ2 の座標（Ｘ2 ，Ｙ2 ，Ｚ2 ）に基づき図３で示したと同様にして測定点Ｐの３次元座標を演算（絶対標定）することができる。

次に、本実施例で使用されるスペクトルカメラ１５の１例について、図５を参照して説明する。

図５は該スペクトルカメラ１５の光学系４５を示している。

図５中、４６は該光学系４５の光軸を示し、該光軸４６上に対物レンズ４７、第１リレーレンズ４８、第２リレーレンズ４９、第３リレーレンズ５０、結像レンズ５１、撮像素子５２が配設される。又、図５中、５３は前記対物レンズ４７によって結像された像を示し、又ｆは前記第２リレーレンズ４９の焦点距離を示している。尚、前記対物レンズ４７及び前記第１リレーレンズ４８は第１光学系を模式的に示しており、又前記第２リレーレンズ４９は第２光学系を模式的に示している。

前記第１リレーレンズ４８の前記第２リレーレンズ４９側に光束選択部材である絞り５５が配設される。該絞り５５は、図中紙面に対して垂直な方向に延びるスリット状の絞り孔５５ａを有している。又、該絞り５５は前記第２リレーレンズ４９の物側焦点位置又は略物側焦点位置に配設され、該絞り５５は前記光軸４６に対して垂直な方向（前記絞り孔５５ａと直交する方向）に移動可能に支持され、前記絞り５５はリニアモータ等の適宜な位置変位手段により位置が変更される様になっている。

ここで、前記絞り５５、前記第２リレーレンズ４９はテレセントリック光学系５６を構成する。前記第１リレーレンズ４８を透過した光束は、前記テレセントリック光学系５６によって平行な多数の光束（主光線５７）に分割される。

該主光線５７の集光位置（前記第２リレーレンズ４９による結像位置、或は略結像位置）に透過型の干渉膜が形成された干渉フィルタ５８が配設される。該干渉フィルタ５８は波長選択フィルタとして機能し、前記干渉フィルタ５８を通過した特定波長の光線が前記第３リレーレンズ５０及び前記結像レンズ５１によって前記撮像素子５２上に結像される。結像された像は、特定波長に形成され２次元の像となる。

前記干渉フィルタ５８は、該干渉フィルタ５８に入射する光線の入射角によって波長選択特性が変化する性質を有する。図６は、入射角と透過するピーク波長の関係（ピーク波長の入射角依存性）を示しており、入射角を変化させることでピーク波長が変化していることが分る。

又、図５（Ａ）は、前記絞り５５の前記絞り孔５５ａが前記光軸４６上に位置しており、この場合前記主光線５７は前記光軸４６と平行となる。次に、図５（Ｂ）に示す様に前記絞り５５を移動させた場合、例えば図示の様に、上方に移動させると、前記主光線５７は前記光軸４６に対して傾斜する。即ち、前記干渉フィルタ５８に対する入射角が変化する。従って、前記絞り５５を移動させることで前記干渉フィルタ５８を透過する波長を変化させることが可能となる。

例えば、図６を参照すれば、前記干渉フィルタ５８に対する入射角を０゜〜５０゜に変化させると、透過する波長のピークは６００ｎｍ〜５２０ｎｍに変化する。即ち、前記干渉フィルタ５８は、６００ｎｍ〜５２０ｎｍの波長選択範囲Ｗを有することになる。図７は、前記干渉フィルタ５８への入射角に対応する波長透過特性を示している。

次に、図５では、前記干渉フィルタ５８を前記光軸４６に対して傾斜させているが、図６に示される様に入射角依存性は入射角が１０゜を超えた辺りからリニアとなる。従って、予め前記干渉フィルタ５８を傾斜させておくことで、前記絞り５５の変位に対する選択波長の変化が効果的に得られる。

従って、前記絞り５５を変位させる度に、前記撮像素子５２より画像を取得することで、図６の波長透過特性を有する干渉フィルタ５８を使用すれば、６００ｎｍ〜５２０ｎｍの波長範囲での光スペクトルを取得することができる。又、６００ｎｍ〜５２０ｎｍを超える波長範囲での光スペクトルを取得する場合は、異なる波長選択範囲Ｗ′を有する干渉フィルタに交換すればよい。

図７は、前記干渉フィルタ５８の角度を０°，１０°，２０°，３０°，４０°と変化させた場合に得られる光スペクトルの一例を示している。

図８は、図５で示した光学系４５の変更例を示している。

図５で示した前記光学系４５では、透過式の干渉フィルタ５８を用いたが、図８で示される様に、反射式の干渉フィルタ５８′を用いて光学系４５′を構成することもできる。前記干渉フィルタ５８′は反射鏡に反射型の干渉膜を形成したものである。前記光学系４５′では前記干渉フィルタ５８′が光を反射することで波長が選択される。

尚、図８中、図５中で示したものと同等のものには同符号を付してあり、その説明を省略する。

上記変更例でも、図８（Ｂ）に示される様に、前記絞り５５を移動させることで、前記干渉フィルタ５８′への主光線５７の入射角が変化し、所定の波長選択範囲Ｗ内での特定波長が選択反射される。

前記干渉フィルタとして反射型のフィルタ５８′を用いることで、光学系４５′をコンパクトにすることができる。

図９、図１０は更に他の変更例を示している。

図９、図１０で示す変更例は、図８で示した光学系４５′と同等の構成であり、反射式の干渉フィルタ６２を用いている。

該干渉フィルタ６２は、図１０で示す様に形状が円板であり、回転軸５９を介して回転可能に支持されている。該干渉フィルタ６２は反射面が円周方向に所要角度に等分（図示では６等分）されている。反射面が分割されることで所要数（図示では６）の分割反射面６３ａ〜６３ｆが形成され、各分割反射面６３ａ〜６３ｆ毎に波長選択特性の異なる反射干渉膜が形成されている。

例えば、分割反射面６３ａには選択波長λ１が４００ｎｍ〜４５０ｎｍ、分割反射面６３ｂには選択波長λ２が４５０ｎｍ〜５２５ｎｍ、分割反射面６３ｃには選択波長λ３が５２５ｎｍ〜６５０ｎｍ、分割反射面６３ｄには選択波長λ４が６５０ｎｍ〜７５０ｎｍ、分割反射面６３ｅには選択波長λ５が７５０ｎｍ〜８７０ｎｍ、分割反射面６３ｆには選択波長λ６が８７０ｎｍ〜９５０ｎｍの反射干渉膜がそれぞれ形成される。

光軸４６上に対物レンズ４７、第１リレーレンズ４８、絞り５５が配置され、前記光軸４６と平行で所定量離反した光軸上に第２リレーレンズ４９が配設され、該第２リレーレンズ４９に対向して前記干渉フィルタ６２が設けられている。該干渉フィルタ６２で反射された光束は、反射鏡６４によって偏向され、偏向された光束は結像レンズ５１を経て撮像素子５２に結像される。図１０中、５７ａが前記主光線５７の結像を示す。

該他の変更例では、第１リレーレンズ４８、絞り５５が前記第２リレーレンズ４９の光軸４６とはずれた位置にあるので、テレセントリック光学系５６によって分割された主光線５７は前記干渉フィルタ６２に傾斜して入射する。更に、図９（Ｂ）に示される様に、前記絞り５５を前記光軸４６より離反する様に移動させれば、前記主光線５７の入射角は更に大きくなる。従って、前記絞り５５を移動させることで選択波長を変更することができる。

更に、得たい光スペクトルが、４００ｎｍ〜９５０ｎｍに及ぶ時は、前記分割反射面６３ａから前記分割反射面６３ｆ迄、順次分割反射面を切替え、切替えられた分割反射面６３毎に前記絞り５５を移動させ、該絞り５５の移動位置毎の波長で画像を取得する。又、前記分割反射面６３ａ〜６３ｆの切替えと、前記絞り５５の移動は同期して行われ、前記分割反射面６３の切替えが行われる毎に、スリット孔が前記光軸４６の位置から最も離反する位置（基準位置）に復帰し、更に所定量毎に前記絞り５５が移動される。

而して、前記干渉フィルタ６２の回転と前記絞り５５の移動の協動により、４００ｎｍ〜９５０ｎｍ迄の範囲で波長が選択され、選択した波長毎に前記撮像素子５２で画像が取得され、４００ｎｍ〜９５０ｎｍの全域での光スペクトルを取得することができる。

尚、得たい光スペクトルの波長範囲が限られている場合は、該当する波長選択特性を有する分割反射面を選択して光スペクトルを取得すればよい。

尚、上記干渉フィルタ６２は円板とし、回転可能としたが、長矩形形状とし、干渉フィルタ６２を長手方向に分割して、分割反射面を形成し、前記干渉フィルタ６２を長手方向にスライドさせ、分割反射面の切替えを行ってもよい。

又、上記図５に示した実施例に於いて、透過型の干渉フィルタ５８の円板を所定等分し、分割部分に異なる波長特性を有する干渉膜を形成し、図９、図１０で示す変更例と同様に、前記干渉フィルタ５８を回転させて、それぞれの分割部分で光スペクトル画像を取得する様にしてもよい。

以下、本実施例に於ける作動を図１１を参照して説明する。尚、以下の説明は、スペクトルカメラ１５として、図５で示した光学系４５、或は図８、図９で示した光学系４５′で、更に干渉フィルタが分割され、而も分割された部位が異なる透過特性を有する場合を説明する。

上記した様に、本実施例では、リアル画像と光スペクトル画像を取得する。

前記画像カメラ１４によりＯ1 地点で静止画像（左画像４２）を取得し、又前記ＧＰＳ装置９でＯ1 地点の位置の測定が行われる。取得された静止画像は前記画像データ記録部２３に格納され、更にＯ1 地点での静止画像から前記画像処理部２９により特徴点が少なくとも５以上(好ましくは多数)抽出される。Ｏ1 地点からＯ2 地点に移動する際には前記特徴点について動画像によるトラッキングを行う。更に、前記画像カメラ１４によりＯ2 地点で静止画像（右画像４３）を取得する。前記ＧＰＳ装置９により、Ｏ2 地点の位置測定が行われる。前記画像処理部２９により、Ｏ2 地点での静止画像中に前記特徴点を少なくとも５つ特定し、該特徴点に基づきＯ1 地点での静止画像とＯ2 地点での静止画像についてマッチングを行う。更に前記測定部３３により、Ｏ1 地点で取得した静止画像と、Ｏ2 地点で取得した静止画像により、写真測量を行う。

又Ｏ1 地点、Ｏ2 地点で静止画像を取得すると同時に、前記スペクトルカメラ１５により光スペクトル画像を取得する。

光スペクトル画像を取得する為には、前記ヘリコプタ１を静止させ（ホバリング）、前記絞り５５の位置を順次変更し、前記干渉フィルタ５８が選択する波長を変更し、選択された波長毎に画像を取得する。光スペクトル画像の取得は、予め設定した波長の範囲で実行される。

設定された波長の範囲（λ１〜λｎ）が、１つの干渉膜で前記主光線５７の入射角を変更して得られる波長の範囲を超える場合は、前記干渉フィルタ５８を回転させ、前記主光線５７が入射する部位の波長特性を変更し、更に前記絞り５５の移動で得られる波長範囲の光スペクトルを取得する。

上記の如くして取得された光スペクトル画像は、前記スペクトルデータ記憶部２７に格納される。

Ｏ1 地点及びＯ2 地点について格納された光スペクトル画像をそれぞれ合成することで、Ｏ1 地点及びＯ2 地点での所定波長範囲（λ１〜λｎ）の光スペクトル画像を含む光スペクトル合成画像が合成される。更に、合成されたＯ1 地点の光スペクトル合成画像とＯ1 地点の前記静止画像とを合成することでＯ1 地点で取得したハイパースペクトル画像が合成され、更に合成されたＯ2 地点の光スペクトル合成画像とＯ2 地点の前記静止画像とを合成することでＯ2 地点で取得したハイパースペクトル画像が合成される。

更に、前記特徴点に基づきＯ1 地点での静止画像とＯ2 地点での静止画像について画像マッチング（ステレオマッチング）を行い、更に写真測量の結果を静止画像に関連付けることで、３次元位置データを有する画像（３Ｄモデル画像）を作成でき、更に前記Ｏ1 地点の光スペクトル合成画像、Ｏ2 地点の光スペクトル合成画像の少なくとも一方を前記３Ｄモデル画像に関連付ける。

上記した様に、静止画像と光スペクトル画像は１：１で対応しているので、静止画像中に一点を指定すれば、光スペクトル合成画像から直ちに指定した点の光スペクトルが得られ、更に３Ｄモデル画像から３次元位置データを得ることができる。

而して、Ｏ1 地点及びＯ2 地点でのハイパースペクトル画像が取得できると共に、光スペクトル情報を有する３Ｄモデル画像、即ち４Ｄモデル画像を取得することができる。

従って、作物の発育状態を光スペクトルから、或は作物の３次元データから大きさを認識することが可能である。或は、地表の状態を露出した物質の種類の情報も合わせて取得することができる。

次に、前記ヘリコプタ１をホバリングさせ、光スペクトル画像を取得している状態では、常に姿勢が変動しており、完全に静止しているとは言えない。従って、各波長毎に取得した画像には、多少のズレがある。この為、前記スペクトルデータ記憶部２７に格納された光スペクトル画像をそのまま合成すると、誤差が生じ、或はぼやける等の問題が生じる。

図１２は、ホバリング状態で、選択した波長がλ１，λ２，λ３，λ４の光スペクトル画像を取得している状態を示しており、図１２（Ａ）のＳ１は、ホバリング状態で撮像装置１１が完全に静止している状態、Ｓ２は撮像装置１１が変動している状態を示している。又図１２（Ｂ）は、前記撮像装置１１が変動している状態で取得したλ１，λ２，λ３，λ４の光スペクトル画像を、時間的な経過に合わせて展開した図である。尚、図中、黒丸は抽出した特徴点である。図１２（Ａ）、図１２（Ｂ）から分る様に、画像をそのまま合成すると、各画像間で特徴点は合致せず、誤差が生じ、或はぼやけることが分る。

従って、ホバリング状態で各波長毎に取得した光スペクトル画像を合成できる様にマッチング（相対的な位置合せ）する必要がある。

前記スペクトルカメラ１５により、光スペクトル画像を撮像中も、前記スペクトルカメラ１５と同期させて前記画像カメラ１４によりリアル画像が所定時間間隔で（或は連続画像で）取得され、画像トラッキングが行われる。

各フレーム画像毎に特徴点が抽出され、時間的に隣接するフレーム画像について特徴点についての画像トラッキングが順次行われ、時間的に先行するフレーム画像（以下第１フレーム画像）で得られた特徴点が後のフレーム画像（以下第２フレーム画像）中に特定される。

特徴点に基づき前フレーム画像と次フレーム画像を位置合せし、その位置合せで得られた条件に基づき前フレーム画像に対応する前記光スペクトル画像と次フレーム画像に対応する次光スペクトル画像との位置合せ（マッチング）を行うことができる。

又、光スペクトル画像が所定フレーム画像枚数毎に取得される場合は、フレーム画像に関しては連続して画像トラッキングが実行される。

画像トラッキングにより、時間的に先行する光スペクトル画像（以下第１光スペクトル画像）に対応する第１フレーム画像に対して特徴点が特定され、更に時間的に隣接する光スペクトル画像（第２光スペクトル画像）に対応する第２フレーム画像に対しても特徴点が特定される。

第１フレーム画像と第２フレーム画像間で時間の経過があり、両フレーム画像間で光軸の傾き等が生じた場合は、両フレーム画像間で特徴点に基づき座標変換が実行され、画像マッチングが行われる。

上記した様に、前記画像カメラ１４で取得したリアル画像と、該リアル画像と同期して取得した光スペクトル画像とは、１：１で対応しているので、第１フレーム画像と第２フレーム画像との座標変換で得られた条件は、そのまま第１光スペクトル画像と第２光スペクトル画像のマッチングに適用することができる。

而して、リアル画像のマッチングと並行して光スペクトル画像のマッチング（合成）を行うことで、誤差のない光スペクトル画像の合成を行うことができる。

この光スペクトル画像の合成を、ホバリング状態で取得する光スペクトル画像全てについて順次実行することで、静止状態と同様な光スペクトル合成画像を取得することができる。

上記した写真測量、光スペクトル画像、ハイパースペクトル画像の取得合成等について、図１３、図１４を参照して更に説明する。

ＳＴＥＰ：０１前記ヘリコプタ１をＯ1 地点でホバリングを開始し、該Ｏ1 地点で前記画像カメラ１４により左画像４２を取得する。又、前記ＧＰＳ装置９によるヘリコプタ１の位置（即ちＯ1 地点）の測定が行われる。

ＳＴＥＰ：０２取得した左画像４２をエッジ処理する等して特徴点を抽出する。

ＳＴＥＰ：０３前記画像カメラ１４で動画像を取得しつつ、該画像カメラ１４と同期させて前記スペクトルカメラ１５により光スペクトル画像を取得する。又、光スペクトル画像を取得することと並行して動画像による同位置での画像トラッキング（以下、同位置トラッキング）が実行され、動画像トラッキングの結果に基づき各光スペクトル画像間での画像位置補正が実行される。

Ｏ1 地点での光スペクトル画像の取得、画像位置補正について、ＳＴＥＰ：２１〜ＳＴＥＰ：２５により説明する。

ＳＴＥＰ：２１、ＳＴＥＰ：２２１所定波長領域（λ１〜λｎ）の光スペクトル画像が、各波長毎に所定の時間間隔で取得される。取得された光スペクトル画像は時系列に前記スペクトルデータ記憶部２７に格納される。又、光スペクトル画像の取得と並行して動画像（前記画像カメラ１４により取得されるリアル画像）が取得される（ＳＴＥＰ：２２２）。光スペクトル画像が取得される時間間隔も前記動画像は取得され続けており、動画像を構成するフレーム画像間で画像トラッキングが実行される。

ＳＴＥＰ：２２３、ＳＴＥＰ：２２４画像トラッキング（同位置トラッキング）は、光スペクトル画像（λ１）の取得と時間的に同期しているフレーム画像（第１フレーム画像）から特徴点を抽出し、時間的に隣接する次フレーム画像に特徴点を画像トラッキングにより特定する。画像トラッキングは継続して実行され、時間的に隣接する次の光スペクトル画像（λ２）と同期したフレーム画像（第２フレーム画像）に特徴点を特定する。

ＳＴＥＰ：２３得られた第１フレーム画像の特徴点と第２フレーム画像の特徴点とに基づき第１フレーム画像と第２フレーム画像間のマッチング、第１フレーム画像と第２フレーム画像との間の座標変換が実行される。

前記画像カメラ１４と前記スペクトルカメラ１５とは同軸で画像を取得しており、フレーム画像の各画素と前記光スペクトル画像の各画素とは１：１で対応しており、前記フレーム画像をマッチングした条件、座標変換の条件は時間的に隣接する前記光スペクトル画像にも適用することができる。

ＳＴＥＰ：２４全ての波長の光スペクトル画像が取得されているかどうかが判断され、取得されていない場合は、ＳＴＥＰ：２２１、ＳＴＥＰ：２２２に戻り引続き光スペクトル画像の取得、同位置トラッキングが行われる。

ＳＴＥＰ：２５所定波長領域（λ１〜λｎ）の全ての波長についての光スペクトル画像が取得されると、全ての光スペクトル画像を動画像トラッキングで得た条件で合成することでＯ1 地点での所定波長領域（λ１〜λｎ）の光スペクトルを有する光スペクトル合成画像を取得することができる。更に、光スペクトル合成画像と前記静止画像とを合成することでハイパースペクトル画像を取得することができる。

ＳＴＥＰ：０４〜ＳＴＥＰ：０６Ｏ1 地点での前記静止画像とハイパースペクトル画像が取得されると、前記ヘリコプタ１がＯ2 地点に移動する。移動中、前記画像カメラ１４により動画像が取得され、画像トラッキング（移動トラッキング）が実行される。移動トラッキングは前記左画像４２で抽出した特徴点に基づき実行しても、或はホバリング状態で同位置トラッキングで最終的に得られる特徴点を用いて移動中の画像トラッキングを行ってもよい。

ＳＴＥＰ：０７前記ヘリコプタ１がＯ2 地点に到達すると、移動トラッキングが終了される。ホバリングが開始され、右画像４３が取得される。

ＳＴＥＰ：０８ホバリング状態で、前記画像カメラ１４で動画像を取得しつつ、該画像カメラ１４と同期させて前記スペクトルカメラ１５により光スペクトル画像を取得する。又、光スペクトル画像を取得することと並行して動画像による同位置での画像トラッキング（以下、同位置トラッキング）が実行され、動画像トラッキングの結果に基づき各光スペクトル画像間での画像位置補正が実行される。

前記ＳＴＥＰ：２１〜ＳＴＥＰ：２５が実行され、Ｏ2 地点で所定波長領域（λ１〜λｎ）の全ての波長についての光スペクトル画像が取得され、得られた全ての光スペクトル画像を合成してＯ2 地点での所定波長領域（λ１〜λｎ）の光スペクトルを有する光スペクトル合成画像が取得され、更に、光スペクトル合成画像と前記右画像４３とを合成することでハイパースペクトル画像が取得される。

ＳＴＥＰ：０９、ＳＴＥＰ：１０、ＳＴＥＰ：１１前記右画像４３中に特定された特徴点と、前記左画像４２中に特定された特徴点とに基づき、マッチングが行われ、又左画像４２又は右画像４３のいずれかを基準とする座標変換（相互標定）が行われ、更にＧＰＳ装置９の地心座標への座標変換（絶対標定）が行われる。

ＳＴＥＰ：１２、ＳＴＥＰ：１３絶対標定の結果を基に左画像４２と右画像４３とのステレオマッチングが行われ、３次元位置データを有する地形の３Ｄモデルが得られる。

ＳＴＥＰ：１４上記した様に、光スペクトル画像と静止画像とは１：１に対応しているので、光スペクトルが得られる位置での３次元位置データが得られ、光スペクトル画像と前記３Ｄモデルとを合成することで、地形の３次元位置データと光スペクトル情報を有する４次元モデルが作成できる。

次に、図１５を参照して第２の実施例を説明する。

尚、第２の実施例に於いて、図１に示されたヘリコプタ１に図２に示された撮像装置１１が搭載された構成は、第１の実施例と同様とし、説明の詳細を省略する。

第２の実施例ではＯ1 地点、Ｏ2 地点でホバリングすることなく、画像カメラ１４によりＯ1 地点、Ｏ2 地点でそれぞれ左画像４２、右画像４３の静止画像を取得し、更にＯ1 地点からＯ2 地点に連続して移動する過程で、スペクトルカメラ１５による光スペクトル画像を取得する。尚、前記ヘリコプタ１の飛行速度は、時間的に前後する光スペクトル画像間で大きなずれが発生しない程度とする。

ＳＴＥＰ：３１〜ＳＴＥＰ：３８Ｏ1 地点で左画像４２を取得する。該左画像４２をエッジ処理する等して特徴点を少なくとも５以上抽出する。更に、前記画像カメラ１４により連続して動画像が取得され、動画像を構成するフレーム画像中に前記特徴点が特定される。更に、動画像の取得に同期して、各フレーム画像に同期し、或は複数間隔で取得したフレーム画像に同期し、前記スペクトルカメラ１５による光スペクトル画像が取得される。

時間的に隣接するフレーム画像間で特徴点に基づき画像マッチングが実行され、該画像マッチングの結果に基づき前記フレーム画像に対応する光スペクトル画像のマッチングが行われる。

而して、順次取得される光スペクトル画像が、該光スペクトル画像と並行して取得される動画像のマッチング結果に基づき順次マッチングが実行される。Ｏ1 地点からＯ2 地点に到達する迄に波長λ１〜λｎ迄の予定した波長領域について光スペクトル画像を取得する。尚、光スペクトル画像の合成については、第１の実施例ＳＴＥＰ：２１〜ＳＴＥＰ：２５と同様に実行する。

Ｏ2 地点に到達すると、前記画像カメラ１４により右画像４３を取得し、該右画像４３中に前記左画像４２で抽出した特徴点を特定する。尚、前記右画像４３中に特徴点を特定する方法は、移動中に画像トラッキングでフレーム画像間で順次トラッキングしていた結果を反映する様にさせればよい。

ＳＴＥＰ：３９、ＳＴＥＰ：４０、ＳＴＥＰ：４１前記右画像４３中に特定された特徴点と、前記左画像４２中に特定された特徴点とに基づき、マッチングが行われ、又左画像４２又は右画像４３のいずれかを基準とする相互標定が行われ、更にＧＰＳ装置９の地心座標への絶対標定が行われる。

ＳＴＥＰ：４２、ＳＴＥＰ：４３絶対標定の結果を基に左画像４２と右画像４３とのステレオマッチングが行われ、３次元位置データを有する地形の３Ｄモデルが得られる。

ＳＴＥＰ：４４更に、光スペクトル画像と前記３Ｄモデルとを合成することで、地形の３次元位置データと光スペクトル情報を有する４次元モデルが作成できる。

上記した様に、第２の実施例では、ホバリング工程を省略すると共にホバリング工程で取得していた光スペクトル画像を前記ヘリコプタ１の移動中に取得する様にしたものである。

上記した実施例では、スペクトルカメラ１５として干渉フィルタにより選択した特定波長毎に２次元画像を取得し、波長の選択範囲を所望の波長領域とすることで所望の波長領域の光スペクトル画像を取得したが、他のスペクトルカメラを採用することも可能である。他のスペクトルカメラとしてカメラ視野を横断するラインの画像を取得し、取得したラインの画像を回折格子で光スペクトルに分解して画像を取得し、前記ラインをカメラ視野全体に走査することで、光スペクトル画像を取得するものとしてもよい。

１ヘリコプタ
２基地制御装置
３機体
９ＧＰＳ装置
１１撮像装置
１２光軸
１３カメラ部
１４画像カメラ
１５スペクトルカメラ
１６ハーフミラー
２１撮像制御装置
２２演算制御部
２８画像合成部
２９画像処理部
３３測定部
３４モデル画像形成部
３５表示部
３６記憶部
４５光学系
４７対物レンズ
４８第１リレーレンズ
４９第２リレーレンズ
５０第３リレーレンズ
５１結像レンズ
５２撮像素子
５５絞り
５６テレセントリック光学系
５７主光線
５８干渉フィルタ
６２干渉フィルタ
６３分割反射面
６４反射鏡

Claims

時系列に連続するフレーム画像で構成される動画像を取得する第１カメラと、該第１カメラと既知の関係にあり、測定対象の光スペクトル画像を複数取得する第２カメラと、撮像制御装置とを具備し、該撮像制御装置は、１つの前記フレーム画像から複数の特徴点を抽出し、該特徴点を時系列に連続するフレーム画像中に順次特定し、前記複数の光スペクトル画像と対応するフレーム画像について前記特徴点に基づきフレーム画像間の画像マッチングを行い、該画像マッチングで得られた条件に基づき前記複数の光スペクトル画像を合成する様構成したことを特徴とする画像取得装置。
前記フレーム画像と前記光スペクトル画像とが同期して取得され、各フレーム画像の特徴点のフレーム画像上の位置に基づいて各光スペクトル画像の相対的な位置合わせを行う請求項１の画像取得装置。
前記第１カメラの動画像の第１フレーム画像から少なくとも５点の特徴点が抽出され、該少なくとも５点の特徴点が画像トラッキングにより第ｎフレーム画像中に特定され、両画像の特徴点に基づきステレオマッチングが行われ、前記測定対象の３次元モデルを形成する請求項１の画像取得装置。
前記３次元モデルに前記合成した光スペクトル画像の波長成分の情報を重合する請求項３の画像取得装置。
前記第２カメラが取得する光スペクトル画像は、所定の波長領域に関する２次元画像として取得される請求項１の画像取得装置。
飛行体と、該飛行体に設けられたＧＰＳ装置と、該飛行体の飛行を制御する制御装置と、該飛行体に搭載され、時系列に連続するフレーム画像で構成される動画像を取得する第１カメラと、該第１カメラと既知の関係に設けられ、測定対象の光スペクトル画像を取得する第２カメラと、撮像制御装置とを具備し、前記飛行体は第１地点で静止飛行を行い、静止飛行後第２地点に移動し、該第２地点で静止飛行を行い、前記ＧＰＳ装置は、第１地点、第２地点の地心座標系の位置を測定し、前記第１カメラは第１地点の静止画像を取得すると共に第１地点から第２地点に移動中に動画像を取得し、更に第２地点の静止画像を取得し、前記第２カメラは第１地点の静止飛行中に所定波長領域の光スペクトル画像を複数取得すると共に第２地点の静止飛行中に所定波長領域の光スペクトル画像を複数取得し、前記撮像制御装置は、第１地点の静止画像から複数の特徴点を抽出し、第１地点から第２地点に移動中の動画像により、動画像トラッキングを行い第２地点の静止画像に前記特徴点を特定し、特徴点に基づき第１地点の静止画像と第２地点の静止画像とをステレオマッチングすると共に前記第１地点及び第２地点の地心座標系の位置に基づき３次元モデルを形成し、又前記撮像制御装置は、第１地点の複数の光スペクトル画像を合成して第１光スペクトル合成画像を作成し、又第２地点の複数の光スペクトル画像を合成して第２光スペクトル合成画像を作成し、第１光スペクトル合成画像、第２光スペクトル合成画像の少なくとも一方と、前記３次元モデルとを合成し、前記測定対象の３次元位置データと光スペクトル情報を有する４次元モデルを作成することを特徴とする画像取得装置。
前記第１カメラは前記静止飛行状態で同位置動画像を取得し、前記撮像制御装置は、前記同位置動画像のフレーム画像に同期させ、前記第２カメラで光スペクトル画像を取得し、フレーム画像間で画像トラッキングを行い、時間的に連続する２つの光スペクトル画像に対応する２つのフレーム画像の画像マッチングを行い、該画像マッチングで得られた条件で前記２つの光スペクトル画像を合成し、前記フレーム画像の画像マッチングと光スペクトル画像の合成とを順次繰返し、前記静止飛行状態で取得した全ての光スペクトル画像を合成する請求項６の画像取得装置。
飛行体と、該飛行体に設けられたＧＰＳ装置と、前記飛行体の飛行を制御する制御装置と、該飛行体に搭載され、時系列に連続するフレーム画像で構成される動画像を取得する第１カメラと、前記第１カメラと既知の関係に設けられ、測定対象の光スペクトル画像を取得する第２カメラと、撮像制御装置とを具備し、前記飛行体は第１地点から第２地点に移動し、前記ＧＰＳ装置は、第１地点、第２地点の地心座標系の位置を測定し、前記第１カメラは第１地点の静止画像を取得すると共に第１地点から第２地点に移動中に動画像を取得し、更に第２地点の静止画像を取得し、前記第２カメラは第１地点から第２地点の移動途中に所定波長領域の光スペクトル画像を複数取得し、前記撮像制御装置は、第１地点の静止画像から複数の特徴点を抽出し、第１地点から第２地点に移動中の動画像により、動画像トラッキングを行い第２地点の静止画像に前記特徴点を特定し、該特徴点に基づき第１地点の静止画像と第２地点の静止画像とをステレオマッチングすると共に前記第１地点及び第２地点の地心座標系の位置に基づき３次元モデルを形成し、又前記撮像制御装置は、複数の光スペクトル画像を合成して光スペクトル合成画像を作成し、前記３次元モデルと前記光スペクトル合成画像とを合成し、前記測定対象の３次元位置データと光スペクトル情報を有する４次元モデルを作成することを特徴とする画像取得装置。
前記撮像制御装置は、前記動画像のフレーム画像に同期させ、前記第２カメラで光スペクトル画像を取得し、フレーム画像間で画像トラッキングを行い、時間的に連続する２つの光スペクトル画像に対応する２つのフレーム画像の画像マッチングを行い、該画像マッチングで得られた条件で前記２つの光スペクトル画像を合成し、前記フレーム画像の画像マッチングと光スペクトル画像の合成とを順次繰返し、前記移動途中に取得した全ての光スペクトル画像を合成する請求項８の画像取得装置。