JP6041535B2 - 画像取得方法及び撮影装置 - Google Patents

Description

本発明は、写真測量により３Ｄモデルを作製する場合の画像取得方法及び撮影装置に関するものである。

一般に、写真測量で３Ｄモデルを作製する場合、測定対象を撮像した２つの撮像画像を標定し、その後３次元測定する。従って、写真測量に用いられる２つの撮像画像は標定できる様に所定のオーバラップ量が必要である。

カメラを携帯し、移動しながら測定対象物を撮影する場合、撮影者がファインダで撮像画像を確認しつつ測定対象物を撮影している。又、撮影した撮影画像で写真測量を行う為には２撮像地点間の距離も必要であり、実際の撮影では、撮影する２地点を設定し、各地点で測定対象物を所定のオーバラップ量となる様に撮影している。

一方、両地点でカメラを携帯した状態で撮影した場合、カメラの光軸は不安定であり、光軸の方向、光軸の傾き（ピッチ、ヨー）、光軸の捻転（ロール）等が未知数となる。この為、両画像を標定するには適正なオーバラップ量が必要となるが、適正なオーバラップ量とするのは撮影者の勘に頼る他なく、而も適正であるかどうかは、撮像した画像を標定する迄確認できないものであった。

この為、携帯用のカメラによる写真測量は、熟練を要すると共に能率のよい作業ではなかった。

特開２００６−１０３７６号公報

本発明は斯かる実情に鑑み、携帯用のカメラを用いて、簡便に３Ｄモデルの作製を可能とするものである。

本発明は、測定対象物の動画像を撮影しつつ移動し、取得した第１画像について特徴点を抽出し、該特徴点について画像トラッキングを行い、最新の第２画像に前記特徴点を特定し、該特徴点から標定点を選定し、該標定点に基づき前記第１画像と前記第２画像との相互標定を実行し、得られる前記測定対象物迄の距離Ｈと前記第１画像と前記第２画像を撮影した撮影地点間の距離ＢとのＢ／Ｈが所定値以上となった時点で順次静止画像取得可能のガイダンス表示を行う画像取得方法に係るものである。

又本発明は、前記測定対象物の撮像状態をリアルタイムで表示部に表示し、前記Ｂ／Ｈが所定値以上となった時点で、前記標定点を色分け表示し、或は標定点を点滅表示する画像取得方法に係るものである。

又本発明は、前記測定対象物の撮像状態をリアルタイムで表示部に表示し、前記Ｂ／Ｈが所定値以上となった時点で、順次静止画像を取得する画像取得方法に係るものである。

又本発明は、測定対象物の動画像と静止画像とを取得可能な撮像部と、動画像の取得と静止画像の取得を制御する撮像制御部と、少なくともピッチ角を検出する角度センサと、第１静止画像から特徴点を抽出し、動画像について前記特徴点のトラッキングを行い最新の画像中に前記特徴点を特定すると共に前記第１静止画像と前記最新の画像とに共通の標定点を選定する画像処理部と、記憶部と、動画像、静止画像を表示する表示部と、演算部とを具備し、前記撮像制御部は前記第１静止画像を取得後動画像を撮像し、前記演算部は、前記標定点と前記角度センサの検出結果に基づき前記第１静止画像と前記最新の画像間で相互標定を行い、前記測定対象物迄の距離Ｈと前記第１静止画像と第２静止画像を撮影した撮影地点間の距離Ｂを求めると共にＢ／Ｈを求め、該Ｂ／Ｈが所定値以上となった時点で順次静止画像取得可能のガイダンス表示を行う撮影装置に係るものである。

又本発明は、前記Ｂ／Ｈが所定値以上となった時点で順次静止画像を取得し、前記記憶部に格納する様、前記撮像制御部を制御する撮影装置に係るものである。

又本発明は、前記ガイダンス表示は、前記Ｂ／Ｈが所定値以上となった前記標定点を色分け表示し、或は該標定点を点滅表示する撮影装置に係るものである。

又本発明は、前記表示部が、水平方向に延びる水平撮影位置表示部と、鉛直方向に延びる鉛直撮影位置表示部とを有し、前記水平撮影位置表示部、前記鉛直撮影位置表示部には前記静止画像を取得した水平位置、鉛直位置がそれぞれ表示される撮影装置に係るものである。

又本発明は、前記水平撮影位置表示部及び前記鉛直撮影位置表示部には、静止画像を取得した水平位置、鉛直位置がそれぞれ表示されると共に現在の撮像位置を示す表示がリアルタイムで表示され、前記撮像位置が前記Ｂ／Ｈが所定値以上となった時点で現在の撮像位置を示す表示を点滅又は色を変更する撮影装置に係るものである。

本発明によれば、測定対象物の動画像を撮影しつつ移動し、取得した第１画像について特徴点を抽出し、該特徴点について画像トラッキングを行い、最新の第２画像に前記特徴点を特定し、該特徴点から標定点を選定し、該標定点に基づき前記第１画像と前記第２画像との相互標定を実行し、得られる前記測定対象物迄の距離Ｈと前記第１画像と前記第２画像を撮影した撮影地点間の距離ＢとのＢ／Ｈが所定値以上となった時点で順次静止画像取得可能のガイダンス表示を行うので、写真測量に適した静止画像が確実に取得でき、所定の測定精度で且つ安定した測定精度での測定が可能となる。

又本発明によれば、前記測定対象物の撮像状態をリアルタイムで表示部に表示し、前記Ｂ／Ｈが所定値以上となった時点で、前記標定点を色分け表示し、或は標定点を点滅表示するので、作業者は静止画像を取得する位置、或は取得状況が明確になり、作業性が向上する。

又本発明によれば、前記測定対象物の撮像状態をリアルタイムで表示部に表示し、前記Ｂ／Ｈが所定値以上となった時点で、順次静止画像を取得するので、所定の精度を満足する静止画像が確実に取得できる。

又本発明によれば、測定対象物の動画像と静止画像とを取得可能な撮像部と、動画像の取得と静止画像の取得を制御する撮像制御部と、少なくともピッチ角を検出する角度センサと、第１静止画像から特徴点を抽出し、動画像について前記特徴点のトラッキングを行い最新の画像中に前記特徴点を特定すると共に前記第１静止画像と前記最新の画像とに共通の標定点を選定する画像処理部と、記憶部と、動画像、静止画像を表示する表示部と、演算部とを具備し、前記撮像制御部は前記第１静止画像を取得後動画像を撮像し、前記演算部は、前記標定点と前記角度センサの検出結果に基づき前記第１静止画像と前記最新の画像間で相互標定を行い、前記測定対象物迄の距離Ｈと前記第１静止画像と第２静止画像を撮影した撮影地点間の距離Ｂを求めると共にＢ／Ｈを求め、該Ｂ／Ｈが所定値以上となった時点で順次静止画像取得可能のガイダンス表示を負担の少ない演算処理で行うので、写真測量に適した静止画像を効率良く確実に取得でき、又所定の測定精度で且つ安定した測定精度での測定が可能となる。更に、角度センサの検出結果を利用するので画像トラッキングに於ける相互標定が簡単になる。

又本発明によれば、前記Ｂ／Ｈが所定値以上となった時点で順次静止画像を取得し、前記記憶部に格納する様、前記撮像制御部を制御するので、所定の精度を満足する静止画像が確実に取得できる。

又本発明によれば、前記ガイダンス表示は、前記Ｂ／Ｈが所定値以上となった前記標定点を色分け表示し、或は該標定点を点滅表示するので、画面のガイダンスに従って作業者は静止画像を取得する位置、或は取得状況が明確になり、作業性が向上する。

又本発明によれば、前記表示部が、水平方向に延びる水平撮影位置表示部と、鉛直方向に延びる鉛直撮影位置表示部とを有し、前記水平撮影位置表示部、前記鉛直撮影位置表示部には前記静止画像を取得した水平位置、鉛直位置がそれぞれ表示されるので、静止画像の取得状況が明確になり、作業性が向上し、又静止画像を無駄なく、又洩れなく適正に取得することができる。

又本発明によれば、前記水平撮影位置表示部及び前記鉛直撮影位置表示部には、静止画像を取得した水平位置、鉛直位置がそれぞれ表示されると共に現在の撮像位置を示す表示がリアルタイムで表示され、前記撮像位置が前記Ｂ／Ｈが所定値以上となった時点で現在の撮像位置を示す表示を点滅又は色を変更するので、静止画像の取得状態が把握できると共にどの位置の静止画像を取得するのかが明確になる等の優れた効果を発揮する。

本発明の実施例に係る撮影装置を示す概略構成図である。 写真測量に於ける測定精度の説明図である。 写真測量の原理説明図である。 写真測量に於いて、２画像の光軸が傾斜していた場合の相互標定の説明図である。 写真の取得位置と測定対象物とＢ／Ｈとの関係を示す説明図である。 小物について測定する為に、１周して画像を取得する場合の説明図である。 表示部に示される取得した画像とガイダンス表示の説明図である。 本実施例の作動を示すフローチャートである。 沿道の測定対象物を測定する場合を示す模式図である。 （Ａ）は移動線に沿って移動しつつ撮影した場合の１つの撮影地点での画像の説明図、（Ｂ）は更に移動して撮影した場合の画像の説明図である。

以下、図面を参照しつつ本発明の実施例を説明する。

先ず、本発明の実施例に係る撮影装置について図１により概略を説明する。

撮影装置１は、主に撮像装置２、演算部（ＣＰＵ）３、記憶部４、画像処理部５、表示部６、操作部７、電源部８等から構成される。

又、前記撮像装置２は、撮像部１０、撮像制御部１３、角度センサ１４を具備し、更に前記撮像部１０は、動画撮像部１１としてデジタルビデオカメラ、静止画撮像部１２としてデジタルカメラを有する。

前記動画撮像部１１は、撮像素子として、多数の画素から構成されるＣＣＤ、ＣＭＯＳセンサを有し、各画素は前記撮像素子上での位置が特定できる様になっており、前記動画撮像部１１は、測定対象物について動画像を取得し、或は前記測定対象物の静止画像を所定時間間隔、例えば１０枚／ｓｅｃで前記動画像と同等に撮像可能となっている。前記撮像素子からは前記動画像をデジタル動画像データとして出力する様になっている。

前記静止画撮像部１２は、撮像素子として、多数の画素から構成されるＣＣＤ、ＣＭＯＳセンサを有し、各画素は前記撮像素子上での位置が特定できる様になっており、前記静止画撮像部１２は、前記測定対象物の高解像度の静止画像を取得し、該静止画撮像部１２の前記撮像素子からは前記静止画像をデジタル静止画像データとして出力する様になっている。

尚、前記動画撮像部１１、前記静止画撮像部１２は、ビデオ撮影機能、静止画像撮影機能を有する１つの撮像部１０が用いられてもよい。以下は、前記動画撮像部１１、前記静止画撮像部１２は、前記撮像部１０の１部として説明する。

前記撮像制御部１３は、前記動画撮像部１１による動画撮影、前記静止画撮像部１２による静止画撮影の切替えを制御すると共に前記動画撮像部１１による撮影のＯＮ／ＯＦＦ、前記静止画撮像部１２による撮影のＯＮ／ＯＦＦと、前記動画撮像部１１による動画撮影と前記静止画撮像部１２による静止画撮影の同期制御等、前記動画撮像部１１、前記静止画撮像部１２の撮影に関する制御を行う。

又、前記撮像制御部１３は、前記動画撮像部１１、前記静止画撮像部１２で取得した前記動画像データ、前記静止画像データを時系列とし、又前記動画像データ、前記静止画像データは取得した時刻と関連付けて前記記憶部４に記憶させる。

前記角度センサ１４は、ジャイロ、方位センサ等が用いられ、前記撮像装置２の姿勢、即ち撮像光軸の３軸方向（ロール、ピッチ、ヨー）の傾きを検出し、検出結果を前記演算部３、前記撮像制御部１３に出力する。

前記撮像制御部１３は、前記角度センサ１４からの姿勢情報を、前記動画撮像部１１、前記静止画撮像部１２への制御信号と同期して取得し、前記動画像、前記静止画像を前記記憶部４に記憶させる場合に、前記動画像、前記静止画像と前記動画像、前記静止画像が取得された時の姿勢情報とを関連付けて前記記憶部４に記憶させる。尚、前記撮像制御部１３は前記演算部３が兼用してもよい。

前記角度センサ１４は、前記撮像装置２の３軸方向（ロール、ピッチ、ヨー）の角度を検出する。尚、前記角度センサ１４は、少なくともピッチ角、即ち撮像方向に対して直角な水平方向の角度が検出できればよく、例えば加速度センサが用いられる。

前記記憶部４としては、前記撮像装置２に内蔵される半導体メモリ、或は着脱可能なメモリカード、或はＨＤＤ等の任意の記憶手段が採用可能であり、前記記憶部４には、各種データが格納されるデータ格納領域が形成され、又前記記憶部４には各種プログラムが格納されるプログラム格納領域が形成される。

前記データ格納領域には、前記動画撮像部１１で取得した前記動画像データ、前記動画像データを取得した時刻（即ち前記動画像を構成するフレーム画像データ毎の時刻）、前記動画像を取得した時の姿勢情報（即ち前記動画像を構成するフレーム画像データ毎の姿勢情報）及び前記静止画撮像部１２で取得した前記静止画像データ、前記静止画像データを取得した時刻、前記静止画像を取得した時の姿勢情報が格納される。又、画像から抽出した前記測定対象物の特徴点の情報、写真測量で得た前記測定対象物の３次元データ等のデータが前記データ格納領域に格納される。

尚、前記動画像データ、前記静止画像データと画像を取得した時刻、画像を取得した時の姿勢情報は、それぞれ格納する際に前記撮像制御部１３又は前記演算部３によって関連付けられる。

前記プログラム格納領域に格納されるプログラムとしては、前記撮像制御部１３に前記動画撮像部１１、前記静止画撮像部１２の撮像を制御させる為の撮像制御プログラム、２つの画像から前記測定対象物に関して前記特徴点を抽出し、更に該特徴点から標定点を選定し、該標定点に基づき２つの画像の相互標定を行う等の画像処理を行う画像処理プログラム、相互標定された２つの画像から前記測定対象物の３次元測定（写真測量）を行う測定プログラム、写真測量用の画像として適しているかどうかの判断を行う判断プログラム、前記動画像に基づき画像トラッキングを行うトラッキングプログラム、前記３次元測定の結果、撮像した画像データ等に基づき３Ｄモデルを作製する為の３Ｄモデルプログラム等のプログラムが格納されている。

前記画像処理部５は、前記画像処理プログラムにより前記動画撮像部１１、前記静止画撮像部１２が撮像した画像から前記特徴点を抽出し、該特徴点に基づき２つの画像の相互標定を実行する等の画像処理を行う。尚、前記画像処理部５は、前記演算部３が兼用してもよい。

前記表示部６は、前記動画撮像部１１が撮像した前記動画像をリアルタイムで表示し、更に前記静止画撮像部１２が撮像した前記静止画像を表示すると共に撮像状況の表示、撮影状態、画像データの収集状態の表示、トラッキング状態の表示、或は撮像画像が写真測量の画像として適しているかどうかを示すガイダンス表示を行う。ガイダンス表示は、画像全体を点滅させるか、或は色を変更するか、音或は音声を発するか、或はガイダンス表示部を設けて撮影の適否を表示するか、部分的に色分け表示するか、種々の方法が採用される。

前記操作部７は、前記撮像装置２で画像を取得する為の撮影開始、終了の指示、或は測定を実行する際の条件等を入力する。

前記電源部８は、前記撮像装置２、前記演算部３等に必要とされる電力を供給する。又、前記電源部８は、好ましくは繰返し充電可能であり、更に好ましくは繰返し充電可能な可充電電池とする。尚、前記電源部８は交換可能な電池としてもよい。

先ず、写真測量を実施する場合には、前記測定対象物を撮像した２つの画像が必要であり、又前記２つの画像はオーバラップし、共通に前記測定対象物を含み、前記２つの画像のオーバラップ率は６０％以上が好ましいとされる。

図２に於いて、測定対象物２２と前記撮像装置２との関係、写真測量の測定精度について説明する。

図２は、写真測量に用いられる画像が、撮影地点Ｏ１，Ｏ２で撮像され、又撮影距離（高さ）Ｈ、撮影基線長Ｂ、カメラの焦点距離ｆ、カメラの画素サイズΔｐで撮像され、この条件での平面精度Δｘｙと高さ精度Δｚとを示している。

平面精度：Δｘｙ＝Ｈ×Δｐ／ｆ
高さ精度：Δｚ ＝Ｈ×Ｈ×Δｐ／（Ｂ×ｆ）となる。

ここで、焦点距離ｆ、画素サイズΔｐは定数であるので、測定精度はＨ、Ｂによって決定される。前記撮影距離Ｈが大きいと前記測定精度が劣化し、撮影基線長Ｂが大きいと前記測定精度が向上する。従って、Ｂ／Ｈ（視差）を、要求される前記測定精度に応じた所定の値とする。例えば、該Ｂ／Ｈは、１／３とされる。

図３は、前記撮像装置２により、前記撮影地点Ｏ１，Ｏ２で測定点Ｐを含む静止画像を取得した場合を示している。前記撮影地点Ｏ１，Ｏ２とは撮影基線長Ｂだけ離れている。又、説明を簡略化する為、前記撮影地点Ｏ１，Ｏ２で撮影した場合の前記静止画撮像部１２の光軸は平行であるとする。又、前記撮像装置２は撮像素子１５を有し、図中、１５-1，１５-2は、それぞれ前記撮影地点Ｏ１，Ｏ２で撮像した状態での撮像素子を示している。

図３に於いて、３角形Ｏ１，ｐ１，Ｏ−１と３角形Ｏ２，ｐ２，Ｏ−２とを合体させて得られる３角形と、３角形Ｏ１，Ｏ２，Ｐとは相似であるので、Ｂ／Ｈ＝［ｐ１（ｘ１，ｙ１）＋ｐ２（ｘ２，ｙ２）］／ｆとなる。

従って、前記撮影地点Ｏ１，Ｏ２で取得した画像上で、即ち前記撮像素子１５-p上での点ｐの座標をそれぞれ検出することで、Ｂ／Ｈを検出することができる。

次に、図４に示される様に、実際に撮影する場合は、前記撮像装置２の光軸は、３軸方向（ロール角ω、ピッチ角φ、ヨー角κ）の傾きを有する。

従って、各撮影地点Ｏ１，Ｏ２でのロール角ω１，ω２、ピッチ角φ１，φ２、ヨー角κ１，κ２が分れば、座標変換して撮影地点Ｏ１，Ｏ２で取得した画像の光軸を平行にした場合の座標値に変換（相互標定）でき、前記撮像素子１５からＢ／Ｈを求めることができる。

又、相互標定する場合に、２つの画像のオーバラップ部分に共通点である標定点が少なくとも５点が必要である。標定点については、画像から特徴点を抽出し、該特徴点について画像トラッキングを行い、該特徴点から前記標定点を選定する。尚、画像トラッキングについては、特許文献１に示されている。

尚、変換座標系でのｐ１，ｐ２の座標は以下に表される。

Ｘ１＝ｘ1 ｃｏｓφ1 ・ｃｏｓκ1 −ｙ1 ｃｏｓφ1 ・ｓｉｎκ1 −ｆｓｉｎφ1
Ｙ１＝ｘ1 ｓｉｎκ1 −ｙ1 ｃｏｓκ1
Ｚ１＝−ｘ1 ｓｉｎφ1 ・ｃｏｓκ1 −ｙ1 ｓｉｎφ1 ・ｓｉｎκ1 −ｆｃｏｓφ1
Ｘ２＝ｘ2 ｃｏｓφ2 ・ｃｏｓκ2 −ｙ2 ｃｏｓφ2 ・ｓｉｎκ2 −ｆｓｉｎφ2 ＋１
Ｙ２＝ｘ2 （ｃｏｓω2 ｓｉｎκ2 ＋ｓｉｎω2 ・ｓｉｎφ2 ｃｏｓκ2 ）＋
ｙ2 （ｃｏｓω2 ｃｏｓκ2 −ｓｉｎω2 ・ｓｉｎφ2 ・ｓｉｎκ2 ）＋
ｆｓｉｎω2 ・ｃｏｓφ2
Ｚ２＝ｘ2 （ｓｉｎω2 ・ｓｉｎκ2 −ｃｏｓω2 ・ｓｉｎφ2 ・ｃｏｓκ2 ）＋
ｙ2 （ｓｉｎω2 ・ｃｏｓκ2 ＋ｃｏｓω2 ・ｓｉｎφ2 ・ｓｉｎκ2 ）−
ｆｃｏｓω2 ・ｃｏｓφ2

ここで、Ｂ／Ｈ（視差）を演算する場合に、最も影響の大きい角度は、ピッチ角φであり、前記角度センサ１４は、少なくともピッチ角φが検出できるものであればよい。

前記撮影装置１で画像データを取得する場合は、移動しつつ測定対象物を撮影するが、移動距離、前記測定対象物の遠近とＢ／Ｈとの間連について、図５を参照して説明する。

尚、前記撮影装置１は図５中、動画像を撮像しつつ右に移動し、撮影地点Ｏ１，Ｏ２，Ｏ３，Ｏ４，…で順次静止画像を撮像したとする。ここで、測定精度を考慮し、Ｂ／Ｈ≧α（α：所望の測定精度に対応する定数）の場合に、測定に使用可能な静止画像と判断する。

前記撮影装置１の移動線１６に対し、所要の距離に位置する測定点をＱ１，Ｑ２，Ｑ３とし、測定点Ｑ１，Ｑ２，Ｑ３と前記移動線１６との距離は、Ｈ１，Ｈ２，Ｈ３とする。又、撮影地点Ｏ１から撮影地点Ｏ２，Ｏ３，Ｏ４迄の距離をそれぞれＢ１，Ｂ２，Ｂ３とする。

撮影地点Ｏ２で撮像した時の、測定点Ｑ１，Ｑ２，Ｑ３について、Ｂ１／Ｈ１≧α、Ｂ２／Ｈ２＜α、Ｂ３／Ｈ３＜αであり、撮影地点Ｏ２で取得した静止画像では測定点Ｑ１のみが測量可能な状態となっている。

次に、撮影地点Ｏ３で撮像した時は、測定点Ｑ１，Ｑ２，Ｑ３について、Ｂ１／Ｈ１≧α、Ｂ２／Ｈ２≧α、Ｂ３／Ｈ３＜αとなり、撮影地点Ｏ３で取得した静止画像では測定点Ｑ１，Ｑ２が測量可能な状態となる。

更に、撮影地点Ｏ４迄移動し、撮影地点Ｏ４で撮像した時は、測定点Ｑ１，Ｑ２，Ｑ３について、Ｂ１／Ｈ１≧α、Ｂ２／Ｈ２≧α、Ｂ３／Ｈ３≧αとなり、撮影地点Ｏ４で取得した静止画像では測定点Ｑ１，Ｑ２，Ｑ３が測量可能な状態となる。

従って、任意の測定点について、αを閾値とし、Ｂ／Ｈ≧αとなった時点を測定者に告知することで、測定者は適正な移動量で、測定対象点を含む静止画像を取得できる。尚、告知の方法としては、表示画面１７（図７参照）に測定対象点を表示し、Ｂ／Ｈ≧αとなった測定対象点について色を変える、或は点滅する等により視覚的な告知をする。或は、視覚的な告知に代え、或は視覚的な告知に合わせてＢ／Ｈ≧αとなった時点で、ブザーを鳴らす等が挙げられる。

又、Ｂ／Ｈ≧αを条件に自動で静止画像を取得する様にしてもよい。

図７は、本実施例に用いられる前記表示画面１７の一例を示している。

該表示画面１７は、撮像画像を表示する機能と撮像状況を表示する機能等、複数の表示機能を有し、各表示機能毎に表示を切替えるか、或は各機能毎に表示の一部を割当てることができる様になっている。

例えば、図７に示される前記表示画面１７では、主に画像表示部１８と水平撮影位置表示部１９、鉛直撮影位置表示部２０を有している。

前記画像表示部１８には、前記動画撮像部１１で撮影された動画像が表示され、又は前記静止画撮像部１２で撮像された静止画像が表示される様になっている。

前記水平撮影位置表示部１９は、前記画像表示部１８の上辺に沿って延びる帯状の表示部であり、前記水平撮影位置表示部１９には水平方向の角度、例えば−１８０゜〜１８０゜が表示され、静止画が撮像された水平位置（水平角）が、縦棒として逐次表示され、最新の静止画像が取得された位置の表示とそれ以前の表示とでは色を変えて表示される様になっている。

又、前記鉛直撮影位置表示部２０は、前記画像表示部１８の側辺（例えば左側辺）に沿って延びる帯状の表示部であり、前記鉛直撮影位置表示部２０には鉛直位置（鉛直角）が横棒として逐次表示され、最新の静止画像が取得された位置の表示とそれ以前の表示とでは色を変えて表示される様になっている。

以下、本実施に於ける作用について、図６〜図８を参照して説明する。

尚、以下の説明は、測定対象物２２が壺の様な小物で、該測定対象物２２の周囲を一周して該測定対象物２２を測定する場合である。

ＳＴＥＰ：０１ 測定を開始すると、最初の静止画像が撮影により取得される。最初の静止画像が撮像された地点が第１の撮影地点（図７中、撮影１）となり、同時に前記動画撮像部１１による撮影が開始される。又、前記画像表示部１８には、静止画像を取得した範囲が撮影位置に対応して表示され、又静止画像の取得が繰返されると、撮影位置に対応して取得した範囲がオーバラップして表示される。

ＳＴＥＰ：０２，ＳＴＥＰ：０３ 前記撮像装置２の角度（ロール、ピッチ、ヨー）が検出され、検出された角度が所定範囲内、即ち、静止画像を取得できる状態であるかどうかが判断される。

ＳＴＥＰ：０４，ＳＴＥＰ：１２ 検出された角度が所定範囲内である場合に、撮影最初の画像（以下、単に画像とする場合は、動画像の内の１フレーム分の画像を示す）かどうかが判断され、最初の画像であると判断されると静止画像が撮影され、記録される。

ＳＴＥＰ：１３ 撮影された静止画像について、特徴点が抽出される。更に、動画が撮影される。

ＳＴＥＰ：０５ 最初の画像でないと判断された場合、前記静止画像から抽出した特徴点について最初の静止画像以降の動画像に対して画像トラッキングが実行される。即ち、時間的に隣接する画像間で画像マッチングによる前記特徴点の追尾が実行される。

ＳＴＥＰ：０６，ＳＴＥＰ：０７ 特徴点をトラッキングし、最新の動画像（フレーム画像、即ち最新画像）に特徴点を特定し、更に測定開始画像（トラッキングを開始した時点の画像）と最新画像間で重複する部分に共通して存在する特徴点から標定点（パスポイント）を選定し、該標定点に基づき測定開始画像と最新画像間で相互標定を実行する。

ＳＴＥＰ：０８ ２つの相互標定した画像に基づき、標定点についての座標を計算し、前記測定対象物２２の測定を行い、更にＢ／Ｈ比を計算する（図３参照）。

ＳＴＥＰ：０９ 相互標定、Ｂ／Ｈ比の計算は、新規の画像を取得しつつリアルタイムで実行される。従って、所定の測定対象物２２についてのＢ／Ｈ比は、撮影者が移動するにつれ、即ち前記撮像装置２が移動するにつれ、刻々と変化する。前記選定した標定点を前記表示部６に表示させ、Ｂ／Ｈ比の変化に対応させて、標定点の色を変化させる。例えば、Ｂ／Ｈ比が既に３Ｄモデリング可能な値（閾値）を超えている標定点については、青色表示し、閾値を満足した時点で赤色表示し、閾値を満足しない標定点を緑色表示する等である。

ＳＴＥＰ：１０ 得られたＢ／Ｈが、設定された値（閾値）より大きいかどうかが判断され、Ｂ／Ｈが閾値より大きい場合は、次の静止画像を取得する条件が整ったと判断される。整ったと判断されると、３Ｄモデリング可能な表示、例えば、表示色が赤色になると共に点滅する等により、撮影者は標定点の表示状態を確認することで、最適な撮影位置を判断できる。

ＳＴＥＰ：１１ 新たな標定点についてＢ／Ｈが閾値を超えると、閾値を超えたことを知らせる表示がなされる。撮影者は、標定点が選定された測定対象物２２について、静止画像を取得するかどうかの判断がなされる。継続して撮影する場合は、前記表示部６に表示されている内容を確認して静止画像が取得される（ＳＴＥＰ：１２）。尚、３Ｄモデリング可能な状態となると、停止の指示がある迄、自動で静止画像を取得する様にしてもよい。

又、Ｂ／Ｈが閾値より小さい場合は、ＳＴＥＰ：０１に戻り、動画像の撮影、動画像について特徴点の追尾が継続して実行される。

取得された静止画像（最新の画像）は記録され、最新の画像について特徴点の抽出が行われる（ＳＴＥＰ：１３）。更に、最新の静止画像を基準として特徴点の追尾、標定点の選定等、前記ＳＴＥＰ：０１〜ＳＴＥＰ：１０の工程が繰返される。

又、静止画像が取得されると、取得位置の水平位置が前記水平撮影位置表示部１９に縦棒として表示され、又垂直位置が前記鉛直撮影位置表示部２０に横棒として表示される。従って、どの方向で撮影したかが視覚的に判断でき、重複した撮影、撮り残しが防止できる。

尚、前記水平撮影位置表示部１９、前記鉛直撮影位置表示部２０には、静止画像を取得した位置と共に現時点での視準方向をリアルタイムで表示してもよい。該視準方向は前記撮像装置２の移動と共に移動し、視準方向と測定対象物との関係が視覚的に判断できる。

上記した様に、静止画像の取得（撮影）は、撮影者が色の変更、点滅等、告知手段が告知する結果に基づき手動で取得してもよく、Ｂ／Ｈの判断に基づき撮像装置２が自動で撮影してもよい。

ＳＴＥＰ：１１ Ｂ／Ｈの判定後、撮影を終了するとの判断がなされると、測定は終了する。

而して、前記測定対象物２２について、画像により３次元測定するに必要な静止画像が取得される。尚、静止画像の他に、画像トラッキングの為に撮像した動画像を保存してもよい。動画像を保存することで、撮影後、データ処理の時点で特徴点の抽出の条件を変更し、画像トラッキングを実行する条件を変更した場合のデータの取得が可能となる。

更に、Ｂ／Ｈを満足する画像データ、該画像データに関して標定点を取得することで、得られた画像データ、標定点から３Ｄモデルの作製が行える。尚、３Ｄモデルの作製は、前記撮影装置１で行ってもよく、或は別途ＰＣで作成してもよい。

又、前記撮影装置１で必要な画像データを取得し、前記記憶部４に保存しておき、別途ＰＣ等により保存した画像から、前記測定対象物２２の３次元測定、３Ｄモデルの作製をしてもよく、或は前記撮影装置１で画像を取得しつつ前記測定対象物２２の３次元測定を行ってもよい。この場合、図７に示される様に、測定ポイントを画像上に順次プロット２３等で表示し、又測定中の測定点、或は最新の測定点と既に測定し終った測定点とは色分け表示してもよい。

上記説明は、特定の測定対象物を全周に亘って測定し、測定対象物単体の３Ｄモデルを作製した場合を説明したが、測定者が道路に沿って移動した場合の、沿道に存在する測定対象物について測定する場合を説明する。

図９は、紙面に対して左から右に移動した際の、撮影地点と測定対象物との関係を示した模式図であり、測定対象物２５，２６，２７，２８は沿道に沿って存在し、移動線１６から近距離の位置にあり、測定対象物２９は前記移動線１６から遠距離の位置にある状態を示している。又、前記移動線１６上をガイダンス表示を見ながら移動し、ガイダンス表示で適正となった撮影地点Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇで静止画像を取得したものであり、Ｂ地点、Ｃ地点、Ｄ地点、Ｇ地点で撮影１、撮影２、撮影３、撮影４が行われ、それぞれ静止画像が取得されたことを示している。

又、図１０（Ａ）は、撮影３での表示画面を示しており、測定対象物２５，２６，２９，２７が画像中に含まれる。又、撮影１、撮影２での画像の範囲がそれぞれ破線で示されている。

取得した静止画像について特徴点（図示では標定点として選択されたもの）が測定対象物に重合して表示されている。上記した様に、標定点には撮影の状態がリアルタイムで反映されており、Ｂ／Ｈの値に応じて表示色が変る様になっている。図示では、標定点が＋、□、○のプロットで示されているが、実際には色分け表示され、例えば＋が青、□が赤、○が緑の様に表示される。又、プロット＋については、Ｂ／Ｈの値が十分閾値を超えたことを示し、プロット□については、Ｂ／Ｈの値が略閾値となり、３Ｄモデリング可能となったことを示し、プロット○については３Ｄモデリング不可の状態を示している。

前記撮像装置２が前記移動線１６に沿って移動することで、撮影基線長Ｂが変化し、撮影３の地点では前記測定対象２５，２６について全ての標定点が、Ｂ／Ｈの値が閾値を超え、３Ｄモデリング可能となり、前記測定対象２７の一部の標定点が３Ｄモデリング可能な状態に入った。又、前記測定対象物２９の標定点、及び前記測定対象物２７の一部の標定点については、３Ｄモデリング不可であることが示される。

更に、移動して撮影４の状態となると（図１０（Ｂ））、前記画像表示部１８上には前記測定対象物２７の一部及び前記測定対象物２９、前記測定対象物２８が表示され、前記測定対象物２９の標定点が３Ｄモデリング可能な状態となり、測定対象物２８の標定点の一部が３Ｄモデリング可能な状態に入ったことが示されている。

従って、測定対象物が前記移動線１６に対して近距離、遠距離に拘らず、３Ｄモデリング可能な状態となったことが画面上から判断でき、近距離の測定対象物を測定する場合、遠距離の測定対象物を測定する場合のいずれでも、適切な位置で、所望の精度を満足する画像を取得することができる。

１ 撮影装置
２ 撮像装置
３ 演算部
４ 記憶部
５ 画像処理部
６ 表示部
７ 操作部
８ 電源部
１０ 撮像部
１１ 動画撮像部
１２ 静止画撮像部
１３ 撮像制御部
１４ 角度センサ
１５ 撮像素子
１６ 移動線
１７ 表示画面
１８ 画像表示部
１９ 水平撮影位置表示部
２０ 鉛直撮影位置表示部
２２ 測定対象物

Claims (8)

1. 撮像装置が測定対象物の第１静止画像を取得した後前記測定対象物の動画像を撮影しつつ移動し、画像処理部が前記第１静止画像について特徴点を抽出し、該特徴点について前記動画像に対して画像トラッキングを行い、最新の動画像に前記特徴点を特定し、該特徴点から標定点を選定し、演算部が前記標定点に基づき前記第１静止画像と前記最新の動画像との相互標定を実行し、得られる前記測定対象物迄の距離Ｈと前記第１静止画像と前記最新の動画像を撮影した撮影地点間の距離ＢとのＢ／Ｈが所定値以上となった時点で表示部が順次静止画像取得可能のガイダンス表示を行うことを特徴とする画像取得方法。
2. 前記測定対象物の撮像状態をリアルタイムで表示部に表示し、前記Ｂ／Ｈが所定値以上となった時点で、前記標定点を色分け表示し、或は標定点を点滅表示する請求項１の画像取得方法。
3. 前記測定対象物の撮像状態をリアルタイムで表示部に表示し、前記Ｂ／Ｈが所定値以上となった時点で、順次静止画像を取得する請求項１又は請求項２の画像取得方法。
4. 測定対象物の動画像と静止画像とを取得可能な撮像部と、動画像の取得と静止画像の取得を制御する撮像制御部と、少なくともピッチ角を検出する角度センサと、第１静止画像から特徴点を抽出し、動画像について前記特徴点のトラッキングを行い最新の画像中に前記特徴点を特定すると共に前記第１静止画像と前記最新の画像とに共通の標定点を選定する画像処理部と、記憶部と、動画像、静止画像を表示する表示部と、演算部とを具備し、前記撮像制御部は前記第１静止画像を取得後動画像を撮像し、前記演算部は、前記標定点と前記角度センサの検出結果に基づき前記第１静止画像と前記最新の画像間で相互標定を行い、前記測定対象物迄の距離Ｈと前記第１静止画像と前記最新の画像を撮影した撮影地点間の距離Ｂを求めると共にＢ／Ｈを求め、該Ｂ／Ｈが所定値以上となった時点で前記表示部が順次静止画像取得可能のガイダンス表示を行うことを特徴とする撮影装置。
5. 前記Ｂ／Ｈが所定値以上となった時点で順次静止画像を取得し、前記記憶部に格納する様、前記撮像制御部を制御する請求項４の撮影装置。
6. 前記ガイダンス表示は、前記Ｂ／Ｈが所定値以上となった前記標定点を色分け表示し、或は該標定点を点滅表示する請求項４又は請求項５の撮影装置。
7. 前記表示部が、水平方向に延びる水平撮影位置表示部と、鉛直方向に延びる鉛直撮影位置表示部とを有し、前記水平撮影位置表示部、前記鉛直撮影位置表示部には前記静止画像を取得した水平位置、鉛直位置がそれぞれ表示される請求項４の撮影装置。
8. 前記水平撮影位置表示部及び前記鉛直撮影位置表示部には、静止画像を取得した水平位置、鉛直位置がそれぞれ表示されると共に現在の撮像位置を示す表示がリアルタイムで表示され、前記撮像位置が前記Ｂ／Ｈが所定値以上となった時点で現在の撮像位置を示す表示を点滅又は色を変更する請求項７の撮影装置。

Images