JP4166993B2 - 立体画像表示装置及び方法 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、ステレオ撮影された画像から撮影対象物の三次元画像を作成して、立体表示できる立体画像表示装置及び方法に関する。また、本発明は、作成された三次元画像からステレオ画像計測を行える立体画像表示装置に関する。
【０００２】
【従来の技術】
ステレオ計測するためのステレオカメラは、各カメラが相対的に動かないように固定されている。そこで、カメラ間隔に対応する基線長は不変であり、カメラの撮影距離も各カメラ間で正確に一致させる必要があるため、焦点距離を可変にしたズームレンズではなく、固定焦点距離式のレンズが使用されている。また、カメラの分解能に依存して、ステレオカメラの計測精度が定まるため、収差の少ない高精度レンズが使用されている。
【０００３】
また、ステレオ撮影された画像を立体視する立体画像表示装置として、液晶シャッター方式と液晶フィルターシャッター方式が存在している。液晶シャッター方式は、１枚の画面に左右画像を交互に表示させ、それら画像を液晶眼鏡によって同期させて左右画像を切り替えるものである。液晶フィルターシャッター方式は、画面上に液晶偏向フィルターを取り付け、左右画像を切り替え表示しながら液晶偏向フィルターも同時に切り替え、偏向眼鏡で観察するものである。
【０００４】
【発明が解決しようとする課題】
そこで、従来のステレオカメラには、以下のような課題がある。
▲１▼各カメラが相対的に動かないように固定されているため持ち運びがしにくい。
▲２▼基線長と撮影距離の選択範囲が少ないため、ステレオカメラの計測対象物の寸法が限定される。
▲３▼高精度レンズを使用した専用カメラは高価で、一般の人には利用しにくい。
【０００５】
また、従来の立体画像表示装置では、液晶眼鏡、液晶フィルターなどを用いて、左右画像を時分割で切り替えて表示して、立体視を可能としているが、以下に示す課題がある。
▲４▼切り替えた画像を人間の左右の目に時分割でそれぞれ表示し、脳で左右画像を融合させているため、左右画像の切り替えがちらつきとなって、立体視をとても疲労の伴う難しいものとしている。
▲５▼液晶シャッター方式では、液晶眼鏡の左右の切り替えをセンサーで行っているため、蛍光灯のノイズにより左右の切り替えに誤動作が起こる場合がある。そこで、蛍光灯のもとでは使用（立体視）が困難である。
【０００６】
本発明は、上述する課題を解決したもので、第１の目的は、デジタルカメラやデジタルビデオ画像を利用して立体視可能な三次元画像を作成できる立体画像表示装置及び方法を提供することである。
本発明の第２の目的は、作成された三次元画像からステレオ画像計測を行える立体画像表示装置を提供することである。
本発明の第３の目的は、ステレオ撮影された画像を立体視する場合に、長時間立体視しても疲労の伴わない立体画像表示装置を提供することである。
【０００７】
【課題を解決するための手段】
第１の目的を達成する本発明の立体画像表示装置は、図１に示すように、ステレオ画像取得部１０で取得された一対のステレオ画像に含まれている特徴要素を指定する特徴要素指定部４０と、特徴要素指定部４０で指定された特徴要素の前記ステレオ画像中の位置に基づき前記ステレオ画像の標定を行う画像標定部３０と、標定の済んだステレオ画像を立体表示する表示部６０とを備えている。
【０００８】
このように構成された装置においては、特徴要素指定部４０によってステレオ画像に含まれている特徴要素が指定されるので、画像標定部３０によるステレオ画像の標定が容易に行える。標定されたステレオ画像は、表示部６０によって立体表示される。好ましくは、ステレオ画像取得部１０で取得された一対のステレオ画像を格納する画像データ記憶部２０を設けると、特徴要素指定部４０での特徴要素を指定する処理を画像データ記憶部２０に格納されたステレオ画像を用いて行える。
【０００９】
好ましくは、特徴要素指定部４０は、画像内でカーソルを移動させるカーソル移動手段を含み、当該カーソル移動手段により前記特徴要素を指示するように構成されていると、オペレータによるステレオ画像の標定作業が容易に行える。カーソル移動手段には、典型的にはマウス、ポインタ、タッチパッド、キースイッチ等の電子機器用入力装置が用いられる。
【００１０】
好ましくは、特徴要素指定部４０は、ステレオ画像内での特徴要素となる特徴要素候補画像を捜索し、当該特徴要素候補画像に前記カーソルを移動させる自動捜索処理部４４を有するように構成されていると、オペレータによるステレオ画像の標定作業が容易に行える。特徴要素候補画像を捜索するために、典型的にはテンプレート画像を用いた相互相関係数法を用いるとよく、相互相関係数が極大化された画像位置が特徴要素候補画像の位置である。
【００１１】
好ましくは、特徴要素指定部４０は、オペレータの操作により前記ステレオ画像における対応点が指定される対応点指示部４２と、前記ステレオ画像上の対応点の画像位置に基づき、前記対応点の位置データを計測する演算処理部４８とを備えるように構成されていると、ステレオ画像の三次元計測作業が容易に行える。
【００１２】
好ましくは、画像標定部３０が、前記ステレオ画像中の標定処理において更に偏位修正作業を行うように構成されていると、標定処理によりカメラの位置と傾きが計算されると共に、偏位修正作業により左右の画像を立体視可能な画像に変換して、基準となる縮尺が与えられていれば、立体視可能な三次元画像からステレオ画像計測が行える。
【００１３】
好ましくは、画像標定部３０は、ステレオ画像取得部１０の撮影基線長を用いて、前記ステレオ画像に対して作成されたステレオモデルに適切な縮尺を与えるように構成されていると、ステレオ画像取得部１０と被写体の距離に応じた被写体の概括的な大きさが提示できる。
【００１４】
第２の目的を達成する本発明の立体画像表示装置は、図１に示すように、好ましくは、さらに前記指定された特徴要素の寸法決定に用いられるデータを入力するデータ入力部５０を備えるように構成されていると、データ入力部５０で入力された寸法決定に用いられるデータに基づき、画像標定部３０により立体視可能に偏位修正されたステレオ画像から、当該ステレオ画像に写し込まれた被写体の実寸が計測可能な状態となる。
【００１５】
好ましくは、データ入力部５０で入力されるデータは、特徴要素の位置、長さ、方向の少なくとも何れか一つを含む構成とすると、画像標定部３０におけるステレオ画像中の標定処理が容易に行える。
【００１６】
第３の目的を達成する本発明の立体画像表示装置は、図２に示すように、表示部６０として、前記標定の済んだステレオ画像を構成する左右画像を２枚の偏光ディスプレイ６６２、６６４にそれぞれ表示させて、ハーフミラー６６６によって前記２枚の偏光ディスプレイに表示された左右画像を合成し、偏光眼鏡６６８によって当該ステレオ画像を左右画像に分離した状態で視聴可能に構成されるデュアルディスプレイ方式とするとよい。デュアルディスプレイ方式は、左右画像を同時に観察しているため、蛍光灯や照明条件等の外部環境ノイズに影響されず、オペレータは安定して長時間立体視できる。
【００１７】
第１の目的を達成する本発明の立体画像表示方法は、図３に示すように、ステレオ画像取得部で取得された一対のステレオ画像を読み込む工程（Ｓ１０２）と、当該一対のステレオ画像に含まれている特徴要素を指定する工程（Ｓ１１０）と前記指定された特徴要素の前記ステレオ画像中の位置に基づき、前記ステレオ画像の標定を行なう工程（Ｓ１１２、Ｓ１１４）と、標定の済んだステレオ画像を立体表示する工程（Ｓ１１６）を備えている。
【００１８】
【発明の実施の形態】
以下図面を用いて本発明を説明する。図１は本発明の第１の実施の形態を説明する全体構成ブロック図である。立体画像表示装置は、ステレオ画像取得部１０、画像データ記憶部２０、画像標定部３０、特徴要素指定部４０、データ入力部５０並びに表示部６０を備えている。
【００１９】
ステレオ画像取得部１０は、ステレオカメラのような精密機器でも良く、またデジタルカメラやデジタルビデオカメラ等のような簡易なレンズを用いた機器でもよい。ステレオカメラは、ステレオ計測するためのもので、各カメラが相対的に動かないように固定されている。そこで、カメラ間隔に対応する基線長は不変であり、カメラの撮影距離も各カメラ間で正確に一致させる必要があるため、固定焦点距離式のレンズが使用されている。また、カメラの分解能に依存して、ステレオカメラの撮影作業領域が定まるため、収差の少ない高精度レンズを使用して、撮影作業領域を拡大している。
【００２０】
他方、デジタルカメラやデジタルビデオカメラは、同じ光学的性質を有するレンズを用いた２台の機器をステレオバーに取り付けて、ステレオカメラとすることが可能である。あるいは、デジタルカメラやデジタルビデオカメラを一台として、測定対象物に対して右撮影方向と左撮影方向から撮影しても良い。一台で右撮影方向と左撮影方向から撮影する場合には、左右撮影のカメラ間隔が一定になるように留意する。デジタルカメラやデジタルビデオカメラでは、レンズ収差がステレオカメラのレンズ収差に比較して大きいので、レンズ収差を補償して画像データ記憶部２０に格納するとよい。レンズ収差が大きいので、レンズの視野はステレオカメラよりも狭くして、精度を確保するとよい。
【００２１】
画像データ記憶部２０は、ステレオ画像取得部１０にて取得した画像を記憶するもので、デジタルカメラやデジタルビデオカメラであればデジタル画像情報を記憶するフレキシブルディスク、ＣＤ−ＲＯＭ、ハードディスク等を用いるとよい。ステレオカメラとしてフィルムに焼付けたアナログ画像情報を用いる場合には、アナログ画像情報をスキャナー等でデジタル化してデジタル画像情報化して、記憶するとよい。
【００２２】
画像標定部３０は、特徴要素指定部４０で指定された画像の位置を用いてカメラの位置と傾き（外部標定要素）を計算し、偏位修正作業により立体視可能なステレオ画像（偏位修正画像）を作成するもので、典型的には航空写真測量でいうところの内部標定、相互標定、絶対標定のうち相互標定と絶対標定を行う機能に相当している。画像標定部３０はパソコン上のソフトウェアとしても良いし、あるいはマイコン等の組込み型ソフトとして表示部６０に組み込んでも良い。あるいはハードウェアで構成しても良い。なお、立体画像作成の原理に関しては後で詳細に説明する。
【００２３】
さらに、画像標定部３０は、特徴要素指定部４０で指示する画像の特徴点に対して、データ入力部５０より実際又は仮想の座標又は寸法を入力することにより、立体視可能なステレオ画像において実際又は仮想の縮尺又は寸法になったステレオ画像に変換する。このように立体視可能なステレオ画像を作成して、絶対標定に必要な寸法を与えれば、ステレオ法の原理に従って三次元計測が可能となる。
【００２４】
特徴要素指定部４０は、ステレオ画像を立体視可能なように修正する際に、左右画像上で特徴要素としての画像の特徴点を指示するものである。画像の特徴点とは、標定を可能とするために左右画像上で重なった領域に少なくとも６点設ける必要のあるもので、特徴点の分布密度は左右画像上の重なった領域で概ね均等になるように定めるとよい。画像の特徴点は、オペレータや自動捜索処理部４４で認識しやすい形状や模様であることが好ましく、例えばターゲットと呼ばれる標識を被写体に設けると良い。
【００２５】
特徴要素指定部４０は、立体画像を作成する際や計測する際に左右画像の対応点を指示する対応点指示部４２、自動で対応点を探索するための自動捜索処理部４４、三次元計測をする際の演算を施す演算処理部４８を備えている。ここで、対応点とは、画像の特徴点の中で左画像と右画像の双方で認識された同一の特徴点をいう。対応点指示部４２は、画像上の平面方向としてのＸＹ方向の指示や奥行き方向の指示をするもので、ＰＣのマウスや奥行きを指示するダイヤルをつけたものなどを使用する。対応点指示部４２には、表示部６０のカーソル位置が対応点位置に対して近傍になると、表示部６０に表示されているカーソルマーク表示を変更する機能を持たせるとよい。
【００２６】
自動捜索処理部４４での対応点探索には、例えば画像相関処理を用いて行う。即ち、左画像上で特徴点として指示した点をテンプレートとして、右画像上を探索する。画像相関処理は、相互相関係数法や残差逐次検定法（ＳＳＤＡ法）などどれを用いても良い。
【００２７】
対応点指示部４２や自動捜索処理部４４により左右画像の対応点を定めているので、ステレオ画像取得部１０として、ステレオアタッチメント等に２台のカメラを取り付けステレオカメラ撮影した場合も、ステレオ撮影における対応点を求めることができる。さらに、画像標定部３０により外部標定要素を用いて、ステレオ撮影に対応するステレオモデルを作成できる。すると、オペレータの熟練度に依存せず安定したステレオ撮影とステレオモデル作成が可能となる。ステレオカメラの場合には、基線長やカメラの傾きが既知なので、該当するパラメータを用いればステレオモデルが一義的に得られる。
【００２８】
データ入力部５０は、実際の寸法と合わせるのに基準量等を入力する。なお、立体画像を作成するだけであれば、データ入力部５０を設ける必要はない。データ入力部５０により、立体視可能なように修正されたステレオ画像に寸法をいれれば、絶対標定に必要なパラメータとして入力された寸法を用いて、立体画像の作成が可能となる。
【００２９】
表示部６０は、取得された画像や立体視可能になった画像を表示するもので、操作表示部６４と立体画像表示部６６を備えている。操作表示部６４には、画像標定部３０に用いるパソコン用モニタを用いるとよい。立体画像表示部６６には、偏向眼鏡をかけて立体視可能とするデュアルディスプレイ方式の立体ディスプレイを用いるとよい。
【００３０】
図２はデュアルディスプレイ方式の立体画像表示部を説明する構成斜視図である。デュアルディスプレイ方式は、左右画像を２枚の偏光ディスプレイ６６２、６６４にそれぞれ表示させ、ハーフミラー６６６によって合成する。ハーフミラー６６６によって合成された画像は、偏光眼鏡６６８によって左右それぞれの画像を分離できる偏光状態となっている。即ち、偏光ディスプレイ６６２、６６４で表示される画像の偏光状態は光学的に直交していて、偏光眼鏡６６８による分離が可能となっている。観察者が偏光眼鏡６６８を用いて立体画像表示部６６に表示された画面を観察すると、左右の目に左右画像を同時に表示する状態が実現される。そこで、観察者は左右画像を立体的に観察できる。デュアルディスプレイ方式は、従来の液晶シャッター方式や液晶フィルターシャッター方式と比較して、左右画像を同時に観察しているため、蛍光灯や照明条件等の外部環境ノイズに影響されず、安定して長時間立体視できるという利点がある。
【００３１】
表示部６０には、立体画像だけでなく、計測点の指示、装置の操作用の表示、取得された生画像等も表示するとよい。これら表示は、立体画像表示部６６にあわせて表示しても良いし、あるいは操作表示部６４に表示させても良い。
【００３２】
次に、このように構成された装置の使用について説明する。図３は図１の装置におけるステレオ画像計測の手続きの流れを説明するフローチャートである。まず、市販のデジタルカメラやデジタルビデオカメラを用いて、立体表示したい対象物のステレオ撮影を行う（Ｓ１００）。ステレオ撮影に用いるカメラは１台として撮影方向を右方向と左方向で撮影してもよく、またカメラを２台固定して右方向と左方向からステレオ撮影してもよい。
【００３３】
次に、ステレオ撮影した左右画像を画像データ記憶部２０に読み込む（Ｓ１０２）。そして、画像データ記憶部２０に読み込まれた画像を表示部６０に表示する（Ｓ１０４）。ここで、表示部６０には左右２枚の画像を並べて表示すると、その後の操作が容易になる。表示部６０に操作表示部６４が設けられている場合には、操作表示部６４に表示するとよい。この状態であっても、固定されたステレオアッタチメントで被写体となる対象物に対し平行に撮影した画像であれば、表示部６０に表示すれば、立体視することも可能である。
【００３４】
続いて、ステレオ撮影した左右画像上で対応点の座標値や特徴点において関連する寸法がある場合は、該関連する寸法をデータ入力部５０から入力する（Ｓ１０６）。例えば、実際の座標として３点が既知であれば、データ入力部５０から既知の３点の座標値を入力することができる。すると、Ｓ１１０で処理される左右画像の対応点決定において既知の座標系に変換可能でき、三次元計測が可能となる。データ入力部５０から入力する他のデータとしては、撮影したカメラの傾き（方向）、既知の画像上の寸法、ステレオ撮影した際のカメラ間距離（基線長）がある。これら画像中の６点以上の対応点によりカメラの相対的な位置と傾きを求める相互標定や絶対座標でその位置と傾き求める絶対標定に必要とされるデータとしてデータ入力部５０から既知の３点の座標値等の実際の寸法と合わせる基準量となるデータを入力すれば、相互標定や絶対標定を通して作成された偏位修正されたステレオ画像に写し込まれた被写体の実寸を計測することが可能となる。なお、上記標定は、ステレオ撮影した左右画像上の多数の特徴要素としての特徴点から６点以上の対応点を選択して行なわれる。また、既知の３点の座標値は予め行なった三次元計測値等を使用する。なお、データ入力部５０からのデータ入力に代えて、ステレオ画像取得部１０を用いて基準となる寸法となる部位を予めステレオ画像として写し込んでおいてもよい。
【００３５】
また、データ入力部５０から入力するデータは実際の寸法でなくとも、仮想値を入力して仮想寸法のステレオモデルを作成することも可能である。あるいは、Ｓ１０６にて、データ入力部５０からデータを何もいれないくても、ステレオモデルを作成することは可能であり、立体画像表示部６６に立体視可能なステレオ画像を表示することが可能である。ただし寸法は、基準となる寸法を別途定めないと、現実の寸法に対して相似のステレオ画像が得られるだけとなり、絶対値は得られない。
なお、データ入力部５０へのデータ入力は、Ｓ１０６の位置に代えて、初期設定値として予め入力しても良く、Ｓ１１０で処理される左右画像の対応点決定の際に入力しても良く、あるいは、左右画像の対応点決定処理の後に入力してもよい。
【００３６】
続いて、主画像と従画像の選択を行う（Ｓ１０８）。ここで、主画像とは、自動相関処理の際に、基準カーソルが現れる画像をいう。また、従画像とは、自動相関処理の際に、基準カーソルの位置に対応した相関値の高い位置にカーソルが自動的に移動する従カーソルが現れる画像をいう。
【００３７】
ステレオ撮影した左右画像のどちらを主画像とするかは、使用者に任せられる。主画面とする画像は、使用者が物の形を認識するための利き目側の画像を選択することが望ましい。何故なら、人間の目は両眼で立体視をしているが、物の形を認識するために、左右の何れかが利き目となっているからである。なお、両眼のうち何れが利き目か判断するためには、立体視をしている状態で所定のマークを指差し、一方の目を閉じても所定のマークを指差している側の目を求める。以下の説明においては、主画像は左画像とし、従画像を右画像とする場合を例に説明する。
【００３８】
次に、立体画像を作成するために特徴要素指定部４０の対応点指示部４２により左右画像の対応点を指示決定する（Ｓ１１０）。左右画像上の同一点を最低６点以上対応付けすることによって、先に説明した立体視の原理を適用し、相互標定をする画像標定部３０により、後述する（４）式の共面条件式を用い、さらにモデル座標系ＸＹＺとカメラ座標系ｘｙｚとの変換式（６）、（７）を用いて、各パラメータを求め、カメラの相対的な位置と傾き（外部標定要素）を求めることができる。以上により、カメラの相対的な３次元位置ならびに３軸の傾きが求まり、偏位修正された立体視可能なステレオ画像（ステレオモデル）が作成できるようになる。また、ステレオ撮影したカメラ間の距離（基線長）を入力してやれば、実寸のステレオモデルとすることができる。さらに、６点のうち３点のＸＹＺ座標を与えてやることができれば、実際の座標系変換し、実座標における三次元計測が可能となる。すなわち、相互標定で用いた上記３点以外のステレオ画像の被写体の対応点の実座標が求まる。対応点決定は、画像上で特徴のあるところを左右画像上で決定すれば良いが、明確なターゲットを対象物周辺にプリンタ等で印刷、配置しておけば作業自体は楽なものになる。明確なターゲットマークとしては、黒丸”●”、四角”■”、菱形”◆”、三角形”▲”などがある。なお、この対応点決定から外部標定要素計算までの一連の作業は標定と呼ばれている。
【００３９】
続いて、左右画像の対応点を決定する具体的な処理過程を、図４を参照して説明する。図４は、対応点決定処理を説明するフローチャートである。対応点決定処理に入ると（Ｓ２００）、対応点決定処理としてのマニュアルモード、半自動モード、自動モードと３つのモードの何れか一つを選択する（Ｓ２０２）。なお、以下に説明する左画像と右画像は、その逆の右画像と左画像と逆に置き換えても処理は全く同様であり、そのように読替えて処理してもよい。
【００４０】
マニュアルモードが選択されると、マニュアルモードでの処理が開始される（Ｓ２１０）。まず、表示部上の左画像の特徴となるところを対応点指示部４２のマウスによって指示し、確定する（Ｓ２１２）。確定は、例えばマウスのボタンを押すことなどに行う。確定処理により左画像座標が読み込まれる。次に、左画像と同じ特徴点を表示部の右画像上で対応点指示部４２のマウスにより指示・確定する（Ｓ２１４）。これにより、右画像座標が読み込まれる。このようにマニュアルモードでは、左右画像上で別々に対応点指示部４２により指示、確定させる。そして、対応点として６点以上対応付けをしたか判断し（Ｓ２１６）、６点未満であればＳ２０２のモード選択に戻る。なお、Ｓ２１２に戻ってマニュアルモードによる対応点決定処理を継続するようにプログラムを作成してもよい。６点以上対応付けしていれば、戻しとする。
【００４１】
半自動モードが選択されると、半自動モードでの処理が開始される（Ｓ２２０）。半自動モードでは、特徴要素指定部４０の自動捜索処理部４４にうつる（Ｓ２２２）。次に、表示部６０の左画像上で特徴点を対応点指示部４２のマウスにより指示する（Ｓ２２４）。すると、自動捜索処理部４４は、右画像上の対応点を自動で探索する（Ｓ２２６）。
【００４２】
そして、オペレータは自動捜索処理部４４にて検索された右画像上の対応点が適切であるか、判断する（Ｓ２２８）。この場合、自動捜索処理部４４にて演算された相互相関係数が、ある閾値以上であればＯＫと決定する（例えば０．７以上等）。表示部６０には、対応点指示部４２により、例えば右画像上で左画像上に対応した探索位置にＯＫなら緑表示の点、ＮＧなら赤表示の点を表示したり、カーソルマークの図形を変えたり（例えば、矢印”⇒”から二重丸”◎”にカーソルマーク表示を変更する）、相互相関係数値を表示させたりすることに、オペレータが判定する。右画像探索ＯＫか否かの表示は、オペレータが判断容易であればどのような表示によっても良い。
【００４３】
ＯＫでなかった場合、対応点が他の位置でもよいか判断し（Ｓ２３０）、他の位置でもよければＳ２２４へもどり他の点を指示する。他方、どうしてもその位置を特徴点としたい場合は、右画像上のカーソルをマニュアルにて移動させて指示する（Ｓ２３２）。即ち、例えば対応点指示部４２の奥行き方向を合わせるダイヤル等を回せば、等価的に右画像上のカーソルが動くことになるので、それを調整して、左画像と同じ特徴点のところへ持って行き、あわせる。
【００４４】
そして、Ｓ２２８で右画像探索ＯＫの場合、あるいはＳ２３２にて右画像を指示した場合は、その点の画像座標を読み込む（Ｓ２３４）。例えばマウスのボタンを押すなどして確定させる。そして、対応点として６点以上対応付けをしたか判断し（Ｓ２３６）、６点未満であればＳ２０２のモード選択に戻る。なお、Ｓ２２２に戻って半自動モードによる対応点決定処理を継続するようにプログラムを作成してもよい。６点以上の対応付けしていれば、戻しとする。
【００４５】
上述した半自動モードは、左画像上で特徴点をマウスにより指示することにより、自動で右画像の対応点を探索し、ＯＫかどうか表示している。そこで、オペレータはカーソルマーク表示の表示を見て、自動捜索処理部４４にて検索された右画像上の対応点が適切であれば、検索された対応点を対応点として確定させる（（例えば矢印”⇒”から”◎”に変更されている場合）。半自動モードを用いることにより、オペレータは片方の画像を指示するだけでよいので、対応点決定処理を簡単に処理できる。なお、マウスによる指示と確認のための判定は、ボタンを押すことによっても良いが、更にマウスカーソルを移動して左画像上をなぞるだけで、右画像上の対応点を常に判定表示させるように構成しても良い。左画像上のマウスカーソルに対応する右画像上の対応点を判定表示させると、対応点決定処理をさらに容易に処理できる。
【００４６】
自動モードが選択されると、自動モードでの処理が開始される（Ｓ２４０）。自動モードは、対応点となるターゲットを予め対象物周辺に配置することで、自動でターゲットを検出するモードである。ターゲットとなるものは、予め特徴点として認識しやすいものを対象物周辺に配置する。ターゲットは認識しやすいものであればなんでもよい。例えば、前述した”●”ようなターゲットマークをプリンタにより印刷したり、作成したりして配置する。この場合、ターゲットの正確な位置が予めわかっていれば、正確な三次元計測がその後可能となる。
【００４７】
まず、オペレータは、表示部６０により左右画像上に６点以上のターゲットが含まれているか確認する（Ｓ２４２）。もし左右画像上で６点以上のターゲットが含まれていなければ、マニュアルもしくは半自動モードへ行く（Ｓ２４４）。なお、左右画像に対応する６点以上のターゲットが撮影されていない場合には、ターゲットが６点以上入るように撮影しなおす。そして、特徴要素指定部４０を用いた自動モード処理に移行する（Ｓ２４６）。
【００４８】
自動モード処理では、自動ターゲット検出を行うために、配置したターゲット画像の一つを対応点指示部４２により指示し、特徴要素指定部４０にテンプレート画像として登録する（Ｓ２４８）。そして、自動捜索処理部４４によりテンプレート画像を元に、左画像と右画像の各々のターゲット位置を探索する（Ｓ２５０）。このターゲット位置の探索処理は、例えば先に説明した相互相関係数法等を利用して自動検出させる。そして、探索されたターゲット位置を表示部６０上に表示する（Ｓ２５２）。
【００４９】
オペレータは、探索されたターゲット位置がＯＫであるか判断し（Ｓ２５４）、ＯＫであれば戻しとする。ＮＧであれば、ターゲット位置の修正を行う（Ｓ２５６）。この修正には、マニュアルモードあるいは半自動モードによる処理を用いる。仮に、ＮＧであった場合でも、ターゲットを配置してあるので修正は容易である。
【００５０】
そして、修正されたターゲット位置を用いて、左右画像上での対応点を検出する（Ｓ２５８）。この作業は、特徴要素指定部４０の対応点指示部４２により左右画像の対応点を表示部６０を見ながら指示することにより行う。あるいは、図５（Ａ）のように予めターゲットの配置を決めて、概略平行にステレオ撮影する。すると、ターゲットの配置は撮影した画像上でも保たれるため、対応付けを自動で行うことも可能である。更には、６点以上のターゲットマークを別々に決め、予めテンプレート指定しておいても、対応付けを自動で行うことが可能である。左右画像上での対応点の点数は、最小６点なので作業はマニュアルで行っても簡単にできる。
【００５１】
図３にもどり、Ｓ１１０にて左右画像の対応点の対応付けが終了したら、該対応点を元に画像標定部３０にて外部標定要素（カメラの位置、傾き）を計算する（Ｓ１１２）。外部標定要素の詳細については、後述する立体画像作成の原理の該当箇所に説明されている。
【００５２】
Ｓ１１２にて外部標定要素が求まったら、求めた外部標定要素値により画像の偏位修正（ステレオ画像作成）を行う（Ｓ１１４）。そして、表示部６０にステレオ画像を表示する（Ｓ１１６）。以上のようにして、ステレオ画像が作成される。
【００５３】
さらに表示されたステレオ画像から計測をするか判断し（Ｓ１１８）、Ｙｅｓであれば、計測位置指定を行う（Ｓ１２０）。次に、ステレオ画像における計測位置指定をする具体的な処理過程を図６を参照して説明する。図６は、計測位置指定処理を説明するフローチャートである。計測位置指定処理に入ると（Ｓ４００）、計測位置指定処理としてのマニュアルモード、半自動計測モード、自動計測モードの３モードのうち何れか一つを選択する（Ｓ４０２）。
【００５４】
なお、計測位置指定処理の各モードにおいて、入力データ部により入力されたデータによって、指定された点の三次元座標値、あるいは２点間の距離等が計測できる。ここでは、立体画像表示部６６にて、立体画像が表示されているので、それを見て、確認しながら計測することが可能となる。更に、操作表示部６４上に左右画像別々に表示し、それを見ながら計測することも可能であるが、立体画像表示部６６にて確認しながら行えば、さらに確実な計測が可能になる。
また、対応点指示部４２の立体画像上における奥行き方向の指示は、マウスについたダイヤルや、あるいはダイヤル単体等により指示する。
【００５５】
マニュアルモードが選択されると、マニュアルモードでの計測位置指定の処理が開始される（Ｓ４１０）。ここでは、オペレータが立体画像表示部６６を見ながら操作表示部６４を用いて計測点を指示する手順を説明する。オペレータは、立体画像表示部６６を見ながら、操作表示部６４で表示されている左画像について、計測したい位置を特徴点として指示する（Ｓ４１２）。次に、操作表示部６４で表示されている右画像について、同一点と思われる位置を特徴点として指示する（Ｓ４１４）。そして、立体画像表示部６６を見て、左画像の特徴点と右画像の特徴点がカーソルの指し示す計測したい点として、一致する特徴点の上にあるか確認する（Ｓ４１６）。このカーソルが計測したい点の位置には、画面の平面方向の他に、奥行き方向も含まれる。もし違っていれば、対応点指示部４２のマウスを利用して計測したい位置を指示する（Ｓ４１８）。
【００５６】
オペレータが立体画像表示部６６を見ていると、奥行き方向も同時に観察できるため、奥行き方向の位置も合わせる（Ｓ４２０）。即ち、奥行き方向があっていなければカーソルが対象点より浮いたり沈んだりして見える。この場合、奥行き方向を合わせるダイヤルがあれば、それらを利用して対象点の上にカーソル位置を合わせることができる。このカーソル位置合わせ作業は、実質的には、左右画像の位置あわせをしていることと同じであるが、立体視をしながら行っているので間違いがないのと同時に確実である。即ち、特徴が少ないところでも、左右画像の位置あわせをすることができる。そして、左画像の特徴点と右画像の特徴点が一致していてＯＫであれば、マウスのボタンなどにより位置確定して、座標位置を読み込ませる（Ｓ４２２）。
【００５７】
半自動計測モードが選択されると、半自動計測モードでの計測位置指定の処理が開始される（Ｓ４３０）。半自動計測モードでは、操作表示部６４もしくは立体画像表示部６６どちらを見ながら行ってもよい。半自動計測モードでは、特徴要素指定部４０は、自動捜索処理部４４に移行する（Ｓ４３２）。そして、オペレータは左画像上の計測点をマウスにより指示する（Ｓ４３４）。すると、自動捜索処理部４４によって、左画像上の計測点と同一計測点を右画像上で探索する（Ｓ４３６）。なお、この自動捜索処理部４４による左画像上の計測点と同一計測点を右画像上で探索は、Ｓ２２６にて説明した内容と全く同様である。そして、右画像の探索位置がＯＫか確認する（Ｓ４３８）。
【００５８】
もし右画像の探索位置が左画像上の計測点と違っていれば、マニュアルモードと同様に対応点指示部４２のマウスを利用して計測したい位置を指示する（Ｓ４４０）。この時、オペレータは立体画像表示部６６上で奥行き方向と画像平面方向と同時に観察できるため、奥行き方向の位置も一致させる（Ｓ４４２）。そして、左画像の特徴点と右画像の特徴点が一致していてＯＫであれば、マウスのボタンなどにより位置確定して、座標位置を読み込ませる（Ｓ４４４）。この時、操作表示部６４上には、ＯＫであれば対応する右画像の位置にＯＫ表示をするとよい。また、立体画像表示部６６上であれば、ＯＫ表示もカーソルの色、形状をかえることなどにより確認できるが、実際にあっているかどうかも本人の目で確認することができる。
【００５９】
自動計測モードが選択されると、自動計測モードでの計測位置指定の処理が開始される（Ｓ４５０）。自動計測モードでは、指定した領域の三次元座標値を一括して計測することが可能である。そこで、計測したい領域について指定する計測領域指定処理を行う（Ｓ４５２）。即ち、計測領域の一番外側となる左右画像の境界点を指示する。例えば、大略五角形の領域を一括計測したい場合は、図５（Ｂ）のように対応境界となる境界点を５点指示する。ここでは、オペレータによって指示された境界点を黒丸で表している。そして、オペレータは境界点の表示を参照して、左右画像の境界点を指示する点が適切か判断し（Ｓ４５４）、指定した境界点を間違えたり、気に入らなければＳ４５２に戻り指示しなおす。
【００６０】
左右画像の境界点の指定が適切であれば、各指定点を結線し、立体画像表示部６６に表示して計測領域を明確にする（Ｓ４５６）。すると、図５（Ｂ）のように立体画像表示部６６の表示は、対応境界となる境界点を結線した表示となる。そして、オペレータは境界点及び結線表示を参照して、計測領域の指定が適切であるかを確認する（Ｓ４５８）。適切でない場合は、不適切な指定点と対応する結線をクリアして（Ｓ４６０）、Ｓ４５２に戻り指示しなおす。計測領域の指定が適切であれば、計測領域として確定する（Ｓ４６２）。このようにして、計測領域を決めれば、その領域において左右画像の対応点が間違いなく決まっているので、確実な一括計測が可能となる。また、一括計測において、これらの左右画像の対応点を利用すれば、信頼性、速度ともにあげることが可能となる。
【００６１】
次に、計測領域指定された領域内の対応点に対して、自動捜索処理部４４により自動で対応点検出を一括処理する（Ｓ４６４）。ここでは、画像相関処理により行う。例えば先に説明した、相互相関係数法を利用して、左画像をテンプレート、右画像をその探索領域として各点の対応点検出を行えばよい。なお、画像相関処理として、粗密探索相関法やその他の画像相関処理として利用される通常の処理方法を用いても良い。
【００６２】
図３にもどり、対応点の左右座標値から計測値を演算処理部４８によって算出する（Ｓ１２２）。演算は、先に説明したステレオ法の原理により計算される。自動計測モードで、計測領域の対応点を自動検出した場合は、その対応点検出したすべての点について計算する。そして、計測値を表示部６０上に表示する（Ｓ１２４）。そして、Ｓ１１８に戻り、さらに計測を続けるか判断し（Ｓ１１８）、続けるのであれば繰り返し測定する。計測を続けない場合は、終了する。
【００６３】
なお、自動計測により領域を計測した場合であれば、表示は、数値でなく鳥瞰図や等高線図等で表示することも可能である。また、これら領域の計測値データを他のＣＡＤ(Computer Aided Design)装置等にわたして、ＣＡＤ側で処理してもよい。
【００６４】
次に、上記の実施の形態において用いたステレオ画像計測における基本原理を項目毎に説明する。
１．［ステレオ法の原理］
ステレオ法の原理について以下説明する。図７はステレオ法の原理の説明図である。図７に示すように、２台のカメラ１、２が、光軸が平行で、カメラレンズの主点から撮像面としてのＣＣＤ面までの距離ａが等しく、ＣＣＤは光軸に直角に置かれているものとする。また、カメラ１、２の間隔と等しい、２つの光軸間距離（基線長）をｌとする。
【００６５】
このとき、物体上の点Ｐ１（ｘ１、ｙ１）、Ｐ２（ｘ２、ｙ２）の座標の間には、以下のような関係がある。
ｘ１＝ａｘ／ｚ −−−（１）
ｙ１＝ｙ２＝ａｙ／ｚ −−−（２）
ｘ２−ｘ１＝ａｌ／ｚ −−−（３）
但し、全体の座標系（ｘ、ｙ、ｚ）の原点をカメラ１のレンズ主点にとるものとする。（３）式よりｚを求め、これを用いて（１）式、（２）式よりｘ、ｙが求められる。以上で、左右画像の対応点を求めれば、その位置の三次元座標を計測することが可能となる。
【００６６】
２．［立体画像作成の原理］
次に立体画像作成についての原理を説明する。立体画像作成の原理は、ステレオ法が成立するように画像を修正すれば、立体視が可能になるということである。立体視可能な画像とは、対象物に対して２枚の画像が平行でありかつ縦視差が除去されているものである。例えば、図８に示されている画像では、左右の画像間でいくらオーバーラップしている領域があっても、左右画像の縮尺が異なり、さらに回転や縦視差があるために、人間の目では立体視することができない。しかしながら、図９のように左右画像の倍率をあわせ、回転を補正し縦視差を除去すれば、人間が立体視可能な画像とすることができ、ステレオ法を成り立たせることができる。
【００６７】
ステレオ画像（ステレオモデル）は、左右画像中に６点以上の同一の対応点を求めることにより作成することができる。即ち、左右の画像上で６点対応する点の画像座標があれば、二つのカメラの相対的な位置と傾きを求めることができるので、それにより左右画像の縮尺、回転、縦視差を補正し、立体視可能なステレオ画像（ステレオモデル）を作成することができる。
【００６８】
２．１［相互標定］
相互標定は、画像中の６点以上の対応点によりカメラの相対的な位置と傾きを求める原理である。図１０は相互標定の説明図である。相互標定では、以下の共面条件式により各パラメータを求める。
【数１】

【００６９】
図１０に示すように、モデル座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。この場合左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要ない。
このような条件にすると、▲４▼の共面条件式は式▲５▼のようになり、この式を解けば各パラメータが求まる。
【数２】

【００７０】
ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式が成り立つ。
【数３】

【００７１】
これらの式を用いて、次の手順により、未知パラメータを求める。
２−▲１▼：初期近似値は通常０とする。
２−▲２▼：共面条件式▲５▼を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を▲６▼、▲７▼式により求め、観測方程式をたてる。
２−▲３▼：最小二乗法をあてはめ、近似値に対する補正量を求める。
２−▲４▼：近似値を補正する。
２−▲５▼：補正された近似値を用いて、２−▲２▼〜２−▲５▼までの操作を収束するまで繰り返す。
【００７２】
以上により、カメラの相対的な３次元位置ならびに３軸の傾きが求まり、立体視可能なステレオ画像（ステレオモデル）が作成できるようになる。また、ステレオ撮影したカメラ間の距離（基線長）を入力してやれば、実寸のステレオモデルとすることができる。さらに、６点のうち３点のＸＹＺ座標を与えてやることができれば、実際の座標系変換し、実座標における三次元計測が可能となる。
【００７３】
３．［相互相関係数法］
相互相関係数による方法では、次式を用いた以下の手順による。
【数４】

３−▲１▼：例えば、特徴要素指定部４０の対応点指示部４２により指示された特徴点となる点を中心とした、Ｎ１×Ｎ１画素の画像をテンプレート画像として左画像から切出す。図１１は左右画像における探索範囲とテンプレート画像の一例を示す図である。
３−▲２▼：テンプレート画像より大きい右画像中のＭ１×Ｍ１画素を探索範囲（Ｍ１−Ｎ１＋１）^２として、探索範囲上でテンプレート画像を動かす。
３−▲３▼：上式の相互相関係数Ｃ(a,b)が最大になるような画像位置を求めて、テンプレート画像に対し探索されたとみなす。完全に左画像と右画像が一致していれば、相互相関係数値Ｃ(a,b)が1.0となる。
一般的には、標定作業により撮影カメラの位置と傾きを求めて、その結果を用いて偏位修正画像を作成する作業が行われる。本実施の形態においては、画像標定部３０により、偏位修正画像を作成する処理を行わせている。
【００７４】
【発明の効果】
以上説明したように、本発明のステレオ画像用処理装置によれば、ステレオ画像取得部で取得された一対のステレオ画像に含まれている特徴要素を指定する特徴要素指定部と、特徴要素指定部で指定された特徴要素の前記ステレオ画像中の位置に基づき前記ステレオ画像の標定を行う画像標定部と、標定の済んだステレオ画像を立体表示する表示部とを備えているので、オペレータは特徴要素指定部を用いてステレオ画像中の特徴要素を指定すれば、画像標定部と表示部によりステレオ画像が作成されて、表示される。
【００７５】
また、さらに指定された特徴要素の寸法決定に用いられるデータを入力するデータ入力部を備えるステレオ画像用処理装置によれば、データ入力部で入力された寸法決定に用いられるデータに基づき、画像標定部により立体視可能に偏位修正されたステレオ画像から、当該ステレオ画像に写し込まれた被写体の実寸が計測可能な状態となる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態を説明する全体構成ブロック図である。
【図２】 デュアルディスプレイ方式の立体ディスプレイを説明する構成斜視図である。
【図３】 図１の装置におけるステレオ画像計測の手続きの流れを説明するフローチャートである。
【図４】 対応点決定処理を説明するフローチャートである。
【図５】 （Ａ）はターゲットの配置の一例、（Ｂ）は対応境界の指示及び結線の表示例を説明する図である。
【図６】 計測位置指定処理を説明するフローチャートである。
【図７】 ステレオ法の原理の説明図である。
【図８】 人間の目では立体視することができない画像の一例を示す図である。
【図９】 人間が立体視可能な画像の一例を示す図である。
【図１０】 相互標定の説明図である。
【図１１】 左右画像における探索範囲とテンプレート画像の一例を示す図である。
【符号の説明】
１０ ステレオ画像取得部
２０ 画像データ記憶部
３０ 画像標定部
４０ 特徴要素指定部
４２ 対応点指示部
４４ 自動捜索処理部
５０ データ入力部
６０ 表示部
６６ 立体画像表示部

Claims (6)

1. ステレオ画像取得部で取得された一対のステレオ画像に含まれている特徴要素を指定する特徴要素指定部と；
   前記指定された特徴要素の前記ステレオ画像中の位置に基づき、前記ステレオ画像を撮影したカメラの外部標定要素を求め、求めた前記外部標定要素を用いて前記ステレオ画像の偏位修正を行う画像標定部と；
   前記偏位修正の済んだステレオ画像を立体表示する立体画像表示部と、前記ステレオ画像の両画像を表示する操作表示部とを有する表示部とを備え；
   前記特徴要素指定部は、前記ステレオ画像内でカーソルを移動させ、前記特徴要素を指示するカーソル移動手段と、前記ステレオ画像内での対応点を自動で探索し、当該探索した対応点に前記カーソルを移動させる自動捜索処理部と、前記操作表示部で表示された前記ステレオ画像の一方の画像でのオペレータによる前記特徴要素の指示により前記ステレオ画像の他方の画像における前記特徴要素のうちから対応点が指定される対応点指示部とを有し；
   前記表示部は、前記一方の画像で前記オペレータにより前記カーソル移動手段を用いて指示された特徴要素と、前記他方の画像で前記自動捜索処理部により探索された対応点が同一の特徴要素であることを示す表示をする；
   立体画像表示装置。
2. 前記表示部は、前記自動捜索処理部にて演算された相互相関係数がある閾値以上であれば、前記同一の特徴要素であることを示す表示をする；
   請求項１に記載の立体画像表示装置。
3. 前記画像標定部は、前記ステレオ画像取得部の撮影基線長を用いて、前記ステレオ画像に対して作成されたステレオモデルに適切な縮尺を与えるように構成されている；
   請求項１又は請求項２に記載の立体画像表示装置。
4. さらに、前記指定された特徴要素間の寸法決定に用いられるデータとして、実際の寸法と合わせる基準量となる、既知の３点の座標値、撮影したカメラの傾き、既知の画像上の寸法又はステレオ撮影した際のカメラ間距離を含むデータを入力するデータ入力部を備え；
   前記画像標定部は、前記データ入力部で入力された寸法決定に用いられるデータに基づき、前記ステレオ画像に写し込まれた被写体の実寸を計測可能とする；
   請求項１乃至請求項３に記載の立体画像表示装置。
5. 前記表示部は、前記標定の済んだステレオ画像を構成する左右画像を２枚の偏光ディスプレイにそれぞれ表示させて、ハーフミラーによって前記２枚の偏光ディスプレイに表示された左右画像を合成し、偏光眼鏡によって当該ステレオ画像を左右画像に分離した状態で視聴可能に構成された；
   請求項１乃至請求項４に記載の立体画像表示装置。
6. ステレオ画像取得部で取得された一対のステレオ画像に含まれている特徴要素を指定する工程と；
   前記指定された特徴要素の前記ステレオ画像中の位置に基づき、前記ステレオ画像を撮影したカメラの外部標定要素を求める工程と；
   求めた前記外部標定要素を用いて前記ステレオ画像の偏位修正を行う工程と；
   前記偏位修正の済んだステレオ画像を立体表示する工程と、前記ステレオ画像の両画像を表示する工程とを有する表示工程とを備え；
   前記特徴要素を指定する工程は、前記ステレオ画像内でカーソルを移動させ、前記特徴要素を指示するカーソル移動工程と、前記ステレオ画像内での対応点を自動で探索し、当該探索した対応点に前記カーソルを移動させる自動捜索処理工程と、前記ステレオ画像の一方の画像でのオペレータの操作による前記特徴要素の指示により前記ステレオ画像の他方の画像おける前記特徴要素のうちから対応点が指定される対応点指示工程とを有し；
   前記表示工程は、前記一方の画像で前記オペレータにより前記カーソル移動工程において指示された特徴要素と、前記他方の画像で前記自動捜索処理工程において探索された対応点が同一の特徴要素であることを示す表示をする；
   立体画像表示方法。

Images