JP4095491B2

JP4095491B2 - 距離測定装置、距離測定方法、及び距離測定プログラム

Info

Publication number: JP4095491B2
Application number: JP2003139777A
Authority: JP
Inventors: 千秋青山
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2003-05-19
Filing date: 2003-05-19
Publication date: 2008-06-04
Anticipated expiration: 2023-05-19
Also published as: US20040233280A1; US7659921B2; JP2004340840A

Description

【０００１】
【発明の属する技術分野】
本発明は、複数のカメラで撮像した画像から、対象物の距離を測定する装置、方法、及びプログラムに関する。
【０００２】
【従来の技術】
一般に、ＣＣＤ(Charge-Coupled Device)カメラ等のカメラで対象物をステレオ撮影して、カメラから対象物までの距離を測定しようとする場合、様々な誤差が測定精度に影響する。
例えば、カメラに使用されるレンズの歪曲収差はその一つである。歪曲収差は、撮像した対象物の形状が、樽型又は糸巻き型に歪む誤差である。また、レンズの精度が低い場合には、より複雑に形状の歪みが発生するし、カメラの前に樹脂やガラスの防護カバー類を設置している場合にも、その防護カバーの歪みがレンズとして作用して撮像した画像に歪みを生じさせる。
このように画像に歪みが発生すると、この画像に基づいて対象物までの距離を算出した結果にも誤差が生じる。
【０００３】
歪曲収差は、レンズの組合せや、絞りの設け方により減少させることも可能であるが、撮像後の画像を補正（キャリブレーション）することでも除去することができる。
例えば、歪曲収差が、レンズの中心（画像の中心）からの距離に応じて大きくなると仮定すると、歪曲の量を、レンズの中心（画像の中心）からの距離ｒをパラメータとした関数で表すことができる。従って、格子模様を撮像し、実際の対象物と比較した歪曲の量を複数点測定すれば、撮像画像上の格子の湾曲をｒの関数（近似式）で表し、この関数を逆に利用することで、撮像画像から歪曲を除去することが可能である。（例えば、特許文献１参照）
また、近似式によらずとも、格子模様の撮像画像と、実物の格子模様との対応関係を画素ごとに記憶しておけば、この対応関係を利用することで歪曲の除去が可能である。
【０００４】
ところで、複数台のカメラによって、対象物の位置を検出（ステレオ距離測定）するには、各カメラの位置と、各カメラで撮像した画像の対象物に対応する各画素とに基づいて、三角測量の原理で対象物までの距離を測定することにより行う。そして、この三角測量の原理で、対象物の位置を検出する手法では、各カメラのレンズ系が、ピンホールカメラモデルに基づいていることが前提となっている。このピンホールカメラモデルとは、図７に示すように、基点位置（針穴：ピンホールＨ）を通して入射する光（入射光）のみが、画像面上に到達して、３次元空間（ｘ，ｙ，ｚ）が、画像面上の２次元空間（ｕ，ｖ）に対応付けられるモデルのことをいう。このようにピンホールカメラモデルは、入射光線が一点のピンホールを通って撮像画像として形成されることを想定している。
【０００５】
【特許文献１】
特開平１１−３５５８１３号公報（第３頁、図６等）
【０００６】
【発明が解決しようとする課題】
しかしながら、実用されるレンズ系を有するカメラは、実際には、入射した光線は一点を通らないため、モデルと現実とのズレによる測定誤差が生じる。ステレオ距離測定の誤差に対し、前記したような歪曲の補正を行った上で距離測定を行うことも開示されているが、この補正は、前記したピンホールカメラモデルによる誤差を修正するものではない。
また、基準カメラで撮影した一つの点は、他のカメラで撮影した画像のある線上に射影され、この線をエピポーララインという。ところが、エピポーララインは、画像の歪みに伴って曲線となる。この場合には、基準カメラの点を他の画像上で探索する際に、直線上を探索していくだけでは足りないため、各画像から特徴を抽出して特徴からステレオマッチングを行うことになり、多大な処理が必要となる。特に、広角レンズを用いて、ロボットや車輌に設ける視認装置として利用する場合には、撮像画像における歪みは避けられないため、問題となる。
そこで、本発明では、画像に基づいて対象物の距離を測定する距離測定装置においても、歪みの補正をした上で、少ない処理で正確な距離計算をできるようにすることを課題とする。
【０００７】
【課題を解決するための手段】
前記した課題を解決するため、本発明の請求項１は、複数のカメラで撮影した撮像画像から、対象物までの距離を測定する距離測定装置であって、複数の並設されたカメラと、前記各カメラの光学系の特性に合わせて、前記撮像画像の歪を補正して補正画像を生成する歪補正実行手段と、較正情報を蓄積した較正情報蓄積手段と、前記複数のカメラのうちの１つのカメラで撮影された補正画像における対象物の画素位置を検出すると共に、前記検出した画素位置に対応する前記対象物を、他のカメラで撮影された補正画像のエピポーラライン上で探索することによりに、前記他のカメラで撮影された補正画像における対象物の画素位置を求める画素位置検出手段と、前記較正情報を参照して各補正画像における対象物の画素位置に入射した入射光線の方向及び位置を取得し、この入射光線の方向及び位置から前記対象物までの距離を算出する距離算出手段とを備えたことを特徴とする。そして、前記較正情報は、前記補正画像の座標系における各画素位置又はこの各画素位置と所定の関係にある情報と、その画素位置に入射した入射光線の方向及び位置を特定する情報とを関連づけておく。そして、前記較正情報の入射光線の方向及び位置を特定する情報は、前記入射光線の方向と、基準位置から前記入射光線への変位量とからなる。
【０００８】
このような距離測定装置によれば、複数のカメラで撮像した撮像画像の歪を歪補正実行手段で除去して補正画像を生成する。歪補正は、対象物の距離に応じて補正の程度が異なることから、本来的には、距離が分からなければ正確な補正はできないが、本発明では、仮に距離を一つに決めた条件で歪補正のテーブルなどを用意し、補正を行う。
そして、補正画像から、画素位置検出手段で対象物の画素位置を求め、距離算出手段において、較正情報を参照して、その画素位置に入射した入射光線の方向及び位置を取得し、この方向及び位置に基づいて、対象物までの距離が算出される。この距離の算出は、何れかのカメラと一定の関係にある位置を基準として、入射光線の位置、方向を特定すれば、三角測量の原理を用いて容易に行うことができる。
また、入射光線の方向及び位置を特定する情報を与える較正情報は、各カメラについて、補正画像の画素に入射する光線の方向を実測しておくことでテーブル又は近似式にすることができる。
【０００９】
また、距離測定装置においては、前記較正情報の入射光線の方向及び位置を特定する情報は、前記入射光線上の２点の座標で入射光線を特定することも可能である（請求項２）。
【００１０】
また、本発明の距離測定方法は、複数のカメラで撮影した撮像画像から、前記カメラで撮影した画像の歪を補正した補正画像における各画素位置又はこの各画素位置と所定の関係がある情報と、その画素位置に入射した入射光線の方向及び位置を特定する情報と、を関連づけた較正情報を利用して、対象物までの距離を算出する距離測定装置の距離測定方法であって、前記距離測定装置が、前記各カメラの光学系の特性に合わせて、前記撮像画像の歪を補正して補正画像を生成する歪補正実行ステップと、前記複数のカメラのうちの１つのカメラで撮影された補正画像における対象物の画素位置を検出すると共に、前記検出した画素位置に対応する前記対象物を、他のカメラで撮影された補正画像のエピポーラライン上で探索することによりに、前記他のカメラで撮影された補正画像における対象物の画素位置を求める画素位置検出ステップと、前記較正情報を参照して各補正画像における対象物の画素位置に入射した入射光線の方向及び位置を取得し、この入射光線の方向及び位置から前記対象物までの距離を算出する距離算出ステップとを実行し、前記較正情報の入射光線の方向及び位置を特定する情報が、前記入射光線の方向と、基準位置から前記入射光線への変位量とからなることを特徴とする（請求項３）。
【００１１】
さらに、本発明の距離測定プログラムは、複数のカメラで撮影した撮像画像から、前記カメラで撮影した画像の歪を補正した補正画像における各画素位置又はこの各画素位置と所定の関係がある情報と、その画素位置に入射した入射光線の方向及び位置を特定する情報と、を関連づけた較正情報を利用して、対象物までの距離を算出するため、コンピュータを、前記各カメラの光学系の特性に合わせて、前記撮像画像の歪を補正して補正画像を生成する歪補正実行手段、前記複数のカメラのうちの１つのカメラで撮影された補正画像における対象物の画素位置を検出すると共に、前記検出した画素位置に対応する前記対象物を、他のカメラで撮影された補正画像のエピポーラライン上で探索することによりに、前記他のカメラで撮影された補正画像における対象物の画素位置を求める画素位置検出手段、前記較正情報を参照して各補正画像における対象物の画素位置に入射した入射光線の方向及び位置を取得し、この入射光線の方向及び位置から前記対象物までの距離を算出する距離算出手段として機能させる距離測定プログラムであって、前記較正情報の入射光線の方向及び位置を特定する情報が、前記入射光線の方向と、基準位置から前記入射光線への変位量とからなることを特徴とする（請求項４）。
【００１２】
【発明の実施の形態】
次に、本発明の実施形態について適宜図面を参照しながら説明する。
以下では、まず、一般にレンズ系を有するカメラで撮像された画像の歪みの原因となる、入射光線が一点で交わらないカメラの非ピンホール性について説明し、その非ピンホール性を有するカメラの特性を数値化したキャリブレーションデータについて説明する。その後に、位置検出装置について、順次説明していくこととする。なお、本実施形態の位置検出装置１は、特許請求の範囲にいう距離測定装置であり、距離だけでなく、対象物の空間上の位置を測定することができる。
【００１３】
［カメラの非ピンホール性について］
まず、図８を参照して、一般にレンズ系を有するカメラで撮像した画像において、歪みが発生する原因について説明する。図８は、レンズ系を有するモデルのカメラの模式図である。ここでは、説明を簡略化するため、レンズ系を板ガラスＧとし、ピンホールＨが生成されているものとする。このカメラＣの板ガラスＧに垂直に入射する入射光線ｒ１は、ピンホールＨを通って撮像面Ｉ上の画素Ｒ１に撮像される。また、板ガラスＧに斜めに入射した入射光線ｒ２及びｒ３は、板ガラスＧ内で屈折した後にピンホールＨを通って撮像面Ｉ上の画素Ｒ２及びＲ３に撮像される。
【００１４】
しかし、このカメラＣは、板ガラスＧを通過する前の入射光線ｒ２及びｒ３の延長線であるｒ２´及びｒ３´と、入射光線ｒ１とは、一点では交わらず、ピンホールカメラモデルとはなっていないことがわかる。このため、撮像面Ｉ上の画素Ｒ３には、ピンホールカメラモデルで想定している入射光線ｒｒとは、距離Ｄ分だけずれた入射光線ｒ３が撮像されることになる。
【００１５】
このように、レンズ系（ここでは板ガラスＧ）に入射される入射光線によって像を撮像するカメラは、ピンホール性が崩れていることになる（非ピンホール性）。以下、レンズ系を有するカメラを「非ピンホールカメラ」と呼ぶこととする。
【００１６】
［キャリブレーションデータ］
次に、図９を参照して、非ピンホールカメラの特性を数値化したキャリブレーションデータについて説明する。図９は、キャリブレーションデータの内容を説明するための説明図である。図９に示すように、レンズｌに入射する入射光線Ｒは２点で特定することができる。ここでは、第１の光源位置Ｐ１と、第２の光源位置Ｐ２とから発光される光が同一の撮像画素（ｕ，ｖ）（図示せず）に撮像されたときに、入射光線Ｒがその撮像画素に対応する入射光線であると特定する。
【００１７】
ここで、すべての入射光線との距離の自乗和が最小となる点を光学中心Ｏと定義し、各撮像画素に対応する入射光線Ｒと光学中心Ｏとの距離が最小となる点を、その入射光線Ｒの入射光基点Ｋと定義する。
【００１８】
すなわち、光学中心Ｏ（ｘ₀，ｙ₀，ｚ₀）は、すべての入射光線において、光源位置Ｐ１（ｘ₁，ｙ₁，ｚ₁）と、光源位置Ｐ２（ｘ₂，ｙ₂，ｚ₂）とで特定される入射光線Ｒからの距離ｄの自乗（（１）式）和が最小になる位置を、最小自乗法によって求めた位置となる。
【００１９】
d²=-(A²/B)+C …（１）
【００２０】
ただし、
A=(x₂-x₁)(x₁-x₀)+(y₂-y₁)(y₁-y₀)+(z₂-z₁)(z₁-z₀)
B=(x₂-x₁)²+(y₂-y₁)²+(z₂-z₁)²
C=(x₁-x₀)²+(y₁-y₀)²+(z₁-z₀)²
とする。
【００２１】
これによって、画素位置毎に、光源位置Ｐ１及びＰ２で特定される方向と、光学中心Ｏから入射光基点Ｋへの変位量（３次元ベクトルＶ_D（ｄｘ，ｄｙ，ｄｚ）で表現）とを関連付けたデータをキャリブレーションデータとすることで、非ピンホールカメラの特性を数値化することができる。
【００２２】
なお、キャリブレーションデータは、これに限定されるものではない。例えば、前記した例では、光学中心Ｏを基準位置とし、光学中心Ｏから入射光線へ降ろした垂線の足までのベクトルを変位量Ｖ_DRとしているが、基準位置は、光学中心に限らず、カメラと一定関係にある固定点であれば、どのような点でも構わない。そして、変位量Ｖ_DRは、基準位置から入射光線上の任意の一点へ向かうベクトルであればよく、基準位置から入射光線へ降ろした垂線の足へ向かうベクトルには限られない。
【００２３】
［位置検出装置（距離測定装置）１の構成］
図１は、本発明の実施形態に係る位置検出装置のブロック図である。
図１に示すように、位置検出装置１は、カメラＣと、画像入力手段１０と、歪補正実行手段２０と、記憶装置３０と、画素位置検出手段４０と、位置算出手段（距離算出手段）５０とを備えて構成されている。
【００２４】
カメラＣは、右のカメラＣＲと、左のカメラＣＬが左右に並んで配設されている。カメラＣＲ，ＣＬは、レンズからなる光学系やＣＣＤ素子等を備え、外界をＣＣＤ素子上にレンズで結像して、得られた画像データを画像入力手段１０に出力するよう構成されている。
本実施形態の位置検出装置では、カメラＣＲ，ＣＬの２つを用いているが、３つ以上のカメラを並設することもできる。また、カメラＣＲ，ＣＬは、その光軸が平行に配設されなくてもよく、輻輳して並設されていても良い。
【００２５】
画像入力手段１０は、カメラＣが出力した画像信号をデジタル化して取り込む装置である。
【００２６】
歪補正実行手段２０は、画像入力手段１０から右、左の各撮像画像のデータを受け取り、後述する歪補正テーブル３１を参照して、撮像画像の歪を補正する手段である。歪補正実行手段２０は、右のカメラＣＲが撮像した撮像画像から、右補正画像を生成し、左のカメラＣＬが撮像した撮像画像から、左補正画像を生成する。
【００２７】
記憶装置３０は、位置検出装置１で必要なデータベースや、処理中の画像の記憶や、作業領域のために利用される、ハードディスクなどの記憶装置であり、特許請求の範囲にいう較正情報蓄積手段に相当する。記憶装置３０内には、カメラＣＲ，ＣＬで撮影された画像の歪を除去するための歪補正テーブル３１と、対象物の距離を計算するときに使用される較正テーブル３２Ｒ，３２Ｌとを記憶している。
【００２８】
歪補正テーブル３１は、カメラＣＲ，ＣＬで撮影した画像の歪みを除去するためのテーブルである。ここで、歪補正テーブルの生成方法の一例を簡単に説明する。
図２には、市松模様を撮影した画像と、この画像の歪みを補正した画像の例を示す。図２に示すように、平面に描かれた市松模様をカメラＣＲ，ＣＬで正面から撮影すると、上段の補正前の図のように樽形の歪みが生じる。この補正前の画像から、歪が無視できる画面中心での格子の縦横の画素数に合うように、画面全体の格子点を移動させて下段の補正後の画像を得る。そして、格子点の移動量（相対座標）を補正前の画像の画素位置と対応づけて表にする。格子点の間の各画素については、線形補完を行う。このようにして、歪補正テーブル３１が生成される。この歪補正テーブル３１は、生成するときに市松模様を撮影した距離においては正確に補正することができるが、撮影距離が異なると、完全に正確には補正されない。とはいえ、左右のエピポーララインはほぼ直線となり、ステレオマッチングにおいて直線上を探索しても不都合は生じない。
そして、前記歪補正実行手段２０は、歪補正テーブル３１から、各画素位置についての移動量を取得し、撮像画像の画素を移動させることで、歪を補正する。なお、歪を補正する方法は、このような歪補正テーブル３１を使用する方法には限られず、公知の他の方法を使用することができる。
【００２９】
較正テーブル３２Ｒは、補正画像の各画素位置と、その画素位置に入射した入射光線の方向、および基準位置から入射光線までの変位量とを関連づけたテーブルであり、特許請求の範囲にいう較正情報に相当する。
ここで、対象物ＯＢは、図３に示すように、カメラＣＲの位置を基準として（Ｐｘ，Ｐｙ，Ｐｚ）で表し、角度α_１，α_２、γにより特定することにする。なお、角度α_１，α_２、γは、それぞれ、
α_１：カメラＣＲのカメラ基点Ｐ_Ｒから対象物ＯＢに向かうベクトルＤ_１の、カメラＣＲの光軸ＭＲからの水平方向の角度
γ ：ベクトルＤ_１の終点とｘ座標およびｚ座標の値が同じであってｙ座標の値がカメラ基点Ｐ _Ｒと同じである点を終点としてカメラＣＲのカメラ基点Ｐ _Ｒを始点とするベクトルの、カメラＣＲの光軸ＭＲからの垂直方向の角度
α_２：カメラＣＬのカメラ基点Ｐ_Ｌから対象物ＯＢに向かうベクトルＤ_２の、カメラＣＬの光軸ＭＬからの水平方向の角度
である。ここでのカメラ基点Ｐ_Ｒ，Ｐ_Ｌは、前記したキャリブレーションデータの測定における入射光基点Ｋに相当する。
【００３０】
このように空間座標を設定した場合の較正テーブル３２Ｒの例を図４に示す。図４は、右のカメラＣＲで撮影した画像から生成された補正画像に使用する補正テーブルの例である。図４に示すように、較正テーブル３２Ｒは、補正画像上の座標（ｕｔ_R，ｖｔ_R）と、変位量Ｖ_DR（ｄｘ_R，ｄｙ_R，ｄｚ_R）、角度α₁、および角度γとが関連づけられている。なお、角度α₁および角度γが、特許請求の範囲にいう入射光線の方向を特定する情報であり、変位量Ｖ_DR（ｄｘ_R，ｄｙ_R，ｄｚ_R）が、入射光線の位置を特定する情報である。変位量Ｖ_DR（ｄｘ_R，ｄｙ_R，ｄｚ_R）は、光学中心Ｏからカメラ基点Ｐ_Rへの変位量をベクトルで示したものである。
なお、本明細書で、「較正」テーブル３２Ｒと称しているのは、カメラＣの非ピンホール性を較正する情報となるからである。
【００３１】
このような較正テーブル３２Ｒを作成する際には、まず、前記したキャリブレーションデータの実測により、撮像画像上の座標（ｕ_R，ｖ_R）と、キャリブレーションデータ（座標（ｕ_R，ｖ_R）に入射する光線の方向（角度α１，角度γ）および変位量Ｖ_DR（ｄｘ_R，ｄｙ_R，ｄｚ_R））の関係を求める。そして、前記歪補正テーブル３１により、座標（ｕ_R，ｖ_R）を、座標（ｕｔ_R，ｖｔ_R）に変換することで、座標（ｕｔ_R，ｖｔ_R）と変位量Ｖ_DR（ｄｘ_R，ｄｙ_R，ｄｚ_R）、角度α１、および角度γの関係を求めることができる。
【００３２】
本実施の形態においては、較正テーブル３２Ｒで、補正画像上の座標（ｕｔ_R，ｖｔ_R）とキャリブレーションデータとを関連づけているが、（ｕｔ_R，ｖｔ_R）と所定の関係、つまり、相互に変換可能な関係にある値と、キャリブレーションデータとを関連づけてもよい。
また、較正テーブル３２Ｒは、カメラＣのレンズ系の特性に依存するので、各カメラ毎（右補正画像、左補正画像毎）に用意するが、各カメラＣＲ，ＣＬとが、同じものであれば、両カメラＣＲ，ＣＬで、同じ較正テーブル３２Ｒを共用することができる。但し、角度の取り方により、角度の正負の変換などは必要である。
左補正画像用の較正テーブル３２Ｌは、右補正画像用の較正テーブル３２Ｒと同様に座標と、変位量Ｖ_DL（ｄｘ_L，ｄｙ_L，ｄｚ_L）、角度α₂の関係がテーブル上に登録される（図示せず）。
【００３３】
画素位置検出手段４０は、補正画像から、対象物の画像上の座標（ｕｔ、ｖｔ）位置（画素位置）を検出する手段である。画素位置の検出は、対象物ＯＢに応じて、公知の手法を用いればよい。例えば、対象物が一点の光源や、強いコントラストで明示されたマークであれば、補正画像中から一定のしきい値以上の明るさ又はコントラストを有する画素を探して、この画素を対象物とすればよい。また、単色のボールであれば、その色の群を検出して、その群の重心位置を対象物ＯＢの位置とすることができるし、人物が対象物であれば、動きのある領域を人物と推定して、人物を特定し、人物の領域の中の所定位置、例えば頭頂部を対象物ＯＢと見なすこともできる。
画素位置の検出は、カメラＣの数に応じて複数ある補正画像のうち、少なくとも一つ、例えば、右補正画像について行い、その対象物を他の補正画像、例えば左補正画像の対応するエピポーラライン上で探索して求める。
【００３４】
例えば、この探索は、特開２００１−１０９８７９号公報に記載されているようなArea-Basedマッチングにより行うことができる。本実施形態の例で説明すると、図５（ａ）に示すように、右のカメラＣＲで撮影された基準画像（右補正画像）ＩＲのうち、任意に設定された注目点（注目画素）４１の周りに局所的なウィンドウ（領域）Ｗを設定し、それをテンプレート４２とする。図５（ａ）では、例えばテンプレート４２は、縦５個×横５個の画素で構成されている。そして、図５（ｂ）に示すように、参照画像（左補正画像）ＩＬのエピポーラライン４３上にテンプレート４２がテンプレート４２Ａとして配置され、設定された探索範囲内でマッチングが行われ、次式（２）に従って一致度Ｒ（ｕｔ_L，ｖｔ_L）が演算される。
【００３５】
【数１】

【００３６】
次に、テンプレート４２がエピポーラライン４３に沿って移動され、テンプレート４２Ｂとして配置され、テンプレート４２Ａと同様に、式（２）に従って一致度Ｒ（ｕｔ_L，ｖｔ_L）が演算される。さらにテンプレート４２がエピポーラライン４３に沿って移動され、テンプレート４２Ｃとして配置され、テンプレート４２Ａ，４２Ｂと同様に、式（２）に従って、一致度Ｒ（ｕｔ_L，ｖｔ_L）が演算される。式（２）において、Ｉｍ１（ｕｔ_L，ｖｔ_L）は、基準画像ＩＲの画素を表し、Ｉｍ２（ｕｔ_L＋Δｕｔ_L，ｖｔ_L＋Δｖｔ_L）は、参照画像ＩＬの画素を表している。また、Δｕｔ_L，Δｖｔ_Lは、テンプレート４２のエピポーラライン４３上での移動量を表している。そして、上記式（２）に従って求められた３個の一致度Ｒ（ｕｔ_L，ｖｔ_L）のうち、その値が最小となるとき、基準画像ＩＲと参照画像ＩＬの間の一致度（類似度）が最も高くなる。その点を、参照画像ＩＬ上における、基準画像ＩＲ上の注目点４１に対応する画素位置（対象物ＯＢの画素位置）と判断する。
【００３７】
位置算出手段５０は、画素位置検出手段４０が求めた対象物ＯＢの画素位置に基づき、対象物ＯＢの空間上の位置を算出する手段である。
位置算出手段５０は、右補正画像上の対象物ＯＢの画素位置（ｕｔ_Ｒ，ｖｔ_Ｒ）をキーとして、較正テーブル３２Ｒを参照し、変位量ＶＤ_Ｒ（ｄｘ_Ｒ，ｄｙ_Ｒ，ｄｚ_Ｒ）、角度α_１、角度γを取得する。同様に、左補正画像上の対象物ＯＢの画素位置（ｕｔ_Ｌ，ｖｔ_Ｌ）をキーとして、較正テーブル３２Ｌを参照し、変位量ＶＤ_Ｌ（ｄｘ_Ｌ，ｄｙ_Ｌ，ｄｚ_Ｌ）、及び角度α_２を取得する。
そして、変位量ＶＤ_Ｒ（ｄｘ_Ｒ，ｄｙ_Ｒ，ｄｚ_Ｒ）から、右のカメラＣＲのカメラ基点Ｐ_Ｒ（ｘ_１，ｙ_１，ｚ_１）の座標を求め、変位量ＶＤ_Ｌ（ｄｘ_Ｌ，ｄｙ_Ｌ，ｄｚ_Ｌ）から左のカメラＣＬのカメラ基点Ｐ_Ｌ（ｘ_２，ｙ_２，ｚ_２）の座標を求める。
そして、図３を参照して分かるように、幾何学的な関係から、対象物ＯＢの位置は、次式（３）〜（５）により求められる。
Px ＝（x_１tanα_１ − y_１ − x_２tanα_２＋ y_２）／（tanα_１＋ tanα_２）・・・（３）
Py ＝（Px − x_１）tanα_１＋ y_１・・・（４）
Pz ＝（Px − x_１）tanγ ＋ z_１・・・（５）
なお、現実には、誤差により２つのベクトルＤ_１，Ｄ_２が３次元空間上で交差しないこともあるが、上記式にてＸ−Ｙ平面での交点と、その交点に対するベクトルＤ_１のＺ座標値を交点位置としてもよい。また、ベクトルＤ_１，Ｄ_２それぞれの交点のＺ座標値の平均としてもよい。
【００３８】
なお、以上説明した各手段１０，２０，４０，５０は、コンピュータにこれらの各機能を実行させるプログラムとして構成することが可能である。
【００３９】
［位置検出装置１の動作］
次に、位置検出装置１の動作について図６を参照しながら説明する。図６は、位置検出装置１で対象物の位置を検出するときのフローチャートである。
位置検出装置１は、カメラＣＲ，ＣＬでそれぞれ対象物ＯＢを撮像し、右撮像画像及び左撮像画像を得る（ステップＳ１）。そして、画像入力手段１０が、これらの画像をデジタル画像として入力する（ステップＳ２）。次に、歪補正実行手段２０が、記憶装置３０の歪補正テーブル３１を参照して、画像の歪を補正し、右撮像画像から右補正画像を生成し、左撮像画像から左補正画像を生成する（ステップＳ３、歪補正実行ステップ）。この補正により生成された右補正画像及び左補正画像の互いのエピポーララインはほぼ直線となる。
次に、右補正画像から対象物ＯＢを識別する（ステップＳ４）。この識別の処理は、対象物ＯＢに応じて適宜な手法が取られる。例えば、対象物ＯＢに、白地に特定の色の円形のマークを付けていた場合には、その特定の色を画像処理により見つけ出して、対象物ＯＢを画像上で識別する。そして、右補正画像上の対象物ＯＢの画素位置、つまり、画像上の座標を検出する（ステップＳ５）。例えば、マークの中心の座標を対象物ＯＢの画素位置として検出したり、公知のＳＡＤ(Sum of Absolute Difference)により行う。
次に、右補正画像における対象物ＯＢの画素位置に対応する、左補正画像のエピポーラライン上で、対象物ＯＢを探索し、画素位置を検出する（ステップＳ６）。すなわち、右補正画像の注目点に相当する、左補正画像上のエピポーラライン上で、所定間隔で一致度Ｒ（ｕｔ_L，ｖｔ_L）を演算し、この一致度Ｒ（ｕｔ_L，ｖｔ_L）が最小の画素を対象物ＯＢの画素位置と判断する。ここで、左補正画像上では、一つのライン上のみで対象物ＯＢを検索することになるので、ステレオマッチングに要する処理が少なくて済む。なお、ステップＳ４〜Ｓ６が、特許請求の範囲にいう画素位置検出ステップに相当する。
【００４０】
次に、右補正画像、左補正画像のそれぞれにおける対象物ＯＢの画素位置をキーとして、較正テーブル３２Ｒ，３２Ｌを参照し、その画素位置に入射した光線の位置及び方向を特定する情報を取得する（ステップＳ７）。この情報は、カメラＣＲ（右補正画像）については、カメラ基点Ｐ_Ｒを特定するための変位量ＶＤ_Ｒ（ｄｘ_Ｒ，ｄｙ_Ｒ，ｄｚ_Ｒ）と、角度α_１、角度γであり、カメラＣＬ（左補正画像）については、カメラ基点Ｐ_Ｌを特定するための変位量ＶＤ_Ｌ（ｄｘ_Ｌ，ｄｙ_Ｌ，ｄｚ_Ｌ）と、角度α_２である。
そして、前記した式（３）〜（５）により、対象物ＯＢの位置（Ｐｘ，Ｐｙ，Ｐｚ）を算出する（ステップＳ８）。このようにして対象物ＯＢの位置を算出すれば、Ｐｘが、右カメラＣＲから対象物ＯＢまでの距離となる。なお、ステップＳ７，Ｓ８が特許請求の範囲にいう距離算出ステップに相当する。
【００４１】
以上のようにして、本実施形態の位置検出装置によれば、カメラＣの非ピンホール性を考慮した上で正確に対象物ＯＢの位置及び距離を算出することができる。そして、カメラＣで撮影した画像の歪みを補正してからステレオマッチングを行っているので、少ない処理で対象物の位置及び対象物ＯＢまでの距離を算出することが可能である。
【００４２】
以上、本発明の実施形態について説明したが、本発明は前記した実施形態に限定されず、適宜変更して実施することが可能である。例えば、距離の計算方法は、実施形態のように３次元位置を正確に求める方法ではなく、ステレオマッチングをした際の左右の補正画像における水平画素位置の差（視差）と距離とを対応づけて記憶させておき、撮像した対象物ＯＢにおいて視差を求め、視差から距離を求めることもできる。
また、本実施の形態では、較正情報として較正テーブル３２Ｒ，３２Ｌを用いたが、このようなテーブルに限らず、近似式によって、補正画像の画素位置と入射光線の位置及び方向とを関連づけることもできる。
【００４３】
【発明の効果】
以上詳述したとおり、本発明によれば、少ない処理で正確に対象物までの距離を測定することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る位置検出装置のブロック図である。
【図２】歪を有する撮像画像と、歪補正後の画像を示す図である。
【図３】対象物の位置を計算するための座標系を示す図である。
【図４】較正テーブルの一例を示す図である。
【図５】 Area-Basedマッチングの方法を説明する図である。
【図６】本発明の実施形態に係る位置検出装置の動作を示すフローチャートである。
【図７】ピンホールカメラモデルを示す概念図である。
【図８】レンズ系を有するモデルのカメラの模式図である。
【図９】キャリブレーションデータの内容を説明する図である。
【符号の説明】
１位置検出装置（距離測定装置）
１０画像入力手段
２０歪補正実行手段
３０記憶装置
３１歪補正テーブル
３２Ｒ，３２Ｌ較正テーブル（較正情報）
４０画素位置検出手段
５０位置算出手段（距離算出手段）
Ｃカメラ

Claims

複数のカメラで撮影した撮像画像から、対象物までの距離を測定する距離測定装置であって、
複数の並設されたカメラと、
前記各カメラの光学系の特性に合わせて、前記撮像画像の歪を補正して補正画像を生成する歪補正実行手段と、
前記補正画像の座標系における各画素位置又はこの各画素位置と所定の関係にある情報と、その画素位置に入射した入射光線の方向及び位置を特定する情報と、を関連づけた較正情報を蓄積した較正情報蓄積手段と、
前記複数のカメラのうちの１つのカメラで撮影された補正画像における対象物の画素位置を検出すると共に、前記検出した画素位置に対応する前記対象物を、他のカメラで撮影された補正画像のエピポーラライン上で探索することによりに、前記他のカメラで撮影された補正画像における対象物の画素位置を求める画素位置検出手段と、
前記較正情報を参照して各補正画像における対象物の画素位置に入射した入射光線の方向及び位置を取得し、この入射光線の方向及び位置から前記対象物までの距離を算出する距離算出手段とを備え、
前記較正情報の入射光線の方向及び位置を特定する情報は、前記入射光線の方向と、基準位置から前記入射光線への変位量とからなることを特徴とする距離測定装置。
複数のカメラで撮影した撮像画像から、対象物までの距離を測定する距離測定装置であって、
複数の並設されたカメラと、
前記各カメラの光学系の特性に合わせて、前記撮像画像の歪を補正して補正画像を生成する歪補正実行手段と、
前記補正画像の座標系における各画素位置又はこの各画素位置と所定の関係にある情報と、その画素位置に入射した入射光線の方向及び位置を特定する情報と、を関連づけた較正情報を蓄積した較正情報蓄積手段と、
前記複数のカメラのうちの１つのカメラで撮影された補正画像における対象物の画素位置を検出すると共に、前記検出した画素位置に対応する前記対象物を、他のカメラで撮影された補正画像のエピポーラライン上で探索することによりに、前記他のカメラで撮影された補正画像における対象物の画素位置を求める画素位置検出手段と、
前記較正情報を参照して各補正画像における対象物の画素位置に入射した入射光線の方向及び位置を取得し、この入射光線の方向及び位置から前記対象物までの距離を算出する距離算出手段とを備え、
前記較正情報の入射光線の方向及び位置を特定する情報は、前記入射光線上の２点の座標であることを特徴とする距離測定装置。
複数のカメラで撮影した撮像画像から、前記カメラで撮影した画像の歪を補正した補正画像における各画素位置又はこの各画素位置と所定の関係がある情報と、その画素位置に入射した入射光線の方向及び位置を特定する情報と、を関連づけた較正情報を利用して、対象物までの距離を測定する距離測定装置の距離測定方法であって、
前記距離測定装置は、
前記各カメラの光学系の特性に合わせて、前記撮像画像の歪を補正して補正画像を生成する歪補正実行ステップと、
前記複数のカメラのうちの１つのカメラで撮影された補正画像における対象物の画素位置を検出すると共に、前記検出した画素位置に対応する前記対象物を、他のカメラで撮影された補正画像のエピポーラライン上で探索することによりに、前記他のカメラで撮影された補正画像における対象物の画素位置を求める画素位置検出ステップと、
前記較正情報を参照して各補正画像における対象物の画素位置に入射した入射光線の方向及び位置を取得し、この入射光線の方向及び位置から前記対象物までの距離を算出する距離算出ステップとを実行し、
前記較正情報の入射光線の方向及び位置を特定する情報は、前記入射光線の方向と、基準位置から前記入射光線への変位量とからなることを特徴とする距離測定方法。
複数のカメラで撮影した撮像画像から、前記カメラで撮影した画像の歪を補正した補正画像における各画素位置又はこの各画素位置と所定の関係がある情報と、その画素位置に入射した入射光線の方向及び位置を特定する情報と、を関連づけた較正情報を利用して、対象物までの距離を算出するため、コンピュータを、
前記各カメラの光学系の特性に合わせて、前記撮像画像の歪を補正して補正画像を生成する歪補正実行手段、
前記複数のカメラのうちの１つのカメラで撮影された補正画像における対象物の画素位置を検出すると共に、前記検出した画素位置に対応する前記対象物を、他のカメラで撮影された補正画像のエピポーラライン上で探索することによりに、前記他のカメラで撮影された補正画像における対象物の画素位置を求める画素位置検出手段、
前記較正情報を参照して各補正画像における対象物の画素位置に入射した入射光線の方向及び位置を取得し、この入射光線の方向及び位置から前記対象物までの距離を算出する距離算出手段として機能させる距離測定プログラムであって、
前記較正情報の入射光線の方向及び位置を特定する情報は、前記入射光線の方向と、基準位置から前記入射光線への変位量とからなることを特徴とする距離測定プログラム。