JP5481337B2

JP5481337B2 - 画像処理装置

Info

Publication number: JP5481337B2
Application number: JP2010213575A
Authority: JP
Inventors: 晃仁関
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2010-09-24
Filing date: 2010-09-24
Publication date: 2014-04-23
Anticipated expiration: 2030-09-24
Also published as: US10810762B2; JP2012068923A; US20120075428A1

Description

本発明の実施形態は、画像処理装置に関する。

従来から、左右に並べた（視点の異なる）２台のカメラ（ステレオカメラ）により撮像された２枚の画像（ステレオ画像）を用いて、人間が立体として知覚できる３Ｄ画像を生成する技術が知られている。３Ｄ画像を生成するためには、２枚の画像の対応する位置が水平に一致している必要がある。このため、上述したような技術では、２枚の画像それぞれのエピポーラ線が平行となり、かつ高さが一致するような画像変換（以下、平行化変換と称する）を行い、３Ｄ画像を生成する。ここで、エピポーラ線とは、一方のカメラの注目点と光学中心を結ぶ直線が他方のカメラにおいて投影される一意に定まった直線を言う。なお、一方のカメラの注目点を考えた場合、この注目点は、他方のカメラの一意に定まった直線上のいずれかに投影される。

また従来から、通常のレンズよりも画角が広い広角レンズを有するカメラにより撮像された画像の歪みを除去する技術が知られている。このようなカメラは、例えば車両のバックカメラなどに用いられるが、一般的に近接した物体の撮像に用いられるため俯角を付けた状態で固定されることが多い。この結果、撮像された画像からレンズ歪みを除去しても空間的に垂直に立つ物体が垂直に投影されないことがある。このため、上述したような技術では、画像内の物体が平面に対して垂直になるような画像変換（以下、垂直化変換と称する）を行い、画像の歪みを除去する。

特開２００８-１０２６２０号公報

Ａ．Ｆｕｓｉｅｌｌｏｅｔａｌ．， "ＡＣｏｍｐａｃｔＡｌｇｏｒｉｔｈｍｆｏｒｒｅｃｔｉｆｉｃａｔｉｏｎｏｆｓｔｅｒｅｏｐａｉｒｓ"，ＭａｃｈｉｎｅＶｉｓｉｏｎａｎｄＡｐｐｌｉｃａｔｉｏｎｓ，２０００．

しかしながら、上述したような垂直化変換及び平行化変換の両変換を画像に対して行うと、通常、いずれか一方の変換が保たれなくなってしまう。

実施形態の画像処理装置は、複数の撮像部と、テーブル記憶部と、校正部と、を備える。複数の撮像部は、それぞれの光学中心を結ぶベースラインベクトルと平面の法線ベクトルとが直交するように配され、重複する領域を撮像し、複数の画像を得る。テーブル記憶部は、前記複数の画像それぞれの画像上の位置を示す画像位置情報と、前記複数の画像を校正した複数の校正画像それぞれの画像上の位置を示す校正画像位置情報と、を対応付けた位置情報テーブルを記憶する。校正部は、前記位置情報テーブルを用いて、撮像された複数の画像をそれぞれ１度の変換により校正し、前記複数の校正画像を得る。前記複数の校正画像は、前記複数の画像それぞれのレンズ歪みが補正され、前記複数の画像の間で、対応する画像内の位置が水平に一致され、かつ平面に垂直な面に合わせられている。

図１は、本実施形態の画像処理装置の構成例を示すブロック図。図２は、本実施形態の第１、第２撮像部の配置手法例の説明図。図３は、本実施形態の第１、第２撮像部の車両への配置手法例の説明図。図４は、本実施形態の第１、第２撮像部の車両への配置手法例の説明図。図５は、本実施形態のレンズ歪み補正前の画像例を示す図。図６は、本実施形態のレンズ歪み補正後の第１校正画像例を示す図。図７は、本実施形態のステレオ校正パラメータの算出手法例の説明図。図８は、本実施形態の平行化変換前の左画像及び右画像例を示す図。図９は、本実施形態の平行化変換左画像及び平行化変換右画像例を示す図。図１０は、本実施形態の垂直化変換パラメータの算出手法例の説明図。図１１は、本実施形態の俯角の算出手法例の説明図。図１２は、本実施形態の調整変換パラメータの算出手法例の説明図。図１３は、本実施形態の校正前の右画像及び左画像例を示す図。図１４は、本実施形態の第２校正右画像及び第２校正左画像例を示す図。図１５は、本実施形態の画像処理例を示すフローチャート図。図１６は、変形例１の画像処理装置の構成例を示すブロック図。

以下、添付図面を参照しながら、本発明にかかる画像処理装置の実施形態を詳細に説明する。以下の実施形態では、撮像部が２つの場合を例に取り説明するが、これに限定されるものではなく、２つ以上であればいくつであってもよい。

図１は、本実施形態の画像処理装置１の構成の一例を示すブロック図である。図１に示すように、画像処理装置１は、第１撮像部１０と、第２撮像部２０と、表示部３０と、取得部４０と、校正部５０と、生成部８０と、表示制御部９０とを、備える。

第１撮像部１０及び第２撮像部２０は、それぞれの光学中心を結ぶベースラインベクトルと平面の法線ベクトルとが直交するように配され、重複する領域を撮像する。なお本実施形態では、第１撮像部１０及び第２撮像部２０が、それぞれ広角画像を撮像する広角カメラである場合を例に取り説明するが、これに限定されるものではない。第１撮像部１０及び第２撮像部２０は、例えば、それぞれ１００度以上の画角を有するものとする。

図２は、第１撮像部１０及び第２撮像部２０の配置手法の一例を示す説明図である。Ｘ１軸、Ｙ１軸、及びＺ１軸は、第１撮像部１０のカメラ座標系を示す軸であり、Ｘ２軸、Ｙ２軸、及びＺ２軸は、第２撮像部２０のカメラ座標系を示す軸である。ここで、第１撮像部１０の光学中心１１がＸ１軸、Ｙ１軸、及びＺ１軸の原点に設定されており、Ｚ１軸は、第１撮像部１０の光軸方向と一致するように設定され、Ｘ１軸、Ｙ１軸は、それぞれ、画像の横方向、縦方向に平行するように設定されている。同様に、第２撮像部２０の光学中心２１がＸ２軸、Ｙ２軸、及びＺ２軸の原点に設定されており、Ｚ２軸は、第２撮像部２０の光軸方向と一致するように設定され、Ｘ２軸、Ｙ２軸は、それぞれ、画像の横方向、縦方向に平行するように設定されている。そして、第１撮像部１０及び第２撮像部２０は、それぞれの光学中心１１、２１を結ぶベースラインベクトル１０２が平面１０４の法線ベクトル１０６と直交するように配置される。つまり、第１撮像部１０及び第２撮像部２０は、ベースラインベクトル１０２が平面１０４と平行になるように配置される。

図３及び図４は、第１撮像部１０及び第２撮像部２０の車両１１０への配置手法の一例を示す説明図である。図３は、第１撮像部１０及び第２撮像部２０が配置された車両１１０の正面図の一例を示し、図４は、第１撮像部１０及び第２撮像部２０が配置された車両１１０の平面図の一例を示す。

図３及び図４に示すように、第１撮像部１０及び第２撮像部２０を車両１１０に配置する場合、第１撮像部１０及び第２撮像部２０は、それぞれの光学中心１１、２１を結ぶベースラインベクトル１０２が、路面１１２（図２の平面１０４に相当）と平行になるように、かつ車両１１０と平行になるように配置される。なお、第１撮像部１０及び第２撮像部２０は、車両１１０に俯角をつけた状態で配置（固定）されているものとする。

ここで、車両１１０に配置された第１撮像部１０及び第２撮像部２０と路面１１２との関係は、車両１１０の走行中の動きや車両積載物の重みなどにより変化する。但し本実施形態では、ベースラインベクトル１０２が車両１１０と平行になるように第１撮像部１０及び第２撮像部２０を車両１１０に配置しているため、上述の変化が最も大きい車両１１０のピッチングに相当する運動を、ベースラインベクトル１０２を回転軸とする運動に相当させることができる。このため本実施形態によれば、車両１１０の動きや積載物の重みなどの変化があっても、第１撮像部１０及び第２撮像部２０の配置条件を満たすことができる。

なお本実施形態では、第１撮像部１０及び第２撮像部２０の光軸を平行に一致させるような平行ステレオ配置は要求されないため、低コストで第１撮像部１０及び第２撮像部２０を車両１１０に配置することができる。

表示部３０は、人間が立体として知覚できる３Ｄ画像を表示するものであり、例えば、ディスプレイにレンチキュラーレンズなどの光線制御子が配された液晶ディスプレイ、プラズマディスプレイ、又は有機ＥＬディスプレイなどの３次元ディスプレイにより実現できる。

取得部４０は、第１撮像部１０及び第２撮像部２０により撮像されたステレオ画像を取得する。なお以下では、ステレオ画像のうち第１撮像部１０に撮像された画像を右画像と称し、第２撮像部２０により撮像された画像を左画像と称する。

校正部５０は、取得部４０により取得された右画像及び左画像を校正して、右画像及び左画像それぞれのレンズ歪みが補正され、右画像及び左画像の間で、対応する画像内の位置が水平に一致され、かつ平面に垂直な面に合わせられた校正右画像及び校正左画像を得る。校正部５０は、第１校正部６０と、第２校正部７０とを、含む。

第１校正部６０は、取得部４０により取得された右画像及び左画像それぞれのレンズ歪みを校正して、第１校正右画像及び第１校正左画像を得る。なお、以下では、右画像及び左画像をそれぞれ区別する必要がない場合は、単に画像と称する場合があり、第１校正右画像及び第１校正左画像それぞれ区別する必要がない場合は、単に第１校正画像と称する場合がある。

例えば、第１校正部６０は、画像のレンズ歪みをＲａｄｉａｌ歪みモデル及びＴａｎｇｅｎｔｉａｌ歪みモデルを用いて表現し、当該レンズ歪みを校正（補正）する。この場合、レンズ歪みパラメータをＫ＝（Ｋ_１，Ｋ_２，Ｋ_３，Ｋ_４，Ｋ_５）、レンズ歪みなしの正規化画像座標をＸ_ｎ＝（ｘ，ｙ）、レンズ歪みありの正規化座標をＸ_ｄ（ｘ_ｄ，ｙ_ｄ）とすると、第１校正部６０は、レンズ歪みありの正規化座標Ｘ_ｄを、数式（１）で表現する。

但し、ｒ＝ｘ^２＋ｙ^２であり、ｄｘは、数式（２）により表される。

そして第１校正部６０は、レンズ歪みありの画像座標Ｘ_ｐを、レンズ歪みありの正規化画像座標Ｘ_ｄを用いて、数式（３）で表現し、当該レンズ歪みを補正する。

但し、（ｆ_ｘ，ｆ_ｙ）は、焦点距離を有効画素間隔で割った値であり、（ｃ_ｘ，ｃ_ｙ）は、画像中心である。なお、ｆ_ｘ、ｆ_ｙ、ｃ_ｘ、ｃ_ｙ、及びＫは、予め第１撮像部１０及び第２撮像部２０のキャリブレーション作業を行って求めておく。

図５は、レンズ歪み補正前の画像の一例を示す図であり、図６は、レンズ歪み補正後の第１校正画像の一例を示す図である。図５に示すレンズ歪み補正前の画像では、線分２０１及び線分２０２がレンズ歪みにより曲線となっているが、図６に示すレンズ歪み補正後の第１校正画像では、レンズ歪みが補正され、線分２０１及び線分２０２が直線に校正されている。

第２校正部７０は、第１校正部６０により校正された第１校正右画像及び第１校正左画像の間で対応する画像内の位置を水平に一致させるとともに、各画像内の物体を平面に対して垂直にする校正を行い、第２校正右画像及び第２校正左画像を得る。第２校正部７０は、第１算出部７２と、第２算出部７４と、変換部７６とを、含む。

第１算出部７２は、第１校正部６０により校正された第１校正右画像及び第１校正左画像（ステレオ画像）の間で対応する画像内の位置を水平に一致させる平行化変換を行うためのステレオ校正パラメータを算出する。つまり、第１算出部７２は、第１校正右画像及び第１校正左画像内でエピポーラ線が全て水平になり、かつ第１校正右画像及び第１校正左画像間で対応する位置の水平位置を一致させる平行化変換を行うためのステレオ校正パラメータを算出する。なお、エピポーラ線とは、一方のカメラの注目点と光学中心を結ぶ直線が他方のカメラにおいて投影される一意に定まった直線を言う。

以下では、第１撮像部１０（右画像）のステレオ校正パラメータをＷ_ｓ１、第２撮像部２０（左画像）のステレオ校正パラメータをＷ_ｓ２と称するが、それぞれ区別する必要がない場合は、単にステレオ校正パラメータＷ_ｓと称する場合がある。なお、ステレオ校正パラメータＷ_ｓは、３行３列の射影変換行列で表現される。

ここでは、ステレオ校正パラメータＷ_ｓの算出手法について、２通りの方法を説明するが、第１算出部７２は、いずれの方法を用いてステレオ校正パラメータＷ_ｓを算出してもよい。

まず、１つ目の方法について説明する。１つ目の方法では、第１算出部７２は、第１撮像部１０及び第２撮像部２０それぞれの外部パラメータ及び内部パラメータを用いて、ステレオ校正パラメータＷ_ｓを算出する。ここで、外部パラメータは、ワールド座標からの回転行列及び並進ベクトルなどが該当し、内部パラメータは、第１撮像部１０及び第２撮像部２０それぞれの焦点距離を有効画素間隔で割った値や画像中心などが該当する。

図７は、ステレオ校正パラメータＷ_ｓの算出手法の一例を示す説明図である。図７に示す例では、第１算出部７２は、画像面３１０に投影される第１撮像部１０の右画像を、平行化変換により仮想的に平行配置でかつ第１撮像部１０及び第２撮像部２０の両撮像部で同一の画像面３０５に投影される画像３１２に変換するためのステレオ校正パラメータＷ_ｓ１を算出する。同様に、第１算出部７２は、画像面３２０に投影される第２撮像部２０の左画像を、平行化変換により仮想的に平行配置でかつ画像面３０５に投影される画像３２２に変換するためのステレオ校正パラメータＷ_ｓ２を算出する。

第１撮像部１０及び第２撮像部２０の座標軸などは、図２と同様である。つまり、第１撮像部１０の実際のカメラ座標系がＸ１軸、Ｙ１軸、及びＺ１軸であり、第２撮像部２０の実際のカメラ座標系を示す軸がＸ２軸、Ｙ２軸、及びＺ２軸である。ここで、実際のカメラ座標系とは、平行化変換前のカメラ座標系を言う。なお本実施形態では、前述したように、第１撮像部１０及び第２撮像部２０の平行ステレオ配置は要求されていないため、光軸方向であるＺ１軸及びＺ２軸が平行である必要はない。また、Ｘｗ、Ｙｗ、Ｚｗ軸は、ワールド座標系の座標軸を示す。

具体的に説明すると、第１算出部７２は、第１撮像部１０及び第２撮像部２０の実際のカメラ座標系（Ｘ１軸、Ｙ１軸、Ｚ１軸）、（Ｘ２軸、Ｙ２軸、Ｚ２軸）を、ベースラインベクトル１０２が第１撮像部１０及び第２撮像部２０のカメラ座標系の水平軸（Ｘｃ１軸及びＸｃ２軸）と平行になるように、仮想的に回転する。この際、第１算出部７２は、第１撮像部１０及び第２撮像部２０の配置が仮想的に平行となるように、Ｚｃ１軸及びＺｃ２軸の方向、並びにＹｃ１軸及びＹｃ２軸の方向を一致させる。これにより、第１算出部７２は、第１撮像部１０の仮想のカメラ座標系の座標軸（Ｘｃ１，Ｙｃ１，Ｚｃ１）、第２撮像部２０の仮想のカメラ座標系の座標軸（Ｘｃ２，Ｙｃ２，Ｚｃ２）を算出する。よって、ワールド座標系の座標軸（Ｘｗ、Ｙｗ、Ｚｗ）から第１撮像部１０の仮想のカメラ座標系の座標軸（Ｘｃ１，Ｙｃ１，Ｚｃ１）と第２撮像部２０の仮想のカメラ座標系の座標軸（Ｘｃ２，Ｙｃ２，Ｚｃ２）とへ変換する回転行列は同じとなる。また第１算出部７２は、画像面を第１撮像部１０及び第２撮像部２０とで同一とするため、両撮像部の内部パラメータを合わせた仮想的な内部パラメータをそれぞれ作成する。

そして第１算出部７２は、第１撮像部１０の実際のカメラ座標系の座標軸を仮想のカメラ座標系の座標軸へ回転する回転行列と第１撮像部１０の仮想的な内部パラメータなどを用いて、画像面３１０に投影される右画像を画像３１２に変換する射影変換行列（ステレオ校正パラメータＷ_ｓ１）を算出（推定）する。同様に第１算出部７２は、第２撮像部２０の実際のカメラ座標系の座標軸を仮想のカメラ座標系の座標軸へ回転する回転行列と第２撮像部２０の仮想的な内部パラメータなどを用いて、画像面３２０に投影される右画像を画像３２２に変換する射影変換行列（ステレオ校正パラメータＷ_ｓ２）を算出（推定）する。

次に、２つ目の方法について説明する。２つ目の方法では、第１算出部７２は、第１撮像部１０により撮像された右画像及び第２撮像部２０により撮像された左画像それぞれの画像上に対応する対応点を８組以上求め、求めた対応点の組からステレオ校正パラメータＷ_ｓを算出する。この場合、第１算出部７２は、求めた対応点の組から基礎行列を計算し、計算した基礎行列から各画像のエピ極点の方向を推定し、推定したエピ極点が水平方向となるように各画像を回転する。そして第１算出部７２は、エピ極点が水平方向に無限遠に写像するように各画像に射影変換を施し、両画像の対応する特徴点が同じ高さとなるように再び射影変換を施す。ここでは、第１算出部７２は、右画像及び左画像から平行化変換された画像を得るまでに、回転変換を１回と射影変換を２回行っているが、これらの変換は射影変換１回で表せるため、これをステレオ校正パラメータＷ_ｓｉとする。但し、ｉは１又は２を表す。

図８は、平行化変換前の左画像及び右画像の一例を示す図であり、図９は、平行化変換後の平行化変換左画像及び平行化変換右画像の一例を示す図である。但し、第１算出部７２により算出されたステレオ校正パラメータＷ_ｓを用いた平行化変換は、後述の変換部７６により行われる。図８に示す例では、左画像４２０の注目点４２２は、対応する右画像４１０の注目点４１２と水平線上に存在していない。一方、図９に示す例では、平行化変換により互いの画像の対応する注目点が水平線上に存在するように変換されており、平行化変換左画像５２０の注目点５２２と対応する平行化変換右画像５１０の注目点５１２とが、水平線上に存在している。

第２算出部７４は、第１算出部７２により校正された第１校正右画像及び第１校正左画像のそれぞれを画像内の物体が平面に対して垂直になるように垂直化変換を行うための垂直化変換パラメータを算出する。以下では、第１撮像部１０及び第２撮像部２０をそれぞれ区別する必要がない場合は、単に撮像部と称する場合がある。なお、垂直化変換パラメータＷ_ｖは、３行３列の射影変換行列で表現される。

図１０は、垂直化変換パラメータＷ_ｖの算出手法の一例を示す説明図である。図１０に示す例では、第２算出部７４は、第１撮像部１０の右画像６１０及び第２撮像部２０の左画像６２０を、第１撮像部１０の光学中心１１及び第２撮像部２０の光学中心２１を中心として、第１撮像部１０及び第２撮像部２０の光軸が水平になるように仮想的に回転することにより、垂直化変換右画像６１２及び垂直化変換左画像６２２へ変換するための垂直化変換パラメータＷ_ｖを算出する。

具体的に説明すると、第２算出部７４は、数式（４）により垂直化変換パラメータＷ_ｖを算出する。

ここで、Ａ_ｖは、垂直化変換後の仮想的な撮像部の内部パラメータであり、Ａ_ｏは、平行化変換後の仮想的な撮像部の内部パラメータである。なお、Ａ_ｖとＡ_ｏとを同一の値としてもよいし、新たな値に設定してもよい。Ｒは、平行化変換後の仮想的な撮像部のカメラ座標系から垂直化変換後の仮想的な撮像部のカメラ座標系へ変換する回転行列であり、数式（５）により表される。

ここで、αは俯角を示す。ここでは、俯角αの算出（推定）手法について、３通りの方法を説明するが、第２算出部７４は、いずれの方法を用いて俯角αを算出してもよい。

まず、１つ目の方法について説明する。１つ目の方法では、第２算出部７４は、右画像６１０及び左画像６２０（ステレオ画像）間の平面１０４に対する射影変換行列から平面１０４の法線ベクトル１０６を推定する。図２で説明した第１撮像部１０及び第２撮像部２０の配置であると、法線ベクトル１０６は、第１撮像部１０のＸｃ１及び第２撮像部２０のＸｃ２軸には成分を持たない。これにより、第２算出部７４は、俯角αを算出することができる。

次に、２つ目の方法について説明する。２つ目の方法では、第２算出部７４は、画像上の水平線の位置と撮像部の内部パラメータとを用いて推定する。ここで、水平線の位置をｙｈ、内部パラメータの光学中心を（ｃｘ，ｃｙ）で示すと、第２算出部７４は、図１０に示すように、撮像部の焦点距離ΔＦと水平線から光学中心までの距離ΔＹ（ｃｘ−ｙｈ）とから、数式（６）により俯角αを推定する。

次に、３つ目の方法について説明する。３つ目の方法では、第２算出部７４は、空間的に垂直に立つ物体を画像上で垂直となるように変換する。

図１１は、俯角αの算出手法の一例を示す説明図である。図１１に示すように、第２算出部７４は、垂直に立つ物体７１２が端の部分に映るように置かれた画像７１０に対して、俯角αを０度から少し変化させた（撮像部を仮想的に回転させた）画像７２０を後述の変換部７６で説明する方法で生成する。そして第２算出部７４は、生成した画像７２０で物体７１２が垂直に投影されていない場合には、再び俯角αを変化させた画像を生成し、最終的に物体７１２が垂直に投影された画像７３０を得る。第２算出部７４は、画像７３０を生成するために使用した俯角αを正解値として採用する。

なお、第２算出部７４は、俯角αを変化させる代わりに、画像７１０、画像７２０上の水平線の位置ｙｈを変化させながら数式（６）により俯角αを算出するようにしてもよい。この場合、第２算出部７４は、その後、物体７１２が垂直に投影されるように水平線を上下させればよい。

また、第２算出部７４は、画像内の物体を平面に対して垂直に校正した画像の水平線位置が予め指定された水平線位置となるように垂直方向の平行移動を行うための調整変換パラメータを算出して、垂直化変換パラメータに加えるようにしてもよい。具体的には、第２算出部７４は、垂直化変換前後で水平線の位置が変わらないように垂直方向の平行移動を行うための調整変換パラメータを垂直化変換パラメータに加えるようにしてもよい。

図１２は、調整変換パラメータＳの算出手法の一例を示す説明図である。図１２に示すように、第２算出部７４は、垂直変換前の画像８１０に対して撮像部を仮想的に回転させて画像８２０を生成する。但し、撮像部を仮想的に回転させるだけでは、被写体を適切な位置に表示することが難しい。そこで第２算出部７４は、画像８２０に投影される水平線（図示省略）の位置が、画像８１０の水平線８１６とずれないように画像面を移動させることにより、画像８３０のように、画像８１０の水平線８１６と画像８３０の水平線８１６との位置を一致させ、被写体が画像に適切に投影されるように調整変換パラメータＳを算出する。そして第２算出部７４は、算出した調整変換パラメータＳを垂直化変換パラメータＷ_ｖに加える。

ここで、調整変換パラメータＳと垂直化変換パラメータＷ_ｖとは、数式（７）に示す関係がある。

但し、調整変換パラメータＳは、数式（８）により表される。

ここで、Δｄｉｆｆは、数式（９）により求められる。

但し、Ｗ_ｖ ^−１は、数式（１０）により表される。また、ｙｈは水平線８１６の画像の縦位置である。

なお、水平線位置が垂直化変換前後で変化しないようにするには、第２算出部７４は、数式（４）により算出される垂直化変換パラメータＷ_ｖではなく数式（７）により算出される垂直化変換パラメータＷ_ｖを用いるとよい。

変換部７６は、第１算出部７２により算出されたステレオ校正パラメータＷ_ｓ及び第２算出部７４により算出された垂直化変換パラメータＷ_ｖを用いて、第１校正部６０により校正された第１校正右画像及び第１校正左画像に対して画像変換を行い、第２校正右画像及び第２校正左画像を得る。

なお、変換部７６が画像変換に用いる変換パラメータＷ_ｓｖｉは、数式（１１）により表される。但し、ｉは１又は２を表す。

また、変換パラメータＷ_ｓｖｉと画像座標の関係は数式（１２）により表され、変換部７６は、線形補間やバイキュービック補間などを用いて画像を作成する。

なお第２校正部７０は、ステレオ校正パラメータＷ_ｓ及び垂直化変換パラメータＷ_ｖを算出せずに、直接、変換パラメータＷ_ｓｖｉを算出することもできる。この場合、第２校正部７０は、前述のステレオ校正パラメータＷ_ｓの１つ目の算出手法において、第１撮像部１０及び第２撮像部２０の実際のカメラ座標系の水平軸（Ｘｃ１軸及びＸｃ２軸）を光軸方向に一致させ、その後、垂直軸（Ｙｃ１軸及びＹｃ２軸）を平面の法線ベクトルの方向と一致させる。また第２校正部７０は、Ｚｃｈ軸が、それぞれＸｃｈ軸及びＹｃｈ軸のいずれにも直交するように定める。但し、ｈは１又は２を表す。この結果推定されるステレオ校正パラメータＷ_ｓｉは、垂直化された条件も満たしているため、変換パラメータＷ_ｓｖｉと同義となる。

図１３は、校正前の右画像及び左画像の一例を示す図であり、図１４は、第２校正後の第２校正右画像及び第２校正左画像の一例を示す図である。図１３に示す例では、左画像９２０及び右画像９１０（ステレオ画像）の間で対応する画像内の位置が水平に一致しておらず、また、画像内の人間が路面に対して垂直になっていない。一方、図１４に示す例では、第２校正（平行化変換及び垂直化変換）により互いの画像の対応する注目点が水平線上に存在するように変換されており、第２校正左画像１０２０の注目点１０２２と対応する第２校正右画像１０１０の注目点１０１２とが、水平線上に存在している。また、画像内の人間が路面に対して垂直になっている。このように第２校正部７０による校正により、ステレオ画像を平行化したまま垂直物体が垂直になるように投影された画像が生成される。

生成部８０は、第２校正部７０により校正された第２校正右画像及び第２校正左画像から、３Ｄ画像を生成する。

表示制御部９０は、生成部８０により生成された３Ｄ画像を表示部３０に表示させる。

図１５は、本実施形態の画像処理装置１で行われる画像処理の手順の流れの一例を示すフローチャート図である。

まず、それぞれの光学中心を結ぶベースラインベクトルと平面の法線ベクトルとが直交するように配された第１撮像部１０及び第２撮像部２０は、重複する領域の画像を撮像する（ステップＳ１００）。

続いて、取得部４０は、第１撮像部１０及び第２撮像部２０により撮像されたステレオ画像（第１撮像部１０により撮像された右画像及び第２撮像部２０により撮像された左画像）を取得する（ステップＳ１０２）。

続いて、第１校正部６０は、取得部４０により取得された右画像及び左画像それぞれのレンズ歪みを補正（校正）して、第１校正右画像及び第１校正左画像を得る（ステップＳ１０４）。

続いて、第１算出部７２は、第１校正部６０により校正された第１校正右画像及び第１校正左画像（ステレオ画像）の間で対応する画像内の位置を水平に一致させる平行化変換を行うためのステレオ校正パラメータを算出する（ステップＳ１０６）。

続いて、第２算出部７４は、第１校正部６０により校正された第１校正右画像及び第１校正左画像のそれぞれを画像内の物体が平面に対して垂直になるように垂直化変換を行うための垂直化変換パラメータを算出する（ステップＳ１０８）。この際、第２算出部７４は、画像内の物体を平面に対して垂直に校正した画像の水平線位置が予め指定された水平線位置となるように垂直方向の平行移動を行うための調整変換パラメータを算出して、垂直化変換パラメータに加えるようにしてもよい。

続いて、変換部７６は、第１算出部７２により算出されたステレオ校正パラメータ及び第２算出部７４により算出された垂直化変換パラメータを用いて、第１校正部６０により校正された第１校正右画像及び第１校正左画像に対して画像変換を行う（ステップＳ１１０）。

続いて、生成部８０は、変換部７６により画像変換が行われた第２校正右画像及び第２校正左画像から、３Ｄ画像を生成する（ステップＳ１１２）。

続いて、表示制御部９０は、生成部８０により生成された３Ｄ画像を表示部３０に表示させる（ステップＳ１１４）。

以上のように本実施形態では、第１撮像部１０及び第２撮像部２０が、それぞれの光学中心を結ぶベースラインベクトルと平面の法線ベクトルとが直交するように配されている。このため、第１撮像部１０及び第２撮像部２０の配置が幾何学的に平行化及び垂直化の要件を満たしており、画像（ステレオ画像）に対して垂直化変換及び平行化変換の両変換を行っても両変換を保つことができる。これにより、垂直化変換及び平行化変換後のステレオ画像から３Ｄ画像を直接的に作成することができ、人間が知覚しやすい３Ｄ画像を高速に生成することができる。

なお、平行化変換及び垂直化変換を実現するため、ステレオカメラの画像から視差を推定し、推定した視差から画像を合成して３Ｄ画像を作成する手法も考えられるが、この場合、視差を推定するため画像間の対応位置を計算する必要がある。画像間の対応位置は、基準画像（一方のステレオ画像）上に設定された注目点に対して、参照画像（他方のステレオ画像）のエピポーラ線上を探索し、注目点と最も類似性の高い位置を求めることによって得られるが、一般的にエピポーラ線は、基準画像上の設定した注目点の位置によって異なる。このため、エピポーラ線は注目点毎に求めなくてはならず、計算コストが多くなってしまう。

これに対し、本実施形態では、視差を推定する必要がないため、人間が知覚しやすい３Ｄ画像を高速に生成することができる。

また例えば、本実施形態の画像処理装置１を、車両に搭載したバックカメラのモニタの映像を３次元ディスプレイの機能を搭載したナビゲージョン画面に表示する周辺監視装置に適用すれば、運転者は後方の様子を３次元的に確認可能となり、後進時の安全性の向上に寄与することができる。特に本実施形態の画像処理装置１では、垂直化変換が行われているため、空間的に垂直に立つ物体は画像上に垂直に投影され、障害物のまでの距離や物体の種類等が容易に感知できる。

（変形例１）
上記実施形態では、レンズ歪みを補正し、変換パラメータＷ_ｓｖｉ（ステレオ校正パラメータＷ_ｓ及び垂直化変換パラメータＷ_ｖ）を算出して平行化変換及び垂直化変換を行う場合を例に取り説明した。変形例１では、これらの変換結果を利用することにより、変換パラメータＷ_ｓｖｉを算出せずに、レンズ歪みの補正、平行化変換、及び垂直化変換を１度の変換で行う例について説明する。以下では、上記実施形態との相違点の説明を主に行い、上記実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。

図１６は、変形例１の画像処理装置１０１の構成の一例を示すブロック図である。図１６に示すように、変形例１の画像処理装置１０１では、校正部１５０の処理内容、及びテーブル記憶部１５２を更に備える点が上記実施形態の画像処理装置１と相違する。

テーブル記憶部１５２は、第１撮像部１０により撮像された右画像及び第２撮像部２０により撮像された左画像の画像上の位置を示す画像位置情報と、第２校正右画像及び第２校正左画像それぞれの画像上の位置を示す校正画像位置情報と、を対応付けた位置情報テーブルを記憶する。即ち、テーブル記憶部１５２は、レンズ歪み補正前のステレオ画像の画像上の位置を示す画像位置情報と、レンズ歪み補正、平行化変換、及び垂直化変換後のステレオ画像の画像上の位置を示す画像位置情報と、を対応付けた位置情報テーブルを記憶する。テーブル記憶部１５２は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカードなどの磁気的、光学的、又は電気的に記憶可能な既存の記憶装置の少なくともいずれかにより実現できる。なお、位置情報テーブルは、校正部１５０が校正を行って作成してもよいし、予め作成されていてもよい。

校正部１５０は、テーブル記憶部１５２に記憶されている位置情報テーブルを用いて、第１撮像部１０により新たに撮像された右画像及び第２撮像部２０により新たに撮像された左画像を校正して、レンズ歪み補正、平行化変換、及び垂直化変換後の校正右画像及び校正左画像を得る。

変形例１によれば、位置情報テーブルを用いることにより、変換パラメータＷ_ｓｖｉを算出せずに、レンズ歪みの補正、平行化変換、及び垂直化変換を１度の変換で行うことができるため、計算コストを抑えることができる。

（変形例２）
上記実施形態では、第２校正右画像及び第２校正左画像から生成した３Ｄ画像を表示部３０に表示する例について説明したが、３Ｄ画像から、画像同士の対応位置を求めることによって視差を推定し、推定した視差から立体物の検出を行ったり、画像パタンを用いて物体の認識を行ったりしてもよい。また、第２校正右画像及び第２校正左画像の少なくとも一方をそのまま表示部３０に表示してもよい。この場合、表示部３０は３次元ディスプレイである必要はなく、通常のディスプレイであればよい。

上記各実施形態及び上記各変形例の画像処理装置は、ＣＰＵ（Central Processing Unit）などの制御装置と、ＲＯＭやＲＡＭなどの記憶装置と、ＨＤＤやＳＳＤなどの外部記憶装置と、３次元ディスプレイなどの表示装置と、広角カメラなどの撮像装置等を備えており、通常のコンピュータを利用したハードウェア構成で実現可能となっている。また上記各実施形態及び上記各変形例の画像処理装置の上述した各部をソフトウェア的に実現してもハードウェア的にも実現してもよい。

なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。

以上説明したとおり、上記実施形態及び上記各変形例によれば、垂直化変換及び平行化変換の両変換を保つ画像を生成することができる。

１、１０１画像処理装置
１０第１撮像部
２０第２撮像部
３０表示部
４０取得部
５０、１５０校正部
６０第１校正部
７０第２校正部
７２第１算出部
７４第２算出部
７６変換部
８０生成部
９０表示制御部
１５２テーブル記憶部

Claims

それぞれの光学中心を結ぶベースラインベクトルと平面の法線ベクトルとが直交するように配され、重複する領域を撮像し、複数の画像を得る複数の撮像部と、
前記複数の画像それぞれの画像上の位置を示す画像位置情報と、前記複数の画像を校正した複数の校正画像それぞれの画像上の位置を示す校正画像位置情報と、を対応付けた位置情報テーブルを記憶するテーブル記憶部と、
前記位置情報テーブルを用いて、撮像された前記複数の画像をそれぞれ１度の変換により校正し、前記複数の校正画像を得る校正部と、
を備え、
前記複数の校正画像は、前記複数の画像それぞれのレンズ歪みが補正され、前記複数の画像の間で、対応する画像内の位置が水平に一致され、かつ平面に垂直な面に合わせられている
ことを特徴とする画像処理装置。
前記複数の校正画像の少なくともいずれか、又は前記複数の校正画像に基づく立体画像を表示する表示部を更に備えることを特徴とする請求項１に記載の画像処理装置。