JP3910345B2 - 位置検出装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、車両に搭載された撮像装置により得られる画像に基づいて、対象物の位置を検出する位置検出装置に関する。
【０００２】
【従来の技術】
車両に撮像装置を搭載し、その撮像装置により得られる画像から対象物の位置を検出し、その対象物と当該車両との衝突の可能性を判定する周辺監視装置が従来より提案されている。このような装置では、撮像装置を移動する車両に搭載しているため、車両のピッチングによって車両に固定された撮像装置によって得られる画像にオプティカルフロー（以下「ピッチングフロー」という）が発生する。このピッチングフローは対象物の移動（あるいは当該車両の走行）によって発生するものではないため、撮像装置により得られる画像から対象物の位置検出を行う場合には、ピッチングフローの影響を除く処理を行わないと、検出位置のずれが大きくなるという問題がある。
【０００３】
【発明が解決しようとする課題】
そのため車両の路面からの高さ（車高）を検出する車高センサを設け、このセンサにより検出される車高に基づいて検出位置を補正することが考えられるが、その場合には車高センサが必要となって装置の構造が複雑化する。
【０００４】
本発明はこの点に着目してなされたものであり、車両のピッチングの影響を除く補正を簡単な構成で実現し、正確な位置検出を行うことができる車両用の位置検出装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するため請求項１に記載の発明は、車両に搭載された撮像手段により得られる画像に基づいて、対象物の実空間座標系における位置を検出する位置検出装置において、前記撮像手段により得られた画像から複数の対象物を抽出し、該複数の対象物の画像上での高さ方向の位置変位量に応じてピッチング補正量を算出する補正量算出手段と、前記複数の対象物の画像上の位置を前記ピッチング補正量に応じて補正する補正手段とを備え、前記補正量算出手段は、前記複数の対象物について前記位置変位量の平均値を算出し、該平均値を前記ピッチング補正量とし、前記補正手段は、前記平均値が所定閾値より大きいときに前記ピッチング補正量による補正を実行すること特徴とする。
【０００６】
この構成によれば、撮像手段により得られた画像から複数の対象物が抽出され、該複数の対象物の画像上での高さ方向の位置変位量に応じてピッチング補正量が算出され、前記複数の対象物の画像上の位置が前記ピッチング補正量に応じて補正される。具体的には、複数の対象物について位置変位量の平均値が算出され、該平均値が前記ピッチング補正量とされ、前記平均値が所定閾値より大きいときにピッチング補正量による補正が実行されるので、当該車両のピッチングによって画像内の高さ方向の位置変位が発生した場合でも、車高センサなどを使用することなく簡単な構成でその影響を除き、正確な位置検出を行うことができる。
【０００７】
前記補正量算出手段は、前記複数の対象物について前記位置変位量の平均値を算出し、該平均値を前記ピッチング補正量とすることが望ましく、また前記補正手段は、前記平均値が所定閾値より大きいときに前記ピッチング補正量による補正を実行することが望ましい。複数の対象物についての前記位置変位量の平均値が大きいときは、ピッチング以外の要因（当該車両の走行または対象物の実空間上の移動）による画像上の位置変位量は、ピッチングによる画像上の位置変位量と比べて微少であると考えられるので、この構成により簡単な構成で有効なピッチング補正量を得ることができる。
【０００８】
【発明の実施の形態】
以下本明の実施の形態を図面を参照して説明する。
図１は本発明の一実施形態にかかる位置検出装置を含む、車両の周辺監視装置の構成を示す図であり、この装置は、遠赤外線を検出可能な２つの赤外線カメラ１Ｒ，１Ｌと、当該車両のヨーレートを検出するヨーレートセンサ５と、当該車両の走行速度（車速）ＶＣＡＲを検出する車速センサ６と、ブレーキの操作量を検出するためのブレーキセンサ７と、これらのカメラ１Ｒ，１Ｌによって得られる画像データに基づいて車両前方の動物等の対象物を検出し、衝突の可能性が高い場合に警報を発する画像処理ユニット２と、音声で警報を発するためのスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示するとともに、衝突の可能性が高い対象物を運転者に認識させるためのヘッドアップディスプレイ（以下「ＨＵＤ」という）４とを備えている。
【０００９】
カメラ１Ｒ、１Ｌは、図２に示すように車両１０の前部に、車両１０の横方向の中心軸に対してほぼ対象な位置に配置されており、２つのカメラ１Ｒ、１Ｌの光軸が互いに平行となり、両者の路面からの高さが等しくなるように固定されている。赤外線カメラ１Ｒ、１Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
【００１０】
画像処理ユニット２は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（Central Processing Unit）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ３の駆動信号、ＨＵＤ４の表示信号などを出力する出力回路などを備えており、カメラ１Ｒ，１Ｌ及びセンサ５〜７の出力信号は、ディジタル信号に変換されて、ＣＰＵに入力されるように構成されている。
ＨＵＤ４は、図２に示すように、車両１０のフロントウインドウの、運転者の前方位置に画面４ａが表示されるように設けられている。
【００１１】
図３は画像処理ユニット２における対象物の位置検出処理の手順を示すフローチャートであり、先ずカメラ１Ｒ、１Ｌの出力信号をＡ／Ｄ変換して画像メモリに格納する（ステップＳ１１，Ｓ１２，Ｓ１３）。画像メモリに格納される画像データは、輝度情報を含んだグレースケール画像のデータである。図５（ａ）（ｂ）は、それぞれはカメラ１Ｒ，１Ｌによって得られるグレースケール画像（カメラ１Ｒにより右画像が得られ、カメラ１Ｌにより左画像が得られる）を説明するための図であり、ハッチングを付した領域は、中間階調（グレー）の領域であり、太い実線で囲んだ領域が、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域（以下「高輝度領域」という）である。右画像と左画像では、同一の対象物の画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１２】
図３のステップＳ１４では、右画像を基準画像とし、その画像信号の２値化、すなわち、実験的に決定される輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。図６に図５（ａ）の画像を２値化した画像を示す。この図は、ハッチングを付した領域が黒であり、太い実線で囲まれた高輝度領域が白であることを示している。
【００１３】
続くステップＳ１５では、２値化した画像データをランレングスデータに変換する処理を行う。図７（ａ）はこれを説明するための図であり、この図では２値化により白となった領域を画素レベルでラインＬ１〜Ｌ８として示している。ラインＬ１〜Ｌ８は、いずれもｙ方向には１画素の幅を有しており、実際にはｙ方向には隙間なく並んでいるが、説明のために離間して示している。またラインＬ１〜Ｌ８は、ｘ方向にはそれぞれ２画素、２画素、３画素、８画素、７画素、８画素、８画素、８画素の長さを有している。ランレングスデータは、ラインＬ１〜Ｌ８を各ラインの開始点（各ラインの左端の点）の座標と、開始点から終了点（各ラインの右端の点）までの長さ（画素数）とで示したものである。例えばラインＬ３は、（ｘ３，ｙ５）、（ｘ４，ｙ５）及び（ｘ５，ｙ５）の３画素からなるので、ランレングスデータとしては、（ｘ３，ｙ５，３）となる。
【００１４】
ステップＳ１６、Ｓ１７では、図７（ｂ）に示すように対象物のラベリングをすることにより、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインＬ１〜Ｌ８のうち、ｙ方向に重なる部分のあるラインＬ１〜Ｌ３を１つの対象物１とみなし、ラインＬ４〜Ｌ８を１つの対象物２とみなし、ランレングスデータに対象物ラベル１，２を付加する。この処理により、例えば図６に示す高輝度領域が、それぞれ対象物１から４として把握されることになる。
【００１５】
ステップＳ１８では図７（ｃ）に示すように、抽出した対象物像の面積重心Ｇ、面積Ｓ及び破線で示す外接四角形の縦横比ＡＳＰＥＣＴを算出する。面積Ｓは、ランレングスデータの長さを同一対象物について積算することにより算出し、面積重心Ｇの座標は、面積Ｓをｙ方向に沿って２等分する線のｘ座標及びｘ方向に沿って２等分する線のｙ座標として算出し、縦横比ＡＰＥＣＴは、図７（ｃ）に示すＤｙとＤｘとの比Ｄｙ／Ｄｘとして算出する。なお、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００１６】
ステップＳ１９では、対象物の時刻間追跡、すなわちサンプリング周期毎に同一対象物の認識を行う。アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、図８（ａ）に示すように時刻ｋで対象物１，２を抽出した場合において、時刻（ｋ＋１）で抽出した対象物３，４と、対象物１，２との同一性判定を行う。具体的には、以下の同一性判定条件１）〜３）を満たすときに、対象物１、２と対象物３、４とは同一であると判定し、対象物３、４をそれぞれ１，２というラベルに変更することにより、時刻間追跡が行われる。
【００１７】
１）時刻ｋにおける対象物ｉ（＝１，２）の画像上での重心位置座標を、それぞれ（ｘｉ（ｋ），ｙｉ（ｋ））とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の画像上での重心位置座標を、（ｘｊ（ｋ＋１），ｙｊ（ｋ＋１））としたとき、
｜ｘｊ（ｋ＋１）−ｘｉ（ｋ）｜＜ΔｘＭ
｜ｙｊ（ｋ＋１）−ｙｉ（ｋ）｜＜ΔｙＭ
であること。ただし、ΔｘＭ、ΔｙＭは、それぞれｘ方向及びｙ方向の画像上の変位量の許容値である。なお、ｙ方向の許容値ΔｙＭは、車両１０のピッチングによる画像上の変位量も考慮して設定されている。
【００１８】
２）時刻ｋにおける対象物ｉ（＝１，２）の画像上での面積をＳｉ（ｋ）とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の画像上での面積をＳｊ（ｋ＋１）としたとき、
Ｓｊ（ｋ＋１）／Ｓｉ（ｋ）＜１±ΔＳ
であること。ただし、ΔＳは面積変化の許容値である。
【００１９】
３）時刻ｋにおける対象物ｉ（＝１，２）の外接四角形の縦横比をＡＳＰＥＣＴｉ（ｋ）とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の外接四角形の縦横比をＡＳＰＥＣＴｊ（ｋ＋１）としたとき、
ＡＳＰＥＣＴｊ（ｋ＋１）／ＡＳＰＥＣＴｉ（ｋ）＜１±ΔＡＳＰＥＣＴ
であること。ただし、ΔＡＳＰＥＣＴは縦横比変化の許容値である。
【００２０】
図８（ａ）と（ｂ）とを対比すると、各対象物は同図（ｂ）の方が画像上での大きさが大きくなっているが、対象物１と３とが上記同一性判定条件を満たし、対象物２と４とが上記同一性判定条件を満たすので、対象物３、４はそれぞれ対象物１、２と認識される。このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
図３のステップＳ２０では、図４に示すピッチング補正処理、すなわち車両１０のピッチングにより画像上のオプティカルフローが発生した場合に対象物の画像上の位置を補正する処理を実行する。
【００２１】
図９は、抽出されている対象物数Ｎ＝３の場合を例にとって、各対象物の画像上の変位ベクトルＶＭ１〜ＶＭ３，ピッチングにより発生したオプティカルフローであるピッチングベクトルＶｐ及びピッチングがなかったとした場合の各対象物の画像上の変位ベクトルＶＭ１ｐ〜ＶＭ３ｐの関係を示す図である。この図でＯＢＪＯＬＤｉ及びＯＢＪＮＯＷｉは、それぞれ対象物ｉ（＝１，２，３）の前回位置（１サンプル周期前の位置）及び今回位置を示す。
【００２２】
図４のステップＳ４１では、下記式（１）により、ピッチングにより発生する画像上のｙ方向変位量（以下「ピッチングフロー」という）Δｙｐを算出する。
【数１】

ここでｙｉＮＯＷ及びｙｉＯＬＤは、それぞれ今回の対象物ｉ（ｉ＝１〜Ｎ）の重心のｙ座標及び前回（１サンプル周期前）の対象物ｉの重心のｙ座標であり、Ｎは、抽出されている対象物の数である。式（１）のピッチングフローΔｙｐは、下記式（２）で示される評価関数Ｅを最小とするｙ座標変位量Δｙとして算出されたものであり、Ｎ個の対象物の画像上での単位時間当たり（本実施形態では１サンプル周期当たり）のｙ方向変位量の平均値に相当する。自車両１０の走行または対象物の移動に起因する画像上のｙ方向変位量（ピッチングがない場合の対象物のｙ方向の変位量）は、ピッチングにより発生する変位量に比べて微少であること、及びピッチングにより発生するオプティカルフロー（ピッチングベクトルＶｐ）は、画像上の位置に依存せず、すべての対象物について一律に近似できることから、本実施形態では、ピッチングフローΔｙｐを、式（２）の評価関数Ｅを最小とするΔｙとして定義している。
【数２】

【００２３】
次いでピッチングフローΔｙｐの絶対値が、所定閾値ΔｙＴＨより大きいか否かを判別し（ステップＳ４２）、｜Δｙｐ｜＞ΔｙＴＨであるときは、車両１０のピッチングが大きいと判定して、対象物ｉ（ｉ＝１〜Ｎ）のｙ座標ｙｉＮＯＷにピッチングフローΔｙｐを加算することにより、ピッチング補正を行う（ステップＳ４３）。なお、所定閾値ΔｙＴＨは実験により適切な値に設定する。
【００２４】
上記したように自車両１０または対象物の移動に起因する画像上のｙ方向の変位（ピッチングがない場合の対象物のｙ方向の変位）は、ピッチングにより発生する変位に比べて微少であるので、式（１）により算出されたピッチングフローΔｙｐの絶対値が所定閾値ΔｙＴＨを越えるような場合は、Δｙｐをすべてピッチングによって発生した変位量とみなして、ｙ座標を補正するようにしたものである。図９のＯＢＪＮＯＷｉｐ（ｉ＝１，２，３）で示す位置が、各対象物の補正後の位置に相当する。
【００２５】
一方ステップＳ４２で｜Δｙｐ｜≦ΔｙＴＨであるときは、ピッチングの影響は無視できると判定して直ちにステップＳ４４に進み、ｙ座標の補正は行わない。
ステップＳ４４では、各対象物のｙ座標の今回値ｙｉＮＯＷを前回値ｙｉＯＬＤとし、本処理を終了する。これにより、１サンプル周期後の処理では、今回の処理における今回値が前回値として用いられる。
【００２６】
図４の処理によれば、カメラ１Ｒにより得られる画像自体に基づいて自車両１０のピッチングによるｙ方向、すなわち高さ方向の変位量Δｙｐが算出され、これにより対象物のｙ座標が補正されるので、ピッチング補正を簡単な構成で実現することができ、その結果以下に説明する実空間座標系における対象物の位置をより正確に検出することが可能となる。
なお以上説明した図３のステップＳ１４〜Ｓ２０の処理は、２値化した基準画像（本実施形態では、右画像）ついて実行する。
【００２７】
図３のステップＳ３１では、図１０に示すように右画像に含まれる対象物像Ｒ１に対応する左画像中の対象物像Ｒ２を求め、右画像のｘ方向の中心線ＬＣＴＲと対象物像Ｒ１の重心との距離ｄＲ、及び左画像の中心線ＬＣＴＲと対象物像Ｒ２の重心との距離ｄＬを算出し、下記式（３）にこれらを適用して自車両１０からその対象物までの距離ｚを算出する。ステップＳ３１は、ステップＳ１９，Ｓ２０の処理に比べて長い時間を要するので、ステップＳ１９，Ｓ２０より長い周期（例えばステップＳ１１〜Ｓ２０の実行周期の３倍程度の周期）で実行される。
【数３】

【００２８】
ここで、Ｂは基線長、すなわち図１１に示すようにカメラ１Ｒの撮像素子１１Ｒの中心位置と、カメラ１Ｌの撮像素子１１Ｌの中心位置との水平方向（ｘ方向）の距離（両カメラの光軸の間隔）、Ｆはレンズ１２Ｒ、１２Ｌの焦点距離、ｐは、撮像素子１１Ｒ、１１Ｌ内の画素間隔であり、Δｄ（＝ｄＲ＋ｄＬ）が視差量である。またｆは、焦点距離Ｆと画素間隔ｐの比である。
【００２９】
ステップＳ２１では、画像内の座標（ｘ，ｙ）及び式（３）により算出した距離ｚを下記式（４）に適用し、実空間座標系における座標（Ｘ，Ｙ，Ｚ）に変換する。ここで、実空間座標系Ｘ−Ｙ−Ｚは、図１２（ａ）に示すように、カメラ１Ｒ、１Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標系は同図（ｂ）に示すように、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
【数４】

【００３０】
ここで、（ｘｃ，ｙｃ）は、右画像上の座標（ｘ，ｙ）を、カメラ１Ｒの取り付け位置と、実空間原点Ｏとの相対位置関係基づいて、実空間原点Ｏと画像の中心とを一致させた仮想的な画像内の座標に変換したものである。またｆは、焦点距離Ｆと画素間隔ｐとの比である。
【００３１】
以上のように本実施形態では、自車両１０のピッチングに起因するｙ方向、すなわち高さ方向の位置ずれを示すピッチングフローΔｙｐを、カメラ１Ｒによって得られる画像データから算出し、対象物のｙ座標を補正するようにしたので、自車両１０のピッチングの影響を除いて正確な位置データを得ることができる。
【００３２】
画像処理ユニット２は、図３の処理により算出された対象物の実空間上の位置情報に基づいて、その対象物と自車両１０との衝突の可能性を判定し、衝突の可能性が高いときは、スピーカ３及びＨＵＤ４を介して運転者への警報を発する。
【００３３】
本実施形態では、画像処理ユニット２が位置検出装置を構成し、より具体的には、図３のステップＳ１６〜Ｓ１９及び図４のステップＳ４１が補正量算出手段に相当し、図４のステップＳ４２及びＳ４３が補正手段に相当する。
なお本発明は上述した実施形態に限るものではなく、種々の変形が可能である。例えば、上述した実施形態では、抽出した対象物すべてのｙ座標の変位量の平均値をピッチングフローΔｙｐとしたが、抽出した対象物の一部（ただし少なくとも２以上の対象物とする）のｙ座標の変位量からピッチングフローΔｙｐを算出するようにしてもよい。
【００３４】
また、本実施形態では、撮像手段として赤外線カメラを使用したが、例えば特開平９−２２６４９０号公報に示されるように通常の可視光線のみ検出可能なテレビカメラを使用してもよい。ただし、赤外線カメラを用いることにより、動物等あるいは走行中の車両などの抽出処理を簡略化することができ、演算装置の演算能力が比較的低いものでも実現できる。
【００３５】
【発明の効果】
以上詳述したように本発明によれば、撮像手段により得られた画像から複数の対象物が抽出され、該複数の対象物の画像上での高さ方向の位置変位量に応じてピッチング補正量が算出され、前記複数の対象物の画像上の位置が前記ピッチング補正量に応じて補正される。具体的には、複数の対象物について位置変位量の平均値が算出され、該平均値が前記ピッチング補正量とされ、前記平均値が所定閾値より大きいときにピッチング補正量による補正が実行されるので、当該車両のピッチングによって画像内の高さ方向の位置変位が発生した場合でも、車高センサなどを使用することなく簡単な構成でその影響を除き、正確な位置検出を行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかる位置検出装置を含む、車両の周辺監視装置の構成を示す図である。
【図２】赤外線カメラの取り付け位置を説明するための図である。
【図３】対象物を抽出した位置検出を行う処理の手順を示すフローチャートである。
【図４】図３のピッチング補正処理のフローチャートである。
【図５】赤外線カメラにより得られるグレースケール画像を説明するために、中間階調部にハッチングを付して示す図である。
【図６】グレースケール画像を２値化した画像を説明するために、黒の領域をハッチングを付して示す図である。
【図７】ランレングスデータへの変換処理及びラベリングを説明するための図である。
【図８】対象物の時刻間追跡を説明するための図である。
【図９】ピッチング補正を説明するための図である。
【図１０】視差の算出方法を説明するための図である。
【図１１】視差から距離を算出する手法を説明するための図である。
【図１２】本実施形態における座標系を示す図である。
【符号の説明】
１Ｒ、１Ｌ 赤外線カメラ（撮像手段）
２ 画像処理ユニット（補正量算出手段、補正手段）

Claims (1)

1. 車両に搭載された撮像手段により得られる画像に基づいて、対象物の実空間座標系における位置を検出する位置検出装置において、
   前記撮像手段により得られた画像から複数の対象物を抽出し、該複数の対象物の画像上での高さ方向の位置変位量に応じてピッチング補正量を算出する補正量算出手段と、
   前記複数の対象物の画像上の位置を前記ピッチング補正量に応じて補正する補正手段とを備え、
   前記補正量算出手段は、前記複数の対象物について前記位置変位量の平均値を算出し、該平均値を前記ピッチング補正量とし、
   前記補正手段は、前記平均値が所定閾値より大きいときに前記ピッチング補正量による補正を実行すること特徴とする位置検出装置。

Images