JP4858574B2 - 物体検出装置 - Google Patents

Description

本発明は、撮像装置による撮像画像に基づいて物体を検出する物体検出装置に関する。

従来、車両の衝突防止システム等において、先行車両や対向車両等の他車両との衝突を回避するために、他車両の位置等を検出する物体検出装置が用いられている。この物体検出装置として、レーダによって検出した検出結果とカメラによって撮像した画像とを組み合わせるセンサフュージョンの認識処理によって物体を検出する装置がある。

レーダでは、原理的に検出対象物体の幅を算出できないが、当該物体までの距離情報を取得できる。一方、単眼カメラでは、検出対象物体までの距離は求められないが、物体の幅等を検出することができる。センサフュージョンは、このような複数センサの機能を組み合わせて物体を検出する方法である。センサフュージョンによる物体検出については、これまでにも種々検討がなされている。

例えば、特許文献１には、昼と夜等との区別のないセンサフュージョンの認識処理により、レーダ探査とカメラ撮影の座標のずれの影響なく、自車前方の障害物を認識する障害物認識装置が記載されている。

特開２００５−３２９７７９号公報

ところで、上記のようなセンサフュージョンによる物体検出においては、単眼カメラでは、検出対象物体までの距離は求められないため、単眼カメラからの見え方によっては、自車両の前方のガードレールや壁といった奥行きが長く前方にカーブした物体の水平方向の幅（即ち、厚み方向の幅）を誤って実際よりも厚く見積もってしまうおそれがある。この結果、車両の走行中に当該物体が、自車両の運転における対応をすべき障害物であるか否かを判断する際の判断精度が低下してしまうおそれがある。

本発明は、かかる事情に鑑みてなされたものであり、自車両の前方の物体の水平方向の幅をより正確に見積もって、自車両の運転における対応をすべき障害物であるか否かを判断する際の判断精度を向上させることができる物体検出装置を提供することを目的とする。

上述した目的を達成するために、本発明に係る物体検出装置は、所定範囲が撮像された画像データから物体を検出する撮像検出手段と、撮像検出手段により検出された物体の水平方向の幅を算出する算出手段と、撮像検出手段により検出された物体の画像奥行き方向の長さを推定する推定手段と、推定手段により推定された画像奥行き方向の長さに基づいて、算出手段により算出された水平方向の幅を補正する補正手段と、を備えることを特徴とする。

上記の構成の物体検出装置によれば、所定範囲が撮像された画像データから物体が検出され、検出された物体の水平方向の幅が算出される。そして、検出された物体の画像奥行き方向の長さが推定され、推定された画像奥行き方向の長さに基づいて、算出された水平方向の幅が補正される。このように、画像データから水平方向の幅が一旦算出された後で、推定された画像奥行き方向の長さに基づいて、算出された水平方向の幅の補正が行われるため、自車両の前方の物体の水平方向の幅をより正確に見積もることが可能になる。この結果、自車両の運転における対応をすべき障害物であるか否かを判断する際の判断精度を向上させることができる。

上述した物体検出装置において、所定範囲に電磁波を照射して、当該電磁波が照射された方向に存在する物体における検出点を取得するレーダ検出手段を更に備え、撮像検出手段は、レーダ検出手段により取得された検出点に基づいて、画像データから物体を検出することが好ましい。この構成によれば、所定範囲に電磁波が照射されて、当該電磁波が照射された方向に存在する物体における検出点が取得される。そして、取得された検出点に基づいて、画像データから物体が検出される。このように、レーダ検出手段からの電磁波を用いて検出点が取得され、取得された検出点に基づいて、画像データから物体が検出されるため、より正確に物体を検出することができる。

また、上述した物体検出装置において、推定手段は、レーダ検出手段により取得された、算出手段により算出された水平方向の幅に含まれる第一の検出点までの第一の距離と、当該水平方向の幅に含まれる第二の検出点までの第二の距離との間の差分に基づいて、画像奥行き方向の長さを推定することが好ましい。この構成によれば、レーダ検出手段により取得された、算出された水平方向の幅に含まれる第一の検出点までの第一の距離と、当該水平方向の幅に含まれる第二の検出点までの第二の距離との間の差分に基づいて、画像奥行き方向の長さが推定されるため、より正確に画像奥行き方向の長さを検出することができる。

また、上述した物体検出装置において、撮像検出手段により検出された物体が車両であるか否かを判定する判定手段を更に備え、補正手段は、判定手段により物体が車両であると判定された場合、水平方向の幅を補正しないことが好ましい。この構成によれば、物体が車両であると判定された場合、水平方向の幅が補正されないため、車両の車体背面部分のように奥行きが比較的無く水平方向の幅の補正が不要な物体に関する水平方向の幅を、より正確に検出することができる。

また、上述した物体検出装置において、撮像検出手段により検出された物体の画像データにおける物体領域の傾きを取得する傾き取得手段を更に更に備え、推定手段は、取得手段により取得された傾きに基づいて、画像奥行き方向の長さを推定することが好ましい。この構成によれば、取得された物体の画像データにおける物体領域の傾きに基づいて、画像奥行き方向の長さが推定されるため、自車両の前方のガードレールや壁といった奥行きが長く前方にカーブした物体のように、物体が車両である場合に比べて画像データにおける物体領域の傾きが大きい場合、それに応じて画像奥行き方向の長さが推定される。この結果、画像奥行き方向の長さを、より正確に検出することができる。

本発明によれば、自車両の前方の物体の水平方向の幅をより正確に見積もって、自車両の運転における対応をすべき障害物であるか否かを判断する際の判断精度を向上させることができる物体検出装置を提供することができる。

本発明の好適な第一実施形態に係る物体検出装置を示すブロック構成図である。 単眼カメラ及びカメラＥＣＵにより一時的に算出された水平方向の幅としての補正前水平方向の幅について説明する説明図である。 水平方向の幅と画像奥行き方向の長さとの算出方法について説明する説明図である。 先行車や先々行車が存在する場合の、単眼カメラ及びカメラＥＣＵにより取得された画像データの一例を示す説明図である。 先行車や先々行車が存在する場合の、水平方向の幅の算出方法について説明する説明図である。 物体検出装置において行われる処理を示すフローチャートである。 本発明の好適な第二実施形態に係る物体検出装置におけるガードレールの画像データにおける物体領域の傾きの取得方法を説明する説明図である。 先行車の画像データにおける物体領域の傾きの取得方法を説明する説明図である。 物体検出装置において行われる処理を示すフローチャートである。

以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。

（１）第一実施形態
（１−１）物体検出装置の構成
まず、図１を参照して、本発明の好適な第一実施形態に係る物体検出装置の構成について説明する。図１は、本発明の好適な第一実施形態に係る物体検出装置１０を示すブロック構成図である。本実施形態の物体検出装置１０は、自動車等の車両（以下、自車両という。）に取り付けられて、自車両の前方の物体の水平方向の幅（即ち、厚み方向の幅）をより正確に見積もって、自車両の運転における対応をすべき障害物であるか否かを判断する際の判断精度を向上させる車両周辺監視用装置である。自車両の前方の物体として検出される対象である所定の検出対象物体として、例えば、自車両の前方のガードレールや壁といった奥行きが長く前方にカーブした物体や、先行車や先々行車といった他車両や落下物などの障害物等が挙げられる。

図１に示されるように、物体検出装置１０は、単眼カメラ１（撮像検出手段）と、ミリ波レーダ２（レーダ検出手段）と、カメラＥＣＵ３（撮像検出手段）と、ＤＳＳ（Ｄｒｉｖｅｒ Ｓｕｐｐｏｒｔ Ｓｙｓｔｅｍ）ＥＣＵ４（算出手段）とを備える。なお、カメラＥＣＵ３及びＤＳＳＥＣＵ４は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭを含む電子制御ユニット用コンピュータを主体として構成される。

単眼カメラ１は、自車両の前部に取り付けられた、自車両の前方の画像を撮像する画像撮像部である。単眼カメラ１は、所定時間ごとに自車両の前方の所定範囲を撮像して画像データを生成し、生成した画像データをカメラＥＣＵ３へ逐次出力する。

ミリ波レーダ２は、自車両の前部の単眼カメラ１近傍に取り付けられた、自車両の前方の物体を検出するレーダ検出部である。ミリ波レーダ２は、単眼カメラ１が撮像する自車両の前方の所定範囲と同一範囲においてミリ波帯の電波を左右方向及び上下方向に走査して、その反射波を検出することにより、当該範囲内に存在する物体までの距離データを含む検出点データを取得する。

すなわち、ミリ波レーダ２は、所定範囲内の複数の異なる方向にミリ波帯の電波を照射して、当該電波が照射された方向のそれぞれについて、当該方向に存在する物体までの距離データを含む検出点データを取得する。ミリ波レーダ２は、所定時間ごとに検出点データを取得し、取得した検出点データをカメラＥＣＵ３及びＤＳＳＥＣＵ４に逐次出力する。

カメラＥＣＵ３は、ミリ波レーダ２によって自車両の前方の物体が検出されると、検出された物体に関する検出点データに基づいて画像データから所定の検出対象物体を含む画像処理領域を設定し、この画像処理領域について画像処理を行うことによって物体を探索検出（即ち、センシング）する画像処理部である。カメラＥＣＵ３は、単眼カメラ１に接続されており、単眼カメラ１から出力される画像データを取得する。カメラＥＣＵ３は、ミリ波レーダ２によって検出された物体に関する検出点データに基づいて画像データから画像処理領域を設定し、この画像処理領域について画像処理（例えば、エッジ解析処理や、輝度解析処理や、オプティカルフロー処理等）して特徴や特徴量を抽出することにより、自車両の前方に存在する検出対象物体の画像部分を検出する。カメラＥＣＵ３は、所定の検出対象物体の画像部分を検出するために、公知の種々の画像処理手法を採用すればよい。カメラＥＣＵ３は、検出対象物体の画像部分を検出すると、検出済みの画像部分を含む画像データをＤＳＳＥＣＵ４に出力する。

本実施形態では、カメラＥＣＵ３は、ミリ波レーダ２に接続されており、ミリ波レーダ２から出力される多数の検出点データを取得する。カメラＥＣＵ３は、ミリ波レーダ２から取得した多数の検出点データから検出対象物体に対応する検出点データを抽出して画像処理領域を設定し、抽出した検出点データを参照して画像から検出対象物体を検出する。このようにして、ミリ波レーダ２による物体検出結果と、画像による物体検出結果とが統合される。カメラＥＣＵ３は、検出対象物体を検出すると、検出済みの検出対象物体を特定する検出点データをＤＳＳＥＣＵ４に出力する。

ＤＳＳＥＣＵ４は、検出点データ及び画像データに基づいてこれらデータをフュージョン（融合）させた融合データを用いて、検出対象物体の位置や上記の水平方向の幅等の情報を演算して最終的なセンシングを行なうセンサフュージョン処理部である。ＤＳＳＥＣＵ４は、ミリ波レーダ２及びカメラＥＣＵ３に接続されており、ミリ波レーダ２から出力される検出点データを取得すると共に、カメラＥＣＵ３から出力される検出済みの画像部分を含む画像データを取得する。

ここで、ＤＳＳＥＣＵ４は、検出点データ及び画像データを処理することにより、自車両の前方に存在する所定の検出対象物体の位置や上記の水平方向の幅等の特徴量情報を演算し、必要に応じて補正する。そして、ＤＳＳＥＣＵ４は、この演算結果に基づいて、自車両が検出対象物体と衝突する可能性を判定し、判定結果を、ブレーキ（図示せず）を制御して自車両に制動力を与える制動制御を行う制動部（図示せず）へ出力する。

また、ＤＳＳＥＣＵ４は、フュージョン処理部４１（算出手段、傾き取得手段）と、数値演算部４２（推定手段）と、衝突判断部４３（補正手段、判定手段）とを有している。

フュージョン処理部４１は、単眼カメラ１及びカメラＥＣＵ３により検出された検出対象物体に関して、位置や水平方向の幅（即ち、厚み方向の幅）を算出して記憶する演算処理を行う部分である。水平方向の幅の具体的な算出方法については、後述する。

また、フュージョン処理部４１は、単眼カメラ１及びカメラＥＣＵ３により検出された検出対象物体に関して、画像データにおける物体領域の傾きを取得して記憶することが可能である。画像データにおける物体領域の傾きは、輝度情報を取得するための輝度解析処理やオプティカルフロー処理を行うことによって抽出してもよい。画像データにおける物体領域の傾きの具体的な算出方法については、後述する。

数値演算部４２は、単眼カメラ１及びカメラＥＣＵ３により検出された物体に関して、画像奥行き方向の長さ等の物理値を演算して推定する演算処理を行う部分である。ここで、この画像奥行き方向の長さとは、この水平方向の幅を有する当該検出対象物体の形状が、自車両の前後方向にどの程度延びているかを示す長さのことである。画像奥行き方向の長さの具体的な算出方法については、後述する。

また、数値演算部４２は、ミリ波レーダ２により取得された、画像データ内の物体における第一の検出点データが示す後述の検出点Ｐ１までの第一の距離と、この物体における第二の検出点データが示す後述の検出点Ｐ３までの第二の距離との間の差分距離に基づいて、後述の画像奥行き方向の長さＤを推定して記憶する演算処理を行うことが可能である。なお、この検出点Ｐ１と検出点Ｐ３は、フュージョン処理部４１により算出された水平方向の幅に含まれる検出点である。

更に、数値演算部４２は、フュージョン処理部４１により取得された上記の画像データにおける物体領域の傾きに基づいて、画像奥行き方向の長さを推定して記憶することが可能である。

衝突判断部４３は、数値演算部４２により推定された画像奥行き方向の長さに基づいて、フュージョン処理部４１により算出された水平方向の幅を、検出点データ及び画像データを用いて補正して記憶する演算処理を行って、自車両Ｃの運転における対応をすべき障害物との衝突判断を行なう部分である。水平方向の幅の具体的な補正方法については、後述する。

また、衝突判断部４３は、単眼カメラ１及びカメラＥＣＵ３により検出された検出対象物体に関して、当該検出対象物体が車両であるか否かを、パターンマッチングを行なうことにより判定することが可能である。当該検出対象物体が車両であると判定された場合、衝突判断部４３は、水平方向の幅を補正しない（又は、既に補正された水平方向の幅を補正前の水平方向の幅に戻す）。

（１−２）水平方向の幅と画像奥行き方向の長さとの算出方法
次に、図２及び図３を参照して、水平方向の幅の算出（及び補正）方法と、当該水平方向の幅に関する画像奥行き方向の長さの算出方法について説明する。図２は、単眼カメラ１及びカメラＥＣＵ３により一時的に算出された水平方向の幅としての補正前水平方向の幅Ｗについて説明する説明図であり、図３は、水平方向の幅と画像奥行き方向の長さとの算出方法について説明する説明図である。ここでは、自車両Ｃが、前方左方向にカーブした道路Ｒ上を走行中であるとし、カーブにおける道路Ｒの右側には、奥行きが長く前方左方向にカーブしたガードレールＧが設置されているとする。

まず、フュージョン処理部４１が、図２に示されるように、単眼カメラ１及びカメラＥＣＵ３により検出された検出対象物体としてのガードレールＧに関して、位置や水平方向の幅（即ち、自車両の車幅方向の物体長さ）を算出する。ガードレールＧは、単眼カメラ１及びカメラＥＣＵ３により検出対象物体として検出された結果が示された領域である画像検出結果領域Ｓ内に含まれている。なお、単眼カメラ１及びカメラＥＣＵ３では、ガードレールＧまでの距離は求められないため、図２におけるガードレールＧの最右端である検出点Ｐ１と、図２におけるガードレールＧの最左端である検出点Ｐ３との間の差分距離に基づいて、一時的に算出された水平方向の幅としての補正前水平方向の幅Ｗが算出される。

次に、数値演算部４２が、図３に示されるように、単眼カメラ１及びカメラＥＣＵ３により検出されたガードレールＧに関して、画像奥行き方向の長さＤを推定する。ここで、このガードレールＧに関する画像奥行き方向の長さＤとは、当該ガードレールＧの形状が、自車両Ｃの前後方向（即ち、奥行き方向）にどの程度延びているかを示す長さのことである。より詳しくは、数値演算部４２が、ミリ波レーダ２により取得された、自車両Ｃから第一の検出点データが示す検出点Ｐ１までの第一の距離と、自車両Ｃから第二の検出点データが示す検出点Ｐ３までの第二の距離との間の差分距離に基づいて、画像奥行き方向の長さＤを推定する。ここで、画像奥行き方向の長さＤが推定される際に、自車両Ｃから第三の検出点データが示す検出点Ｐ２までの第三の距離も併せて用いられることによって、画像奥行き方向の長さＤは、より正確に推定される。なお、この検出点Ｐ１，Ｐ２，Ｐ３は、フュージョン処理部４１により算出された水平方向の幅Ｗに含まれる検出点である。

次に、衝突判断部４３が、数値演算部４２により推定された画像奥行き方向の長さＤに基づいて、フュージョン処理部４１により算出された補正前水平方向の幅Ｗを、第一の検出点データが示す検出点Ｐ１までの第一の距離と、第二の検出点データが示す検出点Ｐ３までの第二の距離と、第三の検出点データが示す検出点Ｐ２までの第三の距離と、後述の画像データとを用いて補正する。

より詳しくは、衝突判断部４３は、まず、補正前水平方向の幅Ｗの中に含まれる検出点（例えば、検出点Ｐ２）が存在するか否かを判定し、このような検出点（ここでは、検出点Ｐ２）が存在する場合、このような検出点（ここでは、検出点Ｐ２）と補正前水平方向の幅Ｗを形成する検出点（例えば、検出点Ｐ１及び検出点Ｐ３）のうちこのような検出点（ここでは、検出点Ｐ２）よりも遠い側の検出点（ここでは、検出点Ｐ３）とが所定距離以上離れているか否かを判定する。そして、衝突判断部４３は、これらの検出点（ここでは、検出点Ｐ２と検出点Ｐ３）が所定距離以上互いに離れている場合、画像から得られた補正前水平方向の幅Ｗを制限する（即ち、補正前水平方向の幅Ｗのうち、検出点Ｐ２、検出点Ｐ３に相当する画像領域による影響を除外するよう補正する）処理を行う。検出点Ｐ１〜Ｐ３といった複数の検出点が検出された事実に基づいて、上記した処理を繰り返すことにより、フュージョン処理部４１により算出された補正前水平方向の幅Ｗは、最終的に補正後水平方向の幅Ｔに補正される。

なお、衝突判断部４３は、ミリ波レーダ２によって検出された物体が、奥行き方向に所定の長さ以上の奥行きを有する物体（例えばガードレールや壁面体）であるか否かを判定し、ミリ波検出物体がこのような奥行きを有する物体であると判定された場合に、上記した補正前水平方向の幅Ｗの補正処理を行うことが可能な形態としてもよい。このような形態とする場合、同一の物体に関して、所定距離以上離れた複数の検出点から構成される検出点グループが所定時間以上存在するという条件が満たされた場合に、ミリ波検出物体が上記の奥行きを有する物体であると判定される。

（１−３）先行車や先々行車が存在する場合の、水平方向の幅の算出方法
次に、図４及び図５を参照して、自車両Ｃの前方に先行車や先々行車が存在する場合の、水平方向の幅の算出（及び補正）方法について説明する。図４は、先行車Ａ１や先々行車Ａ２が存在する場合の、単眼カメラ１及びカメラＥＣＵ３により取得された画像データの一例を示す説明図であり、図５は、先行車Ａ１や先々行車Ａ２が存在する場合の、水平方向の幅の算出方法について説明する説明図である。ここでは、自車両Ｃが、真っ直ぐな道路Ｒ上を走行中であるとし、自車両Ｃの前方に先行車Ａ１や先々行車Ａ２が存在しているとする。

まず、衝突判断部４３が、図４に示されるように、上記の画像検出結果領域Ｓ内に含まれている検出対象物体（即ち、先行車Ａ１や先々行車Ａ２）が車両であるか否かを、パターンマッチングを行なうことにより判定する。画像検出結果領域Ｓ内に含まれている検出対象物体が車両であると判定された場合、衝突判断部４３は、図５に示されるように、ミリ波レーダ２の検出対象エリアＴ内において自車両Ｃから最も近い監視範囲Ｚ内に含まれる先行車Ａ１に関する補正前水平方向の幅Ｗに対する補正処理を加えずに、これを補正後水平方向の幅Ｔとする。

一方、画像検出結果領域Ｓ内に含まれている検出対象物体が車両であると判定されなかった場合、数値演算部４２が、図５に示されるように、ミリ波レーダ２により取得された、第一の検出点データが示す検出点Ｑ１までの第一の距離と、第二の検出点データが示す検出点Ｑ２までの第二の距離との間の差分距離であるミリ波物標間距離が一定距離（例えば、５ｍ）以上であるか否かを判定する。ミリ波物標間距離が一定距離以上であると判定されなかった場合、衝突判断部４３は、図５に示されるように、ミリ波レーダ２の検出対象エリアＴ内において自車両Ｃから最も近い監視範囲Ｚ内に含まれる先行車Ａ１に関する補正前水平方向の幅Ｗに対する補正処理を加えずに、これを補正後水平方向の幅とする。

（１−４）物体検出装置の動作
次に、図６を参照して、物体検出装置１０の動作について説明する。図６は、物体検出装置１０において行われる処理を示すフローチャートである。以下の処理は、エンジンが始動されてからエンジンが停止されるまでの間、繰り返し実行される。

まず、ステップＳ０１において、カメラＥＣＵ３が、ミリ波レーダ２から出力される検出点データと、単眼カメラ１から出力される画像データを読み込んで取得する。

次に、ステップＳ０２において、カメラＥＣＵ３が、ミリ波レーダ２から取得した多数の検出点データと紐付けできる画像データが有るか否かを判定する。多数の検出点データと紐付けできる画像データが有ると判定あされなかった場合は、一連の処理が終了する。一方、多数の検出点データと紐付けできる画像データが有ると判定された場合は、カメラＥＣＵ３が、多数の検出点データから検出対象物体に対応する検出点データを抽出し、抽出した検出点データを参照して検出対象物体を検出する。そして、フュージョン処理部４１が、この検出対象物体に関する上記の補正前水平方向の幅Ｗを算出し、数値演算部４２が、この検出対象物体に関する画像奥行き方向の長さＤを推定する。

次に、ステップＳ０３において、衝突判断部４３が、検出対象物体が車両である可能性が高いか否かを、パターンマッチングを行なうことにより判定する。検出対象物体が車両である可能性が高いと判定された場合、後述のステップＳ０７に移行する。一方、検出対象物体が車両である可能性が高いと判定されなかった場合、後述のステップＳ０４に移行する。

ステップＳ０４においては、フュージョン処理部４１が、上記の画像検出結果領域Ｓ内に、ステップＳ０３で判定対象となった検出対象物体以外の物標としての検出対象物体が存在するか否かを判定する。ステップＳ０３で判定対象となった検出対象物体以外の物標としての検出対象物体が存在すると判定されなかった場合、後述のステップＳ０７に移行する。一方、ステップＳ０３で判定対象となった検出対象物体以外の物標としての検出対象物体が存在すると判定された場合、後述のステップＳ０５に移行する。

ステップＳ０５においては、数値演算部４２が、ミリ波レーダ２により取得された、第一の検出点データが示す検出点（例えば上記の検出点Ｑ１）までの第一の距離と、第二の検出点データが示す検出点（例えば上記の検出点Ｑ２）までの第二の距離との間の差分距離であるミリ波物標間距離が一定距離（例えば、５ｍ）以上であるか否かを判定する。ミリ波物標間距離が一定距離以上であると判定されなかった場合、後述のステップＳ０７に移行する。一方、ミリ波物標間距離が一定距離以上であると判定された場合、後述のステップＳ０６に移行する。

ステップＳ０６においては、衝突判断部４３が、数値演算部４２により推定された画像奥行き方向の長さＤに基づいて、フュージョン処理部４１により算出された補正前水平方向の幅Ｗを、第一の検出点データが示す検出点までの第一の距離と、第二の検出点データが示す検出点までの第二の距離と、第三の検出点データが示す検出点までの第三の距離と、後述の画像データとを用いて補正する。即ち、衝突判断部４３が、上記の検出点が検出された事実に基づいて、フュージョン処理部４１により算出された補正前水平方向の幅Ｗを、補正後水平方向の幅Ｔに補正する補正制限を行ってフュージョンさせる。

ステップＳ０７においては、衝突判断部４３が、フュージョン処理部４１により算出された補正前水平方向の幅Ｗに対する補正処理を加えずに（即ち、補正制限をせずに）、これを補正後水平方向の幅Ｔとしてフュージョンさせる。

（２）第二実施形態
（２−１）物体検出装置における画像データにおける物体領域の傾きの取得方法
次に、図７及び図８を参照して、本発明の好適な第二実施形態に係る物体検出装置における画像データにおける物体領域の傾きの取得方法について説明する。図７は、本発明の好適な第二実施形態に係る物体検出装置におけるガードレールＧの画像データにおける物体領域の傾きの取得方法を説明する説明図であり、図８は、本発明の好適な第二実施形態に係る物体検出装置における先行車Ａ１の画像データにおける物体領域の傾きの取得方法を説明する説明図である。本実施形態の物体検出装置１０は、図１に示される構成と同様の構成を有している。

始めに、ガードレールＧの画像データにおける物体領域の傾きの取得方法について、図７を用いて説明する。まず、図７（ａ）に示されるように、単眼カメラ１が、画像データを生成する。そして、カメラＥＣＵ３が、この画像データに対して、エッジ解析処理や、輝度解析処理や、オプティカルフロー処理等を行うことにより、この画像データにおける特徴量を、図７（ｂ）に示される破線のように抽出する。

次に、カメラＥＣＵ３が、抽出された特徴量に基づいて、図７（ｃ）に示されるように、ラベリング（即ち、同一の物体を、同一物体として判定する処理）可能な領域に対してラベルＦを割り当てるラベリングを行なう。そして、カメラＥＣＵ３が、ラベリングされた領域に対して、図７（ｄ）に示されるように、直線Ｌ１や直線Ｌ２といった直線をフィッティング（即ち、当てはめる処理）可能な部分に対して、直線フィッティング処理を行う。この結果、直線により囲まれた領域である物体領域が特定される。この物体領域内の画素について、カメラＥＣＵ３が、最小二乗法等による直線近似を行なうことにより、この画像データにおける物体領域の傾きである画像上傾きを算出する。そして、この算出された画像上傾きの大きさと、予め定められた閾値（物体が所定値以上の長さを有する場合の傾きに関して実験的に求められた角度であって、例えば十数度）とが比較される。ここで、この画像上傾きとは、上記の物体領域と画像上の水平方向（即ち横方向）とがなす角度、もしくは上記の物体領域と画像上の垂直方向（即ち縦方向）とがなす角度である。この画像上傾きは、例えば、図７（ｄ）における水平方向と直線Ｌ１とがなす角度でもよく、また、図７（ｄ）における水平方向と直線Ｌ２とがなす角度でもよい。ここでは、算出された画像上傾きの大きさは、予め定められた閾値より大きい（又は閾値以上である）と判断されることにより、当該物体が画像奥行き方向に所定値以上の長さを有している（即ち、画像における水平方向の幅は、実際の物体の幅より長く見積もられている）と推定されるため、上記の補正が実施される。

引き続き、先行車Ａ１の画像データにおける物体領域の画像上傾きの取得方法について、図８を用いて説明する。まず、図８（ａ）に示されるように、単眼カメラ１が、画像データを生成する。そして、カメラＥＣＵ３が、この画像データに対して、エッジ解析処理や、輝度解析処理や、オプティカルフロー処理等を行うことにより、この画像データにおける特徴を、図８（ｂ）に示される破線のように抽出する。

次に、カメラＥＣＵ３が、抽出された特徴に基づいて、図８（ｃ）に示されるように、ラベリング（即ち、同一の物体を、同一物体として判定する処理）可能な領域に対してラベルを割り当てるラベリングを行なう。そして、カメラＥＣＵ３が、ラベリングされた領域に対して、図８（ｄ）に示されるように、直線Ｌ１や直線Ｌ２や直線Ｌ３や直線Ｌ４といった直線をフィッティング（即ち、当てはめる処理）可能な部分に対して、直線フィッティング処理を行う。この結果、直線により囲まれた領域である物体領域が特定される。この物体領域内の画素について、カメラＥＣＵ３が、最小二乗法等による直線近似を行なうことにより、この画像データにおける物体領域の傾きである画像上傾きを算出する。そして、この算出された画像上傾きの大きさと、予め定められた閾値（物体が所定値以上の長さを有する場合の傾きに関して実験的に求められた角度であって、例えば十数度）とが比較される。ここでは、算出された画像上傾きの大きさは、予め定められた閾値より小さいと判断されることにより、当該物体の画像奥行き方向の長さは所定値未満の長さである（即ち、画像における水平方向の幅は、適切に見積もられている）と推定されるため、上記の補正は実施されない。

（２−２）物体検出装置の動作
次に、図９を参照して、物体検出装置１０の動作について説明する。図９は、物体検出装置１０において行われる処理を示すフローチャートである。以下の処理は、エンジンが始動されてからエンジンが停止されるまでの間、繰り返し実行される。

まず、ステップＳ１１において、カメラＥＣＵ３が、ミリ波レーダ２から出力される検出点データと、単眼カメラ１から出力される画像データを読み込んで取得することにより、障害物が検出される。

次に、ステップＳ１２において、カメラＥＣＵ３が、この画像データに対して、エッジ解析処理や、輝度解析処理や、オプティカルフロー処理等を行うことにより、この画像データにおける特徴量を抽出する。

次に、ステップＳ１３において、カメラＥＣＵ３が、抽出された特徴量に基づいて、ラベリング（即ち、同一の物体を、同一物体として判定する処理）可能な領域に対して、ラベリングを行なう。

次に、ステップＳ１４において、カメラＥＣＵ３が、ラベリングされた領域に関して直線Ｌ１や直線Ｌ２といった直線をフィッティング（即ち、当てはめる処理）可能な部分に対して、直線フィッティング処理を行う。この結果、直線により囲まれた領域である物体領域が特定される。そして、フュージョン処理部４１が、この物体領域に関して、この画像データにおける画像上傾きである画像上傾きを算出及び測定して取得する。

次に、ステップＳ１５において、衝突判断部４３が、フュージョン処理部４１により取得された画像上傾きの角度は閾値（実験的に求められた角度であって、例えば十数度）より大きいか否かを判定する。取得された画像上傾きの角度は閾値より大きいと判定されなかった場合は、一連の処理が終了する。一方、取得された画像上傾きの角度は閾値より大きいと判定された場合は、後述のステップＳ１６に移行する。

ステップＳ１６においては、フュージョン処理部４１が、上記の物体領域に関する上記の補正前水平方向の幅Ｗを算出し、数値演算部４２が、フュージョン処理部４１により取得された上記の画像上傾きに基づいて、この物体領域に関する画像奥行き方向の長さＤを推定する。そして、衝突判断部４３が、数値演算部４２により推定された画像奥行き方向の長さＤに基づいて、フュージョン処理部４１により算出された補正前水平方向の幅Ｗを小さくして、補正後水平方向の幅Ｔに補正する。

（３）物体検出装置による作用及び効果
図３を用いて上記したように、所定範囲が撮像された画像データから物体が画像処理により検出され、検出された物体の補正前水平方向の幅Ｗ（即ち、道路Ｒにはみ出した幅）が画像処理により算出される。そして、算出された補正前水平方向の幅Ｗの画像奥行き方向の長さＤが画像処理により推定され、推定された画像奥行き方向の長さＤに基づいて、算出された補正前水平方向の幅Ｗが、補正後水平方向の幅Ｔ（即ち、道路Ｒにはみ出していない幅）に補正される。

このように、画像データから補正前水平方向の幅Ｗが一旦算出された後で、推定された画像奥行き方向の長さＤに基づいて、算出された補正前水平方向の幅Ｗの補正が行われるため、自車両Ｃの前方の物体の水平方向の幅をより正確に見積もることが可能になる。このため、自車両Ｃの運転における対応（例えば、ＰＣＳによる対応、即ち、衝突被害軽減システムの作動による対応）をすべき障害物であるか否かを誤ることなく適切に判断する際の判断精度を向上させることができる。この結果、上記の対応に基づく不要な警報や制御を低減させることが可能になる。

また、所定範囲に電磁波であるミリ波が照射されて、このミリ波が照射された方向に存在する物体における検出点が距離データとともに取得される。そして、取得された検出点及び距離データに基づいて、画像データから所定の検出対象物体を含む画像処理領域を設定し、この画像処理領域について画像処理を行うことによって物体が検出される。このように、ミリ波レーダ２からのミリ波を用いて検出点が距離データとともに取得され、取得された検出点及び距離データに基づいて、画像データから物体が検出される（即ち、センサフュージョンが行なわれる）ため、単眼カメラ１だけでは検出困難な物体及びその距離情報をより正確に取得することができる。

また、ミリ波レーダ２により取得された、自車両Ｃから画像データ内の物体における第一の検出点までの第一の距離と、自車両Ｃから当該物体における第二の検出点までの第二の距離との間の差分距離に基づいて、画像奥行き方向の長さＤが推定されるため、より正確に画像奥行き方向の長さＤを検出することができる。

また、検知された物体が車両であると判定された場合、補正水平方向の幅Ｗが補正されないため、検知された車両の車体背面部分のように奥行きが比較的無く水平方向の幅の補正が不要な物体に関する水平方向の幅を、より正確に検出することができる。

また、取得された物体の画像データにおける物体領域の画像上傾きに基づいて、画像奥行き方向の長さＤが推定されるため、自車両Ｃの前方のガードレールＧや壁といった奥行きが長く前方にカーブした物体のように、検知された物体が車両である場合に比べて画像データにおける物体領域の画像上傾きが大きい場合、それに応じて画像奥行き方向の長さＤが推定される。一方、自車両Ｃの前方に存在する車両のように、奥行きが長く前方にカーブしている物体の場合に比べて画像データにおける物体領域の画像上傾きが小さい場合、それに応じて画像奥行き方向の長さＤよりも水平方向（即ち、横方向）に長く推定される。この結果、カメラＥＣＵ３の距離分解能を擬似的に向上させて、画像奥行き方向の長さＤを、より正確に検出することができる。

（４）変形例
本実施形態ではレーダ検出手段としてミリ波レーダ２を用いているが、レーダ検出手段は他の波長の電磁波を照射するものでもよく、例えばレーダ検出手段としてレーザレーダを用いてもよい。

本発明によれば、自車両の前方の物体の水平方向の幅をより正確に見積もって、自車両の運転における対応をすべき障害物であるか否かを判断する際の判断精度を向上させることができる物体検出装置を提供することができる。

１…単眼カメラ、２…ミリ波レーダ、３…カメラＥＣＵ、４…ＤＳＳＥＣＵ、１０…物体検出装置、４１…フュージョン処理部、４２…数値演算部、４３…衝突判断部、Ａ１…先行車、Ａ２…先々行車、Ｃ…自車両、Ｆ…ラベル、Ｇ…ガードレール、Ｌ１〜Ｌ４…直線、Ｐ１〜Ｐ３，Ｑ１，Ｑ２…検出点、Ｒ…道路、Ｓ…画像検出結果領域、Ｔ…補正後水平方向の幅、Ｗ…補正前水平方向の幅、Ｚ…監視範囲。

Claims (5)

1. 所定範囲が撮像された画像データから物体を検出する撮像検出手段と、
   前記撮像検出手段により検出された、前記物体の前記画像データにおける水平方向の幅を算出する算出手段と、
   前記撮像検出手段により検出された前記物体の画像奥行き方向の長さを推定する推定手段と、
   前記推定手段により推定された前記画像奥行き方向の長さに基づいて、前記算出手段により算出された前記画像データにおける前記水平方向の幅を補正する補正手段と、
   を備えることを特徴とする物体検出装置。
2. 前記所定範囲に電磁波を照射して、当該電磁波が照射された方向に存在する物体における検出点を取得するレーダ検出手段を更に備え、
   前記撮像検出手段は、前記レーダ検出手段により取得された前記検出点に基づいて、前記画像データから前記物体を検出する、
   ことを特徴とする請求項１に記載の物体検出装置。
3. 前記推定手段は、前記レーダ検出手段により取得された、前記算出手段により算出された前記水平方向の幅に含まれる第一の検出点までの第一の距離と、当該水平方向の幅に含まれる第二の検出点までの第二の距離との間の差分に基づいて、前記画像奥行き方向の長さを推定する、
   ことを特徴とする請求項２に記載の物体検出装置。
4. 前記撮像検出手段により検出された前記物体が車両であるか否かを判定する判定手段を更に備え、
   前記補正手段は、前記判定手段により前記物体が車両であると判定された場合、前記水平方向の幅を補正しない、
   ことを特徴とする請求項３に記載の物体検出装置。
5. 前記撮像検出手段により検出された前記物体の前記画像データにおける物体領域の傾きを取得する傾き取得手段を更に更に備え、
   前記推定手段は、前記取得手段により取得された前記傾きに基づいて、前記画像奥行き方向の長さを推定する、
   ことを特徴とする請求項１〜４のいずれかに記載の物体検出装置。
   
   

Images