JP7111634B2 - 車両における対象物検出装置、対象物検出システムおよび対象物検出方法 - Google Patents

Description

本開示は車両において用いられる車両周囲の対象物を検出するための技術に関する。

撮像装置およびレーダといった複数の物標検出噐を用いて、車両の運転支援を実行する技術が知られている。当該技術においては、例えば、撮像装置の検出結果を元に対象物の検出が実行される（例えば、特許文献１）。

特開２０１０－２７１７８８号公報

しかしながら、撮像装置による検出結果を用いた対象物の特定精度が低い場合、存在しない対象物を誤って存在する対象物として検出する場合がある。車両の予定軌道と交差する対象物の誤検出は、運転支援の適切な実行にも支障を来す。

したがって、撮像装置を用いて対象物を検出する際に、車両の予定軌道と交差する対象物の誤検出を抑制または防止できることが求められている。

本開示は、以下の態様として実現することが可能である。

第１の態様は、車両における対象物検出装置を提供する。第１の態様に係る車両における対象物検出装置は、撮像画像から抽出された自車両の周囲における物標を示す特徴点を取得する取得部と、前記特徴点を用いて立体物と道路との道路境界線を決定し、前記道路境界線が自車両の予定軌道と交差する場合には、前記道路境界線の決定が適正であるか否かを判定する制御部と、を備える。

第１の態様係る車両における対象物検出装置によれば、撮像装置を用いて対象物を検出する際に、車両の予定軌道と交差する対象物の誤検出を抑制または防止できる。

第２の態様は、車両における対象物検出方法を提供する。第２の態様に係る車両における対象物検出方法は、撮像画像から抽出された自車両の周囲における物標を示す特徴点を取得し、前記特徴点を用いて立体物と道路との道路境界線を決定し、前記道路境界線が自車両の予定軌道と交差する場合には、前記道路境界線の決定が適正であるか否かを判定すること、を備える。

第２の態様係る車両における対象物検出方法によれば、撮像装置を用いて対象物を検出する際に、車両の予定軌道と交差する対象物の誤検出を抑制または防止できる。なお、本開示は、車両における対象物検出プログラムまたは当該プログラムを記録するコンピュータ読み取り可能記録媒体としても実現可能である。

第１の実施形態に係る対象物検出装置が搭載された車両の一例を示す説明図。 第１の実施形態に係る対象物検出装置の機能的構成を示すブロック図。 第１の実施形態に係る対象物検出装置によって実行される対象物検出処理の処理フローを示すフローチャート。 車道を走行中の自車両とガードレールとを示す説明図。 図４に示す状態にてカメラによって得られる特徴点および特徴点を用いて決定された道路境界線を概念的に示す説明図。 車道を走行中の自車両とガードレールとを示す説明図。 図６に示す状態にてカメラによって得られる特徴点および特徴点を用いて決定された道路境界線を概念的に示す説明図。 図５に示す道路境界線を複数の領域に区分した結果を概念的に示す説明図。 図７に示す道路境界線を複数の領域に区分した結果を概念的に示す説明図。 図６に示す状態にてカメラによって得られる特徴点にミリ波レーダによって得られる反射点をフュージョン処理した結果を概念的に示す説明図。 図４に示す状態にてカメラによって得られる特徴点にミリ波レーダによって得られる反射点をフュージョン処理した結果を概念的に示す説明図。 図４に示す状態よりもガードレールが自車両に対して遠方に位置する状態で走行中の自車両においてカメラによって得られる特徴点にミリ波レーダによって得られる反射点をフュージョン処理した結果を概念的に示す説明図。 図６に示す状態にてカメラによって得られる特徴点および予定軌道幅を概念的に示す説明図。 図１３に示す状態において予定軌道上に立体物または平面物が存在する場合にカメラによって得られる特徴点およびミリ波レーダによって得られる反射点をフュージョン処理した結果を概念的に示す説明図。 図１３に示す状態において予定軌道上に先行車両が存在する場合にカメラによって得られる特徴点およびミリ波レーダによって得られる反射点をフュージョン処理した結果を概念的に示す説明図。 図８に示す領域を奥行き方向に拡張した状態を概念的に示す説明図。 その他の実施形態において実行される運転支援処理の処理フローを示すフローチャート。

本開示に係る車両における対象物検出装置、対象物検出システムおよび対象物検出方法について、いくつかの実施形態に基づいて以下説明する。

第１の実施形態：
図１に示すように、第１の実施形態に係る車両における対象物検出装置１００は、車両５００に搭載されて用いられる。対象物検出装置１００は、少なくとも制御部および取得部を備えていれば良く、対象物検出システム１０は、対象物検出装置１００に加え、検出器としてのレーダＥＣＵ２１、ミリ波レーダ２１１、カメラＥＣＵ２２およびカメラ２２１を備えている。第１の実施形態における車両５００は、運転支援を実現するために、回転角センサ２３、車輪速度センサ２４、ヨーレートセンサ２５、運転支援装置３１を備えている。車両５００はさらに、車輪５０１、制動装置５０２、制動ライン５０３、ステアリングホイール５０４、フロントガラス５１０、フロントバンパ５２０およびリアバンパ５２１を備えている。車両５００は、内燃機関および電動機の少なくとも一方を車両走行用の駆動力源として備えている。

レーダＥＣＵ２１は、電波を射出して物標からの反射波を検出するミリ波レーダ２１１と接続されており、ミリ波レーダ２１１により取得された反射波を用いて検出点、すなわち、反射点によって物標を表す検出信号を生成し、出力する。カメラＥＣＵ２２は、単眼のカメラ２２１と接続されており、カメラ２２１によって取得された撮像画像から物標形状を特定し、量子化を施して、ノード、すなわち、特徴点によって物標を示す検出信号を生成し、出力する。物標形状の特定は、機械学習を用いたセマンティック・セグメンテーションなどによって実行される。本実施形態においては、特定された物標の形状パターンを示す形状線、すなわち画素列に対して量子化処理が実行され、複数の離散的な特徴点が得られる。検出信号は、各特徴点に対応する画素データを含む信号である。各ＥＣＵは、演算部、記憶部および入出力部を備えるマイクロプロセッサである。なお、レーダＥＣＵ２１およびミリ波レーダ２１１は検出波を射出して反射波および反射点を検出して、一般的に自車両と物標との間の距離を測距するための検出器に相当する。この検出器としては、ミリ波レーダ２１１の他に、ライダー（ＬＩＤＡＲ：レーザレーダ）や、音波を射出しその反射波を検出する超音波検出器が用いられても良い。カメラＥＣＵ２２およびカメラ２２１は、少なくとも特徴点の点列によって物標の形状を３次元的に認識可能な検出器であり撮像装置が該当する、撮像装置としては、カメラ２２１の他に、３Ｄライダーが用いられても良い。カメラ２２１は、２以上のカメラによって構成されるステレオカメラやマルチカメラであっても良い。

車両５００には、車両５００の制動を実現するための制動装置５０２、車両５００の操舵を実現するためのステアリングホイール５０４が備えられている。制動装置５０２は、各車輪５０１に備えられている。各制動装置５０２は、例えば、ディスクブレーキ、ドラムブレーキであり、運転者の制動ペダル操作に応じて制動ライン５０３を介して供給されるブレーキ液圧に応じた制動力で各車輪５０１を制動し、車両５００の制動を実現する。制動ライン５０３には制動ペダル操作に応じたブレーキ液圧を発生させるブレーキピストンおよびブレーキ液ラインが含まれる。なお、制動ライン５０３としては、ブレーキ液ラインに代えて、制御信号線とし、各制動装置５０２に備えられているアクチュエータを作動させる構成が採用されても良い。ステアリングホイール５０４は、ステアリングロッド、操舵機構および転舵軸４４を含む操舵装置４２を介して前側の車輪５０１と接続されている。

図２に示すように、対象物検出装置１００は、制御部としての中央処理装置（ＣＰＵ）１０１およびメモリ１０２、取得部としての入出力インタフェース１０３、並びにバス１０４を備えている。ＣＰＵ１０１、メモリ１０２および入出力インタフェース１０３はバス１０４を介して双方向通信可能に接続されている。メモリ１０２は、自車両周囲の対象物を検出するための対象物検出プログラムＰｒ１、自車両の運転支援を実行するための運転支援プログラムＰｒ２を不揮発的且つ読み出し専用に格納するメモリ、例えばＲＯＭと、ＣＰＵ１０１による読み書きが可能なメモリ、例えばＲＡＭとを含んでいる。ＣＰＵ１０１はメモリ１０２に格納されている対象物検出プログラムＰｒ１を読み書き可能なメモリに展開して実行することによって制御部としての機能を実現する。なお、ＣＰＵ１０１は、単体のＣＰＵであっても良く、各プログラムを実行する複数のＣＰＵであっても良く、あるいは、複数のプログラムを同時実行可能なマルチコアタイプのＣＰＵであっても良い。

入出力インタフェース１０３には、レーダＥＣＵ２１、カメラＥＣＵ２２、回転角センサ２３、車輪速度センサ２４およびヨーレートセンサ２５、並びに運転支援装置３１がそれぞれ制御信号線を介して接続されている。レーダＥＣＵ２１、カメラＥＣＵ２２、回転角センサ２３、車輪速度センサ２４、ヨーレートセンサ２５からは、検出信号が入力され、運転支援装置３１には、要求トルクに応じた指示する制御信号、制動レベルを指示する制御信号、操舵角を指示する制御信号が出力される。したがって、入出力インタフェース１０３は、各種センサによって検出された自車両の周囲における物標の情報を取得するための取得部として機能する。

ミリ波レーダ２１１はミリ波を射出し、物標によって反射された反射波を受信することによって、車両５００に対する物標の距離、相対速度および角度を検出するセンサである。本実施形態において、ミリ波レーダ２１１は、フロントバンパ５２０およびリアバンパ５２１に配置されている。ミリ波レーダ２１１から出力される未処理の検出信号は、レーダＥＣＵ２１において処理され、物標の１または複数の代表位置を示す検出点または検出点列からなる検出信号として対象物検出装置１００に入力される。あるいは、レーダＥＣＵ２１を備えることなく未処理の受信波を示す信号が検出信号としてミリ波レーダ２１１から対象物検出装置１００に入力されても良い。未処理の受信波が検出信号として用いられる場合には、対象物検出装置１００において物標の位置および距離を特定するための信号処理が実行される。

カメラ２２１は、ＣＣＤ等の撮像素子または撮像素子アレイを１つ備える撮像装置であり、可視光を受光することによって対象物の外形情報または形状情報を検出結果である画像データとして出力するセンサである。カメラ２２１から出力される画像データに対しては、カメラＥＣＵ２２によって、例えば、セマンティック・セグメンテーションを用いた対象物の分類処理が実施され、同一の対象物を示す画素を結合することで各対象物を示す画像領域がそれぞれ抽出される。本実施形態においては、カメラ２２１は、道路と道路近傍または道路上の立体物とをそれぞれ抽出し、道路と立体物との道路境界線を検出可能である。検出された道路境界線、すなわち画素列に対して量子化処理が実行され、道路境界線が離散的な特徴点で表されるフレーム画像が道路境界線情報として生成される。量子化処理は、例えば、セグメンテーションが施された画像データを鳥瞰変換し、自車両の前方中央を原点として予め定められた所定角度で走査した結果得られる複数の放射状の線と道路境界線との交点を特徴点として抽出することにより実行される。各フレーム画像に含まれる特徴点、すなわち、画素には、例えば、画素値情報（Ｒ、Ｇ，Ｂ）、位置情報としての座標情報が関連付けられている。カメラＥＣＵ２２を別途備えることなく、カメラ２２１によって撮像された未処理の画像データが検出信号として対象物検出装置１００に入力されても良い。この場合には、対象物検出装置１００において物標のセグメンテーション処理、量子化処理が実行される。本実施形態において、カメラ２２１はフロントガラス５１０の上部中央に配置されている。カメラ２２１から出力される画素データは、モノクロの画素データであっても良い。この場合には、セグメンテーションに際して輝度値が用いられる。

回転角センサ２３は、ステアリングホイール５０４の操舵によりステアリンロッドに生じるねじれ量、すなわち、操舵トルク、を、ねじれ量に比例する電圧値として検出するトルクセンサであり、ステアリングホイール５０４の操舵角を検出する。本実施形態において、回転角センサ２３は、ステアリングホイール５０４と操舵機構とを接続するステアリングロッドに備えられている。

車輪速度センサ２４は、車輪５０１の回転速度を検出するセンサであり、各車輪５０１に備えられている。車輪速度センサ２４から出力される検出信号は、車輪速度に比例する電圧値または車輪速度に応じた間隔を示すパルス波である。車輪速度センサ２４からの検出信号を用いることによって、車両速度、車両の走行距離等の情報を得ることができる。

ヨーレートセンサ２５は、車両５００の回転角速度を検出するセンサである。ヨーレートセンサ２５は、例えば、車両の中央部に配置されている。ヨーレートセンサ２５から出力される検出信号は、回転方向と角速度に比例する電圧値である。

運転支援装置３１は、運転者によるアクセルペダル操作に応じて、または、運転者によるアクセルペダル操作とは無関係に内燃機関ＩＣＥの出力を制御し、運転者による制動ペダル操作とは無関係に制動装置５０２による制動を実現し、あるいは、運転者によるステアリングホイール５０４の操作とは無関係に操舵装置４２による操舵を実現する。

第１の実施形態に係る対象物検出装置１００により実行される対象物検出処理について説明する。図３に示す処理ルーチンは、例えば、車両の制御システムの始動時から停止時まで、または、スタートスイッチがオンされてからスタートスイッチがオフされるまで、所定の時間間隔にて繰り返して実行される。ＣＰＵ１０１が対象物検出プログラムＰｒ１を実行することによって図３に示す対象物検出処理が実行される。本実施形態における対象物検出処理では、カメラ２２１によって取得された特徴点を用いて決定された道路境界線が自車両の予定軌道と交差する場合に、道路境界線の決定が適正であるか否かが判定される。

ＣＰＵ１０１は、入出力インタフェース１０３を介して、カメラ２２１によって撮像された撮像画像から抽出された自車両の周囲の物標を示す特徴点を取得する（ステップＳ１００）。カメラＥＣＵ２２において撮像画像から特徴点が抽出される場合には、カメラＥＣＵ２２から特徴点の情報がＣＰＵ１０１に入力される。ＣＰＵ１０１によって撮像画像から特徴点が抽出される場合には、カメラＥＣＵ２２から撮像画像のデータがＣＰＵ１０１に入力される。

ＣＰＵ１０１は、取得した特徴点を用いて立体物と道路との境界を示す道路境界線を決定する（ステップＳ１０２）。道路境界線は、車道と車道脇に位置する立体物と車道との境界線を意味する。特徴点は立体物の一部を示す点であるから、特徴点を繋ぎ合わせることによって立体物の外形が特定され、立体物の外形が特定された位置に、平面である車道との境界線が存在すると見なすことができる。立体物には、例えば、縁石、ガードレールのビーム、草木が含まれる。ＣＰＵ１０１は、複数の予め定められた条件を適用して、取得した複数の特徴点を繋ぎ合わせて点列を形成し、道路境界線として決定する。複数の予め定められた条件には、例えば、判定対象となる２つの特徴点の画素値が近似していること、２つの特徴点間の距離が予め定められたしきい値よりも小さいこと、２つの特徴点が同一位置にて時間的に継続して得られること、が含まれる。２つの特徴点間の距離に関する予め定められたしきい値は、自車両と立体物との距離が長くなるにつれて大きく設定され得る。カメラＥＣＵ２２において撮像画像から特徴点が抽出される場合には、カメラＥＣＵ２２において道路境界線が決定され、道路境界線情報としてＣＰＵ１０１に提供されても良い。道路境界線には、この他にも、信号や渋滞にて形成される車列を構成する車両側面、道路に配置して道路工事に際して用いられるフェンスやバリアの面、道路端に形成される人垣を構成する人の胸や背中といった立体物と、道路とによって形成される境界線が含まれ得る。

ＣＰＵ１０１は、自車両の予定軌道と道路境界線とが交差しているか否かを判定する（ステップＳ１０４）。自車両の予定軌道とは、自車両が進行を予定している軌道を意味し、例えば、自車両の操舵角を用いて推測または決定され得る。ＣＰＵ１０１は、予定軌道と道路境界線とが交差しないと判定した場合には（ステップＳ１０４：Ｎｏ）、本処理ルーチンを終了する。本実施形態においては、予定軌道上に道路境界線が存在すると判定された場合における、道路境界線の決定が適正であるか否かの判定することが目的とされているからである。

ＣＰＵ１０１は、予定軌道と道路境界線とが交差すると判定した場合には（ステップＳ１０４：Ｙｅｓ）、道路境界線の決定が適正であるか否かを判定する（ステップＳ１０６）。図４において、自車両Ｍ０は、センターラインＣＬによって区分されている対面通行道路上を、ガードレールＧＲに向かって進行している。自車両Ｍ０が図４に示す走行状態である場合、道路境界線ＢＬは、図５のように決定され得るので、自車両Ｍ０の予定軌道ＰＬと道路境界線ＢＬとは交差する。図５において、特徴点ＦＰは均等にばらついている。図６において、自車両Ｍ０は、センターラインＣＬによって区分されている対面通行道路上を、センターラインＣＬに沿って進行している。自車両Ｍ０が図６に示す走行状態である場合、特徴点ＦＰは図７に示すように道路の両側にそれぞれ位置し、特徴点ＦＰを繋ぎ合わせた道路境界線ＢＬｌ、ＢＬｒは、自車両Ｍ０の予定軌道ＰＬ上には障害物は存在せず、予定軌道ＰＬと道路境界線ＢＬｌ、ＢＬｒとは交差しないはずである。しかしながら、図７に示すように特徴点ＦＰが道路の両側にそれぞれ位置する場合、両側の特徴点ＦＰが繋ぎ合わされて、道路境界線ＢＬが決定されることがある。すなわち、道路境界線ＢＬを構成する特徴点ＦＰが二極化する場合がある。道路境界線ＢＬを構成する特徴点ＦＰの二極化は、自車両Ｍ０と立体物との距離が遠い場合、特徴点ＦＰの間隔が疎となるため、連結条件として特徴点間の距離のしきい値が大きく設定されることに起因する。この結果、図７に示すように、予定軌道ＰＬと交差する道路境界線ＢＬが決定されることがある。検証を伴うことなく、一度決定された道路境界線ＢＬを無視することは不適切であるため、本実施形態は、道路境界線ＢＬの決定が適正であるか否かを判定する。なお、説明を簡単にするために、二極化を例にとって説明したが、三極化以上の多極化が発生する場合においても同様の事象が発生し得る。

第１の実施形態においては、ＣＰＵ１０１は、道路境界線ＢＬを複数の領域に分割し、各領域における特徴点ＦＰの態様に応じて道路境界線ＢＬの決定が適正であるか否かを判定する。図８および図９の例では、道路境界線ＢＬは３つの領域Ａ１～Ａ３に分割されているが、２つの領域であっても４つの領域であっても良い。なお、領域は仮想ブロックとも呼ぶこともできる。第１の実施形態においては、
（１）複数の領域のうち、自車両Ｍ０の予定軌道ＰＬと交差する領域である正面領域に特徴点ＦＰが含まれているか否か、
（２）各領域Ａ１～Ａ３に少なくとも１つの特徴点ＦＰが含まれているか否か、さらには、各領域Ａ１～Ａ３に含まれている特徴点ＦＰの数がほぼ同数であるか、または、正面領域よりも正面領域以外の領域における特徴点ＦＰの数が多いか否か、
によって、道路境界線ＢＬの決定が適正であるか否かが判定される。

（１）の判定が実行される場合、図８に示すように、自車両Ｍ０の正面領域、すなわち、領域Ａ２に特徴点ＦＰが含まれている場合、ＣＰＵ１０１は、道路境界線ＢＬの決定は適正であると判定する。これに対して、図９に示すように、自車両Ｍ０の正面の領域Ａ２に特徴点ＦＰが含まれていない場合、ＣＰＵ１０１は、道路境界線ＢＬの決定は適正でないと判定する。自車両Ｍ０の正面領域に特徴点ＦＰが含まれている場合、予定軌道ＰＬ上に何らかの連続する立体物が存在している、または存在している可能性が高いので、道路境界線ＢＬの決定は適正であると判定される。これに対して、自車両Ｍ０の正面領域に特徴点ＦＰが含まれていない場合、予定軌道ＰＬと交差する領域に立体物は存在せず、また、道路境界線ＢＬは連続する点列により構成されていない、すなわち、不連続な点列により構成されているので、連続する立体物は存在せず、道路境界線ＢＬの決定は適正でないと判定される。なお、本明細書において、正面の領域Ａ２に特徴点ＦＰが含まれないとの判定には、正面の領域Ａ２に含まれる特徴点ＦＰの数が基準数よりも少ない場合が含まれても良い。基準数は、例えば、１または２点である。

（２）の判定が実行される場合、図８に示すように、各領域Ａ１～Ａ３に少なくとも１つの特徴点ＦＰが存在する場合、さらには、各領域Ａ１～Ａ３に含まれる特徴点ＦＰの数がほぼ同数である場合、ＣＰＵ１０１は、道路境界線ＢＬの決定は適正であると判定する。ほぼ同数とは、例えば、各領域に含まれる特徴点ＦＰの平均数に対して±１０％の数を意味する。各領域Ａ１～Ａ３に特徴点ＦＰが存在する場合、並びに各領域Ａ１～Ａ３に存在する特徴点ＦＰの数がほぼ同数である場合には、道路境界線ＢＬは連続する点列で構成され、連続する立体物の存在を示しているので、道路境界線ＢＬの決定は適正であると判定される。これに対して、図９に示すように、領域に含まれる特徴点ＦＰの数にばらつきがある場合、あるいは、正面の領域Ａ２に含まれる特徴点ＦＰの数が、正面の領域Ａ２以外の他の領域Ａ１、Ａ３に含まれる特徴点ＦＰの数よりも少ない場合、には、ＣＰＵ１０１は、道路境界線ＢＬの決定は適正でないと判定する。各領域Ａ１～Ａ３に含まれる特徴点ＦＰの数にばらつきがある場合には、道路境界線ＢＬは不連続な点列で構成され、連続する立体物は存在せず、特に、正面の領域Ａ２における特徴点ＦＰの数が少ない場合には、正面の領域Ａ２に連続する立体物が存在していない可能性が高い。そこで、道路境界線ＢＬの決定は適正でないと判定される。なお、特徴点ＦＰの数に代えて、特徴点ＦＰの比が用いられても良い。

ＣＰＵ１０１は、ステップＳ１０６における適正判定の結果を用いて、道路境界線ＢＬの決定が適正であると判定すると（ステップＳ１０８：Ｙｅｓ）、道路境界線ＢＬの決定を維持して（ステップＳ１１０）、本処理ルーチンを終了する。この結果、ＣＰＵ１０１は、以降で実行される運転支援処理において、道路境界線ＢＬを用いて運転支援処理を実行する。ＣＰＵ１０１は、ステップＳ１０６における適正判定の結果を用いて、道路境界線ＢＬの決定が適正でないと判定すると（ステップＳ１０８：Ｎｏ）、道路境界線ＢＬの決定を取り消して（ステップＳ１１２）、本処理ルーチンを終了する。この結果、ＣＰＵ１０１は、以降で実行される運転支援処理において、道路境界線ＢＬを用いることなく運転支援処理を実行する。

以上説明した第１の実施形態に係る対象物検出装置１００によれば、カメラ２２１により撮像された撮像画像から抽出された特徴点ＦＰを用いて決定した立体物と道路との道路境界線ＢＬが、自車両の予定軌道と交差する場合に、道路境界線ＢＬの決定が適正であるか否かを判定することができる。この結果、カメラ２２１を用いて対象物を検出する際に、車両の予定軌道と交差する対象物の誤検出を抑制または防止することができる。また、対象物としての道路境界線ＢＬを用いる後段処理、例えば、運転支援処理において、適正でない道路境界線ＢＬを用いた不所望の運転支援処理の実行を抑制または防止することができる。すなわち、道路境界線ＢＬがガードレールＧＲである場合に、撮像画像を用いて自車両の予定軌道ＰＬ上にガードレールＧＲが存在すると決定された場合であっても、当該決定が適正であるか否かを判定することによって、実際には予定軌道ＰＬ上に存在しないガードレールＧＲに対する運転支援処理の実行を抑制または防止することができる。

第２の実施形態：
道路境界線ＢＬの決定が適正であるか否かの判定の第２の態様について以下説明する。なお、第２の実施形態を含む以下の各実施形態における対象物検出装置の構成は第１の実施形態における対象物検出装置１００の構成と同様であるから同一の符号を付して説明を省略する。

第２の実施形態における道路境界線ＢＬの決定が適正であるか否かの判定は、特徴点ＦＰに加えて、ミリ波レーダ２１１による反射点を用いて実行される。ミリ波レーダ２１１による反射点は、例えば、ステップＳ１００において特徴点ＦＰと同時に取得されても良く、あるいは、ステップＳ１０６の判定時に取得されても良い。
（３）正面の領域Ａ２に反射点が含まれているか否か。

（３）の判定では、図１０に示すように、自車両Ｍ０の正面領域、すなわち、領域Ａ２に、特徴点ＦＰ並びに反射点ＲＰが含まれていない場合、ＣＰＵ１０１は、道路境界線ＢＬの決定は適正でないと判定する。特徴点ＦＰに加えて、反射点ＲＰも含まれていない場合、正面の領域Ａ２には立体物は存在せず、予定軌道ＰＬと交差する道路境界線ＢＬは存在しないと判定することが合理的である。図１１に示すように、自車両Ｍ０の正面の領域Ａ２に、特徴点ＦＰおよび反射点ＲＰが含まれている場合、ＣＰＵ１０１は、道路境界線ＢＬの決定は適正であると判定する。特徴点ＦＰに加えて、反射点ＲＰも含まれており、正面の領域Ａ２には立体物が存在し、予定軌道ＰＬと交差する道路境界線ＢＬが存在すると判定することが合理的である。さらに、図１２に示すように、正面の領域Ａ２に特徴点ＦＰが含まれていない場合であっても、反射点ＲＰが含まれている場合、ＣＰＵ１０１は、道路境界線ＢＬの決定は適正であると判定する。自車両Ｍ０が図６に示すように走行している場合には、図１０に示すように反射点ＲＰと特徴点ＦＰとは重なり、あるいは、同一の点列上に存在する。この結果、正面の領域Ａ２には反射点ＲＰおよび特徴点ＦＰは共に存在しない。一方、自車両Ｍ０が図４に示すように走行し、ガードレールＧＲと自車両Ｍ０との距離が十分遠い場合、各特徴点ＦＰ間のばらつき、すなわち、各特徴点間の距離は大きく、図１２に示すように、正面の領域Ａ２には特徴点ＦＰが含まれないことがある。図１２において、領域に含まれる特徴点ＦＰの数やパターンは図１０に示す場合と近似しているが、特徴点ＦＰのばらつきが大きく、また、点列の分散も大きい。この場合、正面の領域Ａ２に特徴点ＦＰが含まれていなくても、反射点ＲＰが含まれる場合には、図４に示す態様を含み得る。そこで、ＣＰＵ１０１は、正面の領域Ａ２には特徴点ＦＰが含まれない場合であっても、正面の領域Ａ２に反射点ＲＰが含まれる場合には、道路境界線ＢＬの特定は適正であると判定する。なお、本明細書において、正面の領域Ａ２に反射点ＲＰが含まれないとの判定には、正面の領域Ａ２に含まれる反射点ＲＰの数が基準数よりも少ない場合が含まれても良い。基準数は、例えば、１または２点である。

第２の実施形態に係る対象物検出装置１００によれば、ミリ波レーダ２１１により得られる反射点を用いることによって、特徴点ＦＰを用いて決定された道路境界線ＢＬが適正であるか否かをより精度良く判定することができる。特に、正面の領域Ａ２に特徴点ＦＰが含まれない場合に、異なる測定手段によって、予定軌道ＰＬ上における立体物の存在を重ねて確認することができる。

第３の実施形態：
道路境界線ＢＬの決定が適正であるか否かの判定の第３の態様について以下説明する。第３の実施形態における道路境界線ＢＬの決定が適正であるか否かの判定は、領域Ａ１～Ａ３を用いず、特徴点ＦＰを用いて決定された道路境界線ＢＬ、自車両Ｍ０の予定軌道幅およびミリ波レーダ２１１による反射点を用いて実行される。ミリ波レーダ２１１による反射点は、例えば、ステップＳ１００において特徴点ＦＰと同時に取得されても良く、あるいは、ステップＳ１０６の判定時に取得されても良い。
（４）自車両Ｍ０の予定軌道幅内に反射点ＲＰが含まれているか否か。

（４）の判定では、図１３に示すように、自車両Ｍ０の予定軌道幅ＭＤ内に反射点ＲＰが含まれていない場合、ＣＰＵ１０１は、道路境界線ＢＬの決定は適正でないと判定する。予定軌道幅ＭＤは、自車両Ｍ０の車幅Ｄ±α［ｍ］の幅であり、車両毎に設定されても良く、一般的な車両の車幅、例えば、１．８～１．９ｍが用いられても良い。調整代αは持たせたい余裕に合わせて設定され、例えば、０．３～０．６ｍである。ＣＰＵ１０１は、自車両Ｍ０の幅方向の中心と予定軌道幅ＭＤの中心とを合わせ、自車両Ｍ０の進行方向に延伸する帯状の領域内に反射点ＲＰが含まれているか否かを判定する。自車両Ｍ０の予定軌道幅内に反射点ＲＰが存在しない場合には、予定軌道ＰＬ上に立体物は存在しないので、道路境界線ＢＬの決定は適正でないと判定される。なお、車幅Ｄおよび調整代αの数値は、理解を容易にするための例示に過ぎず、これに限定されるものではない。

第３の実施形態に係る対象物検出装置１００によれば、道路境界線ＢＬを複数の領域に分割することなく、予定軌道幅ＭＤと反射点ＲＰとを用いることによって、道路境界線ＢＬの決定が適正であるか否かを判定することができる。すなわち、自車両Ｍ０の進路上に立体物を示す反射点ＲＰが存在する場合には、道路境界線ＢＬの決定は適正と判定し、自車両Ｍ０の進路上に立体物を示す反射点ＲＰが存在しない場合には、道路境界線ＢＬの決定は適正と判定する。なお、道路境界線ＢＬが予定軌道ＰＬと交差することが条件とされているので、予定軌道ＰＬ上に反射点ＲＰが含まれず、ガードレールＧＲに相当する道路境界線ＢＬが決定されている車両の一般的な走行状態においては、決定された道路境界線ＢＬは維持される。

第４の実施形態：
道路境界線ＢＬの決定が適正であるか否かの判定の第４の態様について以下説明する。第４の実施形態は第３の実施形態を前提とする実施形態であり、第４の実施形態における道路境界線ＢＬの決定が適正であるか否かの判定は、領域Ａ１～Ａ３を用いず、特徴点ＦＰと、自車両Ｍ０の予定軌道幅と、ミリ波レーダ２１１による反射点とを用いて実行される。ミリ波レーダ２１１による反射点は、例えば、ステップＳ１００において特徴点ＦＰと同時に取得されても良く、あるいは、ステップＳ１０６の判定時に取得されても良い。
（５）自車両Ｍ０の予定軌道幅ＭＤ内に反射点ＲＰが含まれている場合に、反射点ＲＰの近傍に特徴点ＦＰが存在するか否か。
（６）自車両Ｍ０の予定軌道幅ＭＤ内に反射点ＲＰが含まれている場合に、反射点ＲＰが予定軌道を進行移動するか否か、または、特徴点ＦＰが予定軌道上の先行車を示すか否か。

（５）の判定では、図１４に示すように、自車両Ｍ０の予定軌道幅ＭＤ内に反射点ＲＰが存在する場合、反射点ＲＰに対応する対象物Ｔａ１が、自車両Ｍ０の予定軌道ＰＬ上におけるマンホールやグレーチングといった強い強度の反射波を反射する平板状の対象物であるか、立体状の対象物であるかが判定される。例えば、マンホールは、板状、すなわち、平面体であるが反射波の強度が強いため、ミリ波レーダ２１１が十分な強度の反射波を受信し立体物を示す反射点ＲＰと判定されることがある。そこで、ＣＰＵ１０１は、反射点ＲＰの近傍、例えば、反射点ＲＰを中心とする半径１ｍまたは１ｍ四方に特徴点ＦＰが存在するか否かを併せて判定する。ＣＰＵ１０１は、反射点ＲＰの近傍に特徴点ＦＰが存在しない場合には、反射点ＲＰは立体物ではなく、マンホール等に対応するとして、道路境界線ＢＬの決定は適正でないと判定する。これに対して、反射点ＲＰの近傍に特徴点ＦＰが存在する場合には、反射点ＲＰは立体物の可能性が高いと判定し、道路境界線ＢＬの決定は適正であると判定する。

（６）の判定では、図１５に示すように、自車両Ｍ０の予定軌道幅ＭＤ内に反射点ＲＰが存在する場合、反射点ＲＰに対応する対象物が先行車両Ｍ１であるか否かが判定される。（５）の判定において、反射点ＲＰの近傍に特徴点ＦＰが存在し、反射点ＲＰは立体物に対応することが確認されたとしても、立体物は自車両Ｍ０の進行方向に進行する先行車両Ｍ１である可能性がある。立体物が先行車両Ｍ１である場合、先行車両Ｍ１を含む道路境界線ＢＬの決定は適正でない。具体的には、ＣＰＵ１０１は、反射点ＲＰが自車両Ｍ０の予定軌道ＰＬを進行する移動速度を有する場合、および、自車両Ｍ０の予定軌道幅ＭＤ内に特徴点ＦＰが予定軌道上に先行者を示す場合の、少なくともいずれか一方が成立する場合、反射点ＲＰは先行車両Ｍ１に対応すると判定し、道路境界線ＢＬの決定は適正でないと判定する。なお、反射点ＲＰの情報には、反射点ＲＰの速度情報が含まれており、また、特徴点ＦＰを用いた先行車両Ｍ１の判定は、既述のセマンティック・セグメンテーションや、パターンマッチングによって実現され得る。さらに、先行車両Ｍ１の速度は、撮像フレーム間における特徴点ＦＰの移動量から算出され得る。

第４の実施形態に係る対象物検出装置１００によれば、道路境界線ＢＬを複数の領域に分割することなく、予定軌道幅ＭＤと反射点ＲＰとを用いて道路境界線ＢＬの決定が適正であるか否かを判定する際の判定精度を向上させることができる。すなわち、反射点ＲＰの対象物が移動する先行車両Ｍ１であるか否かを判定し、先行車両Ｍ１である場合には、道路境界線ＢＬの決定は適正でないと判定することにより、道路境界線ＢＬの誤判定を抑制または防止することができる。

第５の実施形態：
図１６に示すように、第１および第２の実施形態において、自車両Ｍ０、すなわち、カメラ２２１から立体物、すなわち、特徴点ＦＰまでの距離に応じて、領域の奥行き方向の長さを可変長としても良い。具体的には、カメラ２２１から特徴点ＦＰまでの距離が長いほど、領域の奥行き方向の長さが大きくなるように設定されても良い。この結果、遠方ほど奥行き方向に位置誤差が大きいカメラ２２１の特性を補完して、領域を用いた道路境界線ＢＬの決定の適正判定の精度を向上させることができる。

その他の実施形態：
（１）第１～第５の実施形態において出力される特定結果を用いる応用例について説明する。ＣＰＵ１０１が運転支援プログラムＰｒ２を実行することによって、対象物の特定結果を用いて運転支援処理が実行される。図１７に示すフローチャートは、図３に示すフローチャートと同様にして繰り返し実行される。

ＣＰＵ１０１は、対象物の特定結果を取得する（ステップＳ２００）。特定結果は、例えば、上記各実施形態において決定された道路境界線ＢＬを含む。ＣＰＵ１０１は、特定結果が対象物を特定できているか否か判定し（ステップＳ２０２）、特定できている場合、すなわち、道路境界線ＢＬが決定されている場合には（ステップＳ２０２：Ｙｅｓ）、運転支援処理を実行して（ステップＳ２０４）本処理ルーチンを終了する。運転支援処理は、ＣＰＵ１０１が、運転支援装置３１に対して制動支援制御信号、操舵支援制御信号および出力制御信号の少なくともいずれかを出力することによって、実現される。ＣＰＵ１０１は、対象物が特定できていない場合、例えば、道路境界線ＢＬが取り消されている場合には（ステップＳ２０２：Ｎｏ）、運転支援処理を実行せず（ステップＳ２０６）本処理ルーチンを終了する。

第１～第４の実施形態に係る対象物検出装置１００によれば、予定軌道ＰＬと交差する道路境界線ＢＬの決定が適正であるか否かが判定されるので、実際は予定軌道ＰＬ上に存在しない道路境界線ＢＬに対する運転支援の実行を抑制または回避することが可能となり、運転支援の処理精度の向上を図ることができる。

（２）上記実施形態においては、道路境界線ＢＬの決定が適正でない場合には、道路境界線ＢＬの決定、すなわち道路境界線ＢＬの記録が取り消される。これに対して、道路境界線ＢＬの記録は維持したまま、例えば、不使用フラグを用いて運転支援処理において道路境界線ＢＬが用いられない態様が取られても良い。この場合には、道路境界線ＢＬが取り消される場合と同様の効果を得ることが可能となり、また、決定された道路境界線ＢＬを他の処理、例えば、フュージョン処理において利用することができる。あるいは、道路境界線ＢＬの決定が適正でない場合には、運転支援処理を実行しない態様が取られても良い。

（３）上記各実施形態においては、ＣＰＵ１０１が対象物検出プログラムＰｒ１を実行することによって、ソフトウェア的に道路境界線ＢＬの決定が適正であるか否かを判定する制御部が実現されているが、予めプログラムされた集積回路またはディスクリート回路によってハードウェア的に実現されても良い。すなわち、上記各実施形態における制御部およびその手法は、コンピュータプログラムにより具体化された一つまたは複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部およびその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部およびその手法は、一つまたは複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

以上、実施形態、変形例に基づき本開示について説明してきたが、上記した発明の実施の形態は、本開示の理解を容易にするためのものであり、本開示を限定するものではない。本開示は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本開示にはその等価物が含まれる。たとえば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…対象物検出システム、２２…カメラＥＣＵ、２２１…カメラ、３１…運転支援装置、１００…対象物検出装置、１０１…ＣＰＵ、１０２…メモリ、１０３…取得部、１０４…バス、５００…車両、Ｐｒ１…対象物検出プログラム。

Claims (10)

1. 車両（５００）における対象物検出装置（１００）であって、
   撮像画像から抽出された自車両の周囲における物標を示す特徴点を取得する取得部（１０３）と、
   前記特徴点を用いて立体物と道路との道路境界線を決定し、前記道路境界線が自車両の予定軌道と交差する場合には、前記道路境界線の決定が適正であるか否かを判定する制御部（１０１、Ｐｒ１）と、を備える、車両における対象物検出装置。
2. 請求項１に記載の車両における対象物検出装置において、
   前記制御部は、前記道路境界線を複数の領域に分割し、前記複数の領域の内、自車両の予定軌道と交差する正面領域に前記特徴点が含まれていない場合には、前記道路境界線の決定は適正でないと判定する、車両における対象物検出装置。
3. 請求項１に記載の車両における対象物検出装置において、
   前記制御部は、前記道路境界線を複数の領域に分割し、前記複数の領域の内、自車両の予定軌道と交差する正面領域に含まれる前記特徴点の数が、前記正面領域以外の前記領域に含まれる前記特徴点の数よりも少ない場合には、前記道路境界線の決定は適正でないと判定する、車両における対象物検出装置。
4. 請求項２または３に記載の車両における対象物検出装置において、
   前記取得部はさらに、自車両の周囲における物標を示す反射点を取得し、
   前記制御部は、前記正面領域に前記特徴点が含まれていない場合、あるいは、前記正面領域に含まれる前記特徴点の数が、前記正面領域以外の前記領域に含まれる前記特徴点の数よりも少ない場合、であっても、前記正面領域に前記反射点が含まれている場合には、前記道路境界線の決定は適正であると判定する、車両における対象物検出装置。
5. 請求項１に記載の車両における対象物検出装置において、
   前記取得部はさらに、自車両の周囲における物標を示す反射点を取得し、
   前記制御部は、自車両の予定軌道幅内に前記反射点が存在しない場合には、前記道路境界線の決定は適正でないと判定する、車両における対象物検出装置。
6. 請求項５に記載の車両における対象物検出装置において、
   前記制御部は、自車両の予定軌道幅内に前記反射点が存在する場合であっても、前記反射点の近傍に前記特徴点が存在しない場合には、前記道路境界線の決定は適正でないと判定する、車両における対象物検出装置。
7. 請求項５に記載の車両における対象物検出装置において、
   前記制御部は、自車両の予定軌道幅内に前記反射点が存在する場合であっても、前記反射点が自車両の予定軌道を進行移動する場合および前記特徴点が自車両の予定軌道上の先行車を示す場合の少なくともいずれか一方が成立する場合には、前記道路境界線の決定は適正でないと判定する、車両における対象物検出装置。
8. 車両（５００）に搭載される対象物検出システム（１０）であって、
   請求項１から３のいずれか一項に記載の対象物検出装置（１００）と、
   前記撮像画像を取得する撮像装置（２２、２２１）と、
   を備える、対象物検出システム。
9. 車両（５００）に搭載される対象物検出システム（１０）であって、
   請求項４から７のいずれか一項に記載の対象物検出装置（１００）と、
   前記撮像画像を生成する撮像装置（２２、２２１）と、
   検出波を射出して前記反射点を検出する検出器（２１、２１１）と、を備える、対象物検出システム。
10. 車両（５００）における対象物検出方法であって、
    撮像画像から抽出された自車両の周囲における物標を示す特徴点を取得し、
    前記特徴点を用いて立体物と道路との道路境界線を決定し、
    前記道路境界線が自車両の予定軌道と交差する場合には、前記道路境界線の決定が適正であるか否かを判定すること、を備える、車両における対象物検出方法。

Images