JP7527482B2 - 物体検出装置および物体検出方法 - Google Patents

Description

本開示は、物体を検出する物体検出装置および物体検出方法に関する。

車両搭載用の物体検出装置は、車両を利用する環境に存在する人、障害物などの物体を短時間に検出する。この物体検出装置が検出した物体のデータが、車両制御、警報通知などに用いられることで、安全な車両運転を実現することが可能となる。

物体検出装置には、レーダ、カメラ、ライダ（LIDAR：LIght Detection And Ranging）、超音波センサなどのセンサが用いられる。近年では、各種センサの普及により、複数種類のセンサを組合せることで性能向上を実現するフュージョン型の物体検出装置が幅広く利用されるようになっている。

特許文献１に記載の物体検出装置は、レーダおよびカメラを用いてフュージョン型の物体検出装置を実現している。この特許文献１に記載の物体検出装置は、レーダを用いて検出した物体の位置データと、カメラを用いて検出した物体の位置データとに基づいて、物体の検出データを出力している。

国際公開第２０１０／１１９８６０号

しかしながら、上記特許文献１の技術では、物体を精度良く検出するために高性能なカメラで物体の位置データを検出しているので、物体検出装置の製造コストが高くなるという問題があった。

本開示は、上記に鑑みてなされたものであって、低製造コストで精度良く物体を検出することができる物体検出装置を得ることを目的とする。

上述した課題を解決し、目的を達成するために、本開示の物体検出装置は、物体に電磁波を発射して、物体からの反射信号を受信するレーダと、反射信号に基づいて、物体の位置を示すレーダ位置データおよび物体の速度を示すレーダ速度データを算出する信号処理器と、物体を撮像することで、物体の画像情報を取得するカメラと、画像情報に基づいて、物体の速度を示すカメラ速度データを算出する画像処理器と、を備える。また、本開示の物体検出装置は、第１のフレームにおけるレーダ位置データおよびレーダ速度データを、第１のフレームにおいて物体の位置を示す第１の検出位置データおよび第１のフレームにおいて物体の速度を示す第１の検出速度データとして外部装置に出力するフュージョン処理器を備える。フュージョン処理器は、第１の検出位置データを保存しておくデータ保存器を有し、第１のフレームよりも後のフレームである第２のフレームにおいてレーダ位置データおよびレーダ速度データを消失した場合には、第１の検出位置データおよび第２のフレームで取得したカメラ速度データに基づいて、第２のフレームにおいて物体の位置を示す第２の検出位置データおよび第２のフレームにおいて物体の速度を示す第２の検出速度データを生成して外部装置に出力する。

本開示にかかる物体検出装置は、低製造コストで精度良く物体を検出することができるという効果を奏する。

実施の形態１にかかる物体検出装置の構成を示す図 実施の形態１にかかる物体検出装置による物体の検出処理手順を示すフローチャート 実施の形態２にかかる物体検出装置の構成を示す図 実施の形態２にかかる物体検出装置による物体の検出処理手順を示すフローチャート 実施の形態１，２に係る物体検出装置が備える処理回路をプロセッサおよびメモリで実現する場合の処理回路の構成例を示す図 実施の形態１，２に係る物体検出装置が備える処理回路を専用のハードウェアで構成する場合の処理回路の例を示す図

以下に、本開示の実施の形態にかかる物体検出装置および物体検出方法を図面に基づいて詳細に説明する。

実施の形態１．
図１は、実施の形態１にかかる物体検出装置の構成を示す図である。物体検出装置１００Ａは、複数種類のセンサを組合せたフュージョン型の物体検出装置であり、複数種類のセンサから得られたデータに基づいて、物体の検出データを算出する。物体検出装置１００Ａは、使用環境が原因で物体の検出データが消失した場合に、１つ前のフレームで得られた検出データを用いて物体の位置、速度などを推定する。物体検出装置１００Ａが出力する検出データは、車両の制御などに用いられる。

物体検出装置１００Ａは、レーダ１と、カメラ２と、信号処理器３と、画像処理器４Ａと、フュージョン処理器５Ａとを備えている。フュージョン処理器５Ａは、同一判定部６Ａと、検出データ転送部１０と、データ保存器１１Ａとを有している。同一判定部６Ａは、同一判定器７Ａと、消失判定器８と、消失外挿器９Ａとを具備している。

レーダ１は、物体検出装置１００Ａが配置される環境に存在する人、障害物などの物体に電磁波を発射して、物体からの反射信号を受信する。レーダ１は、車両搭載用途の場合、一般的にＦＭＣＷ（Frequency Modulated Continuous Wave、周波数変調連続波）方式、ＦＣＭ（Fast Chirp Modulation）方式を使用する。レーダ１は、例えば、高周波半導体部品、電源半導体部品、基板、水晶デバイス、チップ部品、アンテナなどから構成されている。

信号処理器３は、レーダ１から送られてくる反射信号（受信信号）を信号処理して、物体の位置および相対速度を検出する。信号処理器３は、レーダ１からの受信信号に基づいて算出した物体の位置を示す位置データを、レーダ位置データとしてフュージョン処理器５Ａに送る。また、信号処理器３は、レーダ１からの受信信号に基づいて算出した物体の速度を示す速度データを、レーダ速度データとしてフュージョン処理器５Ａに送る。信号処理器３は、例えば、ＭＣＵ（Micro Control Unit）、ＣＰＵ（Central Processing Unit）などで構成されている。

カメラ２は、物体を撮像することで、物体の画像情報を取得する。カメラ２は、レンズ、ホルダ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ、電源半導体部品、水晶デバイスなどの部品で構成されている。カメラ２は、物体の位置を検出しない低性能なカメラでよい。

画像処理器４Ａは、カメラ２が取得した画像情報に基づいて、物体認識を実行するとともに物体の物体検出装置１００Ａに対する相対速度、物体が位置している方位を算出する。画像処理器４Ａは、例えば、ＭＣＵ、ＣＰＵなどで構成されている。画像処理器４Ａは、機械学習または深層学習によって得られた特徴データをデータベースとして、人、障害物などの物体を認識し、物体の相対速度および方位を検出する。特徴データは、人、障害物などの物体の特徴を示すデータである。

画像処理器４Ａは、物体を認識したことを示す物体認識データをフュージョン処理器５Ａに送る。物体認識データは、物体が、人であるか障害物であるかを区別するためのデータである。画像処理器４Ａは、１ビットで人と障害物とを区別する場合には、例えば、人の場合は「０」、障害物の場合は「１」を物体認識データとして生成する。また、画像処理器４Ａは、物体の物体検出装置１００Ａに対する相対速度を示す速度データを、カメラ速度データとしてフュージョン処理器５Ａに送る。また、画像処理器４Ａは、物体が位置している方位を示す方位データをフュージョン処理器５Ａに送る。画像処理器４Ａは、物体の位置を算出しない低性能な処理器でよい。

物体検出装置１００Ａでは、信号処理器３がフレーム単位で、レーダ位置データおよびレーダ速度データを算出してフュージョン処理器５Ａに送る。また、物体検出装置１００Ａでは、画像処理器４Ａがフレーム単位で、物体認識データ、カメラ速度データ、および方位データを算出してフュージョン処理器５Ａに送る。

信号処理器３は、特定のタイミング毎に、レーダ位置データおよびレーダ速度データを算出する。また、画像処理器４Ａは、特定のタイミング毎に、物体認識データ、カメラ速度データ、および方位データを算出する。信号処理器３および画像処理器４Ａに要する信号処理時間が同じである場合、信号処理器３および画像処理器４Ａがデータを算出するタイミングは同じタイミングである。すなわち、信号処理器３および画像処理器４Ａは、同じ時刻の物体から各データを算出する。

信号処理器３および画像処理器４Ａがデータを算出するタイミングは、フレームに対応している。例えば、信号処理器３が、第ｎ（ｎは自然数）番目のタイミングでデータを算出した場合、第ｎ番目のフレームには第ｎ番目のレーダ位置データおよびレーダ速度データが含まれる。また、画像処理器４Ａが、第ｎ番目のタイミングでデータを算出した場合、第ｎ番目のフレームには第ｎ番目の物体認識データ、カメラ速度データ、および方位データが含まれる。第（ｎ－１）番目のフレームが第１のフレームであり、第ｎ番目のフレームが第２のフレームである。

フュージョン処理器５Ａは、信号処理器３から送られてくるレーダ位置データおよびレーダ速度データと、画像処理器４Ａから送られてくる物体認識データ、カメラ速度データ、および方位データと、に対して信号処理を実行する。フュージョン処理器５Ａは、信号処理の結果を、物体検出装置１００Ａの検出結果として出力する。物体検出装置１００Ａの検出結果は、物体認識データ、速度データ、および位置データである。

フュージョン処理器５Ａでは、同一判定部６Ａの同一判定器７Ａが、レーダ位置データと、レーダ速度データと、カメラ速度データと、方位データと、物体認識データとに基づいて、物体の同一判定処理を実行する。物体の同一判定処理は、レーダ１が検出した物体と、カメラ２が検出した物体とが同一の物体であるか否かの判定処理である。

同一判定器７Ａは、物体の同一判定処理を実行し、同一であると判定できた場合は、レーダ１を用いて取得されたレーダ位置データおよびレーダ速度データと、カメラ２を用いて取得された物体認識データおよびカメラ速度データとの対応付けを行う。同一判定器７Ａは、レーダ位置データと、レーダ速度データと、物体認識データと、カメラ速度データとを対応付けしたデータ（以下、第１対応付けデータという）を、後段に接続されている消失判定器８に送る。

消失判定器８は、レーダ１を用いて取得されたレーダ位置データおよびレーダ速度データの信号消失の有無を判定する。信号消失が発生している状態は、物体検出装置１００Ａが、１つ前に検出されたフレームではレーダ位置データおよびレーダ速度データを取得できていたが、現在の検出フレームでは、レーダ位置データおよびレーダ速度データを一時的に取得できていない状態である。すなわち、信号消失の状態は、カメラ２では物体を検出できているにも関わらず、レーダ１では物体を検出できていない状態である。

消失判定器８は、信号消失が無い場合には、レーダ位置データ、レーダ速度データ、および物体認識データを消失外挿器９Ａに送る。消失判定器８は、信号消失がある場合には、物体認識データおよびカメラ速度データを消失外挿器９Ａに送る。

物体検出装置１００Ａは、レーダ１を用いて物体を検出する際には、所望の物体がクラッタまたはマルチパスに埋もれてしまい、物体を検出することができないことが高頻度に生じる。

消失外挿器９Ａは、消失判定器８がデータの消失を検出した場合のみデータの外挿を実行する。消失外挿器９Ａは、信号消失が無い時は、消失判定器８から送られてきた、レーダ位置データ、レーダ速度データ、および物体認識データを、物体検出装置１００Ａが検出した、位置データ（検出位置データ）、速度データ（検出速度データ）、および物体認識データとして、検出データ転送部１０に送る。

消失外挿器９Ａは、信号消失が有る時は、現在のフレームの位置データおよび速度データを生成して、現在のフレームに外挿し、検出データ転送部１０に転送する。具体的には、消失外挿器９Ａは、信号消失が有る時は、データ保存器１１Ａに保存されている位置データと、カメラ速度データとに基づいて、現在のフレームの位置データおよび速度データを外挿して、検出データ転送部１０に送る。すなわち、消失外挿器９Ａは、信号消失が有る場合、生成した位置データ、生成した速度データ、および物体認識データを検出データ転送部１０に転送する。

検出データ転送部１０は、位置データ、速度データ、および物体認識データを現在のフレームとして、外部装置に転送する。外部装置の例は、車両の制御を行う車両制御装置１２である。また、検出データ転送部１０は、車両制御装置１２に転送した位置データと同じ位置データをデータ保存器１１Ａに保存する。データ保存器１１Ａに保存された位置データは、次のフレームで信号消失が有った場合に、消失外挿器９Ａによって読み出される。

検出データ転送部１０は、常に現在のフレームにおける位置データ（最新の位置データ）をデータ保存器１１Ａに格納するとともに、位置データ、速度データ、および物体認識データを、車両制御装置１２に転送する。検出データ転送部１０が車両制御装置１２に出力する位置データが検出位置データであり、検出データ転送部１０が車両制御装置１２に出力する速度データが検出速度データである。

消失外挿器９Ａは、現在のフレームにおいて信号消失が有った場合は、データ保存器１１Ａに保存されている１つ前に検出されたフレームの位置データと、現在検出されたフレームのカメラ速度データとに基づいて、物体の移動方向を推定し、現在の物体の位置に対応する位置データおよび現在の物体の速度に対応する速度データを推定する。消失外挿器９Ａは、推定した位置データおよび速度データを、現在のフレームに外挿する。

つぎに、物体検出装置１００Ａによる物体の検出処理手順について説明する。図２は、実施の形態１にかかる物体検出装置による物体の検出処理手順を示すフローチャートである。

物体検出装置１００Ａは、物体検出のフレーム生成を開始する（ステップＳ１）。物体検出装置１００Ａは、レーダ１を用いて物体の位置および速度を検出する（ステップＳ２）。具体的には、レーダ１は、物体に電磁波を発射して、物体からの反射信号を受信し、受信信号を信号処理器３に出力する。信号処理器３は、レーダ１からの受信信号に基づいて、物体の位置を示すレーダ位置データおよび物体の速度を示すレーダ速度データを生成する。

また、物体検出装置１００Ａは、カメラ２を用いて物体を認識し、物体の速度および方位を検出する（ステップＳ３Ａ）。具体的には、カメラ２は、物体を撮像することで、物体の画像情報を取得し、画像情報を画像処理器４Ａに出力する。画像処理器４Ａは、カメラ２が取得した画像情報に基づいて、物体認識を実行するとともに、物体の物体検出装置１００Ａに対する相対速度を示すカメラ速度データ、物体が位置している方位を示す方位データを生成する。なお、物体検出装置１００Ａは、ステップＳ２の処理と、ステップＳ３Ａの処理とを同時に実行する。

物体検出装置１００Ａでは、信号処理器３がレーダ位置データおよびレーダ速度データをフュージョン処理器５Ａに送るとともに、画像処理器４Ａが物体を認識したことを示す物体認識データ、カメラ速度データ、および方位データをフュージョン処理器５Ａに送る。

フュージョン処理器５Ａの同一判定器７Ａは、レーダ位置データと、レーダ速度データと、カメラ速度データと、方位データと、物体認識データとに基づいて、物体の同一判定処理を実行する（ステップＳ４）。すなわち、同一判定器７Ａは、レーダ１が検出した物体と、カメラ２が検出した物体とが同一の物体であるか否かの判定を行う。

同一判定器７Ａは、物体が同一であると判定できた場合には、レーダ１を用いて取得されたレーダ位置データおよびレーダ速度データと、カメラ２を用いて取得された物体認識データおよびカメラ速度データとを対応付けした第１対応付けデータを生成して消失判定器８に送る。

消失判定器８は、現在のフレームにおいて、レーダ１を用いて取得された位置データおよび速度データであるレーダ検出データが消失したか否かを判定する（ステップＳ５）。すなわち、消失判定器８は、信号消失の有無を判定する。

レーダ検出データが消失している場合（ステップＳ５、Ｙｅｓ）、すなわち信号消失が有る場合、消失判定器８は、物体認識データおよびカメラ速度データを消失外挿器９Ａに送る。

この場合、消失外挿器９Ａは、データ保存器１１Ａに保存されている位置データと、消失判定器８から送られてきたカメラ速度データとに基づいて、現在のフレームの位置データおよび速度データを推定し生成する。すなわち、消失外挿器９Ａは、１つ前のフレームで検出された位置データ、および現在のフレームで検出されたカメラ速度データに基づいて、現在の物体の位置および速度を推定する。推定方法に関しては、以下の通りである。

現在のフレームの１つ前のフレーム、すなわち第（ｎ－１）番目のフレームにおいて、物体検出装置１００Ａが検出した位置データを（Ｘｎ－１，Ｙｎ－１）とする。現在のフレーム、すなわち第ｎ番目のフレームにおいて、カメラ２を用いて検出されたカメラ速度データを（ＶＸＣｎ，ＶＹＣｎ）とする。ここでのＸは、物体検出装置１００Ａに対して水平方向の座標を示し、Ｙは物体検出装置１００Ａに対して垂直方向の座標を示す。したがって、Ｘｎ－１はＸ方向の位置を示し、Ｙｎ－１はＹ方向の位置を示す。また、ＶＸＣｎは、Ｘ方向の速度を示し、ＶＹＣｎは、Ｙ方向の速度を示す。

これらのデータより、現在のフレームにおける物体の推定される位置データ（Ｘｎ，Ｙｎ）は以下の式（１）および式（２）で示される。式（１）および式（２）におけるＴｆは、物体検出装置１００Ａのフレームの更新周期時間である。

Ｘｎ＝（Ｘｎ－１）＋ＶＸＣｎ×Ｔｆ・・・（１）
Ｙｎ＝（Ｙｎ－１）＋ＶＹＣｎ×Ｔｆ・・・（２）

また、現在のフレームにおける物体の推定される速度データ（ＶＸｎ，ＶＹｎ）は、以下のようになる。

ＶＸｎ＝ＶＸＣｎ
ＶＹｎ＝ＶＹＣｎ

消失外挿器９Ａは、生成した位置データおよび速度データを、現在のフレームに外挿する。すなわち、消失外挿器９Ａは、消失したレーダ検出データを生成して現在のフレームに外挿する（ステップＳ６）。消失外挿器９Ａは、外挿した位置データと、外挿した速度データと、物体認識データとを対応付けして、検出データ転送部１０に送る（ステップＳ７）。すなわち、消失外挿器９Ａは、推定した位置データ（Ｘｎ，Ｙｎ）、推定した速度データ（ＶＸｎ，ＶＹｎ）、および物体認識データを、検出データ転送部１０に送る。

一方、レーダ検出データが消失していない場合（ステップＳ５、Ｎｏ）、すなわち信号消失が無い場合、消失判定器８は、レーダ１が検出したレーダ位置データ（ＸＲｎ，ＹＲｎ）およびレーダ速度データ（ＶＸＲｎ，ＶＹＲｎ）を消失外挿器９Ａに送る。

この場合の消失外挿器９Ａは、レーダ１が検出したレーダ位置データ（ＸＲｎ，ＹＲｎ）およびレーダ速度データ（ＶＸＲｎ，ＶＹＲｎ）を、そのまま位置データおよび速度データとして採用する。消失判定器８が採用する位置データ（Ｘｎ，Ｙｎ）および速度データ（ＶＸｎ，ＶＹｎ）は、以下のようになる。

Ｘｎ＝ＸＲｎ
Ｙｎ＝ＹＲｎ
ＶＸｎ＝ＶＸＲｎ
ＶＹｎ＝ＶＹＲｎ

消失外挿器９Ａは、採用した位置データと、採用した速度データと、物体認識データとを対応付けして、検出データ転送部１０に送る（ステップＳ７）。

検出データ転送部１０は、消失判定器８から送られてきた位置データ、速度データ、および物体認識データを車両制御装置１２に送る。検出データ転送部１０が、第（ｎ－１）番目のフレームとして車両制御装置１２に送る位置データが第１の検出位置データであり、検出データ転送部１０が第（ｎ－１）番目のフレームとして車両制御装置１２に送る速度データが第１の検出速度データである。また、検出データ転送部１０が、第ｎ番目のフレームとして車両制御装置１２に送る位置データが第２の検出位置データであり、検出データ転送部１０が第ｎ番目のフレームとして車両制御装置１２に送る速度データが第２の検出速度データである。車両制御装置１２は、検出データ転送部１０から送られてきた位置データ、速度データ、および物体認識データに基づいて、車両を制御する（ステップＳ８）。

物体検出装置１００Ａは、物体検出の次のフレーム生成に移行する（ステップＳ９）。これにより、物体検出装置１００Ａは、ステップＳ１からステップＳ９の処理を繰り返し実行する。

このように、物体検出装置１００Ａは、レーダ１を用いた物体のレーダ検出データを一時的に消失した場合であっても、１つ前のフレームのレーダ検出データおよび現在のフレームのカメラ２を用いた検出データを用いて、現在のフレームの位置データおよび速度データを生成する。すなわち、物体検出装置１００Ａは、１つ前のフレームの位置データと、現在のフレームのカメラ速度データとに基づいて、現在のフレームの位置データおよび速度データを生成する。

物体検出装置１００Ａは、生成した位置データおよび速度データを現在のフレームの検出データとして外挿することで、結果としてレーダ検出データの消失を改善することができる。したがって、物体検出装置１００Ａは、物体の検出性能を向上させることができる。物体検出装置１００Ａは、小型、かつ低製造コスト、かつ低負荷な、カメラ２および画像処理器４Ａを用いて精度良く物体を検出することができる。

なお、物体検出装置１００Ａは、レーダ検出データが消失した場合、２つ以上前のフレームの位置データと、現在のフレームのカメラ速度データとに基づいて、現在のフレームの位置データおよび速度データを生成してもよい。物体検出装置１００Ａは、レーダ検出データが消失した場合、できるだけ新しいフレームの位置データと、現在のフレームのカメラ速度データとに基づいて、現在のフレームの位置データおよび速度データを生成する。このように、物体検出装置１００Ａは、レーダ検出データが消失した場合、格納しておいた最新の位置データと、この最新の位置データのフレームよりも後のフレームである現在のフレームのカメラ速度データとに基づいて、現在のフレームの位置データおよび速度データを生成する。

以下、物体検出装置１００Ａを用いて物体を検出する場合の具体的なメリットについて説明する。物体検出装置１００Ａは、レーダ１および信号処理器３でのみ物体の位置を検出し、カメラ２および画像処理器４Ａでは物体の位置を検出しない。このような物体検出装置１００Ａの構成により、カメラ２および画像処理器４Ａのハードウェアおよびソフトウェアの負荷を低減することが可能となる。

物体の位置を検出して出力するには、ステレオカメラで測距することが一般的であるが、物体検出装置１００Ａでは、カメラ２を単眼カメラで構成することができる。画像処理器４Ａは、位置を検出しない構成であり、その分だけ処理能力を低減することができる。これらの理由から物体検出装置１００Ａのカメラ２および画像処理器４Ａは、低処理時間での動作でよいので、小型化できるとともに低製造コストで構成することができる。

ここで比較例の物体検出装置について説明する。比較例の物体検出装置も物体検出装置１００Ａと同様にカメラで位置データを検出しない。比較例の物体検出装置は、消失判定器８および消失外挿器９Ａを備えていない。この比較例の物体検出装置も物体検出装置１００Ａと同様に、レーダを用いて取得した位置データがフュージョン処理後の位置データで正となる。ところが、比較例の物体検出装置は、消失判定器８および消失外挿器９Ａを備えていないので、一時的な使用環境が原因でレーダ検出データが消失した場合、位置データを検出することができない。

一方、物体検出装置１００Ａでは、消失判定器８が、現在のフレームに対し、レーダ１を用いて取得したレーダ位置データおよびレーダ速度データが消失しているか否かを判定している。また、物体検出装置１００Ａでは、消失外挿器９Ａが、１つ前のフレームで保存しておいた位置データ、および現在のフレームで検出されたカメラ２の速度データに基づいて、現在のフレームの位置データおよび速度データを推定して現在のフレームに外挿している。

これにより、物体検出装置１００Ａは、カメラ２が小型で低製造コストの単眼カメラで構成された場合であっても、物体の平均的な検出精度を向上させることができる。すなわち、物体検出装置１００Ａは、小型かつ低製造コストで高性能な物体検出が可能となる。

このように、実施の形態１によれば、物体検出装置１００Ａは、１つ前のフレームで保存しておいた位置データおよび現在のカメラ速度データを用いて現在の位置データおよび速度データを生成するので、小型かつ低製造コストで精度良く物体を検出することができる。

実施の形態２．
つぎに、図３および図４を用いて実施の形態２について説明する。実施の形態２では、レーダ検出データが消失した場合にのみ、カメラ２を用いて検出した位置データ（後述するカメラ位置データ）を現在のフレームに外挿する。

図３は、実施の形態２にかかる物体検出装置の構成を示す図である。図３の各構成要素のうち図１に示す実施の形態１の物体検出装置１００Ａと同一機能を達成する構成要素については同一符号を付しており、重複する説明は省略する。

物体検出装置１００Ｂは、物体検出装置１００Ａと同様に、複数種類のセンサを組合せたフュージョン型の物体検出装置であり、複数種類のセンサから得られたデータに基づいて、物体の検出データを算出する。

物体検出装置１００Ｂは、画像処理器４Ａの代わりに画像処理器４Ｂを備えている。また、物体検出装置１００Ｂは、フュージョン処理器５Ａの代わりにフュージョン処理器５Ｂを備えている。すなわち、物体検出装置１００Ｂは、レーダ１と、カメラ２と、信号処理器３と、画像処理器４Ｂと、フュージョン処理器５Ｂとを備えている。

フュージョン処理器５Ｂは、同一判定部６Ａの代わりに同一判定部６Ｂを有している。また、フュージョン処理器５Ｂは、データ保存器１１Ａを備えていない。同一判定部６Ｂは、同一判定器７Ａの代わりに同一判定器７Ｂを具備し、消失外挿器９Ａの代わりに消失外挿器９Ｂを具備している。

以下、画像処理器４Ｂと画像処理器４Ａとの差異点、フュージョン処理器５Ｂとフュージョン処理器５Ａとの差異点について説明する。

画像処理器４Ｂは、カメラ２が取得した画像情報に基づいて、物体認識を実行するとともに物体の物体検出装置１００Ｂに対する相対速度、物体の位置を算出する。画像処理器４Ｂは、画像処理器４Ａと同様に、例えば、ＭＣＵ、ＣＰＵなどで構成されている。画像処理器４Ｂは、画像処理器４Ａと同様に、機械学習または深層学習によって得られた特徴データをデータベースとして、人、障害物などの物体を認識し、物体の相対速度および位置を算出する。

画像処理器４Ｂは、物体を認識したことを示す物体認識データ、カメラ速度データ、および物体の位置を示すカメラ位置データをフュージョン処理器５Ｂに送る。このように、画像処理器４Ｂは、画像処理器４Ａと比較して、物体の位置を算出する点が異なる。

同一判定器７Ｂは、レーダ位置データと、レーダ速度データと、カメラ速度データと、カメラ位置データと、物体認識データとに基づいて、物体の同一判定処理を実行する。同一判定器７Ｂは、物体が同一であると判定できた場合は、レーダ位置データと、レーダ速度データと、物体認識データと、カメラ速度データと、カメラ位置データとの対応付けを行う。同一判定器７Ｂは、これらの対応付けしたデータ（以下、第２対応付けデータという）を、後段に接続されている消失判定器８に送る。

実施の形態２の消失判定器８は、実施の形態１の消失判定器８と同様に、レーダ位置データおよびレーダ速度データの信号消失の有無を判定する。

消失判定器８は、信号消失が無い場合には、レーダ位置データ、レーダ速度データ、および物体認識データを消失外挿器９Ｂに送る。消失判定器８は、信号消失がある場合には、物体認識データ、カメラ速度データ、およびカメラ位置データを消失外挿器９Ｂに送る。

消失外挿器９Ｂは、消失判定器８がデータの消失を検出した場合のみデータの外挿を実行する。消失外挿器９Ｂは、信号消失が無い時は、消失判定器８から送られてきた、レーダ位置データ、レーダ速度データ、および物体認識データを、物体検出装置１００Ｂが検出した、位置データ、速度データ、および物体認識データとして検出データ転送部１０に送る。

消失外挿器９Ｂは、信号消失が有る時は、現在のフレームの位置データおよび速度データを生成して現在のフレームに外挿し、検出データ転送部１０に転送する。具体的には、消失外挿器９Ｂは、信号消失が有る時は、カメラ位置データ、カメラ速度データ、および物体認識データを、物体検出装置１００Ｂが検出した、位置データ、速度データ、および物体認識データとして検出データ転送部１０に転送する。

つぎに、物体検出装置１００Ｂによる物体の検出処理手順について説明する。図４は、実施の形態２にかかる物体検出装置による物体の検出処理手順を示すフローチャートである。なお、図４に示す処理のうち、図２で説明した処理と同様の処理については、その説明を省略する。

物体検出装置１００ＢがステップＳ１，Ｓ２の処理を実行する。実施の形態２では、物体検出装置１００Ｂが、ステップＳ３Ａの代わりにステップＳ３Ｂを実行する。すなわち、物体検出装置１００Ｂは、カメラ２を用いて物体を認識し、物体の速度および位置を検出する（ステップＳ３Ｂ）。具体的には、カメラ２は、物体を撮像することで、物体の画像情報を取得し、画像情報を画像処理器４Ｂに出力する。

画像処理器４Ｂは、カメラ２が取得した画像情報に基づいて、物体認識を実行するとともに、物体の物体検出装置１００Ｂに対する相対速度を示すカメラ速度データと、物体の物体検出装置１００Ｂに対する相対位置を示すカメラ位置データとを生成する。画像処理器４Ｂは、物体を認識したことを示す物体認識データ、カメラ速度データ、およびカメラ位置データをフュージョン処理器５Ｂに送る。なお、物体検出装置１００Ｂは、ステップＳ２の処理と、ステップＳ３Ｂの処理とを同時に実行する。

フュージョン処理器５Ｂの同一判定器７Ｂは、レーダ位置データと、レーダ速度データと、カメラ速度データと、カメラ位置データと、物体認識データとに基づいて、物体の同一判定処理を実行する（ステップＳ４）。

同一判定器７Ｂは、物体が同一であると判定できた場合には、レーダ位置データと、レーダ速度データと、カメラ２を用いて取得された物体認識データと、カメラ速度データと、カメラ位置データとを対応付けした第２対応付けデータを生成して消失判定器８に送る。

物体検出装置１００Ｂの消失判定器８は、レーダ位置データおよびレーダ速度データであるレーダ検出データが消失したか否かを判定する（ステップＳ５）。そして、レーダ検出データが消失している場合（ステップＳ５、Ｙｅｓ）、すなわち信号消失が有る場合、消失判定器８は、物体認識データ、カメラ位置データ、およびカメラ速度データを消失外挿器９Ｂに送る。

消失外挿器９Ｂは、レーダ検出データが消失している場合、カメラ位置データおよびカメラ速度データを現在のフレームに外挿する。換言すると、消失外挿器９Ｂは、レーダ検出データが消失している場合、カメラ位置データを現在のフレームの位置データに採用し、カメラ速度データを現在のフレームの速度データに採用する。このように、消失外挿器９Ｂは、消失したレーダ検出データを生成して現在のフレームに外挿する（ステップＳ６）。

この後、物体検出装置１００Ｂは、物体検出装置１００Ａと同様の処理によってステップＳ７以降の処理を実行する。なお、レーダ検出データが消失していない場合、消失外挿器９Ｂは、消失外挿器９Ａと同様の処理を実行する。

以下、物体検出装置１００Ｂを用いて物体を検出する場合の具体的なメリットについて説明する。物体検出装置１００Ｂは、レーダ１を用いて検出したレーダ位置データと、カメラ２を用いて検出したカメラ位置データとを算出する。

カメラ２が小型で低製造コストな単眼カメラの場合、一般的にカメラ２を用いて検出したカメラ位置データおよびカメラ速度データの精度は、レーダ１を用いて検出したレーダ位置データおよびレーダ速度データの精度よりも低い。このため、物体検出装置１００Ｂは、レーダ１の検出データを消失した場合のみ、カメラ２の検出データを用いる。すなわち、物体検出装置１００Ｂは、レーダ位置データおよびレーダ速度データを消失した場合にのみ、カメラ位置データおよびカメラ速度データを現在のフレームに外挿する。これにより、物体検出装置１００Ｂは、カメラ２が小型で低製造コストな単眼カメラで構成されていた場合であっても、平均的な物体検出精度を向上させることができる。

このように、実施の形態２によれば、物体検出装置１００Ｂは、レーダ検出データを一時的に消失したとしても、現在のフレームのカメラ２を用いた検出データに基づいて、レーダ検出データを推定する。これにより、物体検出装置１００Ｂは、レーダ検出データの消失を改善することができ、平均的な物体検出精度を向上させることができる。したがって、物体検出装置１００Ｂは、小型、かつ低製造コスト、かつ低負荷な、カメラ２および画像処理器４Ｂを用いて精度良く物体を検出することができる。

ここで、物体検出装置１００Ａ，１００Ｂのハードウェア構成について説明する。物体検出装置１００Ａ，１００Ｂは、処理回路により実現される。処理回路は、メモリに格納されるプログラムを実行するプロセッサおよびメモリであってもよいし、専用回路などの専用のハードウェアであってもよい。処理回路は制御回路とも呼ばれる。

図５は、実施の形態１，２に係る物体検出装置が備える処理回路をプロセッサおよびメモリで実現する場合の処理回路の構成例を示す図である。物体検出装置１００Ａ，１００Ｂは同様のハードウェア構成を有しているので、以下では物体検出装置１００Ａのハードウェア構成について説明する。

図５に示す処理回路９０は制御回路であり、プロセッサ９１およびメモリ９２を備える。処理回路９０がプロセッサ９１およびメモリ９２で構成される場合、処理回路９０の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ９２に格納される。処理回路９０では、メモリ９２に記憶されたプログラムをプロセッサ９１が読み出して実行することにより、各機能を実現する。すなわち、処理回路９０は、物体検出装置１００Ａの処理が結果的に実行されることになるプログラムを格納するためのメモリ９２を備える。このプログラムは、処理回路９０により実現される各機能を物体検出装置１００Ａに実行させるためのプログラムであるともいえる。このプログラムは、プログラムが記憶された記憶媒体により提供されてもよいし、通信媒体など他の手段により提供されてもよい。上記プログラムは、物体の検出処理を物体検出装置１００Ａに実行させるプログラムであるとも言える。

プロセッサ９１は、例えば、ＣＰＵ（中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）ともいう）またはシステムＬＳＩ（Large Scale Integration）である。

また、メモリ９２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（登録商標）（Electrically ＥＰＲＯＭ）などの、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤ（Digital Versatile Disc）などが該当する。

図６は、実施の形態１，２に係る物体検出装置が備える処理回路を専用のハードウェアで構成する場合の処理回路の例を示す図である。図６に示す処理回路９３は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、またはこれらを組み合わせたものが該当する。処理回路９３については、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、処理回路９３は、専用のハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。また、前述したように、信号処理器３および画像処理器４Ａは、それぞれ別々のＣＰＵなどで構成されてもよい。

以上の実施の形態に示した構成は、一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、実施の形態同士を組み合わせることも可能であるし、要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。

１ レーダ、２ カメラ、３ 信号処理器、４Ａ，４Ｂ 画像処理器、５Ａ，５Ｂ フュージョン処理器、６Ａ，６Ｂ 同一判定部、７Ａ，７Ｂ 同一判定器、８ 消失判定器、９Ａ，９Ｂ 消失外挿器、１０ 検出データ転送部、１１Ａ データ保存器、１２ 車両制御装置、９０，９３ 処理回路、９１ プロセッサ、９２ メモリ、１００Ａ，１００Ｂ 物体検出装置。

Claims (3)

1. 物体に電磁波を発射して、前記物体からの反射信号を受信するレーダと、
   前記反射信号に基づいて、前記物体の位置を示すレーダ位置データおよび前記物体の速度を示すレーダ速度データを算出する信号処理器と、
   前記物体を撮像することで、前記物体の画像情報を取得するカメラと、
   前記画像情報に基づいて、前記物体の速度を示すカメラ速度データを算出する画像処理器と、
   第１のフレームにおける前記レーダ位置データおよび前記レーダ速度データを、前記第１のフレームにおいて前記物体の位置を示す第１の検出位置データおよび前記第１のフレームにおいて前記物体の速度を示す第１の検出速度データとして外部装置に出力するフュージョン処理器と、
   を備え、
   前記フュージョン処理器は、前記第１の検出位置データを保存しておくデータ保存器を有し、
   前記第１のフレームよりも後のフレームである第２のフレームにおいて前記レーダ位置データおよび前記レーダ速度データを消失した場合には、前記第１の検出位置データおよび前記第２のフレームで取得した前記カメラ速度データに基づいて、前記第２のフレームにおいて前記物体の位置を示す第２の検出位置データおよび前記第２のフレームにおいて前記物体の速度を示す第２の検出速度データを生成して前記外部装置に出力する、
   ことを特徴とする物体検出装置。
2. 前記画像処理器は、前記画像情報に基づいて、前記物体の方位を示す方位データを算出し、
   前記フュージョン処理器は、前記レーダおよび前記カメラが検出した前記物体が同一の物体であるか否かの同一判定処理を実行する同一判定器を有し、
   前記同一判定器は、前記レーダ位置データと、前記レーダ速度データと、前記カメラ速度データと、前記方位データとに基づいて、前記物体の同一判定処理を実行する、
   ことを特徴とする請求項１に記載の物体検出装置。
3. 物体に電磁波を発射して、前記物体からの反射信号を受信するレーダと、前記物体を撮像することで、前記物体の画像情報を取得するカメラと、を備えた物体検出装置が、前記反射信号に基づいて、前記物体の位置を示すレーダ位置データおよび前記物体の速度を示すレーダ速度データを算出する信号処理ステップと、
   前記物体検出装置が、前記画像情報に基づいて、前記物体の速度を示すカメラ速度データを算出する画像処理ステップと、
   前記物体検出装置が、第１のフレームにおける前記レーダ位置データおよび前記レーダ速度データを、前記第１のフレームにおいて前記物体の位置を示す第１の検出位置データおよび前記第１のフレームにおいて前記物体の速度を示す第１の検出速度データとして外部装置に出力するフュージョン処理ステップと、
   を含み、
   前記物体検出装置は、前記フュージョン処理ステップでは、前記第１の検出位置データを保存しておき、前記第１のフレームよりも後のフレームである第２のフレームにおいて前記レーダ位置データおよび前記レーダ速度データを消失した場合には、前記第１の検出位置データおよび前記第２のフレームで取得した前記カメラ速度データに基づいて、前記第２のフレームにおいて前記物体の位置を示す第２の検出位置データおよび前記第２のフレームにおいて前記物体の速度を示す第２の検出速度データを生成して前記外部装置に出力する、
   ことを特徴とする物体検出方法。

Images