JP3607841B2

JP3607841B2 - Obstacle detection device

Info

Publication number: JP3607841B2
Application number: JP25696499A
Authority: JP
Inventors: 聡石井
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1999-09-10
Filing date: 1999-09-10
Publication date: 2005-01-05
Anticipated expiration: 2019-09-10
Also published as: JP2001084482A

Description

【０００１】
【発明の属する技術分野】
本発明は、道路上等に設置したセンサにより、道路等の状況を観測して障害物を検出する障害物検出装置に関するものである。
【０００２】
現在、道路上の障害物（一時停止車両、低速車両、停車車両、駐車車両等も含む）を原因とする交通事故が頻繁に起こっている。また、この被害も重大化している。このため、道路上等の障害物を運転者等に知らせるために、障害物を確実に検出できるようにすることが望まれている。
【０００３】
【従来の技術】
従来、単体のセンサを道路上に設置して、障害物を検出することは、例えば、平成１０年特許願第３４３８８０号として提案されている。しかし、例えば１つのカメラを用いた画像処理方法では、位置精度が悪い、影などの影響で障害物認識率が悪い、といった問題があった。また、２つ以上のカメラを用いて、位置精度を高めた画像処理方法（立体的に見る）もあるが、例えば１つの障害物が他の物の陰になる場合などで、１つのカメラには写るが他のカメラには写らない部分ではカメラ間でどの部分を対応させればよいか判らない、このためカメラ間の対応を調べる必要があり、障害物の認識率が悪いという問題があった。
【０００４】
さらに、例えば、音波による計測方法では、音速が遅いため位置計測に時間がかかる、長距離の計測ができないといった問題があった。電波レーダによる計測方法では、位置は正確に計測でき、認識率も高いが、ビーム幅が広く大きさの計測ができないこと、障害物の色や模様が伝えられないことといった問題があった。レーザレーダによる計測方法では、位置、大きさの計測は正確にできるが、雨霧が発生すると認識率が極端に落ちるという問題があった。
【０００５】
【発明が解決しようとする課題】
前記従来の単センサであると、認識率の悪さ、位置精度の悪さ、障害物の色や模様などが伝わらない等のどれかの問題が出てくる課題があった。
【０００６】
本発明は、このような従来の課題を解決し、複数のセンサを用いることによって、道路等の安全性を高めることができる障害物検出装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
図１は本発明の原理説明図である。図１中、１０ａは表示手段、２１ａはセンサ（パッシブセンサ）、３１ａはセンサ（アクティブセンサ）、４０ａは検出処理手段である。
【０００８】
本発明は前記従来の課題を解決するため次のように構成した。
【０００９】
（１）：道路上の状況を観測するために道路に設置された複数種類のセンサ２１ａ、３１ａからの障害物検出情報に基づき障害物を検出する障害物検出装置であって、道路上に設置された複数種類のセンサ２１ａ、３１ａと、前記複数のセンサ種別毎に独立して障害物を探索した障害物検出情報が入力される入力手段と、前記入力手段にて、前記複数のセンサ種別間で障害物の検出において、あるセンサ種別では障害物を検出し、該センサ種別以外のセンサ種別では障害物を検出しなかった場合、障害物を検出しなかったセンサ種別に対して障害物を再探索させる検出処理手段と、前記検出処理手段の結果により障害物があると判断した場合、前記複数のセンサ種別間の情報を融合して障害物の属性を検出する第二の検出処理手段とから構成される。
【００１０】
（２）：前記（１）の障害物検出装置において、前記検出処理手段で、障害物を再探索させる場合に、障害物を検出できなかったセンサについては障害物検出の閾値を下げて再探索させる。
【００１１】
（作用）
前記構成に基づく作用を説明する。
【００１２】
道路上に設置された複数種類のセンサ２１ａ、３１ａで道路上の状況の観測を行い、入力手段に前記複数のセンサ種別毎に独立して障害物を探索した障害物検出情報が入力され、検出処理手段で前記入力手段にて、前記複数のセンサ種別間で障害物の検出において、あるセンサ種別では障害物を検出し、該センサ種別以外のセンサ種別では障害物を検出しなかった場合、障害物を検出しなかったセンサ種別に対して障害物を再探索させ、第二の検出処理手段で前記検出処理手段の結果により障害物があると判断した場合、前記複数のセンサ種別間の情報を融合して障害物の属性を検出する。このため、単センサであると、認識率の悪さ、位置精度の悪さ、障害物の色や模様などが伝わらない、といったどれかの問題点を解決することができる障害物検出装置を提供することができる。
【００１３】
また、前記検出処理手段で、障害物を再探索させる場合に、障害物を検出できなかったセンサについては障害物検出の閾値を下げて再探索させる。このため、単センサでは疑わしくて障害物と認識できないものも認識でき、認識率の悪さを改善できる。
【００１４】
【発明の実施の形態】
（１）：障害物検出装置の設置場所の説明
道路上にある障害物を、支柱などに取り付け設置された障害物検出装置で検出し、後続車に掲示板などで道路上に障害物があることを注意喚起し、事故を未然に防ぐものである。用いるセンサヘッドは、カメラ（パッシブセンサ）やレーダ（アクティブセンサ）である。カメラは、状況に応じて可視カメラか赤外カメラを用いる。レーダは、レーザ、音波、電波のどれでもよい。
【００１５】
図２は障害物検出装置の設置場所の説明図である。図２において、車道の近くに設けた支柱６に障害物検出装置が設けてあり、この障害物検出装置には画像センサ式障害物検出装置（センサヘッド）２とミリ波（電波）式障害物検出装置（センサヘッド）３が設けてある。なお、図２はあくまで例であり、それぞれのセンサヘッドは上記のようにどれでもよい。さらに、支柱６は、車道をまたぐガントリータイプでもかまわない。
【００１６】
画像センサ式障害物検出装置２は、可視カメラを用いて障害物を検出するものである。ミリ波式障害物検出装置３は、電波であるミリ波を用いて障害物を検出するものである。図２では、障害物４を移動車両５が道路上に落としたものである。
【００１７】
（２）：装置構成の説明
図３は装置構成図であり、図３（ａ）は分散処理型の説明、図３（ｂ）は集中管理型の説明である。図３（ａ）において、分散処理型の障害物検出装置は、上位制御コンピュータ１、画像センサ式障害物検出装置２、ミリ波式障害物検出装置３及びそれらをつなぐＬＡＮ（ローカルエリアネットワーク）からなる。なお、ＬＡＮは、リング系でもかまわない。上位制御コンピュータ１には、ＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）部１０が設けてある。画像センサ式障害物検出装置２には、カメラ２１と画像処理装置２２が設けてある。ミリ波式障害物検出装置３には、ミリ波レーダ３１とミリ波レーダ制御コンピュータ３２が設けてある。
【００１８】
上位制御コンピュータ１は、全体を制御するもので、ＬＡＮを装備したコンピュータである。画像センサ式障害物検出装置２は、可視カメラを用いて障害物を検出するものである。ミリ波式障害物検出装置３は、電波であるミリ波を用いて障害物を検出するものである。ＧＵＩ部１０は、文字だけでなくアイコンを用いてコンピュータと人が対話するインタフェースである。なお、ＧＵＩ部１０は、ＬＡＮに接続された別のコンピュータに設けることもできる。
【００１９】
カメラ２１は、可視カメラである。画像処理装置２２は、カメラ２１からの画像処理を行いＬＡＮと接続できるものである。ミリ波レーダ３１は、電波であるミリ波を用いるレーダである。ミリ波レーダ制御コンピュータ３２は、ミリ波レーダ３１の制御を行いＬＡＮと接続できるものである。
【００２０】
図３（ｂ）において、集中管理型の障害物検出装置には、カメラ２１、ミリ波レーダ３１、検出処理装置４０が設けてあり、検出処理装置４０には、ＧＵＩ部１０が設けている。カメラ２１とミリ波レーダ３１は、図３（ａ）のものと同じであり、検出処理装置４０は、図３（ａ）の上位制御コンピュータ１、ＬＡＮ、画像処理装置２２、ミリ波レーダ制御コンピュータ３２の処理を行うものである。
【００２１】
（３）：ミリ波レーダの構成と設置イメージの説明
図４はミリ波レーダの構成と設置イメージの説明図であり、図４（ａ）はミリ波レーダの構成の説明、図４（ｂ）は高所設置イメージの説明、図４（ｃ）は低所設置イメージの説明である。
【００２２】
▲１▼：ミリ波レーダの構成
図４（ａ）において、ミリ波レーダ３１には、ミリ波センサ３３、駆動機構３４、信号処理部・駆動コントローラ３５が設けてある。ミリ波センサ３３は、ミリ波の送受信を行うものである。駆動機構３４は、ミリ波センサ３３を１軸に走査するものである。なお、ここでは１軸走査について説明するが、２軸に走査する方法もある。また、走査は、機械的だけでなく複数の送受信装置ペアをアレイ状に並べて電子的に高速に走査することもできる。信号処理部・駆動コントローラ３５は、ミリ波の信号の処理と駆動機構３４の駆動制御を行うものである。
【００２３】
ミリ波レーダの原理は、ミリ波を送信し、測定対象物からの反射電波を受信し、その伝搬時間とドップラーシフトを信号処理で得る。この伝搬時間とドップラーシフト量により、計測対象までの距離と速さを得る。また、駆動機構３４より方向を得る。従って、ミリ波レーダ３１からの出力は、距離、速度、方向等である。このミリ波レーダの設置場所として、高所設置と低所設置が考えられる。
【００２４】
▲２▼：ミリ波レーダの設置イメージの説明
図４（ｂ）において、車道の近くの高い支柱６の高所にミリ波レーダ３１が設置されている。この高所設置には、物陰になる部分が少ないという長所があるが、使用する電波の型がファンビーム（楕円形のビーム）を用いる必要があるため、電波が弱くなり、大きな障害物しか認識できないという短所がある。
【００２５】
図４（ｃ）において、車道の近くの低い支柱６の頂部にミリ波レーダ３１が設置されている。この低所設置には、物陰になる部分が多いという短所があるが、使用する電波に細いビームを用いるため、小さい障害物をも検出できる長所がある。
【００２６】
これら図４（ｂ）、図４（ｃ）の高所設置と低所設置は、要求される条件、例えば、障害物の大きさ等に応じて使い分けるものである。
【００２７】
（４）：障害物検出方法の説明
図５は状態遷移の説明図である。図５において、障害物検出処理は、大きく分けて、▲１▼独立モードＡ、▲２▼主従モードＢ、▲３▼融合モードＣの３つのモードからなる。以下、図３（ａ）の構成の場合を例に取って障害物検出方法の説明をする。なお、図３（ｂ）の場合は、以下の処理を１台の検出処理装置４０で行うものである。
【００２８】
従来の認識率の悪さを改善するため、複数のセンサがそれぞれ独立に障害物を探索検出する（独立モードＡ）。また、検出した障害物データが、センサ間で矛盾している場合、その障害物を重点的に再探索する（例えば、探索範囲を限定して検出閾値を下げる等して再探索する）（主従モードＢ）。これにより、単センサでは疑わしくて障害物と認識できないものも認識でき、認識率の悪さを改善できる。重点的に再探索しても矛盾が解消できない場合は、ＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）に表示し（ＧＵＩモードＤ）、人間の優れた判断を仰ぐものである。これにより、センサでは疑わしくて障害物と認識できないものも認識でき、認識率の悪さを改善できる。
【００２９】
従来の計測精度の悪さを改善するため、複数のセンサで障害物を検出する場合、自分から放射してその反射を見る距離計測が得意なアクティブセンサ（レーザレーダ、音波レーダ、電波レーダ等）と自分からは放射を行わない画像センサ等の形状抽出が得意なパッシブセンサ（可視カメラ、赤外カメラ等）の情報を融合して、正確な形状、大きさ、位置、速度等を検出する（融合モードＣ）。これにより、従来の計測精度の悪さを改善できる。
【００３０】
また、従来のアクティブセンサのみでは、障害物の色や模様などを伝えられないことを改善するため、複数のセンサで障害物を検出する融合した障害物検出結果をＧＵＩにて管理者等に通知（ＧＵＩモードＤ）する。これにより、従来のアクティブセンサのみでは、障害物の色や模様などを伝えられないことを改善できる。
【００３１】
▲１▼：独立モードの説明
独立モードＡは、個々のセンサが独立に障害物を探索検出するモードである。
【００３２】
（ａ）：上位制御コンピュータの処理の説明
上位制御コンピュータ１での主な処理は、障害物のデータが画像処理装置やミリ波レーダの制御コンピュータから送られてこないかを待つ処理と、送られてきたならば、各センサのデータが矛盾していないか、各センサデータの信頼度の総計が高いか、単体センサのデータでも信頼度が高いかを確認する処理である。矛盾がない場合または信頼度が高い場合、融合モードに遷移する。また、矛盾がある場合または信頼度が低い場合は、主従モードに遷移する。
【００３３】
なお、ここで障害物のデータおよびその属性とは、障害物の位置、速度、大きさ、発見時間、障害物の信頼度等からなる。矛盾があるとは、これらのデータ（信頼度以外）の違いがある範囲に入っていない、または、他のセンサは検出しているが、あるセンサは検出していないことをいう。
【００３４】
図６は上位制御コンピュータの独立モード時の処理フロー図である。以下、図６の処理Ｓ１〜処理Ｓ５に従って説明する。
【００３５】
Ｓ１：上位制御コンピュータ１は、障害物のデータが画像処理装置やミリ波レーダの制御コンピュータから送られてくるのを待ち、送られてきたならば、処理Ｓ２に移る。
【００３６】
Ｓ２：上位制御コンピュータ１は、画像処理装置２２とミリ波レーダ制御コンピュータ３２から送られてきたデータに矛盾がないかどうか確認する。この確認でデータに矛盾がない場合は処理Ｓ３に移り、もし矛盾がある場合は処理Ｓ４へ移る
Ｓ３：上位制御コンピュータ１は、融合モードの処理に遷移し、処理Ｓ５に移る。
【００３７】
Ｓ４：上位制御コンピュータ１は、主従モードの処理に遷移し、処理Ｓ５に移る。
【００３８】
Ｓ５：上位制御コンピュータ１は、融合モードまたは主従モードの処理終了を待ち、処理Ｓ１に戻る。
【００３９】
（ｂ）：ミリ波式障害物検出装置の処理の説明
ミリ波レーダ制御コンピュータ３２は、まず、１番目に上位制御コンピュータ１から命令が来ていないかを確認して、ミリ波レーダ（センサ）３１より距離、速さ、方向データ等が入力される。２番目に背景データを生成するとともに背景差分と２値化を行う。これにより、ガードレール等の背景部分が差分でなくなる。３番目にグループ化と追跡を行う。これは、障害物部分の計測結果と走行車部分の計測結果がグループ化され、走査毎にそのグループを追跡する。４番目に追跡結果を見て、移動量の少ない物を障害物と判断する。５番目にその障害物のデータを検出し、上位制御コンピュータ１の座標系に変換（この座標系の変換は上位制御コンピュータ１で行うようにすることもできる）して、上位制御コンピュータ１に障害物データを送信する。なお、周囲の状況（気温、雨、霧、明るさ等）をミリ波レーダ３１自身や外部センサで認知し、それらを加味して、データの信頼度を求め、これも上位（上位制御コンピュータ１）に送信する。
【００４０】
・ミリ波式障害物検出装置を用いた障害物検出場面の説明
図７はミリ波式障害物検出装置を用いた時の障害物検出の説明図である。図７において、道路にはガードレールがあり、車線は３車線であり、道路の路側にミリ波センサ３１が設置されている。右車線に走行車５があり、左車線に障害物４が落ちている。走行車５は左から右に走行して行くものとした。
【００４１】
太点線で表されるのはミリ波センサ３１の計測範囲である。また、太線はミリ波センサ３１で計測された距離であり、太矢印はミリ波センサ３１で計測された速度である。なお、前記太線は実際の物とは離れて示されているが、これは分かりやすくするためであり実際は一致するものである。また、障害物４の太線はミリ波センサ３１が物の角を検出するためＬ字状に示されている。
【００４２】
・フロー図による説明
図８は独立モード時のミリ波式障害物検出装置の処理フロー図である。以下、ミリ波式障害物検出装置３のミリ波レーダ制御コンピュータ３２の処理Ｓ１１〜処理Ｓ１８に従って説明する。
【００４３】
Ｓ１１：ミリ波レーダ制御コンピュータ３２は、上位制御コンピュータ１から命令が来ていないかを確認する。この確認で上位制御コンピュータ１からの命令が独立モード命令または命令無しの場合は処理Ｓ１２に移り、もし融合モード命令であれば融合モード処理へ、主従モード命令であれば主従モード処理へそれぞれ遷移する。
【００４４】
Ｓ１２：ミリ波レーダ制御コンピュータ３２は、ミリ波センサ（レーダ）３１より距離、速さ、方向のデータが入力され、処理Ｓ１４に移る。
【００４５】
Ｓ１３：ミリ波レーダ制御コンピュータ３２は、障害物のない背景データを生成して、処理Ｓ１４に移る。なお、背景データは、障害物の検出と平行して、計測データを用いて自動更新されるものである。
【００４６】
Ｓ１４：ミリ波レーダ制御コンピュータ３２は、ミリ波センサ３１からの計測データと背景データとの差分（背景差分）を取り（この差分で図７のガードレールの部分がなくなる）障害物候補を検出し、処理Ｓ１５に移る。
【００４７】
Ｓ１５：ミリ波レーダ制御コンピュータ３２は、障害物候補のグループ化（近くにあり、属性が同じもの等を同一化する）とミリ波センサ３１の走査毎にそのグループの追跡を行い、処理Ｓ１６に移る。なお、図７では、障害物４部分の計測結果と走行車５部分の計測結果がグループ化され、走査毎にそのグループを追跡する。
【００４８】
Ｓ１６：ミリ波レーダ制御コンピュータ３２は、追跡結果を見て、移動量の少ない物を障害物と判断する。この判断で障害物があった場合は処理Ｓ１７に移り、無かった場合は処理Ｓ１１に戻る。
【００４９】
Ｓ１７：ミリ波レーダ制御コンピュータ３２は、障害物の位置、速度などの属性を検出し、処理Ｓ１８に移る。
【００５０】
Ｓ１８：ミリ波レーダ制御コンピュータ３２は、上位制御コンピュータ１に障害物有りとその属性を、上位制御コンピュータ１の座標系に変換して送信する。なお、周囲の状況（気温、雨、霧、明るさ等）をミリ波レーダ３１自身や外部センサで認知し、それらを加味して、データの信頼度を求め、これも上位制御コンピュータ１に送信し、処理Ｓ１１に戻る。
【００５１】
（ｃ）：画像センサ式障害物検出装置の処理の説明
画像センサ式障害物検出装置２の画像処理装置２２の検出処理フローは前記ミリ波式障害物検出装置の処理フロー図（図８）と変わらないものである。図９は画像センサ式障害物検出装置を用いた障害物検出例の説明図であり、図９（ａ）は原画像の説明、図９（ｂ）は処理画像の説明である。
【００５２】
図９（ａ）の原画像には、街路樹、ガードレール、道路等があり、道路上には走行車５と落とされた障害物４がある。図９（ｂ）の処理画像には、画像センサ式障害物検出装置２の画像処理装置２２で検出処理を行い、障害物４のみが検出されている。
【００５３】
▲２▼：主従モードの説明
（ａ）：上位制御コンピュータの処理の説明
上位制御コンピュータ１は、矛盾があるデータが存在するセンサに再探索要求や矛盾がないセンサにｗａｉｔ（ウエイト）命令を作成し、各センサに命令する。各センサからの処理終了と結果転送を待ち、矛盾が解消されていれば、融合モードへ、解消されていなければ、管理者に通知を行う。なお、矛盾があるデータが存在するセンサとは、他のセンサと一致しない障害物データがある場合、他のセンサが検出できている障害物データを検出できていない場合である。
【００５４】
図１０は上位制御コンピュータの主従モード時の処理フロー図である。以下、図１０の処理Ｓ２１〜処理Ｓ２６に従って説明する。
【００５５】
Ｓ２１：上位制御コンピュータ１は、画像処理装置２２やミリ波レーダ制御コンピュータ３２から送られてくる障害物検出データの矛盾内容を確認し、処理Ｓ２２に移る。
【００５６】
Ｓ２２：上位制御コンピュータ１は、障害物検出データに矛盾があるセンサには再探索命令を行い、矛盾がないセンサにはウエイト命令を行い、処理Ｓ２３に移る。
【００５７】
Ｓ２３：上位制御コンピュータ１は、各センサの処理終了待ちをし、処理Ｓ２４に移る。
【００５８】
Ｓ２４：上位制御コンピュータ１は、矛盾があるセンサの矛盾が解消されたかどうか確認する。この確認で矛盾が解消された場合は処理Ｓ２５に移り、もし解消されなかった場合は処理Ｓ２６に移る。
【００５９】
Ｓ２５：上位制御コンピュータ１は、融合モードの処理へ遷移し、この処理を終了する。
【００６０】
Ｓ２６：上位制御コンピュータ１は、管理者に通知を行うＧＵＩモードへ遷移しこの処理を終了する。
【００６１】
（ｂ）：ミリ波式障害物検出装置の処理の説明
ミリ波レーダ制御コンピュータ３２は、まず、上位制御コンピュータ１からの命令を確認して、ウエイトならばそのまま終わる。矛盾する場合、上位制御コンピュータ１からの障害物データを自座標系に変換し、障害物周囲に探索範囲を設定して再探索を行う。これにより、単体では疑わしく、障害物と判定できなかったものも、検出可能になる。最後にその結果を上位制御コンピュータ１に送る。
【００６２】
・ミリ波式障害物検出装置を用いた障害物検出場面の説明
図１１は主従モード時の障害物検出装置の再探索の説明図であり、図１１（ａ）は１次スキャンするアクティブセンサの説明である。図１１（ａ）において、道路にはガードレールがあり、車線は３車線であり、道路の路側にミリ波センサ３１が設置されている。左車線に矛盾の障害物検出データの属性を自座標に変換した矛盾の障害物４’がある。ミリ波式障害物検出装置３では、矛盾の障害物４’の周囲（近傍）に探索範囲（太一点鎖線の円）を設定して同様のものがないか探索する。
【００６３】
中央車線には障害物４があるが、この障害物４はミリ波センサ３１ではノイズか障害物か見分けられなかったものであるが、再探索では検出の閾値を下げる等で検出することができる（全体ではノイズが多くて閾値を下げられなくても近傍の探索範囲では閾値を下げられる場合がある）。
【００６４】
なお、太点線で表されるのは、ミリ波センサ３１の計測範囲である。また、楕円の一点鎖線は、探索範囲の別の例であり、このようにカメラで見つけてミリ波センサ３１で探す場合は後ろで見つける確率が多いので、後ろを広くするのが適している。
【００６５】
・フロー図による説明
図１２は主従モード時のミリ波式障害物検出装置の処理フロー図である。以下、図１２のミリ波式障害物検出装置３のミリ波レーダ制御コンピュータ３２の処理Ｓ３１〜処理Ｓ３４に従って説明する。
【００６６】
Ｓ３１：ミリ波レーダ制御コンピュータ３２は、上位制御コンピュータ１から命令が来ていないかを確認する。この確認で上位制御コンピュータ１からの命令がウエイトならばそのまま終了し、もし矛盾が有る場合は処理Ｓ３２に移る。
【００６７】
Ｓ３２：ミリ波レーダ制御コンピュータ３２は、矛盾する障害物検出データの属性を自座標系に変換し、処理Ｓ３３に移る。
【００６８】
Ｓ３３：ミリ波レーダ制御コンピュータ３２は、障害物の再探索を行い、処理Ｓ３４に移る。なお、障害物再探索は、図１１（ａ）に示すように範囲を設定して矛盾した障害物を重点的に探索する。
【００６９】
Ｓ３４：ミリ波レーダ制御コンピュータ３２は、障害物の再探索結果を上位制御コンピュータ１に転送して、この処理を終了する。
【００７０】
（ｃ）：画像センサ式障害物検出装置の処理の説明
画像センサ式障害物検出装置２の画像処理装置２２の検出処理フローは前記ミリ波式障害物検出装置の処理フロー図（図１２）と変わらないものである。図１１（ｂ）は再探索を行う場合のパッシブセンサの説明である。
【００７１】
図１１（ｂ）において、画像上には、矛盾する障害物検出データの属性を自座標系に変換した矛盾の障害物４’がある。画像センサ式障害物検出装置２では、矛盾の障害物４’の周囲（近傍）に探索範囲（太一点鎖線の円）を設定して同様のものがないか探索する。
【００７２】
矛盾の障害物４’の右には障害物４があるが、この障害物４は画像センサ（カメラ）２１の画像処理装置２２ではノイズか障害物か見分けられなかったものであるが、再探索では感度を上げる、検出の閾値を下げる等で検出することができる。
【００７３】
▲３▼：融合モードの説明
（ａ）：上位制御コンピュータの処理の説明
上位制御コンピュータ１は、画像センサ式障害物検出装置（パッシブセンサ）２に融合命令とミリ波式障害物検出装置（アクティブセンサ）３の障害物検出データを送信するとともに、ミリ波式障害物検出装置３にウエイト信号を送信する。次に、信号処理終了と融合結果転送を待ち、データが来たところで、ＧＵＩにそのデータを送信し、ＧＵＩ部は、管理者に通知する。最後に、各センサに独立モードに移行するように命令して、自己も独立モードに移る。
【００７４】
図１３は上位制御コンピュータの融合モード時の処理フロー図である。以下、図１３の処理Ｓ４１〜処理Ｓ４４に従って説明する。
【００７５】
Ｓ４１：上位制御コンピュータ１は、画像センサ式障害物検出装置（パッシブセンサ）２にデータの融合命令とミリ波式障害物検出装置（アクティブセンサ）３の障害物検出データを送信するとともに、ミリ波式障害物検出装置３にウエイト命令を送信し、処理Ｓ４２に移る。
【００７６】
Ｓ４２：上位制御コンピュータ１は、各センサの処理終了と融合結果のデータ転送を待ち、データが来たところで、処理Ｓ４３と処理Ｓ４４に移る。
【００７７】
Ｓ４３、Ｓ４４：上位制御コンピュータ１は、ＧＵＩモードへ移り、ＧＵＩ部により管理者に通知するとともに、各センサに独立モードに移行するように命令して、自己も独立モードに移り、この処理を終了する。
【００７８】
（ｂ）：ミリ波式障害物検出装置の処理の説明
ミリ波レーダ制御コンピュータ３２は、上位制御コンピュータ１からのウエイト命令により、ウエイトし、独立モードに移行する命令を待つ。
【００７９】
（ｃ）：画像センサ式障害物検出装置の処理の説明
画像センサ式障害物検出装置２の画像処理装置２２は、まず、障害物検出データを自座標系に変換して領域を抽出する。この領域の座標から上位制御コンピュータ１の座標系での大きさを算出する。この時、ミリ波式障害物検出装置（アクティブセンサ）３の距離情報を加味する。その結果を上位制御コンピュータ１に送信する。
【００８０】
・画像センサ式障害物検出装置の処理フローの説明
図１４は融合モード時の画像センサ式障害物検出装置の処理フロー図である。以下、図１４の処理Ｓ５１〜処理Ｓ５４に従って説明する。
【００８１】
Ｓ５１：画像センサ式障害物検出装置２の画像処理装置２２は、障害物検出データを自座標系に変換して、処理Ｓ５２に移る。
【００８２】
Ｓ５２：画像処理装置２２は、障害物検出データの領域を抽出して、処理５３に移る。
【００８３】
Ｓ５３：画像処理装置２２は、この領域の座標から上位制御コンピュータ１の座標系での大きさを算出し、処理Ｓ５４に移る。
【００８４】
Ｓ５４：画像処理装置２２は、障害物の大きさ検出結果を上位制御コンピュータ１に上位制御コンピュータ１の座標系に変換して送信し、この処理を終了する。
【００８５】
・上記処理Ｓ５２での領域の抽出例の説明
図１５は画像センサ式障害物検出装置の領域抽出例の説明図であり、図１５（ａ）は屋外実験の説明、図１５（ｂ）は実験結果の画像の説明である。
【００８６】
図１５（ａ）において、屋外の画像には、街路樹、ガードレール等がある道路上に落とされた障害物４がある。図１５（ｂ）において、実験結果の画像には、障害物検出データの領域を抽出した画像が示されている。
【００８７】
・上記処理Ｓ５３での大きさの算出例の説明
（距離、位置が分かる時の大きさの算出）
図１６は障害物の大きさの算出の説明図である。図１６において、仮定として、Ｙ軸を奥行き、カメラ（画像センサ）が高い位置にあり、カメラの画面上の領域抽出された障害物の画素アドレスを（Ｘ_ｃｉ，Ｙ_ｃｉ）、変数をＨ_ｃとすると、画素アドレス（自座標）と上位の座標系の関係式は次のようになる。なお、Ｘ軸は紙面に垂直な方向とする。
【００８８】
【数１】

【００８９】
なお、ｉは０からＮ個であり、領域抽出されたすべての画素に適用される。
【００９０】
いま、図１６のようにカメラからの距離Ｙ_０に障害物が立っているとすると、カメラ座標系からワールド座標（上位制御コンピュータの座標）への展開は次のようになる。なお、Ｙ_０はアクティブセンサ（ミリ波式障害物検出装置）で得られるものである。
【００９１】

上記式を書き直すと、次のようになる
【００９２】
【数２】

【００９３】
ここで、
【００９４】
【数３】

【００９５】
とすると、上記式より
Ａ^−１・Ｃで、障害物のそれぞれの画素のワールド座標系での座標（位置）が求められ、Ｘ方向の最大、最小、Ｚ方向の最大、最小から幅、高さを求めることができ、障害物の大きさを検出することができる。
【００９６】
▲４▼：ＧＵＩの処理の説明
図１７はＧＵＩの処理フロー図である。図１７において、ＧＵＩ部の処理Ｓ６１〜処理Ｓ６３に従って説明する。
【００９７】
Ｓ６１：ＧＵＩ部は、矛盾した障害物検出データの有無の確認かどうか判断する。この判断で矛盾した障害物検出データの有無の確認の場合は処理Ｓ６２に移り、有無の確認でない場合は処理Ｓ６３に移る。
【００９８】
Ｓ６２：ＧＵＩ部は、矛盾した障害物の位置等の表示を行い、この処理を終了する。
【００９９】
Ｓ６３：ＧＵＩ部は、検出した障害物の属性等の表示を行い、この処理を終了する。
【０１００】
図１８はＧＵＩの表示の説明図である。図１８において、障害物を検出した画像と障害物の属性の表示例が示されている。障害物の属性の表示例には、ＯｂｓｔａｃｌｅＤｅｔｅｃｔｉｏｎ（Ｒｅｄ）：Ｐｏｓｉｔｉｏｎ（５．５１，３５．０５）Ｖｅｌ（０．００，０．００）Ｓｉｚｅ（０．５２，０．７４）がある。これは、検出した障害物（赤色）は、例えば管理者が決めた基準点からの距離である道路の左端より５．５１ｍで交差点からの距離３５．０５ｍの位置にあり、Ｘ軸方向Ｚ軸方向の速度は共に時速０．００ｋｍ、大きさは幅が０．５２ｍ高さが０．７４ｍであることを示している。
【０１０１】
なお、前記実施の形態では、複数のセンサとしてパッシブセンサ（画像センサ式障害物検出装置）とアクティブセンサ（ミリ波式障害物検出装置）とを用いた例を説明したが、他の組み合わせでもよく、例えば種類の異なるアクティブセンサのみ、またはパッシブセンサのみを使用することもできる。また、３種類以上のセンサを用いてより確実な障害物検出を行うこともできる。
【０１０２】
また、前記実施の形態では、道路上の障害物の検出の説明をしたが、特定の敷地上の通路、特定の港湾の海上通路、鉄道等の障害物の検出に適用することもできる。
【０１０３】
従来、単センサによる障害物検出では、認識率の悪さ、位置精度の悪さ、障害物の色や模様などが伝わらない、といったどれかの問題があったが、以上実施の形態で説明したように、複数のセンサを用いることによって、これらの問題を解決し、道路の安全性を高めることができる。
【０１０４】
【発明の効果】
以上説明したように、本発明によれば次のような効果がある。
【０１０５】
（１）：道路上に設置された複数種類のセンサ２１ａ、３１ａで道路上の状況の観測を行い、入力手段に前記複数のセンサ種別毎に独立して障害物を探索した障害物検出情報が入力され、検出処理手段で前記入力手段にて、前記複数のセンサ種別間で障害物の検出において、あるセンサ種別では障害物を検出し、該センサ種別以外のセンサ種別では障害物を検出しなかった場合、障害物を検出しなかったセンサ種別に対して障害物を再探索させ、第二の検出処理手段で前記検出処理手段の結果により障害物があると判断した場合、前記複数のセンサ種別間の情報を融合して障害物の属性を検出するため、単センサであると、認識率の悪さ、位置精度の悪さ、障害物の色や模様などが伝わらない、といったどれかの問題点を複数の異種センサを用いることで解決することができる。
【０１０６】
（２）：検出処理手段で、障害物を再探索させる場合に、障害物を検出できなかったセンサについては障害物検出の閾値を下げて再探索させるため、単センサでは疑わしくて障害物と認識できないものも認識でき、認識率の悪さを改善できる。
【図面の簡単な説明】
【図１】本発明の原理説明図である。
【図２】実施の形態における障害物検出装置の設置場所の説明図である。
【図３】実施の形態における装置構成図である。
【図４】実施の形態におけるミリ波レーダの構成と設置イメージの説明図である。
【図５】実施の形態における状態遷移の説明図である。
【図６】実施の形態における上位制御コンピュータの独立モード時の処理フロー図である。
【図７】実施の形態におけるミリ波式障害物検出装置を用いた時の障害物検出の説明図である。
【図８】実施の形態における独立モード時のミリ波式障害物検出装置の処理フロー図である。
【図９】実施の形態における画像センサ式障害物検出装置を用いた障害物検出例の説明図である。
【図１０】実施の形態における上位制御コンピュータの主従モード時の処理フロー図である。
【図１１】実施の形態における主従モード時の障害物検出装置の再探索の説明図である。
【図１２】実施の形態における主従モード時のミリ波式障害物検出装置の処理フロー図である。
【図１３】実施の形態における上位制御コンピュータの融合モード時の処理フロー図である。
【図１４】実施の形態における融合モード時の画像センサ式障害物検出装置の処理フロー図である。
【図１５】実施の形態における画像センサ式障害物検出装置の領域抽出例の説明図である。
【図１６】実施の形態における障害物の大きさの算出の説明図である。
【図１７】実施の形態におけるＧＵＩの処理フロー図である。
【図１８】実施の形態におけるＧＵＩの表示の説明図である。
【符号の説明】
１０ａ表示手段
２１ａセンサ（パッシブセンサ）
３１ａセンサ（アクティブセンサ）
４０ａ検出処理手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an obstacle detection device that detects an obstacle by observing a situation on a road or the like with a sensor installed on the road or the like.
[0002]
Currently, there are frequent traffic accidents caused by obstacles on the road (including temporarily stopped vehicles, low-speed vehicles, stopped vehicles, parked vehicles, etc.). This damage is also becoming serious. For this reason, in order to notify a driver or the like of an obstacle on the road or the like, it is desired that the obstacle can be reliably detected.
[0003]
[Prior art]
Conventionally, it has been proposed, for example, as Japanese Patent Application No. 343880 to detect an obstacle by installing a single sensor on a road. However, for example, an image processing method using one camera has problems such as poor position accuracy and a low obstacle recognition rate due to the influence of a shadow or the like. There is also an image processing method (stereoscopically viewed) that uses two or more cameras to improve the position accuracy. For example, when one obstacle is behind another object, However, there is a problem that the recognition rate of obstacles is poor because it is not possible to know which part should be matched between the cameras in the part that can be seen but not reflected in other cameras. It was.
[0004]
Furthermore, for example, the measurement method using sound waves has a problem that it takes time to measure the position because the sound speed is slow, and long-distance measurement cannot be performed. The measurement method using the radio wave radar has a problem that the position can be measured accurately and the recognition rate is high, but the beam width is wide and the size cannot be measured, and the color and pattern of the obstacle cannot be transmitted. The measurement method using the laser radar can accurately measure the position and size, but there is a problem that the recognition rate is extremely lowered when rain mist occurs.
[0005]
[Problems to be solved by the invention]
In the case of the conventional single sensor, there has been a problem that any one of problems such as poor recognition rate, poor positional accuracy, and a color or pattern of an obstacle cannot be transmitted.
[0006]
An object of the present invention is to solve such a conventional problem and to provide an obstacle detection device capable of improving the safety of a road or the like by using a plurality of sensors.
[0007]
[Means for Solving the Problems]
FIG. 1 is a diagram for explaining the principle of the present invention. In FIG. 1, 10a is a display means, 21a is a sensor (passive sensor), 31a is a sensor (active sensor), and 40a is a detection processing means.
[0008]
The present invention is configured as follows to solve the conventional problems.
[0009]
(1): Observe the situation on the roadIn order to detect an obstacle based on obstacle detection information from a plurality of types of sensors 21a, 31a installed on the road, a plurality of types of sensors 21a, 31a installed on the road, In the detection of obstacles between the plurality of sensor types by the input means for inputting obstacle detection information obtained by searching for the obstacles independently for each of the plurality of sensor types, A detection processing means for detecting an obstacle and re-searching the obstacle for a sensor type that has not detected an obstacle when a sensor type other than the sensor type is not detected; and the detection processing means If it is determined that there is an obstacle based on the result of the above, it comprises second detection processing means for detecting the attribute of the obstacle by fusing information between the plurality of sensor types.
[0010]
(2):In the obstacle detection apparatus according to (1), when the detection processing unit causes the obstacle to be searched again, the obstacle detection threshold is lowered for the sensor that cannot detect the obstacle, and the obstacle is detected again..
[0011]
(Function)
The operation based on the above configuration will be described.
[0012]
Obstacle detection information obtained by observing an obstacle independently for each of the plurality of sensor types is input to the input means by observing the situation on the road with a plurality of types of sensors 21a and 31a installed on the road. In the detection of an obstacle between the plurality of sensor types by the input means in the processing means, if an obstacle is detected in a certain sensor type and no obstacle is detected in a sensor type other than the sensor type, an obstacle is detected. If the obstacle type is not detected, the obstacle is re-searched, and the second detection processing unit determines that there is an obstacle based on the result of the detection processing unit. Merge and detect obstacle attributes. For this reason,The single sensor can provide an obstacle detection device that can solve any of the problems such as poor recognition rate, poor position accuracy, and obstructing the color and pattern of the obstacle.
[0013]
Also,When the obstacle is re-searched by the detection processing means, the obstacle detection threshold is lowered for the sensor that cannot detect the obstacle, and the search is performed again. For this reason, even a single sensor that is suspicious and cannot be recognized as an obstacle can be recognized, and the poor recognition rate can be improved.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
(1): Explanation of the installation location of the obstacle detection device
Obstacles on the road are detected by an obstacle detection device installed on a pillar, etc., and warnings are given to the following vehicles on the road with a bulletin board etc. to prevent accidents. . The sensor head used is a camera (passive sensor) or a radar (active sensor). The camera uses a visible camera or an infrared camera depending on the situation. The radar may be any of laser, sound wave, and radio wave.
[0015]
FIG. 2 is an explanatory diagram of an installation location of the obstacle detection device. In FIG. 2, an obstacle detection device is provided on a support column 6 provided near the roadway. The obstacle detection device includes an image sensor type obstacle detection device (sensor head) 2 and a millimeter wave (radio wave) type obstacle. A detection device (sensor head) 3 is provided. Note that FIG. 2 is merely an example, and each sensor head may be any as described above. Furthermore, the support column 6 may be a gantry type straddling the roadway.
[0016]
The image sensor type obstacle detection device 2 detects an obstacle using a visible camera. The millimeter wave type obstacle detection device 3 detects an obstacle using millimeter waves that are radio waves. In FIG. 2, the moving vehicle 5 dropped the obstacle 4 on the road.
[0017]
(2): Explanation of device configuration
FIG. 3 is an apparatus configuration diagram, FIG. 3A is a description of a distributed processing type, and FIG. 3B is a description of a centralized management type. In FIG. 3 (a), the distributed processing type obstacle detection device includes a host control computer 1, an image sensor type obstacle detection device 2, a millimeter wave type obstacle detection device 3, and a LAN (local area network) connecting them. Become. The LAN may be a ring system. The host control computer 1 is provided with a GUI (Graphical User Interface) unit 10. The image sensor type obstacle detection device 2 is provided with a camera 21 and an image processing device 22. The millimeter wave type obstacle detection device 3 is provided with a millimeter wave radar 31 and a millimeter wave radar control computer 32.
[0018]
The host control computer 1 controls the whole and is a computer equipped with a LAN. The image sensor type obstacle detection device 2 detects an obstacle using a visible camera. The millimeter wave type obstacle detection device 3 detects an obstacle using millimeter waves that are radio waves. The GUI unit 10 is an interface through which a computer and a person interact using not only characters but also icons. Note that the GUI unit 10 can be provided in another computer connected to the LAN.
[0019]
The camera 21 is a visible camera. The image processing device 22 performs image processing from the camera 21 and can be connected to a LAN. The millimeter wave radar 31 is a radar that uses millimeter waves that are radio waves. The millimeter wave radar control computer 32 controls the millimeter wave radar 31 and can be connected to a LAN.
[0020]
In FIG. 3B, the centralized obstacle detection device is provided with a camera 21, a millimeter wave radar 31, and a detection processing device 40. The detection processing device 40 is provided with a GUI unit 10. The camera 21 and the millimeter wave radar 31 are the same as those shown in FIG. 3A, and the detection processing device 40 includes the host control computer 1, the LAN, the image processing device 22, and the millimeter wave radar control computer shown in FIG. 32 processes are performed.
[0021]
(3): Explanation of millimeter wave radar configuration and installation image
FIG. 4 is an explanatory diagram of the configuration and installation image of the millimeter wave radar, FIG. 4 (a) is an explanation of the configuration of the millimeter wave radar, FIG. 4 (b) is an explanation of the image of installation at a high place, and FIG. It is an explanation of a low-place installation image.
[0022]
(1): Configuration of millimeter wave radar
In FIG. 4A, the millimeter wave radar 31 is provided with a millimeter wave sensor 33, a drive mechanism 34, and a signal processing unit / drive controller 35. The millimeter wave sensor 33 transmits and receives millimeter waves. The drive mechanism 34 scans the millimeter wave sensor 33 along one axis. Note that although uniaxial scanning is described here, there is a method of scanning in two axes. In addition to mechanical scanning, a plurality of transmission / reception device pairs can be arranged in an array and scanned electronically at high speed. The signal processing unit / drive controller 35 performs processing of millimeter wave signals and drive control of the drive mechanism 34.
[0023]
The principle of the millimeter wave radar is that a millimeter wave is transmitted, a reflected radio wave from a measurement object is received, and the propagation time and Doppler shift are obtained by signal processing. From this propagation time and the Doppler shift amount, the distance and speed to the measurement object are obtained. Further, the direction is obtained from the drive mechanism 34. Therefore, the output from the millimeter wave radar 31 is distance, speed, direction, and the like. As the installation location of this millimeter wave radar, high place installation and low place installation can be considered.
[0024]
(2) Explanation of installation image of millimeter wave radar
In FIG. 4B, a millimeter wave radar 31 is installed at a height of a high column 6 near the roadway. This height installation has the advantage that there are few shadows, but it is necessary to use a fan beam (elliptical beam) as the type of radio wave used, so the radio wave becomes weak and only large obstacles are recognized There is a disadvantage that you can not.
[0025]
In FIG.4 (c), the millimeter wave radar 31 is installed in the top part of the low support | pillar 6 near a roadway. This low-place installation has the disadvantage that there are many parts that are shaded, but has the advantage that even a small obstacle can be detected because a thin beam is used for the radio wave used.
[0026]
The high place installation and the low place installation of these FIG.4 (b) and FIG.4 (c) are used properly according to required conditions, for example, the magnitude | size of an obstruction.
[0027]
(4): Explanation of obstacle detection method
FIG. 5 is an explanatory diagram of state transition. In FIG. 5, the obstacle detection process is roughly divided into three modes: (1) independent mode A, (2) master-slave mode B, and (3) fusion mode C. Hereinafter, the obstacle detection method will be described by taking the configuration of FIG. 3A as an example. In the case of FIG. 3B, the following processing is performed by one detection processing device 40.
[0028]
In order to improve the poor recognition rate in the past, a plurality of sensors independently search for and detect obstacles (independent mode A). Further, when the detected obstacle data is inconsistent between the sensors, the obstacle is re-searched mainly (for example, re-search by limiting the search range and lowering the detection threshold) (master-slave) Mode B). As a result, even a single sensor that is suspicious and cannot be recognized as an obstacle can be recognized, and the poor recognition rate can be improved. If the contradiction cannot be resolved even by re-searching intensively, it is displayed on a GUI (Graphical User Interface) (GUI mode D), and an excellent human judgment is sought. Thereby, it is possible to recognize a sensor that is suspicious and cannot be recognized as an obstacle, and the poor recognition rate can be improved.
[0029]
In order to improve the conventional measurement accuracy, when detecting obstacles with multiple sensors, active sensors (laser radar, sound wave radar, radio wave radar, etc.) that are good at distance measurement that radiates from itself and looks at its reflection Integrate information from passive sensors (visible cameras, infrared cameras, etc.) that are good at extracting shapes such as image sensors that do not emit radiation from themselves, and detect accurate shapes, sizes, positions, velocities, etc. (fusion) Mode C). Thereby, the badness of the conventional measurement accuracy can be improved.
[0030]
Also, in order to improve the fact that only the conventional active sensor cannot convey the color or pattern of the obstacle, the obstacle detection result obtained by detecting the obstacle with a plurality of sensors is notified to the administrator on the GUI. (GUI mode D). Thereby, it can be improved that the color or pattern of the obstacle cannot be transmitted only by the conventional active sensor.
[0031]
(1): Explanation of independent mode
The independent mode A is a mode in which each sensor searches and detects an obstacle independently.
[0032]
(A): Explanation of processing of the host control computer
The main processing in the host control computer 1 is a process of waiting for whether obstacle data is sent from the image processing device or the control computer of the millimeter wave radar, and if sent, the data of each sensor is inconsistent. This is a process for confirming whether the reliability of each sensor data is high or whether the reliability of single sensor data is high. When there is no contradiction or when the reliability is high, the mode is changed to the fusion mode. When there is a contradiction or when the reliability is low, the mode changes to the master-slave mode.
[0033]
Here, the obstacle data and its attributes include the position, speed, size, discovery time, obstacle reliability, and the like of the obstacle. Contradiction means that these data (other than reliability) are not within a certain range, or other sensors detect but some sensors do not detect.
[0034]
FIG. 6 is a processing flow chart of the host control computer when in the independent mode. Hereinafter, description will be given according to the processing S1 to processing S5 of FIG.
[0035]
S1: The host control computer 1 waits for the obstacle data to be sent from the image processing apparatus or the control computer of the millimeter wave radar, and if it is sent, moves to the process S2.
[0036]
S2: The host control computer 1 checks whether there is a contradiction in the data sent from the image processing device 22 and the millimeter wave radar control computer 32. If there is no contradiction in this confirmation, the process proceeds to process S3. If there is a contradiction, the process proceeds to process S4.
S3: The host control computer 1 transitions to the fusion mode process, and proceeds to process S5.
[0037]
S4: The host control computer 1 shifts to the master-slave mode process, and moves to process S5.
[0038]
S5: The host control computer 1 waits for the end of the process in the fusion mode or the master-slave mode, and returns to process S1.
[0039]
(B): Description of processing of millimeter wave type obstacle detection device
First, the millimeter wave radar control computer 32 first confirms whether a command is received from the host control computer 1 and receives distance, speed, direction data, and the like from the millimeter wave radar (sensor) 31. Second, background data is generated, and background difference and binarization are performed. Thereby, background parts, such as a guardrail, are no longer a difference. Third, group and track. This is because the measurement result of the obstacle part and the measurement result of the traveling vehicle part are grouped, and the group is tracked for each scan. Fourth, looking at the tracking result, an object with a small amount of movement is determined as an obstacle. Fifth, the obstacle data is detected and converted to the coordinate system of the host control computer 1 (the coordinate system can be converted by the host control computer 1), and the host control computer 1 is obstructed. Send material data. The surrounding conditions (temperature, rain, fog, brightness, etc.) are recognized by the millimeter-wave radar 31 itself or an external sensor, and are taken into account to determine the reliability of the data. ).
[0040]
・ Explanation of obstacle detection scene using millimeter-wave obstacle detection device
FIG. 7 is an explanatory diagram of obstacle detection when the millimeter wave type obstacle detection apparatus is used. In FIG. 7, the road has a guard rail, the lane has three lanes, and the millimeter wave sensor 31 is installed on the road side of the road. There is a traveling vehicle 5 in the right lane, and an obstacle 4 has fallen in the left lane. The traveling vehicle 5 travels from left to right.
[0041]
The measurement range of the millimeter wave sensor 31 is represented by a thick dotted line. The thick line is the distance measured by the millimeter wave sensor 31, and the thick arrow is the speed measured by the millimeter wave sensor 31. The bold line is shown apart from the actual object, but this is for the sake of clarity and actually matches. The thick line of the obstacle 4 is shown in an L shape so that the millimeter wave sensor 31 detects the corner of the object.
[0042]
・ Explanation by flow diagram
FIG. 8 is a process flow diagram of the millimeter wave type obstacle detection apparatus in the independent mode. In the following, description will be given according to processing S11 to processing S18 of the millimeter wave radar control computer 32 of the millimeter wave type obstacle detection device 3.
[0043]
S11: The millimeter wave radar control computer 32 checks whether a command is received from the host control computer 1. In this confirmation, if the instruction from the host control computer 1 is an independent mode instruction or no instruction, the process proceeds to step S12. If the instruction is a fusion mode instruction, the process proceeds to the fusion mode process. .
[0044]
S12: The millimeter wave radar control computer 32 receives distance, speed, and direction data from the millimeter wave sensor (radar) 31, and proceeds to step S14.
[0045]
S13: The millimeter wave radar control computer 32 generates background data without an obstacle, and proceeds to processing S14. The background data is automatically updated using the measurement data in parallel with the detection of the obstacle.
[0046]
S14: The millimeter wave radar control computer 32 takes the difference (background difference) between the measurement data from the millimeter wave sensor 31 and the background data (the difference between which the guardrail portion in FIG. 7 disappears), detects an obstacle candidate, Control goes to step S15.
[0047]
S15: The millimeter wave radar control computer 32 performs grouping of obstacle candidates (similar ones that are close and have the same attributes, etc.) and traces the group for each scan of the millimeter wave sensor 31, and proceeds to step S16. Move. In FIG. 7, the measurement result of the obstacle 4 portion and the measurement result of the traveling vehicle 5 portion are grouped, and the group is tracked for each scan.
[0048]
S16: The millimeter wave radar control computer 32 sees the tracking result and determines an object with a small amount of movement as an obstacle. If there is an obstacle in this determination, the process proceeds to process S17, and if there is no obstacle, the process returns to process S11.
[0049]
S17: The millimeter wave radar control computer 32 detects attributes such as the position and speed of the obstacle, and proceeds to processing S18.
[0050]
S18: The millimeter wave radar control computer 32 converts the presence of an obstacle and its attribute into the coordinate system of the host control computer 1 and transmits it to the host control computer 1. The ambient conditions (temperature, rain, fog, brightness, etc.) are recognized by the millimeter wave radar 31 itself or an external sensor, and the reliability of the data is obtained by taking them into consideration, and this is also sent to the host control computer 1 Then, the process returns to step S11.
[0051]
(C): Description of processing of image sensor type obstacle detection device
The detection processing flow of the image processing device 22 of the image sensor type obstacle detection device 2 is the same as the processing flow diagram (FIG. 8) of the millimeter wave type obstacle detection device. FIG. 9 is an explanatory diagram of an example of obstacle detection using the image sensor type obstacle detection device. FIG. 9A is an explanation of the original image, and FIG. 9B is an explanation of the processed image.
[0052]
The original image in FIG. 9A includes roadside trees, guardrails, roads, and the like, and a traveling vehicle 5 and dropped obstacles 4 are on the roads. In the processed image of FIG. 9B, detection processing is performed by the image processing device 22 of the image sensor type obstacle detection device 2, and only the obstacle 4 is detected.
[0053]
(2): Explanation of master-slave mode
(A): Explanation of processing of the host control computer
The host control computer 1 creates a wait (wait) command for a sensor for which there is contradictory data and a search request for the sensor without contradiction, and commands each sensor. Wait for the end of processing and result transfer from each sensor, and if the contradiction has been resolved, notify the administrator if the conflict has not been resolved. In addition, the sensor in which the data which has inconsistency exists is a case where the obstacle data which the other sensor can detect cannot be detected, when there is obstacle data which does not correspond with another sensor.
[0054]
FIG. 10 is a process flow diagram in the master-slave mode of the host control computer. In the following, description will be given according to processing S21 to processing S26 of FIG.
[0055]
S21: The host control computer 1 confirms the contradiction contents of the obstacle detection data sent from the image processing device 22 and the millimeter wave radar control computer 32, and proceeds to processing S22.
[0056]
S22: The host control computer 1 issues a re-search command to a sensor having a contradiction in obstacle detection data, issues a wait command to a sensor having no contradiction, and proceeds to processing S23.
[0057]
S23: The host control computer 1 waits for the end of processing of each sensor, and proceeds to processing S24.
[0058]
S24: The host control computer 1 confirms whether the contradiction of the sensor having the contradiction is resolved. If the contradiction is resolved by this confirmation, the process proceeds to step S25, and if not resolved, the process proceeds to process S26.
[0059]
S25: The host control computer 1 makes a transition to the fusion mode process and ends this process.
[0060]
S26: The host control computer 1 makes a transition to the GUI mode for notifying the administrator and ends this process.
[0061]
(B): Description of processing of millimeter wave type obstacle detection device
The millimeter wave radar control computer 32 first confirms the command from the host control computer 1, and if it is a wait, the process ends. When there is a contradiction, the obstacle data from the host control computer 1 is converted into the own coordinate system, and a search range is set around the obstacle to perform a search again. This makes it possible to detect even a suspicious object that cannot be determined as an obstacle. Finally, the result is sent to the host control computer 1.
[0062]
・ Explanation of obstacle detection scene using millimeter-wave obstacle detection device
FIG. 11 is an explanatory diagram of re-searching of the obstacle detection device in the master-slave mode, and FIG. In FIG. 11A, the road has a guard rail, the lane has three lanes, and the millimeter wave sensor 31 is installed on the road side of the road. There is a contradictory obstacle 4 'in which the attribute of the contradictory obstacle detection data is converted into its own coordinates in the left lane. In the millimeter wave type obstacle detection device 3, a search range (a circle with a thick dashed line) is set around (in the vicinity of) the contradictory obstacle 4 'to search for similar ones.
[0063]
Although there is an obstacle 4 in the central lane, this obstacle 4 is not recognized as noise or an obstacle by the millimeter wave sensor 31, but it can be detected by lowering the detection threshold or the like in the re-search. (There is a case where the threshold value can be lowered in the vicinity search range even if the threshold value cannot be lowered as a whole because of a lot of noise).
[0064]
In addition, a measurement range of the millimeter wave sensor 31 is represented by a thick dotted line. An alternate long and short dash line is another example of the search range, and when searching with the camera and using the millimeter wave sensor 31 in this way, there is a high probability of finding it behind, so it is suitable to widen the back.
[0065]
・ Explanation by flow diagram
FIG. 12 is a process flow diagram of the millimeter wave type obstacle detection apparatus in the master-slave mode. In the following, description will be given according to processing S31 to S34 of the millimeter wave radar control computer 32 of the millimeter wave type obstacle detection device 3 of FIG.
[0066]
S31: The millimeter wave radar control computer 32 checks whether a command is received from the host control computer 1. If the instruction from the host computer 1 is a wait in this confirmation, the process is terminated. If there is a contradiction, the process proceeds to step S32.
[0067]
S32: The millimeter wave radar control computer 32 converts the contradictory attribute of the obstacle detection data into its own coordinate system, and proceeds to processing S33.
[0068]
S33: The millimeter wave radar control computer 32 searches for an obstacle again, and proceeds to processing S34. In the obstacle re-search, a range is set as shown in FIG.
[0069]
S34: The millimeter wave radar control computer 32 transfers the obstacle re-search result to the host control computer 1 and ends this process.
[0070]
(C): Description of processing of image sensor type obstacle detection device
The detection processing flow of the image processing device 22 of the image sensor type obstacle detection device 2 is the same as the processing flow diagram (FIG. 12) of the millimeter wave type obstacle detection device. FIG. 11B illustrates the passive sensor in the case of performing a re-search.
[0071]
In FIG. 11B, there is an inconsistent obstacle 4 'on the image obtained by converting the attribute of the inconsistent obstacle detection data into the own coordinate system. In the image sensor type obstacle detection device 2, a search range (a circle with a thick dashed line) is set around (near) the contradictory obstacle 4 'to search for similar ones.
[0072]
There is an obstacle 4 to the right of the contradictory obstacle 4 ′, but this obstacle 4 cannot be distinguished from noise or an obstacle by the image processing device 22 of the image sensor (camera) 21. Then, it can be detected by increasing the sensitivity or decreasing the detection threshold.
[0073]
(3): Explanation of fusion mode
(A): Explanation of processing of the host control computer
The host control computer 1 transmits a fusion command and obstacle detection data of the millimeter wave type obstacle detection device (active sensor) 3 to the image sensor type obstacle detection device (passive sensor) 2 and also detects millimeter wave type obstacles. A wait signal is transmitted to the device 3. Next, the end of signal processing and the fusion result transfer are waited. When data arrives, the data is transmitted to the GUI, and the GUI unit notifies the administrator. Finally, each sensor is instructed to enter the independent mode, and the self also enters the independent mode.
[0074]
FIG. 13 is a processing flow chart in the fusion mode of the host control computer. Hereinafter, a description will be given according to processing S41 to processing S44 of FIG.
[0075]
S41: The host control computer 1 transmits a data fusion command to the image sensor type obstacle detection device (passive sensor) 2 and the obstacle detection data of the millimeter wave type obstacle detection device (active sensor) 3, and uses the millimeter wave A wait command is transmitted to the type obstacle detection device 3, and the process proceeds to step S42.
[0076]
S42: The host control computer 1 waits for the end of the processing of each sensor and the data transfer of the fusion result, and when data arrives, it moves to processing S43 and processing S44.
[0077]
S43, S44: The host control computer 1 shifts to the GUI mode, notifies the administrator through the GUI unit, instructs each sensor to shift to the independent mode, and also shifts itself to the independent mode, and ends this process. To do.
[0078]
(B): Description of processing of millimeter wave type obstacle detection device
The millimeter wave radar control computer 32 waits for a command to wait for a shift command to the independent mode in response to a wait command from the host control computer 1.
[0079]
(C): Description of processing of image sensor type obstacle detection device
The image processing device 22 of the image sensor type obstacle detection device 2 first extracts the region by converting the obstacle detection data into the own coordinate system. The size in the coordinate system of the host control computer 1 is calculated from the coordinates of this area. At this time, the distance information of the millimeter wave type obstacle detection device (active sensor) 3 is taken into consideration. The result is transmitted to the host control computer 1.
[0080]
・ Description of processing flow of image sensor type obstacle detection device
FIG. 14 is a processing flowchart of the image sensor type obstacle detection apparatus in the fusion mode. Hereinafter, description will be given according to the processing S51 to S54 of FIG.
[0081]
S51: The image processing device 22 of the image sensor type obstacle detection device 2 converts the obstacle detection data into its own coordinate system, and proceeds to processing S52.
[0082]
S52: The image processing device 22 extracts the area of the obstacle detection data, and proceeds to processing 53.
[0083]
S53: The image processing device 22 calculates the size in the coordinate system of the host control computer 1 from the coordinates of this region, and proceeds to processing S54.
[0084]
S54: The image processing apparatus 22 converts the obstacle size detection result into the coordinate system of the host control computer 1 and transmits it to the host control computer 1, and ends this process.
[0085]
-Explanation of an example of region extraction in the processing S52
FIG. 15 is an explanatory diagram of an example of region extraction of the image sensor type obstacle detection device, FIG. 15A is an explanation of an outdoor experiment, and FIG. 15B is an explanation of an image of the experiment result.
[0086]
In FIG. 15A, the outdoor image includes an obstacle 4 dropped on a road with roadside trees, guardrails, and the like. In FIG. 15B, an image obtained by extracting the area of the obstacle detection data is shown in the experimental result image.
[0087]
-Explanation of calculation example of size in process S53
(Calculation of size when distance and position are known)
FIG. 16 is an explanatory diagram for calculating the size of an obstacle. In FIG. 16, it is assumed that the Y-axis is the depth, the camera (image sensor) is at a high position, and the pixel address of the obstacle extracted from the region on the camera screen is (X_ci, Y_ci), Variable H_cThen, the relational expression between the pixel address (own coordinate) and the upper coordinate system is as follows. The X axis is a direction perpendicular to the paper surface.
[0088]
[Expression 1]

[0089]
Note that i ranges from 0 to N and is applied to all pixels extracted from the region.
[0090]
Now, the distance Y from the camera as shown in FIG.₀Assuming that an obstacle stands on the screen, the development from the camera coordinate system to the world coordinates (the coordinates of the host control computer) is as follows. Y₀Is obtained with an active sensor (millimeter wave type obstacle detection device).
[0091]

Rewriting the above formula, it becomes as follows
[0092]
[Expression 2]

[0093]
here,
[0094]
[Equation 3]

[0095]
Then, from the above formula
A^-1-In C, the coordinates (position) of each pixel of the obstacle in the world coordinate system can be obtained, and the width and height can be obtained from the maximum and minimum in the X direction and the maximum and minimum in the Z direction. Can be detected.
[0096]
(4): Explanation of GUI processing
FIG. 17 is a processing flow diagram of the GUI. In FIG. 17, description will be given according to the processing S61 to S63 of the GUI unit.
[0097]
S61: The GUI unit determines whether or not to confirm the presence or absence of contradictory obstacle detection data. If the presence or absence of the obstacle detection data contradicted by this determination is confirmed, the process proceeds to step S62, and if not, the process proceeds to step S63.
[0098]
S62: The GUI unit displays the position of the contradictory obstacle and the process is terminated.
[0099]
S63: The GUI unit displays the attribute of the detected obstacle, and ends this process.
[0100]
FIG. 18 is an explanatory diagram of GUI display. FIG. 18 shows a display example of an image in which an obstacle is detected and the attributes of the obstacle. An example of the display of the attribute of the obstacle includes Obstacle Detection (Red): Position (5.51, 35.05) Vel (0.00, 0.00) Size (0.52, 0.74). This is because, for example, the detected obstacle (red) is located at a distance of 5.51 m from the left end of the road, which is the distance from the reference point determined by the administrator, and a distance of 35.05 m from the intersection. Both the axial speeds are 0.00 km / h and the size is 0.52 m wide and 0.74 m high.
[0101]
In the above embodiment, an example in which a passive sensor (image sensor type obstacle detection device) and an active sensor (millimeter wave type obstacle detection device) are used as a plurality of sensors has been described. For example, only different types of active sensors or only passive sensors can be used. In addition, more reliable obstacle detection can be performed using three or more types of sensors.
[0102]
In the above embodiment, the detection of the obstacle on the road has been described. However, the present invention can be applied to the detection of an obstacle such as a passage on a specific site, a marine passage of a specific port, and a railway.
[0103]
Conventionally, obstacle detection with a single sensor has any of the following problems: poor recognition rate, poor position accuracy, and obstruction color and pattern are not transmitted. As explained in the above embodiments By using a plurality of sensors, these problems can be solved and road safety can be improved.
[0104]
【The invention's effect】
As described above, the present invention has the following effects.
[0105]
(1):Obstacle detection information obtained by observing an obstacle independently for each of the plurality of sensor types is input to the input means by observing the situation on the road with a plurality of types of sensors 21a and 31a installed on the road. In the detection of an obstacle between the plurality of sensor types by the input means in the processing means, if an obstacle is detected in a certain sensor type and no obstacle is detected in a sensor type other than the sensor type, an obstacle is detected. If the obstacle type is re-searched for the sensor type that has not detected an obstacle, and the second detection processing unit determines that there is an obstacle based on the result of the detection processing unit, information between the plurality of sensor types is obtained. To merge and detect obstacle attributes,With a single sensor, any of the problems such as poor recognition rate, poor position accuracy, and the color and pattern of an obstacle cannot be transmitted can be solved by using a plurality of different sensors.
[0106]
(2):When re-searching for obstacles with the detection processing means, sensors that could not detect obstacles are re-searched by lowering the obstacle detection threshold, so even single sensors that are suspicious and cannot be recognized as obstacles are recognized. Can improve the poor recognition rate.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating the principle of the present invention.
FIG. 2 is an explanatory diagram of an installation location of the obstacle detection device according to the embodiment.
FIG. 3 is an apparatus configuration diagram according to the embodiment.
FIG. 4 is an explanatory diagram of a configuration and an installation image of a millimeter wave radar in the embodiment.
FIG. 5 is an explanatory diagram of state transition in the embodiment.
FIG. 6 is a processing flow chart in the independent mode of the host control computer in the embodiment.
FIG. 7 is an explanatory diagram of obstacle detection when the millimeter wave type obstacle detection device according to the embodiment is used.
FIG. 8 is a process flow diagram of the millimeter-wave obstacle detection device in the independent mode in the embodiment.
FIG. 9 is an explanatory diagram of an example of obstacle detection using the image sensor type obstacle detection device according to the embodiment.
FIG. 10 is a process flow diagram in the master-slave mode of the host control computer in the embodiment.
FIG. 11 is an explanatory diagram of re-searching by the obstacle detection device in the master-slave mode according to the embodiment.
FIG. 12 is a process flow diagram of the millimeter-wave obstacle detection device in the master-slave mode according to the embodiment.
FIG. 13 is a processing flow diagram in the fusion mode of the host control computer in the embodiment.
FIG. 14 is a process flow diagram of the image sensor type obstacle detection device in the fusion mode in the embodiment.
FIG. 15 is an explanatory diagram of a region extraction example of the image sensor type obstacle detection device according to the embodiment.
FIG. 16 is an explanatory diagram for calculating the size of an obstacle in the embodiment;
FIG. 17 is a process flow diagram of GUI in the embodiment;
FIG. 18 is an explanatory diagram of GUI display according to the embodiment.
[Explanation of symbols]
10a Display means
21a Sensor (passive sensor)
31a Sensor (active sensor)
40a Detection processing means

Claims

An obstacle detection device that detects an obstacle based on obstacle detection information from a plurality of types of sensors installed on the road to observe the situation on the road ,
Multiple types of sensors installed on the road,
Input means for inputting obstacle detection information obtained by searching for an obstacle independently for each of the plurality of sensor types;
In the detection of an obstacle between the plurality of sensor types by the input means, an obstacle is detected in a certain sensor type, and an obstacle is detected when no obstacle is detected in a sensor type other than the sensor type. Detection processing means for re-searching obstacles for sensor types that have not been performed,
A second detection processing unit for detecting an attribute of the obstacle by fusing information between the plurality of sensor types when it is determined that there is an obstacle based on a result of the detection processing unit;
An obstacle detection device comprising:

2. The obstacle detection device according to claim 1, wherein, when the obstacle is re-searched by the detection processing means, the obstacle detection threshold is lowered for a sensor that cannot detect the obstacle, and the obstacle is detected again. .