Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4771890B2 - 追跡信頼度判定プログラム - Google Patents
[go: Go Back, main page]

JP4771890B2 - 追跡信頼度判定プログラム - Google Patents

追跡信頼度判定プログラム Download PDF

Info

Publication number
JP4771890B2
JP4771890B2 JP2006222704A JP2006222704A JP4771890B2 JP 4771890 B2 JP4771890 B2 JP 4771890B2 JP 2006222704 A JP2006222704 A JP 2006222704A JP 2006222704 A JP2006222704 A JP 2006222704A JP 4771890 B2 JP4771890 B2 JP 4771890B2
Authority
JP
Japan
Prior art keywords
tracking
sensor
reliability
result
specific position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006222704A
Other languages
English (en)
Other versions
JP2008046927A (ja
Inventor
雅芳 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2006222704A priority Critical patent/JP4771890B2/ja
Publication of JP2008046927A publication Critical patent/JP2008046927A/ja
Application granted granted Critical
Publication of JP4771890B2 publication Critical patent/JP4771890B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

この発明は、追跡信頼度判定プログラムに関する。
従来より、道路上を監視して道路上を移動する移動体(車両等)を追跡する追跡センサによる追跡結果の信頼度を判定する方法が知られている。近年、交通事故の防止および減少や、運転者に対して快適な運転環境の提供を目的とした様々な運転支援システムの開発が行なわれており、その中でも道路上の移動体を追跡する追跡センサによる追跡結果については、例えば、誤った(信頼度の低い)情報をもとに運転者が運転操作を行なって事故の発生につながる可能性があることから、その信頼度を精度よく判定する技術の開発は大変重要である。
例えば、特許文献1では、可視センサ(カメラ)と、ミリ波センサとのフュージョンセンサを備えた車間距離検出装置において、各センサによる追跡結果の信頼度を判定する方法が開示されている。具体的には、可視センサによる追跡結果の信頼度を左右する要因として、雨や霧などの天候状況が挙げられることから、車間距離検出装置が搭載されている車両のワイパーの駆動状態(ワイパーの駆動速度)から「雨の強さ」を判断し、車両のフォグランプのスイッチが入っているか切れているかで「霧の発生の有無」を判断し、また可視センサ(カメラ)が撮像した画像データに含まれる先行車両のテールランプの輝度データとテールランプ周辺の輝度データの差を算出して「霧の濃さ」を判断し(例えば、霧が濃いほど、輝度の差が小さい)、これらの判断結果から、当該時点での可視センサによる追跡結果の信頼度を判定している。
また、ミリ波センサによる追跡結果の信頼度を左右する要因として、車両が走行している道路の複雑度(カーブの半径の大きさ、制限速度、道路幅、交差点内か否かなど)が挙げられることから、車両に搭載されているGPS受信機やビーコン受信機から取得した位置情報から、走行している道路の複雑度を判断し、その判断結果から、当該時点でのミリ波センサによる追跡結果の信頼度を判定している。
特許第2900737号公報
ところで、上記した従来の技術は、追跡センサによる追跡結果の信頼度を必ずしも精度よく判定できないという問題点があった。すなわち、上記した従来技術では、追跡センサによる追跡結果の信頼度を左右する要因を予め想定して、その要因が生じているかどうかの判断のみで追跡センサによる追跡結果の信頼度の判定を行なっているに過ぎず、追跡センサによる追跡結果そのものを評価していないので、追跡センサによる追跡結果の信頼度を必ずしも精度よく判定できなかった。
また、上記した従来技術では、上記以外の追跡センサによる追跡結果の信頼度を左右する要因、例えば交通渋滞に伴う車両の混雑や火災などの要因による追跡センサの車両追跡能力の低下に対する信頼度を判定できないので、追跡センサによる追跡結果の信頼度を必ずしも精度よく判定できなかった。
そして、上記した従来技術では、雨の強さや霧の発生の天候状態の判断は、ワイパーの駆動状態やフォグランプのスイッチが入っているか切れているか、といった運転者の主観的判断による操作に基づくものであるので、追跡センサによる追跡結果の信頼度を必ずしも精度よく判定できなかった。
さらに、上記した従来技術では、霧の濃さを、先行車両のテールランプとテールランプ周辺との輝度の差から判断しているが、これは先行車両のテールランプが点灯している場合に限られた客観的な信頼度の判定方法であるので、依然として追跡センサによる追跡結果の信頼度を必ずしも精度よく判定できなかった。
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、追跡センサによる追跡結果の信頼度を精度よく判定することが可能になる追跡信頼度判定プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するため、発明は、追跡センサが取得した所定の範囲の画像データ、または、反射波データを用いて当該範囲内を移動する移動体を追跡する移動体追跡装置による追跡結果の信頼度を判定する追跡信頼度判定方法をコンピュータに実行させる追跡信頼度判定プログラムであって、前記所定の範囲における複数の特定の位置それぞれを監視する複数の特定位置センサから、特定の位置を通過する移動体の情報である移動体情報を取得する移動体情報取得手順と、前記移動体情報取得手順によって取得される前記複数の特定の位置それぞれの移動体情報と照合可能な情報として、前記移動体追跡装置による追跡結果を、前記複数の特定の位置それぞれを通過する移動体の情報である移動体情報に変換する移動体情報変換手順と、前記移動体情報変換手順によって変換された移動体情報が前記移動体情報取得手順によって取得された移動体情報に一致するか否かを前記複数の特定の位置ごとに照合して、前記移動体追跡装置による追跡結果の信頼度を前記複数の特定の位置ごとに判定する信頼度判定手順と、前記信頼度判定手順によって判定された信頼度が所定の信頼度よりも低い信頼度となる特定位置が存在する場合、前記所定の範囲のなかで当該特定位置より前記追跡センサに対して後方の範囲の追跡結果の運用を停止すべき旨の運用停止指示を前記移動体追跡装置に対して送出する運用停止指示送出手順と、をコンピュータに実行させることを特徴とする。
また、発明は、上記の発明において、前記特定位置センサは、前記特定の位置を通過する移動体の有無を検出するセンサであって、前記移動体情報取得手順は、前記特定位置センサから、前記特定の位置を通過する移動体の有無を示す通過有無情報を取得し、前記移動体情報変換手順は、前記移動体追跡装置による追跡結果を、前記特定の位置を通過する移動体の有無を示す通過有無情報に変換し、前記信頼度判定手順は、前記移動体情報変換手順によって変換された通過有無情報が前記移動体情報取得手順によって取得された通過有無情報に一致するか否かを照合して、前記移動体追跡装置による追跡結果の信頼度を判定することを特徴とする。
また、発明は、上記の発明において、前記信頼度判定手順によって前記追跡センサによる追跡結果の信頼度が所定の信頼度よりも低いと判定された場合に、前記追跡センサに対して、前記追跡結果の運用を停止すべき旨の運用停止指示を送出する運用停止指示送出手順をさらにコンピュータに実行させることを特徴とする。
また、発明は、上記の発明において、前記追跡センサは、異なる手法によって前記移動体をそれぞれ追跡する複数の追跡センサであって、前記移動体情報変換手順は、前記複数の追跡センサごとの前記移動体追跡装置による追跡結果を、前記特定の位置を通過する移動体の情報である移動体情報に変換し、前記信頼度判定手順は、前記複数の追跡センサごとに、前記移動体情報変換手順によって変換された移動体情報が前記移動体情報取得手順によって取得された移動体情報に一致するか否かを照合して、前記移動体追跡装置による前記複数の追跡センサごとの追跡結果の信頼度を判定し、前記運用停止指示送出手順は、前記信頼度判定手順によって判定された各追跡センサによる追跡結果の信頼度を互いに比較し、当該信頼度が最良である追跡センサ以外の追跡センサを用いた追跡結果の運用を停止すべき旨の運用停止指示を、前記移動体追跡装置に対して送出することを特徴とする。
また、発明は、上記の発明において、所定の領域を所定の範囲ごとに複数の第一の追跡センサによって分担して監視して当該領域内を移動する移動体を追跡することで得られる追跡結果の信頼度を判定する追跡信頼度判定方法をコンピュータに実行させる追跡信頼度判定プログラムであって、いずれかの所定の範囲を監視して当該範囲内を移動する移動体を前記第一の追跡センサよりも高精度で追跡する第二の追跡センサから、前記移動体の追跡結果を取得する追跡結果取得手順と、前記第二の追跡センサと同範囲を監視する前記第一の追跡センサによる追跡結果が前記移動体情報取得手順によって取得された追跡結果に一致するか否かを照合して、当該第一の追跡センサを含む前記複数の第一の追跡センサによる追跡結果の信頼度を判定する信頼度判定手順と、をコンピュータに実行させることを特徴とする。
発明によれば、所定の範囲における複数の特定の位置それぞれを監視する複数の特定位置センサから、特定の位置を通過する移動体の情報である移動体情報を取得し、取得される複数の特定の位置それぞれの移動体情報と照合可能な情報として、移動体追跡装置による追跡結果を、複数の特定の位置それぞれを通過する移動体の情報である移動体情報に変換し、変換された移動体情報取得された移動体情報に一致するか否かを複数の特定の位置ごとに照合して、移動体追跡装置による追跡結果の信頼度を複数の特定の位置ごとに判定し、判定された信頼度が所定の信頼度よりも低い信頼度となる特定位置が存在する場合、所定の範囲のなかで当該特定位置より前記追跡センサに対して後方の範囲の追跡結果の運用を停止すべき旨の運用停止指示を移動体追跡装置に対して送出するので、追跡センサによる追跡結果から変換した移動体情報と、特定位置センサから取得した移動体情報とを照合して、追跡センサによる追跡結果そのものを評価することができ、追跡センサによる追跡結果の信頼度を精度よく判定することが可能になる。
また、発明によれば、特定位置センサから、特定の位置を通過する移動体の有無を示す通過有無情報を取得し、移動体追跡装置による追跡結果を、特定の位置を通過する移動体の有無を示す通過有無情報に変換し、変換された通過有無情報が特定位置センサから取得された通過有無情報に一致するか否かを照合して、移動体追跡装置による追跡結果の信頼度を判定するので、追跡センサによる追跡結果から変換した移動体の通過有無と、特定位置センサから取得した移動体の通過有無とを照合して、追跡センサによる追跡結果そのものを評価することができ、追跡センサによる追跡結果の信頼度を精度よく判定することが可能になる。
また、発明によれば、追跡センサによる追跡結果の信頼度が所定の信頼度よりも低いと判定された場合に、追跡センサに対して、追跡結果の運用を停止すべき旨の運用停止指示を送出するので、信頼度が低い「追跡センサによる追跡結果」の運用停止を指示することができ、信頼度の低い追跡結果を運転者に提供することなく、信頼性の高い運転支援情報のみを運転者に提供することが可能になる。
また、発明によれば、複数の追跡センサごとの移動体追跡装置による追跡結果を、特定の位置を通過する移動体の情報である移動体情報に変換し、複数の追跡センサごとに、変換された移動体情報が前記移動体情報取得手順によって取得された移動体情報に一致するか否かを照合して、移動体追跡装置による複数の追跡センサごとの追跡結果の信頼度を判定し、各追跡センサによる追跡結果の信頼度を互いに比較し、当該信頼度が最良である追跡センサ以外の追跡センサを用いた追跡結果の運用を停止すべき旨の運用停止指示を、移動体追跡装置に対して送出するので、複数の追跡センサの中から信頼度が最良であると判定された追跡センサによる追跡結果を運転者に提供することができ、信頼性の高い運転支援情報のみを運転者に提供することが可能になる。
また、発明によれば、いずれかの所定の範囲を監視して当該範囲内を移動する移動体を前記第一の追跡センサよりも高精度で追跡する第二の追跡センサから、移動体の追跡結果を取得し、第二の追跡センサと同範囲を監視する第一の追跡センサによる追跡結果が取得された追跡結果に一致するか否かを照合して、当該第一の追跡センサを含む複数の第一の追跡センサによる追跡結果の信頼度を判定するので、例えば、全監視領域の中でも特に「第一の追跡センサ」による追跡結果の高い信頼度が要求される範囲(横断歩道が設置されている範囲等)に、「第一の追跡センサ」より高精度な「第二の追跡センサ」を併置することで、「第一の追跡センサ」による追跡結果を「第二の追跡センサ」による追跡結果と照合でき、「第一の追跡センサ」による追跡結果の信頼度を精度よく判定することが可能になる。また、信頼度が判定された「第一の追跡センサ」が監視する範囲に近接する複数の範囲を監視する各々の「第一の追跡センサ」による追跡結果についても信頼度が判定できるので、すべての範囲に「第二の追跡センサ」を設置する必要がなく、設備投資のコストを低く抑えることが可能になる。
以下に添付図面を参照して、この発明に係る追跡信頼度判定プログラムの実施例を詳細に説明する。なお、以下では、この発明に係る追跡信頼度判定プログラムを含んで構成される追跡信頼度判定装置を実施例として説明する。また、以下では、実施例1における追跡信頼度判定装置の構成および処理の手順、実施例1の効果を順に説明し、続いて、実施例1と同様に、実施例2に係る追跡信頼度判定装置、実施例3に係る追跡信頼度判定装置、実施例4に係る追跡信頼度判定装置、実施例5に係る追跡信頼度判定装置について順に説明する。
[用語の説明]
まず最初に、以下の実施例で用いる主要な用語を説明する。以下の実施例で用いる「監視範囲」とは、「追跡センサ」により一括で監視される範囲であり、例えば、車両や歩行者が通行する道路が挙げられ、特許請求の範囲に記載の「所定の範囲」に対応する。また、「移動体」とは、「追跡センサ」が検知し追跡する対象物であり、具体的には、道路を走行する車両や、道路を歩行する歩行者がこれに当たる。また、「追跡センサ」とは、道路上を監視して道路上を移動する「移動体」を追跡するセンサであり、具体的には、「監視範囲」を撮像して、画像を取得する「可視センサ(カメラ)」や、「監視範囲」を撮像して、温度の高低データを含む画像を取得する「赤外線センサ(赤外線カメラ)」や、「監視範囲」にミリ波を照射して、「移動体」の有無を判別し、「移動体」の速度情報を算出することができる反射波データを取得する「ミリ波センサ」が挙げられる。
また、「追跡結果」とは、「追跡センサ」が取得したデータに基づいて「監視範囲」に進入した「移動体」を検知し、当該「移動体」が「監視範囲」を通過するまでの間、当該「移動体」を一意に識別するための識別情報を付与した状態を保持して「移動体」を追跡した結果であり、この結果は運転支援情報として車両を運転する運転者に提供される。また、「追跡結果の信頼度」とは、「追跡結果」が、道路上を通過した「移動体」の状況をどの程度正確に反映しているかを示す指標である。
また、「特定位置センサ」とは、「監視範囲」に設定した「特定の位置」(以下、特定位置と記述する)に近接して設置されるセンサであり、特定位置を通過する「移動体」の情報を正確に取得することができる。具体的には、特定位置に超音波を放射して、物体の有無を判別することができる反射データを取得する「超音波センサ」や、特定位置にミリ波を照射して、対象物の有無を判別し、速度情報を算出することができる反射波データを取得する「ミリ波センサ」や、特定位置の下に埋め込まれ、その上を車両が通過することにより生じる磁界の変化から対象物の有無を判別し、速度情報を算出する「ループコイル」が挙げられる。
[実施例1における追跡信頼度判定装置の概要および特徴]
続いて、図1を用いて、実施例1における追跡信頼度判定装置の主たる特徴を具体的に説明する。図1は、実施例1における追跡信頼度判定装置の概要および特徴を説明するための図である。
実施例1における追跡信頼度判定装置は、上記したような追跡センサによる追跡結果の信頼度を判定することを概要とし、追跡センサの信頼度を精度よく判定することが可能になることに主たる特徴がある。
この主たる特徴について簡単に説明すると、追跡センサとして設置されたカメラは、監視範囲を連続的に撮像し、後述する移動体追跡装置は、撮像された連続画像データに基づいて追跡結果を取得し、これを実施例1における追跡信頼度判定装置に送信している。具体的には、図1の(A)に示すように、カメラは、道路上の点A、点B、点Cおよび点Dで囲まれる監視範囲(以下、監視範囲ABCDと記述する)を連続的に撮像し、移動体追跡装置は、撮像された連続画像データに基づいて監視範囲ABCDを走行する車両を検知し、当該車両が監視範囲ABCDを通過するまでの間、当該車両を一意に識別するための識別番号を付与した状態を保持して追跡した追跡結果を取得し、これを実施例1における追跡信頼度判定装置に送信している。
より具体的には、図1の(B)に示す監視範囲ABCDの移動体移動状況において、移動体追跡装置は、カメラにより撮像された連続画像データに基づいて、監視範囲ABCDを走行する3台の車両を正確に検知し、識別番号「1」、「2」および「3」を付与して追跡した車両3台の追跡結果を取得し、これを実施例1における追跡信頼度判定装置に送信している。また、図1の(C)に示す監視範囲ABCDの移動体移動状況を撮像した連続画像データから、移動体追跡装置は、実際は道路上を3台の車両が走行しているにもかかわらず、非常に近接して走行する2台目の車両と、3台目の車両とを区別して検知できなかったため、識別番号「1」および「2」を付与して追跡した車両2台の追跡結果を取得し、これを実施例1における追跡信頼度判定装置に送信している。
一方、実施例1における追跡信頼度判定装置は、監視範囲における特定位置を監視する特定位置センサから、当該特定位置を通過する移動体の情報である移動体情報を取得する。具体的には、図1の(A)に示すように、特定位置センサとして設置された超音波センサは、監視範囲ABCDに設定した特定位置を通過した移動体の有無情報を取得する。より具体的には、図1の(B)および(C)に示す監視範囲ABCDの移動体移動状況において、特定位置を通過した移動体の有無を検出し、図1の(B)および(C)の上図に示すように、時刻t1、t2、およびt3にそれぞれ特定位置に差し掛かった3台の車両を正確に検出し、有無情報を時間軸に沿ってプロットしたグラフを取得する。ここで、図1の(C)に示すように、超音波センサは、非常に近接して走行する2台目の車両と、3台目の車両とを正確に区別して検出し、特定位置を通過した車両の有無情報を取得する。
また、実施例1における追跡信頼度判定装置は、特定位置センサによって取得される移動体情報と照合可能な情報として、追跡センサによる追跡結果を、特定位置を通過する移動体の情報である移動体情報に変換する。具体的には、移動体追跡装置が取得した追跡結果を受信し、当該追跡結果から特定位置を通過した移動体の有無情報に変換する。より具体的には、図1の(B)に示す監視範囲ABCDの移動体移動状況において、上述した『識別番号「1」、「2」および「3」を付与して追跡した車両3台の追跡結果』を、これら3台の車両が特定位置をそれぞれ時刻t1、t2、およびt3に差し掛かり通過したとする情報に変換し、図1の(B)の下図に示す通過有無情報を時間軸に沿ってプロットしたグラフを取得する。また、図1の(C)に示す監視範囲ABCDの移動体移動状況において、上述した『識別番号「1」および「2」付与して追跡した車両2台の追跡結果』を、これら2台の車両が特定位置をそれぞれ時刻t1およびt2に差し掛かり通過したとする情報に変換し、図1の(B)の下図に示す通過有無情報を時間軸に沿ってプロットしたグラフを取得する。
続いて、実施例1における追跡信頼度判定装置は、変換された移動体情報が特定位置センサによって取得された移動体情報に一致するか否かを照合して、追跡センサによる追跡結果の信頼度を判定する。具体的には、図1の(B)や(C)に各々示すように、「特定位置センサの検出結果」と、「追跡センサの追跡結果を、特定位置を通過した移動体の有無情報に変換した結果」とを照合して信頼度を判定する。図1の(B)の場合は、両者が完全に一致しているので、信頼度は100%と判定され、図1の(C)の場合は、3個中2個一致しているので、信頼度は3分の2、すなわち66.7%と判定される。
続いて、実施例1における追跡信頼度判定装置は、追跡センサによる追跡結果の信頼度が所定の信頼度よりも低いと判定された場合に、追跡センサに対して、追跡結果の運用を停止すべき旨の運用停止指示を送出する。具体的には、所定の信頼度(信頼度設定閾値)が80%と設定されていたとすると、図1の(B)の場合は、信頼度が100%であるため、運用停止指示は行われず、追跡結果の運用が続行される。それに対し、図1の(C)の場合は、信頼度が66.7%と80%より低いため、追跡結果の運用停止の指示が行なわれ、運転者に信頼度の低い情報が提供されることを回避する。
このようなことから、実施例1における追跡信頼度判定装置は、追跡センサによる追跡結果から変換した移動体の通過有無と、特定位置センサから取得した移動体の通過有無とを照合して、追跡センサによる追跡結果そのものを評価することができ、上記した主たる特徴の通り、追跡センサによる信頼度を精度よく判定することが可能になる。
[実施例1における追跡信頼度判定装置の構成]
次に、図2〜5を用いて、実施例1における追跡信頼度判定装置を説明する。図2は、実施例1における追跡信頼度判定装置の構成を示すブロック図であり、図3は、移動体情報取得部を説明するための図であり、図4は、移動体情報変換部を説明するための図であり、図5は、追跡信頼度判定結果記憶部および追跡運用停止指示部を説明するための図である。
図2に示すように、実施例1における追跡信頼度判定装置10は、追跡信頼度判定要求入力部11と、追跡信頼度判定出力部12と、入出力制御I/F部13と、受信部14と、処理部15と、記憶部16とから構成され、さらに、特定位置センサ20と、移動体追跡装置30とに接続される。
移動体追跡装置30は、追跡センサ30aと、追跡センサ追跡結果送信部30bとを備える。追跡センサ30aは、監視範囲を移動する移動体を追跡するセンサであり、追跡センサ追跡結果送信部30bは、追跡センサ30aが取得したデータを解析した結果である追跡結果を、後述する追跡センサ追跡結果受信部14aに送信する。具体的には、図1の(A)に示すように、追跡センサ30aとして設置されたカメラは、監視範囲ABCDを連続的に撮像し、移動体追跡装置30は、撮像された連続画像データに基づいて、監視範囲ABCDに進入した移動体を検知し、当該移動体が監視範囲ABCDを通過するまでの間、当該移動体を一意に識別するための識別情報を付与した状態を保持して移動体を追跡した結果である追跡結果を取得し、追跡センサ追跡結果送信部30bは、追跡信頼度判定要求に応じ、当該追跡結果を後述する追跡センサ追跡結果受信部14aに送信する。
より具体的には、例えば、図3の(A)の右図に示す監視範囲ABCDの移動体移動状況において、追跡センサ30aは連続的に(例えば100分の1秒ごとに)監視範囲ABCDを撮像し、移動体追跡装置30は、撮像された連続画像データに基づいて、監視範囲ABCDに進入した3台の車両を正確に検知し、これら3台の車両がそれぞれ監視範囲ABCDを通過するまでの間、これら3台の車両を一意に識別するための識別情報として、図4の(A)の左図に示すように、識別番号「1」、「2」および「3」を付与して追跡した車両3台の追跡結果を取得し、追跡センサ追跡結果送部30bは、追跡信頼度判定要求に応じ、当該追跡結果を後述する追跡センサ追跡結果受信部14aに送信する。
また、移動体追跡装置30は、図3の(B)の右図に示す移動体移動状況を撮像した連続画像データから、実際は道路上を3台の車両が走行しているにもかかわらず、非常に近接して走行する2台目の車両と、3台目の車両とを区別して検知できなかったため、識別番号「1」および「2」を付与して追跡した車両2台の追跡結果を取得し(図4の(B)の左図参照)、図3の(C)の右図に示す移動体移動状況を撮像した連続画像データから、特定位置が設定された車線の隣車線を走行している識別番号「3」が付与された車両の特定位置に生じた水溜りに映りこんだ影を移動体として誤検知して新たに識別番号「4」を付与し、識別番号「1」〜「4」を付与して追跡した車両4台の追跡結果を取得し(図4の(C)の左図参照)、図3の(D)の右図に示す濃霧発生時の移動体移動状況を撮像した連続画像データから、実際は道路上を3台の車両が走行しているにもかかわらず、車両の色が濃い2台目の車両のみを検知し、識別番号「1」を付与して追跡した車両1台の追跡結果を取得し(図4の(D)の左図参照)、追跡センサ追跡結果送信部30bは、追跡信頼度判定要求に応じ、当該追跡結果を後述する追跡センサ追跡結果受信部14aに送信する。
なお、追跡センサ追跡結果送信部30bから追跡センサ追跡結果受信部14aに送信される追跡結果は、100分の1秒ごとに撮像された画像データを処理した100分の1秒ごとの追跡結果であってもよいし、100分の1秒ごとに撮像された画像データを処理した追跡結果のうち、例えば、10分の1秒ごとの追跡結果であってもよい。
特定位置センサ20は、監視範囲に設定した特定位置を通過する移動体情報を取得し、後述する移動体情報取得部15aへ移動体情報を転送する。具体的には、図1の(A)に示すように、特定位置センサ20として設置された超音波センサは、監視範囲ABCDに設定した特定位置の真上に位置し、当該特定位置に超音波を放射して、当該特定位置を通過した移動体の有無を判別することができる反射データを取得し、取得した反射データを一定時間おきに(例えば100分の1秒ごとに)、後述する移動体情報取得部15aへ転送する。より具体的には、例えば、図3の(A)の右図に示す監視範囲ABCDの移動体移動状況において、特定位置センサ20は、特定位置に超音波を放射して返ってきた反射音から、時刻t1、t2、およびt3にそれぞれ特定位置に差し掛かった3台の車両を正確に検出し、さらにこれら3台の車両が特定位置を通過している時間帯以外の時刻では、特定位置に移動体が存在しないことも正確に検出する。
追跡信頼度判定要求入力部11は、追跡信頼度判定要求を受け付け、キーボードやマウスなどで構成される。具体的には、追跡信頼度判定要求入力部11は、各都道府県交通管制センターやVICS(Vehicle Information and Communication System)センターなど監視範囲の追跡結果を管理する管理施設に所属するオペレータからの追跡信頼度判定要求を受け付けたり、管理施設から所定の一定時間ごとに行なわれる追跡信頼度判定要求を受け付けたりする。
追跡信頼度判定出力部12は、後述する追跡信頼度判定結果記憶部16cに記憶された追跡信頼度や、後述する追跡運用停止指示送出部15dの処理により追跡センサ30aの追跡結果の運用停止指示が追跡センサ30aに送出されたか否かを、管理施設に送信する。なお、管理施設は、追跡信頼度判定出力部12が送信した情報を、運転支援情報として車両を運転する運転者に提供する。
入出力制御I/F部13は、追跡信頼度判定要求入力部11および追跡信頼度判定出力部12と、受信部14、処理部15および記憶部16との間におけるデータ転送を制御する。
受信部14は、追跡センサ追跡結果受信部14aを備える。追跡センサ追跡結果受信部14aは、入出力制御I/F部13から転送された追跡信頼度要求に基づき、追跡センサ追跡結果送信部30bから追跡センサ30aによる追跡結果を受信し、後述する移動体情報変換部15bに追跡結果を転送する。
記憶部16は、後述する処理部15による各種処理結果を記憶し、特に本発明に密接に関連するものとしては、図2に示すように、移動体情報取得結果記憶部16aと、移動体情報変換結果記憶部16bと、追跡信頼度判定結果記憶部16cとを備える。移動体情報取得結果記憶部16aは、後述する移動体情報取得部15aが上記した特定位置センサ20から取得した移動体情報を記憶し、移動体情報変換結果記憶部16bは、後述する移動体情報変換部15bが追跡結果から変換した移動体情報を記憶し、追跡信頼度判定結果記憶部16cは、後述する追跡信頼度判定部15cが算出した追跡結果の信頼度を記憶する。なお、各部については、後に詳述する。
処理部15は、入出力制御I/F部13から転送された追跡信頼度要求に基づき各種処理を実行し、特に本発明に密接に関連するものとしては、図2に示すように、移動体情報取得部15aと、移動体情報変換部15bと、追跡信頼度判定部15cと、追跡運用停止指示送出部15dとを備える。ここで、移動体情報取得部15aは、特許請求の範囲に記載の「移動体情報取得手順」に対応し、移動体情報変換部15bは、同じく「移動体情報変換手順」に対応し、追跡信頼度判定部15cは、同じく「追跡信頼度判定手順」に対応し、追跡運用停止指示送出部15dは、同じく「運用停止指示送出手順」に対応する。
移動体情報取得部15aは、監視範囲における特定位置を監視する特定位置センサ20から、当該特定位置を通過する移動体の情報である移動体情報を取得し、その結果を移動体情報取得結果記憶部16aに記憶する。具体的には、移動体情報取得部15aは、図1の(A)に示すように、特定位置センサ20から、監視範囲ABCDに設定した特定位置を通過した移動体の有無情報を取得する。
より具体的には、図3の(A)、(B)、(C)および(D)のそれぞれ右図に示す監視範囲ABCDの移動体移動状況において、特定位置を通過した移動体の有無を検出し、図3の(A)、(B)、および(D)の左図に示すように、時刻t1、t2、およびt3にそれぞれ特定位置に差し掛かった3台の車両を正確に検出し、また図3の(C)の左側に示すように、時刻t1およびt2にそれぞれ特定位置に差し掛かった2台の車両を正確に検出し、有無情報を時間軸に沿ってプロットしたグラフをそれぞれ取得する。ここで、超音波センサは、図3の(B)の右図に示すように、非常に近接して走行する2台目の車両と、3台目の車両とを正確に区別して検出し、図3の(C)の右図に示すように、降雨により特定位置に生じた水溜りに映りこんだ特定位置が設定された隣の車線を走行する車両の影を車両と誤検出せず、さらに、図3の(D)の右図に示すように、霧の濃い状況下でも3台の車両を正確に検出し、特定位置を通過した車両の有無情報を取得する。
そして、移動体情報取得部15aは、取得した移動体情報を移動体情報取得結果記憶部16aに格納する。
移動体情報変換部15bは、特定位置センサ20によって取得される移動体情報と照合可能な情報として、追跡センサ30aによる追跡結果を、特定位置を通過する移動体の情報である移動体情報に変換し、その結果を移動体情報変換結果記憶部16bに記憶する。具体的には、移動体情報変換部15bは、図1の(A)に示すように、追跡センサ30aにより撮像された監視範囲ABCDの連続画像データ(例えば100分の1秒ごとの画像データ)に基づいて取得された追跡結果を追跡センサ追跡結果受信部14aから受信し、当該追跡結果から特定位置を通過した移動体の有無情報に変換する。より具体的には、図4の(A)、(B)、(C)および(D)のそれぞれ左図に示す追跡センサ30aによる追跡結果から、特定位置を通過した移動体の有無情報に変換し、図4の(A)、(B)、(C)および(D)のそれぞれ右図に示すように、特定位置を通過した車両の有無情報を時間軸に沿ってプロットしたグラフを得る。
すなわち、図4の(A)の左図に示す『識別番号「1」、「2」および「3」を付与して追跡した車両3台の追跡結果』から、これら3台の車両が特定位置をそれぞれ時刻t1、t2、およびt3に差し掛かり通過したとする情報に変換し、図4の(A)の右図に示すグラフを取得し、図4の(B)の左図に示す『識別番号「1」および「2」を付与して追跡した車両2台の追跡結果』から、これら2台の車両が特定位置をそれぞれ時刻t1およびt2に差し掛かり通過したとする情報に変換し、図4の(B)の右図に示すグラフを取得し、図4の(C)の左図に示す『識別番号「1」〜「4」を付与して追跡した車両4台の追跡結果』から、これら4台の車両のうち、識別番号「1」と、「2」と、「4」の3台の車両が特定位置をそれぞれ時刻t1、t2、およびt3に差し掛かり通過したとする情報に変換し、図4の(C)の右図に示すグラフを取得し、図4の(D)の左図に示す『識別番号「1」を付与して追跡した車両1台の追跡結果』から、この1台の車両が特定位置を時刻t2に差し掛かり通過したとする情報に変換し、図4の(D)の右図に示すグラフを取得する。
そして、移動体情報変換部15bは、変換した移動体情報を移動体情報変換結果記憶部16bに格納する。なお、移動体情報変換部15bは、追跡センサ追跡結果受信部14aが受信した100分の1秒ごとの追跡結果をすべて処理してもよいし、受信した追跡結果のうち、例えば、10分の1秒ごとの追跡結果を処理してもよい。
追跡信頼度判定部15cは、変換された移動体情報が特定位置センサ20によって取得された移動体情報に一致するか否かを照合して、追跡センサ30aによる追跡結果の信頼度を判定し、その結果を追跡信頼度判定結果記憶部16cに記憶する。具体的には、図5の(A)、(B)、(C)および(D)に各々示すように、図3の(A)、(B)、(C)および(D)の左図に示すそれぞれの「特定位置センサの検出結果」と、図4の(A)、(B)、(C)および(D)の右図に示すそれぞれの「追跡センサの追跡結果を、特定位置を通過した移動体の有無情報に変換した結果」とを各々照合して信頼度を判定する。図5の(A)の場合は、両者が完全に一致しているので、信頼度は100%と判定し、図5の(B)および図5の(C)の場合は、3個中2個一致しているので、信頼度は3分の2、すなわち66.7%と判定し、図5の(D)の場合は、3個中1個一致しているので、信頼度は3分の1、すなわち33.3%と判定する。
そして、追跡信頼度判定部15cは、照合し判定した追跡センサ30aによる追跡結果の信頼度を追跡信頼度判定結果記憶部16cに格納する。
追跡運用停止指示送出部15dは、追跡センサ30aによる追跡結果の信頼度が所定の信頼度よりも低いと判定された場合に、追跡センサ30aに対して、追跡結果の運用を停止すべき旨の運用停止指示を送出する。具体的には、所定の信頼度(信頼度設定閾値)として60%が設定されていたとすると、図5の(A)、(B)および(C)の場合は、信頼度がそれぞれ100%、66.7%、および66.7%と60%よりも高いため、運用停止指示は行われず、追跡結果の運用が続行される。それに対し、図5の(D)の場合は、信頼度が33.3%と60%より低いため、追跡結果の運用停止の指示が行なわれ、運転者に信頼度の低い情報が提供されることを回避する。
[実施例1における追跡信頼度判定装置による処理の手順]
次に、図6を用いて、実施例1における追跡信頼度判定装置10による処理を説明する。図6は、実施例1における追跡信頼度判定装置の処理の手順を示すフローチャートである。
まず、実施例1における追跡信頼度判定装置10は、キーボードやマウスから新たに追跡信頼度判定要求を受け付けると(ステップS601肯定)、前回の追跡信頼度判定要求により追跡センサ追跡結果受信部14a、移動体情報取得結果記憶部16a、移動体情報変換結果記憶部16bおよび追跡信頼度判定結果記憶部16cに格納されていたデータを初期化(消去)する(ステップS602)。
そして、移動体情報取得部15aは、監視範囲における特定位置を監視する特定位置センサ20から、当該特定位置を通過する移動体の情報である移動体情報を取得する処理を開始する(ステップS603)。すなわち、特定位置センサ20として設置された超音波センサから、監視範囲ABCDに設定した特定位置を通過した移動体の有無情報を取得する処理を開始する。
続いて、移動体情報変換部15bは、特定位置センサ20によって取得される移動体情報と照合可能な情報として、追跡センサ30aによる追跡結果を、特定位置を通過する移動体の情報である移動体情報に変換する処理を開始する(ステップS604)。すなわち、追跡センサ30aとして設置されたカメラにより撮像された監視範囲ABCDの連続画像データに基づいて取得された追跡結果を追跡センサ追跡結果受信部14aから受信し、当該追跡結果から特定位置を通過した移動体の有無情報に変換する処理を開始する。
その後、移動体情報取得部15aおよび移動体情報変換部15bは、追跡信頼度判定要求から所定時間(例えば2分など)が経過したか否かを判断する(ステップS605)。ここで、所定時間が経過していない場合には(ステップS605否定)、移動体情報取得部15aおよび移動体情報変換部15bは処理を継続する。
これとは反対に、追跡信頼度判定要求から所定時間が経過している場合には(ステップS605肯定)、移動体情報取得部15aおよび移動体情報変換部15bは、処理を停止し、これに応じ、追跡信頼度判定部15cは、変換された移動体情報が特定位置センサによって取得された移動体情報に一致するか否かを照合して、追跡センサによる追跡結果の信頼度を判定する(ステップS606)。すなわち、「特定位置センサの検出結果」と、「追跡センサによる追跡結果を、特定位置を通過した移動体の有無情報に変換した結果」とを照合して、図5の(A)の場合は、信頼度を100%と判定し、図5の(B)および図5の(C)の場合は、信頼度を66.7%と判定し、図5の(D)の場合は、信頼度を33.3%と判定する。
そして、追跡運用停止指示送出部15dは、追跡信頼度判定結果記憶部16cに記憶されている追跡センサ30aによる追跡結果の信頼度が所定の信頼度(例えば信頼度設定閾値として60%)よりも低いか否かを判断する(ステップS607)。ここで、追跡結果の信頼度が信頼度設定閾値以上の値であると判定された場合には(ステップS607否定)、追跡センサ30aに対して運用停止指示は行なわれず、追跡結果の運用は続行され、処理を終了する(図5の(A)、(B)および(C)参照)。これとは反対に、追跡結果の信頼度が信頼度設定閾値より低いと判定された場合には(ステップS607肯定)、追跡センサ30aに対して、追跡結果の運用を停止すべき旨の運用停止指示を送出し(ステップS608)、処理を終了する(図5の(D)参照)。
[実施例1の効果]
上記したように、実施例1によれば、監視範囲における特定位置を監視する特定位置センサ20から、当該特定位置を通過する移動体の情報である移動体情報を取得し、特定位置センサ20から取得される移動体情報と照合可能な情報として、追跡センサ30aによる追跡結果を、特定位置を通過する移動体の情報である移動体情報に変換し、変換された移動体情報が特定位置センサ20から取得される移動体情報に一致するか否かを照合して、追跡センサ30aによる追跡結果の信頼度を判定するので、追跡センサ30aによる追跡結果から変換した移動体情報と、特定位置センサ20から取得した移動体情報とを照合して、追跡センサ30aによる追跡結果そのものを評価することができ、追跡センサ30aによる追跡結果の信頼度を精度よく判定することが可能になる。
また、実施例1によれば、特定位置センサ20から、特定位置を通過する移動体の有無を示す通過有無情報を取得し、追跡センサ30aによる追跡結果を、特定位置を通過する移動体の有無を示す通過有無情報に変換し、変換された通過有無情報が特定位置センサ20から取得された通過有無情報に一致するか否かを照合して、追跡センサ30aによる追跡結果の信頼度を判定するので、追跡センサ30aによる追跡結果から変換した移動体の通過有無と、特定位置センサ20から取得した移動体の通過有無とを照合して、特定位置センサ20による追跡結果そのものを評価することができ、追跡センサ30aによる追跡結果の信頼度を精度よく判定することが可能になる。
また、実施例1によれば、追跡センサ30aによる追跡結果の信頼度が所定の信頼度よりも低いと判定された場合に、追跡センサ30aに対して、追跡結果の運用を停止すべき旨の運用停止指示を送出するので、信頼度が低い「追跡センサ30aによる追跡結果」の運用停止を指示することができ、信頼度の低い追跡結果を運転者に提供することなく、信頼性の高い運転支援情報のみを運転者に提供することが可能になる。
上述した実施例1では、監視範囲を移動する移動体を追跡する追跡センサを一つ設置する場合の追跡結果信頼度判定装置について説明したが、実施例2では、異なる手法によって移動体をそれぞれ追跡する複数の追跡センサを設置する場合の追跡結果信頼度判定装置について説明する。
[実施例2における追跡信頼度判定装置の概要および特徴]
まず最初に、図7を用いて、実施例2における追跡信頼度判定装置の主たる特徴を具体的に説明する。図7は、実施例2における追跡信頼度判定装置の概要および特徴を説明するための図である。
実施例2では、まず、異なる手法によって移動体をそれぞれ追跡する複数の追跡センサが設置される。具体的には、図7の(A)に示すように、監視範囲ABCDを移動する移動体を追跡する追跡センサとして、第一追跡センサ(カメラ)および第二追跡センサ(赤外線センサ)が設置される。
第一追跡センサ(カメラ)は、監視範囲ABCDを連続的に撮像して画像データを取得し、第二追跡センサ(赤外線センサ)は、監視範囲ABCDを連続的に撮像して温度の高低データを含む画像データを取得し、後述する第一移動体追跡装置は、第一追跡センサ(カメラ)が撮像した連続画像データに基づきカメラによる追跡結果を取得し、後述する第二移動体追跡装置は、第二追跡センサ(赤外線センサ)が撮像した温度の高低データを含む連続画像データに基づき赤外線センサによる追跡結果を取得し、これらの追跡結果を実施例2における追跡信頼度判定装置に送信している。
より具体的には、図7の(B)の中段に示すように、「昼間」の監視範囲ABCDの移動体移動状況において、後述する第一移動体追跡装置は、カメラにより撮像された連続画像データに基づいて、監視範囲ABCDに進入した3台の車両を正確に検知し、識別番号「1」、「2」および「3」を付与した状態を保持して車両を追跡した追跡結果を取得し、これを実施例2における追跡信頼度判定装置に送信している。一方、後述する第二移動体追跡装置は、赤外線センサにより撮像された連続画像データに基づいて、追跡処理を行うが、図7の(B)の中段に示す監視範囲ABCDの移動体移動状況において、「昼間」の高い気温により非常に近接して走行する車両間の温度差を検出できず、カメラによる追跡結果では識別番号「1」が付与された車両と、識別番号「2」が付与された車両とを区別して検知できなかったため、識別番号「1」を付与して追跡する。そして、カメラによる追跡結果では識別番号「3」が付与された車両に、識別番号「2」が付与され、識別番号「1」および「2」の車両を追跡した追跡結果を取得し、これを実施例2における追跡信頼度判定装置に送信している。
これと同様に、図7の(C)の中段に示すように、「夜間」の監視範囲ABCDの移動体移動状況において、後述する第二移動体追跡装置は、赤外線センサにより撮像された連続画像データに基づいて、監視範囲ABCDに進入した3台の車両を正確に検知し、識別番号「1」、「2」および「3」を付与した状態を保持して車両を追跡した追跡結果を取得し、これを実施例2における追跡信頼度判定装置に送信している。一方、後述する第一移動体追跡装置は、カメラにより撮像された連続画像データに基づいて、監視範囲ABCDに進入した車両を検知し、追跡する処理を行うが、図7の(C)の中段に示す監視範囲ABCDの移動体移動状況において、「夜間」であるため視界が暗く、非常に近接して走行する車両を正確に検出できず、赤外線センサによる追跡結果では識別番号「1」が付与された車両と、識別番号「2」が付与された車両とを区別して検知できなかったため、識別番号「1」を付与して追跡する。そして、赤外線センサによる追跡結果では識別番号「3」が付与された車両に、識別番号「2」が付与され、識別番号「1」および「2」の車両を追跡した追跡結果を取得し、これを実施例2における追跡信頼度判定装置に送信している。
一方、実施例2における追跡信頼度判定装置は、実施例1における追跡信頼度判定装置と同様に、監視範囲ABCDに設定した特定位置を監視する特定位置センサである超音波センサから、特定位置を通過した移動体の有無情報を取得する(図7の(B)の上段の「特定位置センサの検出結果」参照)。
また、実施例2における追跡信頼度判定装置は、複数の追跡センサごとに、各追跡センサによる追跡結果を、特定位置を通過する移動体の情報である移動体情報に変換する。具体的には、カメラによる追跡結果を、図7の(B)の下段の「第一追跡センサによる追跡結果を、特定位置の通過した移動体の有無情報に変換した結果」に示すように、3台の車両が時刻t1、時刻t2および時刻t3に特定位置を通過した移動体情報に変換する。さらに、赤外線センサによる追跡結果を、図7の(B)の下段の「第二追跡センサによる追跡結果を、特定位置の通過した移動体の有無情報に変換した結果」に示すように、2台の車両が時刻t1および時刻t3に特定位置を通過した移動体の有無情報に変換する。
これと同様に、図7の(C)の場合、赤外線センサによる追跡結果を、図7の(C)の下段の「第二追跡センサによる追跡結果を、特定位置の通過した移動体の有無情報に変換した結果」に示すように、3台の車両が時刻t1、時刻t2および時刻t3に特定位置を通過した移動体情報に変換する。さらに、カメラによる追跡結果を、図7の(C)の下段の「第一追跡センサによる追跡結果を、特定位置の通過した移動体の有無情報に変換した結果」に示すように、2台の車両が時刻t1および時刻t3に特定位置を通過した移動体の有無情報に変換する。
続いて、実施例2における追跡信頼度判定装置は、複数の追跡センサごとに、変換された移動体情報が特定位置センサから取得された移動体情報に一致するか否かを照合して、各追跡センサによる追跡結果の信頼度を判定する。具体的には、図7の(B)に示す場合は、「第一追跡センサによる追跡結果を、特定位置の通過した移動体の有無情報に変換した結果」と、「特定位置センサの検出結果」とを照合して第一追跡センサによる追跡結果の信頼度を判定し、「第二追跡センサの追跡結果を、特定位置の通過した移動体の有無情報に変換した結果」と、「特定位置センサの検出結果」とを照合して第二追跡センサによる追跡結果の信頼度を判定する。図7の(B)では、第一追跡センサの場合は、両者が完全に一致しているので、信頼度は100%と判定され、第二追跡センサの場合は、3個中2個一致しているので、信頼度は3分の2、すなわち66.7%と判定される。
また、図7の(C)に示す場合も同様に、「第一追跡センサによる追跡結果を、特定位置の通過した移動体の有無情報に変換した結果」と、「特定位置センサの検出結果」とを照合して第一追跡センサによる追跡結果の信頼度を判定し、「第二追跡センサによる追跡結果を、特定位置の通過した移動体の有無情報に変換した結果」と、「特定位置センサの検出結果」とを照合して第二追跡センサによる追跡結果の信頼度を判定する。図7の(C)では、第一追跡センサの場合は、3個中2個一致しているので、信頼度は3分の2、すなわち66.7%と判定され、第二追跡センサの場合は、両者が完全に一致しているので、信頼度は100%と判定される。
続いて、実施例2における追跡信頼度判定装置は、信頼度が最良である追跡センサ以外の追跡センサに対して、追跡結果の運用を停止すべき旨の運用停止指示を送出する。具体的には、図7の(B)に示す場合は、第一追跡センサの信頼度は100%であるのに対し、第二追跡センサの信頼度は66.7%であるので、第一追跡センサによる追跡結果の運用は続行され、第二追跡センサによる追跡結果の運用停止の指示が行なわれ、運転者に信頼度の低い第二追跡センサの情報が提供されることを回避する。また、図7の(C)に示す場合は、第二追跡センサの信頼度は100%であるのに対し、第一追跡センサの信頼度は66.7%であるので、第二追跡センサによる追跡結果の運用は続行され、第一追跡センサによる追跡結果の運用停止の指示が行なわれ、運転者に信頼度の低い第一追跡センサの情報が提供されることを回避する。
このようなことから、実施例2における追跡信頼度判定装置は、複数の追跡センサの中から信頼度が最良であると判定された追跡センサの追跡結果を運転者に提供することができ、信頼性の高い運転支援情報のみを運転者に提供することが可能になる。
[実施例2における追跡信頼度判定装置の構成]
次に、図8を用いて、実施例2における追跡信頼度判定装置を説明する。図8は、実施例2における追跡信頼度判定装置の構成を示すブロック図である。同図に示すように、実施例2における追跡信頼度判定装置10は、実施例1における追跡信頼度判定装置10と同様の構成であり、さらに、特定位置センサ20と、第一移動体追跡装置300と、第二移動体追跡装置31とに接続される。
なお、特定位置センサ20と、追跡信頼度判定要求入力部11と、追跡信頼度判定出力部12と、入出力制御I/F部13と、移動体情報取得部15aと、移動体情報取得結果記憶部16aとは、それぞれ、実施例1における特定位置センサ20と、追跡信頼度判定要求入力部11と、追跡信頼度判定出力部12と、入出力制御I/F部13と、移動体情報取得部15aと、移動体情報取得結果記憶部16aと同様の処理をするので説明を省略する。
第一移動体追跡装置300は、第一追跡センサ300aと、第一追跡センサ追跡結果送信部300bとを備える。第一追跡センサ300aは、監視範囲を撮像して、画像を取得するカメラであり、第一追跡センサ追跡結果送部300bは、第一追跡センサ300aが取得したデータを解析した結果である追跡結果を、後述する追跡センサ追跡結果受信部14aに送信する。具体的には、図7の(A)に示すように、第一追跡センサ300aは、監視範囲ABCDを連続的に(例えば100分の1秒ごとに)撮像し、第一移動体追跡装置300は、このデータに基づいて、図7の(B)の中段に示す「昼間」の監視範囲ABCDの移動体移動状況において、監視範囲ABCDに進入した3台の車両を正確に検知し、識別番号「1」、「2」および「3」を付与した状態を保持して車両を追跡した追跡結果を取得し、これを追跡センサ追跡結果受信部14aに送信している。また、図7の(C)の中段に示す「夜間」の監視範囲ABCDの移動体移動状況において、第一移動体追跡装置300は、第一追跡センサ300aが取得したデータに基づいて追跡処理を行うが、「夜間」であるため視界が暗く、非常に近接して走行する車両を正確に検出できず、図7の(C)の中段で示す識別番号「1」が付与された車両と、識別番号「2」が付与された車両とを区別できず1台の車両として検知したため、2台の車両を追跡した追跡結果を取得し、これを実施例2における追跡信頼度判定装置に送信している。
第二移動体追跡装置31は、第二追跡センサ31aと、第二追跡センサ追跡結果送信部31bとを備える。第二追跡センサ31aは、監視範囲を撮像して、温度の高低データを含む画像を取得する赤外線センサであり、第二追跡センサ追跡結果送信部31bは、第二追跡センサ31aが取得したデータを解析した結果である追跡結果を、後述する追跡センサ追跡結果受信部14aに送信する。具体的には、図7の(A)に示すように、第二追跡センサ31aは、監視範囲ABCDをそれぞれ連続的に(例えば100分の1秒ごとに)撮像し、第二移動体追跡装置31は、このデータに基づいて、図7の(B)の中段に示す「昼間」の監視範囲ABCDの移動体移動状況において、監視範囲ABCDに進入した車両を検知し、追跡する処理を行うが、「昼間」の高い気温により非常に近接して走行する車両間の温度差を検出できず、図7の(B)の中段に示す識別番号「1」が付与された車両と、識別番号「2」が付与された車両とを区別できず1台の車両として検知したため、2台の車両を追跡した追跡結果を取得し、これを追跡センサ追跡結果受信部14aに送信している。また、図7の(C)の中段に示すように、第二移動体追跡装置31は、第二追跡センサ31aが取得したデータに基づいて、監視範囲ABCDに進入した3台の車両を正確に検知し、識別番号「1」、「2」および「3」を付与した状態を保持して車両を追跡した追跡結果を取得し、これを追跡センサ追跡結果受信部14aに送信している。
なお、第一追跡センサ追跡結果送信部300bと、第二追跡センサ追跡結果送信部31bとから追跡センサ追跡結果受信部14aに送信される第一追跡センサ300aおよび第二追跡センサ31aによる追跡結果は、100分の1秒ごとに撮像された画像データを処理した100分の1秒ごとの第一追跡センサ300aおよび第二追跡センサ31aによる追跡結果であってもよいし、100分の1秒ごとに撮像された画像データを処理した追跡結果のうち、例えば、10分の1秒ごとの第一追跡センサ300aおよび第二追跡センサ31aによる追跡結果であってもよい。
受信部14は、追跡センサ追跡結果受信部14aを備える。追跡センサ追跡結果受信部14aは、入出力制御I/F部13から転送された追跡信頼度要求に基づき、第一追跡センサ追跡結果送部300bと、第二追跡センサ追跡結果送信部31bとから、第一追跡センサ300aによる追跡結果と、第二追跡センサ31aによる追跡結果とを区別して受信し、後述する移動体情報変換部15bにこれらの追跡結果を転送する。
移動体情報変換部15bは、特定位置センサ20によって取得される移動体情報と照合可能な情報として、第一追跡センサ300aによる追跡結果と、第二追跡センサ31aによる追跡結果とを、特定位置を通過する移動体の情報である移動体情報にそれぞれ変換し、その結果を移動体情報変換結果記憶部16bに記憶する。具体的には、移動体情報変換部15bは、図7の(A)に示すように、第一追跡センサ300aによる追跡結果と、第二追跡センサ31aによる追跡結果とを、特定位置を通過した移動体の有無情報にそれぞれ変換する。より具体的には、図7の(B)および(C)の下段に示すような、特定位置を通過した車両の有無情報を時間軸に沿ってプロットしたグラフである「第一追跡センサによる追跡結果を、特定位置の通過した移動体の有無情報に変換した結果」と、「第二追跡センサによる追跡結果を、特定位置の通過した移動体の有無情報に変換した結果」をそれぞれ得る。
そして、移動体情報変換部15bは、変換した2つの移動体情報を移動体情報変換結果記憶部16bにそれぞれ格納する。なお、移動体情報変換部15bは、追跡センサ追跡結果受信部14aが受信した100分の1秒ごとの追跡結果をすべてそれぞれ処理してもよいし、受信した追跡結果のうち、例えば、10分の1秒ごとの追跡結果をそれぞれ処理してもよい。
追跡信頼度判定部15cは、変換された2つの移動体情報が特定位置センサ20によって取得された移動体情報に一致するか否かをそれぞれ照合して、第一追跡センサ300aによる追跡結果の信頼度と、第二追跡センサ31aによる追跡結果の信頼度とをそれぞれ判定し、その結果を追跡信頼度判定結果記憶部16cに記憶する。具体的には、図7の(B)では、第一追跡センサ300aの場合は、両者が完全に一致しているので、信頼度は100%と判定し、第二追跡センサ31aの場合は、3個中2個一致しているので、信頼度は3分の2、すなわち66.7%と判定される。また、図7の(C)では、第一追跡センサ300aの場合は、3個中2個一致しているので、信頼度は3分の2、すなわち66.7%と判定され、第二追跡センサ31aの場合は、両者が完全に一致しているので、信頼度は100%と判定する。
そして、追跡信頼度判定部15cは、照合し判定した第一追跡センサ300aによる追跡結果の信頼度と、第二追跡センサ31aによる追跡結果の信頼度とを追跡信頼度判定結果記憶部16cにそれぞれ格納する。
追跡運用停止指示送出部15dは、第一追跡センサ300aによる追跡結果の信頼度と、第二追跡センサ31aによる追跡結果の信頼度とを互いに比較し、信頼度が最良である追跡センサ以外の追跡センサに対して、追跡結果の運用を停止すべき旨の運用停止指示を送出する。具体的には、図7の(B)に示す場合は、第一追跡センサ300aの信頼度は100%であるのに対し、第二追跡センサ31aの信頼度は66.7%であるので、第一追跡センサ300aによる追跡結果の運用は続行され、第二追跡センサ31aによる追跡結果の運用停止の指示が行なわれ、運転者に信頼度の低い第二追跡センサ31aの情報が提供されることを回避する。また、図7の(C)に示す場合は、第二追跡センサ31aの信頼度は100%であるのに対し、第一追跡センサ300aの信頼度は66.7%であるので、第二追跡センサ31aによる追跡結果の運用は続行され、第一追跡センサ300aによる追跡結果の運用停止の指示が行なわれ、運転者に信頼度の低い第一追跡センサ300aの情報が提供されることを回避する。
このようなことから、実施例2における追跡信頼度判定装置は、複数の追跡センサの中から信頼度が最良であると判定された追跡センサの追跡結果を運転者に提供することができ、信頼性の高い運転支援情報のみを運転者に提供することが可能になる。
[実施例2における追跡信頼度判定装置による処理の手順]
次に、図9を用いて、実施例2における追跡信頼度判定装置10による処理を説明する。図9は、実施例2における追跡信頼度判定装置の処理の手順を示すフローチャートである。
まず、実施例2における追跡信頼度判定装置10は、キーボードやマウスから新たに追跡信頼度判定要求を受け付けたり、自動的に(例えば、3時間ごとに)追跡信頼度判定要求が発生すると(ステップS901肯定)、実施例1と同様(図6に示したステップS602〜ステップS603と同様)に、「初期化処理」と「特定位置センサ20から移動体情報を取得開始」を行なう(ステップS902〜ステップS903)。
続いて、移動体情報変換部15bは、特定位置センサ20によって取得される移動体情報と照合可能な情報として、第一追跡センサ300aによる追跡結果と、第二追跡センサ31aによる追跡結果とを、特定位置を通過する移動体の情報である移動体情報にそれぞれ変換する処理を開始する(ステップS904)。すなわち、第一追跡センサ300aによる追跡結果と、第二追跡センサ31aによる追跡結果とを追跡センサ追跡結果受信部14aから受信し、当該追跡結果から特定位置を通過した移動体の有無情報に変換する処理を開始する。
その後、移動体情報取得部15aおよび移動体情報変換部15bは、追跡信頼度判定要求から所定時間(例えば2分など)が経過したか否かを判断する(ステップS905)。ここで、所定時間が経過していない場合には(ステップS905否定)、移動体情報取得部15aおよび移動体情報変換部15bは処理を継続する。
これとは反対に、追跡信頼度判定要求から所定時間が経過している場合には(ステップS905肯定)、移動体情報取得部15aおよび移動体情報変換部15bは処理を停止し、これに応じ、追跡信頼度判定部15cは、変換された移動体情報が特定位置センサによって取得された移動体情報にそれぞれ一致するか否かを照合して、それぞれの追跡結果の信頼度を判定する(ステップS906)。すなわち、「特定位置センサの検出結果」と、追跡センサごとの「追跡センサの追跡結果を、特定位置を通過した移動体の有無情報に変換した結果」とをそれぞれ照合して、図7の(B)では、第一追跡センサ300aについては、両者が完全に一致しているので、信頼度は100%と判定し、第二追跡センサ31aについては、信頼度は3分の2、すなわち66.7%と判定する。また、図7の(C)では、第一追跡センサ300aについては、信頼度は3分の2、すなわち66.7%と判定し、第二追跡センサ31aについては、信頼度は100%と判定する。
そして、追跡運用停止指示送出部15dは、追跡信頼度判定結果記憶部16cに記憶されている信頼度を互いに比較し、信頼度が最良である追跡センサ以外の追跡センサに対して、追跡結果の運用を停止すべき旨の運用停止指示を送出し(ステップS907)、処理を終了する。すなわち、図7の(B)に示す場合は、第一追跡センサ300aの信頼度は100%であるのに対し、第二追跡センサ31aの信頼度は66.7%であるので、第一追跡センサ300aによる追跡結果の運用は続行され、第二追跡センサ31aによる追跡結果の運用停止の指示が行なわれ、運転者に信頼度の低い第二追跡センサ31aの情報が提供されることを回避する。また、図7の(C)に示す場合は、第二追跡センサ31aの信頼度は100%であるのに対し、第一追跡センサ300aの信頼度は66.7%であるので、第二追跡センサ31aによる追跡結果の運用は続行され、第一追跡センサ300aによる追跡結果の運用停止の指示が行なわれ、運転者に信頼度の低い第一追跡センサ300aの情報が提供されることを回避する。
[実施例2の効果]
上記したように、実施例2によれば、第一追跡センサ300aによる追跡結果と、第二追跡センサ31aによる追跡結果とを、特定位置を通過する移動体の情報である移動体情報に変換し、第一追跡センサ300aおよび第二追跡センサ31aごとに、変換された移動体情報が特定位置センサ20によって取得された移動体情報に一致するか否かを照合して、第一追跡センサ300aおよび第二追跡センサ31aによる追跡結果の信頼度をそれぞれ判定し、判定された各追跡結果の信頼度を互いに比較し、当該信頼度が最良である追跡センサ以外の追跡センサに対して、追跡結果の運用を停止すべき旨の運用停止指示を送出するので、複数の追跡センサの中から信頼度が最良であると判定された追跡センサの追跡結果を運転者に提供することができ、信頼性の高い運転支援情報のみを運転者に提供することが可能になる。
上述した実施例1では、監視範囲に一箇所の特定位置を設定し、当該特定位置を監視する一つの特定位置センサを設置する場合について説明したが、実施例3では、監視範囲に複数の特定位置を設定し、複数の特定位置をそれぞれ監視する複数の特定位置センサを設置する場合の追跡結果信頼度判定装置について説明する。
[実施例3における追跡信頼度判定装置の概要および特徴]
続いて、図10を用いて、実施例3における追跡信頼度判定装置の主たる特徴を具体的に説明する。図10は、実施例3における追跡信頼度判定装置の概要および特徴を説明するための図である。
実施例3では、まず、実施例1と同様に、追跡センサとして設置されたカメラは、監視範囲を連続的に撮像し、移動体追跡装置は、撮像された連続画像データに基づいて追跡結果を取得し、これを実施例3における追跡信頼度判定装置に送信している。
具体的には、図10の(A)に示すように、監視範囲ABCDに追跡センサとして設置されたカメラは、監視範囲ABCDを連続的に撮像して画像データを取得し、移動体追跡装置は撮像された連続画像データに基づき追跡結果を取得し、これらの追跡結果を実施例3における追跡信頼度判定装置に送信している。より具体的には、移動体追跡装置は、図10の(B)に示す監視範囲ABCDの移動体移動状況において、実際は道路上を3台の車両が走行しているにもかかわらず、時刻t4までは、非常に近接して走行する3台の車両を区別して検知できなかったため、識別番号「1」が付与された1台の車両として追跡し、時刻t5では、2台目の車両と3台目の車両との車間距離が大きくなったため、3台目の車両を新たに検知し、識別番号「2」が付与された1台の車両として追跡する。さらに、時刻t6では、1台目の車両と2台目の車両との車間距離が大きくなったため、2台目の車両を新たに検知し、識別番号「3」が付与された1台の車両として追跡する。そして、移動体追跡装置は、これらの追跡結果を実施例3における追跡信頼度判定装置に送信している。
一方、実施例3における追跡信頼度判定装置は、図10の(A)に示すように、監視範囲ABCDのカメラから遠方順に同一車線上に設定した特定位置1と、特定位置2と、特定位置3とをそれぞれ監視する超音波センサである第一特定位置センサと、第二特定位置センサと、第三特定位置センサとを備え、これら特定位置センサは、各特定位置を通過した移動体情報を取得する。具体的には、図10の(B)に示す監視範囲ABCDの移動体移動状況において、第一特定位置センサと、第二特定位置センサと、第三特定位置センサとは、各特定位置に超音波を放射して、特定位置1と、特定位置2と、特定位置3とを通過した移動体の有無を判別することができる反射データを取得する。すなわち、図10の(B)に示す監視範囲ABCDに進入した車両3台の移動状況において、第一特定位置センサは、時刻t1、t2、およびt3にそれぞれ特定位置1に差し掛かった3台の車両を正確に検出し(図10の(C)の「第一特定位置センサの検出結果」参照)、第二特定位置センサは、時刻t4、t5、およびt6にそれぞれ特定位置2に差し掛かった3台の車両を正確に検出し(図10の(D)の「第二特定位置センサの検出結果」参照)、第三特定位置センサは、時刻t6、t7、およびt8にそれぞれ特定位置3に差し掛かった3台の車両を正確に検出する(図10の(E)の「第三特定位置センサの検出結果」参照)。
また、実施例3における追跡信頼度判定装置は、第一特定位置センサと、第二特定位置センサと、第三特定位置センサとによって取得される各移動体情報と照合可能な情報として、追跡センサによる追跡結果を、特定位置1と、特定位置2と、特定位置3とを通過する移動体の情報である各移動体情報にそれぞれ変換する。具体的には、上記した追跡センサによる追跡結果を受信し、当該追跡結果から特定位置1と、特定位置2と、特定位置3とを通過した移動体の有無情報に変換する。より具体的には、図10の(C)、(D)および(E)に示すように、追跡信頼度判定装置により識別番号が付与された移動体の追跡結果から特定位置1と、特定位置2と、特定位置3とを通過した移動体の有無情報に変換し、特定位置を通過した車両の有無情報を時間軸に沿ってプロットしたグラフである「追跡センサによる追跡結果を、特定位置1を通過した移動体の有無情報に変換した結果」と、「追跡センサによる追跡結果を、特定位置2を通過した移動体の有無情報に変換した結果」と、「追跡センサによる追跡結果を、特定位置3を通過した移動体の有無情報に変換した結果」とを得る。ここでは、識別番号「1」が付与された車両1台が特定位置1を、識別番号「1」と「2」とが付与された車両2台が特定位置2を、識別番号「1」、「2」および「3」が付与された車両3台が特定位置3を通過したとする情報に変換する。
続いて、実施例3における追跡信頼度判定装置は、特定位置センサによって取得される特定位置ごとの移動体情報が追跡センサによる追跡結果から変換された特定位置ごとの移動体情報にそれぞれ一致するか否かを照合して、追跡センサによる追跡結果の特定位置ごとの信頼度を判定する。具体的には、図10の(C)、(D)および(E)に示すように、「特定位置センサ1の検出結果」と、「追跡センサによる追跡結果を、特定位置1を通過した移動体の有無情報に変換した結果」とを照合して特定位置1の信頼度を判定し、「特定位置センサ2の検出結果」と、「追跡センサによる追跡結果を、特定位置2を通過した移動体の有無情報に変換した結果」とを照合して特定位置2の信頼度を判定し、「特定位置センサ3の検出結果」と、「追跡センサによる追跡結果を、特定位置3を通過した移動体の有無情報に変換した結果」とを照合して特定位置3の信頼度を判定する。図10の(C)に示すように、特定位置1の信頼度を、3個中1個一致しているので、3分の1、すなわち33.3%と判定し、図10の(D)に示すように、特定位置2の信頼度を、3個中2個一致していので、3分の2、すなわち66.7%と判定し、図10の(E)に示すように、特定位置3を、両者が完全に一致しているので、信頼度は100%と判定する。
続いて、実施例3における追跡信頼度判定装置は、複数の特定位置の信頼度の中で、ある特定位置の信頼度が所定の信頼度よりも低いと判定された場合に、追跡センサに対して、監視範囲のなかで当該特定位置より後方の範囲の追跡結果の運用を停止すべき旨の運用停止指示を送出する。具体的には、所定の信頼度(信頼度設定閾値)として60%が設定されていたとすると、図10の(D)および(E)に示すように、特定位置2および特定位置3の信頼度が66.7%および100%と60%より高いのに対し、図10の(C)に示すように、特定位置1の信頼度が33.3%と60%より低いため、特定位置1より後方の範囲の追跡結果の運用停止の指示が行なわれ、運転者に信頼度の低い情報が提供されることを回避する。
このようなことから、実施例3における追跡信頼度判定装置は、追跡センサの追跡結果のうち、信頼度の低い範囲の追跡結果を運転者に提供することを回避することができ、信頼性の高い運転支援情報のみを運転者に提供することが可能になる。
[実施例3における追跡信頼度判定装置の構成]
次に、図11を用いて、実施例3における追跡信頼度判定装置を説明する。図11は、実施例3における追跡信頼度判定装置の構成を示すブロック図である。同図に示すように、実施例3における追跡信頼度判定装置10は、実施例1における追跡信頼度判定装置10と同様の構成であり、さらに、第一特定位置センサ200と、第二特定位置センサ21と、第三特定位置センサ22と、移動体追跡装置30とに接続される。
なお、追跡信頼度判定要求入力部11と、追跡信頼度判定出力部12と、入出力制御I/F部13と、追跡センサ追跡結果受信部14aとは、それぞれ、実施例1における追跡信頼度判定要求入力部11と、追跡信頼度判定出力部12と、入出力制御I/F部13と、追跡センサ追跡結果受信部14aと同様の処理をするので説明を省略する。
移動体追跡装置30は、実施例1における移動体追跡装置30と同様に、追跡センサ30aと、追跡センサ追跡結果送信部30bとを備える。追跡センサ30aは、監視範囲を撮像して、画像を取得するカメラであり、追跡センサ追跡結果送信部30bは、追跡センサ30aが取得したデータを解析した結果である追跡結果を、追跡センサ追跡結果受信部14aに送信する。
具体的には、移動体追跡装置30は、図10の(B)に示す監視範囲ABCDの移動体移動状況において、実際は道路上を3台の車両が走行しているにもかかわらず、時刻t4までは、非常に近接して走行する3台の車両を区別して検知できなかったため、識別番号「1」が付与された1台の車両として追跡し、時刻t5では、2台目の車両と3台目の車両との車間距離が大きくなったため、3台目の車両を新たに検知し、識別番号「2」が付与された1台の車両として追跡し、さらに、時刻t6では、1台目の車両と2台目の車両との車間距離が大きくなったため、2台目の車両を新たに検知し、識別番号「3」が付与された1台の車両として追跡した追跡結果を追跡センサ追跡結果受信部14aに送信する。
第一特定位置センサ200と、第二特定位置センサ21と、第三特定位置センサ22とは、特定位置1と、特定位置2と、特定位置3とをそれぞれ監視する超音波センサであり、これら特定位置ごとの移動体情報を取得し、後述する移動体情報取得部15aへこれら特定位置ごとの移動体情報を転送する。具体的には、図10の(A)に示すように、監視範囲ABCDの遠方から順に同一車線上に設定した特定位置1と、特定位置2と、特定位置3とをそれぞれ監視する第一特定位置センサ200と、第二特定位置センサ21と、第三特定位置センサ22とは、図10の(B)に示す監視範囲ABCDの移動体移動状況において、各特定位置にそれぞれ超音波を放射して、特定位置1と、特定位置2と、特定位置3とを通過した移動体の有無を判別することができる反射データを取得する。例えば、図10の(B)に示す監視範囲ABCDに進入した車両3台の移動状況において、第一特定位置センサ200は、時刻t1、t2、およびt3にそれぞれ特定位置1に差し掛かった3台の車両を正確に検出する(図10の(C)の「第一特定位置センサの検出結果」参照)。
移動体情報取得部15aは、監視範囲における複数の特定位置を監視する第一特定位置センサ200と、第二特定位置センサ21と、第三特定位置センサ22とから、各特定位置を通過する移動体の情報である移動体情報を取得し、その結果を後述する移動体情報取得結果記憶部16aに記憶する。具体的には、移動体情報取得部15aは、図10の(B)に示す監視範囲ABCDの移動体移動状況において、第一特定位置センサ200と、第二特定位置センサ21と、第三特定位置センサ22とから、各特定位置に超音波を放射して、図10の(C)に示す「第一特定位置センサの検出結果」と、図10の(D)に示す「第二特定位置センサの検出結果」と、図10の(E)に示す「第三特定位置センサの検出結果」とを取得する。
追跡信頼度判定部15cは、第一特定位置センサ200と、第二特定位置センサ21と、第三特定位置センサ22とから取得される特定位置ごとの移動体情報が追跡センサによる追跡結果から変換された特定位置ごとの移動体情報にそれぞれ一致するか否かを照合して、追跡センサ30aによる追跡結果の特定位置ごとの信頼度を判定する。具体的には、図10の(C)、(D)および(E)に示すように、「第一特定位置センサの検出結果」と、「追跡センサによる追跡結果を、特定位置1を通過した移動体の有無情報に変換した結果」とを照合して特定位置1の信頼度を、33.3%と判定し、「第二特定位置センサの検出結果」と、「追跡センサによる追跡結果を、特定位置2を通過した移動体の有無情報に変換した結果」とを照合して特定位置2の信頼度を、66.7%と判定し、「第三特定位置センサの検出結果」と、「追跡センサの追跡結果を、特定位置3を通過した移動体の有無情報に変換した結果」とを照合して特定位置3の信頼度を100%と判定する。
追跡運用停止指示送出部15dは、複数の特定位置の信頼度の中で、ある特定位置の信頼度が所定の信頼度よりも低いと判定された場合に、追跡センサに対して、監視範囲のなかで当該特定位置より後方の範囲の追跡結果の運用を停止すべき旨の運用停止指示を送出する。具体的には、所定の信頼度(信頼度設定閾値)として60%が設定されていたとすると、図10の(D)および(E)に示すように、特定位置2および特定位置3の信頼度が66.7%および100%と60%より高いのに対し、図10の(C)に示すように、特定位置1の信頼度が33.3%と60%より低いため、特定位置1より後方の範囲の追跡結果の運用停止の指示が行なわれ、運転者に信頼度の低い情報が提供されることを回避する。
[実施例3における追跡信頼度判定装置による処理の手順]
次に、図12を用いて、実施例3における追跡信頼度判定装置10による処理を説明する。図12は、実施例3における追跡信頼度判定装置の処理の手順を示すフローチャートである。
まず、実施例3における追跡信頼度判定装置10は、キーボードやマウスから新たに追跡信頼度判定要求を受け付けると(ステップS1201肯定)、実施例1と同様(図6に示したステップS602と同様)に、「初期化処理」を行なう(ステップS1202)。
そして、移動体情報取得部15aは、監視範囲における3つの特定位置をそれぞれ監視する第一特定位置センサ200と、第二特定位置センサ21と、第三特定位置センサ22とから、各特定位置を通過する移動体の情報である移動体情報を取得する処理を開始する(ステップS1203)。すなわち、図10(A)に示すように、特定位置1と、特定位置2と、特定位置3とをそれぞれ監視する超音波センサである第一特定位置センサ200と、第二特定位置センサ21と、第三特定位置センサ22とから、各特定位置を通過した移動体の有無情報を取得する処理を開始する。
続いて、移動体情報変換部15bは、実施例1と同様(図6に示したステップS604と同様)に、「追跡センサによる追跡結果から、移動体情報変換」を開始する(ステップS1204)。すなわち、追跡センサ30aによる追跡結果から、特定位置1と、特定位置2と、特定位置3とをそれぞれ通過した移動体の有無情報を取得する処理を開始する。
その後、移動体情報取得部15aおよび移動体情報変換部15bは、追跡信頼度判定要求から所定時間(例えば2分など)が経過したか否かを判断する(ステップS1205)。ここで、所定時間が経過していない場合には(ステップS1205否定)、移動体情報取得部15aおよび移動体情報変換部15bは処理を継続する。
これとは反対に、追跡信頼度判定要求から所定時間が経過している場合には(ステップS1205肯定)、移動体情報取得部15aおよび移動体情報変換部15bは処理を停止し、これに応じ、追跡信頼度判定部15cは、変換された特定位置ごとの移動体情報が第一特定位置センサ200と、第二特定位置センサ21と、第三特定位置センサ22によって取得された特定位置ごとの移動体情報に一致するか否かをそれぞれ照合して、追跡センサによる追跡結果の信頼度を判定する(ステップS1206)。
そして、追跡運用停止指示送出部15dは、追跡信頼度判定結果記憶部16cに記憶されている追跡センサ30aによる追跡結果の特定位置ごとの信頼度が所定の信頼度(例えば信頼度設定閾値として60%)よりも低いか否かをそれぞれ判断する(ステップS1207)。ここで、すべての特定位置における追跡結果の信頼度が信頼度設定閾値以上の値であると判定された場合には(ステップS1207否定)、追跡センサ30aに対して運用停止指示は行なわれず、追跡結果の運用は続行され、処理を終了する。これとは反対に、信頼度設定閾値より低い「特定位置の追跡結果」があると判定された場合には(ステップS1207肯定)、追跡センサ30aに対して、信頼度設定閾値より低い信頼度であった特定位置より後方の範囲の追跡結果の運用を停止すべき旨の運用停止指示を送出する。追跡結果の運用を停止すべき旨の運用停止指示を送出し(ステップS1208)、処理を終了する(図10の(C)参照)。
[実施例3の効果]
上記したように、実施例3によれば、監視範囲に設定した特定位置ごとに追跡センサ30aによる追跡結果の信頼度を判定し、所定の信頼度より低いと判定された特定位置より後方の範囲における追跡センサ30aによる追跡結果の運用を停止すべき旨の運用停止指示を送出するので、信頼度が低い範囲の追跡結果を運転者に提供することを回避することができ、信頼性の高い運転支援情報のみを運転者に提供することが可能になる。
実施例4では、所定の領域を監視範囲ごとに複数の第一の追跡センサによって分担して監視して当該領域内を移動する移動体を追跡することで得られる追跡結果の信頼度を判定する追跡信頼度判定装置を説明する。
[実施例4における追跡信頼度判定装置の概要および特徴]
まず最初に、図13を用いて、実施例4における追跡信頼度判定装置の主たる特徴を具体的に説明する。図13は、実施例4における追跡信頼度判定装置の概要および特徴を説明するための図である。
実施例4における追跡信頼度判定装置は、所定の領域を監視範囲ごとに複数の第一の追跡センサによって分担して監視して当該領域内を移動する移動体を追跡することで得られる追跡結果の信頼度を判定することを概要とし、第一の追跡センサによる追跡結果の信頼度を精度よく判定することが可能になることに主たる特徴がある。
この主たる特徴について簡単に説明すると、所定の領域を監視範囲ごとに分担して監視する「第一の追跡センサ」として設置された複数のカメラは、監視範囲それぞれを連続的に撮像し、移動体追跡装置は、撮像された連続画像データに基づいて、監視範囲ごとの追跡結果から所定の領域の追跡結果を取得し、監視範囲の中で特に「第一の追跡センサによる追跡結果」の高い信頼度が要求される監視範囲の追跡結果を実施例4における追跡信頼度判定装置に送信している。具体的には、図13の(A)に示すように、所定の領域を範囲1と、範囲2と、範囲3とに分担して監視するために設置された3台の第一追跡センサであるカメラは、範囲1〜範囲3それぞれを連続的に撮像し、移動体追跡装置は、撮像された連続画像データに基づいて、範囲1の追跡結果と、範囲2の追跡結果と、範囲3の追跡結果とから所定の領域の追跡結果を取得する。そして、監視範囲の中でも歩行者が通行する横断歩道が設置されているので、特に「第一の追跡センサによる追跡結果」の高い信頼度が要求される範囲1(道路上の点Aと、点Bと、点Cと、点Dとによって囲まれる範囲)の追跡結果を実施例4における追跡信頼度判定装置に送信している。
より具体的には、図13の(B)に示す範囲1の移動体移動状況において、移動体追跡装置は、連続画像データに基づいて、範囲1を通行する移動体を検知し、時刻t1では車両2台と横断歩道を歩行している歩行者とを検知し、それぞれ識別番号「1」、「2」および「3」を付与して追跡した追跡結果を、時刻t2では新たに横断歩道を歩行している歩行者を検知し、識別番号「4」を付与し、これら識別番号「1」〜「4」の移動体を追跡した追跡結果を取得する。そして、時刻t3では新たな移動体を検知しなかったので、上記識別番号「1」〜「4」の移動体をそのまま追跡した追跡結果を取得し、これを実施例4における追跡信頼度判定装置に送信している。なお、範囲1の正確な移動体移動状況は、図13の(C)に示すものであり、移動体追跡装置は、夜間による視界の悪さのため、近接して走行する2台の車両を、識別番号「1」が付与された1台の車両として追跡しており、また、時刻t3に横断歩道に進入した歩行者を、移動体として検知できず追跡していない。
一方、実施例4における追跡信頼度判定装置は、範囲1内を移動する移動体を「第一の追跡センサ」よりも高精度で追跡する「第二の追跡センサ」から、移動体の追跡結果を取得する。具体的には、図13の(A)に示すように、監視範囲の中でも歩行者が通行する横断歩道が設置されているので、特に「カメラによる追跡結果」の高い信頼度が要求される範囲1を別途監視する「第二の追跡センサ」である赤外線センサを設置し、これが範囲1を連続的に撮像した温度の高低データを含む画像データから、範囲1内の追跡結果を取得する。
より具体的には、図13の(C)に示す範囲1の移動体移動状況において、範囲1を監視する赤外線センサにより撮像された温度の高低データを含む連続画像データに基づいて、範囲1を通行する移動体を検知し、時刻t1では車両3台と横断歩道を歩行している歩行者とを検知し、車両には識別番号「1」、「2」および「4」を、歩行者には識別番号「3」を付与して追跡した追跡結果を、時刻t2では新たに横断歩道を歩行している歩行者を検知し、識別番号「5」を付与し、これら識別番号「1」〜「5」の移動体を追跡した追跡結果を取得し、時刻t3では新たに横断歩道を歩行している歩行者を検知し、識別番号「6」を付与し、これら識別番号「1」〜「6」の移動体を追跡した追跡結果を取得する。
続いて、実施例4における追跡信頼度判定装置は、範囲1を監視する第一の追跡センサであるカメラによる追跡結果が第二の追跡センサである赤外線センサよる追跡結果に一致するか否かを照合して、範囲1を監視するカメラを含む複数のカメラによる追跡結果の信頼度を判定する。具体的には、図13の(B)に示す範囲1を監視するカメラによる追跡結果と、図13の(C)に示す範囲1を監視する赤外線センサによる追跡結果とを照合して、範囲1を監視するカメラを含む3台のカメラによる追跡結果の信頼度を判定する。より具体的には、図13の(D)に示すように、時刻t1における「カメラによる追跡結果の信頼度」を、カメラでは3個の移動体を検知、追跡しているのに対し、赤外線センサでは4個の移動体を検知、追跡しているので、4分の3、すなわち75.0%と判定する。そして、時刻t2における「カメラによる追跡結果の信頼度」を、カメラでは4個の移動体を検知しているのに対し、赤外線センサでは5個の移動体を検知、追跡しているので、5分の4、すなわち80.0%と判定する。また、時刻t3における「カメラによる追跡結果の信頼度」を、カメラでは4個の移動体を検知、追跡しているのに対し、赤外線センサでは6個の移動体を検知、追跡しているので、6分の4、すなわち66.7%と判定する。
続いて、実施例4における追跡信頼度判定装置は、範囲1を監視する第一の追跡センサであるカメラによる追跡結果の信頼度が所定の信頼度よりも低いと判定された場合に、範囲1を監視するカメラを含む複数のカメラに対して、追跡結果の運用を停止すべき旨の運用停止指示を送出する。具体的には、図13の(D)に示すように、所定の信頼度(信頼度設定閾値)が70%である場合、時刻t1や時刻t2では信頼度がそれぞれ、75.0%および80.0%であるので、運用停止指示は行われず、追跡結果の運用が続行される。それに対し、時刻t3では信頼度が66.7%と70%より低いため、範囲1を監視するカメラと、範囲1と近接した範囲である範囲2と範囲3とをそれぞれ監視するカメラとに対し、時刻t3から追跡結果の運用停止指示が行なわれ、運転者に信頼度の低い情報が提供されることを回避する。
[実施例4における追跡信頼度判定装置の構成]
次に、図14を用いて、実施例4における追跡信頼度判定装置を説明する。図14は、実施例4における追跡信頼度判定装置の構成を示すブロック図である。
移動体追跡装置60は、第一追跡センサ(範囲1用)60a1と、第一追跡センサ(範囲2用)60a2と、第一追跡センサ(範囲3用)60a3と、第一追跡センサ追跡結果送信部60bとを備える。第一追跡センサ(範囲1用)60a1と、第一追跡センサ(範囲2用)60a2と、第一追跡センサ(範囲3用)60a3とは、所定の領域を範囲1と、範囲2と、範囲3とに分担して監視するために設置された3台の第一追跡センサであり、第一追跡センサ追跡結果送信部60bは、第一追跡センサ(範囲1用)60a1が取得したデータを解析した結果である追跡結果を、後述する第一追跡センサ追跡結果受信部44aに送信する。具体的には、図13の(A)に示すように、カメラである第一追跡センサ(範囲1用)60a1と、第一追跡センサ(範囲2用)60a2と、第一追跡センサ(範囲3用)60a3とは、範囲1、範囲2および範囲3を各々連続的に撮像し、移動体追跡装置60は、これらの撮像された連続画像データに基づいて、範囲1の追跡結果と、範囲2の追跡結果と、範囲3の追跡結果とからなる所定の領域の追跡結果を取得する。そして、第一追跡センサ追跡結果送信部60bは、信頼度判定要求に応じ、高い信頼度が要求される範囲1の追跡結果(第一追跡センサ(範囲1用)60a1が取得したデータを解析した結果である追跡結果)を、後述する第一追跡センサ追跡結果受信部44aに送信する。
より具体的には、図13の(B)に示す移動体状況において、移動体追跡装置60は、第一追跡センサ(範囲1用)60a1により撮像された連続画像データ(例えば100分の1秒ごとの連続画像データ)に基づいて、範囲1を通行する移動体を検知し、時刻t1では車両2台と横断歩道を歩行している歩行者とを検知し、それぞれ識別番号「1」、「2」および「3」を付与して追跡した追跡結果を取得する。続いて、時刻t2では新たに横断歩道を歩行している歩行者を検知し、識別番号「4」を付与し、これら識別番号「1」〜「4」の移動体を追跡した追跡結果を取得する。さらに、時刻t3では新たな移動体を検知しなかったので、上記識別番号「1」〜「4」の移動体をそのまま追跡した追跡結果を取得する。そして、第一追跡センサ追跡結果送信部60bは、信頼度判定要求に応じ、これらの追跡結果(例えば100分の1秒ごとの連続画像データに基づく100分の1秒ごとの追跡結果)を後述する第一追跡センサ追跡結果受信部44aに送信する。
第二追跡センサ50は、範囲1内を移動する移動体を第一追跡センサ(範囲1用)60a1よりも高精度で追跡するセンサであり、範囲1を第一追跡センサ(範囲1用)60a1と同様に範囲1を監視する。具体的には、「第一追跡センサ(範囲1用)60a1による追跡結果」の高い信頼度が要求される範囲1を連続的に撮像し、温度の高低データを含む画像データ(例えば100分の1秒ごとの連続画像データ)を取得する。
追跡信頼度判定要求入力部41は、追跡信頼度判定要求を受け付け、キーボードやマウスなどで構成される。具体的には、追跡信頼度判定要求入力部41は、各都道府県交通管制センターやVICS(Vehicle Information and Communication System)センターなど監視範囲の追跡結果を管理する管理施設に所属するオペレータからの追跡信頼度判定要求を受け付けたり、管理施設から所定の一定時間ごとに行なわれる追跡信頼度判定要求を受け付けたりする。
追跡信頼度判定出力部42は、後述する追跡信頼度判定結果記憶部46bに記憶された追跡信頼度や、後述する追跡運用停止指示送出部45cの処理により第一追跡センサ(範囲1用)60a1と、第一追跡センサ(範囲2用)60a2と、第一追跡センサ(範囲3用)60a3とに追跡結果の運用停止指示が送出されたか否かを、管理施設に送信する。なお、管理施設は、追跡信頼度判定出力部42が送信した情報を、運転支援情報として車両を運転する運転者に提供する。
入出力制御I/F部43は、追跡信頼度判定要求入力部41および追跡信頼度判定出力部42と、受信部44、処理部45および記憶部46との間におけるデータ転送を制御する。
受信部44は、第一追跡センサ追跡結果受信部44aを備える。第一追跡センサ追跡結果受信部44aは、入出力制御I/F部43から転送された追跡信頼度要求に基づき、第一追跡センサ追跡結果送信部60bから第一追跡センサ(範囲1用)60a1による追跡結果を受信し、後述する追跡信頼度判定部45bに追跡結果を転送する。
記憶部46は、後述する処理部45による各種処理結果を記憶し、特に本発明に密接に関連するものとしては、図14に示すように、追跡結果取得結果記憶部46aと、追跡信頼度判定結果記憶部46bとを備える。追跡結果取得結果記憶部46aは、後述する追跡結果取得部45aが上記した第二追跡センサ50から取得した移動体情報を記憶し、追跡信頼度判定結果記憶部46bは、後述する追跡信頼度判定部45bが算出した追跡結果の信頼度を記憶する。なお、各部については、後に詳述する。
処理部45は、入出力制御部I/F部43から転送された追跡信頼度判定要求に基づき各種処理を実行し、特に本発明に密接に関連するものとしては、図14に示すように、追跡結果取得部45aと、追跡信頼度判定部45bと、追跡運用停止指示送出部45cとを備える。ここで、追跡結果取得部45aは、特許請求の範囲に記載の「追跡結果取得手順」に対応し、追跡信頼度判定部45bは、同じく「追跡信頼度判定手順」に対応し、追跡運用停止指示送出部45cは、同じく「追跡運用停止指示送出手順」に対応する。
追跡結果取得部45aは、第二追跡センサ50が範囲1を連続的に撮像した温度の高低データを含む画像データに基づき、範囲1に進入した移動体を検知し、当該移動体が範囲1を通過するまでの間、当該移動体を一意に識別するための識別情報を付与した状態を保持して移動体を追跡した結果である追跡結果(例えば100分の1秒ごとの連続画像データに基づく100分の1秒ごとの追跡結果)を取得する。
具体的には、図13の(C)に示す範囲1の移動体移動状況において、第二追跡センサ50により撮像された温度の高低情報を含む連続画像データに基づいて、範囲1を通行する移動体を検知し、時刻t1から時刻t3の間に、識別番号「1」〜「6」の移動体を追跡した追跡結果を取得する。そして、追跡結果取得部45aは、取得した追跡結果を追跡結果取得結果記憶部46aに格納する。
追跡信頼度判定部45bは、第一追跡センサ(範囲1用)60a1による追跡結果が第二追跡センサ50による追跡結果に一致するか否かを照合して、第一追跡センサ(範囲1用)60a1と、第一追跡センサ(範囲2用)60a2と、第一追跡センサ(範囲3用)60a3による追跡結果の信頼度を判定する。具体的には、図13の(D)に示すように、時刻t1における「カメラによる追跡結果の信頼度」を75.0%と判定し、時刻t2における「カメラによる追跡結果の信頼度」を80.0%と判定し、時刻t3における「カメラによる追跡結果の信頼度」を66.7%と判定する。
そして、追跡信頼度判定部45bは、照合し判定された第一追跡センサ(範囲1用)60a1による追跡結果の信頼度を追跡信頼度判定結果記憶部46bに格納する。
追跡運用停止指示送出部45cは、第一追跡センサ(範囲1用)60a1による追跡結果の信頼度が所定の信頼度よりも低いと判定された場合に、第一追跡センサ(範囲1用)60a1と、第一追跡センサ(範囲2用)60a2と、第一追跡センサ(範囲3用)60a3とに対して、追跡結果の運用を停止すべき旨の運用停止指示を送出する。具体的には、図13の(D)に示すように、所定の信頼度(信頼度設定閾値)が70%である場合、時刻t1や時刻t2では信頼度がそれぞれ、75.0%および80.0%であるので、運用停止指示は行われず、追跡結果の運用が続行される。それに対し、時刻t3では信頼度が66.7%と70%より低いため、第一追跡センサ(範囲1用)60a1と、範囲1と近接した範囲である範囲2と範囲3とをそれぞれ監視する第一追跡センサ(範囲2用)60a2と、第一追跡センサ(範囲3用)60a3とに対し、時刻t3から追跡結果の運用停止指示が行なわれ、運転者に信頼度の低い情報が提供されることを回避する。
[実施例4における追跡信頼度判定装置による処理の手順]
次に、図15を用いて、実施例4における追跡信頼度判定装置40による処理を説明する。図15は、実施例4における追跡信頼度判定装置の処理の手順を示すフローチャートである。
まず、実施例4における追跡信頼度判定装置40は、キーボードやマウスから新たに追跡信頼度判定要求を受け付けると(ステップS1501肯定)、前回の追跡信頼度要求により第一追跡センサ追跡結果受信部44a、追跡結果取得結果記憶部46aおよび追跡信頼度判定結果記憶部46bに格納されていたデータを初期化(消去)する(ステップS1502)。
そして、追跡結果取得部45aは、範囲1を監視する第二追跡センサ50が撮像した連続画像データに基づき、第二追跡センサ50による追跡結果を取得する(ステップS1503)。すなわち、追跡結果取得部45aは、第二追跡センサ50が撮像した画像データに基づき、範囲1に進入した移動体を検知し、当該移動体が範囲1を通過するまでの間、当該移動体を一意に識別するための識別情報を付与した状態を保持して移動体を追跡した結果である追跡結果を取得する。
具体的には、図13の(C)に示す範囲1の移動体移動状況において、範囲1を通行する移動体を検知し、時刻t1から時刻t3の間に、識別番号「1」〜「6」の移動体を追跡した追跡結果を取得する。
続いて、第一追跡センサ追跡結果受信部44aは、第一追跡センサ追跡結果送信部60bから、第一追跡センサ(範囲1用)60a1による追跡結果を受信する(ステップS1504)。すなわち、第一追跡センサ追跡結果受信部44aは、図13の(B)に示す移動体状況において、移動体追跡装置60が第一追跡センサ(範囲1用)60a1により撮像された連続画像データ(例えば100分の1秒ことの連続画像データ)に基づいて取得した追跡結果を受信する。
続いて、追跡信頼度判定部45bは、第一追跡センサ(範囲1用)60a1による追跡結果が第二追跡センサ50による追跡結果に一致するか否かを照合して、第一追跡センサ(範囲1用)60a1と、第一追跡センサ(範囲3用)60a3とによる追跡結果の信頼度を判定する(ステップS1505)。すなわち、図13の(D)に示すように、時刻t1における「カメラによる追跡結果の信頼度」を75.0%と判定し、時刻t2における「カメラによる追跡結果の信頼度」を80.0%と判定し、時刻t3における「カメラによる追跡結果の信頼度」を66.7%と判定する。
そして、追跡運用停止指示送出部45cは、第一追跡センサ(範囲1用)60a1による追跡結果の信頼度が所定の信頼度(例えば信頼度設定閾値として70%)よりも低いか否かを判断する(ステップS1506)。ここで、第一追跡センサ(範囲1用)60a1による追跡結果が、信頼度設定閾値異常の値であると判定された場合には(ステップS1506否定)、範囲1を含む複数の範囲を監視する複数のカメラに対し運用停止指示は行なわれず、追跡結果の運用は続行され処理を終了する。すなわち、図13の(D)に示すように、信頼度設定閾値が70%である場合、時刻t1や時刻t2では信頼度がそれぞれ、75.0%および80.0%であるので、運用停止指示は行われず、追跡結果の運用が続行され処理を終了する。
これとは反対に、第一追跡センサ(範囲1用)60a1による追跡結果が、信頼度設定閾値より低いと判定された場合には(ステップS1506肯定)、範囲1を含む複数の範囲を監視する複数のカメラに対して追跡結果の運用を停止すべき旨の運用停止指示を送出し(ステップS1507)、処理を終了する。すなわち、図13の(D)に示すように、時刻t3では、信頼度が66.7%と70%より低いため、範囲1を監視するカメラである第一追跡センサ(範囲1用)60a1と、範囲1と近接した範囲である範囲2と範囲3とをそれぞれ監視する第一追跡センサ(範囲2用)60a2と、第一追跡センサ(範囲3用)60a3とに対し、時刻t3からは追跡結果の運用を停止すべき旨の運用停止指示を送出し、処理を終了する。
[実施例4の効果]
上記したように、実施例4によれば、第一追跡センサ(範囲1用)60a1よりも高精度で移動体を追跡する第二追跡センサ50から、移動体の追跡結果を取得し、第一追跡センサ(範囲1用)60a1による追跡結果が第二追跡センサ50による追跡結果に一致するか否かを照合して、第一追跡センサ(範囲1用)60a1と、第一追跡センサ(範囲2用)60a2と、第一追跡センサ(範囲3用)60a3とによる追跡結果の信頼度を判定するので、例えば、全監視領域の中でも特に追跡結果の高い信頼度が要求される範囲1に、第一追跡センサ(範囲1用)60a1より高精度な第二追跡センサ50を併置することで、第一追跡センサ(範囲1用)60a1による追跡結果を第二追跡センサ50による追跡結果と照合でき、第一追跡センサ(範囲1用)60a1による追跡結果の信頼度を精度よく判定することが可能になる。また、信頼度が判定された範囲1に近接する範囲2と範囲3とをそれぞれ監視する第一追跡センサ(範囲2用)60a2と、第一追跡センサ(範囲3用)60a3よる追跡結果についても信頼度が判定できるので、すべての範囲に第二追跡センサ50を設置する必要がなく、設備投資のコストを低く抑えることが可能になる。
また、実施例4によれば、範囲1を監視する第一追跡センサ(範囲1用)60a1による追跡結果の信頼度が所定の信頼度よりも低いと判定された場合に、第一追跡センサ(範囲1用)60a1と、第一追跡センサ(範囲2用)60a2と、第一追跡センサ(範囲3用)60a3とに対して、追跡結果の運用を停止すべき旨の運用停止指示を送出するので、信頼度が低い追跡結果の運用停止を指示することができ、信頼度の低い追跡結果を運転者に提供することなく、信頼性の高い運転支援情報のみを運転者に提供することが可能になる。
さて、これまで実施例1〜4における追跡信頼度判定装置について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、実施例5における追跡信頼度判定装置として、種々の異なる実施例を(1)〜(5)に区分けして説明する。
(1)追跡センサと特定位置センサ
上記の実施例1および実施例3では、追跡センサとして「カメラ」を設置し、特定位置センサとして「超音波センサ」を設置した場合を説明したが、本発明はこれに限定されるものではなく、「追跡センサ」と「特定位置センサ」の組み合わせとして、「カメラ」と「ミリ波センサ」、「カメラ」と「ループコイル」、「ミリ波センサ」と「超音波センサ」、「ミリ波センサ」と「ループコイル」、「赤外線センサ」と「超音波センサ」、「赤外線センサ」と「ループコイル」、「赤外線センサ」と「ミリ波センサ」などであってもよい。
また、上記の実施例2では、異なる手法で移動体を追跡する複数の追跡センサとして「カメラ」および「赤外線センサ」を設置し、特定位置センサとして「超音波センサ」を設置した場合を説明したが、本発明はこれに限定されるものではなく、「カメラ」、「赤外線センサ」および「ミリ波センサ」などから選択された複数の追跡センサと、特定位置センサとして、「超音波センサ」、「ミリ波センサ」および「ループコイル」から選択される特定位置センサとを組み合わせてもよい。
そして、上記の実施例4では、第一の追跡センサとしてカメラを設置し、第二の追跡センサとして赤外線センサを設置した場合を説明したが、本発明はこれに限定されるものではなく、「第一の追跡センサ」と「第二の追跡センサ」の組み合わせとして、「カメラ」と「ミリ波センサ」、「赤外線センサ」と「ミリ波センサ」などであってもよい。
(2)移動体情報
上記の実施例1〜3では、特定位置センサから、移動体情報として特定位置を通過する移動体の有無を示す通過有無情報を取得し、移動体追跡装置が取得した追跡結果から、移動体情報として特定位置を通過する移動体の有無を示す通過有無情報に変換し、これら通過有無情報を照合して、追跡センサによる追跡結果の信頼度を判定する場合を説明したが、本発明はこれに限定されるものではなく、特定位置センサから、特定位置を通過する移動体の速度、サイズ、形状、模様のいずれか一つまたは複数を示す詳細情報を取得し、追跡センサによる追跡結果を、特定位置を通過する移動体の速度、サイズ、形状、模様のいずれか一つまたは複数を示す詳細情報に変換し、変換された詳細情報が特定位置センサによって取得された詳細情報に一致するか否かを照合して、追跡センサによる追跡結果の信頼度を判定してもよい。
具体的には、例えば、特定位置センサである「ループコイル」から特定位置を通過する移動体の通過有無情報および移動体の通過速度情報を取得し、追跡センサである「カメラ」による追跡結果を、特定位置を通過する移動体の通過有無情報および移動体の通過速度情報に変換し、変換された通過有無情報および通過速度情報が特定位置センサによって取得された詳細情報に一致するか否かをそれぞれ照合して、追跡センサによる追跡結果の信頼度を判定するので、追跡センサによる追跡結果から変換した移動体の通過速度等の詳細と、特定位置センサから取得した移動体の通過速度等の詳細とを照合して、追跡センサによる追跡結果そのものを評価することができ、追跡センサによる追跡結果の信頼度をより精度よく判定することが可能になる。
(3)処理時間の範囲
上記した実施例1〜3では、追跡信頼度判定要求から所定時間(例えば2分間など)の移動体情報をそれぞれ照合して、追跡センサによる追跡結果の信頼度を判定する場合を説明したが、本発明はこれに限定されるものではなく、追跡信頼度判定要求を受け付けた時間を挟んだ所定時間(例えば追跡信頼度判定要求を受け付けた時間を挟んで前後1分間ずつの2分間など)の移動体情報をそれぞれ照合して、追跡センサによる追跡結果の信頼度を判定する場合であってもよい。
具体的には、追跡信頼度判定装置は、追跡信頼度判定要求に応じ、特定位置センサから追跡信頼度判定要求を受け付けた時間を挟んで前後1分間ずつの2分間に特定位置を通過した移動体の通過有無情報を取得し、また、追跡センサによる追跡結果から、追跡信頼度判定要求を受け付けた時間を挟んで前後1分間ずつの2分間に特定位置を通過した移動体の通過有無情報に変換し、これらの通過有無情報を照合して、追跡センサによる追跡結果の信頼度を判定する追跡信頼度判定装置であってもよい。
(4)システム構成等
また、上記文章中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、図6に示す、移動体情報取得手順の開始(ステップS603)と移動体情報変換手順の開始(ステップS604)は、逆の順序で処理を開始してもよいし、また、同時に処理を開始してもよい。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各処理部および各記憶部の分散・統合の具体的形態(例えば、図2の形態など)は図示のものに限られず、例えば、追跡信頼度判定部15cと追跡運用停止指示送出部15dとを統合するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
(5)追跡信頼度判定プログラム
ところで上記の実施例1〜4では、ハードウェアロジックによって各種の処理を実現する場合を説明したが、本発明はこれに限定されるものではなく、あらかじめ用意されたプログラムをコンピュータで実行するようにしてもよい。そこで以下では、図16を用いて、上記の実施例1に示した追跡信頼度判定装置10と同様の機能を有する追跡信頼度判定プログラムを実行するコンピュータの一例を説明する。図16は、実施例1における追跡信頼度判定プログラムを実行するコンピュータを示す図である。
図16に示すように、情報処理装置としてのコンピュータ160は、キーボード161、ディスプレイ162、CPU163、ROM164、HDD165およびRAM166をバス167などで接続して構成され、さらに特定位置センサ20と移動体追跡装置30とに接続される。
ROM164には、上記の実施例1に示した追跡信頼度判定装置10と同様の機能を発揮する追跡信頼度判定プログラム、つまり、図16に示すように、移動体情報取得プログラム164a、移動体情報変換プログラム164b、追跡信頼度判定プログラム164c、追跡運用停止指示送出プログラム164dが予め記憶されている。なお、これらのプログラム164a〜164dについては、図2に示した追跡信頼度判定装置10の各構成要素と同様、適宜統合または分散してもよい。
そして、CPU163が、これらのプログラム164a〜164dをROM164から読み出して実行することで、図16に示すように、各プログラム164a〜164dは、移動体情報取得プロセス163a、移動体情報変換プロセス163b、追跡信頼度判定プロセス163c、追跡運用停止指示送出プロセス163dとして機能するようになる。なお、各プロセス163a〜163dは、図2に示した、移動体情報取得部15a、移動体情報変換部15b、追跡信頼度判定部15c、追跡運用停止指示送出部15dにそれぞれ対応する。
また、HDD165には、図16に示すように、追跡センサ追跡結果受信データ165aと、移動体情報取得結果データ165bと、移動体情報変換結果データ165cと、追跡信頼度判定結果データ165dとが設けられる。この追跡センサ追跡結果受信データ165aは、図2に用いた追跡センサ追跡結果受信部14aに対応し、移動体情報取得結果データ165bは移動体情報取得結果記憶部16aに対応し、移動体情報変換結果データ165cは移動体情報変換結果記憶部16bに対応し、追跡信頼度判定結果データ165dは追跡信頼度判定結果記憶部16cに対応する。そして、CPU163は、追跡センサ追跡結果受信データ166aを追跡センサ追跡結果受信データ165aに対して登録し、移動体情報取得結果データ166bを移動体情報取得結果データ165bに対して登録し、移動体情報変換結果データ166cを移動体情報変換結果データ165cに対して登録し、追跡信頼度判定結果データ166dを追跡信頼度判定結果データ165dに対して登録し、この追跡センサ追跡結果受信データ166aと、移動体情報取得結果データ166bと、移動体情報変換結果データ166cと、追跡信頼度判定結果データ166dとに基づいて追跡信頼度判定処理を実行する。
なお、上記した各プログラム164a〜164dについては、必ずしも最初からROM164に記憶させておく必要はなく、例えばコンピュータ160に挿入されるフレキシブルディスク(FD)、CD−ROM、MOディスク、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」、または、コンピュータ160の内外に備えられるHDDなどの「固定用物理媒体」、さらには、公衆回線、インターネット、LAN、WANなどを介してコンピュータ160に接続される「他のコンピュータ(またはサーバ)」などに各プログラムを記憶させておき、コンピュータ160がこれらから各プログラムを読み出して実行するようにしてもよい。
(付記1)所定の範囲を監視して当該範囲内を移動する移動体を追跡する追跡センサによる追跡結果の信頼度を判定する追跡信頼度判定方法をコンピュータに実行させる追跡信頼度判定プログラムであって、
前記所定の範囲における特定の位置を監視する特定位置センサから、当該特定の位置を通過する移動体の情報である移動体情報を取得する移動体情報取得手順と、
前記移動体情報取得手順によって取得される移動体情報と照合可能な情報として、前記追跡センサによる追跡結果を、前記特定の位置を通過する移動体の情報である移動体情報に変換する移動体情報変換手順と、
前記移動体情報変換手順によって変換された移動体情報が前記移動体情報取得手順によって取得された移動体情報に一致するか否かを照合して、前記追跡センサによる追跡結果の信頼度を判定する信頼度判定手順と、
をコンピュータに実行させることを特徴とする追跡信頼度判定プログラム。
(付記2)前記特定位置センサは、前記特定の位置を通過する移動体の有無を検出するセンサであって、
前記移動体情報取得手順は、前記特定位置センサから、前記特定の位置を通過する移動体の有無を示す通過有無情報を取得し、
前記移動体情報変換手順は、前記追跡センサによる追跡結果を、前記特定の位置を通過する移動体の有無を示す通過有無情報に変換し、
前記信頼度判定手順は、前記移動体情報変換手順によって変換された通過有無情報が前記移動体情報取得手順によって取得された通過有無情報に一致するか否かを照合して、前記追跡センサによる追跡結果の信頼度を判定することを特徴とする付記1に記載の追跡信頼度判定プログラム。
(付記3)前記特定位置センサは、前記特定の位置を通過する移動体の速度、サイズ、形状、模様のいずれか一つまたは複数を検出するセンサであって、
前記移動体情報取得手順は、前記特定位置センサから、前記特定の位置を通過する移動体の速度、サイズ、形状、模様のいずれか一つまたは複数を示す詳細情報を取得し、
前記移動体情報変換手順は、前記追跡センサによる追跡結果を、前記特定の位置を通過する移動体の速度、サイズ、形状、模様のいずれか一つまたは複数を示す詳細情報に変換し、
前記信頼度判定手順は、前記移動体情報変換手順によって変換された詳細情報が前記移動体情報取得手順によって取得された詳細情報に一致するか否かを照合して、前記追跡センサによる追跡結果の信頼度を判定することを特徴とする付記1に記載の追跡信頼度判定プログラム。
(付記4)前記信頼度判定手順によって前記追跡センサによる追跡結果の信頼度が所定の信頼度よりも低いと判定された場合に、前記追跡センサに対して、前記追跡結果の運用を停止すべき旨の運用停止指示を送出する運用停止指示送出手順をさらにコンピュータに実行させることを特徴とする付記1〜3のいずれかひとつに記載の追跡信頼度判定プログラム。
(付記5)前記追跡センサは、異なる手法によって前記移動体をそれぞれ追跡する複数の追跡センサであって、
前記移動体情報変換手順は、前記複数の追跡センサごとに、各追跡センサによる追跡結果を、前記特定の位置を通過する移動体の情報である移動体情報に変換し、
前記信頼度判定手順は、前記複数の追跡センサごとに、前記移動体情報変換手順によって変換された移動体情報が前記移動体情報取得手順によって取得された移動体情報に一致するか否かを照合して、各追跡センサによる追跡結果の信頼度を判定し、
前記運用停止指示送出手順は、前記信頼度判定手順によって判定された各追跡センサによる追跡結果の信頼度を互いに比較し、当該信頼度が最良である追跡センサ以外の追跡センサに対して、前記追跡結果の運用を停止すべき旨の運用停止指示を送出することを特徴とする付記4に記載の追跡信頼度判定プログラム。
(付記6)所定の領域を所定の範囲ごとに複数の第一の追跡センサによって分担して監視して当該領域内を移動する移動体を追跡することで得られる追跡結果の信頼度を判定する追跡信頼度判定方法をコンピュータに実行させる追跡信頼度判定プログラムであって、
いずれかの所定の範囲を監視して当該範囲内を移動する移動体を前記第一の追跡センサよりも高精度で追跡する第二の追跡センサから、前記移動体の追跡結果を取得する追跡結果取得手順と、
前記第二の追跡センサと同範囲を監視する前記第一の追跡センサによる追跡結果が前記移動体情報取得手順によって取得された追跡結果に一致するか否かを照合して、当該第一の追跡センサを含む前記複数の第一の追跡センサによる追跡結果の信頼度を判定する信頼度判定手順と、
をコンピュータに実行させることを特徴とする追跡信頼度判定プログラム。
(付記7)所定の範囲を監視して当該範囲内を移動する移動体を追跡する追跡センサによる追跡結果の信頼度を判定する追跡信頼度判定方法であって、
前記所定の範囲における特定の位置を監視する特定位置センサから、当該特定の位置を通過する移動体の情報である移動体情報を取得する移動体情報取得工程と、
前記移動体情報取得手順によって取得される移動体情報と照合可能な情報として、前記追跡センサによる追跡結果を、前記特定の位置を通過する移動体の情報である移動体情報に変換する移動体情報変換工程と、
前記移動体情報変換手順によって変換された移動体情報が前記移動体情報取得手順によって取得された移動体情報に一致するか否かを照合して、前記追跡センサによる追跡結果の信頼度を判定する信頼度判定工程と、
を含んだことを特徴とする追跡信頼度判定方法。
(付記8)所定の範囲を監視して当該範囲内を移動する移動体を追跡する追跡センサによる追跡結果の信頼度を判定する追跡信頼度判定装置であって、
前記所定の範囲における特定の位置を監視する特定位置センサから、当該特定の位置を通過する移動体の情報である移動体情報を取得する移動体情報取得手段と、
前記移動体情報取得手順によって取得される移動体情報と照合可能な情報として、前記追跡センサによる追跡結果を、前記特定の位置を通過する移動体の情報である移動体情報に変換する移動体情報変換手段と、
前記移動体情報変換手順によって変換された移動体情報が前記移動体情報取得手順によって取得された移動体情報に一致するか否かを照合して、前記追跡センサによる追跡結果の信頼度を判定する信頼度判定手段と、
を備えたことを特徴とする追跡信頼度判定装置。
以上のように、本発明における追跡信頼度判定プログラムは、所定の範囲を監視して当該範囲内を移動する移動体を追跡する追跡センサによる追跡結果の信頼度を判定する場合に有用であり、特に、追跡センサによる追跡結果の信頼度を精度よく判定することに適する。
実施例1における追跡信頼度判定装置の概要および特徴を説明するための図である。 実施例1における追跡信頼度判定装置の構成を示すブロック図である。 移動体情報取得部を説明するための図である。 移動体情報変換部を説明するための図である。 追跡信頼度判定結果記憶部および追跡運用停止指示部を説明するための図である。 実施例1における追跡信頼度判定装置の処理を説明するための図である。 実施例2における追跡信頼度判定装置の概要および特徴を説明するための図である。 実施例2における追跡信頼度判定装置の構成を示すブロック図である。 実施例2における追跡信頼度判定装置の処理を説明するための図である。 実施例3における追跡信頼度判定装置の概要および特徴を説明するための図である。 実施例3における追跡信頼度判定装置の構成を示すブロック図である。 実施例3における追跡信頼度判定装置の処理を説明するための図である。 実施例4における追跡信頼度判定装置の概要および特徴を説明するための図である。 実施例4における追跡信頼度判定装置の構成を示すブロック図である。 実施例4における追跡信頼度判定装置の処理を説明するための図である。 実施例1の追跡信頼度判定プログラムを実行するコンピュータを示す図である。
符号の説明
10 追跡信頼度判定装置
11 追跡信頼度判定要求入力部
12 追跡信頼度判定出力部
13 入出力制御I/F部
14 受信部
14a 追跡センサ追跡結果受信部
15 処理部
15a 移動体情報取得部
15b 移動体情報変換部
15c 追跡信頼度判定部
15d 追跡運用停止指示送出部
16 記憶部
16a 移動体情報取得結果記憶部
16b 移動体情報変換結果記憶部
16c 追跡信頼度判定結果記憶部
20 特定位置センサ
30 移動体追跡装置
30a 追跡センサ
30b 追跡センサ追跡結果送信部

Claims (3)

  1. 追跡センサが取得した所定の範囲の画像データ、または、反射波データを用いて当該範囲内を移動する移動体を追跡する移動体追跡装置による追跡結果の信頼度を判定する追跡信頼度判定方法をコンピュータに実行させる追跡信頼度判定プログラムであって、
    前記所定の範囲における複数の特定の位置それぞれを監視する複数の特定位置センサから、特定の位置を通過する移動体の情報である移動体情報を取得する移動体情報取得手順と、
    前記移動体情報取得手順によって取得される前記複数の特定の位置それぞれの移動体情報と照合可能な情報として、前記移動体追跡装置による追跡結果を、前記複数の特定の位置それぞれを通過する移動体の情報である移動体情報に変換する移動体情報変換手順と、
    前記移動体情報変換手順によって変換された移動体情報が前記移動体情報取得手順によって取得された移動体情報に一致するか否かを前記複数の特定の位置ごとに照合して、前記移動体追跡装置による追跡結果の信頼度を前記複数の特定の位置ごとに判定する信頼度判定手順と、
    前記信頼度判定手順によって判定された信頼度が所定の信頼度よりも低い信頼度となる特定位置が存在する場合、前記所定の範囲のなかで当該特定位置より前記追跡センサに対して後方の範囲の追跡結果の運用を停止すべき旨の運用停止指示を前記移動体追跡装置に対して送出する運用停止指示送出手順と、
    をコンピュータに実行させることを特徴とする追跡信頼度判定プログラム。
  2. 前記特定位置センサは、前記特定の位置を通過する移動体の有無を検出するセンサであって、
    前記移動体情報取得手順は、前記特定位置センサから、前記特定の位置を通過する移動体の有無を示す通過有無情報を取得し、
    前記移動体情報変換手順は、前記移動体追跡装置による追跡結果を、前記特定の位置を通過する移動体の有無を示す通過有無情報に変換し、
    前記信頼度判定手順は、前記移動体情報変換手順によって変換された通過有無情報が前記移動体情報取得手順によって取得された通過有無情報に一致するか否かを照合して、前記移動体追跡装置による追跡結果の信頼度を判定することを特徴とする請求項1に記載の追跡信頼度判定プログラム。
  3. 前記追跡センサは、異なる手法によって前記移動体をそれぞれ追跡する複数の追跡センサであって、
    前記移動体情報変換手順は、前記複数の追跡センサごとの前記移動体追跡装置による追跡結果を、前記特定の位置を通過する移動体の情報である移動体情報に変換し、
    前記信頼度判定手順は、前記複数の追跡センサごとに、前記移動体情報変換手順によって変換された移動体情報が前記移動体情報取得手順によって取得された移動体情報に一致するか否かを照合して、前記移動体追跡装置による前記複数の追跡センサごとの追跡結果の信頼度を判定し、
    前記運用停止指示送出手順は、前記信頼度判定手順によって判定された各追跡センサによる追跡結果の信頼度を互いに比較し、当該信頼度が最良である追跡センサ以外の追跡センサを用いた追跡結果の運用を停止すべき旨の運用停止指示を、前記移動体追跡装置に対して送出することを特徴とする請求項1または2に記載の追跡信頼度判定プログラム。
JP2006222704A 2006-08-17 2006-08-17 追跡信頼度判定プログラム Expired - Fee Related JP4771890B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006222704A JP4771890B2 (ja) 2006-08-17 2006-08-17 追跡信頼度判定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006222704A JP4771890B2 (ja) 2006-08-17 2006-08-17 追跡信頼度判定プログラム

Publications (2)

Publication Number Publication Date
JP2008046927A JP2008046927A (ja) 2008-02-28
JP4771890B2 true JP4771890B2 (ja) 2011-09-14

Family

ID=39180607

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006222704A Expired - Fee Related JP4771890B2 (ja) 2006-08-17 2006-08-17 追跡信頼度判定プログラム

Country Status (1)

Country Link
JP (1) JP4771890B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5760542B2 (ja) * 2011-03-16 2015-08-12 富士通株式会社 移動体情報計測装置及び移動体情報計測方法
JP2014215718A (ja) * 2013-04-23 2014-11-17 株式会社東芝 車両検知装置、および、車両検知システム
DE102017206123A1 (de) * 2017-04-10 2018-10-11 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fusion von Daten verschiedener Sensoren eines Fahrzeugs im Rahmen einer Objekterkennung
WO2021187455A1 (ja) * 2020-03-18 2021-09-23 古河電気工業株式会社 レーダシステム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2850890B2 (ja) * 1996-12-02 1999-01-27 日本電気株式会社 複合センサ型車両感知器
JP2000149183A (ja) * 1998-08-31 2000-05-30 Mitsubishi Precision Co Ltd 通過車両検出装置
JP2000099875A (ja) * 1998-09-24 2000-04-07 Mitsubishi Electric Corp 車両検出装置
JP2002056491A (ja) * 2000-08-08 2002-02-22 Toshiba Corp 道路監視装置
JP2004178239A (ja) * 2002-11-27 2004-06-24 Hitachi Ltd 走行支援道路システム
JP2007115191A (ja) * 2005-10-24 2007-05-10 Sumitomo Electric Ind Ltd 車両感知システム、点検装置、および点検方法

Also Published As

Publication number Publication date
JP2008046927A (ja) 2008-02-28

Similar Documents

Publication Publication Date Title
US11932252B2 (en) Vehicle control device and storage medium storing computer program for vehicle control
CN111781855B (zh) 一种交通在环自动驾驶仿真系统
US11249473B2 (en) Remote driving managing apparatus, and computer readable storage medium
US11453410B2 (en) Reducing processing requirements for vehicle control
US8294595B1 (en) Speed detector for moving vehicles
JP7024610B2 (ja) 検知装置及び検知システム
US11625909B1 (en) Track segment cleaning of tracked objects
US10162357B2 (en) Distributed computing among vehicles
CN108475474A (zh) 用于确定和提供与预先规定的环境有关的、含有环境数据的数据库的方法
WO2012018109A1 (ja) 情報管理装置、データ解析装置、信号機、サーバ、情報管理システム、信号機制御装置、およびプログラム
CN111742235A (zh) 用于识别针对车辆适合的空停车位的方法和系统
JP2019207651A (ja) 検知装置及び検知システム
JP2020173600A (ja) 経路予測装置、それを備えた車載装置、経路予測システム、経路予測方法、及びコンピュータプログラム
KR20250088689A (ko) 열 센서 데이터 차량 인지
JP6933069B2 (ja) 経路探索装置
JP2007010335A (ja) 車両位置検出装置及びシステム
JP4771890B2 (ja) 追跡信頼度判定プログラム
JP3639196B2 (ja) 車両特定装置
CN107702728A (zh) 一种车辆行驶道路确定方法和装置
JP2024133552A (ja) 判定装置及び判定方法並びに判定プログラム
US12249160B2 (en) Object assessment device, storage medium storing computer program for object assessment, and object assessment method
US20240304089A1 (en) Method for Monitoring a Region Surrounding a Vehicle, Assistance System for a Vehicle, Data Exchange Device, and System for Carrying Out a Method for Monitoring a Region Surrounding a Vehicle
CN118843084A (zh) 采集和分发车辆周围环境的元数据
CN117854269A (zh) 区域监视系统及区域监视方法
JP2018136917A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110203

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110614

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110621

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees