Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP2010218438A - 車両認識装置及びプログラム - Google Patents
[go: Go Back, main page]

JP2010218438A - 車両認識装置及びプログラム - Google Patents

車両認識装置及びプログラム Download PDF

Info

Publication number
JP2010218438A
JP2010218438A JP2009066814A JP2009066814A JP2010218438A JP 2010218438 A JP2010218438 A JP 2010218438A JP 2009066814 A JP2009066814 A JP 2009066814A JP 2009066814 A JP2009066814 A JP 2009066814A JP 2010218438 A JP2010218438 A JP 2010218438A
Authority
JP
Japan
Prior art keywords
vehicle
image
vehicle body
symmetry
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009066814A
Other languages
English (en)
Other versions
JP5298991B2 (ja
Inventor
Masahiro Ota
政宏 太田
Shinji Shigeno
信二 滋野
Kenji Kodama
賢二 兒玉
Kinichiro Masuda
金一郎 増田
Toshihito Moto
敏仁 本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2009066814A priority Critical patent/JP5298991B2/ja
Publication of JP2010218438A publication Critical patent/JP2010218438A/ja
Application granted granted Critical
Publication of JP5298991B2 publication Critical patent/JP5298991B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】道路を通行する車両を撮影した画像から、当該車両の車体部分の領域を認識する新たな手法を提供する。
【解決手段】S112では、車両の画像のエッジ画像に対し、各帯の向きを道路の通行方向に直交する向きに傾けた帯状領域を複数並べる。S114では、帯状領域においてエッジ強度が所定値以上のものを含む範囲に対応する車両画像の範囲である車体検索範囲内に、車両画像を撮影したカメラと車両との撮影時の位置関係に基づき帯方向の長さを個々に設定した複数の矩形枠を並べる。S115では、該車体検索範囲内の位置に対称中心線を仮定したときにおける各枠内の領域の画像についての、該対称中心線の位置に対する線対称性の高さを、各枠内の領域の輝度値に基づき判定する。S116では、各枠内の領域の画像についての線対称性の高さに基づき、車体の領域を車両画像から抽出する。
【選択図】図5

Description

本明細書で述べる実施態様は、道路を通行する車両を識別する技術に関するものである。
道路を通行する車両をカメラで撮影した画像から、その車両の車体色を識別するシステムが知られている。このシステムでは、この画像から車両の車体部分の領域を認識し、そして、その領域内の色彩を、その車両の車体色として識別する。
車両を撮影した画像から当該車両の領域を認識する技術として、自車の車載カメラで撮影した自車周囲の画像に基づいて、自車の周囲に存在する車両を認識するという技術が幾つか知られている。
このような技術のひとつは、進路前方の撮影画像についてのエッジ抽出画像に基づき、道路に描かれている車線の領域を当該撮影画像から抽出し、得られた車線の領域の位置から、自車前方の車両の大まかな存在候補領域を当該撮影画像から切り出す。そして、車両の形態の左右対称性に注目して、その大まかな存在候補領域から前方車両の存在候補領域の絞り込みを行うというものである。
また、このような技術の別のひとつは、進路前方若しくは後方の撮影画像についてのエッジ抽出画像から、当該画像の縦方向に向いているエッジを検出し、その縦エッジが下側で途切れた点を、撮影画像に表されている車両の最下端候補とする。ここで、この最下端候補の縦方向位置が、例えば左側と右側とで、ほぼ一致している場合に、その縦エッジが側面である車両として認識するというものである。
また、このような技術の更に別のひとつは、左右一対の光センサアレイの各々で取得した進路前方の撮影画像を横方向に微分してエッジの位置を検出する。ここで、アレイ上で結像した画像についてのエッジ間距離がほぼ等しいものが、2組のアレイについて検出された場合には、先行車が存在していることを認識するというものである。
更に、このような技術の更に別のひとつは、進路前方の撮像画像でのX方向及びY方向へのエッジヒストグラムの積を演算し、その極大点に基づいて、複数の車両候補としての矩形領域を抽出する。ここで、各矩形領域から、左右対称度が高い矩形領域を選別し、選別された矩形領域を車両と判断するというものである。
このように、車体の形態の対称性に着目して車両の車体部分の領域を認識する技術が幾つか知られているが、これらの技術では、いずれも、進路の前方若しくは後方から対向して撮影した車体正面若しくは背面の画像を得ることを前提としている。
また、道路を通行する車両をカメラで撮影した画像から、車両の車体部分を認識する他の技術として、差分法というものが知られている。
差分法では、まず、車両の例えば斜め上方に設置したカメラで撮影した車両のカラー画像と、同一位置のカメラで撮影した、車両を含まない道路のカラー画像との差分の画像を生成する。図12は、このようにして生成された差分画像の第一の例を提示するものである。差分法では、この差分画像に基づいて、車両の車体部分の認識を行う。
このような差分法による車両の車体部分の認識では、車両の車体色と道路面の色とが著しく異なっている場合には一般に良好な認識結果が得られるものの、車両の車体色と道路面の色とが似通っている場合には、認識が難しいことがある。図13は、差分法により生成された差分画像の第二の例を提示するものであり、車両の車体色と道路面の色とが似通っている場合のものである。
特開平7−334800号公報 特開平8−320999号公報 特開平9−128680号公報 特許第4070450号公報
本発明が解決しようとする課題は、道路を通行する車両を撮影した画像から、当該車両の車体部分の領域を認識する新たな手法を提供することである。
本明細書で開示する車両認識装置のひとつには、エッジ画像生成手段と、帯状領域設定手段と、車体検索範囲設定手段と、対象枠設定手段と、対称性判定手段と、車体領域抽出手段と、を有するというものがある。
ここで、エッジ画像生成手段は、道路上の車両の画像である車両画像からエッジ画像を生成する。帯状領域設定手段は、該エッジ画像に対し複数並べて設定される帯状領域であって各帯の向きが該道路の通行方向に直交する向きに傾けられている該帯状領域を設定する。車体検索範囲設定手段は、該エッジ画像に対して設定された該帯状領域の各々においてエッジ強度が所定値以上のものを含む範囲に対応する該車両画像の範囲を、車体検索範囲として設定する。対象枠設定手段は、該車両画像における車体検索範囲内の領域に、該車両画像の撮影をしたカメラと該車両との撮影時における位置関係に基づき該帯状領域における帯方向の長さを個々に設定した複数の矩形である対象枠を、該帯方向に並べて設定する。対称性判定手段は、該車体検索範囲について設定された各対象枠内の領域の輝度値に基づく判定であって、該車体検索範囲内の位置に対称中心線を仮定したときにおける各対象枠内の領域の画像についての、該対称中心線の位置に対する線対称性の高さの判定を行う。車体領域抽出手段は、該対称性判定手段により判定された、各対象枠内の領域の画像についての該線対称性の高さに基づき、該車両の車体が表されている車体領域を該車両画像から抽出する。
この装置では、車両画像のエッジ画像に対し上述の帯状領域を帯状領域設定手段が設定し、その帯状領域に対し上述の車体検索範囲を車体検索範囲設定手段が設定する。そして、その車体検索範囲内の領域に、上述の対象枠を対象枠設定手段が設定し、対称性判定手段が、この各対象枠内の領域の輝度値に基づいて、上述の対称中心線の位置に対する線対称性の高さの判定を行う。そして、車体領域抽出手段が、この線対称性の高さに基づき、車体領域を車両画像から抽出する。ここで、帯状領域設定手段が設定する帯状領域は、各帯の向きが該道路の通行方向に直交する向きに傾けられている。更に、対象枠設定手段が設定する対象枠は、帯状領域における帯方向の長さが、車両画像の撮影をしたカメラと車両との撮影時における位置関係に基づき、個々に設定されている。従って、例えば車両の進行方向に対し斜めの方向から撮影した車両画像であっても、車両の車体部分の領域の認識を、車体の形態の対称性の高さに基づき良好に行うことができる。
また、本明細書で開示する車両認識装置のひとつには、車体検索範囲設定手段と、対象枠設定手段と、対称性判定手段と、車体領域抽出手段と、を有するというものもある。
ここで、車体検索範囲設定手段は、道路上の車両の画像である車両画像であって、該車両の進行方向の正面から該車両を撮影して得られた該車両画像に対し複数並べて設定される帯状領域である車体検索範囲設定する。なお、この車体検索範囲は、各帯の向きが該道路の通行方向に直交する向きに向けられている。対象枠設定手段は、該車両画像における該車体検索範囲内の領域に、該車両画像の撮影をしたカメラと該車両との該撮影時における位置関係に基づき該車体検索範囲の帯方向の長さを個々に設定した複数の矩形である対象枠を、該帯方向に並べて設定する。対称性判定手段は、該車体検索範囲について仮定された各対象枠内の領域の輝度値に基づいて、該車体検索範囲内の位置に対称中心線を設定したときにおける各対象枠内の領域の画像についての、該対称中心線の位置に対する線対称性の高さを判定する。車体領域抽出手段は、該対称性判定手段により判定された、各対象枠内の領域の画像についての該線対称性の高さに基づき、該車両の車体が表されている車体領域を該車両画像から抽出する。
なお、ここで、該車両画像は、該車両画像を構成する各画素についての輝度値が光の三原色の各々について設定されているカラー画像である。
この対称性判定手段は、評価値第一算出手段と評価値第二算出手段とを有している。ここで、評価値第一算出手段は、該対称中心線の位置について対称の順序にある一対の対象枠の組について、その対象枠内の領域の輝度値の差の絶対値を、光の三原色の色毎に算出し、更に、算出した当該色毎の絶対値の和を算出する。この和の算出結果は、この対象枠内の領域の画像の組についての、該対称中心線に対する対称性の高さの評価値とされる。
また、評価値第二算出手段は、該車体検索範囲に定義されている全ての対象枠の組についての、該評価値第一算出手段が算出した該対称性の高さの評価値の総和を算出する。この総和の算出結果は、該対称中心線の位置についての、該車体検索範囲における線対称性の高さの評価値とされる。
更に、この車体領域抽出手段は、位置決定手段と、対象枠抽出手段と、を有している。ここで、位置決定手段は、該車体検索範囲内の各位置に仮定した対称中心線のうち、該評価値第二算出手段が算出した線対称性の高さの評価値が最小であるときの該対称中心線の位置を、該車体検索範囲における対称中心線の位置として決定する。また、対象枠抽出手段は、該評価値第一算出手段が算出した該対称性の高さの評価値のうち該位置決定手段が決定した対称中心線の位置に対するものが所定値以上であった対象枠内の領域の画像の組を抽出し、抽出された組についての該領域を結合する。こうすることで該車体領域を得る。
この装置では、車体の線対称性の高さの判定に用いる評価値を、対称性判定手段が上述したようにして求める。この評価値を求めるための演算は、加減算と絶対値の算出とであり、演算量も少ない。従って、車体の線対称性の高さを判定するためのデータ処理の負荷が軽くて済む。
また、本明細書では、車両発見装置の各構成要素が提供する機能をコンピュータに行わせることで、当該コンピュータで当該車両発見装置を構築させるためのプログラムについても開示している。
本明細書で開示する車両発見装置は、道路を通行する車両を撮影した画像から、当該車両の車体部分の領域を認識する新たな手法を提供する。
車両認識装置を含む車両車体色識別システムの全体構成図である。 車両画像蓄積テーブルのテーブル例である。 車両認識装置のハードウェア構成図である。 車両車体色識別処理の処理内容を示すフローチャートである。 車両認識処理の処理内容を示すフローチャートである。 車両と路上カメラとの位置関係の第一の例を表現した図である。 図6Aの場合に得られる車両画像から生成されたエッジ画像である。 帯状領域を設定する別の手法を説明する図である。 車体画像への車体検索範囲の設定を説明する図である。 推定画像の生成と対称性の判定とを説明する図(その1)である。 推定画像の生成と対称性の判定とを説明する図(その2)である。 推定画像の生成と対称性の判定とを説明する図(その3)である。 車両と路上カメラとの位置関係の第二の例を表現した図(その1)である。 車両と路上カメラとの位置関係の第二の例を表現した図(その2)である。 図5における対称性判定処理及び車体領域抽出処理の処理内容の詳細を示すフローチャートである。 差分画像の第一の例である。 差分画像の第二の例である。
まず図1について説明する。図1には、車両認識装置を含む車両車体色識別システムの全体構成が図解されている。このシステムは、路上カメラ1−1、…、及び1−n、車両認識装置100−1、…、及び100−n、通信ネットワーク2及び5、車両画像蓄積サーバ3、車両画像データベース4、並びにクライアント端末6を備えている。
路上カメラ1−1、…、及び1−nは、いずれも、道路上の車両のカラー画像(車両画像)を撮影して取得するものである。本実施形態においては、路上カメラ1−1、…、及び1−nは、それぞれ道路の路肩に立てられた柱の上に設置されており、当該道路上を通行する車両を、その進行方向に対し斜め方向から俯瞰した車両画像を撮影するように、撮影方向が向けられている。なお、本実施形態においては、路上カメラ1−1、…、及び1−nは、同一の道路の別車線を通行する車両の車両画像を撮影するものであるが、別の道路を通行する車両の車両画像を撮影するものでもよい。
路上カメラ1−1、…、及び1−nにより取得されたカラー画像である車両画像は、車両認識装置100−1、…、及び100−nに入力される。なお、このカラー画像は、画像を構成する各画素について、輝度値を表している輝度値データが、光の三原色(赤色、緑色、青色)の各々について設定されている、画像データであるとする。
なお、以降の説明では、区別する必要が特にない場合には、路上カメラ1−1、…、及び1−nを、「路上カメラ1」として纏めて説明することする。
車両認識装置100−1、…、及び100−nは、車両画像における車両の領域の認識を行う。なお、本実施形態においては、車両認識装置100−1、…、及び100−nは、更に、認識した領域内の色彩を車体色として識別する機能、車両のナンバープレートを読み取る機能、及び、車両画像のデータ圧縮(例えばJPEG圧縮)の機能も備えている。この車両についての、車体色の識別結果の情報、ナンバープレートの読み取り結果(車両番号)の情報、及びデータ圧縮後の車両画像は、通信ネットワーク2を介して車両画像蓄積サーバ3へ伝送される。
なお、以降の説明では、区別する必要が特にない場合には、車両認識装置100−1、…、及び100−nを、「車両認識装置100」として纏めて説明することする。
車両画像蓄積サーバ3は、車両認識装置100から伝送されてくる、車両画像の画像データと、当該車両画像に表されている車両の車両番号の情報及び車体色の識別結果の情報とを対応付けて、車両画像データベース4に蓄積する。
ここで図2について説明する。図2は、車両画像蓄積テーブルのテーブル例である。
車両画像蓄積テーブルは、車両画像蓄積サーバ3によって車両画像データベース4上に作成される。車両画像蓄積サーバ3は、車両認識装置100から新たに送られてくる車両画像の画像データを車両画像データベース4に登録する際に、車両画像蓄積テーブルにレコードを追加する。
図2の各フィールドを説明する。「登録日時」は、車両画像の車両画像データベース4への登録日時のデータである。「車両番号」は、登録した車両画像に表されている車両についての車両番号の情報であり、「車色」は、当該車両について識別した車体色の識別結果の情報である。なお、この「車両番号」及び「車色」の情報は、車両認識装置100から伝送されてきたものである。また、「画像保存先」は、車両画像データベース4に登録した車両画像についての、記憶装置における保存先を特定する情報である。
クライアント端末6は、車両画像蓄積サーバ3と、通信ネットワーク5を介して各種のデータの授受を行うことが可能であり、車両画像データベース4に蓄積されている情報の閲覧を行う。
例えば、クライアント端末6は、車色を指定した閲覧要求を車両画像蓄積サーバ3へ送付する。車両画像蓄積サーバ3は、この閲覧要求を受け取ると、車両画像データベース4に格納されている車両画像蓄積テーブルを参照し、「車色」フィールドの情報が、閲覧要求に含まれている車色と一致するレコードを抽出する。そして、抽出したレコードにおける「車両番号」の情報を取得すると共に、当該レコードにおける「画像保存先」フィールドの情報に基づき、車両画像を車両画像データベース4から取得し、これらをクライアント端末6に送付する。クライアント端末6は、車両番号の情報と車両画像とを受け取ると、これらの表示を行う。
なお、図1においては、通信ネットワーク2と通信ネットワーク5とが分離されているが、これらは接続されていてもよい。
次に図3について説明する。図3は、車両認識装置100のハードウェア構成図である。
図3において、車両認識装置100は、MPU101、ROM102、RAM103、ハードディスク装置104、入力装置105、表示装置106、インタフェース装置107、及び記録媒体駆動装置108を備えている。これらの構成要素はいずれもバス109に接続されており、MPU101の管理の下で各種のデータを相互に授受することができる。
MPU(Micro Processing Unit)101は、この車両認識装置100全体の動作を制御する演算処理装置である。
ROM(Read Only Memory)102は、所定の基本制御プログラムが予め記録されている読み出し専用半導体メモリである。MPU101は、この基本制御プログラムを車両認識装置100の起動時に読み出して実行することにより、この車両認識装置100の各構成要素の動作制御が可能になる。
RAM(Random Access Memory)103は、MPU101が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。
ハードディスク装置104は、MPU101によって実行される各種の制御プログラムやデータを記憶しておく記憶装置である。MPU101は、ハードディスク装置104に記憶されている所定の制御プログラムを読み出して実行することにより、後述する各種の制御処理を行えるようになる。
入力装置105は、例えばキーボード装置やマウス装置であり、車両認識装置100の管理者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をMPU101に送付する。
表示装置106は例えば液晶ディスプレイであり、MPU101から送付される表示データに応じて各種のテキストや画像を表示する。
インタフェース装置107は、この車両認識装置100が接続される通信ネットワーク2及び5を介して行われる各種データの授受の管理を行う。
記録媒体駆動装置108は、可搬型記録媒体110に記録されている各種の制御プログラムやデータの読み出しを行う装置である。MPU101は、可搬型記録媒体110に記録されている所定の制御プログラムを、記録媒体駆動装置108を介して読み出して実行することによって、後述する各種の制御処理を行うようにすることもできる。なお、可搬型記録媒体110としては、例えばCD−ROM(Compact Disc Read Only Memory)やDVD−ROM(Digital Versatile Disc Read Only Memory)などがある。
なお、図3に提示した構成から明らかなように、車両認識装置100の構成は、標準的なハードウェア構成のコンピュータの多くが備えている構成である。従って、このようなこのようなコンピュータで車両認識装置100を構築することも可能である。このようにする場合には、まず、後述する制御処理の処理内容をMPU101に行わせるための制御プログラムを作成する。作成した制御プログラムはハードディスク装置104若しくは可搬型記録媒体110に予め格納しておく。そして、MPU101に所定の指示を与えてこの制御プログラムを読み出させて実行させればよい。
次に図4について説明する。図4は、図1の車両車体色識別システムにおける車両認識装置100で行われる車両車体色識別処理の処理内容を示すフローチャートである。
例えば、道路を通行している車両が、路上カメラ1の撮影範囲内に到達したことを、不図示のセンサ(遮光センサなど)が検出する。路上カメラ1は、この検出結果に応じ、道路上の車両についての車両画像を撮影してそのデータを取得し、車両認識装置100へ送付する処理を行う。車両認識装置100のMPU101は、この車両画像が送られてくることを、インタフェース装置107を介して検出すると、図4の処理を開始する。
図4において、まず、S101では、インタフェース装置107を制御して車両画像を取得させ、得られた車両画像をRAM103の所定の領域に格納する処理をMPU101が行う。
次に、S102では、RAM103に格納されている車両画像から、車両のナンバープレートを読み取って認識して車両番号の情報を取得し、その情報をRAM103の所定の領域に格納する処理を、MPU101が行う。ナンバープレートの読み取り処理では、車両画像からナンバープレートの領域の検出、その領域内の文字パターンの切り出し、及び、切り出した文字パターンに対する文字認識の各処理が行われる。
次に、S103では、車両認識処理をMPU101が行う。車両認識処理は、車両画像における車両の領域の認識を行う処理であり、その処理の詳細は後述する。
次に、S104では、車体色識別処理をMPU101が行う。この処理は、RAM103に格納されている車両画像における、S103の車両認識処理によって認識した領域内の色彩を取得して、この車両画像に表されている車両の車体色として識別する処理である。より具体的には、この車両画像において、当該領域内に含まれる各画素についての、光の三原色の各色毎の輝度値データを、当該車体色の識別結果の情報として取得し、得られた情報をRAM103の所定の領域に格納する処理が行われる。
次に、S105では、車両情報送信処理をMPU101が行う。この処理では、まず、MPU101自身が有している不図示の時計装置が示している現在の日時を取得し、この日時を登録日時の情報とする。そして、RAM103に格納されている車両画像のデータを読み出し、このデータに、登録日時の情報と、S102の処理で取得した車両番号の情報と、S104の処理で取得した車体色の情報とを添付し、車両情報として車両画像蓄積サーバ3へ宛てて送信する。この処理を終えると、図4の車両車体色識別処理が終了する。
車両画像蓄積サーバ3は、この車両情報を車両認識装置100から受け取ると、当該車両情報から車両画像のデータを取り出して車両画像データベース4に蓄積する。更に、当該車両情報に含まれている、登録日時、車両番号、及び車体色の情報に基づき、図2に例示した車両画像蓄積テーブルにレコードを追加する。
なお、図2の例では、「車色」の情報として、色彩の名称が与えられている。車両画像蓄積サーバ3は、三原色の各色毎の輝度値データと、色彩の名称との対応関係が予め表されているテーブルを参照して、車両認識装置100から受け取った車体色の情報を色彩の名称に変換して車両画像蓄積テーブルに追加する。ここで、車両認識装置100から受け取った車体色の情報を、そのまま車両画像蓄積テーブルに追加するようにしてもよい。
次に図5について説明する。図5は、図4のS103の処理としてMPU101により行われる、車両認識処理の処理内容を示すフローチャートである。
図5において、まず、S111では、RAM103に格納されている車両画像を構成する各画素のエッジ強度を算出し、得られたエッジ強度を画素値とするエッジ画像を生成する処理が行われる。この処理において、エッジ強度は、例えば、画像を構成する各画素について、隣接画素との輝度値の差分値を微分結果として求める微分フィルタを車両画像に適用することによって、算出される。なお、この微分フィルタに代えて、画像のエッジ抽出のためのフィルタとして知られている、ソーベルフィルタ(Sobel filter)やラプラシアンフィルタ(Laplacian filter)等を用いるようにして、車両画像からエッジ画像を生成してもよい。
次に、S112では、生成されたエッジ画像に対し、道路の通行方向と直交する向きに傾けられている帯状の領域を複数並べて設定する処理が行われる。この設定処理について、図6A及び図6Bを用いて説明する。
図6Aは、車両画像の撮影時における車両11と路上カメラ1との位置関係の一例を表現した図である。図6Aにおいて、路上カメラ1は、車両11が通行する道路の路肩に立てられた柱の上において、その撮影方向(破線の矢印)と、車線12で表現されている、当該道路の通行方向の平行線(実線)とがなす角度(撮影角度)がθに設定されて配置されている。
図6Bは、この図6Aの場合に路上カメラ1が車両11を撮影して得られた車両画像から生成されたエッジ画像である。S112の帯状領域設定処理では、このエッジ画像に対し、矩形状である帯状領域14を複数並べて設定する処理が行われる。このとき、各帯状領域14は、帯の方向(矩形状である帯状領域14の長辺方向)が、車両11が通行する道路の通行方向に直交する向きに傾けられて設定される。
なお、図6Bに提示されている、各帯状領域14における帯の向きの傾き角度θは、図6Aにおける角度θと一致している。従って、この帯状領域設定処理では、帯状領域14の設定を、車両11が通行する道路の通行方向(すなわち、車両11の進行方向)と、車両画像を撮影した路上カメラ1の撮影方向とがなす撮影角度に基づいて行うようにすることができる。
なお、上述した帯状領域設定処理では、各帯状領域14における帯の向きの傾き角度の設定を、車両画像の撮影時における車両11と路上カメラ1との位置関係に基づき行っている。この代わりに、図7に示すように、帯状領域14における帯の向きを、エッジ画像に現れている、車線12に対して直角の方向となるようにして、各帯状領域14の設定を行うこともできる。
図5の説明に戻る。S113では、車体検索範囲設定処理が行われる。この処理について、図8を参照しながら説明する。
車体検索範囲設定処理では、まず、S111の処理で生成したエッジ画像に対しS112の処理で設定した帯状領域14の各々において、エッジ強度が所定値以上の強度のものを含む範囲が求められる。図8は、帯状領域14を設定したエッジ画像から、このようにして求められた範囲の例である。この図8は、図6Bや図7に例示した、エッジ画像に設定されている帯状領域14の各々において、所定値以上のエッジ強度である部分(車両11の輪郭部分及び車線12の部分)を全て囲む範囲が、強エッジ範囲14aとして求められた状態を表している。車体検索範囲設定処理では、次に、車両画像に対し、この強エッジ範囲14aに対応する範囲を、車体検索範囲として設定する処理が行われる。
次に、S114では、対象枠設定処理が行われ、続くS115では、対称性判定処理が行われ、更に、続くS116では、車体領域の抽出処理が行われる。このうちの、対象枠設定処理及び対称性判定処理の処理について、図9A、図9B、及び図9Cを参照しながら、まず説明する。
図9Aは、路上カメラ1により撮影された車両画像の画像例であり、車両11の前面部が表されている。これに対し、図9Bは、車両11の進行方向の正面から車両11を撮影したときに得られる、車両11の前面部の画像であり、図9Aに示されている破線の矩形部分(車体検索範囲として設定された部分)の画像である。
車両画像における車両11の車体の形態の線対称性の高さは、図9Bの画像のような、車両11の進行方向の正面から車両11を撮影した画像であれば、判定が可能である。すなわち、本実施形態では、次の手順(1)から手順(5)のようにして、線対称性の高さを車体検索範囲毎に判定する。
(1)まず、図9Bに表されている、画像の横方向に複数並べられた同一サイズの矩形の枠のように、対称性の判定に用いる対象とする枠(以下、「対象枠」と称することとする)を、各車体検索範囲内に定義する。
(2)次に、この対象枠内の領域を構成する各画素について設定されている、光の三原色の各色の輝度値についての当該枠内での色毎の平均値を算出し、各対象枠内の領域の当該色毎の輝度値として求めておく。
(3)次に、図9Bのように、車体検索範囲を当該画像の縦方向に貫く中心線(対称中心線)の位置を各車体検索範囲について仮定する。
(4)次に、この対称中心線について対称の位置にある一対の対象枠の組について、その対象枠内の領域の輝度値の差の絶対値を、光の三原色の色毎に算出し、更に、算出した当該色毎の絶対値の和を算出する。この和の値は、この対象枠内の領域の画像の組についての、上記(3)で位置を仮定した対称中心線に対する対称性の高さの評価値となる。
(5)次に、上記(4)のようにして行われる、位置を仮定した対称中心線に対する、対象枠内の領域の画像の組についての対称性の高さの評価値の算出を、車体検索範囲に定義されている全ての対象枠の組について行う。そして、こうして対象枠の組毎に算出した、対称性の高さの評価値についての、全ての対象枠の組での総和を算出する。この総和を、上記(3)で仮定した対称中心線の位置についての、この車体検索範囲における線対称性の高さの評価値とする。
本実施形態では、以上のようにして線対称性の高さを車体検索範囲毎に判定する。ところが、路上カメラ1により撮影された車両画像は、図9Aのように、車両11の進行方向に対し斜め方向から俯瞰したものであり、車両11を進行方向の正面から撮影したものではない。そこで、このような画像に基づいて線対称性の高さの判定を行うために、図9Bにおいては同一サイズである、対象枠を構成する複数の矩形の横方向のサイズを、図9Cのように変化させる。
つまり、S114の対象枠設定処理では、まず、車両11と路上カメラ1との車両画像の撮影時における位置関係に基づいて横方向(帯状領域14の帯の方向)の長さを個々に設定した複数の矩形である対象枠を、車体検索範囲内に並べて当該横方向に設定する。そして、S115の対称性判定処理では、対象枠設定処理により設定された対象枠を用いて、線対称性の高さを判定するようにする。
ここで、本実施形態における、対象枠である複数の矩形の横方向の長さの設定について説明する。
図10A及び図10Bは、車両11と路上カメラ1との車両画像の撮影時における位置関係の一例を表現するものである。ここで、図10Aは、この位置関係を俯瞰するものであり、図10Bは、この位置関係を道路の真上から見下ろしたものである。
図10A及び図10Bにおいて、線分Hは、路上カメラ1の設置位置の道路からの高さを示している。線分Dkは、撮影時における、車体検索範囲の端(路上カメラ1の設置側の端)からk番目の矩形(対象枠)内の被写体である車両11の部分の路上カメラ1からの距離である。線分Mkは、Dkを道路上に射影したものである。線分Uは、道路の路肩(路上カメラ1が設置されている側)から、Mkの端点(車両11側)を通る、当該路肩(すなわち車両11の進行方向)に対する垂線を伸ばしたときの垂線の脚と路上カメラ1との当該道路上での距離である。また、線分Wkは、車体検索範囲の端からk番目の対象枠についての、道路の路肩(路上カメラ1が設置されている側)からの距離である。なお、Wkの長さは定数wのk倍とし、kは自然数とする。
このとき、下記の式[1]が成立する。
Dk2 =H2 +Mk2 =H2 +U2 +Wk2 =H2 +U2 +(w×k)2 …[1]
ここで、K及びUの値は、路上カメラ1の設置状況によって定まる値であり、これはすなわち、車両画像の撮影時における車両11と路上カメラ1との位置関係に基づいた値でもある。また、定数wの値は、車両11の進行方向の正面から車両11を撮影した画像に対して前述した対象枠を設定する場合における、同一サイズである複数の矩形の横方向の長さに相当する値である。従って、この式を解くことにより、Dkの値を算出することができる。
S114の対象枠設定処理では、このDkの値を算出し、この値に基づき車体検索範囲の端からk番目の対象枠の横方向の長さを設定する。
例えば、車体検索範囲の最も端(すなわち、k=1)の対象枠の幅(矩形の横方向の長さ)をd1とし、撮影時における、この対象枠内の被写体である車両11の部分の路上カメラ1からの距離算出結果をD1とする。このとき、k番目の対象枠の横方向の長さdkは、下記の式[2]の計算結果とする。
dk=(D1/Dk)×d1………[2]
ところで、このd1と定数wとの間に下記の式[3]の関係がある。
d1×f=w×D1………[3]
なお、[3]式において、fは、路上カメラ1の撮影レンズの焦点距離(すなわち、路上カメラ1内の撮像素子と撮影レンズとの距離)である。
従って、この式[3]をd1について解き、得られたd1の値を[2]式に代入すると、下記の式[4]が得られる。
dk=(w×D12 )/(Dk×f)………[4]
つまり、この式[4]によれば、k番目の対象枠の横方向の長さdkは、Dk、すなわち、車両11の車体においてk番目の対象枠に対応する位置と路上カメラ1との車両画像の撮影時における距離に基づき、設定される。dkを、この式[4]に基づき設定することもできる。
なお、定数wの値の設定は任意であるが、値を小さくすれば、線対称性の高さの判定精度が向上するものの、上述した評価値を算出するための演算量が増加する。従って、判定精度と演算量とのバランスを考慮して値を設定することが好ましい。
図5の説明に戻る。S114の対象枠設定処理では、以上のようにして、車両11と路上カメラ1との車両画像の撮影時における位置関係に基づいて横方向の長さを個々に設定した複数の矩形である対象枠を並べて設定する処理を行う。この処理は、前述した手順(1)に相当するものであり、S113で車両画像に対し設定した車体検索範囲の全てについて行う。
そして、続くS115の対称性判定処理では、まず、前述した手順(2)から手順(4)に相当する処理を、車体検索範囲の全てに設定した対象枠の全てについて行う。
ここで、図11について説明する。図11は、図5における対称性判定処理(S115)及び車体領域抽出処理(S116)の処理内容の詳細を示すフローチャートである。
まず、S121において、車体検索範囲に設定した各対象枠内の領域を構成する各画素について設定されている光の三原色の各色の輝度値についての当該対象枠内での色毎の平均値を算出し、各対象枠内の領域の当該色毎の輝度値として求める処理が行われる。この処理は、前述した手順(2)に相当する。
次に、S122において、車体検索範囲を車両画像の縦方向に貫く対称中心線の位置を、1つの車体検索範囲に対し1つ仮定する処理を行う。この処理は、前述した手順(3)に相当する。
次に、S123において、評価値第一算出処理が行われる。この処理は、まず、位置を仮定した対称中心線について対称の順序にある一対の対象枠の組について、その対象枠内の領域の輝度値の差の絶対値を、光の三原色の色毎に算出する処理を行う。次に、算出した当該色毎の絶対値の和を算出して、この対象枠内の領域の画像の組についての、位置を仮定した対称中心線に対する対称性の高さの評価値を求める処理を行う。このS123の処理は、前述した手順(4)に相当するものである。
なお、「対称中心線について対称の順序にある一対の対象枠の組」とは、対称中心線が貫いている対象枠から左右に数えて同一の順番に位置している一対の対象枠の組を指す。例えば、対称中心線が貫いている対象枠が左から数えて5番目のものである場合、対称の順序にある一対の対象枠の組とは、4番目と6番目、3番目と7番目、2番目と8番目、1番目と9番目の各組となる。
但し、対称中心線が対象枠の境界線に一致する場合には、その対称中心線に接する対象枠の組についても、この算出の対象とする。例えば、対称中心線が左から数えて5番目と6番目との対象枠の境界線に一致する場合、対称の順序にある一対の対象枠の組とは、5番目と6番目、4番目と7番目、3番目と8番目、2番目と9番目、1番目と10番目の各組となる。
次に、S124において、評価値第二算出処理が行われる。この処理は、こうして対象枠の組毎に算出した、対称性の高さの評価値についての、車体検索範囲に設定された全ての対象枠の組での総和を算出する処理である。そして、この総和を、手順(3)により仮定した対称中心線の位置についての、この車体検索範囲における線対称性の高さの評価値とする。このS124の処理は、前述した手順(5)に相当する。
次に、S125において、対称中心線の仮定位置を車体検索範囲内の全域に亘り変動させたか否かを判定する処理が行われる。ここで、対称中心線の仮定位置を車体検索範囲内の全域に亘り変動させたと判定したとき(判定結果がYesのとき)にはS127に処理を進める。一方、対称中心線の仮定位置を車体検索範囲内の全域に亘っては変動させていないと判定したとき(判定結果がNoのとき)にはS126に処理を進める。
S126では、対称中心線の仮定位置を車体検索範囲内で変更する処理が行われ、その後はS123に処理を戻し、変更後の対称中心線の仮定位置についての上述した処理を実行する。
以上のS121からS126にかけての処理が、図5の対称性判定処理(S115)に対応する処理であり、以降のS127及びS128の処理は、図5の車体領域抽出処理(S116)に対応する処理である。
S127では、対称中心線の位置の決定処理が行われる。この処理は、車体検索範囲内の全域で変動させた対称中心線の仮定位置のうち、対称中心線に対する対称性の高さの評価値が最小であったときのものを取得する処理であり、車両画像に設定されている各車体検索範囲について行われる。この処理により、各車体検索範囲内での対称中心線の位置が決定される。
次に、S128では、所定の対称枠の抽出処理が行われる。この処理は、決定された対象中心線の位置に対する対称性の高さの評価値が、所定値以上であった対象枠内の領域の画像の組を抽出する処理であり、車両画像に設定されている各車体検索範囲について行われる。この処理により抽出された対象枠を全て結合した領域が、車両11の車体が表されている車体領域の抽出結果となる。
このS128の処理を終えると、図5のS116のが終了し、S117に処理を進める。
S117では、以上のようにして抽出された車体領域を特定する情報(車体領域を構成する各画素の位置を示す座標情報)を、RAM103に格納する処理が行われる。
以上のS117までの処理が終了すると、この車両認識処理が終了し、図4の処理に戻る。図4のS104の車体色認識処理では、この車体領域の特定情報に基づき、RAM103に格納されている車両画像から車体領域を特定し、この領域内の色彩を取得する処理が行われる。
以上のように、車両認識装置100では、車両画像における車体検索範囲内の領域に、路上カメラ1と車両11との撮影時における位置関係に基づき帯状領域14の帯方向の長さを個々に設定した複数の矩形(対象枠)を、該帯方向に並べて設定する。ここで、この車体検索範囲について設定された各対象枠内の領域の輝度値に基づいて、車体検索範囲内の位置に対称中心線を仮定したときにおける各対象枠内の領域の画像についての、対称中心線の位置に対する線対称性の高さを判定する。そして、この対象枠内の領域の画像についての線対称性の高さに基づき、車体領域を車両画像から抽出する。従って、車両の進路の例えば斜め方向から撮影した車両画像から、当該車両の車体部分の領域を認識することができる。
なお、車両11の進行方向の正面から車両11を撮影して車両画像を得ることができる場合には、図5のS111及びS112の処理は不要である。すなわち、図4のS103の処理である車両認識処理としては、図5のS113からS117までの処理を行えばよい。但し、S113の車体検索範囲設定処理では、この車両画像に対し、S112の処理で行われる帯状領域14の設定と同様にして、車体検索範囲を設定するようにする。すなわち、S113において、各帯の向きが該道路の通行方向に直交する向きに向けられている帯状の車体検索範囲を、この車両画像に対し複数並べて設定するようにすればよい。
なお、本発明は、これまでに説明した実施の形態に限定されるものではなく、実施段階では、その要旨を変更しない範囲で種々変形することが可能である。
なお、以上までに説明した実施形態に関し、更に以下の付記を開示する。
(付記1)
道路上の車両の画像である車両画像からエッジ画像を生成するエッジ画像生成手段と、
該エッジ画像に対し複数並べて設定される帯状領域であって各帯の向きが該道路の通行方向に直交する向きに傾けられている該帯状領域を設定する帯状領域設定手段と、
該エッジ画像に対して設定された該帯状領域の各々においてエッジ強度が所定値以上のものを含む範囲に対応する車両画像の範囲を、車体検索範囲として設定する車体検索範囲設定手段と、
該車両画像における車体検索範囲内の領域に、該車両画像の撮影をしたカメラと該車両との撮影時における位置関係に基づき該帯状領域における帯方向の長さを個々に設定した複数の矩形である対象枠を、該帯方向に並べて設定する対象枠設定手段と、
該車体検索範囲について設定された各対象枠内の領域の輝度値に基づく判定であって、該車体検索範囲内の位置に対称中心線を仮定したときにおける各対象枠内の領域の画像についての、該対称中心線の位置に対する線対称性の高さの判定を行う対称性判定手段と、
該対称性判定手段により判定された、各対象枠内の領域の画像についての該線対称性の高さに基づき、該車両の車体が表されている車体領域を該車両画像から抽出する車体領域抽出手段と、
を有することを特徴とする車両認識装置。
(付記2)
該帯状領域設定手段は、該通行方向と該カメラの撮影方向とがなす撮影角度に基づいて該帯状領域を設定することを特徴とする付記1に記載の車両認識装置。
(付記3)
該対象枠設定手段は、該対象枠の該帯方向の長さを、該車両の車体において該対象枠に対応する位置と該カメラとの該車両画像の撮影時における距離に基づいて設定することを特徴とする付記1に記載の車両認識装置。
(付記4)
該車両画像は、該車両画像を構成する各画素についての輝度値が光の三原色の各々について設定されているカラー画像であり、
該対称性判定手段は、
該対称中心線の位置について対称の順序にある一対の対象枠の組について、その対象枠内の領域の輝度値の差の絶対値を、光の三原色の色毎に算出し、更に、算出した当該色毎の絶対値の和を算出して、その和の算出結果を、この対象枠内の領域の画像の組についての、該対称中心線に対する対称性の高さの評価値とする評価値第一算出手段と、
該車体検索範囲に定義されている全ての対象枠の組についての、該評価値第一算出手段が算出した該対称性の高さの評価値の総和を算出して、その総和の算出結果を、該対称中心線の位置についての、該車体検索範囲における線対称性の高さの評価値とする評価値第二算出手段と、
を有し、
該車体領域抽出手段は、
該車体検索範囲内の各位置に仮定した対称中心線のうち、該評価値第二算出手段が算出した線対称性の高さの評価値が最小であるときの該対称中心線の位置を、該車体検索範囲における対称中心線の位置として決定する位置決定手段と、
該評価値第一算出手段が算出した該対称性の高さの評価値のうち該位置決定手段が決定した対称中心線の位置に対するものが所定値以上であった対象枠内の領域の画像の組を抽出し、抽出された組についての該領域を結合することで該車体領域を得る対象枠抽出手段と、
を有する、
ことを特徴とする付記1に記載の車両認識装置。
(付記5)
該車両画像は、該車両画像を構成する各画素についての輝度値が光の三原色の各々について設定されているカラー画像であり、
該車体領域抽出手段が抽出した車両画像の領域に含まれる各画素についての光の三原色の各色毎の輝度値を、該車両の車体色の識別結果として取得する車体色識別手段を更に有する、
ことを特徴とする付記1に記載の車両認識装置。
(付記6)
道路上の車両の画像である車両画像であって、該車両の進行方向の正面から該車両を撮影して得られた該車両画像に対し複数並べて設定される帯状領域である車体検索範囲であって、各帯の向きが該道路の通行方向に直交する向きに向けられている該車体検索範囲を設定する車体検索範囲設定手段と、
該車両画像における該車体検索範囲内の領域に、該車両画像の撮影をしたカメラと該車両との該撮影時における位置関係に基づき該車体検索範囲の帯方向の長さを個々に設定した複数の矩形である対象枠を、該帯方向に並べて設定する対象枠設定手段と、
該車体検索範囲について仮定された各対象枠内の領域の輝度値に基づいて、該車体検索範囲内の位置に対称中心線を設定したときにおける各対象枠内の領域の画像についての、該対称中心線の位置に対する線対称性の高さを判定する対称性判定手段と、
該対称性判定手段により判定された、各対象枠内の領域の画像についての該線対称性の高さに基づき、該車両の車体が表されている車体領域を該車両画像から抽出する車体領域抽出手段と、
を有し、
該車両画像は、該車両画像を構成する各画素についての輝度値が光の三原色の各々について設定されているカラー画像であり、
該対称性判定手段は、
該対称中心線の位置について対称の順序にある一対の対象枠の組について、その対象枠内の領域の輝度値の差の絶対値を、光の三原色の色毎に算出し、更に、算出した当該色毎の絶対値の和を算出して、その和の算出結果を、この対象枠内の領域の画像の組についての、該対称中心線に対する対称性の高さの評価値とする評価値第一算出手段と、
該車体検索範囲に定義されている全ての対象枠の組についての、該評価値第一算出手段が算出した該対称性の高さの評価値の総和を算出して、その総和の算出結果を、該対称中心線の位置についての、該車体検索範囲における線対称性の高さの評価値とする評価値第二算出手段と、
を有し、
該車体領域抽出手段は、
該車体検索範囲内の各位置に仮定した対称中心線のうち、該評価値第二算出手段が算出した線対称性の高さの評価値が最小であるときの該対称中心線の位置を、該車体検索範囲における対称中心線の位置として決定する位置決定手段と、
該評価値第一算出手段が算出した該対称性の高さの評価値のうち該位置決定手段が決定した対称中心線の位置に対するものが所定値以上であった対象枠内の領域の画像の組を抽出し、抽出された組についての該領域を結合することで該車体領域を得る対象枠抽出手段と、
を有する、
ことを特徴とする車両認識装置。
(付記7)
道路上の車両の画像である車両画像からエッジ画像を生成するエッジ画像生成処理と、
該エッジ画像に対し複数並べて設定される帯状領域であって各帯の向きが該道路の通行方向に直交する向きに傾けられている該帯状領域を設定する帯状領域設定処理と、
該エッジ画像に対して設定された該帯状領域の各々においてエッジ強度が所定値以上のものを含む範囲に対応する該車両画像の範囲を、車体検索範囲として設定する車体検索範囲設定処理と、
該車両画像における該車体検索範囲内の領域に、該車両画像の撮影をしたカメラと該車両との該撮影時における位置関係に基づき該帯状領域における帯方向の長さを個々に設定した複数の矩形である対象枠を、該帯方向に並べて設定する対象枠設定処理と、
該車体検索範囲について設定された各対象枠内の領域の輝度値に基づく判定であって、該車体検索範囲内の位置に対称中心線を仮定したときにおける各対象枠内の領域の画像についての、該対称中心線の位置に対する線対称性の高さの判定を行う対称性判定処理と、
該対称性判定処理により判定された、各対象枠内の領域の画像についての該線対称性の高さに基づき、該車両の車体が表されている車体領域を該車両画像から抽出する車体領域抽出処理と、
をコンピュータに行わせるためのプログラム。
(付記8)
該帯状領域設定処理は、該通行方向と該カメラの撮影方向とがなす撮影角度に基づいて該帯状領域を設定することを特徴とする付記7に記載のプログラム。
(付記9)
該対象枠設定処理は、該対象枠の該帯方向の長さを、該車両の車体において該対象枠に対応する位置と該カメラとの該車両画像の撮影時における距離に基づいて設定することを特徴とする付記7に記載のプログラム。
(付記10)
該車両画像は、該車両画像を構成する各画素についての輝度値が光の三原色の各々について設定されているカラー画像であり、
該対称性判定処理は、
該対称中心線の位置について対称の順序にある一対の対象枠の組について、その対象枠内の領域の輝度値の差の絶対値を、光の三原色の色毎に算出し、更に、算出した当該色毎の絶対値の和を算出して、その和の算出結果を、この対象枠内の領域の画像の組についての、該対称中心線に対する対称性の高さの評価値とする評価値第一算出処理と、
該車体検索範囲に定義されている全ての対象枠の組についての、該評価値第一算出処理で算出した該対称性の高さの評価値の総和を算出して、その総和の算出結果を、該対称中心線の位置についての、該車体検索範囲における線対称性の高さの評価値とする評価値第二算出処理と、
を含み、
該車体領域抽出処理は、
該車体検索範囲内の各位置に仮定した対称中心線のうち、該評価値第二算出処理で算出した線対称性の高さの評価値が最小であるときの該対称中心線の位置を、該車体検索範囲における対称中心線の位置として決定する位置決定処理と、
該評価値第一算出処理で算出した該対称性の高さの評価値のうち該位置決定処理で決定した対称中心線の位置に対するものが所定値以上であった対象枠内の領域の画像の組を抽出し、抽出された組についての該領域を結合することで該車体領域を得る対象枠抽出処理と、
を含む、
ことを特徴とする付記7に記載のプログラム。
(付記11)
該車両画像は、該車両画像を構成する各画素についての輝度値が光の三原色の各々について設定されているカラー画像であり、
該車体領域抽出処理で抽出した車両画像の領域に含まれる各画素についての光の三原色の各色毎の輝度値を、該車両の車体色の識別結果として取得する車体色識別処理を更に該コンピュータに行わせる、
ことを特徴とする付記7に記載のプログラム。
(付記12)
道路上の車両の画像である車両画像であって、該車両の進行方向の正面から該車両を撮影して得られた該車両画像に対し複数並べて設定される帯状領域である車体検索範囲であって、各帯の向きが該道路の通行方向に直交する向きに向けられている該車体検索範囲を設定する車体検索範囲設定処理と、
該車両画像における該車体検索範囲内の領域に、該車両画像の撮影をしたカメラと該車両との該撮影時における位置関係に基づき該車体検索範囲の帯方向の長さを個々に設定した複数の矩形である対象枠を、該帯方向に並べて設定する対象枠設定処理と、
該車体検索範囲について仮定された各対象枠内の領域の輝度値に基づいて、該車体検索範囲内の位置に対称中心線を設定したときにおける各対象枠内の領域の画像についての、該対称中心線の位置に対する線対称性の高さを判定する対称性判定処理と、
該対称性判定処理により判定された、各対象枠内の領域の画像についての該線対称性の高さに基づき、該車両の車体が表されている車体領域を該車両画像から抽出する車体領域抽出処理と、
をコンピュータに行わせ、
該車両画像は、該車両画像を構成する各画素についての輝度値が光の三原色の各々について設定されているカラー画像であり、
該対称性判定処理は、
該対称中心線の位置について対称の順序にある一対の対象枠の組について、その対象枠内の領域の輝度値の差の絶対値を、光の三原色の色毎に算出し、更に、算出した当該色毎の絶対値の和を算出して、その和の算出結果を、この対象枠内の領域の画像の組についての、該対称中心線に対する対称性の高さの評価値とする評価値第一算出処理と、
該車体検索範囲に定義されている全ての対象枠の組についての、該評価値第一算出処理で算出した該対称性の高さの評価値の総和を算出して、その総和の算出結果を、該対称中心線の位置についての、該車体検索範囲における線対称性の高さの評価値とする評価値第二算出処理と、
を含み、
該車体領域抽出処理は、
該車体検索範囲内の各位置に仮定した対称中心線のうち、該評価値第二算出処理で算出した線対称性の高さの評価値が最小であるときの該対称中心線の位置を、該車体検索範囲における対称中心線の位置として決定する位置決定処理と、
該評価値第一算出処理で算出した該対称性の高さの評価値のうち該位置決定処理が決定した対称中心線の位置に対するものが所定値以上であった対象枠内の領域の画像の組を抽出し、抽出された組についての該領域を結合することで該車体領域を得る対象枠抽出処理と、
を含む、
ことを特徴とするプログラム。
1、1−1、1−n 路上カメラ
2、5 通信ネットワーク
3 車両画像蓄積サーバ
4 車両画像データベース
11 車両
12 車線
14 帯状領域
14a 強エッジ範囲
100、100−1、100−n 車両画像認識装置
101 MPU
102 ROM
103 RAM
104 ハードディスク装置
105 入力装置
106 表示装置
107 インタフェース装置
108 記録媒体駆動装置
109 バス
110 可搬型記録媒体

Claims (7)

  1. 道路上の車両の画像である車両画像からエッジ画像を生成するエッジ画像生成手段と、
    該エッジ画像に対し複数並べて設定される帯状領域であって各帯の向きが該道路の通行方向に直交する向きに傾けられている該帯状領域を設定する帯状領域設定手段と、
    該エッジ画像に対して設定された該帯状領域の各々においてエッジ強度が所定値以上のものを含む範囲に対応する車両画像の範囲を、車体検索範囲として設定する車体検索範囲設定手段と、
    該車両画像における車体検索範囲内の領域に、該車両画像の撮影をしたカメラと該車両との撮影時における位置関係に基づき該帯状領域における帯方向の長さを個々に設定した複数の矩形である対象枠を、該帯方向に並べて設定する対象枠設定手段と、
    該車体検索範囲について設定された各対象枠内の領域の輝度値に基づく判定であって、該車体検索範囲内の位置に対称中心線を仮定したときにおける各対象枠内の領域の画像についての、該対称中心線の位置に対する線対称性の高さの判定を行う対称性判定手段と、
    該対称性判定手段により判定された、各対象枠内の領域の画像についての該線対称性の高さに基づき、該車両の車体が表されている車体領域を該車両画像から抽出する車体領域抽出手段と、
    を有することを特徴とする車両認識装置。
  2. 該帯状領域設定手段は、該通行方向と該カメラの撮影方向とがなす撮影角度に基づいて該帯状領域を設定することを特徴とする請求項1に記載の車両認識装置。
  3. 該対象枠設定手段は、該対象枠の該帯方向の長さを、該車両の車体において該対象枠に対応する位置と該カメラとの該車両画像の撮影時における距離に基づいて設定することを特徴とする請求項1に記載の車両認識装置。
  4. 該車両画像は、該車両画像を構成する各画素についての輝度値が光の三原色の各々について設定されているカラー画像であり、
    該対称性判定手段は、
    該対称中心線の位置について対称の順序にある一対の対象枠の組について、その対象枠内の領域の輝度値の差の絶対値を、光の三原色の色毎に算出し、更に、算出した当該色毎の絶対値の和を算出して、その和の算出結果を、この対象枠内の領域の画像の組についての、該対称中心線に対する対称性の高さの評価値とする評価値第一算出手段と、
    該車体検索範囲に定義されている全ての対象枠の組についての、該評価値第一算出手段が算出した該対称性の高さの評価値の総和を算出して、その総和の算出結果を、該対称中心線の位置についての、該車体検索範囲における線対称性の高さの評価値とする評価値第二算出手段と、
    を有し、
    該車体領域抽出手段は、
    該車体検索範囲内の各位置に仮定した対称中心線のうち、該評価値第二算出手段が算出した線対称性の高さの評価値が最小であるときの該対称中心線の位置を、該車体検索範囲における対称中心線の位置として決定する位置決定手段と、
    該評価値第一算出手段が算出した該対称性の高さの評価値のうち該位置決定手段が決定した対称中心線の位置に対するものが所定値以上であった対象枠内の領域の画像の組を抽出し、抽出された組についての該領域を結合することで該車体領域を得る対象枠抽出手段と、
    を有する、
    ことを特徴とする請求項1に記載の車両認識装置。
  5. 該車両画像は、該車両画像を構成する各画素についての輝度値が光の三原色の各々について設定されているカラー画像であり、
    該車体領域抽出手段が抽出した車両画像の領域に含まれる各画素についての光の三原色の各色毎の輝度値を、該車両の車体色の識別結果として取得する車体色識別手段を更に有する、
    ことを特徴とする請求項1に記載の車両認識装置。
  6. 道路上の車両の画像である車両画像であって、該車両の進行方向の正面から該車両を撮影して得られた該車両画像に対し複数並べて設定される帯状領域である車体検索範囲であって、各帯の向きが該道路の通行方向に直交する向きに向けられている該車体検索範囲を設定する車体検索範囲設定手段と、
    該車両画像における該車体検索範囲内の領域に、該車両画像の撮影をしたカメラと該車両との該撮影時における位置関係に基づき該車体検索範囲の帯方向の長さを個々に設定した複数の矩形である対象枠を、該帯方向に並べて設定する対象枠設定手段と、
    該車体検索範囲について仮定された各対象枠内の領域の輝度値に基づいて、該車体検索範囲内の位置に対称中心線を設定したときにおける各対象枠内の領域の画像についての、該対称中心線の位置に対する線対称性の高さを判定する対称性判定手段と、
    該対称性判定手段により判定された、各対象枠内の領域の画像についての該線対称性の高さに基づき、該車両の車体が表されている車体領域を該車両画像から抽出する車体領域抽出手段と、
    を有し、
    該車両画像は、該車両画像を構成する各画素についての輝度値が光の三原色の各々について設定されているカラー画像であり、
    該対称性判定手段は、
    該対称中心線の位置について対称の順序にある一対の対象枠の組について、その対象枠内の領域の輝度値の差の絶対値を、光の三原色の色毎に算出し、更に、算出した当該色毎の絶対値の和を算出して、その和の算出結果を、この対象枠内の領域の画像の組についての、該対称中心線に対する対称性の高さの評価値とする評価値第一算出手段と、
    該車体検索範囲に定義されている全ての対象枠の組についての、該評価値第一算出手段が算出した該対称性の高さの評価値の総和を算出して、その総和の算出結果を、該対称中心線の位置についての、該車体検索範囲における線対称性の高さの評価値とする評価値第二算出手段と、
    を有し、
    該車体領域抽出手段は、
    該車体検索範囲内の各位置に仮定した対称中心線のうち、該評価値第二算出手段が算出した線対称性の高さの評価値が最小であるときの該対称中心線の位置を、該車体検索範囲における対称中心線の位置として決定する位置決定手段と、
    該評価値第一算出手段が算出した該対称性の高さの評価値のうち該位置決定手段が決定した対称中心線の位置に対するものが所定値以上であった対象枠内の領域の画像の組を抽出し、抽出された組についての該領域を結合することで該車体領域を得る対象枠抽出手段と、
    を有する、
    ことを特徴とする車両認識装置。
  7. 道路上の車両の画像である車両画像からエッジ画像を生成するエッジ画像生成処理と、
    該エッジ画像に対し複数並べて設定される帯状領域であって各帯の向きが該道路の通行方向に直交する向きに傾けられている該帯状領域を設定する帯状領域設定処理と、
    該エッジ画像に対して設定された該帯状領域の各々においてエッジ強度が所定値以上のものを含む範囲に対応する該車両画像の範囲を、車体検索範囲として設定する車体検索範囲設定処理と、
    該車両画像における該車体検索範囲内の領域に、該車両画像の撮影をしたカメラと該車両との該撮影時における位置関係に基づき該帯状領域における帯方向の長さを個々に設定した複数の矩形である対象枠を、該帯方向に並べて設定する対象枠設定処理と、
    該車体検索範囲について設定された各対象枠内の領域の輝度値に基づく判定であって、該車体検索範囲内の位置に対称中心線を仮定したときにおける各対象枠内の領域の画像についての、該対称中心線の位置に対する線対称性の高さの判定を行う対称性判定処理と、
    該対称性判定処理により判定された、各対象枠内の領域の画像についての該線対称性の高さに基づき、該車両の車体が表されている車体領域を該車両画像から抽出する車体領域抽出処理と、
    をコンピュータに行わせるためのプログラム。
JP2009066814A 2009-03-18 2009-03-18 車両認識装置及びプログラム Expired - Fee Related JP5298991B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009066814A JP5298991B2 (ja) 2009-03-18 2009-03-18 車両認識装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009066814A JP5298991B2 (ja) 2009-03-18 2009-03-18 車両認識装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2010218438A true JP2010218438A (ja) 2010-09-30
JP5298991B2 JP5298991B2 (ja) 2013-09-25

Family

ID=42977178

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009066814A Expired - Fee Related JP5298991B2 (ja) 2009-03-18 2009-03-18 車両認識装置及びプログラム

Country Status (1)

Country Link
JP (1) JP5298991B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016062369A (ja) * 2014-09-18 2016-04-25 株式会社東芝 車両検出装置、調整支援装置、車両検出方法及び調整方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05296767A (ja) * 1992-04-20 1993-11-09 Mitsubishi Electric Corp 車間距離検出装置
JPH1049656A (ja) * 1996-08-02 1998-02-20 Nec Corp 移動体の検出システム
JP2000222673A (ja) * 1999-01-29 2000-08-11 Mitsubishi Electric Corp 車色判別装置
JP2007265038A (ja) * 2006-03-28 2007-10-11 Pasuko:Kk 道路画像解析装置及び道路画像解析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05296767A (ja) * 1992-04-20 1993-11-09 Mitsubishi Electric Corp 車間距離検出装置
JPH1049656A (ja) * 1996-08-02 1998-02-20 Nec Corp 移動体の検出システム
JP2000222673A (ja) * 1999-01-29 2000-08-11 Mitsubishi Electric Corp 車色判別装置
JP2007265038A (ja) * 2006-03-28 2007-10-11 Pasuko:Kk 道路画像解析装置及び道路画像解析方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016062369A (ja) * 2014-09-18 2016-04-25 株式会社東芝 車両検出装置、調整支援装置、車両検出方法及び調整方法

Also Published As

Publication number Publication date
JP5298991B2 (ja) 2013-09-25

Similar Documents

Publication Publication Date Title
JP5267596B2 (ja) 移動体検出装置
JP6344638B2 (ja) 物体検出装置、移動体機器制御システム及び物体検出用プログラム
JP4848312B2 (ja) 身長推定装置および身長推定方法
JP6376429B2 (ja) 対象地点到達検知装置、対象地点到達検知用プログラム、移動体機器制御システム及び移動体
JP5754470B2 (ja) 路面形状推定装置
CN106056570A (zh) 路面坡度检测装置
CN103366155B (zh) 通畅路径检测中的时间相干性
CN111462503A (zh) 车辆测速方法、装置及计算机可读存储介质
CN109997148A (zh) 信息处理装置、成像装置、设备控制系统、移动对象、信息处理方法和计算机可读记录介质
JP2013258596A (ja) 撮像装置
US11256933B2 (en) Image processing device and image processing method
JP6375911B2 (ja) カーブミラー検出装置
JP2013250907A (ja) 視差算出装置、視差算出方法及び視差算出用プログラム
Kim et al. System and method for detecting potholes based on video data
CN111243003A (zh) 车载双目摄像机及其检测道路限高杆的方法、装置
JP4123138B2 (ja) 車両検知方法及び車両検知装置
US20200193184A1 (en) Image processing device and image processing method
JP2010271969A (ja) 車線検出装置
JP7062904B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
JP6089698B2 (ja) 情報処理装置及び方法
JP5587852B2 (ja) 画像処理装置及び画像処理方法
JP5298991B2 (ja) 車両認識装置及びプログラム
JP5786793B2 (ja) 車両検出装置
JP2020095623A (ja) 画像処理装置および画像処理方法
JP2013161434A (ja) 車両の周辺監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130603

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees