JP6929030B2 - 車両認識装置 - Google Patents

Description

本発明は、撮像画像を用いて車両の存在を認識する技術に関する。

定点カメラ等の撮像装置により撮像された画像（撮像画像）を用いて、車両の存在を認識したい、というニーズがある。例えば、定点カメラの撮像画像により交差点の特定位置における車両の有無が分かれば、交差点に設置されている信号機のサイクル等を決定するために、超音波センサ等を別途設ける必要がなく望ましい。

撮像画像を用いて車両の存在を認識するためには、通常、画像認識技術により撮像画像の中から車両が映っている領域を特定する処理が行われる。その際、撮像画像に映っている車両が互いに重なり合っていると、個々の車両が分離されず誤認識が生じやすい、という問題がある。

上記の問題を解決するための技術が提案されている。例えば、特許文献１には、道路に設置したカメラで撮影した画像を用いて交通流計測を行う装置において、走行車両の車間距離が短い場合に前後の車両を画像上で分離できず誤認識する場合がある、という問題を解決するために、道路面に垂直に近い角度で走行車両を俯瞰する位置に設置した魚眼レンズカメラにより撮影を行う、という発明が記載されている。

特開２００１−２１６５９８号公報

特許文献１に記載の発明によれば、撮影された画像に複数の車両が映っていても、それらの車両が画像上で重なり合うことがないため、画像認識において個々の車両が正しく分離され、個々の車両の存在が正しく認識される。しかしながら、特許文献１に記載の発明においては、道路面に垂直に近い角度で走行車両を俯瞰する位置にカメラを設置する必要がある。そのようにカメラを設置するためには、道路脇にカメラを取り付けるための支柱を設置する必要がありコストが嵩む、という問題がある。また、何らかの事情でカメラを取り付けるための支柱が道路脇に設置できない場合、特許文献１に記載の発明は実施できない。

また、走行車両を真上から俯瞰する位置にカメラを設置する場合、カメラと車両の間の距離を長くとることができないため、特許文献１に記載の発明で採用されているように画角が広角な魚眼レンズ等を用いた撮像が行われる必要がある。そのような広角なレンズで撮像された画像には強い歪みが伴うため、一般的な定点カメラで撮像された画像のような汎用性がない。

上記の背景に鑑み、本発明は、撮像画像において複数の車両が互いに重なり合って映っていても、それらの車両の存在を個別に正しく認識する手段を提供することを目的とする。

上述した課題を解決するために、本発明は、所定の撮像方向で異なる時刻に撮像した２枚の画像の比較の結果に基づき、画像中の移動した物が映っている１以上の領域の全てを車両領域として特定し、車両が共通して有する特徴部分を、特定された１以上の前記車両領域の各々において認識し、特定された１以上の前記車両領域の各々において認識された前記特徴部分の数に基づいて車両の台数を計測する車両認識装置を第１の態様として提供する。

第１の態様にかかる車両認識装置によれば、移動した物が映っている１以上の領域である車両領域の各々において車両が共通して有する特徴部分の認識が行われることにより、車両の画像の分離を要さずに車両の台数の計測が行われる。従って、撮像画像において複数の車両が互いに重なり合って映っていても、それらの車両の台数が正しく計測される。
また、第１の態様にかかる車両認識装置によれば、特徴量を用いて車両が映っている領域を認識する場合と比較し、簡易な処理で車両が映っている領域が特定される。

第１の態様にかかる車両認識装置において、前記計測した車両の台数を示すデータを出力する、という構成が第２の態様として採用されてもよい。

第２の態様にかかる車両認識装置によれば、外部の装置に車両の台数が通知される。

また、本発明は、所定の撮像方向で異なる時刻に撮像した２枚の画像の比較の結果に基づき、画像中の移動した物が映っている１以上の領域の全てを車両領域として特定し、車両が共通して有する特徴部分を、特定された１以上の前記車両領域の各々において認識し、特定された１以上の前記車両領域の各々において認識された前記特徴部分に基づいて車両を感知する車両認識装置を第３の態様として提供する。

第３の態様にかかる車両認識装置によれば、移動した物が映っている１以上の領域である車両領域の各々において車両が共通して有する特徴部分の認識が行われることにより、車両の画像の分離を要さずに車両が感知される。従って、撮像画像において複数の車両が互いに重なり合って映っていても、それらの車両の感知が可能である。
また、第３の態様にかかる車両認識装置によれば、特徴量を用いて車両が映っている領域を認識する場合と比較し、簡易な処理で車両が映っている領域が特定される。

第３の態様にかかる車両認識装置において、前記車両の感知に応じて感知信号を出力する、という構成が第４の態様として採用されてもよい。

第４の態様にかかる車両認識装置によれば、外部の装置に車両の有無が通知される。

第１乃至第４のいずれかの態様にかかる車両認識装置において、前記特徴部分は車両の窓である、という構成が第５の態様として採用されてもよい。

第５の態様にかかる車両認識装置によれば、車両が共通して有する特徴部分のうち車両における占有比率が大きく、車両の斜め上から撮像した画像において映りやすく、画像認識において車体との分離が比較的容易な窓が認識対象とされるため、高い精度で車両の台数の計測または車両の感知が行われる。

第１または第２の態様にかかる車両認識装置において、複数の撮像時刻の各々において前記所定の撮像方向で撮像した複数の画像の各々に関し行った前記特徴部分の認識の結果に基づき移動する車両が所定位置に到達したことを感知し、当該感知の結果に基づき前記所定位置を通過した車両の台数を計測する、という構成が第６の態様として採用されてもよい。

第６の態様にかかる車両認識装置によれば、所定位置を通過した車両の台数が計測される。

第１実施形態にかかる車両認識装置が設置されている様子を示した図。 第１実施形態にかかる車両認識装置の構成を示した図。 第１実施形態にかかる車両認識テーブルの構成を示した図。 第１実施形態にかかる車両認識装置が行う窓領域の特定の手順を説明するための図。 第１実施形態にかかる車両認識装置が行う所定位置に到達した車両の感知の方法を説明するための図。 第１実施形態にかかる車両認識装置が行う処理のフローを示した図。 第２実施形態にかかる車両認識装置の構成を示した図。 第２実施形態にかかる車種テーブルの構成を示した図。 第２実施形態にかかる車両位置テーブルの構成例を示した図。 第２実施形態にかかる撮像画像における車両の前端位置および後端位置と窓領域との位置関係を例示した図。 第２実施形態にかかる車両認識テーブルの構成を示した図。 第２実施形態にかかる車両認識装置が行う処理のフローを示した図。 第２実施形態にかかる定点カメラにより撮像された画像を例示した図。 第２実施形態にかかる車両認識装置が特定した車両領域および窓領域を示した図。 第２実施形態にかかる車両認識装置が車種の特定を行う手順を説明するための図。 第２実施形態にかかる車両認識装置が特定した窓領域と、車両の前端位置および後端位置を示した図。 第２実施形態にかかる車両認識装置が出力する感知信号の出力タイミングを示した図。 一変形例にかかる車両認識装置が行う窓領域の特定の手順を説明するための図。

［第１実施形態］
以下に本発明の第１実施形態にかかる車両認識装置を説明する。図１は第１実施形態にかかる車両認識装置が道路の近傍に設置されている様子を示した図である。図１において、矢印Ｎで示される方向が北である。交差点６の北西の角付近の道路脇には支柱８Ｎが設置されている。同様に、北東の角付近には支柱８Ｅが、南東の角付近には支柱８Ｓが、南西の角付近には支柱８Ｗが設置されている。以下、これらの支柱を「支柱８」と総称する。支柱８はＬ字形状をしており、地面から垂直上方向に延伸した後、道路の上において水平方向に延伸するように設置されている。

支柱８Ｎの道路の上において水平方向に延伸している部分には信号機７Ｎが取り付けられている。同様に、支柱８Ｅには信号機７Ｅが、支柱８Ｓには信号機７Ｓが、支柱８Ｗには信号機７Ｗが取り付けられている。以下、これらの信号機を「信号機７」と総称する。

支柱８Ｎの信号機７Ｎの近傍には定点カメラ２Ｎが取り付けられている。同様に、支柱８Ｅには定点カメラ２Ｅが、支柱８Ｓには定点カメラ２Ｓが、支柱８Ｗには定点カメラ２Ｗが取り付けられている。以下、これらの定点カメラを「定点カメラ２」と総称する。

定点カメラ２は十分に短い時間間隔で継続的に静止画を撮像するため、得られる一連の撮像画像は動画を示す。定点カメラ２Ｎは、正面下方向に位置する停止線６１Ｓを通過する車両、すなわち、図１において矢印Ｘ、矢印Ｙおよび矢印Ｚで示される経路を走行する車両を全て撮像する。同様に、定点カメラ２Ｅは停止線６１Ｗを通過する車両、定点カメラ２Ｓは停止線６１Ｎを通過する車両、定点カメラ２Ｗは停止線６１Ｅを通過する車両を全て撮像する。

支柱８Ｎの、例えば、地面から垂直上方向に延伸する部分の所定高さの位置には、車両認識装置１Ｎが設置されている。同様に、支柱８Ｅには車両認識装置１Ｅが、支柱８Ｓには車両認識装置１Ｓが、支柱８Ｗには車両認識装置１Ｗが取り付けられている。以下、これらの車両認識装置を「車両認識装置１」と総称する。これらの車両認識装置１の各々が、第１実施形態にかかる車両認識装置である。

車両認識装置１は、同じ支柱８に取り付けられている定点カメラ２と有線または無線で通信接続されており、定点カメラ２が撮像した画像を表す撮像画像データを継続的に定点カメラ２から受信する。なお、車両認識装置１は、信号機７の制御を行う制御装置（図示略）と同じ筐体に配置されてもよい。

図２は車両認識装置１の構成を示した図である。車両認識装置１は専用装置として構成されてもよいし、コンピュータがプログラムに従った処理を行うことにより実現されてもよい。車両認識装置１は定点カメラ２から撮像画像データを受信する撮像画像取得手段１１と、各種データを記憶する記憶手段１２と、撮像画像データが表す画像のうち車両が映っている領域（以下、「車両領域」という）を特定する車両領域特定手段１３と、車両領域特定手段１３により特定された車両領域においてフロントガラス（車両が共通して有する特徴部分の一例）の画像を認識する画像認識手段１４と、画像認識手段１４による画像認識の結果に基づき所定位置を通過した車両の数を計測する車両台数計測手段１５と、定点カメラ２から受信した撮像画像データや車両台数計測手段１５により計測された車両の台数を示す車両台数データ等を出力する出力手段１６を備える。

撮像画像取得手段１１は、例えば所定時間の経過毎に定点カメラ２から送信されてくる撮像画像データを受信し、受信した撮像画像データを、例えば受信時刻を示す時刻データに対応付けて、記憶手段１２に記憶させる。なお、時刻データは撮像時刻を示すデータである。従って、例えば、定点カメラ２が撮像時刻を示す時刻データを撮像画像データに対応付けて車両認識装置１に送信し、撮像画像取得手段１１がそれらのデータを受信し記憶手段１２に記憶させる構成が採用されてもよい。いずれの場合も、記憶手段１２には撮像時刻に従い時系列上に並ぶ撮像画像を示す撮像画像データが順次記憶されていくことになる。

車両領域特定手段１３は、記憶手段１２に記憶されている撮像画像データが表す時系列上で隣り合う２枚の撮像画像の間の異なる領域を車両領域として特定する。すなわち、車両領域特定手段１３は、時系列上で隣り合う２枚の撮像画像に含まれる同じ位置の画素の値（または画素群の値の代表値）を比較し、それらの値の差が所定の閾値以下であればその画素（または画素群）において２枚の撮像画像には変化がなく、それらの値の差が所定の閾値を超える場合、その画素（または画素群）において２枚の撮像画像は変化している、と判定する。続いて、車両領域特定手段１３は、変化している、と判定した画素の集まりが示す領域を車両領域として特定する。なお、車両領域特定手段１３が２枚の撮像画像の間の異なる領域として特定する車両領域の数は１つに限られず、複数の車両領域が特定される場合もある。

車両領域特定手段１３は、特定した車両領域を示す車両領域データを、例えば、２枚の撮像画像の撮像時刻のうち遅い方を示す時刻データに対応付けて記憶手段１２に記憶させる。これにより、記憶手段１２には撮像時刻に従い時系列上に並ぶ車両領域を示す車両領域データが順次記憶されていくことになる。

なお、車両領域特定手段１３が車両領域として特定する領域は、比較される２枚の撮像画像の撮像時刻を始期および終期とする期間において定点カメラ２の撮像範囲内で移動した物が映っている領域である。従って、車両領域には歩行者等の車両以外の移動する物が映っている領域が含まれる場合がある。また、信号待ち等で停車している車両が映っている領域は車両領域に含まれない。すなわち、車両領域特定手段１３により特定される車両領域は、走行中の車両が映っている可能性がある領域であればよく、実際に車両が映っている領域と厳密に一致している必要はない。

画像認識手段１４は、記憶手段１２に記憶されている撮像画像データの各々に関し、当該撮像画像データが表す撮像画像のうち、当該撮像画像データに対応付けられている時刻データと同じ時刻データに対応付けて記憶手段１２に記憶されている車両領域データが示す車両領域において、フロントガラスの画像を認識する。

画像認識手段１４が行う画像認識のために、記憶手段１２には予め、他の装置において準備されたリファレンス用特徴量データが記憶されている。リファレンス用特徴量データは、画像認識手段１４がフロントガラスの画像を認識する際に参照する特徴量を示すデータの集まりである。リファレンス用特徴量データには、例えば、ポジティブサンプルとして与えられた様々なフロントガラスの撮像画像の特徴量を示すデータと、ネガティブサンプルとして与えられた様々なフロントガラス以外の物の撮像画像の特徴量を示すデータとを含んでいる。

画像認識手段１４がフロントガラスの画像を認識する手法は、撮像画像からその撮像画像に映った車両のフロントガラスを識別可能な手法である限りいずれの手法が採用されてもよい。例えば、画像認識手段１４が、Ｈａａｒ−ｌｉｋｅ特徴量、ＨＯＧ特徴量等の局所特徴量のマッチングにより撮像画像に映っているフロントガラスの画像を認識する手法が採用されてもよい。この場合、リファレンス用特徴量データは多数のポジティブサンプルおよびネガティブサンプルの局所特徴量を示すデータの集まりである。そして、画像認識手段１４は、撮像画像から多数の局所特徴量を抽出する。続いて、画像認識手段１４は、抽出した局所特徴量の中から、リファレンス用特徴量データが示すポジティブサンプルの局所特徴量の分布域に属しネガティブサンプルの局所特徴量の分布域に属さない局所特徴量を探索する。画像認識手段１４は、そのように探索した局所特徴量を示す画像の領域をフロントガラスの映っている領域（以下、「窓領域」という）として認識する。

なお、画像認識手段１４が１枚の撮像画像に含まれる１または複数の車両領域の各々において認識する窓領域の数は１つに限られず、０または２以上のいずれであってもよい。例えば、歩行者の画像のみを含み車両の画像を含まない車両領域に関しては、画像認識手段１４は１つも窓領域の認識を行わない。一方、互いに重なり合った複数の車両が映っている車両領域に関しては、画像認識手段１４により、２以上の窓領域が認識される。

画像認識手段１４は、認識した窓領域を示す窓領域データを、認識対象の撮像画像の撮像時刻を示す時刻データに対応付けて記憶手段１２に記憶させる。これにより、記憶手段１２には撮像時刻に従い時系列上に並ぶ窓領域を示す窓領域データが順次記憶されていくことになる。

画像認識手段１４は、時系列上で互いに隣接する窓領域データの各々が示す同じ車両のフロントガラスに応じた窓領域を、それらの形状と位置の類似度に基づき特定し、それらを互いに対応付ける。画像認識手段１４は、新たに認識した窓領域に新たな窓ＩＤを付与し、その後、当該窓領域と同じフロントガラスに応じた窓領域を順次、当該窓ＩＤに対応付けていく。従って、順次対応付けられていく窓領域のグループは、それらの窓領域のグループに付与された窓ＩＤにより、他の窓領域のグループと区別される。同じ窓ＩＤに時系列で対応付けられた窓領域のグループは、車両の走行に伴い移動するフロントガラスの軌跡を示す。

車両台数計測手段１５は、窓ＩＤでグループ化された窓領域の集まりの各々に関し、窓領域が撮像画像における所定位置に到達した場合、その窓領域に映っているフロントガラスを備える車両が交差点６の所定位置に到達したと判定する。すなわち、車両台数計測手段１５は、撮像画像における窓領域が所定位置に到達したことを感知することで、撮像画像に映っている実際の車両が実空間における所定位置（例えば、車両認識装置１Ｎの車両台数計測手段１５は、停止線６１Ｓの位置）に到達したことを感知する。

図３は、車両台数計測手段１５が車両の台数の計測に用いるために記憶手段１２に記憶されるデータテーブル（以下、「車両認識テーブル」という）の構成例を示した図である。車両認識テーブルは、窓ＩＤで識別される窓の各々に応じたデータレコードの集まりであり、データフィールド［窓ＩＤ］、［到達時刻］、［撮像画像］等を有する。データフィールド［窓ＩＤ］には窓領域を識別する窓ＩＤが格納される。データフィールド［到達時刻］には、窓ＩＤで識別される窓領域が、撮像画像における所定位置に到達した時刻を示す時刻データが格納される。データフィールド［撮像画像］には、窓ＩＤで識別される窓領域が、撮像画像における所定位置に到達した時刻を撮像時刻とする撮像画像が格納される。

車両台数計測手段１５は、車両認識テーブルを用いて所定位置に到達した車両の台数を計測し、計測結果を示す車両台数データを、計測期間を示す期間データに対応付けて所定位置車両認識テーブルを用いて車両の台数を計測する処理については後述する。

車両台数計測手段１５は、例えば、所定時間の経過毎に、車両認識テーブルを用いて所定位置に到達した車両の台数をカウントし、カウントした結果を示す車両台数データを、計測期間を示す期間データに対応付けて、記憶手段１２に記憶させる。記憶手段１２に記憶された期間データと車両台数データは、出力手段１６により外部の装置に出力される。

図４は、車両認識装置１が行う窓領域の特定の手順を説明するための図である。まず、車両領域特定手段１３は撮像時刻が時系列上で互いに隣り合う撮像画像Ｉ₁と撮像画像Ｉ₂を比較し、それらの撮像画像の間の異なる領域を、例えば、車両領域Ｃ₁および車両領域Ｃ₂として特定する。

続いて、画像認識手段１４は、撮像画像Ｉ₂のうち車両領域特定手段１３により特定された車両領域Ｃ₁および車両領域Ｃ₂の各々において、フロントガラスの画像を認識する。その結果、撮像画像Ｉ₂においてフロントガラスが映っている窓領域として、例えば、窓領域Ｗ₁、窓領域Ｗ₂および窓領域Ｗ₃が特定される。なお、図４の例においては、窓領域Ｗ₁および窓領域Ｗ₂は車両領域Ｃ₁において認識されたフロントガラスの領域であり、窓領域Ｗ₃は車両領域Ｃ₂において認識されたフロントガラスの領域である。

図５は、車両認識装置１が行う所定位置に到達した車両の感知の方法を説明するための図である。図５の上図は撮像時刻ｔ₁の撮像画像において認識された窓領域Ｗ₁〜Ｗ₃の位置を示し、図５の下図は撮像時刻ｔ₁より後の撮像時刻ｔ₂の撮像画像において認識された窓領域Ｗ₁〜Ｗ₃の位置を示している。図５において、線Ｌ₁は所定位置を示すラインである。図５に示す例の場合、車両台数計測手段１５は、撮像時刻ｔ₂において窓領域Ｗ₁に応じた車両が実空間における所定位置（例えば、停止線の位置）に到達したことを感知する。

図６は車両認識装置１が定点カメラ２から送信されてくる撮像画像データを受信し記憶する毎に行う処理のフローを例示した図である。撮像画像取得手段１１により受信された撮像画像データが記憶手段１２に新たに記憶されると、車両領域特定手段１３は、新たに記憶された撮像画像データが表す撮像画像の中から車両領域を特定する（ステップＳ１０１）。車両領域特定手段１３は、特定した車両領域を示す車両領域データを、撮像画像データに対応付けられている時刻データに対応付けて記憶手段１２に記憶させる（ステップＳ１０２）。

続いて、画像認識手段１４は、記憶手段１２に新たに記憶された撮像画像データが表す画像のうち、記憶手段１２に新たに記憶された車両領域データが示す車両領域内の部分において、フロントガラスの画像を認識する（ステップＳ１０３）。画像認識手段１４は、認識したフロントガラスが撮像画像において占める領域である窓領域を示す窓領域データを、認識に用いた撮像画像データに対応付けられている時刻データに対応付けて記憶手段１２に記憶させる（ステップＳ１０４）。なお、ステップＳ１０３において、複数のフロントガラスの画像が認識された場合、ステップＳ１０４において、複数の窓領域データが同じ時刻データに対応付けて記憶手段１２に記憶される。

続いて、画像認識手段１４は、記憶手段１２に新たに記憶された窓領域データの各々に関し、時系列上で隣接する１つ前の窓領域データ、すなわち１つ前の時刻の窓領域データの中で同じフロントガラスに応じた窓領域を示すものがあるか否かを、それらの窓領域データが示す窓領域の形状と位置に基づき判定する（ステップＳ１０５）。画像認識手段１４は、ステップＳ１０５の判定において、１つ前の時刻の窓領域データの中に同じフロントガラスに応じた窓領域データがないと判定した場合（ステップＳ１０５；Ｎｏ）、その窓領域データに新たな窓ＩＤを付与し記憶手段１２に記憶させる（ステップＳ１０６）。また、画像認識手段１４は、ステップＳ１０６において、車両認識テーブル（図３）に新たなデータレコードを追加し、新たに付与した窓ＩＤをデータフィールド［窓ＩＤ］に格納する。

一方、画像認識手段１４は、ステップＳ１０５の判定において、１つ前の時刻の窓領域データの中に同じフロントガラスに応じた窓領域データがあると判定した場合（ステップＳ１０５；Ｙｅｓ）、その窓領域データを１つ前の時刻の同じフロントガラスに応じた窓領域データに付与されている窓ＩＤに対応付けて記憶手段１２に記憶させる（ステップＳ１０７）。

続いて、車両台数計測手段１５は、記憶手段１２に記憶されている窓ＩＤの各々に関し、当該窓ＩＤに対応付けて時刻データが示す時刻順に記憶されている窓領域データが示す窓領域の移動の軌跡に基づき、窓領域が撮像画像における所定位置に到達したか否かを判定する（ステップＳ１０８）。

車両台数計測手段１５は、窓領域が所定位置に到達したと判定した場合（ステップＳ１０８；Ｙｅｓ）、車両認識テーブルから当該窓領域の窓ＩＤがデータフィールド［窓ＩＤ］に格納されているデータレコードを検索し、検索したデータレコードのデータフィールド［到達時刻］に、所定位置に到達した窓領域の認識に用いられた撮像画像の撮像時刻を示す時刻データを格納する（ステップＳ１０９）。一方、車両台数計測手段１５は、窓領域が所定位置に到達していないと判定した場合（ステップＳ１０８；Ｎｏ）、ステップＳ１０９の処理を行わない。以上が、車両認識装置１が定点カメラ２から送信されてくる撮像画像データを受信し記憶する毎に行う処理のフローの説明である。

上述した処理により、交差点６を通過する個々の車両が、交差点６に進入してくる車両の方角毎に認識され、その認識結果を示すデータが車両認識テーブルに記憶されることになる。車両台数計測手段１５は、既述のように、例えば、所定時間の経過毎に、車両認識テーブルに新たに格納されたデータレコードの数をカウントし、カウントした車両の台数を示す車両台数データを、計測期間を示す期間データに対応付けて、記憶手段１２に記憶させる。また、出力手段１６は、新たに記憶手段１２に車両台数データが記憶されると、当該車両台数データを、当該車両台数データに対応付けて記憶されている期間データとともに外部の装置に出力する。以上が車両認識装置１により行われる処理の説明である。

上述した車両認識装置１においては、車両が映っている領域内において車両が共通して有する特徴部分の認識が行われることにより、車両の画像の分離を要さずに個々の車両の存在が認識される。従って、車両認識装置１によれば、撮像画像において複数の車両が互いに重なり合って映っていても、それらの車両が個別に正しく感知される。

［第２実施形態］
以下に本発明の第２実施形態にかかる車両認識装置３を説明する。車両認識装置３の構成および動作は多くの点で第１実施形態にかかる車両認識装置１の構成および動作と共通している。従って、以下に車両認識装置３が車両認識装置１と異なる点を中心に説明する。また、以下の説明において、車両認識装置３が備える構成部のうち車両認識装置１が備える構成部と共通するものには、車両認識装置１の説明において用いた符号と同じ符号を用いる。

図７は車両認識装置３の構成を示した図である。車両認識装置３は、車両認識装置１が備える車両台数計測手段１５を備えない。一方、車両認識装置３は車両認識装置１が備えない構成部として、撮像画像に映っている車両の車種を特定する車種特定手段３１と、撮像画像に映っている車両の撮像画像における先端位置および後端位置を特定する車両位置特定手段３２と、撮像画像に映っている車両の実空間内の所定位置における存在を仮想的に感知する車両感知手段３３を備える。

また、車両認識装置３の記憶手段１２には、車両認識装置１の記憶手段１２に記憶されていないデータテーブルとして、車種テーブルと、複数の車種の各々に応じた車両位置テーブルが記憶されている。

図８は車種テーブルの構成例を示した図である。車種テーブルは複数の車種の各々に応じたデータレコードの集まりであり、データフィールド［車種］、［窓領域］、［車両領域］等を有する。データフィールド［車種］には、車種（乗用車、バス等）を示すデータが格納される。データフィールド［窓領域］には、対応する車種の車両を撮像した撮像画像から認識される窓領域の形状および大きさを示すデータが格納される。データフィールド［車両領域］には、対応する車種の車両を撮像した撮像画像から特定される車両領域の形状、大きさ、窓領域との位置関係を示すデータが格納される。

図９は車両位置テーブルの構成例を示した図である。既述のように、記憶手段１２には複数の車種の各々に応じた車両位置テーブルが記憶されている。車両位置テーブルは、撮像画像に映っている車両の窓領域の前端位置と、撮像画像における当該車両の前端位置および後端位置との関係を示すデータの集まりである。撮像画像にける窓領域の前端位置と車両の前端位置および後端位置は、撮像画像における車両の前後方向の位置に応じて変化する。従って、車両位置テーブルは、様々な窓領域の前端位置に応じたデータレコードを含んでいる。

図１０は、定点カメラ２により撮像される画像における車両の前端位置および後端位置と窓領域との位置関係を説明するための図である。図１０は、定点カメラ２により右斜め上から撮像される車両を走行方向の右側面から見た状態を示している。図１０の例では、車両Ｖ₁と後続の車両Ｖ₂が定点カメラ２により撮像されている。

点Ｆ₁は車両Ｖ₁の前端位置を示す点であり、点Ｒ₁は車両Ｖ₁の後端位置を示す点である。点ｆ₁は車両Ｖ₁の窓の前端位置を示す点であり、点ｒ₁は車両Ｖ₁の窓の後端位置を示す点である。点Ｆ₂は車両Ｖ₂の前端位置を示す点であり、点Ｒ₂は車両Ｖ₂の後端位置を示す点である。点ｆ₂は車両Ｖ₂の窓の前端位置を示す点であり、点ｒ₂は車両Ｖ₂の窓の後端位置を示す点である。また、点Ｌ₂は車両の感知を行う所定位置を示す点である。

上述した各点は実際には立体空間内に配置されているが、定点カメラ２により撮像された画像においては平面内に配置されることになる。定点カメラ２により撮像される画像を平面Ｐにおいた場合、例えば、車両Ｖ₁の前端位置を示す点Ｆ₁の撮像画像における位置は、実空間における点Ｆ₁と定点カメラ２とを結ぶ直線と平面Ｐとの交点の位置となる。他の点（点Ｒ₁等）に関しても同様である。

図７に戻り、車両認識装置３の構成の説明を続ける。車両認識装置３の記憶手段１２には、窓ＩＤで識別される車両毎に車種特定手段３１により特定された車種を示す車種データと、車両位置特定手段３２により特定された車両の前端位置および後端位置を示す車両位置データが記憶される。車両認識装置３の記憶手段１２には、これらのデータを格納するためのデータテーブルとして、図１１に例示する構成の車両認識テーブルが記憶される。

車両認識装置３の記憶手段１２に記憶される車両認識テーブルは、窓ＩＤで識別される窓の各々に応じたデータレコードの集まりであり、データフィールド［窓ＩＤ］、［車種］、［車両前端］、［車両後端］等を有する。データフィールド［窓ＩＤ］には窓領域を識別する窓ＩＤが格納される。データフィールド［車種］には、車種特定手段３１により特定された車種（乗用車、バス等）を示すデータが格納される。データフィールド［車両前端］および［車両後端］には、車両位置特定手段３２により特定された車両の前端位置および後端位置を示すデータが格納される。

続いて、車両認識装置３の動作を説明する。図１２は車両認識装置３が定点カメラ２から送信されてくる撮像画像データを受信し記憶する毎に行う処理のフローを例示した図である。図１２に示すステップＳ１０１〜Ｓ１０７は、図６に示した車両認識装置１が行うステップＳ１０１〜Ｓ１０７と同じ処理である。

図１３は定点カメラ２により撮像された画像を例示した図である。図１３に例示の画像Ｉ₃が撮像された状況においては、車両Ｖ₁と車両Ｖ₂の車間間隔が図１０に例示した状態よりも短く、画像Ｉ₃には車両Ｖ₂の一部が車両Ｖ₁により遮られて映っていない。

図１４は画像Ｉ₃に関しステップＳ１０１において車両領域特定手段１３が特定した車両領域Ｃ₃と、画像Ｉ₃に関しステップＳ１０３において画像認識手段１４が認識した窓領域Ｗ₄およびＷ₅を示した図である。

上記のように、車両領域と窓領域が特定されている状態において、車種特定手段３１は車種テーブル（図８）を参照して、窓領域の各々に関し車種を特定する（ステップＳ２０１）。車種特定手段３１は、まず、窓領域Ｗ₄に関し車種の特定を行う。具体的には、車種特定手段３１は窓領域Ｗ₄の位置に応じて窓領域Ｗ₄の形状および大きさを所定の変換式（または変換テーブル）に従い標準位置における形状および大きさに変換する。続いて、車種特定手段３１は、車種テーブルから、データフィールド［窓領域］に格納されるデータが示す窓領域の形状および大きさが、変換後の窓領域Ｗ₄の形状および大きさとの間で所定の閾値以上の類似度を示すデータレコードを抽出する。

続いて、車種特定手段３１は抽出したデータレコードのデータフィールド［車両領域］に格納されるデータが示す車両領域が、車両位置特定手段３２により特定されている車両領域Ｃ₃と重なる比率が所定の閾値以上であるか否かを判定する。図１５は、窓領域Ｗ₄に関し車種テーブルから抽出されたデータレコードのデータフィールド［車両領域］に示される形状、大きさおよび位置の車両領域Ｙ₁を、車両領域特定手段１３により特定されている車両領域Ｃ₃に重ねて表示した図である。車種特定手段３１は、車両領域Ｃ₃と重なる部分の比率が最も高い車両領域Ｙ₁を示すデータをデータフィールド［車両領域］に格納するデータレコードを選択する。このように選択したデータレコードのデータフィールド［車種］に格納されているデータが示す車種が、車種特定手段３１により窓領域Ｗ₄に関し特定された車種となる。

車種特定手段３１は、続いて、窓領域Ｗ₅に関し、窓領域Ｗ₄と同様に車種の特定を行う。車種特定手段３１により特定された車種を示すデータは、車両認識テーブル（図１１）の窓領域Ｗ₄およびＷ₅に応じたデータレコードのデータフィールド［車種］に格納される。

車種特定手段３１による車種の特定が完了すると、車両位置特定手段３２は窓領域Ｗ₄およびＷ₅の各々に関し、特定された車種に応じた車両位置テーブル（図９）を参照して、車両位置の特定を行う（ステップＳ２０２）。具体的には、車両位置特定手段３２は、まず、窓領域Ｗ₄の車種に応じた車両位置テーブルに含まれるデータレコードの中から、データフィールド［窓前端］に格納されているデータが、窓領域Ｗ₄の画像における前端位置ｆ₁を示すデータレコードを検索する。このように検索したデータレコードのデータフィールド［車両前端］および［車両後端］に格納されているデータが示す位置が、車両位置特定手段３２により特定された車両の前端位置および後端位置となる。

車両位置特定手段３２は、続いて、窓領域Ｗ₅に関し、窓領域Ｗ₄と同様に車両の前端位置および後端位置の特定を行う。車両位置特定手段３２により特定された車両の前端位置および後端位置を示すデータは、車両認識テーブル（図１１）の窓領域Ｗ₄およびＷ₅に応じたデータレコードのデータフィールド［車両前端］および［車両後端］に格納される。

図１６は、窓領域Ｗ₄に関し車両位置特定手段３２により特定された車両の前端位置Ｆ₁および後端位置Ｒ₁と、窓領域Ｗ₅に関し車両位置特定手段３２により特定された車両の前端位置Ｆ₂および後端位置Ｒ₂を、窓領域Ｗ₄の前端位置ｆ₁および窓領域Ｗ₅の前端位置ｆ₂とともに示した図である。前端位置Ｆ₁から後端位置Ｒ₁に至る範囲が窓領域Ｗ₄に応じた車両により占有される範囲であり、前端位置Ｆ₂から後端位置Ｒ₂に至る範囲が窓領域Ｗ₅に応じた車両により占有される範囲である。

続いて、車両感知手段３３は、図１６においてラインＬ₂で示される所定位置（車両の前後方向における所定位置）が、ステップＳ２０２において特定されたいずれかの車両の前端位置と後端位置の間に有るか否かを判定する（ステップＳ２０３）。

ステップＳ２０３の判定において、ラインＬ₂で示される所定位置がいずれかの車両の前端位置と後端位置の間に有ると判定した場合（ステップＳ２０３；Ｙｅｓ）、車両感知手段３３は車両を感知する（ステップＳ２０４）。一方、ステップＳ２０３の判定において、ラインＬ₂で示される所定位置がいずれの車両の前端位置と後端位置の間にも無いと判定した場合（ステップＳ２０３；Ｎｏ）、車両感知手段３３は車両を感知しない（ステップＳ２０５）。

続いて、出力手段１６は外部の装置に対し、ステップＳ２０４またはＳ２０５で行われた車両の感知に応じた感知信号を出力する（ステップＳ２０６）。以上が、車両認識装置３により行われる処理の説明である。

図１７は走行している実車両の位置と、撮像画像における窓および車両の前端・後端の位置と、車両認識装置３により出力される感知信号の出力タイミング（感知信号が示す感知、非感知の切り替えタイミング）との関係を示した図である。図１７において、横軸は時間軸であり、左から右へと時間が経過している。

図１７の第１列の図は、時刻ｔ₁、ｔ₂、ｔ₃、ｔ₄の各々において、ラインＬ₂で示される所定位置の付近を走行している実車両を右側面から見た図である。なお、図１７の第１列の図において、車両は左から右へと走行している。また、時刻ｔ₁は、車両Ｖ₁の先端位置がラインＬ₂に到達した時刻であり、時刻ｔ₂は、車両Ｖ₁の後端位置がラインＬ₂に到達した時刻であり、時刻ｔ₃は、車両Ｖ₃の先端位置がラインＬ₂に到達した時刻であり、時刻ｔ₄は、車両Ｖ₂の後端位置がラインＬ₂に到達した時刻である。

図１７の第２列の図は、定点カメラ２により撮像された画像において認識された窓領域と、窓領域に基づき特定された車両の前端位置および後端位置を示した図である。なお、窓領域Ｗ₄は車両Ｖ₁の窓の領域であり、窓領域Ｗ₅は車両Ｖ₂の窓の領域である。

図１７の第３列の図は、出力手段１６から出力される感知信号の出力タイミングを示した図である。図１７に示されるように、窓領域Ｗ₄に基づき特定された車両の前端位置と後端位置の間にラインＬ₂がある間と、窓領域Ｗ₅に基づき特定された車両の前端位置と後端位置の間にラインＬ₂がある間には車両が有ることを示す感知信号が出力され、それ以外の期間には車両が無いことを示す感知信号が出力される。その結果、実空間においていずれかの車両がラインＬ₂に応じた所定位置に有る間は車両認識装置３から車両が有ることを示す感知信号が出力され、それ以外の期間には車両が無いことを示す感知信号が出力されることになる。

車両認識装置３によれば、車両認識装置３から感知信号の入力を受ける外部の装置（例えば、信号機の制御装置）は、車両による道路の所定位置における占有率（車両が感知されている時間の比率）を特定することができる。

［変形例］
上述した実施形態は様々に変形することができる。以下にそれらの変形の例を示す。なお、上述した実施形態および以下に示す変形例は適宜組み合わされてもよい。

（１）上述した第１実施形態において、車両認識装置１は所定位置を通過した車両の台数を計測する。これに代えて、車両認識装置１が、特定の時刻に撮像画像に映っている車両の台数を計測する構成が採用されてもよい。

図１８は、この変形例にかかる車両認識装置１が行う窓領域の特定の手順を説明するための図である。この変形例において、定点カメラ２は駐車場の全体を撮像する。なお、図１８においては３台分の駐車スペースの駐車場の撮像画像が例示されているが、撮像範囲に含まれる駐車スペースの数は３つに限られない。

車両認識装置１は、駐車場に１台も車両が駐車されていない状態で定点カメラ２により撮像された画像である撮像画像Ｉ₀を予め基準となる画像として記憶手段１２に記憶している。

まず、車両領域特定手段１３は基準となる撮像画像Ｉ₀と或る撮像時刻における撮像画像Ｉ₄を比較し、それらの撮像画像の間の異なる領域を、例えば、車両領域Ｃ₄として特定する。

続いて、画像認識手段１４は、撮像画像Ｉ₄のうち車両領域特定手段１３により特定された車両領域Ｃ₄において、フロントガラスの画像を認識する。その結果、例えば、窓領域Ｗ₆、窓領域Ｗ₇および窓領域Ｗ₈が特定される。

車両台数計測手段１５は、上記のように特定した窓領域の数を、撮像画像Ｉ₄に映っている車両の台数として特定する。この場合、車両の台数は３台と特定される。

（２）上述した実施形態において、定点カメラ２は定点カメラ２に近づいてくる車両を撮像する。定点カメラ２が撮像する車両の走行方向は任意に変更されてよい。例えば、定点カメラ２が定点カメラ２から遠ざかっていく車両を撮像する場合、画像認識手段１４はフロントガラスに代えて、リアガラスを車両領域において認識すればよい。また、定点カメラ２が定点カメラ２の正面を横切る車両を撮像する場合、画像認識手段１４はフロントガラスに代えて、サイドガラスを車両領域において認識すればよい。

（３）上述した実施形態において、画像認識手段１４はフロントガラスを認識する。画像認識手段１４が認識する特徴部分は、車両が共通して有する特徴部分である限り、その種別は限定されない。例えば、室外のバックミラー（フェンダーミラーまたはドアミラー）や室内のバックミラー等が画像認識手段１４により認識されてもよい。また、本発明において、車両が共通して有する特徴部分とは、車両の画像に共通して含まれる特徴部分を意味する。従って、走行する車両の台数を計測する場合、運転席に必ず映る運転手もまた、車両が共通して有する特徴部分の一例である。

なお、画像認識手段１４が認識する特徴部分は、各車両が１つだけ備える特徴部分であることが望ましいが、各車両が同じ数だけ備える特徴部分であれば、その数は１つに限られない。例えば、室外のバックミラー（フェンダーミラーまたはドアミラー）は各車両が２つ備える特徴部分であるため、車両台数計測手段１５は画像認識手段１４により認識されたバックミラーの数の１／２を車両の台数としてカウントすることになる。

（４）上述した第１実施形態において、車両認識装置１が台数を計測する対象の車両は全ての種類の車両である必要はなく、特定の種類の車両のみの台数が車両認識装置１により計測されてもよい。例えば、日本においては現在、概ね全てのタクシーの屋根の上に社名表示灯が設置されている。従って、画像認識手段１４が社名表示灯を認識することによって、タクシーの台数が計測されてもよい。

（５）上述した実施形態において、定点カメラ２により撮像される画像は、日光の当たり方や天気等によって大きく変化する。そのため、画像認識手段１４が画像認識を行う際、時間帯、降雨の有無、照度等に応じて異なるリファレンス用特徴量データを用いる構成が採用されてもよい。この変形例によれば、画像認識の精度が高まり、結果として計測される車両の台数の精度が高まる。

例えば、降雨の有無によって画像認識手段１４が異なるリファレンス用特徴量データを用いる場合、車両認識装置１または車両認識装置３は支柱８等に取り付けられた降雨センサによる降雨の感知結果を示すデータを取得し、当該データが示す降雨の有無に応じて、晴天用と雨天用のいずれのリファレンス用特徴量データを用いるかを決定する。

また、照度に応じて画像認識手段１４が異なるリファレンス用特徴量データを用いる場合、車両認識装置１または車両認識装置３は支柱８等に取り付けられた照度センサによる照度の計測結果を示すデータを取得し、当該データが示す照度が含まれる照度帯に応じたリファレンス用特徴量データを用いる。

（６）上述した実施形態において、車両認識装置１または車両認識装置３は定点カメラ２の近くに配置される。車両認識装置１または車両認識装置３の配置される場所は限定されず、例えば、定点カメラ２から遠隔の監視センター等に配置されてもよい。この場合、定点カメラ２には車両認識装置１または車両認識装置３にデータを送信する送信装置が接続され、定点カメラ２は送信装置を介して撮像画像データを車両認識装置１または車両認識装置３に送信する。

（７）上述した実施形態において、車両認識装置１または車両認識装置３は１つの定点カメラ２から受信する撮像画像データを用いた車両の台数の計測または感知を行う。これに代えて、車両認識装置１または車両認識装置３が２以上の定点カメラ２の各々から撮像画像データを受信し、受信したそれらの撮像画像データを用いて、２以上の定点カメラ２の各々に関し当該定点カメラ２の撮像画像に映った車両の台数の計測または感知を行う構成が採用されてもよい。

（８）上述した実施形態において、車両領域は車両領域特定手段１３により、２つの画像の比較の結果に基づき特定される。これに代えて、車両領域が画像認識手段１４により画像認識によって特定されてもよい。この場合、記憶手段１２には予め車両の画像の外縁部分の特徴量を示すリファレンス用特徴量データが記憶され、画像認識手段１４はこのリファレンス用特徴量データを用いて認識した車両の外縁で囲まれる領域を、車両領域として特定する。

この変形例において、画像認識手段１４は複数の車両が重なり合った画像に関し、その外縁を認識するだけでよく、個々の車両を分離して認識する必要はない。従って、個々の車両が分離して認識される場合と比較し、高い精度で車両の台数の計測または感知が行われる。

（９）上述した実施形態の説明においては、定点カメラ２が撮像する画像には１車線を走行する車両のみが映るものとしたが、定点カメラ２が撮像する画像に複数車線を走行する車両が映ってもよい。この場合、車両認識装置１または車両認識装置３は、画像認識手段１４により特定される個々の窓領域の移動の軌跡が通過する位置に基づき、車線毎に通過する車両の台数の計測または感知を行ってもよい。

（１０）上述した実施形態において、定点カメラ２は可視光を感知するセンサにより撮像を行う光学カメラであることが想定されている。これに代えて、もしくは加えて、定点カメラ２が赤外線等の可視光以外の電磁波を感知するセンサにより撮像を行ってもよい。例えば、定点カメラ２が、日中は可視光により撮像を行い、夜間は赤外線により撮像を行ってもよい。

（１１）上述した第１実施形態において、車両台数計測手段１５は、窓領域の最下点が図５に破線で示される所定位置に到達した時点で、当該窓領域に応じた車両が実空間において所定位置に到達したものとする構成が採用されている。これに代えて、例えば、窓領域の最上点や重心等が所定位置に到達した時点で、当該窓領域に応じた車両が実空間において所定位置に到達したものとする構成が採用されてもよい。

（１２）上述した第１実施形態において、車両認識装置１は感知した車両の台数を示す車両台数データを、所定時間の経過毎に外部の装置に出力する。当該所定時間の長さは限定されず、例えば５分間、１日、１週間、１ヶ月等のいずれであってもよい。また、車両認識装置１が車両の感知結果を示すデータを外部の装置に出力するタイミングは、所定時間の経過毎に限られない。例えば、車両認識装置１は、車両が所定位置に到達したことを感知する毎に速やかに感知結果を示すデータを外部の装置に出力してもよい。

例えば、車両認識テーブル（図３）のデータフィールド［到達時刻］に新たに時刻データが格納される毎に、出力手段１６が、当該時刻データの格納されたデータレコードを外部の装置に出力する構成が採用されてもよい。なお、この構成において、車両認識装置１は車両の台数のカウントを行う必要はなく、車両認識装置１から車両の感知結果を示すデータを受信する外部の装置が必要に応じて車両の台数のカウントを行う。

（１３）上述した第１実施形態において、車両認識装置１は車両が所定位置に到達した時刻を示すデータを車両認識テーブル（図３）に記憶する形式で車両の感知結果を記憶する。車両認識装置１が車両の感知結果を記憶する形式はこれに限られず、例えば基準時刻から現在に至るまでの期間に感知された車両の台数を示すカウンタの形式で車両の検知結果が記憶されてもよい。この変形例において、車両台数計測手段１５は窓領域が所定位置に到達したことを感知すると、カウンタを１増加させる。なお、この変形例において用いられるカウンタは、所定の時刻（例えば日付の変わるタイミング）においてリセットされるカウンタ、最大値に至ると自動的にリセットされるリングカウンタ等のいずれであってもよい。

（１４）上述した第２実施形態において、車両位置特定手段３２は、窓領域の前端位置を基準として車両の前端位置および後端位置を特定する。これに代えて、車両位置特定手段３２が、窓領域の後端位置や前後方向における中間位置等の、前端位置以外の特徴点の位置を基準として車両の前端位置および後端位置を特定する構成が採用されてもよい。その場合、車両位置テーブル（図９）には、窓領域の前端位置を示すデータに代えて、それらの特徴点の位置を示すデータが格納される。

（１５）上述した第２実施形態において、車両位置特定手段３２は車両位置テーブル（図９）を参照して、窓領域の前端位置に応じた車両の前端位置および後端位置を特定する。これに代えて、車両位置特定手段３２が、窓領域の前端位置（またはそれに代わる特徴点の位置）を変数とする関数式に従い車両の前端位置および後端位置を特定する構成が採用されてもよい。

（１６）上述した第２実施形態において、車両認識装置３が出力する感知信号の態様は上述したものに限られない。例えば、車両の感知の開始タイミングに感知開始を示す信号を出力し、車両の感知の終了タイミングに感知終了を示す信号を出力する態様が採用されてもよい。

１…車両認識装置、２…定点カメラ、３…車両認識装置、６…交差点、７…信号機、８…支柱、１１…撮像画像取得手段、１２…記憶手段、１３…車両領域特定手段、１４…画像認識手段、１５…車両台数計測手段、３１…車種特定手段、３２…車両位置特定手段、３３…車両感知手段

Claims (6)

1. 所定の撮像方向で異なる時刻に撮像した２枚の画像の比較の結果に基づき、画像中の移動した物が映っている１以上の領域の全てを車両領域として特定し、車両が共通して有する特徴部分を、特定された１以上の前記車両領域の各々において認識し、特定された１以上の前記車両領域の各々において認識された前記特徴部分の数に基づいて車両の台数を計測する
   車両認識装置。
2. 前記計測した車両の台数を示すデータを出力する
   請求項１に記載の車両認識装置。
3. 所定の撮像方向で異なる時刻に撮像した２枚の画像の比較の結果に基づき、画像中の移動した物が映っている１以上の領域の全てを車両領域として特定し、車両が共通して有する特徴部分を、特定された１以上の前記車両領域の各々において認識し、特定された１以上の前記車両領域の各々において認識された前記特徴部分に基づいて車両を感知する
   車両認識装置。
4. 前記車両の感知に応じて感知信号を出力する
   請求項３に記載の車両認識装置。
5. 前記特徴部分は車両の窓である
   請求項１乃至４のいずれか１項に記載の車両認識装置。
6. 複数の撮像時刻の各々において前記所定の撮像方向で撮像した複数の画像の各々に関し行った前記特徴部分の認識の結果に基づき移動する車両が所定位置に到達したことを検知し、当該検知の結果に基づき前記所定位置を通過した車両の台数を計測する
   請求項１または２に記載の車両認識装置。

Images