JP7654326B2

JP7654326B2 - システム、及び、方法

Info

Publication number: JP7654326B2
Application number: JP2021079409A
Authority: JP
Inventors: 由美子森山; 裕介近藤; 誠吉田; 伸也日月; 儀忠武島; 智貴大黒; 慶一安本; 博彦諏訪; アルナンマイプラディト
Original assignee: Onkyo Corp; Nara Institute of Science and Technology NUC
Current assignee: Onkyo Corp; Nara Institute of Science and Technology NUC
Priority date: 2021-05-10
Filing date: 2021-05-10
Publication date: 2025-04-01
Anticipated expiration: 2041-05-10
Also published as: JP2022173607A

Description

本発明は、車両等の移動体の計数、種別の判別等を行うシステム、及び、方法に関する。

出願人は、振動センサーによって検出された振動データに基づいて、移動体（例えば、車両）の移動を検出し、検出した移動体の数を計数（カウント）するシステムに係る発明を出願している（特願２０２０－１１７４２９）。移動を検出した車両を、例えば、大型車、小型車等に分類（車種判別）する場合、予め、特徴量と特徴量に対応する正解データとを与え、特徴量から分類可能な状態にする必要がある。この場合、正解データとして、移動する車両を撮影し、撮影した映像から、いつ、どのような車種が通過したかを示すラベリングデータを作成する必要がある。しかしながら、人間によってラベリングデータの作成を行うと、作成に時間が必要となる。このため、例えば、同時に多くの地点の交通量調査（車種判別を含む）を実施する場合、調査の対応を迅速に行えなくなる。

なお、特許文献１には、センサーにより測定した測定データと、測定データに対応する正解データ（教師データ）と、に基づいた機械学習を行い、学習モデルを作成することが開示されている。

特開２０２０－０２６１６４号公報

上述したように、車両のカウント、車種判別等のために、正解データとして、車種（大型、小型等）、車両の通過時間を含むラベリングデータが必要となるが、ラベリングデータを人間によって作成した場合、作成に時間が必要となり、また、人件費（コスト）も必要となるという問題がある。

本発明の目的は、車両等の移動体の通過数、種別を取得するための学習モデルを作成するために必要な正解（ラベリング）データを迅速、低コストで作成可能とすることである。

第１の発明のシステムは、移動体が撮影された映像データに基づいて、前記移動体の種別、及び、前記移動体の基準位置の通過時間を取得し、取得した前記移動体の種別、及び、前記移動体の基準位置の通過時間を含む正解データを作成することを特徴とする。

本発明では、システムは、移動体が撮影された映像データに基づいて、移動体の種別、及び、移動体の基準位置の通過時間を取得し、取得した移動体の種別、及び、移動体の基準位置の通過時間を含む正解データを作成する。これにより、人間によって正解データを作成する必要がないため、正解データを迅速、低コストで作成することができる。

第２の発明のシステムは、第１の発明のシステムにおいて、作成した前記正解データと、移動体の測定データと、に基づいて、前記移動体の種別、及び、前記移動体の前記基準位置の通過数を取得するための学習モデルを作成することを特徴とする。

第３の発明のシステムは、第２の発明のシステムにおいて、作成した前記学習モデルと、前記測定データと、に基づいて、前記移動体の種別、及び、前記移動体が前記基準位置を通過した数の少なくとも一方を取得することを特徴とする。

本発明では、作成した正解データに基づいた学習モデルによって、移動体の数（基準位置の通過数）、種別等を取得することができる。

第４の発明のシステムは、第１～第３のいずれかの発明のシステムにおいて、前記映像データを画像認識し、前記移動体の種別、及び、前記移動体の基準位置の通過時間を取得することを特徴とする。

第５の発明のシステムは、第１～第４のいずれかの発明のシステムにおいて、前記移動体は、車両であることを特徴とする。

第６の発明のシステムは、第１～第５のいずれかの発明のシステムにおいて、前記移動体の種別は、車両の大小であることを特徴とする。

第７の発明のシステムは、第１～第６のいずれかの発明のシステムにおいて、前記移動体は、車両であり、前記移動体である車両が撮影された映像データから、前記車両のナンバープレートを認識し、認識した前記車両のナンバープレートに基づいて、前記移動体の種別として、前記車両の大小を取得することを特徴とする。

第８の発明のシステムは、第１～第７のいずれかの発明のシステムにおいて、前記移動体の基準位置の通過時間として、前記移動体の前方が前記基準位置を通過した時間、前記移動体の中央が前記基準位置を通過した時間、前記移動体の後方が前記基準位置を通過した時間を取得することを特徴とする。

第９の発明のシステムは、第１～第８のいずれかの発明のシステムにおいて、前記測定データは、振動データであることを特徴とする。

第１０の発明の方法は、移動体が撮影された映像データに基づいて、前記移動体の種別、及び、前記移動体の基準位置の通過時間を取得し、取得した前記移動体の種別、及び、前記移動体の基準位置の通過時間を含む正解データを作成することを特徴とする。

本発明によれば、正解データを迅速、低コストで作成することができる。

本発明の実施形態に係るシステムの構成例を示す図である。ビデオカメラによって撮影された映像データに基づく映像の一場面を示す図である。正解（ラベリング）データの一例を示す図である。ナンバープレートの一例を示す図である。ＰＣによって実行される処理動作を示すフローチャートである。

以下、本発明の実施形態について説明する。図１は、本発明の実施形態に係るシステム１の構成例を示す図である。システム１は、例えば、パーソナルコンピューター（以下、「ＰＣ」という。）２、振動センサー３、ビデオカメラ４等から構成される。ＰＣ２は、正解（ラベリング）データの作成、学習モデルの作成、車両カウント・車両の分類等を含む交通量調査の結果を示すファイルの作成等を行う。ＰＣ２が行う処理は、後述する。なお、図１では、１つのＰＣ２により、振動センサー３から出力される情報と、ビデオカメラ４から出される情報と、が処理される例を示している。これに限らず、振動センサー３から出力される情報と、ビデオカメラ４から出される情報と、が別のＰＣによって処理されるようになっていてもよいことは言うまでもない。

振動センサー３は、例えば、道路等に設置されている。振動センサー３は、振動センサー３の前を通過した車両から道路に伝わる振動を検出し、振動データを出力する。ビデオカメラ４は、例えば、道路等の近傍に設置されている。ビデオカメラ４は、道路を走行する車両を撮影し、映像データを出力する。図２は、ビデオカメラ４によって撮影された映像データに基づく映像の一場面を示す図である。図２に示すように、道路上を走行する車両の様子が撮影されている。また、図２の右下隅には、時間が表示されている。さらに、図２の左側には、後述する基準線が示されている。

図３は、ＰＣ２によって作成される正解（ラベリング）データの一例を示す図である。ラベリングデータには、ID、LANE1_NUMBER、LANE1、LANE1_TYPE、CTR_IN_MIN、CTR_IN_SEC、CTR_IN_FRAME等の情報が含まれている。ここでは、図２に示すような、対向一車線道路において撮影された映像データから正解データが作成されているものとする。また、図２における手前側のレーンを、LANE1、奥側のレーンを、LANE2と呼ぶ。IDは、各レコードを識別するための識別番号（1600、1700、…）を示している。LANE1は、LANE1を車両が通行したか否かの情報を示している。LANE1を車両が通行した場合に、LANE1に「１」のフラグが立てられる。

図４は、ナンバープレートの一例を示す図である。ナンバープレートの上段における左側には、運輸支局又はその自動車検査登録事務所を表示する文字（図４では、品川）が記載される。ナンバープレート上段における右側（破線矢印で示した箇所）には、自動車の種別による分類番号（図４では、５００）が記載される。

図３に戻って、LANE1_NUMBERは、LANE1を通行した車両のナンバーの情報を示している。具体的には、LANE１_NUMBERには、自動車の種別による分類番号の最初の文字が記載される。例えば、「５」は、分類番号の最初の文字が「５」であることを示している。LANE1_TYPEは、LANE1を通行した車両の種別（大型車、小型車）の情報を示している。「TYPE_STANDARD」は、LANE1を通行した車両が、小型車であることを示している。「TYPE_LARGE」は、LANE1を通行した車両が、大型車であることを示している。ＰＣ２は、認識したナンバープレートの分類番号の最初の文字が、「１、２、８、９、０」である場合、大型車であることを示す「TYPE_LARGE」を記憶する。ＰＣ２は、認識したナンバープレートの分類番号の最初の文字が、「３、４、５、７、９」である場合、小型車であることを示す「TYPE_STANDARD」を記憶する。

CTR_IN_MIN、CTR_IN_SEC、CTR_IN_FRAMEは、車両の前方が図２に示す基準線を通過した時間を示している。なお、図３では、正解データに含まれる情報として、車両の前方が基準線を通過した時間を示すCTR_IN_MIN、CTR_IN_SEC、CTR_IN_FRAMEが示されているが、これ以外に、車両の中央が基準線を通過した時間を示す情報、車両の後方が基準線を通過した時間を示す情報が含まれる。また、図３では、LANE１を通過した車両の情報のみが示されているが、LANE2を通過した車両の情報も含まれる。

ＰＣ２は、ビデオカメラ３によって、車両（移動体）が撮影された映像データに基づいて、車両（移動体）の種別（大型車、小型車）、及び、車両（移動体）の基準線（基準位置）の通過時間を取得する。そして、ＰＣ２は、取得した車両の種別、及び、車両の基準線の通過時間を含む正解データを作成する。ＰＣ２は、映像データを画像認識することで、車両の種別、及び、車両の基準線の通過時間を取得する。

ＰＣ２は、映像データに基づいて、車両がLANE1、LANE2のいずれを通過したかを判断する。ＰＣ２は、車両がLANE1を通過したと判断した場合、「LANE1」に「１」のフラグを立てる。ＰＣ２は、車両の種別を取得するために、車両のナンバープレートを画像認識する。ＰＣ２は、ナンバープレートの画像認識の結果、図４に示す分類番号として、「５００」を認識した場合、車両がLANE1を通過したと判断していれば、「LANE1_NUMBER」として、「５」の情報を記憶する。また、ＰＣ２は、分類番号として、「５００」を認識した場合、車両の種別として、「小型車（TYPE_STANDARD）」を取得する。そして、ＰＣ２は、「LANE1_TYPE」として、「TYPE_STANDARD」の情報を記憶する。

また、ＰＣ２は、映像データに基づいて、車両の前方が基準線を通過した時間、車両の中央が基準線を通過した時間、車両の後方が基準線を通過した時間を取得する。そして、ＰＣ２は、車両の前方が基準線を通過した時間を、「CTR_IN_MIN」、「CTR_IN_SEC」、「CTR_IN_FRAME」として記憶する。また、ＰＣ２は、車両の中央が基準線を通過した時間、車両の後方が基準線を通過した時間も、正解データとして記憶する。

図５は、ＰＣ２によって実行される処理動作を示すフローチャートである。まず、ＰＣ２は、振動センサー３から出力される振動データと、ビデオカメラ４から出力される映像データと、を同期させる（Ｓ１）。次に、ＰＣ２は、ビデオカメラ４から出力される映像データから、正解データを作成する（Ｓ２）。次に、ＰＣ２は、正解データ・振動データの事前学習を行う（Ｓ３）。すなわち、ＰＣ２は、作成した正解データと、車両（移動体）の振動（測定）データと、に基づいて、車両の種別、及び、車両の基準線（基準位置）の通過数を取得するための学習モデルを作成する。

次に、ＰＣ２は、車両のカウント、及び、車両の種別の判別を行う（Ｓ４）。すなわち、ＰＣ２は、作成した学習モデルと、振動（測定）データと、に基づいて、車両（移動体）の種別、及び、車両が基準線（基準位置）を通過した数を取得する。そして、ＰＣ２は、取得した車両の種別、及び、車両が基準線を通過した数が含まれる交通量観測結果のファイルを作成する（Ｓ５）。

以上説明したように、本実施形態では、システム１は、車両（移動体）が撮影された映像データに基づいて、車両（移動体）の種別、及び、車両（移動体）の基準線（基準位置）の通過時間を取得し、取得した車両（移動体）の種別、及び、車両（移動体）の基準線（基準位置）の通過時間を含む正解データを作成する。これにより、人間によって正解データを作成する必要がないため、正解データを迅速、低コストで作成することができる。また、作成した正解データに基づいた学習モデルによって、車両（移動体）の数（基準線（基準位置）の通過数）、種別等を取得することができる。

以上、本発明の実施形態について説明したが、本発明を適用可能な形態は、上述の実施形態には限られるものではなく、以下に例示するように、本発明の趣旨を逸脱しない範囲で適宜変更を加えることが可能である。

上述の実施形態においては、移動体として、車両を例示したが、移動体は、車両に限られない。また、測定データとして、振動センサー３によって検出される振動データを例示したが、測定データは、振動データに限られない。

本発明は、車両等の移動体の計数、種別の判別等を行うシステム、及び、方法に好適に採用され得る。

１システム
２ＰＣ
３振動センサー
４ビデオカメラ

Claims

移動体が撮影された映像データに基づいて、前記移動体の種別、及び、前記移動体の基準位置の通過時間を取得し、取得した前記移動体の種別、及び、前記移動体の基準位置の通過時間を含む正解データを作成し、
作成した前記正解データと、移動体の測定データと、に基づいて、前記移動体の種別、及び、前記移動体の前記基準位置の通過数を取得するための学習モデルを作成することを特徴とするシステム。
作成した前記学習モデルと、前記測定データと、に基づいて、前記移動体の種別、及び、前記移動体が前記基準位置を通過した数の少なくとも一方を取得することを特徴とする請求項１に記載のシステム。
前記映像データを画像認識し、前記移動体の種別、及び、前記移動体の基準位置の通過時間を取得することを特徴とする請求項１又は２に記載のシステム。
前記移動体は、車両であることを特徴とする請求項１～３のいずれか１項に記載のシステム。
前記移動体の種別は、車両の大小であることを特徴とする請求項１～４のいずれか１項に記載のシステム。
前記移動体は、車両であり、
前記移動体である車両が撮影された映像データから、前記車両のナンバープレートを認識し、
認識した前記車両のナンバープレートに基づいて、前記移動体の種別として、前記車両の大小を取得することを特徴とする請求項１～５のいずれか１項に記載のシステム。
移動体が撮影された映像データに基づいて、前記移動体の種別、及び、前記移動体の基準位置の通過時間を取得し、取得した前記移動体の種別、及び、前記移動体の基準位置の通過時間を含む正解データを作成し、
前記移動体の基準位置の通過時間として、前記移動体の前方が前記基準位置を通過した時間、前記移動体の中央が前記基準位置を通過した時間、前記移動体の後方が前記基準位置を通過した時間を取得することを特徴とするシステム。
前記測定データは、振動データであることを特徴とする請求項１～６のいずれか１項に記載のシステム。
移動体が撮影された映像データに基づいて、前記移動体の種別、及び、前記移動体の基準位置の通過時間を取得し、取得した前記移動体の種別、及び、前記移動体の基準位置の通過時間を含む正解データを作成し、
作成した前記正解データと、移動体の測定データと、に基づいて、前記移動体の種別、及び、前記移動体の前記基準位置の通過数を取得するための学習モデルを作成することを特徴とする方法。