JP7310313B2

JP7310313B2 - 位置補正サーバ、位置管理装置、移動体の位置管理システム及び方法、位置情報の補正方法、コンピュータプログラム、車載装置並びに車両

Info

Publication number: JP7310313B2
Application number: JP2019101576A
Authority: JP
Inventors: 明紘小川
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2019-05-30
Filing date: 2019-05-30
Publication date: 2023-07-19
Anticipated expiration: 2039-05-30
Also published as: JP2020193954A

Description

この開示は位置補正サーバ、位置管理装置、移動体の位置管理システム及び方法、位置情報の補正方法、コンピュータプログラム、車載装置並びに車両に関する。

車両等の自動運転技術の発達に伴って、測位技術の重要性が増している。車両等の移動体に関する測位のためには、測位用の人工衛星（測位衛星）を使用した全球測位衛星システム（ＧｌｏｂａｌＮａｖｉｇａｔｉｏｎＳａｔｅｌｌｉｔｅＳｙｓｔｅｍ：ＧＮＳＳ）が主として使用される。全球測位衛星システムとしては複数の種類があるが、受信機を用いて複数の衛星との間の距離を通信により測位し、三角測量の原理で車両等の位置を特定する点では共通する。

ＧＮＳＳでは、その原理から、位置を正確に測定するためには少なくとも３個の測位衛星と通信できることが必要である。ところが、地形の影響、又は道路脇に存在するビル等の影響により、受信機が３個の測位衛星と通信できない状況が発生することがある。その場合には、いわゆるデッドレコニングにより移動体の位置を推定する技術が使用される。

しかし、もともとＧＮＳＳを用いた位置自体に誤差が含まれる上、デッドレコニングによる誤差が蓄積することで受信機が管理する位置情報の誤差が大きくなることがある。一方で、最近では、一定地域内に存在する車両等の位置を地図情報とあわせて交通状況俯瞰マップをサーバで作成し、その結果を交通支援のために各車両等に配信するシステムの開発に向けて研究がされつつある。交通状況俯瞰マップをサーバが正確に管理するためには、各車両等からできるだけ正確な位置情報をサーバに通知する必要がある。そのため、車両が備えるＧＮＳＳ受信機による測位結果の誤差が大きくなると、交通状況俯瞰マップが不正確となり、交通支援に影響を及ぼす可能性がある。

こうした問題を解決するための１つの解決策が後掲の特許文献１に開示されている。図１を参照して、特許文献１に記載された位置補正システム５０は、ＧＮＳＳの一種であるＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）により車両位置を検出する、車両６４に搭載された位置検出装置と、道路の情報のポール６２上のような高い位置に設置された光ビーコン６０から位置情報を含むビーコンデータ６６、６８を受信する車載通信機７０と、光ビーコンデータを受信すると位置情報の撮像を開始するカメラ７２と、車両６４が光ビーコン６０の真下に位置するときにカメラ７２の画像中で光ビーコンヘッド像が占める位置を基準位置として予め設定しておき、カメラ７２の画像から抽出された光ビーコンヘッド像が基準位置に位置するか否かを判定する真下判定装置とを含む。

この位置補正システム５０はさらに、真下判定装置によって、光ビーコンヘッド像が基準位置に存在すると判定されたことに応答して、その光ビーコンヘッド像の撮像時点での車両位置を光ビーコンデータの示す位置と一致させるように、位置検出装置の維持する車両位置を補正する位置補正装置とを含む。

特許文献１によれば、この構成により車両位置を正確に測定できるとされている。

一方、後掲の特許文献２には、光ビーコン６０を用いず、車載カメラの画像解析により路側のランドマークを認識し、位置補正に活用する技術が提案されている。図２を参照して、特許文献２に記載の技術に係る位置補正システム１００は、予め路側の特徴物であるランドマーク１１４の画像と位置とを記憶するランドマーク位置情報記憶装置１１２と、ランドマーク位置情報記憶装置１１２に接続され、車両１１６からその経路におけるランドマークに関する情報要求を受信したことに応答してその経路において位置補正に使用可能な１又は複数のランドマークに関するランドマーク情報を車両に送信するサーバ１１０とを含む。ランドマーク情報は、カメラ画像から認識可能なランドマークの位置情報、認識用ランドマーク画像、認識の成功のし易さを示す認識評価値等を含む。ランドマーク１１４に搭載された車載用制御装置は、受信したランドマーク情報に含まれる認識結果評価値に基づいて認識対象とするランドマークを選択する。車載用制御装置は、認識対象としたランドマークの認識結果を評価し、カメラで認識したランドマークの画像とともに評価結果値をサーバに送信する。サーバは車載用制御装置から受信した情報に基づいて、各ランドマーク情報の認識評価値及び認識用ランドマーク画像を更新する。ランドマークとしては、道路上の標識及び信号等の物体、路面上のペイント、並びに道路近辺の特徴的な建造物が挙げられている（段落００４９）。

この位置補正システム１００によれば、ランドマークの認識処理における負荷の低減を図りながら、車両の位置推定精度の向上ができるとされている。

特開２０１０－２７６５８３号公報特開２０１５－１０８６０４号公報

しかし、特許文献１に開示された発明については以下のような問題点がある。すなわち、特許文献１に記載の技術では路側に光ビーコン６０を備えた路側機を備えることが前提であるため、適用範囲が制限されるという問題がある。また光ビーコン６０の真下を車両が通過することが前提であるため、車線ごとに光ビーコン６０を設ける必要があり、設置の費用がかかるという問題もある。

また特許文献２に記載された発明では、車載用制御装置が、車載カメラからの画像内のランドマーク画像を認識することが前提となっている。そのため、車載カメラの性能、及び車載用制御装置の認識能力に位置補正能力が依存する。一方、車載カメラは車両とともに移動するため、その認識対象となる画像は常に変化する。そのため、認識のための学習に用いる教師データが疎となり、認識精度を高くすることが難しいという問題がある。さらに、画像認識には多くの計算資源が必要となる。一般的に車載用制御装置の性能には限界があり、画像認識を短時間でかつ高精度に行うことは難しい。したがって、特許文献２に開示されたシステムでは、その位置補正能力には限界があると言わざるを得ない。したがって、光ビーコン６０を備えた路側機、及び車載カメラの画像等を必要とせずに移動体の位置補正ができるようにすることが望ましい。

それ故にこの開示の目的は、車両の位置補正を高精度で行える位置補正サーバ、位置管理装置、移動体の位置管理システム及び方法、位置情報の補正方法、コンピュータプログラム、車載装置並びに車両を提供することである。

この開示の第１の局面に係る位置補正サーバは、移動体から、当該移動体の位置情報と時刻情報とを含む移動体情報を受信する移動体情報受信機と、撮像範囲が特定可能な撮像装置からの撮像画像を受信する画像受信機と、撮像画像の中に存在する任意の移動体の画像と移動体情報とに基づいて、任意の移動体の画像を含む撮像画像と移動体情報受信機に移動体情報を送信する移動体とをマッチングするマッチング部と、マッチング部によりマッチングされた移動体から受信した移動体情報の位置情報と、マッチング部によりマッチングされた撮像画像とその撮像時刻とを用いて、移動体が維持する位置情報を補正する処理を行う補正処理部とを含む。

この開示の第２の局面に係る移動体のための位置管理装置は、自己の位置情報及び時刻情報を含む移動体情報を維持する情報維持装置と、所定のタイミングで移動体情報を所定の位置補正サーバに送信するための移動体情報送信装置と、情報維持装置により維持されている位置情報を補正すべきことを示す補正情報を外部から受信したことに応答して、補正情報を使用して位置情報を補正する補正処理部とを含む。

この開示の第３の局面に係る移動体の位置管理システムは、上記したいずれかの位置補正サーバと、上記したいずれかの位置管理装置とを含む。

この開示の第４の局面に係る位置情報の補正方法は、コンピュータが、移動体から、当該移動体の位置情報と時刻情報とを含む移動体情報を受信するステップと、コンピュータが、撮像範囲が特定可能な撮像装置からの撮像画像を受信するステップと、コンピュータが、撮像画像の中に存在する任意の移動体の画像と移動体情報とに基づいて、任意の移動体の画像を含む撮像画像と移動体情報を受信するステップにおいて移動体情報を送信する移動体とをマッチングするステップと、マッチングするステップにおいてマッチングされた移動体から受信した移動体情報の位置情報と、マッチングするステップにおいてマッチングされた撮像画像とその撮像時刻とを用いて、移動体が維持する位置情報を補正する処理を行うステップとを含む。

この開示の第５の局面に係るコンピュータプログラムは、コンピュータを、移動体から、当該移動体の位置情報と時刻情報とを含む移動体情報を受信する移動体情報受信機と、撮像範囲が特定可能な撮像装置からの撮像画像を受信する画像受信機と、撮像画像の中に存在する任意の移動体の画像と移動体情報とに基づいて、任意の移動体の画像を含む撮像画像と移動体情報受信機に移動体情報を送信する移動体とをマッチングするマッチング部と、マッチング部によりマッチングされた移動体から受信した移動体情報の位置情報と、マッチング部によりマッチングされた撮像画像とその撮像時刻とを用いて、移動体が維持する位置情報を補正する処理を行う補正処理部として機能させる。

この開示の第６の局面に係る移動体の位置管理方法は、コンピュータが、自己の位置情報及び時刻情報を含む移動体情報を維持するステップと、コンピュータが、所定のタイミングで移動体情報を所定の位置補正サーバに送信するステップと、コンピュータが、移動体情報を維持するステップにより維持されている位置情報を補正すべきことを示す補正情報を外部から受信したことに応答して、補正情報を使用して位置情報を補正するステップとを含む。

この開示の第７の局面に係るコンピュータプログラムは、コンピュータを、自己の位置情報及び時刻情報を含む移動体情報を維持する情報維持装置と、所定のタイミングで移動体情報を所定の位置補正サーバに送信するための移動体情報送信装置と、情報維持装置により維持されている位置情報を補正すべきことを示す補正情報を外部から受信したことに応答して、補正情報を使用して位置情報を補正する補正処理部として機能させる。

この開示の第８の局面に係る車載装置は、上記した移動体の位置管理装置を搭載した車載装置である。

この開示の第９の局面に係る車両は、上記した車載装置を搭載した車両である。

なお、この開示は、このような特徴的な処理部を備える装置として実現できるだけでなく、上に記載したような特徴的な処理をステップとする方法として実現したり、それらステップをコンピュータに実行させるためのプログラムとして実現したりできる。また、装置の一部又は全部を実現する半導体集積回路として実現したり、それら装置を含むシステムとして実現したりできる。この開示のそのほかの課題、目的、構成、作用及び効果は、添付の図面とともに以下の開示に関する説明により明らかとなるであろう。

この開示によれば、車両の位置補正を高精度で行える位置補正サーバ、位置管理装置、移動体の位置管理システム及び方法、位置情報の補正方法、コンピュータプログラム、車載装置並びに車両を提供できる。

図１は、特許文献１に記載された従来の位置補正システムの概略構成を示す模式図である。図２は、特許文献２に記載された従来の位置補正システムの概略構成を示す模式図である。図３は、この開示に係る位置補正システムの概略構成を示す図である。図４は、この開示に係る車両の位置補正の原理を説明する模式図である。図５は、この開示に関係する車両の概略構成を示す模式図である。図６は、この開示において使用される車載装置の概略ハードウェア構成を示すブロック図である。図７は、この開示において使用されるＨＭＩコントローラのハードウェア構成を示すブロック図である。図８は、この開示における車載装置でのデータアップロード処理を実現するコンピュータプログラム（以下、単に「プログラム」という。）の制御構造を示すフローチャートである。図９は、この開示における車載装置での位置補正処理を実現するプログラムの制御構造を示すフローチャートである。図１０は、この開示に係るエッジサーバの外観を示す図である。図１１は、図１０に示すエッジサーバの概略ハードウェア構成を示すブロック図である。図１２は、図１０に示すエッジサーバの機能的構成を示すブロック図である。図１３は、図１２に示す各機能を実現するためのプログラムの制御構造を示すフローチャートである。図１４は、同一車種の２台の車両が近接している場合の車両同定に関する問題点を説明するための模式図である。図１５は、同一車種の２台の車両が近接している場合の車両同定に関する問題点を解決するための方法を示す模式図である。図１６は、同一車種の３台の車両が近接している場合の車両同定に関する問題点を説明するための模式図である。図１７は、第１の開示に係るエッジサーバの機能を実現するプログラムの制御構造を示すフローチャートである。図１８は、第２の開示に係るエッジサーバの機能を実現するプログラムの制御構造を示すフローチャートである。図１９は、第３の開示に係るエッジサーバの機能を実現するプログラムの制御構造を示すフローチャートである。図２０は、第４の開示に係るエッジサーバの機能を実現するプログラムの制御構造を示すフローチャートである。

［この開示の実施の形態の説明］
以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰返さない。なお、以下の開示の少なくとも一部を任意に組合せてもよい。

（１）この開示の第１の局面に係る位置補正サーバは、移動体から、当該移動体の位置情報と時刻情報とを含む移動体情報を受信する移動体情報受信機と、撮像範囲が特定可能な撮像装置からの撮像画像を受信する画像受信機と、撮像画像の中に存在する任意の移動体の画像と移動体情報とに基づいて、任意の移動体の画像を含む撮像画像と移動体情報受信機に移動体情報を送信する移動体とをマッチングするマッチング部と、マッチング部によりマッチングされた移動体から受信した移動体情報の位置情報と、マッチング部によりマッチングされた撮像画像とその撮像時刻とを用いて、移動体が維持する位置情報を補正する処理を行う補正処理部とを含む。

撮像装置からの画像と、移動体の位置情報とに基づき、特定の撮像時刻の画像とそのときにその画像装置で撮像された移動体とをマッチングする。撮像時刻における移動体からの位置情報と、画像から得られた移動体の位置情報とにより両者の誤差が算出され、移動体の位置座標がその誤差により補正される。車載カメラの画像を使用せず、既存の撮像装置を使用して移動体の位置補正が行える。

（２）好ましくは、位置補正サーバは、さらに、移動体情報に基づき、位置情報を補正する対象となる移動体を追跡する移動体追跡装置を含み、マッチング部は、移動体情報が移動体追跡装置により追跡されている第１の移動体からの移動体情報であることに応答して、当該第１の移動体の画像を含む撮像画像を画像受信機が受信した撮像画像の中から抽出するための画像抽出部を含み、補正処理部は、画像抽出部が抽出した撮像画像の撮像時刻に第１の移動体から送信され、移動体情報受信機が受信した位置情報と、撮像画像から算出される第１の移動体の位置とから、第１の移動体の維持している位置情報を補正する処理を行う位置補正処理部とを含む。

位置補正の対象となる移動体のみが位置補正の対象となる。精度の高い位置情報を維持している移動体については位置補正を行わない。その結果、計算資源を節約しながら、効率的に移動体の位置情報の補正が行える。

（３）より好ましくは、位置補正処理部は、実世界の特徴物の位置を記憶する位置記憶装置と、撮像画像の中に存在する特徴物を認識する特徴物認識部と、特徴物認識部により認識された特徴物の実世界における位置を、位置記憶装置から読出すための読出装置と、第１の移動体の維持している位置情報を、位置記憶装置から読出された位置に基づいて補正するための補正量を算出する算出装置を含む。

特徴物の位置は固定された撮像装置による画像として、画像の背景に常に存在する。その画像と、画像内の移動体画像とに基づき、両者の位置関係から移動体の位置を算出できる。車載カメラの画像を使用せず、位置が固定された撮像装置の画像を使うので、移動体の位置算出が高精度に行え、正確に位置補正が行える。

（４）さらに好ましくは、算出装置は、撮像画像の中に存在する特徴物の画像と、移動体の画像との関係と、特徴物の地理的位置、及び撮像装置の特性とに基づいて、移動体と特徴物との相対位置を算出する相対位置算出装置と、相対位置に対して特徴物の地理的位置を加算することにより移動体の地理的位置を算出するための地理的位置算出装置と、第１の移動体の維持している位置情報と、地理的位置算出装置により算出された地理的位置との誤差を補正量として算出するための補正量算出装置とを含む。

撮像装置の撮像範囲が固定されている場合、基本的にその画像の背景は常に同一である。したがってその中の特徴物を認識することは高い精度で行える。また特徴物の位置は予めわかっている。したがって、その特徴物に対する移動体の相対位置を画像から算出し、特徴物の位置に加算することで、移動体の位置を容易に特定できる。

（５）好ましくは、マッチング部は、第１の移動体から所定距離の範囲内に、第１の移動体と同種の第２の移動体が存在していることに応答して、第１の移動体と、第２の移動体とから、各々の前方画像を取得する前方画像取得装置と、前方画像取得装置により取得された前方画像の各々について、第１の移動体と同種の移動体の画像が存在しているか否かを検査する画像検査部と、前方画像の中で、第１の移動体と同種の移動体の画像が存在していない前方画像が１つだけ存在していれば、当該前方画像を送信してた移動体と撮像画像とをマッチングさせる装置とを含む。

同一の種類の複数の移動体が近接して存在している場合、画像だけでは位置情報を送信してきた移動体を同定できない。そうした場合、双方から前方画像を取得し、その画像の中にその移動体と同一種類の移動体の画像が存在するか否かを基準にして、複数の移動体の中で、位置情報を送信してきた移動体が同定できる。

（６）より好ましくは、位置補正サーバは、移動体情報に基づき、位置情報を補正する対象となる移動体を追跡する移動体追跡装置をさらに含み、移動体情報は、移動体の外観に関する外観情報を含み、マッチング部は、移動体追跡装置による追跡の対象となっている移動体の各々について、当該移動体の近傍に存在する、撮像領域が特定可能な撮像装置を特定し、画像受信機が受信した撮像画像から、当該特定された撮像装置による撮像画像を抽出する画像抽出部と、外観情報を用いて画像抽出部が抽出した撮像画像の中の移動体の画像を特定し、当該画像と、外観情報とに基づいて当該撮像画像の中の移動体を同定するための移動体同定装置とを含む。

撮像装置の位置が固定されていると、その撮像する画像の背景は常に同一である。移動体の外観に関する情報を用いると、そうした画像の中でその外観を持つ移動体の画像を容易に特定してその位置を高い精度で特定できるため、移動体の位置情報も高い精度で補正できる。

（７）さらに好ましくは、補正処理部は、画像抽出部が抽出した撮像画像の撮像領域内の特徴物の位置と、撮像画像中の移動体の画像の位置とに基づいて、当該撮像画像の中の移動体の地理的位置を特定する移動体位置特定部と、移動体位置特定部が特定した移動体の地理的位置と、撮像画像が撮像された時刻に移動体から送信され、移動体情報受信機が受信した位置情報とに基づいて移動体が維持する位置情報を補正する処理を行う装置とを含む。

受信した画像内の特徴物を基準として算出される移動体の位置情報は、正確な位置情報であると考えられる。その画像が撮像された時刻に移動体から送信された位置情報は、誤差を含んでいると考えられるが、同じ時刻に算出された正しい位置を用いて、その位置情報の誤差を補正できる。

（８）好ましくは、補正する処理を行う装置は、移動体位置特定部が特定した移動体の地理的位置と、撮像画像が撮像された時刻に移動体から送信され、移動体情報受信機が受信した位置情報により決まる地理的位置との間の誤差を算出するための誤差算出装置と、誤差算出装置により算出された誤差を移動体の維持する位置情報に加算する指示を移動体に送信する送信装置とを含む。

画像から特定した移動体の位置と、その画像が撮像されたのと同じ時刻に移動体から送信された位置情報との誤差は、移動体が維持している位置情報が持つ誤差と考えることができる。この誤差を移動体が維持している位置情報に加算することで、移動体は自己が維持している位置情報を補正し正しい位置を算出できる。

（９）より好ましくは、位置情報サーバは、移動体情報に基づき、位置情報を補正する対象となる移動体を追跡する移動体追跡装置をさらに含み、移動体情報は、移動体の外観に関する外観情報を含み、マッチング部は、画像受信機が撮像画像を受信したことに応答して、当該撮像画像内に存在している、移動体追跡装置により追跡されている移動体の画像を認識する移動体画像認識部と、移動体画像認識部により認識された画像と、外観情報とを用いて、当該撮像画像内の移動体を移動体追跡装置により追跡されている移動体の中で同定する同定装置とを含み、補正処理部は、移動体画像認識部により認識された移動体に対して、撮像画像内の特徴物の画像の位置と、当該移動体の画像の位置と、特徴物の地理的位置とに基づいて、撮像画像が撮像された時刻における移動体の位置を算出するための移動体位置算出装置と、移動体位置算出装置により算出された位置と、移動体の画像が認識された撮像画像の撮像時に当該移動体が移動体情報受信機の受信した位置情報とに基づいて移動体が維持する位置情報を補正する処理を実行するための補正実行部とを含む。

位置情報を補正する対象の移動体のみについて位置情報の補正のための追跡を行う。撮像装置から画像を受信したことに応答して、その画像に基づき、その画像内に存在する移動体の画像が特定され、その地理的位置が特定される。その移動体と、移動体追跡装置により追跡されている移動体とを、その移動体の外観情報を用いてマッチングし、画像内の移動体を同定する。その結果を用いて移動体の位置情報が補正される。補正の対象とすべき移動体のみについて位置情報補正のための処理が行えるので、計算資源を節約できる。撮像装置から画像を受信したことを契機として、その画像内の対象移動体の検出とその位置補正の処理が開始されるので、補正処理が効率的に行える。

（１０）さらに好ましくは、位置補正サーバは、移動体情報は、移動体が維持する位置情報の精度に関連する精度関連情報をさらに含み、移動体追跡装置は、精度関連情報に基づいて、所定の精度より低い精度で動作している可能性が高い位置情報取得装置を備えた移動体を、位置情報を補正する対象として追跡する追跡装置を含む。

この構成により、位置補正のための計算資源を節約できる。

（１１）好ましくは、精度関連情報は、移動体が利用する衛星測位システムにおいて通信可能な測位衛星の数を含み、追跡装置は、移動体が通信可能な測位衛星の数がしきい値以下である移動体を追跡する装置を含む。

通信可能な測位衛星の数という明確な基準で追跡対象の移動体を決定できる。

（１２）より好ましくは、衛星測位システムはＧＰＳを含む。

ＧＰＳという最も普及した衛星測位システムを搭載した車両を対象とするので、多くの車両がこのシステムによる利益を享受できる。

（１３）好ましくは、位置補正サーバは、さらに、移動体が維持する位置情報の精度に関連する精度関連情報が、位置情報の精度が所定の精度より高くなったことを示す値に変化したことに応答して、当該移動体を補正による位置情報の補正の対象から除外する処理を実行するための除外装置を含む。

移動体の位置情報の精度が高くなった場合、その補正を続行することには意味がない。そうした移動体を補正の対象から除外することで、計算資源を節約でき、他の車両に関する位置情報の補正に節約された計算資源を配分できる。

（１４）さらに好ましくは、移動体情報はさらに、移動体の外観に関する外観情報を含み、マッチング部は、移動体情報に含まれる外観情報に基づいて撮像画像内に含まれる移動体の画像を認識する画像認識部と、画像認識部により移動体の画像が認識された撮像画像と、移動体情報受信機に移動体情報を送信する移動体とを対応付ける装置とを含む。

撮像装置の位置が固定されているため、その背景は常に一定である。したがって、その画像内での移動体の位置を、移動体の外観情報を用いて容易に特定できる。

（１５）この開示の第２の局面に係る移動体のための位置管理装置は、自己の位置情報及び時刻情報を含む移動体情報を維持する情報維持装置と、所定のタイミングで移動体情報を所定の位置補正サーバに送信するための移動体情報送信装置と、情報維持装置により維持されている位置情報を補正すべきことを示す補正情報を外部から受信したことに応答して、補正情報を使用して位置情報を補正する補正処理部とを含む。

移動体は、サーバから受信した位置情報を用いて、自己が維持している位置情報を補正できる。その結果、移動体は、位置情報を用いるサービスについて、より適切な状態で利用できる。

（１６）好ましくは、情報維持装置は、衛星測位システムにより位置情報を維持する機能を持ち、移動体情報送信装置は、位置補正サーバに移動体情報を送信する際に、移動体情報に衛星測位システムが通信可能な測位衛星の数を含めて送信する。

測位衛星の数をサーバに送信することで、サーバではこの移動体の位置情報の精度が高いか否かを判定できる。測位衛星の数が所定の数より少なく、デッドレコニングで移動体が自己の位置を補正している場合、サーバから位置情報の補正サービスを受けることが可能になる。

（１７）より好ましくは、補正情報は、情報維持装置が維持している位置情報と、正しい位置情報との誤差を含み、補正処理部は、情報維持装置が維持している位置情報に、誤差を加算する加算器を含む。

この構成により容易に移動体の位置情報を補正できる。

（１８）さらに好ましくは、位置管理装置は、さらに、衛星測位システムが通信可能な測位衛星の数が所定の数以上となったことに応答して、補正処理部の動作を停止する停止装置を含む。

通信可能な測位衛星の数が所定の数以上となれば、その衛星測位システムによる位置情報の精度も十分に高くなる。位置情報の補正処理を停止することで、計算資源を節約でき、他の処理に配分できる。

（１９）この開示の第３の局面に係る移動体の位置管理システムは、上記したいずれかの位置補正サーバと、上記したいずれかの位置管理装置とを含む。

撮像範囲が特定可能な撮像装置からの画像を用いて、サーバにより移動体の位置情報の補正を行うことが可能になる。常に変化する車載カメラからの情報を用いる必要はない。その結果、移動体の正確な位置を求めることが容易にでき、移動体の管理する位置情報の精度を効率的に高い精度に維持できる
（２０）この開示の第４の局面に係る位置情報の補正方法は、コンピュータが、移動体から、当該移動体の位置情報と時刻情報とを含む移動体情報を受信するステップと、コンピュータが、撮像範囲が特定可能な撮像装置からの撮像画像を受信するステップと、コンピュータが、撮像画像内に存在する任意の移動体の画像と移動体情報とに基づいて、任意の移動体の画像を含む撮像画像と移動体情報を受信するステップにおいて移動体情報を送信する移動体とをマッチングするステップと、マッチングするステップにおいてマッチングされた移動体から受信した移動体情報の位置情報と、マッチングするステップにおいてマッチングされた撮像画像とその撮像時刻とを用いて、移動体が維持する位置情報を補正する処理を行うステップとを含む。

撮像範囲が特定可能な撮像装置からの画像を用いて、サーバにより移動体の位置情報の補正を行うことが可能になる。常に変化する車載カメラからの情報を用いる必要はない。その結果、移動体の正確な位置を求めることが容易にでき、移動体の管理する位置情報の精度を効率的に高い精度に維持できる。

（２１）この開示の第５の局面に係るコンピュータプログラムは、コンピュータを、移動体から、当該移動体の位置情報と時刻情報とを含む移動体情報を受信する移動体情報受信機と、撮像範囲が特定可能な撮像装置からの撮像画像を受信する画像受信機と、撮像画像内に存在する任意の移動体の画像と移動体情報とに基づいて、任意の移動体の画像を含む撮像画像と移動体情報受信機に移動体情報を送信する移動体とをマッチングするマッチング部と、マッチング部によりマッチングされた移動体から受信した移動体情報の位置情報と、マッチング部によりマッチングされた撮像画像とその撮像時刻とを用いて、移動体が維持する位置情報を補正する処理を行う補正処理部として機能させる。

撮像装置からの画像と、移動体からの位置情報とに基づき、特定の撮像時刻に撮像された画像とそのときにその画像装置で撮像された移動体とをマッチングする。撮像時刻における移動体からの位置情報と、画像から得られた移動体の位置情報とにより両者の誤差が算出され、移動体の位置座標がその誤差により補正される。車載カメラの画像を使用せず、既存の撮像装置を使用して移動体の位置補正を行うことができる。

（２２）この開示の第６の局面に係る移動体の位置管理方法は、コンピュータが、自己の位置情報及び時刻情報を含む移動体情報を維持するステップと、コンピュータが、所定のタイミングで移動体情報を所定の位置補正サーバに送信するステップと、コンピュータが、移動体情報を維持するステップにより維持されている位置情報を補正すべきことを示す補正情報を外部から受信したことに応答して、補正情報を使用して位置情報を補正するステップとを含む。

移動体の位置情報及び時刻情報を含む移動体情報を位置補正サーバに送信することで、移動体の位置情報を補正する補正情報をサーバから受信し、位置情報をより精度高い値に維持できる。

（２３）この開示の第７の局面に係るコンピュータプログラムは、コンピュータを、自己の位置情報及び時刻情報を含む移動体情報を維持する情報維持装置と、所定のタイミングで移動体情報を所定の位置補正サーバに送信するための移動体情報送信装置と、情報維持装置により維持されている位置情報を補正すべきことを示す補正情報を外部から受信したことに応答して、補正情報を使用して位置情報を補正する補正処理部として機能させる。

（２４）この開示の第８の局面に係る車載装置は、上記した移動体の位置管理装置を搭載した車載装置である。

車載装置を搭載した移動体の位置情報及び時刻情報を含む移動体情報を位置補正サーバに送信することで、移動体の位置情報を補正する補正情報をサーバから受信し、この車載装置が維持する位置情報をより精度高い値に維持できる。

（２５）この開示の第９の局面に係る車両は、上記した車載装置を搭載した車両である。

上記した車載装置を搭載した車両の位置情報及び時刻情報を含む移動体情報を位置補正サーバに送信する。それにより車載装置が移動体の位置情報を補正する補正情報をサーバから受信し、この車載装置が維持する位置情報をより精度高い値に維持できる。

［実施の形態の詳細な説明］
＜第１の開示＞
〈構成〉
図３は、第１の開示に係る位置補正システム１５０の概略構成を示す図である。図３を参照して、この位置補正システム１５０では、例えば高層ビル１６２、１６４、１６６、１６８、１７０及び１７２等の中を通り抜ける道路１７４の路側、又は例えば高層ビル１６２の壁面等に設置され、その位置及びその撮像範囲が分かっているインフラカメラ１６０と、車両１７６及び１７８等の、この開示に係る車載装置を搭載した車両と、これら車両から無線により受信した、車両の車種、位置、車両で維持している時刻情報等の車両情報と、インフラカメラ１６０等のインフラセンサ設備から受信した画像データ及びＬｉＤＡＲによる移動物体の位置データ並びに画像の撮像時刻とに基づいて、交通状況俯瞰マップを作成、維持及び管理し、各車両の車載装置に対して交通支援情報を配信するためのエッジサーバ１８０とを含む。インフラカメラ１６０等のインフラセンサ設備からは、カメラの画像、又はＬｉＤＡＲ等のセンサが検出した点群データ等のセンサデータが、その撮像時刻を示す情報とともに定期的にエッジサーバ１８０にアップロードされる。

図３に示すような状況では、例えば車両１７６のように前後左右に比較的開けた場所に車両が存在する場合には、３個の測位衛星と通信可能だが、車両１７８のように両側に高層ビル１６２、１６４、１６８及び１７０が存在しているような場所に車両がいる場合には、３個の測位衛星と通信ができず、２個又は１個の測位衛星としかできない場合が起こり得る。そうした場合には、例えば車両１７６の車載装置は、最後にＧＮＳＳで取得した位置情報に、その後のデッドレコニングで累積した移動情報を加算することで位置情報を推定する処理を行う。以下に説明するこの開示に係るエッジサーバ１８０は、そのような状況にある車両を追跡し、インフラカメラ１６０からの画像及びその撮像時刻、並びに各車両から受信した車両の位置情報に基づいて車両の位置情報を補正する補正情報を作成し、問題となる車両に送信する機能を持つ。

なお、デッドレコニングにより推定された位置情報には、後に述べるように、ＧＮＳＳにより測定された位置情報の誤差よりも相当に大きな誤差が含まれる。この誤差は、例えば図３に示す車両１７６及び１７８の周囲に描いた円により表される。この誤差が大きいと、図３に示すように複数の車両がこの円内に存在することがある。この開示のようにインフラカメラ１６０により撮像された画像に含まれる車両が同一車種の場合には、いずれが対象車両か判定できないことがある。この開示では、そうした場合には対象車両の位置補正は行わないが、後述の変形例のように、特定の条件が満たされる場合には、対象車両に近接した同一車種の車両が複数台ある場合にも、対象車両を特定できることがある。

図４は、この開示における車両の位置補正の一手法を説明するための模式図である。図４を参照して、この開示の一手法では、何らかのランドマーク（例えば道路のペイント２０２）について、エッジサーバ１８０が予めその正確な位置（Ｒｘ，Ｒｙ）を特定し、記憶しておく。車両位置（Ｃｘ，Ｃｙ）として自己の位置をデッドレコニングにより推定している車両２００の画像が、インフラカメラ１６０等のインフラ設備装置により撮像された画像内に、ペイント２０２とともに存在していることをエッジサーバ１８０が認識すると、ペイント２０２の位置（Ｒｘ，Ｒｙ）と画像内でのペイント２０２と車両２００との間の距離２０４に基づいてその差（ΔＰｘ、ΔＰｙ）を算出し、その値から車両２００の正確な位置を算出する。さらにエッジサーバ１８０は、このようにして算出した車両２００の正確な位置と、車両２００から受信した、車両２００が推定しているその位置（Ｃｘ，Ｃｙ）との誤差を算出し、その誤差を車両２００に送信する。車両２００は、これ以後、自己がデッドレコニングにより所定時間間隔で推定する車両の位置に、エッジサーバ１８０から受信した誤差を加算する処理を繰返すことで車両の位置情報を取得する。

もちろん、道路のペイントではなく、画像内の特定の建物等でもよい。複数の特徴物との関係で車両の位置を算出することも可能である。

他の手法として、インフラカメラの画像を入力として、その画像内の車両の位置を推定するニューラルネットワークモデルを使用してもよい。この場合、画像を撮像するカメラはインフラカメラであって、その撮像画像の背景が基本的に常に同一であるため、その中の車両を検出することが、車載カメラからの画像から特徴物を検出するよりもはるかに高い精度で行えるという利点がある。以下に説明するこの開示では、後者の手法を使用する。

図５は、この開示に関係する車両２００の概略構成を示す模式図である。図５を参照して、この開示に関係する車両２００は、例えばミリ波レーダ２１２、車載カメラ２１４、ＬｉＤＡＲ２１６等のセンサ群と、これらセンサ群が検出データとして出力するセンサデータを定期的にエッジサーバ１８０にアップロードし、エッジサーバ１８０から交通支援情報を受信して運転者のための交通支援を行う車載装置２１０とを含む。

図６は、車載装置２１０の概略ハードウェア構成を示すブロック図である。図６を参照して、車載装置２１０は、車内ＬＡＮに接続されたＨＭＩ（Ｈｕｍａｎ－ＭａｃｈｉｎｅＩｎｔｅｒｆａｃｅ）コントローラ２３２と、ＨＭＩコントローラ２３２と同様、車内ＬＡＮに接続された車外通信コントローラ２３０と、車外通信コントローラ２３０に接続された、第５世代移動通信システム（いわゆる「５Ｇ」）、高度道路交通システム（ＩｎｔｅｌｌｉｇｅｎｔＴｒａｎｓｐｏｒｔＳｙｓｔｅｍｓ、いわゆる「ＩＴＳ」）、ＧＮＳＳの一種であるＧＰＳ、及びＷｉ―Ｆｉのためのアンテナとして機能する統合アンテナ２４０と、車内ＬＡＮによりＨＭＩコントローラ２３２及び車外通信コントローラ２３０に接続された自動運転コントローラ２３４と、車内ＬＡＮに接続された走行系コントローラ２３６とを含む。

ＨＭＩコントローラ２３２には、モニタ２４２と、複数のＥＣＵ（ＥｌｅｃｔｒｏｎｉｃＣｏｎｔｒｏｌＵｎｉｔ）２４４、２４６が接続されている。

自動運転コントローラ２３４には、ミリ波レーダ２１２、車載カメラ２１４、ＬｉＤＡＲ２１６に加えて、自動運転ＥＣＵ２４８が接続されている。

走行系コントローラ２３６には、車両の走行制御のための複数のＥＣＵが接続されている。

図７は、この開示において使用される、図６に示すＨＭＩコントローラ２３２のハードウェア構成を示すブロック図である。図７を参照して、ＨＭＩコントローラ２３２は、コンピュータ３５０と、コンピュータ３５０に接続されたタッチパネル３５２と、コンピュータ３５０に接続され、タッチパネル３５２とともにユーザＩ／Ｆを提供するＬＣＤ等からなるモニタ２４２と、ユーザに対して音声による交通支援情報の提供及び音声によるコンピュータ３５０のユーザＩ／Ｆを提供するためのスピーカ・マイク３６０とを含む。

コンピュータ３５０は、とＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）と、ＣＰＵ３７０に接続され、ＣＰＵ３７０とＨＭＩコントローラ２３２内の各ユニットとの間のデータ及び制御信号の通信経路を提供するバス３７２と、コンピュータ３５０のブートアッププログラム等を記憶するＲＯＭ３７４と、随時書込読出可能なＲＡＭ３７６と、ハードディスク、ＳＳＤ等の補助記憶装置３７８と、図６に示す車外通信コントローラ２３０及び統合アンテナ２４０を介してエッジサーバ１８０との無線通信を行うための無線通信部３８０と、バス３７２に接続され、ＵＳＢメモリ３６２が着脱可能なＵＳＢメモリポート３８４とを含む。

コンピュータ３５０はさらに、バス３７２に接続され、各種ＥＣＵ３５６及び各種センサ３５８とコンピュータ３５０との間のＩ／Ｆとなる入出力Ｉ／Ｆ３８２と、バス３７２とスピーカ・マイク３６０とのインターフェイスを提供するための音声処理インターフェイス３９０と、バス３７２と車内ＬＡＮ３９４とに接続されたネットワークＩ／Ｆ３９２とを含む。

図８は、この開示における車載装置２１０でのデータアップロード処理を実現するコンピュータプログラム（以下、単に「プログラム」という。）の制御構造を示すフローチャートである。このプログラムは図７に示すＨＭＩコントローラ２３２のＣＰＵ３７０により実行される。

図８を参照して、このプログラムは所定間隔で繰返して実行されるプログラムであって、前回のこのプログラムの実行時から今回の実行時までの間に図７に示す各種センサ３５８からバス３７２が受信し、ＲＡＭ３７６又は補助記憶装置３７８に格納したデータをそれら記憶装置から読出すステップ４００と、読出した情報をエッジサーバ１８０にアップロードして処理を終了するステップ４０２とを含む。

ステップ４００でエッジサーバ１８０にアップロードされる情報は、ＨＭＩコントローラ２３２を含む車載装置２１０を搭載した車両の位置情報、車種、時刻情報、ＧＰＳ性能、ＧＰＳが通信可能な衛星数、車速及び加速度等を含む。

図９は、この開示における車載装置での位置補正処理を実現するプログラムの制御構造を示すフローチャートである。図９を参照して、このプログラムは、データを受信するたびに起動される。このプログラムは、受信したデータがセンサデータか否かを判定してその結果にしたがって制御の流れを分岐するステップ５００と、ステップ５００の判定が肯定のときに、受信したセンサデータをＲＡＭ３７６又は補助記憶装置３７８に保存して処理を終了するステップ５０２と、ステップ５００の判定が否定であることに応答して、受信したデータがエッジサーバ１８０からの位置補正情報か否かを判定し、結果に応じて制御の流れを分岐させるステップ５０４とを含む。

このプログラムはさらに、ステップ５０４での判定が肯定であることに応答して、受信した位置補正情報をＲＡＭ３７６又は補助記憶装置３７８に保存してプログラムの実行を終了するステップ５０８と、ステップ５０４の判定が否定であることに応答して、そのデータに対してそのデータの種別により定まる処理を実行してこのプログラムの実行を終了するステップ５１２とを含む。ステップ５０８の処理で保存された位置補正情報は、この後にはデッドレコニングにより計算された位置情報に加算される。なお、図示はしていないが、通信可能な衛星数が３個以上に戻った場合には、この位置補正情報はクリアされる。

図１０は、この開示において使用されるエッジサーバ１８０の外観を示す図である。図１０を参照して、このエッジサーバ１８０は、ＵＳＢメモリポート６５２及びＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）ドライブ６５０を有するコンピュータ６４０と、キーボード６４６と、マウス６４８と、モニタ６４２とを含む。

図１１は、図１０に示すエッジサーバの概略ハードウェア構成を示すブロック図である。図１１を参照して、コンピュータ６４０は、ＵＳＢメモリポート６５２及びＤＶＤドライブ６５０に加えて、ＣＰＵ６５６と、ＣＰＵ６５６、ＵＳＢメモリポート６５２及びＤＶＤドライブ６５０に接続されたバス６６６と、数値計算等を並列的に実行可能なＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）６５７と、ブートアッププログラム等を記憶する読出専用メモリ（ＲＯＭ）６５８と、バス６６６に接続され、プログラム命令、システムプログラム及び作業データ等を記憶するＲＡＭ６６０と、ハードディスク６５４を含む。エッジサーバ１８０はさらに、他端末との通信を可能とするネットワーク６６８への接続を提供するネットワークインターフェイス６４４を含む。ＧＰＵ６５７は、画像処理及びニューラルネットワーク等で生ずる大量の数値計算を同時並行的に高速に実行可能である。

エッジサーバ１８０をこの発明の各開示に係るエッジサーバ１８０の各機能部として機能させるためのコンピュータプログラムは、ＤＶＤドライブ６５０又はＵＳＢメモリポート６５２に装着されるＤＶＤ６６２又はＵＳＢメモリ６６４に記憶されて流通し、これらからさらにハードディスク６５４に転送される。又は、プログラムはネットワーク６６８を通じてコンピュータ６４０に送信されハードディスク６５４に記憶されてもよい。プログラムは実行の際にＲＡＭ６６０にロードされる。ＤＶＤ６６２から、ＵＳＢメモリ６６４から又はネットワーク６６８を介して、直接にＲＡＭ６６０にプログラムをロードしてもよい。

このプログラムは、コンピュータ６４０を、上記各開示に係るエッジサーバ１８０及びその各機能部として機能させるための複数個の命令からなる命令列を含む。コンピュータ６４０にこの動作を行わせるのに必要な基本的機能のいくつかはコンピュータ６４０上で動作するオペレーティングシステム若しくはサードパーティのプログラム又はコンピュータ６４０にインストールされる、ダイナミックリンク可能な各種プログラミングツールキット又はプログラムライブラリにより提供される。したがって、このプログラム自体はこの開示のシステム、装置及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令の中で、所望の結果が得られるように制御されたやり方で適切な機能又はプログラミングツールキット又はプログラムライブラリ内の適切なプログラムを実行時に動的に呼出すことにより、上記したシステム、装置又は方法としての機能を実現する命令のみを含んでいればよい。もちろん、プログラムのみで必要な機能を全て提供してもよい。

図１２は、図１０に示すエッジサーバの機能的構成を示すブロック図である。図１２を参照して、エッジサーバ１８０はこうした運用を可能にするために以下のような構成を持つ。エッジサーバ１８０は、上記したように複数のインフラセンサ設備（カメラ及びＬｉＤＡＲのいずれか又は双方を含む。）からの信号及び車両搭載センサ（カメラ及びＬｉＤＡＲのいずれか又は双方を含む。）からの信号を無線通信又は有線通信経由で受信し、受信したデータをその内容により振り分ける受信処理部７００を含む。

エッジサーバ１８０はさらに、受信処理部７００が受信したセンサデータを解析することにより、管理対象の範囲内に存在する車両及び歩行者を含む各移動体の位置、速度、属性等の解析結果を出力するための動体追跡部７０２と、動体追跡部７０２が出力する解析結果を記憶するための解析結果記憶部７０４と、受信処理部７００が受信した信号に基づいて、車両及び歩行者等の移動体の車種、種別、時刻情報、ＧＰＳ性能、ＧＰＳが通信可能な衛星数等を含む属性を検出する属性検出部７０６と、属性検出部７０６が検出した各移動体の属性を記憶する属性記憶部７０８と、解析結果記憶部７０４に記憶された解析結果と属性記憶部７０８に記憶された属性とを統合的に管理し、高精度マップ情報と統合して交通状況俯瞰マップを生成し出力する統合処理部７１０と、統合処理部７１０が出力する交通状況俯瞰マップを記憶する解析結果記憶部７１２とを含む。動体追跡部７０２が行うセンサデータによる解析手法自体は公知のもののいずれを採用してもよい。

エッジサーバ１８０はさらに、受信処理部７００が各車両及び端末から受信した信号に基づいて、管理対象のエリア内に存在する車両等の移動体の位置情報、車速及び加速度等からなる情報を得て、その情報に基づいて移動体を追跡するための車両・端末追跡部７１４と、車両・端末追跡部７１４により得られた各車両及び端末等の移動体情報を記憶するための車両・端末情報記憶部７１６と、解析結果記憶部７１２に記憶されたＧＰＳが通信可能な衛星数に基づきＧＰＳが通信可能な衛星数が３未満である車両、又はＧＰＳ精度（性能）が所定のしきい値以下である車両を特定し位置情報の補正が必要な車両として車両・端末情報記憶部７１６に記憶されたその車両の車両・端末情報をマークする追跡対象決定部７１８と、統合処理部７１０により生成され解析結果記憶部７１２に記憶された解析結果に基づいて、運転支援情報を生成するための運転支援情報生成部７３４とを含む。

エッジサーバ１８０はさらに、追跡対象の車両と画像内の車両とのマッチングを行うための機能部として、受信処理部７００を介して管理対象のインフラカメラからの画像を受信し、画像データと撮像時刻とに分離するインフラ画像受信部７２０と、インフラ画像受信部７２０が受信した画像内の車両の画像及びその撮像時刻を記憶するためのインフラ画像記憶部７２１と、車両・端末追跡部７１４及び車両・端末情報記憶部７１６に接続され、車両・端末追跡部７１４が位置補正の対象車両から位置情報を受信したことに応答して、その車両から所定範囲内に同一車種の車両が存在するか否かを判定するための同一車種有無判定部７２２と、管理領域内のインフラカメラの撮像領域地点の中でその車両が最近通過した時点のインフラ画像をインフラ画像記憶部７２１で特定するための画像特定部７２６と、画像特定部７２６により特定されたインフラ画像から、車両・端末追跡部７１４が位置情報を受信した車両の位置を推定するための車両位置推定部７２４と、車両・端末情報記憶部７１６に記憶されている、画像特定部７２６により特定された画像の撮像時刻でのその車両の位置と、車両位置推定部７２４により推定されたその車両の位置との誤差を算出するための誤差算出部７２８とを含む。

車両位置推定部７２４は、２段階のニューラルネットワークを含む。第１段階のニューラルネットワークは、画像内のオブジェクトを、その画像内の位置、色、大きさ及びオブジェクト種別等の属性を含めて認識するためのものである。こうした技術は既に存在しており、１つの画像から複数のオブジェクトをそれらの種別を含めて推定可能である。車両位置推定部７２４はさらに、この第１段階のニューラルネットワークで認識されたオブジェクトの中で、オブジェクトの種別が車両であるものについて、その位置を画像内で認識する第２のニューラルネットワークを含む。この第２のニューラルネットワークは、画像内の他のオブジェクトについては、そのインフラカメラにより通常撮像される画像に置換し、通常そのインフラカメラにより撮像される背景画像に、対象となる車両の画像のみが配置された画像を入力とし、その車両の地理的位置を推定する。

この第２のニューラルネットワークの訓練には、背景画像に車両を配置した画像を入力とし、そのときの車両の地理的位置を教師データとする訓練データを用いる。車両は実際にその位置に配置する必要はなく、背景画像に、車両の画像を、その想定される車両位置に基づいて計算した大きさ、形状、及び姿勢で配置した画像を用いて訓練データの入力とすればよい。車両の色等についても同様で、画像処理により同じ画像で車両の色のみ異なる画像を複数作成し、訓練用の入力データとして用いることができる。なお、インフラカメラが撮像する画像の背景は、常に同一と考えられる。そのため、インフラカメラごとに訓練データを準備すると、訓練データが疎になることがなく、認識精度を高くできる。したがって、車両位置推定部７２４はインフラカメラごとに訓練したものを個別に準備し、画像特定部７２６により特定された画像を撮像したインフラカメラ専用のニューラルネットワークを車両位置推定部７２４として用いる。

エッジサーバ１８０はさらに、運転支援情報生成部７３４が生成した運転支援情報から車両・端末情報記憶部７１６に記憶された各車両に配信するための情報を生成したり、誤差算出部７２８が算出した誤差に基づき、車両・端末情報記憶部７１６に記憶された車両の中で、車両・端末追跡部７１４が受信した位置情報に対応する車両に送信するための位置の誤差補正情報を生成したりするための情報生成部７３０と、情報生成部７３０により生成された運転支援情報及び誤差補正情報をそれぞれの送信先（車載装置）に送信するための送信処理部７３２とを含む。送信先に関する情報は車両・端末情報記憶部７１６に記憶された車両のアドレスに基づいて情報生成部７３０が生成し各情報に付与する。

図１３は、図１２に示す各機能を実現するためのプログラムの制御構造を示すフローチャートである。図１３を参照して、このプログラムは、エッジサーバ１８０が情報を受信するたびに起動される。このプログラムは、受信した情報が車両からの情報か否かを判定してその結果により制御の流れを分岐させるステップ７５０と、ステップ７５０における判定が肯定であることに応答して、受信した情報からその車両の識別情報を特定するステップ７５４と、特定された対象車両の追跡情報、解析情報及び属性情報を、受信した位置情報に基づいて更新するステップ７５６と、受信した情報が、位置情報補正の対象となっている車両からの位置情報か否かを判定し制御の流れを分岐させるステップ７５８と、ステップ７５８の判定が肯定であることに応答して、同一車種がその車両の近傍に存在するか否かを図１２の車両・端末情報記憶部７１６に記憶されている各車両の位置情報に基づいてチェックするステップ７６０と、ステップ７６０の処理の結果、同一車種の車両がこの車両の近傍に存在しているか否かを判定し、その結果に応じて制御の流れを分岐させるステップ７６２とを含む。ステップ７６２の判定結果が肯定のときには、この車両の位置情報の補正は行わずこのプログラムの実行を終了する。

このプログラムはさらに、ステップ７６２の判定が否定のとき、すなわちこの車両の近傍に同一車種の車両が存在していないと判定されたことに応答して、その車両がその画像を送信してきた時点で、その車両から受信した位置情報の近傍に存在するインフラカメラからの画像で撮像された画像の中で、その車両の画像を含む画像及びその車両の地理的位置を、画像内の車両像を認識することで特定するステップ７６４と、ステップ７６４で特定された画像が撮像された時点でエッジサーバ１８０が受信していたその車両の位置情報を車両・端末情報記憶部７１６から読出すステップ７６６と、ステップ７６６で読出した、車両から受信した位置情報と、画像から得た位置情報との差により、その車両の位置情報の誤差を算出するステップ７６８と、ステップ７６８で算出された誤差を、対象となる車両（このプログラムが起動されたときの情報を送信してきた車両）の車載装置に位置補正情報として送信してこのプログラムの実行を終了するステップ７７０とを含む。

このプログラムはさらに、ステップ７５０の判定が否定のとき、すなわち受信した情報が車両からの情報ではないと判定されたことに応答して、受信情報をその情報の種類に応じて処理し、このプログラムの実行を終了するステップ７５２を含む。なお、ステップ７５８の判定が否定のとき、すなわち位置情報の補正のための追跡対象となっている車両からの情報ではないと判定されたときにもこのプログラムの実行は終了される。

ステップ７６４では、インフラカメラの画像に基づいて車両の位置を推定する処理がニューラルネットワークを用いて行われる。このニューラルネットワークは、インフラカメラごとに予め訓練が行われているものである。その訓練には、そのカメラからした画像を入力データ、その画像内に存在する車両の、実際に測定された地理的位置を教師データとする訓練データが用いられる。車両としては多数の車種、車両の型、色等の種々の画像を用いる。教師データとして使用する車両位置は、一貫した方法で決める必要がある。そして車両位置の推定の際にも、同様の方法を採用する。

なお、この開示では、インフラカメラごとに上記したニューラルネットワークのモデルを訓練する。ニューラルネットワークとしては畳込みニューラルネットワークがこの場合には好適である。インフラカメラが撮像する画像は基本的にいつでも同一で変化がない。したがって、同一の背景の中に存在する車両の位置を特定するための教師データが疎となるおそれは小さく、教師データとして不可能なほど多い画像を準備することになるおそれはない。教師データの画像として、実際の車両をインフラカメラの撮像範囲内に配置する必要はない。例えば、インフラカメラが撮像する、車両を含まない画像を１枚だけ（又は天気に応じて複数枚）用意し、そこに別途撮像した車両の画像を配置してもよい。この場合には、どのような向きでどのような位置にどのような大きさの車両画像を配置するかについて、予め換算式を用いて定め、画像を合成すればよい。ただし、車両の位置については、教師データが疎になることを防ぐために、ある程度の粒度で特定することが望ましい。例えば地図を３０センチメートル四方の矩形に区分し、車両の中心がそれら矩形のうちのいずれの中に存在するかを示す情報を教師データとすればよい。教師データが豊富に入手できるなら、この粒度を上げて、例えば２０センチメートル四方、又は１５センチメートル四方等のより小さな矩形に地図を区分し、車両位置をその矩形の位置で特定することもできる。すなわち、車両の位置の測定精度を矩形の辺の長さに制限することで、モデルのための訓練データの量をコントロールできる。

原理的には、インフラカメラごとではなく、全てのインフラカメラについて上記したニューラルネットワークを学習してもよい。しかし、インフラカメラによって背景が異なるので、教師データを十分に準備することが難しく、またニューラルネットワークの学習にも長時間を要することになる。

〈動作〉
以上、構成を説明した位置補正システム１５０は以下のように動作する。まず、予め上記した方法により、図１２に示すエッジサーバ１８０の車両位置推定部７２４の訓練を、インフラカメラごとに行い、インフラカメラごとに車両位置推定部７２４のニューラルネットワークモデルを準備しておく。

通常、図７に示す各車両のＨＭＩコントローラ２３２は、各センサからのセンサデータを受信し、ＲＡＭ３７６又は補助記憶装置３７８に記憶する。ＨＭＩコントローラ２３２は、定期的に図８に示すプログラムをＣＰＵ３７０で実行することにより、その車両の位置情報、時刻情報、車種、ＧＰＳ性能、ＧＰＳが通信可能な衛星数、車速及び加速度等の情報を図３に示すエッジサーバ１８０に無線を通じて送信する。

図１２を参照して、エッジサーバ１８０の受信処理部７００は、この情報を受信すると、車両情報を用いて、今まで管理していなかった車両か否かを判定し、新たな車両であれば動体追跡部７０２、属性検出部７０６、車両・端末追跡部７１４に新たな車両のエントリを生成し、同じ識別番号を付与する。受信処理部７００は位置情報を車両・端末追跡部７１４に与え、車両・端末追跡部７１４はそれらを車両・端末情報記憶部７１６に記憶する。又は、同じ車両に対する新しい車両情報を受信したときには、以前の車両の記録を新しい記録で更新する。

受信処理部７００が車両等からセンサ情報を受信したときには、動体追跡部７０２は、それらセンサ情報を動体追跡部７０２及び属性検出部７０６に与える。動体追跡部７０２は、センサ情報から、管理範囲内に存在する車両等の移動体の存在を認識し、各移動体についてその位置、移動方向、移動速度等に関する情報を生成する。これら情報は解析結果記憶部７０４に記憶される。

一方、属性検出部７０６は、与えられたセンサデータに基づき、動体の色、大きさ、種類（歩行者／大人、歩行者／子供、車両（大型車、小型車、二輪車、自転車）等の属性を検出し、属性記憶部７０８に動体ごとに記憶させる。統合処理部７１０はこれら情報と、解析結果記憶部７０４に維持されている各動体についての属性とを統合して交通状況俯瞰マップを作成し、解析結果記憶部７１２に記憶させる。

また受信処理部７００は、車両等から位置情報を受信するとその情報を車両・端末追跡部７１４に与える。車両・端末追跡部７１４は、管理範囲内に存在する車両の車両情報を記憶し、定期的にその更新時刻、位置情報、移動速度及び移動方向等によって車両の現在位置を把握し維持管理する。

運転支援情報生成部７３４は、定期的に解析結果記憶部７１２から交通状況俯瞰マップを読出し、公知の方法で運転支援情報を生成し、運転支援情報生成部７３４に与える。運転支援情報生成部７３４は、この運転支援情報を受けると、車両・端末情報記憶部７１６に記憶されている位置情報に基づいて運転支援情報を送信する車両のアドレスを決定し、送信処理部７３２を介してそのアドレスに運転支援情報を送信する。

インフラ画像を受信したときには、受信処理部７００はこの画像を動体追跡部７０２、属性検出部７０６、及びインフラ画像受信部７２０に与える。インフラ画像受信部７２０はこの画像をインフラ画像記憶部７２１に格納する。

一方、位置情報を受信したときには、同一車種有無判定部７２２によりその情報を送信してきた車両が位置情報の補正のための追跡対象となっているか否かが判定され（図１３のステップ７５８）、さらに追跡対象であればその位置から所定範囲内に、同一車種の車両が存在しているか否かが車両・端末情報記憶部７１６の中の情報に基づいて同一車種有無判定部７２２によりチェックされる（ステップ７６０）。もしもそのような車両があれば（ステップ７６２でＹＥＳ）、この開示では、位置情報の補正は行わない。そのような車両が他に存在していなければ（ステップ７６２でＮＯ）、図１３のステップ７６４、７６６、７６８及び７７０の処理がこの順に実行され、位置補正情報が該当車両に送信される。

図９を参照して、この補正情報を受信した車両では、図９のステップ５００→ステップ５０４という経路を経てステップ５０８の処理を実行する。すなわち、受信した位置補正情報をＲＡＭ３７６又は補助記憶装置３７８（図７参照）に保存する。以下、デッドレコニングにより算出された位置情報にこの位置補正情報が加算される。ＧＰＳが通信可能な測位衛星の数が３個以上となったときには位置補正情報はクリアされる。

以上のようにこの開示によれば、車両から位置情報が受信されると、その車両が位置補正のための追跡対象となっているか否かが判定される。対象となっている場合には、その近傍に同一車種の車両がないことを確認することで、その車両が特定地点を通過した時点で撮像された、その車両の画像を含むインフラ画像が特定される（ステップ７６４）。その画像から、車両の正確な位置が推定される。すなわち、画像に含まれる車両と、追跡対象の画像とがマッチングされる。こうして推定された位置と、その画像が撮像された時点にその車両から送信された位置情報との間の誤差が、位置誤差の補正情報として該当車両に送信される。該当車両はこの補正情報を格納し、以後、デッドレコニングで位置情報が出力されるたびに、その位置情報にこの誤差を加算することで、デッドレコニングによる位置情報を補正する。この車両のＧＰＳが通信可能な測位衛星の数が３個以上となった時点でこの補正情報はクリアされ、ＧＰＳの出力が位置情報として採用されるようになる。

したがって、インフラカメラのように、すでに普及しているインフラ設備を用いて、位置情報の精度が落ちている車両の位置を補正できる。特許文献１の光ビーコンのような設備を多数配置する必要はなく、また特許文献２のように車載カメラの画像を使用する必要もない。車載カメラの画像と比較してインフラカメラの画像の背景は基本的に常に同一であり、車両の検出及び位置の検出も精度高く行える。

インフラカメラによる撮像画像の中の車両の画像及びその位置が認識される。車両・端末追跡部７１４により管理されているその車両に関する車両情報から、その画像が撮像されたときにその車両から送信され、車両・端末追跡部７１４に記憶されていた位置情報が読出される。この２つの位置が比較され、両者の誤差が計算され、その車両位置誤差情報として送信される。

なお、この開示は、主として図３に示すような高層ビル街を車両が走行する場合の問題を解決するためのものである。しかしこうした問題は高層ビル街だけで生ずるわけではない。例えばトンネル内等でも同様の問題が生じ得る。多くの場合、トンネルの中にもインフラカメラが設置されているので、この開示に係る位置補正システムを利用できる。デッドレコニングでの位置誤差の目安は、オープンスカイでは中央値で数メートル、最大値で１０メートル程度、ビル街では中央値が十数メートル、最大値は百数十メートル、トンネル内では中央値が数十メートル、最大値は百数十メートルである。こうした誤差はかなり大きなものである。

インフラカメラを用いた上記開示のシステムによる位置の検知の誤差は、実験によれば数メートル以内に収めることができる。解析に要する時間は、位置検出に数十ミリ秒、車種の識別には１秒以内に収めることができる。また、インフラカメラの画像はズームインすることができる。ズームインして撮像範囲を絞ることで、さらに精度を高くできる。なお、車両が特定できれば、その車両がインフラカメラの撮像領域を通り過ぎた後でも位置を補正可能である。

―変形例―
上記第１の開示のシステムでは、図１２に示す同一車種有無判定部７２２により、受信した位置情報により特定される位置から所定範囲内にその車両の車種と全く同じ車種の他の車両が存在しているか否かが判定される。もしもそのような他の車両が存在している場合には、受信した位置情報に基づく位置情報の補正処理は実行されない。全く同じ車種の２つ以上の車両が同一の時刻にごく近くに存在していることは稀なので、このような開示に係る方法でも特に問題は生じないと考えられる。

しかし、稀とはいえ、そうした状況が発生しないとはいえない。例えば図１４では、全く同一車種の２台の車両７８０及び７８２がお互いの中心の間の距離Ｌで近接している場合を示す。また車両７８０の位置情報の誤差範囲が車両７８０を中心として半径Ｒの円７８４、車両７８２の位置情報の誤差範囲が車両７８２を中心として円７８４と重複する円７８６だとすると、車両７８０から受信した位置情報が本当に車両７８０の位置だったとしても、画像からはその車両が車両７８０なのかは判別できない。このように２台の車両が近接して存在しており、しかも両者とも同一車種である場合、インフラ画像にもこれら２台の車両が存在する場合が多くなる。仮にインフラ画像の中にこれらの中の１台しか認識できなかったとしても、その車両が上記２台の中のいずれであるかは画像からも、上記位置情報からも判定できない。したがってこの場合には、上記第１の開示では位置情報の補正は行わない。

しかし、このような場合でも、条件によっては位置情報を送信してきた車両を判別可能な場合がある。図１５は、全く同一車種の２台の車両が近接している場合の車両同定に関する問題点を解決するための方法を示す模式図である。図１５を参照して、仮に車両７８０及び７８２の双方とも前方画像を撮像する車載カメラを装備しているものとする。両者は同一車種なのでこうした条件が充足される可能性は高い。この場合、車両７８２の車載カメラの撮像領域７９０には車両７８０が存在するので、その画像には車両７８０の画像があるはずである。一方、車両７８０の車載カメラの撮像領域７８８には、車両７８０、７８２と同一車種の車両の画像は写っていないはずである。

そこで、上記したように近接した位置に２台の同一車種の車両が存在している場合、それらの車両が前方を撮像する車載カメラを装備している場合には、その画像をエッジサーバ１８０に送信するようそれら車両に指示する。受信した画像内の車両を画像認識し、位置情報を送ってきた車両と同一車種の車両が写っていれば、位置情報を送ってきた車両は２台の中の後ろの車両７８２であることが分かる。一方、そうした車両が写っていない場合、その車両は先頭の車両７８０であると判定できる。そこで、インフラ画像内の先頭車両の画像の地理的位置を第１の開示と同様に認識し、先頭車両の位置情報と比較して補正情報を生成する。

図１６は、全く同一車種の３台の車両が近接している場合の車両同定に関する問題点を説明するための模式図である。この例では、車両７８０及び７８２に加え、全く同一車種の車両７９２が車両７８０等の車線に隣接した車線を並走している。このような場合にも、一定の条件のときには位置情報を送信してきた車両を同定できる。

例えばこの場合にも、これら３台の車両に、前方画像を撮像する車載カメラが存在していれば、それらを送信するようこれら車両に指示する。これらの車両から受信した車載カメラの画像は、同一車種の車両の像を含むものと含まないものとに分類できる。例えば車両７９２の車載カメラの撮像領域７９６には同一車種の車両は存在しない。したがってその画像の中にはこれらと同一車両の画像はないはずである。撮像領域７８８を持つ車両７８０の場合も同様である。しかし撮像領域７９０を持つ車両７８２の場合には、撮像領域７９０に車両７８０が存在しているので、前方の撮像画像の中には車両７８０の画像が存在含まれるはずである。

位置情報を送信してきた車両からの画像が同一車種の車両の像を含み、他の２台の車両からの画像が同一車両の像を含まない場合には、図１６でこの条件を満たすのは、位置情報を送信してきた車両が車両７８２である場合のみである。したがってこの場合には車両７８２が位置情報を送信してきた車両として同定できる。

一方、位置情報を送信してきた車両からの画像が同一車種の車両の像を含まず、他の２台の車両の中の一方からの画像にも同一車種の車両の像が含まれない場合には、位置情報を送信してきた車両は車両７８０か車両７９２かを判定できない。したがってこの場合には位置情報を送信してきた車両は同定できない。

これと同様、位置情報を送信してきた車両からの画像が同一車種の車両の像を含み、他の車両の中の１台の車両からの画像も同一車種の車両の像を含む場合には、位置情報を送信してきた車両は同定できない。また、位置情報を送信してきた車両からの画像が同一車種の車両の像を含まず、他の２台の車両からの画像がいずれも同一車種の車両の像を含む場合には、同一車種の車両の像を含まない画像を送信してきた車両が、位置情報を送信してきた車両であると判定できる。

この考え方によれば、位置情報を送信してきた車両からの画像に含まれる同一車種の車両の像の数が、他の車両からの画像に含まれる同一車種の車両の像の数のいずれとも異なっている場合には、位置情報を送信してきた車両を同定でき、それ以外の場合には同定できないことになる。

この開示では、この考え方にしたがって、位置情報を送信してきた車両の近傍に同一車種の車両が存在している場合でも、特定の条件が成立したときには、位置情報を送信してきた車両を同定し、その車両の位置情報を補正する。

図１７は、この開示に係るエッジサーバが実行するプログラムの制御構造を示すフローチャートである。図１７を参照して、このプログラムは、図１３に示すものと同じステップ７５０、７５２、７５４、７５６、７５８及び７６０を含む。このプログラムは、図１３と異なり、ステップ７６０に続き、近傍に同一車種の車両が１台のみか否かを判定し、結果により制御の流れを分岐させるステップ８３０と、ステップ８３０の判定が否定のときに、それら同一車種の車両の全てから前方カメラの画像を取得するステップ８３２と、ステップ８３２で取得した各画像内の車両を車種も含めて認識するステップ８３４と、ステップ８３４に続き、位置情報を送信してきた車両からの前方画像内の同一車種の車両の数が、他の画像内の同一車種の車両の数のいずれとも異なるか否かを判定し、判定にしたがって制御の流れを分岐させるステップ８３６とを含む。ステップ８３６の判定結果が否定ならこのプログラムの実行は終了する。すなわち、位置情報を送信してきた車両の位置情報の補正は行わない。

一方、ステップ８３６の判定が肯定のときには、位置情報を送信してきた車両からの画像に含まれる同一車種の車両の数によって、同一車種の集団内におけるその車両の位置を特定するステップ７６３を実行し、さらに図１３に示すものと同じステップ７６４、７６６、７６８及び７７０と同じ処理が実行され、このプログラムの実行は終了する。ステップ８３０の判定が肯定のときには同様にステップ７６４以下の処理が実行される。すなわち、画像内の車両と追跡対象とがマッチングされる。なお、位置情報を送信してきた車両からの前方画像に含まれる同一車種の車両がユニークなときには、例えばその数によって、同一車種の集団内の特定位置（多くは先頭又は最後尾）であることが分かる。その結果、インフラ画像内でそうした条件に合致する車両の位置を特定し、その情報を用いてその車両の位置情報を補正できる。

以上のようにこの変形例では、位置情報を送信してきた車両からの前方画像が特定の条件を満たす（画像内の同一車種の車両数がユニークである）ときにのみ、位置情報を送信してきた車両をインフラ画像内で特定し、その位置情報を補正する。それ以外のときには位置情報の補正は行わない。

このように同一車種の車両が複数台、近接しているという稀な場合でも、ある条件が満たされれば補正のための追跡対象となる車両が特定でき、その位置情報を補正できる。

＜第２の開示＞
上記した第１の開示に係る位置補正システム１５０及びその変形例では、車両から位置情報を受信したことを契機として車両の位置情報の補正が開始される。位置情報の補正では、位置情報を送信してきた車両が特定位置を走行していたときの画像が特定され、その画像からその車両の位置がニューラルネットワークで推定される。推定された位置と、その画像が撮像されたときにその車両から送信された位置との誤差に基づいて補正情報が生成される。画像内での対象車両の特定にはニューラルネットワークによる画像認識が使用され、さらに該当する車両が複数認識された場合には、特定の条件を満たすものを選択するための処理が実行される。しかしこの発明はそのようなものには限定されない。同じ画像認識でも、車両のナンバープレートを画像認識することができれば、画像内に同一車種の車両が複数台あっても、位置情報を送信してきた車両を容易に同定できる。

図１８は、この第２の開示に係るエッジサーバの機能を実現するプログラムの制御構造を示すフローチャートである。図１８に示すフローチャートは、図１３のステップ７６０に代えて、対象車両のナンバープレート情報を車両・端末情報記憶部７１６から読出すステップ９００と、ステップ９００に続き、その車両の位置の近傍に存在するインフラカメラからのインフラ画像の中で、その車両のナンバープレートを持つ車両が特定地点を通過した時点のインフラ画像を特定するステップ９０２とを含む。ステップ９０２の後は、インフラ画像内の図１３のステップ７６６、７６８、７７０が実行され、このプログラムの実行は終了する。

車両のナンバープレートが画像から認識できれば、対象となる車両の同定は容易である。したがって第１の開示の変形例のように、車両の同定のための複雑なマッチングを実行する必要はない。

＜第３の開示＞
図１９は、第３の開示に係るエッジサーバの機能を実現するプログラムの制御構造を示すフローチャートである。第１及び第２の開示のシステムは、対象車両から位置情報を受信したことを契機として位置情報の補正処理を開始している。しかし、補正処理を開始する契機は位置情報の受信には限らない。例えば、対象車両の各々について、定期的に補正処理を実行してもよい。この第３の開示はそのような例である。ハードウェア構成としては、図１０及び図１１に示す第１の開示のものと同様のサーバを利用できる。

図１９を参照して、この第３の開示を実現するためのプログラムは、図１２に示す車両・端末情報記憶部７１６に記憶されている、補正のための追跡対象である車両の各々に対して、以下の処理９４２を実行するステップ９４０を含む。

処理９４２は、処理中の対象車両について、車両・端末情報記憶部７１６に記憶されている各車両の位置情報に基づいて、現在のその車両の近くにインフラカメラが存在するかを判定し、近くにインフラカメラが存在しない場合には処理９４２を終了し次の対象車両に対する処理を開始させるステップ９５０を含む。

このプログラムはさらに、ステップ９５０の判定が肯定のときに、対象車両の近くに存在するインフラカメラの画像を取得するステップ９５２と、取得された画像内の車両を認識するステップ９５４と、認識された車両の中に、処理中の対象車両が存在するか否かを判定し、存在しない場合には処理９４２の実行を終了させるステップ９５６と、ステップ９５６の判定が肯定のときに、インフラカメラの画像に基づく画像認識により、図１２に示す車両位置推定部７２４と同様のニューラルネットワークを用いて対象車両の位置を特定するステップ９５８と、ステップ９５８で処理されたインフラ画像が撮像されたときの当該対象車両の位置を、車両・端末情報記憶部７１６に記憶されている当該車両の位置の履歴に基づいて算出するステップ９６０とを含む。

このプログラムはさらに、ステップ９５８で特定された対象車両の位置と、ステップ９６０で算出された対象車両との位置の誤差を計算するステップ９６２と、ステップ９６２計算された誤差を補正情報として処理中の対象車両に送信し処理９４２の実行を終了するステップ９６４とを含む。

この図１９に示す処理を繰返して実行することにより、第１及び第２の開示と同様、位置情報の精度が低くなっている対象車両の位置を、インフラ画像を用いて補正できる。

＜第４の開示＞
図２０は、第４の開示に係るエッジサーバの機能を実現するプログラムの制御構造を示すフローチャートである。この第４の開示に係るシステムは、インフラ画像からの画像を受信したことを契機として、その画像の中の車両の画像に基づいて当該車両の位置情報の補正を行う。

図２０を参照して、このプログラムは、図１２に示すインフラ画像受信部７２０がインフラカメラからインフラ画像を受信したことを契機として、以下の処理を実行する。

このプログラムは、インフラ画像を受信したことに応答して起動され、そのインフラ画像内の車両画像を認識するステップ９８０と、ステップ９８０に引き続き、認識された各車両について、以下の処理９８４を実行するステップ９８２と含む。

処理９４８は、処理中の車両が位置補正の対象車両か否かを車両・端末情報記憶部７１６（図１２）に記憶されている情報に基づいて判定し、判定が否定のときに処理９４８を終了するステップ９９０と、ステップ９９０の判定が肯定のときに実行される、図１９に示すものと同じステップ９５８、９６０、９６２及び９６４とを含む。

ステップ９９０で行われる車両の認識では、第１の開示とは異なる方法を用いる。インフラ画像に複数の車両の画像が含まれる場合には、ここでの判定の対象となる車両の画像以外を全てこのインフラカメラの背景画像に置換する点は第１の開示と同様である。しかしここでは、判定の対象となる画像と、判定の対象となる車両の位置情報及び属性情報等の全てとを入力とし、その画像が判定の対象となる車両の画像か否かを示す正誤の２ラベルを教師データとして訓練した畳込みニューラルネットワークを判定に用いる。このニューラルネットワークの最終層にＳｏｆｔＭａｘ関数を採用することで、このニューラルネットワークは、画像と、対象となる車両の情報とを含む入力に対して、その画像に含まれる車両の画像が、入力された車両の画像である確率を示すものとなる。車両・端末情報記憶部７１６に記憶されている全ての対象車両に対して、このニューラルネットワークによる判定を行い、最も確率が高くかつ確率がしきい値（例えば８５％）以上の場合にはその画像にある車両の像が入力された対象車両のものであると判定する。

この第４の開示ではインフラ画像を受信したことに応答して、その画像に含まれる全ての車両の画像を認識し、各車両の画像について、車両・端末情報記憶部７１６に記憶されている対象画像のものか否かを判定する。このような判定を行うことにより、インフラ画像の中の車両が対象車両か否かが分かり、そのインフラ画像が撮像されたときに対象車両から送信された位置情報と、画像から推定された車両の位置とを比較してその誤差を算出できる。

上記したいずれの開示でも、使用される画像はインフラカメラで撮像された画像である。インフラカメラで撮像された画像の背景は短期的には常に同一とみなしてよい。そのため、車載カメラを用いてランドマークを認識する場合と比較して、例えばニューラルネットワークを用いて画像の中の車両を認識する場合、教師データが疎となることがなく、ニューラルネットワークによる画像認識の精度を高くできる。またインフラカメラという、既に普及しているインフラ設備装置を使用するため光ビーコンのような特別な設備を新たに設ける必要がないという効果もある。また、図１５及び図１６では、車両のマッチングに前方画像を用いる例を示したが、この開示は前方画像を用いるものには限定されない。例えば後方画像を用いるものでもよい。

今回の開示は単に例示であって、この開示が上記した開示のみに制限されるわけではない。この開示の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。

５０、１００、１５０位置補正システム
６０光ビーコン
６２ポール
６４、１１６、１７６、１７８、２００、７８０、７８２、７９２車両
６６、６８ビーコンデータ
７０車載通信機
７２カメラ
１１０サーバ
１１２ランドマーク位置情報記憶装置
１１４ランドマーク
１６０インフラカメラ
１６２、１６４、１６６、１６８、１７０、１７２高層ビル
１７４道路
１８０エッジサーバ
２０２ペイント
２０４距離
２１０車載装置
２１２ミリ波レーダ
２１４車載カメラ
２１６ＬｉＤＡＲ
２３０車外通信コントローラ
２３２ＨＭＩコントローラ
２３４自動運転コントローラ
２３６走行系コントローラ
２４０統合アンテナ
２４２、６４２モニタ
２４４、２４６、２５０、２５２、２５４、２５６ＥＣＵ
２４８自動運転ＥＣＵ
３５０、６４０コンピュータ
３５２タッチパネル
３５６各種ＥＣＵ
３５８各種センサ
３６０スピーカ・マイク
３６２、６６４ＵＳＢメモリ
３７０、６５６ＣＰＵ
３７２、６６６バス
３７４、６５８ＲＯＭ
３７６、６６０ＲＡＭ
３７８補助記憶装置
３８０無線通信部
３８２入出力Ｉ／Ｆ
３８４、６５２ＵＳＢメモリポート
３９０音声処理Ｉ／Ｆ
３９２、６４４ネットワークＩ／Ｆ
３９４車内ＬＡＮ
４００、４０２、５００、５０２、５０４、５０８、５１２、７５０、７５２、７５４、７５６、７５８、７６０、７６２、７６３、７６４、７６６、７６８、７７０、８３０、８３２、８３４、８３６、９００、９０２、９４０、９５０、９５２、９５４、９５６、９５８、９６０、９６２、９６４、９８０、９８２、９９０ステップ
６４６キーボード
６４８マウス
６５０ＤＶＤドライブ
６５４ＨＤＤ
６５７ＧＰＵ
６６２ＤＶＤ
６６８ネットワーク
７００受信処理部
７０２動体追跡部
７０４、７１２解析結果記憶部
７０６属性検出部
７０８属性記憶部
７１０統合処理部
７１４車両・端末追跡部
７１６車両・端末情報記憶部
７１８追跡対象決定部
７２０インフラ画像受信部
７２１インフラ画像記憶部
７２２同一車種有無判定部
７２４車両位置推定部
７２６画像特定部
７２８誤差算出部
７３０情報生成部
７３２送信処理部
７３４運転支援情報生成部
７８４、７８６円
７８８、７９０、７９６撮像領域
９４２、９８４処理

Claims

移動体から、当該移動体の位置情報と時刻情報とを含む移動体情報を受信する移動体情報受信機と、
撮像範囲が特定可能な撮像装置からの撮像画像を受信する画像受信機と、
前記撮像画像の中に存在する任意の移動体の画像と前記移動体情報とに基づいて、前記任意の移動体の画像を含む撮像画像と前記移動体情報受信機に前記移動体情報を送信する移動体とをマッチングするマッチング部と、
前記マッチング部によりマッチングされた移動体から受信した前記移動体情報の前記位置情報と、前記マッチング部によりマッチングされた撮像画像とその撮像時刻とを用いて、前記移動体が維持する前記位置情報を補正する処理を行う補正処理部とを含む、位置補正サーバであって、
さらに、前記移動体情報に基づき、位置情報を補正する対象となる移動体を追跡する移動体追跡装置を含み、
前記マッチング部は、前記移動体情報が前記移動体追跡装置により追跡されている第１の移動体からの移動体情報であることに応答して、当該第１の移動体の画像を含む撮像画像を前記画像受信機が受信した撮像画像の中から抽出するための画像抽出部を含み、
前記補正処理部は、前記画像抽出部が抽出した前記撮像画像の撮像時刻に前記第１の移動体から送信され、前記移動体情報受信機が受信した位置情報と、前記撮像画像から算出される前記第１の移動体の位置とから、前記第１の移動体の維持している前記位置情報を補正する処理を行う位置補正処理部とを含む、位置補正サーバ。
前記位置補正処理部は、
実世界の特徴物の位置を記憶する位置記憶装置と、
前記撮像画像の中に存在する特徴物を認識する特徴物認識部と、
前記特徴物認識部により認識された前記特徴物の実世界における位置を、前記位置記憶装置から読出すための読出装置と、
前記第１の移動体の維持している前記位置情報を、前記位置記憶装置から読出された前記位置に基づいて補正するための補正量を算出する算出装置を含む、請求項１に記載の位置補正サーバ。
前記算出装置は、
前記撮像画像の中に存在する前記特徴物の画像と、前記移動体の画像との関係と、前記特徴物の地理的位置、及び前記撮像装置の特性とに基づいて、前記移動体と前記特徴物との相対位置を算出する相対位置算出装置と、
前記相対位置に対して前記特徴物の前記地理的位置を加算することにより前記移動体の地理的位置を算出するための地理的位置算出装置と、
前記第１の移動体の維持している前記位置情報と、前記地理的位置算出装置により算出された前記地理的位置との誤差を前記補正量として算出するための補正量算出装置とを含む、請求項２に記載の位置補正サーバ。
前記マッチング部は、
前記第１の移動体から所定距離の範囲内に、前記第１の移動体と同種の第２の移動体が存在していることに応答して、前記第１の移動体と、前記第２の移動体とから、各々の前方画像を取得する前方画像取得装置と、
前記前方画像取得装置により取得された前記前方画像の各々について、
前記第１の移動体と同種の移動体の画像が存在しているか否かを検査する画像検査部と、
前記前方画像の中で、前記第１の移動体と同種の移動体の画像が存在していない前方画像が１つだけ存在していれば、当該前方画像を送信した移動体と前記撮像画像とをマッチングさせる装置とを含む、請求項１に記載の位置補正サーバ。
移動体から、当該移動体の位置情報と時刻情報とを含む移動体情報を受信する移動体情報受信機と、
撮像範囲が特定可能な撮像装置からの撮像画像を受信する画像受信機と、
前記撮像画像の中に存在する任意の移動体の画像と前記移動体情報とに基づいて、前記任意の移動体の画像を含む撮像画像と前記移動体情報受信機に前記移動体情報を送信する移動体とをマッチングするマッチング部と、
前記マッチング部によりマッチングされた移動体から受信した前記移動体情報の前記位置情報と、前記マッチング部によりマッチングされた撮像画像とその撮像時刻とを用いて、前記移動体が維持する前記位置情報を補正する処理を行う補正処理部とを含む、位置補正サーバであって、
前記移動体情報に基づき、位置情報を補正する対象となる移動体を追跡する移動体追跡装置をさらに含み、
前記移動体情報は、移動体の外観に関する外観情報を含み、
前記マッチング部は、
前記移動体追跡装置による追跡の対象となっている移動体の各々について、
当該移動体の近傍に存在する、撮像領域が特定可能な撮像装置を特定し、前記画像受信機が受信した撮像画像から、当該特定された撮像装置による撮像画像を抽出する画像抽出部と、
前記外観情報を用いて前記画像抽出部が抽出した前記撮像画像の中の前記移動体の画像を特定し、当該画像と、前記外観情報とに基づいて当該撮像画像の中の前記移動体を同定するための移動体同定装置とを含む、位置補正サーバ。
前記補正処理部は、
前記画像抽出部が抽出した前記撮像画像の前記撮像領域内の特徴物の位置と、前記撮像画像中の前記移動体の画像の位置とに基づいて、当該撮像画像の中の前記移動体の地理的位置を特定する移動体位置特定部と、
前記移動体位置特定部が特定した前記移動体の地理的位置と、前記撮像画像が撮像された時刻に前記移動体から送信され、前記移動体情報受信機が受信した前記位置情報とに基づいて前記移動体が維持する前記位置情報を補正する処理を行う装置とを含む、請求項５に記載の位置補正サーバ。
前記補正する処理を行う装置は、
前記移動体位置特定部が特定した前記移動体の地理的位置と、前記撮像画像が撮像された時刻に前記移動体から送信され、前記移動体情報受信機が受信した前記位置情報により決まる地理的位置との間の誤差を算出するための誤差算出装置と、
前記誤差算出装置により算出された誤差を前記移動体の維持する位置情報に加算する指示を前記移動体に送信する送信装置とを含む、請求項６に記載の位置補正サーバ。
移動体から、当該移動体の位置情報と時刻情報とを含む移動体情報を受信する移動体情報受信機と、
撮像範囲が特定可能な撮像装置からの撮像画像を受信する画像受信機と、
前記撮像画像の中に存在する任意の移動体の画像と前記移動体情報とに基づいて、前記任意の移動体の画像を含む撮像画像と前記移動体情報受信機に前記移動体情報を送信する移動体とをマッチングするマッチング部と、
前記マッチング部によりマッチングされた移動体から受信した前記移動体情報の前記位置情報と、前記マッチング部によりマッチングされた撮像画像とその撮像時刻とを用いて、前記移動体が維持する前記位置情報を補正する処理を行う補正処理部とを含む、位置補正サーバであって、
前記移動体情報に基づき、位置情報を補正する対象となる移動体を追跡する移動体追跡装置をさらに含み、
前記移動体情報は、移動体の外観に関する外観情報を含み、
前記マッチング部は、
前記画像受信機が前記撮像画像を受信したことに応答して、当該撮像画像の中に存在している、前記移動体追跡装置により追跡されている移動体の画像を認識する移動体画像認識部と、
前記移動体画像認識部により認識された画像と、前記外観情報とを用いて、当該撮像画像の中の前記移動体を前記移動体追跡装置により追跡されている移動体の中で同定する同定装置とを含み、
前記補正処理部は、
前記移動体画像認識部により認識された移動体に対して、前記撮像画像の中の特徴物の画像の位置と、当該移動体の画像の位置と、前記特徴物の地理的位置とに基づいて、前記撮像画像が撮像された時刻における前記移動体の位置を算出するための移動体位置算出装置と、
前記移動体位置算出装置により算出された位置と、前記移動体の画像が認識された前記撮像画像の撮像時に当該移動体から前記移動体情報受信機が受信した位置情報とに基づいて前記移動体が維持する前記位置情報を補正する処理を実行するための補正実行部とを含む、位置補正サーバ。
前記移動体情報は、移動体が維持する位置情報の精度に関連する精度関連情報をさらに含み、
前記移動体追跡装置は、前記精度関連情報に基づいて、所定の精度より低い精度で動作している可能性が高い位置情報取得装置を備えた移動体を、位置情報を補正する対象として追跡する追跡装置を含む、請求項１から請求項８のいずれか１項に記載の位置補正サーバ。
前記精度関連情報は、前記移動体が利用する衛星測位システムにおいて通信可能な測位衛星の数を含み、
前記追跡装置は、前記移動体が通信可能な測位衛星の前記数がしきい値以下である移動体を追跡する装置を含む、請求項９に記載の位置補正サーバ。
前記衛星測位システムはＧＰＳを含む、請求項１０に記載の位置補正サーバ。
さらに、移動体が維持する位置情報の精度に関連する精度関連情報が、前記位置情報の精度が前記所定の精度より高くなったことを示す値に変化したことに応答して、当該移動体を前記補正による位置情報の補正の対象から除外する処理を実行するための除外装置を含む、請求項９から請求項１１のいずれか１項に記載の位置補正サーバ。
前記移動体情報はさらに、移動体の外観に関する外観情報を含み、
前記マッチング部は、前記移動体情報に含まれる前記外観情報に基づいて前記撮像画像の中に含まれる前記移動体の画像を認識する画像認識部と、
前記画像認識部により前記移動体の画像が認識された前記撮像画像と、前記移動体情報受信機に前記移動体情報を送信する移動体とを対応付けるための装置とを含む、
請求項１から請求項４のいずれか１項に記載の位置補正サーバ。
自己の位置情報及び時刻情報を含む移動体情報を維持する情報維持装置と、
所定のタイミングで前記移動体情報を所定の位置補正サーバに送信するための移動体情報送信装置と、
前記情報維持装置により維持されている前記位置情報を補正すべきことを示す補正情報を外部から受信したことに応答して、前記補正情報を使用して前記位置情報を補正する補正処理部とを含む、移動体のための位置管理装置であって、
前記情報維持装置は、衛星測位システムにより前記位置情報を維持する機能を持ち、
前記移動体情報送信装置は、前記位置補正サーバに前記移動体情報を送信する際に、前記移動体情報に前記衛星測位システムが通信可能な測位衛星の数を含めて送信する、位置管理装置。
前記補正情報は、前記情報維持装置が維持している前記位置情報と、正しい位置情報との誤差を含み、
前記補正処理部は、前記情報維持装置が維持している前記位置情報に、前記誤差を加算する加算器を含む、請求項１４に記載の位置管理装置。
さらに、前記衛星測位システムが通信可能な測位衛星の数が所定の数以上となったことに応答して、前記補正処理部の動作を停止する停止装置を含む、請求項１４または請求項１５に記載の位置管理装置。
請求項１から請求項１３のいずれか１項に記載の位置補正サーバと、請求項１４または請求項１５に記載の位置管理装置とを含む、移動体の位置管理システム。
コンピュータが、移動体から、当該移動体の位置情報と時刻情報とを含む移動体情報を受信するステップと、
コンピュータが、撮像範囲が特定可能な撮像装置からの撮像画像を受信するステップと、
コンピュータが、前記撮像画像の中に存在する任意の移動体の画像と前記移動体情報とに基づいて、前記任意の移動体の画像を含む撮像画像と前記移動体情報を受信するステップにおいて前記移動体情報を送信する移動体とをマッチングするステップと、
コンピュータが、前記マッチングするステップにおいてマッチングされた移動体から受信した前記移動体情報の前記位置情報と、前記マッチングするステップにおいてマッチングされた撮像画像とその撮像時刻とを用いて、前記移動体が維持する前記位置情報を補正する処理を行うステップとを含む、位置情報の補正方法であって、
さらに、コンピュータが、前記移動体情報に基づき、位置情報を補正する対象となる移動体を追跡する移動体追跡ステップを含み、
前記マッチングするステップは、コンピュータが、前記移動体情報が前記移動体追跡ステップにより追跡されている第１の移動体からの移動体情報であることに応答して、当該第１の移動体の画像を含む撮像画像を前記画像受信ステップにおいて受信した撮像画像の中から抽出する画像抽出ステップを含み、
前記補正する処理を行うステップは、コンピュータが、前記画像抽出ステップにおいて抽出された前記撮像画像の撮像時刻に前記第１の移動体から送信され、前記移動体情報受信機が受信した位置情報と、前記撮像画像から算出される前記第１の移動体の位置とから、前記第１の移動体の維持している前記位置情報を補正する処理を行うステップとを含む、位置情報の補正方法。
コンピュータを、
移動体から、当該移動体の位置情報と時刻情報とを含む移動体情報を受信する移動体情報受信機と、
撮像範囲が特定可能な撮像装置からの撮像画像を受信する画像受信機と、
前記撮像画像の中に存在する任意の移動体の画像と前記移動体情報とに基づいて、前記任意の移動体の画像を含む撮像画像と前記移動体情報受信機に前記移動体情報を送信する移動体とをマッチングするマッチング部と、
前記マッチング部によりマッチングされた移動体から受信した前記移動体情報の前記位置情報と、前記マッチング部によりマッチングされた撮像画像とその撮像時刻とを用いて、前記移動体が維持する前記位置情報を補正する処理を行う補正処理部として機能させる、コンピュータプログラムであって、
さらに、コンピュータを、前記移動体情報に基づき、位置情報を補正する対象となる移動体を追跡する移動体追跡装置として機能させ、
前記マッチング部は、前記移動体情報が前記移動体追跡装置により追跡されている第１の移動体からの移動体情報であることに応答して、当該第１の移動体の画像を含む撮像画像を前記画像受信機が受信した撮像画像の中から抽出するための画像抽出部を含み、
前記補正処理部は、前記画像抽出部が抽出した前記撮像画像の撮像時刻に前記第１の移動体から送信され、前記移動体情報受信機が受信した位置情報と、前記撮像画像から算出される前記第１の移動体の位置とから、前記第１の移動体の維持している前記位置情報を補正する処理を行う位置補正処理部とを含む、コンピュータプログラム。
コンピュータが、自己の位置情報及び時刻情報を含む移動体情報を維持するステップと、
コンピュータが、所定のタイミングで前記移動体情報を所定の位置補正サーバに送信するステップと、
コンピュータが、前記移動体情報を維持するステップにより維持されている前記位置情報を補正すべきことを示す補正情報を外部から受信したことに応答して、前記補正情報を使用して前記位置情報を補正するステップとを含む、移動体の位置管理方法であって、
前記移動体情報を維持するステップは、コンピュータが、衛星測位システムにより前記位置情報を維持するステップを含み、
前記送信するステップは、前記所定のタイミングで前記移動体情報に前記衛星測位システムが通信可能な測位衛星の数を含めて前記所定の位置補正サーバに送信するステップを含む、移動体の位置管理方法。
コンピュータを、
自己の位置情報及び時刻情報を含む移動体情報を維持する情報維持装置と、
所定のタイミングで前記移動体情報を所定の位置補正サーバに送信するための移動体情報送信装置と、
前記情報維持装置により維持されている前記位置情報を補正すべきことを示す補正情報を外部から受信したことに応答して、前記補正情報を使用して前記位置情報を補正する補正処理部として機能させる、コンピュータプログラムであって、
前記情報維持装置は、衛星測位システムにより前記位置情報を維持する機能を持ち、
前記移動体情報送信装置は、前記位置補正サーバに前記移動体情報を送信する際に、前記移動体情報に前記衛星測位システムが通信可能な測位衛星の数を含めて送信する、コンピュータプログラム。
請求項１４に記載の移動体の位置管理装置を搭載した車載装置。
請求項２２に記載の車載装置を搭載した車両。