JP5353199B2

JP5353199B2 - 地図情報収集システム

Info

Publication number: JP5353199B2
Application number: JP2008296432A
Authority: JP
Inventors: 昭嘉内田; 雅一田口
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2008-11-20
Filing date: 2008-11-20
Publication date: 2013-11-27
Anticipated expiration: 2028-11-20
Also published as: JP2010122486A

Description

本発明は、車両に搭載されたカメラからの画像を画像認識することによって地図情報を収集する地図情報収集システムに関する。

この種の地図情報収集システムとしては、特許文献１に開示されたものがある。この地図情報収集システムは、車両に搭載されたカメラ、そのカメラで撮影した画像から所定の対象物としてランドマークを認識する画像認識手段、その画像認識の困難さを各種の撮影条件から評価する撮影条件評価手段、画像認識結果として得られたランドマークに関する地図情報が過去一定期間に地図センタに送信されていないか送信履歴から確認する送信履歴管理手段、ランドマークの認識スコア、撮影条件、および送信履歴を考慮して地図情報を地図センタに送信するか否かを判断する送信条件判定手段を有している。このような地図情報収集システムによれば、撮影条件が良好で、送信履歴が無く、かつ、高い認識スコアで地図情報を取得した場合、その地図情報を更新情報として地図センタに送信することができる。これにより、更新情報の確度を向上させ、送信回数を低減することができる。

特開２００８−５１６１２号公報

しかしながら、上記従来の地図情報収集システムでは、基本的に一つのカメラからの画像についてしか画像認識されないので、カメラの向きや視点などの制限からランドマークに関する地図情報をそれほど多く収集することができない。

仮に情報収集量を増やすには、複数のカメラを車両に搭載し、各カメラからの画像についてランドマークを画像認識すればよい。ところが、たとえば異なる視点で捉えた複数の画像に同じランドマークが撮影されている場合もある。そのような場合、複数の画像において画像認識された複数のランドマークを同一物と判別することができないので、ランドマークに関する地図情報を正しく収集することができず、同一の地図情報が重複して送信や登録されるおそれがあった。

本発明は、上記した事情のもとで考え出されたものであって、地図情報をできる限り多くかつ正確に収集することができる地図情報収集システムを提供することをその課題としている。

上記課題を解決するため、本発明では、次の技術的手段を講じている。

本発明の第１の側面によれば、車両に搭載され、この車両の外方を複数の視点で捉えて連続的に撮影する複数の撮影手段と、上記車両の走行速度および走行方向に関する走行情報を逐次取得する走行情報取得手段と、上記車両の地上位置に関する位置情報を逐次取得する位置情報取得手段と、上記複数の撮影手段によって得られた複数視点の車外画像ならびに上記車両の走行情報および位置情報を時系列に記録する記録手段と、上記複数視点の車外画像から所定の対象物を認識する画像認識手段と、上記複数視点のうち少なくとも一つの視点に対応する車外画像を参照し、その車外画像における上記対象物の動き方についてのベクトル情報を算出するベクトル情報算出手段と、上記対象物のベクトル情報ならびに上記車両の走行情報および位置情報に基づき、上記対象物の所在地を推定する対象物所在地推定手段と、上記複数視点の車外画像について、一の車外画像から推定された上記対象物の所在地と上記車両の走行情報および位置情報とに基づき、他の車外画像の所定範囲に上記対象物が出現するであろうことを予測する対象物出現予測手段と、予測された上記他の車外画像の所定範囲に上記対象物が認識された場合、上記一の車外画像と他の車外画像において認識された上記対象物を同一物と判定する同一物判定手段と、を備えている地図情報収集システムが提供される。

本発明の第２の側面によれば、車両に搭載され、この車両の外方を複数の視点で捉えて連続的に撮影するとともに、少なくとも撮影範囲が重複する組を含む複数の撮影手段と、上記車両の走行速度および走行方向に関する走行情報を逐次取得する走行情報取得手段と、上記車両の地上位置に関する位置情報を逐次取得する位置情報取得手段と、上記複数の撮影手段によって得られた複数視点の車外画像ならびに上記車両の走行情報および位置情報を時系列に記録する記録手段と、上記複数視点の車外画像から所定の対象物を認識する画像認識手段と、上記複数視点の車外画像のうち撮影範囲が重複する組の車外画像を参照し、これらの車外画像における上記対象物の見え方の違いに関した視差情報を算出する視差情報算出手段と、上記対象物の視差情報ならびに上記車両の走行情報および位置情報に基づき、上記対象物の所在地を推定する対象物所在地推定手段と、上記複数視点の車外画像について、撮影範囲が重複する組の車外画像から推定された上記対象物の所在地と上記車両の走行情報および位置情報とに基づき、他の車外画像の所定範囲に上記対象物が出現するであろうことを予測する対象物出現予測手段と、予測された上記他の車外画像の所定範囲に上記対象物が認識された場合、上記一の車外画像と他の車外画像において認識された上記対象物を同一物と判定する同一物判定手段と、を備えている地図情報収集システムが提供される。

本発明の第３の側面によれば、車両に搭載され、この車両の外方を複数の視点で捉えて連続的に撮影する複数の撮影手段と、上記車両の走行速度および走行方向に関する走行情報を逐次取得する走行情報取得手段と、上記車両の地上位置に関する位置情報を逐次取得する位置情報取得手段と、上記複数の撮影手段によって得られた複数視点の車外画像ならびに上記車両の走行情報および位置情報を時系列に記録する記録手段と、上記複数視点の車外画像から所定の対象物を認識する画像認識手段と、上記複数視点の車外画像のうち少なくとも一つの視点に対応する車外画像を参照し、その車外画像において認識された上記対象物までの距離および方向を測定する対象物測位手段と、上記対象物までの距離および方向を測定して得られた測位情報ならびに上記車両の走行情報および位置情報に基づき、上記対象物の所在地を推定する対象物所在地推定手段と、上記複数視点の車外画像について、一の車外画像から推定された上記対象物の所在地と上記車両の走行情報および位置情報とに基づき、他の車外画像の所定範囲に上記対象物が出現するであろうことを予測する対象物出現予測手段と、予測された上記他の車外画像の所定範囲に上記対象物が認識された場合、上記一の車外画像と他の車外画像において認識された上記対象物を同一物と判定する同一物判定手段と、を備えている地図情報収集システムが提供される。

本発明により開示された技術によれば、たとえば複数視点の車外画像から所定の対象物を画像認識し、一方の車外画像からその対象物の所在地を推定して他方の画像における対象物の出現を予測する。これにより、異なる視点の車外画像に撮影された対象物であっても、これらの対象物が同一物か否かを判定することができるので、この種の対象物に関する地図情報をできる限り多くかつ正確に収集することができる。

本発明のその他の特徴および利点は、添付図面を参照して以下に行う詳細な説明によって、より明らかとなろう。

以下、本発明の好ましい実施の形態を、図面を参照して具体的に説明する。

図１〜５は、本発明に係る地図情報収集システムの一実施形態を示している。本実施形態の地図情報収集システムＡ１は、いわゆるナビゲーションシステムＢと組み合わせて用いられるものであり、このナビゲーションシステムＢとともに図示しない車両に装備されている。

地図情報収集システムＡ１は、Ａ視点のカメラ１ａ、Ｂ視点のカメラ１ｂ、画像処理部１０、走行情報取得部１１、位置情報取得部１２、記録部１３、画像認識部１４、ベクトル情報算出部１５、対象物所在地推定部１６、対象物出現予測部１７、および同一物判定部１８を有している。ナビゲーションシステムＢは、ナビゲーション制御部２０、ナビゲーションデータ蓄積部２１、および表示部２２を有している。画像処理部１０、走行情報取得部１１、位置情報取得部１２、画像認識部１４、ベクトル情報算出部１５、対象物所在地推定部１６、対象物出現予測部１７、同一物判定部１８、およびナビゲーション制御部２０は、ＣＰＵやＲＯＭを備えたマイクロコンピュータにより実現される。記録部１３およびナビゲーションデータ蓄積部２１は、たとえばハードディスク装置により実現される。表示部２２は、たとえば液晶表示装置により実現される。

図２に示すように、Ａ視点のカメラ１ａは、車両の前方を向く視点が設定されており、その車両前方を所定の時間間隔で連続的に撮影する。このＡ視点のカメラ１ａで撮影された画像をＡ視点の車外画像と称する。Ｂ視点のカメラ１ｂは、たとえば車両の左側方を向く視点が設定されており、車両左側方を所定の時間間隔で連続的に撮影する。このＢ視点のカメラ１ｂで撮影された画像をＢ視点の車外画像と称する。Ｂ視点のカメラ１ｂは、標準画質モードおよび高画質モードといった撮影モードの切り替えが可能である。Ａ視点およびＢ視点の車外画像は、図３に一例として図示するような画像内容となる。

画像処理部１０は、Ａ視点およびＢ視点のカメラ１ａ，１ｂからの車外画像について各種の画像処理を行い、これらの車外画像を記録部１３に転送する。この画像処理部１０には、Ｂ視点のカメラ１ｂの撮影モードを切り替え制御する撮影モード切り替え手段としての機能がある。

走行情報取得部１１は、車両の走行速度および走行方向に関する走行情報を所定の時間間隔で逐次取得し、この走行情報を記録部１３に転送する。走行速度は、車両に装備された速度計で計測され、走行方向は、車両に装備されたジャイロセンサにより検知される。

位置情報取得部１２は、車両の地上位置に関する位置情報を所定の時間間隔で逐次取得し、この位置情報を記録部１３に転送する。位置情報は、ＧＰＳ衛星からのＧＰＳ信号を受信することで作成される。

記録部１３には、Ａ視点およびＢ視点の車外画像、ならびに車両の走行情報および位置情報が時系列の順に互いに対応づけて記録される。図４に一例として図示するように、Ａ視点およびＢ視点の車外画像は、上から下への時間経過順に記録される。走行情報は、たとえば東方向に速度３０ｋｍで走行していた場合、「Ｅ３０」というように記録される。位置情報は、たとえば緯度経度によって「Ｅ１３４．５６．４．０Ｎ３４．４１．３．３」というように記録される。後述する所在地情報も、たとえば緯度経度によって記録される。

画像認識部１４は、Ａ視点およびＢ視点の車外画像から、たとえば建造物、店舗、道路といった静的な対象物を画像認識処理によって認識する。この画像認識処理は、たとえば車外画像から特徴的な対象物の輪郭やパターン形状を抽出し、それを予めデータベースに保持された対象物モデルとパターンマッチングを行うことでどのような対象物かを特定する。このような画像認識処理においては、たとえば看板や標識の文字でも認識することができ、対象物の画像情報だけでなくテキスト情報も付随的に得ることできる。

ベクトル情報算出部１５は、複数の連続したＡ視点の車外画像を参照し、これらの車外画像における対象物の動き方に関するベクトル情報を算出する。具体的には図５に示すように、ベクトル情報算出部１５は、対象物が画像認識された後、所定の時間間隔となる複数の画像間でその対象物が見かけ上ずれたようにみえる相対移動量とその方向をベクトル情報として算出する。ベクトル情報は、図中に白抜きの矢印で示すようなものとなる。たとえばベクトル情報を示す矢印が大きいと、車両から比較的近くの距離に対象物が存在することが分かり、この矢印が小さいと、車両から比較的遠くの距離に対象物が存在することになる。このようなベクトル情報からは、車両の位置を基準位置とした対象物までの大凡の距離と方向が判明する。

対象物所在地推定部１６は、対象物のベクトル情報、ならびにそのベクトル情報の算出対象となったＡ視点の車外画像に対応する車両の走行情報および位置情報に基づき、対象物が現に存在するであろう地上の所在地を推定する。このような所在地の推定は、ベクトル情報ならびに走行情報および位置情報について所定の演算を行い、走行位置が判明している車両から対象物までの距離と方向を求めることで行われる。推定結果として得られた所在地情報は、対応するＡ視点の車外画像と関連づけて記録部１３に記録される。また、所在地情報が得られると、その基になったＡ視点の車外画像にフラグ「＃Ｆ」がたてられる。

対象物出現予測部１７は、Ａ視点の車外画像から推定結果として得られた対象物の所在地情報と車両の走行情報および位置情報とに基づき、Ｂ視点の車外画像のある時点における画像に同じ対象物が出現するであろうことを予測する。このような対象物の出現予測は、所在地情報ならびに走行情報および位置情報について所定の演算を行い、現在走行中の車両が一定方向に所定時間だけ走行すると、Ｂ視点のカメラ１ｂの撮影範囲に対象物が入ってくることを予測することで行われる。予測結果としては、フラグ「＃Ｆ」がたてられたＡ視点の車外画像を撮影した時点からの予測経過時間が求められる。この予測経過時間が過ぎると、対象物出現予測部１７から高画質モード切り替え信号が画像処理部１０に発信される。高画質モード切り替え信号を受信した画像処理部１０は、Ｂ視点のカメラ１ｂの撮影モードを標準画質モードから高画質モードに切り替える。高画質モードは、たとえば予め定められた規定時間にわたって継続され、規定時間後は、Ｂ視点のカメラ１ｂの撮影モードが再び標準画質モードに切り替えられる。

同一物判定部１８は、予測されたＢ視点の車外画像に対象物が認識された場合、その対象物が予測の基になったＡ視点の車外画像において認識された対象物と同一であるか否かを判定する。判定結果として同一物であると判定された場合、その対象物に関する所在地情報のほか、それに対応する画像や名称を示す情報を地図情報としてナビゲーション制御部２０に転送する。判定結果として同一物でないと判定された場合、Ａ視点の車外画像で撮影された対象物とＢ視点の車外画像で撮影された対象物とは異なるものと判断し、それぞれの対象物に関する地図情報をナビゲーション制御部２０に転送する。

ナビゲーション制御部２０は、たとえばナビゲーションデータ蓄積部２１から表示用の地図画像に関するナビゲーションデータを読み出し、このナビゲーションデータならびに車両の走行情報や位置情報に基づき、現在車両が走行中の周辺地図と自車マークを表示部２２に表示させる。地図情報収集システムＡ１から地図情報が転送されてきた場合、ナビゲーション制御部２０は、その地図情報に基づいてナビゲーションデータを更新する。たとえば新設された建造物や店舗といった対象物が画像認識されて地図情報が転送されてきた場合、その対象物に関するランドマークがナビゲーションデータに反映され、表示部２２には、それまでに無かったランドマークが周辺地図内に表示される。

次に、図６を参照して地図情報収集システムＡ１の動作手順について説明する。

まず、画像処理部１０は、Ａ視点およびＢ視点のカメラ１ａ，１ｂから車外画像を取得する（Ｓ１）。

車外画像の取得と同時に、走行情報取得部１１および位置情報取得部１２は、車両の走行情報および位置情報を取得する（Ｓ２，Ｓ３）

記録部１３には、たとえば取得日時を示すタイムスタンプとともに、Ａ視点およびＢ視点の車外画像、ならびに走行情報および位置情報が記録される（Ｓ４）。

次に、画像認識部１４は、記録されたＡ視点の車外画像について画像認識処理を行う（Ｓ５）。これにより、Ａ視点の車外画像からは、対象物モデルに合致した所定の対象物が認識される。なお、画像認識処理は、Ａ視点の車外画像と同時にＢ視点の車外画像についても行うようにしてもよい。また、車外画像の記録と同時に行うようにしてもよい。

次に、ベクトル情報算出部１５は、複数の連続したＡ視点の車外画像から対象物のベクトル情報を算出する（Ｓ６）。

次に、対象物所在地推定部１６は、算出されたベクトル情報とその基になったＡ視点の車外画像に対応する車両の走行情報および位置情報に基づき、対象物の所在地を推定する（Ｓ７）。このとき、記録部１３には、対応するＡ視点の車外画像と関連づけて対象物の所在地情報が記録され、基準となるＡ視点の車外画像にフラグ「＃Ｆ」がたてられる。なお、対象物の所在地を推定する処理は、Ｂ視点の車外画像から対象物のベクトル情報を算出することにより、Ｂ視点の車外画像で認識された対象物について行うようにしてもよい。この場合、Ｂ視点の車外画像にも関連づけて対象物の所在地情報が記録される。

次に、対象物出現予測部１７は、対象物の所在地情報と車両の走行情報および位置情報とに基づき、フラグ「＃Ｆ」のある車外画像から所定の時間経過後にＢ視点の車外画像に同じ対象物が出現するであろうことを予測する（Ｓ８）。予測結果としては、フラグ「＃Ｆ」に対応するタイムスタンプからの予測経過時間が算出される。このような対象物の所在地推定や出現予測は、車外画像の記録と同時にリアルタイムに実行される。

予測経過時間を経てその予測時点になると（Ｓ９：ＹＥＳ）、画像処理部１０は、Ｂ視点のカメラ１ｂの撮影モードを高画質モードに切り替える（Ｓ１０）。これにより、Ｂ視点のカメラ１ｂからは、高画質の車外画像が得られる。予測時点が到来するまでの間は（Ｓ９：ＮＯ）、Ｓ１に戻ってＳ８までの処理が繰り返し実行される。このＳ１〜Ｓ８までの処理中は、標準画質からなるＢ視点の車外画像が取得される。なお、Ｓ１に戻って繰り返し処理を行う際には、Ｂ視点の車外画像について対象物の画像認識処理を行い、その対象物の所在地情報を記録するようにしてもよい。

その後、画像認識部１４は、記録されたＢ視点の車外画像について画像認識処理を行う（Ｓ１１）。このとき、予測時点におけるＢ視点の車外画像は、撮影モードの切り替えによって高画質で記録されている。そのため、特に予測時点のＢ視点の車外画像については、画像認識処理による対象物の認識率が高められる。

次に、同一物判定部１８は、予測時点のＢ視点の車外画像において認識された対象物と、Ａ視点の車外画像において認識された対象物とが同一であるか否かについて判定する（Ｓ１２）。判定処理としては、特定された対象物の種類や名称が一致するか否かを基準にして容易に判定される。

判定結果として同一物であると判定した場合（Ｓ１２：ＹＥＳ）、同一物判定部１８は、その対象物に関して記録された所在地情報、および対応する対象物モデルの画像や名称を示す情報を地図情報としてナビゲーション制御部２０に転送する（Ｓ１３）。

Ｓ１２において、Ａ視点の車外画像で認識された対象物とＢ視点の車外画像で認識された対象物とを異なるものと判定した場合（Ｓ１２：ＮＯ）、同一物判定部１８は、それぞれの対象物に関する地図情報をナビゲーション制御部２０に転送する（Ｓ１４）。このようなＳ１〜Ｓ１４までの一連の処理は、繰り返し行われる。

したがって、本実施形態の地図情報収集システムＡ１によれば、Ａ視点の車外画像で認識された対象物とＢ視点の車外画像で認識された対象物との同一性を判定し、正しい地図情報のみを取捨選択してナビゲーションシステムＢに転送することができるので、この種の対象物に関する地図情報をできる限り多くかつ正確に収集することができる。

図７〜１４は、本発明に係る地図情報収集システムの他の実施形態を示している。なお、先述した実施形態によるものと同一または類似の構成要素や各種処理については、同一符号を付してその説明を省略する。

図７の地図情報収集システムＡ２には、図８に示すようにＡ視点のカメラ１ａと撮影範囲が重複するようにＡ’視点のカメラ１ａ’が設けられている。また、地図情報収集システムＡ２には、Ａ視点およびＡ’視点の車外画像から対象物の所在地を推定するために視差情報を算出する視差情報算出部１５’が設けられている。

Ａ’視点のカメラ１ａ’で撮影されたＡ’視点の車外画像は、図９に破線で示すような画像内容となり、Ａ視点の車外画像に対して若干ずれている。このＡ’視点の車外画像も、車両の走行情報および位置情報と対応づけて記録部１３に記録される。

視差情報算出部１５’は、Ａ視点およびＡ’視点の車外画像を参照し、これらの車外画像で認識された対象物の見え方に関する視差情報を算出する。具体的に視差情報算出部１５’は、Ａ視点およびＡ’視点の車外画像から対象物が画像認識された後、これらの画像間で対象物がずれたようにみえる相対ずれ量とその方向を視差情報として算出する。この視差情報は、先述した実施形態におけるベクトル情報に類似したものとなり、ベクトルデータとして求められる。たとえば視差情報のベクトル値が大きいと、車両から比較的近くの距離に対象物が存在することが分かり、ベクトル値が小さいと、車両から比較的遠くの距離に対象物が存在することになる。このベクトルデータとしての視差情報からは、車両の位置を基準位置とした対象物までの大凡の距離と方向が判明する。このような対象物の視差情報、ならびにその視差情報の算出対象となったＡ視点およびＡ’視点の車外画像に対応する車両の走行情報および位置情報に基づき、対象物所在地推定部１６は、対象物が現に存在するであろう地上の所在地を推定する。

図１０を参照して地図情報収集システムＡ２の動作手順について説明する。

まず、画像処理部１０は、Ａ視点およびＡ’視点ならびにＢ視点のカメラ１ａ，１ａ’，１ｂから車外画像を取得する（Ｓ２１）。その後、図６のＳ２〜Ｓ４までの処理と同様に、Ｓ２２〜Ｓ２４の処理が実行される。

次に、画像認識部１４は、記録されたＡ視点およびＡ’視点の車外画像について画像認識処理を行う（Ｓ２５）。これにより、Ａ視点およびＡ’視点の両方の車外画像からは、対象物モデルに合致した所定の対象物が認識される。

次に、視差情報算出部１５は、対象物が認識されたＡ視点およびＡ’視点の車外画像から対象物の視差情報を算出する（Ｓ２６）。

次に、対象物所在地推定部１６は、算出された視差情報とその算出対象となったＡ視点およびＡ’視点の車外画像に対応する車両の走行情報および位置情報とに基づき、対象物の所在地を推定する（Ｓ２７）。その後、図６のＳ８〜Ｓ１４までの処理と同様に、Ｓ２８〜Ｓ３４の処理が実行される。

したがって、本実施形態の地図情報収集システムＡ２によっても、先述した実施形態によるものと同様に、対象物に関する地図情報をできる限り多くかつ正確に収集することができる。また、対象物の所在地を推定する際には、ある瞬間にＡ視点とＡ’視点で撮影された一組の車外画像を参照するだけよいので、対象物の認識とほぼ同時に所在地情報の取得や対象物の出現予測を行うことができ、一連の処理をスムーズに実行することができる。

図１１の地図情報収集システムＡ３には、図１２に示すようにＡ視点のカメラ１ａの撮影範囲に向けてレーダ波を発信し、その反射波を受信するレーダ１ｃが設けられている。また、地図情報収集システムＡ３には、レーダ１ｃからの信号に応じて対象物までの距離と方向を測位する対象物測位部１９が設けられている。図１２および図１３に示すように、レーダ１ｃからは、所定の範囲内で首振り状にレーダ波が発信されることにより、レーダ波が反射した対象物までの距離だけでなく方向も測定される。

対象物測位部１９は、Ａ視点の車外画像を参照し、この車外画像で認識された対象物の方向とレーダ１ｃからの信号に基づく方向とが合致した場合、レーダ１ｃからの信号に基づく対象物までの距離と方向を測位情報として作成する。この測位情報は、そのまま対象物の所在地推定に用いられ、対象物所在地推定部１６は、レーダ１ｃによる測位情報ならびに車両の走行情報および位置情報に基づいて対象物が現に存在するであろう地上の所在地を推定する。

図１４を参照して地図情報収集システムＡ３の動作手順について説明する。

まず、地図情報収集処理としては、図６のＳ１〜Ｓ５までの処理と同様に、Ｓ４１〜Ｓ４５の処理が実行される。

その後、対象物測位部１９は、Ａ視点の車外画像で認識された対象物に関し、レーダ１ｃからの信号に基づいてその対象物までの距離と方向を測定する（Ｓ４６）。こうして測定された対象物までの距離と方向は、測位情報として対象物所在地推定部１６に伝えられる。

次に、対象物所在地推定部１６は、測位情報ならびにその測定時点に該当する走行情報および位置情報に基づき、対象物の所在地を推定する（Ｓ４７）。その後、図６のＳ８〜Ｓ１４までの処理と同様に、Ｓ４８〜Ｓ５４の処理が実行される。

したがって、本実施形態の地図情報収集システムＡ３によっても、先述した実施形態によるものと同様に、対象物に関する地図情報をできる限り多くかつ正確に収集することができる。また、対象物の所在地については、ある瞬間に撮影されたＡ視点の車外画像とレーダ１ｃからの信号などに基づいて即座に推定されるので、それとほぼ同時に所在地情報の取得や対象物の出現予測も行うことができ、一連の処理をスムーズに実行することができる。

なお、本発明は、上記の実施形態に限定されるものではない。

上記実施形態で示した構成は、あくまでも一例にすぎず、仕様に応じて適宜設計変更することが可能である。

たとえば、車外を撮影するカメラは、３個以上設けてもよい。カメラの設置数が多くなるほど対象物に関する地図情報を多く収集することができる。

地図情報収集システムとしては、たとえば車両に搭載する機能とこれとは別に画像認識などを行う情報処理機能とに分け、この情報処理機能をデータセンタのコンピュータにもたせるようにしてもよい。情報処理機能としては、画像認識部、ベクトル情報算出部、視差情報算出部、対象物所在地推定部、対象物出現予測部、同一物判定部が挙げられる。この場合、撮影モードの切り替えを行うことはできないが、車外画像などを一旦記録した後、演算能力が高い汎用のコンピュータなどによって高精度に画像認識処理を行うことができ、対象物の地図情報をより多くかつ正確に取得することができる。

本発明に係る地図情報収集システムの一実施形態を示すブロック図である。Ａ視点およびＢ視点のカメラの配置形態を示す模式図である。Ａ視点およびＢ視点の車外画像を説明するための説明図である。画像および情報の記録構造を説明するための説明図である。ベクトル情報の算出方法を説明するための説明図である。図１の地図情報収集システムによる動作手順を示すフローチャートである。本発明に係る地図情報収集システムの他の実施形態を示すブロック図である。Ａ視点およびＡ’視点ならびにＢ視点のカメラの配置形態を示す模式図である。Ａ視点およびＡ’視点の車外画像を説明するための説明図である。図７の地図情報収集システムによる動作手順を示すフローチャートである。本発明に係る地図情報収集システムの他の実施形態を示すブロック図である。Ａ視点およびＢ視点のカメラならびにレーダの配置形態を示す模式図である。対象物についての測位方法を説明するための説明図である。図１１の地図情報収集システムによる動作手順を示すフローチャートである。

符号の説明

１ａＡ視点のカメラ（撮影手段）
１ａ’ Ａ’視点のカメラ（撮影手段）
１ｂＢ視点のカメラ（撮影手段）
１ｃレーダ
１０画像処理部（撮影モード切り替え手段）
１１走行情報取得部（走行情報取得手段）
１２位置情報取得部（位置情報取得手段）
１３記録部（記録手段）
１４画像認識部（画像認識手段）
１５ベクトル情報算出部（ベクトル情報算出手段）
１５’ 視差情報算出部（視差情報算出手段）
１６対象物所在地推定部（対象物所在地推定手段）
１７対象物出現予測部（対象物出現予測手段）
１８同一物判定部（同一物判定手段）
１９対象物測位部（対象物測位手段）

Claims

車両に搭載され、この車両の外方を複数の視点で捉えて連続的に撮影する複数の撮影手段と、
上記車両の走行速度および走行方向に関する走行情報を逐次取得する走行情報取得手段と、
上記車両の地上位置に関する位置情報を逐次取得する位置情報取得手段と、
上記複数の撮影手段によって得られた複数視点の車外画像ならびに上記車両の走行情報および位置情報を時系列に記録する記録手段と、
上記複数視点の車外画像から所定の対象物を認識する画像認識手段と、
上記複数視点のうち少なくとも一つの視点に対応する車外画像を参照し、その車外画像における上記対象物の動き方についてのベクトル情報を算出するベクトル情報算出手段と、
上記対象物のベクトル情報ならびに上記車両の走行情報および位置情報に基づき、上記対象物の所在地を推定する対象物所在地推定手段と、
上記複数視点の車外画像について、一の車外画像から推定された上記対象物の所在地と上記車両の走行情報および位置情報とに基づき、他の車外画像の所定範囲に上記対象物が出現するであろうことを予測する対象物出現予測手段と、
予測された上記他の車外画像の所定範囲に上記対象物が認識された場合、上記一の車外画像と他の車外画像において認識された上記対象物を同一物と判定する同一物判定手段と、
を備えている、地図情報収集システム。
車両に搭載され、この車両の外方を複数の視点で捉えて連続的に撮影するとともに、少なくとも撮影範囲が重複する組を含む複数の撮影手段と、
上記車両の走行速度および走行方向に関する走行情報を逐次取得する走行情報取得手段と、
上記車両の地上位置に関する位置情報を逐次取得する位置情報取得手段と、
上記複数の撮影手段によって得られた複数視点の車外画像ならびに上記車両の走行情報および位置情報を時系列に記録する記録手段と、
上記複数視点の車外画像から所定の対象物を認識する画像認識手段と、
上記複数視点の車外画像のうち撮影範囲が重複する組の車外画像を参照し、これらの車外画像における上記対象物の見え方の違いに関した視差情報を算出する視差情報算出手段と、
上記対象物の視差情報ならびに上記車両の走行情報および位置情報に基づき、上記対象物の所在地を推定する対象物所在地推定手段と、
上記複数視点の車外画像について、撮影範囲が重複する組の車外画像から推定された上記対象物の所在地と上記車両の走行情報および位置情報とに基づき、他の車外画像の所定範囲に上記対象物が出現するであろうことを予測する対象物出現予測手段と、
予測された上記他の車外画像の所定範囲に上記対象物が認識された場合、上記一の車外画像と他の車外画像において認識された上記対象物を同一物と判定する同一物判定手段と、
を備えている、地図情報収集システム。
車両に搭載され、この車両の外方を複数の視点で捉えて連続的に撮影する複数の撮影手段と、
上記車両の走行速度および走行方向に関する走行情報を逐次取得する走行情報取得手段と、
上記車両の地上位置に関する位置情報を逐次取得する位置情報取得手段と、
上記複数の撮影手段によって得られた複数視点の車外画像ならびに上記車両の走行情報および位置情報を時系列に記録する記録手段と、
上記複数視点の車外画像から所定の対象物を認識する画像認識手段と、
上記複数視点の車外画像のうち少なくとも一つの視点に対応する車外画像を参照し、その車外画像において認識された上記対象物までの距離および方向を測定する対象物測位手段と、
上記対象物までの距離および方向を測定して得られた測位情報ならびに上記車両の走行情報および位置情報に基づき、上記対象物の所在地を推定する対象物所在地推定手段と、
上記複数視点の車外画像について、一の車外画像から推定された上記対象物の所在地と上記車両の走行情報および位置情報とに基づき、他の車外画像の所定範囲に上記対象物が出現するであろうことを予測する対象物出現予測手段と、
予測された上記他の車外画像の所定範囲に上記対象物が認識された場合、上記一の車外画像と他の車外画像において認識された上記対象物を同一物と判定する同一物判定手段と、
を備えている、地図情報収集システム。
上記複数の撮影手段から上記記録手段へと上記複数視点の車外画像が取り込まれると同時に、上記対象物所在地推定手段および対象物出現予測手段は、所定の動作をリアルタイムに実行しており、
上記対象物所在地推定手段によって推定された時点から上記対象物出現予測手段によって予測された時点に達すると、上記他の車外画像がその予測時点以前の画質よりも高画質で撮影されるように対応する上記撮影手段の撮影モードを切り替える撮影モード切り替え手段を有している、請求項１ないし３のいずれかに記載の地図情報収集システム。