JP4459717B2 - 地図更新システム - Google Patents

Description

本発明は、立体地図を車両の運転手に提供する地図更新システムに関する。特に本発明は、カメラによって撮像された画像を用いて、カーナビゲーションシステムが有する立体地図を更新する地図更新システムに関する。

従来、立体地図を運転手へ表示するカーナビゲーションシステムが知られている（例えば、非特許文献１参照）。運転手は、カーナビゲーションに表示された立体地図を参考に、実際の道路の周辺に存在する目印となる建物を決めて、目的地までの運転を行う。

"三菱カーナビゲーションシステム リアルマップ"、［online］、［平成１６年４月１日検索］、インターネット＜ＵＲＬ：http://www.mitsubishielectric.co.jp/carele/carnavi/h8000/realmap_b.html＞

しかしながら、道路の周辺に新たに建造物が作られると、カーナビゲーションシステムが表示する情報は、実際の道路周辺の状況とは異なる。このような場合、目印となる建物が実際の道路の周辺に見つからずに、運転手が混乱するという課題がある。

そこで本発明は、上記の課題を解決することのできる地図更新システムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

このような課題を解決するために、本発明の第１の形態における地図更新システムは、車両に搭載されるカメラと、立体地図を有し、車両の位置および進行方向を取得するカーナビゲーションシステムと、カメラによって撮像された画像を用いて、カーナビゲーションシステムが有する立体地図を更新する地図更新部とを備えた。これにより、道路の周辺に様々な建造物が造られた場合であっても、最新の立体地図を運転手に提供することができる。

また本形態における地図更新システムは、カメラにより撮像された画像の中で、低周波成分の大きさと比較して、大きさが基準値以上に大きな高周波成分の領域を抽出して、この領域における高周波成分を除去する高周波除去部を更に備え、地図更新部は、高周波除去部によって高周波が除去された画像を用いて立体地図を更新してもよい。これにより、被写体の境界領域の高周波成分を保持しつつ、被写体に含まれる汚れ等の情報を効果的に削減することができる。また高周波が除去された画像を用いて立体地図を更新するので、運転手が把握しやすく、かつ情報量の少ない立体地図を生成することができる。

また本形態における地図更新システムは、カメラによって連続して撮像された画像に含まれる被写体の位置を比較することにより、撮像された画像に含まれる移動体を検出する移動体検出部と、移動体検出部によって検出された移動体を除去する移動体除去部とを更に備え地図更新部は、移動体除去部によって移動体が除去された画像を用いて立体地図を更新してもよい。これにより、立体地図に移動体が格納されることを防ぐことができる。

また本形態における地図更新システムは、車両の速度を検出する車速検出部と、車速検出部によって検出された車速を用いて、静止被写体のオプティカルフローを算出するオプティカルフロー算出部とを更に備え、移動体検出部は、オプティカルフロー算出部によって算出されたオプティカルフローとは異なる移動ベクトルを有する被写体を移動体として検出してもよい。これにより移動体を確実に除去することができる。

また本形態における地図更新システムは、カーナビゲーションシステムから取得される走行中の道路の幅および道路上の位置を示す情報を用いて、カメラによって撮像される画像中の、道路の周囲の被写体のみを検出する周囲被写体検出部と、周囲被写体検出部によって検出された周囲被写体のみを選択する周囲被写体選択部とを更に備え地図更新部は、周囲被写体選択部によって検出された周囲被写体の画像を用いて、立体地図を更新してもよい。これにより、例えば路上の画像や、道路自体の画像などの不要な画像が立体地図に更新されることを避けることができる。

また本形態における地図更新システムは、最新の地図を格納しているサーバを更に備え地図更新部は、複数の車両から受け取った画像を用いて、サーバに格納されている最新の立体地図を更新する。これによりサーバは、各地の最新の立体地図を取得して、古い立体地図を更新することができる。

また本形態における地図更新システムは、サーバから最新の立体地図を取得して、カーナビゲーションシステムに格納する最新地図取得部を更に備えてもよい。これにより、各車両に搭載されたカーナビゲーションシステムは、初めて通過する場所であっても、最新の立体地図を表示することができる。

最新地図取得部は、カーナビゲーションシステムによってルート検索が行われると、ルート上の最新の立体地図をサーバから取得してカーナビゲーションシステムに格納してもよい。このように必要な立体地図のみを取得するので、サーバとの通信時間、通信料金、および更新時間を削減することができる。

なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求にかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の開発手段に必須であるとは限らない。

図１は、本発明の地図更新システム９００の構成を示す。地図更新システム９００は、複数の地図更新装置１００ａ〜１００ｎ、サーバ２００、ネットワーク３００、および複数の基地局４００ａ〜４００ｍを備える。サーバ２００は、ネットワーク３００を介して複数の基地局４００ａ〜４００ｍと接続される。地図更新装置１００ａ〜１００ｎのそれぞれはカーナビゲーションシステムを備え、各車両１０ａ〜１０ｎに搭載される。

ここで従来、立体地図を運転手へ表示するカーナビゲーションシステムが知られている。運転手は、カーナビゲーションに表示された立体地図を参考に、実際の道路の周辺に存在する建物を目印として定めて運転を行う。しかしながら、道路の周辺に新たに建造物が作られた場合や、既存の建造物が壊された場合、カーナビゲーションシステムが表示する地図情報は、実際の道路周辺の状況とは異なる。このような場合、目印の建物が実際の道路の周辺に見つからずに、運転手が混乱するという課題がある。

そこで本発明の地図更新装置１００は、カメラを更に備え、車両１０が走行する道路の周辺の画像を撮像することにより、最新の立体地図を運転手に提供することを目的とする。更に、各車両１０に搭載された地図更新装置１００は、各地に設けられた基地局４００と、各基地局４００を結ぶネットワーク３００とを介して、サーバ２００と通信を行う。これにより、本発明の地図更新システム９００は、車両１０に搭載された地図更新装置１００が各地で撮像した画像を取得して、古い立体地図を最新の立体地図へ更新すると共に、各車両１０からの要求に応じて、最新の立体地図を各車両１０へ送信することを目的とする。

図２は、地図更新装置１００が有する立体地図を説明する図である。図２（ａ）は、予め地図更新装置１００に格納された立体地図を示す。本図の例では、車両１０が道路６０６を交差点６２０に向かって走行中に、地図更新装置１００のカーナビゲーションシステムは、走行中の道路６０６、前方の交差点６２０、および、道路６０６および交差点６２０の周囲に存在する複数の建物６０８、６１０、６１２、および６１６を運転手へ表示する。

図２（ｂ）は、地図更新装置１００が有するカメラが撮像した画像を示す。実際の道路６０６の周辺には、地図更新装置１００が格納していない新たな建物６１４が存在しており、地図更新装置１００のカメラは、この新たな建物６１４を含む画像を撮像する。また地図更新装置１００のカメラが撮像する画像には、道路６０６の上を走行する車両６０２および６０４、歩道を歩く歩行者６００等が含まれる。そこで本発明の地図更新装置１００は、道路上の被写体を除くことにより道路周辺の被写体のみを検出し、立体地図を新しい建物６１４を含む最新の立体地図へと更新すると共に、地面に対して移動する被写体を検出することにより、移動中の人物や車両が含まれない立体地図を更新することを目的とする。

更に、地図更新装置１００が有するカメラによって撮像された画像には、各建物の窓７００〜７０４、汚れ７０６、および玄関７０８等の、運転手に進路を表示する上で必ずしも必要ではない情報が含まれる。そこで地図更新装置１００は、これらの不要な情報を除去した立体地図を運転手へ表示することを目的とする。図２（ｃ）は、更新された立体地図の一例を示す。

図３は、地図更新システム９００の詳細な構成の一例を示す。地図更新装置１００は、３Ｄカメラ４２、高周波除去部４４、オプティカルフロー算出部４６、車速検出部４８、舵角検出部５０、旋回速度算出部５１、移動体検出部５２、移動体除去部５４、周囲被写体検出部５６、周囲被写体選択部５８、地図更新部６０、カーナビゲーションシステム６２、最新地図取得部６６および送信部６７を備える。カーナビゲーションシステム６２は、立体地図ＤＢ（データベース）６４を有する。地図更新装置１００は、ＧＰＳ衛星５００からＧＰＳ情報を取得する。

カーナビゲーションシステム６２は、ＧＰＳ衛星５００から、ＧＰＳ情報を受け取る。これによりカーナビゲーションシステム６２は、車両１０の現在の位置を取得する。また、本例のカーナビゲーションシステム６２は、ＧＰＳ衛星から受け取ったＧＰＳ情報の履歴を格納する。カーナビゲーションシステム６２は、この格納した履歴から車両１０の進行方向を特定する。

３Ｄカメラ４２は、車両１０の進行方向に光軸が一致するように車両１０に予め配置され、車両１０の前方を連続して撮像する。ここで３Ｄカメラ４２は内部に２つのカメラを含んでおり、各カメラにより撮像された被写体の特徴点の位置のずれを用いて車両１０を基準とした被写体までの距離を求める。また３Ｄカメラ４２は、撮像された画像における被写体の位置を用いて、車両１０の進行方向に対する被写体の方向を算出する。これにより、３Ｄカメラ４２は、連続して撮像したそれぞれの画像において、車両１０からみた被写体の相対的な位置を検出する。

高周波除去部４４は、３Ｄカメラ４２により撮像された画像の中で、低周波成分の大きさと比較して、大きさが基準値以上に大きな高周波成分の領域を抽出して、この領域における高周波成分を除去する。本例の高周波除去部４４は、得られた画像をＤＣＴ変換（離散コサイン変換）し、変換によって得られたスペクトルにおいて、基準値以上に大きな周波数成分を持つスペクトルの係数をゼロにして、更に逆ＤＣＴ変換（逆離散コサイン変換）を施すことにより、高周波成分を除去する。この場合、高周波成分を除去した画像には、画像が有する直流成分は残るので、高周波除去部４４は、高周波成分を除去した後の画像として、直流成分の濃度を画素値として有する画像を得る。

車速検出部４８は車両１０の移動速度を検出し、舵角検出部５０は、車両１０の舵角を検出する。旋回速度算出部５１は、車速検出部４８が検出した移動速度および、舵角検出部５０が検出した舵角に基づいて、車両１０の旋回速度を算出する。本例の旋回速度算出部５１は、車速検出部４８が検出した移動速度に、舵角検出部５０が検出した舵角の変化の大きさを乗じることにより、車両１０の旋回速度を算出する。

ここで、車両１０が走行することにより、撮像された画像に含まれる各被写体には動き生じる。この被写体の動きは、画像の中央付近では小さく生じ、周囲においては大きい。また、車両１０から被写体までの距離が近いほど大きくなる。本明細書では、このような車両１０の走行状態と被写体の距離によって定まる画像内における各被写体の動きをオプティカルフローと呼び、画像内の被写体の実際の動きを移動ベクトルと呼ぶ。

オプティカルフロー算出部４６は、被写体が静止していると仮定した場合に、車両１０の移動速度および旋回速度によって被写体に生じる移動ベクトルを、静止被写体のオプティカルフローとして算出する。車両１０が直進する場合、各被写体のオプティカルフローの大きさは、車両１０の移動速度、車両１０からオブジェクトまでの距離、および車両１０に対する被写体の方向から定まる。また、オプティカルフローの方向は、車両１０から被写体までの距離と方向、即ち車両１０から被写体までの相対的位置により定まる。また車両１０が微小時間内に旋回を行った場合、画像内の被写体は、左右方向へのオプティカルフローが生じる。このオプティカルフローの方向は、旋回を行った方向と逆方向であり、大きさは、旋回速度に比例する。そこで、オプティカルフロー算出部４６は、車両１０が直進した場合に生じたオプティカルフローに、旋回した場合に生じた各オブジェクトのオプティカルフローを加算することにより、車両１０が旋回しながら進んだ場合における、静止被写体のオプティカルフローを算出する。尚、本例のオプティカルフロー算出部４６は、３次元のオプティカルフローを算出する。

移動体検出部５２は、３Ｄカメラ４２が算出した被写体の位置に基づいて、車両１０に対する被写体の相対的な移動ベクトルを算出する。この場合、移動体検出部５２は、同じ特徴点の異なるフレーム間における位置の差分を求めることにより特徴点の移動ベクトルを算出する。移動体検出部５２は、オプティカルフロー算出部４６によって算出された静止被写体のオプティカルフローの中で、移動体検出部５２が算出した移動ベクトルとは異なる移動ベクトルを有する被写体を、移動体として検出する。ここで移動体検出部５２は、オプティカルフロー算出部４６が算出したオプティカルフローと、算出した移動ベクトルとの差分を算出し、予め定められた大きさを超えた場合に、この移動ベクトルを有する被写体を移動体であると判断する。そして移動体除去部５４は、移動体検出部５２によって検出された移動体を除去する。これにより、移動体を確実に除去することができる。

周囲被写体検出部５６は、カーナビゲーションシステム６２から取得される走行中の道路の幅および道路上の位置を示す情報を用いて、３Ｄカメラ４２によって撮像される画像中の、道路の周囲の被写体である周囲被写体のみを検出する。本例のカーナビゲーションシステム６２は、道路の幅を予め格納しており、ＧＰＳ情報を車両１０の道路上の位置を示す情報としてＧＰＳ衛星５００から取得する。また周囲被写体とは、車両１０が走行する道路の周囲に存在する建築物や標識などであってよい。周囲被写体検出部５６は、道路上における現在の車両１０の位置、および道路の幅から、撮像された画像における道路を示す領域を特定し、この道路以外の領域の被写体を、周囲被写体として検出する。そして周囲被写体選択部５８は、周囲被写体検出部５６によって検出された周囲被写体を選択する。

地図更新部６０は、３Ｄカメラ４２によって撮像された画像を用いて、カーナビゲーションシステム６２が有する立体地図を更新する。地図更新部６０は、高周波除去部４４によって高周波が除去された画像を用いて立体地図を更新する。これにより、被写体の境界領域の高周波成分を保持しつつ、被写体に含まれる汚れ等の情報を効果的に削減することができる。また高周波が除去された画像を用いて立体地図を更新するので、運転手が把握しやすく、かつ情報量の少ない立体地図を生成することができる。地図更新部６０は、移動体除去部５４によって移動体が除去された画像を用いて立体地図を更新する。これにより、立体地図に移動体が格納されることを防ぐことができる。地図更新部６０は、周囲被写体選択部５８によって検出された周囲被写体の画像を用いて、立体地図を更新する。これにより、例えば路上の画像や、道路自体の画像などの不要な画像が立体地図に更新されることを避けることができる。尚、立体地図を更新する動作の詳細は後述する。

尚、本例の地図更新部６０は、予め格納された立体地図と撮像した画像とを比較することにより、予め格納された立体地図とは異なる領域の画像を選択する。この場合、地図更新部６０は、立体地図ＤＢ６４に予め格納された立体地図の各座標における画素値と、周囲被写体選択部５８より受け取った画像における各座標における画素値との差分を算出し、この差分の絶対値が予め定められた値よりも大きい場合に、その座標を更新すべき立体地図の領域として選択する。送信部６７は、無線を用いて、更新すべき立体地図の領域を示す画像情報を基地局４００へ送信する。これによりサーバ２００へ送信するデータ量を削減することができる。尚、本例において、更新すべき立体地図の領域を示す画像情報とは、領域を示す各座標、および各座標における更新すべき画素値である。

サーバ２００は、地図更新部６１および最新立体地図ＤＢ（データベース）６８を有する。地図更新部６１は、ネットワーク３００を介して複数の車両１０から受け取った、更新すべき立体地図の領域を示す画像情報を用いて、最新立体地図ＤＢ６８に格納されている最新の立体地図を更新する。これにより最新立体地図ＤＢ６８は、最新の立体地図を格納する。

ここでカーナビゲーションシステム６２によってルート検索が行われると、地図更新装置１００の最新地図取得部６６は、ルート上の最新の立体地図をネットワーク３００および基地局４００を介してサーバ２００から取得し、カーナビゲーションシステム６２に格納する。このように最新地図取得部６６はサーバ２００から最新の立体地図を取得して、カーナビゲーションシステム６２に格納するので、本発明の地図更新装置１００は、各地の最新の画像を取得して、立体地図を最新の内容に更新することができる。そして初めて通過する場所であっても、最新の立体地図を運転手に対して表示することができる。また、本発明の地図更新装置１００は、必要な立体地図のみをサーバ２００から取得するので、サーバ２００との通信時間、通信料金、および更新時間を削減することができる。

図４および図５は、地図更新装置１００の動作の一例を示すフローチャートである。カーナビゲーションシステム６２は、ＧＰＳ衛星５００からＧＰＳ情報を受け取る。これによりカーナビゲーションシステム６２は、車両１０の現在の位置、および進行方向を取得する（Ｓ１００）。尚、本例のカーナビゲーションシステム６２は、車両１０の位置の履歴から車両１０の進行方向を特定する。

３Ｄカメラ４２は、車両１０から前方の画像を撮像する（Ｓ１０５）。本例の３Ｄカメラ４２は内部に２つのカメラを含んでおり、各カメラにより撮像された被写体の特徴点の位置のずれを用いて車両１０を基準とした被写体までの距離を求める。また３Ｄカメラ４２は、撮像された画像における被写体の位置を用いて、車両１０の進行方向に対する被写体の方向を算出する。これにより３Ｄカメラ４２は、車両１０からみた被写体の相対的な位置を検出する。

そして３Ｄカメラ４２により撮像された画像の中で、低周波成分の大きさと比較して、大きさが基準値以上に大きな高周波成分を有する場合（Ｓ１１０：ＹＥＳ）、高周波除去部４４は、高周波成分を除去する（Ｓ１１５）。また３Ｄカメラ４２により撮像された画像の中で、低周波成分の大きさと比較して、大きさが基準値以上に大きな高周波成分を持たない場合（Ｓ１１０：ＮＯ）、本フローチャートは、ステップＳ１２０へ進む。

車速検出部４８は車両１０の移動速度を検出し、舵角検出部５０は、車両１０の移動旋回角度を検出する（Ｓ１２０）。旋回速度算出部５１は、車速検出部４８が検出した移動速度および、舵角検出部５０が検出した舵角に基づいて、車両１０の旋回速度を算出する（Ｓ１２５）。本例の旋回速度算出部５１は、車速検出部４８が検出した移動速度に、舵角検出部５０が検出した舵角の変化の大きさを乗じることにより、車両１０の旋回速度を算出する。

オプティカルフロー算出部４６は、車速検出部４８によって検出された車速、及び旋回速度算出部５１によって算出された旋回速度を用いて、静止被写体のオプティカルフローを算出する（Ｓ１３０）。尚、本例のオプティカルフロー算出部４６は、３次元のオプティカルフローを算出する。

移動体検出部５２は、３Ｄカメラ４２が算出した被写体の位置に基づいて、車両１０に対する被写体の相対的な移動ベクトルを算出する。この場合、移動体検出部５２は、同じ特徴点の異なるフレーム間における位置の差分を求めることにより特徴点の移動ベクトルを算出する。オプティカルフロー算出部４６によって算出された静止被写体のオプティカルフローの中で、移動体検出部５２が算出した移動ベクトルとは異なる移動ベクトルを有する場合（Ｓ１３５：ＹＥＳ）、移動体検出部５２は、この被写体を移動体として検出する（Ｓ１４０）。ここで移動体検出部５２は、オプティカルフロー算出部４６が算出したオプティカルフローと、算出した移動ベクトルとの差分を算出し、予め定められた大きさを超えた場合に、この移動ベクトルを有する被写体を移動体であると判断する。そして移動体除去部５４は、移動体検出部５２によって検出された移動体を除去する（Ｓ１４５）。

オプティカルフロー算出部４６によって算出された静止被写体のオプティカルフローの中で、移動体検出部５２が算出した移動ベクトルとは異なる移動ベクトルを持たない場合（Ｓ１３５：ＮＯ）、本フローチャートは、ステップＳ１５０へ進む。

周囲被写体検出部５６は、カーナビゲーションシステム６２から取得される位置情報に基づいて、現在走行中の道路の幅および道路上の位置を示す情報を取得する。これにより周囲被写体検出部５６は、３Ｄカメラ４２によって撮像される画像における道路および道路上の領域を定め（Ｓ１５０）、そして、道路および道路上の被写体を除外する（Ｓ１５５）。ここで周囲被写体とは、車両１０が走行する道路の周囲に存在する建築物や標識などであってよい。周囲被写体選択部５８は、周囲被写体検出部５６によって検出された周囲被写体のみを選択する（Ｓ１６０）。

地図更新部６０は、３Ｄカメラ４２によって撮像された画像を用いて、カーナビゲーションシステム６２が有する立体地図を更新する（Ｓ１６５）。本例の地図更新部６０は、高周波除去部４４によって高周波が除去された画像、移動体除去部５４によって移動体が除去された画像、及び周囲被写体選択部５８によって検出された周囲被写体の画像を用いて立体地図を更新する。或いは地図更新部６０は、高周波が除去された画像、移動体が除去された画像、又は周囲被写体の画像のいずれかを用いて立体地図を更新してもよい。

尚、本例の地図更新部６０は、立体地図ＤＢ６４に予め格納された立体地図の各座標における画素値と、周囲被写体選択部５８より受け取った画像における各座標における画素値との差分を算出し、この差分の絶対値が予め定められた値よりも大きい場合に、その座標を更新すべき立体地図の領域として選択する。すると送信部６７は、無線を用いて、基地局４００を介してサーバ２００へ更新すべき立体地図の領域を示す画像情報を送信する（Ｓ１７０）。するとサーバ２００の最新立体地図ＤＢ６８は、各車両１０から受け取った画像を用いて、最新立体地図ＤＢ６８に格納されている最新の立体地図を更新する。

ここで、カーナビゲーションシステム６２によってルート検索が行われると（Ｓ１７５：ＹＥＳ）、最新地図取得部６６は、ルート上の最新の立体地図をサーバ２００から取得し（Ｓ１８０）、取得した最新の立体地図をカーナビゲーションシステムに格納する。カーナビゲーションシステム６２によってルート検索が行われない場合（Ｓ１７５：ＮＯ）、本フローチャートは、ステップＳ１００へ進み、上記で説明したステップＳ１００からステップＳ１７５までの動作を繰り返す。以上で、本フローチャートを終了する。

図６は、立体地図の表示について説明する図である。カーナビゲーションシステム６２は、立体地図ＤＢ６４に、交差点および道路が曲がる箇所をノードとして格納すると共に、それぞれの道路を、ノードをつなぐリンクとして格納する。本図の例では、ノード８００および８０２には、リンク８０４〜８１５がつながっている。ここでカーナビゲーションシステム６２は、ノードに対応づけて位置情報を格納し、リンクに対応づけて道路情報を格納する。例えばカーナビゲーションシステム６２は、ノードに対応づけて緯度および経度で示された位置情報を格納し、リンクに対応づけて、リンクに対応する道路の法定速度等の情報を道路情報として格納する。これらの情報を運転手へ提供することにより、カーナビゲーションシステム６２は運転手の運転を支援する。

本図は、道路６０６（図２参照）を走行する車両１０を真上から見た様子を示す。説明の便宜上、交差点および道路に対応するノードおよびリンクを重ねて示す。立体地図ＤＢ６４は、立体地図を生成するための３次元の画像情報を各リンクに対応づけて格納しており、カーナビゲーションシステム６２は、各リンクにおける車両１０の現在位置に基づいて、格納された画像情報を用いて立体地図を生成する。本例の立体地図ＤＢ６４は、３次元の画像情報として、ノードを座標の原点とする３次元座標と、各３次元座標に対応する画素値とを格納する。そしてカーナビゲーションシステム６２は、リンク上における車両１０の位置に基づいて、運転手へ表示するべき立体地図を、随時、生成しながら表示する。本例のカーナビゲーションシステム６２は、運転手の視点から見た場合における、道路および建物の表面を表す画像を、運転手へ表示するべき立体地図として表示する。

例えば、建物６１６の表面上における位置８２０は、ノード８００を原点とする３次元座標（Ｘ、Ｙ、Ｚ）で定義され、立体地図ＤＢ６４は、位置８２０における画素値Ａを格納する。同様にして立体地図ＤＢ６４は、道路および道路周辺の全ての位置に対応づけて、３次元座標および画像値を格納している。車両１０が矢印８０４に示されるリンク８０８上に位置し、矢印８１６が示す方向、即ちノード８００からノード８０２へ向かって移動している場合、カーナビゲーションシステム６２は、車両１０の運転手から見える道路および各建物の立体地図を生成して表示する。本図の例において、運転手へ表示するべき領域が、点線で示された領域８５０である場合、カーナビゲーションシステム６２は、建物６１４、６１６、６０８、６１０、および６１２を含む立体地図を表示する。尚、進行方向が矢印８１６と逆方向である場合、カーナビゲーションシステム６２は、ノード８０２を原点とした３次元座標に変換して立体地図を表示する。

図７は、ステップＳ１６５における詳細な動作の一例を示すフローチャートである。新しい建物６１４が建造されていた場合、地図更新装置１００の３Ｄカメラ４２は、建物６１４を含む画像を撮像する。ここで、現在位置をＧＰＳ衛星５００（図３参照）から取得すると、カーナビゲーションシステム６２は、ＧＰＳ衛星５００から受け取った現在の車両１０の位置情報を、リンク上における座標に変換する。本例のカーナビゲーションシステム６２は、車両１０の現在位置を、車両１０の進行方向と逆の方向に接続されたノードを原点とする座標に変換する。図６の例では、カーナビゲーションシステム６２は、ノード８００を原点とする、リンク８０８における位置を特定する（Ｓ２００）。

次に地図更新部６０は、予め格納された３次元の画像情報、即ち古い３次元の画像情報において、現在の車両１０の位置として運転手へ表示すべき立体地図を生成するために必要な各点の座標と画素値を算出する（Ｓ２０５）。そして、各座標において、３Ｄカメラ４２が撮像した３次元画像の画素値と古い３次元画像の画素値とを比較し、その差分が所定の値よりも大きい場合に、古い３次元画像の画素値を、３Ｄカメラ４２が新しく撮像した画像の画素値に置き換える（Ｓ２１０）。これにより地図更新部６０は、立体地図を更新する。

尚、本例のオプティカルフロー算出部４６は、各被写体の３次元のオプティカルフローを算出したが、より簡易には２次元のオプティカルフローを算出してもよい。この場合、移動体検出部５２は、連続して撮像された画像から各被写体の移動ベクトルを算出することにより、画像全体に生じるオプティカルフローを算出し、算出されたオプティカルフローと異なる移動ベクトルを持つ被写体を、移動体として検出しても良い。

また、本例の地図更新装置１００は、３Ｄカメラ４２を用いて画像を取得したが、他の例における地図更新装置１００は、２Ｄカメラを用いて画像を取得してもよい。この場合、地図更新部６０は、２Ｄカメラで撮像された画像に対応する立体地図を生成するのに必要な、予め３次元の形式で格納された画像情報を特定することによって、立体地図を更新する。

或いは、他の例として、地図更新装置１００は、車両の位置に応じて運転手へ表示するべき２次元の画像を予め格納していてもよい。この場合、地図更新装置１００は、予め格納された画像と２Ｄカメラによって取得した画像とのパターンマッチング処理を行い、予め格納された画像には無い被写体を検出することにより、地図更新装置１００の画像を更新する。

以上の説明から明らかなように本実施形態によれば、地図更新部６０は３Ｄカメラ４２によって撮像された画像を用いて、カーナビゲーションシステム６２が有する立体地図を更新するので、道路の周辺に様々な建造物が造られた場合であっても、最新の立体画像を車両の運転手に提供することができる。高周波除去部４４は３Ｄカメラ４２により撮像された画像の中で、高周波成分のみを有する領域を抽出して、この領域における高周波成分を除去するので、被写体の境界領域の高周波成分を保持しつつ、被写体に含まれる汚れ等の情報を効果的に削減することができる。また、移動体検出部５２は、３Ｄカメラ４２によって連続して撮像された画像に含まれる被写体の位置を比較することにより、撮像された画像に含まれる移動体を検出するので、立体地図に移動体が格納されることを防ぐことができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれることが、特許請求の範囲の記載から明らかである。

本発明の地図更新システム９００の構成を示す図である。 地図更新装置１００が有する立体地図を説明する図である。（ａ）は、予め地図更新装置１００に格納された立体地図を示す。（ｂ）は、地図更新装置１００が有するカメラが撮像した画像を示す。（ｃ）は、地図更新装置１００が格納する更新された立体地図を示す。 地図更新システム９００の詳細な構成の一例を示す図である。 地図更新装置１００の動作の一例を示すフローチャートである。 地図更新装置１００の動作の一例を示すフローチャートである。 立体地図の表示について説明する図である。 ステップＳ１６５における詳細な動作の一例を示すフローチャートである。

符号の説明

１０ａ〜ｎ・・・車両、４２・・・３Ｄカメラ、４４・・・高周波除去部、４６・・・オプティカルフロー算出部、４８・・・車速検出部、５０・・・舵角検出部、５１・・・旋回速度算出部、５２・・・移動体検出部、５４・・・移動体除去部、５６・・・周囲被写体検出部、５８・・・周囲被写体選択部、６０・・・地図更新部、６１・・・地図更新部、６２・・・カーナビゲーションシステム、６４・・・立体地図ＤＢ、６６・・・最新地図取得部、６７・・・送信部、６８・・・最新立体地図ＤＢ、１００ａ〜ｎ・・・地図更新装置、２００・・・サーバ、３００・・・ネットワーク、４００ａ〜ｍ・・・基地局、５００・・・ＧＰＳ衛星、６００・・・歩行者、６０２、６０４・・・車両、６０６・・・道路、６０８、６１０、６１２、６１４、６１６・・・建物、６２０・・・交差点、７００、７０２、７０４・・・窓、７０６・・・汚れ、７０８・・・玄関、８００、８０２・・・ノード、８０４、８１６・・・矢印、８０６、８０８、８１０、８１２、８１４、８１５・・・リンク、８２０・・・位置、８５０・・・領域、９００・・・地図更新システム

Claims (8)

1. 車両に搭載されるカメラと、
   立体地図を有し、車両の位置および進行方向を取得するカーナビゲーションシステムと、
   前記カメラにより撮像された画像の中で、高周波成分の大きさが、低周波成分の大きさより基準値以上大きい領域を抽出して、この領域における高周波成分を除去する高周波除去部と、
   前記高周波除去部によって高周波成分が除去された画像を用いて、前記カーナビゲーションシステムが有する立体地図を更新する地図更新部と
   を備えた地図更新システム。
2. 前記カーナビゲーションシステムから取得される走行中の道路の幅および道路上の位置を示す情報を用いて、前記カメラによって撮像される画像中の、道路の周囲の被写体である周囲被写体を検出する周囲被写体検出部
   を更に備え、
   前記地図更新部は、前記周囲被写体検出部によって検出された周囲被写体の画像を用いて、立体地図を更新する請求項１に記載の地図更新システム。
3. 車両に搭載されるカメラと、
   立体地図を有し、車両の位置および進行方向を取得するカーナビゲーションシステムと、
   前記カーナビゲーションシステムから取得される走行中の道路の幅および道路上の位置を示す情報を用いて、前記カメラによって撮像される画像中の、道路の周囲の被写体である周囲被写体を検出する周囲被写体検出部と、
   前記周囲被写体検出部によって検出された周囲被写体の画像を用いて、前記カーナビゲーションシステムが有する立体地図を更新する地図更新部と
   を備えた地図更新システム。
4. 前記カメラによって連続して撮像された画像に含まれる被写体の位置を比較することにより、撮像された画像に含まれる移動体を検出する移動体検出部と、
   前記移動体検出部によって検出された移動体を除去する移動体除去部と
   を更に備え、
   前記地図更新部は、前記移動体除去部によって移動体が除去された画像を用いて立体地図を更新する請求項１から３のいずれかに記載の地図更新システム。
5. 車両の移動速度を検出する車速検出部と、
   前記車速検出部によって検出された移動速度を用いて、静止被写体のオプティカルフローを算出するオプティカルフロー算出部と
   を更に備え
   前記移動体検出部は、前記オプティカルフロー算出部によって算出されたオプティカルフローとは異なる移動ベクトルを有する被写体を移動体として検出する請求項４に記載の地図更新システム。
6. 最新の立体地図を格納しているサーバを更に備え、
   前記地図更新部は、複数の車両から受け取った画像を用いて、前記サーバに格納されている最新の立体地図を更新する請求項１から５のいずれかに記載の地図更新システム。
7. 前記サーバから最新の立体地図を取得して、前記カーナビゲーションシステムに格納する最新地図取得部を更に備えた請求項６に記載の地図更新システム。
8. 前記最新地図取得部は、前記カーナビゲーションシステムによってルート検索が行われると、ルート上の最新の立体地図を前記サーバから取得して前記カーナビゲーションシステムに格納する請求項７に記載の地図更新システム。

Images