JP4718396B2 - ランドマーク認識システム - Google Patents

Description

本発明は、車載カメラ画像からランドマークを認識してカーナビゲーション装置の位置精度を向上させるために、ランドマーク更新情報を効率よく収集するためのシステムに関する。

カーナビゲーション装置はＧＰＳによる緯度経度測位とジャイロや車速センサ等から得られる運動量に基づき、装置に内蔵する地図情報とマップマッチングを行って自車の走行位置を推定しているが、ＧＰＳは数十メートル程度の測位誤差が避けられず、並進する道路の特定や複数車線の中での走行位置を特定することは困難である。そこで、自動車にカメラを取り付け、走行中にカメラ画像から交差点特有の形状や信号等の標識，横断歩道等の表示、即ちランドマークを認識してマップマッチングを補正し、カーナビゲーション装置の自車位置推定精度を向上させることが考えられた（特許文献１，特許文献２，特許文献４）。

一方、ランドマークを使用した位置補正を行いカーナビゲーションの位置精度を向上させるためには正確な地図情報が前提となるが、車載カメラ画像からランドマークを認識し、内蔵された地図と異なる場合にその情報を、通信回線を使って地図センタに送り、センタの地図データベースを更新すると共に自動車側にも最新の地図をダウンロードすることも考えられた（特許文献３）。

特開平９−１５２３４８号公報 特開平９−２４３３８９号公報 特開２００２−２４３４６９号公報 特開２００４−１７１１５９号公報

自動車に取り付けたカメラ画像を使ってランドマークを認識し、カーナビゲーション装置におけるマップマッチングの位置補正を行う手段については、特許文献１や特許文献２に述べられているが、これらは内蔵する地図情報を更新する手段について述べられていない。

一方、自動車に取り付けたカメラ画像を使ってランドマークを認識し、内蔵する地図と異なる認識結果が得られた場合に通信回線を使用して地図センタにランドマーク更新情報を送ると共に、地図センタから最新の地図データを自動車側にダウンロードする手段については、特許文献３に述べられている。

特許文献１や特許文献２の位置補正の技術と、特許文献３の地図データ更新の技術を組み合わせれば、カメラ画像を使って位置補正を行いながら最新の地図データが使用可能な、位置補正に関して完成度の高いカーナビゲーションシステムが構成できるはずである。

しかし、特許文献３においては、テンプレートマッチングにより画像認識により道路標識や店舗の看板等が認識できる場合のみを想定しており、認識に失敗した場合の扱いが述べられていない。画像認識は認識対象の状態や明るさ等の撮影条件により認識率に大きな差が出るものであり、実際にはランドマークの認識に失敗する場合が多々ある。しかも、認識失敗の原因としては本当にランドマークが変更された場合以外にも、逆光や降雨等で撮影条件が悪く対象物がはっきり撮影できなかった、駐車車両の陰になってランドマークが撮影できなかった、横断歩道等のペイントがかすれていたため認識できなかった、カメラが故障した、等々が考えられる。

認識に失敗した場合、特に地図上に存在するはずのランドマークを認識できなかった場合、特許文献３では道路や店舗が無くなったという誤った報告を地図センタに上げる恐れがあった。地図センタでは誤った報告が多く上げられると、認識失敗原因を確認する手間が増えてしまい、かえって地図更新のためのコストが増加してしまう。

このように、画像認識結果を単純に地図センタに報告するだけでは正確なランドマーク更新情報を収集できないので、情報収集の確度を向上させること、特に自動車側から正確なランドマーク更新情報を報告することが課題となる。さらに、情報収集の確度が向上したとしても、車両がランドマークの更新されたと思われる地点を通過するたびに地図センタに報告が上げられるのは無駄であり、報告回数を削減することも課題となる。

本発明は、ランドマークの認識結果を成功あるいは失敗という単純な情報ではなく認識スコア即ち認識の確からしさも含めて出力する画像認識手段，明るさ・コントラスト・天候等の条件から認識の困難さを評価する撮影条件評価手段，報告しようとしている場所が過去一定期間報告されていないことを判断する認識履歴管理手段，認識スコア・撮影条件・報告履歴を考慮して地図センタに報告を上げるか否かを判断する送信条件判定手段を持つことにより、誤った報告を行う可能性及び報告そのものの回数を低減する。

本発明によれば、画像認識スコアに撮影条件を加味することで確度の高いランドマーク更新情報が収集でき、また、報告履歴を利用することで地図センタと自動車間の報告回数も削減できる。

以下図１から図１２を用いて本発明の実施例を説明する。

先ずシステムの構成と機能について説明する。図１は本発明を用いた実施例に係わるランドマーク認識システムの全体構成である。本実施例ではナビゲーション装置１０を搭載した多数の自動車が通信網２を介して地図データセンタ３に接続される。本実施例においては通信網２及びその通信方式として携帯電話網によるパケット通信を想定するが、本発明においてどのような通信網を利用するかは本質的ではない。

ナビゲーション装置１０は、測位センサ６００から得られる測位情報と、後述するマップマッチング処理により自車位置を計算して表示装置７００に表示を行うナビゲーション制御装置２００，自動車のフロントガラス付近に取り付けられたカメラ４００から入力される動画像からランドマークを認識する画像認識装置１００，画像認識装置１００に操作スイッチの動作状態を知らせるための入力装置５００，ランドマーク更新情報を地図データセンタ３に送るための通信装置３００を備えている。

画像認識装置１００は、認識エンジン１０１，ランドマーク照合部１０２，撮影条件評価部１０３，認識履歴管理部１０４，送信条件判定部１０５から成り、カメラ４００，入力装置５００，通信装置３００、及びナビゲーション制御装置２００が接続されている。

ランドマーク照合部１０２は、ナビゲーション制御装置２００内の地図マッチング処理部２０１から指示されるランドマーク情報を認識エンジン１０１に指示し、認識エンジン１０１から得られる、認識結果とランドマーク情報の照合結果を地図マッチング処理部
２０１，認識履歴管理部１０４及び送信条件判定部１０５に送る。認識エンジン１０１はカメラ４００から入力される動画像を、予め決められたアルゴリズムに従って画像認識し、認識した結果としてランドマーク種別及び認識スコアをランドマーク照合部１０２に送る。また、認識エンジン１０１は、画像の明るさやコントラスト等の画像に関する情報を撮影条件評価部１０３に送る。撮影条件評価部１０３は、認識エンジン１０１から得られる画像に関する情報と、入力装置５００から得られる照明スイッチやワイパースイッチ
（図示せず）の動作状況といった外部環境判定情報から、撮影条件が画像認識に適しているか否かを評価し、評価結果を送信条件判定部１０５に送る。

認識履歴管理部１０４は、地図マッチング処理部２０１から得られる自車走行位置を検索キーとして、ランドマーク照合部１０２から得られた照合結果と同一の照合履歴が過去に存在するか否か履歴保持部１０６を検索し、照合履歴が無い場合はその照合結果を照合履歴として履歴保持部１０６に新規に記憶すると共に、送信履歴が無い旨を送信条件判定部１０５に送る。なお、照合履歴はあっても過去の照合結果が送信済みとなっていない場合には、送信履歴が無い旨を送信条件判定部１０５に送る。認識履歴管理部１０４は、通信装置３００から照合結果の送信が行われたことを通知された場合、対応する照合履歴を送信済みの状態に更新する。送信条件判定部１０５は、撮影条件評価部１０３から得られる評価結果及び認識履歴管理部１０４から得られる送信履歴から、照合結果を送信するか否かを判定し、照合結果を送信すると判定した場合には、ランドマーク照合部１０２から得られた照合結果を通信装置３００に送る。

ナビゲーション制御装置２００は、自車の測位位置を計算する測位計算部２０２と、自車の走行位置を道路上に合わせる地図マッチング処理部２０１と、経路誘導を行う経路誘導制御部２０３と、表示画面を生成する表示制御部２０４と、地図データ保持部２０５の地図データを更新する地図更新制御部２０６を備える。測位計算部２０２では、ＧＰＳ，ジャイロ，車速センサ等の測位センサ６００から入力されるセンサ情報を用いて、自車の測位位置を計算する。地図マッチング処理部２０１では、測位計算部２０２で計算した測位位置と地図データ保持部２０５に記憶されている地図データ及び画像認識装置１００から得られるランドマーク認識結果から自車の走行位置を地図上の道路位置に合わせる処理を行う。経路誘導制御部２０３では、地図マッチング処理部２０１で地図上の道路位置に合わせた自車走行位置から目的地までの経路を探索し、経路誘導を行う。表示制御部204では、自車走行位置付近の地図データや誘導経路を表示する画面を生成する。地図更新制御部２０６では、地図データセンタ３から送られてくる地図更新情報を受け取り、地図データ保持部２０５に記憶されている地図データを更新する。

図２は、ナビゲーション装置１０のハードウェア構成を示す図である。ナビゲーション装置１０のハードウェアは、中央処理装置（ＣＰＵ）２０，メモリ２１，ハードディスクドライブ等の書換え可能なファイル装置２２，カメラ４００からの動画像を処理する画像処理ＬＳＩ２３，表示装置７００，表示装置７００に表示する画像を制御するグラフィックコントローラ２４，入力装置５００，通信装置３００、の各機能部品若しくは同等の機能を有する部品から成る。

画像認識装置１００とナビゲーション制御装置２００は、メモリ２１上に存在しＣＰＵ２０で実行されるソフトウェアとして実現され、ソフトウェアは必要に応じファイル装置２２，画像処理ＬＳＩ２３及びグラフィックコントローラ２４を制御する。

図３は、地図データセンタ３の構成図である。地図データセンタ３は、最新の地図データを保持している地図データベース３０１，ナビゲーション装置から送信されてきたランドマーク更新情報及び、更新地図の配信状況を保持する更新用データベース３０２，更新用データを地図データセンタのオペレータに表示し更新すべきデータか否かを指示できる地図更新データ入出力装置３０３，地図データベース及び配信状況も含めた更新用データベースの管理を行う更新データ管理装置３０４及び、通信網に接続される通信装置３０５から成る。

以下、ランドマーク認識の実行及び地図データセンタ３への更新情報送信実行の動作について説明する。

認識エンジン１０１ではカメラ４００から画像を取り込み、取り込んだ画像内で予め特徴量を与えられている複数のランドマーク候補の中から最も近い特徴を持つランドマーク種別を選び、認識結果として、最も確からしいランドマークの種別及びその確信度（認識スコア）を一定時間毎に出力するものとする。なお、確信度を伴ったランドマークの認識方法自体は、画像認識においては一般的な手法であり、特許文献４等にも示されている画像認識処理を用いることにより実現できる。

また、認識エンジン１０１は、画像の明度及びコントラスト比を撮影条件評価部１０３に出力する。画像の明度とは、画像全体の平均輝度のことであり、コントラスト比とは、画像を小ブロックに分割して各ブロックの平均輝度を求めた場合の、最大の平均輝度と最小の平均輝度の比である。図４はコントラスト比を算出するために画像を４×４個の小ブロックに分割した例であり、太陽光が差し込んだ逆光状態を示している。この図の場合、太陽が移り込んでいる小ブロックが最大輝度領域となり、逆光により陰となっている車両や路面の陰が写っている小ブロックが最小輝度領域となり、これらの輝度領域の平均輝度の比が出力される。

図５のフローチャートは、地図マッチング処理部２０１で行われる地図マッチング処理を表している。本実施例において、測位位置とは測位センサとしてＧＰＳを用いたＧＰＳ測位から得られる座標，走行位置とは地図マッチング処理によって補正された座標を表すものとする。処理ステップ８０１では、測位計算部２０２から測位位置を読み込む。処理ステップ８０２では、走行位置と測位位置のずれを計算し、このずれが測位位置の想定誤差以内に収まっているか否かを判定する。走行位置とのずれが想定誤差より大きい場合、処理ステップ８０３では、地図データ保持部２０５から測位位置周辺の地図情報を読み込み、走行軌跡に最も良く一致する地図位置を検索する。そして処理ステップ８０４では、検索された地図位置を走行位置に再設定する。走行位置とのずれが想定誤差以内であった場合あるいは走行位置の再設定を行った後、処理ステップ８０５では、地図データ保持部２０５から走行位置付近の地図情報を読み込み、付近に照合を行うランドマークがあるかを検索する。処理ステップ８０６では、照合を行うランドマークがあるか否かを判定して、照合対象ランドマークがなければ処理の先頭に戻る。処理ステップ８０７では、照合を行うランドマークの情報をランドマーク照合部１０２に渡して照合処理を起動して照合結果を待つ。そして照合結果が得られると処理ステップ８０８では、ランドマーク照合部
１０２からの照合結果を判定する。照合結果の判定がランドマーク照合成功であれば、処理ステップ８０９では走行位置とランドマーク照合によって得られた地図上の詳細位置のずれを計算し、このずれが予め想定した誤差以内に収まっているか否かを判定する。そしてずれが予め想定した誤差以内であれば地図マッチング処理の先頭に戻る。またズレが誤差以上であった場合、処理ステップ８１０では、走行位置をランドマーク照合によって得られたランドマークの地図上の位置に基づいて自車位置を補正する。

図６のフローチャートは、ランドマーク照合部１０２で行われるランドマーク照合処理を表している。処理ステップ８０７で起動されたランドマーク照合処理では、処理ステップ９０１において認識エンジン１０１からランドマーク認識結果を読み込む。処理ステップ９０２では地図マッチング処理部２０１から渡されたランドマーク情報と認識したランドマーク種別が一致しているか否かを判定する。ランドマーク種別が一致していた場合、照合ＯＫという結果となる。処理ステップ９０３ではランドマーク照合処理が起動されてからの経過時間が、予め決められた照合結果判定時間を越えているか否かを判定する。照合結果判定時間は、ランドマーク出現タイミングの誤差を見越して認識エンジン１０１の処理周期よりも長い時間とし、照合結果確認期間の間に認識結果が一致しなかった場合は照合ＮＧとみなす。処理ステップ９０４では認識履歴管理部１０４に照合結果及び認識結果を渡し、認識履歴管理処理を起動する。

図７及び図８のタイミングチャートはランドマーク照合部１０２で行われる処理のタイミングを示している。点線で区切られたＣ１からＣ６で示された期間は認識エンジン101の処理周期を表している。認識エンジン１０１は、処理周期毎に各処理周期で認識されたランドマーク種別，認識スコア，明度及びコントラスト比を出力する。図７は処理周期
Ｃ３の間に地図マッチング処理部２０１からランドマーク照合依頼が到着し、処理周期
Ｃ４で認識したランドマーク種別と照合依頼された種別が一致した場合である。図８は、処理周期Ｃ３の間に地図マッチング処理部２０１からランドマーク照合依頼が到着するが、地図マッチング処理部の照合結果確認期間である処理周期Ｃ６の途中までに認識結果が一致しなかった場合である。

図９のフローチャートは、撮影条件評価部１０３で行われる撮影条件評価処理を表している。照明スイッチ又はワイパースイッチがＯＮされている場合も撮影条件が悪いと判断する。また、画像の明度が一定の範囲内から外れる即ち極端に暗い場合又は極端に明るい場合や、コントラスト比が高い即ち逆光等の場合は、認識処理に悪影響を及ぼす可能性が高いため撮影条件が悪いと判断する。処理ステップ１２０１では入力装置５００より照明スイッチ及びワイパースイッチの状態を読み込む。処理ステップ１２０２では読み込んだスイッチの状態を判定する。照明スイッチ又はワイパースイッチがＯＮであれば、撮影条件不良と評価される。照明スイッチＯＦＦかつワイパースイッチＯＦＦの場合、処理ステップ１２０３では認識エンジン１０１から明度及びコントラスト比を読み込む。そして処理ステップ１２０４で、明度及びコントラスト比が共に基準内にあるか否かを判定する。この判定により、基準内にある場合には、撮影条件良と評価され、そうでなければ撮影条件不良と評価される。

図１０のフローチャートは、認識履歴管理部１０４で行われる認識履歴管理処理を表している。ランドマーク照合部１０２で行われたランドマーク照合処理の結果が照合ＮＧの場合、走行位置と照合結果を検索して送信履歴を調べると共に新たな照合結果の場合、照合履歴を記録する。処理ステップ１３０１では地図マッチング処理部２０１から走行位置を読み込む。処理ステップ１３０２では読み込んだ走行位置をキーにして履歴保持部106に記憶された照合履歴を検索する。処理ステップ１３０３では照合履歴が既に存在するか否かを判断する。照合履歴が存在しなかった場合、処理ステップ１３０４では履歴保持部１０６に走行位置をキーにして照合履歴を新規に記憶する。一方、照合履歴が存在した場合、処理ステップ１３０５では検索された照合履歴について地図データセンタ３へ照合結果が送信された履歴があるか否かを判断する。送信履歴が存在した場合には、処理ステップ１３０６では検索された照合履歴の送信履歴が一定期間経過したものか否かを判断する。そして、一定期間が経過していない場合には、既に認識した結果と同じ対象を認識したものとして、送信履歴有りと評価する。しかし、一定期間を経過していた場合には、同じ認識対象でも状態が変化している可能性があるため、送信履歴無しと評価する。

図１１のフローチャートは、送信条件判定部１０５で行われる送信条件判定処理を表している。この処理により、認識環境が良いにも関わらず照合結果が異なり、かつ送信履歴が無い場合だけランドマーク更新情報が地図データセンタ３に送信される。処理ステップ１４０１ではランドマーク照合部１０２から出力される認識結果を読み込む。処理ステップ１４０２ではランドマーク照合が成功したか否かを判定する。ランドマーク照合が成功していない場合、処理ステップ１４０３では認識スコアが一定値以上であるか否かを判定する。処理ステップ１４０４では撮影条件評価部１０３から出力される撮影条件評価結果を読み込む。処理ステップ１４０５では撮影条件評価結果が良か不良かを判断する。そして、撮影条件良の評価であった場合には、撮影条件が良好で認識スコアが高いにもかかわらず、ランドマーク照合が成功しなかった状態であると判断し、この認識結果について送信履歴があるか否かを判断するため、処理ステップ１４０６では認識履歴管理部１０４から出力される送信履歴検索結果を読み込み、処理ステップ１４０７では送信履歴の有無を判断する。そして、送信履歴が無いと評価されたのであれば、この照合結果を地図データセンタ３に送信する。

図１２のフローチャートは、通信装置３００で行われる送信処理を表している。処理ステップ１５０１では通信網２への通信回線接続処理を行う。処理ステップ１５０２では通信網２への接続に成功したか否かを判断する。接続が確立すると、処理ステップ１５０３ではランドマーク更新情報を送信する。処理ステップ１５０４では認識履歴管理部１０４に送信履歴が通知される。認識履歴管理部１０４では、対応する履歴が送信済みの状態に書き換えられる。

地図データセンタ３では、数多くの自動車から報告されるランドマーク更新情報を更新用データベース３０２に格納される。地図データセンタ３のオペレータは地図更新データ入出力装置３０３を使用してデータを確認し、地図を更新する。更新された地図の差分データは更新データ管理装置３０４によって各車両のナビゲーション装置に配布される。各車両では地図更新制御部２０６が地図更新情報を受け取り、地図データ保持部２０５に記憶されている地図データを更新する。これによりナビゲーション装置１０の地図データが最新のものに置き換えられる。

ランドマーク認識システムの構成図である。 ナビゲーション装置のハードウェア構成図である。 地図データセンタの構成図である。 コントラスト比算出における小ブロックへの分割例を示す図である。 地図マッチング処理部で行われる処理のフローチャートである。 ランドマーク照合部で行われる処理のフローチャートである。 ランドマーク照合部で行われる処理のタイミングを説明する図である。 ランドマーク照合部で行われる処理のタイミングを説明する図である。 撮影条件評価部で行われる処理のフローチャートである。 認識履歴管理部で行われる処理のフローチャートである。 送信条件判定部で行われる処理のフローチャートである。 通信装置で行われる処理のフローチャートである。

符号の説明

３…地図データセンタ、１０…ナビゲーション装置、１００…画像認識装置、１０１…認識エンジン、１０２…ランドマーク照合部、１０３…撮影条件評価部、１０４…認識履歴管理部、１０５…送信条件判定部、２００…ナビゲーション制御装置、２０１…地図マッチング処理部、２０６…地図更新制御部、３００…通信装置、４００…カメラ、６００…測位センサ。

Claims (2)

1. 車両外部を撮影するカメラと、
   カメラ画像に映った道路周辺のランドマークを認識してランドマーク種別及び認識結果の確からしさを表す認識スコアを出力する画像処理装置と、
   ランドマークの種別及び位置情報を格納した地図データ記憶装置と、
   現在位置を測位する測位手段と、
   地図データ記憶装置に格納されている地図上のランドマークの種別と画像処理装置による画像認識により得られたランドマーク種別の照合を行うランドマーク照合手段と、
   カメラ画像の撮影条件を評価する撮影条件評価手段と、
   を有し、
   認識されたランドマーク種別及び走行位置を地図データセンタに報告するランドマーク認識システムであって、
   認識されたランドマーク種別及び走行位置を地図データセンタへ報告するか否かを判断する送信条件判定手段と、
   地図データセンタへの一定期間内の報告履歴を記憶する履歴記憶手段と、
   を備え、
   前記送信条件判定手段においては、前記地図データ記憶装置に格納されている走行位置周辺のランドマークに画像認識により得られたランドマーク種別と一致するものがなく、前記画像認識手段から出力されたランドマークの認識結果の確からしさを表す確信度が一定値以上であり、撮影条件評価手段において撮影条件が良いと判定されていて、かつ前記履歴記憶手段にランドマーク種別と走行位置が同一の報告が記憶されていない場合にのみ地図データセンタへの報告を行うと判定することを特徴としたランドマーク認識システム。
2. 請求項１に記載の前記撮影条件評価手段における撮影条件の判断において、画像の明るさが一定範囲内であり、かつ画像内の明るさの分布が一定範囲内であり、かつ車両のワイパーが使用されていない場合に、撮影条件が良いと判断することを特徴としたランドマーク認識システム。

Images