JP7613406B2 - 地物検出装置、地物検出方法及び地物検出用コンピュータプログラム - Google Patents

Description

本発明は、画像から地物を検出する地物検出装置、地物検出方法及び地物検出用コンピュータプログラムに関する。

車両に搭載されたカメラにより生成された、走行中の車両の周囲を表す画像から車両の走行に関連する地物を検出する技術が提案されている（特許文献１を参照）。

特許文献１に開示された道路標示認識装置は、車載カメラの撮像画像を、垂直方向から見下ろす画像に変換して時系列順に接続して合成画像を生成する。さらに、この装置は、その合成画像の特徴量を抽出して、予め用意された基準となる特徴量のテンプレートと照合することで、画像に含まれる道路標示の種別を判断する。そしてこの装置は、自車両の道路標示に対する相対位置を検出する。

特開２００９－２０５４０３号公報

路上に、駐車車両といった車載のカメラから見て地物を隠す障害物が存在することがある。そのような障害物が存在する場所では、車載のカメラにより生成された画像に検出対象となる地物が表されていないため、画像から地物を検出することが困難なことがある。その結果として、そのような地物を表すデータを生成できないことがある。

そこで、本発明は、車両に搭載されたカメラにより生成された画像から地物を検出する地物検出装置を提供することを目的とする。

一つの実施形態によれば、地物検出装置が提供される。この地物検出装置は、車両に設けられた第１の撮像部により生成された、車両の周囲の第１の範囲を表す第１の画像から１以上の所定の地物を検出する第１の検出部と、車両に設けられた第２の撮像部により生成され、第１の範囲よりも車両に近い第２の範囲を表す第２の画像から１以上の所定の地物を検出する第２の検出部と、車両の速度、操舵角及びシフトポジションのうちの少なくとも一つに基づいて、車両が駐車されるか否か判定し、車両が駐車されるときに第２の検出部に１以上の所定の地物を検出させ、一方、車両の走行中において第１の検出部に１以上の所定の地物を検出させる切替判定部とを有する。

この地物検出装置において、第２の検出部は、第２の画像を視点変換して鳥瞰画像を生成し、生成した鳥瞰画像から１以上の所定の地物を検出することが好ましい。

また、この地物検出装置は、車両の走行中において互いに異なるタイミングで得られた２以上の第１の画像のそれぞれにおける、１以上の所定の地物のうちの第１の地物の位置と、２以上の第１の画像のそれぞれの取得のタイミング間の車両の移動量に基づいて第１の地物と車両との位置関係を推定し、推定した位置関係に基づいて第１の地物の実空間での位置を推定し、車両と第１の地物の位置関係に基づいて、鳥瞰画像上での第１の地物の位置を特定し、鳥瞰画像上での第１の地物の位置と１以上の所定の地物のうちの鳥瞰画像から検出された他の地物の鳥瞰画像上での位置との位置関係及び第１の地物の実空間での位置に基づいて、実空間における他の地物の位置を推定する位置推定部をさらに有することが好ましい。

また、この地物検出装置は、検出された１以上の所定の地物を表すデータを生成するデータ生成部をさらに有することが好ましい。

他の形態によれば、地物検出方法が提供される。この地物検出方法は、車両の速度、操舵角及びシフトポジションのうちの少なくとも一つに基づいて、車両が駐車されるか否か判定し、車両が走行中の区間において、車両に設けられた第１の撮像部により生成された、車両の周囲の第１の範囲を表す第１の画像から１以上の所定の地物を検出し、車両が駐車されるときの区間において、車両に設けられた第２の撮像部により生成され、第１の範囲よりも車両に近い第２の範囲を表す第２の画像から１以上の所定の地物を検出する、ことを含む。

さらに他の形態によれば、地物検出用コンピュータプログラムが提供される。この地物検出用コンピュータプログラムは、車両の速度、操舵角及びシフトポジションのうちの少なくとも一つに基づいて、車両が駐車されるか否か判定し、車両が走行中の区間において、車両に設けられた第１の撮像部により生成された、車両の周囲の第１の範囲を表す第１の画像から１以上の所定の地物を検出し、車両が駐車されるときの区間において、車両に設けられた第２の撮像部により生成され、第１の範囲よりも車両に近い第２の範囲を表す第２の画像から１以上の所定の地物を検出する、ことをコンピュータに実行させるための命令を含む。

本開示に係る地物検出装置は、車両に搭載されたカメラにより生成された画像に基づいて、地物を表すデータを生成することができるという効果を奏する。

地物検出装置が実装される地物データ収集システムの概略構成図である。 車両の概略構成図である。 データ取得装置のハードウェア構成図である。 地物検出装置の一例であるサーバのハードウェア構成図である。 地物検出処理に関する、サーバのプロセッサの機能ブロック図である。 第１の検出部により検出される地物と第２の検出部により検出される地物との関係の一例を示す模式図である。 地物検出処理の動作フローチャートである。

以下、図を参照しつつ、地物検出装置、及び、地物検出装置にて実行される地物検出方法ならびに地物検出用コンピュータプログラムについて説明する。この地物検出装置は、所定の領域について、通信可能な１以上の車両から、車両の走行に関連する地物を表す画像及び車両の走行に関する情報を収集する。

地物検出装置へ画像を送信する車両は、撮影範囲が互いに異なる複数のカメラを有し、カメラごとに、車両の周囲を表す画像を生成する。そして車両は、カメラごとに、そのカメラにより生成された時系列の一連の画像、各画像の生成時刻、及び、車両の走行に関する情報を地物検出装置へ送信する。

地物検出装置は、車両の走行に関する情報に含まれる、車両の速度、操舵角及びシフトポジションのうちの少なくとも一つに基づいて、車両が駐車されるタイミングを検出する。そして地物検出装置は、車両が駐車されるタイミング以外では、複数のカメラのうち、相対的に車両から遠い範囲まで撮影可能なカメラにより生成された画像から地物を検出する。一方、地物検出装置は、車両が駐車されるタイミングでは、複数のカメラのうち、相対的に車両に近い範囲を撮影するカメラにより生成された画像を鳥瞰画像に変換し、変換後の鳥瞰画像から地物を検出する。さらに、この地物検出装置は、同一の地物が検出された２以上の画像のそれぞれが生成されたときの車両の位置に基づいて、その地物の位置を推定する。そしてこの地物検出装置は、地物を表すデータとして、検出した個々の地物の種類及び位置を表す情報を含むデータを生成する。なお、以下では、地物を表すデータを単に地物データと呼ぶ。

検出対象となる地物には、例えば、各種の道路標識、各種の道路標示、信号機及びその他の車両の走行に関連する地物が含まれる。

図１は、地物検出装置が実装される地物データ収集システムの概略構成図である。本実施形態では、地物データ収集システム１は、少なくとも一つの車両２と、地物検出装置の一例であるサーバ３とを有する。各車両２は、例えば、サーバ３が接続される通信ネットワーク４とゲートウェイ（図示せず）などを介して接続される無線基地局５にアクセスすることで、無線基地局５及び通信ネットワーク４を介してサーバ３と接続される。なお、図１では、簡単化のため、一つの車両２のみが図示されているが、地物データ収集システム１は、複数の車両２を有していてもよい。同様に、図１では、一つの無線基地局５のみが図示されているが、複数の無線基地局５が通信ネットワーク４に接続されていてもよい。

図２は、車両２の概略構成図である。車両２は、カメラ１１と、パノラミックカメラ１２と、GPS受信機１３と、無線通信端末１４と、データ取得装置１５とを有する。カメラ１１、パノラミックカメラ１２、GPS受信機１３、無線通信端末１４及びデータ取得装置１５は、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。また、車両２は、車両２の走行予定ルートを探索し、その走行予定ルートに従って車両２が走行するようナビゲートするナビゲーション装置（図示せず）をさらに有してもよい。

カメラ１１は、第１の撮像部の一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域（第１の範囲）の像を結像する結像光学系を有する。そしてカメラ１１は、例えば、車両２の前方を向くように車両２の車室内に取り付けられる。そしてカメラ１１は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに車両２の前方領域を撮影し、その前方領域が写った画像を生成する。なお、カメラ１１は、他の方向、例えは、車両２の後方を向くように車両２に取り付けられてもよい。カメラ１１により生成された画像は、第１の画像の一例であり、カラー画像であってもよく、あるいは、グレー画像であってもよい。

カメラ１１は、画像を生成する度に、その生成した画像を、車内ネットワークを介してデータ取得装置１５へ出力する。

パノラミックカメラ１２は、第２の撮像部の一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域（第２の範囲）の像を結像する結像光学系を有する。そしてパノラミックカメラ１２は、カメラ１１よりも車両２に近い範囲を撮影するように、車両２に取り付けられる。例えば、パノラミックカメラ１２は、車両２の周囲の下方がその撮影範囲に含まれるように、斜め下方を向けて車両２に取り付けられる。そのため、パノラミックカメラ１２の撮影範囲は、カメラ１１の撮影範囲よりも狭くなる。本実施形態では、パノラミックカメラ１２の焦点距離は、カメラ１１の焦点距離よりも短いが、これに限られない。そしてパノラミックカメラ１２は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに車両２の周辺領域を撮影し、その周辺領域が写った画像を生成する。なお、カメラ１１による撮影周期及び撮影タイミングと、パノラミックカメラ１２による撮影周期及び撮影タイミングとは、互いに独立とすることができる。パノラミックカメラ１２により生成された画像は、第２の画像の一例であり、カラー画像であってもよく、あるいは、グレー画像であってもよい。

なお、車両２には、撮影方向が異なる複数のパノラミックカメラ１２が設けられてもよい。例えば、一つのパノラミックカメラ１２が車両２の前端において車両２の前面下方を向くように取り付けられ、他のパノラミックカメラ１２が、車両２の後端において車両２の後面下方を向くように取り付けられてもよい。あるいは、車両２の周囲全体を撮影できるように、４台のパノラミックカメラ１２が、車両２の前端、後端、及び左右それぞれの側面に取り付けられてもよい。

パノラミックカメラ１２は、画像を生成する度に、その生成した画像を、車内ネットワークを介してデータ取得装置１５へ出力する。なお、以下では、パノラミックカメラ１２により生成された画像をカメラ１１により生成された画像と区別するために、パノラミックカメラ１２により生成された画像をパノラマ画像と呼ぶことがある。

パノラミックカメラ１２は、パノラマ画像を生成する度に、生成したパノラマ画像を、車内ネットワークを介してデータ取得装置１５へ出力する。

GPS受信機１３は、所定の周期ごとにGPS衛星からのGPS信号を受信し、受信したGPS信号に基づいて車両２の自己位置を測位する。なお、GPS受信機１３が車両２の自己位置を測位する所定の周期は、カメラ１１による撮影周期及びパノラミックカメラ１２による撮影周期と異なっていてもよい。そしてGPS受信機１３は、所定の周期ごとに、GPS信号に基づく車両２の自己位置の測位結果を表す測位情報を、車内ネットワークを介してデータ取得装置１５へ出力する。なお、車両２はGPS受信機１３以外の衛星測位システムに準拠した受信機を有していてもよい。この場合、その受信機が車両２の自己位置を測位すればよい。

無線通信端末１４は、通信部の一例であり、所定の無線通信規格に準拠した無線通信処理を実行する機器であり、例えば、無線基地局５にアクセスすることで、無線基地局５及び通信ネットワーク４を介してサーバ３と接続される。そして無線通信端末１４は、データ取得装置１５から受け取った画像情報または走行情報を含むアップリンクの無線信号を生成する。そして無線通信端末１４は、そのアップリンクの無線信号を無線基地局５へ送信することで、画像情報及び走行情報をサーバ３へ送信する。また、無線通信端末１４は、無線基地局５からダウンリンクの無線信号を受信して、その無線信号に含まれる、サーバ３からの収集指示などをデータ取得装置１５あるいは車両２の走行を制御する電子制御装置（ＥＣＵ、図示せず）へわたす。

図３は、データ取得装置のハードウェア構成図である。データ取得装置１５は、カメラ１１により生成された画像及びパノラミックカメラ１２により生成されたパノラマ画像を含む画像情報を生成する。さらに、データ取得装置１５は、車両２の走行挙動を表す走行情報を生成する。そのために、データ取得装置１５は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。

通信インターフェース２１は、車内通信部の一例であり、データ取得装置１５を車内ネットワークに接続するためのインターフェース回路を有する。すなわち、通信インターフェース２１は、車内ネットワークを介して、カメラ１１、パノラミックカメラ１２、GPS受信機１３及び無線通信端末１４と接続される。そして通信インターフェース２１は、カメラ１１から画像を受信する度に、受信した画像をプロセッサ２３へわたす。同様に、通信インターフェース２１は、パノラミックカメラ１２からパノラマ画像を受信する度に、受信したパノラマ画像をプロセッサ２３へわたす。また、通信インターフェース２１は、GPS受信機１３から測位情報を受信する度に、受信した測位情報をプロセッサ２３へわたす。さらに、通信インターフェース２１は、無線通信端末１４を介してサーバ３から受信した、画像情報の収集指示をプロセッサ２３へわたす。さらに、通信インターフェース２１は、プロセッサ２３から受け取った画像情報及び走行情報を、車内ネットワークを介して無線通信端末１４へ出力する。

メモリ２２は、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。メモリ２２は、ハードディスク装置といった他の記憶装置をさらに有してもよい。そしてメモリ２２は、データ取得装置１５のプロセッサ２３により実行される画像収集に関連する処理において使用される各種のデータを記憶する。そのようなデータには、例えば、車両２の識別情報、カメラ１１及びパノラミックカメラ１２のそれぞれの設置高さ、撮影方向及び画角といったカメラ１１のパラメータなどが含まれる。また、メモリ２２は、カメラ１１から受信した画像、パノラミックカメラ１２から受信したパノラマ画像、及び、GPS受信機１３から受信した測位情報を一定期間記憶してもよい。さらに、メモリ２２は、地物データの収集指示にて指定された、地物データの生成及び収集対象となる領域（以下、収集対象領域と呼ぶことがある）を表す情報を記憶する。さらにまた、メモリ２２は、プロセッサ２３で実行される各処理を実現するためのコンピュータプログラムなどを記憶してもよい。

プロセッサ２３は、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、カメラ１１から受信した画像、パノラミックカメラ１２から受信したパノラマ画像、GPS受信機１３から受信した測位情報、及びＥＣＵから受信した車両２の挙動を表す情報をメモリ２２に記憶する。さらに、プロセッサ２３は、車両２が走行している間、所定の周期（例えば、0.1秒～10秒）ごとに、画像収集に関連する処理を実行する。

プロセッサ２３は、画像収集に関連する処理として、例えば、GPS受信機１３から受信した測位情報で表される車両２の自車位置が収集対象領域に含まれるか否か判定する。そしてプロセッサ２３は、自車位置が収集対象領域に含まれる場合、カメラ１１から受信した画像及びパノラミックカメラ１２から受信したパノラマ画像を含む画像情報を生成する。

プロセッサ２３は、画像情報に、カメラ１１により生成された画像、その画像が生成された時刻、その時刻における車両２の進行方向、及び、カメラ１１の設置高さ、撮影方向及び画角といったカメラ１１のパラメータを含める。同様に、プロセッサ２３は、画像情報に、パノラマ画像、パノラマ画像が生成された時刻、その時刻における車両２の進行方向、及び、パノラミックカメラ１２の設置高さ、撮影方向及び画角といったパノラミックカメラ１２のパラメータを含める。なお、プロセッサ２３は、車両２の進行方向を表す情報を、車両２のＥＣＵから取得すればよい。そしてプロセッサ２３は、画像情報を生成する度に、生成した画像情報を、無線通信端末１４を介してサーバ３へ送信する。なお、プロセッサ２３は、一つの画像情報に、複数の画像または複数のパノラマ画像、各画像または各パノラマ画像の生成時刻及び車両２の進行方向を含めてもよい。また、プロセッサ２３は、カメラ１１のパラメータ及びパノラミックカメラ１２のパラメータを、画像情報とは別個に、無線通信端末１４を介してサーバ３へ送信してもよい。

さらに、プロセッサ２３は、所定のタイミング（例えば、車両２のイグニッションスイッチがオンにされたタイミング）以降における、車両２の走行情報を生成し、その走行情報を、無線通信端末１４を介してサーバ３へ送信する。プロセッサ２３は、走行情報に、所定のタイミング以降に得られた一連の測位情報、各測位情報が得られた時刻、及び、ＥＣＵから取得した、車輪速、加速度及び角速度といった、デッドレコニングに利用される車両２の挙動を表す情報を含める。さらに、プロセッサ２３は、走行情報及び画像情報に、車両２の識別情報を含めてもよい。

次に、地物検出装置の一例であるサーバ３について説明する。
図４は、地物検出装置の一例であるサーバ３のハードウェア構成図である。サーバ３は、通信インターフェース３１と、ストレージ装置３２と、メモリ３３と、プロセッサ３４とを有する。通信インターフェース３１、ストレージ装置３２及びメモリ３３は、プロセッサ３４と信号線を介して接続されている。サーバ３は、キーボード及びマウスといった入力装置と、液晶ディスプレイといった表示装置とをさらに有してもよい。

通信インターフェース３１は、通信部の一例であり、サーバ３を通信ネットワーク４に接続するためのインターフェース回路を有する。そして通信インターフェース３１は、車両２と、通信ネットワーク４及び無線基地局５を介して通信可能に構成される。すなわち、通信インターフェース３１は、車両２から無線基地局５及び通信ネットワーク４を介して受信した、画像情報及び走行情報をプロセッサ３４へわたす。また、通信インターフェース３１は、プロセッサ３４から受け取った収集指示を、通信ネットワーク４及び無線基地局５を介して車両２へ送信する。

ストレージ装置３２は、記憶部の一例であり、例えば、ハードディスク装置または光記録媒体及びそのアクセス装置を有する。そしてストレージ装置３２は、地物検出処理において使用される各種のデータ及び情報を記憶する。例えば、ストレージ装置３２は、各種の画像から地物を検出するための識別器を特定するためのパラメータセット、及び、各車両２の識別情報を記憶する。さらに、ストレージ装置３２は、各車両２から受信した画像情報及び走行情報を記憶する。さらにまた、ストレージ装置３２は、プロセッサ３４上で実行される、地物検出処理を実行するためのコンピュータプログラムを記憶してもよい。

メモリ３３は、記憶部の他の一例であり、例えば、不揮発性の半導体メモリ及び揮発性の半導体メモリを有する。そしてメモリ３３は、地物検出処理の実行中に生成される各種データなどを一時的に記憶する。

プロセッサ３４は、制御部の一例であり、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ３４は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ３４は、地物検出処理を実行する。

図５は、地物検出処理に関連するプロセッサ３４の機能ブロック図である。プロセッサ３４は、第１の検出部４１と、第２の検出部４２と、切替判定部４３と、位置推定部４４と、データ生成部４５とを有する。プロセッサ３４が有するこれらの各部は、例えば、プロセッサ３４上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ３４が有するこれらの各部は、プロセッサ３４に設けられる、専用の演算回路であってもよい。

第１の検出部４１は、カメラ１１により生成された時系列の一連の画像のうち、切替判定部４３から地物検出を指示されている区間においてカメラ１１により生成された個々の画像、すなわち、車両２の走行中に生成された個々の画像から地物を検出する。

第１の検出部４１は、車両２から受信した画像情報に含まれる、各画像の生成時刻を参照して、カメラ１１により生成された画像のうち、切替判定部４３から地物検出を指示された区間において生成された画像を特定する。そして第１の検出部４１は、特定した個々の画像を、検出対象となる地物を検出するように予め学習された識別器に入力することで、入力された画像（以下、単に入力画像と呼ぶことがある）に表された地物を検出する。第１の検出部４１は、そのような識別器として、入力画像から、その入力画像に表された地物を検出するように予め学習されたディープニューラルネットワーク(DNN)を用いることができる。そのようなDNNとして、例えば、Single Shot MultiBox Detector(SSD)またはFaster R-CNNといった、コンボリューショナルニューラルネットワーク(CNN)型のアーキテクチャを持つDNNが用いられる。あるいは、そのようなDNNとして、Vision Transformerといった、self attention network(SAN)型のアーキテクチャを持つDNNが用いられてもよい。

この場合、識別器は、入力画像上の様々な領域において、検出対象となる地物の種類（例えば、信号機、車線区画線、横断歩道、一時停止線など）ごとに、その地物がその領域に表されている確からしさを表す確信度を算出する。識別器は、何れかの種類の地物についての確信度が所定の検出閾値以上となる領域に、その種類の地物が表されていると判定する。そしてその識別器は、入力画像上で検出対象となる地物が含まれる領域（例えば、検出対象となる地物の外接矩形、以下、物体領域と呼ぶ）を表す情報、及び、物体領域に表された地物の種類を表す情報を出力する。

なお、第１の検出部４１は、詳細については後述する第２の検出部４２とは異なり、カメラ１１により生成された画像を鳥瞰画像に変換することなく、その画像自体を識別器への入力画像とする。これは、カメラ１１はパノラミックカメラ１２よりも車両２から離れた位置まで撮影できるため、画像を鳥瞰画像に変換しても、車両２からある程度以上離れた地物がその鳥瞰画像上で歪んで表され、識別精度の向上が期待できないことによる。

第１の検出部４１は、各画像の生成時刻、及び、各画像における、検出された地物を含む物体領域を表す情報及び検出された地物の種類を、位置推定部４４及びデータ生成部４５に通知する。

第２の検出部４２は、パノラミックカメラ１２により生成された時系列の一連のパノラマ画像のうち、切替判定部４３から地物検出を指示された区間において生成されたパノラマ画像から地物を検出する。すなわち、第２の検出部４２は、車両２が駐車されたときの区間において生成された個々のパノラマ画像から地物を検出する。

第２の検出部４２は、車両２から受信した画像情報に含まれる、各パノラマ画像の生成時刻を参照して、パノラミックカメラ１２により生成されたパノラマ画像のうち、切替判定部４３から地物検出を指示された区間に生成されたパノラマ画像を特定する。そして第２の検出部４２は、特定した個々のパノラマ画像を視点変換して鳥瞰画像を生成し、生成した個々の鳥瞰画像から地物を検出する。このように、第２の検出部４２は、カメラ１１とは異なる向きを撮影するように設置されたパノラミックカメラ１２により生成された一連のパノラマ画像から地物を検出する。そのため、第２の検出部４２は、カメラ１１による画像には表されていない地物、例えば、駐車車両といった路面上に位置する障害物で隠された地物についても検出することができる。さらに、鳥瞰画像では、特に、道路標示といった路面に表される地物があまり歪まずに表される。そのため、パノラマ画像を変換した鳥瞰画像から地物を検出するようにすることで、第２の検出部４２は、地物を精度良く検出することができる。

第２の検出部４２は、個々のパノラマ画像に対して、パノラミックカメラ１２の設置位置、撮影方向及び焦点距離などのパラメータを用いて、所定の高さから鉛直下方へ向けられた仮想的な視点への視点変換処理を実行する。これにより、第２の検出部４２は、パノラマ画像ごとに対応する鳥瞰画像を生成する。なお、車両２に複数のパノラミックカメラ１２が設けられている場合、各パノラミックカメラ１２により同じタイミングで生成された各パノラマ画像をそれぞれ視点変換して合成することで、一つの鳥瞰画像を生成してもよい。そして第２の検出部４２は、個々の鳥瞰画像を、検出対象となる地物を検出するように予め学習された識別器に入力することで、入力画像に表された地物を検出する。第２の検出部４２は、そのような識別器として、第１の検出部４１が使用する識別器と同じ識別器を使用する。あるいは、第２の検出部４２は、第１の検出部４１が使用する識別器と異なる識別器を使用してもよい。この場合、第２の検出部４２が使用する識別器は、鳥瞰画像を入力画像として予め学習されればよい。また、第２の検出部４２が使用する識別器も、CNN型またはSAN型のアーキテクチャを有するDNNとすることができる。

変形例によれば、第２の検出部４２が使用する識別器は、パノラマ画像そのものが入力画像として用いられるように予め学習されてもよい。この場合、第２の検出部４２は、視点変換処理を実行せず、個々のパノラマ画像を識別器に入力することで、個々のパノラマ画像から地物を検出するようにしてもよい。この変形例によれば、視点変換処理が省略されるので、演算負荷が軽減される。

第２の検出部４２は、各パノラマ画像の生成時刻、及び、各パノラマ画像における、検出された地物を含む物体領域を表す情報及び検出された地物の種類を、位置推定部４４及びデータ生成部４５に通知する。

切替判定部４３は、走行情報に含まれる車両２の挙動を表す情報、特に、所定領域を走行したときの個々の時間における車両２の速度、操舵角及びシフトポジションのうちの少なくとも一つに基づいて、何れかの区間において車両２が駐車されたか否か判定する。そして切替判定部４３は、車両２が駐車されたときの区間について、第２の検出部に地物を検出させる。一方、切替判定部４３は、車両２が走行している区間について、第１の検出部４１に地物を検出させる。

例えば、切替判定部４３は、車両２の車速が所定の速度閾値以下になっている区間を、車両２が駐車されたときの区間として判定する。また、一般に、駐車の際には、車両２の進行方向の変化が大きくなる。そこて、切替判定部４３は、車両２の車速が所定の速度閾値以下となり、かつ、車両２のステアリングの操舵角が所定角度以上となったときから、車両２の車速が所定の速度閾値を超えるまでの区間を、車両２が駐車されたときの区間として判定してもよい。あるいはまた、駐車の際に、車両２の進行方向が後進方向に切り替えられることがある。そこで、切替判定部４３は、車両２のシフトポジションがリバースポジションとなったときから、シフトポジションが次にドライブポジションに移行するまでの区間を、車両２が駐車されたときの区間として判定してもよい。

切替判定部４３は、車両２が所定領域を走行したときの走行区間のうち、車両２が駐車されたときの区間を除いた残りの区間を第１の検出部４１へ通知するとともに、その通知した区間について、第１の検出部４１に地物の検出を指示する。また、切替判定部４３は、車両２が駐車されたときの区間を第２の検出部４２へ通知するとともに、その通知した区間について、第２の検出部４２に地物の検出を指示する。さらに、切替判定部４３は、車両２が駐車されたときの区間を位置推定部４４及びデータ生成部４５へ通知する。

位置推定部４４は、何れかの画像または何れかのパノラマ画像から検出された地物の位置を推定する。

本実施形態では、位置推定部４４は、車両２が走行している区間については、いわゆるStructure from Motion (SfM)手法にしたがって、各画像生成時の車両２の位置及びそれらの位置に対する検出された個々の地物の相対的な位置を推定する。すなわち、位置推定部４４は、車両２の走行中において互いに異なるタイミングで得られた２以上の画像のそれぞれにおける着目する地物の位置と、各画像の生成タイミング間の車両２の移動量に基づいて着目する地物と車両２との位置関係を推定する。そして位置推定部４４は、推定した位置関係に基づいて、着目する地物の実空間での位置を推定する。

ここで、画像上の各画素の位置は、カメラ１１からその画素に表された物体への方位と１対１に対応する。そのため、位置推定部４４は、各画像での地物を表す特徴点に対応する、カメラ１１からの方位、各画像の生成時刻間の車両２の移動量、車両２の進行方向及びカメラ１１のパラメータに基づいてその地物と車両２の相対的な位置関係を推定することができる。

位置推定部４４は、車両２の基準位置を、走行情報に含まれる、所定のタイミングでのGPS受信機１３による測位情報に表された車両２の自車位置とすることができる。その後、位置推定部４４は、走行情報に含まれる、車輪速、加速度及び角速度といった、デッドレコニングに利用される情報を利用して、各画像の生成時刻間での車両２の移動量を推定する。

位置推定部４４は、車両２の走行中において、互いに異なるタイミングで得られた複数の画像のそれぞれにおいて検出された同じ地物を対応付ける。その際、位置推定部４４は、例えば、オプティカルフローを利用した追跡手法を利用することで、複数の画像間で、同一の着目する地物が表された物体領域に含まれる特徴点同士を対応付けることができる。そして位置推定部４４は、三角測量により、各画像生成時の車両２の位置に対する着目する地物の相対的な位置及び各画像生成時の車両２の位置を推定できる。その際、位置推定部４４は、各画像の生成時刻における車両２の進行方向、何れかの画像生成時の車両２の位置、各画像の生成時刻間の車両２の移動量、カメラ１１のパラメータ、各画像における対応する特徴点の位置をその三角測量に利用すればよい。

位置推定部４４は、上記の処理を検出された複数の地物について繰り返すことで、各画像生成時の車両２の位置及びそれらの位置に対する、車両２の周囲に位置した地物の相対的な位置を順次推定できる。そして位置推定部４４は、推定した車両２の位置に対する地物の相対的な位置、及び、車両２の基準位置に基づいて、実空間におけるその地物の位置を推定すればよい。なお、検出された地物の中に、位置が既知の地物が含まれる場合には、位置推定部４４は、車両２の基準位置の代わりに、既知の地物の位置を用いて、実空間における検出された個々の地物の位置を推定してもよい。

また、位置推定部４４は、個々の鳥瞰画像から検出された地物の位置を下記に示す手順で推定する。なお、位置推定部４４は、個々の鳥瞰画像に対して同じ処理を実行すればよいので、以下では、一つの鳥瞰画像に対する処理について説明する。

位置推定部４４は、パノラマ画像からの地物検出に切り替わる直前の所定期間内にカメラ１１により生成された何れかの画像から検出された地物（以下、第１の地物と呼ぶ）を選択する。そして位置推定部４４は、第１の地物と車両２との位置関係、及びパノラミックカメラ１２の設置位置に基づいて、着目するパノラマ画像生成時における、パノラミックカメラ１２に対する第１の地物の相対的な位置を特定する。第１の地物が検出された画像の生成時刻と、着目するパノラマ画像の生成時刻とが異なる場合には、位置推定部４４は、走行情報を参照して、第１の地物が検出された画像の生成時刻から着目するパノラマ画像の生成時刻までの車両２の移動量を求める。そして位置推定部４４は、その移動量を考慮して、パノラミックカメラ１２に対する第１の地物の相対的な位置を特定すればよい。さらに、位置推定部４４は、パノラミックカメラ１２のパラメータ、パノラミックカメラ１２に対する第１の地物の相対的な位置及び視点変換に使用した仮想的な視点に基づいて、鳥瞰画像上での第１の地物の位置を特定する。さらに、位置推定部４４は、第１の地物と鳥瞰画像から検出された他の地物（以下、第２の地物と呼ぶ）との鳥瞰画像上での位置関係及び視点変換に使用した仮想的な視点に基づいて、実空間における第１の地物を基準とする第２の地物の相対的な位置を特定する。そして位置推定部４４は、第１の地物の実空間における位置と、第１の地物に対する第２の地物の相対的な位置に基づいて、第２の地物の実空間における位置を推定する。

なお、車両２が駐車されるときにパノラマ画像から地物が検出される変形例では、位置推定部４４は、鳥瞰画像の代わりにパノラマ画像から検出された第２の地物に対して上記の処理と同様の処理を実行して、第２の地物の実空間における位置を推定すればよい。その際、位置推定部４４は、鳥瞰画像生成時の仮想的なカメラのパラメータの代わりに、パノラミックカメラ１２のパラメータを用いることで、実空間における、第１の地物を基準とする第２の地物の相対的な位置を特定すればよい。

位置推定部４４は、各地物の実空間における位置をデータ生成部４５に通知する。

データ生成部４５は、第１の検出部４１により検出された各地物及び第２の検出部４２により検出された各地物を表す地物データを生成する。具体的に、データ生成部４５は、第１の検出部４１により検出された各地物について、第１の検出部４１から通知されたその地物の種類と、位置推定部４４により推定されたその地物の実空間における位置とを、地物データに含める。同様に、データ生成部４５は、第２の検出部４２により検出された各地物について、第２の検出部４２から通知されたその地物の種類と、位置推定部４４により推定されたその地物の実空間における位置とを、地物データに含める。

生成された地物データは、地図の生成または更新に利用される。すなわち、地物データに表される各地物について、その地物の種類と位置とが、生成または更新対象となる地図に書き込まれればよい。

図６は、本実施形態による、第１の検出部４１により検出される地物と第２の検出部４２により検出される地物との関係の一例を示す模式図である。図６において、車両２が位置P1にあるときには、車両２は走行中であり、第１の検出部４１により、カメラ１１により生成された画像から地物が検出される。そのため、カメラ１１の撮影範囲６０１内に存在する車線区画線などが地物として検出される。一方、位置P2では、車両２は駐車しようとしており、第２の検出部４２により、パノラミックカメラ１２により生成されたパノラマ画像を視点変換して得られた鳥瞰画像から地物が検出される。そのため、鳥瞰画像に表される範囲６０２内に存在する車線区画線などが地物として検出される。特に、この例では、撮影範囲６０１と鳥瞰画像に表される範囲６０２とが部分的に重複しているため、その部分的に重複している箇所に位置する道路標示６１１が、第１の検出部４１と第２の検出部４２の両方により検出される。そのため、SfMの手法により実空間における位置が推定される道路標示６１１の鳥瞰画像上での位置が特定される。さらに、位置P1からでは、道路端側の車線区画線の一部６１２が、位置P1からでは駐車車両６２１により隠されているため、カメラ１１により生成された画像には写らない。そのため、第１の検出部４１は、カメラ１１により生成された画像から車線区画線の一部６１２を検出することができない。しかし、位置P2において生成された鳥瞰画像に表される範囲６０２には、その車線区画線の一部６１２が含まれている。そのため、第２の検出部４２は、その車線区画線の一部６１２を検出することができる。さらに、道路標示６１１の実空間における位置、及び、道路標示６１１とその車線区画線の一部６１２との鳥瞰画像上での相対的な位置関係に基づいて、その車線区画線の一部６１２の実空間における位置も推定される。

図７は、サーバ３における、地物検出処理の動作フローチャートである。サーバ３のプロセッサ３４は、収集対象領域内の所定の区間についての車両２から画像情報及び走行情報を受信すると、以下に示される動作フローチャートに従って地物検出処理を実行すればよい。

プロセッサ３４の切替判定部４３は、所定の区間において、車両２が走行している区間と車両２が駐車するときの区間とを判定する（ステップＳ１０１）。そして切替判定部４３は、車両２が走行している区間について、第１の検出部４１に対して地物の検出を指示するとともに、車両２が駐車するときの区間について、第２の検出部４２に対して地物の検出を指示する。

プロセッサ３４の第１の検出部４１は、車両２が走行している区間においてカメラ１１により生成された一連の画像のそれぞれから地物を検出するとともにその地物の種類を推定する（ステップＳ１０２）。また、プロセッサ３４の第２の検出部４２は、車両２が駐車されたときの区間においてパノラミックカメラ１２により生成された個々のパノラマ画像を鳥瞰画像に変換し、各鳥瞰画像から地物を検出するとともにその地物の種類を推定する（ステップＳ１０３）。なお、上記のように、第２の検出部４２は、車両２が駐車するときの区間においてパノラミックカメラ１２により生成された個々のパノラマ画像から地物を直接検出してもよい。

プロセッサ３４の位置推定部４４は、カメラ１１により生成された個々の画像から検出された地物のそれぞれの実空間における位置を推定する（ステップＳ１０４）。さらに、位置推定部４４は、カメラ１１により生成された何れかの画像から検出された第１の地物の鳥瞰画像における位置を特定する（ステップＳ１０５）。そして位置推定部４４は、その特定した位置と鳥瞰画像から検出された他の地物との鳥瞰画像上での位置関係と、第１の地物の実空間における位置とに基づいて、他の地物の実空間における位置を推定する（ステップＳ１０６）。

プロセッサ３４のデータ生成部４５は、検出された各地物の種類及び実空間における位置を地物データに含めることで、検出された各地物を表す地物データを生成する（ステップＳ１０７）。そしてプロセッサ３４は、地物検出処理を終了する。

以上に説明してきたように、この地物検出装置は、車両の走行中においては、相対的に撮影範囲が広く、かつ、相対的に車両から遠い位置まで撮影可能な第１の撮像部により生成された時系列の一連の画像から地物を検出する。そのため、同一の地物が互いに異なる位置にて生成された２以上の画像に写る可能性が高くなり、その結果として、この地物検出装置は、その地物の位置を精度良く推定することが可能となる。一方、車両が駐車されるときには、この地物検出装置は、相対的に車両の近くを撮影する第２の撮像部により生成された第２の画像から地物を検出する。そのため、この地物検出装置は、障害物などにより、第１の撮像部からは見えなかった地物も第２の画像から検出することができる。さらに、この地物検出装置は、第１の画像から検出された地物の実空間における位置に基づいて、第２の画像から検出された地物の実空間における位置を推定する。そのため、この地物検出装置は、低速走行となり、あるいは操舵角が大きくなるためにSfMによる位置推定の精度が十分でない、車両の駐車時に生成された第２の画像から検出された地物の位置も精度良く推定することができる。したがって、この地物検出装置は、検出された地物を表す地物データを適切に生成することができる。

上記の実施形態または変形例による、サーバ３のプロセッサ３４の各部の処理は、車両２に搭載されたデータ取得装置１５のプロセッサ２３により実行されてもよい。この場合、データ取得装置１５は、地物検出装置の他の一例となる。そしてデータ取得装置１５は、生成した地物データを、無線通信端末１４を介してサーバ３へ送信してもよい。この場合、切替判定部４３が、車両２が駐車中か否かをＥＣＵから取得した車両２の挙動を表す情報に基づいてリアルタイムで判定してもよい。そしてその判定結果に基づいて、第１の検出部４１または第２の検出部４２が、カメラ１１により生成された最新の画像またはパノラミックカメラ１２により生成された最新のパノラマ画像の何れかから地物を逐次検出してもよい。また、サーバ３のプロセッサ３４の各部の処理のうちの一部を、データ取得装置１５のプロセッサ２３が実行してもよい。例えば、プロセッサ２３は、パノラミックカメラ１２により生成された時系列の一連のパノラマ画像のそれぞれを鳥瞰画像に変換し、各鳥瞰画像を画像情報に含めてサーバ３へ送信してもよい。あるいは、プロセッサ２３は、切替判定部４３の処理を実行し、切替判定部４３により車両２が走行中と判定された区間についてはカメラ１１により生成された画像のみを画像情報に含めてもよい。また、プロセッサ２３は、車両２が駐車するときの区間についてはパノラミックカメラ１２により生成されたパノラマ画像またはそのパノラマ画像から生成された鳥瞰画像のみを画像情報に含めてもよい。

さらに、検出された地物は、地図の生成及び更新以外に利用されてもよい。例えば、検出された地物の種類及び位置は、車両２のＥＣＵにおいて車両２の制御に利用されてもよい。この場合、データ生成部は省略されてもよい。

上記の実施形態または変形例による地物検出装置のプロセッサが有する各部の機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読取り可能な記録媒体に記憶された形で提供されてもよい。なお、コンピュータによって読取り可能な記録媒体は、例えば、磁気記録媒体、光記録媒体、又は半導体メモリとすることができる。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 地物データ収集システム
２ 車両
１１ カメラ
１２ パノラミックカメラ
１３ GPS受信機
１４ 無線通信端末
１５ データ取得装置
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３ サーバ
３１ 通信インターフェース
３２ ストレージ装置
３３ メモリ
３４ プロセッサ
４１ 第１の検出部
４２ 第２の検出部
４３ 切替判定部
４４ 位置推定部
４５ データ生成部
４ 通信ネットワーク
５ 無線基地局

Claims (5)

1. 車両に設けられた第１の撮像部により生成された、前記車両の周囲の第１の範囲を表す第１の画像から１以上の所定の地物を検出する第１の検出部と、
   前記車両に設けられた第２の撮像部により生成され、前記第１の範囲よりも前記車両に近い第２の範囲を表す第２の画像を視点変換して鳥瞰画像を生成し、生成した前記鳥瞰画像から前記１以上の所定の地物を検出する第２の検出部と、
   前記車両の速度、操舵角及びシフトポジションのうちの少なくとも一つに基づいて、前記車両が駐車されるか否か判定し、前記車両が駐車されるときに前記第２の検出部に前記１以上の所定の地物を検出させ、一方、前記車両の走行中において前記第１の検出部に前記１以上の所定の地物を検出させる切替判定部と、
   前記車両の走行中において互いに異なるタイミングで得られた２以上の前記第１の画像のそれぞれにおける、前記１以上の所定の地物のうちの第１の地物の位置と、前記２以上の前記第１の画像のそれぞれの取得のタイミング間の前記車両の移動量に基づいて前記第１の地物と前記車両との位置関係を推定し、推定した位置関係に基づいて前記第１の地物の実空間での位置を推定し、前記車両と前記第１の地物の位置関係に基づいて、前記鳥瞰画像上での前記第１の地物の位置を特定し、前記鳥瞰画像上での前記第１の地物の位置と前記１以上の所定の地物のうちの前記鳥瞰画像から検出された他の地物の前記鳥瞰画像上での位置との位置関係及び前記第１の地物の実空間での位置に基づいて、実空間における前記他の地物の位置を推定する位置推定部と、
   を有する地物検出装置。
2. 検出された前記１以上の所定の地物を表すデータを生成するデータ生成部をさらに有する、請求項１に記載の地物検出装置。
3. 車両の速度、操舵角及びシフトポジションのうちの少なくとも一つに基づいて、前記車両が駐車されるか否か判定し、
   前記車両が走行中の区間において、前記車両に設けられた第１の撮像部により生成された、前記車両の周囲の第１の範囲を表す第１の画像から１以上の所定の地物を検出し、
   前記車両が駐車されるときの区間において、前記車両に設けられた第２の撮像部により生成され、前記第１の範囲よりも前記車両に近い第２の範囲を表す第２の画像を視点変換して鳥瞰画像を生成し、生成した前記鳥瞰画像から前記１以上の所定の地物を検出し、
   前記車両の走行中において互いに異なるタイミングで得られた２以上の前記第１の画像のそれぞれにおける、前記１以上の所定の地物のうちの第１の地物の位置と、前記２以上の前記第１の画像のそれぞれの取得のタイミング間の前記車両の移動量に基づいて前記第１の地物と前記車両との位置関係を推定し、推定した位置関係に基づいて前記第１の地物の実空間での位置を推定し、
   前記車両と前記第１の地物の位置関係に基づいて、前記鳥瞰画像上での前記第１の地物の位置を特定し、前記鳥瞰画像上での前記第１の地物の位置と前記１以上の所定の地物のうちの前記鳥瞰画像から検出された他の地物の前記鳥瞰画像上での位置との位置関係及び前記第１の地物の実空間での位置に基づいて、実空間における前記他の地物の位置を推定する、
   ことを含む地物検出方法。
4. 車両の速度、操舵角及びシフトポジションのうちの少なくとも一つに基づいて、前記車両が駐車されるか否か判定し、
   前記車両が走行中の区間において、前記車両に設けられた第１の撮像部により生成された、前記車両の周囲の第１の範囲を表す第１の画像から１以上の所定の地物を検出し、
   前記車両が駐車されるときの区間において、前記車両に設けられた第２の撮像部により生成され、前記第１の範囲よりも前記車両に近い第２の範囲を表す第２の画像を視点変換して鳥瞰画像を生成し、生成した前記鳥瞰画像から前記１以上の所定の地物を検出し、
   前記車両の走行中において互いに異なるタイミングで得られた２以上の前記第１の画像のそれぞれにおける、前記１以上の所定の地物のうちの第１の地物の位置と、前記２以上の前記第１の画像のそれぞれの取得のタイミング間の前記車両の移動量に基づいて前記第１の地物と前記車両との位置関係を推定し、推定した位置関係に基づいて前記第１の地物の実空間での位置を推定し、
   前記車両と前記第１の地物の位置関係に基づいて、前記鳥瞰画像上での前記第１の地物の位置を特定し、前記鳥瞰画像上での前記第１の地物の位置と前記１以上の所定の地物のうちの前記鳥瞰画像から検出された他の地物の前記鳥瞰画像上での位置との位置関係及び前記第１の地物の実空間での位置に基づいて、実空間における前記他の地物の位置を推定する、
   ことをコンピュータに実行させるための地物検出用コンピュータプログラム。
5. 車両に設けられた第１の撮像部により生成された、前記車両の周囲の第１の範囲を表す第１の画像から１以上の所定の地物を検出する第１の検出部と、
   前記車両に設けられた第２の撮像部により生成され、前記第１の範囲よりも前記車両に近い第２の範囲を表す第２の画像から前記１以上の所定の地物を検出する第２の検出部と、
   前記車両の速度、操舵角及びシフトポジションのうちの少なくとも一つに基づいて、前記車両が駐車されるか否か判定し、前記車両が駐車されるときに前記第２の検出部に前記１以上の所定の地物を検出させ、一方、前記車両の走行中において前記第１の検出部に前記１以上の所定の地物を検出させる切替判定部と、
   前記車両の走行中において互いに異なるタイミングで得られた２以上の前記第１の画像のそれぞれにおける、前記１以上の所定の地物のうちの第１の地物の位置と、前記２以上の前記第１の画像のそれぞれの取得のタイミング間の前記車両の移動量に基づいて前記第１の地物と前記車両との位置関係を推定し、推定した位置関係に基づいて前記第１の地物の実空間での位置を推定し、前記車両と前記第１の地物の位置関係に基づいて、前記第２の画像上での前記第１の地物の位置を特定し、前記第２の画像上での前記第１の地物の位置と前記１以上の所定の地物のうちの前記第２の画像から検出された他の地物の前記第２の画像上での位置との位置関係及び前記第１の地物の実空間での位置に基づいて、実空間における前記他の地物の位置を推定する位置推定部と、
   を有する地物検出装置。

Images