JP7314878B2

JP7314878B2 - キャリブレーションシステム、キャリブレーション方法及びキャリブレーションプログラム

Info

Publication number: JP7314878B2
Application number: JP2020135616A
Authority: JP
Inventors: 雄介中野
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2020-08-11
Filing date: 2020-08-11
Publication date: 2023-07-26
Anticipated expiration: 2040-08-11
Also published as: US11935304B2; US20220051028A1; JP2022032114A

Description

本発明は、キャリブレーションシステム、キャリブレーション方法及びキャリブレーションプログラムに関する。

道路を監視するために設置されるインフラカメラは、設置時に、実測されたランドマーク位置を基にキャリブレーションを行う。また、特許文献１には、移動体位置推定システムに関する技術が開示されている。特許文献１にかかる技術は、３つの距離センサを用いた周囲計測に基づくキャリブレーションを行うものである。

特開２０１０－１２７６５０号公報

ところで、インフラカメラは、外界からの影響でメカ的なずれが発生した場合、画像内のランドマーク位置が変化し、移動体の位置の推定精度が低下するという問題があった。特に、カメラ変動と照明変化が重なる場合、問題が顕著になる。

本開示は、このような問題を解決するためになされたものであり、設置されたカメラによる撮影画像に基づく移動体の位置の推定精度を向上させるものである。

本発明の第１の態様にかかるキャリブレーションシステムは、所定の交通環境が撮像センサにより撮影された画像内の移動体の基準軌道と、当該画像内の基準位置とを記憶する記憶部と、前記交通環境が順次撮影された複数の画像を取得する取得部と、前記複数の画像から検出される移動体の位置情報に基づいて、当該移動体の推定軌道を生成する生成部と、前記基準軌道と前記推定軌道に基づいて前記撮像センサの位置ずれ量を算出する算出部と、前記位置ずれ量を用いて前記基準位置を補正する補正部と、前記補正後の基準位置を用いて、前記画像内の二次元位置を三次元位置へ変換するための位置変換モデルを更新する更新部と、を備える。

このように本態様は、位置ずれ前の基準軌道と位置ずれ後の推定軌道とから撮像センサの位置ずれ量を適切に算出できるものである。そして、位置ずれ量を用いて基準位置（ランドマーク位置）を補正することで、現在の画角における正確な基準位置（二次元位置）を得ることができる。それ故、補正後の基準位置と事前に測定されたランドマーク位置の三次元位置とから、撮像センサの現在の設置位置に合わせて位置変換モデルを調整（更新）できる。よって、更新後の位置変換モデルを用いることで、移動体の二次元位置を三次元位置に精度良く変換することができ、移動体の位置の推定精度を向上させることができる。

また、前記算出部は、前記基準軌道と前記推定軌道の差分が所定値以上である場合、前記位置ずれ量を算出することが望ましい。これにより、位置ずれの影響が相対的に大きい場合については位置変換モデルを更新して位置の推定精度を向上しつつ、位置ずれ量が小さい場合には更新を回避することで、位置の推定処理の負荷を軽減できる。

さらに、前記算出部は、前記基準軌道から前記推定軌道への変換式を前記位置ずれ量として算出するとよい。これにより、位置ずれ量の補正をより正確に行うことができる。

さらに、前記生成部は、前記複数の画像のそれぞれを物体認識して前記移動体の位置情報の時系列データを算出し、前記時系列データから前記推定軌道を生成するとよい。これにより、画像内の移動体の位置情報をより正確に算出でき、より正確な推定軌道を生成できる。

本発明の第２の態様にかかるキャリブレーション方法は、コンピュータが、所定の交通環境が撮像センサにより順次撮影された複数の画像を取得する取得ステップと、前記複数の画像から検出される移動体の位置情報に基づいて、当該移動体の推定軌道を生成する生成ステップと、前記交通環境が前記撮像センサにより撮影された画像内の移動体の基準軌道と前記推定軌道に基づいて前記撮像センサの位置ずれ量を算出する算出ステップと、前記位置ずれ量を用いて前記画像内の基準位置を補正する補正ステップと、前記補正後の基準位置を用いて、前記画像内の二次元位置を三次元位置へ変換するための位置変換モデルを更新する更新ステップと、を備える。

また、前記算出ステップは、前記基準軌道と前記推定軌道の差分が所定値以上である場合、前記位置ずれ量を算出することが望ましい。これにより、位置ずれの影響が相対的に大きい場合については位置変換モデルを更新して位置の推定精度を向上しつつ、位置ずれ量が小さい場合には更新を回避することで、位置の推定処理の負荷を軽減できる。

さらに、前記算出ステップは、前記基準軌道から前記推定軌道への変換式を前記位置ずれ量として算出するとよい。これにより、画像内の移動体の位置情報をより正確に算出でき、より正確な推定軌道を生成できる。

さらに、前記生成ステップは、前記複数の画像のそれぞれを物体認識して前記移動体の位置情報の時系列データを算出し、前記時系列データから前記推定軌道を生成するとよい。これにより、画像内の移動体の位置情報をより正確に算出でき、より正確な推定軌道を生成できる。

本発明の第３の態様にかかるキャリブレーションプログラムは、所定の交通環境が撮像センサにより順次撮影された複数の画像を取得する取得ステップと、前記複数の画像から検出される移動体の位置情報に基づいて、当該移動体の推定軌道を生成する生成ステップと、前記交通環境が前記撮像センサにより撮影された画像内の移動体の基準軌道と前記推定軌道に基づいて前記撮像センサの位置ずれ量を算出する算出ステップと、前記位置ずれ量を用いて前記画像内の基準位置を補正する補正ステップと、前記補正後の基準位置を用いて、前記画像内の二次元位置を三次元位置へ変換するための位置変換モデルを更新する更新ステップと、をコンピュータに実行させる。

これら第２の態様及び第３の態様であっても、第１の態様と同様の効果を期待できる。

本開示により、設置されたカメラによる撮影画像に基づく移動体の位置の推定精度を向上させることができる。

本実施形態１にかかるキャリブレーションシステムの構成を示すブロック図である。本実施形態１にかかるリスク予測処理の流れを示すフローチャートである。本実施形態１にかかる位置ずれ前後のカメラ位置と車両軌道の関係を示す図である。本実施形態１にかかるモデル更新処理の流れを示すフローチャートである。本実施形態１にかかるランドマーク位置の補正の例を示す図である。本実施形態２にかかるキャリブレーションシステムの構成を示すブロック図である。

以下では、上述した各態様を含む本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。

＜実施形態１＞
図１は、本実施形態１にかかるキャリブレーションシステム１００の構成を示すブロック図である。キャリブレーションシステム１００は、交通環境に設置されたインフラカメラである。例えば、キャリブレーションシステム１００は、道路沿いに設置された監視カメラである。キャリブレーションシステム１００は、所定の交通環境を撮影し、撮影画像を解析して車両等の危険性の判定結果を出力する情報システムである。

キャリブレーションシステム１００は、記憶部１１０と、メモリ１２０と、通信部１３０と、制御部１４０と、撮像センサ１５０とを備える。撮像センサ１５０は、所定の交通環境を撮影し、撮影画像を制御部１４０へ出力する。以下では、撮像センサ１５０のことをカメラと呼ぶこともある。

記憶部１１０は、ハードディスク、フラッシュメモリ等の不揮発性記憶装置である。記憶部１１０は、物体認識モデル１１１と、基準軌道１１２と、ランドマーク二次元位置１１３と、ランドマーク三次元位置１１４と、位置変換モデル１１５と、プログラム１１６とを少なくとも記憶する。

物体認識モデル１１１は、入力画像の特徴量の抽出や識別処理を行い、画像中の車両、自転車及び歩行者等の領域を抽出して、物体の認識結果を出力する処理が実装されたプログラムモジュールやモデル式である。例えば、物体認識モデル１１１は、撮像センサ１５０による撮影画像を入力データとし、撮影画像から抽出された各特徴量に所定のパラメータ（重み付け係数）を用いて演算し、認識された物体の種類（車両等）、画像内の位置情報（領域）等の認識結果を出力データとする。物体認識モデル１１１は、例えば、ニューラルネットワーク等で表現されたものである。物体認識モデル１１１は、深層学習ネットワーク等の一般物体認識技術を適用できる。例えば、物体認識モデル１１１は、SSD(Single Shot Multibox Detector)やM2DET等のワンステージ検出器やFasterRCNN等の高精度ツーステージ検出器を用いることができる。

基準軌道１１２は、所定の交通環境が撮像センサ１５０により撮影された画像内における車両等の移動体の基準となる軌道である。基準軌道１１２は、画像内で移動体が経由する座標の集合と各座標を移動順で接続した接続関係を定義した情報である。基準軌道１１２は、キャリブレーションシステム１００又は撮像センサ１５０が位置ずれを起こす前、例えば、設置時に撮影された画像内で設定された情報である。基準軌道１１２は、設置後に生成された、後述する推定軌道のうち過去のデータであってもよい。

ランドマーク二次元位置１１３は、所定の交通環境が撮像センサ１５０により撮影された画像内における基準位置の一例である。つまり、ランドマーク二次元位置１１３は、交通環境内の固定位置についての画像内における二次元座標である。ランドマーク二次元位置１１３は、例えば、道路の街灯や横断歩道の四隅等である。そのため、ランドマーク二次元位置１１３は、複数のランドマークの位置情報の集合であっても構わない。

ランドマーク三次元位置１１４は、ランドマーク二次元位置１１３に対応する三次元座標である。つまり、ランドマーク三次元位置１１４は、交通環境内の固定位置についての現実に測定された三次元座標である。ランドマーク三次元位置１１４は、オルソ位置と呼んでも良い。

位置変換モデル１１５は、画像内の二次元位置を三次元位置へ変換する処理が実装されたプログラムモジュールやモデル式である。例えば、位置変換モデル１１５は、移動体の画像内の位置情報を入力ベクトルとし、入力ベクトルを所定の変換行列に乗じて、演算結果として三次元空間上の位置情報を出力ベクトルとする。位置変換モデル１１５は、例えば、ホモグラフィー行列を変換行列として用いても良い。位置変換モデル１１５は、道路カメラキャリブレーションにより新規に生成される。

プログラム１１６は、本実施形態１にかかるキャリブレーション方法を含むリスク予測処理が実装されたコンピュータプログラムである。

メモリ１２０は、ＲＡＭ（Random Access Memory）等の揮発性記憶装置であり、制御部１４０の動作時に一時的に情報を保持するための記憶領域である。通信部１３０は、キャリブレーションシステム１００の外部との通信を行うインタフェースである。

制御部１４０は、キャリブレーションシステム１００の各構成を制御するプロセッサである。制御部１４０は、記憶部１１０からプログラム１１６をメモリ１２０へ読み込み、プログラム１１６を実行する。これにより、制御部１４０は、後述する取得部１４１、物体認識部１４２、軌道生成部１４３、位置ずれ量算出部１４４、補正部１４５、更新部１４６、位置速度推定部１４７、リスク判定部１４８及び出力部１４９の機能を実現する。

取得部１４１は、撮像センサ１５０により順次撮影された撮影画像を取得し、撮影画像を取得した順に物体認識部１４２へ出力する。

物体認識部１４２は、取得部１４１により取得された撮影画像に対して画像認識を行い、移動体の認識結果を取得する。認識結果には、移動体の画像内の位置情報（二次元座標）、移動体の種別等が含まれる。具体的には、物体認識部１４２は、物体認識モデル１１１に対して撮影画像を入力し、物体認識の認識結果を出力として取得する。つまり、物体認識部１４２は、物体認識により撮影画像の中から移動体（の位置）を検出する。言い換えると、物体認識部１４２は、複数の画像のそれぞれを物体認識して移動体の位置情報の時系列データを算出するものといえる。

軌道生成部１４３は、複数の画像から検出される移動体の位置情報に基づいて、移動体の推定軌道を生成する。ここで、推定軌道は、基準軌道１１２と同じく、画像内で移動体が経由する座標の集合と各座標を移動順で接続した接続関係を定義した情報である。軌道生成部１４３は、少なくとも移動体の複数の位置情報から、移動体が画像内を移動する軌道を推定する。言い換えると、軌道生成部１４３は、物体認識部１４２により算出された位置情報の時系列データから推定軌道を生成する。尚、物体認識部１４２及び軌道生成部１４３は、生成部の一例である。

位置ずれ量算出部１４４は、算出部の一例である。位置ずれ量算出部１４４は、基準軌道１１２と推定軌道に基づいて撮像センサ１５０の位置ずれ量を算出する。また、位置ずれ量算出部１４４は、基準軌道１１２と推定軌道の差分が所定値以上である場合、位置ずれ量を算出することが望ましい。これにより、差分が小さい場合には補正部１４５及び更新部１４６の処理を抑制でき、処理負荷を軽減できる。また、位置ずれ量算出部１４４は、基準軌道１１２から推定軌道への変換式を位置ずれ量として算出するとよい。変換式は、例えば、後述する変換行列である。

補正部１４５は、位置ずれ量を用いて基準位置（ランドマーク二次元位置１１３）を補正する。例えば、補正部１４５は、ランドマーク二次元位置１１３に算出された変換式を乗じることにより、補正を行う。

更新部１４６は、補正後の基準位置を用いて、位置変換モデル１１５を更新する。例えば、更新部１４６は、補正後のランドマーク二次元位置１１３とランドマーク三次元位置１１４とを用いて、道路カメラキャリブレーションにより位置変換モデル１１５を生成することにより更新を行う。位置変換モデル１１５の生成の仕方については、後述する。

位置速度推定部１４７は、撮影画像内の移動体の位置情報からオルソ位置（三次元座標）を推定する。具体的には、位置速度推定部１４７は、物体認識部１４２により検出された移動体の位置情報（二次元座標）から、位置変換モデル１１５を用いて、オルソ位置（三次元座標）に変換する。また、位置速度推定部１４７は、複数のフレーム画像における移動体の（変換後の）位置情報から、移動体の速度を推定（算出）する。

リスク判定部１４８は、推定されたオルソ位置と速度に基づいて、移動体の交通環境におけるリスクを判定する。例えば、リスク判定部１４８は、移動体が外壁や他の移動体に衝突する衝突確率をリスク情報として算出する。または、リスク判定部１４８は、衝突確率が所定値以上であるか否かを判定して判定結果をリスク情報としてもよい。

出力部１４９は、リスク判定部１４８による判定結果、リスク情報を出力する。例えば、出力部１４９は、キャリブレーションシステム１００の表示装置（不図示）へ出力する。または、出力部１４９は、ネットワークを介して接続された表示装置（不図示）へ出力する。

尚、上述した取得部１４１、物体認識部１４２、軌道生成部１４３、位置ずれ量算出部１４４、補正部１４５、更新部１４６、位置速度推定部１４７、リスク判定部１４８及び出力部１４９は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry）、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）等を用いることができる。

また、キャリブレーションシステム１００の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、キャリブレーションシステム１００の機能がＳａａＳ（Software as a Service）形式で提供されてもよい。

また、物体認識モデル１１１や位置変換モデル１１５は、キャリブレーションシステム１００の外部の記憶装置に格納されても良く、ストレージシステム、データベースシステム等によりキャリブレーションシステム１００との間でデータの入出力を行っても良い。

図２は、本実施形態１にかかるリスク予測処理の流れを示すフローチャートである。まず、取得部１４１は、撮像センサ１５０から撮影画像を取得する（Ｓ１０１）。次に、物体認識部１４２は、撮影画像上の車両位置を算出する（Ｓ１０２）。物体認識部１４２は、上述したように、物体認識モデル１１１を用いて撮影画像から車両（移動体）の位置情報を取得する。尚、次のステップＳ１０３を実行する前に、ステップＳ１０１及びＳ１０２が少なくとも２回以上、実施されているものとする。

続いて、軌道生成部１４３は、画像上の車両の推定軌道を生成する（Ｓ１０３）。推定軌道は、上述した通り、時系列に沿った二次元座標の集合である。ここで、車両ｉの推定軌道をＴ_ｉ＝｛（ｘ_ｔ、ｙ_ｔ）｝_{ｔ＝０,…}とする。例えば、時刻ｔ１の座標（ｘ_ｔ１、ｙ_ｔ１）が次の時刻ｔ２の座標（ｘ_ｔ２、ｙ_ｔ２）と接続しており、座標（ｘ_ｔ２、ｙ_ｔ２）と次の時刻ｔ３の座標（ｘ_ｔ３、ｙ_ｔ３）が接続している。また、基準軌道１１２をＤ＝｛（（ｘ_ｔ、ｙ_ｔ））｝_{ｔ＝０,…}とする。基準軌道１１２は、上述した通り、予め記憶部１１０に登録しておいてもよい。または、数回前に生成された推定軌道であってもよい。

ここで、位置ずれ量算出部１４４は、基準軌道１１２と推定軌道の差分が所定値以上であるか否かを判定する（Ｓ１０４）。具体的には、位置ずれ量算出部１４４は、基準軌道１１２と推定軌道の距離ｄ＝||Ｔ_ｉ－Ｄ||を算出し、距離ｄが閾値τ以上であるか否かを判定する。尚、車線ごとに複数の車両における推定軌道を平均してＴ_ｉとしてもよい。これにより、推定軌道を安定化させることができる。

そして、ステップＳ１０４で差分が所定値以上であると判定された場合、モデル更新処理を行う（Ｓ１０５）。

ここで、位置ずれ前後のカメラ位置と車両軌道の関係を図３を用いて説明する。まず、車両ｗは、軌道Ｌ上を走行しているものとする。そして、ランドマークＱは、軌道Ｌ上に存在するものとする。この場合、カメラ（撮像センサ１５０）は、位置ずれ前、例えば、初期位置としてカメラ位置Ｃ１に設置され、軌道Ｌの一部を撮影したものとする。このとき、画像Ｉｍｇ１が取得される。基準軌道Ｌ１は、画像Ｉｍｇ１内における車両ｗの基準軌道である。画像Ｉｍｇ１内におけるランドマークＱの位置座標は、（ｕ、ｖ）となる。その後、外的要因等によりカメラがカメラ位置Ｃ２にずれたものとする。そして、カメラ位置Ｃ２において、カメラが撮影した画像を画像Ｉｍｇ２とする。推定軌道Ｌ２は、画像Ｉｍｇ２内における車両ｗの推定軌道である。画像Ｉｍｇ２内におけるランドマークＱの位置座標は、（Ｕ、Ｖ）となる。そのため、カメラの位置ずれにより、ランドマークＱの二次元位置が（ｕ、ｖ）から（Ｕ、Ｖ）に変換Ｐされたとみなすことができる。

図４は、本実施形態１にかかるモデル更新処理の流れを示すフローチャートである。図４は、ステップＳ１０５を詳細に示すものである。まず、位置ずれ量算出部１４４は、基準軌道１１２と推定軌道に基づいて撮像センサ１５０の位置ずれ量を算出する（Ｓ２１１）。

ここで、２つの軌道からカメラの位置ずれ量（変換Ｐ）を算出する一例を説明する。前提として、位置ずれ前のカメラ位置Ｃ１で撮影された画像Ｉｍｇ１（二次元画像）内での軌道直線Ｌ１上のＭ個（Ｍは２以上の自然数。）の点の座標を以下とする。
（ｕ_ｉ、ｖ_ｉ）、ｉ＝１、…、Ｍ
また、位置ずれ後のカメラ位置Ｃ２で撮影された画像Ｉｍｇ２内での上での軌道直線Ｌ２上のＭ個の点の座標を以下とする。
（Ｕ_ｉ、Ｖ_ｉ）、ｉ＝１、…、Ｍ

２つの軌道の変換Ｐは、以下で表せる。

・・・（１）
ここで、ｓは、スケールパラメータであり、例えばｓ＝１であってもよい。また、軌道直線Ｌ２上のｘ座標Ｕ及びｙ座標Ｖは、以下で定義できる。

・・・（２）

そのため、Ｕ及びＶは、ベクトルｐの関数で表せる。そこで、画像Ｉｍｇ２内での直線Ｌ２の方程式を以下とする。

・・・（３）
そして、画像Ｉｍｇ１内での直線Ｌ１上の点（ｕ、ｖ）は、変換Ｐにより直線Ｌ２に写像される。よって、変換Ｐは以下の関数ｆを最小化するベクトルとなる。

・・・（４）
但し、Σで和を取る範囲は、画像Ｉｍｇ１内での直線Ｌ１上の点（ｕ、ｖ）とする。
この非線形最小化問題は、以下の通り、最急降下法で解くことができる。

・・・（５）

・・・（６）

・・・（７）
ここで、ｊは反復回数、ｈはステップサイズである。よって、ｐ^（ｊ）は、ｊ番目の反復値（ベクトルｐ）である。このようにして、位置ずれ量算出部１４４は、２つの軌道の位置ずれ量である変換Ｐを算出することができる。

続いて、補正部１４５は、変換Ｐを用いてランドマーク位置を補正する（Ｓ２１２）。具体的には、補正部１４５は、以下により補正後のランドマークｉの位置座標を算出する。

・・・（８）
ここで、ｍは補正前のランドマークｉの位置ベクトルであり、Ｍは補正後のランドマークｉの位置ベクトルである。また、ｓは、スケールパラメータであり、例えばｓ＝１であってもよい。

図５は、本実施形態１にかかるランドマーク位置の補正の例を示す図である。左図は、位置ずれ前の撮影画像であり、４つのランドマーク位置Ｑ１１、Ｑ１２、Ｑ１３及びＱ１４が含まれる。そして、ランドマーク位置Ｑ１１～Ｑ１４が変換Ｐにより変換（補正）された後、各ランドマーク位置は、右図のような対応関係となる。つまり、ランドマーク位置Ｑ１１はＱ２１へ補正され、ランドマーク位置Ｑ１２はＱ２２へ補正され、ランドマーク位置Ｑ１３はＱ２３へ補正され、ランドマーク位置Ｑ１４はＱ２４へ補正される。このように、ランドマーク位置の補正により、位置ずれ後の撮影画像においても道路形状の認識精度が向上する。それに伴い、車両の推定軌道が適切か否かの（リスク）判定の精度も向上する。

図４に戻り説明を続ける。更新部１４６は、補正後のランドマーク位置とランドマーク三次元位置１１４とを用いて位置変換モデル１１５を更新する（Ｓ２１３）。すなわち、更新部１４６は、新しいホモグラフィー行列（位置変換モデル１１５）を算出し、算出したホモグラフィー行列を記憶部１１０に格納する。ここで、ホモグラフィー行列Ｈ^～は、以下で表せる。

・・・（９）
ここで、ｍは補正後のランドマークｉの位置ベクトルであり、Ｍはランドマークｉのオルソ位置の位置ベクトルである。また、ｓは、スケールパラメータであり、例えばｓ＝１であってもよい。

以下では、簡単のため、二次元画像上の位置ベクトルからオルソ画像上の位置ベクトルへのホモグラフィー変換を使ったキャリブレーションについて説明する。前提として、二次元画像上のＮ個（Ｎは２以上の自然数。）のランドマークｉの座標を以下とする。
（ｘ_ｉ、ｙ_ｉ）、ｉ＝１、…、Ｎ
また、オルソ画像（三次元画像）上のＮ個のランドマークｉの座標を以下とする。
（Ｘ_ｉ、Ｙ_ｉ）、ｉ＝１、…、Ｎ
つまり、（Ｘ_ｉ、Ｙ_ｉ）は、ランドマークｉの実空間上の座標位置であるため、測定等により既知である。

２つの画像の座標関係は、以下で表せる。

・・・（１０）
ここで、Ｈはホモグラフィー行列である。ｍは補正後のランドマークｉの位置ベクトルであり、Ｍはランドマークｉのオルソ位置の位置ベクトルである。また、ｓは、スケールパラメータであり、例えばｓ＝１であってもよい。

そして、ホモグラフィー行列は、次の連立方程式の解になる。

・・・（１１）
ここで、Ａ，ｈ、ｂは以下で表せる。

・・・（１２）
ここで、Ａ、ｂは上述の通り既知であり、ｈは未知ベクトルである。

未知ベクトルｈは、ノルム最小二乗解として以下の通り計算される。

・・・（１３）
ここで、＋は一般化逆行列である。尚、ホモグラフィー行列を算出することをキャリブレーションと呼んでも良い。

図２に戻り説明を続ける。ステップＳ１０５の後、又は、ステップＳ１０４でＮＯの場合、位置速度推定部１４７は、車両のオルソ位置及び速度を算出する（Ｓ１０６）。具体的には、位置速度推定部１４７は、ステップＳ１０２で算出された車両位置から位置変換モデル１１５によりオルソ位置を算出する。このとき、位置速度推定部１４７は、撮影画像内の複数の車両の位置を算出してもよい。また、１車両につき、２以上の画像から２以上のオルソ位置が算出されている場合、位置速度推定部１４７は、車両あたり２以上のオルソ位置から当該車両の速度を算出する。

そして、リスク判定部１４８は、推定されたオルソ位置と速度に基づいて、各車両の交通環境における危険リスクを判定する（Ｓ１０７）。その後、出力部１４９は、判定結果を出力する（Ｓ１０８）。

そして、制御部１４０は、ステップＳ１０１で取得した画像が最後か否かを判定する（Ｓ１０９）。次の入力画像が存在すれば、ステップＳ１０１へ戻り、以降、上記同様に処理する。最後の画像であれば、処理を終了する。

このように、本実施形態により、設置されたカメラによる撮影画像に基づく移動体の位置の推定精度を向上させることができる。

課題で上述したように、インフラカメラは、外界からの影響でメカ的なずれが発生し、画像内のランドマーク位置が変化するため、位置の推定精度が低下するという問題ががあった。このとき、例えば、画像の変化を背景差分や位置合わせにより検出することも可能である。しかしながら、カメラ変動と照明変化が重なる場合など外的要因が大きい場合、カメラの位置ずれ量を算出することは困難である。

ここで、深層学習の進歩により照明変動にロバストな物体認識が可能になった。そこで、本実施形態では、物体認識の認識結果を利用して画像内の車両の推定軌道を算出し、位置ずれ前の基準軌道と推定軌道との差分が所定値以上の場合、軌道間の位置ずれ量を変換行列として求めるものである。そして、変換行列を用いて位置ずれ前に設定されたランドマーク位置を補正し、補正後のランドマークの二次元位置と、事前に設定されたランドマークの三次元位置とを用いて位置変換モデルを更新することにより、キャリブレーションを行う。これにより、位置ずれ後の撮影画像内の移動体の位置を精度良く推定することができる。よって、事故の予測等を高精度に行うことができ、事故を抑止することができる。尚、本実施形態にかかるキャリブレーション方法は、少なくともステップＳ１０１からＳ１０５を指すものとする。

＜実施形態２＞
本実施形態２は、上述した実施形態１の変形例である。実施形態１では、カメラ装置単体でキャリブレーションシステムを実現していた。これに対し、実施形態２では、カメラ装置の外部のコンピュータにより、キャリブレーション方法を含むリスク予測処理等を行うものとする。

図６は、本実施形態２にかかるキャリブレーションシステム１０００の構成を示すブロック図である。キャリブレーションシステム１０００は、カメラ装置２００とキャリブレーションサーバ３００とを備える。カメラ装置２００とキャリブレーションサーバ３００とは、ネットワークＮを介して接続される。ここで、ネットワークＮは、インターネット、イントラネット、携帯電話網、ＬＡＮ（Local Area Network）等の通信回線網である。

カメラ装置２００は、撮像センサ２１０と通信部２２０とを備える。撮像センサ２１０は、上述した撮像センサ１５０と同様に、所定の交通環境を撮影する。そして、撮像センサ２１０は、撮影画像を通信部２２０へ出力する。

通信部２２０は、カメラ装置２００の外部との通信を行うインタフェースである。通信部２２０は、撮影画像をネットワークＮを介してキャリブレーションサーバ３００へ送信する。

キャリブレーションサーバ３００は、順次入力される撮影画像を解析して車両等の危険性の判定結果を出力する１以上の情報処理装置である。尚、キャリブレーションサーバ３００の構成は、図１から撮像センサ１５０を除いたものであるため、図示を省略する。

キャリブレーションサーバ３００は、カメラ装置２００からネットワークＮを介して撮影画像を順次、取得する。そして、キャリブレーションサーバ３００は、取得した撮影画像についてキャリブレーションシステム１００と同様に、処理を行う。

このように、本実施形態によっても上述した実施形態１と同様の効果を奏することができる。

＜その他の実施形態＞
尚、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述の実施形態では、本開示をハードウェアの構成として説明したが、本開示は、これに限定されるものではない。本開示は、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１００キャリブレーションシステム
１１０記憶部
１１１物体認識モデル
１１２基準軌道
１１３ランドマーク二次元位置
１１４ランドマーク三次元位置
１１５位置変換モデル
１１６プログラム
１２０メモリ
１３０通信部
１４０制御部
１４１取得部
１４２物体認識部
１４３軌道生成部
１４４位置ずれ量算出部
１４５補正部
１４６更新部
１４７位置速度推定部
１４８リスク判定部
１４９出力部
１５０撮像センサ
Ｑランドマーク
ｗ車両
Ｌ軌道
Ｉｍｇ１画像
Ｌ１基準軌道
Ｃ１カメラ位置
Ｉｍｇ２画像
Ｌ２推定軌道
Ｃ２カメラ位置
Ｑ１１ランドマーク位置
Ｑ１２ランドマーク位置
Ｑ１３ランドマーク位置
Ｑ１４ランドマーク位置
Ｑ２１ランドマーク位置
Ｑ２２ランドマーク位置
Ｑ２３ランドマーク位置
Ｑ２４ランドマーク位置
Ｐ変換
１０００キャリブレーションシステム
２００カメラ装置
２１０撮像センサ
２２０通信部
３００キャリブレーションサーバ
Ｎネットワーク

Claims

所定の交通環境が撮像センサにより撮影された画像内の移動体の基準軌道と、当該画像内の基準位置とを記憶する記憶部と、
前記交通環境が順次撮影された複数の画像を取得する取得部と、
前記複数の画像から検出される移動体の位置情報に基づいて、当該移動体の推定軌道を生成する生成部と、
前記基準軌道と前記推定軌道に基づいて前記撮像センサの位置ずれ量を算出する算出部と、
前記位置ずれ量を用いて前記基準位置を補正する補正部と、
前記補正後の基準位置を用いて、前記画像内の二次元位置を三次元位置へ変換するための位置変換モデルを更新する更新部と、
を備えるキャリブレーションシステム。
前記算出部は、前記基準軌道と前記推定軌道の差分が所定値以上である場合、前記位置ずれ量を算出する
請求項１に記載のキャリブレーションシステム。
前記算出部は、前記基準軌道から前記推定軌道への変換式を前記位置ずれ量として算出する
請求項１又は２に記載のキャリブレーションシステム。
前記生成部は、
前記複数の画像のそれぞれを物体認識して前記移動体の位置情報の時系列データを算出し、
前記時系列データから前記推定軌道を生成する
請求項１乃至３のいずれか１項に記載のキャリブレーションシステム。
コンピュータが、
所定の交通環境が撮像センサにより順次撮影された複数の画像を取得する取得ステップと、
前記複数の画像から検出される移動体の位置情報に基づいて、当該移動体の推定軌道を生成する生成ステップと、
前記交通環境が前記撮像センサにより撮影された画像内の移動体の基準軌道と前記推定軌道に基づいて前記撮像センサの位置ずれ量を算出する算出ステップと、
前記位置ずれ量を用いて前記画像内の基準位置を補正する補正ステップと、
前記補正後の基準位置を用いて、前記画像内の二次元位置を三次元位置へ変換するための位置変換モデルを更新する更新ステップと、
を備えるキャリブレーション方法。
前記算出ステップは、前記基準軌道と前記推定軌道の差分が所定値以上である場合、前記位置ずれ量を算出する
請求項５に記載のキャリブレーション方法。
前記算出ステップは、前記基準軌道から前記推定軌道への変換式を前記位置ずれ量として算出する
請求項５又は６に記載のキャリブレーション方法。
前記生成ステップは、
前記複数の画像のそれぞれを物体認識して前記移動体の位置情報の時系列データを算出し、
前記時系列データから前記推定軌道を生成する
請求項５乃至７のいずれか１項に記載のキャリブレーション方法。
所定の交通環境が撮像センサにより順次撮影された複数の画像を取得する取得ステップと、
前記複数の画像から検出される移動体の位置情報に基づいて、当該移動体の推定軌道を生成する生成ステップと、
前記交通環境が前記撮像センサにより撮影された画像内の移動体の基準軌道と前記推定軌道に基づいて前記撮像センサの位置ずれ量を算出する算出ステップと、
前記位置ずれ量を用いて前記画像内の基準位置を補正する補正ステップと、
前記補正後の基準位置を用いて、前記画像内の二次元位置を三次元位置へ変換するための位置変換モデルを更新する更新ステップと、
をコンピュータに実行させるキャリブレーションプログラム。