JP7697318B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。

従来から、カメラ画像に基づいて、車両及び人等の移動体の移動状況を計測する技術が開発されている。例えば、下記特許文献１では、高速道路に既設されている道路状況監視用のカメラにより得られた動画像から車両を検出及び追跡し、車線ごとの交通量及び速度を計測する技術が開示されている。

特許第３９１２８６９号公報

移動体の移動状況の計測精度には、さらなる向上が求められている。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、移動体の移動状況をより精度よく計測することが可能な仕組みを提供することにある。

上記課題を解決するために、本発明のある観点によれば、計測エリアを撮像した時系列に連続する複数の画像から成る時系列画像から移動体を検出する検出部と、前記検出部により検出された前記移動体の前記時系列画像における動線を示す動線情報を抽出する動線抽出部と、前記動線抽出部により抽出された前記動線情報により示される前記動線の信頼度を、前記動線の全体の長さに基づいて計算する信頼度計算部と、前記信頼度計算部により計算された前記信頼度が所定の閾値よりも高い前記動線に基づいて、前記計測エリアに設定された計測線を前記移動体が通過した数を計測する計測部と、を備える情報処理装置が提供される。

前記信頼度計算部は、前記動線の各時刻における長さに基づいて、前記信頼度を計算してもよい。

前記信頼度計算部は、前記時系列画像のフレームレートに基づいて、前記信頼度を計算してもよい。

前記動線情報は、前記時系列画像に含まれる複数の画像の各々における、検出された前記移動体の座標である検出座標、又は予測された前記移動体の座標である予測座標を含み、前記動線抽出部は、時間経過により前記時系列画像に新たに追加された画像における、検出された前記移動体の前記検出座標、又は検出に失敗した前記移動体の前記予測座標を前記動線情報に追加することで、前記動線情報を更新してもよい。

前記動線抽出部は、検出された前記移動体であって前記動線情報に対応する前記移動体の座標を前記動線情報に追加することで、前記動線情報を更新してもよい。

前記信頼度計算部は、前記動線情報における前記検出座標及び前記予測座標の構成に基づいて、前記信頼度を計算してもよい。

前記計測部は、前記動線情報により示される前記動線のうち特定の一部分に基づいて、前記移動体が前記計測線を通過したか否かを判定してもよい。

前記計測部は、前記動線情報により示される前記動線のうち、所定個の座標から成る一部分に基づいて、前記移動体が前記計測線を通過したか否かを判定してもよい。

前記計測部は、前記動線情報により示される前記動線のうち、前記計測線から所定距離以内にある一部分に基づいて、前記移動体が前記計測線を通過したか否かを判定してもよい。

前記信頼度計算部は、前記時系列画像における座標を実空間の世界座標系における座標に変換するキャリブレーションファイルに基づいて、前記信頼度を計算してもよい。
また、上記課題を解決するために、本発明の別の観点によれば、計測エリアを撮像した時系列に連続する複数の画像から成る時系列画像から移動体を検出する検出部と、前記検出部により検出された前記移動体の前記時系列画像における動線を示す動線情報を抽出する動線抽出部と、前記動線抽出部により抽出された前記動線情報により示される前記動線の信頼度を、前記時系列画像における座標を実空間の世界座標系における座標に変換するキャリブレーションファイルに基づいて計算する信頼度計算部と、前記信頼度計算部により計算された前記信頼度が所定の閾値よりも高い前記動線に基づいて、前記計測エリアに設定された計測線を前記移動体が通過した数を計測する計測部と、を備える情報処理装置が提供される。

前記信頼度計算部は、前記動線情報と前記キャリブレーションファイルとに基づいて計算される実空間における前記移動体の速度に基づいて、前記信頼度を計算してもよい。

前記計測部は、前記移動体が前記計測線を通過した際の、実空間における前記移動体の速度を計測してもよい。

前記計測部は、前記移動体が前記計測線を通過した数を、前記移動体が前記計測線を通過する方向ごとに計測してもよい。

前記情報処理装置は、前記計測部による計測結果を示す情報を出力する出力部をさらに備えてもよい。

前記移動体は、車両であってもよい。

前記計測エリアは、道路、交差点、又は駐車場を含んでもよい。

また、上記課題を解決するために、本発明の別の観点によれば、計測エリアを撮像した時系列に連続する複数の画像から成る時系列画像から移動体を検出することと、検出された前記移動体の前記時系列画像における動線を示す動線情報を抽出することと、抽出された前記動線情報により示される前記動線の信頼度を、前記動線の全体の長さに基づいて計算することと、計算された前記信頼度が所定の閾値よりも高い前記動線に基づいて、前記計測エリアに設定された計測線を前記移動体が通過した数を計測することと、を含む、情報処理装置により実行される情報処理方法が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、計測エリアを撮像した時系列に連続する複数の画像から成る時系列画像から移動体を検出することと、検出された前記移動体の前記時系列画像における動線を示す動線情報を抽出することと、抽出された前記動線情報により示される前記動線の信頼度を、前記時系列画像における座標を実空間の世界座標系における座標に変換するキャリブレーションファイルに基づいて計算することと、計算された前記信頼度が所定の閾値よりも高い前記動線に基づいて、前記計測エリアに設定された計測線を前記移動体が通過した数を計測することと、を含む、情報処理装置により実行される情報処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、計測エリアを撮像した時系列に連続する複数の画像から成る時系列画像から移動体を検出する検出部と、前記検出部により検出された前記移動体の前記時系列画像における動線を示す動線情報を抽出する動線抽出部と、前記動線抽出部により抽出された前記動線情報により示される前記動線の信頼度を、前記動線の全体の長さに基づいて計算する信頼度計算部と、前記信頼度計算部により計算された前記信頼度が所定の閾値よりも高い前記動線に基づいて、前記計測エリアに設定された計測線を前記移動体が通過した数を計測する計測部と、として機能させるためのプログラムが提供される。
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、計測エリアを撮像した時系列に連続する複数の画像から成る時系列画像から移動体を検出する検出部と、前記検出部により検出された前記移動体の前記時系列画像における動線を示す動線情報を抽出する動線抽出部と、前記動線抽出部により抽出された前記動線情報により示される前記動線の信頼度を、前記時系列画像における座標を実空間の世界座標系における座標に変換するキャリブレーションファイルに基づいて計算する信頼度計算部と、前記信頼度計算部により計算された前記信頼度が所定の閾値よりも高い前記動線に基づいて、前記計測エリアに設定された計測線を前記移動体が通過した数を計測する計測部と、として機能させるためのプログラムが提供される。

以上説明したように本発明によれば、移動体の移動状況をより精度よく計測することが可能な仕組みが提供される。

第１の実施形態に係るシステムの構成の一例を示すブロック図である。 撮像装置から出力される時系列画像の一例を示す図である。 同実施形態に係る計測線を通過した車両の数の計測について説明するための図である。 同実施形態に係る情報処理装置において実行される処理の流れの一例を示すフローチャートである。 同実施形態の誤カウント抑制効果について説明するための図である。 第２の実施形態に係るシステムの構成の一例を示すブロック図である。 情報処理装置のハードウェア構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜１．技術的課題＞
以下では、移動体の移動状況を計測する技術の一例として、車両の交通量を計測する技術を挙げながら、技術的課題を説明する。

画像処理により車両の交通量を計測する計測システムは、典型的には、カメラ画像に対して画像処理を行い車両の位置を検出する処理を時系列に行い、検出した座標を繋げることで車両の動線を抽出する。そして、計測システムは、カメラ画像において設定された計測線を車両の動線が跨いだ数を、計測線の通過台数として計測する。

計測線上に車両が留まり続けた場合、及び特定の背景を車両として誤って検出し続けた場合には、検出された車両の座標がブレることにより何度も動線が計測線を跨ぎ、過大な通過台数を計測してしまう場合があった。このような、本来カウントすべきでない通過台数をカウントする計測ミスは、誤カウントとも称される。また、計測線の前後では車両の検出に成功したものの、計測ライン上で隠蔽等が発生して車両の検出に失敗した場合、本来カウントすべき通過台数のカウントに失敗する場合があった。このような、本来カウントすべき通過台数をカウントしない計測ミスは、未カウントとも称される。

上記特許文献１をはじめ、車両の交通量を計測する種々の技術が提案されているものの、これらの誤カウント及び未カウントを十分に抑制できるまでには至っていない。

そこで、本実施形態では、移動体の動線に対して信頼度を計算し、信頼度に基づいて移動体の移動状況を計測することで、誤カウント及び未カウントの発生を抑制する仕組みを提供する。

＜２．第１の実施形態＞
＜２．１．構成例＞
図１は、本実施形態に係るシステム１の構成の一例を示すブロック図である。図１に示すように、本実施形態に係るシステム１は、撮像装置１０、情報処理装置２０、及び出力装置３０を含む。

（１）撮像装置１０
撮像装置１０は、時系列に連続する複数の画像から成る時系列画像（即ち、動画像）を撮像する装置である。撮像装置１０は、所定のフレームレートで時系列画像を撮像する。そして、撮像装置１０は、撮像した時系列画像をリアルタイムに情報処理装置２０に出力する。時系列画像は、カラー画像であってもよいし、赤外線画像であってもよい。

撮像装置１０は、計測エリアを撮像範囲に収める位置及び角度に配置され、計測エリアを撮像した時系列画像を出力する。計測エリアとは、移動体の移動状況の計測対象となる空間である。本明細書では、移動体とは車両であり、移動体の移動状況とは車両の交通状況であるものとする。ここでの交通状況とは、車両の交通量、車両の移動方向、及び車両の速度を含む概念である。計測エリアは、道路、交差点、又は駐車場等の、車両が通過し得るエリアを含む。例えば、撮像装置１０は、道路、交差点、又は駐車場に既設された監視用カメラであってもよい。

図２は、撮像装置１０から出力される時系列画像１００の一例を示す図である。図２に示すように、時系列画像１００は、交差点を通過する車両２００が映っている。検出枠２１０、動線３００、及び計測線４００（４００Ａ～４００Ｄ）は、時系列画像１００に対し情報処理装置２０により付与される情報である。これらのついては後に詳しく説明する。

（２）情報処理装置２０
情報処理装置２０は、撮像装置１０により撮像された時系列画像に基づいて、車両の交通状況を計測する装置である。図１に示すように、情報処理装置２０は、画像取得部２１、検出部２２、動線抽出部２３、動線記憶部２４、信頼度計算部２５、計測線設定部２６、計測線記憶部２７、計測部２８、及び出力部２９を含む。

－画像取得部２１
画像取得部２１は、撮像装置１０から出力された時系列画像を取得する機能を有する。画像取得部２１は、取得した時系列画像を検出部２２に出力する。

－検出部２２
検出部２２は、時系列画像から車両を検出する機能を有する。検出部２２は、時系列画像に含まれる複数の画像の各々に対して画像認識処理を適用することで、時系列画像に映る車両を検出する。例えば、検出部２２は、予め機械学習により学習された車両の画像特徴量と、時系列画像に画像認識処理を適用することで得られた画像特徴量とを比較することで、時系列画像から車両を検出してもよい。

検出部２２は、車両を検出することとして、時系列画像における車両の座標を検出する。その際、図２に示すように、検出部２２は、検出した車両２００が時系列画像１００に占める範囲を示す検出枠２１０を設定してもよい。検出枠２１０が矩形である場合、検出部２２は、検出枠２１０の四隅の座標を、時系列画像１００における車両２００の座標として検出する。

さらに、検出部２２は、車両の特徴を示す車両情報を検出してもよい。車両情報は、車体の色、ナンバープレートの番号、及び車種等を含み得る。

－動線抽出部２３
動線抽出部２３は、検出部２２により検出された車両の時系列画像における動線（即ち、移動軌跡）を示す動線情報を抽出する機能を有する。動線情報とは、時系列画像に含まれる複数の画像の各々における車両の座標、即ち各時刻（即ち、各フレーム）における車両の座標を含む情報である。図２に示すように、動線情報に含まれる時間軸で連続する座標同士を結ぶことで、動線３００が得られる。図２に示した動線３００は、時刻ｔ～ｔ－４までの座標を結んだ線であり、車両２００の移動軌跡に相当する。さらに、動線情報は、車両の特徴を示す車両情報を含む。つまり、動線情報は、車両情報により一意に特定される車両の動線を示す情報である。そのため、動線情報は、車両ごとに抽出される。

動線抽出部２３は、抽出した動線情報を動線記憶部２４に出力して、動線記憶部２４に記憶させる。動線抽出部２３は、時間経過により時系列画像に新たな画像が追加される度に、動線記憶部２４に記憶された１時刻前（即ち、１フレーム前）の動線情報に、新たに追加された現時刻の画像における車両の座標を動線情報に追加することで、動線情報を更新する。

その際、動線抽出部２３は、検出された車両であって動線情報に対応する車両の座標を動線情報に追加することで、動線情報を更新する。一例として、動線抽出部２３は、動線記憶部２４が記憶している動線情報に含まれる車両情報と、検出部２２により現時刻において検出された車両の車両情報とを比較する。そして、動線抽出部２３は、これらが一致した場合に、検出された車両が動線情報に対応する車両であると判定し、検出された車両の座標を動線情報に追加する。他の一例として、動線抽出部２３は、動線記憶部２４が記憶している動線情報により示される１時刻前の座標及び移動方向から予測される現時刻の座標と、検出部２２により現時刻において検出された車両の座標とを比較する。そして、動線抽出部２３は、これらの座標間の距離が閾値未満である場合に、検出された車両が動線情報に対応する車両であると判定し、検出された車両の座標を動線情報に追加する。かかる構成によれば、車両情報により一意に特定された車両の動線を継続して追跡することが可能となる。

他方、動線抽出部２３は、検出された車両であって動線情報に対応しない車両については、新たな車両が登場したと判定する。一例として、動線抽出部２３は、動線記憶部２４が記憶している動線情報に含まれる車両情報と、検出部２２により現時刻において検出された車両の車両情報とを比較する。そして、動線抽出部２３は、これらが一致しない場合に、検出された車両は新たに登場した車両であると判定する。他の一例として、動線抽出部２３は、動線記憶部２４が記憶している動線情報により示される１時刻前の座標及び移動方向から予測される現時刻の座標と、検出部２２により現時刻において検出された車両の座標とを比較する。そして、動線抽出部２３は、これらの座標間の距離が閾値以上である場合に、検出された車両は新たに登場した車両であると判定する。検出された車両は新たに登場した車両であると判定した場合、動線抽出部２３は、新たに登場したと判定した車両の座標を含む新たな動線情報を生成し、出力する。かかる構成によれば、時系列画像に新たに登場した車両について、動線の追跡を開始することが可能となる。

ここで、動線情報に対応する車両の検出に、車両が一部遮蔽される等の理由で失敗する場合がある。その場合、動線抽出部２３は、予測される車両の座標を動線情報に追加しながら、車両の追跡を継続してもよい。以下では、検出に成功した車両の座標を、検出座標とも称する。他方、検出に失敗した車両の座標として予測された座標を、予測座標とも称する。検出座標と予測座標とを特に区別する必要がない場合、これらを単に座標と総称する。

動線情報は、時系列画像に含まれる複数の画像の各々における、検出された車両の検出座標、又は予測された車両の予測座標を含む。そして、動線抽出部２３は、時間経過により新たに時系列画像に追加された画像における、検出された車両の検出座標、又は検出に失敗した車両の予測座標を動線情報に追加することで、動線情報を更新する。検出座標を動線情報に追加する点については、上記説明した通りである。動線抽出部２３は、動線情報に対応する車両であって、検出に失敗した車両の予測座標を予測する。予測座標の予測には、カルマンフィルタ等の多様な手法を適用可能である。その際、動線抽出部２３は、検出枠の代替として予測枠を設定してもよい。予測枠とは、車両が時系列画像に占めると予測される範囲である。予測枠が矩形である場合、動線抽出部２３は、予測枠の四隅の座標を、時系列画像における車両の予測座標として検出する。かかる構成によれば、車両の検出に一時的に失敗したとしても追跡を継続することができるので、未カウントの発生を抑制することが可能となる。

動線抽出部２３は、予測座標が正しいか否かを判定し、正しいと判定した予測座標のみを用いて動線情報を更新してもよい。一例として、動線抽出部２３は、時系列画像のうち予測枠で切り出した部分的な画像から抽出される特徴と、動線情報に含まれる車両情報により示される特徴との類似度に基づいて、予測座標が正しいか否かを判定してもよい。この手法は、車両の一部が遮蔽され、他の一部が遮蔽されていない場合に有効である。かかる構成によれば、車両の検出に失敗した場合であっても、交通状況の計測精度をより向上させることが可能となる

－動線記憶部２４
動線記憶部２４は、動線抽出部２３により抽出された動線情報を記憶する機能を有する。動線記憶部２４は、記憶した動線情報を動線抽出部２３に出力したり、動線抽出部２３から出力された動線情報を記憶（例えば、上書き）したりする。また、動線記憶部２４は、記憶した動線情報を信頼度計算部２５に出力する。

－信頼度計算部２５
信頼度計算部２５は、動線抽出部２３により抽出された動線情報により示される動線の信頼度を計算する機能を有する。ここでの信頼度とは、動線抽出部２３により抽出された動線が、車両の動線である確からしさを示す指標である。信頼度計算部２５は、動線記憶部２４に記憶された動線情報の信頼度を計算する。

信頼度計算部２５は、動線の全体の長さに基づいて、信頼度を計算してもよい。ここでの長さとは、距離を意味していてもよい。その場合、例えば、信頼度計算部２５は、動線の全体の距離が長いほど高い信頼度を計算し、動線の全体の距離が短いほど低い信頼度を計算する。車両が明瞭に時系列画像に映っていれば、毎フレーム安定して検出及び追跡が行われるため、動線の全体の距離は長くなり、特定の背景を誤検出した場合には動線の距離が短くなるためである。また、ここでの長さとは、時間長を意味していてもよい。その場合、例えば、信頼度計算部２５は、動線の全体の時間長が過度に長い場合に、低い信頼度を計算する。車両が描かれた看板が車両として誤検出された場合、誤検出された看板である車両の動線の全体の時間長は過度に長くなるためである。以上説明したように、かかる構成によれば、誤検出された座標を含むと考えられる動線に低い信頼度を計算することが可能となる。

信頼度計算部２５は、動線の各時刻における長さに基づいて、信頼度を計算してもよい。ここでの長さとは、距離を意味する。例えば、信頼度計算部２５は、動線の各時刻における長さのばらつき（例えば、分散）が低いほど高い信頼度を計算し、ばらつきが高いほど低い信頼度を計算する。例えば、動線情報に対応しない車両の座標が誤って動線情報に追加されると、急激な座標の移動が発生する等、動線の各時刻における長さにばらつきが生じる。この点、かかる構成によれば、急激な座標の移動が発生している動線に低い信頼度を計算することが可能となる。

信頼度計算部２５は、時系列画像のフレームレートに基づいて、信頼度を計算してもよい。例えば、信頼度計算部２５は、動線の各時刻における長さが、時系列画像のフレームレートを鑑みて適切なものであれば高い信頼度を計算し、適切でなければ低い信頼度を計算する。例えば、動線情報に対応しない車両の座標が誤って動線情報に追加されると、１フレームではありえない急激な座標の移動が発生し得る。この点、かかる構成によれば、１フレーム当たりに移動可能な距離を超える距離を移動している動線については、低い信頼度を計算することが可能となる。

信頼度計算部２５は、動線情報における検出座標及び予測座標の構成に基づいて、信頼度を計算してもよい。一例として、信頼度計算部２５は、動線情報における検出座標の比率が高く予測座標の比率が低いほど高い信頼度を計算し、動線情報における検出座標の比率が低く予測座標の比率が高いほど低い信頼度を計算する。他の一例として、信頼度計算部２５は、予測座標の後に検出座標が含まれる動線に高い信頼度を計算し、予測座標の後に検出座標が含まれない動線に低い信頼度を計算する。かかる構成によれば、遮蔽等された期間が過度に長い車両、及びあるタイミング以降検出に失敗し続けている車両については低い信頼度を計算することが可能となる。

－計測線設定部２６
計測線設定部２６は、計測エリアに計測線を設定する機能を有する。計測線とは、当該線を車両が通過した場合に、通過台数がカウントされる線である。計測エリアに計測線を設定することは、時系列画像における計測線の座標を設定することと同義である。図２に示した例では、交差点の出入り口となる４か所に、それぞれ計測線４００Ａ～４００Ｄが設定されている。

－計測線記憶部２７
計測線記憶部２７は、計測線設定部２６により設定された計測線を示す情報を記憶する機能を有する。詳しくは、計測線記憶部２７は、時系列画像における計測線の座標を記憶する。計測線記憶部２７は、記憶した計測線を示す情報を計測部２８に出力する。

－計測部２８
計測部２８は、動線情報により示される車両の動線に基づいて、計測エリアに設定された計測線を通過する車両の交通状況を計測する機能を有する。例えば、計測部２８は、動線情報により示される車両の動線に基づいて、計測線を車両が通過した数を計測する。詳しくは、計測部２８は、動線と計測線とが交差した場合、計測線を通過した車両の数をカウントする（即ち、１加算する）。この点について、図３を参照しながら詳しく説明する。

図３は、本実施形態に係る計測線を通過した車両の数の計測について説明するための図である。図３に示すように、時刻ｔにおける動線３００は、時刻ｔにおける座標、時刻ｔ－１における座標、時刻ｔ－２における座標、及び時刻ｔ－３における座標を結ぶ線として構成される。以下では、時刻ｔにおける計測について説明する。計測部２８は、時刻ｔにおける座標と時刻ｔ－１における座標とを結ぶ直線３００Ａと計測線４００とが交わっているか否かを判定し、交わっている場合に車両が計測線４００を通過したと判定する。他方、交わっていないと判定した場合、計測部２８は、時刻ｔ－１における座標と時刻ｔ－２における座標とを結ぶ直線３００Ｂと計測線４００とが交わっているか否かを判定し、交わっている場合に車両が計測線４００を通過したと判定する。計測部２８は、時間軸で連続する座標同士を結ぶ直線と計測線４００とが交わるまで、動線３００を遡ってこのような判定を行う。計測部２８は、動線３００の最後まで遡っても、時間軸で連続する座標同士を結ぶ直線と計測線４００とが交わっていなければ、車両２００は計測線４００を通過していないと判定する。図３に示した例では、計測部２８は、時刻ｔ－２における座標と時刻ｔ－３における座標とを結ぶ直線３００Ｃと計測線４００とが交わっていると判定し、計測線４００を通過した車両２００の数をカウントする。

計測部２８は、車両が計測線を通過した数を、車両が計測線を通過する方向ごとに計測してもよい。詳しくは、計測部２８は、動線が計測線と交差した方向を、車両が計測線を通過した方向と判定する。そして、車両が計測線を通過した数を、車両が計測線を通過する方向ごとに計測する。かかる構成によれば、交通状況をより詳細に計測することが可能となる。

ここで、計測部２８は、信頼度計算部２５により計算された信頼度が所定の閾値よりも高い動線に基づいて、計測線を車両が通過した数を計測する。信頼性が高い動線に限定して交通状況を計測することで、誤カウントの発生を抑制することが可能となる。また、計測部２８は、ひとつの動線につき、１回のみ、計測線を通過した車両の数をカウントする。かかる構成によれば、例えば、車両が計測線上に留まり、動線が何度も計測線と交差する場合であっても、誤カウントの発生を抑制することが可能となる。

計測部２８は、動線情報により示される動線のうち特定の一部分に基づいて、車両が計測線を通過したか否かを判定してもよい。かかる構成によれば、動線の全体にわたって、時間軸で連続する座標同士を結ぶ直線と計測線とが交わるか否かを判定する場合と比較して、処理負荷を軽減することが可能となる。

具体的には、計測部２８は、動線情報により示される動線のうち、所定個の座標から成る一部分に基づいて、車両が計測線を通過したか否かを判定してもよい。例えば、計測部２８は、動線を遡りながら時間軸で連続する座標同士を結ぶ直線と計測線とが交差するか否かを判定する際に、遡る座標の数を指定する等して、動線の最後まで遡らず途中で判定を打ち切ってもよい。かかる構成によれば、動線の最後まで遡る場合と比較して、処理負荷を軽減することが可能となる。

他にも、計測部２８は、動線情報により示される動線のうち、計測線から所定距離以内にある一部分に基づいて、車両が計測線を通過したか否かを判定してもよい。例えば、図３に示した例に関し言えば、計測部２８は、計測線４００から近い時刻ｔ－２における座標と時刻ｔ－３における座標とを結ぶ直線３００Ｃに限定して、計測線４００と交差するか否かを判定してもよい。かかる構成によれば、処理負荷を軽減しつつ、未カウントの発生を抑制することが可能となる。

－出力部２９
出力部２９は、計測部２８による計測結果を示す情報を出力する機能を有する。一例として、出力部２９は、車両が計測線を通過した数を示す情報を出力してもよい。他の一例として、出力部２９は、車両が計測線を通過する方向ごとの、車両が計測線を通過した数を示す情報を出力してもよい。出力部２９は、計測部２８による計測結果を示す情報を出力装置３０に出力する。

（３）出力装置３０
出力装置３０は、情報を出力する装置である。出力装置３０は、情報処理装置２０から出力された情報を出力する。

一例として、出力装置３０は、画像を表示する表示装置であってもよく、情報処理装置２０から出力された情報を表示してもよい。他の一例として、出力装置３０は、音を出力する音出力装置であってもよく、情報処理装置２０から出力された情報を音声出力してもよい。

＜２．２．処理の流れ＞
図４は、本実施形態に係る情報処理装置２０において実行される処理の流れの一例を示すフローチャートである。

図４に示すように、まず、画像取得部２１は、撮像装置１０により撮像された時系列画像を取得する（ステップＳ１０２）。詳しくは、画像取得部２１は、撮像装置１０により所定のフレームレートで連続的に撮像され出力される画像を、逐次的に取得する。

次いで、検出部２２は、画像取得部２１により取得された時系列画像から車両を検出する（ステップＳ１０４）。

次に、動線抽出部２３は、動線記憶部２４に記憶された１時刻前の動線情報に対応する車両が検出されたか否かを判定する（ステップＳ１０６）。例えば、動線抽出部２３は、１時刻前の動線情報に含まれる車両情報に基づいて、又は１時刻前の動線情報から予測される現時刻の座標に基づいて、１時刻前の動線情報に対応する車両が検出されたか否かを判定する。

１時刻前の動線情報に対応する車両が検出されたと判定された場合（ステップＳ１０６：ＹＥＳ）、動線抽出部２３は、検出された車両の検出座標を動線情報に追加する（ステップＳ１０８）。このようにして、動線抽出部２３は、動線記憶部２４に記憶された動線情報を更新する。その後、処理はステップＳ１１２に進む。

他方、１時刻前の動線情報に対応する車両が検出されていないと判定された場合（ステップＳ１０６：ＮＯ）、動線抽出部２３は、検出に失敗した車両について予測した予測座標を動線情報に追加する（ステップＳ１１０）。このようにして、動線抽出部２３は、動線記憶部２４に記憶された動線情報を更新する。その後、処理はステップＳ１１２に進む。

次いで、信頼度計算部２５は、動線記憶部２４に記憶された最新の動線情報により示される動線の信頼度を計算する（ステップＳ１１２）。例えば、信頼度計算部２５は、動線全体の距離的又は時間的な長さ、動線の各時刻における距離的な長さ、時系列画像のフレームレート、及び動線情報における検出座標及び予測座標の構成の少なくともいずれか１つに基づいて、信頼度を計算する。

次に、計測部２８は、計算された信頼度が所定の閾値よりも高い動線が、計測線と交差したか否かを判定する（ステップＳ１１４）。

動線が計測線と交差したと判定された場合（ステップＳ１１４：ＹＥＳ）、計測部２８は、計測線を通過した車両の数をカウントする（ステップＳ１１６）。

そして、出力部２９は、計測部２８による計測結果を出力装置３０に出力する（ステップＳ１１８）。出力装置３０により、計測部２８による計測結果が表示等される。その後、処理はステップＳ１０２に戻る。

動線が計測線と交差していないと判定された場合（ステップＳ１１４：ＮＯ）もまた、処理はステップＳ１０２に戻る。

＜２．３．効果＞
以上説明したように、本実施形態によれば、誤カウント及び未カウントの発生を抑制しながら、車両の交通状況を精度よく計測することが可能である。詳しくは、信頼度が高い動線にカウント対象を限定することで、誤カウントの発生を抑制することができる。また、車両の検出に失敗した場合には検出座標の代わりに予測座標を動線情報に追加して車両の追跡を継続することで、未カウントの発生を抑制することができる。誤カウントの抑制効果について、図５を参照しながらさらに詳しく説明する。

図５は、本実施形態の誤カウント抑制効果について説明するための図である。図５では、車両２００が右折時に計測線４００Ｃ上に留まっている様子が映った時系列画像１００が示されている。図５に示した例では、時刻ｔ－２からｔ－１にかけて、及び時刻ｔ－１から時刻ｔにかけて、２回にわたって動線３００が計測線４００Ｃに交差している。このように、車両２００が計測線４００Ｃ上に留まり続ける場合、検出座標のブレにより動線３００が何度も計測線４００Ｃと交差することとなる。ここで、車両２００が動きを止めている場合、時系列画像１００に映る各時刻における車両２００の座標の移動距離が小さくなるので、動線３００の信頼度が低くなりカウント対象とはならない。そして、車両２００が動き出したタイミングで、車両２００の座標の移動距離が長くなるので、動線３００の信頼度が高くなりカウント対象となる。これによりはじめて、車両２００が計測線４００Ｃを通過したものとしてカウントされる。このようにして、誤カウントの発生を抑制することが可能となる。

＜３．第２の実施形態＞
本実施形態は、動線情報に含まれる座標を、実空間の世界座標系における座標に変換した上で、交通状況の計測を行う形態である。

＜３．１．構成例＞
図６は、本実施形態に係るシステム１の構成の一例を示すブロック図である。図６に示すように、本実施形態に係るシステム１は、第１の実施形態に係るシステム１と同様の構成を有する。ただし、本実施形態に係る情報処理装置２０は、第１の実施形態に係る情報処理装置２０が有する構成要素に加え、キャリブレーションファイル記憶部４０を含む。
以下では、第１の実施形態と同様の構成については説明を省略し、相違点について主に説明する。

キャリブレーションファイル記憶部４０は、キャリブレーションファイルを記憶する機能を有する。キャリブレーションファイルとは、時系列画像における座標を、実空間の世界座標系における座標に変換するためのパラメータが記載されたファイルである。世界座標系とは、実空間における任意の点を原点とした３次元の座標系である。キャリブレーションファイルは、撮像装置１０が設置された位置及び角度、並びに撮像装置１０のレンズの倍率等に基づいて、予め生成される。キャリブレーションファイル記憶部４０は、記憶したキャリブレーションファイルを信頼度計算部２５に出力する。

信頼度計算部２５は、キャリブレーションファイルに基づいて、信頼度を計算する。詳しくは、信頼度計算部２５は、動線情報とキャリブレーションファイルとに基づいて計算される車両の実空間における速度に基づいて、信頼度を計算する。例えば、信頼度計算部２５は、キャリブレーションファイルに基づいて、動線情報に含まれる時系列画像における座標を世界座標系における座標に変換する。そして、信頼度計算部２５は、時系列で連続する世界座標系における座標間の距離とフレームレートとに基づいて、動線情報により示される車両の実空間における速度を計算する。そして、信頼度計算部２５は、計算した車両の速度が、車両の実際の速度として妥当である場合に高い信頼度を計算し、そうでない場合に低い信頼度を計算する。例えば、信頼度計算部２５は、車両の速度が１０ｋｍ／ｈから突然５０ｋｍ／ｈに変化した場合に、誤検出が発生したと判定して低い信頼度を計算する。

計測部２８は、車両が計測線を通過した際の、実空間における車両の速度を計測する。詳しくは、計測部２８は、信頼度計算部２５により計算された、車両が計測線を通過したタイミングにおける車両の実空間における速度を取得する。かかる構成によれば、交通状況をより詳細に計測することが可能となる。

本実施形態に係る情報処理装置２０により実行される処理の流れは、図４を参照しながら説明した第１の実施形態に係る情報処理装置２０により実行される処理の流れと同様であるから、ここでの説明は省略する。

＜３．２．効果＞
以上説明したように、本実施形態によれば、実空間における車両の速度を信頼度の計算に利用することができる。そのため、交通状況の測定精度を、第１の実施形態よりも向上させることが可能となる。

＜４．ハードウェア構成＞
続いて、図７を参照して、情報処理装置のハードウェア構成について説明する。図７は、情報処理装置９００のハードウェア構成の一例を示すブロック図である。なお、図７に示す情報処理装置９００は、例えば、図１及び図６にそれぞれ示した情報処理装置２０を実現し得る。上記各実施形態に係る情報処理装置２０による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。

図７に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置９１０と、通信装置９１１と、を備える。

ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラム、及び演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラム、及びその実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバス９０４により相互に接続されている。ＣＰＵ９０１は、図１及び図６に示す画像取得部２１、検出部２２、動線抽出部２３、信頼度計算部２５、計測線設定部２６、計測部２８、及び出力部２９を形成し得る。

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５及び外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、利用者が情報を入力するための入力手段と、利用者による入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等から構成されている。情報処理装置９００を操作する利用者は、この入力装置９０８を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプ等の表示装置及びスピーカー等の音声出力装置を含む。

ストレージ装置９１０は、データ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置９１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置９１０は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラム、及び各種データを格納する。ストレージ装置９１０は、例えば、図１及び図６に示す動線記憶部２４、計測線記憶部２７、及びキャリブレーションファイル記憶部４０を形成し得る。

通信装置９１１は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１１は、無線通信または有線通信のどちらに対応してもよい。通信装置９１１は、例えば、情報処理装置２０と撮像装置１０及び出力装置３０とのインタフェースとして機能し得る。

以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

＜５．補足＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、交差点を通過する車両を例に挙げて説明したが、本発明はかかる例に限定されない。計測エリアは、駐車場のような車線がない場所であってもよい。

例えば、上記実施形態では、移動体が車両である例を説明したが、本発明はかかる例に限定されない。移動体は、人であってもよいし、人以外の動物であってもよい。計測エリアは、建物内の店舗、部屋又は廊下であってもよいし、森の中であってもよい。また、移動体は、実空間における実物体に限定されず、仮想空間においてユーザに操作されるキャラクター等の仮想物体であってもよい。

例えば、上記実施形態では、キャリブレーションファイルを用いて車両の実空間における速度を計算する例を説明したが、本発明はかかる例に限定されない。システム１は、レーザーセンサ又はＴｏＦ（Time of Flight）カメラ等の３次元位置を観測可能な装置を含んでいてもよく、これらの装置による観測結果に基づいて車両の実空間における速度が計算されてもよい。

なお、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。一例として、図１及び図６に示した撮像装置１０のうち、動線記憶部２４、計測線記憶部２７及びキャリブレーションファイル記憶部４０が、その余の構成要素を有する情報処理装置２０とネットワーク等で接続されたサーバ等の装置に備えられていても良い。他の一例として、撮像装置１０と情報処理装置２０とが、又は情報処理装置２０と出力装置３０とが、１つの装置として実現されてもよい。

なお、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記録媒体（詳しくは、コンピュータにより読み取り可能な非一時的な記憶媒体）に予め格納される。そして、各プログラムは、例えば、本明細書において説明した各装置を制御するコンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。上記記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

１ システム
１０ 撮像装置
２０ 情報処理装置
２１ 画像取得部
２２ 検出部
２３ 動線抽出部
２４ 動線記憶部
２５ 信頼度計算部
２６ 計測線設定部
２７ 計測線記憶部
２８ 計測部
２９ 出力部
３０ 出力装置
４０ キャリブレーションファイル記憶部
１００ 時系列画像
２００ 車両
２１０ 検出枠
３００ 動線
４００ 計測線

Claims (21)

1. 計測エリアを撮像した時系列に連続する複数の画像から成る時系列画像から移動体を検出する検出部と、
   前記検出部により検出された前記移動体の前記時系列画像における動線を示す動線情報を抽出する動線抽出部と、
   前記動線抽出部により抽出された前記動線情報により示される前記動線の信頼度を、前記動線の全体の長さに基づいて計算する信頼度計算部と、
   前記信頼度計算部により計算された前記信頼度が所定の閾値よりも高い前記動線に基づいて、前記計測エリアに設定された計測線を前記移動体が通過した数を計測する計測部と、
   を備える情報処理装置。
2. 前記信頼度計算部は、前記動線の各時刻における長さに基づいて、前記信頼度を計算する、
   請求項１に記載の情報処理装置。
3. 前記信頼度計算部は、前記時系列画像のフレームレートに基づいて、前記信頼度を計算する、
   請求項１又は２に記載の情報処理装置。
4. 前記動線情報は、前記時系列画像に含まれる複数の画像の各々における、検出された前記移動体の座標である検出座標、又は予測された前記移動体の座標である予測座標を含み、
   前記動線抽出部は、時間経過により前記時系列画像に新たに追加された画像における、検出された前記移動体の前記検出座標、又は検出に失敗した前記移動体の前記予測座標を前記動線情報に追加することで、前記動線情報を更新する、
   請求項１～３のいずれか一項に記載の情報処理装置。
5. 前記動線抽出部は、検出された前記移動体であって前記動線情報に対応する前記移動体の座標を前記動線情報に追加することで、前記動線情報を更新する、
   請求項４に記載の情報処理装置。
6. 前記信頼度計算部は、前記動線情報における前記検出座標及び前記予測座標の構成に基づいて、前記信頼度を計算する、
   請求項４又は５に記載の情報処理装置。
7. 前記計測部は、前記動線情報により示される前記動線のうち特定の一部分に基づいて、前記移動体が前記計測線を通過したか否かを判定する、
   請求項１～６のいずれか一項に記載の情報処理装置。
8. 前記計測部は、前記動線情報により示される前記動線のうち、所定個の座標から成る一部分に基づいて、前記移動体が前記計測線を通過したか否かを判定する、
   請求項７に記載の情報処理装置。
9. 前記計測部は、前記動線情報により示される前記動線のうち、前記計測線から所定距離以内にある一部分に基づいて、前記移動体が前記計測線を通過したか否かを判定する、
   請求項７又は８に記載の情報処理装置。
10. 前記信頼度計算部は、前記時系列画像における座標を実空間の世界座標系における座標に変換するキャリブレーションファイルに基づいて、前記信頼度を計算する、
    請求項１～９のいずれか一項に記載の情報処理装置。
11. 計測エリアを撮像した時系列に連続する複数の画像から成る時系列画像から移動体を検出する検出部と、
    前記検出部により検出された前記移動体の前記時系列画像における動線を示す動線情報を抽出する動線抽出部と、
    前記動線抽出部により抽出された前記動線情報により示される前記動線の信頼度を、前記時系列画像における座標を実空間の世界座標系における座標に変換するキャリブレーションファイルに基づいて計算する信頼度計算部と、
    前記信頼度計算部により計算された前記信頼度が所定の閾値よりも高い前記動線に基づいて、前記計測エリアに設定された計測線を前記移動体が通過した数を計測する計測部と、
    を備える情報処理装置。
12. 前記信頼度計算部は、前記動線情報と前記キャリブレーションファイルとに基づいて計算される実空間における前記移動体の速度に基づいて、前記信頼度を計算する、
    請求項１０又は１１に記載の情報処理装置。
13. 前記計測部は、前記移動体が前記計測線を通過した際の、実空間における前記移動体の速度を計測する、
    請求項１０～１２のいずれか一項に記載の情報処理装置。
14. 前記計測部は、前記移動体が前記計測線を通過した数を、前記移動体が前記計測線を通過する方向ごとに計測する、
    請求項１～１３のいずれか一項に記載の情報処理装置。
15. 前記情報処理装置は、前記計測部による計測結果を示す情報を出力する出力部をさらに備える、
    請求項１～１４のいずれか一項に記載の情報処理装置。
16. 前記移動体は、車両である、
    請求項１～１５のいずれか一項に記載の情報処理装置。
17. 前記計測エリアは、道路、交差点、又は駐車場を含む、
    請求項１～１６のいずれか一項に記載の情報処理装置。
18. 計測エリアを撮像した時系列に連続する複数の画像から成る時系列画像から移動体を検出することと、
    検出された前記移動体の前記時系列画像における動線を示す動線情報を抽出することと、
    抽出された前記動線情報により示される前記動線の信頼度を、前記動線の全体の長さに基づいて計算することと、
    計算された前記信頼度が所定の閾値よりも高い前記動線に基づいて、前記計測エリアに設定された計測線を前記移動体が通過した数を計測することと、
    を含む、情報処理装置により実行される情報処理方法。
19. 計測エリアを撮像した時系列に連続する複数の画像から成る時系列画像から移動体を検出することと、
    検出された前記移動体の前記時系列画像における動線を示す動線情報を抽出することと、
    抽出された前記動線情報により示される前記動線の信頼度を、前記時系列画像における座標を実空間の世界座標系における座標に変換するキャリブレーションファイルに基づいて計算することと、
    計算された前記信頼度が所定の閾値よりも高い前記動線に基づいて、前記計測エリアに設定された計測線を前記移動体が通過した数を計測することと、
    を含む、情報処理装置により実行される情報処理方法。
20. コンピュータを、
    計測エリアを撮像した時系列に連続する複数の画像から成る時系列画像から移動体を検出する検出部と、
    前記検出部により検出された前記移動体の前記時系列画像における動線を示す動線情報を抽出する動線抽出部と、
    前記動線抽出部により抽出された前記動線情報により示される前記動線の信頼度を、前記動線の全体の長さに基づいて計算する信頼度計算部と、
    前記信頼度計算部により計算された前記信頼度が所定の閾値よりも高い前記動線に基づいて、前記計測エリアに設定された計測線を前記移動体が通過した数を計測する計測部と、
    として機能させるためのプログラム。
21. コンピュータを、
    計測エリアを撮像した時系列に連続する複数の画像から成る時系列画像から移動体を検出する検出部と、
    前記検出部により検出された前記移動体の前記時系列画像における動線を示す動線情報を抽出する動線抽出部と、
    前記動線抽出部により抽出された前記動線情報により示される前記動線の信頼度を、前記時系列画像における座標を実空間の世界座標系における座標に変換するキャリブレーションファイルに基づいて計算する信頼度計算部と、
    前記信頼度計算部により計算された前記信頼度が所定の閾値よりも高い前記動線に基づいて、前記計測エリアに設定された計測線を前記移動体が通過した数を計測する計測部と、
    として機能させるためのプログラム。
    

Images