JP4288428B2

JP4288428B2 - 映像解析システムおよび映像解析方法

Info

Publication number: JP4288428B2
Application number: JP2007066643A
Authority: JP
Inventors: 勝青木
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2007-03-15
Filing date: 2007-03-15
Publication date: 2009-07-01
Anticipated expiration: 2027-03-15
Also published as: JP2008226109A; US20080225131A1

Description

本発明は、例えば店舗等の監視対象の映像をカメラで撮影して解析する映像解析システムおよび映像解析方法に関するものである。

従来の映像解析では、カメラの設置位置によって映る映像が限定され、入手できる情報も限られていた。例えば人の顔が映るような設置位置では、人が前後に重なった場合に人の数を数えることが難しかった。また、床面と人の足の先を正確に分離することが難しいため、人の位置を正確に知ることができなかった。この場合、真上からの映像を入力すると、人の数を正確に数えることができ、人の位置を特定することも容易である。しかし、人の顔や服装などの特徴を入手することは不可能であった。

よって、従来は多様な情報を入手しようとすると、用途ごとにカメラを複数台設置する必要がある。しかし、複数台のカメラを設置するには、購入費用や工事費用などが高くなる問題があった。
そこで、１台のカメラと鏡を用いて、複数方向の映像を１台のカメラで同時に撮影できるようにした監視方法が提案されている（例えば特許文献１、特許文献２参照）。

特開２００２−０７７８８８号公報特開２００６−２９６８５５号公報

しかしながら、特許文献１、特許文献２に開示された方法では、入手できる情報が限られるという問題点があった。例えば特許文献１に開示された方法では、複数方向の映像が撮影できるだけである。一方、特許文献２に開示された方法では、複数方向の映像からボウリングゲームにおける残ピン数を検出することができるが、監視対象の変化点（例えば人などの移動物体）の位置や変化点が通過した時間を正確に特定することはできない。

本発明は、上記課題を解決するためになされたもので、多様な情報を入手し、監視対象の変化点の位置や変化点が通過した時間を正確に特定することができる映像解析システムおよび映像解析方法を提供することを目的とする。

本発明の映像解析システムは、監視対象の映像を撮影するカメラと、このカメラの撮影方向と異なる方向から見た前記監視対象の像が映るように、前記カメラの視野内に所定の角度で設置された鏡と、前記カメラによって撮影された映像を前記鏡に映った映像と鏡以外の映像とに分離して別々に解析することにより、前記監視対象の変化を監視するデータ処理装置とを有し、前記データ処理装置は、前記カメラによって撮影された映像を前記鏡に映った映像と前記鏡以外の映像とに分離する映像分離部と、前記鏡に映った映像と前記鏡以外の映像の各々について変化点を検出する映像解析部と、前記鏡に映った映像における変化点を解析した結果と前記鏡以外の映像における変化点を解析した結果とを前記監視対象の平面図上に写像して、前記監視対象の変化を監視する写像部とを含み、前記写像部は、前記鏡に映った映像における変化点を解析する第１の解析部と、前記鏡以外の映像における変化点を解析する第２の解析部と、前記鏡に映った映像における変化点を解析した結果と前記鏡以外の映像における変化点を解析した結果とを前記平面図上に写像して、前記監視対象に生じた変化の位置と時間と数を検出する判定部とを含み、前記第１の解析部は、前記鏡に映った映像における変化点の中心の位置を算出する中心点抽出部と、前記変化点の中心を通り、かつ前記鏡に映った映像の交差する２本の外辺に対して平行な線をそれぞれ求め、これらの平行線と前記２本の外辺との交点である基準点を２つ求める第１の基準点算出部と、前記第１の基準点算出部が求めた２つの基準点を前記平面図上に写像し、この写像した２つの基準点から、前記鏡に映った映像における変化点の中心を前記平面図上に写像した点の位置を算出し、算出した点の位置を解析結果として前記判定部に出力する第１の写像処理部とを含み、前記第２の解析部は、前記鏡以外の映像における変化点の下端部の中心の位置を算出する下端点抽出部と、前記変化点の下端部の中心を通り、かつ前記鏡以外の映像の１本の外辺に対して垂直な線を求め、この垂線と前記１本の外辺との交点である基準点を求める第２の基準点算出部と、前記第２の基準点算出部が求めた基準点を前記平面図上に写像する第２の写像処理部と、この第２の写像処理部が写像した基準点を通り、かつ前記鏡以外の映像を前記平面図上に写像した領域の１本の外辺に対して垂直な線を基準線とし、この基準線の位置と基準線から一定の距離にある基準範囲の位置を解析結果として前記判定部に出力する基準線生成部とを含み、前記判定部は、前記第１の解析部から解析結果として出力された点の位置が前記第２の解析部から解析結果として出力された基準範囲に含まれる場合、前記鏡に映った映像における変化点の中心が現れた時間と、第１の写像処理部が算出した点の位置と、前記鏡以外の映像における変化点の映像とを関連付けて、時間と位置を変化点の属性として記録するものである。

また、本発明の映像解析システムは、監視対象の映像を撮影するカメラと、このカメラの撮影方向と異なる方向から見た前記監視対象の像が映るように、前記カメラの視野内に所定の角度で設置された鏡と、前記カメラによって撮影された映像を前記鏡に映った映像と鏡以外の映像とに分離して別々に解析することにより、前記監視対象の変化を監視するデータ処理装置とを有し、前記データ処理装置は、前記カメラによって撮影された映像を前記鏡に映った映像と前記鏡以外の映像とに分離する映像分離部と、前記鏡に映った映像と前記鏡以外の映像の各々について変化点を検出する映像解析部と、前記鏡に映った映像における変化点を解析した結果と前記鏡以外の映像における変化点を解析した結果とを前記監視対象の平面図上に写像して、前記監視対象の変化を監視する写像部とを含み、前記写像部は、前記鏡に映った映像における変化点を解析する第１の解析部と、前記鏡以外の映像における変化点を解析する第２の解析部と、前記鏡に映った映像における変化点を解析した結果と前記鏡以外の映像における変化点を解析した結果とを前記平面図上に写像して、前記監視対象に生じた変化の位置と時間と数を検出する判定部とを含み、前記第１の解析部は、前記鏡に映った映像における変化点の中心の位置を算出する中心点抽出部と、前記変化点の中心を通り、かつ前記鏡に映った映像の交差する２本の外辺に対して平行な線をそれぞれ求め、これらの平行線と前記２本の外辺との交点である基準点を２つ求める第１の基準点算出部と、前記第１の基準点算出部が求めた２つの基準点を前記平面図上に写像し、この写像した２つの基準点から、前記鏡に映った映像における変化点の中心を前記平面図上に写像した点の位置を算出し、算出した点の位置を解析結果として前記判定部に出力する第１の写像処理部とを含み、前記第２の解析部は、前記鏡以外の映像における変化点の下端部の中心の位置を算出する下端点抽出部と、前記変化点の下端部の中心を通り、かつ前記鏡以外の映像の１本の外辺に対して垂直な線を求め、この垂線と前記１本の外辺との交点である基準点を求める第２の基準点算出部と、前記第２の基準点算出部が求めた基準点を前記平面図上に写像する第２の写像処理部と、この第２の写像処理部が写像した基準点を通り、かつ前記鏡以外の映像を前記平面図上に写像した領域の１本の外辺に対して垂直な線を基準線とし、この基準線の位置と基準線から一定の距離にある基準範囲の位置を解析結果として前記判定部に出力する基準線生成部とを含み、前記判定部は、前記第１の解析部から解析結果として出力された点の位置が前記第２の解析部から解析結果として出力された基準線の位置と交わる場合、前記鏡に映った映像における変化点の中心が現れた時間と、第１の写像処理部が算出した点の位置と、前記鏡以外の映像における変化点の映像とを関連付けて、時間と位置を変化点の属性として記録するものである。

本発明の映像解析方法は、監視対象の映像をカメラによって撮影する撮影手順と、コンピュータが、前記カメラによって撮影された映像を、前記カメラの撮影方向と異なる方向から見た前記監視対象の像が映るように前記カメラの視野内に所定の角度で設置された鏡の映像と、鏡以外の映像とに分離して別々に解析することにより、前記監視対象の変化を監視するデータ処理手順とを備え、前記データ処理手順は、前記カメラによって撮影された映像を前記鏡に映った映像と前記鏡以外の映像とに分離する映像分離手順と、前記鏡に映った映像と前記鏡以外の映像の各々について変化点を検出する映像解析手順と、前記鏡に映った映像における変化点を解析した結果と前記鏡以外の映像における変化点を解析した結果とを前記監視対象の平面図上に写像して、前記監視対象の変化を監視する写像手順とを含み、前記写像手順は、前記鏡に映った映像における変化点を解析する第１の解析手順と、前記鏡以外の映像における変化点を解析する第２の解析手順と、前記鏡に映った映像における変化点を解析した結果と前記鏡以外の映像における変化点を解析した結果とを前記平面図上に写像して、前記監視対象に生じた変化の位置と時間と数を検出する判定手順とを含み、前記第１の解析手順は、前記鏡に映った映像における変化点の中心の位置を算出する中心点抽出手順と、前記変化点の中心を通り、かつ前記鏡に映った映像の交差する２本の外辺に対して平行な線をそれぞれ求め、これらの平行線と前記２本の外辺との交点である基準点を２つ求める第１の基準点算出手順と、前記第１の基準点算出手順で求めた２つの基準点を前記平面図上に写像し、この写像した２つの基準点から、前記鏡に映った映像における変化点の中心を前記平面図上に写像した点の位置を算出し、算出した点の位置を解析結果として出力する第１の写像処理手順とを含み、前記第２の解析手順は、前記鏡以外の映像における変化点の下端部の中心の位置を算出する下端点抽出手順と、前記変化点の下端部の中心を通り、かつ前記鏡以外の映像の１本の外辺に対して垂直な線を求め、この垂線と前記１本の外辺との交点である基準点を求める第２の基準点算出手順と、前記第２の基準点算出手順で求めた基準点を前記平面図上に写像する第２の写像処理手順と、この第２の写像処理手順で写像した基準点を通り、かつ前記鏡以外の映像を前記平面図上に写像した領域の１本の外辺に対して垂直な線を基準線とし、この基準線の位置と基準線から一定の距離にある基準範囲の位置を解析結果として出力する基準線生成手順とを含み、前記判定手順は、前記第１の解析手順で解析結果として出力された点の位置が前記第２の解析手順で解析結果として出力された基準範囲に含まれる場合、前記鏡に映った映像における変化点の中心が現れた時間と、第１の写像処理手順で算出した点の位置と、前記鏡以外の映像における変化点の映像とを関連付けて、時間と位置を変化点の属性として記録することを特徴とするものである。

また、本発明の映像解析方法は、監視対象の映像をカメラによって撮影する撮影手順と、コンピュータが、前記カメラによって撮影された映像を、前記カメラの撮影方向と異なる方向から見た前記監視対象の像が映るように前記カメラの視野内に所定の角度で設置された鏡の映像と、鏡以外の映像とに分離して別々に解析することにより、前記監視対象の変化を監視するデータ処理手順とを備え、前記データ処理手順は、前記カメラによって撮影された映像を前記鏡に映った映像と前記鏡以外の映像とに分離する映像分離手順と、前記鏡に映った映像と前記鏡以外の映像の各々について変化点を検出する映像解析手順と、前記鏡に映った映像における変化点を解析した結果と前記鏡以外の映像における変化点を解析した結果とを前記監視対象の平面図上に写像して、前記監視対象の変化を監視する写像手順とを含み、前記写像手順は、前記鏡に映った映像における変化点を解析する第１の解析手順と、前記鏡以外の映像における変化点を解析する第２の解析手順と、前記鏡に映った映像における変化点を解析した結果と前記鏡以外の映像における変化点を解析した結果とを前記平面図上に写像して、前記監視対象に生じた変化の位置と時間と数を検出する判定手順とを含み、前記第１の解析手順は、前記鏡に映った映像における変化点の中心の位置を算出する中心点抽出手順と、前記変化点の中心を通り、かつ前記鏡に映った映像の交差する２本の外辺に対して平行な線をそれぞれ求め、これらの平行線と前記２本の外辺との交点である基準点を２つ求める第１の基準点算出手順と、前記第１の基準点算出手順で求めた２つの基準点を前記平面図上に写像し、この写像した２つの基準点から、前記鏡に映った映像における変化点の中心を前記平面図上に写像した点の位置を算出し、算出した点の位置を解析結果として出力する第１の写像処理手順とを含み、前記第２の解析手順は、前記鏡以外の映像における変化点の下端部の中心の位置を算出する下端点抽出手順と、前記変化点の下端部の中心を通り、かつ前記鏡以外の映像の１本の外辺に対して垂直な線を求め、この垂線と前記１本の外辺との交点である基準点を求める第２の基準点算出手順と、前記第２の基準点算出手順で求めた基準点を前記平面図上に写像する第２の写像処理手順と、この第２の写像処理手順で写像した基準点を通り、かつ前記鏡以外の映像を前記平面図上に写像した領域の１本の外辺に対して垂直な線を基準線とし、この基準線の位置と基準線から一定の距離にある基準範囲の位置を解析結果として出力する基準線生成手順とを含み、前記判定手順は、前記第１の解析手順で解析結果として出力された点の位置が前記第２の解析手順で解析結果として出力された基準線の位置と交わる場合、前記鏡に映った映像における変化点の中心が現れた時間と、第１の写像処理手順で算出した点の位置と、前記鏡以外の映像における変化点の映像とを関連付けて、時間と位置を変化点の属性として記録することを特徴とするものである。

本発明によれば、監視対象の映像を撮影するカメラと、カメラの撮影方向と異なる方向から見た監視対象の像が映るように、カメラの視野内に所定の角度で設置された鏡とを設け、カメラによって撮影された映像を鏡に映った映像と鏡以外の映像とに分離して別々に解析することにより、１台のカメラで２つの方角から監視対象の変化を監視することができるため、監視対象の変化の認識・追跡の精度向上が可能になる。本発明によれば、入手できる情報が増える。その理由は、鏡によって他の方向からの映像を入手して解析することによって、新たな情報が入手できるためである。例えば、人数の情報とその人の顔の情報が入手できる。また、本発明によれば、監視対象の変化点の位置を正確に特定することができる。その理由は、鏡によって他の方向からの映像を入手して解析することによって、ある変化点と別の変化点とを分離することが容易になるからである。また、本発明によれば、変化点が通過した時間を正確に特定することができる。その理由は、鏡によって他の方向からの映像を入手して解析することによって、変化点が鏡の映るエリアに侵入した時刻を特定できるからである。

本発明は、１台のカメラで捉えた映像を複数の領域に分離し、それぞれの領域の解析結果を同一の映像へ写像することで、あたかも別の方向からの映像を解析しているような情報を入手し、複数のカメラを設置しなくても複数の情報を入手することを可能にしたことを特徴としている。

［第１の実施の形態］
以下、本発明の実施の形態について図面を参照して説明する。図１は本発明の第１の実施の形態に係る映像解析システムの構成を示すブロック図である。
本実施の形態の映像解析システムは、プログラム制御により動作するコンピュータからなるデータ処理装置１００と、映像を取得する手段であるカメラ１１０と、光を反射する手段である鏡１２０とから構成されている。

本実施の形態の映像解析システムを例えば店舗に設置する場合、図１に示すように店舗入り口の天井部分に鏡１２０を設置し、店内へ入ってくる人１３０の頭が映るように鏡１２０の角度を調整する。

図２（Ａ）はカメラ１１０が撮影した映像の１例を示す図、図２（Ｂ）はカメラ１１０が撮影した領域の平面図である。図２（Ａ）において、２１０はカメラ１１０が撮影した映像、２２０は映像２１０のうち鏡１２０の領域、２３０は人１３０の映像、２４０は店舗の入り口の映像、２５０は映像２１０のうち領域２２０以外の領域、ｘは鏡１２０に映った移動物体（映像の変化点であり、図１の例では人１３０）の中心点、ｙは移動物体の下端部の位置を示す基準点である。
図２（Ｂ）において、３１０は平面図である。この平面図３１０は、店舗の床を真上から見た場合の図のうち、カメラ１１０が撮影した領域を示している。なお、図２（Ｂ）では、下側が店舗の奥側（図１の右側）に対応する。

カメラ１１０が撮影した映像２１０のうち鏡１２０の領域２２０における点ｘが、図２（Ｂ）の平面図３１０における点Ｘへ写像されたとき、Ｐ（ｘ）＝Ｘと定義する。
本実施の形態では、店舗の入り口から奥に向かって正面にカメラ１１０を設置し、店舗内へ入ってくる人１３０の顔および全身が映り、かつ天井に設置した鏡１２０の領域が映るようにカメラ１１０の角度を調整する。このとき、店舗の入り口に立った人１３０の足の位置の位置を示す基準点ｙが、図２（Ｂ）の平面図３１０における基準範囲Ｙ（人１３０が立っている可能性のある範囲）に写像されたとき、Ｑ（ｙ）＝Ｙと定義する。

本実施の形態では、前記の点Ｘと基準範囲Ｙとの交点から、店舗内に入ってきた人１３０の位置を特定することができる。
入店してくる人が前後に重なっている場合、鏡１２０に映った映像では順番に頭が映るので、鏡１２０の映像から平面図３１０に写像された位置Ｘに頭が現れる時間が異なるため、先に入店した人と後ろから入店した人とが存在することを認識でき、前後の人を分離することができる。

また、入店してくる人が肩を並べて来た場合、鏡１２０に映った映像では横に並んで頭が映るので、鏡１２０の映像から平面図３１０に写像された位置Ｘは分離して複数存在するため、正面の映像から平面図３１０に写像された基準範囲Ｙが重なっていたとしても、２人の人が入店したことを認識でき、人を分離することが可能になる。
また、カメラ１１０を横切るような人がいたとしても、鏡１２０の領域２２０に何も映っていなければ、この横切った人を入り口を通った人と分離することができる。入り口の外にいる人も同様である。これにより、入店した人の数を正確にカウントすることが可能となる。

図３はデータ処理装置１００の構成を示すブロック図である。データ処理装置１００は、映像を複数に分割する映像分離部１０１と、映像を解析する映像解析部１０２と、映像上のある点を平面図３１０上へ写像する写像部１０３と、カメラ１１０が撮影した映像を受信する映像受信部１０４とを有する。

また、写像部１０３は、カメラ１１０が撮影した映像のうち鏡１２０の領域２２０の映像を解析する第１の解析部１０３０と、カメラ１１０が撮影した映像のうち領域２２０以外の領域２５０の映像を解析する第２の解析部１０３１と、第１の解析部１０３０と第２の解析部１０３１により解析された映像について所定の判定処理を実行する判定部１０３２とを含む。

データ処理装置１００の各構成要素はそれぞれ概略つぎのように動作する。まず、映像受信部１０４は、カメラ１１０が撮影した映像情報を受信する。
映像分離部１０１は、映像受信部１０４から入力された映像内の特定のエリアを分離し、別々の映像として取り扱うことを可能にする。具体的には、映像分離部１０１は、入力映像を鏡１２０の領域２２０とそれ以外の領域２５０とに分離する。

映像解析部１０２は、映像の変化点を抽出し、その映像内の移動物体を追跡することを可能にする。
写像部１０３は、カメラ１１０が撮影した映像２１０における移動物体の中心点ｘを平面図３１０上に写像して、移動物体の中心点ｘが平面図３１０上の特定の基準範囲Ｙあるいは特定の基準線に対応するか否かを判定する。

次に、図４のフローチャートを参照して本実施の形態の動作について詳細に説明する。まず、カメラ１１０からの映像をデータ処理装置１００に入力する（図４ステップＡ１）。データ処理装置１００の受信部１０４は、カメラ１１０から入力された映像情報を受信する。
続いて、映像分離部１０１は、入力された映像をあらかじめ定義された鏡１２０の領域２２０とそれ以外の領域２５０とに分離する（ステップＡ２）。

映像解析部１０２は、映像分離部１０１によって分離された領域２２０の映像を解析して（図４ステップＡ３）、領域２２０の映像から移動物体を抽出する（ステップＡ４）。この移動物体の抽出は、例えば複数の映像フレーム間の変化を調べ、映像に変化があった個所を移動物体と認定することで実現することができる。

次に、写像部１０３の第１の解析部１０３０は、領域２２０中の移動物体の中心点を平面図３１０上に写像したデータを生成する。
図５は第１の解析部１０３０の詳細な構成を示すブロック図、図６は第１の解析部１０３０が鏡１２０に映った移動物体の中心点を平面図３１０上に写像する処理を説明するための図である。第１の解析部１０３０は、中心点抽出部１０３００と、基準点算出部１０３０１と、写像処理部１０３０２と、平面図保持部１０３０３とを有する。

図６において、２２０−Ａ，２２０−Ｂ，２２０−Ｃ，２２０−Ｄは領域２２０の頂点、２６０−Ａは移動物体の中心点ｘを通り、かつ領域２２０の頂点２２０−Ｂと２２０−Ｃとを結ぶ辺に平行な直線、２６０−Ｂは移動物体の中心点ｘを通り、かつ領域２２０の頂点２２０−Ａと２２０−Ｂとを結ぶ辺に平行な直線、２７０−Ａは頂点２２０−Ａと２２０−Ｂとを結ぶ辺と直線２６０−Ａとの交点である基準点、２７０−Ｂは頂点２２０−Ｂと２２０−Ｃとを結ぶ辺と直線２６０−Ｂとの交点である基準点である。また、３２０は領域２２０を平面図３１０上に写像した領域、３２０−Ａ，３２０−Ｂ，３２０−Ｃ，３２０−Ｄはそれぞれ頂点２２０−Ａ，２２０−Ｂ，２２０−Ｃ，２２０−Ｄを平面図３１０上に写像した点、３６０−Ａ，３６０−Ｂはそれぞれ直線２６０−Ａ，２６０−Ｂを平面図３１０上に写像した直線、３７０−Ａ，３７０−Ｂはそれぞれ基準点２７０−Ａ，２７０−Ｂをそれぞれ平面図３１０上に写像した点、Ｘは移動物体の中心点ｘを平面図３１０上に写像した点である。

第１の解析部１０３０の中心点抽出部１０３００は、映像解析部１０２がステップＡ４で抽出した移動物体の映像から、この移動物体の中心点ｘの位置を算出する（図４ステップＡ５）。
続いて、第１の解析部１０３０の基準点算出部１０３０１及び写像処理部１０３０２は、移動物体の中心点ｘをあらかじめ定義された計算式により平面図３１０上に写像して点Ｘの位置を算出する（ステップＡ６）。図７は基準点算出部１０３０１及び写像処理部１０３０２の動作を示すフローチャートである。

まず、基準点算出部１０３０１は、図６に示すように領域２２０の映像上において、移動物体の中心点ｘを通り、かつ領域２２０の頂点２２０−Ｂと２２０−Ｃとを結ぶ辺に平行な直線２６０−Ａを求めると共に、移動物体の中心点ｘを通り、かつ領域２２０の頂点２２０−Ａと２２０−Ｂとを結ぶ辺に平行な直線２６０−Ｂを求める（図７ステップＳ１００）。領域２２０の頂点２２０−Ａ，２２０−Ｂ，２２０−Ｃ，２２０−Ｄの位置は既知である。したがって、移動物体の中心点ｘの位置が定まれば、直線２６０−Ａ，２６０−Ｂを求めることができる。

そして、基準点算出部１０３０１は、頂点２２０−Ａと２２０−Ｂとを結ぶ辺と直線２６０−Ａとの交点である基準点２７０−Ａの位置と、頂点２２０−Ｂと２２０−Ｃとを結ぶ辺と直線２６０−Ｂとの交点である基準点２７０−Ｂの位置を算出する（ステップＳ１０１）。

なお、直線２６０−Ａは、領域２２０の対向する２辺、すなわち頂点２２０−Ａと２２０−Ｂとを結ぶ辺、あるいは頂点２２０−Ｃと２２０−Ｄとを結ぶ辺のうち少なくとも一方に対して平行であればよい。同様に、直線２６０−Ｂは、これらの辺と交わる２辺、すなわち頂点２２０−Ｂと２２０−Ｃとを結ぶ辺、あるいは頂点２２０−Ａと２２０−Ｄとを結ぶ辺のうち少なくとも一方に対して平行であればよい。また、直線２６０−Ａを頂点２２０−Ｂと２２０−Ｃとを結ぶ辺に向かって引いてもよいし、直線２６０−Ｂを頂点２２０−Ａと２２０−Ｄとを結ぶ辺に向かって引いてもよい。

次に、写像処理部１０３０２は、基準点算出部１０３０１が算出した基準点２６０−Ａ，２６０−Ｂを平面図３１０上に写像して、基準点３７０−Ａ，３７０−Ｂを求める（図７ステップＳ１０２）。平面図３１０は、予め平面図保持部１０３０３に保持されており、頂点２２０−Ａ，２２０−Ｂ，２２０−Ｃ，２２０−Ｄを平面図３１０上に写像した点３２０−Ａ，３２０−Ｂ，３２０−Ｃ，３２０−Ｄの位置は既知である。

領域２２０の頂点２２０−Ａと２２０−Ｂとを結ぶ辺の長さをＬ１、頂点２２０−Ａから基準点２７０−Ａまでの距離をＤ１、領域３２０の頂点３２０−Ａと３２０−Ｂとを結ぶ辺の長さをＬ２、頂点３２０−Ａから基準点３７０−Ａまでの距離をＤ２とすると、次式が成立する。
Ｄ１／Ｌ１＝Ｄ２／Ｌ２・・・（１）
したがって、領域３２０の頂点３２０−Ａと３２０−Ｂとを結ぶ辺上において、式（１）が成立する点を求めれば、この点が基準点３７０−Ａとなる。

同様に、領域２２０の頂点２２０−Ｂと２２０−Ｃとを結ぶ辺の長さをＬ３、頂点２２０−Ｂから基準点２７０−Ｂまでの距離をＤ３、領域３２０の頂点３２０−Ｂと３２０−Ｃとを結ぶ辺の長さをＬ４、頂点３２０−Ｂから基準点３７０−Ｂまでの距離をＤ４とすると、次式が成立する。
Ｄ３／Ｌ３＝Ｄ４／Ｌ４・・・（２）
したがって、領域３２０の頂点３２０−Ｂと３２０−Ｃとを結ぶ辺上において、式（２）が成立する点を求めれば、この点が基準点３７０−Ｂとなる。

そして、写像処理部１０３０２は、基準点３７０−Ａを通り、かつ領域３２０の頂点３２０−Ｂと３２０−Ｃとを結ぶ辺に平行な直線３６０−Ａを求めると共に、基準点３７０−Ｂを通り、かつ領域３２０の頂点３２０−Ａと３２０−Ｂとを結ぶ辺に平行な直線３６０−Ｂを求める（図７ステップＳ１０３）。
最後に、写像処理部１０３０２は、直線３６０−Ａと３６０−Ｂとの交点を、移動物体の中心点ｘを平面図３１０上に写像した点Ｘとし、この基準点Ｘの位置を算出する（ステップＳ１０４）。写像処理部１０３０２は、この基準点Ｘの位置を判定部１０３２へ通知する。以上で図４のステップＡ６の処理が終了し、第１の解析部１０３０の処理が終了する。

次に、映像解析部１０２は、映像分離部１０１によって分離された領域２５０の映像を解析して（図４ステップＢ１）、領域２５０の映像から移動物体を抽出する（ステップＢ２）。この移動物体の抽出は、領域２２０の場合と同様にして実現できる。

写像部１０３の第２の解析部１０３１は、領域２５０中の移動物体の下端部の中心点を含む基準線を平面図３１０上に写像したデータを生成する。
図８は第２の解析部１０３１の詳細な構成を示すブロック図、図９は第２の解析部１０３１が移動物体の下端部の基準点を平面図３１０上に写像する処理を説明するための図である。第２の解析部１０３１は、下端点抽出部１０３１０と、基準点算出部１０３１１と、写像処理部１０３１２と、平面図保持部１０３１３と、基準線生成部１０３１４とを有する。

図９において、２５０−Ｃ，２５０−Ｄは領域２５０の頂点、２８０は移動物体の下端部の中心点、２９０は移動物体の下端部の中心点２８０を通り、かつ領域２５０の頂点２５０−Ｃと２５０−Ｄとを結ぶ辺に垂直な直線、ｙは頂点２５０−Ｃと２５０−Ｄとを結ぶ辺と直線２９０との交点である基準点である。また、３５０−Ｃ，３５０−Ｄはそれぞれ頂点２５０−Ｃ，２５０−Ｄを平面図３１０上に写像した点、ｙ’は基準点ｙを平面図３１０上に写像した点、３９０は基準点ｙ’を通り、かつ平面図３１０の頂点３５０−Ｃと３５０−Ｄとを結ぶ辺に垂直な線である。

第２の解析部１０３１の下端点抽出部１０３１０及び基準点算出部１０３１１は、映像解析部１０２がステップＢ２で抽出した移動物体の映像から、この移動物体の基準点ｙの位置を算出する（図４ステップＢ３）。図１０は下端点抽出部１０３１０及び基準点算出部１０３１１の動作を示すフローチャートである。

まず、下端点抽出部１０３１０は、移動物体の下端部（例えば図９に示す人の映像２３０の足の部分）の中心点２８０を画像解析により認識して、抽出する（図１０ステップＳ２００）。
続いて、基準点算出部１０３１１は、移動物体の下端部の中心点２８０を通り、かつ領域２５０の頂点２５０−Ｃと２５０−Ｄとを結ぶ辺に垂直な直線２９０を求める（ステップＳ２０１）。領域２５０の頂点（カメラ１１０により撮影された映像の下端の頂点）２５０−Ｃ，２５０−Ｄの位置は既知である。したがって、移動物体の下端部の中心点２８０の位置が定まれば、直線２９０を求めることができる。

そして、基準点算出部１０３１１は、頂点２５０−Ｃと２５０−Ｄとを結ぶ辺と直線２９０との交点を基準点ｙとして、この基準点ｙの位置を算出する（図１０ステップＳ２０２）。以上で図４ステップＢ３の処理が終了する。

次に、写像処理部１０３１２は、基準点算出部１０３１１が算出した基準点ｙをあらかじめ定義された計算式により平面図３１０上に写像して、基準点ｙを求める（図４ステップＢ４）。平面図３１０は、予め平面図保持部１０３１３に保持されており、頂点２５０−Ｃ，２５０−Ｄを平面図３１０上に写像した点３５０−Ｃ，３５０−Ｄの位置は既知である。

領域２５０の頂点２５０−Ｃと２５０−Ｄとを結ぶ辺の長さをＬ５、頂点２５０−Ｃから基準点ｙまでの距離をＤ５、平面図３１０の頂点３５０−Ｃと３５０−Ｄとを結ぶ辺の長さをＬ６、頂点３５０−Ｃから基準点ｙ’までの距離をＤ６とすると、次式が成立する。
Ｄ５／Ｌ５＝Ｄ６／Ｌ６・・・（３）
したがって、平面図３１０の頂点３５０−Ｃと３５０−Ｄとを結ぶ辺上において、式（３）が成立する点を求めれば、この点が基準点ｙ’となる。

基準線生成部１０３１４は、基準点ｙ’を通り、かつ平面図３１０の頂点３５０−Ｃと３５０−Ｄとを結ぶ辺に対して垂直な線（基準線）３９０を求め、この基準線３９０から左右に一定の距離にある範囲を基準範囲Ｙとして定義する（図４ステップＢ５）。基準線生成部１０３１４は、基準線３９０の位置と基準範囲Ｙの位置を判定部１０３２へ通知する。以上で第２の解析部１０３１の処理が終了する。

次に、判定部１０３２は、第１の解析部１０３０から通知された基準点Ｘの位置と第２の解析部１０３１から通知された基準範囲Ｙの位置とを比較して、基準範囲Ｙの中に基準点Ｘが含まれるかどうかを判定する（図４ステップＡ７）。
判定部１０３２は、基準範囲Ｙの中に基準点Ｘが含まれる場合、ステップＡ５において移動物体の中心点ｘが現れた時間と、ステップＡ６において算出された基準点Ｘの位置と、ステップＢ２において抽出された移動物体の映像とを関連付けて、時間と位置を移動物体の属性として記録する（ステップＡ８）。

一方、判定部１０３２は、基準範囲Ｙの中に基準点Ｘが含まれない場合、ステップＡ２〜Ａ６，Ｂ１〜Ｂ５までの処理結果を無効とする（図４ステップＡ９）。
なお、ステップＡ７において、基準点Ｘの位置と基準範囲Ｙの位置とを比較する代わりに、基準点Ｘの位置と基準線３９０の位置とを比較してもよい。この場合は、判定部１０３２は、基準点Ｘと基準線３９０とが交わるときに、判定ＹＥＳとしてステップＡ８に進む。

次に、本実施の形態の効果について説明する。本実施の形態では、鏡１２０により移動物体の真上からの映像を入力できるように構成されているため、移動物体を分離することができる。これにより、本実施の形態では、カメラ１１０の撮影領域を通過する移動物体の数を正確に数えることが可能となる。また、本実施の形態では、鏡１２０に映った映像から平面図への写像を行うように構成されているため、カメラ正面の映像から移動物体の位置を把握するよりも、正確に移動物体の位置を把握することができる。

また、本実施の形態では、カメラ１１０によって人等の移動物体の正面映像と鏡１２０に映った真上からの映像とを入手することができるように構成されているため、カメラ１１０の設置台数を削減することができる。また、本実施の形態では、カメラ正面の鏡１２０以外の映像と鏡１２０に映った映像とを別々に解析することにより、カメラ正面の映像のみを解析した場合よりも多くの情報を入手することができる。

また、本実施の形態では、カメラ正面の鏡１２０以外の映像の解析結果と鏡１２０に映った映像の解析結果とを同じ平面図３１０上に写像するように構成されているため、カメラ正面の鏡１２０以外の映像と鏡１２０に映った映像とに存在する移動物体が同一のものか否かを判断することができる。

［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。配管などの設備を監視する場合、カメラ正面の映像では、配管の裏側の様子が映らないため、配管の亀裂やさびなどの変化を検出することができない。これに対して、第１の実施の形態の構成を利用して、配管の裏側の壁面に鏡１２０を設置し、裏側の映像を映すことによって、カメラ正面の鏡１２０以外の映像と鏡１２０に映った映像とを別々に解析して、配管の擬似モデルに別々に写像することで、配管の全体に対する変化を監視することが可能になる。

また、屋内において人を追跡する場合、１つのカメラ映像では柱やキャビネットなどで死角となるエリアが発生してしまう。これに対して、第１の実施の形態の構成を利用して、柱やキャビネットの裏側を映すような壁面に鏡１２０を設置することによって、移動物体が死角に入ったときに鏡１２０に映った映像を解析することで、追跡可能となり、死角からカメラ正面の映像領域に再び現れる時間や場所が判別できるため、カメラ１１０の死角に入る前と死角から出てきた後で、同一人物として追跡が可能になる。

また、移動物体がカメラ１１０に向かってまっすぐ進んで来るような場合、天井の複数個所に鏡１２０を設置することによって、鏡１２０に映った時刻と位置が正確に把握できるため、近づいてくる移動物体が今どのあたりを進んでいるか、ということが判別できるようになる。

なお、第１、第２の実施の形態におけるデータ処理装置１００は、例えばＣＰＵ、記憶装置およびインタフェースを備えたコンピュータとこれらのハードウェア資源を制御するプログラムによって実現することができる。このようなコンピュータを動作させるためのプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリカードなどの記録媒体に記録された状態で提供される。ＣＰＵは、読み込んだプログラムを記憶装置に書き込み、このプログラムに従って第１、第２の実施の形態で説明した処理を実行する。

本発明は、店舗などの商業施設において、来場者の人数を把握しながら、その人の性別や顔・服装の特徴などを把握する、といった用途に適用できる。また、オフィスや工場内において、何時にどこをどんな人が通ったかを把握する、といった用途にも適用可能である。また、ビルや工場などにおいて設備の老朽化や異常の早期発見など、管理業務を効率化する、といった用途にも適用することができる。

本発明の第１の実施の形態に係る映像解析システムの構成を示すブロック図である。本発明の第１の実施の形態においてカメラが撮影した映像を示す図及びカメラが撮影した領域の平面図である。本発明の第１の実施の形態の映像解析システムにおけるデータ処理装置の構成を示すブロック図である。本発明の第１の実施の形態の映像解析システムの動作を示すフローチャートである。図３のデータ処理装置における写像部内の第１の解析部の詳細な構成を示すブロック図である。図５の第１の解析部が鏡に映った移動物体の中心点を平面図に写像する処理を説明するための図である。図５の第１の解析部の基準点算出部及び写像処理部の動作を示すフローチャートである。図３のデータ処理装置における写像部内の第２の解析部の詳細な構成を示すブロック図である。図８の第２の解析部が移動物体の下端部の基準点を平面図に写像する処理を説明するための図である。図８の第２の解析部の下端点抽出部及び基準点算出部の動作を示すフローチャートである。

符号の説明

１００…データ処理装置、１１０…カメラ、１２０…鏡、１０１…映像分離部、１０２…映像解析部、１０３…写像部、１０４…映像受信部、１０３０…第１の解析部、１０３１…第２の解析部、１０３２…判定部、１０３００…中心点抽出部、１０３０１…基準点算出部、１０３０２…写像処理部、１０３０３…平面図保持部、１０３１０…下端点抽出部、１０３１１…基準点算出部、１０３１２…写像処理部、１０３１３…平面図保持部、１０３１４…基準線生成部。

Claims

監視対象の映像を撮影するカメラと、
このカメラの撮影方向と異なる方向から見た前記監視対象の像が映るように、前記カメラの視野内に所定の角度で設置された鏡と、
前記カメラによって撮影された映像を前記鏡に映った映像と鏡以外の映像とに分離して別々に解析することにより、前記監視対象の変化を監視するデータ処理装置とを有し、
前記データ処理装置は、
前記カメラによって撮影された映像を前記鏡に映った映像と前記鏡以外の映像とに分離する映像分離部と、
前記鏡に映った映像と前記鏡以外の映像の各々について変化点を検出する映像解析部と、
前記鏡に映った映像における変化点を解析した結果と前記鏡以外の映像における変化点を解析した結果とを前記監視対象の平面図上に写像して、前記監視対象の変化を監視する写像部とを含み、
前記写像部は、
前記鏡に映った映像における変化点を解析する第１の解析部と、
前記鏡以外の映像における変化点を解析する第２の解析部と、
前記鏡に映った映像における変化点を解析した結果と前記鏡以外の映像における変化点を解析した結果とを前記平面図上に写像して、前記監視対象に生じた変化の位置と時間と数を検出する判定部とを含み、
前記第１の解析部は、
前記鏡に映った映像における変化点の中心の位置を算出する中心点抽出部と、
前記変化点の中心を通り、かつ前記鏡に映った映像の交差する２本の外辺に対して平行な線をそれぞれ求め、これらの平行線と前記２本の外辺との交点である基準点を２つ求める第１の基準点算出部と、
前記第１の基準点算出部が求めた２つの基準点を前記平面図上に写像し、この写像した２つの基準点から、前記鏡に映った映像における変化点の中心を前記平面図上に写像した点の位置を算出し、算出した点の位置を解析結果として前記判定部に出力する第１の写像処理部とを含み、
前記第２の解析部は、
前記鏡以外の映像における変化点の下端部の中心の位置を算出する下端点抽出部と、
前記変化点の下端部の中心を通り、かつ前記鏡以外の映像の１本の外辺に対して垂直な線を求め、この垂線と前記１本の外辺との交点である基準点を求める第２の基準点算出部と、
前記第２の基準点算出部が求めた基準点を前記平面図上に写像する第２の写像処理部と、
この第２の写像処理部が写像した基準点を通り、かつ前記鏡以外の映像を前記平面図上に写像した領域の１本の外辺に対して垂直な線を基準線とし、この基準線の位置と基準線から一定の距離にある基準範囲の位置を解析結果として前記判定部に出力する基準線生成部とを含み、
前記判定部は、前記第１の解析部から解析結果として出力された点の位置が前記第２の解析部から解析結果として出力された基準範囲に含まれる場合、前記鏡に映った映像における変化点の中心が現れた時間と、第１の写像処理部が算出した点の位置と、前記鏡以外の映像における変化点の映像とを関連付けて、時間と位置を変化点の属性として記録することを特徴とする映像解析システム。
監視対象の映像を撮影するカメラと、
このカメラの撮影方向と異なる方向から見た前記監視対象の像が映るように、前記カメラの視野内に所定の角度で設置された鏡と、
前記カメラによって撮影された映像を前記鏡に映った映像と鏡以外の映像とに分離して別々に解析することにより、前記監視対象の変化を監視するデータ処理装置とを有し、
前記データ処理装置は、
前記カメラによって撮影された映像を前記鏡に映った映像と前記鏡以外の映像とに分離する映像分離部と、
前記鏡に映った映像と前記鏡以外の映像の各々について変化点を検出する映像解析部と、
前記鏡に映った映像における変化点を解析した結果と前記鏡以外の映像における変化点を解析した結果とを前記監視対象の平面図上に写像して、前記監視対象の変化を監視する写像部とを含み、
前記写像部は、
前記鏡に映った映像における変化点を解析する第１の解析部と、
前記鏡以外の映像における変化点を解析する第２の解析部と、
前記鏡に映った映像における変化点を解析した結果と前記鏡以外の映像における変化点を解析した結果とを前記平面図上に写像して、前記監視対象に生じた変化の位置と時間と数を検出する判定部とを含み、
前記第１の解析部は、
前記鏡に映った映像における変化点の中心の位置を算出する中心点抽出部と、
前記変化点の中心を通り、かつ前記鏡に映った映像の交差する２本の外辺に対して平行な線をそれぞれ求め、これらの平行線と前記２本の外辺との交点である基準点を２つ求める第１の基準点算出部と、
前記第１の基準点算出部が求めた２つの基準点を前記平面図上に写像し、この写像した２つの基準点から、前記鏡に映った映像における変化点の中心を前記平面図上に写像した点の位置を算出し、算出した点の位置を解析結果として前記判定部に出力する第１の写像処理部とを含み、
前記第２の解析部は、
前記鏡以外の映像における変化点の下端部の中心の位置を算出する下端点抽出部と、
前記変化点の下端部の中心を通り、かつ前記鏡以外の映像の１本の外辺に対して垂直な線を求め、この垂線と前記１本の外辺との交点である基準点を求める第２の基準点算出部と、
前記第２の基準点算出部が求めた基準点を前記平面図上に写像する第２の写像処理部と、
この第２の写像処理部が写像した基準点を通り、かつ前記鏡以外の映像を前記平面図上に写像した領域の１本の外辺に対して垂直な線を基準線とし、この基準線の位置と基準線から一定の距離にある基準範囲の位置を解析結果として前記判定部に出力する基準線生成部とを含み、
前記判定部は、前記第１の解析部から解析結果として出力された点の位置が前記第２の解析部から解析結果として出力された基準線の位置と交わる場合、前記鏡に映った映像における変化点の中心が現れた時間と、第１の写像処理部が算出した点の位置と、前記鏡以外の映像における変化点の映像とを関連付けて、時間と位置を変化点の属性として記録することを特徴とする映像解析システム。
監視対象の映像をカメラによって撮影する撮影手順と、
コンピュータが、前記カメラによって撮影された映像を、前記カメラの撮影方向と異なる方向から見た前記監視対象の像が映るように前記カメラの視野内に所定の角度で設置された鏡の映像と、鏡以外の映像とに分離して別々に解析することにより、前記監視対象の変化を監視するデータ処理手順とを備え、
前記データ処理手順は、
前記カメラによって撮影された映像を前記鏡に映った映像と前記鏡以外の映像とに分離する映像分離手順と、
前記鏡に映った映像と前記鏡以外の映像の各々について変化点を検出する映像解析手順と、
前記鏡に映った映像における変化点を解析した結果と前記鏡以外の映像における変化点を解析した結果とを前記監視対象の平面図上に写像して、前記監視対象の変化を監視する写像手順とを含み、
前記写像手順は、
前記鏡に映った映像における変化点を解析する第１の解析手順と、
前記鏡以外の映像における変化点を解析する第２の解析手順と、
前記鏡に映った映像における変化点を解析した結果と前記鏡以外の映像における変化点を解析した結果とを前記平面図上に写像して、前記監視対象に生じた変化の位置と時間と数を検出する判定手順とを含み、
前記第１の解析手順は、
前記鏡に映った映像における変化点の中心の位置を算出する中心点抽出手順と、
前記変化点の中心を通り、かつ前記鏡に映った映像の交差する２本の外辺に対して平行な線をそれぞれ求め、これらの平行線と前記２本の外辺との交点である基準点を２つ求める第１の基準点算出手順と、
前記第１の基準点算出手順で求めた２つの基準点を前記平面図上に写像し、この写像した２つの基準点から、前記鏡に映った映像における変化点の中心を前記平面図上に写像した点の位置を算出し、算出した点の位置を解析結果として出力する第１の写像処理手順とを含み、
前記第２の解析手順は、
前記鏡以外の映像における変化点の下端部の中心の位置を算出する下端点抽出手順と、
前記変化点の下端部の中心を通り、かつ前記鏡以外の映像の１本の外辺に対して垂直な線を求め、この垂線と前記１本の外辺との交点である基準点を求める第２の基準点算出手順と、
前記第２の基準点算出手順で求めた基準点を前記平面図上に写像する第２の写像処理手順と、
この第２の写像処理手順で写像した基準点を通り、かつ前記鏡以外の映像を前記平面図上に写像した領域の１本の外辺に対して垂直な線を基準線とし、この基準線の位置と基準線から一定の距離にある基準範囲の位置を解析結果として出力する基準線生成手順とを含み、
前記判定手順は、前記第１の解析手順で解析結果として出力された点の位置が前記第２の解析手順で解析結果として出力された基準範囲に含まれる場合、前記鏡に映った映像における変化点の中心が現れた時間と、第１の写像処理手順で算出した点の位置と、前記鏡以外の映像における変化点の映像とを関連付けて、時間と位置を変化点の属性として記録することを特徴とする映像解析方法。
監視対象の映像をカメラによって撮影する撮影手順と、
コンピュータが、前記カメラによって撮影された映像を、前記カメラの撮影方向と異なる方向から見た前記監視対象の像が映るように前記カメラの視野内に所定の角度で設置された鏡の映像と、鏡以外の映像とに分離して別々に解析することにより、前記監視対象の変化を監視するデータ処理手順とを備え、
前記データ処理手順は、
前記カメラによって撮影された映像を前記鏡に映った映像と前記鏡以外の映像とに分離する映像分離手順と、
前記鏡に映った映像と前記鏡以外の映像の各々について変化点を検出する映像解析手順と、
前記鏡に映った映像における変化点を解析した結果と前記鏡以外の映像における変化点を解析した結果とを前記監視対象の平面図上に写像して、前記監視対象の変化を監視する写像手順とを含み、
前記写像手順は、
前記鏡に映った映像における変化点を解析する第１の解析手順と、
前記鏡以外の映像における変化点を解析する第２の解析手順と、
前記鏡に映った映像における変化点を解析した結果と前記鏡以外の映像における変化点を解析した結果とを前記平面図上に写像して、前記監視対象に生じた変化の位置と時間と数を検出する判定手順とを含み、
前記第１の解析手順は、
前記鏡に映った映像における変化点の中心の位置を算出する中心点抽出手順と、
前記変化点の中心を通り、かつ前記鏡に映った映像の交差する２本の外辺に対して平行な線をそれぞれ求め、これらの平行線と前記２本の外辺との交点である基準点を２つ求める第１の基準点算出手順と、
前記第１の基準点算出手順で求めた２つの基準点を前記平面図上に写像し、この写像した２つの基準点から、前記鏡に映った映像における変化点の中心を前記平面図上に写像した点の位置を算出し、算出した点の位置を解析結果として出力する第１の写像処理手順とを含み、
前記第２の解析手順は、
前記鏡以外の映像における変化点の下端部の中心の位置を算出する下端点抽出手順と、
前記変化点の下端部の中心を通り、かつ前記鏡以外の映像の１本の外辺に対して垂直な線を求め、この垂線と前記１本の外辺との交点である基準点を求める第２の基準点算出手順と、
前記第２の基準点算出手順で求めた基準点を前記平面図上に写像する第２の写像処理手順と、
この第２の写像処理手順で写像した基準点を通り、かつ前記鏡以外の映像を前記平面図上に写像した領域の１本の外辺に対して垂直な線を基準線とし、この基準線の位置と基準線から一定の距離にある基準範囲の位置を解析結果として出力する基準線生成手順とを含み、
前記判定手順は、前記第１の解析手順で解析結果として出力された点の位置が前記第２の解析手順で解析結果として出力された基準線の位置と交わる場合、前記鏡に映った映像における変化点の中心が現れた時間と、第１の写像処理手順で算出した点の位置と、前記鏡以外の映像における変化点の映像とを関連付けて、時間と位置を変化点の属性として記録することを特徴とする映像解析方法。