JP5960471B2 - 画像監視装置 - Google Patents

Description

本発明は、複数の監視カメラによって撮像した監視場所の撮像画像を画像処理して監視場所における異常状態を監視する画像監視装置に関する。

近年、複数の監視カメラによって撮像した撮像画像を順次受信して、監視者の利用する監視端末に表示させることによって、監視場所の複数エリアにおける異常状態を集中的に監視する画像監視装置が利用されている。従来、このような複数の監視カメラを用いた画像監視装置では、監視場所に設置されたセンサと監視カメラとを対応付けて記憶し、センサからの異常信号を受けたときには、当該センサに対応する監視カメラの撮像画像を監視端末に表示することにより、監視場所の複数エリアにおける異常状態を集中的に監視する技術が用いられていた（例えば、特許文献１）。

特開平１０−１８８１８３号公報

しかし、近年のような監視カメラの設置台数の急激な増加に伴い、従来技術のような監視方法では、監視者が適切に異常状態を監視することが困難となっていた。すなわち、上記従来技術では、発生頻度の低い異常状態を監視する場合には有効であるものの、発生頻度の高い異常状態を監視する場合、撮像画像の表示切替が頻発してしまうため、監視者は適切に異常状態を監視することが困難となるといった問題があった。そのため、監視場所にある物体に対して重点的に監視すべき物体とそうでない物体とを判別できる属性情報を付与し、当該属性情報を監視場所における状況に応じて動的に変更できるようにすることにより、監視対象を限定して異常状態を監視したいといったニーズがあった。特に、監視場所にいる被監視者が必要に応じて物体の属性情報を動的に変更できるようにしたいといったニーズがあった。

そこで、本発明は、被監視者による属性情報の変更操作を監視カメラによって検知し、当該変更操作がなされた位置と物体との空間的位置関係に応じて監視対象物体の属性情報を変更可能とすることにより、簡単な仕組みで上記ニーズを満たし、多数のカメラが設置された環境下であっても、監視負荷を増大させずに監視できるようにすることを目的とする。

上記した目的を達成するために、本願請求項１に係る画像監視装置は、
監視場所の撮像画像を順次取得する撮像部と、
前記監視場所を３次元の仮想空間として表現した場所モデルと、該場所モデルの構成要素であって該監視場所に存在する物体の３次元形状と該仮想空間における位置である仮想空間位置とにより表現した物体モデルと該物体モデルの属性情報とを対応付けた物体テーブルと、前記撮像部の設置位置、光軸及び画角を前記仮想空間に対応付けた撮像条件情報と、を記憶した記憶部と、
前記撮像画像から変化領域を抽出し、該変化領域が所定の画像特徴を有していたとき、該変化領域を注目変化領域として検出する注目変化領域検出手段と、
前記場所モデルと前記撮像条件情報と前記注目変化領域の撮像画像上の位置とを用いて該注目変化領域の仮想空間位置を求める仮想空間位置算出手段と、
前記注目変化領域の仮想空間位置と前記物体モデルの仮想空間位置とを用いて、前記仮想空間において該注目変化領域と所定の空間的位置関係にある物体モデルの前記属性情報を変更する属性変更手段と、
前記物体テーブルを用いて前記撮像画像から前記物体の状態を判定し判定結果を出力する判定手段と、を有することを特徴としている。

かかる構成により、本発明の注目変化領域検出手段は、監視場所に設置された複数の撮像部から取得した撮像画像から背景差分等の従来技術を用いて変化領域を抽出する。そして、注目変化領域検出手段は、抽出した各変化領域の中から予め設定した画像特徴との比較に基づいて監視者が注目すべき変化領域（注目変化領域）を検出する。そして、本発明の仮想空間位置算出手段は、検出された注目変化領域の仮想空間内における位置（仮想空間位置）を求める。そして、本発明の属性変更手段は、注目変化領域の仮想空間位置と、場所モデルの構成要素として記憶部に記憶された物体モデルの仮想空間位置とから、注目変化領域と物体モデルとが所定の空間的位置関係にあるとき、当該物体モデルの属性情報を、例えば重点的に監視すべき物体とする属性情報である重点監視属性に変更する。そして、本発明の判定手段は、例えば、物体テーブルの属性情報が重点監視属性となっている物体の周囲に侵入者の変化領域が存在していた場合、異常状態と判定し、当該判定結果を例えば監視者の監視端末に表示出力する。かかる構成により、本発明の注目変化領域検出手段は、監視場所に設置された複数の撮像部から取得した撮像画像から背景差分等の従来技術を用いて変化領域を抽出する。

これにより、本発明の画像監視装置は、例えば、監視場所にいる被監視者等によって設置された目印（以下、「マーカー」という）を撮像部によって撮像し、当該撮像画像からマーカーの画像特徴を有する変化領域を注目変化領域として検出し、当該注目変化領域が物体の上部に存在しているとき、当該物体の属性情報を重点監視属性に変更できる。いわば、被監視者は、重点監視属性に変更したい物体の上にマーカーを設置するだけで、当該物体の属性情報を容易に変更することができる。したがって、監視者は、このような簡単な仕組みにより、重点的に監視すべき物体に監視対象を限定して監視運用することができ、多数のカメラが設置された環境下であっても、監視者の監視負荷を増大させずに監視することが可能となる。

本願請求項２に係る画像監視装置は、請求項１の画像監視装置において、
前記記憶部は、前記注目変化領域の画像特徴と前記属性情報の属性種別とを対応付けた属性テーブルを更に記憶し、前記属性変更手段は、前記属性テーブルの画像特徴と前記注目変化領域の画像特徴との比較により該注目変化領域の前記属性種別を判定し、該属性種別に応じて前記物体テーブルの前記属性情報を変更することを特徴としている。

かかる構成により、本発明の記憶部には、属性情報の属性種別（例えば、重点監視属性、移動禁止属性など）毎に異なる画像特徴が対応付けられた属性テーブルが予め記憶されている。そして、本発明の注目変化領域検出手段は、抽出した変化領域が、属性テーブルのいずれかの画像特徴を有するとき、当該変化領域を注目変化領域として抽出する。そして、本発明の属性変更手段は、注目変化領域検出手段にて検出した注目変化領域の画像特徴と属性テーブルの画像特徴とを比較して、当該注目変化領域の属性種別を判定し、当該注目変化領域と所定の空間的位置関係にある物体モデルの物体テーブルにおける属性情報を判定した属性種別に応じて変更する。例えば、被監視者が移動禁止属性を表すマーカーを物体の上に設置したとき、当該物体に対応する物体モデルの属性情報を移動禁止属性に変更する。このように、被監視者は、設置するマーカーの種別に応じて、物体の属性情報を複数通りに変更することが可能となる。

本願請求項３に係る画像監視装置は、請求項１又は請求項２の画像監視装置において、
前記仮想空間位置算出手段は、前記場所モデルと前記撮像条件情報と前記変化領域の撮像画像上の位置とを用いて該変化領域の前記仮想空間位置を求め、前記判定手段は、前記物体モデルの前記属性情報及び前記仮想空間位置と前記変化領域の前記仮想空間位置との位置関係に応じて該物体モデルに対応する前記物体の状態を判定し前記判定結果を出力することを特徴としている。

かかる構成により、本発明の仮想空間位置算出手段は、注目変化領域の仮想空間位置だけでなく、全ての変化領域の仮想空間位置を求める。そして、本発明の判定手段は、例えば、重点監視属性として設定された物体の仮想空間位置から所定範囲内に他の変化領域（例えば、人物の変化領域）が存在しているとき、当該物体の状態を異常状態と判定する。このように、本発明の画像監視装置は、被監視者によって変更された物体の属性情報と、当該物体の周囲に存在する移動物体（侵入者）との位置関係を考慮することにより、当該物体の異常状態を判定することができる。

本願請求項４に係る画像監視装置は、請求項１〜請求項３の何れか一項に記載の画像監視装置において、
前記判定手段は、前記物体モデルが配置された場所モデルを、前記撮像条件情報を用いて前記撮像部の視野に相当するレンダリング画像を生成し、該レンダリング画像における該物体モデルに対応する画像領域の画像特徴と前記変化領域の画像特徴との比較により、該物体モデルに対応する物体の移動を判定し、移動したと判定された該物体に対応する物体モデルの前記属性情報が物体移動を禁止する移動禁止属性であるとき、該物体を異常状態とする前記判定結果を出力することを特徴としている。

かかる構成により、本発明の判定手段は、属性変更手段によって物体移動を禁止する属性（移動禁止属性）に変更された物体の移動を判定する。この際、判定手段は、当該物体モデルが配置された場所モデルを、撮像部の撮像条件情報に設定された仮想的なカメラ（以下、「仮想カメラ」という）を用いて、３次元コンピュータグラフィックスのレンダリング処理を行うことにより、当該撮像部から見た撮像画像に相当する仮想的な画像であるレンダリング画像を生成する。そして、生成したレンダリング画像における当該物体モデルに対応する画像領域（以下、「物体画像領域」という）の画像特徴と、当該撮像部の撮像画像から抽出した変化領域の画像特徴とを比較することにより、当該物体の移動を判定する。例えば、物体画像領域の位置・大きさ・形が、変化領域の位置・大きさ・形と略一致しているとき、当該物体は移動していると判定することができる。このように、本発明の画像監視装置は、被監視者によって変更された物体の属性情報と、変化領域の画像特徴とを考慮することにより、当該物体の異常状態を判定することができる。

本発明に係る画像監視装置によれば、撮像画像から抽出した注目変化領域と物体との空間的位置関係に応じて、当該物体の属性情報を動的に変更できるため、監視者は、監視場所内における異常状態を効率的に監視することができる。

画像監視装置の全体構成を示すブロック構成図 物体テーブルを表す図 属性テーブルを表す図 撮像画像と基準画像の例を表す図 仮想空間位置算出処理を説明する図 画像監視装置による全体動作の処理手順を示すフローチャート 場所モデルを表す図 属性変更処理の具体的処理手順を示すフローチャート 判定処理の具体的処理手順を示すフローチャート レンダリング画像と差分画像の例を表す図

以下、建物内を監視場所とし、当該監視場所を監視カメラにより撮像した撮像画像を画像処理して、監視場所内における異常状態を監視する実施形態について、添付した図面を参照しながら詳細に説明する。本実施形態は、複数の監視カメラから取得した撮像画像から変化領域を抽出し、当該変化領域と監視場所に接地された物体との空間的位置関係に応じて、当該物体が重点的に監視すべき監視状態にあるかどうかといった情報である属性情報を変更し、当該属性情報に基づいて当該物体の異常状態を判定する機能を含む画像監視装置を提供するものである。

（画像監視装置の全体構成について）
図１に示すように、本実施形態の画像監視装置１は、監視端末２、撮像装置３によって構成される。

撮像装置３は、ＣＣＤ素子やＣ−ＭＯＳ素子等の撮像素子、光学系部品等を含んで構成される所謂監視カメラであり、本発明における撮像部として機能する。撮像装置３は、室内の壁の上部又は天井部に設置され、監視場所を俯瞰して撮像するよう設置される。撮像装置３は、監視場所を所定時間おきに撮像して撮像画像を監視端末２に順次送信する。撮像画像が撮像される時間間隔は、例えば１／５秒である。本実施形態では、監視場所内に複数台の撮像装置３が設置されていることとする。

監視端末２は、記憶部２１、制御部２２、通信部２３、出力部２４及び入力部２５を含んで概略構成される。通信部２３は、ＬＡＮやＵＳＢ等の通信インタフェースであり、撮像装置３と通信を行う。本実施形態では、複数の撮像装置３から送信された撮像画像を通信部２３を介して受信する。入力部２５は、キーボードやマウス、タッチパネル、可搬記憶媒体の読み取り装置等の情報入力デバイスである。監視者等は、入力部２５を用いて、例えば、それぞれの撮像装置３の設置位置等の様々な撮像条件に関する情報を設定したりすることができる。

記憶部２１は、ＲＯＭ、ＲＡＭ、ＨＤＤ等の情報記憶装置である。記憶部２１は、各種プログラムや各種データを記憶し、画像処理部２２との間でこれらの情報を入出力する。各種データには、場所モデル２１１、撮像条件情報２１２、物体テーブル２１３、属性テーブル２１４、その他、画像処理部２２の処理に使用される各種情報（例えば、撮像装置３で取得するフレーム毎の撮像画像、撮像画像から変化領域を抽出するために用いる基準画像や抽出閾値など）を記憶している。

場所モデル２１１は、監視場所に存在する現実世界の壁・床・柱、什器等の物体をモデル化することにより作成された３次元形状データを含む３次元の仮想空間を表した座標情報である。すなわち、場所モデル２１１は、監視場所に存在する物体の仮想空間における３次元形状データと、当該仮想空間における位置データ（仮想空間位置）とからなるモデル情報（物体モデル）を、個々の構成要素として構成される座標情報である。場所モデル２１１における３次元形状データは、監視場所の形状情報に基づいて３次元ＣＡＤで作成されたものでも良いし、３次元レーザースキャナー等により監視場所の３次元形状を取り込んだデータを利用しても良い。このようにして作成された場所モデル２１１は、監視者等により入力部２５から設定登録されることにより記憶部２１に記憶される。

撮像条件情報２１２は、現在時刻における撮像装置３の設置位置や光軸（姿勢）に関する設置条件情報と、焦点距離、画素数、画素サイズ、レンズ歪みに関する画角条件情報とからなり、撮像装置３毎に個別設定される。また、撮像条件情報２１２は、場所モデルの仮想空間における座標情報に対応付けられた値で設定されている。ここで、設置位置に関する設置条件情報とは、監視場所内（実空間）を３次元直交座標系として表し、実空間の直交座標系で座標が既知である基準点の座標値に基準点からの相対距離、方向を測定して補正する等の公知の技術を使用して算出した座標データとして表した情報である。また、光軸に関する設置条件情報とは、上記座標軸に対する撮像装置３の光軸の回転角度に関する情報であり、撮像装置３のいわゆるパン角度、チルト角度から求めることができる。撮像条件情報２１２は、初期設定時に監視者等によって入力部２５から設定登録されることにより記憶部２１に記憶される。

物体テーブル２１３は、図２に示されるように、場所モデル２１１の構成要素となる物体モデルの識別情報と、当該物体が重点的に監視すべき監視状態にあるかどうかといった情報を示す属性情報とを対応づけるテーブルである。本実施形態では、属性情報の属性種別として、人物が物体へ接近したときに重点的に監視するための要注視属性と、物体が移動したときに重点的に監視するための移動禁止属性とがあることとして説明する。なお、図２では、属性情報として何も登録されていないとき、すなわち重点的に監視すべき状態にない物体については“−”として表している。物体テーブル２１３は、監視者等によって予め設定登録され、後述する制御部２２の属性変更手段２２３によって更新される。

属性テーブル２１４は、後述する注目変化領域検出手段２２１にて用いる情報であり、図３に示されるように、注目変化領域の画像特徴（注目特徴量）と属性種別とを対応付けるテーブルである。属性テーブル２１４は、監視者等によって予め設定登録される。

制御部２２は、ＣＰＵ等を備えたコンピュータで構成され、撮像装置３からデジタル化された画像の入力を受け、後述する図６、図８、図９に示す一連の処理として、撮像画像読出処理、抽出処理、注目変化領域検出処理、仮想空間位置算出処理、属性変更処理、判定処理、出力処理を実行するべく、注目変化領域検出手段２２１、仮想空間位置算出手段２２２、属性変更手段２２３、判定手段２２４を含んでいる。

注目変化領域検出手段２２１は、撮像画像の中から輝度変化のある領域を変化領域として抽出する抽出処理と、抽出した変化領域が所定の画像特徴を有していたとき当該変化領域を注目変化領域として検出する注目変化領域検出処理とを行っている。抽出処理では、撮像装置３ごとに移動物体の存在しない過去の撮像画像を基準画像として予め記憶部２１に保存しておき、最新に取得した撮像画像と基準画像との輝度値の差分値が記憶部２１に記憶された所定の抽出閾値以上である領域を変化領域として抽出する。この際、基準画像として監視場所の背景の撮像画像や、過去に取得した撮像画像などを適宜選択して採用することができる。また、抽出処理では、抽出処理として、抽出した変化領域にラベル付けする処理を行う。この際、変化領域のある抽出画素に注目したときに、注目抽出画素に隣接している抽出画素を一塊の抽出画素領域とみなし、各一塊の抽出画素領域に対して、全ての監視画像内でユニークなラベルを割り当てる。注目変化領域検出処理では、抽出処理にて抽出した変化領域の中から、記憶部２１の属性テーブル２１４に予め設定された所定の画像特徴を有する変化領域を注目変化領域として検出する処理を行う。以下、抽出処理と注目変化領域検出処理について、図４の例を用いて説明する。図４ａはある撮像装置３による撮像画像４０であり、図４ｂは当該撮像装置３の基準画像４１である。すなわち、抽出処理では、図４ａにおける符号３０ａ、３０ｂに示す画像領域が、変化領域３０として抽出されることとなる。また、表示変化領域設定処理では、変化領域３０ａ、３０ｂのうち、属性テーブル２１４に設定された画像特徴と略一致している変化領域３０ａが注目変化領域として検出されることとなる。

仮想空間位置算出手段２２２は、記憶部２１に記憶された撮像条件情報２１２と、注目変化領域検出手段２２１にて抽出した変化領域の撮像画像上の位置から当該変化領域の仮想空間位置を算出する仮想空間位置算出処理を行っている。本実施形態では、仮想空間位置を、撮像画像上における変化領域の下端中央の座標情報について、当該座標情報に対応するよう算出した仮想空間における座標情報であり、変化領域が場所モデルに接地していたと仮定して求めた値として算出する。以下、仮想空間位置算出処理の詳細について図５を用いて説明する。

図５は、監視場所の上方から地面方向を撮像している撮像装置３の撮像画像に基づいて変化領域の仮想空間位置を算出する一例を表したものである。図５において、符号２１１ａ、２１１ｂ、２１１ｃは、場所モデル２１１の一部を表したものであり、そのうち２１１ａが監視場所である建物の床面を表し、２１１ｂが壁面を表し、２１１ｃが監視場所に置かれた金庫を表したものとする。仮想空間位置算出手段２２２は、仮想空間位置を算出するにあたり、まず、記憶部２１の撮像条件情報２１２から撮像装置３の設置位置（Ｘ、Ｙ、Ｚ）を読み出して、その位置に対応する場所モデル２１１（仮想空間）上における光学中心Ｏを求める。また、仮想空間位置算出手段２２２は、当該光学中心Ｏと、記憶部２１の撮像条件情報２１２から読み出した光軸（姿勢）に関する設置条件情報とから、撮像装置３の場所場所モデル２１１上における光軸を求める。また、仮想空間位置算出手段２２２は、記憶部１１から焦点距離ｆとＣＣＤの画素の実サイズ、画像の縦横のピクセル数とレンズの歪みに関する諸元等の撮像条件情報２１２を読み出し、撮像装置３の場所モデル２１１上において光軸と垂直な投影面ａｂｃｄを求める。光学中心Ｏから投影面ａｂｃｄの四つの頂点を通る四角錐Ｏａ’ｂ’ｃ’ｄ’は、撮像装置３の視野を形成する立体となる。図５において、投影面ａｂｃｄに投影された撮像画像上における符号３０の画像領域は、注目変化領域検出手段２２１にて抽出された変化領域であるとする。

次に、仮想空間位置算出手段２２２は、変化領域３０の撮像画像上における位置に基づいて、変化領域オブジェクトの場所モデル２１１（仮想空間）上における足元位置を求める。変化領域３０の下端位置３０ａと光学中心Ｏとを結ぶ直線を求め、当該直線の延長線上において場所モデル２１１との交点３１ａを求める。なお、本実施形態では、変化領域の下端に位置する画素が複数あるとき、当該変化領域の中央位置の画素を下端位置３０ａとしているが、これに限らず、予め定めた右端（又は左端）の画素を下端位置３０ａとしてもよい。交点３１ａは、変化領域３０の撮像画像上の位置３０ａに対応する場所モデル２１１（仮想空間）上における位置に相当するため、当該位置の仮想空間における座標を仮想空間位置として算出する。図５の例では、変化領域３０に対応する変化領域オブジェクトは金庫２１１ｃの場所モデルの上に接していることが分かる。

属性変更手段２２３は、仮想空間位置算出手段２２２にて求めた仮想空間位置と、記憶部２１の場所モデル２１１にある物体モデルの仮想空間位置とを用いて、注目変化領域検出手段２２１にて検出した注目変化領域と仮想空間において所定の空間的位置関係にある物体モデルの属性情報を変更する属性変更処理を行う。例えば、予め記憶部２１に当該空間的位置関係を位置関係情報として記憶されており、位置関係情報に「注目変化領域の仮想空間位置が物体モデルの仮想空間位置の上方１ｍ以内」と設定されているとき、注目変化領域と、このような空間的位置関係にある物体モデルの属性情報を変更する。属性情報を変更する際、属性変更手段２２３は、注目変化領域の画像特徴（注目特徴量）と属性テーブル２１４の画像特徴とを比較して、当該注目変化領域の属性種別を判定し、当該属性種別を用いて属性情報を変更する。属性変更処理の詳細については後述する。

判定手段２２４は、記憶部２１に記憶された物体テーブル２１３の属性情報を参照し、当該属性情報と撮像画像とから物体の状態を判定する判定処理を行い、判定結果を出力部２４に出力する処理を行う。判定処理の詳細については後述する。
出力部２４は、制御部２２による処理結果を様々な外部装置に出力するためのインタフェースである。出力部２４は、例えばディスプレイ等の表示出力装置と接続され、監視場所の物体が異常状態であると判定したとき、当該表示出力装置に対して警告メッセージや対応する撮像装置３の撮像画像を表示出力させる。また、出力部２４は、例えばスピーカやブザー等の音響出力装置と接続され、制御部２２からの指示により、当該音響出力装置に対して警告音の鳴動を実行させる異常信号を出力する。監視者等は、警告出力として出力部２４からの表示出力や音声出力を確認することにより、監視領域内における異常状態を検知することができる。また、出力部２４は、外部の図示しない警備装置に対して異常信号を送信する通信インタフェースを含んでもよい。これにより、制御部２２の処理によって異常状態が検知された場合に、監視端末２は、異常状態を知らせる信号を外部の監視センタなどに通知することができる。なお、この場合、出力部２４は、通信部２３と共通のインタフェース装置であってもよい。

このように、本実施形態の画像監視装置は、被監視者等によって設置されたマーカーを注目変化領域として検出し、当該注目変化領域と物体モデルとの空間的位置関係に応じて、物体の属性情報を変更することができる。したがって、被監視者は、例えば、属性情報を変更したい物体の上にマーカーを設置するだけで、当該物体の属性情報を容易に変更することができ、また、監視者は、重点的に監視すべき物体に監視対象を限定して監視運用することができる。結果として、多数のカメラが設置された環境下であっても、監視者の監視負荷を増大させずに監視することが可能となる。

（監視端末２の制御部２２が実行する処理について）
以下、本実施形態の画像監視装置１に係る監視端末２の制御部２２が実行する処理の流れの一例について、図６を参照しながら説明する。なお、本実施形態では、監視場所である建物内に４台の撮像装置が設置されているものとして説明する。

動作に先立ち、監視者等により監視端末２の入力部２５を用いて撮像条件情報２１２の設定、物体テーブル２１３の設定、属性テーブル２１４の設定、及び場所モデル２１１の登録等の各種初期設定が行なわれる（ＳＴ１）。本実施例では、監視場所である建物内に４台の撮像装置３が設置されている場合を想定しているため、撮像装置３ごとに撮像条件情報２１２が初期設定にて登録される。また、場所モデル２１１として図７の３次元形状データが、初期設定にて登録されたとして以下の処理を説明する。なお、図７において、符号３４ｗ、３４ｘ、３４ｙ、３４ｚは撮像装置３を表す物体モデルであり、符号３２はロッカーを表す物体モデルであり、符号３３は金庫を表す物体モデルである。この他にも、場所モデル２１１は、床面、壁、ドアなどの各種物体モデルによって構成されている。

次に、制御部２２は、撮像装置３から受信して記憶部２１に記憶された撮像画像を、撮像装置３ごとに読み出す撮像画像読出処理を実行する（ＳＴ２）。撮像画像読出処理では、最新（現在時刻に最も近い）の撮像画像を撮像装置３ごとに読み出す。

次に、制御部２２の注目変化領域検出手段２２１により抽出処理を実行する（ＳＴ３）。抽出処理では、撮像画像読出処理で取得された撮像装置３ごとの撮像画像から、それぞれ変化領域を抽出する。本実施形態では、今回取得した撮像画像と基準画像との差分をとることにより変化領域を抽出する。また、抽出処理では、抽出された変化領域に対してラベル付けするラベリング処理も実施している。

次に、制御部２２の注目変化領域検出手段２２１により、注目変化領域検出処理を実行する（ＳＴ４）。注目変化領域検出処理では、抽出処理にて抽出した変化領域の中から、記憶部２１の属性テーブル２１４に予め設定された所定の画像特徴を有する変化領域を注目変化領域として検出し、当該変化領域のラベルを記憶部２１に記憶する処理を行う。この例では、図４に示したように、図７の物体モデル３１ｚに対応する撮像装置３からの撮像画像４０に、注目変化領域３０ａが検出されていることとする。

次に、制御部２２の仮想空間位置算出手段２２２により、仮想空間位置算出処理を実行する（ＳＴ５）。仮想空間位置算出処理では、注目変化領域検出手段２２１にて抽出した変化領域の撮像画像上の位置から当該変化領域の仮想空間位置を算出し、当該仮想空間位置の座標を注目変化領域のラベルと対応付けて記憶部２１に記憶する処理を行う。仮想空間位置算出処理の詳細については、前述したためここでは説明を省略する。

次に、制御部２２の属性変更手段２２３により、属性変更処理を実行する（ＳＴ６）。属性変更処理では、注目変化領域検出処理（ＳＴ４）にて検出された注目変化領域３０ａの仮想空間位置算出処理（ＳＴ５）にて算出された仮想空間位置と、物体モデルの仮想空間位置と、を用いて物体モデルの属性情報を変更する。なお、属性変更処理の詳細については追って説明する。

次に、制御部２２の判定手段２２４により、判定処理を実行する（ＳＴ７）。判定処理では、記憶部２１に記憶された物体テーブル２１３と属性テーブル２１４とを参照し、当該属性情報と撮像画像から抽出された変化領域との関係に基づいて物体の状態を判定する。なお、判定処理の詳細については追って説明する。

次に、制御部２２の判定手段２２４は、ＳＴ７の判定処理による判定結果を出力部２４に出力する処理を行う（ＳＴ８）。そして、画像処理部２２は、監視者等によって入力部２５から終了操作が行われるまで、ＳＴ２〜ＳＴ８の処理を繰り返し実行する。

（属性変更処理の詳細について）
次に、図６のフローチャートのＳＴ６における、制御部２２の属性変更手段２２３が実行する属性変更処理の詳細について図８を参照しながら説明する。なお、図８のループ１は、ＳＴ２０〜ＳＴ２２の各処理を場所モデル２１１を構成する物体モデルの数分だけ実行することを意味する。なお、本処理の説明において、選択物体モデルとは、ループ１にて処理対象となっている物体モデルをいう。

属性変更処理では、まず、選択物体モデルが、ＳＴ４にて検出した注目変化領域と所定の空間的位置関係にあるか否かを判定する（ＳＴ２０）。この際、ＳＴ５にて算出した注目変化領域の仮想空間位置と、選択物体モデルの仮想空間位置とを用いて、予め記憶部２１に記憶された位置関係情報に合致しているか否かにより判定する。なお、位置関係情報は、例えば、「注目変化領域の仮想空間位置が物体モデルの仮想空間位置の上方１ｍ以内」といったように物体モデルの種類に関わらず一定に規定した空間的位置関係であっても、「注目変化領域の仮想空間位置が金庫を表す物体モデルの仮想空間位置の上方１ｍ以内」といったように物体モデルの種類毎に規定する空間的位置関係であってもよい。ＳＴ２０にて、選択物体モデルが注目変化領域と所定の空間的位置関係にないと判定したとき（ＳＴ２０−Ｎｏ）、ループ１にてまだ処理対象となっていない他の物体モデルを選択物体モデルに変更して、ＳＴ２０からの処理を行う。

ＳＴ２０にて、選択物体モデルが注目変化領域と所定の空間的位置関係にあると判定したとき（ＳＴ２０−Ｙｅｓ）、属性変更手段２２３は属性種別判定処理を行う（ＳＴ２１）。属性種別判定処理では、属性変更手段２２３は、選択物体モデルと所定の空間的位置関係にある注目変化領域の画像特徴（注目特徴量）を調べ、属性テーブル２１４を参照して、属性種別を判定する。例えば、図４の例では、注目変化領域３０ａの画像特徴が属性テーブル２１４の重点監視属性に対応することから、当該注目変化領域３０ａと所定の空間的位置関係にある金庫の物体モデル３３の属性情報は、重点監視属性であると判定されることになる。

次に、属性種別判定処理にて判定された属性種別を用いて、物体テーブル２１３における選択物体モデルの属性情報を変更する処理を行う（ＳＴ２２）。例えば、図４の例では、当該注目変化領域３０ａと所定の空間的位置関係にある金庫の物体モデル３３の属性情報を、ＳＴ２１にて判定された属性種別（重点監視属性）を用いて変更する。ＳＴ２２の処理を終了すると、ループ１にてまだ処理対象となっていない他の物体モデルを選択物体モデルに変更して、ＳＴ２０からの処理を行う。ループ１にて全ての物体モデルに対する処理を終了すると、属性変更手段２２３は、属性変更処理を終了し、処理を図６のＳＴ７に進める。

（判定処理の詳細について）
次に、図６のフローチャートのＳＴ７における、制御部２２の判定手段２２４が実行する判定処理の詳細について図９を参照しながら説明する。なお、図９のループ２は、ＳＴ４０〜ＳＴ４５の各処理を場所モデル２１１を構成する物体モデルの数分だけ実行することを意味する。なお、本処理の説明において、選択物体モデルとは、ループ２にて処理対象となっている物体モデルをいう。

判定処理では、まず、物体テーブル２１３を参照し、選択物体モデルが重点監視属性であるか否かを判定する（ＳＴ４０）。ＳＴ４０にて、選択物体モデルが重点監視属性であると判定したとき（ＳＴ４０−Ｙｅｓ）、当該選択物体モデルの所定範囲内に他の変化領域が存在するか否かを判定する（ＳＴ４１）。この際、判定手段２２４は、選択物体モデルの仮想空間位置と、記憶部２１に予め設定された範囲情報（例えば半径５ｍ以内の範囲といった情報）とを用いて、選択物体モデルから所定範囲の検知エリアを場所モデル２１１上に設定する。そして、判定手段は、仮想空間位置算出手段２２２にて算出した各変化領域の仮想空間位置を用いて、設定した検知エリア内に変化領域３０が存在しているか否かを判定する。ＳＴ４１にて、選択物体モデルの所定範囲内に他の変化領域が存在しないと判定したとき（ＳＴ４１−Ｎｏ）、ループ２にてまだ処理対象となっていない他の物体モデルを選択物体モデルに変更して、ＳＴ４０からの処理を行う。

ＳＴ４１にて、選択物体モデルの所定範囲内に他の変化領域が存在していると判定したとき（ＳＴ４２−Ｙｅｓ）、判定手段２２４は選択物体モデルが異常状態であると判定し、選択物体モデルの識別情報と異常状態を表す情報とを対応付けて記憶部２１に記憶する処理を行う（ＳＴ４２）。

ＳＴ４０にて、選択物体モデルが重点監視属性でないと判定したとき（ＳＴ４０−Ｎｏ）、当該選択物体モデルが移動禁止属性であるか否かを判定する（ＳＴ４３）。ＳＴ４３にて、選択物体モデルが移動禁止属性でないと判定したとき（ＳＴ４３−Ｎｏ）、ループ２にてまだ処理対象となっていない他の物体モデルを選択物体モデルに変更して、ＳＴ４０からの処理を行う。

ＳＴ４３にて、選択物体モデルが移動禁止属性であると判定したとき（ＳＴ４３−Ｙｅｓ）、選択物体モデルに対応する物体が移動したか否かを判定するための移動判定処理を行う（ＳＴ４４）。以下、移動判定処理の詳細について説明する。

移動判定処理では、まず、選択物体モデルを撮像する撮像装置３の撮像条件情報２１２を記憶部２１から読出し、場所モデル２１１を当該撮像条件情報２１２を用いて、３次元コンピュータグラフィックスのレンダリング処理を行うことにより、当該撮像装置３から見た撮像画像４０に相当する仮想的な画像であるレンダリング画像を生成する。図１０ａは、選択物体モデルが金庫を表す物体モデル３３であるとき、当該選択物体モデル３３を撮像する撮像装置３（図７における物体モデル３１ｚに相当）の撮像条件情報２１２を用いて生成したレンダリング画像４２の例を表したものである。図１０ａにおいて、符号４２ａは、選択物体モデルである金庫の物体モデル３３に相当する画像領域（物体画像領域）である。図１０ｂは、当該撮像装置３の撮像画像から抽出処理にて変化領域を抽出するために用いた、撮像画像と基準画像との差分画像４３を表したものである。すなわち、差分画像４３における画像領域３０ｃは、変化領域として検出されることを意味する。図１０ｂのように、物体画像領域４２ａと変化領域３０ｃとを比較して、位置・大きさ・形が、変化領域の位置・大きさ・形と略一致しているとき、選択物体モデルに対応する物体は移動していると判定することができる。

なお、本実施形態では、物体画像領域４２ａと変化領域３０ｃとを比較して、位置・大きさ・形が、変化領域の位置・大きさ・形と略一致しているときに、物体が移動したと判定しているが、これに限らず、物体画像領域の形状と変化領域の形状とを、例えばエッジマッチングなどの従来技術を用いて比較することにより、移動を判定してもよい。

ＳＴ４４にて移動判定処理を終了すると、判定手段２２４は、選択物体モデルに対応する物体が移動したか否かに応じて処理を分岐する（ＳＴ４５）。選択物体モデルに対応する物体が移動しないとき（ＳＴ４５−Ｎｏ）、ループ２にてまだ処理対象となっていない他の物体モデルを選択物体モデルに変更して、ＳＴ４０からの処理を行う。一方、選択物体モデルに対応する物体が移動したとき（ＳＴ４５−Ｙｅｓ）、前述のように異常状態と判定する（ＳＴ４２）。ループ２にて全ての物体モデルに対する処理を終了すると、判定手段２２４は、判定処理を終了し、処理を図６のＳＴ８に進める。

ところで、本発明は、上記実施形態に限定されるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施形態で実施されてもよいものである。また、実施形態に記載した効果は、これに限定されるものではない。

上記実施形態では、注目変化領域検出処理において、選択変化領域の画像特徴と記憶部２１に記憶した注目変化領域の画像特徴（注目特徴量）とを比較し、選択変化領域の画像特徴が注目特徴量に合致しているか否かを判定することにより、選択変化領域が注目変化領域であるか否かを判定している。しかし、これに限らず、既知の従来技術（例えば、特開２００８−２６９７４号公報を参照）である識別器（いわゆるディテクタ）を用いて、選択変化領域内に注目変化領域が含まれるか否かを識別することにより選択変化領域が注目変化領域であるか否かを判定しても良い。これにより、変化領域の内部に含まれる注目変化領域をも検出することができる。

上記実施形態では、図６のＳＴ１（初期設定）にて、撮像装置３の撮像条件情報２１２を固定的に設定している。しかし、これに限らず、撮像装置３から監視端末２の通信部２３を介して撮像条件情報２１２を定期的に受信し、当該受信した撮像条件情報２１２に基づいてＳＴ２以降の処理を実施してもよい。これにより、例えば撮像装置３に対してがパン・チルト・ズーム等により撮像条件情報２１２が変更されたとしても、監視者は、当該変更された撮像条件情報２１２に追従しながら、監視場所における状態を監視できる。

１・・・画像監視装置
２・・・監視端末
３・・・撮像装置
２１・・・記憶部
２２・・・制御部
２３・・・通信部
２４・・・出力部
２５・・・入力部
２１１・・・場所モデル
２１２・・・撮像条件情報
２１３・・・物体テーブル
２１４・・・属性テーブル
２２１・・・注目変化領域検出手段
２２２・・・仮想空間位置算出手段
２２３・・・属性変更手段
２２４・・・判定手段
３０・・・変化領域
４０・・・撮像画像
４１・・・基準画像
４２・・・レンダリング画像
４３・・・差分画像

Claims (3)

1. 監視場所の撮像画像を順次取得する撮像部と、
   前記監視場所を３次元の仮想空間として表現した場所モデルと、該場所モデルの構成要素であって該監視場所に存在する物体の３次元形状と該仮想空間における位置である仮想空間位置とにより表現した物体モデルと該物体モデルの属性情報とを対応付けた物体テーブルと、注目変化領域の画像特徴と前記属性情報の属性種別とを対応付けた属性テーブルと、前記撮像部の設置位置、光軸及び画角を前記仮想空間に対応付けた撮像条件情報と、を記憶した記憶部と、
   前記撮像画像から変化領域を抽出し、該変化領域が前記注目変化領域の画像特徴を有していたとき、該変化領域を注目変化領域として検出する注目変化領域検出手段と、
   前記場所モデルと前記撮像条件情報と前記注目変化領域の撮像画像上の位置とを用いて該注目変化領域の仮想空間位置を求める仮想空間位置算出手段と、
   前記属性テーブルの画像特徴と前記注目変化領域の画像特徴との比較により該注目変化領域の前記属性種別を判定し、該注目変化領域の仮想空間位置と前記物体モデルの仮想空間位置とを用いて、前記仮想空間において該注目変化領域と所定の空間的位置関係にある物体モデルの前記物体テーブルにおける前記属性情報を前記判定した属性種別に応じて変更する属性変更手段と、
   前記物体テーブルを用いて前記撮像画像から前記物体の状態を判定し判定結果を出力する判定手段と、を有することを特徴とする画像監視装置。
2. 前記仮想空間位置算出手段は、前記場所モデルと前記撮像条件情報と前記変化領域の撮像画像上の位置とを用いて該変化領域の前記仮想空間位置を求め、
   前記判定手段は、前記物体モデルの前記属性情報、及び該物体モデルの仮想空間位置と前記変化領域の仮想空間位置との位置関係、に応じて該物体モデルに対応する前記物体の状態を判定し前記判定結果を出力する請求項１に記載の画像監視装置。
3. 前記判定手段は、前記物体モデルが配置された場所モデルを、前記撮像条件情報を用いて前記撮像部の視野に相当するレンダリング画像を生成し、該レンダリング画像における該物体モデルに対応する画像領域の画像特徴と前記変化領域の画像特徴との比較により、該物体モデルに対応する物体の移動を判定し、移動したと判定された該物体に対応する物体モデルの前記属性情報が物体移動を禁止する移動禁止属性であるとき、該物体を異常状態とする前記判定結果を出力する請求項１又は請求項２に記載の画像監視装置。

Images