JP5962297B2 - カメラの撮影視野変動検知装置 - Google Patents

Description

本発明は、カメラの撮影視野変動検知装置に関し、特に、定点監視システムなどに利用される定点カメラの撮影視野の変動を検知する技術に関する。

防犯カメラや街頭設置カメラなどでは、定点カメラが広く利用されている。この定点カメラの役割は、同一の場所において同一の視野を一定期間にわたって継続して撮影することにあり、特定箇所を継続して監視する用途等に利用されている。したがって、所定箇所に設置した定点カメラは、本来、その撮影視野を一定期間にわたって維持しなければならない。

ところが、不測の事態が発生すると、定点カメラの向きが変動し、その結果、撮影視野に変動が生じることになる。たとえば、鳥、犬、猫などの動物がカメラの上に載ったり、子供がカメラに衝突したりすると、カメラの向きが変化する。また、強風、豪雨、地震などの自然現象や、通過車両の振動の影響によっても、カメラの向きが変化することになる。あるいは、遠隔操作によって向きを調節する機能を備えたカメラの場合、オペレータの誤操作によって向きが変化してしまうこともある。

定点カメラは、特定の撮影視野内を一定期間にわたって撮影し続ける目的で設置されているため、上例のような不測の事態によって撮影視野が変動するのは好ましくない。たとえば、定点カメラが、特定の場所をリアルタイムで監視するための監視カメラとして設置されていた場合、撮影視野が本来の監視場所から外れてしまうと、監視カメラとして正常な機能を果たすことができない。また、定点カメラが撮影した路面の画像に基づいて交通量を自動解析する処理を行っていた場合、撮影視野が当該路面から外れてしまうと、正しい解析を行うことができない。

一般に、カメラの撮影視野の変動を検出する方法としては、手ぶれ補正を行うための技術として、様々なセンサを利用した方法が提案されている。たとえば、下記の特許文献１には、カメラに内蔵した角速度センサによって手ぶれ検出を行う技術が開示されており、特許文献２には、角速度センサの代わりに加速度センサを用いた手ぶれ検出方法が開示されている。また、特許文献３には、監視カメラに角速度センサを組み込み、撮影視野の変動を検知する技術が開示されている。一方、特許文献４には、フレーム単位で得られる撮影画像を解析することにより、シーンチェンジを検出する技術が開示されている。

特開平６−１４８７３０号公報 特開２００６−０９８５３３号公報 特開２０００−２８５３２８号公報 特許第４６９８７５４号公報

上述したとおり、カメラの撮影視野の変動を検知する方法としては、角速度センサや加速度センサなどを利用する方法が一般的である。しかしながら、これらセンサを用いる方法は、手ぶれ補正を行うためにデジタルカメラに組み込んで利用するのには適しているが、定点カメラの撮影視野変動の検出に利用するには必ずしも適切ではない。

一般に、定点監視システムでは、遠隔地に設置された定点カメラの撮影画像をフレーム単位で取り込んで処理することになるので、カメラにセンサを組み込む方式を採ると、撮影画像とともにセンサの検出信号をシステムまで伝送する伝送路を確保する必要がある。また、定点監視システムでは、撮影画像が必ずしもリアルタイムでモニタ上に表示されるわけではなく、録画した撮影画像に対して、後で様々な画像処理を施して解析するケースも少なくない。このようなケースでは、センサによって検出された変動情報を撮影画像に何らかの形で記録しておく必要がある。

これに対して、センサを用いずに、撮影画像自体を解析することにより、撮影視野内に何らかの変動が生じたことを検出する技術も提案されている。たとえば、前掲の特許文献４に開示されているシーンチェンジ検出方法は、時系列で連続的に与えられるフレーム画像を解析することにより、映像のシーンがチェンジしたことを検出することができる。しかしながら、この方法は、もともと、録画したテレビ番組からＣＭの部分をカットするような用途を意図したものであり、定点カメラの撮影視野変動を検知する用途で利用すると誤検出が生じる可能性が高い。

そこで本発明は、カメラの向き変動を、当該カメラによる撮影画像自体を解析することにより、正確に検出することができる撮影視野変動検知装置を提供することを目的とする。

(1) 本発明の第１の態様は、カメラの撮影視野の変動を検知するためのカメラの撮影視野変動検知装置において、
カメラによる撮影画像を、時系列で連続的に与えられるフレーム単位の原画像として入力する画像入力部と、
過去に入力された複数の原画像の平均的な特徴を有する画像を背景画像として求め、新たに入力された原画像について、背景画像と相違する前景領域を抽出し、抽出した前景領域を示す前景画像を生成する前景領域抽出部と、
個々の原画像について生成された前景画像を格納する前景画像格納部と、
前景画像格納部に格納されている２組の前景画像についての差分領域を抽出し、抽出した差分領域を示す差分画像を生成する差分領域抽出部と、
生成された個々の差分画像を複数のブロックに分割するブロック分割部と、
得られた個々のブロックごとに、それぞれ差分領域が占める占有割合を算出する占有割合算出部と、
占有割合が第１の閾値以上となるブロックを急変ブロックと認識し、個々の差分画像ごとに、急変ブロックの数を計数するブロック計数部と、
急変ブロックの数が第２の閾値以上となる差分画像が得られたときに、撮影視野に変動が生じたものと判定する変動判定部と、
変動判定部による判定結果を通知する判定結果通知部と、
を設けたものである。

(2) 本発明の第２の態様は、上述した第１の態様に係るカメラの撮影視野変動検知装置において、
前景領域抽出部が、
入力された原画像を逐次格納する原画像格納部と、
過去に入力された複数の原画像に基づいて、これら原画像の平均的な特徴を有する平均画像を逐次作成する平均画像作成部と、
作成された平均画像を逐次格納する平均画像格納部と、
平均画像格納部に格納されている平均画像を背景画像として、原画像格納部に格納されている原画像と比較し、相違する部分を前景領域と認識することにより、前景領域とそれ以外の背景領域とを区別する二値画像として、前景画像を作成する画像比較部と、
を備えるようにしたものである。

(3) 本発明の第３の態様は、上述した第２の態様に係るカメラの撮影視野変動検知装置において、
画像入力部が、時系列で連続的に与えられるフレーム単位のカラー原画像を、三原色の各画素値を有する画素の集合体データとして入力し、
平均画像作成部が、第ｉ番目の原画像Ｐ（ｉ）が入力されたときに（ｉ＝１，２，...）、当該原画像Ｐ（ｉ）を含めた過去の原画像について、それぞれ対応する位置の画素の各色別の画素値の重みづけ平均値を算出し、当該平均値をもつ画素の集合体からなる第ｉ番目の平均画像Ａ（ｉ）を背景画像として作成し、
画像比較部が、第（ｉ＋１）番目の原画像Ｐ（ｉ＋１）が入力されたときに、当該原画像Ｐ（ｉ＋１）と、第ｉ番目の平均画像Ａ（ｉ）とを比較し、第（ｉ＋１）番目の前景画像Ｆ（ｉ＋１）を作成するようにしたものである。

(4) 本発明の第４の態様は、上述した第３の態様に係るカメラの撮影視野変動検知装置において、
平均画像作成部が、
最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の平均画像Ａ（１）として平均画像格納部へ格納する処理を行い、
以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の平均画像Ａ（ｉ）を、
ａ（ｉ）＝（１−ｗ）・ａ（ｉ−１）＋ｗ・ｐ（ｉ）
（但し、ａ（ｉ）は、平均画像Ａ（ｉ）の
所定位置の画素の所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
所定位置の画素の所定色の画素値、
ｐ（ｉ）は、原画像Ｐ（ｉ）の
所定位置の画素の所定色の画素値、
ｗは、所定の重みを示すパラメータ（ｗ＜１））
なる演算式を用いて作成するようにしたものである。

(5) 本発明の第５の態様は、上述した第３または第４の態様に係るカメラの撮影視野変動検知装置において、
画像比較部が、
比較対象となる一方の画像の所定位置の画素の画素値を基準画素値として読み出し、比較対象となる他方の画像の前記所定位置の画素の画素値を比較画素値として読み出す画素値読出部と、
比較画素値が、基準画素値について設定された所定の類似範囲に入っているか否かを判定する類否判定部と、
前景画像を構成する前記所定位置の画素の画素値として、類否判定部が類似範囲内と判定した場合には背景領域を示す画素値を、類否判定部が類似範囲外と判定した場合には前景領域を示す画素値を、それぞれ前景画像格納部に書き込む画素値書込部と、
を備えるようにしたものである。

(6) 本発明の第６の態様は、上述した第５の態様に係るカメラの撮影視野変動検知装置において、
類否判定部が、三原色の各画素値を各座標軸にとった三次元座標系において、基準画素値に対応する座標に位置する基準点Ｑと比較画素値に対応する座標に位置する比較点ｑをとり、基準点Ｑを中心とする所定サイズの立体と比較点ｑとの位置関係を調べ、比較点ｑが立体の外部に位置すると判定できる場合には類似範囲外との判定を行い、内部に位置すると判定できる場合には類似範囲内との判定を行うようにしたものである。

(7) 本発明の第７の態様は、上述した第１〜第６の態様に係るカメラの撮影視野変動検知装置において、
前景画像格納部が、奇数番目のフレームの前景画像を格納する第１のフレームメモリと、偶数番目のフレームの前景画像を格納する第２のフレームメモリと、を有し、
前景領域抽出部が、新たに生成した前景画像によって、第１のフレームメモリと第２のフレームメモリとを交互に書き換える処理を行うようにしたものである。

(8) 本発明の第８の態様は、上述した第１〜第７の態様に係るカメラの撮影視野変動検知装置において、
前景領域抽出部が、前景領域を示す第１の画素値と背景領域を示す第２の画素値とのいずれか一方の画素値をもった画素の集合体からなる二値画像として前景画像を生成し、
差分領域抽出部が、一方の前景画像の所定位置の画素と他方の前景画像の前記所定位置の画素とを読み出し、両者の画素値が同一か非同一かを判定する処理を行い、差分画像を構成する前記所定位置の画素に対して、非同一との判定が得られた場合には差分領域を示す画素値を、同一との判定が得られた場合には差分領域外を示す画素値を、それぞれ与えることにより差分画像を生成するようにしたものである。

(9) 本発明の第９の態様は、上述した第１〜第８の態様に係るカメラの撮影視野変動検知装置において、
画像入力部が、矩形状の輪郭をもった原画像を入力し、
前景領域抽出部が、矩形状の輪郭をもった前景画像を生成し、
差分領域抽出部が、矩形状の輪郭をもった差分画像を生成し、
ブロック分割部が、矩形状の輪郭をもった差分画像を縦にＮ分割、横にＭ分割することにより、Ｎ×Ｍ個の矩形状のブロックに分割するようにしたものである。

(10) 本発明の第１０の態様は、上述した第１〜第９の態様に係るカメラの撮影視野変動検知装置を、コンピュータに専用のプログラムを組み込むことにより構成したものである。

(11) 本発明の第１１の態様は、上述した第１〜第９の態様に係るカメラの撮影視野変動検知装置を、半導体集積回路により構成したものである。

(12) 本発明の第１２の態様は、上述した第１〜第９の態様に係るカメラの撮影視野変動検知装置と、所定の視野内の撮影画像を、時系列で連続的に与えられるフレーム単位の原画像として出力する定点カメラと、によって定点監視システムを構成し、定点カメラの撮影視野の変動を変動検知装置により検知するようにしたものである。

(13) 本発明の第１３の態様は、上述した第１２の態様に係る定点監視システムにおいて、
変動検知装置内の変動判定部が、撮影視野に変動が生じたものと判定した場合に、変動検知装置内の判定結果通知部が、オペレータに対する変動警報を発するようにしたものである。

(14) 本発明の第１４の態様は、上述した第１２または第１３の態様に係る定点監視システムにおいて、
定点カメラの撮影画像を記録する画像記録装置を更に設け、
変動検知装置内の変動判定部が、撮影視野に変動が生じたものと判定した場合に、変動検知装置内の判定結果通知部が、画像記録装置に対して撮影画像の記録を中止させるための記録中止信号を与えるようにしたものである。

(15) 本発明の第１５の態様は、上述した第１〜第９の態様に係るカメラの撮影視野変動検知装置と、所定の視野内の撮影画像を、時系列で連続的に与えられるフレーム単位の原画像として出力する定点カメラと、この定点カメラから時系列で順次与えられる原画像に対して所定の画像処理を行う画像処理装置と、によって画像処理システムを構成し、
定点カメラによる撮影画像が変動検知装置へ与えられ、変動検知装置内の変動判定部が、撮影視野に変動が生じたものと判定した場合に、変動検知装置内の判定結果通知部が、画像処理装置に対して画像処理を中止させるための処理中止信号を与えるようにしたものである。

(16) 本発明の第１６の態様は、上述した第１〜第９の態様に係るカメラの撮影視野変動検知装置と、複数枚の原画像を時系列で記録した画像記録装置と、この画像記録装置に記録されている原画像を時系列に沿って順次読み出し、読み出した原画像に対して所定の画像処理を行う画像処理装置と、によって画像処理システムを構成し、
画像記録装置内には、定点カメラで撮影された所定の視野内の撮影画像が、時系列で連続的に与えられるフレーム単位の原画像として記録されており、
画像処理装置が画像記録装置から読み出した原画像は、変動検知装置にも与えられ、変動検知装置内の変動判定部が、撮影視野に変動が生じたものと判定した場合に、変動検知装置内の判定結果通知部が、画像処理装置に対して画像処理を中止させるための処理中止信号を与えるようにしたものである。

(17) 本発明の第１７の態様は、カメラの撮影視野の変動を検知するカメラの撮影視野変動検知方法において、
カメラによる撮影画像を、時系列で連続的に与えられるフレーム単位の原画像として入力する原画像入力段階と、
過去に入力された複数の原画像の平均的な特徴を有する画像を背景画像として求め、新たに入力された第ｉ番目（ｉ＝１，２，... ）の原画像Ｐ（ｉ）について、背景画像と相違する前景領域を抽出し、抽出した前景領域を示す前景画像Ｆ（ｉ）を順次生成する前景領域抽出段階と、
生成された第ｉ番目（ｉ＝２，３，... ）の前景画像Ｆ（ｉ）と第（ｉ−１）番目の前景画像Ｆ（ｉ−１）とについて差分領域を抽出し、抽出した差分領域を示す差分画像Ｄ（ｉ）を順次生成する差分領域抽出段階と、
生成された個々の差分画像Ｄ（ｉ）を複数のブロックに分割するブロック分割段階と、
得られた個々のブロックごとに、それぞれ差分領域が占める占有割合を算出する占有割合算出段階と、
占有割合が第１の閾値以上となるブロックを急変ブロックと認識し、個々の差分画像ごとに、急変ブロックの数を計数するブロック計数段階と、
急変ブロックの数が第２の閾値以上となる差分画像が得られたときに、撮影視野に変動が生じた旨の検知を行う変動検知段階と、
をコンピュータが実行するようにしたものである。

本発明に係るカメラの撮影視野変動検知装置によれば、時系列で連続的に与えられるフレーム単位の原画像から前景領域が抽出され、その時間的な差分領域を示す差分画像が求められる。そして、差分画像はブロックに分割され、個々のブロックごとに差分領域の占有割合が算出され、占有割合が第１の閾値以上となる急変ブロックの数が計数され、計数値が第２の閾値以上となった場合に、撮影視野に変動が生じたものと判定される。

このような手法を採れば、差分領域が一定以上の割合で、一定以上のブロックに分布して存在する場合に、撮影視野に変動が生じたものと判定されることになる。このため、カメラの向き変動に基づく撮影視野の変動を、当該カメラによる撮影画像自体を解析することにより、正確に検出することができるようになる。

このような撮影視野変動検知装置を定点監視システムに組み込めば、撮影視野に変動が生じたことをオペレータに報知することが可能になり、また、撮影視野に変動が生じた時点で画像記録装置に対して録画を中止させ、無駄な録画が行われることを防止することが可能になる。更に、撮影画像に対して何らかの画像処理を施すシステムに組み込めば、撮影視野に変動が生じた時点で画像処理装置に対して処理を中止させ、不適切な画像処理が続行されることを防止することも可能になる。

時系列で並んだ原画像Ｐ１０〜Ｐ４０とこれに対応する前景画像Ｆ１０〜Ｆ４０を示す平面図である。 原画像Ｐ（ｉ＋１）に対応した前景画像Ｆ（ｉ＋１）を作成する方法の基本原理を示す図である。 本発明において背景画像として用いられる平均画像Ａ（ｉ）の作成方法の一例を示す図である。 図３に示す方法に基づいて作成される平均画像上の１画素の画素値変遷プロセスを示す図である。 本発明における前景画像Ｆ（ｉ）の画素値決定プロセスを示す図である。 画素の類否判定方法の基本原理を示す三次元色空間図である。 画素の類否判定方法の具体的な方法の第１の例を示す三次元色空間図である。 画素の類否判定方法の具体的な方法の第２の例を示す三次元色空間図である。 画素の類否判定方法の具体的な方法の第３の例を示す三次元色空間図である。 回転楕円体モデルを用いた画素の類否判定方法を示す三次元色空間図である。 円柱モデルに対する回転楕円体モデルの利点を示す断面図である。 ２組の前景画像Ｆ３０，Ｆ４０に基づいて差分画像Ｄ４０を生成するプロセスを示す平面図である。 ２組の前景画像Ｆ３０，Ｆ３１に基づいて差分画像Ｄ３１を生成するプロセスを示す平面図である。 図１３の下段に示す差分画像Ｄ３１（第ｉ番目の差分画像Ｄ（ｉ））の拡大平面図である。 図１４に示す差分画像Ｄ（ｉ）を２０個のブロックに分割した状態を示す平面図である。 図１５に示す２０個のブロックについて算出した差分領域の占有割合を示す平面図である（第１の閾値Ｔｈ１＝２０％としたときに、閾値Ｔｈ１以上となるブロックを太枠表示）。 図１５に示す２０個のブロックについて算出した差分領域の占有割合を示す平面図である（第１の閾値Ｔｈ１＝１５％としたときに、閾値Ｔｈ１以上となるブロックを太枠表示）。 原画像Ｐ３０とＰ３１との間で撮影視野に変動が生じた場合の各原画像とこれに対応する前景画像を示す平面図である。 図１８に示す前景画像Ｆ３０，Ｆ３１に基づいて作成された差分画像Ｄ３１（第ｉ番目の差分画像Ｄ（ｉ））の拡大平面図である。 図１９に示す差分画像Ｄ（ｉ）を２０個のブロックに分割した状態を示す平面図である。 図２０に示す２０個のブロックについて算出した差分領域の占有割合を示す平面図である（第１の閾値Ｔｈ１＝２０％としたときに、閾値Ｔｈ１以上となるブロックを太枠表示）。 図２０に示す２０個のブロックについて算出した差分領域の占有割合を示す平面図である（第１の閾値Ｔｈ１＝５０％としたときに、閾値Ｔｈ１以上となるブロックを太枠表示）。 本発明に係るカメラの撮影視野変動検知方法の手順を示す流れ図である。 本発明に係る変動検知装置１００の構成を示すブロック図である。 図２４に示す前景領域抽出部１２０の詳細な構成例を示すブロック図である。 本発明に係る定点監視システムの構成例を示すブロック図である。 本発明に係る定点監視システムの別な構成例を示すブロック図である。 本発明に係る画像処理システムの構成例を示すブロック図である。 本発明に係る画像処理システムの別な構成例を示すブロック図である。

以下、本発明を図示する実施形態に基づいて説明する。

＜＜＜ §１．移動物体検出の基本原理 ＞＞＞
本発明に係る撮影視野変動検知装置は、定点カメラの向きが変動したことを、当該カメラによる撮影画像自体を解析することにより、撮影視野の変動として検知する機能を有している。その基本原理は、定点カメラの撮影画像から移動物体を検出し、この移動物体の変動量とその分布に基づいて、撮影視野が変動したことを判定する、というものである。そこで、ここでは、撮影画像から移動物体を検出する基本原理を説明する。

いま、図１の左側に示すように、フレーム単位の撮影画像Ｐ１０，Ｐ２０，Ｐ３０，Ｐ４０がこの順番で与えられたものとしよう。図示の例は、街頭に設置された定点ビデオカメラによる撮影画像を示すものであり、右から左へと１台の車両（移動物体）が通過する状態が示されている。なお、一般的なビデオカメラの場合、１秒間に３０フレーム程度の周期で連続して撮影画像が出力されるので、実際には、より細かな時間間隔で多数のフレーム画像が得られることになるが、ここでは、説明の便宜上、図示のとおり、４枚のフレーム画像Ｐ１０，Ｐ２０，Ｐ３０，Ｐ４０が順番に与えられたものとしよう。

これら４枚の画像を見ると、画像Ｐ１０は街の背景のみであるが、画像Ｐ２０では、右側に車両の一部が侵入したため、背景上に車両の一部が重なった画像になっている。同様に、画像Ｐ３０，Ｐ４０も、背景上に車両が重なった画像になっている。背景は静止しているため、画像Ｐ１０〜Ｐ４０について共通になるが、車両は移動物体であるため、画像Ｐ１０〜Ｐ４０では異なる。ここでは、各画像上において、背景を構成する領域を背景領域ｂ、車両（移動物体）を構成する領域を前景領域ｆと呼ぶことにする。

ここで説明する移動物体の検出とは、与えられた各画像Ｐ１０〜Ｐ４０について、それぞれ背景領域ｂと前景領域ｆとを区別することにある。図１の右側に示す各画像Ｆ１０〜Ｆ４０は、それぞれ左側に示す各画像Ｐ１０〜Ｐ４０について、背景領域ｂと前景領域ｆとの区別を示す画像である。図にハッチングを施した領域が前景領域ｆであり、白地の領域が背景領域ｂである。いずれの領域かを識別できればよいので、これらの画像Ｆ１０〜Ｆ４０は、二値画像として与えられる。たとえば、背景領域ｂに所属する画素には画素値「０」を与え、前景領域ｆに所属する画素には画素値「１」を与えることにすれば、画像Ｆ１０〜Ｆ４０は、１ビットの画素値をもった画素の集合体からなる画像データの形式で得ることができる。

ここで述べる移動物体の検出処理によれば、与えられた個々のフレーム画像のそれぞれについて、対応する二値画像を作成することができる。すなわち、この移動物体検出処理の本質は、時系列で連続的に与えられるフレーム単位の撮影画像について、それぞれ背景領域ｂと前景領域ｆとの区別を示す二値画像を作成する処理ということができる。そこで、以下、便宜上、時系列で連続的に与えられる撮影画像を「原画像」と呼び、この「原画像」に基づいて作成される二値画像を「前景画像」と呼ぶことにする。

図１に示す例では、各原画像Ｐ１０〜Ｐ４０のそれぞれについて、前景画像Ｆ１０〜Ｆ４０が作成された例が示されている。前景画像Ｆ１０は、全面が背景領域ｂ１０（白地の領域）によって構成されているが、これは原画像１０上に移動物体が存在しないことを示している。これに対して、前景画像Ｆ２０，Ｆ３０，Ｆ４０は、それぞれ前景領域ｆ２０，ｆ３０，ｆ４０（ハッチングを施した領域）と、その余の背景領域ｂ２０，ｂ３０，ｂ４０（白地の領域）とによって構成されている。ここで、前景領域ｆ２０，ｆ３０，ｆ４０は、移動物体が占める領域を示している。

このように、前景画像Ｆ上の前景領域ｆは、原画像Ｐ上での移動物体が占める領域を示すものであり、この前景画像Ｆを利用すれば、移動物体の形状やサイズを把握したり、移動物体の部分をズームアップして、車両のナンバーを確認したり、人物を特定したりする処理を行うことが可能になる。また、画面上で移動物体をズームアップしたまま追跡したり、移動経路を把握したりすることも可能になる。

もちろん、このような前景画像Ｆの作成を、１枚の原画像Ｐのみから行うことは困難である。たとえば、図示の原画像Ｐ２０のみが静止画像として与えられた場合、人間の脳は様々な情報から車両の存在を認識することができるが、この１枚の静止画像Ｐ２０のみから、コンピュータに車両の存在を認識させ、図示の前景画像Ｆ２０を生成するには、複雑なアルゴリズムに基づく処理が必要となる。そこで、一般的な移動物体検出アルゴリズムでは、原画像と背景画像との差を求めることにより、当該差の領域を移動物体の領域（前景領域ｆ）と判断する手法が採られる。

たとえば、予め原画像Ｐ１０を背景画像として指定しておけば、原画像Ｐ２０が入力された時点で両者を比較することにより、差の領域を前景領域ｆ２０と認識し、図示のような前景画像Ｆ２０を作成することが可能になる。差の領域の認識手法としては、新たに入力した原画像Ｐ２０と背景画像Ｐ１０とを画素単位で比較して、両画素の画素値が同一もしくは類似している場合、当該画素は背景領域ｂ２０を構成する画素であるとし、類似していない場合、当該画素は移動物体を構成する前景領域ｆ２０を構成する画素であるとする方法を採ればよい。

背景画像としては、予め移動物体が存在しない状態（たとえば、原画像Ｐ１０に示す状態）で撮影した静止画像を利用することも可能であるが、天候や時刻などの要因により、照明環境は時々刻々と変化してゆくものであり、ある特定の時点で撮影した静止画像をそのまま背景画像として継続して利用するのは不適切である。そこで、通常は、過去に入力された複数の原画像に基づいて、これら原画像の平均的な特徴を有する平均画像を作成し、この平均画像を背景画像として利用する手法が採られる。ここに述べる例でも、このような手法で得られた平均画像を、背景画像として利用している。平均画像は新たな画像が入力されるたびに逐次更新されるので、常に、その時点で最適な背景画像として機能する。

図２は、このような方法で移動物体を検出する基本原理を示す図である。ここで、図の上段に示す画像Ｐ（１），Ｐ（２），... ，Ｐ（ｉ−２），Ｐ（ｉ−１），Ｐ（ｉ）は、時系列で連続的に与えられるフレーム単位の原画像であり、これまでに第１番目の原画像Ｐ（１）から第ｉ番目の原画像Ｐ（ｉ）まで、ｉフレーム分の画像が与えられた状態が示されている。一方、図の中段左に示す画像Ｐ（ｉ＋１）は、新たに与えられた第（ｉ＋１）番目の原画像であり、図の中段右に示す画像Ａ（ｉ）は、図の上段に示す過去に与えられたｉフレーム分の原画像Ｐ（１）〜Ｐ（ｉ）の平均的な特徴を有する平均画像である。

新たに入力された原画像Ｐ（ｉ＋１）についての前景画像Ｆ（ｉ＋１）は、当該原画像Ｐ（ｉ＋１）と平均画像Ａ（ｉ）とを比較することによって作成される。図２の下段は、このようにして作成された前景画像Ｆ（ｉ＋１）を示すものである。具体的には、原画像Ｐ（ｉ＋１）上の各画素の画素値を、平均画像Ａ（ｉ）上の対応する画素の画素値と比較し、類似範囲内と判定された画素については背景領域ｂ（ｉ＋１）を示す画素値（たとえば、「０」）を与え、類似範囲外と判定された画素については前景領域ｆ（ｉ＋１）を示す画素値（たとえば、「１」）を与えることにより、二値画像からなる前景画像Ｆ（ｉ＋１）を作成すればよい。

続いて、第（ｉ＋２）番目の原画像Ｐ（ｉ＋２）が入力されたときには、過去に入力された第（ｉ＋１）番目の原画像Ｐ（ｉ＋１）までの平均的な特徴を有する平均画像Ａ（ｉ＋１）が新たに作成され、原画像Ｐ（ｉ＋２）と平均画像Ａ（ｉ＋１）とを比較することにより、前景画像Ｆ（ｉ＋２）が作成される。このように、平均画像は逐次更新されてゆくため、天候や時刻などの要因により、照明環境が変化した場合でも、各時点に適した背景画像としての機能を果たすことができる。

なお、平均画像を作成する際には、時系列に沿った重みづけを行うようにし、最新の原画像の情報に重みをおいた加重平均を求めるようにするのが好ましい。たとえば、過去１０分間に入力された原画像について重み１、それ以前に入力された原画像について重み０を与えて平均を求めれば、常に、最新１０分間に得られた原画像についての平均画像を得ることができ、照明環境が変化した場合にも対応することができる。もちろん、常に最新の原画像ほど重みづけが大きくなるように、重みづけをきめ細かく設定することもできる。

結局、この図２に示す例の場合、平均画像を作成する際には、第ｉ番目の原画像Ｐ（ｉ）が入力されたときに（ｉ＝１，２，...）、当該原画像Ｐ（ｉ）を含めた過去の原画像について、それぞれ対応する位置の画素の各色別の画素値の重みづけ平均値を算出し、当該平均値をもつ画素の集合体からなる第ｉ番目の平均画像Ａ（ｉ）を作成すればよい。そして、第（ｉ＋１）番目の原画像Ｐ（ｉ＋１）について、第（ｉ＋１）番目の前景画像Ｆ（ｉ＋１）を作成する際には、原画像Ｐ（ｉ＋１）と、第ｉ番目の平均画像Ａ（ｉ）とを比較すればよい。

ただ、１秒間に３０フレームという一般的なフレームレートで動画画像が入力された場合、過去１０分間の原画像であっても、その画像データをすべて蓄積しておくには、画像データのバッファにかなりの記憶容量が必要になる。そこで、実用上は、第ｉ番目の原画像Ｐ（ｉ）が与えられたときに、第（ｉ−１）番目の平均画像Ａ（ｉ−１）と、当該第ｉ番目の原画像Ｐ（ｉ）との２枚の画像に基づいて、第ｉ番目の平均画像Ａ（ｉ）を作成する手法が採られる。図３は、このような手法に基づく平均画像の作成方法の一例を示す図である。

まず、最初の原画像Ｐ（１）が与えられたときには、当該原画像Ｐ（１）をそのまま最初の平均画像Ａ（１）とする処理を行う。そして、以後、図３の上段右に示す第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、図３の上段左に示す第（ｉ−１）番目の平均画像Ａ（ｉ−１）を利用して、図３の中段に示す第ｉ番目の平均画像Ａ（ｉ）を、図３の下段に示す
ａ（ｉ）＝（１−ｗ）・ａ（ｉ−１）＋ｗ・ｐ（ｉ） 式（１）
なる演算式を用いて作成すればよい。ここで、ａ（ｉ）は、平均画像Ａ（ｉ）の所定位置の画素の所定色の画素値、ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の前記所定位置の画素の前記所定色の画素値、ｐ（ｉ）は、原画像Ｐ（ｉ）の前記所定位置の画素の前記所定色の画素値、ｗは、所定の重みを示すパラメータ（ｗ＜１）である。

要するに、直前に与えられた原画像Ｐ（ｉ−１）までの原画像について算出された第（ｉ−１）番目の平均画像Ａ（ｉ−１）の画素値ａ（ｉ−１）と、新たに与えられた第ｉ番目の原画像Ｐ（ｉ）の画素値ｐ（ｉ）とについて、重みｗを考慮した平均値が算出され、当該算出値を第ｉ番目の平均画像Ａ（ｉ）の画素値ａ（ｉ）とする処理が行われることになる。このように、新たな原画像Ｐ（ｉ）が入力されるたびに、平均画像Ａ（ｉ）を更新してゆき、しかも更新には直前の平均画像Ａ（ｉ−１）のみを用いるようにすれば、過去の原画像データを何フレーム分にもわたって蓄積保持しておく必要がないので、処理を行うために必要なバッファの容量を大幅に節約することができる。

図３に示すとおり、重みｗの値を大きくすればするほど、最新の原画像Ｐ（ｉ）の画素値が平均画像Ａ（ｉ）の画素値に大きな影響を与えることになる。図４は、図３に示す方法に基づいて作成される平均画像上の１画素の画素値変遷プロセスを示す図である。この例では、重みｗ＝０．０１に設定した具体例が示されている。

たとえば、第１番目（ｉ＝１）の原画像Ｐ（１）の特定位置の画素の画素値がｐ（１）＝１００であったとすると、第１番目の平均画像Ａ（１）の当該特定位置の画素の画素値ａ（１）は、そのままａ（１）＝１００となる。続いて、第２番目の原画像Ｐ（２）の当該特定位置の画素の画素値がｐ（２）＝１００であったとすると、第２番目の平均画像Ａ（２）の当該特定位置の画素の画素値ａ（２）は、ａ（１）とｐ（２）との重みつき平均「０．９９×１００＋０．０１×１００」を計算することにより、ａ（２）＝１００になる。

図示の例では、原画像の当該特定位置の画素値は、ｐ（１）〜ｐ（４）まで１００のまま変化しないため、平均画像の当該特定位置の画素値も、ａ（１）〜ａ（４）まで１００を維持する。ところが、第５番目の原画像Ｐ（５）では、画素値ｐ（５）＝２００に急変したため、第５番目の平均画像Ａ（５）の画素値ａ（５）は、図４の下段の式に示すとおり、ａ（４）とｐ（５）との重みつき平均「０．９９×１００＋０．０１×２００」を計算することにより、ａ（５）＝１０１になる。更に、第６番目の原画像Ｐ（６）および第７番目の原画像Ｐ（７）では、画素値ｐ（６）＝ｐ（７）＝２００が維持されているため、図４の下段の式に示すとおり、第６番目の平均画像Ａ（６）および第７番目の平均画像Ａ（７）では、画素値ａ（６）＝１０２、画素値ａ（７）＝１０３、と徐々に増加している。

この例のように、重みｗを０．０１程度の値に設定すると、原画像の画素値が急激に変化しても、平均画像の画素値は直ちに変化することはなく、原画像の画素値にゆっくりと近づいてゆくことになる。したがって、図１に示す例のように、車両が通過する動画が与えられたとしても、一過性の画素値変化は、平均画像の画素値に大きな変化をもたらすことはなく、平均画像は背景画像としての機能を果たすことができる。一方、時刻が日中から夕暮れに変わった場合など、照明環境に変化が生じた場合、当該変化は多数のフレーム画像にわたって持続するため、平均画像の画素値も当該変化に追従して変化することになる。したがって、日中には日中の背景画像に適した平均画像が得られ、夕暮れには夕暮れの背景画像に適した平均画像が得られることになる。

本発明における前景画像は、このような方法で作成された平均画像を背景画像として、個々の原画像を比較することによって作成される。図５は、このようにして作成される前景画像の画素値決定プロセスを示す図である。第ｉ番目の原画像Ｐ（ｉ）についての前景画像Ｆ（ｉ）は、次のような方法で決定される画素値をもつ画素の集合体からなる二値画像である。すなわち、前景画像Ｆ（ｉ）の特定位置の画素の画素値ｆ（ｉ）は、原画像Ｐ（ｉ）の当該特定位置の画素の画素値ｐ（ｉ）と、平均画像Ａ（ｉ−１）の当該特定位置の画素の画素値ａ（ｉ−１）との比較によって決定され、両画素値が類似範囲内であれば、背景領域ｂ内の画素であることを示す画素値（たとえば、「０」）が与えられ、両画素値が類似範囲外であれば、前景領域ｆ内の画素であることを示す画素値（たとえば、「１」）が与えられる。

なお、実際には、原画像は三原色の各画素値（たとえば、ＲＧＢ表色系の場合、Ｒ，Ｇ，Ｂの３色の画素値）をもったカラー画像であるので、原画像Ｐ（ｉ）を構成する各画素の画素値ｐ（ｉ）や、平均画像Ａ（ｉ）を構成する各画素の画素値ａ（ｉ）は、いずれも色ごとに独立した３つの値から構成されていることになる。そして、式（１）の演算は、個々の色ごとにそれぞれ独立して実行されることになる。たとえば、平均画像Ａ（ｉ）上の特定位置の画素の画素値ａ（ｉ）は、Ｒ色の画素値、Ｇ色の画素値、Ｂ色の画素値という３組の画素値によって構成され、Ｒ色の画素値は、過去の原画像のＲ色の画素値の重みつき平均として得られた値になる。

したがって、図５における画素値ｐ（ｉ）と画素値ａ（ｉ−１）との比較は、単なる２つの値の比較ではなく、３組の画素値と３組の画素値との比較ということになる。当然ながら、画素の類否判定は、この３組の画素値同士が類似するか否かを判定する処理ということになる。このような画素の類否判定の具体的な処理については、§２において詳述する。

＜＜＜ §２．画素の類否判定方法 ＞＞＞
本発明では、まず、原画像Ｐ（入力画像）について、移動物体を構成する前景領域ｆを抽出して前景画像Ｆを作成する必要がある。そのための方法として、§１で述べた方法では、原画像Ｐと平均画像Ａ（背景画像）とを画素単位で比較して、両画素が類似している場合は背景領域ｂの画素、非類似の場合は前景領域ｆの画素という判定を行う。このように画素単位で類否判定を行う方法では、画素の類否判定が移動物体の検出精度を左右するファクターになるため、どのような方法で、どの程度の範囲までを「類似範囲」と判定するかが非常に重要である。

たとえば、§１では、図１の画像Ｐ１０を平均画像（背景画像）とし、画像Ｐ２０を原画像（入力画像）とした場合、両者の比較により、画像Ｆ２０のような前景画像が得られることを述べた。ここで、前景画像Ｆ２０の前景領域ｆ２０は、両画像Ｐ１０，Ｐ２０を比較した結果、画素が類似範囲外と判定された領域であり、背景画像ｂ２０は、画素が類似範囲内と判定された領域である。この場合、類似範囲を適切に設定しないと、正しい前景画像を得ることはできない。

すなわち、図１では、背景部分に全く同じ画像が描かれているが、実際の風景では、雲の動きで太陽光による照明環境が変化し、風により樹木の葉の位置や向きが微妙に変化する。したがって、画素の類否判定基準を厳しくすると、実際には背景部分であるのに、類似範囲外との誤判定が生じ、前景領域ｆ内の画素との認定がなされてしまう。逆に、画素の類否判定基準を緩めると、実際には前景部分であるのに、類似範囲内との誤判定が生じ、背景領域ｂ内の画素との認定がなされてしまう。

しかも、カラー画像の場合、前述したように、画素の類否は、一方の画素の３組の画素値と他方の画素の３組の画素値との比較に基づいて行う必要があるため、様々な類否判定基準を設定することが可能である。そして、どのような類否判定基準を採用するかによって、判定精度も変わってくる。通常、このようなカラー画像の画素の比較は、三次元の色空間上で、双方の画素値に対応する座標点をプロットし、両座標点の空間的な位置関係を調べることによって行われる。以下、各画素がＲＧＢ表色系の画素値をもっている場合について、色空間上での類否判定を行ういくつかの方法を説明する。

図６は、画素の類否判定の最も単純な方法を示す三次元色空間図である。図示のとおり、三原色Ｒ，Ｇ，Ｂの画素値を各座標軸にとったＲＧＢ三次元直交座標系に、座標点ＡおよびＰがプロットされている。ここで、座標点Ａ（Ｒａ，Ｇａ，Ｂａ）は、背景を示す平均画像Ａ上の画素の画素値（Ｒａ，Ｇａ，Ｂａ）をプロットした点であり、座標点Ｐ（Ｒｐ，Ｇｐ，Ｂｐ）は、判定対象となる原画像Ｐ上の画素の画素値（Ｒｐ，Ｇｐ，Ｂｐ）をプロットした点である。

ここで、この三次元色空間上での２点Ａ，Ｐの距離をδとすれば、当該距離δは、両画素の類似度を示す１つの指標になる。δ＝０であれば、両画素は全く同一の画素値をもった画素になり、δが大きくなればなるほど、３つの画素値の総合的な類似度は低下する。したがって、予め所定の閾値δthを設定しておき、δ＜δthであれば類似範囲内、δ≧δthであれば類似範囲外と判定するようにすれば、一応の判定基準を設定することができる。

あるいは、原点Ｏを起点として、座標点Ａへ向かうベクトルＶａと座標点Ｐへ向かうベクトルＶｐとを定義し、両ベクトルＶａ，Ｖｐのなす角θを、両画素の類似度を示す指標として用いることもできる。θ＝０の場合、２点Ａ，Ｐは必ずしも同一の点にはならないが、原点Ｏを通る同一直線上の点になるため、少なくとも三原色Ｒ，Ｇ，Ｂの配合割合で決まる両画素の色相は類似したものになる。結局、θが小さければ、色相の類似性は高まることになるので、指標δを用いた判定基準と同様に、予め所定の閾値θthを設定しておき、θ＜θthであれば類似範囲内、θ≧θthであれば類似範囲外と判定するようにすれば、一応の判定基準を設定することができる。

ただ、このような距離δや角度θを基準とした単純な類否判定方法を、一般的な実写画像における移動物体検出処理に利用した場合、満足した検出結果を得ることが困難であることが知られている。これは、距離δや角度θという単純なパラメータの値だけでは、太陽光による照明環境の変化、風による樹木等の明暗の変化など、実際の撮影環境に対応した適切な判定基準を設定することが困難なためである。

このような問題に対処するための具体的な方法として、円柱モデルを用いる類否判定方法が提案されている。図７は、この円柱モデルを用いる方法の基本原理を示す三次元色空間図である。この図７においても、図６と同様に、背景を示す平均画像Ａ上の画素の画素値（Ｒａ，Ｇａ，Ｂａ）が座標点Ａとしてプロットされ、判定対象となる原画像Ｐ上の画素の画素値（Ｒｐ，Ｇｐ，Ｂｐ）が座標点Ｐとしてプロットされている。ここでも、ベクトルＶａ，Ｖｐは、原点Ｏを起点として、各点Ａ，Ｐへ向かうベクトルである。

このモデルでは、図示のとおり、座標点Ａを中心として所定半径をもった長さＬの円柱Ｃが定義されている。別言すれば、円柱Ｃは、ベクトルＶａ上に定義された基準軸Ｚを中心軸とし、その中心点が座標点Ａにくるように配置された円柱ということになる。そして、この円柱Ｃの内部の空間領域を、背景を示す平均画像Ａを構成する画素の類似範囲と定める。したがって、図示の例のように、座標点Ｐに対応する画素値をもった画素は、円柱Ｃの外側に位置するため類似範囲外と判定され、前景領域ｆを構成する画素と認定されることになる。逆に、座標点Ｐが円柱Ｃの内部に位置していれば、類似範囲内と判定され、背景領域ｂを構成する画素と認定される。

この円柱モデルの特徴は、ベクトルＶａの方向を向いた基準軸Ｚを長手方向とする円柱領域が設定される点である。この円柱Ｃの半径は、色相の類似範囲を決めるパラメータとして機能し、長さＬは明度の類似範囲を決めるパラメータとして機能する。前述したとおり、実際の景色では、太陽光による照明環境の変化、風による樹木等の明暗の変化などによって、背景領域ｂの画素値に時間的変動が生じることになるが、このような変動は、色相よりも明度に大きな影響を及ぼすと考えられる。したがって、このモデルのように、基準軸Ｚを長手方向とする円柱Ｃに基づいて類似範囲を設定することは理にかなっている。

一方、特開２０１１−０７６３１１号公報には、図７に示す円柱モデルの円柱Ｃの代わりに、回転楕円体を用いるモデルも提案されている。図８は、図７に示す円柱Ｃを回転楕円体Ｅａに置き換えた回転楕円体モデルを示す三次元色空間図である。ここで、類似範囲を示す回転楕円体Ｅａは、平均画像Ａの画素値を示す座標点Ａを中心点とし、ベクトルＶａ上に定義された基準軸Ｚａを長軸方向とする楕円を、基準軸Ｚａを回転軸として回転させることにより得られる回転体である。この回転楕円体Ｅａのサイズは、長軸方向の長さＬａ１と短軸方向の長さＬａ２によって規定される。

この回転楕円体モデルを用いた場合でも、類否判定の方法は、前述の円柱モデルを用いた場合の判定方法と同様であり、回転楕円体Ｅａの内部領域にプロットされる画素は、座標点Ａに対応する画素値をもった画素に対して類似する画素と判定されることになる。具体的には、図示の例の場合、座標点Ｐに対応する画素値をもった画素は、回転楕円体Ｅａの外側に位置するため類似範囲外と判定され、前景領域ｆを構成する画素と認定される。逆に、座標点Ｐが回転楕円体Ｅａの内部に位置していれば、類似範囲内と判定され、背景領域ｂを構成する画素と認定される。

一方、図９は、図８に示す回転楕円体モデルのバリエーションを示す三次元色空間図である。図示のとおり、このモデルにおける類似範囲を示す回転楕円体Ｅｐは、判定対象となる原画像Ｐの画素値を示す座標点Ｐを中心点とし、ベクトルＶｐ上に定義された基準軸Ｚｐを長軸方向とする楕円を、基準軸Ｚｐを回転軸として回転させることにより得られる回転体である。この回転楕円体Ｅｐのサイズは、長軸方向の長さＬｐ１と短軸方向の長さＬｐ２によって規定される。

図８に示すモデルの場合、背景を示す平均画像Ａの画素値（Ｒａ，Ｇａ，Ｂａ）をプロットした座標点Ａを基準として、類似範囲を示す回転楕円体Ｅａが定義され、比較対象となる原画像Ｐの画素値（Ｒｐ，Ｇｐ，Ｂｐ）をプロットした座標点Ｐが、回転楕円体Ｅａの内側にあるか外側にあるかを判定していたのに対して、図９に示すモデルの場合、比較対象となる原画像Ｐの画素値（Ｒｐ，Ｇｐ，Ｂｐ）をプロットした座標点Ｐをプロットした座標点Ｐを基準として、類似範囲を示す回転楕円体Ｅｐが定義され、背景を示す平均画像Ａの画素値（Ｒａ，Ｇａ，Ｂａ）をプロットした座標点Ａが、回転楕円体Ｅｐの内側にあるか外側にあるかを判定することになる。

要するに、前者では、新たに入力された原画像Ｐの画素が、背景を示す過去の平均画像Ａの画素の類似範囲に入っているか否かを判定する手法をとるのに対して、後者では、背景を示す過去の平均画像Ａの画素が、新たに入力された原画像Ｐの画素の類似範囲に入っているか否かを判定する手法をとることになる。結局、両者の相違は、比較対象となる２つの画素のどちらを基準にして回転楕円体を定義するかという点だけである。

そこで、以下の説明では、比較対象となる２つの画像のうち、一方の画像の画素値を基準画素値（Ｒ，Ｇ，Ｂ）と表記し、他方の画像の画素値を比較画素値（ｒ，ｇ，ｂ）と表記することにする。また、三次元色空間上で基準画素値（Ｒ，Ｇ，Ｂ）をプロットした座標点Ｑ（Ｒ，Ｇ，Ｂ）を基準点Ｑと呼び、比較画素値（ｒ，ｇ，ｂ）をプロットした座標点ｑ（ｒ，ｇ，ｂ）を比較点ｑと呼ぶことにする。類否判定は、基準点Ｑを中心として定義された回転楕円体と比較点ｑとの位置関係に基づいてなされることになる。

図１０は、このような一般的な表記にしたがって、回転楕円体モデルを図示した三次元色空間図である。原点Ｏを起点として基準点Ｑへ向かうベクトルをベクトルＶとすれば、基準軸Ｚは、このベクトルＶ上の軸になる。そして、回転楕円体Ｅは、基準点Ｑを中心点とし、ベクトルＶ上に定義された基準軸Ｚを長軸方向とする楕円を、基準軸Ｚを回転軸として回転させることにより得られる回転体である。ここで、比較点ｑ（ｒ，ｇ，ｂ）が回転楕円体Ｅの内部に位置すれば、両画素は類似範囲内と判定され、回転楕円体Ｅの外部に位置すれば、両画素は類似範囲外と判定される。

図８に示すモデルは、図５に示す類否判定を行う際に、平均画像Ａ（ｉ−１）上の画素ａ（ｉ−１）の画素値を基準画素値（Ｒ，Ｇ，Ｂ）として基準点Ｑ（Ｒ，Ｇ，Ｂ）をプロットし、原画像Ｐ（ｉ）上の画素ｐ（ｉ）の画素値を比較画素値（ｒ，ｇ，ｂ）として比較点ｑ（ｒ，ｇ，ｂ）をプロットしたものである。これに対して、図９に示すモデルは、図５に示す類否判定を行う際に、原画像Ｐ（ｉ）上の画素ｐ（ｉ）の画素値を基準画素値（Ｒ，Ｇ，Ｂ）として基準点Ｑ（Ｒ，Ｇ，Ｂ）をプロットし、平均画像Ａ（ｉ−１）上の画素ａ（ｉ−１）の画素値を比較画素値（ｒ，ｇ，ｂ）として比較点ｑ（ｒ，ｇ，ｂ）をプロットしたものである。

特開２０１１−０７６３１１号公報によると、図７に示す円柱モデルに比べて、図１０に示す回転楕円体モデルは、次の２つの利点を有している。第１の利点は、§１で述べた移動物体検出方法における画素の類否判定処理に利用した場合に、時刻や天候などによる照明変動の影響を排除した、より正確な移動物体の検出が可能になる点である。

図１１は、円柱モデルに対する回転楕円体モデルの利点を示す断面図である。図示の例において、円柱Ｃの断面と回転楕円体Ｅの断面とを比較すると、いずれも基準点Ｑを中心として、基準軸Ｚの方向を長手方向とする図形であるが、図にハッチングを施す領域が、円柱Ｃでは内部領域と判定されるのに対して、回転楕円体Ｅでは外部領域と判定されることがわかる。したがって、比較点ｑが、このハッチング領域に位置する場合、一方では類似範囲内と判定され、他方では類似範囲外と判定される。もちろん、いずれの判定結果が正しいものであるかは、一概には決定できないが、少なくとも実写画像を用いた移動物体の検出処理に利用する限りにおいて、後者の判定結果が正しい結果となる可能性が高い。

すなわち、円柱モデルの場合、比較点ｑが図のハッチング領域内に位置する場合、判定対象となる画素は背景画像に類似しているため背景領域ｂ内の画素とされることになるが、実際には、背景画像に対して非類似であり、前景領域ｆ内の画素とすべきであった、というケースが比較的高い確率で生じる。図１１に示すとおり、断面形状で比較すると、回転楕円体Ｅの断面は曲面からなる楕円であるのに対して、円柱Ｃの断面は直線からなる矩形であり、実写画像を対象物とした類否判定の境界線としては、断面が曲面からなる楕円の方が適している。

このように、少なくとも、実写画像に基づく移動物体の検出処理に利用する場合、円柱モデルよりも回転楕円体モデルの方が検出精度が向上するという第１の利点が得られる。一方、回転楕円体モデルを採用することにより得られる第２の利点は、演算負担の軽減を図ることができる点である。これは、回転楕円体Ｅのサイズを、三次元座標系の原点Ｏと基準点Ｑとの距離Δに比例した値に設定することができるようになるためである。

具体的には、図１０に示すとおり、距離Δに、所定のパラメータｍ（但し、ｍ＜１）を乗じて求まる値α＝ｍ・Δを長軸半径とし、所定のパラメータｎ（但し、ｎ＜ｍ）を乗じて求まる値β＝ｎ・Δを短軸半径とする楕円を、原点Ｏと基準点Ｑとを結ぶ基準軸Ｚ上に長軸が重なるように、かつ、基準点Ｑが中心点となるように配置し、基準軸Ｚを中心に回転させることにより回転楕円体Ｅを定義すればよい。

このような条件で回転楕円体Ｅのサイズを決定すると、基準点Ｑが原点Ｏから離れれば離れるほど、回転楕円体Ｅのサイズは大きくなり、それだけ類似範囲が広くなる。これは、より明度の高い部分、すなわち、画像のハイライト部ほど、類似範囲が広くなることを意味するが、実用上、そのような類似範囲設定がなされても支障は生じない。一方、類似範囲内か否か、すなわち、回転楕円体Ｅの内部か外部かを判定するための演算負担は、長軸半径をα＝ｍ・Δ、短軸半径をβ＝ｎ・Δと設定することにより（すなわち、楕円のサイズを、距離Δに比例した値に設定することにより）、大幅に軽減することができる。その詳細は、特開２０１１−０７６３１１号公報に記載されているので、ここでは説明は省略する。

以上、カラー画像からなる原画像と背景画像（平均画像）とについて、互いに対応する位置にある画素の類否判定方法として、円柱モデルを用いた例および回転楕円体を用いた例を述べたが、本発明を実施するにあたり、カラー画像についての画素の類否判定方法は、必ずしも上述した方法に限定されるものではない。たとえば、円柱や回転楕円体の代わりに任意形状の立体を用いるようにしてもかまわない。

任意形状の立体モデルを採用する場合は、三原色の各画素値を各座標軸にとった三次元座標系において、基準画素値に対応する座標に位置する基準点Ｑと比較画素値に対応する座標に位置する比較点ｑをとり、基準点Ｑを中心とする所定サイズの立体と比較点ｑとの位置関係を調べ、比較点ｑが前記立体の外部に位置すると判定できる場合には類似範囲外との判定を行い、内部に位置すると判定できる場合には類似範囲内との判定を行うようにすればよい。

＜＜＜ §３． 本発明に係る撮影視野変動検知方法の基本原理 ＞＞＞
続いて、図１に示す例について、本発明に係る撮影視野の変動検知処理を施すことにより、撮影視野の変動を検知する基本原理を説明する。§１で述べたとおり、図１は、街頭に設置された定点ビデオカメラによる撮影画像を示すものであり、右から左へと１台の車両（移動物体）が通過する状態が示されている。このような４枚のフレーム画像Ｐ１０，Ｐ２０，Ｐ３０，Ｐ４０が原画像として与えられると、§１および§２で述べた方法により移動物体が検出され、それぞれについて前景画像Ｆ１０，Ｆ２０，Ｆ３０，Ｆ４０が作成される。

本発明では、こうして作成された前景画像Ｆ１０，Ｆ２０，Ｆ３０，Ｆ４０を解析することにより、撮影視野の変動、すなわち、カメラの向きの変動が生じたことを検知することになる。そのために、時間差をもって撮影された２枚の原画像の前景画像について、差分領域を抽出し、抽出した差分領域を示す差分画像を作成する。

図１２は、２組の前景画像Ｆ３０，Ｆ４０に基づいて差分画像Ｄ４０を生成するプロセスを示す平面図である。ここで、図１２の上段に示す前景画像Ｆ３０，Ｆ４０は、図１に示す前景画像Ｆ３０，Ｆ４０と同じものであり、それぞれ原画像Ｐ３０，Ｐ４０を背景画像（平均画像）と比較することにより得られたものである。前景画像Ｆ３０上の前景領域ｆ３０は車両に対応する領域であり、前景画像Ｆ４０上の前景領域ｆ４０はこの車両が左方へと移動した状態を示すものである。なお、ここでは説明の便宜上、前景領域ｆ３０とｆ４０とでは、斜線によるハッチングの向きを変えて示してある。

図１２の中段は、前景画像Ｆ３０，Ｆ４０を同一平面上に重ねたものであり、前景領域ｆ３０とｆ４０との相互位置関係が明瞭に示されている。すなわち、図に二重ハッチング（向きの異なる斜線が交差する網目状ハッチング）が施された領域は、前景画像Ｆ３０，Ｆ４０に共通する前景領域を示し、一重ハッチングが施された領域は、一方の前景画像にのみ存在する前景領域を示している。ここで言う差分領域とは、この一重ハッチングが施された領域を意味する。

すなわち、本発明において一対の前景画像Ｆ３０，Ｆ４０から抽出する差分領域とは、両前景画像Ｆ３０，Ｆ４０を重ねたときに、両前景領域ｆ３０，ｆ４０に差が生じている部分（幾何学的な排他的論理和部分）を意味する。図１２の下段に示す画像は、こうして、両前景画像Ｆ３０，Ｆ４０から抽出された差分領域ｄ４０を示す差分画像Ｄ４０である。ここでは、差分領域ｄ４０にドットによるハッチングを施して示すことにする。

要するに、各前景画像Ｆ３０，Ｆ４０を、前景領域ｆ内の画素の画素値を「１」、背景領域ｂ内の画素の画素値を「０」とする二値画像によって構成した場合、差分画像Ｄ４０は、前景画像Ｆ３０，Ｆ４０について、幾何学的な排他的論理和演算を行うことによって得られる画像ということになる。

ところで、図１では、説明の便宜上、４枚のフレーム画像Ｐ１０，Ｐ２０，Ｐ３０，Ｐ４０が原画像として順番に与えられた場合を説明し、図１２では、このうち、原画像Ｐ３０，Ｐ４０に対応して作成された前景画像Ｆ３０，Ｆ４０について、差分画像Ｄ４０を求めるプロセスを示した。しかしながら、前述したとおり、一般的なビデオカメラの場合、１秒間に３０フレーム程度の周期で連続して撮影画像が出力されるので、実際には、より細かな時間間隔で多数のフレーム画像が得られることになる。そこで、ここでは、原画像Ｐ３０の次のフレームとして、移動物体（車両）がわずかだけ左方へ移動した原画像Ｐ３１が得られたものと想定し、この原画像Ｐ３０，Ｐ３１に対応して作成された前景画像Ｆ３０，Ｆ３１について、差分画像Ｄ３１を求めるプロセスを考えてみよう。

図１３は、２組の前景画像Ｆ３０，Ｆ３１に基づいて差分画像Ｄ３１を生成するプロセスを示す平面図である。この図１３の上段に示す前景画像Ｆ３０は、図１２の上段に示す前景画像Ｆ３０と同じものであるが、前景画像Ｆ３１は、前景画像Ｆ４０よりも前の時点に得られた画像であり、車両の位置を示す前景領域ｆ３１は、前景領域ｆ３０に比べて、わずかだけ左方に移動したものになっている。

図１３の中段は、前景画像Ｆ３０，Ｆ３１を同一平面上に重ねたものであり、前景領域ｆ３０とｆ３１との相互位置関係が明瞭に示されている。図１３の下段に示す画像は、両前景画像Ｆ３０，Ｆ３１から抽出された差分領域ｄ３１を示す差分画像Ｄ３１である。ここでも、差分領域ｄ３１にドットによるハッチングを施して示す。

結局、差分領域ｄは、比較対象となる一対の前景画像Ｆについて、前景領域ｆ（移動物体を示す領域）の変動量を示すことになり、その面積が大きければ大きいほど、変動量も大きいことになる。別言すれば、移動物体の移動速度が速ければ速いほど、差分領域ｄの面積は大きくなる。

もっとも、差分領域ｄの面積は、比較対象となる一対の前景画像間の時間差にも依存する。たとえば、図１２の下段に示す差分画像Ｄ４０内の差分領域ｄ４０の面積（ドットによるハッチング部分）は、図１３の下段に示す差分画像Ｄ３１内の差分領域ｄ３１の面積よりも大きいが、これは車両の移動速度が異なるためではなく、原画像Ｐ３０，Ｐ４０の撮影時の時間差の方が、原画像Ｐ３０，Ｐ３１の撮影時の時間差よりも長く設定されているためである。したがって、差分領域ｄの面積に基づいて、移動物体の速度を評価するには、比較対象となる一対の前景画像間の時間差を予め定めておく必要がある。

たとえば、定点カメラが１秒間に３０フレームの周期で連続して撮影画像を出力するビデオカメラであった場合、一連の撮影画像は、１／３０秒の時間間隔をもった多数のフレーム画像として与えられることになるので、これらの画像をすべて原画像として取り込んで前景画像を生成し、各前景画像について、直前の前景画像との間で差分画像を生成することにすれば、比較対象となる一対の前景画像間の時間差は１／３０秒ということになる。もちろん、当該ビデオカメラから得られる撮影画像を１フレームおきに原画像として取り込むような運用を行うこともでき、その場合は、比較対象となる一対の前景画像間の時間差は１／１５秒ということになる。

このように、差分画像Ｄを求める際に用いる一対の前景画像間の時間差は、任意に設定することが可能であるが、この時間差の設定は差分領域ｄの面積を左右するパラメータになるため、同一の判定条件で変動検知を行う上では、当該時間差を一定値に維持するのが好ましい。以下の説明では、１秒間に３０フレームのレートで与えられる撮影画像をそのまま原画像として取り込み、１秒間に３０枚の前景画像を作成し、時間軸上で隣接する一対の前景画像（１／３０秒の時間差をもった前景画像）について、それぞれ差分画像Ｄを求める場合を例にとることにする。

たとえば、図１３に示す例の場合、前景画像Ｆ３０とＦ３１とは、１／３０秒の時間差をもった原画像Ｐ３０とＰ３１について作成された画像ということになり、前景領域ｆ３１は、前景領域ｆ３０によって示されている移動物体（車両）の１／３０秒後の位置を示している。そして、差分画像Ｄ３１は、この１／３０秒間において当該移動物体（車両）が変動した領域を差分領域ｄ３１として示す画像ということになる。同様に、原画像Ｐ３２についても前景画像Ｆ３２が作成され、前景画像Ｆ３１とＦ３２とについて差分画像Ｄ３２が作成され、原画像Ｐ３３についても前景画像Ｆ３３が作成され、前景画像Ｆ３２とＦ３３とについて差分画像Ｄ３３が作成され、... という具合に処理が続けられてゆくことになる。

本発明の基本原理は、定点カメラの撮影画像から移動物体を検出し、この移動物体の変動量と変動の分布に基づいて、撮影視野が変動したことを判定する、というものである。より具体的には、撮影視野に変動が生じたと判定するために、２つの条件が課されている。第１の条件は、移動物体の変動量が所定の基準以上であること、そして第２の条件は、移動物体の変動が撮影画面の全体に分布して生じていることである。

第１の条件を課す理由は、様々なゆらぎ成分の影響によって、撮影視野が変動したものと誤って判定されることを防ぐためである。図１には、背景画像が全く変化しない理想的な状況で移動物体（車両）を検出した例が示されており、前景画像Ｆ２０，Ｆ３０，Ｆ４０に含まれる前景領域ｆ２０，ｆ３０，ｆ４０は、車両の輪郭を正確に検出したものになっている。しかしながら、実際の風景では、雲の動きによる照明環境の変化、風による樹木の葉の変化など、様々なゆらぎ成分の影響によって、本来は背景領域とすべき部分にも細かな前景領域が形成される。移動物体の変動量が所定の基準以上である、とする第１の条件を課せば、このようなゆらぎ成分に起因した細かな前景領域が判定に寄与することを防ぐことができる。

ここで、第１の条件判断に必要な移動物体の変動量は、差分画像Ｄ内の差分領域ｄの面積として把握することができる。たとえば、図１３に示す例の場合、差分領域ｄ３１の面積は、移動物体の変動量を示している。そこで、本発明では、撮影視野に変動が生じたと判定するためには、この差分領域ｄ３１の面積が所定の基準以上である、とする第１の条件を課している。

もっとも、第１の条件が満たされただけでは、撮影視野に変動が生じた（定点カメラの向きが変化した）と判定するわけにはゆかない。実際、ここに示す例の場合、図１３に示す差分領域ｄ３１の面積が所定の基準以上であっても、その原因は、車両がある程度の速度をもって撮影視野を通過したためであり、撮影視野に変動が生じたためではない。

そこで、本発明では、移動物体の変動が撮影画面の全体に分布して生じていること、という第２の条件を設定している。撮影視野内を人や車両などの移動物体が通過した場合、当該移動物体の変動は、図１３に示すような差分領域ｄ３１として検出される。一方、定点カメラの向きが変化した場合は、人や車両だけでなく、撮影視野内の背景を含めたすべての被写体が移動することになり、いわば、人、車両、家屋、道路、樹木、空などがすべて移動物体として検出されることになる。したがって、その場合に得られる差分画像は、差分領域が画面全体に分布していることになろう。

第２の条件は、このような考え方に基づいて課されるものであり、差分領域が差分画像の全体に広く分布しているか否かという観点から判断することができる。たとえば、図１３に示す差分画像Ｄ３１の場合、差分領域ｄ３１は、主に画面の右下部分にのみ分布しているため、全体に分布していると判断することができない。したがって、第２の条件は満たされていない。

このように、本発明において、撮影視野に変動が生じたか否か、すなわち、定点カメラの向きが変化したか否か、を判定するためには、上記２つの条件判断が必要になる。そのため、本発明では、得られた差分画像Ｄを複数のブロックに分割し、ブロックごとに差分領域が占める占有割合を算出する、という手法を用いる。そして、占有割合が第１の閾値以上となるブロックを急変ブロックと認識し、個々の差分画像ごとに、急変ブロックの数を計数し、急変ブロックの数が第２の閾値以上となる差分画像が得られたときに、撮影視野に変動が生じた旨の検知を行うのである。

この手法を具体例に即して説明しよう。図１４は、図１３の下段に示す差分画像Ｄ３１の拡大平面図である。ここでは、一般論として説明するため、この図１４に示す画像を、第ｉ番目の差分画像という意味で差分画像Ｄ（ｉ）と呼ぶことにし、そこに含まれる差分領域を差分領域ｄ（ｉ）と呼ぶことにする。本発明では、この差分画像Ｄ（ｉ）を複数のブロックに分割する。図１５は、この差分画像Ｄ（ｉ）を、縦に４分割、横に５分割して、合計２０個のブロックＢ１〜Ｂ２０に分割した例を示す平面図である。

こうして得られた２０個のブロックＢ１〜Ｂ２０について、それぞれ差分領域（図の例の場合、ドットによるハッチング部分）が占める占有割合Ｈを算出する。たとえば、図１５に示す例の場合、ブロックＢ１〜Ｂ１１，Ｂ１６には、差分領域は一切含まれていないので、これらのブロックについての占有割合ＨはＨ＝０％になる。一方、ブロックＢ１２については、右下隅の微小部分が差分領域となっているため、Ｈ＝２％といった結果が得られ、同様に、ブロックＢ１３についてはＨ＝１７％、ブロックＢ１４についてはＨ＝３％、ブロックＢ１５についてはＨ＝１２％、... 、といった結果が得られることになる。

図１６は、図１５に示す２０個のブロックＢ１〜Ｂ２０についてそれぞれ算出した差分領域の占有割合Ｈを示す平面図である。ここでは、第１の閾値をＴｈ１＝２０％と設定し、閾値Ｔｈ１以上となるブロックを太枠で表示してある。図示のとおり、占有割合Ｈが第１の閾値以上となるブロックは、右下のブロックＢ２０（Ｈ＝２１％）のみである。本発明では、占有割合Ｈが第１の閾値Ｔｈ１以上となるブロックを急変ブロックと呼んでいる。この急変ブロック内では、被写体の位置が急激に変動を生じていると推定できる。もちろん、そのような被写体の急激な変動が、車両などが通過したために生じたものであるのか、カメラの向きが変化したために生じたものであるのかは、当該ブロックについての占有割合Ｈの値だけからは判断することはできない。

そこで、１つの差分画像を構成する複数のブロックのうち、急変ブロックと認識されたブロックの数を計数し、この急変ブロックの数が第２の閾値Ｔｈ２以上となる差分画像が得られたときに、撮影視野に変動が生じたと判定するのである。たとえば、第２の閾値Ｔｈ２として、Ｔｈ２＝１０個なる値（合計２０個のブロックに対して５０％となる値）を設定した場合、急変ブロックの数が１０個以上あれば、撮影視野に変動が生じたと判定することができる。図１６に示す例の場合、太枠で示す急変ブロックは、ブロックＢ２０のみであるから、第２の閾値Ｔｈ２には届かず、撮影視野に変動が生じたとの判定はなされない。

もちろん、急変ブロックか否かの認定基準は、第１の閾値Ｔｈ１として与えられるものであるから、Ｔｈ１の設定を変えれば、急変ブロックの数も変わることになる。たとえば、図１７は、第１の閾値をＴｈ１＝１５％に緩和した場合の急変ブロックを太枠で表示した例を示す平面図である。この場合、ブロックＢ１３，Ｂ１７，Ｂ２０が急変ブロックとして認定されることになり、急変ブロックの数は３ということになるが、やはり第２の閾値Ｔｈ２＝１０個には満たないため、撮影視野に変動が生じたとの判定はなされない。

実際、図１に示す事例は、カメラの向きに変動は生じず、同一の撮影視野を維持したまま、車両が通過する状態を撮影した場合に得られる撮影画像を示す例であるので、上記判定は正しい判定ということになる。

これに対して、図１８に示す事例を考えてみよう。この事例は、原画像Ｐ３０が撮影された時点までは、図１に示す事例と全く同じであるが、原画像Ｐ３１の撮影直前にカメラの向きが変化し、撮影視野に変動を生じた事例である。たとえば、原画像Ｐ３０に対応するフレーム画像が撮影された直後に、カメラの上に猫が飛び乗り、カメラの向きが下方に急変したようなケースでは、この事例のような原画像Ｐ３１が得られることになる。原画像Ｐ１０〜Ｐ３０までの撮影視野は同一であるのに対して、原画像Ｐ３１以降の撮影視野は全く異なるものになってしまっている。

原画像Ｐ３０とＰ３１とを比較すると、もちろん、通過車両が左方へと進行している点が異なるが、撮影視野全体が下方に移動しているため、上方部分に見えていた空がなくなり、下方部分には花壇や犬といった新たな被写体が出現している。その結果、原画像Ｐ３１について得られる前景画像Ｆ３１は、図１８の左下に示すように、大部分が前景領域ｆ３１になる。これは、カメラの撮影視野を基準にした場合、背景を含めた被写体全体が上方に移動した形になるためである。すなわち、§２で述べた方法で、画像上の対応位置にある画素の類否判定を行って前景領域を抽出すると、大部分の画素が非類似と判断され、前景領域に含まれることになる。

図１９は、図１８に示す前景画像Ｆ３０，Ｆ３１に基づいて作成された差分画像Ｄ３１の拡大平面図である。ここでは、一般論として説明するため、この図１９に示す画像を、第ｉ番目の差分画像という意味で差分画像Ｄ（ｉ）と呼ぶことにし、そこに含まれる差分領域を差分領域ｄ（ｉ）と呼ぶことにする。ここでも、上述した例と同様に、この差分画像Ｄ（ｉ）を合計２０個のブロックに分割してみる。図２０は、図１９に示す差分画像Ｄ（ｉ）に対して、このような分割を行った状態を示す平面図である。ここで、各ブロックについて、それぞれ差分領域が占める占有割合Ｈを算出し、急変ブロックの認定作業を行ってみる。

図２１は、図２０に示す各ブロックについてそれぞれ算出した差分領域の占有割合Ｈを示す平面図である。ここでは、第１の閾値をＴｈ１＝２０％と設定し、占有割合Ｈが閾値Ｔｈ１以上となる急変ブロックを太枠で表示してある。その結果、全２０個のブロックのうち、１７個のブロックが急変ブロックとして認識されている。したがって、上述した例と同様に、第２の閾値Ｔｈ２として、Ｔｈ２＝１０個なる値を設定した場合、急変ブロックの数が第２の閾値Ｔｈ２以上となっているため、撮影視野に変動が生じたとの判定がなされることになる。

図２２は、第１の閾値をＴｈ１＝５０％として、急変ブロックの条件をより厳しくした場合の例を示す平面図である。このように条件を厳しく設定しても、全２０個のブロックのうち、太枠で示す１６個のブロックが急変ブロックとして認識され、やはり撮影視野に変動が生じたとの判定がなされることになる。実際、図１８に示す事例は、原画像Ｐ３１の撮影直前にカメラの向きが変化し、撮影視野に変動を生じた事例であるから、上記判定は正しい判定ということになる。

＜＜＜ §４． 本発明に係る撮影視野変動検知方法の手順 ＞＞＞
続いて、§３で述べた基本原理に基づいてカメラの撮影視野の変動（カメラの向きの変動）を検知する変動検知方法の手順を、図２３の流れ図を参照しながら説明する。この手順は、実際には、コンピュータによる画像処理として実行されることになる。

はじめに、ステップＳ１において、必要な初期設定がなされる。具体的には、差分画像Ｄの分割数や分割方法、第１の閾値Ｔｈ１や第２の閾値Ｔｈ２の設定、図３に示す重みｗの設定、図１０に示すパラメータｍ，ｎの設定（回転楕円体の設定）などの処理が行われる。また、原画像（撮影されたフレーム画像）の番号を示すパラメータｉを初期値１に設定した上で、初期原画像Ｐ（１）を入力し、これをそのまま初期平均画像Ａ（１）に設定し、両者の初期差分画像Ｄ（１）が求められ、続いて、パラメータｉ＝２に更新する処理が行われる。この場合、初期原画像Ｐ（１）と初期平均画像Ａ（１）とは同一画像であるので、初期差分画像Ｄ（１）は全領域が背景領域ｂになる。続く、ステップＳ２以降の処理は、パラメータをｉ＝２に設定してから順次行うようにする。

まず、ステップＳ２では、第ｉ番目の原画像Ｐ（ｉ）が入力され、続くステップＳ３において、この原画像Ｐ（ｉ）から前景領域ｆ（ｉ）が抽出され、前景領域ｆ（ｉ）と、それ以外の領域（背景領域ｂ（ｉ））とを区別した二値画像として、前景画像Ｆ（ｉ）が生成される。たとえば、パラメータｉ＝２の場合、第２番目の原画像Ｐ（２）が入力され、この原画像Ｐ（２）と平均画像Ａ（１）とを比較することにより、前景画像Ｆ（２）が生成されることになる。ここで、平均画像Ａ（ｉ）の具体的な更新方法や、前景画像Ｆ（ｉ）の具体的な生成方法は、図３〜図５で説明したとおりである。

次に、ステップＳ４では、前景画像Ｆ（ｉ）と１つ前の前景画像Ｆ（ｉ−１）との差分（幾何学的な排他的論理和）をとることにより、差分領域ｄ（ｉ）が抽出され、差分画像Ｄ（ｉ）が求められる。この差分画像Ｄ（ｉ）は、たとえば、図１４や図１９に示すように、差分領域ｄ（ｉ）を示す画像である。そして、ステップＳ５では、図１５や図２０に示すように、差分画像Ｄ（ｉ）が複数のブロックに分割される。

続いて、ステップＳ６において、ブロックの番号を示すパラメータｊを初期値１に設定し、急変ブロック数を示すパラメータｋを初期値０に設定した上で、ステップＳ７以降の処理が実行される。まず、ステップＳ７では、第ｊ番目のブロック内の差分領域ｄ（ｉ）の占有割合Ｈが算出される。そして、ステップＳ８において、占有割合Ｈが第１の閾値Ｔｈ１以上であるか否かが判断され、肯定的な場合には、ステップＳ９において、パラメータｋが１だけ増加される。これは、占有割合Ｈが第１の閾値Ｔｈ１以上であった場合には、当該ブロックを急変ブロックと認識し、急変ブロックの計数値を１だけ増やす処理ということになる。占有割合Ｈが第１の閾値Ｔｈ１未満であった場合は、パラメータｋの値は増加されない。

このステップＳ７〜Ｓ９の処理は、第ｉ番目の差分画像Ｄ（ｉ）内の全ブロックについて繰り返し実行される。すなわち、全ブロックについての処理が完了するまで、ステップＳ１０からステップＳ１１へと進み、パラメータｊが１だけ更新され、ステップＳ７からの処理が続行されることになる。

こうして、全ブロックについての処理が完了すると、ステップＳ１０からステップＳ１２へと進み、パラメータｋの値が第２の閾値Ｔｈ２以上であるか否かが判断され、肯定的な場合には、ステップＳ１３において、変動検知が行われる。すなわち、第ｉ番目の差分画像Ｄ（ｉ）内の急変ブロックの個数が第２の閾値Ｔｈ２以上である場合、ステップＳ１３の変動検知が行われることになるが、これは第ｉ番目の原画像Ｐ（ｉ）が撮影された直前において、カメラの向きが変わり、撮影視野が変動したことが検知されたことを意味する。

このようなステップＳ２〜Ｓ１３の処理が、時系列で連続的に与えられる原画像Ｐ（ｉ）について繰り返し実行される。すなわち、ステップＳ１４において処理完了と判断されるまで、ステップＳ１４からステップＳ１５へと進み、パラメータｉが１だけ更新され、ステップＳ２からの処理が続行されることになる。ステップＳ１４における処理完了の判断は、たとえば、ステップＳ１３の変動検知が行われた場合には、無条件で処理完了とするようにしておくことができる。この場合、変動が検知された時点で、この流れ図に示す処理は終了することになる。また、新たに入力される原画像がなくなった場合にも、処理完了とするようにしておくとよい。この場合は、変動が検知されなかったとしても、新たに処理すべき原画像がなくなると（定点カメラからの撮影画像の提供が中断すると）、この流れ図に示す処理は終了することになる。

要するに、本発明に係るカメラの撮影視野変動検知方法は、カメラによる撮影画像を、時系列で連続的に与えられるフレーム単位の原画像として入力する原画像入力段階と、過去に入力された複数の原画像の平均的な特徴を有する画像を背景画像として求め、新たに入力された第ｉ番目（ｉ＝１，２，... ）の原画像Ｐ（ｉ）について、背景画像と相違する前景領域を抽出し、抽出した前景領域を示す前景画像Ｆ（ｉ）を順次生成する前景領域抽出段階と、生成された第ｉ番目（ｉ＝２，３，... ）の前景画像Ｆ（ｉ）と第（ｉ−１）番目の前景画像Ｆ（ｉ−１）とについて差分領域を抽出し、抽出した差分領域を示す差分画像Ｄ（ｉ）を順次生成する差分領域抽出段階と、生成された個々の差分画像Ｄ（ｉ）を複数のブロックに分割するブロック分割段階と、得られた個々のブロックごとに、それぞれ差分領域が占める占有割合を算出する占有割合算出段階と、占有割合が第１の閾値以上となるブロックを急変ブロックと認識し、個々の差分画像ごとに、急変ブロックの数を計数するブロック計数段階と、急変ブロックの数が第２の閾値以上となる差分画像が得られたときに、撮影視野に変動が生じた旨の検知を行う変動検知段階と、をコンピュータが実行するようにすればよい。

§３で述べたとおり、本発明では、「撮影視野が変動した」との判定を行うために、「移動物体の変動量が所定の基準以上である」という第１の条件と、「移動物体の変動が撮影画面の全体に分布して生じている」という第２の条件と、を課している。図２３に示す手順では、第１の条件が満たされているか否かを判断するために、差分領域の占有割合Ｈが第１の閾値Ｔｈ１以上となるブロックを急変ブロックと認識する処理（ステップＳ８）を行い、第２の条件が満たされているか否かを判断するために、急変ブロックの数が第２の閾値Ｔｈ２以上であるか否かを判定する処理（ステップＳ１２）を行っていることになる。

このように、第１の閾値Ｔｈ１は第１の条件を左右するパラメータであり、第２の閾値Ｔｈ２は第２の条件を左右するパラメータということになり、この２つのパラメータの設定によって、最終的な判定結果は左右される。したがって、この２つのパラメータＴｈ１，Ｔｈ２をどのような値に設定するかは、最終的な判定の精度を向上させるために非常に重要である。また、差分画像に対するブロック分割の分割数も判定の精度を左右するパラメータになる。

ただ、実際には、定点カメラの設置場所が屋外か屋内か、本来の撮影視野内の背景が浜辺のような単純な景色か、都市のような複雑な景色か、撮影視野内を横切る移動物体の速度が歩行者程度のものか高速走行中の車両程度のものか、移動物体の画面内の大きさがどの程度のものか、といった様々な要因に基づいて、ブロック分割の数、パラメータＴｈ１，Ｔｈ２の最適値は変わるものである。したがって、実用上は、個々の定点カメラの設置環境や用途を考慮して、ブロック分割数、パラメータＴｈ１，Ｔｈ２の最適値を適宜設定するようにするのが好ましい。

一般論としては、ステップＳ５におけるブロック分割の総数は、少なくすればするほど変動検知の感度は高くなり、多くすればするほど変動検知の感度は低くなる。このため、分割数をあまり少なくすると、ごく一部の領域にだけ変化があった場合にも撮影視野変動として検出されることになり、車両などの通過を撮影視野変動として誤検出してしまう可能性が高くなる。逆に、分割数をあまり多くすると、背景に白壁などの景色が含まれていた場合には、実際には撮影視野変動が生じているのに、ステップＳ１３による変動検知が行われない検出漏れが発生する可能性が高くなる。

一方、ステップＳ８の判定で用いる第１の閾値Ｔｈ１は、小さく設定すればするほど変動量に関する検知感度が高くなるので、車両が通過した際に生じる微細な振動などを、撮影視野変動として誤検出してしまう可能性が高くなる。逆に、大きく設定すればするほど変動量に関する検知感度は低くなるので、カメラの向きがある程度大きく変化しないと、撮影視野変動としての検出は行われなくなる。

また、ステップＳ１２の判定で用いる第２の閾値Ｔｈ２は、小さく設定すればするほど変動分布に関する基準が低くなるので、大型トラックが通過したような場合に、これを撮影視野変動として誤検出してしまう可能性が高くなる。逆に、大きく設定すればするほど変動分布に関する基準が高くなるので、画面全体に分布するような変動が検出されないと、撮影視野変動としての検出は行われなくなる。

本願発明者が行った一般的な実験によると、ステップＳ２で入力する原画像Ｐ（ｉ）として、横３２０画素×縦２４０画素の解像度をもったカラービデオカメラで撮影された画像を用い、ステップＳ５におけるブロック分割を、横を８等分、縦を４等分するようにして、合計３２個のブロックを形成し、第１の閾値Ｔｈ１＝５０％、第２の閾値Ｔｈ２＝１０個（全ブロック数の３０％）という設定を行ったところ、様々な設置環境の定点カメラについて、撮影視野変動を正確に検知することができた。もちろん、上記特定の設定条件は、本願発明者が実験的に行った一例を示すものであり、本発明を実施するにあたっての設定条件が、上記特定の設定条件に限定されるものではない。

＜＜＜ §５． 本発明に係る撮影視野変動検知装置の構成 ＞＞＞
ここでは、§４で述べた変動検知方法を実施する機能をもった撮影視野変動検知装置１００の構成を図２４のブロック図を参照しながら説明する。この変動検知装置１００は、定点カメラなどの撮影視野に変動が生じたこと、すなわち、本来は、同一の場所において同一の視野を一定期間にわたって継続して撮影することを目的として設置されたカメラの向きが、不測の要因によって変化したことを検知するための装置である。

図示のとおり、この変動検知装置１００は、画像入力部１１０、前景領域抽出部１２０、前景画像格納部１３０、差分領域抽出部１４０、ブロック分割部１５０、占有割合算出部１６０、ブロック計数部１７０、変動判定部１８０、判定結果通知部１９０によって構成されている。以下、これらの各構成要素の機能を順に説明する。

画像入力部１１０は、カメラによる撮影画像を、時系列で連続的に与えられるフレーム単位の原画像Ｐとして入力するための構成要素である。たとえば、１秒間に３０フレームのレートで撮影を行うデジタルビデオカメラからの画像を入力する場合、１／３０秒の周期で連続的に与えられるフレーム画像をデジタルデータとして順次取り込む処理が行われる。ここでは、第ｉ番目のフレーム画像を原画像Ｐ（ｉ）と呼んで、以下の説明を行うことにする。

前述したとおり、本発明による変動検知処理は、コンピュータによる画像処理として実行されるため、アナログカメラからの画像を入力する場合は、入力時にデジタル画像に変換する処理が必要になる。また、カメラが撮影した画像がカラー画像の場合は、原画像Ｐ（ｉ）は、三原色の各画素値を有する画素の集合体データとして与えられる。なお、画像入力部１１０は、必ずしもカメラで撮影された画像をリアルタイムで取り込む必要はなく、既に撮影済みの録画画像を原画像Ｐとして取り込んでもかまわない。この場合、撮影を行ったカメラの撮影視野変動をリアルタイムで検出することはできないが、撮影済みの録画画像を解析することにより、どのタイミングで撮影視野変動が発生したかを特定する処理を行うことが可能になる。

前景領域抽出部１２０は、こうして入力された原画像Ｐ（ｉ）から前景領域ｆ（ｉ）を抽出し、抽出した前景領域ｆ（ｉ）を示す前景画像Ｆ（ｉ）を順次生成する処理を行う。この前景画像Ｆ（ｉ）は、前景領域ｆ（ｉ）とそれ以外の領域（背景領域ｂ（ｉ））とを区別する二値画像によって構成される。たとえば、図１に示す例の場合、原画像Ｐ１０〜Ｐ４０について、それぞれ前景画像Ｆ１０〜Ｆ４０が生成されることになる。

前景領域ｆ（ｉ）の抽出処理は、過去に入力された複数の原画像の平均的な特徴を有する画像を背景画像として求め、新たに入力された原画像について、背景画像と相違する領域を求めることによって行われる。前景領域抽出部１２０の具体的な構成例については後述する。

前景画像格納部１３０は、前景領域抽出部１２０によって生成された前景画像Ｆ（ｉ）を順次格納する機能を有する。もっとも、前景画像Ｆ（ｉ）は、差分領域を抽出する処理が行われるまでの間、一時的に格納されていれば足りるため、前景画像格納部１３０は、生成された前景画像Ｆ（ｉ）をすべて格納する記憶容量をもった装置（メモリ）で構成する必要はない。すなわち、前景画像格納部１３０は、個々の原画像Ｐ（ｉ）について生成された前景画像Ｆ（ｉ）のうち、少なくとも２組の最新前景画像を格納する機能をもっていればよい。

したがって、実用上は、図示のとおり、前景画像格納部１３０を、奇数番目のフレームの前景画像を格納する第１のフレームメモリ１３１と、偶数番目のフレームの前景画像を格納する第２のフレームメモリ１３２と、によって構成し、前景領域抽出部１２０が、新たに生成した前景画像によって、第１のフレームメモリ１３１と第２のフレームメモリ１３２とを交互に書き換える処理を行うようにすればよい。

具体的には、第１番目の前景画像Ｆ（１）が生成されたら、これを第１のフレームメモリ１３１に格納し、第２番目の前景画像Ｆ（２）が生成されたら、これを第２のフレームメモリ１３２に格納し、第３番目の前景画像Ｆ（３）が生成されたら、これを第１のフレームメモリ１３１に格納し（Ｆ（１）を書き換えてしまってかまわない）、第４番目の前景画像Ｆ（４）が生成されたら、これを第２のフレームメモリ１３２に格納し（Ｆ（２）を書き換えてしまってかまわない）、というように、交互に書き換える処理を行えばよい。そうすれば、前景画像格納部１３０内には、常に、時間軸上で隣接する２組の最新前景画像Ｆ（ｉ−１），Ｆ（ｉ）が格納された状態になる。

差分領域抽出部１４０は、前景画像格納部１３０に格納されている２組の最新前景画像Ｆ（ｉ−１），Ｆ（ｉ）についての差分領域ｄ（ｉ）を抽出し、抽出した差分領域ｄ（ｉ）を示す差分画像Ｄ（ｉ）を順次生成する処理を行う。たとえば、図１３に示す例は、２組の前景画像Ｆ３０，Ｆ３１について差分画像Ｄ３１を求めた例である。前述したとおり、この差分画像を求める処理は、対象となる２組の前景画像Ｆ（ｉ−１），Ｆ（ｉ）について幾何学的な排他的論理和を求める演算として行うことができる。

前景領域抽出部１２０によって生成された前景画像Ｆは、前景領域ｆを示す第１の画素値（たとえば「１」）と背景領域ｂを示す第２の画素値（たとえば「０」）とのいずれか一方の画素値をもった画素の集合体からなる二値画像として与えられる。そこで、差分領域抽出部１４０は、一方の前景画像Ｆ（ｉ−１）の所定位置の画素と他方の前景画像Ｆ（ｉ）の前記所定位置の画素とを読み出し、両者の画素値が同一か非同一かを判定する処理を行い、差分画像Ｄ（ｉ）を構成する前記所定位置の画素に対して、非同一との判定が得られた場合には差分領域ｄ（ｉ）を示す画素値（たとえば「１」）を、同一との判定が得られた場合には差分領域外を示す画素値（たとえば「０」）を、それぞれ与えることにより、二値画像からなる差分画像Ｄ（ｉ）を生成すればよい。

ブロック分割部１５０は、こうして生成された個々の差分画像Ｄ（ｉ）を複数のブロックに分割する処理を行う。図１５や図２０には、差分画像Ｄ（ｉ）を縦に４分割、横に５分割して、合計２０個のブロックに分割した例が示されている。ここに示す例のように、画像入力部１１０が、矩形状の輪郭をもった原画像Ｐ（ｉ）を入力すれば、前景領域抽出部１２０が生成する前景画像Ｆ（ｉ）も矩形状の輪郭をもった画像になり、差分領域抽出部１４０が生成する差分画像Ｄ（ｉ）も矩形状の輪郭をもった画像になる。このような一般的な例の場合、ブロック分割部１５０は、この矩形状の輪郭をもった差分画像Ｄ（ｉ）を縦にＮ分割、横にＭ分割することにより、Ｎ×Ｍ個の矩形状のブロックに分割すればよい。

もちろん、本発明で取り扱う原画像Ｐは、必ずしも矩形状の輪郭をもった画像である必要はなく、たとえば、魚眼レンズなどを組み込んだ全方位カメラで撮影された円形画像であってもかまわない。また、ブロック分割の方法も、必ずしも縦にＮ分割、横にＭ分割する必要はなく、たとえば、同心円状や放射状に分割してもよいし、正六角形のブロックに分割してもかまわない。ただ、矩形状の輪郭をもった一般的な撮影画像を原画像として入力する場合は、上例のように、縦にＮ分割、横にＭ分割すれば、各画素の座標位置を求める演算負担が軽減される。

占有割合算出部１６０は、得られた個々のブロックごとに、それぞれ差分領域ｄ（ｉ）が占める占有割合Ｈを算出する処理を行う。たとえば、差分領域抽出部１４０が、差分領域ｄ（ｉ）を示す画素値を「１」、差分領域外を示す画素値を「０」とする差分画像Ｄ（ｉ）を生成した場合、個々のブロックごとに、画素値「１」をもつ画素を計数し、当該ブロック内の全画素数に対する割合を求めればよい。その結果、図１６や図２１に％値として例示するような占有割合が算出される。

ブロック計数部１７０は、こうして算出された占有割合Ｈに基づいて、占有割合Ｈが第１の閾値Ｔｈ１以上となるブロックを急変ブロックと認識し、個々の差分画像Ｄ（ｉ）ごとに、急変ブロックの数ｋを計数する。図１６，図１７，図２１，図２２において太枠で示したブロックが急変ブロックであり、ブロック計数部１７０は、個々の差分画像Ｄ（ｉ）ごとにその総数を計数することになる。

変動判定部１８０は、この急変ブロックの数ｋが第２の閾値Ｔｈ２以上となる差分画像Ｄ（ｉ）が得られたときに、当該差分画像Ｄ（ｉ）に対応する原画像Ｐ（ｉ）が撮影されたタイミングで、撮影視野に変動が生じたものと判定する。この判定結果は、判定結果通知部１９０により外部に通知される。

このように、図２４に示す変動検知装置１００は、時系列で連続的に与えられるフレーム単位の原画像Ｐを順次入力して、個々の原画像Ｐに対応する差分画像Ｄに基づいて変動の有無を判定する処理を実行し、判定結果を出力する機能を有している。このような処理は、実際には、コンピュータに専用のプログラムを組み込むことにより実現することができ、図２４に示す変動検知装置１００は、ハードウエアとしてのコンピュータとこれに組み込まれたソフトウエアとの有機的結合体として構成することができる。あるいは、それと同等の機能を果たす装置を、半導体集積回路によって構成することも可能である。特に、図２４に示す変動検知装置１００の各構成要素が行う演算処理は、加算、乗算、比較演算といった比較的演算負担の軽い処理であるため、比較的安価なＣＰＵを組み込んだ半導体集積回路でも十分に構成することができる。

なお、ブロック分割部１５０においてブロックを分割する際のブロック分割数、ブロック計数部１７０において急変ブロックか否かを判定する基準として用いられる第１の閾値Ｔｈ１、変動判定部１８０において撮影視野に変動が生じたか否かを判定する基準として用いられる第２の閾値Ｔｈ２は、§４で述べたとおり、判定精度を左右するパラメータになるので、カメラの設置環境などに応じた最適値を適宜設定するようにするのが好ましい。そこで、ブロック分割部１５０、ブロック計数部１７０、変動判定部１８０には、オペレータの操作によって、上記各パラメータ値を所望の値に設定できるような設定機能を設けておくのが好ましい。

続いて、図２４に示す前景領域抽出部１２０の詳細な構成例を、図２５を参照しながら説明する。前景領域抽出部１２０の役割は、過去に入力された複数の原画像Ｐの平均的な特徴を有する平均画像Ａを背景画像として求め、新たに入力された原画像Ｐについて、この平均画像Ａと相違する前景領域ｆを抽出し、抽出した前景領域ｆを示す前景画像Ｆを生成することにある。このような処理を行うために、図２５に示す前景領域抽出部１２０は、図示のとおり、原画像格納部１２１、平均画像作成部１２２、平均画像格納部１２３、画像比較部１２４、パラメータ設定部１２５を有している。

ここで、原画像格納部１２１は、図２４に示す画像入力部１１０によって入力された原画像Ｐを逐次格納する構成要素である。一方、平均画像作成部１２２は、過去に入力された複数の原画像Ｐに基づいて、これら原画像の平均的な特徴を有する平均画像Ａを逐次作成する構成要素であり、平均画像格納部１２３は、作成された平均画像Ａを逐次格納する構成要素である。

原画像Ｐがカラー画像の場合、平均画像作成部１２２は、第ｉ番目の原画像Ｐ（ｉ）が入力されたときに（ｉ＝１，２，...）、当該原画像Ｐ（ｉ）を含めた過去の原画像について、それぞれ対応する位置の画素の各色別の画素値の重みづけ平均値を算出し、当該平均値をもつ画素の集合体からなる第ｉ番目の平均画像Ａ（ｉ）を背景画像として作成し、平均画像格納部１２３に格納する処理を行うことになる。

原画像格納部１２１や平均画像格納部１２３は、バッファメモリによって構成することができる。平均画像作成部１２２が、図３に示す方法で重みｗをパラメータとして平均画像Ａを逐次作成し、これを平均画像格納部１２３に格納してゆくようにすれば、原画像格納部１２１には、常に処理に必要な最新の原画像Ｐのみが格納されるようにし、平均画像格納部１２３には、常に処理に必要な最新の平均画像Ａのみが格納されるようにすればよいので、バッファメモリの容量を節約することができる。

具体的には、平均画像作成部１２２が、最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の平均画像Ａ（１）として平均画像格納部１２３へ格納する処理を行い、以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の平均画像Ａ（ｉ）を、
ａ（ｉ）＝（１−ｗ）・ａ（ｉ−１）＋ｗ・ｐ（ｉ）
（但し、ａ（ｉ）は、平均画像Ａ（ｉ）の
所定位置の画素の所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
前記所定位置の画素の前記所定色の画素値、
ｐ（ｉ）は、原画像Ｐ（ｉ）の
前記所定位置の画素の前記所定色の画素値、
ｗは、所定の重みを示すパラメータ（ｗ＜１））
なる演算式を用いて作成すればよい。

一方、画像比較部１２４は、平均画像格納部１２３に格納されている平均画像Ａを背景画像として、原画像格納部１２１に格納されている原画像Ｐと比較し、相違する部分を前景領域ｆ、それ以外の部分を背景領域ｂと認識し、前景領域ｆと背景領域ｂとを区別する二値画像として、前景画像Ｆを生成する機能を果たす構成要素である。要するに、画像比較部１２４は、図２に示すとおり、第（ｉ＋１）番目の原画像Ｐ（ｉ＋１）が入力されたときに、当該原画像Ｐ（ｉ＋１）と、第ｉ番目の平均画像Ａ（ｉ）とを比較し、第（ｉ＋１）番目の前景画像Ｆ（ｉ＋１）を作成する処理を行うことになる。実際には、生成された前景画像Ｆは、図２４に示す前景画像格納部１３０内のフレームメモリ１３１，１３２のいずれか一方に格納されることになる。

図２５には、この画像比較部１２４を、画素値読出部１２４Ａ、類否判定部１２４Ｂ、画素値書込部１２４Ｃによって構成した具体例が示されている。以下、これらの各構成要素の機能を順に説明する。

画素値読出部１２４Ａは、比較対象となる一対の画像（すなわち、原画像格納部１２１に格納されている原画像Ｐと、平均画像格納部１２３に格納されている平均画像Ａ）のうち、いずれか一方の画像の所定位置の画素の画素値を基準画素値（Ｒ，Ｇ，Ｂ）として読み出し、他方の画像の対応位置の画素の画素値を比較画素値（ｒ，ｇ，ｂ）として読み出す処理を行う。

既に述べたとおり、図８に示すモデルを採用する場合は、平均画像Ａの画素の画素値を基準画素値（Ｒ，Ｇ，Ｂ）として読み出し、原画像Ｐの画素の画素値を比較画素値（ｒ，ｇ，ｂ）として読み出すことになる。これに対して、図９に示すモデルを採用する場合は、逆に、原画像Ｐの画素の画素値を基準画素値（Ｒ，Ｇ，Ｂ）として読み出し、平均画像Ａの画素の画素値を比較画素値（ｒ，ｇ，ｂ）として読み出すことになる。

類否判定部１２４Ｂは、比較画素値（ｒ，ｇ，ｂ）が、基準画素値（Ｒ，Ｇ，Ｂ）について設定された所定の類似範囲に入っているか否かを判定する処理を行う。具体的には、図１０に示すように、三原色の各画素値を各座標軸にとった三次元座標系において、基準画素値（Ｒ，Ｇ，Ｂ）に対応する座標に位置する基準点Ｑ（Ｒ，Ｇ，Ｂ）と比較画素値（ｒ，ｇ，ｂ）に対応する座標に位置する比較点ｑ（ｒ，ｇ，ｂ）をとり、基準点Ｑを中心とする所定サイズの回転楕円体Ｅと比較点ｑとの位置関係を調べ、比較点ｑが回転楕円体Ｅの外部に位置すると判定できる場合には類似範囲外との判定を行い、内部に位置すると判定できる場合には類似範囲内との判定を行う。このとき、回転楕円体Ｅのサイズは、パラメータｍ，ｎを参照して決定される。

そして、画素値書込部１２４Ｃは、前景画像Ｆを構成する所定位置（画素値読出部１２４Ａの読出対象となった位置）の画素の画素値として、類否判定部１２４Ｂの判定結果に応じた値を定め、図２４に示す前景画像格納部１３０内のフレームメモリ１３１，１３２のいずれか一方に書き込む処理を行う。すなわち、類否判定部１２４Ｂが類似範囲内と判定した場合には背景領域ｂを示す画素値（たとえば、「０」）を、類否判定部１２４Ｂが類似範囲外と判定した場合には前景領域ｆを示す画素値（たとえば、「１」）を、それぞれ前景画像格納部１３０内のフレームメモリ１３１もしくは１３２に書き込む処理を行う。

一方、パラメータ設定部１２５は、平均画像作成部１２２による平均画像作成処理に利用されるパラメータｗ（図３に示す重みｗ）と、類否判定部１２４Ｂの類否判定処理に利用されるパラメータｍ，ｎ（図１０に示す長軸半径αおよび短軸半径βを決定するための値）とを、ユーザの操作入力によって任意の値に設定する機能を有する。ユーザは、必要に応じて、これらパラメータｗ，ｍ，ｎの値を調整することにより、より精度の高い検出結果を得ることができる。もっとも、これらのパラメータの一部もしくは全部は、固定値にしておくことも可能である。全部のパラメータ値を固定値にする実施例では、パラメータ設定部１２５を設ける必要はない。

＜＜＜ §６． 本発明に係る撮影視野変動検知装置の応用例 ＞＞＞
本発明に係る撮影視野変動検知装置は、カメラによる撮影画像を、時系列で連続的に与えられるフレーム単位の原画像として入力して解析し、カメラの撮影視野の変動を検知する処理を行う機能をもった装置である。ここでは、この撮影視野変動検知装置を定点監視システムおよび画像処理システムに応用した実施形態を述べることにする。

図２６は、本発明に係る定点監視システムの構成例を示すブロック図である。図示のとおり、このシステムは、定点カメラ１０、モニタ装置２０、変動検知装置１００によって構成されている。定点カメラ１０は、所定の視野内の撮影画像を時系列で連続的に与えられるフレーム単位の原画像として出力するカメラであり、一般的な監視カメラとして利用されているデジタルビデオカメラによって構成することができる。

もちろん、この定点カメラ１０には、向きを制御する機構が組み込まれていてもかまわない。本発明にいう「定点カメラ」とは、同一の場所において同一の視野を一定期間にわたって継続して撮影することができるカメラであればよいので、特定箇所を継続して監視する用途等に利用できれば、遠隔操作等によって向きを調整する機能をもったカメラでもかまわない。

モニタ装置２０は、定点カメラ１０で撮影された画像をリアルタイムで表示する機能をもった装置であり、たとえば、一般的な液晶ディスプレイなどで構成することができる。このように、定点カメラ１０にモニタ装置２０を組み合わせた定点監視システムは、ごく一般的に広く利用されているシステムである。図２６に示す定点監視システムは、この一般的なシステムに、更に変動検知装置１００を付加したものである。この変動検知装置１００は、図２４に示す装置であり、定点カメラ１０の撮影視野の変動を検知する機能を有している。定点カメラ１０が撮影したフレーム単位の画像は、モニタ装置２０に与えられるとともに、変動検知装置１００にも与えられ、定点カメラ１０の撮影視野の変動が検知される。

特に、図２６に示す実施形態の場合、変動検知装置１００内の変動判定部１８０が、撮影視野に変動が生じたものと判定した場合に、変動検知装置１００内の判定結果通知部１９０が、オペレータに対する変動警報を発する機能を有している。変動警報としては、たとえば、警報ブザーを鳴動させるような音による警報手段や、赤ランプを点灯あるいは点滅させるような光による警報手段を採用することができる。モニタ装置２０を監視しているオペレータは、このような変動警報により、定点カメラ１０の向きに異常が生じたことを認識することができる。

もちろん、オペレータが単一のモニタ画面のみを注視しているような場合には、撮影視野が変動したときに、モニタ画面上の情報から異常発生を直ちに認識することができるかもしれないが、ビルの警備室などのように、多数の定点カメラからの撮影画像を多数のモニタ画面に表示しながら監視する環境では、１つの定点カメラの撮影視野に異常が発生したことを直ちに認識することは困難である。したがって、変動検知装置１００からの変動警報は、オペレータに異常発生を認識させる上で非常に有益である。

図２７は、本発明に係る定点監視システムの別な構成例を示すブロック図である。このシステムは、定点カメラ１０、モニタ装置２０、変動検知装置１００に加えて、更に画像記録装置３０を備えており、定点カメラ１０で撮影された画像は、モニタ装置２０、画像記録装置３０、変動検知装置１００に与えられる。モニタ装置２０は、定点カメラ１０で撮影された画像をリアルタイムで表示する機能をもった装置であり、画像記録装置３０は、定点カメラ１０の撮影画像を記録する機能をもった装置である。また、変動検知装置１００は、図２４に示す装置であり、定点カメラ１０の撮影視野の変動を検知する機能を有している。

この図２７に示す定点監視システムでは、変動検知装置１００内の変動判定部１８０が、撮影視野に変動が生じたものと判定した場合に、変動検知装置１００内の判定結果通知部１９０が、画像記録装置３０に対して撮影画像の記録を中止させるための記録中止信号を与える機能を有している。画像記録装置３０は、起動後の通常動作状態では、定点カメラ１０による撮影画像を逐次記録してゆく処理（録画処理）を行うことになるが、変動検知装置１００から記録中止信号が与えられると、そこで録画処理を中止する機能をもっている。

したがって、たとえば、定点カメラ１０によって、図１８に原画像Ｐ１０〜Ｐ３０として示すような画像が撮影された場合、原画像Ｐ１０〜Ｐ３０までは画像記録装置３０によって記録されるが、原画像Ｐ３１が撮影された時点で、変動検知装置１００によって撮影視野の変動が検知され、記録中止信号が出される。したがって、それ以降の撮影画像（不適切な撮影視野についての撮影画像）の記録は中止される。

もちろん、図２６に示す実施形態と同様に、変動検知装置１００にオペレータに対する変動警報を行う機能をもたせておけば、記録中止信号が出力されたときに、オペレータに対して変動警報がなされることになるので、オペレータは異常発生により録画処理が中止されたことを認識することができる。オペレータが、定点カメラ１０の向きを正常に戻した後、システムを再起動すれば、再び、画像記録装置３０による録画処理が続行する。

防犯の目的で利用される監視システムでは、画像記録装置３０に長時間の記録を行うことが多く、通常は記録容量を抑制するために古い画像データから消去するような処理が行われる。このように、ハードウエア的に限られた記録容量を有効利用する上では、無駄な画像データの記録を避けることは重要である。図２７に示すシステムでは、撮影視野に変動が生じた場合、録画処理が中止されるので、不適切な撮影視野についての撮影画像が無駄に記録されることを防ぐことができ、限られた記録容量を有効利用することができる。

なお、撮影画像の記録のみを行い、リアルタイムでの監視が不要な場合には、図２７に示すシステムにおけるモニタ装置２０は省略することができる。

図２８は、本発明に係る画像処理システムの構成例を示すブロック図である。図示のとおり、このシステムは、定点カメラ１０、モニタ装置２０、画像処理装置４０、変動検知装置１００によって構成されている。図２７に示すシステムと同様に、定点カメラ１０は、所定の視野内の撮影画像を時系列で連続的に与えられるフレーム単位の原画像として出力するカメラであり、モニタ装置２０は、定点カメラ１０で撮影された画像をリアルタイムで表示する機能をもった装置である。また、変動検知装置１００は、図２４に示す装置であり、定点カメラ１０の撮影視野の変動を検知する機能を有している。

一方、画像処理装置４０は、定点カメラ１０から時系列で順次与えられる原画像に対して所定の画像処理を行う装置である。この画像処理装置４０としては、たとえば、§１で述べた前景領域抽出処理と同等の処理によって移動物体を認識する処理、認識した移動物体が車両である場合にはナンバーを認識する処理、認識した移動物体が人物である場合には顔を認識する処理などを行う装置を用いることができる。この画像処理装置４０による処理結果は、モニタ装置２０に表示することができる。

この画像処理システムの特徴は、定点カメラ１０による撮影画像が、モニタ装置２０および画像処理装置４０に与えられるとともに、変動検知装置１００へも与えられて変動検知が行われ、変動検知装置１００内の変動判定部１８０が、撮影視野に変動が生じたものと判定した場合に、変動検知装置１００内の判定結果通知部１９０が、画像処理装置４０に対して画像処理を中止させるための処理中止信号を与える点である。

画像処理装置４０は、定点カメラ１０の位置および向きが固定され、常に所定の撮影視野内を撮影することを前提として、撮影画像に対して何らかのアルゴリズムに基づく画像処理を実行する装置であるため、与えられた撮影画像が、本来想定していた撮影視野内の画像でなかった場合には、正しい処理を行うことができない。

たとえば、駐車場のゲートに設置された定点カメラ１０で、車両のナンバー付近を撮影視野として画像を撮影し、当該撮影画像に対して画像処理装置４０において画像処理を施し、車両のナンバーの情報を抽出する作業が行われる場合を考えてみよう。この場合、画像処理装置４０は、与えられる撮影画像が、車両のナンバー付近を撮影視野として得られた画像であるという前提で、車両のナンバーを検出する作業を行うことになる。したがって、不測の原因によって撮影視野が変動してしまうと、正しい検出作業を行うことはできなくなり、誤った検出結果を出力する可能性がある。

このような場合でも、図２８に示すシステムでは、変動検知装置１００によって撮影視野の変動が検知され、画像処理装置４０に対して処理中止信号が与えられるので、画像処理装置４０によるナンバー検出処理は中止され、誤った検出結果が出力されることを防止することができる。このように、図２８に示す画像処理システムでは、撮影視野に変動が生じた時点で画像処理装置４０に対して処理を中止させることができ、不適切な画像処理が続行されることを防止することができる。

続いて、図２８に示す画像処理システムの変形例を図２９に示す。図２８に示す画像処理システムと図２９に示す画像処理システムとの相違点は、前者における定点カメラ１０を、後者では画像記録装置３５に置き換えた点だけである。すなわち、図２９に示す画像処理システムには、定点カメラは含まれていない。ただ、画像記録装置３５には、複数枚の原画像が時系列で記録されている。すなわち、画像記録装置３５内には、定点カメラ１０で撮影された所定の視野内の撮影画像が、時系列で連続的に与えられるフレーム単位の原画像として記録されている。

画像処理装置４０は、定点カメラ１０から与えられる画像に代えて、この画像記録装置３５に記録されている原画像を時系列に沿って順次読み出し、読み出した原画像に対して所定の画像処理を行うことになる。要するに、図２８に示す画像処理システムでは、定点カメラ１０によって撮影された画像が、画像処理装置４０内でリアルタイムで処理されるのに対して、図２９に示す画像処理システムでは、定点カメラ１０によって撮影された画像が、一旦、画像記録装置３５によって記録され、画像処理装置４０が、この画像記録装置３５内に記録されている画像に対して処理を行うことになる。

この図２９に示すシステムでは、画像処理装置４０が画像記録装置３５から読み出した原画像は、変動検知装置１００にも与えられ、変動検知装置１００内の変動判定部１８０が、撮影視野に変動が生じたものと判定した場合に、変動検知装置１００内の判定結果通知部１９０が、画像処理装置４０に対して画像処理を中止させるための処理中止信号を与えることになる。したがって、図２８に示すシステムと同様に、撮影視野に変動が生じた時点で画像処理装置４０に対して処理を中止させることができ、不適切な画像処理が続行されることを防止することができる。

なお、図２８または図２９に示す画像処理システムにおいて、画像処理のみを行い、モニタ画面上での確認を行う必要がない場合には、モニタ装置２０は省略することができる。

以上、本発明に係る撮影視野変動検知装置の応用例として、定点監視システムおよび画像処理システムを例示したが、本発明に係る撮影視野変動検知装置は、この他にも様々な用途に利用可能である。たとえば、定点カメラから撮影画像データを伝送するための伝送ケーブルや、通信回線に何らかのトラブルが生じて、撮影画像の伝送が途絶えた場合も（受信側では、いわゆる、真っ黒の画像が得られることになる）、本発明に係る撮影視野変動検知装置によって視野変動の検出が行われる。

同様に、伝送ケーブルや通信回線がノイズの影響を受け、伝送されてきた画像上にノイズが混入した場合にも、本発明に係る撮影視野変動検知装置によって視野変動の検出が行われる。したがって、本発明に係る撮影視野変動検知装置は、伝送ケーブルや通信回線の異常検出という一般的な用途にも利用することが可能である。

また、定点カメラの向きに変動が生じていなくても、たとえば、風で飛ばされたゴミ袋がカメラのレンズを覆ってしまったり、鳥の糞、ペンキ、その他の汚物がレンズに付着したような場合にも、本発明に係る撮影視野変動検知装置によって撮影視野の変動検知が行われる。このように、本発明に係る撮影視野変動検知装置によって検知可能な変動は、必ずしもカメラの向きの変動に限定されるものではなく、カメラの光学系の一部もしくは全部が何らかの障害物で覆い隠されたことに起因した撮影視野の変動も含まれる。

１０：定点カメラ
２０：モニタ装置
３０：画像記録装置
３５：画像記録装置
４０：画像処理装置
１００：変動検知装置
１１０：画像入力部
１２０：前景領域抽出部
１２１：原画像格納部
１２２：平均画像作成部
１２３：平均画像格納部
１２４：画像比較部
１２４Ａ：画素値読出部
１２４Ｂ：類否判定部
１２４Ｃ：画素値書込部
１２５：パラメータ設定部
１３０：前景画像格納部
１３１，１３２：フレームメモリ
１４０：差分領域抽出部
１５０：ブロック分割部
１６０：占有割合算出部
１７０：ブロック計数部
１８０：変動判定部
１９０：判定結果通知部
Ａ，Ａ（ｉ−１），Ａ（ｉ）：平均画像（背景画像）
Ａ，Ａ（Ｒａ，Ｇａ，Ｂａ）：平均画像の画素値を示す座標点
ａ（ｉ−１），ａ（ｉ）：平均画像を構成する１つの画素の画素値
Ｂ：三原色の画素値（基準画素値）
Ｂ１〜Ｂ２０：ブロック
ｂ：三原色の画素値（比較画素値）
ｂ，ｂ１０〜ｂ４０，ｂ（ｉ＋１）：背景領域
Ｃ：円柱モデルの円柱
Ｄ３１，Ｄ４０，Ｄ（ｉ）：差分画像
ｄ３１，ｄ４０，ｄ（ｉ）：差分領域
Ｅ，Ｅａ，Ｅｐ：回転楕円体
Ｆ，Ｆ１０〜Ｆ４０，Ｆ（ｉ−１），Ｆ（ｉ），Ｆ（ｉ＋１）：前景画像
ｆ，ｆ１０〜ｆ４０，ｆ（ｉ），ｆ（ｉ＋１）：前景領域
Ｇ：三原色の画素値（基準画素値）
ｇ：三原色の画素値（比較画素値）
Ｈ：占有割合
ｉ：画像の番号を示すパラメータ
ｊ：ブロックの番号を示すパラメータ
ｋ：急変ブロック数を示すパラメータ
Ｌ：円柱Ｃの長さ
Ｌａ１：回転楕円体Ｅａの長軸方向の長さ
Ｌａ２：回転楕円体Ｅａの短軸方向の長さ
Ｌｐ１：回転楕円体Ｅｐの長軸方向の長さ
Ｌｐ２：回転楕円体Ｅｐの短軸方向の長さ
ｍ：回転楕円体Ｅの長軸半径αを定めるパラメータ
ｎ：回転楕円体Ｅの短軸半径βを定めるパラメータ
Ｏ：三次元色空間を構成するＲＧＢ座標系の原点
Ｐ：原画像／原画像の画素値を示す座標点
Ｐ（１）〜Ｐ（ｉ），Ｐ（ｉ＋１），Ｐ１０〜Ｐ４０：原画像（入力画像）
Ｐ（Ｒｐ，Ｇｐ，Ｂｐ）：原画像の画素値を示す座標点
ｐ（ｉ）：原画像を構成する１つの画素の画素値
Ｑ：基準点（画素値（Ｒ，Ｇ，Ｂ）をもった座標点）
ｑ：比較点（画素値（ｒ，ｇ，ｂ）をもった座標点）
Ｒ：三原色の画素値（基準画素値）
ｒ：三原色の画素値（比較画素値）
Ｓ１１〜Ｓ１５：流れ図の各ステップ
Ｔｈ１，Ｔｈ２：閾値
Ｖ：基準画素値を示すベクトル
Ｖａ：平均画像の画素値を示すベクトル
Ｖｐ：原画像の画素値を示すベクトル
ｗ：重みを示すパラメータ
Ｚ，Ｚａ，Ｚｐ：基準軸
α：回転楕円体Ｅの長軸半径
β：回転楕円体Ｅの短軸半径
Δ：原点Ｏと基準点Ｑとの距離
δ：座標点間の距離
θ：角度

Claims (17)

1. カメラの撮影視野の変動を検知するための変動検知装置であって、
   カメラによる撮影画像を、時系列で連続的に与えられるフレーム単位の原画像として入力する画像入力部と、
   過去に入力された複数の原画像の平均的な特徴を有する画像を背景画像として求め、新たに入力された原画像について、前記背景画像と相違する前景領域を抽出し、抽出した前景領域を示す前景画像を生成する前景領域抽出部と、
   個々の原画像について生成された前景画像を格納する前景画像格納部と、
   前記前景画像格納部に格納されている２組の前景画像についての差分領域を抽出し、抽出した差分領域を示す差分画像を生成する差分領域抽出部と、
   生成された個々の差分画像を複数のブロックに分割するブロック分割部と、
   得られた個々のブロックごとに、それぞれ前記差分領域が占める占有割合を算出する占有割合算出部と、
   前記占有割合が第１の閾値以上となるブロックを急変ブロックと認識し、個々の差分画像ごとに、急変ブロックの数を計数するブロック計数部と、
   前記急変ブロックの数が第２の閾値以上となる差分画像が得られたときに、撮影視野に変動が生じたものと判定する変動判定部と、
   前記変動判定部による判定結果を通知する判定結果通知部と、
   を備えることを特徴とするカメラの撮影視野変動検知装置。
2. 請求項１に記載の変動検知装置において、
   前景領域抽出部が、
   入力された原画像を逐次格納する原画像格納部と、
   過去に入力された複数の原画像に基づいて、これら原画像の平均的な特徴を有する平均画像を逐次作成する平均画像作成部と、
   作成された平均画像を逐次格納する平均画像格納部と、
   前記平均画像格納部に格納されている平均画像を背景画像として、前記原画像格納部に格納されている原画像と比較し、相違する部分を前景領域と認識することにより、前記前景領域とそれ以外の背景領域とを区別する二値画像として、前景画像を作成する画像比較部と、
   を備えることを特徴とするカメラの撮影視野変動検知装置。
3. 請求項２に記載の変動検知装置において、
   画像入力部が、時系列で連続的に与えられるフレーム単位のカラー原画像を、三原色の各画素値を有する画素の集合体データとして入力し、
   平均画像作成部が、第ｉ番目の原画像Ｐ（ｉ）が入力されたときに（ｉ＝１，２，...）、当該原画像Ｐ（ｉ）を含めた過去の原画像について、それぞれ対応する位置の画素の各色別の画素値の重みづけ平均値を算出し、当該平均値をもつ画素の集合体からなる第ｉ番目の平均画像Ａ（ｉ）を背景画像として作成し、
   画像比較部が、第（ｉ＋１）番目の原画像Ｐ（ｉ＋１）が入力されたときに、当該原画像Ｐ（ｉ＋１）と、第ｉ番目の平均画像Ａ（ｉ）とを比較し、第（ｉ＋１）番目の前景画像Ｆ（ｉ＋１）を作成することを特徴とするカメラの撮影視野変動検知装置。
4. 請求項３に記載の変動検知装置において、
   平均画像作成部が、
   最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の平均画像Ａ（１）として平均画像格納部へ格納する処理を行い、
   以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の平均画像Ａ（ｉ）を、
   ａ（ｉ）＝（１−ｗ）・ａ（ｉ−１）＋ｗ・ｐ（ｉ）
   （但し、ａ（ｉ）は、平均画像Ａ（ｉ）の
   所定位置の画素の所定色の画素値、
   ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
   前記所定位置の画素の前記所定色の画素値、
   ｐ（ｉ）は、原画像Ｐ（ｉ）の
   前記所定位置の画素の前記所定色の画素値、
   ｗは、所定の重みを示すパラメータ（ｗ＜１））
   なる演算式を用いて作成することを特徴とするカメラの撮影視野変動検知装置。
5. 請求項３または４に記載の変動検知装置において、
   画像比較部が、
   比較対象となる一方の画像の所定位置の画素の画素値を基準画素値として読み出し、比較対象となる他方の画像の前記所定位置の画素の画素値を比較画素値として読み出す画素値読出部と、
   前記比較画素値が、前記基準画素値について設定された所定の類似範囲に入っているか否かを判定する類否判定部と、
   前景画像を構成する前記所定位置の画素の画素値として、前記類否判定部が類似範囲内と判定した場合には背景領域を示す画素値を、前記類否判定部が類似範囲外と判定した場合には前景領域を示す画素値を、それぞれ前景画像格納部に書き込む画素値書込部と、
   を有することを特徴とするカメラの撮影視野変動検知装置。
6. 請求項５に記載の変動検知装置において、
   類否判定部が、三原色の各画素値を各座標軸にとった三次元座標系において、基準画素値に対応する座標に位置する基準点Ｑと比較画素値に対応する座標に位置する比較点ｑをとり、前記基準点Ｑを中心とする所定サイズの立体と前記比較点ｑとの位置関係を調べ、前記比較点ｑが前記立体の外部に位置すると判定できる場合には類似範囲外との判定を行い、内部に位置すると判定できる場合には類似範囲内との判定を行うことを特徴とするカメラの撮影視野変動検知装置。
7. 請求項１〜６のいずれかに記載の変動検知装置において、
   前景画像格納部が、奇数番目のフレームの前景画像を格納する第１のフレームメモリと、偶数番目のフレームの前景画像を格納する第２のフレームメモリと、を有し、
   前景領域抽出部が、新たに生成した前景画像によって、前記第１のフレームメモリと前記第２のフレームメモリとを交互に書き換える処理を行うことを特徴とするカメラの撮影視野変動検知装置。
8. 請求項１〜７のいずれかに記載の変動検知装置において、
   前景領域抽出部が、前景領域を示す第１の画素値と背景領域を示す第２の画素値とのいずれか一方の画素値をもった画素の集合体からなる二値画像として前景画像を生成し、
   差分領域抽出部が、一方の前景画像の所定位置の画素と他方の前景画像の前記所定位置の画素とを読み出し、両者の画素値が同一か非同一かを判定する処理を行い、差分画像を構成する前記所定位置の画素に対して、非同一との判定が得られた場合には差分領域を示す画素値を、同一との判定が得られた場合には差分領域外を示す画素値を、それぞれ与えることにより差分画像を生成することを特徴とするカメラの撮影視野変動検知装置。
9. 請求項１〜８のいずれかに記載の変動検知装置において、
   画像入力部が、矩形状の輪郭をもった原画像を入力し、
   前景領域抽出部が、矩形状の輪郭をもった前景画像を生成し、
   差分領域抽出部が、矩形状の輪郭をもった差分画像を生成し、
   ブロック分割部が、前記矩形状の輪郭をもった差分画像を縦にＮ分割、横にＭ分割することにより、Ｎ×Ｍ個の矩形状のブロックに分割することを特徴とするカメラの撮影視野変動検知装置。
10. 請求項１〜９のいずれかに記載のカメラの撮影視野変動検知装置としてコンピュータを動作させるプログラム。
11. 請求項１〜９のいずれかに記載のカメラの撮影視野変動検知装置として機能する半導体集積回路。
12. 請求項１〜９のいずれかに記載の変動検知装置と、所定の視野内の撮影画像を、時系列で連続的に与えられるフレーム単位の原画像として出力する定点カメラと、を備え、前記定点カメラの撮影視野の変動を前記変動検知装置により検知することを特徴とする定点監視システム。
13. 請求項１２に記載の定点監視システムにおいて、
    変動検知装置内の変動判定部が、撮影視野に変動が生じたものと判定した場合に、変動検知装置内の判定結果通知部が、オペレータに対する変動警報を発することを特徴とする定点監視システム。
14. 請求項１２または１３に記載の定点監視システムにおいて、
    定点カメラの撮影画像を記録する画像記録装置を更に備え、
    変動検知装置内の変動判定部が、撮影視野に変動が生じたものと判定した場合に、変動検知装置内の判定結果通知部が、前記画像記録装置に対して撮影画像の記録を中止させるための記録中止信号を与えることを特徴とする定点監視システム。
15. 請求項１〜９のいずれかに記載の変動検知装置と、所定の視野内の撮影画像を、時系列で連続的に与えられるフレーム単位の原画像として出力する定点カメラと、前記定点カメラから時系列で順次与えられる原画像に対して所定の画像処理を行う画像処理装置と、を備え、
    前記定点カメラによる撮影画像が前記変動検知装置へ与えられ、前記変動検知装置内の変動判定部が、撮影視野に変動が生じたものと判定した場合に、前記変動検知装置内の判定結果通知部が、前記画像処理装置に対して画像処理を中止させるための処理中止信号を与えることを特徴とする画像処理システム。
16. 請求項１〜９のいずれかに記載の変動検知装置と、複数枚の原画像を時系列で記録した画像記録装置と、前記画像記録装置に記録されている原画像を時系列に沿って順次読み出し、読み出した原画像に対して所定の画像処理を行う画像処理装置と、を備え、
    前記画像記録装置内には、定点カメラで撮影された所定の視野内の撮影画像が、時系列で連続的に与えられるフレーム単位の原画像として記録されており、
    前記画像処理装置が前記画像記録装置から読み出した原画像は、前記変動検知装置にも与えられ、前記変動検知装置内の変動判定部が、撮影視野に変動が生じたものと判定した場合に、前記変動検知装置内の判定結果通知部が、前記画像処理装置に対して画像処理を中止させるための処理中止信号を与えることを特徴とする画像処理システム。
17. カメラの撮影視野の変動を検知する変動検知方法であって、
    カメラによる撮影画像を、時系列で連続的に与えられるフレーム単位の原画像として入力する原画像入力段階と、
    過去に入力された複数の原画像の平均的な特徴を有する画像を背景画像として求め、新たに入力された第ｉ番目（ｉ＝１，２，... ）の原画像Ｐ（ｉ）について、前記背景画像と相違する前景領域を抽出し、抽出した前景領域を示す前景画像Ｆ（ｉ）を順次生成する前景領域抽出段階と、
    生成された第ｉ番目（ｉ＝２，３，... ）の前景画像Ｆ（ｉ）と第（ｉ−１）番目の前景画像Ｆ（ｉ−１）とについて差分領域を抽出し、抽出した差分領域を示す差分画像Ｄ（ｉ）を順次生成する差分領域抽出段階と、
    生成された個々の差分画像Ｄ（ｉ）を複数のブロックに分割するブロック分割段階と、
    得られた個々のブロックごとに、それぞれ前記差分領域が占める占有割合を算出する占有割合算出段階と、
    前記占有割合が第１の閾値以上となるブロックを急変ブロックと認識し、個々の差分画像ごとに、急変ブロックの数を計数するブロック計数段階と、
    前記急変ブロックの数が第２の閾値以上となる差分画像が得られたときに、撮影視野に変動が生じた旨の検知を行う変動検知段階と、
    をコンピュータが実行することを特徴とするカメラの撮影視野変動検知方法。

Images