JP4229154B2 - 画像処理方法 - Google Patents

Description

本発明は、画像処理方法に関する。
より詳細には、監視カメラが所定の監視場所を撮像して得られた映像から、不審物や不審者を検出するために適用して好適な技術に関する。

従来より、監視カメラによって撮像された映像を所定の監視モニタを介して視認することにより、所定の監視対象を監視する監視システムが知られている。
このような監視カメラにおいては、監視対象となる場所が多くなるにつれ、２４時間監視者がモニタを監視し続けることは困難である。また、監視カメラに接続されるビデオレコーダにおいても、必要最低限の映像のみ記録する等、実稼働時間を短縮する必要に迫られている。
このため、機械が入力画像から不審物或は不審者を検出する技術の確立が求められている。
例えば銀行のＡＴＭ等においては、人体を検出するセンサさえあれば比較的容易に上述のような要求を満たすことができる。
ところが、海辺のような、遠くの景色から不審船等を検出する場合は、このようなセンサは使用できない。
特開２００６−１４２１５号公報 特開平１０−３２８２２６号公報

従来、このような状況においては、特許文献１に記載されているような、直前の画像データとの比較を行う、という手法が多く採用されていた。
映像中に物体が進入すると、映像データ中におけるその物体の部分は、明るさが変わる。したがって、映像内で輝度値に差異がある領域を差異領域として検出することで、物体の検知が可能になる。ところが、海、砂漠、草原、空等の自然の風景の場合、検知対象である物体以外の水、砂、草、雲なども動いている。このため、これらを直前の画像データと比較して異なっているとして、誤って検知してしまう、という問題があった。

この問題を解決する一つの方法として、例えば特許文献２に記載される技術が挙げられる。
特許文献２には、現在の時刻に撮影された画像と、過去に撮影された画像との差分値を作成し、閾値処理によって二値化する。その際に、過去の差分値の累積結果を基に閾値を変動させた背景画像を作成する。こうして、背景画像中に存在する木や水面による揺らぎの誤検出の低減を試みている。
しかしながら、この技術では、木の揺らぎ等による輝度値の変化が大きいときには、閾値が大きくなりすぎる場合が十分考えられる。そのような場合、肝心の侵入者等が侵入してきたときに検出漏れが生じてしまう虞がある。

本発明はかかる点に鑑みてなされたものであり、海、砂漠、草原等、主に自然現象等によって撮影画像に揺らぎが生じるような場所を監視対象とする監視カメラによって得られる画像データから、不審者或は不審物等の侵入を安定して行うことのできる画像処理方法を提供することを目的とする。

上記課題を解決するために、本発明の画像処理方法は、入力画像データを均等な面積且つ一定の形状の分割領域データに分割する第一のステップと、第一のステップにおいて入力画像データから分割された分割領域データ毎に特徴量を計算する第二のステップと、各分割領域データ毎の特徴量と、予め取得した複数のサンプルの背景特徴量との距離を計算する第三のステップと、第三のステップにて得られた距離に基づいて、複数のサンプルの背景特徴量のいずれかに近い距離の値であれば背景であると判定し、複数のサンプルの背景特徴量のいずれにも近くない距離の値であれば背景でないと判定して判定結果を出力する第四のステップと、第四のステップにて得られた複数の判定結果から不審物の有無を判定した結果を出力する第五のステップとを含むものである。

発明者は、海のような自然の風景は一定の規則性を持ちながら動く撮影対象に対して背景と不審物等を判別するには、従来技術において周知の、直前の画像データとの比較による方法は不適当であると判断した。そこで、発明者は入力された画像データのみを用いて背景と不審物等を判別する技術を模索した。その結果、背景と不審物等の判別のための技術として、画像データを所定の領域に分割し、その領域毎に特徴量を計算し、これを所定の値との距離を計算することを思いついた。
仮に、画像データ全体が背景であるならば、その画像データを分割しても、それぞれの分割領域の特徴量は殆ど変わらない。この技術思想による画像処理方法であれば、海や空など、自然現象によって生じる変化があっても、これを含めて一定の特徴を有する背景と判別することができる。

本発明により、特に海や草原等の、一定の揺らぎを伴う風景を監視する監視装置において、海の波や空の雲などの自然現象も誤認識せずに背景と認識できる、優れた画像処理方法を提供できる。

以下、本発明の実施の形態を、図１〜図２１を参照して説明する。

［１．実施形態の概略］
図１は、本発明の実施形態の共通概念よりなる、監視装置の全体ブロック図である。図１（ａ）は実際の装置の中身に即したブロック図であり、図１（ｂ）は機能を中心に見た仮想的なブロック図である。
図１（ａ）において、監視装置１０１は撮像カメラ１０２から得られる画像データから不審物の存在の有無を検出し、不審物の有無を知らせる二値信号（アラーム出力）か、または所定の処理を施した画像信号を出力するものである。撮像カメラ１０２は例えばＣＣＤ撮像素子等からなる、画像信号を出力する周知のカメラである。出力される画像信号は、例えばＨＤＤ等の大容量ストレージや、通信回線等で他のホスト装置へ送出される。
監視装置１０１は主にマイクロコンピュータよりなる。マイクロコンピュータを構成するＣＰＵ１０３、ＲＯＭ１０４、ＲＡＭ１０５とバス１０６は、撮像カメラ１０２から得られる画像データに所定の処理を行って、出力インターフェース１０７を通じて所定の信号等を出力する。
なお、図１（ａ）の構成は、この後詳述する各実施形態全てに共通の構成である。

図１（ｂ）において、実体がＲＡＭ１０５である画像保存部１１２と、ＲＡＭ１０５或はＲＯＭ１０４等よりなる所定値１１５を除いて、各部はマイクロコンピュータ上にて実行されるソフトウェアプログラムである。これらソフトウェアはＲＯＭ１０４に格納されている。
撮像カメラ１０２から得られる画像信号は、入力静止画像データとして画像保存部１１２に保存される。
領域分割部１１３は画像保存部１１２内の入力静止画像データに対し、均等な面積と形状を備える矩形状の分割領域を与える。
特徴量算出部１１４は、領域分割部１１３によって分割された画像保存部１１２内の入力静止画像データの各領域毎に、特徴量データを作成する。
所定値１１５は、特徴量算出部１１４によって得られた特徴量データ或はこれに基づく所定のデータの比較対象を提供する。そして、距離計算部１１６は特徴量算出部１１４によって得られた特徴量データ或はこれに基づく所定のデータと、所定値１１５との距離の計算を行う。
距離計算部１１６の演算結果は、二値のアラーム、或は画像データとしてストレージやネットワーク等に出力される。
なお、図１（ｂ）の構成は、この後詳述する各実施形態全てに共通の概念である。

ここで特徴量とは、画像の模様、或は質感である。一般的な描画ソフトウェア等において「テクスチャ（texture）」と呼ばれるものとほぼ同義である。
草原であれば、緑色の濃淡が斜め方向に放物線状に多数存在する。
穏やかな海面であれば、濃青色を基調として、日光を反射する水平線に平行な細かい模様や、波しぶき等の白色の部分が一面に多数存在する。
これら自然の風景は、人工的に作成されたタイル等の、機械的に一定の模様を形成しているものではない。しかし、ランダムなばらつきを有するものの、一定の類似する模様のような特徴を形成していると認められる。草原に波しぶきは存在しないし、穏やかな海面に斜め方向の濃淡は存在しないのである。
これら自然の風景は時刻と共に自然現象によって動く。したがって、従来技術のように単純に時間差を伴う複数の静止画像を比較しただけでは、本来的に背景であるにもかかわらずそれが動いているもの、すなわち不審物であると誤認識してしまう。
本実施形態においては、この「動く背景」に対し、「背景のテクスチャ」を捉えることにより、時間軸上の変化に惑わされず、背景を背景としっかり認識する技術を提供する。
背景のテクスチャ或は背景の模様を捉える、ということは、背景の中に存在する異物の特徴も捉えることができることを意味する。これが特徴量の算出である。
入力画像データを均等な細かい領域に分割し、それぞれの分割領域毎に特徴量を算出する。算出した各々の分割領域毎の特徴量のうち、背景の特徴量から逸脱した値を示すものは、不審物が存在する領域であると判断する。このために、サンプルの特徴量と目的とする分割領域の特徴量がどれだけ似ているか、似ていないかを計算する。これが「距離の計算」である。最終的には、得られた距離を所定の閾値と比較する等して、背景であるか否かを判定する。これは、従来より周知である、単一の画素同士の輝度の差を計算する技術思想の延長である。
以上が、全実施形態における共通の概念である。
特徴量とはどのように得るのか、特徴量同士の距離計算とはどのように行うのかについては、後述する。

［２．第１の実施の形態］
これより第１の実施形態を説明する。始めに本実施形態の概略を説明する。本実施形態では、予めサンプルの画像データを与え、そこから背景部分を手作業で指定し、その特徴量を保持しておく。そして、その後装置が本稼動すると入力画像データの分割領域毎に保持している背景サンプルの特徴量データと比較する。
図２は、本発明の第１の実施形態よりなる監視装置のブロック図である。図１（ｂ）の内容に基づくものである。
撮像カメラ１０２から得られる入力静止画像データは、一旦画像保存部１１２に保存される。
領域分割部１１３は入力静止画像データを分割領域毎に細かく分割する。
特徴量算出部１１４は分割された各々の画像データの特徴量計算を行う。
一方、背景特徴量保存部２０２は、予め操作者の操作によって特定された背景領域の特徴量を保存している。
距離計算部１１６は、特徴量算出部１１４から得られる各分割領域毎の特徴量と、背景特徴量保存部２０２内に保存されている背景特徴量との距離を計算する。距離計算部１１６による距離計算の結果、背景でないと判断された分割領域は、不審物が存在するものと判断し、アラーム出力をする。

背景特徴量保存部２０２には、表示部２０３と入力部２０４が接続されている。
表示部２０３は例えばＬＣＤ等の、周知のディスプレイ装置である。
入力部２０４は例えばマウス等の、周知のポインティングデバイスである。
背景特徴量保存部２０２は、サンプルとなる背景の特徴量を保存するものである。本装置の本稼動の前に、予めサンプルとなる入力画像データを表示部２０３にて表示し、そこに入力部２０４によって背景を取得する範囲を入力する。そして、特徴量算出部１１４にて特徴量を算出し、これを保存する。

図３（ａ）、（ｂ）及び（ｃ）は、入力画像データを例示して第１の実施形態による監視装置の動作の概略を示すイメージ図である。
図３（ａ）において、入力画像データとして、海３０２と空３０３と不審物である船３０４を含む画像データ３０１がある。これは画像保存部１１２に保存されている。
図３（ｂ）において、背景特徴量保存部２０２では、操作者の操作により、入力画像データを表示部２０３にて表示し、入力部２０４にて背景部分を囲む。図３（ａ）の点線で囲まれている範囲が、操作者による入力部２０４の操作によって入力された背景部分領域である。この領域を、特徴量算出部１１４にて算出し、背景特徴量保存部２０２に保存しておく。図３（ａ）では、空の部分と海の部分とで二つの背景サンプルＢ（１）とＢ（２）が保存されている。
図３（ｃ）において、入力画像データは領域分割部１１３にて細かく分割され、それぞれの領域に対して特徴量算出部１１４が特徴量を算出する。図３（ｃ）では、Ｓ（１）〜Ｓ（２５）迄の２５個の分割領域が設けられている。
距離計算部１１６は、背景サンプルと分割領域の距離を計算する。この計算は一つずつ順番に行われる。つまり、
背景サンプルＢ（１）と分割領域Ｓ（１）との距離を計算し、
背景サンプルＢ（２）と分割領域Ｓ（１）との距離を計算し、
背景サンプルＢ（１）と分割領域Ｓ（２）との距離を計算し、
背景サンプルＢ（２）と分割領域Ｓ（２）との距離を計算し、
という演算作業を順番に行い、最後に
背景サンプルＢ（１）と分割領域Ｓ（２５）との距離を計算し、
背景サンプルＢ（２）と分割領域Ｓ（２５）との距離を計算して終了する。

図４と図５と図６にて、これら動作をより詳細に説明する。
図４は、第１の実施形態にかかる監視装置の、実稼動に先立つ前処理を示すフローチャートである。
処理を開始すると（Ｓ４０１）、サンプルとなる入力静止画像データをＲＡＭに取り込む（Ｓ４０２）。
次に、入力静止画像データを表示部２０３にて表示する（Ｓ４０３）。
操作者はこれを目視で確認しながら、入力部２０４を操作して背景領域のアドレス範囲を入力する（Ｓ４０４）。
入力が確定されると、指定されたアドレス範囲をＲＡＭ等に保存する（Ｓ４０５）。
そして、サンプルの入力静止画像データから指定されたアドレス範囲のピクセルを抜き出し、特徴量を算出し、保存し（Ｓ４０６）、終了する（Ｓ４０７）。

図５と図６は、第１の実施形態にかかる監視装置の、実稼動状態を示すフローチャートである。
処理を開始すると（Ｓ５０１）、サンプルとなる入力静止画像データをＲＡＭに取り込む（Ｓ５０２）。
次に、領域分割部１１３にて分割した各分割領域毎の特徴量を、特徴量算出部１１４にて算出する（Ｓ５０３）。
これ以降は、算出した各領域毎の特徴量と背景サンプルとの距離を順番に計算する処理である。
最初に変数ｉを１に初期化する（Ｓ５０４）。変数ｉは各領域毎の特徴量を特定する変数である。
次に変数ｊを１に初期化する（Ｓ５０５）。変数ｊは背景サンプルを特定する変数である。
そして、背景サンプルＢ（ｊ）と、分割領域特徴量Ｓ（ｉ）との距離を計算する（Ｓ５０６）。
次に、距離計算の結果得られた距離を、予め別途保持している閾値と比較する（Ｓ５０７）。距離が閾値以上であれば、フラグ変数ｆ（ｉ）を１に上げる（Ｓ５０８）。フラグ変数ｆ（ｉ）は、分割領域と同じ数だけ設けられている変数であり、１でフラグが上がっているものとされ、０でフラグが下りているものとされる。なお、距離が閾値以上でなければ、フラグｆ（ｉ）を０に下げる（Ｓ５０９）。

次に、変数ｊが最大値に達したか否かを検証する（Ｓ６１０）。図４の場合であれば、背景サンプルは二つなので、ｊが２に達したか否かを見ることとなる。ｊが最大値であれば、全ての背景サンプルと現在検証対象としている分割領域との距離の計算が終わったことになるので、変数ｉをインクリメントする（Ｓ６１１）。つまり、次の分割領域の評価に移行する。ｊが最大値でなければ、まだ距離の計算が残っている背景サンプルがあるので、ｊをインクリメントする（Ｓ６１２）。
フラグを下ろした後、変数ｉを検証する（Ｓ６１３）。検証の結果、最大値でなければ、ｉをインクリメントする（Ｓ６１４）。これは、フラグを下ろした、ということは、距離計算による検証の結果、当該分割領域が背景であるものと判断されたことに因る。図４の例では、最初に空の背景サンプルとの距離を計算した結果、それが空であるものと判断されたら、次に海の背景サンプルとの距離を計算する必要はない。このため、次の背景サンプルとの距離計算処理をスキップするためにこの処理を行うものである。
変数ｉが最大値に達していれば、全ての分割領域に対して距離計算が終了したことを意味する。そこで、フラグ変数ｆ（ｉ）を全て見て、フラグが上がっている変数があるか否かを検証する（Ｓ６１５）。
検証の結果、フラグが全く上がっていなければ、全ての分割領域は背景であり、不審物は存在しないと判断できる。
逆に検証の結果、フラグが一つでも上がっているものがあれば、当該分割領域は背景ではなく、不審物はそこに存在するものと判断できる。
不審物の存在が認められたら、アラームを出力して（Ｓ６１６）、終了する（Ｓ６１７）。

本実施形態においては、予め背景のサンプルを手作業で指定する。このため、背景の特徴量が変化すると、これに追従できない、という欠点がある。例えば海を監視する場合においては、海が天候によって荒れたり、撮像カメラ１０２が撮影角度を移動したりして空と海との配置関係が変わったりすると、誤認識を引き起こしてしまうだろう。
しかしながら、これら特徴を十分に把握した上で、適切な監視対象に対して適切な設置を行えば、本実施形態は十分にその機能を発揮し得る。背景特徴量があまり変わらない監視対象であったり、撮像カメラ１０２を固定して運用する場合、あるいは背景特徴量が変わった際に再度背景サンプルを入力し直してもよいような場合には、この方法を用いてもよい。

ところで、分割領域の大きさをどう決定するかは、監視対象によって若干異なる。例えば、複雑な模様を形成する背景に対してあまり小さ過ぎる分割領域を設定しても、特徴量を適切に演算できるとはいえない。しかし、検出したい不審物の大きさが小さい場合には、あまり大き過ぎる分割領域を設定しても、得られる特徴量にその変化が現れ難くなってしまう。したがって、最適な分割領域面積は監視対象に応じて変更する必要がある。このため、監視装置を実稼動させる前に予め試験的に分割領域面積を変更しながら試験運転を行い、最適値を決定するとよいだろう。

以上に説明したことをまとめる。
本実施形態の監視装置２０１は、主にマイクロコンピュータ上で稼動するソフトウェアよりなる。
入力静止画像データが監視装置２０１に入力されると、これを画像保存部１１２（実体はＲＡＭ１０５）内に保存する。その領域分割部１１３にて均等な面積形状に分割された後、特徴量算出部１１４にて特徴量データを分割領域毎に作成する。次に、得られた特徴量データを、予め手入力により範囲を設定され、演算処理後保持されている所定値１１５との距離を計算し、得られた「距離」を所定の閾値と比較する。閾値に満たない距離の領域は、背景であるものと判断する。そして、背景と判断された分割領域を示すフラグを下ろす。
以上の処理により、入力静止画像データから特徴量演算と距離計算を経て、背景の領域とそれ以外の部分の領域とを判別することができる。

［２．１．特徴量演算方法］
ここで、特徴量の演算方法を説明する。
特徴量とは、一定の範囲の画像データを読み込み、その画像データに現れている特長を数値化したものである。
画像データの特徴とは様々なものが考えられる。色度、彩度、模様等多岐に渡る。したがって、単一のスカラ量であることはあり得ず、沢山の要素よりなる行列で表される。
図７（ａ）、（ｂ）及び（ｃ）は本発明にて説明する全ての実施形態に共通に利用可能である特徴量演算方法の一つ、色ヒストグラムを説明する概略図である。
図７（ａ）は入力画像データのサンプルを示す。入力画像データ７０１には、海７０２が全体に広がっており、その中に不審物である船７０３が存在する。不審物は黒色のピクセルよりなる。
図７（ｂ）は図７（ａ）に示した入力画像データのサンプルのうち、海の部分を拡大したものを示す。海７０２には波しぶき７０４が生じている。海水７０５の部分は青色のピクセルにて、波しぶき７０４の部分は白色のピクセルにてなる。
図７（ｃ）は全ての色成分を行列にしたものである。図７（ａ）の入力画像データに存在する各ピクセルを、この行列７０６に該当する箇所の要素に一つずつ加算していく。すると、波しぶきを表現する白色の領域７０７と、海水を表現する青色の領域７０８と、不審物である船を表現する黒色の領域７０９に累積点が集中する。つまり、この三箇所において、周知のガウス曲面のような曲面が形成されるものと思っていただければよいだろう。
以上説明したように、色ヒストグラムは、カラー画像データ中の各ピクセル毎に、色の出現頻度を計数したものである。画像を構成する色の粒をばらばらにして、同じ色素毎にかき集めたと考えても良いだろう。このため、生成したデータには模様の概念が失われることとなる。

図８（ａ）、（ｂ）、（ｃ）及び（ｄ）は本発明にて説明する全ての実施形態に共通に利用可能である特徴量演算方法の一つ、周波数解析を説明する概略図である。
図８（ａ）は、入力画像データの一部８０１を示す。これは図７（ｂ）で示したものと同じ、入力画像データのサンプルのうち、海の部分を拡大したものを示す。更に、図８（ｂ）はその一部分を更に拡大して、波しぶきの一部を示す。波しぶきに該当するピクセルは明るく、海水に該当するピクセルは暗い。この、各ピクセル８０２の輝度を取得する。
図８（ｃ）は、入力画像データを構成する各ピクセルの明度を左側から右側へ順番にプロットしたものの一例を示す。海水に該当する箇所は輝度が低く、波しぶきに該当する箇所は輝度が高いことがわかる。そして、このようにして得られる図形を、あたかも信号のようにみなし、その周波数成分を解析するのが、周波数解析である。
図８（ｄ）は、その周波数解析の結果の一例を示す。図８（ｃ）でプロットした波形をフーリエ解析し、横軸に周波数、縦軸にレベルを取る。最終的には、このようにして得られたデータを行列とする。つまり、画像データの輝度を波形化したものの周波数成分よりなる行列である。
以上説明したように、周波数解析は、画像データ中の各ピクセル毎に、輝度の変化を波形と見立てて周波数成分を分析すべく、フーリエ変換したものである。このため、濃淡のパターン、転じて所定の模様のパターンが周波数成分となって表現されることとなる。

図９は、同時生起確率行列の概要を説明するための図である。
図９（ａ）において、Ｐ１とＰ２は画像データ中の任意の二つのピクセルである。ピクセルＰ１からピクセルＰ２へは、距離ｒと角度θだけ離れている。このｒとθを相対位置関数δとする。δ＝（ｒ，θ）と表す。
図９（ｂ）において、δ１＝（１，０°）である場合、ピクセルＰ１に対してピクセルＰ２は隣り合う次のピクセルを指し示す。
図９（ｃ）において、δ１＝（１，９０°）である場合、ピクセルＰ１に対してピクセルＰ２は隣り合う真上のピクセルを指し示す。
同時生起確率行列は、この一定の相対位置関数δだけ離れている二点のピクセルの輝度の組み合わせを、輝度を要素数とする正方行列に加算する仕組みである。

図１０に、説明のために簡素化した画像データと簡素化した同時生起確率行列を示す。
図１０（ａ）において、４×４の１６ピクセルよりなる画像データ内の各ピクセルは、０〜３迄の４段階の輝度を有する。
図１０（ｂ）は、４段階の輝度よりなる４×４の正方行列である同時生起確率行列である。ここで、相対位置関数δ＝（ｒ，θ）＝（１，０°）の関係にて、図１０（ａ）の画像データから同時生起確率行列を作成する手順を以下に示す。
図１０（ａ）の（ｘ，ｙ）＝（０，０）をピクセルＰ１とすると、ピクセルＰ２は（ｘ，ｙ）＝（１，０）となる。このとき、ピクセルＰ１の輝度ｉは０、ピクセルＰ２の輝度ｊは０である。したがって、（ｉ，ｊ）＝（０，０）に１を加える。更に、往復カウントを行うので、（ｉ，ｊ）＝（０，０）に１を加える。
図１０（ａ）の（ｘ，ｙ）＝（１，０）をピクセルＰ１とすると、ピクセルＰ２は（ｘ，ｙ）＝（２，０）となる。このとき、ピクセルＰ１の輝度ｉは０、ピクセルＰ２の輝度ｊは１である。したがって、（ｉ，ｊ）＝（０，１）に１を加える。更に、往復カウントを行うので、（ｉ，ｊ）＝（１，０）に１を加える。
以上のように、相対位置関数δだけ離れている各ピクセルの輝度の組み合わせに相当する行列の要素をカウントアップする動作を、全てのピクセルに対して行う。つまり、この正方行列は、二つのピクセルの輝度の組み合わせの出現回数を示す、カウンタの行列である。
なお、往復カウントをするか否かは設計者の任意である。

同時生起確率行列はその性質上、相対位置関数を複数取って、それぞれに複数の行列を生成することが望まれる。画像を構成する模様が水平や垂直とは限らないからである。最低でも縦と横の相対位置関数は取ることが望ましい。

これら特徴量演算方法により、沢山の数値データよりなる行列よりなる特徴量が、入力画像データの分割領域毎に作成される。
得られた特徴量を、予め保持している所定のサンプル値や他の特徴量と比較して、「距離」を算出する。この演算を特徴量距離計算といい、後述する。
なお、以上に例示列挙した特徴量演算方法のいずれを採用するかは、得られる特徴量の精度と演算量とのトレードオフにて、設計者が決定する。

［２．２．特徴量距離計算方法］
以上説明した特徴量演算方法により、入力画像データの分割領域毎に特徴量が作成される。これらは全て沢山の数値データよりなる行列である。
行列データ同士を比較するにはどうするか。ここで、求めたい値とは、二つの行列データの類似度である。前述の第１の実施形態にあっては、サンプル背景データの特徴量を構成する行列データと、分割領域の特徴量を構成する行列データである。
行列データの類似度を得るための方法は従来より様々な方法知られている。以下に例示列挙する。
（１）行列の各要素毎に差を取り、得られた行列の各要素の総和を取る方法（ＳＡＤ: Sum of Absolute Difference)。
（２）行列の各要素毎に差を取り、得られた行列の各要素を二乗し、その後各要素の総和を取る方法（ＳＳＤ: Sum of Squared Difference）。
（３）行列の各要素をベクトルの成分として捉え、行列同士の内積を取る方法。すなわち、行列の各要素同士の積を取り、得られた行列の各要素の総和を取る方法（内積: Normalization）。

これら特徴量の比較演算により、最終的には単一のスカラ値よりなる「距離」が得られる。
得られた距離を予め保持している所定の閾値と比較して、所定の判断を行う。
なお、例示列挙した特徴量距離計算方法のいずれを採用するかは、得られる距離の精度と演算量とのトレードオフにて、設計者が決定する。

以上に述べた特徴量演算方法と特徴量距離計算方法は、前述の第１の実施形態、そして後述する第２、第３、第４、第５の全ての実施形態において共通に選択して利用可能な技術である。すなわち、いずれの実施形態においても、特徴量演算方法として色ヒストグラム、周波数解析、同時生起確率行列のいずれを採用してもよいし、特徴量距離計算方法としてＳＡＤ、ＳＳＤ、内積のいずれを採用してもよい。

［３．第２の実施の形態］
図１１は、本発明の第２の実施形態よりなる監視装置のブロック図である。図１（ｂ）の内容に基づくものである。なお、第１の実施形態を説明した図２と共通の部分については、重複を避けるために説明を割愛する。
第２の実施形態の、第１の実施形態と異なる部分は、背景特徴量保存部２０２の代わりに平均値保存部１１０２が設けられている点である。
平均値保存部１１０２は、特徴量算出部１１４から得られる各分割領域毎の特徴量の平均値を保存する。
距離計算部１１６は、特徴量算出部１１４から得られる各分割領域毎の特徴量と、平均値保存部１１０２内に保存されている平均値との距離を計算する。距離計算部１１６による距離計算の結果、背景でないと判断された分割領域は、不審物が存在するものと判断し、アラーム出力をする。

図１２（ａ）、（ｂ）及び（ｃ）は、入力画像データを例示して第２の実施形態による監視装置の動作の概略を示すイメージ図である。
図１２（ａ）において、入力画像データとして、海１２０２と不審物である船１２０４を含む画像データ１２０１がある。
図１２（ｂ）において、平均値保存部１１０２には、特徴量算出部１１４にて算出された、各分割領域毎の特徴量Ｓ（１）〜Ｓ（２５）の平均値が格納される。つまり、全ての分割領域の特徴量の総和を、分割領域の数で割った値である。
距離計算部１１６は、平均値と分割領域との距離を計算する。この距離計算は一つずつ順番に行われる。つまり、
平均値Ｂと分割領域Ｓ（１）との距離を計算し、
平均値Ｂと分割領域Ｓ（２）との距離を計算し、
という演算作業を順番に行い、最後に、
平均値Ｂと分割領域Ｓ（２５）との距離を計算して終了する。

図１３と図１４は、第２の実施形態にかかる監視装置の動作を示すフローチャートである。
処理を開始すると（Ｓ１３０１）、サンプルとなる入力静止画像データをＲＡＭに取り込む（Ｓ１３０２）。
次に、領域分割部１１３にて分割した各分割領域毎の特徴量を、特徴量算出部１１４にて算出する（Ｓ１３０３）。
そして、得られた全ての各分割領域毎の特徴量から、平均値を算出する（Ｓ１３０４）。
これ以降は、算出した各領域毎の特徴量と平均値との距離を順番に計算する処理である。
最初に変数ｉを１に初期化する（Ｓ１３０５）。変数ｉは各領域毎の特徴量を特定する変数である。
そして、平均値Ｂと、分割領域特徴量Ｓ（ｉ）との距離を計算する（Ｓ１３０６）。
次に、距離計算の結果を、予め別途保持している閾値と比較する（Ｓ１３０７）。距離が閾値以上であれば、フラグ変数ｆ（ｉ）を１に上げる（Ｓ１３０８）。フラグ変数ｆ（ｉ）は、分割領域と同じ数だけ設けられている変数であり、１でフラグが上がっているものとされ、０でフラグが下りているものとされる。

次に、変数ｉを検証する（Ｓ１４０９）。検証の結果、最大値でなければ、ｉをインクリメントする（Ｓ１４１０）。変数ｉが最大値に達していれば、全ての分割領域に対して距離計算が終了したことを意味する。そこで、フラグ変数ｆ（ｉ）を全て見て、フラグが上がっている変数があるか否かを検証する（Ｓ１４１１）。
検証の結果、フラグが全く上がっていなければ、全ての分割領域は背景であり、不審物は存在しないと判断できる。
逆に検証の結果、フラグが一つでも上がっているものがあれば、当該分割領域は背景ではなく、不審物はそこに存在するものと判断できる。
不審物の存在が認められたら、アラームを出力し（Ｓ１４１２）、終了する（Ｓ１４１３）。

以上に説明したことをまとめる。
本実施形態の監視装置１１０１は、主にマイクロコンピュータ上で稼動するソフトウェアよりなる。
入力静止画像データが監視装置１１０１に入力されると、これを画像保存部１１２（実体はＲＡＭ１０５）内に保存する。その領域分割部１１３にて均等な面積形状に分割された後、特徴量算出部１１４にて特徴量データを分割領域毎に作成する。その後、全分割領域の特徴量データの平均を算出し、平均値保持部１１０２（実体はＲＡＭ１０５）内に保存する。次に、得られた特徴量データと、平均値保持部１１０２内の平均値との距離を計算し、この結果得られた距離を所定の閾値と比較する。閾値に満たない距離の領域は、背景であるものと判断する。そして、背景と判断された分割領域を示すフラグを下ろす。
以上の処理により、入力静止画像データから特徴量演算と距離計算を経て、背景の領域とそれ以外の部分の領域とを判別することができる。

［４．第３の実施の形態］
図１５（ａ）及び（ｂ）は、本発明の第３の実施形態よりなる監視装置のブロック図である。図１（ｂ）の内容に基づくものである。なお、第２の実施形態を説明した図１１と共通の部分については、重複を避けるために説明を割愛する。
図１５（ａ）において、第３の実施形態の、第２の実施形態と異なる部分は、特徴量算出部１１４と比較部１５０４との間にクラスタリング処理部１５０３が設けられ、比較部１５０４はこのクラスタリング処理部１５０３と閾値１５０２とを比較している点である。
クラスタリング処理部１５０３は、特徴量算出部１１４から得られる各分割領域毎の特徴量同士の距離を計算し、距離が近いと判断できる分割領域同士、すなわち類似すると判断できる分割領域同士を類似する画像であるとみなしてグルーピング化する、「クラスタリング」という処理を行う。この処理により、各々の類似する分割領域は同じ画像部分に属する集合として分類される。
比較部１５０４は、クラスタリング処理部１５０３から得られる各分割領域の集合の要素数と閾値１５０２とを比較する。比較部１５０４による比較の結果、背景でないと判断された分割領域の集合は、不審物が存在するものと判断し、アラーム出力をする。

図１５（ｂ）は図１５（ａ）のクラスタリング処理部１５０３の内部構成を示すブロック図である。
距離計算対象設定部１５１３は、特徴量算出部１１４から得られた特徴量１５１２の、どの特徴量同士を距離計算の対象とするか、決定する。
距離計算部１５１４は、距離計算対象設定部１５１３によって選択された二つの特徴量同士の距離を計算する。
比較部１５１６は、距離計算部１５１４より得られた距離を、閾値１５１５と比較する。この比較結果は、二つの領域を併合するか否かの判定に繋がる。
グルーピング処理部１５１７は、比較部１５１６の比較結果に応じて、二つの領域を併合し、或は併合せずそのままにする。
以上、一連の処理を通じて、分割領域毎の特徴量は幾つかの類似する特徴量同士の群に分類される。この処理の後、特徴量の群の数を表すデータは、比較部１５０４にて閾値１５０２と比較され、背景であるか否かの判定に繋がる。

図１６（ａ）、(ｂ)、(ｃ)及び（ｄ）は、入力画像データを例示して第３の実施形態による監視装置の動作の概略を示すイメージ図である。
入力画像データとして、海と不審物である船を含む画像データ１６０１がある。
クラスタリング処理部１５０３は、特徴量算出部１１４にて算出された、各分割領域毎の特徴量Ｓ（１）〜Ｓ（２５）を全て見比べて、類似する領域をまとめる処理を行う。
先ず、図１６（ａ）の、画像データ１６０１を分割した領域の一番左上の領域Ｓ（１）と、その隣の領域Ｓ（２）との距離を、距離計算部１５１４にて計算する。距離計算の結果得られた二つの特徴量の距離を、別途予め用意している閾値１５０２と比較して、互いの分割領域が類似するものであるか否かを判断する。図１６（ａ）では、領域Ｓ（１）とＳ（２）は両方とも海の部分であるので、その特徴量は類似するため、距離は近い。そこで、同じ模様であるとみなし、一つにまとめる。これが図１６（ｂ）に示す処理である。つまり、領域Ｓ（１）とＳ（２）を一つにして、境界線を消去する概念である。
図１６（ｂ）から更に隣り合う領域同士の距離計算と、得られた距離と閾値１５０２との比較による類似判断を進めていく。すなわち、図１６（ｃ）に示すように、類似する画像の分割領域の境界線が次々と消去されるイメージである。
最後には、図１６（ｄ）に示すように、他の分割領域とは特徴量が大きく異なり、距離が遠いと認められる分割領域Ｓ（１２）、Ｓ（１３）及びＳ（１４）が残る。これが、不審物が存在する領域となる。

図１７は、第３の実施形態にかかる監視装置の動作を示すフローチャートである。
処理を開始すると（Ｓ１７０１）、サンプルとなる入力静止画像データをＲＡＭに取り込む（Ｓ１７０２）。
次に、領域分割部１１３にて分割した各分割領域毎の特徴量を、特徴量算出部１１４にて算出する（Ｓ１７０３）。
そして、得られた全ての各分割領域毎の特徴量を基に、クラスタリング処理を行う（Ｓ１７０４）。クラスタリング処理の結果、分割領域は類似する領域同士にまとめられる。
次に、領域の面積、すなわち類似する領域を構成する分割領域の数と、閾値１５０２とを比較し、背景と認められない狭い領域があるか否かを検証する（Ｓ１７０５）。
検証の結果、全ての領域を構成する分割領域の数が閾値１５０２以上であれば、全ての分割領域は背景であり、不審物は存在しないと判断できる。
逆に検証の結果、特定の領域を構成する分割領域の数が閾値１５０２に満たないものがあれば、当該領域は背景ではなく、不審物はそこに存在するものと判断できる。
不審物の存在が認められたら、アラームを出力し（Ｓ１７０６）、終了する（Ｓ１７０７）。

以上に説明したことをまとめる。
本実施形態の監視装置１５０１は、主にマイクロコンピュータ上で稼動するソフトウェアよりなる。
入力静止画像データが監視装置１５０１に入力されると、これを画像保存部１１２（実体はＲＡＭ１０５）内に保存する。次に、領域分割部１１３にて均等な面積形状に分割された後、特徴量算出部１１４にて特徴量データを分割領域毎に作成する。その後、クラスタリング処理部１５０３にて、全分割領域の特徴量データ同士の距離を計算し、得られた距離が小さい領域同士を同じ模様の領域であると判断し、それらを統合する、クラスタリング処理を行う。こうして、複数の分割領域が幾つかの領域の集合体に分類される。
次に、分類された複数の分割領域の集合体を構成する分割領域の数を、所定の閾値１５０２と比較する。閾値１５０２以上の数の分割領域よりなる集合は、背景であるものと判断する。そして、背景と判断された分割領域を示すフラグを下ろす。
以上の処理により、入力静止画像データから特徴量演算と比較演算を経て、背景の領域とそれ以外の部分の領域とを判別することができる。

［５．第４の実施の形態］
図１８（ａ）、（ｂ）及び（ｃ）は、本発明の第４の実施形態よりなる監視装置の動作の概略を例示して示すイメージ図と、全体ブロック図である。
図１８（ａ）において、入力画像データ１８０１には、海１８０２と空１８０３と、海に浮かぶ不審物としての船１８０４が存在する。この海１８０２は遠方を撮影した風景であり、入力画像データ１８０１中の海の部分の下の方と水平線近傍とでは、実際の距離は大きく異なる。このために、海面上に生じている波しぶきは、手前のものは大きく、遠方のものは小さく見える。すなわち、撮影された静止画像データ上に海が全体では一様な模様を構成していない。
このような入力画像データ１８０１を、全体を対象として評価すると、精緻な結果を得難い。
そこで、図１８（ｂ）に示すように、入力画像データ１８０１を水平線方向に複数に分割し、水平分割領域１８０５、１８０６、１８０７、１８０８、１８０９及び１８１０を作成する。
この、分割した画像データのそれぞれの水平分割領域に対して、特徴量演算や比較等を行う。

この技術思想を実現するためのブロック図を図１８（ｃ）に示す。これは図１（ｂ）と殆ど同じである。図１８（ｃ）に示される監視装置１８１１の、図１（ｂ）の監視装置１０１と異なる点は、領域分割部１８１３が、水平領域分割部１８１３ａと小領域分割部１８１３ｂに区分されている点である。
実際の演算処理は、第１の実施形態、第２の実施形態及び第３の実施形態にて説明した処理を、水平分割領域１８０５、１８０６、１８０７、１８０８、１８０９及び１８１０に対して実施することとなる。
なお、水平領域分割部１８１３ａの分割幅をどのように設定するかは、処理対象となる入力画像データ１８０１の状態と、処理に要する演算量とのトレードオフにて、設計時点或は装置の実稼動前に決定される。
第１の実施形態乃至第３の実施形態による処理の結果が芳しくないときに、本実施形態を試みる、という処理の流れであってもよい。

以上に説明したことをまとめる。
本実施形態の監視装置１８１１は、主にマイクロコンピュータ上で稼動するソフトウェアよりなる。
入力静止画像データが監視装置１８１１に入力されると、これを画像保存部１１２（実体はＲＡＭ１０５）内に保存する。次に、領域分割部１１３内の水平領域分割部１８１３ａにて水平線に平行な方向に分割された後、小領域分割部１８１３ｂにて均等な面積形状の小領域に分割される。その後、特徴量算出部１１４による特徴量演算と、距離計算部１１６による距離計算を、水平分割領域毎に行う。
水平分割領域毎に、評価対象である小分割領域が背景か否かを判断する。そして、背景と判断された小分割領域を示すフラグを下ろす。
以上の処理により、入力静止画像データから特徴量演算と距離計算を経て、背景の領域とそれ以外の部分の領域とを判別することができる。

［６．第５の実施の形態］
図１９は、本発明の第５の実施形態よりなる監視装置のブロック図である。
図１９において、監視装置１９０１内の分割領域判定部１９０２は、図１（ｂ）の監視装置１０１と同じである。すなわち、この部分では前述の第１、第２、第３、第４のいずれかの実施形態と同じ機能が稼動する。
分割領域判定部１９０２からは、領域分割部１１３にて分割された入力画像データの各分割領域毎に、不審物の存在の有無を記すフラグのデータの集合が、距離計算部１１６を通じて出力される。
タイマ１９０３は、分割領域判定部１９０２を定時間隔で稼動させるトリガを出力する。
分割領域フラグ保存部１９０４はＲＡＭよりなり、分割領域判定部１９０２から出力されるフラグのデータの集合を複数記憶する。
不審物領域移動量・方向算出部１９０５は、分割領域フラグ保存部１９０４に記憶されている複数のフラグのデータの集合同士を比較して、不審物と思しき領域が移動しているか否か、また移動しているとすればその移動方向を算出し、移動していると認められればアラームを出力する。

図２０（ａ）及び（ｂ）は、入力画像データを例示して第５の実施形態による監視装置の動作の概略を示すイメージ図である。フラグの集合体のイメージを示すものでもある。
分割領域判定部１９０２によって、入力画像データに対して分割領域毎に不審物であるか否かを示すフラグの集合が出力される。図２０（ａ）中、０は不審物でない、つまり背景であると判断された分割領域を示し、１は不審物であると判断された分割領域を示す。
通常、不審物は移動する。移動しない不審物は存在し得ないだろう。したがって、分割領域判定部１９０２を一定時間間隔毎に稼動させ、出力されるフラグの集合を比較すれば、不審物を示す分割領域が移動することがわかる。図中、不審物と判断された領域は時間の経過と共に移動している。
つまり、従来技術で行っていた、時間間隔を置いた静止画像同士の比較を、生の静止画像の代わりに本実施形態による背景の判定技術に基づく分割領域のフラグにて比較する。
背景を判定することにより、背景が動くことによる誤認識を排除し、従来技術よりはるかに高い精度にて不審物の移動を検出することができる。

図２１は、第５の実施形態にかかる監視装置の動作を示すフローチャートである。
処理を開始すると（Ｓ２１０１）、サンプルとなる入力静止画像データをＲＡＭに取り込む（Ｓ２１０２）。
次に、前述の第１、第２、第３及び第４の実施形態にて説明した分割領域の判定処理を行う（Ｓ２１０３）。すなわち、入力静止画像データを領域分割部１１３にて分割し、各分割領域毎に特徴量を計算し、全ての各分割領域毎の特徴量を基に、距離計算を行う。こうして、各分割領域毎に背景であるか不審物であるかが判定される。そして、判定の結果得られた各分割領域のフラグの集合を、分割領域フラグ保存部１９０４（ＲＡＭ１０５）に記憶する（Ｓ２１０４）。
次に、ＲＡＭ１０５内に直前のフラグの集合があるか否か確認する（Ｓ２１０５）。直前のフラグの集合がなければ、最初に行った判定結果であるので、タイマ１９０３によるインターバルを経て、再び入力静止画像データを取り込んで一連の処理を行う。
直前のフラグの集合があれば、各々のフラグの集合同士を比較する（Ｓ２１０６）。比較の結果、一定値以上の差異があれば（Ｓ２１０７）、それは不審物の移動を示しているので、アラームを出力する（Ｓ２１０８）。

以上に説明したことをまとめる。
本実施形態の監視装置１８１１は、主にマイクロコンピュータ上で稼動するソフトウェアよりなる。
分割領域判定部１９０２は、タイマ１９０３より発生するトリガに呼応して、入力静止画像データを画像保存部１１２（実体はＲＡＭ１０５）内に保存する。入力静止画像データは領域分割部１１３にて均等な面積形状に分割された後、特徴量算出部１１４にて特徴量データを分割領域毎に作成する。次に、得られた特徴量データを、所定値１１５との距離を計算し、得られた距離を所定の閾値と比較する。閾値に満たない距離の領域は、背景であるものと判断する。そして、背景と判断された分割領域を示すフラグを下ろす。
以上の過程にて得られたフラグの集合体を、タイマ１９０３が発するトリガに呼応して、分割領域フラグ保存部１９０４に順次保存する。保存された一定時間間隔毎のフラグの集合体を不審物領域移動量・方向算出部１９０５が比較して、移動している不審物の有無を判定する。
以上の処理により、入力静止画像データから特徴量演算と比較演算を経て、背景の領域とそれ以外の部分の領域とを判別することができる。

本実施形態には、以下のような応用例が考えられる。
（１）マイクロコンピュータによる実装の代わりに、プログラマブル・ロジック・デバイス（Programmable Logic Device: ＰＬＤ）を用いてもよい。
（２）前述の第１、第２、第３及び第４の実施形態において、不審物と誤認識し易い背景部分を特徴量計算処理の対象から外す、除外処理を追加することができる。
（３）前述の第１、第２、第３、第４及び第５の実施形態を、単一の監視装置内で同時に複数稼動させることもできる。演算処理の結果得られた、各領域毎のフラグの集合は、全て論理積にて併合したり、或いは加算処理の後所定の閾値にて比較することができる。

本実施形態においては、静止画像データから背景とは異なる物体を判別することができる。この処理は従来技術において周知の、直前の画像データとの比較による手法とは異なり、入力された画像データのみを用いて判別する。このため、撮像カメラを旋回装置に設置して左右に回転駆動する監視の形態において特に好適である。
また、本実施形態では判別のために、画像データを所定の領域に分割して、分割領域毎に特徴量を計算する。そして各々の分割領域毎の特徴量と、所定の値との距離を計算する。このため、海や空など、自然現象によって生じる変化があっても、これを含めて一定の特徴を有する背景と判別することができる。
したがって、本実施形態の画像処理装置を撮像カメラと組み合わせることによって、従来技術と比べると、海の波や空の雲などの自然現象も誤認識せずに背景と認識できる、優れた監視装置を提供できる。

以上、本発明の実施形態例について説明したが、本発明は上記実施形態例に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含むことは言うまでもない。

本発明の実施の形態に共通する技術思想による画像処理装置の全体ブロック図である。 第１の実施の形態による画像処理装置の全体ブロック図である。 第１の実施の形態の動作を概略的に示すイメージ図である。 第１の実施の形態の監視装置の処理内容のうち、前処理を示すフローチャートである。 第１の実施の形態の監視装置の処理内容のうち、実稼動時の処理を示すフローチャートである。 第１の実施の形態の監視装置の処理内容のうち、実稼動時の処理を示すフローチャートである。 特徴量演算方法の一つである、色ヒストグラムを説明する概略図である。 特徴量演算方法の一つである、周波数解析を説明する概略図である。 特徴量演算方法の一つである、同時生起確率行列を説明する概略図である。 画像データと同時生起確率行列との関係を説明する概略図である。 第２の実施の形態による画像処理装置の全体ブロック図である。 第２の実施の形態の動作を概略的に示すイメージ図である。 第２の実施の形態の監視装置の処理内容を示すフローチャートである。 第２の実施の形態の監視装置の処理内容を示すフローチャートである。 第３の実施の形態による画像処理装置の全体ブロック図である。 第３の実施の形態の動作を概略的に示すイメージ図である。 第３の実施の形態の監視装置の処理内容を示すフローチャートである。 第４の実施形態による画像処理装置の動作を概略的に示すイメージ図と、全体ブロック図である。 第５の実施の形態による画像処理装置の全体ブロック図である。 第５の実施の形態の動作を概略的に示すイメージ図である。 第５の実施の形態の監視装置の処理内容を示すフローチャートである。

符号の説明

１０１…監視装置、１０２…撮像カメラ、１０３…ＣＰＵ、１０４…ＲＯＭ、１０５…ＲＡＭ、１０６…バス、１０７…出力インターフェース、１１２…画像保存部、１１５…所定値、１１３…領域分割部、１１４…特徴量算出部、１１５…所定値、１１６…距離計算部

Claims (1)

1. 入力画像データを均等な面積且つ一定の形状の分割領域データに分割する第一のステップと、
   前記第一のステップにおいて前記入力画像データから分割された前記分割領域データ毎に特徴量を計算する第二のステップと、
   前記各分割領域データの特徴量と、予め取得した複数のサンプルの背景特徴量との距離を計算する第三のステップと、
   前記第三のステップにて得られた距離に基づいて、前記複数のサンプルの背景特徴量のいずれかに近い距離の値であれば背景であると判定し、前記複数のサンプルの背景特徴量のいずれにも近くない距離の値であれば背景でないと判定して判定結果を出力する第四のステップと、
   前記第四のステップにて得られた複数の前記判定結果から不審物の有無を判定した結果を出力する第五のステップと
   を含む画像処理方法。

Images