JP4530175B2 - 画像処理装置、画像処理装置のはみ出し検知方法およびプログラム - Google Patents

Description

本発明は、人物の動画像を撮影する画像処理装置に関し、特に、撮影された画像から人物がはみ出していることを検知する画像処理装置に関する。

動画像を記録として残すために、ビデオカメラのような画像撮影装置で動画像を撮影することがある。動画像を記録として残すための画像撮影装置で撮影される画像には人物や人物の顔が含まれることが多い。そして、人物やその顔は、画像撮影装置で撮影される画像から、はみ出さないことが望ましい。しかし、動画像を撮影するとき、撮影される人物は静止しているとは限らず、通常は絶えず動いている。したがって、人物や顔が視野からはみ出すことが考えられる。そのため、ビデオカメラの撮影方向や撮影範囲は人物の動きに合わせて修正されることが望ましい。

従来、画像撮影装置により動画像を撮影するとき、視野から人物がはみ出さないように、または、はみ出した人物を再び視野内に入れるように、画像撮影装置を操作している操作者が、撮影対象である人物の動きに合わせてパンやチルトを行い、撮影方向を調整していた。特許文献１に記載された従来のビデオカメラは、パンまたはチルトをするための駆動装置をグリップ内に有している。そのため、従来のビデオカメラの操作者は、電動雲台装置を用いなくとも、パンまたはチルトを容易に行うことができた。
特開平０１−２４３６７３号公報

近年では、ビデオカメラで撮影された動画像から人物やその顔を認識する画像認識装置が、セキュリティ確保のための人物認証や、防犯カメラで撮影された犯人像を用いた犯人捜査などに応用されている。

画像認識装置には、ビデオカメラで撮影された人物の画像と、予め記録しておいた人物の画像とを比較することにより、人物を認識するものがある。例えば、特開２０００−３３１１６７号公報に記載された従来の顔画像照合装置は、２つの顔画像を照合して顔画像に現れている２つの顔の一致度を評価する。従来の顔画像照合装置は、まず、顔画像に現れている顔の大きさおよび各顔画像内における顔の位置を一致させるために、顔画像を正規化する。次に、顔画像照合装置は、所定のマスクデータに基づいて２つの顔画像の所定領域をマスクすることにより顔領域を抽出する。次に、顔画像照合装置は、各顔画像を必要に応じてモノクロ画像に変換する。さらに、顔画像照合装置は、各顔画像の階調を落とした後に照合する。このようにして、従来の画像認識装置は、ビデオカメラで撮影された画像から人物や顔を認識する。

しかし、ビデオカメラは、レンズ系の画像取得可能範囲と、光電変換装置から出力可能な画像の大きさとに制約を受けるので、ビデオカメラで撮影できる画像には有限の視野が存在する。画像認識装置は、ビデオカメラで撮影された画像から人物や顔を認識するので、人物や顔を正常に認識するためには、人物や顔が視野内にあることが条件となる。

しかし、ビデオカメラで人物を含む動画像を撮影するとき、人物は必ずしも静止しているわけではない。したがって、画像認識装置の認識対象である人物は、常に、ビデオカメラの視野内にあるとは限らない。そのため、画像認識装置では、ビデオカメラの撮影方向や撮影範囲を人物の動きに合わせて修正することが望まれる。

撮影方向や撮影範囲を修正する方法としては、従来、ビデオカメラの操作者が、撮影対象である人物の動きを見て、それに合わせてパンやチルトを行うという方法しかなかった。

しかし、セキュリティ確保のための人物認証や防犯カメラに応用される画像認識装置は、操作者が常時操作しているものではなく、無人でも動作する必要がある。そのため、従来の画像認識装置は、人物を認識することができないとき、それが画像からのはみ出しによるか否か知ることができなかった。そのため、従来の画像認識装置は、画像から人物やその顔がはみ出しているとき、撮影方向や撮影範囲を自動的に修正することができず、また、人物が画像からはみ出したことを警告することもできなかった。

そのため、従来の画像認識装置は、人物やその顔が画像に入るであろう適当な範囲を固定的に撮影するように設置され、できるだけ人物が画像からはみ出さないようにする程度であった。

本発明の目的は、ビデオカメラで撮影された画像から人物がはみ出したことを検知できる画像処理装置、そのはみ出し検知方法およびプログラムを提供することである。

上記目的を達成するために、本発明の画像処理装置は、撮影の対象物の画像からのはみ出しを検知する画像処理装置であって、
複数のカメラで前記対象物を含む画像を取得する撮像手段と、
前記撮像手段で画像が取得されると、前記撮像手段から、該画像の画像中央部に映っている物体までの距離を算出する距離算出手段と、
前記撮像手段により前記複数のカメラから得られる画像の画像中央部の相関値の変化が所定の変化率よりも大きければ信頼性が高いと判断する信頼性判断手段と、
前記距離算出手段で得られた前記距離が所定の閾値以下であり、かつ前記信頼性判断手段で信頼性が高いと判断されると、前記画像から前記対象物がはみ出していると判断する距離判断手段とを有している。

したがって、撮像手段で撮影された画像から、距離算出手段が、対象物である可能性の高い、その画像の中央に撮影された物体までの距離を算出し、信頼性判断手段が、算出された距離の信頼性を求め、その結果、信頼性が高く、かつ、距離が近すぎるとき、判断手段が、対象物が画像からはみ出していると判断する。

なお、前記所定値および前記閾値が、変更可能に設定されるパラメータであってもよい。

本発明の他の画像処理装置は、撮影の対象物の画像からのはみ出しを検知する画像処理装置であって、
前記対象物を含む画像を取得する第１の撮像手段と、
前記対象物を含み、前記第１の撮像手段で取得される画像とずれた画像を、前記第１の撮像手段と同時に取得する第２の撮像手段と、
前記第１の撮像手段と前記第２の撮像手段で同時に得られた画像の画像中央部での相関値を算出する画像中央部相関算出手段と、
前記画像中央部相関算出手段で得られた前記相関値の変化が所定の変化率より大きければ、信頼性が高いと判断する信頼性判断手段と、
前記第１の撮像手段と前記第２の撮像手段の位置関係と、２つの画像をずらして２つの画像の相関値が最大となるときのずれ量から、前記画像中央部に映っている物体との距離を算出する距離算出手段と、
前記距離算出手段で得られた距離が所定の閾値以下であり、かつ前記信頼性判断手段で信頼性が高いと判断されると、前記画像から前記対象物がはみ出していると判断する距離判断手段とを有している。

したがって、第１および第２の撮像手段で撮影された、互いにずれた２つの画像から、画像中央部相関算出手段が、それらの画像の相関値を算出し、距離算出手段が、相関値により分かる２つの画像のずれ量から、対象物までの距離を算出し、その結果、距離が近すぎるとき、判断手段が、対象物が画像からはみ出していると判断する。

なお、前記変化率および前記閾値が、変更可能に設定されるパラメータであってもよい。

本発明の更に他の画像処理装置は、撮影の対象物の画像からのはみ出しを検知する画像処理装置であって、
前記対象物を含む画像を取得する第１の撮像手段と、
前記対象物を含み、前記第１の撮像手段で取得される画像とずれた画像を、前記第１の撮像手段と同時に取得する第２の撮像手段と、
前記第１の撮像手段と前記第２の撮像手段で同時に得られた画像の画像中央部の複数の小領域でのそれぞれの相関値を算出する小領域相関算出手段と、
前記第１の撮像手段と前記第２の撮像手段の位置関係と、２つの画像をずらした２つの画像の相関値が最大となるときのずれ量から、前記各小領域に映っている物体までの距離をそれぞれ算出する距離算出手段と、
前記距離算出手段により算出された、前記各小領域における距離のうち最小のものを選択する最小距離選択手段と、
前記最小距離選択手段で得られた最小の距離が所定の閾値以下であれば、前記画像から前記対象物がはみ出していると判断する距離判断手段とを有している。

したがって、第１および第２の撮像手段で撮影された、互いにずれた２つの画像から、画像中央部相関算出手段が、それらの画像の相関値を算出し、距離算出手段が、相関値により分かる２つの画像のずれ量から、画像中央部の各小領域にある物体で、距離が最小のものを対象物として、対象物までの距離を算出し、その結果、距離が近すぎるとき、判断手段が、対象物が画像からはみ出していると判断する。

なお、前記閾値が、変更可能に設定されるパラメータであってもよい。

本発明によれば、対象物が近すぎるために画像からはみ出したことを自動的に検知することができる。

本発明の実施形態について図面を参照して詳細に説明する。
（第１の実施形態）
本発明の第１の実施形態は、画像の上下左右の部分の画像の変化から、人物が画像からはみ出したことを検出する画像処理装置である。

図１は、第１の実施形態の画像処理装置の構成を示すブロック図である。図１を参照すると、画像処理装置１０は、撮像部１１、フレーム間差分算出部１２、二値化部１３、画像上部画素数部１４、画像右部画素数カウント部１５、画像左部画素数カウント部１６、画像下部画素数カウント部１７および判断部１８を有している。

撮像部１１は、例えばビデオカメラであり、次々と連続して画像を撮影し、撮影した画像をデジタル化して画素毎のデータを求める。本実施形態では、撮影される画像は、一例としてモノクロ画像であるとする。したがって、画素毎のデータは輝度を表わす数値で示される。

フレーム間差分算出部１２は、撮像部１１でデジタル化された画像を入力とし、過去の所定数の画像をメモリ（不図示）に保存するとともに、最新の画像とメモリに保存されている過去の各画像との差分を画素毎に算出する。各画素の差分は、最新の画像におけるその画素の輝度と、過去の画像におけるその画素の輝度との差である。メモリに保存される過去の画像の数は少なくとも１つであり、複数であってもよく、例えば、パラメータとして変更可能に設定されている。

二値化部１３は、フレーム間差分算出部１２で算出された各画素の差分を、予め定められた差分閾値と比較し、閾値との大小により二値化する。なお、各画素の差分が差分閾値より大きいことは、その画素は過去の画像との差分が大きいことを示し、すなわち、その画素の変化が大きいことを意味する。ここでは、各画素の差分は、差分閾値以上のとき“１”に二値化され、差分閾値より小さいとき“０”に二値化されることとする。

第１の実施形態では、撮像部１１で撮影される画像の上下左右の各辺付近の部分が上部領域、下部領域、左部領域、右部領域とされている。図２は画像９０の中の上部領域９１を示し、図３は左部領域９２を示し、図４は右部領域９３を示し、図５は下部領域９４を示している。

画像上部画素数カウント部１４は、上部領域９１内の画素のうち、二値化部１３で差分閾値以上とされた画素の数、すなわち“１”に二値化された画素の数をカウントする。

画像右部画素数カウント部１５は、右部領域９３内の画素のうち、二値化部１３で差分閾値以上とされた画素の数をカウントする。

画像左部画素数カウント部１６は、左部領域９２内の画素のうち、二値化部１３で差分閾値以上とされた画素の数をカウントする。

画像下部画素数カウント部１７は、下部領域９４内の画素のうち、二値化部１３で差分閾値以上とされた画素の数をカウントする。

判断部１８は、画像上部画素数カウント部１４のカウント値が、予め定められた上部カウント閾値より大きければ、人物が画像の上にはみ出していると判断する。また、判断部１８は、画像右部画素数カウント部１５のカウント値が、予め定められた右部カウント閾値より大きければ、人物が画像の右にはみ出していると判断する。判断部１８は、画像左部画素数カウント部１６のカウント値が、予め定められた左部カウント閾値より大きければ、人物が画像の左にはみ出していると判断する。判断部１８は、画像下部画素数カウント部１７のカウント値が、予め定められた下部カウント閾値より大きければ、人物が画像の下にはみ出していると判断する。

図６は、本実施形態の画像処理装置の動作を示すフローチャートである。図６を参照すると、まず、撮像部１１が画像を撮影し、フレーム間差分算出部１２に送る（ステップＡ１）。ここで、撮像部１１のビデオカメラが起動してからｔ番目に撮影された画像をｉｍ（ｔ）とする。

次に、フレーム間差分算出部１２は、最新の画像ｉｍ（ｔ）の各画素と、メモリに保存されている過去の画像の各画素との差分を算出し、各差分を各画素の値とする差分画像ｄｉｆｆ（ｔ）を生成する（ステップＡ２）。

次に、フレーム間差分画像算出部１３は、画像ｉｍ（ｔ）を過去の画像としてメモリに保存する（ステップＡ３）。それとともに、フレーム間差分画像算出部１３は、メモリに保存されていた最も古い過去の画像を１つ廃棄する。

次に、二値化部１４は、差分画像ｄｉｆｆ（ｔ）の各画素の値（上述された差分）を差分閾値と比較して二値化し、差分画像ｄｉｆｆ（ｔ）を二値化画像ｂｉｎ（ｔ）に変換する（ステップＡ４）。このとき、二値化部１４は、各画素の値が差分閾値以上のとき、その画素値を“１”とする。また、二値化部１４は、各画素の値が差分閾値より小さいとき、その画素値を“０”とする。

次に、画像上部画素数カウント部１４は、二値化画像ｂｉｎ（ｔ）の上部領域９１内で、画素値が“１”である画素の数をカウントする（ステップＡ５）。ここでは、そのカウント値をａ（ｔ）とする。

次に、画像右部画素数カウント部１５は、二値化画像ｂｉｎ（ｔ）の右部領域９２内で、画素値が“１”である画素の数をカウントする（ステップＡ６）。ここでは、そのカウント値をｂ（ｔ）とする。

次に、画像左部画素数カウント部１６は、二値化画像ｂｉｎ（ｔ）の左部領域９３内で、画素値が“１”である画素の数をカウントする（ステップＡ７）。ここでは、そのカウント値をｃ（ｔ）とする。

次に、画像下部画素数カウント部１７は、二値化画像ｂｉｎ（ｔ）の下部領域９４内で、画素値が“１”である画素の数をカウントする（ステップＡ８）。ここでは、そのカウント値をｄ（ｔ）とする。

次に、判定部１８は、カウント値ａ（ｔ）が上部カウント閾値ｔｈ１より大きいか否か判定する（ステップＡ９）。カウント値ａ（ｔ）が上部カウント閾値ｔｈ１より大きければ、判定部１８は、人物が画像の上にはみ出していることを検知する（ステップＡ１０）。

次に、判定部１８は、カウント値ｂ（ｔ）が右部カウント閾値ｔｈ２より大きいか否か判定する（ステップＡ１１）。カウント値ｂ（ｔ）が右部カウント閾値ｔｈ２より大きければ、判定部１８は、人物が画像の右にはみ出していることを検知する（ステップＡ１２）。

次に、判定部１８は、カウント値ｃ（ｔ）が左部カウント閾値ｔｈ３より大きいか否か判定する（ステップＡ１３）。カウント値ｃ（ｔ）が右部カウント閾値ｔｈ３より大きければ、判定部１８は、人物が画像の左にはみ出していることを検知する（ステップＡ１４）。

次に、判定部１８は、カウント値ｄ（ｔ）が下部カウント閾値ｔｈ４より大きいか否か判定する（ステップＡ１５）。カウント値ｄ（ｔ）が右部カウント閾値ｔｈ４より大きければ、判定部１８は、人物が画像の下にはみ出していることを検知する（ステップＡ１６）。

以上の動作を終了すると、画像処理装置１０は、“ｔ”を１つインクリメントし（ステップＡ１７）、ステップＡ１に戻る。

以上説明したように、本実施形態の画像処理装置１０は、最新の画像と過去の画像との差分をフレーム間差分算出部１２によって算出し、二値化部１３によって差分を二値化して所定以上に変化したか否か求め、画像上部、右部、左部または下部画素数カウント部１４、１５、１６、１７によって、所定以上に変化した画素の数を上下左右の領域毎にカウントし、判断部１８によって、各領域のカウント値を閾値と比較してカウント値が閾値を超えた領域において画像から人物がはみ出したと判断するので、画像変化が大きいためにカウント値が閾値を超えた領域を検出することにより、画像からの人物のはみ出しを自動的に検知することができる。

なお、本実施形態では、撮像部１１がモノクロ画像を撮影する場合を例示したが、本発明はこれに限定されるものではなく、カラー画像であってもよい。撮像部１１で撮影されるのがカラー画像である場合、例えば、フレーム間差分算出部１２は、各画素値をＲＧＢの３色を要素とするベクトルで表わし、過去の画像の画素とベクトルの差分を求める。そして、二値化部１３は、フレーム間差分算出部１２で求められた差分ベクトルの大きさを差分閾値と比較することにより、二値化画像を生成してもよい。

また、本実施形態では、画像からのはみ出しを検知する対象物が人物である場合を例示したが、本発明はこれに限定されるものではない。連続的に撮影したとき、移動しうる物体であれば、どのようなものであってもよい。

また、本実施形態で用いられた、過去の画像の数、各閾値、上下左右部の各領域の大きさなどのパラメータを調整することにより、画像処理装置がはみ出しを検知する精度を向上させることができる。
（第２の実施形態）
図７は、本発明の第２の実施形態の画像処理装置の構成を示すブロック図である。図７を参照すると、画像処理装置２０は、撮像部２１、フレーム間差分算出部２２、二値化部２３、領域分割部２４、領域選択部２５、画像上部画素数カウント部２６、画像右部画素数カウント部２７、画像左部画素数カウント部２８、画像下部画素数カウント部２９および判断部２１０を有している。

撮像部２１は、例えばビデオカメラであり、次々と連続して画像を撮影し、撮影した画像をデジタル化して画素毎のデータを求める。本実施形態では、撮影される画像は、一例としてモノクロ画像であるとする。したがって、画素毎のデータは輝度を表わす数値で示される。

フレーム間差分算出部２２は、撮像部２１でデジタル化された画像を入力とし、過去の所定数の画像をメモリ（不図示）に保存するとともに、最新の画像とメモリに保存されている過去の各画像との差分を画素毎に算出する。各画素の差分は、最新の画像におけるその画素の輝度と、過去の画像におけるその画素の輝度との差である。メモリに保存される過去の画像の数は少なくとも１つであり、複数であってもよく、例えば、パラメータとして変更可能に設定されている。

二値化部２３は、フレーム間差分算出部２２で算出された各画素の差分を、予め定められた差分閾値と比較し、閾値との大小により二値化する。なお、各画素の差分が差分閾値より大きいことは、その画素は過去の画像との差分が大きいことを示し、すなわち、その画素の変化が大きいことを意味する。ここでは、各画素の差分は、差分閾値以上のとき“１”に二値化され、差分閾値より小さいとき“０”に二値化されることとする。

領域分割部２４は、画像を複数の分割領域に分割する。画像を複数の分割領域に分割する方法については後述する。

領域選択部２５は、領域分割部２４で分割された複数の分割領域の中から、最も人物らしい分割領域を選択し、さらに、選択された分割領域に応じて二値化画像を変換する。最も人物らしい分割領域を選択する方法と、二値化画像を変換する方法については後述する。

第２の実施形態では、第１の実施形態と同様、図２〜図５に示された上部、右部、左部、下部領域９３、９４、９５、９６が定められている。

画像上部画素数カウント部２６は、領域選択部２５で変換された二値化画像において、上部領域９１内で画素値が“１”である画素の数をカウントする。

画像右部画素数カウント部２７は、領域選択部２５で変換された二値化画像において、右部領域９３内で画素値が“１”である画素の数をカウントする。

画像左部画素数カウント部２８は、領域選択部２５で変換された二値化画像において、左部領域９２内で画素値が“１”である画素の数をカウントする。

画像下部画素数カウント部２９は、領域選択部２５で変換された二値化画像において、下部領域９４内で画素値が“１”である画素の数をカウントする。

判断部２１０は、画像上部画素数カウント部２６のカウント値が、予め定められた上部カウント閾値より大きければ、人物が画像の上にはみ出していると判断する。また、判断部２１０は、画像右部画素数カウント部２７のカウント値が、予め定められた右部カウント閾値より大きければ、人物が画像の右にはみ出していると判断する。判断部２１０は、画像左部画素数カウント部２８のカウント値が、予め定められた左部カウント閾値より大きければ、人物が画像の左にはみ出していると判断する。判断部２１０は、画像下部画素数カウント部２９のカウント値が、予め定められた下部カウント閾値より大きければ、人物が画像の下にはみ出していると判断する。

図８は、本実施形態の画像処理装置の動作を示すフローチャートである。図８を参照すると、まず、撮像部２１が画像を撮影し、フレーム間差分算出部２２に送る（ステップＢ１）。ここで、撮像部１１のビデオカメラが起動してからｔ番目に撮影された画像をｉｍ（ｔ）とする。

次に、フレーム間差分算出部２２は、最新の画像ｉｍ（ｔ）の各画素と、メモリに保存されている過去の画像の各画素との差分を算出し、各差分を各画素の値とする差分画像ｄｉｆｆ（ｔ）を生成する（ステップＢ２）。

次に、フレーム間差分画像算出部２２は、画像ｉｍ（ｔ）を過去の画像としてメモリに保存する（ステップＢ３）。それとともに、フレーム間差分画像算出部２２は、メモリに保存されていた最も古い過去の画像を１つ廃棄する。

次に、二値化部２３は、差分画像ｄｉｆｆ（ｔ）の各画素の値（上述された差分）を差分閾値と比較して二値化し、差分画像ｄｉｆｆ（ｔ）を二値化画像ｂｉｎ（ｔ）に変換する（ステップＢ４）。このとき、二値化部２３は、各画素の値が差分閾値以上のとき、その画素値を“１”とする。また、二値化部２３は、各画素の値が差分閾値より小さいとき、その画素値を“０”とする。

次に、領域分割部２４は、二値化部２３で得られた二値化画像ｂｉｎ（ｔ）を複数の分割領域に分割する（ステップＢ５）。

領域分割部２４による領域分割の方法の一例について説明する。図９は、領域分割の方法について説明するための図である。図９に示すように、二値化画像ｂｉｎ（ｔ）の横方向をＸ軸（右向きが正）とし、縦方向をＹ軸（下向きが正）とし、画像の左上の画素から右にｘ番目で、下にｙ番目の画素の画素値をｖ（ｘ，ｙ）とする。

図９（ａ）のような二値化画像ｂｉｎ（ｔ）が得られると、図９（ｂ）に示すように、画像を構成する全てのｘについて、ｖ（ｘ，ｙ）が１となる最小のｙの値を求める。次に、得られたｙの値が、ｘの変化に対して極大となる点（極大点）と、画像下辺に到達する点（下辺接点）とを求め、極大点および下辺接点を通る垂直な線で画像を複数の分割領域に分割する。

また、他の領域分割の方法の例として、同じ画素値（“１”または“０”）を有し、互いに連結している画素をグループ化して１つの分割領域とする方法が考えられる。つまり、画素値“１”の画素が連結している部分（画素値“１”のひとかたまり）が１つの分割領域とされ、同様に、画素値“０”の画素がつながっている部分（画素値“０”のひとかたまり）が１つの分割領域とされる。

次に、領域選択部２５は、領域分割部２４で得られた各分割領域から最も人物らしい分割領域を選択する。そして、領域選択部２５は、その分割領域内ではｂｉｎ（ｔ）と同じ値であり、それ以外の分割領域では“０”となるように変換された二値化画像ｓｂｉｎ（ｔ）を作成する（ステップＢ６）。

領域選択部２５による、最も人物らしい分割領域を選択する方法の一例として、領域分割部２４で得られた分割領域の中で、画素値が“１”となる画素の数が最も多い分割領域を選択するという方法が考えられる。

次に、画像上部画素数カウント部２６は、変換された二値化画像ｓｂｉｎ（ｔ）の上部領域９１内で、画素値が“１”である画素の数をカウントする（ステップＢ７）。ここでは、そのカウント値をａ（ｔ）とする。

次に、画像右部画素数カウント部２７は、変換された二値化画像ｓｂｉｎ（ｔ）の右部領域９２内で、画素値が“１”である画素の数をカウントする（ステップＢ８）。ここでは、そのカウント値をｂ（ｔ）とする。

次に、画像左部画素数カウント部２８は、変換された二値化画像ｓｂｉｎ（ｔ）の左部領域９３内で、画素値が“１”である画素の数をカウントする（ステップＢ９）。ここでは、そのカウント値をｃ（ｔ）とする。

次に、画像下部画素数カウント部２９は、変換された二値化画像ｓｂｉｎ（ｔ）の下部領域９４内で、画素値が“１”である画素の数をカウントする（ステップＢ１０）。ここでは、そのカウント値をｄ（ｔ）とする。

次に、判定部２１０は、カウント値ａ（ｔ）が上部カウント閾値ｔｈ１より大きいか否か判定する（ステップＢ１１）。カウント値ａ（ｔ）が上部カウント閾値ｔｈ１より大きければ、判定部２１０は、人物が画像の上にはみ出していることを検知する（ステップＢ１２）。

次に、判定部２１０は、カウント値ｂ（ｔ）が右部カウント閾値ｔｈ２より大きいか否か判定する（ステップＢ１３）。カウント値ｂ（ｔ）が右部カウント閾値ｔｈ２より大きければ、判定部２１０は、人物が画像の右にはみ出していることを検知する（ステップＢ１４）。

次に、判定部２１０は、カウント値ｃ（ｔ）が左部カウント閾値ｔｈ３より大きいか否か判定する（ステップＢ１５）。カウント値ｃ（ｔ）が右部カウント閾値ｔｈ３より大きければ、判定部２１０は、人物が画像の左にはみ出していることを検知する（ステップＢ１６）。

次に、判定部２１０は、カウント値ｄ（ｔ）が下部カウント閾値ｔｈ４より大きいか否か判定する（ステップＢ１７）。カウント値ｄ（ｔ）が右部カウント閾値ｔｈ４より大きければ、判定部２１０は、人物が画像の下にはみ出していることを検知する（ステップＢ１８）。

以上の動作を終了すると、画像処理装置２０は、“ｔ”を１つインクリメントし（ステップＢ１９）、ステップＢ１に戻る。
（第３の実施形態）
第３の実施形態は、人物がビデオカメラに近すぎて画像からはみ出していることを検出する画像処理装置である。

図１０は、第３の実施形態の画像処理装置の構成を示すブロック図である。図１０を参照すると、画像処理装置３０は、第１の撮像部３１、第２の撮像部３２、画像中央部相関算出部３３、信頼性判断部３４、距離算出部３５および距離判断部３６を有している。

第１の撮像部３１は、例えばビデオカメラであり、次々と連続して画像を撮影し、撮影した画像をデジタル化して画素毎のデータを求める。

第２の撮像部３２は、第１の撮像部３１と同様に、次々と連続して画像を撮影し、撮影した画像をデジタル化して画素毎のデータを求める。また、第２の撮像部３２の画像を撮影する視野は、第１の撮像部３１の視野と重複する部分を有し、かつ、第１の撮像部３１の視野との相対的な位置関係が固定されている。

画像中央部相関算出部３３は、第１の撮像部３１と第２の撮像部３２からほぼ同時に得られる画像の画像中央部９５（図１２参照）での相関値を計算する。

信頼性判断部３４は、画像中央部相関計算部３３で得られた相関値の座標位置に対する変化がなだらかであれば、信頼性が低いと判断し、変化が急であれば、信頼性が高いと判断する。

距離算出部３５は、第１の撮像部３１と第２の撮像部３２の位置関係と、２つの画像をずらして２つの画像の相関値が最大となるときのずれ量とから、画像中央部９５に映っている物体との距離を算出する。

距離判断部３６は、距離算出部３５で得られた距離が所定の閾値以下であり、かつ信頼性判断部３４で信頼性が高いと判断されていれば、距離が近すぎて画像から人物がはみ出していると判断する。

図１１は、本実施形態の画像処理装置の動作を示すフローチャートである。図１１を参照すると、まず、第１および第２の撮像部３１、３２がそれぞれ画像を撮像し、画像中央部相関算出部３３に送る（ステップＣ１）。第１の撮像部３１と第２の撮像部３２とは同時に起動されるものとし、ビデオカメラが起動してからｔ番目に撮影された画像をそれぞれｉｍ１（ｔ）、ｉｍ２（ｔ）とする。

次に、画像中央部相関算出部３３は、画像ｉｍ１（ｔ）と画像ｉｍ２（ｔ）の画像中央部９５での相関値ｃｏｒｒ（ｘ）を算出する（ステップＣ２）。

相関値の算出法の一例を説明する。

ここで、画像ｉｍ１（ｔ）の横方向をＸ軸（右向きが正）縦方向をＹ軸（下向きが正）とし、画像のもっとも左上の画素から右にｘ番目で、下にｙ番目の画素値をｖ１（ｘ，ｙ）とする。画像ｉｍ２（ｔ）についても同様にｖ２（ｘ，ｙ）を定義する。また、画像中央部９５は図１２に示されたように設定されているとする。

そして、画像中央部９５の座標値の集合をＣとすると、相関値は ｃｏｒｒ（ｘ）＝Σ＿｛（ｔ，ｓ）￥ｉｎ Ｃ｝｜ｖ１（ｔ−ｘ，ｓ）−ｖ２（ｔ，ｓ）｜などと計算できる。

次に、信頼性判断部３４は、相関値ｃｏｒｒ（ｘ）の変化がなだらかであるか否か判定する（ステップＣ３）。

相関値ｃｏｒｒ（ｘ）がなだらかであるか否かの判定方法の一例について説明する。相関値ｃｏｒｒ（ｘ）が最大となるｘをｘ１とする。このとき、画像中央部９５の全域において、ｃｏｒｒ（ｘ１）−ｃｏｒｒ（ｘ１−ｇ）＜ｔｈｃ１かつｃｏｒｒ（ｘ１）−ｃｏｒｒ（ｘ１＋ｇ）＜ｔｈｃ２ならばｃｏｒｒ（ｘ）がなだらかであると判断し、そうでなければなだらかでないと判断する。

相関値ｃｏｒｒ（ｔ）の変化がなだらかでなければ、距離算出部３５が、第１の撮像部３１と第２の撮像部３２の位置関係と、相関値ｃｏｒｒ（ｘ）が最大となるｘの値とから距離ｄ（ｔ）を求める（ステップＣ４）。距離の算出方法は従来からよく知られた方法によればよい。例えば、文献「３次元ビジョン」（徐、辻著、共立出版（１９９８））などに記載された方法を用いることで実現できる。

次に、距離判定部３６は、距離ｄ（ｔ）が所定の閾値ｔｈより大きいか否か判定する（ステップＣ５）。閾値ｔｈは、対象物（ここでは人物）のサイズと、レンズの焦点距離と、画像の大きさから、対象物が画像からはみ出すであろう距離を予め算出しておいたものである。距離ｄ（ｔ）が閾値ｔｈ以下であれば、距離判定部３６は、人物が画像からはみ出していると検知する（ステップＣ６）。

ステップＣ６の後、ステップＣ５において距離ｄ（ｔ）が閾値ｔｈより大きかったとき、または、ステップＣ３において変化がなだらかであったとき、画像処理装置３０は、“ｔ”を１つインクリメントし（ステップＣ７）、ステップＣ１に戻る。

以上説明したように、本実施形態の画像処理装置３０は、第１および第２の撮像部３１、３２によって、互いにずれた２つの画像を同時に撮影し、画像中央部相関算出部３３によって、２つの画像の画像中央部９５での相関値を算出し、信頼性判断部３４によって、相関値から信頼性が高いか低いか判定し、信頼性が高い場合に、距離算出部３５によって、ビデオカメラと人物との距離を算出し、距離判定部３６によって、距離が近ければ画像から人物がはみ出していると判断されるので、距離が近すぎることによる、画像からの人物のはみ出しを自動的に検知することができる。

なお、本実施形態では、画像からのはみ出しを検知する対象が人物である場合を例示したが、本発明はこれに限定されるものではない。ある程度の大きさが想定できるものであれば、どのようなものであってもよい。
（第４の実施形態）
図１３は、本発明の第４の実施形態の画像処理装置の構成を示すブロック図である。図１３を参照すると、画像処理装置４０は、第１の撮像部４１、第２の撮像部４２、小領域相関算出部４３、距離算出部４４、最小距離選択部４５および距離判断部４６を有している。

第１の撮像部４１は、例えばビデオカメラであり、次々と連続して画像を撮影し、撮影した画像をデジタル化して画素毎のデータを求める。

第２の撮像部４２は、第１の撮像部４１と同様、次々と連続して画像を撮影し、撮影した画像をデジタル化して画素毎のデータを求める。また、第２の撮像部４２の画像を撮影する視野は、第１の撮像部４１の視野と重複する部分を有し、第２の撮像部４２の画像を撮影する視野は、第１の撮像部４１の視野との相対的な位置関係が固定されている。

小領域相関部４３は、第１の撮像部４１と第２の撮像部４２からほぼ同時に得られる画像の画像中央部９６の複数の小領域９６ａ、９６ｂ、９６ｃ、９６ｄでのそれぞれの相関値を計算する（図１５参照）。

距離算出部４４は、各小領域９６ａ、９６ｂ、９６ｃ、９６ｄについて、第１の撮像部４１と第２の撮像部４２の位置関係と、２つの画像をずらして２つの画像の相関値が最大となるときのずれ量とから、各小領域に映っている物体との距離を算出する。

最小距離選択部４５は、距離算出部４４で算出された各小領域の距離のうち、最小のものを選択する。

距離判断部４６は、最小距離選択部４５で選択された小領域の距離が所定の閾値以下であれば、距離が近すぎて画像から人物がはみだしていると判断する。

図１４は、本実施形態の画像処理装置の動作を示すフローチャートである。図１４を参照すると、まず、第１および第２の撮像部４１、４２がそれぞれ画像を撮像し、小領域相関算出部４３に送る（ステップＤ１）。第１の撮像部４１と第２の撮像部４２とは同時に起動されるものとし、ビデオカメラが起動してからｔ番目に撮影された画像をそれぞれｉｍ１（ｔ）、ｉｍ２（ｔ）とする。

次に、小領域相関算出部４３は、画像ｉｍ１（ｔ）と画像ｉｍ２（ｔ）の各小領域９６ａ、９６ｂ、９６ｃ、９６ｄでの相関値を算出し、距離算出部４４は、各小領域９６ａ、９６ｂ、９６ｃ、９６ｄにおける、ビデオカメラと物体との距離を算出する（ステップＤ２）。このとき用いられる、相関値および距離の算出方法は第３の実施形態と同様の方法である。

次に、距離判定部４６は、各小領域における距離のうち、最も短いものが所定の閾値ｔｈ以下であるか否か判定する（ステップＤ３）。閾値ｔｈは、第３の実施形態と同様に、対象物（ここでは人物）のサイズと、レンズの焦点距離と、画像の大きさから、対象物が画像からはみ出すであろう距離を予め算出しておいたものである。距離が閾値ｔｈ以下であれば、距離判定部４６は、人物が画像からはみ出していると検知する（ステップＤ４）。

ステップＤ４の後、または、ステップＤ３において距離が閾値ｔｈ以下でなかったとき、画像処理装置４０は、“ｔ”を１つインクリメントし（ステップＤ５）、ステップＤ１に戻る。

第１の実施形態の画像処理装置の構成を示すブロック図である。 画像の中の上部領域を示す図である。 画像の中の左部領域を示す図である。 画像の中の右部領域を示す図である。 画像の中の下部領域を示す図である。 第１の実施形態の画像処理装置の動作を示すフローチャートである。 本発明の第２の実施形態の画像処理装置の構成を示すブロック図である。 第２の実施形態の画像処理装置の動作を示すフローチャートである。 領域分割の方法について説明するための図である。 第３の実施形態の画像処理装置の構成を示すブロック図である。 第３の実施形態の画像処理装置の動作を示すフローチャートである。 画像の中の画像中央部を示す図である。 第４の実施形態の画像処理装置の構成を示すブロック図である。 第４の実施形態の画像処理装置の動作を示すフローチャートである。 画像の中の画像中央部の各小領域を示す図である。

符号の説明

１０，２０，３０ 画像処理装置
１１，２１ 撮像部
１２，２２ フレーム間差分算出部
１３，２３ 二値化部
１４，２６ 画像上部画素数部
１５，２７ 画像右部画素数カウント部
１６，２８ 画像左部画素数カウント部
１７，２９ 画像下部画素数カウント部
１８，２１０ 判断部
２４ 領域分割部
２５ 領域選択部
３１，４１ 第１の撮像部
３２，４２ 第２の撮像部
３３ 画像中央部相関算出部
３４ 信頼性判断部
３５，４４ 距離算出部
３６，４６ 距離判断部
４３ 小領域相関算出部
４５ 最小距離選択部
９０ 画像
９１ 上部領域
９２ 左部領域
９３ 右部領域
９４ 下部領域
９５，９６ 画像中央部
９６ａ，９６ｂ，９６ｃ，９６ｄ 小領域
Ａ１〜Ａ１７，Ｂ１〜Ｂ１９，Ｃ１〜Ｃ７ ステップ

Claims (18)

1. 撮影の対象物の画像からのはみ出しを検知する画像処理装置であって、
   複数のカメラで前記対象物を含む画像を取得する撮像手段と、
   前記撮像手段で画像が取得されると、前記撮像手段から、該画像の画像中央部に映っている物体までの距離を算出する距離算出手段と、
   前記撮像手段により前記複数のカメラから得られる画像の画像中央部の相関値の変化が所定の変化率よりも大きければ信頼性が高いと判断する信頼性判断手段と、
   前記距離算出手段で得られた前記距離が所定の閾値以下であり、かつ前記信頼性判断手段で信頼性が高いと判断されると、前記画像から前記対象物がはみ出していると判断する距離判断手段とを有する画像処理装置。
2. 前記所定値および前記閾値が、変更可能に設定されるパラメータである、請求項１記載の画像処理装置。
3. 撮影の対象物の画像からのはみ出しを検知する画像処理装置であって、
   前記対象物を含む画像を取得する第１の撮像手段と、
   前記対象物を含み、前記第１の撮像手段で取得される画像とずれた画像を、前記第１の撮像手段と同時に取得する第２の撮像手段と、
   前記第１の撮像手段と前記第２の撮像手段で同時に得られた画像の画像中央部での相関値を算出する画像中央部相関算出手段と、
   前記画像中央部相関算出手段で得られた前記相関値の変化が所定の変化率より大きければ、信頼性が高いと判断する信頼性判断手段と、
   前記第１の撮像手段と前記第２の撮像手段の位置関係と、２つの画像をずらして２つの画像の相関値が最大となるときのずれ量から、前記画像中央部に映っている物体との距離を算出する距離算出手段と、
   前記距離算出手段で得られた距離が所定の閾値以下であり、かつ前記信頼性判断手段で信頼性が高いと判断されると、前記画像から前記対象物がはみ出していると判断する距離判断手段とを有する画像処理装置。
4. 前記変化率および前記閾値が、変更可能に設定されるパラメータである、請求項３記載の画像処理装置。
5. 撮影の対象物の画像からのはみ出しを検知する画像処理装置であって、
   前記対象物を含む画像を取得する第１の撮像手段と、
   前記対象物を含み、前記第１の撮像手段で取得される画像とずれた画像を、前記第１の撮像手段と同時に取得する第２の撮像手段と、
   前記第１の撮像手段と前記第２の撮像手段で同時に得られた画像の画像中央部の複数の小領域でのそれぞれの相関値を算出する小領域相関算出手段と、
   前記第１の撮像手段と前記第２の撮像手段の位置関係と、２つの画像をずらした２つの画像の相関値が最大となるときのずれ量から、前記各小領域に映っている物体までの距離をそれぞれ算出する距離算出手段と、
   前記距離算出手段により算出された、前記各小領域における距離のうち最小のものを選択する最小距離選択手段と、
   前記最小距離選択手段で得られた最小の距離が所定の閾値以下であれば、前記画像から前記対象物がはみ出していると判断する距離判断手段とを有する画像処理装置。
6. 前記閾値が、変更可能に設定されるパラメータである、請求項５記載の画像処理装置。
7. 撮像手段により連続して取得される画像からの撮影の対象物のはみ出しを検知する画像処理装置のはみ出し検知方法であって、
   前記撮像手段で複数のカメラにより撮像された画像が取得されると、前記撮像手段から、該画像の画像中央部に映っている物体までの距離を算出するステップと、
   前記撮像手段により前記複数のカメラから得られる画像の画像中央部の相関値の変化が所定の変化率よりも大きければ信頼性が高いと判断するステップと、
   前記距離が所定の閾値以下であり、かつ前記信頼性が高いと判断されると、前記画像から前記対象物がはみ出していると判断するステップを有するはみ出し検知方法。
8. 前記所定値および前記閾値が、変更可能に設定されるパラメータである、請求項７記載のはみ出し検知方法。
9. 第１の撮像手段により連続して取得される画像と、前記第１の撮像手段で取得される画像とずれた画像を前記第１の撮像手段と同時に取得する第２の撮像手段により取得される画像とを用いて、撮影の対象物の画像からのはみ出しを検知する画像処理装置のはみ出し検知方法であって、
   前記第１の撮像手段と前記第２の撮像手段で同時に得られた画像の画像中央部での相関値を算出するステップと、
   前記相関値の変化が所定の変化率より大きければ、信頼性が高いと判断するステップと、
   前記第１の撮像手段と前記第２の撮像手段の位置関係と、２つの画像をずらして２つの画像の相関値が最大となるときのずれ量から、前記画像中央部に映っている物体との距離を算出するステップと、
   前記距離が所定の閾値以下であり、かつ信頼性が高いと判断されると、前記画像から前記対象物がはみ出していると判断するステップとを有するはみ出し検知方法。
10. 前記変化率および前記閾値が、変更可能に設定されるパラメータである、請求項９記載のはみ出し検知方法。
11. 第１の撮像手段により連続して取得される画像と、前記第１の撮像手段で取得される画像とずれた画像を前記第１の撮像手段と同時に取得する第２の撮像手段により取得される画像とを用いて、撮影の対象物の画像からのはみ出しを検知する画像処理装置のはみ出し検知方法であって、
    前記第１の撮像手段と前記第２の撮像手段で同時に得られた画像の画像中央部の複数の小領域でのそれぞれの相関値を算出するステップと、
    前記第１の撮像手段と前記第２の撮像手段の位置関係と、２つの画像をずらした２つの画像の相関値が最大となるときのずれ量から、前記各小領域に映っている物体までの距離をそれぞれ算出するステップと、
    前記各小領域における距離のうち最小のものを選択するステップと、
    選択された最小の距離が所定の閾値以下であれば、前記画像から前記対象物がはみ出していると判断するステップとを有するはみ出し検知方法。
12. 前記閾値が、変更可能に設定されるパラメータである、請求項１１記載のはみ出し検知方法。
13. 撮像手段により連続して取得される画像からの撮影の対象物のはみ出しを検知するコンピュータに実行させるためのはみ出し検知プログラムであって、
    前記撮像手段で複数のカメラにより撮像された画像が取得されると、前記撮像手段から、該画像の画像中央部に映っている物体までの距離を算出する処理と、
    前記撮像手段により前記複数のカメラから得られる画像の画像中央部の相関値の変化が所定の変化率よりも大きければ信頼性が高いと判断する処理と、
    前記距離が所定の閾値以下であり、かつ前記信頼性が高いと判断されると、前記画像から前記対象物がはみ出していると判断する処理を有するはみ出し検知プログラム。
14. 前記所定値および前記閾値が、変更可能に設定されるパラメータである、請求項１３記載のはみ出し検知プログラム。
15. 第１の撮像手段により連続して取得される画像と、前記第１の撮像手段で取得される画像とずれた画像を前記第１の撮像手段と同時に取得する第２の撮像手段により取得される画像とを用いて、撮影の対象物の画像からのはみ出しを検知するコンピュータに実行させるためのはみ出し検知プログラムであって、
    前記第１の撮像手段と前記第２の撮像手段で同時に得られた画像の画像中央部での相関値を算出する処理と、
    前記相関値の変化が所定の変化率より大きければ、信頼性が高いと判断する処理と、
    前記第１の撮像手段と前記第２の撮像手段の位置関係と、２つの画像をずらして２つの画像の相関値が最大となるときのずれ量から、前記画像中央部に映っている物体との距離を算出する処理と、
    前記距離が所定の閾値以下であり、かつ信頼性が高いと判断されると、前記画像から前記対象物がはみ出していると判断する処理とを有するはみ出し検知プログラム。
16. 前記変化率および前記閾値が、変更可能に設定されるパラメータである、請求項１５記載のはみ出し検知プログラム。
17. 第１の撮像手段により連続して取得される画像と、前記第１の撮像手段で取得される画像とずれた画像を前記第１の撮像手段と同時に取得する第２の撮像手段により取得される画像とを用いて、撮影の対象物の画像からのはみ出しを検知するコンピュータに実行させるためのはみ出し検知プログラムであって、
    前記第１の撮像手段と前記第２の撮像手段で同時に得られた画像の画像中央部の複数の小領域でのそれぞれの相関値を算出する処理と、
    前記第１の撮像手段と前記第２の撮像手段の位置関係と、２つの画像をずらした２つの画像の相関値が最大となるときのずれ量から、前記各小領域に映っている物体までの距離をそれぞれ算出する処理と、
    前記各小領域における距離のうち最小のものを選択する処理と、
    選択された最小の距離が所定の閾値以下であれば、前記画像から前記対象物がはみ出していると判断する処理とを有するはみ出し検知プログラム。
18. 前記閾値が、変更可能に設定されるパラメータである、請求項１７記載のはみ出し検知プログラム。

Images