JP3894038B2 - 画像処理装置、画像処理装置のはみ出し検知方法およびプログラム - Google Patents
画像処理装置、画像処理装置のはみ出し検知方法およびプログラム Download PDFInfo
- Publication number
- JP3894038B2 JP3894038B2 JP2002132715A JP2002132715A JP3894038B2 JP 3894038 B2 JP3894038 B2 JP 3894038B2 JP 2002132715 A JP2002132715 A JP 2002132715A JP 2002132715 A JP2002132715 A JP 2002132715A JP 3894038 B2 JP3894038 B2 JP 3894038B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- person
- pixel
- unit
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims description 4
- 238000003384 imaging method Methods 0.000 claims description 55
- 238000004364 calculation method Methods 0.000 claims description 43
- 238000000034 method Methods 0.000 claims description 21
- 238000010586 diagram Methods 0.000 description 16
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004091 panning Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、人物の動画像を撮影する画像処理装置に関し、特に、撮影された画像から人物がはみ出していることを検知する画像処理装置に関する。
【０００２】
【従来の技術】
動画像を記録として残すために、ビデオカメラのような画像撮影装置で動画像を撮影することがある。動画像を記録として残すための画像撮影装置で撮影される画像には人物や人物の顔が含まれることが多い。そして、人物やその顔は、画像撮影装置で撮影される画像から、はみ出さないことが望ましい。しかし、動画像を撮影するとき、撮影される人物は静止しているとは限らず、通常は絶えず動いている。したがって、人物や顔が視野からはみ出すことが考えられる。そのため、ビデオカメラの撮影方向や撮影範囲は人物の動きに合わせて修正されることが望ましい。
【０００３】
従来、画像撮影装置により動画像を撮影するとき、視野から人物がはみ出さないように、または、はみ出した人物を再び視野内に入れるように、画像撮影装置を操作している操作者が、撮影対象である人物の動きに合わせてパンやチルトを行い、撮影方向を調整していた。特開平０１−２４３６７３号公報に記載された従来のビデオカメラは、パンまたはチルトをするための駆動装置をグリップ内に有している。そのため、従来のビデオカメラの操作者は、電動雲台装置を用いなくとも、パンまたはチルトを容易に行うことができた。
【０００４】
【発明が解決しようとする課題】
近年では、ビデオカメラで撮影された動画像から人物やその顔を認識する画像認識装置が、セキュリティ確保のための人物認証や、防犯カメラで撮影された犯人像を用いた犯人捜査などに応用されている。
【０００５】
画像認識装置には、ビデオカメラで撮影された人物の画像と、予め記録しておいた人物の画像とを比較することにより、人物を認識するものがある。例えば、特開２０００−３３１１６７号公報に記載された従来の顔画像照合装置は、２つの顔画像を照合して顔画像に現れている２つの顔の一致度を評価する。従来の顔画像照合装置は、まず、顔画像に現れている顔の大きさおよび各顔画像内における顔の位置を一致させるために、顔画像を正規化する。次に、顔画像照合装置は、所定のマスクデータに基づいて２つの顔画像の所定領域をマスクすることにより顔領域を抽出する。次に、顔画像照合装置は、各顔画像を必要に応じてモノクロ画像に変換する。さらに、顔画像照合装置は、各顔画像の階調を落とした後に照合する。このようにして、従来の画像認識装置は、ビデオカメラで撮影された画像から人物や顔を認識する。
【０００６】
しかし、ビデオカメラは、レンズ系の画像取得可能範囲と、光電変換装置から出力可能な画像の大きさとに制約を受けるので、ビデオカメラで撮影できる画像には有限の視野が存在する。画像認識装置は、ビデオカメラで撮影された画像から人物や顔を認識するので、人物や顔を正常に認識するためには、人物や顔が視野内にあることが条件となる。
【０００７】
しかし、ビデオカメラで人物を含む動画像を撮影するとき、人物は必ずしも静止しているわけではない。したがって、画像認識装置の認識対象である人物は、常に、ビデオカメラの視野内にあるとは限らない。そのため、画像認識装置では、ビデオカメラの撮影方向や撮影範囲を人物の動きに合わせて修正することが望まれる。
【０００８】
撮影方向や撮影範囲を修正する方法としては、従来、ビデオカメラの操作者が、撮影対象である人物の動きを見て、それに合わせてパンやチルトを行うという方法しかなかった。
【０００９】
しかし、セキュリティ確保のための人物認証や防犯カメラに応用される画像認識装置は、操作者が常時操作しているものではなく、無人でも動作する必要がある。そのため、従来の画像認識装置は、人物を認識することができないとき、それが画像からのはみ出しによるか否か知ることができなかった。そのため、従来の画像認識装置は、画像から人物やその顔がはみ出しているとき、撮影方向や撮影範囲を自動的に修正することができず、また、人物が画像からはみ出したことを警告することもできなかった。
【００１０】
そのため、従来の画像認識装置は、人物やその顔が画像に入るであろう適当な範囲を固定的に撮影するように設置され、できるだけ人物が画像からはみ出さないようにする程度であった。
【００１１】
本発明の目的は、ビデオカメラで撮影された画像から人物または人物の顔がはみ出したことを検知できる画像処理装置、そのはみ出し検知方法およびプログラムを提供することである。
【００１２】
【課題を解決するための手段】
上記目的を達成するために、本発明の画像処理装置は、人物の撮影画像からのはみ出しを検知する画像処理装置であって、前記人物を含む画像を連続して取得する撮像手段と、前記撮像手段で取得された画像間の各画素の差分を算出するフレーム間差分算出手段と、前記画像の縦方向の画素列毎に、前記フレーム間差分算出手段で算出された差分の値が所定値以上の画素の中で最も画像上端に近い画素を求め、前記画素列毎に求めた該画素をむすんで横方向の曲線を描き、該曲線が画像下端に達する点と該曲線が下向きのピークとなる点とで前記画像の領域を縦に複数の分割領域に分割する領域分割手段と、前記領域分割手段によって得られた前記複数の分割領域の中で、前記差分の値が所定値以上の画素の数が最も多い分割領域を、前記人物の存在する人物領域として選択する領域選択手段と、前記人物領域内で前記画像の画像端付近に、前記差分の値が所定値以上である画素が所定の閾値より多く存在すれば、前記人物が前記画像からはみ出していると判断する判断手段と、を有している。
【００５７】
【発明の実施の形態】
本発明の実施形態について図面を参照して詳細に説明する。
（第１の実施形態）
本発明の第１の実施形態は、画像の上下左右の部分の画像の変化から、人物が画像からはみ出したことを検出する画像処理装置である。
【００５８】
図１は、第１の実施形態の画像処理装置の構成を示すブロック図である。図１を参照すると、画像処理装置１０は、撮像部１１、フレーム間差分算出部１２、二値化部１３、画像上部画素数部１４、画像右部画素数カウント部１５、画像左部画素数カウント部１６、画像下部画素数カウント部１７および判断部１８を有している。
【００５９】
撮像部１１は、例えばビデオカメラであり、次々と連続して画像を撮影し、撮影した画像をデジタル化して画素毎のデータを求める。本実施形態では、撮影される画像は、一例としてモノクロ画像であるとする。したがって、画素毎のデータは輝度を表わす数値で示される。
【００６０】
フレーム間差分算出部１２は、撮像部１１でデジタル化された画像を入力とし、過去の所定数の画像をメモリ（不図示）に保存するとともに、最新の画像とメモリに保存されている過去の各画像との差分を画素毎に算出する。各画素の差分は、最新の画像におけるその画素の輝度と、過去の画像におけるその画素の輝度との差である。メモリに保存される過去の画像の数は少なくとも１つであり、複数であってもよく、例えば、パラメータとして変更可能に設定されている。
【００６１】
二値化部１３は、フレーム間差分算出部１２で算出された各画素の差分を、予め定められた差分閾値と比較し、閾値との大小により二値化する。なお、各画素の差分が差分閾値より大きいことは、その画素は過去の画像との差分が大きいことを示し、すなわち、その画素の変化が大きいことを意味する。ここでは、各画素の差分は、差分閾値以上のとき“１”に二値化され、差分閾値より小さいとき“０”に二値化されることとする。
【００６２】
第１の実施形態では、撮像部１１で撮影される画像の上下左右の各辺付近の部分が上部領域、下部領域、左部領域、右部領域とされている。図２は画像９０の中の上部領域９１を示し、図３は左部領域９２を示し、図４は右部領域９３を示し、図５は下部領域９４を示している。
【００６３】
画像上部画素数カウント部１４は、上部領域９１内の画素のうち、二値化部１３で差分閾値以上とされた画素の数、すなわち“１”に二値化された画素の数をカウントする。
【００６４】
画像右部画素数カウント部１５は、右部領域９３内の画素のうち、二値化部１３で差分閾値以上とされた画素の数をカウントする。
【００６５】
画像左部画素数カウント部１６は、左部領域９２内の画素のうち、二値化部１３で差分閾値以上とされた画素の数をカウントする。
【００６６】
画像下部画素数カウント部１７は、下部領域９４内の画素のうち、二値化部１３で差分閾値以上とされた画素の数をカウントする。
【００６７】
判断部１８は、画像上部画素数カウント部１４のカウント値が、予め定められた上部カウント閾値より大きければ、人物が画像の上にはみ出していると判断する。また、判断部１８は、画像右部画素数カウント部１５のカウント値が、予め定められた右部カウント閾値より大きければ、人物が画像の右にはみ出していると判断する。判断部１８は、画像左部画素数カウント部１６のカウント値が、予め定められた左部カウント閾値より大きければ、人物が画像の左にはみ出していると判断する。判断部１８は、画像下部画素数カウント部１７のカウント値が、予め定められた下部カウント閾値より大きければ、人物が画像の下にはみ出していると判断する。
【００６８】
図６は、本実施形態の画像処理装置の動作を示すフローチャートである。図６を参照すると、まず、撮像部１１が画像を撮影し、フレーム間差分算出部１２に送る（ステップＡ１）。ここで、撮像部１１のビデオカメラが起動してからｔ番目に撮影された画像をｉｍ（ｔ）とする。
【００６９】
次に、フレーム間差分算出部１２は、最新の画像ｉｍ（ｔ）の各画素と、メモリに保存されている過去の画像の各画素との差分を算出し、各差分を各画素の値とする差分画像ｄｉｆｆ（ｔ）を生成する（ステップＡ２）。
【００７０】
次に、フレーム間差分画像算出部１３は、画像ｉｍ（ｔ）を過去の画像としてメモリに保存する（ステップＡ３）。それとともに、フレーム間差分画像算出部１３は、メモリに保存されていた最も古い過去の画像を１つ廃棄する。
【００７１】
次に、二値化部１４は、差分画像ｄｉｆｆ（ｔ）の各画素の値（上述された差分）を差分閾値と比較して二値化し、差分画像ｄｉｆｆ（ｔ）を二値化画像ｂｉｎ（ｔ）に変換する（ステップＡ４）。このとき、二値化部１４は、各画素の値が差分閾値以上のとき、その画素値を“１”とする。また、二値化部１４は、各画素の値が差分閾値より小さいとき、その画素値を“０”とする。
【００７２】
次に、画像上部画素数カウント部１４は、二値化画像ｂｉｎ（ｔ）の上部領域９１内で、画素値が“１”である画素の数をカウントする（ステップＡ５）。ここでは、そのカウント値をａ（ｔ）とする。
【００７３】
次に、画像右部画素数カウント部１５は、二値化画像ｂｉｎ（ｔ）の右部領域９２内で、画素値が“１”である画素の数をカウントする（ステップＡ６）。ここでは、そのカウント値をｂ（ｔ）とする。
【００７４】
次に、画像左部画素数カウント部１６は、二値化画像ｂｉｎ（ｔ）の左部領域９３内で、画素値が“１”である画素の数をカウントする（ステップＡ７）。ここでは、そのカウント値をｃ（ｔ）とする。
【００７５】
次に、画像下部画素数カウント部１７は、二値化画像ｂｉｎ（ｔ）の下部領域９４内で、画素値が“１”である画素の数をカウントする（ステップＡ８）。ここでは、そのカウント値をｄ（ｔ）とする。
【００７６】
次に、判定部１８は、カウント値ａ（ｔ）が上部カウント閾値ｔｈ１より大きいか否か判定する（ステップＡ９）。カウント値ａ（ｔ）が上部カウント閾値ｔｈ１より大きければ、判定部１８は、人物が画像の上にはみ出していることを検知する（ステップＡ１０）。
【００７７】
次に、判定部１８は、カウント値ｂ（ｔ）が右部カウント閾値ｔｈ２より大きいか否か判定する（ステップＡ１１）。カウント値ｂ（ｔ）が右部カウント閾値ｔｈ２より大きければ、判定部１８は、人物が画像の右にはみ出していることを検知する（ステップＡ１２）。
【００７８】
次に、判定部１８は、カウント値ｃ（ｔ）が左部カウント閾値ｔｈ３より大きいか否か判定する（ステップＡ１３）。カウント値ｃ（ｔ）が右部カウント閾値ｔｈ３より大きければ、判定部１８は、人物が画像の左にはみ出していることを検知する（ステップＡ１４）。
【００７９】
次に、判定部１８は、カウント値ｄ（ｔ）が下部カウント閾値ｔｈ４より大きいか否か判定する（ステップＡ１５）。カウント値ｄ（ｔ）が右部カウント閾値ｔｈ４より大きければ、判定部１８は、人物が画像の下にはみ出していることを検知する（ステップＡ１６）。
【００８０】
以上の動作を終了すると、画像処理装置１０は、“ｔ”を１つインクリメントし（ステップＡ１７）、ステップＡ１に戻る。
【００８１】
以上説明したように、本実施形態の画像処理装置１０は、最新の画像と過去の画像との差分をフレーム間差分算出部１２によって算出し、二値化部１３によって差分を二値化して所定以上に変化したか否か求め、画像上部、右部、左部または下部画素数カウント部１４、１５、１６、１７によって、所定以上に変化した画素の数を上下左右の領域毎にカウントし、判断部１８によって、各領域のカウント値を閾値と比較してカウント値が閾値を超えた領域において画像から人物がはみ出したと判断するので、画像変化が大きいためにカウント値が閾値を超えた領域を検出することにより、画像からの人物のはみ出しを自動的に検知することができる。
【００８２】
なお、本実施形態では、撮像部１１がモノクロ画像を撮影する場合を例示したが、本発明はこれに限定されるものではなく、カラー画像であってもよい。撮像部１１で撮影されるのがカラー画像である場合、例えば、フレーム間差分算出部１２は、各画素値をＲＧＢの３色を要素とするベクトルで表わし、過去の画像の画素とベクトルの差分を求める。そして、二値化部１３は、フレーム間差分算出部１２で求められた差分ベクトルの大きさを差分閾値と比較することにより、二値化画像を生成してもよい。
【００８３】
また、本実施形態では、画像からのはみ出しを検知する対象物が人物である場合を例示したが、本発明はこれに限定されるものではない。連続的に撮影したとき、移動しうる物体であれば、どのようなものであってもよい。
【００８４】
また、本実施形態で用いられた、過去の画像の数、各閾値、上下左右部の各領域の大きさなどのパラメータを調整することにより、画像処理装置がはみ出しを検知する精度を向上させることができる。
（第２の実施形態）
図７は、本発明の第２の実施形態の画像処理装置の構成を示すブロック図である。図７を参照すると、画像処理装置２０は、撮像部２１、フレーム間差分算出部２２、二値化部２３、領域分割部２４、領域選択部２５、画像上部画素数カウント部２６、画像右部画素数カウント部２７、画像左部画素数カウント部２８、画像下部画素数カウント部２９および判断部２１０を有している。
【００８５】
撮像部２１は、例えばビデオカメラであり、次々と連続して画像を撮影し、撮影した画像をデジタル化して画素毎のデータを求める。本実施形態では、撮影される画像は、一例としてモノクロ画像であるとする。したがって、画素毎のデータは輝度を表わす数値で示される。
【００８６】
フレーム間差分算出部２２は、撮像部２１でデジタル化された画像を入力とし、過去の所定数の画像をメモリ（不図示）に保存するとともに、最新の画像とメモリに保存されている過去の各画像との差分を画素毎に算出する。各画素の差分は、最新の画像におけるその画素の輝度と、過去の画像におけるその画素の輝度との差である。メモリに保存される過去の画像の数は少なくとも１つであり、複数であってもよく、例えば、パラメータとして変更可能に設定されている。
【００８７】
二値化部２３は、フレーム間差分算出部２２で算出された各画素の差分を、予め定められた差分閾値と比較し、閾値との大小により二値化する。なお、各画素の差分が差分閾値より大きいことは、その画素は過去の画像との差分が大きいことを示し、すなわち、その画素の変化が大きいことを意味する。ここでは、各画素の差分は、差分閾値以上のとき“１”に二値化され、差分閾値より小さいとき“０”に二値化されることとする。
【００８８】
領域分割部２４は、画像を複数の分割領域に分割する。画像を複数の分割領域に分割する方法については後述する。
【００８９】
領域選択部２５は、領域分割部２４で分割された複数の分割領域の中から、最も人物らしい分割領域を選択し、さらに、選択された分割領域に応じて二値化画像を変換する。最も人物らしい分割領域を選択する方法と、二値化画像を変換する方法については後述する。
【００９０】
第２の実施形態では、第１の実施形態と同様、図２〜図５に示された上部、右部、左部、下部領域９３、９４、９５、９６が定められている。
【００９１】
画像上部画素数カウント部２６は、領域選択部２５で変換された二値化画像において、上部領域９１内で画素値が“１”である画素の数をカウントする。
【００９２】
画像右部画素数カウント部２７は、領域選択部２５で変換された二値化画像において、右部領域９３内で画素値が“１”である画素の数をカウントする。
【００９３】
画像左部画素数カウント部２８は、領域選択部２５で変換された二値化画像において、左部領域９２内で画素値が“１”である画素の数をカウントする。
【００９４】
画像下部画素数カウント部２９は、領域選択部２５で変換された二値化画像において、下部領域９４内で画素値が“１”である画素の数をカウントする。
【００９５】
判断部２１０は、画像上部画素数カウント部２６のカウント値が、予め定められた上部カウント閾値より大きければ、人物が画像の上にはみ出していると判断する。また、判断部２１０は、画像右部画素数カウント部２７のカウント値が、予め定められた右部カウント閾値より大きければ、人物が画像の右にはみ出していると判断する。判断部２１０は、画像左部画素数カウント部２８のカウント値が、予め定められた左部カウント閾値より大きければ、人物が画像の左にはみ出していると判断する。判断部２１０は、画像下部画素数カウント部２９のカウント値が、予め定められた下部カウント閾値より大きければ、人物が画像の下にはみ出していると判断する。
【００９６】
図８は、本実施形態の画像処理装置の動作を示すフローチャートである。図８を参照すると、まず、撮像部２１が画像を撮影し、フレーム間差分算出部２２に送る（ステップＢ１）。ここで、撮像部１１のビデオカメラが起動してからｔ番目に撮影された画像をｉｍ（ｔ）とする。
【００９７】
次に、フレーム間差分算出部２２は、最新の画像ｉｍ（ｔ）の各画素と、メモリに保存されている過去の画像の各画素との差分を算出し、各差分を各画素の値とする差分画像ｄｉｆｆ（ｔ）を生成する（ステップＢ２）。
【００９８】
次に、フレーム間差分画像算出部２２は、画像ｉｍ（ｔ）を過去の画像としてメモリに保存する（ステップＢ３）。それとともに、フレーム間差分画像算出部２２は、メモリに保存されていた最も古い過去の画像を１つ廃棄する。
【００９９】
次に、二値化部２３は、差分画像ｄｉｆｆ（ｔ）の各画素の値（上述された差分）を差分閾値と比較して二値化し、差分画像ｄｉｆｆ（ｔ）を二値化画像ｂｉｎ（ｔ）に変換する（ステップＢ４）。このとき、二値化部２３は、各画素の値が差分閾値以上のとき、その画素値を“１”とする。また、二値化部２３は、各画素の値が差分閾値より小さいとき、その画素値を“０”とする。
【０１００】
次に、領域分割部２４は、二値化部２３で得られた二値化画像ｂｉｎ（ｔ）を複数の分割領域に分割する（ステップＢ５）。
【０１０１】
領域分割部２４による領域分割の方法の一例について説明する。図９は、領域分割の方法について説明するための図である。図９に示すように、二値化画像ｂｉｎ（ｔ）の横方向をＸ軸（右向きが正）とし、縦方向をＹ軸（下向きが正）とし、画像の左上の画素から右にｘ番目で、下にｙ番目の画素の画素値をｖ（ｘ，ｙ）とする。
【０１０２】
図９（ａ）のような二値化画像ｂｉｎ（ｔ）が得られると、図９（ｂ）に示すように、画像を構成する全てのｘについて、ｖ（ｘ，ｙ）が１となる最小のｙの値を求める。次に、得られたｙの値が、ｘの変化に対して極大となる点（極大点）と、画像下辺に到達する点（下辺接点）とを求め、極大点および下辺接点を通る垂直な線で画像を複数の分割領域に分割する。
【０１０３】
また、他の領域分割の方法の例として、同じ画素値（“１”または“０”）を有し、互いに連結している画素をグループ化して１つの分割領域とする方法が考えられる。つまり、画素値“１”の画素が連結している部分（画素値“１”のひとかたまり）が１つの分割領域とされ、同様に、画素値“０”の画素がつながっている部分（画素値“０”のひとかたまり）が１つの分割領域とされる。
【０１０４】
次に、領域選択部２５は、領域分割部２４で得られた各分割領域から最も人物らしい分割領域を選択する。そして、領域選択部２５は、その分割領域内ではｂｉｎ（ｔ）と同じ値であり、それ以外の分割領域では“０”となるように変換された二値化画像ｓｂｉｎ（ｔ）を作成する（ステップＢ６）。
【０１０５】
領域選択部２５による、最も人物らしい分割領域を選択する方法の一例として、領域分割部２４で得られた分割領域の中で、画素値が“１”となる画素の数が最も多い分割領域を選択するという方法が考えられる。
【０１０６】
次に、画像上部画素数カウント部２６は、変換された二値化画像ｓｂｉｎ（ｔ）の上部領域９１内で、画素値が“１”である画素の数をカウントする（ステップＢ７）。ここでは、そのカウント値をａ（ｔ）とする。
【０１０７】
次に、画像右部画素数カウント部２７は、変換された二値化画像ｓｂｉｎ（ｔ）の右部領域９２内で、画素値が“１”である画素の数をカウントする（ステップＢ８）。ここでは、そのカウント値をｂ（ｔ）とする。
【０１０８】
次に、画像左部画素数カウント部２８は、変換された二値化画像ｓｂｉｎ（ｔ）の左部領域９３内で、画素値が“１”である画素の数をカウントする（ステップＢ９）。ここでは、そのカウント値をｃ（ｔ）とする。
【０１０９】
次に、画像下部画素数カウント部２９は、変換された二値化画像ｓｂｉｎ（ｔ）の下部領域９４内で、画素値が“１”である画素の数をカウントする（ステップＢ１０）。ここでは、そのカウント値をｄ（ｔ）とする。
【０１１０】
次に、判定部２１０は、カウント値ａ（ｔ）が上部カウント閾値ｔｈ１より大きいか否か判定する（ステップＢ１１）。カウント値ａ（ｔ）が上部カウント閾値ｔｈ１より大きければ、判定部２１０は、人物が画像の上にはみ出していることを検知する（ステップＢ1２）。
【０１１１】
次に、判定部２１０は、カウント値ｂ（ｔ）が右部カウント閾値ｔｈ２より大きいか否か判定する（ステップＢ１３）。カウント値ｂ（ｔ）が右部カウント閾値ｔｈ２より大きければ、判定部２１０は、人物が画像の右にはみ出していることを検知する（ステップＢ１４）。
【０１１２】
次に、判定部２１０は、カウント値ｃ（ｔ）が左部カウント閾値ｔｈ３より大きいか否か判定する（ステップＢ１５）。カウント値ｃ（ｔ）が右部カウント閾値ｔｈ３より大きければ、判定部２１０は、人物が画像の左にはみ出していることを検知する（ステップＢ１６）。
【０１１３】
次に、判定部２１０は、カウント値ｄ（ｔ）が下部カウント閾値ｔｈ４より大きいか否か判定する（ステップＢ１７）。カウント値ｄ（ｔ）が右部カウント閾値ｔｈ４より大きければ、判定部２１０は、人物が画像の下にはみ出していることを検知する（ステップＢ1８）。
【０１１４】
以上の動作を終了すると、画像処理装置２０は、“ｔ”を１つインクリメントし（ステップＢ１９）、ステップＢ１に戻る。
（第３の実施形態）
第３の実施形態は、人物がビデオカメラに近すぎて画像からはみ出していることを検出する画像処理装置である。
【０１１５】
図１０は、第３の実施形態の画像処理装置の構成を示すブロック図である。図１０を参照すると、画像処理装置３０は、第１の撮像部３１、第２の撮像部３２、画像中央部相関算出部３３、信頼性判断部３４、距離算出部３５および距離判断部３６を有している。
【０１１６】
第１の撮像部３１は、例えばビデオカメラであり、次々と連続して画像を撮影し、撮影した画像をデジタル化して画素毎のデータを求める。
【０１１７】
第２の撮像部３２は、第１の撮像部３１と同様に、次々と連続して画像を撮影し、撮影した画像をデジタル化して画素毎のデータを求める。また、第２の撮像部３２の画像を撮影する視野は、第１の撮像部３１の視野と重複する部分を有し、かつ、第１の撮像部３１の視野との相対的な位置関係が固定されている。
【０１１８】
画像中央部相関算出部３３は、第１の撮像部３１と第２の撮像部３２からほぼ同時に得られる画像の画像中央部９５（図１２参照）での相関値を計算する。
【０１１９】
信頼性判断部３４は、画像中央部相関計算部３３で得られた相関値の座標位置に対する変化がなだらかであれば、信頼性が低いと判断し、変化が急であれば、信頼性が高いと判断する。
【０１２０】
距離算出部３５は、第１の撮像部３１と第２の撮像部３２の位置関係と、２つの画像をずらして２つの画像の相関値が最大となるときのずれ量とから、画像中央部９５に映っている物体との距離を算出する。
【０１２１】
距離判断部３６は、距離算出部３５で得られた距離が所定の閾値以下であり、かつ信頼性判断部３４で信頼性が高いと判断されていれば、距離が近すぎて画像から人物がはみ出していると判断する。
【０１２２】
図１１は、本実施形態の画像処理装置の動作を示すフローチャートである。図１１を参照すると、まず、第１および第２の撮像部３１、３２がそれぞれ画像を撮像し、画像中央部相関算出部３３に送る（ステップＣ１）。第１の撮像部３１と第２の撮像部３２とは同時に起動されるものとし、ビデオカメラが起動してからｔ番目に撮影された画像をそれぞれｉｍ１（ｔ）、ｉｍ２（ｔ）とする。
【０１２３】
次に、画像中央部相関算出部３３は、画像ｉｍ１（ｔ）と画像ｉｍ２（ｔ）の画像中央部９５での相関値ｃｏｒｒ（ｘ）を算出する（ステップＣ２）。
【０１２４】
相関値の算出法の一例を説明する。
【０１２５】
ここで、画像ｉｍ１（ｔ）の横方向をＸ軸（右向きが正）縦方向をＹ軸（下向きが正）とし、画像のもっとも左上の画素から右にｘ番目で、下にｙ番目の画素値をｖ１（ｘ，ｙ）とする。画像ｉｍ２（ｔ）についても同様にｖ２（ｘ，ｙ）を定義する。また、画像中央部９５は図１２に示されたように設定されているとする。
【０１２６】
そして、画像中央部９５の座標値の集合をＣとすると、相関値は ｃｏｒｒ（ｘ）＝Σ＿｛（ｔ，ｓ）￥ｉｎ Ｃ｝｜ｖ１（ｔ−ｘ，ｓ）−ｖ２（ｔ，ｓ）｜などと計算できる。
【０１２７】
次に、信頼性判断部３４は、相関値ｃｏｒｒ（ｘ）の変化がなだらかであるか否か判定する（ステップＣ３）。
【０１２８】
相関値ｃｏｒｒ（ｘ）がなだらかであるか否かの判定方法の一例について説明する。相関値ｃｏｒｒ（ｘ）が最大となるｘをｘ１とする。このとき、画像中央部９５の全域において、ｃｏｒｒ（ｘ１）−ｃｏｒｒ（ｘ１−ｇ）＜ｔｈｃ１かつｃｏｒｒ（ｘ１）−ｃｏｒｒ（ｘ１＋ｇ）＜ｔｈｃ２ならばｃｏｒｒ（ｘ）がなだらかであると判断し、そうでなけれななだらかでないと判断する。
【０１２９】
相関値ｃｏｒｒ（ｔ）の変化がなだらかでなければ、距離算出部３５が、第１の撮像部３１と第２の撮像部３２の位置関係と、相関値ｃｏｒｒ（ｘ）が最大となるｘの値とから距離ｄ（ｔ）を求める（ステップＣ４）。距離の算出方法は従来からよく知られた方法によればよい。例えば、文献「３次元ビジョン」（徐、辻著、共立出版（１９９８））などに記載された方法を用いることで実現できる。
【０１３０】
次に、距離判定部３６は、距離ｄ（ｔ）が所定の閾値ｔｈより大きいか否か判定する（ステップＣ５）。閾値ｔｈは、対象物（ここでは人物）のサイズと、レンズの焦点距離と、画像の大きさから、対象物が画像からはみ出すであろう距離を予め算出しておいたものである。距離ｄ（ｔ）が閾値ｔｈ以下であれば、距離判定部３６は、人物が画像からはみ出していると検知する（ステップＣ６）。
【０１３１】
ステップＣ６の後、ステップＣ５において距離ｄ（ｔ）が閾値ｔｈより大きかったとき、または、ステップＣ３において変化がなだらかであったとき、画像処理装置３０は、“ｔ”を１つインクリメントし（ステップＣ７）、ステップＣ１に戻る。
【０１３２】
以上説明したように、本実施形態の画像処理装置３０は、第１および第２の撮像部３１、３２によって、互いにずれた２つの画像を同時に撮影し、画像中央部相関算出部３３によって、２つの画像の画像中央部９５での相関値を算出し、信頼性判断部３４によって、相関値から信頼性が高いか低いか判定し、信頼性が高い場合に、距離算出部３５によって、ビデオカメラと人物との距離を算出し、距離判定部３６によって、距離が近ければ画像から人物がはみ出していると判断されるので、距離が近すぎることによる、画像からの人物のはみ出しを自動的に検知することができる。
【０１３３】
なお、本実施形態では、画像からのはみ出しを検知する対象が人物である場合を例示したが、本発明はこれに限定されるものではない。ある程度の大きさが想定できるものであれば、どのようなものであってもよい。
（第４の実施形態）
図１３は、本発明の第４の実施形態の画像処理装置の構成を示すブロック図である。図１３を参照すると、画像処理装置４０は、第１の撮像部４１、第２の撮像部４２、小領域相関算出部４３、距離算出部４４、最小距離選択部４５および距離判断部４６を有している。
【０１３４】
第１の撮像部４１は、例えばビデオカメラであり、次々と連続して画像を撮影し、撮影した画像をデジタル化して画素毎のデータを求める。
【０１３５】
第２の撮像部４２は、第１の撮像部４１と同様、次々と連続して画像を撮影し、撮影した画像をデジタル化して画素毎のデータを求める。また、第２の撮像部４２の画像を撮影する視野は、第１の撮像部４１の視野と重複する部分を有し、第２の撮像部４２の画像を撮影する視野は、第１の撮像部４１の視野との相対的な位置関係が固定されている。
【０１３６】
小領域相関部４３は、第１の撮像部４１と第２の撮像部４２からほぼ同時に得られる画像の画像中央部９６の複数の小領域９６ａ、９６ｂ、９６ｃ、９６ｄでのそれぞれの相関値を計算する（図１５参照）。
【０１３７】
距離算出部４４は、各小領域９６ａ、９６ｂ、９６ｃ、９６ｄについて、第１の撮像部４１と第２の撮像部４２の位置関係と、２つの画像をずらして２つの画像の相関値が最大となるときのずれ量とから、各小領域に映っている物体との距離を算出する。
【０１３８】
最小距離選択部４５は、距離算出部４４で算出された各小領域の距離のうち、最小のものを選択する。
【０１３９】
距離判断部４６は、最小距離選択部４５で選択された小領域の距離が所定の閾値以下であれば、距離が近すぎて画像から人物がはみだしていると判断する。
【０１４０】
図１４は、本実施形態の画像処理装置の動作を示すフローチャートである。図１４を参照すると、まず、第１および第２の撮像部４１、４２がそれぞれ画像を撮像し、小領域相関算出部４３に送る（ステップＤ１）。第１の撮像部４１と第２の撮像部４２とは同時に起動されるものとし、ビデオカメラが起動してからｔ番目に撮影された画像をそれぞれｉｍ１（ｔ）、ｉｍ２（ｔ）とする。
【０１４１】
次に、小領域相関算出部４３は、画像ｉｍ１（ｔ）と画像ｉｍ２（ｔ）の各小領域９６ａ、９６ｂ、９６ｃ、９６ｄでの相関値を算出し、距離算出部４４は、各小領域９６ａ、９６ｂ、９６ｃ、９６ｄにおける、ビデオカメラと物体との距離を算出する（ステップＤ２）。このとき用いられる、相関値および距離の算出方法は第３の実施形態と同様の方法である。
【０１４２】
次に、距離判定部４６は、各小領域における距離のうち、最も短いものが所定の閾値ｔｈ以下であるか否か判定する（ステップＤ３）。閾値ｔｈは、第３の実施形態と同様に、対象物（ここでは人物）のサイズと、レンズの焦点距離と、画像の大きさから、対象物が画像からはみ出すであろう距離を予め算出しておいたものである。距離が閾値ｔｈ以下であれば、距離判定部４６は、人物が画像からはみ出していると検知する（ステップＤ４）。
【０１４３】
ステップＤ４の後、または、ステップＤ３において距離が閾値ｔｈ以下でなかったとき、画像処理装置４０は、“ｔ”を１つインクリメントし（ステップＤ５）、ステップＤ１に戻る。
【０１４４】
【発明の効果】
本発明によれば、撮像手段で連続的に撮影された画像から、フレーム間差分算出手段が、画像の変化を示す各画素の差分を算出し、画像の上下左右の辺に近い領域で画像の変化が大きければ、判断手段が、対象物が画像からはみ出していると判断するので、上下左右にずれたことにより画像から対象物がはみ出したことを自動的に検知することができる。
【０１４５】
また、撮像手段で連続的に撮影された画像から、フレーム間差分算出手段が、画像の変化を示す各画素の差分を算出し、領域分割手段が、画像を複数の分割領域に分割し、領域選択手段が、最も対象物らしい分割領域を選択し、判断手段が、最も対象物らしい分割領域の画像に基づいて、画像の上下左右の辺に近い領域で画像の変化が大きければ、判断手段が、対象物が画像からはみ出していると判断するので、画像からの対象物のはみ出しを自動的に確実に検知することができる。
【０１４６】
また、撮像手段で撮影された画像から、距離算出手段が、対象物である可能性の高い、その画像の中央に撮影された物体までの距離を算出し、信頼性判断手段が、算出された距離の信頼性を求め、その結果、信頼性が高く、かつ、距離が近すぎるとき、判断手段が、対象物が画像からはみ出していると判断するので、対象物が近すぎるために画像からはみ出したことを自動的に検知することができる。
【０１４７】
また、第１および第２の撮像手段で撮影された、互いにずれた２つの画像から、画像中央部相関算出手段が、それらの画像の相関値を算出し、距離算出手段が、相関値により分かる２つの画像のずれ量から、対象物までの距離を算出し、その結果、距離が近すぎるとき、判断手段が、対象物が画像からはみ出していると判断するので、対象物が近すぎるために画像からはみ出したことを自動的に検知することができる。
【０１４８】
また、第１および第２の撮像手段で撮影された、互いにずれた２つの画像から、画像中央部相関算出手段が、それらの画像の相関値を算出し、距離算出手段が、相関値により分かる２つの画像のずれ量から、画像中央部の各小領域にある物体で、距離が最小のものを対象物として、対象物までの距離を算出し、その結果、距離が近すぎるとき、判断手段が、対象物が画像からはみ出していると判断するので、対象物が近すぎるために画像からはみ出したことを自動的に確実に検知することができる。
【図面の簡単な説明】
【図１】第１の実施形態の画像処理装置の構成を示すブロック図である。
【図２】画像の中の上部領域を示す図である。
【図３】画像の中の左部領域を示す図である。
【図４】画像の中の右部領域を示す図である。
【図５】画像の中の下部領域を示す図である。
【図６】第１の実施形態の画像処理装置の動作を示すフローチャートである。
【図７】本発明の第２の実施形態の画像処理装置の構成を示すブロック図である。
【図８】第２の実施形態の画像処理装置の動作を示すフローチャートである。
【図９】領域分割の方法について説明するための図である。
【図１０】第３の実施形態の画像処理装置の構成を示すブロック図である。
【図１１】第３の実施形態の画像処理装置の動作を示すフローチャートである。
【図１２】画像の中の画像中央部を示す図である。
【図１３】第４の実施形態の画像処理装置の構成を示すブロック図である。
【図１４】第４の実施形態の画像処理装置の動作を示すフローチャートである。
【図１５】画像の中の画像中央部の各小領域を示す図である。
【符号の説明】
１０，２０，３０ 画像処理装置
１１，２１ 撮像部
１２，２２ フレーム間差分算出部
１３，２３ 二値化部
１４，２６ 画像上部画素数部
１５，２７ 画像右部画素数カウント部
１６，２８ 画像左部画素数カウント部
１７，２９ 画像下部画素数カウント部
１８，２１０ 判断部
２４ 領域分割部
２５ 領域選択部
３１，４１ 第１の撮像部
３２，４２ 第２の撮像部
３３ 画像中央部相関算出部
３４ 信頼性判断部
３５，４４ 距離算出部
３６，４６ 距離判断部
４３ 小領域相関算出部
４５ 最小距離選択部
９０ 画像
９１ 上部領域
９２ 左部領域
９３ 右部領域
９４ 下部領域
９５，９６ 画像中央部
９６ａ，９６ｂ，９６ｃ，９６ｄ 小領域
Ａ１〜Ａ１７，Ｂ１〜Ｂ１９，Ｃ１〜Ｃ７ ステップ
【発明の属する技術分野】
本発明は、人物の動画像を撮影する画像処理装置に関し、特に、撮影された画像から人物がはみ出していることを検知する画像処理装置に関する。
【０００２】
【従来の技術】
動画像を記録として残すために、ビデオカメラのような画像撮影装置で動画像を撮影することがある。動画像を記録として残すための画像撮影装置で撮影される画像には人物や人物の顔が含まれることが多い。そして、人物やその顔は、画像撮影装置で撮影される画像から、はみ出さないことが望ましい。しかし、動画像を撮影するとき、撮影される人物は静止しているとは限らず、通常は絶えず動いている。したがって、人物や顔が視野からはみ出すことが考えられる。そのため、ビデオカメラの撮影方向や撮影範囲は人物の動きに合わせて修正されることが望ましい。
【０００３】
従来、画像撮影装置により動画像を撮影するとき、視野から人物がはみ出さないように、または、はみ出した人物を再び視野内に入れるように、画像撮影装置を操作している操作者が、撮影対象である人物の動きに合わせてパンやチルトを行い、撮影方向を調整していた。特開平０１−２４３６７３号公報に記載された従来のビデオカメラは、パンまたはチルトをするための駆動装置をグリップ内に有している。そのため、従来のビデオカメラの操作者は、電動雲台装置を用いなくとも、パンまたはチルトを容易に行うことができた。
【０００４】
【発明が解決しようとする課題】
近年では、ビデオカメラで撮影された動画像から人物やその顔を認識する画像認識装置が、セキュリティ確保のための人物認証や、防犯カメラで撮影された犯人像を用いた犯人捜査などに応用されている。
【０００５】
画像認識装置には、ビデオカメラで撮影された人物の画像と、予め記録しておいた人物の画像とを比較することにより、人物を認識するものがある。例えば、特開２０００−３３１１６７号公報に記載された従来の顔画像照合装置は、２つの顔画像を照合して顔画像に現れている２つの顔の一致度を評価する。従来の顔画像照合装置は、まず、顔画像に現れている顔の大きさおよび各顔画像内における顔の位置を一致させるために、顔画像を正規化する。次に、顔画像照合装置は、所定のマスクデータに基づいて２つの顔画像の所定領域をマスクすることにより顔領域を抽出する。次に、顔画像照合装置は、各顔画像を必要に応じてモノクロ画像に変換する。さらに、顔画像照合装置は、各顔画像の階調を落とした後に照合する。このようにして、従来の画像認識装置は、ビデオカメラで撮影された画像から人物や顔を認識する。
【０００６】
しかし、ビデオカメラは、レンズ系の画像取得可能範囲と、光電変換装置から出力可能な画像の大きさとに制約を受けるので、ビデオカメラで撮影できる画像には有限の視野が存在する。画像認識装置は、ビデオカメラで撮影された画像から人物や顔を認識するので、人物や顔を正常に認識するためには、人物や顔が視野内にあることが条件となる。
【０００７】
しかし、ビデオカメラで人物を含む動画像を撮影するとき、人物は必ずしも静止しているわけではない。したがって、画像認識装置の認識対象である人物は、常に、ビデオカメラの視野内にあるとは限らない。そのため、画像認識装置では、ビデオカメラの撮影方向や撮影範囲を人物の動きに合わせて修正することが望まれる。
【０００８】
撮影方向や撮影範囲を修正する方法としては、従来、ビデオカメラの操作者が、撮影対象である人物の動きを見て、それに合わせてパンやチルトを行うという方法しかなかった。
【０００９】
しかし、セキュリティ確保のための人物認証や防犯カメラに応用される画像認識装置は、操作者が常時操作しているものではなく、無人でも動作する必要がある。そのため、従来の画像認識装置は、人物を認識することができないとき、それが画像からのはみ出しによるか否か知ることができなかった。そのため、従来の画像認識装置は、画像から人物やその顔がはみ出しているとき、撮影方向や撮影範囲を自動的に修正することができず、また、人物が画像からはみ出したことを警告することもできなかった。
【００１０】
そのため、従来の画像認識装置は、人物やその顔が画像に入るであろう適当な範囲を固定的に撮影するように設置され、できるだけ人物が画像からはみ出さないようにする程度であった。
【００１１】
本発明の目的は、ビデオカメラで撮影された画像から人物または人物の顔がはみ出したことを検知できる画像処理装置、そのはみ出し検知方法およびプログラムを提供することである。
【００１２】
【課題を解決するための手段】
上記目的を達成するために、本発明の画像処理装置は、人物の撮影画像からのはみ出しを検知する画像処理装置であって、前記人物を含む画像を連続して取得する撮像手段と、前記撮像手段で取得された画像間の各画素の差分を算出するフレーム間差分算出手段と、前記画像の縦方向の画素列毎に、前記フレーム間差分算出手段で算出された差分の値が所定値以上の画素の中で最も画像上端に近い画素を求め、前記画素列毎に求めた該画素をむすんで横方向の曲線を描き、該曲線が画像下端に達する点と該曲線が下向きのピークとなる点とで前記画像の領域を縦に複数の分割領域に分割する領域分割手段と、前記領域分割手段によって得られた前記複数の分割領域の中で、前記差分の値が所定値以上の画素の数が最も多い分割領域を、前記人物の存在する人物領域として選択する領域選択手段と、前記人物領域内で前記画像の画像端付近に、前記差分の値が所定値以上である画素が所定の閾値より多く存在すれば、前記人物が前記画像からはみ出していると判断する判断手段と、を有している。
【００５７】
【発明の実施の形態】
本発明の実施形態について図面を参照して詳細に説明する。
（第１の実施形態）
本発明の第１の実施形態は、画像の上下左右の部分の画像の変化から、人物が画像からはみ出したことを検出する画像処理装置である。
【００５８】
図１は、第１の実施形態の画像処理装置の構成を示すブロック図である。図１を参照すると、画像処理装置１０は、撮像部１１、フレーム間差分算出部１２、二値化部１３、画像上部画素数部１４、画像右部画素数カウント部１５、画像左部画素数カウント部１６、画像下部画素数カウント部１７および判断部１８を有している。
【００５９】
撮像部１１は、例えばビデオカメラであり、次々と連続して画像を撮影し、撮影した画像をデジタル化して画素毎のデータを求める。本実施形態では、撮影される画像は、一例としてモノクロ画像であるとする。したがって、画素毎のデータは輝度を表わす数値で示される。
【００６０】
フレーム間差分算出部１２は、撮像部１１でデジタル化された画像を入力とし、過去の所定数の画像をメモリ（不図示）に保存するとともに、最新の画像とメモリに保存されている過去の各画像との差分を画素毎に算出する。各画素の差分は、最新の画像におけるその画素の輝度と、過去の画像におけるその画素の輝度との差である。メモリに保存される過去の画像の数は少なくとも１つであり、複数であってもよく、例えば、パラメータとして変更可能に設定されている。
【００６１】
二値化部１３は、フレーム間差分算出部１２で算出された各画素の差分を、予め定められた差分閾値と比較し、閾値との大小により二値化する。なお、各画素の差分が差分閾値より大きいことは、その画素は過去の画像との差分が大きいことを示し、すなわち、その画素の変化が大きいことを意味する。ここでは、各画素の差分は、差分閾値以上のとき“１”に二値化され、差分閾値より小さいとき“０”に二値化されることとする。
【００６２】
第１の実施形態では、撮像部１１で撮影される画像の上下左右の各辺付近の部分が上部領域、下部領域、左部領域、右部領域とされている。図２は画像９０の中の上部領域９１を示し、図３は左部領域９２を示し、図４は右部領域９３を示し、図５は下部領域９４を示している。
【００６３】
画像上部画素数カウント部１４は、上部領域９１内の画素のうち、二値化部１３で差分閾値以上とされた画素の数、すなわち“１”に二値化された画素の数をカウントする。
【００６４】
画像右部画素数カウント部１５は、右部領域９３内の画素のうち、二値化部１３で差分閾値以上とされた画素の数をカウントする。
【００６５】
画像左部画素数カウント部１６は、左部領域９２内の画素のうち、二値化部１３で差分閾値以上とされた画素の数をカウントする。
【００６６】
画像下部画素数カウント部１７は、下部領域９４内の画素のうち、二値化部１３で差分閾値以上とされた画素の数をカウントする。
【００６７】
判断部１８は、画像上部画素数カウント部１４のカウント値が、予め定められた上部カウント閾値より大きければ、人物が画像の上にはみ出していると判断する。また、判断部１８は、画像右部画素数カウント部１５のカウント値が、予め定められた右部カウント閾値より大きければ、人物が画像の右にはみ出していると判断する。判断部１８は、画像左部画素数カウント部１６のカウント値が、予め定められた左部カウント閾値より大きければ、人物が画像の左にはみ出していると判断する。判断部１８は、画像下部画素数カウント部１７のカウント値が、予め定められた下部カウント閾値より大きければ、人物が画像の下にはみ出していると判断する。
【００６８】
図６は、本実施形態の画像処理装置の動作を示すフローチャートである。図６を参照すると、まず、撮像部１１が画像を撮影し、フレーム間差分算出部１２に送る（ステップＡ１）。ここで、撮像部１１のビデオカメラが起動してからｔ番目に撮影された画像をｉｍ（ｔ）とする。
【００６９】
次に、フレーム間差分算出部１２は、最新の画像ｉｍ（ｔ）の各画素と、メモリに保存されている過去の画像の各画素との差分を算出し、各差分を各画素の値とする差分画像ｄｉｆｆ（ｔ）を生成する（ステップＡ２）。
【００７０】
次に、フレーム間差分画像算出部１３は、画像ｉｍ（ｔ）を過去の画像としてメモリに保存する（ステップＡ３）。それとともに、フレーム間差分画像算出部１３は、メモリに保存されていた最も古い過去の画像を１つ廃棄する。
【００７１】
次に、二値化部１４は、差分画像ｄｉｆｆ（ｔ）の各画素の値（上述された差分）を差分閾値と比較して二値化し、差分画像ｄｉｆｆ（ｔ）を二値化画像ｂｉｎ（ｔ）に変換する（ステップＡ４）。このとき、二値化部１４は、各画素の値が差分閾値以上のとき、その画素値を“１”とする。また、二値化部１４は、各画素の値が差分閾値より小さいとき、その画素値を“０”とする。
【００７２】
次に、画像上部画素数カウント部１４は、二値化画像ｂｉｎ（ｔ）の上部領域９１内で、画素値が“１”である画素の数をカウントする（ステップＡ５）。ここでは、そのカウント値をａ（ｔ）とする。
【００７３】
次に、画像右部画素数カウント部１５は、二値化画像ｂｉｎ（ｔ）の右部領域９２内で、画素値が“１”である画素の数をカウントする（ステップＡ６）。ここでは、そのカウント値をｂ（ｔ）とする。
【００７４】
次に、画像左部画素数カウント部１６は、二値化画像ｂｉｎ（ｔ）の左部領域９３内で、画素値が“１”である画素の数をカウントする（ステップＡ７）。ここでは、そのカウント値をｃ（ｔ）とする。
【００７５】
次に、画像下部画素数カウント部１７は、二値化画像ｂｉｎ（ｔ）の下部領域９４内で、画素値が“１”である画素の数をカウントする（ステップＡ８）。ここでは、そのカウント値をｄ（ｔ）とする。
【００７６】
次に、判定部１８は、カウント値ａ（ｔ）が上部カウント閾値ｔｈ１より大きいか否か判定する（ステップＡ９）。カウント値ａ（ｔ）が上部カウント閾値ｔｈ１より大きければ、判定部１８は、人物が画像の上にはみ出していることを検知する（ステップＡ１０）。
【００７７】
次に、判定部１８は、カウント値ｂ（ｔ）が右部カウント閾値ｔｈ２より大きいか否か判定する（ステップＡ１１）。カウント値ｂ（ｔ）が右部カウント閾値ｔｈ２より大きければ、判定部１８は、人物が画像の右にはみ出していることを検知する（ステップＡ１２）。
【００７８】
次に、判定部１８は、カウント値ｃ（ｔ）が左部カウント閾値ｔｈ３より大きいか否か判定する（ステップＡ１３）。カウント値ｃ（ｔ）が右部カウント閾値ｔｈ３より大きければ、判定部１８は、人物が画像の左にはみ出していることを検知する（ステップＡ１４）。
【００７９】
次に、判定部１８は、カウント値ｄ（ｔ）が下部カウント閾値ｔｈ４より大きいか否か判定する（ステップＡ１５）。カウント値ｄ（ｔ）が右部カウント閾値ｔｈ４より大きければ、判定部１８は、人物が画像の下にはみ出していることを検知する（ステップＡ１６）。
【００８０】
以上の動作を終了すると、画像処理装置１０は、“ｔ”を１つインクリメントし（ステップＡ１７）、ステップＡ１に戻る。
【００８１】
以上説明したように、本実施形態の画像処理装置１０は、最新の画像と過去の画像との差分をフレーム間差分算出部１２によって算出し、二値化部１３によって差分を二値化して所定以上に変化したか否か求め、画像上部、右部、左部または下部画素数カウント部１４、１５、１６、１７によって、所定以上に変化した画素の数を上下左右の領域毎にカウントし、判断部１８によって、各領域のカウント値を閾値と比較してカウント値が閾値を超えた領域において画像から人物がはみ出したと判断するので、画像変化が大きいためにカウント値が閾値を超えた領域を検出することにより、画像からの人物のはみ出しを自動的に検知することができる。
【００８２】
なお、本実施形態では、撮像部１１がモノクロ画像を撮影する場合を例示したが、本発明はこれに限定されるものではなく、カラー画像であってもよい。撮像部１１で撮影されるのがカラー画像である場合、例えば、フレーム間差分算出部１２は、各画素値をＲＧＢの３色を要素とするベクトルで表わし、過去の画像の画素とベクトルの差分を求める。そして、二値化部１３は、フレーム間差分算出部１２で求められた差分ベクトルの大きさを差分閾値と比較することにより、二値化画像を生成してもよい。
【００８３】
また、本実施形態では、画像からのはみ出しを検知する対象物が人物である場合を例示したが、本発明はこれに限定されるものではない。連続的に撮影したとき、移動しうる物体であれば、どのようなものであってもよい。
【００８４】
また、本実施形態で用いられた、過去の画像の数、各閾値、上下左右部の各領域の大きさなどのパラメータを調整することにより、画像処理装置がはみ出しを検知する精度を向上させることができる。
（第２の実施形態）
図７は、本発明の第２の実施形態の画像処理装置の構成を示すブロック図である。図７を参照すると、画像処理装置２０は、撮像部２１、フレーム間差分算出部２２、二値化部２３、領域分割部２４、領域選択部２５、画像上部画素数カウント部２６、画像右部画素数カウント部２７、画像左部画素数カウント部２８、画像下部画素数カウント部２９および判断部２１０を有している。
【００８５】
撮像部２１は、例えばビデオカメラであり、次々と連続して画像を撮影し、撮影した画像をデジタル化して画素毎のデータを求める。本実施形態では、撮影される画像は、一例としてモノクロ画像であるとする。したがって、画素毎のデータは輝度を表わす数値で示される。
【００８６】
フレーム間差分算出部２２は、撮像部２１でデジタル化された画像を入力とし、過去の所定数の画像をメモリ（不図示）に保存するとともに、最新の画像とメモリに保存されている過去の各画像との差分を画素毎に算出する。各画素の差分は、最新の画像におけるその画素の輝度と、過去の画像におけるその画素の輝度との差である。メモリに保存される過去の画像の数は少なくとも１つであり、複数であってもよく、例えば、パラメータとして変更可能に設定されている。
【００８７】
二値化部２３は、フレーム間差分算出部２２で算出された各画素の差分を、予め定められた差分閾値と比較し、閾値との大小により二値化する。なお、各画素の差分が差分閾値より大きいことは、その画素は過去の画像との差分が大きいことを示し、すなわち、その画素の変化が大きいことを意味する。ここでは、各画素の差分は、差分閾値以上のとき“１”に二値化され、差分閾値より小さいとき“０”に二値化されることとする。
【００８８】
領域分割部２４は、画像を複数の分割領域に分割する。画像を複数の分割領域に分割する方法については後述する。
【００８９】
領域選択部２５は、領域分割部２４で分割された複数の分割領域の中から、最も人物らしい分割領域を選択し、さらに、選択された分割領域に応じて二値化画像を変換する。最も人物らしい分割領域を選択する方法と、二値化画像を変換する方法については後述する。
【００９０】
第２の実施形態では、第１の実施形態と同様、図２〜図５に示された上部、右部、左部、下部領域９３、９４、９５、９６が定められている。
【００９１】
画像上部画素数カウント部２６は、領域選択部２５で変換された二値化画像において、上部領域９１内で画素値が“１”である画素の数をカウントする。
【００９２】
画像右部画素数カウント部２７は、領域選択部２５で変換された二値化画像において、右部領域９３内で画素値が“１”である画素の数をカウントする。
【００９３】
画像左部画素数カウント部２８は、領域選択部２５で変換された二値化画像において、左部領域９２内で画素値が“１”である画素の数をカウントする。
【００９４】
画像下部画素数カウント部２９は、領域選択部２５で変換された二値化画像において、下部領域９４内で画素値が“１”である画素の数をカウントする。
【００９５】
判断部２１０は、画像上部画素数カウント部２６のカウント値が、予め定められた上部カウント閾値より大きければ、人物が画像の上にはみ出していると判断する。また、判断部２１０は、画像右部画素数カウント部２７のカウント値が、予め定められた右部カウント閾値より大きければ、人物が画像の右にはみ出していると判断する。判断部２１０は、画像左部画素数カウント部２８のカウント値が、予め定められた左部カウント閾値より大きければ、人物が画像の左にはみ出していると判断する。判断部２１０は、画像下部画素数カウント部２９のカウント値が、予め定められた下部カウント閾値より大きければ、人物が画像の下にはみ出していると判断する。
【００９６】
図８は、本実施形態の画像処理装置の動作を示すフローチャートである。図８を参照すると、まず、撮像部２１が画像を撮影し、フレーム間差分算出部２２に送る（ステップＢ１）。ここで、撮像部１１のビデオカメラが起動してからｔ番目に撮影された画像をｉｍ（ｔ）とする。
【００９７】
次に、フレーム間差分算出部２２は、最新の画像ｉｍ（ｔ）の各画素と、メモリに保存されている過去の画像の各画素との差分を算出し、各差分を各画素の値とする差分画像ｄｉｆｆ（ｔ）を生成する（ステップＢ２）。
【００９８】
次に、フレーム間差分画像算出部２２は、画像ｉｍ（ｔ）を過去の画像としてメモリに保存する（ステップＢ３）。それとともに、フレーム間差分画像算出部２２は、メモリに保存されていた最も古い過去の画像を１つ廃棄する。
【００９９】
次に、二値化部２３は、差分画像ｄｉｆｆ（ｔ）の各画素の値（上述された差分）を差分閾値と比較して二値化し、差分画像ｄｉｆｆ（ｔ）を二値化画像ｂｉｎ（ｔ）に変換する（ステップＢ４）。このとき、二値化部２３は、各画素の値が差分閾値以上のとき、その画素値を“１”とする。また、二値化部２３は、各画素の値が差分閾値より小さいとき、その画素値を“０”とする。
【０１００】
次に、領域分割部２４は、二値化部２３で得られた二値化画像ｂｉｎ（ｔ）を複数の分割領域に分割する（ステップＢ５）。
【０１０１】
領域分割部２４による領域分割の方法の一例について説明する。図９は、領域分割の方法について説明するための図である。図９に示すように、二値化画像ｂｉｎ（ｔ）の横方向をＸ軸（右向きが正）とし、縦方向をＹ軸（下向きが正）とし、画像の左上の画素から右にｘ番目で、下にｙ番目の画素の画素値をｖ（ｘ，ｙ）とする。
【０１０２】
図９（ａ）のような二値化画像ｂｉｎ（ｔ）が得られると、図９（ｂ）に示すように、画像を構成する全てのｘについて、ｖ（ｘ，ｙ）が１となる最小のｙの値を求める。次に、得られたｙの値が、ｘの変化に対して極大となる点（極大点）と、画像下辺に到達する点（下辺接点）とを求め、極大点および下辺接点を通る垂直な線で画像を複数の分割領域に分割する。
【０１０３】
また、他の領域分割の方法の例として、同じ画素値（“１”または“０”）を有し、互いに連結している画素をグループ化して１つの分割領域とする方法が考えられる。つまり、画素値“１”の画素が連結している部分（画素値“１”のひとかたまり）が１つの分割領域とされ、同様に、画素値“０”の画素がつながっている部分（画素値“０”のひとかたまり）が１つの分割領域とされる。
【０１０４】
次に、領域選択部２５は、領域分割部２４で得られた各分割領域から最も人物らしい分割領域を選択する。そして、領域選択部２５は、その分割領域内ではｂｉｎ（ｔ）と同じ値であり、それ以外の分割領域では“０”となるように変換された二値化画像ｓｂｉｎ（ｔ）を作成する（ステップＢ６）。
【０１０５】
領域選択部２５による、最も人物らしい分割領域を選択する方法の一例として、領域分割部２４で得られた分割領域の中で、画素値が“１”となる画素の数が最も多い分割領域を選択するという方法が考えられる。
【０１０６】
次に、画像上部画素数カウント部２６は、変換された二値化画像ｓｂｉｎ（ｔ）の上部領域９１内で、画素値が“１”である画素の数をカウントする（ステップＢ７）。ここでは、そのカウント値をａ（ｔ）とする。
【０１０７】
次に、画像右部画素数カウント部２７は、変換された二値化画像ｓｂｉｎ（ｔ）の右部領域９２内で、画素値が“１”である画素の数をカウントする（ステップＢ８）。ここでは、そのカウント値をｂ（ｔ）とする。
【０１０８】
次に、画像左部画素数カウント部２８は、変換された二値化画像ｓｂｉｎ（ｔ）の左部領域９３内で、画素値が“１”である画素の数をカウントする（ステップＢ９）。ここでは、そのカウント値をｃ（ｔ）とする。
【０１０９】
次に、画像下部画素数カウント部２９は、変換された二値化画像ｓｂｉｎ（ｔ）の下部領域９４内で、画素値が“１”である画素の数をカウントする（ステップＢ１０）。ここでは、そのカウント値をｄ（ｔ）とする。
【０１１０】
次に、判定部２１０は、カウント値ａ（ｔ）が上部カウント閾値ｔｈ１より大きいか否か判定する（ステップＢ１１）。カウント値ａ（ｔ）が上部カウント閾値ｔｈ１より大きければ、判定部２１０は、人物が画像の上にはみ出していることを検知する（ステップＢ1２）。
【０１１１】
次に、判定部２１０は、カウント値ｂ（ｔ）が右部カウント閾値ｔｈ２より大きいか否か判定する（ステップＢ１３）。カウント値ｂ（ｔ）が右部カウント閾値ｔｈ２より大きければ、判定部２１０は、人物が画像の右にはみ出していることを検知する（ステップＢ１４）。
【０１１２】
次に、判定部２１０は、カウント値ｃ（ｔ）が左部カウント閾値ｔｈ３より大きいか否か判定する（ステップＢ１５）。カウント値ｃ（ｔ）が右部カウント閾値ｔｈ３より大きければ、判定部２１０は、人物が画像の左にはみ出していることを検知する（ステップＢ１６）。
【０１１３】
次に、判定部２１０は、カウント値ｄ（ｔ）が下部カウント閾値ｔｈ４より大きいか否か判定する（ステップＢ１７）。カウント値ｄ（ｔ）が右部カウント閾値ｔｈ４より大きければ、判定部２１０は、人物が画像の下にはみ出していることを検知する（ステップＢ1８）。
【０１１４】
以上の動作を終了すると、画像処理装置２０は、“ｔ”を１つインクリメントし（ステップＢ１９）、ステップＢ１に戻る。
（第３の実施形態）
第３の実施形態は、人物がビデオカメラに近すぎて画像からはみ出していることを検出する画像処理装置である。
【０１１５】
図１０は、第３の実施形態の画像処理装置の構成を示すブロック図である。図１０を参照すると、画像処理装置３０は、第１の撮像部３１、第２の撮像部３２、画像中央部相関算出部３３、信頼性判断部３４、距離算出部３５および距離判断部３６を有している。
【０１１６】
第１の撮像部３１は、例えばビデオカメラであり、次々と連続して画像を撮影し、撮影した画像をデジタル化して画素毎のデータを求める。
【０１１７】
第２の撮像部３２は、第１の撮像部３１と同様に、次々と連続して画像を撮影し、撮影した画像をデジタル化して画素毎のデータを求める。また、第２の撮像部３２の画像を撮影する視野は、第１の撮像部３１の視野と重複する部分を有し、かつ、第１の撮像部３１の視野との相対的な位置関係が固定されている。
【０１１８】
画像中央部相関算出部３３は、第１の撮像部３１と第２の撮像部３２からほぼ同時に得られる画像の画像中央部９５（図１２参照）での相関値を計算する。
【０１１９】
信頼性判断部３４は、画像中央部相関計算部３３で得られた相関値の座標位置に対する変化がなだらかであれば、信頼性が低いと判断し、変化が急であれば、信頼性が高いと判断する。
【０１２０】
距離算出部３５は、第１の撮像部３１と第２の撮像部３２の位置関係と、２つの画像をずらして２つの画像の相関値が最大となるときのずれ量とから、画像中央部９５に映っている物体との距離を算出する。
【０１２１】
距離判断部３６は、距離算出部３５で得られた距離が所定の閾値以下であり、かつ信頼性判断部３４で信頼性が高いと判断されていれば、距離が近すぎて画像から人物がはみ出していると判断する。
【０１２２】
図１１は、本実施形態の画像処理装置の動作を示すフローチャートである。図１１を参照すると、まず、第１および第２の撮像部３１、３２がそれぞれ画像を撮像し、画像中央部相関算出部３３に送る（ステップＣ１）。第１の撮像部３１と第２の撮像部３２とは同時に起動されるものとし、ビデオカメラが起動してからｔ番目に撮影された画像をそれぞれｉｍ１（ｔ）、ｉｍ２（ｔ）とする。
【０１２３】
次に、画像中央部相関算出部３３は、画像ｉｍ１（ｔ）と画像ｉｍ２（ｔ）の画像中央部９５での相関値ｃｏｒｒ（ｘ）を算出する（ステップＣ２）。
【０１２４】
相関値の算出法の一例を説明する。
【０１２５】
ここで、画像ｉｍ１（ｔ）の横方向をＸ軸（右向きが正）縦方向をＹ軸（下向きが正）とし、画像のもっとも左上の画素から右にｘ番目で、下にｙ番目の画素値をｖ１（ｘ，ｙ）とする。画像ｉｍ２（ｔ）についても同様にｖ２（ｘ，ｙ）を定義する。また、画像中央部９５は図１２に示されたように設定されているとする。
【０１２６】
そして、画像中央部９５の座標値の集合をＣとすると、相関値は ｃｏｒｒ（ｘ）＝Σ＿｛（ｔ，ｓ）￥ｉｎ Ｃ｝｜ｖ１（ｔ−ｘ，ｓ）−ｖ２（ｔ，ｓ）｜などと計算できる。
【０１２７】
次に、信頼性判断部３４は、相関値ｃｏｒｒ（ｘ）の変化がなだらかであるか否か判定する（ステップＣ３）。
【０１２８】
相関値ｃｏｒｒ（ｘ）がなだらかであるか否かの判定方法の一例について説明する。相関値ｃｏｒｒ（ｘ）が最大となるｘをｘ１とする。このとき、画像中央部９５の全域において、ｃｏｒｒ（ｘ１）−ｃｏｒｒ（ｘ１−ｇ）＜ｔｈｃ１かつｃｏｒｒ（ｘ１）−ｃｏｒｒ（ｘ１＋ｇ）＜ｔｈｃ２ならばｃｏｒｒ（ｘ）がなだらかであると判断し、そうでなけれななだらかでないと判断する。
【０１２９】
相関値ｃｏｒｒ（ｔ）の変化がなだらかでなければ、距離算出部３５が、第１の撮像部３１と第２の撮像部３２の位置関係と、相関値ｃｏｒｒ（ｘ）が最大となるｘの値とから距離ｄ（ｔ）を求める（ステップＣ４）。距離の算出方法は従来からよく知られた方法によればよい。例えば、文献「３次元ビジョン」（徐、辻著、共立出版（１９９８））などに記載された方法を用いることで実現できる。
【０１３０】
次に、距離判定部３６は、距離ｄ（ｔ）が所定の閾値ｔｈより大きいか否か判定する（ステップＣ５）。閾値ｔｈは、対象物（ここでは人物）のサイズと、レンズの焦点距離と、画像の大きさから、対象物が画像からはみ出すであろう距離を予め算出しておいたものである。距離ｄ（ｔ）が閾値ｔｈ以下であれば、距離判定部３６は、人物が画像からはみ出していると検知する（ステップＣ６）。
【０１３１】
ステップＣ６の後、ステップＣ５において距離ｄ（ｔ）が閾値ｔｈより大きかったとき、または、ステップＣ３において変化がなだらかであったとき、画像処理装置３０は、“ｔ”を１つインクリメントし（ステップＣ７）、ステップＣ１に戻る。
【０１３２】
以上説明したように、本実施形態の画像処理装置３０は、第１および第２の撮像部３１、３２によって、互いにずれた２つの画像を同時に撮影し、画像中央部相関算出部３３によって、２つの画像の画像中央部９５での相関値を算出し、信頼性判断部３４によって、相関値から信頼性が高いか低いか判定し、信頼性が高い場合に、距離算出部３５によって、ビデオカメラと人物との距離を算出し、距離判定部３６によって、距離が近ければ画像から人物がはみ出していると判断されるので、距離が近すぎることによる、画像からの人物のはみ出しを自動的に検知することができる。
【０１３３】
なお、本実施形態では、画像からのはみ出しを検知する対象が人物である場合を例示したが、本発明はこれに限定されるものではない。ある程度の大きさが想定できるものであれば、どのようなものであってもよい。
（第４の実施形態）
図１３は、本発明の第４の実施形態の画像処理装置の構成を示すブロック図である。図１３を参照すると、画像処理装置４０は、第１の撮像部４１、第２の撮像部４２、小領域相関算出部４３、距離算出部４４、最小距離選択部４５および距離判断部４６を有している。
【０１３４】
第１の撮像部４１は、例えばビデオカメラであり、次々と連続して画像を撮影し、撮影した画像をデジタル化して画素毎のデータを求める。
【０１３５】
第２の撮像部４２は、第１の撮像部４１と同様、次々と連続して画像を撮影し、撮影した画像をデジタル化して画素毎のデータを求める。また、第２の撮像部４２の画像を撮影する視野は、第１の撮像部４１の視野と重複する部分を有し、第２の撮像部４２の画像を撮影する視野は、第１の撮像部４１の視野との相対的な位置関係が固定されている。
【０１３６】
小領域相関部４３は、第１の撮像部４１と第２の撮像部４２からほぼ同時に得られる画像の画像中央部９６の複数の小領域９６ａ、９６ｂ、９６ｃ、９６ｄでのそれぞれの相関値を計算する（図１５参照）。
【０１３７】
距離算出部４４は、各小領域９６ａ、９６ｂ、９６ｃ、９６ｄについて、第１の撮像部４１と第２の撮像部４２の位置関係と、２つの画像をずらして２つの画像の相関値が最大となるときのずれ量とから、各小領域に映っている物体との距離を算出する。
【０１３８】
最小距離選択部４５は、距離算出部４４で算出された各小領域の距離のうち、最小のものを選択する。
【０１３９】
距離判断部４６は、最小距離選択部４５で選択された小領域の距離が所定の閾値以下であれば、距離が近すぎて画像から人物がはみだしていると判断する。
【０１４０】
図１４は、本実施形態の画像処理装置の動作を示すフローチャートである。図１４を参照すると、まず、第１および第２の撮像部４１、４２がそれぞれ画像を撮像し、小領域相関算出部４３に送る（ステップＤ１）。第１の撮像部４１と第２の撮像部４２とは同時に起動されるものとし、ビデオカメラが起動してからｔ番目に撮影された画像をそれぞれｉｍ１（ｔ）、ｉｍ２（ｔ）とする。
【０１４１】
次に、小領域相関算出部４３は、画像ｉｍ１（ｔ）と画像ｉｍ２（ｔ）の各小領域９６ａ、９６ｂ、９６ｃ、９６ｄでの相関値を算出し、距離算出部４４は、各小領域９６ａ、９６ｂ、９６ｃ、９６ｄにおける、ビデオカメラと物体との距離を算出する（ステップＤ２）。このとき用いられる、相関値および距離の算出方法は第３の実施形態と同様の方法である。
【０１４２】
次に、距離判定部４６は、各小領域における距離のうち、最も短いものが所定の閾値ｔｈ以下であるか否か判定する（ステップＤ３）。閾値ｔｈは、第３の実施形態と同様に、対象物（ここでは人物）のサイズと、レンズの焦点距離と、画像の大きさから、対象物が画像からはみ出すであろう距離を予め算出しておいたものである。距離が閾値ｔｈ以下であれば、距離判定部４６は、人物が画像からはみ出していると検知する（ステップＤ４）。
【０１４３】
ステップＤ４の後、または、ステップＤ３において距離が閾値ｔｈ以下でなかったとき、画像処理装置４０は、“ｔ”を１つインクリメントし（ステップＤ５）、ステップＤ１に戻る。
【０１４４】
【発明の効果】
本発明によれば、撮像手段で連続的に撮影された画像から、フレーム間差分算出手段が、画像の変化を示す各画素の差分を算出し、画像の上下左右の辺に近い領域で画像の変化が大きければ、判断手段が、対象物が画像からはみ出していると判断するので、上下左右にずれたことにより画像から対象物がはみ出したことを自動的に検知することができる。
【０１４５】
また、撮像手段で連続的に撮影された画像から、フレーム間差分算出手段が、画像の変化を示す各画素の差分を算出し、領域分割手段が、画像を複数の分割領域に分割し、領域選択手段が、最も対象物らしい分割領域を選択し、判断手段が、最も対象物らしい分割領域の画像に基づいて、画像の上下左右の辺に近い領域で画像の変化が大きければ、判断手段が、対象物が画像からはみ出していると判断するので、画像からの対象物のはみ出しを自動的に確実に検知することができる。
【０１４６】
また、撮像手段で撮影された画像から、距離算出手段が、対象物である可能性の高い、その画像の中央に撮影された物体までの距離を算出し、信頼性判断手段が、算出された距離の信頼性を求め、その結果、信頼性が高く、かつ、距離が近すぎるとき、判断手段が、対象物が画像からはみ出していると判断するので、対象物が近すぎるために画像からはみ出したことを自動的に検知することができる。
【０１４７】
また、第１および第２の撮像手段で撮影された、互いにずれた２つの画像から、画像中央部相関算出手段が、それらの画像の相関値を算出し、距離算出手段が、相関値により分かる２つの画像のずれ量から、対象物までの距離を算出し、その結果、距離が近すぎるとき、判断手段が、対象物が画像からはみ出していると判断するので、対象物が近すぎるために画像からはみ出したことを自動的に検知することができる。
【０１４８】
また、第１および第２の撮像手段で撮影された、互いにずれた２つの画像から、画像中央部相関算出手段が、それらの画像の相関値を算出し、距離算出手段が、相関値により分かる２つの画像のずれ量から、画像中央部の各小領域にある物体で、距離が最小のものを対象物として、対象物までの距離を算出し、その結果、距離が近すぎるとき、判断手段が、対象物が画像からはみ出していると判断するので、対象物が近すぎるために画像からはみ出したことを自動的に確実に検知することができる。
【図面の簡単な説明】
【図１】第１の実施形態の画像処理装置の構成を示すブロック図である。
【図２】画像の中の上部領域を示す図である。
【図３】画像の中の左部領域を示す図である。
【図４】画像の中の右部領域を示す図である。
【図５】画像の中の下部領域を示す図である。
【図６】第１の実施形態の画像処理装置の動作を示すフローチャートである。
【図７】本発明の第２の実施形態の画像処理装置の構成を示すブロック図である。
【図８】第２の実施形態の画像処理装置の動作を示すフローチャートである。
【図９】領域分割の方法について説明するための図である。
【図１０】第３の実施形態の画像処理装置の構成を示すブロック図である。
【図１１】第３の実施形態の画像処理装置の動作を示すフローチャートである。
【図１２】画像の中の画像中央部を示す図である。
【図１３】第４の実施形態の画像処理装置の構成を示すブロック図である。
【図１４】第４の実施形態の画像処理装置の動作を示すフローチャートである。
【図１５】画像の中の画像中央部の各小領域を示す図である。
【符号の説明】
１０，２０，３０ 画像処理装置
１１，２１ 撮像部
１２，２２ フレーム間差分算出部
１３，２３ 二値化部
１４，２６ 画像上部画素数部
１５，２７ 画像右部画素数カウント部
１６，２８ 画像左部画素数カウント部
１７，２９ 画像下部画素数カウント部
１８，２１０ 判断部
２４ 領域分割部
２５ 領域選択部
３１，４１ 第１の撮像部
３２，４２ 第２の撮像部
３３ 画像中央部相関算出部
３４ 信頼性判断部
３５，４４ 距離算出部
３６，４６ 距離判断部
４３ 小領域相関算出部
４５ 最小距離選択部
９０ 画像
９１ 上部領域
９２ 左部領域
９３ 右部領域
９４ 下部領域
９５，９６ 画像中央部
９６ａ，９６ｂ，９６ｃ，９６ｄ 小領域
Ａ１〜Ａ１７，Ｂ１〜Ｂ１９，Ｃ１〜Ｃ７ ステップ
Claims (3)
- 人物の撮影画像からのはみ出しを検知する画像処理装置であって、
前記人物を含む画像を連続して取得する撮像手段と、
前記撮像手段で取得された画像間の各画素の差分を算出するフレーム間差分算出手段と、
前記画像の縦方向の画素列毎に、前記フレーム間差分算出手段で算出された差分の値が所定値以上の画素の中で最も画像上端に近い画素を求め、前記画素列毎に求めた該画素をむすんで横方向の曲線を描き、該曲線が画像下端に達する点と該曲線が下向きのピークとなる点とで前記画像の領域を縦に複数の分割領域に分割する領域分割手段と、
前記領域分割手段によって得られた前記複数の分割領域の中で、前記差分の値が所定値以上の画素の数が最も多い分割領域を、前記人物の存在する人物領域として選択する領域選択手段と、
前記人物領域内で前記画像の画像端付近に、前記差分の値が所定値以上である画素が所定の閾値より多く存在すれば、前記人物が前記画像からはみ出していると判断する判断手段と、を有する画像処理装置。 - 撮影画像を処理する画像処理装置において、人物の前記撮影画像からのはみ出しを検知するためのはみ出し検知方法であって、
前記人物を含む画像を連続して取得するステップと、
前記取得された画像間の各画素の差分を算出するステップと、
前記画像の縦方向の画素列毎に、前記算出された差分の値が所定値以上の画素の中で最も画像上端に近い画素を求め、前記画素列毎に求めた該画素をむすんで横方向の曲線を描き、該曲線が画像下端に達する点と該曲線が下向きのピークとなる点とで前記画像の領域を縦に複数の分割領域に分割するステップと、
前記複数の分割領域の中で、前記差分の値が所定値以上の画素の数が最も多い分割領域を、前記人物の存在する人物領域として選択するステップと、
前記人物領域内で前記画像の画像端付近に、前記差分の値が所定値以上である画素が所定の閾値より多く存在すれば、前記人物が前記画像からはみ出していると判断するステップと、を有するはみ出し検知方法。 - 撮影画像を処理するコンピュータにて実行する、人物の前記撮影画像からのはみ出しを検知するためのはみ出し検知プログラムであって、
前記人物を含む画像を連続して取得する手順と、
前記取得された画像間の各画素の差分を算出する手順と、
前記画像の縦方向の画素列毎に、前記算出された差分の値が所定値以上の画素の中で最も画像上端に近い画素を求め、前記画素列毎に求めた該画素をむすんで横方向の曲線を描き、該曲線が画像下端に達する点と該曲線が下向きのピークとなる点とで前記画像の領域を縦に複数の分割領域に分割する手順と、
前記複数の分割領域の中で、前記差分の値が所定値以上の画素の数が最も多い分割領域を、前記人物の存在する人物領域として選択する手順と、
前記人物領域内で前記画像の画像端付近に、前記差分の値が所定値以上である画素が所定の閾値より多く存在すれば、前記人物が前記画像からはみ出していると判断する手順と、をコンピュータに実行させるためのはみ出し検知プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002132715A JP3894038B2 (ja) | 2002-05-08 | 2002-05-08 | 画像処理装置、画像処理装置のはみ出し検知方法およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002132715A JP3894038B2 (ja) | 2002-05-08 | 2002-05-08 | 画像処理装置、画像処理装置のはみ出し検知方法およびプログラム |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006212110A Division JP2006309799A (ja) | 2006-08-03 | 2006-08-03 | 画像処理装置、画像処理装置のはみ出し検知方法およびプログラム |
| JP2006288659A Division JP4530175B2 (ja) | 2006-10-24 | 2006-10-24 | 画像処理装置、画像処理装置のはみ出し検知方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003323621A JP2003323621A (ja) | 2003-11-14 |
| JP3894038B2 true JP3894038B2 (ja) | 2007-03-14 |
Family
ID=29544606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002132715A Expired - Fee Related JP3894038B2 (ja) | 2002-05-08 | 2002-05-08 | 画像処理装置、画像処理装置のはみ出し検知方法およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3894038B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4172507B2 (ja) | 2006-07-13 | 2008-10-29 | ソニー株式会社 | 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム |
| JP4201809B2 (ja) | 2006-11-13 | 2008-12-24 | 三洋電機株式会社 | 手ぶれ補正装置及び方法並びに撮像装置 |
| CN103444165B (zh) | 2011-03-15 | 2017-09-08 | 富士通先端科技株式会社 | 摄像装置和摄像方法 |
| CN113805571B (zh) * | 2020-05-29 | 2024-03-12 | 苏州科瓴精密机械科技有限公司 | 机器人行走控制方法、系统，机器人及可读存储介质 |
-
2002
- 2002-05-08 JP JP2002132715A patent/JP3894038B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003323621A (ja) | 2003-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101142316B1 (ko) | 화상 선택 장치 및 화상 선택 방법 | |
| JP6509027B2 (ja) | 被写体追跡装置、光学機器、撮像装置、被写体追跡装置の制御方法、プログラム | |
| US9258481B2 (en) | Object area tracking apparatus, control method, and program of the same | |
| JP6579950B2 (ja) | カメラの撮影画像に映る人物を検出する画像解析装置、プログラム及び方法 | |
| JP5484184B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP5693094B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
| US11575826B2 (en) | Image processing apparatus and method, and image capturing apparatus | |
| JP2005228042A (ja) | 顔識別装置、顔識別方法及び顔識別プログラム | |
| CN113678164B (zh) | 图像处理装置、图像处理方法以及计算机可读存储介质 | |
| EP1710747A1 (en) | Method for extracting person candidate area in image, person candidate area extraction system, person candidate area extraction program, method for judging top and bottom of person image, system for judging top and bottom, and program for judging top and bottom | |
| US10013632B2 (en) | Object tracking apparatus, control method therefor and storage medium | |
| JP2009123081A (ja) | 顔検出方法及び撮影装置 | |
| JP2014186505A (ja) | 視線検出装置及び撮像装置 | |
| JP2019126091A (ja) | 被写体追跡装置およびその制御方法、画像処理装置およびその制御方法、撮像装置およびその制御方法、プログラム | |
| JP3894038B2 (ja) | 画像処理装置、画像処理装置のはみ出し検知方法およびプログラム | |
| JP2011134117A (ja) | 被写体領域抽出装置およびその制御方法、被写体追跡装置、並びにプログラム | |
| JP4667508B2 (ja) | 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム | |
| JP2011071925A (ja) | 移動体追尾装置および方法 | |
| JP3625442B2 (ja) | 物体検出方法及び物体検出装置並びに物体検出プログラム | |
| JP4530175B2 (ja) | 画像処理装置、画像処理装置のはみ出し検知方法およびプログラム | |
| JP5539565B2 (ja) | 撮像装置及び被写体追跡方法 | |
| JP2006309799A (ja) | 画像処理装置、画像処理装置のはみ出し検知方法およびプログラム | |
| JP5777389B2 (ja) | 画像処理装置、画像処理システム及び画像処理方法 | |
| CN116456187A (zh) | 聚焦值计算方法、装置、设备及存储介质 | |
| JP2013210778A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20041216 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041216 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060530 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060606 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060803 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060830 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061024 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061121 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061204 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091222 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101222 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101222 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111222 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111222 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121222 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121222 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131222 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |