JP5630298B2 - Moving object detection device - Google Patents
Moving object detection device Download PDFInfo
- Publication number
- JP5630298B2 JP5630298B2 JP2011020228A JP2011020228A JP5630298B2 JP 5630298 B2 JP5630298 B2 JP 5630298B2 JP 2011020228 A JP2011020228 A JP 2011020228A JP 2011020228 A JP2011020228 A JP 2011020228A JP 5630298 B2 JP5630298 B2 JP 5630298B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- pixel value
- determination
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Processing (AREA)
Description
本発明は、動画画像に基づいて、画像内の移動物体を検出する移動物体検出装置に関する。 The present invention relates to a moving object detection device that detects a moving object in an image based on a moving image.
ビデオカメラを用いた監視システムなどでは、監視領域内に存在する移動物体を自動的に検出する技術が重要になってきている。移動物体の自動検出が可能になれば、当該物体が車両であるのか、人間であるのか、といった識別を行う処理に利用することができる。更に、車両の場合であれば、ナンバーを読み取って車両を特定することができ、人間の場合であれば、個人を特定する処理にも応用することができる。また、検出した不審者を自動的にズームアップして追尾することも可能になる。 In a surveillance system using a video camera or the like, a technique for automatically detecting a moving object existing in a surveillance area has become important. If automatic detection of a moving object becomes possible, it can be used for processing for identifying whether the object is a vehicle or a human. Further, in the case of a vehicle, the number can be read to identify the vehicle, and in the case of a human, the present invention can be applied to a process for identifying an individual. It is also possible to automatically zoom in and track the detected suspicious person.
移動物体を検出する基本原理は、時系列で連続的に与えられるフレーム単位の入力画像を予め用意した背景画像と比較し、両者の差分を求めることにより、時間的に変化している領域を認識することにある。ただ、屋外の監視システムなどに利用する場合、時刻や天候などによる照明変動が生じるため、必ずしも正確な物体検出を行うことができない。そこで、たとえば、下記の特許文献１には、フレーム単位の入力画像を小領域に分割し、各小領域単位で画素値の統計処理を施して照明変動を推定する手法が開示されている。また、下記の特許文献２には、フレーム単位の入力画像をブロックに分割し、個々のブロックごとに画素値の平均値を求め、背景画像の画素値平均と比較することにより、当該ブロックが移動物体を含むか否かを判定する手法が開示されている。
The basic principle of detecting a moving object is to recognize a time-varying region by comparing a frame-unit input image given in time series with a background image prepared in advance and obtaining the difference between them. There is to do. However, when it is used for an outdoor monitoring system or the like, illumination fluctuations occur due to time or weather, so that accurate object detection cannot always be performed. Thus, for example,
一方、下記の非特許文献１には、入力画像と背景画像とを画素単位で比較して、当該画素が移動物体を構成する画素であるか否かを判定する手法が開示されている。具体的には、比較対象となる両画素の画素値が類似している場合、当該画素は背景を構成する画素であるとし、類似していない場合、当該画素は移動物体を構成する画素であるとする判定が行われる。このとき、画素の類否判定は、三次元の色空間上で、双方の画素値に対応する座標点をプロットし、一方の座標点が他方の座標点の近傍領域に入っているか否かを調べることにより行われる。
On the other hand, Non-Patent
上述したように、移動物体を検出する基本原理は、新たな入力画像を背景画像と比較し、時間的に変化している領域を認識することにある。しかしながら、画像の時間変化は、必ずしも移動物体に起因するものではなく、雲の動きによる日照変化、風の作用による樹木の揺れ、波の動きによる海面の変化など、様々な自然現象にも起因する。このため、特に、屋外の監視システムなどから取り込まれた動画画像に基づいて、移動物体の検出を行う場合、このような自然現象による画像変化を移動物体による画像変化と混同した誤検出が生じやすい。 As described above, the basic principle of detecting a moving object is to compare a new input image with a background image and recognize a temporally changing region. However, temporal changes in images are not necessarily caused by moving objects, but are also caused by various natural phenomena such as sunshine changes due to cloud movement, tree swaying due to wind action, and sea level changes due to wave movement. . For this reason, in particular, when detecting a moving object based on a moving image captured from an outdoor monitoring system or the like, an erroneous detection in which an image change caused by such a natural phenomenon is confused with an image change caused by the moving object is likely to occur. .
前掲の特許文献１，２には、このような問題を解決するための一手法が開示されているが、入力画像に対して、小領域もしくはブロック単位で画素値のヒストグラムをとるなどの統計処理を施し、当該統計処理によって得られた特徴量を複雑なモデルに当てはめて移動物体の領域を推定する必要があるため、演算処理が極めて複雑になるという問題がある。このため、一般的なプロセッサでは処理時間が長くかかり、リアルタイムでの処理を行うことが困難である。また、より正確な検出を行うためには、多数のフレームにわたって入力画像を格納しておく必要があり、大容量の画像バッファメモリが必要になる。このため、リアルタイムでの監視を目的とした安価な監視システムに利用するには不適当である。
The above-mentioned
一方、上述した非特許文献１に開示されている手法では、画素単位での比較を行えばよいので、複雑な統計処理を行ったり、複雑なモデルを構築したりする必要はない。しかしながら、領域単位での統計処理を省き、画素単位での比較結果のみによって検出を行うため、上述したように、日照変化などの自然現象に起因した誤検出が生じやすい。
On the other hand, in the method disclosed in
そこで本発明は、演算処理の負担を軽減しつつ、日照変化などの自然現象に起因した誤検出を排除し、より正確な検出を行うことが可能な移動物体検出装置を提供することを目的とする。 Accordingly, an object of the present invention is to provide a moving object detection device capable of performing more accurate detection while reducing the burden of calculation processing, eliminating erroneous detection caused by natural phenomena such as changes in sunlight. To do.
(1) 本発明の第１の態様は、動画画像について移動物体を検出する移動物体検出装置において、
時系列で連続的に与えられるフレーム単位のカラー原画像を、三原色の各画素値を有する画素の集合体データとして入力する画像入力部と、
入力された原画像を逐次格納する原画像格納部と、
新たな原画像が入力されるたびに、当該新たな原画像と直前に作成した平均画像とに基づいて、新たな平均画像を作成する平均画像作成部と、
作成された平均画像を逐次格納する平均画像格納部と、
新たな原画像が入力されるたびに、直前に作成した参照画像に基づいて新たな参照画像を作成する参照画像作成部と、
作成された参照画像を逐次格納する参照画像格納部と、
原画像格納部に格納された原画像と、平均画像格納部に格納された平均画像と、参照画像格納部に格納された参照画像と、を用いた比較処理により、前景領域と背景領域とを区別するマスク画像を作成する画像比較部と、
マスク画像を格納するマスク画像格納部と、
マスク画像を出力する画像出力部と、
を設け、
画像比較部は、
原画像格納部に格納された第ｉ番目の原画像、平均画像格納部に格納された第（ｉ−１）番目の平均画像、参照画像格納部に格納された第（ｉ−１）番目の参照画像から、それぞれ対応する所定位置にある画素の三原色の各画素値を読み出す画素値読出部と、
画素値読出部によって読み出された画素値に基づいて、第ｉ番目の原画像の所定位置にある画素が前景画素か背景画素かを判定する前背判定部と、
第ｉ番目のマスク画像を構成する所定位置の画素の画素値として、前背判定部が背景画素と判定した場合には背景領域を示す画素値を、前背判定部が前景画素と判定した場合には前景領域を示す画素値を、それぞれマスク画像格納部に書き込む画素値書込部と、
を有し、
前背判定部は、第ｉ番目の原画像を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の平均画像を構成する画素の画素値ａ（ｉ−１）とを比較して類似するか否かを判定する第１判定部と、第ｉ番目の原画像を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の参照画像を構成する画素の画素値ｕ（ｉ−１）とを比較して類似するか否かを判定する第２判定部と、第１判定部による判定結果および第２判定部による判定結果の少なくとも一方が類似を示す場合には背景画素、双方とも非類似を示す場合には前景画素との判定を行う総合判定部と、を有し、
平均画像作成部は、第１番目の原画像をそのまま第１番目の平均画像とし、第ｉ番目の原画像と第（ｉ−１）番目の平均画像とについて、互いに対応する位置にある画素の三原色の各画素値の重みつき平均値をそれぞれ求め、得られた各平均値を各画素値とする画素の集合からなる画像を第ｉ番目（ｉ≧２）の平均画像とし、
参照画像作成部は、第１番目の原画像をそのまま第１番目の参照画像とし、第（ｉ−１）番目の参照画像を構成する個々の画素のうち、前背判定部によって第ｉ番目の原画像の対応画素が前景画素と判定された画素については、更新せずに、もとの画素値をそのまま維持し、前背判定部によって第ｉ番目の原画像の対応画素が背景画素と判定された画素については、当該画素と第（ｉ−１）番目の平均画像の対応する位置にある画素とについて、三原色の各画素値の重みつき平均値をそれぞれ求め、得られた各平均値を新画素値として更新することにより、第ｉ番目（ｉ≧２）の参照画像を作成するようにしたものである。
(1) A first aspect of the present invention provides a moving object detection device that detects a moving object for a moving image.
An image input unit for inputting a color original image in units of frames continuously given in time series as aggregate data of pixels having pixel values of three primary colors;
An original image storage unit for sequentially storing the input original images;
Each time a new original image is input, an average image creation unit that creates a new average image based on the new original image and the average image created immediately before,
An average image storage unit for sequentially storing the created average images;
A reference image creation unit that creates a new reference image based on the reference image created immediately before a new original image is input;
A reference image storage unit that sequentially stores the created reference images;
The foreground region and the background region are compared by using a comparison process using the original image stored in the original image storage unit, the average image stored in the average image storage unit, and the reference image stored in the reference image storage unit. An image comparison unit for creating a mask image to be distinguished;
A mask image storage for storing the mask image;
An image output unit for outputting a mask image;
Provided,
The image comparison unit
The i-th original image stored in the original image storage unit, the (i-1) -th average image stored in the average image storage unit, and the (i-1) -th image stored in the reference image storage unit A pixel value reading unit that reads out the pixel values of the three primary colors of the pixels at the corresponding predetermined positions from the reference image;
A foreground determination unit that determines whether a pixel at a predetermined position of the i-th original image is a foreground pixel or a background pixel based on the pixel value read by the pixel value reading unit;
When the foreground determination unit determines the background pixel as the pixel value of the pixel at the predetermined position constituting the i-th mask image, the pixel value indicating the background area is determined as the foreground pixel A pixel value writing unit for writing a pixel value indicating the foreground region into the mask image storage unit,
Have
The foreground determination unit compares the pixel value p (i) of the pixel constituting the i-th original image with the pixel value a (i-1) of the pixel constituting the (i-1) -th average image. A first determination unit that determines whether or not they are similar to each other, and a pixel value p (i) of a pixel constituting the i-th original image and a pixel of a pixel constituting the (i−1) -th reference image When the second determination unit that determines whether or not they are similar by comparing the value u (i-1), and at least one of the determination result by the first determination unit and the determination result by the second determination unit shows similarity Has a general determination unit that determines a background pixel and a foreground pixel when both are dissimilar,
The average image creation unit uses the first original image as it is as the first average image, and the i-th original image and the (i−1) -th average image are the pixels at positions corresponding to each other. A weighted average value of each pixel value of the three primary colors is obtained, and an image composed of a set of pixels each having the obtained average value as each pixel value is defined as an i-th (i ≧ 2) average image,
The reference image creation unit directly uses the first original image as the first reference image, and among the individual pixels constituting the (i-1) th reference image, the foreground determination unit performs the i th For pixels for which the corresponding pixel of the original image is determined to be a foreground pixel, the original pixel value is maintained as it is without being updated, and the corresponding pixel of the i-th original image is determined to be a background pixel without being updated. For each pixel, a weighted average value of each pixel value of the three primary colors is obtained for the pixel and a pixel at a corresponding position of the (i−1) -th average image, and the obtained average values are obtained. By updating as a new pixel value, the i-th (i ≧ 2) reference image is created.
(2) 本発明の第２の態様は、上述した第１の態様に係る移動物体検出装置において、
平均画像作成部が、
最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の平均画像Ａ（１）として平均画像格納部へ格納する処理を行い、
以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の平均画像Ａ（ｉ）を、
ａ（ｉ）＝（１−ｗ）・ａ（ｉ−１）＋ｗ・ｐ（ｉ）
（但し、ａ（ｉ）は、平均画像Ａ（ｉ）の
所定位置の画素の所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
所定位置の画素の所定色の画素値、
ｐ（ｉ）は、原画像Ｐ（ｉ）の
所定位置の画素の所定色の画素値、
ｗは、所定の重みを示すパラメータ（ｗ＜１））
なる演算式を用いて作成するようにしたものである。
(2) According to a second aspect of the present invention, in the moving object detection device according to the first aspect described above,
The average image creation unit
When the first original image P (1) is input, the original image P (1) is stored in the average image storage unit as the first average image A (1) as it is,
Thereafter, every time the i-th original image P (i) is input (i = 2, 3,...), The i-th average image A (i) is
a (i) = (1-w) .a (i-1) + w.p (i)
(However, a (i) is the average image A (i)
A pixel value of a predetermined color of a pixel at a predetermined position,
a (i-1) is the average image A (i-1)
A pixel value of a predetermined color of a pixel at a predetermined position,
p (i) is the original image P (i)
A pixel value of a predetermined color of a pixel at a predetermined position,
w is a parameter indicating a predetermined weight (w <1))
It is made using the following arithmetic expression.
(3) 本発明の第３の態様は、上述した第２の態様に係る移動物体検出装置において、
参照画像作成部が、
最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の参照画像Ｕ（１）として参照画像格納部へ格納する処理を行い、
以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の参照画像Ｕ（ｉ）の各画素値を、
背景画素と判定された画素については、
ｕ（ｉ）＝（１−ｖ）・ｕ（ｉ−１）＋ｖ・ａ（ｉ−１）
（但し、ｕ（ｉ）は、平均画像Ｕ（ｉ）の
所定位置の画素の所定色の画素値、
ｕ（ｉ−１）は、平均画像Ｕ（ｉ−１）の
所定位置の画素の所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
所定位置の画素の所定色の画素値、
ｖは、所定の重みを示すパラメータ（ｖ＜１））
なる演算式を用いて求められた画素値ｕ（ｉ）に更新し、
前景画素と判定された画素については、
ｕ（ｉ）＝ｕ（ｉ−１）
として、更新せずに、もとの画素値をそのまま維持することにより決定するようにしたものである。
(3) According to a third aspect of the present invention, in the moving object detection device according to the second aspect described above,
The reference image creation unit
When the first original image P (1) is input, the original image P (1) is directly stored in the reference image storage unit as the first reference image U (1).
Thereafter, each time the i-th original image P (i) is input (i = 2, 3,...), The pixel values of the i-th reference image U (i) are
For pixels determined to be background pixels,
u (i) = (1-v) .u (i-1) + v.a (i-1)
(However, u (i) is the average image U (i)
A pixel value of a predetermined color of a pixel at a predetermined position,
u (i-1) is the average image U (i-1)
A pixel value of a predetermined color of a pixel at a predetermined position,
a (i-1) is the average image A (i-1)
A pixel value of a predetermined color of a pixel at a predetermined position,
v is a parameter indicating a predetermined weight (v <1))
Updated to the pixel value u (i) obtained using the following equation:
For pixels determined to be foreground pixels,
u (i) = u (i-1)
In this case, the original pixel value is maintained as it is without being updated.
(4) 本発明の第４の態様は、上述した第３の態様に係る移動物体検出装置において、
重みを示すパラメータｗ，ｖを、ｗ＞ｖとなるように設定したものである。
(4) According to a fourth aspect of the present invention, in the moving object detection device according to the third aspect described above,
Parameters w and v indicating weights are set so that w> v.
(5) 本発明の第５の態様は、上述した第２〜第４の態様に係る移動物体検出装置において、
パラメータ「ｗ」もしくは「ｖ」またはこれら双方を、ユーザの操作入力によって任意の値に設定するパラメータ設定部を更に備えるようにしたものである。
(5) According to a fifth aspect of the present invention, in the moving object detection device according to the second to fourth aspects described above,
The apparatus further includes a parameter setting unit that sets the parameter “w” or “v” or both to an arbitrary value by a user operation input.
(6) 本発明の第６の態様は、上述した第１〜第５の態様に係る移動物体検出装置において、
第１判定部および第２判定部が、比較対象となる一方の画素の画素値を基準画素値、他方の画素の画素値を比較画素値として、三原色の各画素値を各座標軸にとった三次元座標系において、基準画素値に対応する座標に位置する基準点Ｑと比較画素値に対応する座標に位置する比較点ｑをとり、基準点Ｑを中心とする所定サイズの基準立体と比較点ｑとの位置関係を調べ、比較点ｑが基準立体の外部に位置すると判定できる場合に非類似との判定を行い、内部に位置すると判定できる場合には類似との判定を行うようにしたものである。
(6) According to a sixth aspect of the present invention, in the moving object detection device according to the first to fifth aspects described above,
The first determination unit and the second determination unit use the pixel value of one pixel to be compared as a reference pixel value, the pixel value of the other pixel as a comparison pixel value, and a cubic that takes each pixel value of the three primary colors on each coordinate axis. In the original coordinate system, a reference point Q located at the coordinate corresponding to the reference pixel value and a comparison point q located at the coordinate corresponding to the comparison pixel value are taken, and a reference solid and a comparison point of a predetermined size centered on the reference point Q The positional relationship with q is examined, and when it can be determined that the comparison point q is located outside the reference solid, it is determined as dissimilar, and when it can be determined that it is located inside, it is determined as similar. It is.
(7) 本発明の第７の態様は、上述した第６の態様に係る移動物体検出装置において、
第１判定部が、原画像の画素の画素値を基準画素値、平均画像の画素の画素値を比較画素値として判定を行い、
第２判定部が、原画像の画素の画素値を基準画素値、参照画像の画素の画素値を比較画素値として判定を行うようにしたものである。
(7) According to a seventh aspect of the present invention, in the moving object detection device according to the sixth aspect described above,
The first determination unit determines the pixel value of the pixel of the original image as the reference pixel value, the pixel value of the pixel of the average image as the comparison pixel value,
The second determination unit performs determination using the pixel value of the pixel of the original image as the standard pixel value and the pixel value of the pixel of the reference image as the comparison pixel value.
(8) 本発明の第８の態様は、上述した第６または第７の態様に係る移動物体検出装置において、
第１判定部および第２判定部が、三次元座標系の原点Ｏと基準点Ｑとの距離Ｄに、所定のパラメータｈ（但し、ｈ＜１）を乗じて求まる値α＝ｈ・Ｄを長軸半径とし、所定のパラメータｋ（但し、ｋ＜ｈ）を乗じて求まる値β＝ｋ・Ｄを短軸半径とする楕円を、原点Ｏと基準点Ｑとを結ぶ基準軸Ｚ上に長軸が重なるように、かつ、基準点Ｑが中心点となるように配置し、この楕円を基準軸Ｚを中心に回転させることにより得られる同一の回転楕円体Ｅもしくはその近似体を基準立体として用いるようにしたものである。
(8) According to an eighth aspect of the present invention, in the moving object detection device according to the sixth or seventh aspect described above,
The first determination unit and the second determination unit obtain a value α = h · D obtained by multiplying the distance D between the origin O of the three-dimensional coordinate system and the reference point Q by a predetermined parameter h (where h <1). An ellipse having a long axis radius and a value β = k · D obtained by multiplying a predetermined parameter k (where k <h) as a short axis radius is long on the reference axis Z connecting the origin O and the reference point Q. The same spheroid E or its approximation obtained by rotating the ellipse around the reference axis Z as a reference solid is arranged so that the axes overlap and the reference point Q is the center point. It is intended to be used.
(9) 本発明の第９の態様は、上述した第８の態様に係る移動物体検出装置において、
第１判定部および第２判定部が、
「原点Ｏを中心とし半径（Ｄ−α）の球Ｃ１の内側に比較点ｑが位置する」もしくは「原点Ｏを中心とし半径（Ｄ＋α）の球Ｃ２の外側に比較点ｑが位置する」という第１の条件を満足するか否かを判定する第１の条件判定部と、
第１の条件判定部が否定的判定を行った場合に「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξもしくはその近似体の外側に比較点ｑが位置する」という第２の条件を満足するか否かを判定する第２の条件判定部と、
第２の条件判定部が否定的判定を行った場合に「回転楕円体Ｅの外側に比較点ｑが位置する」という第３の条件を満足するか否かを判定する第３の条件判定部と、
第１の条件判定部、第２の条件判定部、第３の条件判定部のいずれかが肯定的判定を行った場合に、非類似との判定結果を示す判定値を出力し、第１の条件判定部、第２の条件判定部、第３の条件判定部のすべてが否定的判定を行った場合に、類似との判定結果を示す判定値を出力する判定値出力部と、
を有するようにしたものである。
(9) According to a ninth aspect of the present invention, in the moving object detection device according to the eighth aspect described above,
The first determination unit and the second determination unit are
“The comparison point q is located inside the sphere C1 with the origin O as the center and the radius (D−α)” or “the comparison point q is located outside the sphere C2 with the origin O as the center and the radius (D + α)”. A first condition determining unit that determines whether or not the first condition is satisfied;
When the first condition determination unit makes a negative determination, “the comparison point q is outside the cone ξ or its approximated body that is in contact with the spheroid E with the origin O as the vertex and the reference axis Z as the central axis. A second condition determining unit that determines whether or not the second condition “located” is satisfied;
The third condition determining unit that determines whether or not the third condition “the comparison point q is located outside the spheroid E” is satisfied when the second condition determining unit makes a negative determination. When,
When any one of the first condition determination unit, the second condition determination unit, and the third condition determination unit makes a positive determination, a determination value indicating a determination result of dissimilarity is output, and the first A determination value output unit that outputs a determination value indicating a determination result of similarity when all of the condition determination unit, the second condition determination unit, and the third condition determination unit make a negative determination;
It is made to have.
(10) 本発明の第１０の態様は、上述した第８の態様に係る移動物体検出装置において、
第１判定部および第２判定部が、
パラメータｈおよびｋの値を保持するパラメータ保持部と、
画素値読出部が読み出した基準画素値（Ｒ，Ｇ，Ｂ）および比較画素値（ｒ，ｇ，ｂ）に基づいて、
Ｄ２＝Ｒ２＋Ｇ２＋Ｂ２ および
ｄ２＝ｒ２＋ｇ２＋ｂ２
なる演算を行い、値Ｄ２および値ｄ２を算出する基本演算部と、
基本演算部が算出した値Ｄ２および値ｄ２とパラメータ保持部に保持されているパラメータｈの値とを用いて、
（１−ｈ）２・Ｄ２＞ｄ２ もしくは
（１＋ｈ）２・Ｄ２＜ｄ２
という条件を満足するか否かを判定するための演算を行う第１の条件判定部と、
第１の条件判定部が否定的判定を行った場合に、画素値読出部が読み出した基準画素値（Ｒ，Ｇ，Ｂ）および比較画素値（ｒ，ｇ，ｂ）に基づいて、
γ＝Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ
なる演算を行い、値γを算出し、基本演算部が算出した値Ｄ２および値ｄ２とパラメータ保持部に保持されているパラメータｋの値と値γとを用いて、
γ２／（Ｄ２・ｄ２）＜（１−ｋ２／２）２
という条件を満足するか否かを判定するための演算を行う第２の条件判定部と、
第２の条件判定部が否定的判定を行った場合に、基本演算部が算出した値Ｄ２および値ｄ２とパラメータ保持部に保持されているパラメータｈおよびｋの値と第２の条件判定部が算出した値γとを用いて、
α２＝ｈ２・Ｄ２
β２＝ｋ２・Ｄ２
ｘ２＝Ｄ２＋γ２／Ｄ２−２γ
ｙ２＝ｄ２−γ２／Ｄ２
なる演算を行い、当該演算結果を用いて、
β２・ｘ２＋α２・ｙ２−α２・β２＞０
という条件を満足するか否かを判定するための演算を行う第３の条件判定部と、
第１の条件判定部、第２の条件判定部、第３の条件判定部のいずれかが肯定的判定を行った場合に、非類似との判定結果を示す判定値を出力し、第１の条件判定部、第２の条件判定部、第３の条件判定部のすべてが否定的判定を行った場合に、類似との判定結果を示す判定値を出力する判定値出力部と、
を有するようにしたものである。
(10) According to a tenth aspect of the present invention, in the moving object detection device according to the eighth aspect described above,
The first determination unit and the second determination unit are
A parameter holding unit for holding values of parameters h and k;
Based on the reference pixel value (R, G, B) and the comparison pixel value (r, g, b) read by the pixel value reading unit,
D 2 = R 2 + G 2 + B 2 and
d 2 = r 2 + g 2 + b 2
A basic calculation unit for calculating the value D 2 and the value d 2 ,
By using the value of the parameter h to the basic computation unit is held at the value D 2 and the value d 2 and the parameter holding section calculated,
(1-h) 2 · D 2 > d 2 or
(1 + h) 2 · D 2 <d 2
A first condition determination unit that performs an operation for determining whether or not the condition is satisfied;
Based on the reference pixel value (R, G, B) and the comparison pixel value (r, g, b) read by the pixel value reading unit when the first condition determining unit makes a negative determination,
γ = R · r + G · g + B · b
To calculate the value γ, using the value D 2 and the value d 2 calculated by the basic calculation unit, the value of the parameter k held in the parameter holding unit, and the value γ,
γ 2 / (D 2 · d 2) <(1-
A second condition determination unit that performs an operation for determining whether or not the condition is satisfied,
If the second condition determination unit makes a negative determination, values and determining a second condition of parameters h and k basic operation unit is held at the value D 2 and the value d 2 and the parameter holding unit calculated Using the value γ calculated by the
α 2 = h 2 · D 2
β 2 = k 2 · D 2
x 2 = D 2 + γ 2 / D 2 -2γ
y 2 = d 2 −γ 2 / D 2
And using the calculation result,
β 2 · x 2 + α 2 · y 2 -α 2 · β 2 > 0
A third condition determination unit that performs an operation for determining whether or not the condition is satisfied,
When any one of the first condition determination unit, the second condition determination unit, and the third condition determination unit makes a positive determination, a determination value indicating a determination result of dissimilarity is output, and the first A determination value output unit that outputs a determination value indicating a determination result of similarity when all of the condition determination unit, the second condition determination unit, and the third condition determination unit make a negative determination;
It is made to have.
(11) 本発明の第１１の態様は、上述した第８〜第１０の態様に係る移動物体検出装置において、
パラメータ「ｈ」および「ｋ」を、ユーザの操作入力によって任意の値に設定するパラメータ設定部を更に設けたものである。
(11) According to an eleventh aspect of the present invention, in the moving object detection device according to the eighth to tenth aspects described above,
A parameter setting unit is further provided for setting the parameters “h” and “k” to arbitrary values by a user operation input.
(12) 本発明の第１２の態様は、上述した第１〜第１１の態様に係る移動物体検出装置を、コンピュータにプログラムを組み込むことにより構成したものである。 (12) According to a twelfth aspect of the present invention, the moving object detection apparatus according to the first to eleventh aspects described above is configured by incorporating a program into a computer.
(13) 本発明の第１３の態様は、上述した第１〜第１１の態様に係る移動物体検出装置を、半導体集積回路によって構成したものである。 (13) In a thirteenth aspect of the present invention, the moving object detection device according to the first to eleventh aspects described above is configured by a semiconductor integrated circuit.
(14) 本発明の第１４の態様は、動画画像について移動物体を検出する移動物体検出方法において、
コンピュータが、時系列で連続的に与えられるフレーム単位のカラー原画像を、三原色の各画素値を有する画素の集合体データとして入力する画像入力段階と、
コンピュータが、新たな原画像が入力されるたびに、当該新たな原画像と直前に作成した平均画像とに基づいて、新たな平均画像を作成する平均画像作成段階と、
コンピュータが、新たな原画像が入力されるたびに、当該新たな原画像と直前に作成した参照画像とに基づいて、新たな参照画像を作成する参照画像作成段階と、
コンピュータが、原画像と平均画像と参照画像とを用いた比較処理により、前景領域と背景領域とを区別するマスク画像を作成する画像比較段階と、
コンピュータが、マスク画像を出力する画像出力段階と、
を行い、
画像比較段階を、
第ｉ番目の原画像、第（ｉ−１）番目の平均画像、第（ｉ−１）番目の参照画像から、それぞれ対応する所定位置にある画素の三原色の各画素値を読み出す画素値読出ステップと、
第ｉ番目の原画像を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の平均画像を構成する画素の画素値ａ（ｉ−１）とが類似するか否かを判定する第１判定処理と、第ｉ番目の原画像を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の参照画像を構成する画素の画素値ｕ（ｉ−１）とが類似するか否かを判定する第２判定処理と、を行い、第ｉ番目の原画像の所定位置にある画素について、第１判定処理による判定結果と第２判定処理による判定結果との少なくとも一方が類似を示す場合には背景画素、双方とも非類似を示す場合には前景画素との判定を行う前背判定ステップと、
第ｉ番目のマスク画像を構成する所定位置の画素の画素値として、前背判定ステップにより背景画素と判定された場合には背景領域を示す画素値を、前背判定ステップにより前景画素と判定された場合には前景領域を示す画素値を、それぞれ与えることにより、第ｉ番目のマスク画像を作成するマスク画像作成ステップと、
によって構成し、
平均画像作成段階では、第１番目の原画像をそのまま第１番目の平均画像とし、第ｉ番目（ｉ≧２）の平均画像を作成する際には、第ｉ番目の原画像と第（ｉ−１）番目の平均画像とについて、互いに対応する位置にある画素の三原色の各画素値の重みつき平均値をそれぞれ求め、得られた各平均値を各画素値とする画素の集合からなる画像を第ｉ番目の平均画像とし、
参照画像作成段階では、第１番目の原画像をそのまま第１番目の参照画像とし、第ｉ番目（ｉ≧２）の参照画像を作成する際には、第（ｉ−１）番目の参照画像を構成する個々の画素のうち、前背判定ステップにおいて第ｉ番目の原画像の対応画素が前景画素と判定された画素については、更新せずに、もとの画素値をそのまま維持し、前背判定ステップにおいて第ｉ番目の原画像の対応画素が背景画素と判定された画素については、第（ｉ−１）番目の平均画像の対応する位置にある画素との間で、三原色の各画素値の重みつき平均値をそれぞれ求め、得られた各平均値を新画素値として更新することにより、第ｉ番目の参照画像を作成するようにしたものである。
(14) According to a fourteenth aspect of the present invention, in the moving object detection method for detecting a moving object for a moving image,
An image input stage in which a computer inputs a color original image in units of frames continuously given in time series as aggregate data of pixels having pixel values of three primary colors;
An average image creation stage for creating a new average image based on the new original image and the average image just created each time a new original image is input;
A reference image creation stage in which a computer creates a new reference image based on the new original image and the reference image created immediately before each new original image is input;
An image comparison stage in which a computer creates a mask image that distinguishes a foreground area and a background area by a comparison process using an original image, an average image, and a reference image;
An image output stage in which a computer outputs a mask image;
And
The image comparison stage
A pixel value reading step of reading out pixel values of the three primary colors of the pixels at the corresponding predetermined positions from the i-th original image, the (i-1) -th average image, and the (i-1) -th reference image, respectively. When,
It is determined whether the pixel value p (i) of the pixels constituting the i-th original image is similar to the pixel value a (i-1) of the pixels constituting the (i-1) -th average image. And the pixel value p (i) of the pixel constituting the i-th original image and the pixel value u (i-1) of the pixel constituting the (i-1) -th reference image. And a second determination process for determining whether or not they are similar, and at least one of a determination result by the first determination process and a determination result by the second determination process for a pixel at a predetermined position of the i-th original image A foreground determination step of determining a background pixel when both indicate dissimilarity and a foreground pixel when both indicate dissimilarity;
As a pixel value of a pixel at a predetermined position constituting the i-th mask image, when it is determined as a background pixel by the foreground determination step, a pixel value indicating a background region is determined as a foreground pixel by the foreground determination step. A mask image creating step for creating an i-th mask image by giving a pixel value indicating a foreground area in each case,
Composed by
In the average image creation stage, the first original image is directly used as the first average image, and when the i-th (i ≧ 2) average image is created, the i-th original image and the (i -1) An image composed of a set of pixels each having a weighted average value of each pixel value of the three primary colors of pixels located at positions corresponding to each other with respect to the first average image, and each obtained average value being each pixel value Is the i-th average image,
In the reference image creation stage, the first original image is used as it is as the first reference image, and when the i-th (i ≧ 2) reference image is created, the (i−1) -th reference image is created. Among the individual pixels constituting the pixel, the pixel for which the corresponding pixel of the i-th original image is determined to be the foreground pixel in the foreground determination step is not updated and the original pixel value is maintained as it is. With respect to the pixel for which the corresponding pixel of the i-th original image is determined as the background pixel in the spine determination step, each pixel of the three primary colors with the pixel at the corresponding position of the (i-1) -th average image. The i-th reference image is created by obtaining each weighted average value and updating each obtained average value as a new pixel value.
(15) 本発明の第１５の態様は、上述した第１４の態様に係る移動物体検出方法において、
平均画像作成段階では、
最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の平均画像Ａ（１）とする処理を行い、
以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の平均画像Ａ（ｉ）を、
ａ（ｉ）＝（１−ｗ）・ａ（ｉ−１）＋ｗ・ｐ（ｉ）
（但し、ａ（ｉ）は、平均画像Ａ（ｉ）の
所定位置の画素の所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
所定位置の画素の所定色の画素値、
ｐ（ｉ）は、原画像Ｐ（ｉ）の
所定位置の画素の所定色の画素値、
ｗは、所定の重みを示すパラメータ（ｗ＜１））
なる演算式を用いて作成し、
参照画像作成段階では、
最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の参照画像Ｕ（１）とする処理を行い、
以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の参照画像Ｕ（ｉ）の各画素値を、
背景画素と判定された画素については、
ｕ（ｉ）＝（１−ｖ）・ｕ（ｉ−１）＋ｖ・ａ（ｉ−１）
（但し、ｕ（ｉ）は、平均画像Ｕ（ｉ）の
所定位置の画素の所定色の画素値、
ｕ（ｉ−１）は、平均画像Ｕ（ｉ−１）の
所定位置の画素の所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
所定位置の画素の所定色の画素値、
ｖは、所定の重みを示すパラメータ（ｖ＜１、かつｗ＞ｖ））
なる演算式を用いて求められた画素値ｕ（ｉ）に更新し、
前景画素と判定された画素については、
ｕ（ｉ）＝ｕ（ｉ−１）
として、更新せずに、もとの画素値をそのまま維持することにより、参照画像Ｕ（ｉ）を作成するようにしたものである。
(15) According to a fifteenth aspect of the present invention, in the moving object detection method according to the fourteenth aspect described above,
In the average image creation stage,
When the first original image P (1) is input, the original image P (1) is processed as it is as the first average image A (1).
Thereafter, every time the i-th original image P (i) is input (i = 2, 3,...), The i-th average image A (i) is
a (i) = (1-w) .a (i-1) + w.p (i)
(However, a (i) is the average image A (i)
A pixel value of a predetermined color of a pixel at a predetermined position,
a (i-1) is the average image A (i-1)
A pixel value of a predetermined color of a pixel at a predetermined position,
p (i) is the original image P (i)
A pixel value of a predetermined color of a pixel at a predetermined position,
w is a parameter indicating a predetermined weight (w <1))
Created using the following formula:
In the reference image creation stage,
When the first original image P (1) is input, the original image P (1) is processed as the first reference image U (1) as it is,
Thereafter, each time the i-th original image P (i) is input (i = 2, 3,...), The pixel values of the i-th reference image U (i) are
For pixels determined to be background pixels,
u (i) = (1-v) .u (i-1) + v.a (i-1)
(However, u (i) is the average image U (i)
A pixel value of a predetermined color of a pixel at a predetermined position,
u (i-1) is the average image U (i-1)
A pixel value of a predetermined color of a pixel at a predetermined position,
a (i-1) is the average image A (i-1)
A pixel value of a predetermined color of a pixel at a predetermined position,
v is a parameter indicating a predetermined weight (v <1, and w> v))
Updated to the pixel value u (i) obtained using the following equation:
For pixels determined to be foreground pixels,
u (i) = u (i-1)
As described above, the reference image U (i) is created by maintaining the original pixel value as it is without updating.
本発明に係る移動物体検出装置では、過去に入力された複数の原画像の平均的な特徴を有する平均画像が逐次作成され、更に、この平均画像に基づいて参照画像が逐次作成される。そして、新たに入力された原画像は、平均画像と比較されるとともに参照画像とも比較され、両方の比較結果がともに非類似とされた領域が前景領域（移動物体の領域）、それ以外の領域が背景領域と判定される。ここで、平均画像は、新たな原画像が入力されるたびに更新されるため、原画像の変化に追随して変化を遂げる動的画像になる。これに対して、参照画像は、背景領域と判定された部分に対しては平均画像を利用した更新が行われるが、前景領域と判定された部分に対しては更新が行われない。このため、原画像の変化に追随した参照画像の変化は緩慢になる。 In the moving object detection device according to the present invention, an average image having an average characteristic of a plurality of original images input in the past is sequentially created, and further, a reference image is sequentially created based on the average image. The newly input original image is compared with the average image and also with the reference image, the region where both comparison results are dissimilar is the foreground region (moving object region), and the other regions Is determined to be the background area. Here, since the average image is updated every time a new original image is input, the average image becomes a dynamic image that changes following the change of the original image. In contrast, the reference image is updated using the average image for the portion determined to be the background region, but is not updated for the portion determined to be the foreground region. For this reason, the change of the reference image following the change of the original image becomes slow.
このように、平均画像と参照画像とは、原画像の変化に対する追随態様が互いに異なっており、しかも、新たに入力された原画像のうち、平均画像および参照画像の少なくとも一方に類似している領域は背景領域と判定されることになる。したがって、日照変化などの自然現象に起因して変化した背景領域が前景領域（移動物体の領域）として誤検出される可能性を低減することができ、より正確な検出を行うことができるようになる。しかも、実質的には、新たな原画像が入力されるたびに、新たな平均画像および参照画像を作成する処理と、上述した各比較処理と、を行えばよいため、演算処理の負担も比較的軽いものになる。 As described above, the average image and the reference image have different tracking modes with respect to the change in the original image, and are similar to at least one of the average image and the reference image among the newly input original images. The area is determined as the background area. Therefore, it is possible to reduce the possibility that a background area changed due to a natural phenomenon such as sunshine change is erroneously detected as a foreground area (moving object area), and to perform more accurate detection. Become. In addition, each time a new original image is input, the process of creating a new average image and reference image and the above-described comparison processes need only be performed. Lighter.
また、回転楕円体を用いて画素の類否判定を行う実施形態の場合、三次元色空間上において、一方の画素値をプロットした座標点を中心とする回転楕円体内に、他方の画素値をプロットした座標点が入るか否かに基づいて、比較対象となるカラー画素の類否判定を行うようにしたため、演算処理の負担を大幅に軽減することが可能になる。 Further, in the embodiment in which the similarity of pixels is determined using a spheroid, in the three-dimensional color space, the other pixel value is placed in a spheroid centered on a coordinate point where one pixel value is plotted. Since the similarity determination of the color pixel to be compared is performed based on whether or not the plotted coordinate points are included, it is possible to greatly reduce the burden of calculation processing.
以下、本発明を図示する実施形態に基づいて説明する。 Hereinafter, the present invention will be described based on the illustrated embodiments.
＜＜＜ §１．一般的な移動物体検出の基本原理 ＞＞＞
はじめに、一般的な移動物体検出の基本原理を説明する。この基本原理は、動画画像について移動物体を検出するためのものであり、三原色の各画素値を有する画素の集合体として、時系列で連続的にフレーム単位のカラー画像が与えられることを前提としている。
<<< §1. Basic principle of general moving object detection >>
First, the basic principle of general moving object detection will be described. This basic principle is for detecting a moving object in a moving image, and it is assumed that a color image in units of frames is given continuously in time series as a collection of pixels having pixel values of three primary colors. Yes.
たとえば、図１の左側に示すように、フレーム単位の画像Ｐ１０，Ｐ２０，Ｐ３０，Ｐ４０がこの順番で与えられたものとしよう。図示の例は、街頭に設置された定点ビデオカメラによる撮影画像を示すものであり、右から左へと１台の車両（移動物体）が通過する状態が示されている。なお、一般的なビデオカメラの場合、１秒間に３０フレーム程度の周期で連続して撮影画像が出力されるので、実際には、より細かな時間間隔で多数のフレーム画像が得られることになるが、ここでは、説明の便宜上、図示のとおり、４枚のフレーム画像Ｐ１０，Ｐ２０，Ｐ３０，Ｐ４０が順番に与えられたものとしよう。 For example, assume that images P10, P20, P30, and P40 in units of frames are given in this order as shown on the left side of FIG. The illustrated example shows a photographed image by a fixed-point video camera installed on the street, and shows a state in which one vehicle (moving object) passes from right to left. Note that in the case of a general video camera, captured images are output continuously at a cycle of about 30 frames per second, so in practice, a large number of frame images can be obtained at finer time intervals. However, for convenience of explanation, it is assumed that four frame images P10, P20, P30, and P40 are given in order as shown in the figure.
これら４枚の画像を見ると、画像Ｐ１０は街の背景のみであるが、画像Ｐ２０では、右側に車両の一部が侵入したため、背景上に車両の一部が重なった画像になっている。同様に、画像Ｐ３０，Ｐ４０も、背景上に車両が重なった画像になっている。背景は静止しているため、画像Ｐ１０〜Ｐ４０について共通になるが、車両は移動物体であるため、画像Ｐ１０〜Ｐ４０では異なる。ここでは、各画像上において、背景を構成する領域を背景領域Ｂ、車両（移動物体）を構成する領域を前景領域Ｆと呼ぶことにする。 Looking at these four images, the image P10 is only the background of the city, but in the image P20, since a part of the vehicle has entered the right side, the image is a part of the vehicle overlapped on the background. Similarly, the images P30 and P40 are images in which vehicles overlap on the background. Since the background is stationary, it is common for the images P10 to P40. However, since the vehicle is a moving object, the images P10 to P40 are different. Here, on each image, the area constituting the background is referred to as the background area B, and the area constituting the vehicle (moving object) is referred to as the foreground area F.
本発明における移動物体検出の目的は、与えられた各画像Ｐ１０〜Ｐ４０について、それぞれ背景領域Ｂと前景領域Ｆとを区別することにある。図１の右側に示す各画像Ｍ１０〜Ｍ４０は、それぞれ左側に示す各画像Ｐ１０〜Ｐ４０について、背景領域Ｂと前景領域Ｆとの区別を示す画像である。図にハッチングを施した領域が背景領域Ｂであり、白地の領域が前景領域Ｆである。いずれの領域かを識別できればよいので、これらの画像Ｍ１０〜Ｍ４０は、二値画像として与えられる。たとえば、背景領域Ｂに所属する画素には画素値「１」を与え、前景領域Ｆに所属する画素には画素値「０」を与えることにすれば、画像Ｍ１０〜Ｍ４０は、１ビットの画素値をもった画素の集合体からなる画像データとして用意することができる。 The object of the moving object detection in the present invention is to distinguish the background area B and the foreground area F from each of the given images P10 to P40. The images M10 to M40 shown on the right side of FIG. 1 are images showing the distinction between the background region B and the foreground region F with respect to the images P10 to P40 shown on the left side, respectively. The hatched area in the figure is the background area B, and the white area is the foreground area F. Since it is only necessary to identify which region, these images M10 to M40 are given as binary images. For example, if the pixel value “1” is given to the pixels belonging to the background area B and the pixel value “0” is given to the pixels belonging to the foreground area F, the images M10 to M40 are 1-bit pixels. It can be prepared as image data consisting of a collection of pixels having values.
本発明によれば、与えられた個々のフレーム画像のそれぞれについて、対応する二値画像を作成することができる。結局、本発明に係る移動物体検出処理の本質は、時系列で連続的に与えられた個々のカラー画像について、それぞれ背景領域Ｂと前景領域Ｆとの区別を示す二値画像を作成する処理ということができる。そこで、以下、便宜上、時系列で連続的に与えられるカラー画像を「原画像」と呼び、この「原画像」に基づいて作成される二値画像を「マスク画像」と呼ぶことにする。 According to the present invention, a corresponding binary image can be created for each given frame image. After all, the essence of the moving object detection process according to the present invention is a process of creating a binary image indicating the distinction between the background area B and the foreground area F for each color image continuously given in time series. be able to. Therefore, hereinafter, for convenience, a color image continuously given in time series is referred to as an “original image”, and a binary image created based on the “original image” is referred to as a “mask image”.
図１に示す例では、各原画像Ｐ１０〜Ｐ４０のそれぞれについて、マスク画像Ｍ１０〜Ｍ４０が作成された例が示されている。これらマスク画像を利用すれば、原画像上のどの領域が移動物体であるかを認識できるので、移動物体の形状やサイズを把握したり、移動物体の部分をズームアップして、車両のナンバーを確認したり、人物を特定したりする処理を行うことが可能になる。また、画面上で移動物体をズームアップしたまま追跡したり、移動経路を把握したりすることも可能になる。 In the example shown in FIG. 1, an example in which mask images M10 to M40 are created for each of the original images P10 to P40 is shown. By using these mask images, it is possible to recognize which area on the original image is a moving object, so you can grasp the shape and size of the moving object, zoom up the moving object part, and set the vehicle number. It is possible to perform processing for confirming or specifying a person. In addition, it is possible to track a moving object on the screen while zooming up, or to grasp a moving path.
もちろん、このようなマスク画像の作成を、１枚の原画像のみから行うことは困難である。たとえば、図示の原画像Ｐ２０のみが静止画像として与えられた場合、人間の脳は様々な情報から車両の存在を認識することができるが、この１枚の静止画像のみから、コンピュータに車両の存在を認識させるには、複雑なアルゴリズムに基づく処理が必要となる。そこで、一般的な移動物体検出アルゴリズムでは、既に述べたとおり、入力画像と背景画像との差を求めることにより、当該差の領域を移動物体の領域（前景領域Ｆ）と判断する手法が採られる。 Of course, it is difficult to create such a mask image from only one original image. For example, when only the illustrated original image P20 is given as a still image, the human brain can recognize the presence of the vehicle from various information, but the presence of the vehicle is detected by the computer from only this one still image. In order to recognize this, processing based on a complicated algorithm is required. Therefore, as described above, a general moving object detection algorithm employs a method of determining a difference area between the input image and the background image and determining the difference area as a moving object area (foreground area F). .
たとえば、予め原画像Ｐ１０を背景画像として指定しておけば、原画像Ｐ２０が入力された時点で両者を比較することにより、差の領域（異なる領域）を前景領域Ｆと認識し、図示のようなマスク画像Ｍ２０を作成することが可能になる。差の領域の認識手法としては、前述したとおり、小領域単位で画素値の統計処理を施す方法も知られているが、入力画像と背景画像とを画素単位で比較して、両画素の画素値が類似している場合、当該画素は背景領域Ｂを構成する画素であるとし、類似していない場合、当該画素は移動物体を構成する前景領域Ｆを構成する画素であるとする方法が最も簡便な方法である。本発明も、このような画素単位での比較手法を採用することを前提としている。 For example, if the original image P10 is designated as a background image in advance, the difference area (different area) is recognized as the foreground area F by comparing the two when the original image P20 is input, as shown in the figure. A mask image M20 can be created. As described above, as a method for recognizing a difference region, a method of performing statistical processing of pixel values in units of small regions is also known. However, by comparing the input image and the background image in units of pixels, the pixels of both pixels are compared. When the values are similar, it is assumed that the pixel is a pixel constituting the background region B, and when the values are not similar, it is most preferable that the pixel is a pixel constituting the foreground region F constituting the moving object. It is a simple method. The present invention is also premised on adopting such a pixel-by-pixel comparison method.
背景画像としては、予め移動物体が存在しない状態（たとえば、画像Ｐ１０に示す状態）で撮影した静止画像を利用することも可能であるが、天候や時刻などの要因により、照明環境は時々刻々と変化してゆくものであり、ある特定の時点で撮影した静止画像をそのまま背景画像として継続して利用するのは不適切である。そこで、通常は、過去に入力された複数の原画像に基づいて、これら原画像の平均的な特徴を有する平均画像を作成し、この平均画像を背景画像として利用する手法が採られる。本発明でも、基本的には、このような手法で得られた平均画像を、背景画像として利用することになる。平均画像は新たな画像が入力されるたびに逐次更新されるので、天候や時刻などの要因により、照明環境が変化したとしても、当該変化に追随した適切な背景画像として機能する。 As a background image, it is possible to use a still image that has been captured in a state in which no moving object exists in advance (for example, the state shown in the image P10). However, due to factors such as weather and time, the lighting environment is constantly changing. Since it changes, it is inappropriate to continue to use a still image taken at a specific time point as a background image. Therefore, usually, a method is employed in which an average image having an average characteristic of these original images is created based on a plurality of original images input in the past, and this average image is used as a background image. In the present invention, basically, an average image obtained by such a method is used as a background image. Since the average image is sequentially updated each time a new image is input, even if the lighting environment changes due to factors such as weather and time, the average image functions as an appropriate background image following the change.
図２は、一般的な移動物体検出の基本原理を示す図である。ここで、図の上段に示す画像Ｐ（１），Ｐ（２），... ，Ｐ（ｉ−２），Ｐ（ｉ−１）は、時系列で連続的に与えられるフレーム単位の原画像であり、これまでに第１番目の原画像Ｐ（１）から第（ｉ−１）番目の原画像Ｐ（ｉ−１）まで、（ｉ−１）フレーム分の画像が与えられた状態が示されている。一方、図の中段左に示す画像Ｐ（ｉ）は、新たに与えられた第ｉ番目の原画像であり、図の中段右に示す画像Ａ（ｉ−１）は、図の上段に示す過去に与えられた（ｉ−１）フレーム分の原画像Ｐ（１）〜Ｐ（ｉ−１）の平均的な特徴を有する平均画像である。 FIG. 2 is a diagram showing the basic principle of general moving object detection. Here, the images P (1), P (2),..., P (i-2), P (i-1) shown in the upper part of the figure are frame-unit originals that are continuously given in time series. A state in which images for (i-1) frames from the first original image P (1) to the (i-1) th original image P (i-1) have been given so far It is shown. On the other hand, the image P (i) shown on the left in the middle of the figure is the i-th original image newly given, and the image A (i-1) shown on the right in the middle of the figure is the past shown in the upper part of the figure. Is an average image having average characteristics of the original images P (1) to P (i-1) for (i-1) frames.
新たに入力された原画像Ｐ（ｉ）についてのマスク画像Ｍ（ｉ）は、当該原画像Ｐ（ｉ）と平均画像Ａ（ｉ−１）とを比較することによって作成される。図２の下段は、このようにして作成されたマスク画像Ｍ（ｉ）を示すものである。具体的には、原画像Ｐ（ｉ）上の各画素の画素値を、平均画像Ａ（ｉ−１）上の対応する画素の画素値と比較し、類似範囲内と判定された画素については背景領域Ｂを示す画素値（たとえば、「１」）を与え、類似範囲外と判定された画素については前景領域Ｆを示す画素値（たとえば、「０」）を与えることにより、二値画像からなるマスク画像Ｍ（ｉ）を作成すればよい。 The mask image M (i) for the newly input original image P (i) is created by comparing the original image P (i) with the average image A (i-1). The lower part of FIG. 2 shows the mask image M (i) created in this way. Specifically, the pixel value of each pixel on the original image P (i) is compared with the pixel value of the corresponding pixel on the average image A (i−1). A pixel value (for example, “1”) indicating the background region B is given, and a pixel value (for example, “0”) showing the foreground region F is given to the pixels determined to be out of the similar range, thereby obtaining a binary image. A mask image M (i) that is
続いて、第（ｉ＋１）番目の原画像Ｐ（ｉ＋１）が入力されたときには、過去に入力された第ｉ番目の原画像Ｐ（ｉ）までの平均的な特徴を有する平均画像Ａ（ｉ）が新たに作成され、原画像Ｐ（ｉ＋１）と平均画像Ａ（ｉ）とを比較することにより、マスク画像Ｍ（ｉ＋１）が作成される。このように、平均画像は逐次更新されてゆくため、天候や時刻などの要因により、照明環境が変化した場合でも、各時点に適した背景画像としての機能を果たすことができる。 Subsequently, when the (i + 1) -th original image P (i + 1) is input, the average image A (i) having an average feature up to the i-th original image P (i) input in the past. Are newly created, and the mask image M (i + 1) is created by comparing the original image P (i + 1) and the average image A (i). In this way, since the average image is sequentially updated, even if the lighting environment changes due to factors such as weather and time, it can function as a background image suitable for each time point.
なお、平均画像を作成する際には、時系列に沿った重みづけを行うようにし、最新の原画像の情報に重みをおいた加重平均を求めるようにするのが好ましい。たとえば、過去１０分間に入力された原画像について重み１、それ以前に入力された原画像について重み０を与えて平均を求めれば、常に、最新１０分間に得られた原画像についての平均画像を得ることができ、照明環境が変化した場合にも対応することができる。もちろん、常に最新の原画像ほど重みづけが大きくなるように、重みづけをきめ細かく設定することもできる。 Note that when creating an average image, it is preferable to perform weighting along a time series, and obtain a weighted average with the latest original image information weighted. For example, if an average is obtained by giving a weight of 1 for an original image input in the past 10 minutes and a weight of 0 for an original image input before that, an average image for the original image obtained in the latest 10 minutes is always obtained. It can be obtained and can cope with a change in the lighting environment. Of course, the weights can be set finely so that the latest original image always has a higher weight.
結局、この図２に示す例の場合、平均画像を作成する際には、第ｉ番目の原画像Ｐ（ｉ）が入力されたときに（ｉ＝１，２，...）、当該原画像Ｐ（ｉ）を含めた過去の原画像について、それぞれ対応する位置の画素の各色別の画素値の重みづけ平均値を算出し、当該平均値をもつ画素の集合体からなる第ｉ番目の平均画像Ａ（ｉ）を作成すればよい。そして、第（ｉ＋１）番目の原画像Ｐ（ｉ＋１）が入力されたときには、第（ｉ＋１）番目のマスク画像Ｍ（ｉ＋１）を作成するために、原画像Ｐ（ｉ＋１）と、第ｉ番目の平均画像Ａ（ｉ）とを比較すればよい。 After all, in the case of the example shown in FIG. 2, when creating the average image, when the i-th original image P (i) is input (i = 1, 2,...), For the past original image including the image P (i), the weighted average value of the pixel values for each color of the pixels at the corresponding positions is calculated, and the i-th pixel composed of a collection of pixels having the average value. An average image A (i) may be created. Then, when the (i + 1) th original image P (i + 1) is input, in order to create the (i + 1) th mask image M (i + 1), the original image P (i + 1) and the i th The average image A (i) may be compared.
ただ、１秒間に３０フレームという一般的なフレームレートで動画画像が入力された場合、過去１０分間の原画像であっても、その画像データをすべて蓄積しておくには、画像データのバッファにかなりの記憶容量が必要になる。そこで、実用上は、第ｉ番目の原画像Ｐ（ｉ）が与えられたときに、第（ｉ−１）番目の平均画像Ａ（ｉ−１）と、当該第ｉ番目の原画像Ｐ（ｉ）との２枚の画像に基づいて、第ｉ番目の平均画像Ａ（ｉ）を作成する手法が採られる。図３は、このような手法に基づく平均画像の作成方法の一例を示す図である。 However, if a moving image is input at a general frame rate of 30 frames per second, even if it is an original image for the past 10 minutes, in order to store all the image data, the image data buffer Considerable storage capacity is required. Therefore, practically, when the i-th original image P (i) is given, the (i−1) -th average image A (i−1) and the i-th original image P ( Based on the two images i), a method of creating the i-th average image A (i) is adopted. FIG. 3 is a diagram illustrating an example of an average image creation method based on such a method.
まず、最初の原画像Ｐ（１）が与えられたときには、当該原画像Ｐ（１）をそのまま最初の平均画像Ａ（１）とする処理を行う。そして、以後、図３の上段右に示す第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、図３の上段左に示す第（ｉ−１）番目の平均画像Ａ（ｉ−１）を利用して、図３の中段に示す第ｉ番目の平均画像Ａ（ｉ）を、図３の下段に示す
ａ（ｉ）＝（１−ｗ）・ａ（ｉ−１）＋ｗ・ｐ（ｉ） 式（１）
なる演算式を用いて作成すればよい。ここで、ａ（ｉ）は、平均画像Ａ（ｉ）の所定位置の画素の所定色の画素値、ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の前記所定位置の画素の前記所定色の画素値、ｐ（ｉ）は、原画像Ｐ（ｉ）の前記所定位置の画素の前記所定色の画素値、ｗは、所定の重みを示すパラメータ（ｗ＜１）である。
First, when the first original image P (1) is given, the original image P (1) is processed as it is as the first average image A (1). Then, every time the i-th original image P (i) shown in the upper right of FIG. 3 is inputted (i = 2, 3,...), The (i−) shown in the upper left of FIG. 1) The i-th average image A (i) shown in the middle part of FIG. 3 is shown in the lower part of FIG.
a (i) = (1-w) .a (i-1) + w.p (i) Formula (1)
It may be created using the following arithmetic expression. Here, a (i) is a pixel value of a predetermined color of a pixel at a predetermined position of the average image A (i), and a (i-1) is a pixel value of the pixel at the predetermined position of the average image A (i-1). The pixel value of the predetermined color, p (i) is the pixel value of the predetermined color of the pixel at the predetermined position of the original image P (i), and w is a parameter (w <1) indicating a predetermined weight.
要するに、直前に与えられた原画像Ｐ（ｉ−１）までの原画像について算出された第（ｉ−１）番目の平均画像Ａ（ｉ−１）の画素値ａ（ｉ−１）と、新たに与えられた第ｉ番目の原画像Ｐ（ｉ）の画素値ｐ（ｉ）とについて、重みｗを考慮した平均値が算出され、当該算出値を第ｉ番目の平均画像Ａ（ｉ）の画素値ａ（ｉ）とする処理が行われることになる。このように、新たな原画像Ｐ（ｉ）が入力されるたびに、平均画像Ａ（ｉ）を更新してゆき、しかも更新には直前の平均画像Ａ（ｉ−１）のみを用いるようにすれば、過去の原画像データを何フレーム分にもわたって蓄積保持しておく必要がないので、処理を行うために必要なバッファの容量を大幅に節約することができる。 In short, the pixel value a (i−1) of the (i−1) -th average image A (i−1) calculated for the original image up to the original image P (i−1) given immediately before, For the pixel value p (i) of the i-th original image P (i) that is newly given, an average value considering the weight w is calculated, and the calculated value is used as the i-th average image A (i). The process of setting the pixel value a (i) is performed. Thus, every time a new original image P (i) is input, the average image A (i) is updated, and only the immediately preceding average image A (i-1) is used for the update. By doing so, it is not necessary to store and hold past original image data for several frames, so that it is possible to greatly save the capacity of the buffer necessary for processing.
図３に示すとおり、重みｗの値を大きくすればするほど、最新の原画像Ｐ（ｉ）の画素値が平均画像Ａ（ｉ）の画素値に大きな影響を与えることになる。図４は、図３に示す方法に基づいて作成される平均画像上の１画素の画素値変遷プロセスを示す図である。この例では、重みｗ＝０．０１に設定した具体例が示されている。 As shown in FIG. 3, as the value of the weight w is increased, the pixel value of the latest original image P (i) greatly affects the pixel value of the average image A (i). FIG. 4 is a diagram showing a pixel value transition process of one pixel on the average image created based on the method shown in FIG. In this example, a specific example in which the weight w = 0.01 is shown.
たとえば、第１番目（ｉ＝１）の原画像Ｐ（１）の特定位置の画素の画素値がｐ（１）＝１００であったとすると、第１番目の平均画像Ａ（１）の当該特定位置の画素の画素値ａ（１）は、そのままａ（１）＝１００となる。続いて、第２番目の原画像Ｐ（２）の当該特定位置の画素の画素値がｐ（２）＝１００であったとすると、第２番目の平均画像Ａ（２）の当該特定位置の画素の画素値ａ（２）は、ａ（１）とｐ（２）との重みつき平均「０．９９×１００＋０．０１×１００」を計算することにより、ａ（２）＝１００になる。 For example, if the pixel value of the pixel at the specific position of the first (i = 1) original image P (1) is p (1) = 100, the specific of the first average image A (1) is specified. The pixel value a (1) of the pixel at the position is a (1) = 100 as it is. Subsequently, assuming that the pixel value of the pixel at the specific position of the second original image P (2) is p (2) = 100, the pixel at the specific position of the second average image A (2). The pixel value a (2) is calculated as a weighted average “0.99 × 100 + 0.01 × 100” between a (1) and p (2), so that a (2) = 100.
図示の例では、原画像の当該特定位置の画素値は、ｐ（１）〜ｐ（４）まで１００のまま変化しないため、平均画像の当該特定位置の画素値も、ａ（１）〜ａ（４）まで１００を維持する。ところが、第５番目の原画像Ｐ（５）では、画素値ｐ（５）＝２００に急変したため、第５番目の平均画像Ａ（５）の画素値ａ（５）は、図４の下段の式に示すとおり、ａ（４）とｐ（５）との重みつき平均「０．９９×１００＋０．０１×２００」を計算することにより、ａ（５）＝１０１になる。更に、第６番目の原画像Ｐ（６）および第７番目の原画像Ｐ（７）では、画素値ｐ（６）＝ｐ（７）＝２００が維持されているため、図４の下段の式に示すとおり、第６番目の平均画像Ａ（６）および第７番目の平均画像Ａ（７）では、画素値ａ（６）＝１０２、画素値ａ（７）＝１０３、と徐々に増加している。 In the illustrated example, since the pixel value at the specific position of the original image remains 100 from p (1) to p (4), the pixel value at the specific position of the average image is also a (1) to a Maintain 100 until (4). However, in the fifth original image P (5), the pixel value a (5) of the fifth average image A (5) is changed in the lower part of FIG. As shown in the equation, a (5) = 101 is obtained by calculating the weighted average “0.99 × 100 + 0.01 × 200” of a (4) and p (5). Further, since the pixel value p (6) = p (7) = 200 is maintained in the sixth original image P (6) and the seventh original image P (7), the lower part of FIG. As shown in the equation, in the sixth average image A (6) and the seventh average image A (7), the pixel value a (6) = 102 and the pixel value a (7) = 103 gradually increase. doing.
この例のように、重みｗを０．０１程度の値に設定すると、原画像の画素値が急激に変化しても、平均画像の画素値は直ちに変化することはなく、原画像の画素値にゆっくりと近づいてゆくことになる。したがって、図１に示す例のように、車両が通過する動画が与えられたとしても、一過性の画素値変化は、平均画像の画素値に大きな変化をもたらすことはなく、平均画像は背景画像としての機能を果たすことができる。一方、時刻が日中から夕暮れに変わった場合など、照明環境に変化が生じた場合、当該変化は多数のフレーム画像にわたって持続するため、平均画像の画素値も当該変化に追従して変化することになる。したがって、日中には日中の背景画像に適した平均画像が得られ、夕暮れには夕暮れの背景画像に適した平均画像が得られることになる。 As in this example, when the weight w is set to a value of about 0.01, even if the pixel value of the original image changes abruptly, the pixel value of the average image does not change immediately, and the pixel value of the original image It will approach you slowly. Therefore, as in the example shown in FIG. 1, even if a moving image through which the vehicle passes is given, the transient pixel value change does not cause a large change in the pixel value of the average image, and the average image It can serve as an image. On the other hand, if the lighting environment changes, such as when the time changes from daytime to dusk, the change persists across many frame images, so the average image pixel value also changes following the change. become. Therefore, an average image suitable for a daytime background image is obtained during the daytime, and an average image suitable for a sunset background image is obtained at dusk.
移動物体の領域を示すマスク画像Ｍは、このような方法で作成された平均画像を背景画像として、個々の原画像を比較することによって作成することができる。図５は、このようにして作成されるマスク画像Ｍの画素値決定プロセスを示す図である。第ｉ番目の原画像Ｐ（ｉ）についてのマスク画像Ｍ（ｉ）は、次のような方法で決定される画素値をもつ画素の集合体からなる二値画像である。すなわち、マスク画像Ｍ（ｉ）の特定位置の画素の画素値ｍ（ｉ）は、原画像Ｐ（ｉ）の当該特定位置の画素の画素値ｐ（ｉ）と、平均画像Ａ（ｉ−１）の当該特定位置の画素の画素値ａ（ｉ−１）との比較によって決定され、両画素値が類似範囲内であれば、背景領域Ｂ内の画素であることを示す画素値（たとえば、「１」）が与えられ、両画素値が類似範囲外であれば、前景領域Ｆ内の画素であることを示す画素値（たとえば、「０」）が与えられる。 The mask image M indicating the area of the moving object can be created by comparing individual original images with the average image created by such a method as a background image. FIG. 5 is a diagram showing a pixel value determination process of the mask image M created in this way. The mask image M (i) for the i-th original image P (i) is a binary image composed of a collection of pixels having pixel values determined by the following method. That is, the pixel value m (i) of the pixel at the specific position of the mask image M (i) is equal to the pixel value p (i) of the pixel at the specific position of the original image P (i) and the average image A (i−1). ) Is compared with the pixel value a (i-1) of the pixel at the specific position, and if both pixel values are within the similar range, a pixel value indicating that the pixel is in the background region B (for example, If both pixel values are outside the similar range, a pixel value (for example, “0”) indicating that the pixel is in the foreground area F is given.
なお、実際には、原画像は三原色の各画素値（たとえば、ＲＧＢ表色系の場合、Ｒ，Ｇ，Ｂの３色の画素値）をもったカラー画像であるので、原画像Ｐ（ｉ）を構成する各画素の画素値ｐ（ｉ）や、平均画像Ａ（ｉ）を構成する各画素の画素値ａ（ｉ）は、いずれも色ごとに独立した３つの値から構成されていることになる。そして、式（１）の演算は、個々の色ごとにそれぞれ独立して実行されることになる。たとえば、平均画像Ａ（ｉ）上の特定位置の画素の画素値ａ（ｉ）は、Ｒ色の画素値、Ｇ色の画素値、Ｂ色の画素値という３組の画素値によって構成され、Ｒ色の画素値は、過去の原画像のＲ色の画素値の重みつき平均として得られた値になる。 Actually, since the original image is a color image having pixel values of three primary colors (for example, in the case of the RGB color system, pixel values of three colors R, G, and B), the original image P (i ) And the pixel value a (i) of each pixel constituting the average image A (i) are each composed of three independent values for each color. It will be. Then, the calculation of Expression (1) is executed independently for each color. For example, the pixel value a (i) of a pixel at a specific position on the average image A (i) is composed of three sets of pixel values, an R color pixel value, a G color pixel value, and a B color pixel value. The R pixel value is a value obtained as a weighted average of the R pixel values of the past original image.
したがって、図５における画素値ｐ（ｉ）と画素値ａ（ｉ−１）との比較は、単なる２つの値の比較ではなく、３組の画素値と３組の画素値との比較ということになる。当然ながら、画素の類否判定は、この３組の画素値の組み合わせからなる色同士が類似するか否かを判定する処理ということになる。以下、この類否判定を行うための一般的な方法を、§２において詳述する。
Therefore, the comparison between the pixel value p (i) and the pixel value a (i−1) in FIG. 5 is not a simple comparison between two values, but a comparison between three sets of pixel values and three sets of pixel values. become. Naturally, the pixel similarity determination is a process for determining whether or not colors composed of combinations of these three pixel values are similar. Hereinafter, a general method for performing the similarity determination will be described in detail in
＜＜＜ §２．画素の一般的な類否判定方法 ＞＞＞
さて、§１で述べた移動物体検出方法では、原画像（入力画像）と平均画像（背景画像）とを画素単位で比較して、両画素が類似している場合は背景領域Ｂの画素、非類似の場合は前景領域Ｆの画素という判定を行う。このように画素単位での類否判定を行う方法は、領域単位で特徴量を求める方法に比べて処理が単純になり、演算負担は比較的軽くなる。しかしながら、画素の類否判定が移動物体の検出精度を左右するファクターになるため、どのような方法で、どの程度の範囲までを「類似範囲」と判定するかが非常に重要である。
<<< §2. General similarity determination method for pixels >>
Now, in the moving object detection method described in §1, the original image (input image) and the average image (background image) are compared in pixel units. In the case of dissimilarity, it is determined that the pixel is in the foreground area F. As described above, the method for determining similarity in units of pixels is simpler than the method of obtaining feature amounts in units of regions, and the calculation burden is relatively light. However, since the pixel similarity determination is a factor that affects the detection accuracy of the moving object, it is very important to determine how much the range is determined as the “similar range”.
たとえば、§１では、図１の画像Ｐ１０を平均画像（背景画像）とし、画像Ｐ２０を原画像（入力画像）とした場合、両者の比較により、画像Ｍ２０のようなマスク画像が得られることを述べた。ここで、マスク画像Ｍ２０の前景領域Ｆは、両画像Ｐ１０，Ｐ２０を比較した結果、画素が類似範囲外と判定された領域であり、背景画像Ｂは、画素が類似範囲内と判定された領域である。この場合、類似範囲を適切に設定しないと、正しいマスク画像を得ることはできない。 For example, in §1, when the image P10 in FIG. 1 is an average image (background image) and the image P20 is an original image (input image), a mask image like the image M20 is obtained by comparing the two images. Stated. Here, the foreground area F of the mask image M20 is an area in which the pixels are determined to be out of the similar range as a result of comparing the images P10 and P20, and the background image B is an area in which the pixels are determined to be in the similar range. It is. In this case, a correct mask image cannot be obtained unless the similar range is set appropriately.
カラー画像の場合、画素の類否は、両画素の色が近似しているか否かに基づいて判定する必要がある。そのためには、一方の画素の３組の画素値と他方の画素の３組の画素値との総合的な比較を行う必要がある。たとえば、ＲＧＢ表色系の場合、カラー画像を構成する個々の画素には、Ｒ，Ｇ，Ｂの３種類の画素値が与えられるが、たとえ、画素値Ｒが同一であっても、それだけでは両画素の色が類似していることにならない。通常、このようなカラー画像の画素の比較は、三次元の色空間上で、双方の画素値に対応する座標点をプロットし、両座標点の空間的な位置関係を調べることによって行われる。以下、各画素がＲＧＢ表色系の画素値をもっている場合について、色空間上での類否判定を行う代表的な方法をいくつか説明しよう。 In the case of a color image, the similarity of pixels needs to be determined based on whether or not the colors of both pixels are approximate. For this purpose, it is necessary to comprehensively compare the three pixel values of one pixel and the three pixel values of the other pixel. For example, in the case of the RGB color system, each pixel constituting a color image is given three types of pixel values R, G, and B. Even if the pixel values R are the same, this is not enough. The colors of both pixels are not similar. Usually, such pixel comparison of color images is performed by plotting coordinate points corresponding to both pixel values in a three-dimensional color space and examining the spatial positional relationship between the two coordinate points. Hereinafter, some typical methods for determining similarity in the color space when each pixel has an RGB color system pixel value will be described.
図６は、画素の類否判定の最も単純な方法を示す三次元色空間図である。図示のとおり、三原色Ｒ，Ｇ，Ｂの画素値を各座標軸にとったＲＧＢ三次元直交座標系に、座標点ＡおよびＰがプロットされている。ここで、座標点Ａ（Ｒａ，Ｇａ，Ｂａ）は、背景を示す平均画像Ａ上の画素の画素値（Ｒａ，Ｇａ，Ｂａ）をプロットした点であり、座標点Ｐ（Ｒｐ，Ｇｐ，Ｂｐ）は、判定対象となる原画像Ｐ上の画素の画素値（Ｒｐ，Ｇｐ，Ｂｐ）をプロットした点である。 FIG. 6 is a three-dimensional color space diagram showing the simplest method for determining similarity of pixels. As illustrated, coordinate points A and P are plotted in an RGB three-dimensional orthogonal coordinate system in which the pixel values of the three primary colors R, G, and B are taken as coordinate axes. Here, the coordinate point A (Ra, Ga, Ba) is a point obtained by plotting pixel values (Ra, Ga, Ba) of pixels on the average image A indicating the background, and the coordinate point P (Rp, Gp, Bp). ) Is a point in which pixel values (Rp, Gp, Bp) of pixels on the original image P to be determined are plotted.
ここで、この三次元色空間上での２点Ａ，Ｐの距離をδとすれば、当該距離δは、両画素の類似度を示す１つの指標になる。δ＝０であれば、両画素は全く同一の画素値をもった画素になり、δが大きくなればなるほど、３つの画素値の総合的な類似度は低下する。したがって、予め所定の閾値δthを設定しておき、δ＜δthであれば類似範囲内、δ≧δthであれば類似範囲外と判定するようにすれば、一応の判定基準を設定することができる。 Here, if the distance between the two points A and P in the three-dimensional color space is δ, the distance δ is an index indicating the similarity between the two pixels. If δ = 0, both pixels have exactly the same pixel value, and the overall similarity of the three pixel values decreases as δ increases. Therefore, if a predetermined threshold value δth is set in advance and it is determined that δ <δth is within the similar range and δ ≧ δth is out of the similar range, a temporary determination criterion can be set. .
あるいは、原点Ｏを起点として、座標点Ａへ向かうベクトルＶａと座標点Ｐへ向かうベクトルＶｐとを定義し、両ベクトルＶａ，Ｖｐのなす角θを、両画素の類似度を示す指標として用いることもできる。θ＝０の場合、２点Ａ，Ｐは必ずしも同一の点にはならないが、原点Ｏを通る同一直線上の点になるため、少なくとも三原色Ｒ，Ｇ，Ｂの配合割合で決まる両画素の色相は類似したものになる。結局、θが小さければ、色相の類似性は高まることになるので、指標δを用いた判定基準と同様に、予め所定の閾値θthを設定しておき、θ＜θthであれば類似範囲内、θ≧θthであれば類似範囲外と判定するようにすれば、一応の判定基準を設定することができる。 Alternatively, starting from the origin O, a vector Va going to the coordinate point A and a vector Vp going to the coordinate point P are defined, and an angle θ formed by both vectors Va and Vp is used as an index indicating the similarity between both pixels. You can also. When θ = 0, the two points A and P are not necessarily the same point, but are points on the same straight line passing through the origin O. Therefore, the hues of both pixels determined by at least the blend ratio of the three primary colors R, G, and B are used. Will be similar. Eventually, if θ is small, the similarity of hue will increase. Therefore, like the criterion using index δ, a predetermined threshold θth is set in advance, and if θ <θth, If it is determined that θ ≧ θth is outside the similar range, a temporary determination criterion can be set.
一方、より正確な判定を行う方法として、三原色の各画素値を各座標軸にとった三次元座標系において、一方の画素値に対応する座標に位置する基準点を中心として所定サイズの基準立体を配置し、他方の画素値に対応する座標点との位置関係を調べ、当該座標点が基準立体の外部に位置すると判定できる場合に非類似との判定を行い、内部に位置すると判定できる場合には類似との判定を行う方法が知られている。 On the other hand, as a more accurate determination method, in a three-dimensional coordinate system in which each pixel value of the three primary colors is taken as each coordinate axis, a reference solid having a predetermined size is centered on a reference point located at a coordinate corresponding to one pixel value. If the position of the coordinate point corresponding to the other pixel value is determined and the coordinate point can be determined to be located outside the reference solid, it is determined that the coordinate point is not similar, and the coordinate point corresponding to the other pixel value is determined to be located inside. There is known a method for determining whether or not is similar.
たとえば、前掲の非特許文献１には、適切な判定基準を設定するために、基準立体として円柱を用いる類否判定方法が提案されている。図７は、この円柱モデルを用いる方法の基本原理を示す三次元色空間図である。この図７においても、図６と同様に、背景を示す平均画像Ａ上の画素の画素値（Ｒａ，Ｇａ，Ｂａ）が座標点Ａとしてプロットされ、判定対象となる原画像Ｐ上の画素の画素値（Ｒｐ，Ｇｐ，Ｂｐ）が座標点Ｐとしてプロットされている。ここでも、ベクトルＶａ，Ｖｐは、原点Ｏを起点として、各点Ａ，Ｐへ向かうベクトルである。
For example, the above-mentioned
このモデルでは、図示のとおり、座標点Ａを中心として所定半径をもった長さＬの円柱Ｃが定義されている。別言すれば、円柱Ｃは、ベクトルＶａ上に定義された基準軸Ｚを中心軸とし、その中心点が座標点Ａにくるように配置された円柱ということになる。そして、この円柱Ｃの内部の空間領域を、背景を示す平均画像Ａを構成する画素の類似範囲と定める。したがって、図示の例のように、座標点Ｐに対応する画素値をもった画素は、円柱Ｃの外側に位置するため類似範囲外と判定され、前掲領域Ｆを構成する画素と認定されることになる。逆に、座標点Ｐが円柱Ｃの内部に位置していれば、類似範囲内と判定され、背景領域Ｂを構成する画素と認定される。 In this model, a cylinder C having a length L with a predetermined radius around a coordinate point A is defined as shown in the figure. In other words, the cylinder C is a cylinder arranged such that the reference axis Z defined on the vector Va is the central axis and the center point is at the coordinate point A. Then, the space area inside the cylinder C is defined as a similar range of pixels constituting the average image A indicating the background. Therefore, as shown in the example in the figure, a pixel having a pixel value corresponding to the coordinate point P is determined to be outside the similar range because it is located outside the cylinder C, and recognized as a pixel constituting the above-described region F. become. On the contrary, if the coordinate point P is located inside the cylinder C, it is determined to be within the similar range and is recognized as a pixel constituting the background region B.
ここに示す円柱モデルの特徴は、ベクトルＶａの方向を向いた基準軸Ｚを長手方向とする円柱領域が設定される点である。この円柱Ｃの半径は、色相の類似範囲を決めるパラメータとして機能し、長さＬは明度の類似範囲を決めるパラメータとして機能する。実際の景色では、太陽光による照明環境の変化、風による樹木等の明暗の変化などによって、背景領域Ｂの画素値に時間的変動が生じることになるが、このような変動は、色相よりも明度に大きな影響を及ぼすと考えられる。したがって、このモデルのように、基準軸Ｚを長手方向とする円柱Ｃに基づいて類似範囲を設定することは理にかなっている。 A feature of the cylindrical model shown here is that a cylindrical region having a reference axis Z facing the direction of the vector Va as a longitudinal direction is set. The radius of the cylinder C functions as a parameter for determining the hue similarity range, and the length L functions as a parameter for determining the brightness similarity range. In actual scenery, the pixel values in the background region B will vary temporally due to changes in the lighting environment due to sunlight, changes in light and darkness of trees etc. due to the wind, etc. It is thought to have a great influence on the brightness. Therefore, as in this model, it makes sense to set the similarity range based on the cylinder C having the reference axis Z as the longitudinal direction.
＜＜＜ §３．従来提案されている移動物体検出装置 ＞＞＞
ここでは、§１および§２で述べた原理に基づいて移動物体の検出を行う装置の基本構成を、図８のブロック図を参照しながら説明する。この装置は、特願２００９−２２６１４６号明細書に開示された装置であり、与えられた動画画像について移動物体を検出する機能をもった移動物体検出装置である。図示のとおり、この装置は、画像入力部１１０、原画像格納部１２０、平均画像作成部１３０、平均画像格納部１４０、画像比較部２００、マスク画像格納部３１０、画像出力部３２０、パラメータ設定部３３０によって構成される。
<<< §3. Conventionally proposed moving object detection device >>>
Here, the basic configuration of an apparatus for detecting a moving object based on the principle described in §1 and §2 will be described with reference to the block diagram of FIG. This apparatus is an apparatus disclosed in Japanese Patent Application No. 2009-226146, and is a moving object detection apparatus having a function of detecting a moving object for a given moving image. As illustrated, the apparatus includes an
画像入力部１１０は、時系列で連続的に与えられるフレーム単位のカラー原画像Ｐを、三原色の各画素値を有する画素の集合体データとして入力する構成要素であり、原画像格納部１２０は、こうして入力された原画像を逐次格納する構成要素である。一方、平均画像作成部１３０は、過去に入力された複数の原画像Ｐに基づいて、これら原画像の平均的な特徴を有する平均画像Ａを逐次作成する構成要素であり、平均画像格納部１４０は、作成された平均画像Ａを逐次格納する構成要素である。
The
この平均画像Ａを作成する具体的な処理機能については、図３を参照して§１で述べたとおりである。すなわち、平均画像作成部１３０は、最初の原画像Ｐ（１）が与えられたときには、当該原画像Ｐ（１）をそのまま最初の平均画像Ａ（１）として平均画像格納部１４０に格納する処理を行う。そして、以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、この原画像Ｐ（ｉ）と平均画像格納部１４０に格納されていた第（ｉ−１）番目の平均画像Ａ（ｉ−１）を利用して、第ｉ番目の平均画像Ａ（ｉ）を作成し、これを平均画像格納部１４０に格納する。
The specific processing function for creating the average image A is as described in
このとき、平均画像Ａ（ｉ）の所定位置の画素の所定色の画素値をａ（ｉ）とすれば、画素値ａ（ｉ）は、既に述べたとおり、
ａ（ｉ）＝（１−ｗ）・ａ（ｉ−１）＋ｗ・ｐ（ｉ） 式（１）
なる演算式を用いて算出される。ここで、ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の前記所定位置の画素の前記所定色の画素値、ｐ（ｉ）は、原画像Ｐ（ｉ）の前記所定位置の画素の前記所定色の画素値、ｗは、所定の重みを示すパラメータ（ｗ＜１）である。なお、各画素値は、実際には、§２で述べたとおり、たとえば、ＲＧＢ表色系の場合、Ｒ，Ｇ，Ｂの３種類の画素値から構成され、上記演算は、個々の色ごとの画素値についてそれぞれ別個に行われる。
At this time, if the pixel value of the predetermined color of the pixel at the predetermined position of the average image A (i) is a (i), the pixel value a (i) is as described above.
a (i) = (1-w) .a (i-1) + w.p (i) Formula (1)
It is calculated using the following arithmetic expression. Here, a (i-1) is the pixel value of the predetermined color of the pixel at the predetermined position of the average image A (i-1), and p (i) is the predetermined position of the original image P (i). The pixel value, w, of the predetermined color of the pixel is a parameter (w <1) indicating a predetermined weight. Each pixel value is actually composed of three types of pixel values of R, G, and B, for example, in the case of the RGB color system, as described in §2, and the above calculation is performed for each color. Are separately performed for each of the pixel values.
図８に示す原画像格納部１２０や平均画像格納部１４０は、バッファメモリによって構成することができる。平均画像作成部１３０が、図３に示す方法で重みｗをパラメータとして平均画像を逐次作成し、これを平均画像格納部１４０に格納してゆくようにすれば、原画像格納部１２０には、常に処理に必要な最新の原画像のみが格納されるようにし、平均画像格納部１４０には、常に処理に必要な最新の平均画像Ａのみが格納されるようにすればよいので、バッファメモリの容量を節約することができる。
The original
画像比較部２００は、原画像格納部１２０に格納された原画像Ｐと、平均画像格納部１４０に格納された平均画像Ａとを比較し、前景領域Ｆと背景領域Ｂとを区別するマスク画像Ｍを作成する機能を果たす構成要素であり、図示のとおり、画素値読出部２１０、類否判定部２２０、画素値書込部２３０によって構成されている。
The
画素値読出部２１０は、比較対象となる一対の画像（すなわち、原画像格納部１２０に格納されている原画像Ｐと、平均画像格納部１４０に格納されている平均画像Ａ）のうち、いずれか一方の画像の所定位置の画素の画素値を基準画素値（Ｒ，Ｇ，Ｂ）として読み出し、他方の画像の対応位置の画素の画素値を比較画素値（ｒ，ｇ，ｂ）として読み出す処理を行う。
The pixel
類否判定部２２０は、比較画素値（ｒ，ｇ，ｂ）が、基準画素値（Ｒ，Ｇ，Ｂ）について設定された所定の類似範囲に入っているか否かを判定する処理を行う。具体的には、図７に示す円柱モデルを利用する場合、三原色の各画素値を各座標軸にとった三次元座標系において、基準画素値（Ｒ，Ｇ，Ｂ）に対応する座標に位置する基準点Ａ（Ｒ，Ｇ，Ｂ）と比較画素値（ｒ，ｇ，ｂ）に対応する座標に位置する比較点Ｐ（ｒ，ｇ，ｂ）をとり、基準点Ａを中心とする所定サイズの円柱Ｃと比較点Ｐとの位置関係を調べ、比較点Ｐが円柱Ｃの外部に位置する場合には非類似との判定を行い、内部に位置する場合には類似との判定を行う。このとき、円柱Ｃのサイズは、所定の判定パラメータによって決定される。
The
そして、画素値書込部２３０は、マスク画像Ｍを構成する所定位置（画素値読出部２１０の読出対象となった位置）の画素の画素値として、類否判定部２２０の判定結果に応じた値を定め、マスク画像格納部３１０に書き込む処理を行う。すなわち、類否判定部２２０が類似と判定した場合には背景領域Ｂを示す画素値（たとえば、「１」）を、類否判定部２２０が非類似と判定した場合には前景領域Ｆを示す画素値（たとえば、「０」）を、それぞれマスク画像格納部３１０に書き込む処理を行う。
Then, the pixel
マスク画像格納部３１０は、こうして作成されたマスク画像Ｍを格納する構成要素であり、画像出力部３２０は、このマスク画像Ｍを出力する構成要素である。
The mask
一方、パラメータ設定部３３０は、平均画像作成部１３０による平均画像作成処理に利用されるパラメータｗ（図３に示す重みｗ）と、類否判定部２２０の類否判定処理に利用される判定パラメータ（図７に示す円柱Ｃの半径と長さＬ）とを、ユーザの操作入力によって任意の値に設定する機能を有する。ユーザは、必要に応じて、これらパラメータの値を調整することにより、より精度の高い検出結果を得ることができる。もっとも、これらのパラメータの一部もしくは全部は、固定値にしておくことも可能である。全部のパラメータ値を固定値にする実施例では、パラメータ設定部３３０を設ける必要はない。
On the other hand, the
なお、実用上、この図８に示す移動物体検出装置は、コンピュータに専用のプログラムを組み込むことにより構築することができ、図８に各ブロックで示す構成要素は、コンピュータのハードウエアとソフトウエアとの組み合わせによって実現することができる。もちろん、この移動物体検出装置を半導体集積回路として構成することも可能である。 In practice, the moving object detection apparatus shown in FIG. 8 can be constructed by incorporating a dedicated program into the computer. The components shown in each block in FIG. 8 are the hardware and software of the computer. It can be realized by a combination of Of course, this moving object detection device can also be configured as a semiconductor integrated circuit.
この移動物体検出装置による検出精度を向上させるには、各パラメータの値を利用環境に合致した最適値に設定することが重要である。また、類否判定部２２０において適切な判定アルゴリズムを用いることも重要である。ここでは、図７に示す円柱モデルを利用した例を述べたが、たとえば、§７で述べる回転楕円体モデルを利用すると、一般的に検出精度の向上を図ることができる。
In order to improve the detection accuracy of the moving object detection device, it is important to set the values of the parameters to optimum values that match the usage environment. It is also important to use an appropriate determination algorithm in the
このように、図８に示す移動物体検出装置の検出精度を向上させるために、様々な工夫を施すことが可能であるが、本願発明者が行った実験によると、時刻や天候などによる照明変動の影響を完全に排除することは困難であり、依然として、誤検出が生じる問題がある。 Thus, various improvements can be made to improve the detection accuracy of the moving object detection device shown in FIG. 8, but according to experiments conducted by the inventors of the present application, illumination fluctuations due to time, weather, etc. It is difficult to completely eliminate the influence of the above, and there is still a problem that false detection occurs.
図１に示す各原画像Ｐ１０〜Ｐ４０には、背景部分に全く同じ画像が描かれているが、実際の風景では、雲の動きで太陽光による照明環境が変化し、風により樹木の葉の位置や向きが微妙に変化する。したがって、類否判定部２２０における画素の類否判定基準を厳しくすると（たとえば、図７に示す円柱モデルの場合、円柱Ｃのサイズを小さくすると）、実際には背景部分であるのに、非類似との誤判定が生じ、前景領域Ｆ内の画素との認定がなされてしまう。逆に、画素の類否判定基準を緩めると、実際には前景部分であるのに、類似との誤判定が生じ、背景領域Ｂ内の画素との認定がなされてしまう。
In each of the original images P10 to P40 shown in FIG. 1, the same image is drawn in the background portion. However, in an actual landscape, the lighting environment due to sunlight changes due to the movement of clouds, and the position of the leaves of the trees due to the wind The direction changes slightly. Therefore, if the similarity determination criteria of the pixels in the
もちろん、過去に入力された多数の原画像に対して、より複雑な統計処理を施して背景画像を決定するようにすれば、検出精度の向上を図ることが可能であるが、そのためには演算処理が極めて複雑になり、一般的なプロセッサによるリアルタイム処理を行うことが困難になる。また、多数のフレームにわたって入力画像を格納しておく必要があるため、大容量の画像バッファメモリが必要になる。 Of course, it is possible to improve the detection accuracy if a background image is determined by performing more complicated statistical processing on a large number of original images input in the past. Processing becomes extremely complicated, making it difficult to perform real-time processing by a general processor. Further, since it is necessary to store the input image over a large number of frames, a large-capacity image buffer memory is required.
本発明は、このような問題を解決するための提案であり、その目的は、演算処理の負担を軽減しつつ、日照変化などの自然現象に起因した誤検出を排除し、より正確な検出を行うことが可能な移動物体検出装置を提供することにある。以下、本発明に係る移動物体検出装置の構成および動作を説明する。 The present invention is a proposal for solving such a problem, and its purpose is to reduce the burden of arithmetic processing while eliminating false detections caused by natural phenomena such as changes in sunshine, and more accurate detection. It is an object of the present invention to provide a moving object detection device that can be performed. Hereinafter, the configuration and operation of the moving object detection device according to the present invention will be described.
＜＜＜ §４．本発明に係る移動物体検出装置 ＞＞＞
本発明に係る移動物体検出装置は、図８に示した従来提案されている移動物体検出装置を改良したものであり、その基本構成を図９に示す。図示のとおり、この装置は、画像入力部１１０、原画像格納部１２０、平均画像作成部１３０、参照画像作成部１３５、平均画像格納部１４０、参照画像格納部１４５、画像比較部４００、マスク画像格納部３１０、画像出力部３２０、パラメータ設定部３４０によって構成され、動画画像について移動物体を検出する移動物体検出装置として機能する。
<<< §4. Moving object detection device according to the present invention >>
The moving object detection apparatus according to the present invention is an improvement of the conventionally proposed moving object detection apparatus shown in FIG. 8, and its basic configuration is shown in FIG. As illustrated, the apparatus includes an
この図９に示す各構成要素のうち、画像入力部１１０、原画像格納部１２０、平均画像作成部１３０、平均画像格納部１４０の機能は、図８に同符号で示す各構成要素の機能と全く同じである。すなわち、画像入力部１１０は、時系列で連続的に与えられるフレーム単位のカラー原画像を、三原色の各画素値を有する画素の集合体データとして入力する機能を果たし、原画像格納部１２０は、入力された原画像を逐次格納する機能を果たす。
Among the components shown in FIG. 9, the functions of the
また、平均画像作成部１３０は、新たな原画像が入力されるたびに、当該新たな原画像と直前に作成した平均画像とに基づいて、新たな平均画像を作成する機能を果たし、平均画像格納部１４０は、作成された平均画像を逐次格納する機能を果たす。たとえば、画像入力部１１０によって第ｉ番目の原画像Ｐ（ｉ）が入力され、原画像格納部１２０に格納された場合、平均画像作成部１３０は、平均画像格納部１４０から直前に作成した平均画像Ａ（ｉ−１）を読み出し、原画像格納部１２０から新たな原画像Ｐ（ｉ）を読み出し、これらの画像に基づいて、新たな平均画像Ａ（ｉ）を作成し、これを平均画像格納部１４０に格納する。
In addition, every time a new original image is input, the average
より具体的には、平均画像作成部１３０は、第１番目の原画像Ｐ（１）をそのまま第１番目の平均画像Ａ（１）として平均画像格納部１４０に格納し、第ｉ番目（ｉ≧２）の原画像Ｐ（ｉ）が入力された場合、この第ｉ番目の原画像Ｐ（ｉ）と第（ｉ−１）番目の平均画像Ａ（ｉ−１）とについて、互いに対応する位置にある画素の三原色の各画素値の重みつき平均値をそれぞれ求め、得られた各平均値を各画素値とする画素の集合からなる画像を第ｉ番目（ｉ≧２）の平均画像Ａ（ｉ）として平均画像格納部１４０に格納する。
More specifically, the average
一方、参照画像作成部１３５および参照画像格納部１４５は、本発明に係る移動物体検出装置において新たに付加された構成要素である。参照画像作成部１３５は、画像入力部１１０によって新たな原画像が入力されるたびに、直前に作成した参照画像に基づいて新たな参照画像を作成する機能を果たし、参照画像格納部１４５は、作成された参照画像を逐次格納する機能を果たす。これらの具体的な機能については、後に詳述する。
On the other hand, the reference
また、画像比較部４００は、図８に示す画像比較部２００と同様に、画像を個々の画素単位で比較し、類否判定を行う機能をもった構成要素であるが、その比較対象には、新たに参照画像が加わることになる。すなわち、画像比較部４００は、原画像格納部１２０に格納された原画像Ｐと、平均画像格納部１４０に格納された平均画像Ａと、参照画像格納部１４５に格納された参照画像Ｕと、を用いた比較処理により、前景領域Ｆと背景領域Ｂとを区別するマスク画像Ｍを作成する機能を果たす。図示のとおり、画像比較部４００は、画素値読出部４１０、前背判定部４５０、画素値書込部４６０によって構成されているが、これら各構成要素の機能については後に詳述する。
In addition, the
図９に示すマスク画像格納部３１０および画像出力部３２０の機能も、図８に同符号で示す各構成要素の機能と全く同じである。すなわち、マスク画像格納部３１０は、画像比較部４００によって作成されたマスク画像Ｍを格納する機能を果たし、画像出力部３２０は、当該マスク画像Ｍを出力する機能を果たす。
The functions of the mask
パラメータ設定部３４０は、この装置で利用されるパラメータを設定する構成要素である。この装置の場合、平均画像作成部１３０で用いられる重みｗ、参照画像作成部１３５で用いられる重みｖ、前背判定部４５０で用いられる判定パラメータ（たとえば、図７に示す円柱モデルを利用した類否判定を行う場合は、円柱Ｃの半径と長さＬ）を、パラメータ設定部３４０によって設定することができる。ユーザは、必要に応じて、パラメータ設定部３４０に対して操作入力を行い、これらパラメータの値を調整し、より精度の高い検出結果を得ることができる。もちろん、これらのパラメータの一部もしくは全部は、固定値にしておくことも可能であり、全部のパラメータ値を固定値にする実施例では、パラメータ設定部３４０を設ける必要はない。
The
図９に示す本発明に係る移動物体検出装置が、図８に示す従来の移動物体検出装置と大きく異なる点は、参照画像作成部１３５および参照画像格納部１４５を新たに付加した点と、画像比較部２００の代わりに画像比較部４００を設けた点である。そこで、まず、画像比較部４００の処理機能について説明する。図示のとおり、画像比較部４００は、画素値読出部４１０、前背判定部４５０、画素値書込部４６０によって構成されており、前背判定部４５０は、第１判定部４２０、第２判定部４３０、総合判定部４４０によって構成されている。
The moving object detection device according to the present invention shown in FIG. 9 is significantly different from the conventional moving object detection device shown in FIG. 8 in that a reference
画素値読出部４１０は、画像入力部１１０が第ｉ番目の原画像Ｐ（ｉ）を入力し、これを原画像格納部１２０に格納するたびに、この原画像格納部１２０に格納されている第ｉ番目の原画像Ｐ（ｉ）、平均画像格納部１４０に格納されている第（ｉ−１）番目の平均画像Ａ（ｉ−１）、参照画像格納部１４５に格納されている第（ｉ−１）番目の参照画像Ｕ（ｉ−１）から、それぞれ対応する所定位置にある画素の画素値を読み出す処理を行う。ここでは、対応する所定位置にある各画素の画素値をそれぞれｐ（ｉ），ａ（ｉ−１），ｕ（ｉ−１）で表すことにする。原画像Ｐ，平均画像Ａ，参照画像Ｕは、いずれも同じ二次元画素配列をもった画像であり、対応する所定位置にある各画素とは、この二次元画素配列において同一座標（ｘ，ｙ）に位置する画素ということになる。
Each time the
こうして画素値読出部４１０が読み出した、同一座標（ｘ，ｙ）に位置する画素の画素値ｐ（ｉ），ａ（ｉ−１），ｕ（ｉ−１）は、前背判定部４５０に与えられる。なお、前述したとおり、実際には、各画素は、三原色Ｒ，Ｇ，Ｂの成分を有しているので、画素値ｐ（ｉ），ａ（ｉ−１），ｕ（ｉ−１）は、それぞれ三原色Ｒ，Ｇ，Ｂの成分ごとに独立した値をもつことになる。たとえば、画素値ｐ（ｉ）は、実際には、Ｒ色成分ｐ（ｉ）ｒ，Ｇ色成分ｐ（ｉ）ｇ，Ｂ色成分ｐ（ｉ）ｂという３通りの画素値の集合体であるが、ここでは便宜上、単に画素値ｐ（ｉ）と呼ぶことにする。
The pixel values p (i), a (i−1), u (i−1) of the pixels located at the same coordinates (x, y) read by the pixel value reading unit 410 in this way are sent to the
前背判定部４５０は、画素値読出部４１０によって読み出された画素値ｐ（ｉ），ａ（ｉ−１），ｕ（ｉ−１）に基づいて、第ｉ番目の原画像Ｐ（ｉ）の所定位置（座標（ｘ，ｙ）の位置）にある画素が前景画素か背景画素かを判定する処理を行う。ここでは、判定結果をＪなる論理値で表す。具体的には、判定結果がＪ＝０であれば前景画素、Ｊ＝１であれば背景画素であることを示す。
The
前背判定部４５０は、第１判定部４２０、第２判定部４３０、総合判定部４４０によって構成されており、座標（ｘ，ｙ）に位置する画素についての判定を次のようなプロセスで実行する。まず、第１判定部４２０は、第ｉ番目の原画像Ｐ（ｉ）を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の平均画像Ａ（ｉ−１）を構成する画素の画素値ａ（ｉ−１）とを比較して類似するか否かを判定する。一方、第２判定部４３０は、第ｉ番目の原画像Ｐ（ｉ）を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の参照画像Ｕ（ｉ−１）を構成する画素の画素値ｕ（ｉ−１）とを比較して類似するか否かを判定する。そして、総合判定部４４０は、第１判定部４２０による判定結果および第２判定部４３０による判定結果の少なくとも一方が類似を示す場合には背景画素との判定を行い判定結果Ｊ＝１を出力し、双方とも非類似を示す場合には前景画素との判定を行い判定結果Ｊ＝０を出力する。
The
第１判定部４２０および第２判定部４３０は、２つの画素間の類否判定を行うことになるが、その具体的な方法は§２で例示したとおりである。たとえば、図７に示す円柱モデルを利用する場合、第１判定部４２０は、次のような方法で、画素値ｐ（ｉ）と画素値ａ（ｉ−１）との類否判定を行うことができる。まず、画素値ａ（ｉ−１）を構成する三原色の各画素値に基づいて、ＲＧＢ三次元座標系に基準点Ａをプロットし、この基準点Ａを中心とする所定サイズの基準立体として円柱Ｃを配置する。次に、画素値ｐ（ｉ）を構成する三原色の各画素値に基づいて、ＲＧＢ三次元座標系に比較点Ｐをプロットする。そして、円柱Ｃと比較点Ｐとの位置関係を調べ、比較点Ｐが円柱Ｃの外部に位置する場合には非類似との判定を行い、内部に位置する場合には類似との判定を行えばよい。第２判定部４３０も、同様の方法で、画素値ｐ（ｉ）と画素値ｕ（ｉ−１）との類否判定を行うことができる。
The
総合判定部４４０は、これら２通りの判定結果に基づき、少なくとも一方が類似を示す場合には判定結果Ｊ＝１（背景画素との判定結果）を出力し、双方とも非類似を示す場合には判定結果Ｊ＝０（前景画素との判定結果）を出力する。このような判定結果の出力は、第１判定部４２０および第２判定部４３０の判定結果の論理和として得ることができる。すなわち、第１判定部４２０および第２判定部４３０が、類似との判定結果を論理値「１」として出力し、非類似との判定結果を論理値「０」として出力するようにしておけば、総合判定部４４０は、これらの各判定結果の論理和として、最終的な判定結果Ｊを出力することができる。
Based on these two determination results, the
画素値書込部４６０は、第ｉ番目のマスク画像Ｍ（ｉ）を構成する所定位置（座標（ｘ，ｙ）の位置）の画素の画素値として、前背判定部４５０が背景画素と判定した場合には背景領域を示す画素値（この例では、判定結果Ｊと同じ論理値「１」）を、前背判定部４５０が前景画素と判定した場合には前景領域を示す画素値（この例では、判定結果Ｊと同じ論理値「０」）を、それぞれマスク画像格納部３１０に書き込む処理を行う。
The pixel
以上、画像比較部４００が、特定の座標（ｘ，ｙ）に位置する１画素について実行する具体的な処理を述べたが、このような処理が、１枚の画像を構成する全画素について繰り返し実行される。こうして、原画像格納部１２０に格納された第ｉ番目の原画像Ｐ（ｉ）を構成する全画素について、それぞれ背景画素か前景画素かの判定が行われることになり、その判定結果に基づいて、マスク画像格納部３１０内に第ｉ番目（ｉ≧２）のマスク画像Ｍ（ｉ）が得られることになる。こうして得られたマスク画像Ｍ（ｉ）において、前景画素からなる領域（上例の場合、画素値「０」をもった領域）は、前景領域、すなわち、「移動物体が存在する」と判断できる領域ということになる。
The specific processing executed by the
続いて、参照画像作成部１３５および参照画像格納部１４５の処理機能について説明する。参照画像作成部１３５および参照画像格納部１４５の役割は、平均画像作成部１３０および平均画像格納部１４０の役割と対比して考えることができる。後者は、平均画像Ａを作成しこれを逐次格納する役割を果たすのに対して、前者は、参照画像Ｕを作成しこれを逐次格納する役割を果たす。そして、平均画像Ａも参照画像Ｕも、画像比較部４００において、原画像Ｐと比較されることになる。この比較処理では、平均画像Ａも参照画像Ｕも、原画像Ｐに対する背景としての意味合いをもつ。ただ、平均画像Ａと参照画像Ｕとは、その作成プロセスが異なるため、原画像に動的変化が生じた場合、その追従性に差が生じることになる。
Next, processing functions of the reference
平均画像作成部１３０による平均画像Ａの作成処理は、既に§３で述べたとおりである。すなわち、平均画像作成部１３０は、まず、初期設定として、第１番目の原画像Ｐ（１）をそのまま第１番目の平均画像Ａ（１）として、平均画像格納部１４０に格納する処理を行う。続いて、第２番目以降の原画像が入力されると、第ｉ番目の原画像Ｐ（ｉ）と第（ｉ−１）番目の平均画像Ａ（ｉ−１）とについて、互いに対応する位置にある画素の三原色の各画素値の重みつき平均値をそれぞれ求め、得られた各平均値を各画素値とする画素の集合からなる画像を第ｉ番目（ｉ≧２）の平均画像Ａ（ｉ）として、平均画像格納部１４０に格納する処理を行う。
The process of creating the average image A by the average
図１０は、図９に示す移動物体検出装置の各構成要素で実行される演算内容を示す図である。図の上段には、平均画像作成部１３０で実行される演算内容が式（１Ａ）として示されている。この式（１Ａ）は、図３に示す式（１）と同じものである。要するに、平均画像作成部１３０は、
最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の平均画像Ａ（１）として平均画像格納部１４０へ格納する処理を行い（図１０上段の但し書）、以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の平均画像Ａ（ｉ）を、
ａ（ｉ）＝（１−ｗ）・ａ（ｉ−１）＋ｗ・ｐ（ｉ） 式（１Ａ）
（但し、ａ（ｉ）は、平均画像Ａ（ｉ）の
所定位置の画素の所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
前記所定位置の画素の前記所定色の画素値、
ｐ（ｉ）は、原画像Ｐ（ｉ）の
前記所定位置の画素の前記所定色の画素値、
ｗは、所定の重みを示すパラメータ（ｗ＜１））
なる演算式を用いて作成することになる。
FIG. 10 is a diagram showing calculation contents executed by each component of the moving object detection device shown in FIG. 9. In the upper part of the figure, the calculation content executed by the average
When the first original image P (1) is input, the original image P (1) is stored in the average
a (i) = (1-w) .a (i-1) + w.p (i) Formula (1A)
(However, a (i) is the average image A (i)
A pixel value of a predetermined color of a pixel at a predetermined position,
a (i-1) is the average image A (i-1)
A pixel value of the predetermined color of the pixel at the predetermined position;
p (i) is the original image P (i)
A pixel value of the predetermined color of the pixel at the predetermined position;
w is a parameter indicating a predetermined weight (w <1))
It will be created using the following equation.
これに対して、参照画像作成部１３５による参照画像Ｕの作成処理は、次のようなプロセスによって行われる。すなわち、参照画像作成部１３５は、まず、初期設定として、第１番目の原画像Ｐ（１）をそのまま第１番目の参照画像Ｕ（１）として、参照画像格納部１４５に格納する処理を行う。続いて、第２番目以降の原画像が入力されると、直前の参照画像に基づいて、次のような方法で新たな参照画像を作成する処理を行う。すなわち、第ｉ番目（ｉ≧２）の原画像Ｐ（ｉ）が入力され、この原画像Ｐ（ｉ）を構成する個々の画素について、前背判定部４５０において前景画素か背景画素かの判定が行われたら、参照画像作成部１３５は、参照画像格納部１４５に格納されている第（ｉ−１）番目の参照画像Ｕ（ｉ−１）を構成する個々の画素のうち、前背判定部４５０によって第ｉ番目の原画像Ｐ（ｉ）の対応画素が前景画素と判定された画素については、更新せずに、もとの画素値ｕ（ｉ−１）をそのまま維持し、前背判定部４５０によって第ｉ番目の原画像Ｐ（ｉ）の対応画素が背景画素と判定された画素については、当該画素と第（ｉ−１）番目の平均画像Ａ（ｉ−１）の対応する位置にある画素とについて、三原色の各画素値の重みつき平均値をそれぞれ求め、得られた各平均値を新画素値として更新することにより、第ｉ番目（ｉ≧２）の参照画像Ｕ（ｉ）を作成する処理を行う。
On the other hand, the reference image U creating process by the reference
図１０の中段には、参照画像作成部１３５で実行される演算内容が示されている。すなわち、参照画像作成部１３５は、最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の参照画像Ｕ（１）として参照画像格納部へ格納する処理を行い（図１０中段の最下行）、以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の参照画像Ｕ（ｉ）の各画素値を、次のような方法で決定する処理を行う。
The middle part of FIG. 10 shows the calculation contents executed by the reference
この決定処理では、前背判定部４５０による判定結果が利用される。すなわち、前背判定部４５０によって背景画素と判定された画素（判定結果Ｊ＝１が得られた画素）については、
ｕ（ｉ）＝（１−ｖ）・ｕ（ｉ−１）＋ｖ・ａ（ｉ−１） 式（１Ｂ）
（但し、ｕ（ｉ）は、平均画像Ｕ（ｉ）の
所定位置の画素の所定色の画素値、
ｕ（ｉ−１）は、平均画像Ｕ（ｉ−１）の
前記所定位置の画素の前記所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
前記所定位置の画素の前記所定色の画素値、
ｖは、所定の重みを示すパラメータ（ｖ＜１））
なる演算式を用いて求められた画素値ｕ（ｉ）に更新し、
前景画素と判定された画素（判定結果Ｊ＝０が得られた画素）については、
ｕ（ｉ）＝ｕ（ｉ−１） 式（１Ｃ）
として、更新せずに、もとの画素値をそのまま維持する。
In this determination process, the determination result by the
u (i) = (1-v) .u (i-1) + v.a (i-1) Formula (1B)
(However, u (i) is the average image U (i)
A pixel value of a predetermined color of a pixel at a predetermined position,
u (i-1) is the average image U (i-1)
A pixel value of the predetermined color of the pixel at the predetermined position;
a (i-1) is the average image A (i-1)
A pixel value of the predetermined color of the pixel at the predetermined position;
v is a parameter indicating a predetermined weight (v <1))
Updated to the pixel value u (i) obtained using the following equation:
For pixels determined to be foreground pixels (pixels for which the determination result J = 0 is obtained)
u (i) = u (i-1) Formula (1C)
The original pixel value is maintained as it is without updating.
図１０の下段には、前背判定部４５０で実行される判定処理の概念が表として示されている。前述したとおり、前背判定部４５０における判定処理は、第１判定部４２０で行われる画素値ｐ（ｉ）とａ（ｉ−１）との類否判定処理（表の横欄）と、第２判定部４３０で行われる画素値ｐ（ｉ）とｕ（ｉ−１）との類否判定処理（表の縦欄）と、これらの判定結果に基づいて総合判定部４４０で行われる総合判定処理と、によって構成される。図１０下段の表の横欄は、第１判定部４２０による判定結果の別（類似○／非類似×）を示し、縦欄は、第２判定部４３０による判定結果の別（類似○／非類似×）を示している。総合判定部４４０は、少なくとも一方が「類似○」を示す場合には背景画素（Ｊ＝１）、双方とも「非類似×」を示す場合には前景画素（Ｊ＝０）との判定を行うことになる。参照画像作成部１３５は、この判定結果Ｊを利用して、図１０の中段に示す処理を実行する。
In the lower part of FIG. 10, the concept of determination processing executed by the
なお、実用上、この図９に示す移動物体検出装置も、コンピュータに専用のプログラムを組み込むことにより構築することができ、図９に各ブロックで示す構成要素は、コンピュータのハードウエアとソフトウエアとの組み合わせによって実現することができる。もちろん、この移動物体検出装置を半導体集積回路として構成することも可能である。 In practice, the moving object detection device shown in FIG. 9 can also be constructed by incorporating a dedicated program into the computer. The components shown in the blocks in FIG. 9 are the hardware and software of the computer. It can be realized by a combination of Of course, this moving object detection device can also be configured as a semiconductor integrated circuit.
＜＜＜ §５．画像変遷の実例 ＞＞＞
図１１および図１２は、図９に示す移動物体検出装置における各画像の変遷の一例を示す図である。前述したとおり、本発明を監視システムなどに利用する場合、実際には、原画像Ｐは１秒間に３０フレーム程度の周期で入力されることになるが、ここでは、便宜上、平均画像Ａと参照画像Ｕとの変遷態様の相違を説明するのに都合が良い非現実的なモデルを用いた変遷例を示すことにする。図１１および図１２に股がって示されている縦方向軸は、時間軸に対応しており、ｔ１〜ｔ１５は時間軸上の各時点を示す。また、横方向に並べた３つの画像は、それぞれ各時点における原画像Ｐ，平均画像Ａ，参照画像Ｕを示している。
<<< §5. Examples of image transition >>>
11 and 12 are diagrams illustrating an example of transition of each image in the moving object detection device illustrated in FIG. 9. As described above, when the present invention is used for a monitoring system or the like, the original image P is actually input at a cycle of about 30 frames per second. Here, for convenience, the average image A is referred to. An example of transition using an unrealistic model that is convenient for explaining the difference in transition mode from the image U will be shown. 11 and 12 correspond to the time axis, and t1 to t15 indicate each time point on the time axis. The three images arranged in the horizontal direction indicate the original image P, the average image A, and the reference image U at each time point, respectively.
＜第１の時点ｔ１＞
まず、第１の時点ｔ１において、図示のような原画像Ｐ（１）が与えられたものとしよう。ここでは、便宜上、原画像Ｐ（１）を真っ白な画像として示しているが、この真っ白な画像は、街頭に設置された監視カメラから見た背景を示す画像であるものとする。
<First time point t1>
First, assume that an original image P (1) as shown in the figure is given at a first time point t1. Here, for the sake of convenience, the original image P (1) is shown as a pure white image, but this pure white image is an image showing the background viewed from a surveillance camera installed on the street.
このような第１番目の原画像Ｐ（１）が与えられると、平均画像作成部１３０は、当該原画像Ｐ（１）をそのまま第１番目の平均画像Ａ（１）として平均画像格納部１４０に格納する。同様に、参照画像作成部１３５は、当該原画像Ｐ（１）をそのまま第１番目の参照画像Ｕ（１）として参照画像格納部１４５に格納する。したがって、図１１の最上段に示すとおり、第１の時点ｔ１では、図示のような画像Ｐ（１），Ａ（１），Ｕ（１）が得られることになる。
When such a first original image P (1) is given, the average
なお、原画像Ｐ（１），平均画像Ａ（１），参照画像Ｕ（１）内に示された小さな正方形は、それぞれ同一位置（ｘ，ｙ）の画素ｐ（１），ａ（１），ｕ（１）を示している。以下、個々の画像について、この特定位置（ｘ，ｙ）に配置された特定の画素を代表画素として、この代表画素についてのみ、その画素値の変遷を追ってゆくことにする。ここで、各画素ｐ（１），ａ（１），ｕ（１）の画素値も画素と同じ符号で示すことにすれば、時点ｔ１では、当然ながら、ｐ（１）＝ａ（１）＝ｕ（１）である。 The small squares shown in the original image P (1), average image A (1), and reference image U (1) are pixels p (1) and a (1) at the same position (x, y), respectively. , U (1). Hereinafter, for each image, a specific pixel arranged at the specific position (x, y) is used as a representative pixel, and the transition of the pixel value is followed only for this representative pixel. Here, if the pixel values of the pixels p (1), a (1), and u (1) are also denoted by the same reference numerals as the pixels, of course, at the time t1, p (1) = a (1) = U (1).
＜第２の時点ｔ２＞
続いて、第２の時点ｔ２において、図示のような原画像Ｐ（２）が与えられたものとしよう。ここで、原画像Ｐ（２）は原画像Ｐ（１）と全く同じ画像であり、監視カメラから見た背景に何ら変わりがなかった例を示している。したがって、画素値ｐ（２）＝ｐ（１）である。次に、特定位置（ｘ，ｙ）に配置された画素についての前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（２）と、１つ前の時点の画素ａ（１）との類否判定が行われ、第２判定部４３０では、画素ｐ（２）と、１つ前の時点の画素ｕ（１）との類否判定が行われる。図に実線で示す矢印は、この類否判定の相手先を示しており、矢印上の記号「○／×」は判定結果（○は類似／×は非類似）を示している。図示のとおり、ｐ（２）＝ａ（１）であり、ｐ（２）＝ｕ（１）であるから、いずれも類似「○」との判定結果が得られ、前背判定部４５０は、Ｊ＝１なる判定結果を出す。これは、画素ｐ（２）が背景画素と判定されたことを意味する。
<Second time point t2>
Subsequently, it is assumed that an original image P (2) as illustrated is given at the second time point t2. Here, the original image P (2) is the same image as the original image P (1), and shows an example in which the background viewed from the surveillance camera is not changed at all. Therefore, the pixel value p (2) = p (1). Next, considering the determination processing by the
さて、平均画像作成部１３０は、このような判定結果に依存することなしに、常に、図１０に示す式（１Ａ）に従って、平均画像Ａの画素値ａを更新する処理を行う。すなわち、時点ｔ２における平均画像Ａ（２）の特定位置（ｘ，ｙ）に配置されたの画素の画素値ａ（２）は、式（１Ａ）に従って、ａ（２）＝（１−ｗ）・ａ（１）＋ｗ・ｐ（２）なる演算によって求められ、画素値ａ（１）はａ（２）に更新される。図の画素ａ（１）から画素ａ（２）に向かう破線および画素ｐ（２）から画素ａ（２）に向かう破線は、式（１Ａ）に従って、画素値ａ（１）および画素値ｐ（２）に基づいて画素値ａ（２）が決定されることを示している。もっとも、実際には、ａ（１）＝ｐ（２）であるから、ａ（２）＝ａ（１）となり、画素値自身に変動は生じない。
Now, the average
これに対して、参照画像作成部１３５は、図１０に示すとおり、判定結果Ｊに依存して異なる処理を行うことになる。ここに示す例の場合、時点ｔ２についての判定結果は、上述したとおり、Ｊ＝１になるので、参照画像作成部１３５は、図１０に示す式（１Ｂ）に従って、参照画像Ｕの画素値ｕを更新する処理を行う。すなわち、時点ｔ２における参照画像Ｕ（２）の特定位置（ｘ，ｙ）に配置されたの画素の画素値ｕ（２）は、式（１Ｂ）に従って、ｕ（２）＝（１−ｖ）・ｕ（１）＋ｖ・ａ（１）なる演算によって求められ、画素値ｕ（１）はｕ（２）に更新される。図の画素ｕ（１）から画素ｕ（２）に向かう破線および画素ａ（１）から画素ｕ（２）に向かう破線は、式（１Ｂ）に従って、画素値ａ（１）および画素値ｕ（１）に基づいて画素値ｕ（２）が決定されることを示している。もっとも、実際には、ａ（１）＝ｕ（１）であるから、ｕ（２）＝ｕ（１）となり、画素値自身に変動は生じない。
On the other hand, the reference
＜第３の時点ｔ３＞
続いて、第３の時点ｔ３において、図示のような原画像Ｐ（３）が与えられたものとしよう。ここで、原画像Ｐ（３）は、視界に車両Ｖが侵入してきたため、背景上に車両Ｖ（移動物体）が重なった状態の画像になっている。したがって、画素値ｐ（３）≠ｐ（２）である。図では、画素ｐ（３）を含む車両Ｖの部分を二重斜線ハッチング領域として示してある。
<Third time point t3>
Subsequently, it is assumed that an original image P (3) as illustrated is given at a third time point t3. Here, since the vehicle V has entered the field of view, the original image P (3) is an image in a state where the vehicle V (moving object) overlaps the background. Therefore, the pixel value p (3) ≠ p (2). In the figure, the portion of the vehicle V including the pixel p (3) is shown as a double hatched hatching region.
この時点ｔ３における特定位置（ｘ，ｙ）に配置された画素についての前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（３）と、１つ前の時点の画素ａ（２）との類否判定が行われ、第２判定部４３０では、画素ｐ（３）と、１つ前の時点の画素ｕ（２）との類否判定が行われる。ここでは、説明の便宜上、車両Ｖの部分（図の二重斜線ハッチング部分）の色が背景部分（図の白地部分）と大きく異なっているものとしよう。そうすると、ｐ（３）≠ａ（２）であり、ｐ（３）≠ｕ（２）であるから、いずれも非類似「×」との判定結果が得られ、前背判定部４５０は、Ｊ＝０なる判定結果を出す。これは、画素ｐ（３）が前景画素と判定されたことを意味する。したがって、第３のマスク画像Ｍ３において、特定位置（ｘ，ｙ）の画素は前景領域（移動物体の領域）に含まれる。
Considering the determination processing by the
さて、平均画像作成部１３０は、このような判定結果に依存することなしに、常に、図１０に示す式（１Ａ）に従って、平均画像Ａの画素値ａを更新する処理を行う。すなわち、時点ｔ３における平均画像Ａ（３）の特定位置（ｘ，ｙ）に配置されたの画素の画素値ａ（３）は、式（１Ａ）に従って、ａ（３）＝（１−ｗ）・ａ（２）＋ｗ・ｐ（３）なる演算によって求められ、画素値ａ（２）はａ（３）に更新される。ここで、画素値ａ（３）は、画素値ｐ（３）の影響を受けるため、画素値ａ（２）から変動することになる。図では、このようにして画素値が変動した画素ａ（３）に中濃ハッチングを施して示すことにする。
Now, the average
一方、参照画像作成部１３５は、図１０に示すとおり、判定結果Ｊ＝０の場合は、値を更新しない。したがって、１つ前の時点の画素値ｕ（２）をそのまま画素値ｕ（３）として維持することになる。図の画素ｕ（２）から画素ｕ（３）に向かう破線は、更新が行われずに、元の画素値がそのまま維持されることを示している。
On the other hand, as shown in FIG. 10, the reference
＜第４の時点ｔ４＞
続いて、第４の時点ｔ４において、図示のような原画像Ｐ（４）が与えられたものとしよう。この原画像Ｐ（４）では、車両Ｖが視界から消え、元の原画像Ｐ（１），Ｐ（２）と同じ状態に戻っている。したがって、画素値ｐ（４）≠ｐ（３）である。
<Fourth time point t4>
Subsequently, it is assumed that an original image P (4) as illustrated is given at the fourth time point t4. In this original image P (4), the vehicle V disappears from the field of view and returns to the same state as the original images P (1) and P (2). Therefore, the pixel value p (4) ≠ p (3).
この時点ｔ４における前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（４）と、１つ前の時点の画素ａ（３）との類否判定が行われ、第２判定部４３０では、画素ｐ（４）と、１つ前の時点の画素ｕ（３）との類否判定が行われる。ここでは、説明の便宜上、図の中濃ハッチング部分で示す色が、白地部分で示す色の類似範囲内にギリギリ入っていたものとしよう。実際、重みｗの値を０．０１程度に設定すると、車両Ｖが視界を通り過ぎた程度では、平均画像Ａの画素値変動はそれほど大きくなく、画素値ｐ（４）とａ（３）とが類似範囲に入るケースは現実的である。また、画素値ｕ（３）は更新されずに画素値ｕ（２）を維持しているので、当然、画素値ｐ（４）＝ｕ（３）である。よって、いずれの判定においても類似「○」との判定結果が得られ、前背判定部４５０は、Ｊ＝１なる判定結果を出す。これは、画素ｐ（４）が背景画素と判定されたことを意味する。
Considering the determination process by the
平均画像作成部１３０は、このような判定結果に依存することなしに、式（１Ａ）に従って、ａ（４）＝（１−ｗ）・ａ（３）＋ｗ・ｐ（４）なる演算によって求められ、画素値ａ（３）はａ（４）に更新される。ここで、画素値ａ（４）は、画素値ｐ（４）の影響を受けるため、画素値ａ（３）から変動する。図では、このようにして画素値が変動した画素ａ（４）を白地の画素として示してある。
The average
これに対して、参照画像作成部１３５は、判定結果がＪ＝１になるので、式（１Ｂ）に従って、ｕ（４）＝（１−ｖ）・ｕ（３）＋ｖ・ａ（３）なる演算によって求められ、画素値ｕ（３）はｕ（４）に更新される。図では、このようにして画素値が変動した画素ｕ（４）に薄いハッチングを施して示すことにする。
On the other hand, since the determination result is J = 1, the reference
＜第５の時点ｔ５＞
続いて、第５の時点ｔ５において、図示のような原画像Ｐ（５）が与えられたものとしよう。この原画像Ｐ（５）では、再び視界に車両Ｖが侵入してきたため、背景上に車両Ｖ（移動物体）が重なった状態の画像になっている。したがって、画素値ｐ（５）≠ｐ（４）である。図では、画素ｐ（５）を含む車両Ｖの部分を二重斜線ハッチング領域として示してある。
<5th time t5>
Subsequently, it is assumed that an original image P (5) as illustrated is given at a fifth time point t5. In the original image P (5), since the vehicle V has entered the field of view again, the image is a state in which the vehicle V (moving object) is superimposed on the background. Therefore, the pixel value p (5) ≠ p (4). In the figure, the portion of the vehicle V including the pixel p (5) is shown as a double hatched hatching region.
この時点ｔ５における前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（５）と、１つ前の時点の画素ａ（４）との類否判定が行われ、第２判定部４３０では、画素ｐ（５）と、１つ前の時点の画素ｕ（４）との類否判定が行われる。図示の例では、いずれも非類似「×」との判定結果が得られ、前背判定部４５０は、Ｊ＝０なる判定結果を出している。これは、画素ｐ（５）が前景画素と判定されたことを意味する。したがって、第５のマスク画像Ｍ５において、特定位置（ｘ，ｙ）の画素は前景領域（移動物体の領域）に含まれる。
Considering the determination processing by the
平均画像作成部１３０は、このような判定結果に依存することなしに、式（１Ａ）に従って、ａ（５）＝（１−ｗ）・ａ（４）＋ｗ・ｐ（５）なる演算を行い、画素値ａ（４）はａ（５）に更新される。図では、このようにして画素値が変動した画素ａ（５）に中濃ハッチングを施して示してある。一方、参照画像作成部１３５は、判定結果Ｊ＝０を受けて、値を更新しない。したがって、１つ前の時点の画素値ｕ（４）をそのまま画素値ｕ（５）として維持することになる。
The average
＜第６の時点ｔ６＞
続いて、第６の時点ｔ６において、図示のような原画像Ｐ（６）が与えられたものとしよう。ここでは、時点ｔ５で侵入してきた車両Ｖが、そのままの位置で駐車してしまった場合を考えてみよう。この場合、原画像Ｐ（６）は原画像Ｐ（５）と全く同じになる。
<Sixth time point t6>
Subsequently, it is assumed that an original image P (6) as illustrated is given at a sixth time point t6. Here, let us consider a case where the vehicle V that has entered at time t5 is parked at the same position. In this case, the original image P (6) is exactly the same as the original image P (5).
この時点ｔ６における前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（６）と、１つ前の時点の画素ａ（５）との類否判定が行われ、第２判定部４３０では、画素ｐ（６）と、１つ前の時点の画素ｕ（５）との類否判定が行われる。図示の例では、いずれも非類似「×」との判定結果が得られ、前背判定部４５０は、Ｊ＝０なる判定結果を出している。これは、画素ｐ（６）が前景画素と判定されたことを意味する。したがって、第６のマスク画像Ｍ６において、特定位置（ｘ，ｙ）の画素は前景領域（移動物体の領域）に含まれる。
Considering the determination processing by the
一般に、重みｗ，ｖを小さく設定しておけば、原画像Ｐに対する平均画像Ａや参照画像Ｕの追随速度は小さくなるので、車両Ｖが駐車していた場合でも、当該車両Ｖが背景に溶け込み、背景の一部として認識されるまでには時間がかかることになる。したがって、図示の例では、車両Ｖは時点ｔ６ではまだ移動物体として認識されることになる。 In general, if the weights w and v are set to be small, the follow-up speed of the average image A and the reference image U with respect to the original image P becomes small. Therefore, even when the vehicle V is parked, the vehicle V blends into the background. It takes time to be recognized as part of the background. Therefore, in the illustrated example, the vehicle V is still recognized as a moving object at time t6.
平均画像作成部１３０は、このような判定結果に依存することなしに、式（１Ａ）に従って、ａ（６）＝（１−ｗ）・ａ（５）＋ｗ・ｐ（６）なる演算を行い、画素値ａ（５）はａ（６）に更新される。図では、このようにして画素値が変動した画素ａ（５）に斜線ハッチングを施して示してある。一方、参照画像作成部１３５は、判定結果Ｊ＝０を受けて、値を更新しない。したがって、１つ前の時点の画素値ｕ（５）をそのまま画素値ｕ（６）として維持することになる。結果的に、時刻ｔ４の画素値ｕ（４）が時刻ｔ６においても画素値ｕ（６）として維持されることになる。
The average
＜第７の時点ｔ７＞
続いて、第７の時点ｔ７において、図示のような原画像Ｐ（７）が与えられたものとしよう。この例では、時点ｔ５で侵入してきた車両Ｖが駐車状態にあり、原画像Ｐ（７）は原画像Ｐ（６）と全く同じ状態である。
<Seventh time point t7>
Subsequently, it is assumed that an original image P (7) as illustrated is given at a seventh time point t7. In this example, the vehicle V that has entered at time t5 is in a parked state, and the original image P (7) is exactly the same as the original image P (6).
この時点ｔ７における前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（７）と、１つ前の時点の画素ａ（６）との類否判定が行われ、第２判定部４３０では、画素ｐ（７）と、１つ前の時点の画素ｕ（６）との類否判定が行われる。ここでは、第１判定部４２０では類似「○」との判定結果が得られ、第２判定部４３０では非類似「×」との判定結果が得られたものとしよう。平均画像Ａは新たな原画像Ｐにより常に更新されるのに対して、参照画像Ｕは条件付き更新が行われるので、原画像Ｐの変化に対する追随速度は両者で異なる。このため、２つの判定部による判定結果に差が生じることになる。
Considering the determination process by the
図示の例では、画素ａ（６）の色は画素ｐ（７）の色にかなり近くなってきているため類似「○」との判定結果が得られたが、画素ｕ（６）の色は、まだ画素ｐ（７）の色に対して差があるため非類似「×」との判定結果が得られている。図１０の前背判定部４５０の判定表に示すとおり、一方が類似「○」、他方が非類似「×」との判定結果が得られた場合、前背判定部４５０は、当該画素を背景画素と判定し、Ｊ＝１なる判定結果を出力する。したがって、第７のマスク画像Ｍ７において、特定位置（ｘ，ｙ）の画素は背景領域に含まれる。すなわち、時点ｔ７において、駐車中の車両Ｖは背景に溶け込んだものと認識されることになる。
In the illustrated example, since the color of the pixel a (6) is much closer to the color of the pixel p (7), a similar determination result “◯” is obtained, but the color of the pixel u (6) is Since there is still a difference with respect to the color of the pixel p (7), a determination result of dissimilarity “x” is obtained. As shown in the determination table of the
平均画像作成部１３０は、このような判定結果に依存することなしに、式（１Ａ）に従って、ａ（７）＝（１−ｗ）・ａ（６）＋ｗ・ｐ（７）なる演算を行い、画素値ａ（６）はａ（７）に更新される。図では、このようにして画素値が変動した画素ａ（６）に斜線ハッチングを施して示してある（実際には、画素値ａ（６）とａ（７）とは若干異なるが、図では便宜上、同一ハッチングを施して示す）。一方、参照画像作成部１３５は、判定結果がＪ＝１になるので、式（１Ｂ）に従って、ｕ（７）＝（１−ｖ）・ｕ（６）＋ｖ・ａ（６）なる演算を行い、画素値ｕ（６）をｕ（７）に更新する。図では、このようにして画素値が変動した画素ｕ（７）に中濃ハッチングを施して示してある。
The average
＜第８の時点ｔ８＞
続いて、第８の時点ｔ８において、図示のような原画像Ｐ（８）が与えられたものとしよう。この例では、時点ｔ５で侵入してきた車両Ｖが駐車状態にあり、原画像Ｐ（８）は原画像Ｐ（７）と全く同じ状態である。
<Eighth time point t8>
Subsequently, it is assumed that an original image P (8) as illustrated is given at an eighth time point t8. In this example, the vehicle V that has entered at time t5 is in a parked state, and the original image P (8) is exactly the same as the original image P (7).
この時点ｔ８における前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（８）と、１つ前の時点の画素ａ（７）との類否判定が行われ、第２判定部４３０では、画素ｐ（８）と、１つ前の時点の画素ｕ（７）との類否判定が行われる。ここでは、第１判定部４２０では類似「○」との判定結果が得られ、第２判定部４３０では非類似「×」との判定結果が得られたものとしよう。
Considering the determination process by the
図示の例では、画素ａ（７）の色は画素ｐ（８）の色にかなり近くなってきているため類似「○」との判定結果が得られたが、画素ｕ（７）の色は、まだ画素ｐ（８）の色に対して差があるため非類似「×」との判定結果が得られている。その結果、前背判定部４５０は、当該画素を背景画素と判定し、Ｊ＝１なる判定結果を出力する。したがって、第８のマスク画像Ｍ８において、特定位置（ｘ，ｙ）の画素は背景領域に含まれる。
In the illustrated example, since the color of the pixel a (7) is much closer to the color of the pixel p (8), a similar determination result “◯” is obtained, but the color of the pixel u (7) is Since there is still a difference with respect to the color of the pixel p (8), a determination result of dissimilarity “x” is obtained. As a result, the
平均画像作成部１３０は、このような判定結果に依存することなしに、式（１Ａ）に従って、ａ（８）＝（１−ｗ）・ａ（７）＋ｗ・ｐ（８）なる演算を行い、画素値ａ（７）はａ（８）に更新される。図では、このようにして画素値が変動した画素ａ（８）に斜線ハッチングを施して示してある（実際には、画素値ａ（７）とａ（８）とは若干異なるが、図では便宜上、同一ハッチングを施して示す）。一方、参照画像作成部１３５は、判定結果がＪ＝１になるので、式（１Ｂ）に従って、ｕ（８）＝（１−ｖ）・ｕ（７）＋ｖ・ａ（７）なる演算を行い、画素値ｕ（７）をｕ（８）に更新する。図では、このようにして画素値が変動した画素ｕ（８）に斜線ハッチングを施して示してある。
The average
＜第９の時点ｔ９＞
続いて、図１２に示す第９の時点ｔ９について説明する（図１２の最上段に示す第８の時点ｔ８の各画像は、図１１の最下段に示す第８の時点ｔ８の各画像と同じものである）。ここでは、第９の時点ｔ９において、図示のような原画像Ｐ（９）が与えられたものとしよう。この例では、時点ｔ５で侵入してきた車両Ｖが依然として駐車状態にあり、原画像Ｐ（９）は原画像Ｐ（８）と全く同じ状態である。
<9th time point t9>
Next, the ninth time point t9 shown in FIG. 12 will be described (the images at the eighth time point t8 shown in the uppermost part of FIG. 12 are the same as the images at the eighth time point t8 shown in the lowermost part of FIG. 11). ). Here, it is assumed that the original image P (9) as illustrated is given at the ninth time point t9. In this example, the vehicle V that has entered at time t5 is still parked, and the original image P (9) is exactly the same as the original image P (8).
この時点ｔ９における前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（９）と、１つ前の時点の画素ａ（８）との類否判定が行われ、第２判定部４３０では、画素ｐ（９）と、１つ前の時点の画素ｕ（８）との類否判定が行われる。ここでは、いずれの判定結果も類似「○」との判定結果が得られたものとしよう。すなわち、車両Ｖが長時間駐車していたため、平均画像Ａにおいても参照画像Ｕにおいても、この車両Ｖの領域が背景に溶け込んだ状態になり、画素ｐ（９）は、いずれの判定部においても背景画素と判定されるに至ったことになる。したがって、第９のマスク画像Ｍ９において、特定位置（ｘ，ｙ）の画素は背景領域に含まれる。
Considering the determination processing by the
平均画像作成部１３０は、このような判定結果に依存することなしに、式（１Ａ）に従って、ａ（９）＝（１−ｗ）・ａ（８）＋ｗ・ｐ（９）なる演算を行い、画素値ａ（８）はａ（９）に更新される。図では、このようにして画素値が変動した画素ａ（９）に斜線ハッチングを施して示してある（実際には、画素値ａ（８）とａ（９）とは若干異なるが、図では便宜上、同一ハッチングを施して示す）。一方、参照画像作成部１３５は、判定結果がＪ＝１になるので、式（１Ｂ）に従って、ｕ（９）＝（１−ｖ）・ｕ（８）＋ｖ・ａ（８）なる演算を行い、画素値ｕ（８）をｕ（９）に更新する。図では、このようにして画素値が変動した画素ｕ（９）に斜線ハッチングを施して示してある（実際には、画素値ｕ（８）とｕ（９）とは若干異なるが、図では便宜上、同一ハッチングを施して示す）。
The average
＜第１０の時点ｔ１０＞
続いて、第１０の時点ｔ１０において、図示のような原画像Ｐ（１０）が与えられたものとしよう。この原画像Ｐ（１０）では、これまで駐車していた車両Ｖが視界から消え、第１番目の原画像Ｐ（１）と同じ状態に戻っている。したがって、画素値ｐ（１０）≠ｐ（９）である。
<Tenth time point t10>
Subsequently, it is assumed that an original image P (10) as illustrated is given at a tenth time point t10. In the original image P (10), the vehicle V that has been parked so far disappears from the field of view and returns to the same state as the first original image P (1). Therefore, the pixel value p (10) ≠ p (9).
この時点ｔ１０における前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（１０）と、１つ前の時点の画素ａ（９）との類否判定が行われ、第２判定部４３０では、画素ｐ（１０）と、１つ前の時点の画素ｕ（９）との類否判定が行われる。画素ａ（９）および画素ｕ（９）の色は、いずれも車両Ｖの色にかなり近づいていたため、図示の例では、いずれも非類似「×」との判定結果が得られ、前背判定部４５０は、Ｊ＝０なる判定結果を出している。これは、画素ｐ（１０）が前景画素と判定されたことを意味する。したがって、第１０のマスク画像Ｍ１０において、特定位置（ｘ，ｙ）の画素は前景領域（移動物体の領域）に含まれる。
Considering the determination processing by the
結局、この例の場合、第１０の原画像Ｐ（１０）上には車両Ｖは存在していないが、第１０のマスク画像Ｍ１０上では、車両Ｖがかつて存在していた領域が前景領域Ｆとして検出されることになる。もちろん、現実的な監視カメラの撮影画像の場合は、時点ｔ９から時点ｔ１０に至るときに車両Ｖが忽然と消えることはなく、車両Ｖは画面上を徐々に移動して去ってゆくことになるので、実際には、徐々に移動中の車両Ｖの占有領域がマスク画像Ｍ上に前景領域Ｆとして現れることになる。 After all, in this example, the vehicle V does not exist on the tenth original image P (10), but on the tenth mask image M10, the region where the vehicle V once existed is the foreground region F. Will be detected. Of course, in the case of an image captured by a realistic surveillance camera, the vehicle V does not disappear suddenly from the time t9 to the time t10, and the vehicle V gradually moves on the screen and leaves. Actually, the occupied area of the moving vehicle V gradually appears as a foreground area F on the mask image M.
平均画像作成部１３０は、このような判定結果に依存することなしに、式（１Ａ）に従って、ａ（１０）＝（１−ｗ）・ａ（９）＋ｗ・ｐ（１０）なる演算を行い、画素値ａ（９）はａ（１０）に更新される。図では、このようにして画素値が変動した画素ａ（１０）に中濃ハッチングを施して示してある。一方、参照画像作成部１３５は、判定結果Ｊ＝０を受けて、値を更新しない。したがって、１つ前の時点の画素値ｕ（９）をそのまま画素値ｕ（１０）として維持することになる。
The average
＜第１１の時点ｔ１１＞
続いて、第１１の時点ｔ１１において、図示のような原画像Ｐ（１１）が与えられたものとしよう。この例では、原画像Ｐ（１１）は、視界に車両Ｖが再び侵入してきたため、背景上に車両Ｖ（移動物体）が重なった状態の画像になっている。したがって、画素値ｐ（１１）≠ｐ（１０）である。
<Eleventh time point t11>
Subsequently, it is assumed that an original image P (11) as illustrated is given at an eleventh time point t11. In this example, the original image P (11) is an image in a state where the vehicle V (moving object) overlaps the background because the vehicle V has entered the field of view again. Therefore, the pixel value p (11) ≠ p (10).
この時点ｔ１１における特定位置（ｘ，ｙ）に配置された画素についての前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（１１）と、１つ前の時点の画素ａ（１０）との類否判定が行われ、第２判定部４３０では、画素ｐ（１１）と、１つ前の時点の画素ｕ（１０）との類否判定が行われる。ここでは、第１判定部４２０では非類似「×」との判定結果が得られ、第２判定部４３０では類似「○」との判定結果が得られたものとしよう。
Considering the determination processing by the
図示の例では、画素ａ（１０）の色は画素ｐ（１０）の影響を受けて背景の色に近づいていたため、車両の一部を構成する画素ｐ（１１）に対しては非類似「×」との判定結果が得られたが、画素ｕ（１０）は更新されなかったため、画素ｐ（１１）に対して類似「○」との判定結果が得られたことになる。図１０の前背判定部４５０の判定表に示すとおり、一方が類似「○」、他方が非類似「×」との判定結果が得られた場合、前背判定部４５０は、当該画素を背景画素と判定し、Ｊ＝１なる判定結果を出力する。したがって、第１１のマスク画像Ｍ１１において、特定位置（ｘ，ｙ）の画素は背景領域に含まれる。すなわち、ここに示す非現実的なモデルの場合、時点ｔ１１に出現した車両Ｖは、マスク画像Ｍ１１上では移動物体として検出されない。ただ、後述するように、マスク画像Ｍ１２上で検出されることになる。
In the example shown in the figure, the color of the pixel a (10) is close to the background color due to the influence of the pixel p (10), and thus the pixel p (11) constituting a part of the vehicle is not similar. A determination result of “×” was obtained, but the pixel u (10) was not updated, and thus a determination result of similarity “◯” was obtained for the pixel p (11). As shown in the determination table of the
平均画像作成部１３０は、このような判定結果に依存することなしに、式（１Ａ）に従って、ａ（１１）＝（１−ｗ）・ａ（１０）＋ｗ・ｐ（１１）なる演算を行い、画素値ａ（１０）はａ（１１）に更新される。図では、このようにして画素値が変動した画素ａ（１１）に斜線ハッチングを施して示してある。一方、参照画像作成部１３５は、判定結果がＪ＝１になるので、式（１Ｂ）に従って、ｕ（１１）＝（１−ｖ）・ｕ（１０）＋ｖ・ａ（１０）なる演算を行い、画素値ｕ（１０）をｕ（１１）に更新する。図では、このようにして画素値が変動した画素ｕ（１１）に斜線ハッチングを施して示してある（実際には、画素値ｕ（１０）とｕ（１１）とは若干異なるが、図では便宜上、同一ハッチングを施して示す）。
The average
＜第１２の時点ｔ１２＞
続いて、第１２の時点ｔ１２について説明する。ここでは、第１２の時点ｔ１２において、図示のような原画像Ｐ（１２）が与えられたものとしよう。この例では、車両Ｖが視界から消え、第１番目の原画像Ｐ（１）と同じ状態に戻っている。したがって、画素値ｐ（１２）≠ｐ（１１）である。
<Twelfth time point t12>
Subsequently, the twelfth time point t12 will be described. Here, it is assumed that the original image P (12) as illustrated is given at the twelfth time point t12. In this example, the vehicle V disappears from the field of view and returns to the same state as the first original image P (1). Therefore, the pixel value p (12) ≠ p (11).
この時点ｔ１２における前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（１２）と、１つ前の時点の画素ａ（１１）との類否判定が行われ、第２判定部４３０では、画素ｐ（１２）と、１つ前の時点の画素ｕ（１１）との類否判定が行われる。画素ａ（１１）および画素ｕ（１１）の色は、いずれも車両Ｖの色にかなり近いため、図示の例では、いずれも非類似「×」との判定結果が得られ、前背判定部４５０は、Ｊ＝０なる判定結果を出している。これは、画素ｐ（１２）が前景画素と判定されたことを意味する。したがって、第１２のマスク画像Ｍ１２において、特定位置（ｘ，ｙ）の画素は前景領域（移動物体の領域）に含まれる。
Considering the determination process by the
平均画像作成部１３０は、このような判定結果に依存することなしに、式（１Ａ）に従って、ａ（１２）＝（１−ｗ）・ａ（１１）＋ｗ・ｐ（１２）なる演算を行い、画素値ａ（１１）はａ（１２）に更新される。図では、このようにして画素値が変動した画素ａ（１２）に中濃ハッチングを施して示してある。一方、参照画像作成部１３５は、判定結果Ｊ＝０を受けて、値を更新しない。したがって、１つ前の時点の画素値ｕ（１１）をそのまま画素値ｕ（１２）として維持することになる。
The average
＜第１３の時点ｔ１３＞
続いて、第１３の時点ｔ１３において、図示のような原画像Ｐ（１３）が与えられたものとしよう。この例では、画像内に新たな車両の侵入はなく、原画像Ｐ（１３）は第１番目の原画像Ｐ（１）と全く同じ状態である。
<13th time point t13>
Subsequently, it is assumed that an original image P (13) as illustrated is given at a thirteenth time point t13. In this example, there is no new vehicle intrusion in the image, and the original image P (13) is exactly the same as the first original image P (1).
この時点ｔ１３における前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（１３）と、１つ前の時点の画素ａ（１２）との類否判定が行われ、第２判定部４３０では、画素ｐ（１３）と、１つ前の時点の画素ｕ（１２）との類否判定が行われる。ここでは、第１判定部４２０では類似「○」との判定結果が得られ、第２判定部４３０では非類似「×」との判定結果が得られたものとしよう。前背判定部４５０は、この判定結果に基づいて当該画素を背景画素と判定し、Ｊ＝１なる判定結果を出力する。したがって、第１３のマスク画像Ｍ１３において、特定位置（ｘ，ｙ）の画素は背景領域に含まれる。
Considering the determination processing by the
平均画像作成部１３０は、このような判定結果に依存することなしに、式（１Ａ）に従って、ａ（１３）＝（１−ｗ）・ａ（１２）＋ｗ・ｐ（１３）なる演算を行い、画素値ａ（１２）はａ（１３）に更新される。図では、このようにして画素値が変動した画素ａ（１３）に薄いハッチングを施して示してある。一方、参照画像作成部１３５は、判定結果がＪ＝１になるので、式（１Ｂ）に従って、ｕ（１３）＝（１−ｖ）・ｕ（１２）＋ｖ・ａ（１２）なる演算を行い、画素値ｕ（１２）をｕ（１３）に更新する。図では、このようにして画素値が変動した画素ｕ（１３）に中濃ハッチングを施して示してある。
The average
＜第１４の時点ｔ１４＞
続いて、第１４の時点ｔ１４について説明する。ここでは、第１４の時点ｔ１４において、図示のような原画像Ｐ（１４）が与えられたものとしよう。この例では、依然として画像内に車両の侵入はなく、原画像Ｐ（１４）は第１番目の原画像Ｐ（１）と全く同じ状態である。
<14th time point t14>
Subsequently, the fourteenth time point t14 will be described. Here, it is assumed that an original image P (14) as illustrated is given at the fourteenth time point t14. In this example, there is still no vehicle intrusion in the image, and the original image P (14) is exactly the same as the first original image P (1).
この時点ｔ１４における前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（１４）と、１つ前の時点の画素ａ（１３）との類否判定が行われ、第２判定部４３０では、画素ｐ（１４）と、１つ前の時点の画素ｕ（１３）との類否判定が行われる。ここでは、いずれも類似「○」との判定結果が得られたものとしよう。前背判定部４５０は、この判定結果に基づいて当該画素を背景画素と判定し、Ｊ＝１なる判定結果を出力する。したがって、第１４のマスク画像Ｍ１４において、特定位置（ｘ，ｙ）の画素は背景領域に含まれる。
Considering the determination processing by the
平均画像作成部１３０は、このような判定結果に依存することなしに、式（１Ａ）に従って、ａ（１４）＝（１−ｗ）・ａ（１３）＋ｗ・ｐ（１４）なる演算を行い、画素値ａ（１３）はａ（１４）に更新される。図では、このようにして画素値が変動した画素ａ（１４）を白地で示してある。一方、参照画像作成部１３５は、判定結果がＪ＝１になるので、式（１Ｂ）に従って、ｕ（１４）＝（１−ｖ）・ｕ（１３）＋ｖ・ａ（１３）なる演算を行い、画素値ｕ（１３）をｕ（１４）に更新する。図では、このようにして画素値が変動した画素ｕ（９）に薄いハッチングを施して示してある。
The average
＜第１５の時点ｔ１５＞
最後に、第１５の時点ｔ１５について説明する。ここでは、第１５の時点ｔ１５において、図示のような原画像Ｐ（１５）が与えられたものとしよう。この例では、依然として画像内に車両の侵入はなく、原画像Ｐ（１５）は第１番目の原画像Ｐ（１）と全く同じ状態である。
<15th time point t15>
Finally, the fifteenth time point t15 will be described. Here, it is assumed that an original image P (15) as illustrated is given at the fifteenth time point t15. In this example, there is still no vehicle intrusion in the image, and the original image P (15) is exactly the same as the first original image P (1).
この時点ｔ１５における前背判定部４５０による判定処理を考えると、第１判定部４２０では、画素ｐ（１５）と、１つ前の時点の画素ａ（１４）との類否判定が行われ、第２判定部４３０では、画素ｐ（１５）と、１つ前の時点の画素ｕ（１４）との類否判定が行われる。ここでは、いずれも類似「○」との判定結果が得られたものとしよう。前背判定部４５０は、この判定結果に基づいて当該画素を背景画素と判定し、Ｊ＝１なる判定結果を出力する。したがって、第１５のマスク画像Ｍ１５において、特定位置（ｘ，ｙ）の画素は背景領域に含まれる。
Considering the determination processing by the
平均画像作成部１３０は、このような判定結果に依存することなしに、式（１Ａ）に従って、ａ（１５）＝（１−ｗ）・ａ（１４）＋ｗ・ｐ（１５）なる演算を行い、画素値ａ（１４）はａ（１５）に更新される。一方、参照画像作成部１３５は、判定結果がＪ＝１になるので、式（１Ｂ）に従って、ｕ（１５）＝（１−ｖ）・ｕ（１４）＋ｖ・ａ（１４）なる演算を行い、画素値ｕ（１４）をｕ（１５）に更新する。
The average
＜＜＜ §６．平均画像と参照画像との双方を用いる利点 ＞＞＞
これまで、§３において、従来提案されている移動物体検出装置の構成（図８）を説明し、§４において、これを改良した本発明に係る移動物体検出装置の構成（図９）を説明した。いずれの装置を用いた場合も、新たに入力された原画像Ｐについて、背景領域Ｂと前景領域Ｆとを区別するマスク画像Ｍを得ることができ、前景領域Ｆは、移動物体が占めると推定される領域ということになる。
<<< §6. Advantages of using both average and reference images >>
Up to now, in §3, the configuration of a conventionally proposed moving object detection device (FIG. 8) will be described, and in §4, the configuration of the moving object detection device according to the present invention (FIG. 9) improved from this will be described. did. Regardless of which device is used, a mask image M for distinguishing the background region B and the foreground region F can be obtained for the newly input original image P, and it is estimated that the moving object occupies the foreground region F. It will be an area to be done.
ただ、図８に示す従来装置の場合、マスク画像Ｍは、画像比較部２００における第ｉ番目の原画像Ｐ（ｉ）と第（ｉ−１）番目の平均画像Ａ（ｉ−１）との比較結果に基づいて得られるのに対して、図９に示す本発明に係る装置の場合、マスク画像Ｍは、画像比較部４００における第ｉ番目の原画像Ｐ（ｉ）と第（ｉ−１）番目の平均画像Ａ（ｉ−１）との比較結果（第１判定部４２０の判定結果）と、第ｉ番目の原画像Ｐ（ｉ）と第（ｉ−１）番目の参照画像Ｕ（ｉ−１）との比較結果（第２判定部４３０の判定結果）と、の双方に基づいて得られることになる。別言すれば、図８に示す従来装置の場合、原画像Ｐと平均画像Ａとの比較により移動物体の検出を行っていたのに対し、図９に示す本発明に係る装置の場合、原画像Ｐを平均画像Ａと参照画像Ｕとの双方と比較することにより移動物体の検出を行うことになる。そこで、ここでは、平均画像Ａと参照画像Ｕとの双方を用いた移動物体検出の利点を説明する。
However, in the case of the conventional apparatus shown in FIG. 8, the mask image M is an image of the i-th original image P (i) and the (i−1) -th average image A (i−1) in the
平均画像Ａと参照画像Ｕとの大きな相違点は、§５に画像変遷の実例を示したように、平均画像Ａの各画素は、新たな原画像Ｐが入力されるたびに毎回必ず更新されるのに対して、参照画像Ｕの各画素は、必ずしも毎回更新されるわけではない、という点である。なお、ここで言う「更新」とは、必ずしも「画素値の変動」を指すものではなく、「前回の画素値をそのまま維持するのではなく、新たな画素値を与える」ことを意味する。したがって、たとえば、図１０上段に示す式（１Ａ）において、ｐ（ｉ）＝ａ（ｉ−１）であった場合、結果的にａ（ｉ）＝ａ（ｉ−１）になるが、第ｉ番目の平均画像Ａ（ｉ）の画素値として新たな画素値ａ（ｉ）が与えられているので、値が更新されていることになる。同様に、図１０中段に示す式（１Ｂ）において、ａ（ｉ−１）＝ｕ（ｉ−１）であった場合、結果的にｕ（ｉ）＝ｕ（ｉ−１）になるが、第ｉ番目の参照画像Ｕ（ｉ）の画素値として新たな画素値ｕ（ｉ）が与えられているので、値が更新されていることになる。これに対して、図１０中段の式（１Ｃ）「ｕ（ｉ）＝ｕ（ｉ−１）」は、「前回の画素値をそのまま維持すること」を意味しており、値は更新されていないことになる。 The major difference between the average image A and the reference image U is that each pixel of the average image A is always updated each time a new original image P is input, as shown in §5. In contrast, each pixel of the reference image U is not necessarily updated every time. Note that “update” here does not necessarily indicate “a change in pixel value”, but means “a new pixel value is given instead of maintaining the previous pixel value”. Therefore, for example, in the formula (1A) shown in the upper part of FIG. 10, if p (i) = a (i−1), the result is a (i) = a (i−1). Since a new pixel value a (i) is given as the pixel value of the i-th average image A (i), the value is updated. Similarly, in the formula (1B) shown in the middle stage of FIG. 10, when a (i-1) = u (i-1), u (i) = u (i-1) results, Since a new pixel value u (i) is given as the pixel value of the i-th reference image U (i), the value is updated. On the other hand, the expression (1C) “u (i) = u (i−1)” in the middle of FIG. 10 means “maintain the previous pixel value as it is”, and the value is updated. There will be no.
上述したとおり、平均画像Ａの各画素は、新たな原画像Ｐが入力されるたびに必ず更新されるため、原画像Ｐの変化に追随して変化を遂げる動的画像になる。もちろん、平均画像Ａを構成する各画素の画素値は、重みｗを考慮した重みつき平均として算出されるため、原画像Ｐの画素値が急激に変動しても、平均画像Ａの画素値がこれに追随して急激に変動することはない。これは、図４に示す画素値ｐ（ｉ）とａ（ｉ）との変動を比べれば容易に理解できよう。しかしながら、平均画像Ａは、新たな原画像Ｐの影響を受けて、必ず変化する画像であるので、たとえば、図１に示すような原画像Ｐ１０〜Ｐ４０が与えられた場合、通過した車両の影響が平均画像Ａにも及ぶことになる。より具体的には、赤色の車両が通過した場合、平均画像Ａの一部も若干赤みを帯びるように変化する。 As described above, each pixel of the average image A is updated every time a new original image P is input, so that it becomes a dynamic image that changes following the change of the original image P. Of course, since the pixel value of each pixel constituting the average image A is calculated as a weighted average considering the weight w, even if the pixel value of the original image P fluctuates rapidly, the pixel value of the average image A There is no sudden fluctuation following this. This can be easily understood by comparing the fluctuations of the pixel values p (i) and a (i) shown in FIG. However, since the average image A is an image that always changes under the influence of the new original image P, for example, when the original images P10 to P40 as shown in FIG. Extends to the average image A as well. More specifically, when a red vehicle passes, a part of the average image A also changes so as to be slightly reddish.
これに対して、参照画像Ｕの各画素は、新たな原画像Ｐが入力されるたびに必ずしも更新されるものではない。すなわち、前背判定部４５０において、背景領域（Ｊ＝１）と判定された部分に対しては平均画像Ａを利用した更新が行われるが（図１０の式（１Ｂ））、前景領域（Ｊ＝０）と判定された部分に対しては更新は行われない（図１０の式（１Ｃ））。このため、原画像Ｐの変化に追随した参照画像Ｕの変化は、平均画像Ａに比べて緩慢になる。
On the other hand, each pixel of the reference image U is not necessarily updated every time a new original image P is input. That is, the
実際、図１１および図１２に示す実例を見ると、時点ｔ３において車両Ｖが通過すると、平均画像Ａ（３）の画素ａ（３）は、これに追随して若干変化しているが、参照画像Ｕ（３）の画素ｕ（３）は、更新されないため、画素ｕ（２）のまま変化していない。同様に、時点ｔ１０，ｔ１２を見ても、平均画像Ａは原画像Ｐの変動に追随して変化しているのに対して、参照画像Ｕは変化していない。要するに、図１１および図１２に示す時点ｔ１〜ｔ１５の画像変遷を見ればわかるとおり、平均画像Ａは、原画像Ｐの変動に追随して逐次変化するのに対して、参照画像Ｕの変化は緩慢であり、原画像Ｐが急激に変動しても、直ちに追随することはない。 Actually, in the examples shown in FIGS. 11 and 12, when the vehicle V passes at the time point t3, the pixel a (3) of the average image A (3) slightly changes following this, but see Since the pixel u (3) of the image U (3) is not updated, the pixel u (2) remains unchanged. Similarly, when the time points t10 and t12 are viewed, the average image A changes following the fluctuation of the original image P, while the reference image U does not change. In short, as can be seen from the image transitions at the time points t1 to t15 shown in FIGS. 11 and 12, the average image A sequentially changes following the fluctuation of the original image P, whereas the change of the reference image U does not change. It is slow and does not follow immediately even if the original image P fluctuates rapidly.
本発明に係る移動物体検出装置では、新たに入力された原画像Ｐは、上述したように追随態様が互いに異なっている平均画像Ａおよび参照画像Ｕの双方と比較され、少なくとも一方に類似している領域は背景領域と判定されることになる。したがって、たとえば、雲の動きなどによって原画像Ｐの背景部分に短期的な日照変化が生じた場合でも、平均画像Ａおよび参照画像Ｕの少なくとも一方に類似している領域は、背景領域Ｂと判定されることになる。その結果、日照変化などの自然現象に起因して変化した背景領域が前景領域Ｆ（移動物体の領域）として誤検出される可能性を低減することができ、より正確な検出を行うことができるようになる。これが、平均画像Ａと参照画像Ｕとの双方を用いて移動物体検出を行う利点である。 In the moving object detection device according to the present invention, the newly input original image P is compared with both the average image A and the reference image U having different tracking modes as described above, and is similar to at least one of them. This area is determined as the background area. Therefore, for example, even when a short-term sunshine change occurs in the background portion of the original image P due to the movement of the cloud or the like, the region similar to at least one of the average image A and the reference image U is determined as the background region B. Will be. As a result, it is possible to reduce the possibility that a background area that has changed due to a natural phenomenon such as a change in sunshine is erroneously detected as a foreground area F (a moving object area), and more accurate detection can be performed. It becomes like this. This is an advantage of performing moving object detection using both the average image A and the reference image U.
なお、図９に示す移動物体検出装置には、パラメータ設定部３４０が設けられており、ユーザは、パラメータ設定部３４０に対する操作入力によって、各構成要素で用いられるパラメータを任意の値に設定することができる。既に述べたとおり、この装置で設定可能なパラメータは、第１判定部４２０および第２判定部４３０の類否判定の基準となる判定パラメータ（たとえば、図７の円柱モデルを利用した判定を行う場合は、円柱Ｃの半径および長さＬ）と、平均画像作成部１３０で用いる重みｗと、参照画像作成部１３５で用いる重みｖである。最適なパラメータ値は、装置の実際の使用環境に基づいて変わるので、実用上は、個々の使用環境ごとに試行錯誤によって最適なパラメータ値を設定するようにすればよい。
The moving object detection apparatus shown in FIG. 9 is provided with a
ところで、本願発明者が行った実験によると、平均画像作成部１３０で用いる重みｗと、参照画像作成部１３５で用いる重みｖとについて、ｗ＞ｖなる関係が得られるような設定を行うと、より良好な検出結果が得られることが判明した。上述したとおり、参照画像Ｕは平均画像Ａに比べて、原画像Ｐの変動に対して緩慢な追従を行うが、参照画像Ｕを作成する際に用いる重みｖを、平均画像Ａを作成する際に用いる重みｗに比べて小さく設定することにより、参照画像Ｕの追従の緩慢度を更に上げることができる。その結果、より良好な検出結果が得られるようになるものと考えられる。
By the way, according to an experiment conducted by the inventor of the present application, when the weight w used in the average
なお、パラメータ設定部３４０を設けた場合には、ｗ＞ｖなる関係が得られるように、ユーザの操作入力に制限を課する機能を付加しておくのが好ましい。たとえば、ｗ＞ｖなる条件に反するようなパラメータ設定を行う操作入力が行われた場合には、エラー表示を行い、当該操作入力を受け付けないような機能を設けておけばよい。あるいは、たとえば、「ｖ＝０．１×ｗ」というような式により、ｖとｗとの関係を固定しておき、ユーザの操作入力によって、パラメータｗのみが設定できるようにしておいてもよい。
In the case where the
実際、本願発明者は、屋外に設置した監視カメラから毎秒３０フレームの原画像を取り込んで、重みｗ＝０．０１、重みｖ＝０．００１なる設定で実験を行ったところ、日照変化による誤検出を実用的なレベルまで低減させた良好な検出結果を得ることができた。 In fact, the inventor of the present application took an original image of 30 frames per second from a surveillance camera installed outdoors and conducted an experiment with a weight w = 0.01 and a weight v = 0.001. Good detection results with reduced detection to a practical level could be obtained.
＜＜＜ §７．回転楕円体モデルを用いた類否判定 ＞＞＞
図９に示す移動物体検出装置における第１判定部４２０および第２判定部４３０では、２つの画素についての類否判定が行われる。このような類否判定の一般的な方法は、既に§２においていくつかの例を紹介したとおりである。ただ、本願発明者は、本発明を実施するにあたって特に有効な類否判定方法を着想したので、以下、この方法を述べておく（この方法は、特願２００９−２２６１４６号明細書に開示されている方法である）。
<<< §7. Similarity determination using spheroid model >>>
In the
ここに示す類否判定方法は、基本的には、比較対象となる一方の画素の画素値を基準画素値、他方の画素の画素値を比較画素値として、三原色の各画素値を各座標軸にとった三次元座標系において、基準画素値に対応する座標に位置する基準点Ｑと比較画素値に対応する座標に位置する比較点ｑをとり、基準点Ｑを中心とする所定サイズの基準立体と比較点ｑとの位置関係を調べ、比較点ｑが基準立体の外部に位置すると判定できる場合に非類似との判定を行い、内部に位置すると判定できる場合には類似との判定を行うものである。 The similarity determination method shown here basically uses the pixel value of one pixel to be compared as a reference pixel value, the pixel value of the other pixel as a comparison pixel value, and the pixel values of the three primary colors as coordinate axes. In the three-dimensional coordinate system taken, a reference point Q positioned at coordinates corresponding to the reference pixel value and a comparison point q positioned at coordinates corresponding to the comparison pixel value are taken, and a reference solid of a predetermined size centered on the reference point Q And the comparison point q are examined, and if it can be determined that the comparison point q is located outside the reference solid, it is determined that it is dissimilar, and if it can be determined that it is located inside, it is determined that it is similar. It is.
§２で述べた図７に示す例は、基準立体として円柱Ｃを用いる例であるが、ここで述べる例は、基準立体として回転楕円体を用いるようにした点に特徴がある。ここでは、第１判定部４２０による類否判定に、この回転楕円体モデルを用いた場合を説明するが、この回転楕円体モデルは、第２判定部４３０による類否判定にも同様に利用することができる。
The example shown in FIG. 7 described in §2 is an example using a cylinder C as a reference solid, but the example described here is characterized in that a spheroid is used as the reference solid. Here, the case where this spheroid model is used for similarity determination by the
図１３は、図７に示す円柱Ｃを回転楕円体Ｅａに置き換えた回転楕円体モデルを示す三次元色空間図である。ここで、類似範囲を示す回転楕円体Ｅａは、平均画像Ａの画素値を示す座標点Ａを中心点とし、ベクトルＶａ上に定義された基準軸Ｚａを長軸方向とする楕円を、基準軸Ｚａを回転軸として回転させることにより得られる回転体である。この回転楕円体Ｅａのサイズは、長軸方向の長さＬａ１と短軸方向の長さＬａ２によって規定される。 FIG. 13 is a three-dimensional color space diagram showing a spheroid model obtained by replacing the cylinder C shown in FIG. 7 with a spheroid Ea. Here, the spheroid Ea indicating the similar range is an ellipse having the coordinate point A indicating the pixel value of the average image A as the center point and the reference axis Za defined on the vector Va as the major axis direction. It is a rotating body obtained by rotating using Za as a rotation axis. The size of the spheroid Ea is defined by the length La1 in the major axis direction and the length La2 in the minor axis direction.
この回転楕円体モデルを用いた場合でも、類否判定の方法は、前述の円柱モデルを用いた場合の判定方法と同様であり、回転楕円体Ｅａの内部領域にプロットされる画素は、座標点Ａに対応する画素値をもった画素に対して類似する画素と判定されることになる。具体的には、図示の例の場合、座標点Ｐに対応する画素値をもった画素は、回転楕円体Ｅａの外側に位置するため類似範囲外と判定され、両画素は非類似と判定される。逆に、座標点Ｐが回転楕円体Ｅａの内部に位置していれば、両画素は類似と判定される。 Even when this spheroid model is used, the similarity determination method is the same as the above-described determination method using the cylindrical model, and the pixels plotted in the inner area of the spheroid Ea are coordinate points. A pixel having a pixel value corresponding to A is determined as a similar pixel. Specifically, in the illustrated example, a pixel having a pixel value corresponding to the coordinate point P is determined to be outside the similar range because it is located outside the spheroid Ea, and both pixels are determined to be dissimilar. The Conversely, if the coordinate point P is located inside the spheroid Ea, both pixels are determined to be similar.
一方、図１４は、図１３に示す回転楕円体モデルのバリエーションを示す三次元色空間図である。図示のとおり、このモデルにおける類似範囲を示す回転楕円体Ｅｐは、判定対象となる原画像Ｐの画素値を示す座標点Ｐを中心点とし、ベクトルＶｐ上に定義された基準軸Ｚｐを長軸方向とする楕円を、基準軸Ｚｐを回転軸として回転させることにより得られる回転体である。この回転楕円体Ｅｐのサイズは、長軸方向の長さＬｐ１と短軸方向の長さＬｐ２によって規定される。 On the other hand, FIG. 14 is a three-dimensional color space diagram showing variations of the spheroid model shown in FIG. As shown in the figure, a spheroid Ep indicating a similar range in this model has a coordinate point P indicating a pixel value of the original image P to be determined as a center point, and a reference axis Zp defined on the vector Vp as a major axis It is a rotating body obtained by rotating an ellipse as a direction around a reference axis Zp as a rotation axis. The size of the spheroid Ep is defined by the length Lp1 in the major axis direction and the length Lp2 in the minor axis direction.
図１３に示すモデルの場合、背景を示す平均画像Ａの画素値（Ｒａ，Ｇａ，Ｂａ）をプロットした座標点Ａを基準として、類似範囲を示す回転楕円体Ｅａが定義され、比較対象となる原画像Ｐの画素値（Ｒｐ，Ｇｐ，Ｂｐ）をプロットした座標点Ｐが、回転楕円体Ｅａの内側にあるか外側にあるかを判定していたのに対して、図１４に示すモデルの場合、比較対象となる原画像Ｐの画素値（Ｒｐ，Ｇｐ，Ｂｐ）をプロットした座標点Ｐをプロットした座標点Ｐを基準として、類似範囲を示す回転楕円体Ｅｐが定義され、背景を示す平均画像Ａの画素値（Ｒａ，Ｇａ，Ｂａ）をプロットした座標点Ａが、回転楕円体Ｅｐの内側にあるか外側にあるかを判定することになる。 In the case of the model shown in FIG. 13, a spheroid Ea indicating a similar range is defined on the basis of the coordinate point A on which the pixel values (Ra, Ga, Ba) of the average image A indicating the background are plotted, and is a comparison target. While it was determined whether the coordinate point P on which the pixel values (Rp, Gp, Bp) of the original image P are plotted is inside or outside the spheroid Ea, the model shown in FIG. In this case, a spheroid Ep indicating a similar range is defined with reference to the coordinate point P on which the pixel value (Rp, Gp, Bp) of the original image P to be compared is plotted, and shows the background. It is determined whether the coordinate point A on which the pixel values (Ra, Ga, Ba) of the average image A are plotted is inside or outside the spheroid Ep.
要するに、前者では、新たに入力された原画像Ｐの画素が、背景を示す過去の平均画像Ａの画素の類似範囲に入っているか否かを判定する手法をとるのに対して、後者では、背景を示す過去の平均画像Ａの画素が、新たに入力された原画像Ｐの画素の類似範囲に入っているか否かを判定する手法をとることになる。結局、両者の相違は、比較対象となる２つの画素のどちらを基準にして回転楕円体を定義するかという点だけである。 In short, the former takes a method of determining whether or not the pixel of the newly input original image P is in the similar range of the pixels of the past average image A indicating the background, whereas the latter is A method of determining whether or not the pixels of the past average image A indicating the background are within the similar range of the pixels of the newly input original image P is taken. After all, the only difference between the two is in which of the two pixels to be compared is used as a reference to define the spheroid.
そこで、以下の説明では、比較対象となる２つの画像のうち、一方の画像の画素値を基準画素値（Ｒ，Ｇ，Ｂ）と表記し、他方の画像の画素値を比較画素値（ｒ，ｇ，ｂ）と表記することにする。また、三次元色空間上で基準画素値（Ｒ，Ｇ，Ｂ）をプロットした座標点Ｑ（Ｒ，Ｇ，Ｂ）を基準点Ｑと呼び、比較画素値（ｒ，ｇ，ｂ）をプロットした座標点ｑ（ｒ，ｇ，ｂ）を比較点ｑと呼ぶことにする。類否判定は、基準点Ｑを中心として定義された回転楕円体と比較点ｑとの位置関係に基づいてなされることになる。 Therefore, in the following description, of the two images to be compared, the pixel value of one image is expressed as a reference pixel value (R, G, B), and the pixel value of the other image is expressed as a comparison pixel value (r , G, b). Also, the coordinate point Q (R, G, B) on which the reference pixel value (R, G, B) is plotted in the three-dimensional color space is called the reference point Q, and the comparison pixel value (r, g, b) is plotted. The coordinate point q (r, g, b) is referred to as a comparison point q. The similarity determination is made based on the positional relationship between the spheroid defined around the reference point Q and the comparison point q.
図１５は、このような一般的な表記にしたがって、回転楕円体モデルを図示した三次元色空間図である。原点Ｏを起点として基準点Ｑへ向かうベクトルをベクトルＶとすれば、基準軸Ｚは、このベクトルＶ上の軸になる。そして、回転楕円体Ｅは、基準点Ｑを中心点とし、ベクトルＶ上に定義された基準軸Ｚを長軸方向とする楕円を、基準軸Ｚを回転軸として回転させることにより得られる回転体である。ここで、比較点ｑ（ｒ，ｇ，ｂ）が回転楕円体Ｅの内部に位置すれば、両画素は類似と判定され、回転楕円体Ｅの外部に位置すれば、両画素は非類似と判定される。 FIG. 15 is a three-dimensional color space diagram illustrating a spheroid model according to such general notation. If the vector V starting from the origin O and going to the reference point Q is a vector V, the reference axis Z is an axis on the vector V. The spheroid E is a rotator obtained by rotating an ellipse having the reference point Q as the center point and the reference axis Z defined on the vector V as the major axis direction with the reference axis Z as the rotation axis. It is. Here, if the comparison point q (r, g, b) is located inside the spheroid E, both pixels are determined to be similar, and if located outside the spheroid E, both pixels are regarded as dissimilar. Determined.
図１３に示すモデルは、類否判定を行う際に、平均画像Ａ（ｉ−１）上の画素ａ（ｉ−１）の画素値を基準画素値（Ｒ，Ｇ，Ｂ）として基準点Ｑ（Ｒ，Ｇ，Ｂ）をプロットし、原画像Ｐ（ｉ）上の画素ｐ（ｉ）の画素値を比較画素値（ｒ，ｇ，ｂ）として比較点ｑ（ｒ，ｇ，ｂ）をプロットしたものである。これに対して、図１４に示すモデルは、類否判定を行う際に、原画像Ｐ（ｉ）上の画素ｐ（ｉ）の画素値を基準画素値（Ｒ，Ｇ，Ｂ）として基準点Ｑ（Ｒ，Ｇ，Ｂ）をプロットし、平均画像Ａ（ｉ−１）上の画素ａ（ｉ−１）の画素値を比較画素値（ｒ，ｇ，ｂ）として比較点ｑ（ｒ，ｇ，ｂ）をプロットしたものである。 In the model illustrated in FIG. 13, when the similarity determination is performed, the pixel value of the pixel a (i−1) on the average image A (i−1) is set as the reference pixel value (R, G, B) as the reference point Q. (R, G, B) is plotted, and the comparison point q (r, g, b) is set with the pixel value of the pixel p (i) on the original image P (i) as the comparison pixel value (r, g, b). It is a plot. In contrast, the model shown in FIG. 14 uses the pixel value of the pixel p (i) on the original image P (i) as the reference pixel value (R, G, B) when performing similarity determination. Q (R, G, B) is plotted, and the pixel value of the pixel a (i-1) on the average image A (i-1) is set as the comparison pixel value (r, g, b), and the comparison point q (r, g, b) are plotted.
図７に示す円柱モデルに比べて、図１５に示す回転楕円体モデルは、次の２つの利点を有している。第１の利点は、時刻や天候などによる照明変動の影響を排除した、より正確な移動物体の検出が可能になる点である。本願発明者は、ビデオカメラで撮影した様々な実写画像について、図７に示す円柱モデルに基づく類否判定処理を採り入れた移動物体の検出と、図１５に示す回転楕円体モデルに基づく類否判定処理を採り入れた移動物体の検出とを試みたところ、後者の検出の方がより正確である実験結果が得られた。これは、円柱モデルの場合、円柱の長手方向の端部周縁領域において、誤検出が行われる可能性が高くなるためと考えられる。 Compared to the cylindrical model shown in FIG. 7, the spheroid model shown in FIG. 15 has the following two advantages. The first advantage is that a more accurate moving object can be detected without the influence of illumination fluctuations due to time of day or weather. The inventor of the present application detects a moving object that adopts an analogy determination process based on a cylindrical model shown in FIG. 7 and various analogy determinations based on a spheroid model shown in FIG. Attempts were made to detect moving objects using processing, and experimental results were obtained in which the latter detection was more accurate. This is considered because in the case of a cylindrical model, there is a high possibility that erroneous detection is performed in the peripheral edge region in the longitudinal direction of the cylinder.
図１６は、円柱モデルに対する回転楕円体モデルの利点を示す断面図である。図示の例において、円柱Ｃの断面と回転楕円体Ｅの断面とを比較すると、いずれも基準点Ｑを中心として、基準軸Ｚの方向を長手方向とする図形であるが、図にハッチングを施す領域が、円柱Ｃでは内部領域と判定されるのに対して、回転楕円体Ｅでは外部領域と判定されることがわかる。したがって、比較点ｑが、このハッチング領域に位置する場合、一方では類似範囲内と判定され、他方では類似範囲外と判定される。もちろん、いずれの判定結果が正しいものであるかは、一概には決定できないが、少なくとも実写画像を用いた移動物体の検出処理に利用する限りにおいて、後者の判定結果が正しい結果となる可能性が高いことになる。 FIG. 16 is a cross-sectional view showing the advantages of a spheroid model over a cylindrical model. In the example shown in the figure, when the cross section of the cylinder C and the cross section of the spheroid E are compared, all of them are figures having the reference point Q as the center and the direction of the reference axis Z as the longitudinal direction, but the figure is hatched. It can be seen that the area is determined to be the inner area in the cylinder C, whereas it is determined to be the outer area in the spheroid E. Therefore, when the comparison point q is located in the hatched area, it is determined that the comparison point q is within the similar range on the one hand and is outside the similar range on the other hand. Of course, which judgment result is correct cannot be generally determined, but at least as long as it is used for detection processing of a moving object using a real image, the latter judgment result may be a correct result. It will be expensive.
すなわち、円柱モデルの場合、比較点ｑが図のハッチング領域内に位置する場合、判定対象となる画素は背景画像に類似しているため背景領域Ｂ内の画素とされることになるが、実際には、背景画像に対して非類似であり、前景領域Ｆ内の画素とすべきであった、というケースが比較的高い確率で生じてしまうものと考えられる。図１６に示すとおり、断面形状で比較すると、回転楕円体Ｅの断面は曲面からなる楕円であるのに対して、円柱Ｃの断面は直線からなる矩形であり、実写画像を対象物とした類否判定の境界線としては、断面が曲面からなる楕円の方が適していることは、直感的にも理解できよう。 That is, in the case of a cylindrical model, when the comparison point q is located in the hatched area in the figure, the pixel to be determined is similar to the background image, and thus is a pixel in the background area B. It is considered that there is a relatively high probability that a pixel that is dissimilar to the background image and should have been a pixel in the foreground area F. As shown in FIG. 16, when compared with cross-sectional shapes, the cross section of the spheroid E is an ellipse made of a curved surface, whereas the cross section of the cylinder C is a rectangle made of a straight line. It can be understood intuitively that an ellipse having a curved cross section is more suitable as the boundary line for the determination.
このように、少なくとも、実写画像に基づく移動物体の検出処理に利用する場合、円柱モデルよりも回転楕円体モデルの方が検出精度が向上するという第１の利点が得られる。一方、回転楕円体モデルを採用することにより得られる第２の利点は、演算負担の軽減を図ることができる点である。この第２の利点の詳細については、§８で述べることにするが、ここでは、演算負担の軽減に寄与する工夫のひとつを簡単に述べておく。 In this way, at least when used for detection processing of a moving object based on a live-action image, the first advantage is obtained that the detection accuracy of the spheroid model is improved compared to the cylindrical model. On the other hand, the second advantage obtained by adopting the spheroid model is that the calculation burden can be reduced. The details of the second advantage will be described in §8. Here, one of the ideas that contribute to the reduction of the calculation burden will be briefly described.
この工夫は、回転楕円体Ｅのサイズを、三次元座標系の原点Ｏと基準点Ｑとの距離Ｄに比例した値に設定することである。具体的には、図１５に示すとおり、距離Ｄに、所定のパラメータｈ（但し、ｈ＜１）を乗じて求まる値α＝ｈ・Ｄを長軸半径とし、所定のパラメータｋ（但し、ｋ＜ｈ）を乗じて求まる値β＝ｋ・Ｄを短軸半径とする楕円を、原点Ｏと基準点Ｑとを結ぶ基準軸Ｚ上に長軸が重なるように、かつ、基準点Ｑが中心点となるように配置し、基準軸Ｚを中心に回転させることにより回転楕円体Ｅを定義すればよい。 This contrivance is to set the size of the spheroid E to a value proportional to the distance D between the origin O of the three-dimensional coordinate system and the reference point Q. Specifically, as shown in FIG. 15, a value α = h · D obtained by multiplying the distance D by a predetermined parameter h (where h <1) is a major axis radius, and a predetermined parameter k (where k An ellipse having a minor axis radius of β = k · D obtained by multiplying <h) so that the major axis overlaps the reference axis Z connecting the origin O and the reference point Q, and the reference point Q is the center The spheroid E may be defined by arranging it to be a point and rotating it around the reference axis Z.
このような条件で回転楕円体Ｅのサイズを決定すると、基準点Ｑが原点Ｏから離れれば離れるほど、回転楕円体Ｅのサイズは大きくなり、それだけ類似範囲が広くなる。これは、より明度の高い部分、すなわち、画像のハイライト部ほど、類似範囲が広くなることを意味するが、実用上、そのような類似範囲設定がなされても支障は生じない。一方、類似範囲内か否か、すなわち、回転楕円体Ｅの内部か外部かを判定するための演算負担は、長軸半径をα＝ｈ・Ｄ、短軸半径をβ＝ｋ・Ｄと設定することにより（すなわち、楕円のサイズを、距離Ｄに比例した値に設定することにより）、大幅に軽減することができる。その詳細は§８で述べることにする。 When the size of the spheroid E is determined under such conditions, the size of the spheroid E increases as the reference point Q moves away from the origin O, and the similarity range increases accordingly. This means that the higher the lightness, that is, the highlight portion of the image, the wider the similar range. However, in practice, there is no problem even if such a similar range is set. On the other hand, the calculation burden for determining whether or not it is within the similar range, that is, whether it is inside or outside of the spheroid E, is set such that the long axis radius is α = h · D and the short axis radius is β = k · D. (That is, by setting the size of the ellipse to a value proportional to the distance D), it can be greatly reduced. Details will be described in §8.
ところで、本願発明者が行った実験によると、回転楕円体Ｅのサイズを、距離Ｄに比例した値に設定する場合は、図１３のモデルよりも、図１４のモデルを用いた方が、検出精度が向上することが判明した。図１４のモデルを採用した場合、図１５において、基準点Ｑ（Ｒ，Ｇ，Ｂ）は、判定対象となる原画像Ｐの画素の画素値を基準画素値としてプロットした点になり、比較点ｑ（ｒ，ｇ，ｂ）は、背景となる平均画像Ａ（第２判定部４３０に適用する場合は、参照画像Ｕ）の画素の画素値を比較画素値としてプロットした点になる。 By the way, according to an experiment conducted by the inventor of the present application, when the size of the spheroid E is set to a value proportional to the distance D, it is detected by using the model of FIG. 14 rather than the model of FIG. It was found that the accuracy was improved. When the model of FIG. 14 is adopted, the reference point Q (R, G, B) in FIG. 15 is a point plotted with the pixel value of the pixel of the original image P to be determined as the reference pixel value, and is a comparison point. q (r, g, b) is a point obtained by plotting the pixel value of the pixel of the average image A (background image U when applied to the second determination unit 430) as a comparison pixel value.
上述したとおり、図１３のモデルと図１４のモデルは、原画像Ｐの画素と平均画像Ａ（参照画像Ｕ）の画素とのいずれを基準にして回転楕円体を定義するか、という点において異なる。しかも、回転楕円体のサイズを、距離Ｄに比例した値に設定すれば、定義される回転楕円体のサイズが、両者では異なることになる。すなわち、図１３に示すモデルにおける回転楕円体Ｅａの長軸方向の長さＬａ１および短軸方向の長さＬａ２は、ベクトルＶａの長さに、それぞれパラメータ２ｈおよび２ｋを乗じることにより得られるのに対して、図１４に示すモデルにおける回転楕円体Ｅｐの長軸方向の長さＬｐ１および短軸方向の長さＬｐ２は、ベクトルＶｐの長さに、それぞれパラメータ２ｈおよび２ｋを乗じることにより得られる。したがって、図示の例の場合、回転楕円体Ｅａのサイズよりも、回転楕円体Ｅｐのサイズの方が大きくなっており、より広い類似範囲が設定されている。 As described above, the model in FIG. 13 and the model in FIG. 14 are different in that the spheroid is defined based on the pixel of the original image P or the pixel of the average image A (reference image U). . Moreover, if the size of the spheroid is set to a value proportional to the distance D, the size of the defined spheroid will be different. That is, the length La1 in the major axis direction and the length La2 in the minor axis direction of the spheroid Ea in the model shown in FIG. 13 are obtained by multiplying the length of the vector Va by the parameters 2h and 2k, respectively. On the other hand, the length Lp1 in the major axis direction and the length Lp2 in the minor axis direction of the spheroid Ep in the model shown in FIG. 14 are obtained by multiplying the length of the vector Vp by parameters 2h and 2k, respectively. Accordingly, in the case of the illustrated example, the size of the spheroid Ep is larger than the size of the spheroid Ea, and a wider similarity range is set.
もちろん、常識的には、図１４に示すモデルよりも図１３に示すモデルを採用するのが一般的であろう。すなわち、予め背景とみなすことができる類似範囲を回転楕円体Ｅａとして定義しておき、新たに入力された画像の画素を示す点Ｐが、この類似範囲内に入るか否かを判定することにより、当該画素が移動物体上の点であるか否かを認識する、という方針を採るのが、一般的な考え方である。これに対して、図１４に示すモデルは、新たに入力された画像の画素の類似範囲を回転楕円体Ｅｂとして定め、その中に、背景画素を示す点Ａが入るか否かを判定する手法を採るものであり、一般常識に基づく手法とは逆の手法と言うことができる。 Of course, from a common sense, the model shown in FIG. 13 will generally be adopted rather than the model shown in FIG. That is, a similar range that can be regarded as a background is defined in advance as a spheroid Ea, and it is determined whether or not a point P indicating a pixel of a newly input image falls within this similar range. The general idea is to recognize whether or not the pixel is a point on a moving object. On the other hand, the model shown in FIG. 14 determines a similar range of pixels of a newly input image as a spheroid Eb and determines whether or not a point A indicating a background pixel is included therein. It can be said to be the opposite of the method based on general common sense.
しかしながら、本願発明者が行った実験によると、少なくとも実写画像を用いた移動物体の検出処理に利用する限りにおいて、図１３に示すモデルを採用するよりも、図１４に示すモデルを採用した方が、より正しい判定結果が得られた。これは、これまで述べた方法で、平均画像Ａの画素値ａ（ｉ）（第２判定部４３０に適用する場合は、参照画像Ｕの画素値ｕ（ｉ））を決定すると、様々な要因により、新たに入力されてくる原画像Ｐの画素値ｐ（ｉ）が大きく変動しても、画素値ａ（ｉ），ｕ（ｉ）の値が当該変動に追従するまでにはある程度の時間がかかるため、類似範囲の広狭を、原画像Ｐの画素値ｐ（ｉ）に応じて定めた方が、正しい判定が可能になるためと考えられる。 However, according to an experiment conducted by the inventors of the present application, it is preferable to adopt the model shown in FIG. 14 rather than adopting the model shown in FIG. More correct judgment results were obtained. When the pixel value a (i) of the average image A (the pixel value u (i) of the reference image U when applied to the second determination unit 430) is determined by the above-described method, various factors are determined. Thus, even if the pixel value p (i) of the newly input original image P greatly fluctuates, a certain amount of time is required until the pixel values a (i) and u (i) follow the fluctuation. Therefore, it is considered that it is possible to make a correct determination if the width of the similar range is determined according to the pixel value p (i) of the original image P.
結局、本発明における画素の類否判定を、基準立体モデル（円柱モデルや回転楕円体モデル）を利用して行う場合、第１判定部４２０は、原画像Ｐの画素の画素値を基準画素値、平均画像Ａの画素の画素値を比較画素値として判定を行い、第２判定部４３０は、原画像Ｐの画素の画素値を基準画素値、参照画像Ｕの画素の画素値を比較画素値として判定を行うようにするのが好ましい。
After all, when the similarity determination of pixels in the present invention is performed using a reference solid model (a cylindrical model or a spheroid model), the
以上、移動物体の検出に利用する画素の類否判定処理方法において、円柱モデルを採用する方法に比べて、回転楕円体モデルを採用する利点として、より正確な移動物体の検出が可能になる、という第１の利点を述べるとともに、演算負担を軽減することができるという第２の利点についても簡単に説明した。続く§８では、この第２の利点についての詳細を述べることにする。 As described above, in the pixel similarity determination processing method used for detecting the moving object, as compared with the method using the cylindrical model, as an advantage of adopting the spheroid model, it becomes possible to detect the moving object more accurately. In addition to the first advantage, the second advantage that the calculation burden can be reduced was also briefly described. In the following §8, details on this second advantage will be described.
＜＜＜ §８．回転楕円体モデルを利用した実用的な類否判定手順 ＞＞＞
一般に、三次元空間上において、ある１点が、円柱の内側にあるか外側にあるかを判定する場合も、回転楕円体の内側にあるか外側にあるかを判定する場合も、座標値を用いた幾何学演算が必要になる。しかしながら、回転楕円体の内側にあるか外側にあるかを判定する場合は、演算式を工夫し、また、一部に近似演算を取り込むことにより、演算負担を大幅に軽減することが可能である。ここでは、図１５に示す回転楕円体モデルにおいて、比較点ｑ（ｒ，ｇ，ｂ）が、基準点Ｑ（Ｒ，Ｇ，Ｂ）を中心として定義された回転楕円体Ｅの内側にあるか外側にあるかを判定する実用的な手順を述べる。
<<< §8. Practical similarity determination procedure using spheroid model >>>
In general, in determining whether a point is inside or outside a cylinder in a three-dimensional space, or when determining whether it is inside or outside a spheroid, the coordinate value is The geometric operation used is required. However, when determining whether it is inside or outside the spheroid, it is possible to greatly reduce the calculation burden by devising the calculation formula and incorporating approximate calculation in part. . Here, in the spheroid model shown in FIG. 15, is the comparison point q (r, g, b) inside the spheroid E defined around the reference point Q (R, G, B)? A practical procedure to determine whether it is outside is described.
ここで述べる手順は、３つの条件判定段階によって構成される。図１７は、そのうちの第１の条件判定段階の原理を示す断面図である。図において、下方に示す原点Ｏは、図１５の三次元色空間図に示されているＲＧＢ三次元直交座標系の原点Ｏであり、当該座標系上に、基準点Ｑ（Ｒ，Ｇ，Ｂ）と比較点ｑ（ｒ，ｇ，ｂ）とがプロットされている（座標軸は図示省略）。基準軸Ｚは、原点Ｏと基準点Ｑとを結ぶ線であり、回転楕円体Ｅは、この基準軸Ｚを長軸方向とし、基準点Ｑを中心とする楕円を、基準軸Ｚを回転軸として回転させることによって得られる回転体である。図に断面を示す楕円は、長軸半径をα、短軸半径をβとする楕円であるが、§７で述べたとおり、原点Ｏと基準点Ｑとの距離をＤとしたときに、所定のパラメータｈ，ｋについて、α＝ｈ・Ｄ（但し、ｈ＜１）、β＝ｋ・Ｄ（但し、ｋ＜ｈ）となるように設定されている。 The procedure described here is composed of three condition determination stages. FIG. 17 is a cross-sectional view showing the principle of the first condition determination stage. In the figure, the origin O shown below is the origin O of the RGB three-dimensional orthogonal coordinate system shown in the three-dimensional color space diagram of FIG. 15, and the reference point Q (R, G, B is on the coordinate system. ) And a comparison point q (r, g, b) are plotted (coordinate axes are not shown). The reference axis Z is a line connecting the origin O and the reference point Q, and the spheroid E is an ellipse centered on the reference point Q with the reference axis Z as the major axis direction and the reference axis Z as the rotation axis. It is a rotating body obtained by rotating as. An ellipse having a cross section in the figure is an ellipse having a major axis radius α and a minor axis radius β. As described in §7, when the distance between the origin O and the reference point Q is D, the ellipse is predetermined. Are set such that α = h · D (where h <1) and β = k · D (where k <h).
第１の条件判定段階では、比較点ｑが、図のハッチング領域内にあるかどうかの判定が行われる。すなわち、図の下方のハッチング領域は、「原点Ｏを中心とし半径（Ｄ−α）の球Ｃ１の内側領域」であるから、原点Ｏと比較点ｑとの距離をｄとすれば、「Ｄ−α＞ｄ」なる条件が満足されれば、比較点ｑは、球Ｃ１の内側に位置することになる。球Ｃ１は、回転楕円体Ｅの原点Ｏに対する最近接点Ｅ１において、回転楕円体Ｅに接する球であり、球Ｃ１の内側領域は、当然、回転楕円体Ｅの外側領域になる。一方、図の上方のハッチング領域は、「原点Ｏを中心とし半径（Ｄ＋α）の球Ｃ２の外側領域」であるから、原点Ｏと比較点ｑとの距離をｄとすれば、「Ｄ＋α＜ｄ」なる条件が満足されれば、比較点ｑは、球Ｃ２の外側に位置することになる。球Ｃ２は、回転楕円体Ｅの原点Ｏに対する最遠接点Ｅ２において、回転楕円体Ｅに接する球であり、球Ｃ２の外側領域は、当然、回転楕円体Ｅの外側領域になる。 In the first condition determination stage, it is determined whether or not the comparison point q is within the hatched area in the figure. That is, since the hatched area in the lower part of the figure is “the inner area of the sphere C1 having the radius (D−α) centered on the origin O”, if the distance between the origin O and the comparison point q is d, “D If the condition of “−α> d” is satisfied, the comparison point q is located inside the sphere C1. The sphere C1 is a sphere that is in contact with the spheroid E at the closest point E1 with respect to the origin O of the spheroid E, and the inner area of the sphere C1 is naturally the outer area of the spheroid E. On the other hand, since the hatched area in the upper part of the figure is “the outer area of the sphere C2 having the radius (D + α) centered on the origin O” and the distance between the origin O and the comparison point q is d, “D + α <d If the condition “is satisfied, the comparison point q is located outside the sphere C2. The sphere C2 is a sphere in contact with the spheroid E at the farthest contact point E2 with respect to the origin O of the spheroid E, and the outer region of the sphere C2 is naturally the outer region of the spheroid E.
図１８は、図１７に示す第１の条件判定原理に基づく判定式を示す図である。図１８(a) は、比較点ｑが球Ｃ１の内側領域にあるための条件式「Ｄ−α＞ｄ」の変形プロセスを示す。すなわち、α＝ｈ・Ｄを代入すると、条件式は「（１−ｈ）・Ｄ＞ｄ」となり、両辺を２乗すると、
（１−ｈ）２・Ｄ２＞ｄ２ 式（２）
が得られる。一方、図１８(b) は、比較点ｑが球Ｃ２の外側領域にあるための条件式「Ｄ＋α＜ｄ」の変形プロセスを示す。すなわち、α＝ｈ・Ｄを代入すると、条件式は「（１＋ｈ）・Ｄ＜ｄ」となり、両辺を２乗すると、
（１＋ｈ）２・Ｄ２＜ｄ２ 式（３）
が得られる。
FIG. 18 is a diagram showing a determination formula based on the first condition determination principle shown in FIG. FIG. 18A shows a deformation process of the conditional expression “D−α> d” for the comparison point q to be in the inner region of the sphere C1. That is, if α = h · D is substituted, the conditional expression becomes “(1−h) · D> d”, and if both sides are squared,
(1-h) 2 · D 2 > d 2 Formula (2)
Is obtained. On the other hand, FIG. 18B shows a deformation process of the conditional expression “D + α <d” for the comparison point q being in the outer region of the sphere C2. That is, if α = h · D is substituted, the conditional expression becomes “(1 + h) · D <d”, and if both sides are squared,
(1 + h) 2 · D 2 <d 2 formula (3)
Is obtained.
ここで、基準点Ｑの座標値が（Ｒ，Ｇ，Ｂ）、比較点ｑの座標値が（ｒ，ｇ，ｂ）であるから、図１８(c) に示すように、
Ｄ＝√（Ｒ２＋Ｇ２＋Ｂ２）
ｄ＝√（ｒ２＋ｇ２＋ｂ２）
であり、両辺を２乗すると、
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）
となる。したがって、式（２），式（３）を書き直せば、図１８(c) に示すように、
（１−ｈ）２・（Ｒ２＋Ｇ２＋Ｂ２）
＞（ｒ２＋ｇ２＋ｂ２） 式（２′）
（１＋ｈ）２・（Ｒ２＋Ｇ２＋Ｂ２）
＜（ｒ２＋ｇ２＋ｂ２） 式（３′）
なる条件式が得られる。ここで、ｈは予め設定された所定のパラメータであり、（Ｒ，Ｇ，Ｂ）および（ｒ，ｇ，ｂ）は、基準点Ｑおよび比較点ｑの座標値（すなわち、比較対象となる２つの画素の三原色の画素値）である。式（２′）および式（３′）は、２乗演算と和差演算のみで構成される演算式であるから、演算負担は非常に軽いものになる。
Here, since the coordinate value of the reference point Q is (R, G, B) and the coordinate value of the comparison point q is (r, g, b), as shown in FIG.
D = √ (R 2 + G 2 + B 2 )
d = √ (r 2 + g 2 + b 2 )
And if both sides are squared,
D 2 = (R 2 + G 2 + B 2 )
d 2 = (r 2 + g 2 + b 2 )
It becomes. Therefore, if Equation (2) and Equation (3) are rewritten, as shown in FIG.
(1-h) 2 · (R 2 + G 2 + B 2 )
> (R 2 + g 2 + b 2 ) Formula (2 ′)
(1 + h) 2 · (R 2 + G 2 + B 2 )
<(R 2 + g 2 + b 2 ) Formula (3 ′)
The following conditional expression is obtained. Here, h is a predetermined parameter set in advance, and (R, G, B) and (r, g, b) are coordinate values of the reference point Q and the comparison point q (that is, 2 to be compared). The pixel values of the three primary colors of one pixel). Since the expressions (2 ′) and (3 ′) are arithmetic expressions composed only of a square operation and a sum / difference operation, the calculation burden is very light.
こうして、式（２′）もしくは式（３′）のいずれかの条件を満足する結果が得られた場合、比較点ｑは、回転楕円体Ｅの外側に位置すると判断できるので、基準点Ｑの類似範囲外との判定を行うことができる。 Thus, when a result satisfying either of the conditions of the formula (2 ′) or the formula (3 ′) is obtained, it can be determined that the comparison point q is located outside the spheroid E. It can be determined that it is outside the similar range.
一方、式（２′）および式（３′）のいずれの条件も満足しない場合は、図１７において、比較点ｑは、球Ｃ１の外側かつ球Ｃ２の内側の領域に位置することになる。したがって、その場合には、以下に述べる第２の条件判定段階が引き続き行われる。 On the other hand, when neither of the conditions of the expressions (2 ′) and (3 ′) is satisfied, the comparison point q is located in a region outside the sphere C1 and inside the sphere C2 in FIG. Therefore, in that case, the second condition determination step described below is continued.
図１９は、この第２の条件判定段階の原理を示す断面図である。第２の条件判定段階では、比較点ｑが、図１９のハッチング領域内にあるかどうかの判定が行われる。このハッチング領域は、「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξの外側領域」として定義される領域である。円錐ξの半頂角は、図示のとおり角φになる。図示の断面図では、円錐ξが接点Ｔにおいて楕円Ｅに接している状態が示されているが、実際には、円錐ξと回転楕円体Ｅとは、接線円Ｔで線接触することになる。三次元空間上での円錐ξと回転楕円体Ｅとの関係は、コーンに卵を挿入した状態を考えれば容易に理解できよう。 FIG. 19 is a sectional view showing the principle of the second condition determination stage. In the second condition determination stage, it is determined whether or not the comparison point q is within the hatched area of FIG. This hatching area is an area defined as "the outer area of the cone ξ with the origin O as the apex and the reference axis Z as the central axis and in contact with the spheroid E with a circle". The half apex angle of the cone ξ is the angle φ as shown in the figure. In the illustrated cross-sectional view, a state where the cone ξ is in contact with the ellipse E at the contact point T is shown, but in actuality, the cone ξ and the spheroid E are in line contact with a tangent circle T. . The relationship between the cone ξ and the spheroid E in the three-dimensional space can be easily understood by considering the state in which the egg is inserted into the cone.
結局、この第２の条件判定段階では、比較点ｑが、円錐ξの内側にあるか、外側にあるかを判定することになる。円錐ξと回転楕円体Ｅとが接する接線円Ｔの位置は、幾何学的な演算によって求めることができ、そのような接線円Ｔを通る円錐ξを示す幾何学的な方程式を求めることも可能である。しかしながら、そのような方程式は比較的複雑な式になる。そこで、ここでは、円錐ξの代わりに、図１９に破線で示す円錐ξ′を利用した近似的な判定を行うことにより、演算負担の軽減を図ることにする。 Eventually, in this second condition determination stage, it is determined whether the comparison point q is inside or outside the cone ξ. The position of the tangent circle T where the cone ξ and the spheroid E contact each other can be obtained by geometric calculation, and a geometric equation indicating the cone ξ passing through the tangent circle T can also be obtained. It is. However, such an equation becomes a relatively complex expression. Therefore, here, instead of the cone ξ, an approximate determination using a cone ξ ′ indicated by a broken line in FIG. 19 is performed to reduce the calculation burden.
図１９に実線で描いた円錐ξは、接線円Ｔで回転楕円体Ｅに接する図形であるが、破線で描いた円錐ξ′は、交線円Ｓで回転楕円体Ｅと交差する図形である。ここで、交線円Ｓは、原点Ｏを中心とする半径Ｄの球面Ｃ３と回転楕円体Ｅとの交線を構成する円であり、基準点Ｑと交線円Ｓ上の任意の点との距離は図示のとおりｆである。結局、この近似的な判定では、「原点Ｏを頂点、基準軸Ｚを中心軸とし、交線円Ｓを通る円錐ξ′の外側に比較点ｑが位置するか否か」という判定が行われることになる。 A cone ξ drawn with a solid line in FIG. 19 is a figure that touches the spheroid E with a tangent circle T, whereas a cone ξ ′ drawn with a broken line is a figure that intersects the spheroid E with an intersection line S . Here, the intersecting circle S is a circle constituting an intersecting line between the spheroid E3 and the spherical surface C3 having a radius D centered on the origin O, and an arbitrary point on the intersecting circle S with the reference point Q. Is f as shown in the figure. After all, in this approximate determination, a determination is made as to whether or not the comparison point q is located outside the cone ξ ′ passing through the intersection circle S with the origin O as the apex and the reference axis Z as the central axis. It will be.
図示のとおり、円錐ξ′の半頂角φ′は、円錐ξの半頂角φよりも若干小さくなり、円錐ξ′は、円錐ξよりも若干小さな円錐になる。このため、「円錐ξ′の外側」かつ「円錐ξの内側」の点の場合、実際は回転楕円体Ｅの内部の点であるにもかかわらず、円錐ξ′を代用する近似的な判定方法では、回転楕円体Ｅの外部の点と判定されてしまうことになる。したがって、「回転楕円体Ｅの内外を厳密に判定する」という観点では、円錐ξ′を代用する判定方法は不正確である。ただ、そもそも回転楕円体Ｅ自体が、移動物体を厳密に検出する機能をもつ立体であるわけではなく、あくまでも１つの指標を提供するものであるから、円錐ξ′を代用する近似的な判定方法を用いたとしても、大きな支障は生じない。 As shown in the figure, the half apex angle φ ′ of the cone ξ ′ is slightly smaller than the half apex angle φ of the cone ξ, and the cone ξ ′ becomes a slightly smaller cone than the cone ξ. For this reason, in the case of the points “outside the cone ξ ′” and “inside the cone ξ”, although it is actually a point inside the spheroid E, the approximate determination method substituting the cone ξ ′ Therefore, it is determined that the point is outside the spheroid E. Therefore, from the viewpoint of “strictly determining the inside and outside of the spheroid E”, the determination method substituting the cone ξ ′ is inaccurate. However, since the spheroid E itself is not a solid having a function of detecting a moving object strictly, it provides only one index, so an approximate determination method that substitutes the cone ξ ′. Even if is used, there will be no major hindrance.
そこで、比較点ｑが、この円錐ξ′の内側にあるのか外側にあるのかを幾何学的に判定するための具体的な方法を考えてみる。いま、図２０(a) に示すように、三辺の長さがそれぞれａ，ｂ，ｃである一般的な三角形を考える。ここで、２辺ｂ，ｃの挟角をφとすると、余弦定理により、
cos φ＝（ｂ２＋ｃ２−ａ２）／２ｂｃ 式（４）
が成り立つ。
Consider a specific method for geometrically determining whether the comparison point q is inside or outside the cone ξ ′. Now, as shown in FIG. 20 (a), a general triangle having three sides of a, b, and c is considered. Here, if the angle between the two sides b and c is φ, according to the cosine theorem,
cos φ = (b 2 + c 2 −a 2 ) / 2bc Equation (4)
Holds.
続いて、図２０(b) に示す三角形ＯＱＳを考える。この図２０(b) は、図１９に示す三角形ＯＱＳをそのまま抜き出して示したものである。交線円Ｓは、前述したとおり、原点Ｏを中心とする半径Ｄの球面Ｃ３と回転楕円体Ｅとの交線であるから、２点ＯＳの距離は、２点ＯＱの距離に等しくＤになる。したがって、三角形ＯＱＳは二等辺三角形になり、２つの等辺の挟角はφ′、第３の辺の長さはｆである。この三角形ＯＱＳに、式（４）に示す余弦定理を適用すると、
cos φ′＝（Ｄ２＋Ｄ２−ｆ２）／２Ｄ２ 式（５）
が成り立つ。
Next, consider the triangle OQS shown in FIG. FIG. 20B shows the triangle OQS shown in FIG. 19 as extracted. Since the intersection line circle S is the intersection line of the spheroid E3 and the spherical surface C3 having the radius D centered on the origin O as described above, the distance between the two points OS is equal to the distance between the two points OQ and becomes D. Become. Therefore, the triangle OQS is an isosceles triangle, the included angle between the two equal sides is φ ′, and the length of the third side is f. Applying the cosine theorem shown in Equation (4) to this triangle OQS,
cos φ ′ = (D 2 + D 2 −f 2 ) / 2D 2 formula (5)
Holds.
ここで、図１９を見ると、長さｆは、回転楕円体Ｅの短軸半径βに近い値になることがわかる。そこで、近似的に、ｆ≒βとすると、β＝ｋ・Ｄなので、ｆ≒ｋ・Ｄになり、図２０の下段右に示すとおり、
cos φ′≒１−ｋ２／２ 式（６）
なる式が得られる。
Here, it can be seen from FIG. 19 that the length f is close to the minor axis radius β of the spheroid E. Therefore, approximately, if f≈β, then β = k · D, so f≈k · D, and as shown in the lower right of FIG.
cos φ '≒ 1-k 2 /2 Equation (6)
The following formula is obtained.
次に、図２１に示す三角形ＯＱｑを考える。この図２１は、図１９に示す４点Ｏ，Ｑ，Ｓ，ｑをそのまま抜き出してプロットしたものである。２点ＯＱ間の距離はＤであり、２点Ｏｑ間の距離はｄである。ここで、この長さＤ，ｄをもった２辺の挟角をθとし、第３の辺の長さをｔとする。また、線分ＯＱと線分ＯＳとのなす角φ′は、前述した円錐ξ′の半頂角である。 Next, consider the triangle OQq shown in FIG. FIG. 21 shows the four points O, Q, S, and q shown in FIG. The distance between the two points OQ is D, and the distance between the two points Oq is d. Here, an angle between two sides having the lengths D and d is θ, and a length of the third side is t. Further, the angle φ ′ formed by the line segment OQ and the line segment OS is the half apex angle of the cone ξ ′ described above.
さて、図１９において、円錐ξの代わりに円錐ξ′を用いて、比較点ｑがハッチング領域にあるための条件を求めると、θ＞φ′であればよいことがわかる。ここで、座標値（画素値）Ｒ，Ｇ，Ｂ，ｒ，ｇ，ｂが正の値をとるものとすれば、角度θおよびφ′はいずれも鋭角になる。図２１の右側にも記載したとおり、一般に、θ，φ′を正の鋭角とすれば、θ＞φ′の場合、「cos θ＜cos φ′」であり、「cos ２θ＜cos ２φ′」である。式（６）より、cos ２φ′≒（１−ｋ２／２）２であるから、結局、
cos ２θ＜（１−ｋ２／２）２ 式（７）
が成り立てば、比較点ｑは、円錐ξ′の外側領域にあると近似的に判断できる。
Now, in FIG. 19, using the cone ξ ′ instead of the cone ξ and obtaining the condition for the comparison point q to be in the hatched region, it can be seen that θ> φ ′. Here, if the coordinate values (pixel values) R, G, B, r, g, b are positive values, the angles θ and φ ′ are both acute angles. As described on the right side of FIG. 21, generally, if θ and φ ′ are positive acute angles, when θ> φ ′, “cos θ <cos φ ′” and “cos 2 θ <cos 2 φ”. ''. The equation (6), cos 2 φ ' ≒ (1-
cos 2 θ <(1-k 2/2) 2 Equation (7)
Can be approximately determined that the comparison point q is in the outer region of the cone ξ ′.
続いて、図２１に示す三角形ＯＱｑについて、式（４）の余弦定理を適用すれば、図２１の下段に示すように、
cos θ＝（Ｄ２＋ｄ２−ｔ２）／（２・Ｄ・ｄ） 式（８）
が成り立つ。このとき、図２２にも記載したとおり、
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）
ｔ２＝（Ｒ−ｒ）２＋（Ｇ−ｇ）２＋（Ｂ−ｂ）２
だから、これを式（８）に代入して整理すると、
cos θ＝γ／（Ｄ・ｄ） 式（９）
（但し、γ＝Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
が得られる。式（９）の両辺を２乗すれば、
cos ２θ＝γ２／（Ｄ２・ｄ２） 式（１０）
である。よって、式（７）より、
γ２／（Ｄ２・ｄ２）＜（１−ｋ２／２）２ 式（１１）
が成り立てば、比較点ｑは、円錐ξ′の外側領域にあると近似的に判断できる。ここで、γ，Ｄ，ｄを画素値を用いて書き直せば、図２２の下段に示すように、
（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）２／
（（Ｒ２＋Ｇ２＋Ｂ２）・（ｒ２＋ｇ２＋ｂ２））
＜（１−ｋ２／２）２ 式（１１′）
が成り立てば、比較点ｑは、円錐ξ′の外側領域にあると近似的に判断できる。
Subsequently, if the cosine theorem of Equation (4) is applied to the triangle OQq shown in FIG. 21, as shown in the lower part of FIG.
cos θ = (D 2 + d 2 −t 2 ) / (2 · D · d) Equation (8)
Holds. At this time, as described in FIG.
D 2 = (R 2 + G 2 + B 2 )
d 2 = (r 2 + g 2 + b 2 )
t 2 = (R−r) 2 + (G−g) 2 + (B−b) 2
So, substituting this into equation (8)
cos θ = γ / (D · d) Equation (9)
(However, γ = R ・ r + G ・ g + B ・ b)
Is obtained. If both sides of equation (9) are squared,
cos 2 θ = γ 2 / (D 2 · d 2 ) Formula (10)
It is. Therefore, from equation (7),
γ 2 / (D 2 · d 2) <(1-
Can be approximately determined that the comparison point q is in the outer region of the cone ξ ′. Here, if γ, D, and d are rewritten using pixel values, as shown in the lower part of FIG.
(R · r + G · g + B · b) 2 /
((R 2 + G 2 + B 2 ) · (r 2 + g 2 + b 2 ))
<(1-k 2/2 ) 2 formula (11 ')
Can be approximately determined that the comparison point q is in the outer region of the cone ξ ′.
既に述べたとおり、図１９において、円錐ξ′は、円錐ξに近似的に代用することができるので、上記式（１１′）が成り立てば、比較点ｑは、回転楕円体Ｅの外側領域にある、との近似的判定を行うことができる。もちろん、この近似的な判定結果は、円錐ξ′を円錐ξに代用し、かつ、ｆ≒βとの近似を行うことによって得られる判定結果であるので、厳密な判定結果ではない。しかしながら、そもそも回転楕円体Ｅ自体が、移動物体を厳密に検出する機能をもつ立体であるわけではないので、このような近似的な判定を行っても、大きな支障は生じない。別言すれば、上述した近似的な判定手法は、比較点ｑが回転楕円体Ｅの外部にあるかどうかを判定する代わりに、その近似体の外部に位置するかどうかを判定する手法ということになる。 As already described, in FIG. 19, the cone ξ ′ can be approximately substituted for the cone ξ. Therefore, if the above equation (11 ′) is established, the comparison point q is in the outer region of the spheroid E. It is possible to make an approximate determination that there is. Of course, this approximate determination result is not a strict determination result because it is a determination result obtained by substituting the cone ξ ′ for the cone ξ and approximating f≈β. However, since the spheroid E itself is not a solid having a function of detecting a moving object strictly, even if such an approximate determination is performed, no major trouble occurs. In other words, the approximate determination method described above is a method for determining whether or not the comparison point q is located outside the approximate ellipsoid E instead of determining whether or not the comparison point q is outside the spheroid E. become.
このようにして、式（１１′）を満足する結果が得られた場合、比較点ｑは、回転楕円体Ｅの近似体の外側に位置すると判断できるので、基準点Ｑの類似範囲外との判定を行うことができる。 When a result satisfying the expression (11 ′) is obtained in this way, it can be determined that the comparison point q is located outside the approximated body of the spheroid E, so Judgment can be made.
一方、式（１１′）を満足しない場合は、比較点ｑは、図１９においてハッチングが施されていない円錐ξの内側に位置すると近似的に判断されたことになるので、最終的に、第３の条件判定段階が行われる。 On the other hand, if the expression (11 ′) is not satisfied, the comparison point q is approximately determined to be located inside the non-hatched cone ξ in FIG. Three condition determination steps are performed.
図２３は、この第３の条件判定段階の原理を示す断面図である。第３の条件判定段階では、比較点ｑが、図２３のハッチング領域内にあるかどうかの判定が行われる。このハッチング領域は、回転楕円体Ｅの外側領域であり、いわば第３の条件判定段階は、§７で述べた回転楕円体モデルを用いた類否判定として行うべき本来の判定段階ということになる。このため、条件判定に用いられる式は、楕円の方程式を用いた式になり、これまでの条件判定式に比べると、若干複雑にならざるを得ない。 FIG. 23 is a sectional view showing the principle of the third condition determination stage. In the third condition determination stage, it is determined whether or not the comparison point q is within the hatched area of FIG. This hatching area is an outer area of the spheroid E, and so the third condition determination stage is an original determination stage that should be performed as the similarity determination using the spheroid model described in §7. . For this reason, the expression used for the condition determination is an expression using an elliptical equation, which is inevitably slightly more complicated than the conventional condition determination expression.
いま、図２３に示すように、基準点Ｑの位置に原点をもち、紙面上に定義されたローカルなＸＹ二次元直交座標系をとり、この二次元座標系上において、楕円Ｅと比較点ｑとの位置関係を考えることにしよう。ここで、Ｘ軸は回転楕円体Ｅの長軸方向の座標軸であり、Ｙ軸は回転楕円体Ｅの短軸方向の座標軸である。もちろん、基準点ＱのＸＹ座標系での座標は（０，０）になる。したがって、比較点ｑは、ＲＧＢ三次元直交座標系ではｑ（ｒ，ｇ，ｂ）なる三次元の座標値をもち、ＸＹローカル座標系ではｑ（ｘ，ｙ）なる二次元の座標値をもつ。 As shown in FIG. 23, a local XY two-dimensional orthogonal coordinate system having an origin at the position of the reference point Q and defined on the paper surface is taken. On this two-dimensional coordinate system, an ellipse E and a comparison point q are taken. Let's consider the positional relationship with. Here, the X axis is a coordinate axis in the major axis direction of the spheroid E, and the Y axis is a coordinate axis in the minor axis direction of the spheroid E. Of course, the coordinates of the reference point Q in the XY coordinate system are (0, 0). Therefore, the comparison point q has a three-dimensional coordinate value q (r, g, b) in the RGB three-dimensional orthogonal coordinate system, and a two-dimensional coordinate value q (x, y) in the XY local coordinate system. .
ここで、比較点ｑの座標値（ｘ，ｙ）を、２点ＯＱ間の距離Ｄ、２点Ｏｑ間の距離ｄ、そして挟角θを用いて表すと、図２３の右下にも記載したとおり、
ｘ＝Ｄ−ｄ・cos θ、 ｙ＝ｄ・sin θ 式（１２）
が成り立つ。一方、図２４に示すとおり、楕円の公式からは、
ｘ２／α２＋ｙ２／β２＝１ 式（１３）
が得られるので、
ｆ（ｘ，ｙ）＝β２・ｘ２＋α２・ｙ２−α２・β２ 式（１４）
なる判定式を定義すれば、比較点ｑは、
ｆ（ｘ，ｙ）＜０なら楕円内部の点
ｆ（ｘ，ｙ）＝０なら楕円上の点
ｆ（ｘ，ｙ）＞０なら楕円外部の点
ということになる。したがって、
β２・ｘ２＋α２・ｙ２−α２・β２＞０ 式（１５）
であれば、比較点ｑは、楕円外部の点ということになる。ここで、ＸＹローカル座標系を、基準軸Ｚを中心軸として回転しても、上式が成り立つことに変わりはないので、式（１５）は、三次元立体にも拡張することができる。すなわち、式（１５）の条件が満足されていれば、比較点ｑは、回転楕円体Ｅの外側領域の点ということになる。
Here, when the coordinate value (x, y) of the comparison point q is expressed using the distance D between the two points OQ, the distance d between the two points Oq, and the included angle θ, it is also shown in the lower right of FIG. As you did
x = D−d · cos θ, y = d · sin θ Equation (12)
Holds. On the other hand, as shown in FIG.
x 2 / α 2 + y 2 / β 2 = 1 Formula (13)
So that
f (x, y) = β 2 · x 2 + α 2 · y 2 −α 2 · β 2 Formula (14)
If the following judgment formula is defined, the comparison point q is
If f (x, y) <0, the point inside the ellipse
If f (x, y) = 0, the point on the ellipse
If f (x, y)> 0, it is a point outside the ellipse. Therefore,
β 2 · x 2 + α 2 · y 2 -α 2 · β 2 > 0 Formula (15)
Then, the comparison point q is a point outside the ellipse. Here, even if the XY local coordinate system is rotated about the reference axis Z as the central axis, the above equation is still true, and therefore the equation (15) can be extended to a three-dimensional solid. That is, if the condition of Expression (15) is satisfied, the comparison point q is a point in the outer region of the spheroid E.
なお、式（１５）において、各変数の値は、図２４の下半分に示すように、次のようにして求めることができる。まず、α＝ｈ・Ｄ、β＝ｋ・Ｄであるから、
α２＝ｈ２・Ｄ２、 β２＝ｋ２・Ｄ２ 式（１６）
である。一方、式（１２）より、ｘ＝Ｄ−ｄ・cos θだから、両辺を２乗すると、
ｘ２＝Ｄ２＋ｄ２・cos２ θ−２Ｄｄ・cos θ
となり、これに式（９）および式（１０）を代入すれば、
ｘ２＝Ｄ２＋γ２／Ｄ２−２γ 式（１７）
が得られる（但し、γ＝Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）。また、式（１２）より、ｙ＝ｄ・sin θだから、両辺を２乗すると、
ｙ２＝ｄ２・sin２ θ＝ｄ２・（１−cos２ θ）
となり、これに式（１０）を代入すれば、
ｙ２＝ｄ２−γ２／Ｄ２ 式（１８）
が得られる（但し、γ＝Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）。
In equation (15), the value of each variable can be obtained as follows, as shown in the lower half of FIG. First, since α = h · D and β = k · D,
α 2 = h 2 · D 2 , β 2 = k 2 · D 2 (16)
It is. On the other hand, since x = D−d · cos θ from equation (12), if both sides are squared,
x 2 = D 2 + d 2 · cos 2 θ-2Dd · cos θ
And substituting Equation (9) and Equation (10) into this,
x 2 = D 2 + γ 2 / D 2 −2γ Formula (17)
(Where γ = R · r + G · g + B · b). Also, from equation (12), y = d · sin θ, so if both sides are squared,
y 2 = d 2 · sin 2 θ = d 2 · (1-cos 2 θ)
And substituting equation (10) into this,
y 2 = d 2 −γ 2 / D 2 formula (18)
(Where γ = R · r + G · g + B · b).
かくして、式（１６）〜式（１８）によって、α２，β２，ｘ２，ｙ２の各値を求めた後に、式（１５）の条件判定式を演算すれば、比較点ｑが、回転楕円体Ｅの内側領域の点か、外側領域の点かを判定することができる。 Thus, after calculating the values of α 2 , β 2 , x 2 , and y 2 according to Equations (16) to (18), if the condition determination equation of Equation (15) is calculated, the comparison point q is Whether the point is in the inner region or the outer region of the spheroid E can be determined.
図２５は、これまで述べてきた類否判定方法の手順を示す流れ図である。この類否判定方法によれば、三原色の各画素値（Ｒ，Ｇ，Ｂ）を有する第１のカラー画素と、三原色の各画素値（ｒ，ｇ，ｂ）を有する第２のカラー画素と、の類否判定を行うことができる。なお、実際には、この図２５に示す各手順は、コンピュータによって実行されることになる。 FIG. 25 is a flowchart showing the procedure of the similarity determination method described so far. According to this similarity determination method, the first color pixel having each pixel value (R, G, B) of the three primary colors, and the second color pixel having each pixel value (r, g, b) of the three primary colors, Similarity determination can be performed. In practice, each procedure shown in FIG. 25 is executed by a computer.
まず、ステップＳ１１では、回転楕円体Ｅのサイズを決めるパラメータｈ，ｋを設定する。前述したとおり、パラメータｈは、回転楕円体Ｅの長軸半径αを決定する値（ｈ＜１）であり、長軸半径はα＝ｈ・Ｄなる式で定められる。また、パラメータｋは、回転楕円体Ｅの短軸半径βを決定する値（ｋ＜ｈ）であり、短軸半径はβ＝ｋ・Ｄなる式で定められる。これらパラメータｈ，ｋの値は、背景画像の特徴（たとえば、屋外か屋内か、街中か郊外か、といった種別）や、移動物体として侵入してくる前景画像の特徴（たとえば、車両か人間か、といった種別）を考慮して、できるだけ高い検出精度が得られるような値に適宜設定することになる。本願発明者が行った実験によれば、一般的な用途の場合、ｈ＝０．４５〜０．２０、ｋ＝０．１５〜０．０５程度の値に設定すれば、比較的高い検出精度が得られる。図９に示す移動物体検出装置の場合、パラメータ設定部３４０に対する操作入力により、パラメータｈ，ｋの値を任意に設定することができる。
First, in step S11, parameters h and k for determining the size of the spheroid E are set. As described above, the parameter h is a value (h <1) that determines the major axis radius α of the spheroid E, and the major axis radius is determined by the equation α = h · D. The parameter k is a value (k <h) that determines the minor axis radius β of the spheroid E, and the minor axis radius is determined by the equation β = k · D. The values of these parameters h and k are the characteristics of the background image (for example, the type of outdoor or indoor, city or suburb), and the characteristics of the foreground image that enters as a moving object (for example, whether it is a vehicle or a human, Therefore, the value is set as appropriate so that the highest possible detection accuracy can be obtained. According to experiments conducted by the present inventor, in the case of general applications, relatively high detection accuracy can be achieved by setting h = 0.45 to 0.20 and k = 0.15 to 0.05. Is obtained. In the case of the moving object detection device shown in FIG. 9, the values of the parameters h and k can be arbitrarily set by an operation input to the
続く、ステップＳ１２では、基準点Ｑ（Ｒ，Ｇ，Ｂ）と比較点ｑ（ｒ，ｇ，ｂ）の座標値（Ｒ，Ｇ，Ｂ）および（ｒ，ｇ，ｂ）が取り込まれる。これらの座標値は、それぞれ２つのカラー画像の三原色の画素値として与えられた値である。これら座標値が取り込まれたら、準備段階は完了である。すなわち、コンピュータには、パラメータｈ（ｈ＜１）およびｋ（ｋ＜ｈ）、画素値（Ｒ，Ｇ，Ｂ）および（ｒ，ｇ，ｂ）の値が取り込まれた状態となり、これらの値を用いて、以下の演算処理を実行する準備が整ったことになる。 In step S12, the coordinate values (R, G, B) and (r, g, b) of the reference point Q (R, G, B) and the comparison point q (r, g, b) are captured. These coordinate values are values given as pixel values of the three primary colors of the two color images. Once these coordinate values are captured, the preparation stage is complete. That is, the parameters h (h <1) and k (k <h) and the pixel values (R, G, B) and (r, g, b) are taken into the computer, and these values are obtained. This completes the preparation for executing the following arithmetic processing.
以下、ステップＳ１３〜Ｓ１８に示す手順は、図１５に示すように、三原色の各画素値を各座標軸にとった三次元座標系において、画素値（Ｒ，Ｇ，Ｂ）に対応する座標をもつ基準点Ｑを中心とする所定サイズの回転楕円体Ｅと、画素値（ｒ，ｇ，ｂ）に対応する座標をもつ比較点ｑとについて、後者が前者の内部にあるか外部にあるかを調べる位置関係判定段階の手順である。 Hereinafter, the procedures shown in steps S13 to S18 have coordinates corresponding to the pixel values (R, G, B) in a three-dimensional coordinate system in which the pixel values of the three primary colors are taken as the coordinate axes, as shown in FIG. For the spheroid E of a predetermined size centered on the reference point Q and the comparison point q having coordinates corresponding to the pixel value (r, g, b), whether the latter is inside or outside the former This is the procedure of the positional relationship determination stage to be examined.
具体的には、既に述べたとおり、三次元座標系の原点Ｏと基準点Ｑとの距離Ｄに、所定のパラメータｈ（但し、ｈ＜１）を乗じて求まる値α＝ｈ・Ｄを長軸半径とし、所定のパラメータｋ（但し、ｋ＜ｈ）を乗じて求まる値β＝ｋ・Ｄを短軸半径とする楕円を、原点Ｏと基準点Ｑとを結ぶ基準軸Ｚ上に長軸が重なるように、かつ、基準点Ｑが中心点となるように配置し、この基準軸Ｚを中心に回転させることにより得られる回転楕円体Ｅを定義する。そして、比較点ｑがこの回転楕円体Ｅの内部にあるか外部にあるかを判定することになる。なお、実際には、前述したような近似を行うため、論理的には、回転楕円体Ｅの代わりに、その近似体について、内部にあるか外部にあるかの判定が行われることになる。この位置関係判定段階は、３つの条件判定段階によって構成される。 Specifically, as described above, the value α = h · D obtained by multiplying the distance D between the origin O of the three-dimensional coordinate system and the reference point Q by a predetermined parameter h (where h <1) is long. An ellipse having a short axis radius of β = k · D, which is obtained by multiplying a predetermined parameter k (where k <h), is a long axis on a reference axis Z connecting the origin O and the reference point Q. Are arranged so that the reference points Q are the center points, and a spheroid E obtained by rotating around the reference axis Z is defined. Then, it is determined whether the comparison point q is inside or outside the spheroid E. Actually, since the approximation as described above is performed, instead of the spheroid E, it is logically determined whether the approximate body is inside or outside. This positional relationship determination stage includes three condition determination stages.
まず、ステップＳ１３に示す第１の条件判定段階では、図１７に示すように、「原点Ｏを中心とし半径（Ｄ−α）の球Ｃ１の内側に比較点ｑが位置する」もしくは「原点Ｏを中心とし半径（Ｄ＋α）の球Ｃ２の外側に比較点ｑが位置する」という条件を満足するか否かの判定が行われる。そのためには、図１８で説明したとおり、
（１−ｈ）２・Ｄ２＞ｄ２ 式（２）
もしくは
（１＋ｈ）２・Ｄ２＜ｄ２ 式（３）
という条件を満足するか否かを判定するための演算を行えばよい。ここで、
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）
であるから、結局、ステップＳ１３のブロック内に記載したように、
（１−ｈ）２・（Ｒ２＋Ｇ２＋Ｂ２）＞（ｒ２＋ｇ２＋ｂ２） 式（２′）
もしくは
（１＋ｈ）２・（Ｒ２＋Ｇ２＋Ｂ２）＜（ｒ２＋ｇ２＋ｂ２） 式（３′）
という条件を満足するか否かを判定する演算を行えばよい。
First, in the first condition determination stage shown in step S13, as shown in FIG. 17, “the comparison point q is located inside the sphere C1 having the radius (D−α) around the origin O” or “the origin O It is determined whether or not the condition that the comparison point q is located outside the sphere C2 having the radius (D + α) as the center ”is satisfied. For that purpose, as explained in FIG.
(1-h) 2 · D 2 > d 2 Formula (2)
Or
(1 + h) 2 · D 2 <d 2 formula (3)
An operation for determining whether or not the above condition is satisfied may be performed. here,
D 2 = (R 2 + G 2 + B 2 )
d 2 = (r 2 + g 2 + b 2 )
Therefore, after all, as described in the block of step S13,
(1-h) 2 · (R 2 + G 2 + B 2 )> (r 2 + g 2 + b 2 ) Formula (2 ′)
Or (1 + h) 2 · (R 2 + G 2 + B 2 ) <(r 2 + g 2 + b 2 ) Formula (3 ′)
An operation for determining whether or not the above condition is satisfied may be performed.
このステップＳ１３に示す第１の条件判定段階において、肯定的な判定がなされた場合（式（２′）もしくは式（３′）の条件を満足する場合）は、ステップＳ１４からステップＳ１９へと進み、位置関係判定段階は終結する。一方、否定的判定がなされた場合には、ステップＳ１４からステップＳ１５へと進む。 If a positive determination is made in the first condition determination stage shown in step S13 (when the condition of expression (2 ′) or expression (3 ′) is satisfied), the process proceeds from step S14 to step S19. The positional relationship determination step ends. On the other hand, if a negative determination is made, the process proceeds from step S14 to step S15.
ステップＳ１５に示す第２の条件判定段階では、図１９に示すように、「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξの外側に比較点ｑが位置する」という第２の条件を満足するか否かの判定が行われる。ただ、前述したとおり、実用上は、円錐ξの代わりに円錐ξ′を用い、しかもｆ≒βと近似する式が用いられる。このような近似的な判定手法を採る場合は、第２の条件は「回転楕円体Ｅの近似体の外側に比較点ｑが位置する」という条件になる。 In the second condition determination stage shown in step S15, as shown in FIG. 19, “the comparison point q is outside the cone ξ with the origin O as the apex and the reference axis Z as the center axis and in contact with the spheroid E with a circle. It is determined whether or not the second condition “located” is satisfied. However, as described above, in practice, an expression that uses a cone ξ ′ instead of the cone ξ and approximates f≈β is used. When such an approximate determination method is employed, the second condition is that the comparison point q is located outside the approximated body of the spheroid E.
この近似的な判定手法を採るのであれば、図２２に示すとおり、
γ２／（Ｄ２・ｄ２）＜（１−ｋ２／２）２ 式（１１）
という条件を満足するか否かを判定するための演算を行えばよい。ここで、
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）、
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
であるから、結局、ステップＳ１５のブロック内に記載したように、
（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）２／
（（Ｒ２＋Ｇ２＋Ｂ２）・（ｒ２＋ｇ２＋ｂ２））
＜（１−ｋ２／２）２ 式（１１′）
という条件を満足するか否かを判定する演算を行えばよい。
If this approximate determination method is adopted, as shown in FIG.
γ 2 / (D 2 · d 2) <(1-
An operation for determining whether or not the above condition is satisfied may be performed. here,
D 2 = (R 2 + G 2 + B 2 )
d 2 = (r 2 + g 2 + b 2 ),
γ = (R · r + G · g + B · b)
Therefore, after all, as described in the block of step S15,
(R · r + G · g + B · b) 2 /
((R 2 + G 2 + B 2 ) · (r 2 + g 2 + b 2 ))
<(1-k 2/2 ) 2 formula (11 ')
An operation for determining whether or not the above condition is satisfied may be performed.
このステップＳ１５に示す第２の条件判定段階において、肯定的な判定がなされた場合（式（１１′）の条件を満足する場合）は、ステップＳ１６からステップＳ１９へと進み、位置関係判定段階は終結する。一方、否定的判定がなされた場合には、ステップＳ１６からステップＳ１７へと進む。 If an affirmative determination is made in the second condition determination step shown in step S15 (when the condition of expression (11 ′) is satisfied), the process proceeds from step S16 to step S19, and the positional relationship determination step is performed. End. On the other hand, if a negative determination is made, the process proceeds from step S16 to step S17.
ステップＳ１７に示す第３の条件判定段階では、図２３に示すように、「回転楕円体Ｅの外側に比較点ｑが位置する」という第３の条件を満足するか否かの判定が行われる。そのためには、ステップＳ１７のブロック内に記載したように、
β２・ｘ２＋α２・ｙ２−α２・β２＞０ 式（１５）
という条件を満足するか否かを判定するための演算を行えばよい。ここで、各変数は、図２４で説明したとおり、
α２＝ｈ２・Ｄ２、 β２＝ｋ２・Ｄ２ 式（１６）
ｘ２＝Ｄ２＋γ２／Ｄ２−２γ 式（１７）
ｙ２＝ｄ２−γ２／Ｄ２ 式（１８）
であり、また、既に述べたとおり、
Ｄ２＝（Ｒ２＋Ｇ２＋Ｂ２）
ｄ２＝（ｒ２＋ｇ２＋ｂ２）
γ＝（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）
である。
In the third condition determination stage shown in step S17, as shown in FIG. 23, it is determined whether or not the third condition “the comparison point q is located outside the spheroid E” is satisfied. . To do so, as described in the block of step S17,
β 2 · x 2 + α 2 · y 2 -α 2 · β 2 > 0 Formula (15)
An operation for determining whether or not the above condition is satisfied may be performed. Here, as described in FIG.
α 2 = h 2 · D 2 , β 2 = k 2 · D 2 (16)
x 2 = D 2 + γ 2 / D 2 -2γ Formula (17)
y 2 = d 2 −γ 2 / D 2 formula (18)
And as already mentioned,
D 2 = (R 2 + G 2 + B 2 )
d 2 = (r 2 + g 2 + b 2 )
γ = (R · r + G · g + B · b)
It is.
このステップＳ１７に示す第３の条件判定段階において、肯定的な判定がなされた場合（式（１５）の条件を満足する場合）は、ステップＳ１８からステップＳ１９へと進み、位置関係判定段階は終結する。一方、否定的判定がなされた場合には、ステップＳ１８からステップＳ２０へと進み、やはり位置関係判定段階は終結する。 If a positive determination is made in the third condition determination stage shown in step S17 (when the condition of expression (15) is satisfied), the process proceeds from step S18 to step S19, and the positional relationship determination stage is terminated. To do. On the other hand, if a negative determination is made, the process proceeds from step S18 to step S20, and the positional relationship determination stage is also terminated.
ここで注目すべき点は、以上の第１〜第３の条件判定段階で行われる条件判定式には、加減乗除演算のみしか含まれていない点である。すなわち、一般的な幾何学演算に含まれている開平演算や三角関数演算は一切含まれていない。したがって、演算装置の負担は比較的軽いものになり、安価なプロセッサを用いた場合でも、リアルタイム処理が可能になる。 What should be noted here is that the condition determination formulas performed in the first to third condition determination stages described above include only addition / subtraction / multiplication / division calculations. In other words, it does not include any square root or trigonometric function operations that are included in general geometric operations. Therefore, the burden on the arithmetic unit is relatively light, and real-time processing is possible even when an inexpensive processor is used.
最後に、ステップＳ１９もしくはステップＳ２０に示す判定結果出力段階が行われる。すなわち、上述したとおり、第１の条件判定段階（ステップＳ１３）、第２の条件判定段階（ステップＳ１５）、第３の条件判定段階（ステップＳ１７）のいずれかにおいて肯定的判定がなされた場合には、ステップＳ１９へと進み、第１のカラー画素と第２のカラー画素とが非類似との判定結果が出力される。一方、第１の条件判定段階（ステップＳ１３）、前記第２の条件判定段階（ステップＳ１５）、前記第３の条件判定段階（ステップＳ１７）のすべてにおいて否定的判定がなされた場合には、ステップＳ２０へ進み、第１のカラー画素と第２のカラー画素とが類似するとの判定結果が出力される。 Finally, the determination result output stage shown in step S19 or step S20 is performed. That is, as described above, when a positive determination is made in any of the first condition determination stage (step S13), the second condition determination stage (step S15), and the third condition determination stage (step S17). Advances to step S19, and a determination result that the first color pixel and the second color pixel are dissimilar is output. On the other hand, if a negative determination is made in all of the first condition determination stage (step S13), the second condition determination stage (step S15), and the third condition determination stage (step S17), The process proceeds to S20, and a determination result that the first color pixel and the second color pixel are similar is output.
要するに、この図２５の流れ図に示す手順によれば、回転楕円体Ｅもしくはその近似体の外部に比較点ｑがあると判断された場合には、第１のカラー画素と第２のカラー画素とが非類似との判定結果が出力され、回転楕円体Ｅもしくはその近似体の内部に比較点ｑがあると判断された場合には、第１のカラー画素と第２のカラー画素とが類似するとの判定結果が出力されることになる。ステップＳ１５の第２の条件判定段階は、ステップＳ１３の第１の条件判定段階において否定的判定がなされた場合にのみ実行され、同様に、ステップＳ１７の第３の条件判定段階は、ステップＳ１５の第２の条件判定段階において否定的判定がなされた場合にのみ実行されることになるので、無駄な演算を省くことが可能になり、演算負担の軽減を図ることができる。 In short, according to the procedure shown in the flowchart of FIG. 25, when it is determined that the comparison point q is outside the spheroid E or its approximate body, the first color pixel and the second color pixel Is output as a non-similar determination result, and it is determined that the comparison point q is inside the spheroid E or its approximated body, the first color pixel is similar to the second color pixel. Will be output. The second condition determination stage in step S15 is executed only when a negative determination is made in the first condition determination stage in step S13. Similarly, the third condition determination stage in step S17 is performed in step S15. Since this process is executed only when a negative determination is made in the second condition determination stage, it is possible to omit a useless calculation and to reduce the calculation burden.
特に、パラメータｈ，ｋの値を固定値にした運用を行う場合、ステップＳ１３の演算式（２′），（３′）に用いる（１−ｈ）２および（１＋ｈ）２の値、ステップＳ１５の演算式（１１′）に用いる（１−ｋ２／２）２の値は、予め決められた定数として用意しておくことができるので、演算負担を更に軽減することができる。実際には、まず、（Ｒ２＋Ｇ２＋Ｂ２）の値および（ｒ２＋ｇ２＋ｂ２）の値を計算してしまえば、ステップＳ１３の演算式（２′），（３′）に係る演算は、上記定数を利用した極めて単純な演算になる。同様に、ステップＳ１５の演算式（１１′）に係る演算も、（Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ）の値を計算してしまえば、既に計算済みの（Ｒ２＋Ｇ２＋Ｂ２）の値および（ｒ２＋ｇ２＋ｂ２）の値と、上記定数を利用することにより、極めて単純な演算になる。
In particular, when an operation is performed in which the values of the parameters h and k are fixed values, the values of (1−h) 2 and (1 + h) 2 used in the arithmetic expressions (2 ′) and (3 ′) in step S13, step S15 the value of using the arithmetic expression (11 ') (1-
＜＜＜ §９．前背判定部の実用的な構成 ＞＞＞
ここでは、図９に示す前背判定部４５０において、画素の類否判定に、§８で述べた実用的な類否判定手順を採用する場合の構成を説明する。図２６は、この前背判定部４５０の構成を示すブロック図である。既に述べたとおり、前背判定部４５０は、第１判定部４２０、第２判定部４３０、総合判定部４４０によって構成されている。
<<< §9. Practical configuration of foreground judgment unit >>>
Here, the configuration in the case where the practical similarity determination procedure described in §8 is adopted for the similarity determination of the pixels in the
ここで、第１判定部４２０は、第ｉ番目の原画像Ｐ（ｉ）を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の平均画像Ａ（ｉ−１）を構成する画素の画素値ａ（ｉ−１）とを比較して類似するか否かを判定する処理を行い、第２判定部４３０は、第ｉ番目の原画像Ｐ（ｉ）を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の参照画像Ｕ（ｉ−１）を構成する画素の画素値ｕ（ｉ−１）とを比較して類似するか否かを判定する処理を行う。一方、総合判定部４４０は、図示の表に示すとおり、第１判定部４２０による判定結果および第２判定部４３０による判定結果の少なくとも一方が類似を示す場合には背景画素との判定を行い判定結果Ｊ＝１を出力し、双方とも非類似を示す場合には前景画素との判定を行い判定結果Ｊ＝０を出力する。
Here, the
第１判定部４２０および第２判定部４３０が、類似との判定結果を論理１、非類似との判定結果を論理０として出力するようにしておけば、総合判定部４４０は、これらの論理値の論理和を判定結果Ｊとして出力することができるので、総合判定部４４０を論理和回路によって構成することができる。
If the
図２７は、図２６に示す第１判定部４２０の詳細構成を示すブロック図である。この第１判定部４２０は、§８で述べた回転楕円体モデルを利用した実用的な類否判定手順を採用し、図示のとおり、基本演算部４２１、第１の条件判定部４２２、第２の条件判定部４２３、第３の条件判定部４２４、判定値出力部４２５、パラメータ保持部４２６によって構成されている。
FIG. 27 is a block diagram showing a detailed configuration of the
パラメータ保持部４２６は、パラメータｈおよびｋの値を保持する構成要素であり、図９に示すパラメータ設定部３４０を設けた場合には、このパラメータ設定部３４０によって設定されたパラメータｈおよびｋの値がパラメータ保持部４２６に書き込まれることになる。パラメータｈおよびｋの値を固定にする場合には、当該固定値がパラメータ保持部４２６に保持される。
The
基本演算部４２１は、図９に示す画素値読出部４１０が読み出した基準画素値（Ｒ，Ｇ，Ｂ）（画素ｐ（ｉ）の画素値）と比較画素値（ｒ，ｇ，ｂ）（画素ａ（ｉ−１）の画素値）とに基づいて、
Ｄ２＝Ｒ２＋Ｇ２＋Ｂ２ および
ｄ２＝ｒ２＋ｇ２＋ｂ２
なる演算を行い、値Ｄ２および値ｄ２を算出する構成要素である。ここで算出された値Ｄ２および値ｄ２は、第１の条件判定部４２２、第２の条件判定部４２３、第３の条件判定部４２４における演算で利用される。
The
D 2 = R 2 + G 2 + B 2 and
d 2 = r 2 + g 2 + b 2
Performed becomes operational, a component that calculates a value D 2 and the value d 2. The value D 2 and the value d 2 calculated here are used in calculations in the first
第１の条件判定部４２２は、図１７に示すように、「原点Ｏを中心とし半径（Ｄ−α）の球Ｃ１の内側に比較点ｑが位置する」もしくは「原点Ｏを中心とし半径（Ｄ＋α）の球Ｃ２の外側に比較点ｑが位置する」という第１の条件を満足するか否かを判定する構成要素である。そのために、基本演算部４２１が算出した値Ｄ２および値ｄ２とパラメータ保持部４２６に保持されているパラメータｈの値とを用いて、
（１−ｈ）２・Ｄ２＞ｄ２ 式（２）
もしくは
（１＋ｈ）２・Ｄ２＜ｄ２ 式（３）
という条件を満足するか否かを判定するための演算を行う。そして、「条件満足」との肯定的判定が行われた場合、当該判定結果は、判定値出力部４２５に報知される。一方、「条件満足せず」との否定的判定が行われた場合、当該判定結果は、第２の条件判定部４２３に報知される。
As shown in FIG. 17, the first
(1-h) 2 · D 2 > d 2 Formula (2)
Or
(1 + h) 2 · D 2 <d 2 formula (3)
An operation for determining whether or not the condition is satisfied is performed. Then, when an affirmative determination that “condition is satisfied” is made, the determination result is notified to the determination
第２の条件判定部４２３は、第１の条件判定部４２２から、「条件満足せず」との否定的判定結果が報知された場合に限り、条件判定処理を実行する構成要素である。ここで行われる処理の目的は、図１９に示すように、「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξの外側に比較点ｑが位置する」という第２の条件を満足するか否かを判定することにある。ただ、実用上は、演算負担を軽減するために、円錐ξの代わりに円錐ξ′を用いた判定を行うようにするのが好ましい。
The second
すなわち、原点Ｏを中心とする半径Ｄの球面Ｃ３と回転楕円体Ｅとの交線を構成する円を交線円Ｓとしたときに、「原点Ｏを頂点、基準軸Ｚを中心軸とし、交線円Ｓを通る円錐ξ′の外側に比較点ｑが位置する」という第２の条件を満足するか否かを判定すればよい。このとき、演算負担を更に軽減するために、交線円Ｓ上の任意の点と基準点Ｑとの距離ｆが短軸半径βに等しいとおいた近似式を用いて近似的な判定を行うようにするのが好ましい。 That is, when a circle constituting an intersection line of the spherical surface C3 having a radius D centered on the origin O and the spheroid E is defined as an intersection circle S, “the origin O is the vertex and the reference axis Z is the central axis It may be determined whether or not the second condition that the comparison point q is located outside the cone ξ ′ passing through the intersection circle S is satisfied. At this time, in order to further reduce the calculation burden, an approximate determination is performed using an approximate expression in which the distance f between an arbitrary point on the intersection circle S and the reference point Q is equal to the minor axis radius β. Is preferable.
このような近似的な判定を行う場合、第２の条件判定部４２３は、画素値読出部４１０が読み出した基準画素値（Ｒ，Ｇ，Ｂ）および比較画素値（ｒ，ｇ，ｂ）に基づいて、
γ＝Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ
なる演算を行い、値γを算出し、更に、基本演算部４２１が算出した値Ｄ２および値ｄ２とパラメータ保持部４２６に保持されているパラメータｋの値と、算出した値γとを用いて、
γ２／（Ｄ２・ｄ２）＜（１−ｋ２／２）２ 式（１１）
という条件を満足するか否かを判定するための演算を行えばよい。結局、この式（１１）の演算式で示される条件は、「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξの近似体の外側に比較点ｑが位置する」という条件になる。
When performing such approximate determination, the second
γ = R · r + G · g + B · b
And the value γ is calculated, and the value D 2 and the value d 2 calculated by the
γ 2 / (D 2 · d 2) <(1-
An operation for determining whether or not the above condition is satisfied may be performed. After all, the condition indicated by the arithmetic expression of the equation (11) is that “the comparison point q is outside the approximated body of the cone ξ that is in contact with the spheroid E and the circle with the origin O as the apex and the reference axis Z as the central axis. It is a condition of “position”.
そして、この第２の条件判定部４２３において、「条件満足」との肯定的判定が行われた場合、当該判定結果は、判定値出力部４２５に報知される。一方、「条件満足せず」との否定的判定が行われた場合、当該判定結果は、γの値とともに、第３の条件判定部４２４に報知される。
When the second
第３の条件判定部４２４は、第２の条件判定部４２３から、「条件満足せず」との否定的判定結果が報知された場合に限り、条件判定処理を実行する構成要素である。ここで行われる処理の目的は、図２３に示すように、「回転楕円体Ｅの外側に比較点ｑが位置する」という第３の条件を満足するか否かを判定することにある。そのため、第３の条件判定部４２４は、基本演算部４２１が算出した値Ｄ２および値ｄ２と、パラメータ保持部４２６に保持されているパラメータｈおよびｋの値と、第２の条件判定部４２３が算出した値γとを用いて、
α２＝ｈ２・Ｄ２、 β２＝ｋ２・Ｄ２ 式（１６）
ｘ２＝Ｄ２＋γ２／Ｄ２−２γ 式（１７）
ｙ２＝ｄ２−γ２／Ｄ２ 式（１８）
なる演算を行い、当該演算結果を用いて、
β２・ｘ２＋α２・ｙ２−α２・β２＞０ 式（１５）
という条件を満足するか否かを判定するための演算を行う。
The third condition determination unit 424 is a component that executes the condition determination process only when the second
α 2 = h 2 · D 2 , β 2 = k 2 · D 2 (16)
x 2 = D 2 + γ 2 / D 2 -2γ Formula (17)
y 2 = d 2 −γ 2 / D 2 formula (18)
And using the calculation result,
β 2 · x 2 + α 2 · y 2 -α 2 · β 2 > 0 Formula (15)
An operation for determining whether or not the condition is satisfied is performed.
そして、この第３の条件判定部４２４における「条件満足」との肯定的判定結果もしくは「条件満足せず」との否定的判定結果は、判定値出力部４２５に報知される。
Then, a positive determination result of “condition satisfaction” or a negative determination result of “condition not satisfied” in the third condition determination unit 424 is notified to the determination
判定値出力部４２５は、第１の条件判定部４２２、第２の条件判定部４２３、第３の条件判定部４２４のいずれかが「条件満足」との肯定的判定を行った場合に、非類似との判定結果（論理値「０」）を出力し、第１の条件判定部４２２、第２の条件判定部４２３、第３の条件判定部４２４のすべてが「条件満足せず」との否定的判定を行った場合に、類似との判定結果（論理値「１」）を出力する。
The determination
以上、図２７を参照して、第１判定部４２０の詳細構成を述べたが、第２判定部４３０の構成もこれと全く同様である。なお、第１判定部４２０による類否判定に用いられる回転楕円体と第２判定部４３０による類否判定に用いられる回転楕円体とは、両判定部における判定基準を統一するために、同一サイズの回転楕円体とし、三次元座標系上の同一位置に配置するのが好ましい。
The detailed configuration of the
既に述べたとおり、上記条件判定式には、加減乗除演算のみしか含まれていないため、一般的な幾何学演算に必要とされる開平演算や三角関数演算を行う必要はない。したがって、演算装置の負担は比較的軽いものになり、前背判定部４５０を安価なプロセッサを用いて構成した場合でも、リアルタイム処理が可能になる。
As described above, the condition determination formula includes only addition / subtraction / division / division operations, and therefore, it is not necessary to perform square root extraction operations or trigonometric function operations necessary for general geometric operations. Therefore, the burden on the arithmetic unit is relatively light, and real-time processing is possible even when the
なお、これまで述べた条件判定式には、「不等号＞」や「不等号＜」を含む演算式が含まれているが、これらの演算式の一部もしくは全部について、「不等号＞」の代わりに「不等号≧」を用いた演算式、もしくは「不等号＜」の代わりに「不等号≦」を用いた演算式を用いてもかまわない。すなわち、各条件判定式は、比較点ｑが何らかの図形の内側領域にあるか外側領域にあるかを示すものであるが、当該図形の境界面上の点は、当該図形の内側領域に含ませても、外側領域に含ませてもかまわない。 Note that the conditional judgment expressions described so far include arithmetic expressions including “inequality sign>” and “inequal sign <”. For some or all of these arithmetic expressions, instead of “inequality sign>”. An arithmetic expression using “inequality sign ≧” or an arithmetic expression using “inequality sign ≦” instead of “inequality sign <” may be used. That is, each condition determination expression indicates whether the comparison point q is in the inner region or the outer region of some graphic, but the point on the boundary surface of the graphic is included in the inner region of the graphic. However, it may be included in the outer region.
また、これまで述べた実施形態では、三原色を示す符号として、便宜上、（Ｒ，Ｇ，Ｂ）もしくは（ｒ，ｇ，ｂ）という符号を用いているが、これらの符号は、必ずしも（赤，緑，青）なる三原色を意味するものではない。一般的には、ビデオカメラで撮影した画像は、（赤，緑，青）なる三原色の各画素値をもった画素の集合からなるデータとして与えられるが、本発明は、（赤，緑，青）なる三原色を用いた表色系に限定されるものではなく、他の色からなる三原色を用いた別な表色系にも適用可能である。その場合、各演算式に用いられている（Ｒ，Ｇ，Ｂ）もしくは（ｒ，ｇ，ｂ）という符号は、当該別な表色系の三原色の画素値を示すことになる。 In the embodiments described so far, for the sake of convenience, symbols (R, G, B) or (r, g, b) are used as symbols indicating the three primary colors, but these symbols are not necessarily (red, It does not mean the three primary colors (green, blue). In general, an image captured by a video camera is given as data consisting of a set of pixels having pixel values of the three primary colors (red, green, and blue). The present invention is not limited to the color system using the three primary colors, but can be applied to other color systems using the three primary colors composed of other colors. In this case, the symbols (R, G, B) or (r, g, b) used in each arithmetic expression indicate the pixel values of the three primary colors of the other color systems.
＜＜＜ §１０．本発明に係る移動物体検出方法 ＞＞＞
最後に、本発明を方法の発明として捉えた場合に、当該方法を構成する個々の手順を説明する。この方法は、動画画像について移動物体を検出する移動物体検出方法であり、実用上、この方法を構成する各手順はコンピュータによって実行される。
<<< §10. Moving object detection method according to the present invention >>
Finally, when the present invention is regarded as a method invention, individual procedures constituting the method will be described. This method is a moving object detection method for detecting a moving object for a moving image, and practically, each procedure constituting this method is executed by a computer.
すなわち、本発明に係る移動物体検出方法は、コンピュータが、時系列で連続的に与えられるフレーム単位のカラー原画像を、三原色の各画素値を有する画素の集合体データとして入力する画像入力段階と、コンピュータが、新たな原画像が入力されるたびに、当該新たな原画像と直前に作成した平均画像とに基づいて、新たな平均画像を作成する平均画像作成段階と、コンピュータが、新たな原画像が入力されるたびに、当該新たな原画像と直前に作成した参照画像とに基づいて、新たな参照画像を作成する参照画像作成段階と、コンピュータが、原画像と平均画像と参照画像とを用いた比較処理により、前景領域と背景領域とを区別するマスク画像を作成する画像比較段階と、コンピュータが、作成されたマスク画像を出力する画像出力段階と、によって構成される。 That is, the moving object detection method according to the present invention includes an image input stage in which a computer inputs a frame-unit color original image continuously given in time series as pixel aggregate data having pixel values of three primary colors. Each time a new original image is input, the computer creates an average image creation stage for creating a new average image based on the new original image and the average image created immediately before. Each time an original image is input, a reference image creation stage for creating a new reference image based on the new original image and the reference image created immediately before, and the computer, the original image, the average image, and the reference image The image comparison stage that creates a mask image that distinguishes the foreground area from the background area by comparison processing using and the image output that the computer outputs the created mask image And floor, composed by.
ここで、画像比較段階は、第ｉ番目の原画像、第（ｉ−１）番目の平均画像、第（ｉ−１）番目の参照画像から、それぞれ対応する所定位置にある画素の三原色の各画素値を読み出す画素値読出ステップと、第ｉ番目の原画像を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の平均画像を構成する画素の画素値ａ（ｉ−１）とが類似するか否かを判定する第１判定処理と、第ｉ番目の原画像を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の参照画像を構成する画素の画素値ｕ（ｉ−１）とが類似するか否かを判定する第２判定処理と、を行い、第ｉ番目の原画像の所定位置にある画素について、第１判定処理による判定結果と第２判定処理による判定結果との少なくとも一方が類似を示す場合には背景画素、双方とも非類似を示す場合には前景画素との判定を行う前背判定ステップと、第ｉ番目のマスク画像を構成する所定位置の画素の画素値として、前背判定ステップにより背景画素と判定された場合には背景領域を示す画素値を、前背判定ステップにより前景画素と判定された場合には前景領域を示す画素値を、それぞれ与えることにより、第ｉ番目のマスク画像を作成するマスク画像作成ステップと、によって構成される。 Here, in the image comparison stage, each of the three primary colors of the pixels at the corresponding predetermined positions from the i-th original image, the (i-1) -th average image, and the (i-1) -th reference image, respectively. A pixel value reading step for reading a pixel value; a pixel value p (i) of a pixel constituting the i-th original image; and a pixel value a (i-1) of a pixel constituting the (i-1) -th average image. ) And the pixel value p (i) of the pixel constituting the i-th original image and the pixel constituting the (i−1) -th reference image. And a second determination process for determining whether or not the pixel value u (i−1) is similar to the determination result obtained by the first determination process for the pixel at a predetermined position of the i-th original image. 2 If at least one of the determination results by the determination process is similar, the background pixels are both dissimilar The foreground determination step for determining the foreground pixel, and the pixel value of the pixel at the predetermined position constituting the i-th mask image as the background pixel when the background pixel is determined by the foreground determination step. And a mask image creation step for creating an i-th mask image by giving a pixel value indicating a foreground area when the pixel value indicating Is done.
また、平均画像作成段階では、第１番目の原画像をそのまま第１番目の平均画像とし、第ｉ番目（ｉ≧２）の平均画像を作成する際には、第ｉ番目の原画像と第（ｉ−１）番目の平均画像とについて、互いに対応する位置にある画素の三原色の各画素値の重みつき平均値をそれぞれ求め、得られた各平均値を各画素値とする画素の集合からなる画像を第ｉ番目の平均画像とする処理が行われる。 Further, in the average image creation stage, the first original image is used as it is as the first average image, and when creating the i-th (i ≧ 2) average image, the i-th original image and the For the (i-1) -th average image, a weighted average value of each pixel value of the three primary colors of the pixels at the corresponding positions is obtained, and from the set of pixels having each obtained average value as each pixel value. Then, the process of setting the image to be the i-th average image is performed.
より具体的には、平均画像作成段階では、最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の平均画像Ａ（１）とする処理を行い、以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の平均画像Ａ（ｉ）を、
ａ（ｉ）＝（１−ｗ）・ａ（ｉ−１）＋ｗ・ｐ（ｉ）
（但し、ａ（ｉ）は、平均画像Ａ（ｉ）の
所定位置の画素の所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
所定位置の画素の所定色の画素値、
ｐ（ｉ）は、原画像Ｐ（ｉ）の
所定位置の画素の所定色の画素値、
ｗは、所定の重みを示すパラメータ（ｗ＜１））
なる演算式を用いて作成する処理が行われる。
More specifically, in the average image creation stage, when the first original image P (1) is input, the original image P (1) is processed as it is as the first average image A (1). Thereafter, every time the i-th original image P (i) is input (i = 2, 3,...), The i-th average image A (i) is
a (i) = (1-w) .a (i-1) + w.p (i)
(However, a (i) is the average image A (i)
A pixel value of a predetermined color of a pixel at a predetermined position,
a (i-1) is the average image A (i-1)
A pixel value of a predetermined color of a pixel at a predetermined position,
p (i) is the original image P (i)
A pixel value of a predetermined color of a pixel at a predetermined position,
w is a parameter indicating a predetermined weight (w <1))
A process of creating using the following arithmetic expression is performed.
一方、参照画像作成段階では、第１番目の原画像をそのまま第１番目の参照画像とし、第ｉ番目（ｉ≧２）の参照画像を作成する際には、第（ｉ−１）番目の参照画像を構成する個々の画素のうち、前背判定ステップにおいて第ｉ番目の原画像の対応画素が前景画素と判定された画素については、更新せずに、もとの画素値をそのまま維持し、前背判定ステップにおいて第ｉ番目の原画像の対応画素が背景画素と判定された画素については、第（ｉ−１）番目の平均画像の対応する位置にある画素との間で、三原色の各画素値の重みつき平均値をそれぞれ求め、得られた各平均値を新画素値として更新することにより、第ｉ番目の参照画像を作成する処理が行われる。 On the other hand, in the reference image creation stage, the first original image is used as the first reference image as it is, and when the i-th (i ≧ 2) reference image is created, the (i−1) -th reference image is created. Of the individual pixels constituting the reference image, the pixel for which the corresponding pixel of the i-th original image is determined to be the foreground pixel in the foreground determination step is not updated and the original pixel value is maintained as it is. The pixels for which the corresponding pixel of the i-th original image is determined to be the background pixel in the foreground determination step are compared with the pixels at the corresponding position of the (i-1) -th average image. A process of creating the i-th reference image is performed by obtaining a weighted average value of each pixel value and updating each obtained average value as a new pixel value.
より具体的には、参照画像作成段階では、最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の参照画像Ｕ（１）とする処理を行い、以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の参照画像Ｕ（ｉ）の各画素値を、
背景画素と判定された画素については、
ｕ（ｉ）＝（１−ｖ）・ｕ（ｉ−１）＋ｖ・ａ（ｉ−１）
（但し、ｕ（ｉ）は、平均画像Ｕ（ｉ）の
所定位置の画素の所定色の画素値、
ｕ（ｉ−１）は、平均画像Ｕ（ｉ−１）の
所定位置の画素の所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
所定位置の画素の所定色の画素値、
ｖは、所定の重みを示すパラメータ（ｖ＜１、かつｗ＞ｖ））
なる演算式を用いて求められた画素値ｕ（ｉ）に更新し、
前景画素と判定された画素については、
ｕ（ｉ）＝ｕ（ｉ−１）
として、更新せずに、もとの画素値をそのまま維持することにより、参照画像Ｕ（ｉ）を作成する処理が行われる。
More specifically, in the reference image creation stage, when the first original image P (1) is input, the original image P (1) is used as it is as the first reference image U (1). Thereafter, each time the i-th original image P (i) is input (i = 2, 3,...), The pixel values of the i-th reference image U (i) are
For pixels determined to be background pixels,
u (i) = (1-v) .u (i-1) + v.a (i-1)
(However, u (i) is the average image U (i)
A pixel value of a predetermined color of a pixel at a predetermined position,
u (i-1) is the average image U (i-1)
A pixel value of a predetermined color of a pixel at a predetermined position,
a (i-1) is the average image A (i-1)
A pixel value of a predetermined color of a pixel at a predetermined position,
v is a parameter indicating a predetermined weight (v <1, and w> v))
Updated to the pixel value u (i) obtained using the following equation:
For pixels determined to be foreground pixels,
u (i) = u (i-1)
As described above, the process of creating the reference image U (i) is performed by maintaining the original pixel value as it is without updating.
１１０：画像入力部
１２０：原画像格納部
１３０：平均画像作成部
１３５：参照画像作成部
１４０：平均画像格納部
１４５：参照画像格納部
２００：画像比較部
２１０：画素値読出部
２２０：類否判定部
２３０：画素値書込部
３１０：マスク画像格納部
３２０：画像出力部
３３０：パラメータ設定部
３４０：パラメータ設定部
４００：画像比較部
４１０：画素値読出部
４２０：第１判定部
４２１：基本演算部
４２２：第１の条件判定部
４２３：第２の条件判定部
４２４：第３の条件判定部
４２５：判定値出力部
４２６：パラメータ保持部
４３０：第２判定部
４４０：総合判定部
４５０：前背判定部
４６０：画素値書込部
Ａ（１）〜Ａ（ｉ）：平均画像
Ａ，Ａ（Ｒａ，Ｇａ，Ｂａ）：平均画像の画素値を示す座標点
ａ：三角形の一辺
ａ（ｉ−１），ａ（ｉ）：平均画像を構成する１つの画素もしくはその画素値
Ｂ：背景領域／三原色の画素値（基準画素値）
ｂ：三原色の画素値（比較画素値）／三角形の一辺
Ｃ：円柱モデルの円柱
Ｃ１，Ｃ２：球
Ｃ３：球面
ｃ：三角形の一辺
Ｄ：原点Ｏと基準点Ｑとの距離
ｄ：原点Ｏと比較点ｑとの距離
Ｅ，Ｅａ，Ｅｐ：回転楕円体
Ｅ１：回転楕円体Ｅの最近接点
Ｅ２：回転楕円体Ｅの最遠隔点
Ｆ：前景領域
ｆ：交線円Ｓ上の任意の点と基準点Ｑとの距離
Ｇ：三原色の画素値（基準画素値）
ｇ：三原色の画素値（比較画素値）
ｈ：回転楕円体Ｅの長軸半径αを定めるパラメータ
ｉ：時系列の番号
Ｊ：判定結果を示す論理値（０：前景／１：背景）
ｋ：回転楕円体Ｅの短軸半径βを定めるパラメータ
Ｌ：円柱Ｃの長さ
Ｌａ１：回転楕円体Ｅａの長軸方向の長さ
Ｌａ２：回転楕円体Ｅａの短軸方向の長さ
Ｌｐ１：回転楕円体Ｅｐの長軸方向の長さ
Ｌｐ２：回転楕円体Ｅｐの短軸方向の長さ
Ｍ：マスク画像
Ｍ（１）〜Ｍ（ｉ），Ｍ（ｉ＋１），Ｍ１０〜Ｍ４０：マスク画像
ｍ（ｉ）：マスク画像を構成する１つの画素の画素値
Ｏ：三次元色空間を構成するＲＧＢ座標系の原点
Ｐ：原画像／原画像の画素値を示す座標点
Ｐ（１）〜Ｐ（ｉ），Ｐ（ｉ＋１），Ｐ１０〜Ｐ４０：原画像（入力画像）
Ｐ（Ｒｐ，Ｇｐ，Ｂｐ）：原画像の画素値を示す座標点
ｐ（ｉ）：原画像を構成する１つの画素もしくはその画素値
Ｑ：基準点（画素値（Ｒ，Ｇ，Ｂ）をもった座標点）
ｑ：比較点（画素値（ｒ，ｇ，ｂ）をもった座標点）
Ｒ：三原色の画素値（基準画素値）
ｒ：三原色の画素値（比較画素値）
Ｓ：交線円（球面Ｃ３と回転楕円体Ｅとの交線）
Ｓ１１〜Ｓ２０：流れ図の各ステップ
Ｔ：接線円（円錐ξと回転楕円体Ｅとの接線）
ｔ：基準点Ｑと比較点ｑとの距離
ｔ１〜ｔ１５：時系列の各時点
Ｕ（１）〜Ｕ（ｉ）：参照画像
ｕ（ｉ−１），ｕ（ｉ）：参照画像を構成する１つの画素もしくはその画素値
Ｖ：基準画素値を示すベクトル／車両
Ｖａ：平均画像の画素値を示すベクトル
Ｖｐ：原画像の画素値を示すベクトル
ｖ：重みを示すパラメータ
ｗ：重みを示すパラメータ
Ｘ：座標軸
ｘ：楕円方程式の変数
Ｙ：座標軸
ｙ：楕円方程式の変数
Ｚ，Ｚａ，Ｚｐ：基準軸
α：回転楕円体Ｅの長軸半径
β：回転楕円体Ｅの短軸半径
γ：演算値
δ：座標点間の距離
θ：角度
ξ，ξ′：円錐
φ，φ′：円錐の半頂角
110: Image input unit 120: Original image storage unit 130: Average image creation unit 135: Reference image creation unit 140: Average image storage unit 145: Reference image storage unit 200: Image comparison unit 210: Pixel value reading unit 220: Similarity Determination unit 230: Pixel value writing unit 310: Mask image storage unit 320: Image output unit 330: Parameter setting unit 340: Parameter setting unit 400: Image comparison unit 410: Pixel value reading unit 420: First determination unit 421: Basic Calculation unit 422: first condition determination unit 423: second condition determination unit 424: third condition determination unit 425: determination value output unit 426: parameter holding unit 430: second determination unit 440: comprehensive determination unit 450: Foreground determination unit 460: pixel value writing units A (1) to A (i): average image A, A (Ra, Ga, Ba): coordinate point a indicating the pixel value of the average image a: side a of the triangle a ( i-1 , A (i): 1 single pixel constituting the average image or a pixel value B: the background region / the three primary colors of the pixel value (the reference pixel value)
b: Pixel value of three primary colors (comparison pixel value) / one side of triangle C: cylinder C1, C2 of cylinder model: sphere C3: spherical surface c: one side of triangle D: distance between origin O and reference point Q d: origin O Distances E, Ea, Ep with comparison point q: spheroid E1: closest point of spheroid E2: farthest point of spheroid E: foreground area f: any point on intersection circle S Distance G with reference point Q: Pixel value of three primary colors (reference pixel value)
g: Three primary color pixel values (comparison pixel values)
h: Parameter for determining the major axis radius α of the spheroid E: i: time-series number J: logical value indicating determination result (0: foreground / 1: background)
k: parameter L that determines the minor axis radius β of the spheroid E: length La1 of the cylinder C1: length La2 of the spheroid Ea in the major axis direction L2: length Lp1 of the spheroid Ea in the minor axis direction Length Lp2 in the major axis direction of the ellipsoid Ep: Length in the minor axis direction of the spheroid Ep: Mask images M (1) to M (i), M (i + 1), M10 to M40: Mask image m ( i): Pixel value of one pixel constituting the mask image O: Origin point of RGB coordinate system constituting the three-dimensional color space P: Coordinate points P (1) to P (i) indicating pixel values of the original image / original image ), P (i + 1), P10 to P40: Original image (input image)
P (Rp, Gp, Bp): coordinate point p (i) indicating the pixel value of the original image: one pixel constituting the original image or its pixel value Q: reference point (pixel value (R, G, B) Coordinate point)
q: Comparison point (coordinate point with pixel values (r, g, b))
R: Pixel value of three primary colors (reference pixel value)
r: Pixel value of three primary colors (comparison pixel value)
S: Circle of intersection (intersection line of spherical surface C3 and spheroid E)
S11 to S20: Steps T in the flowchart: Tangent circle (tangent between cone ξ and spheroid E)
t: distances between the reference point Q and the comparison point q t1 to t15: time points U (1) to U (i): reference image u (i-1), u (i): a reference image is formed. One pixel or its pixel value V: vector indicating the reference pixel value / vehicle Va: vector indicating the pixel value of the average image Vp: vector indicating the pixel value of the original image v: parameter indicating the weight w: parameter X indicating the weight : Coordinate axis x: variable of elliptic equation Y: coordinate axis y: variables of elliptic equation Z, Za, Zp: reference axis α: major axis radius of spheroid E β: minor axis radius γ of spheroid E: calculated value δ : Distance between coordinate points θ: angle ξ, ξ ': cone φ, φ': half apex angle of cone
Claims (15)
時系列で連続的に与えられるフレーム単位のカラー原画像を、三原色の各画素値を有する画素の集合体データとして入力する画像入力部と、
入力された原画像を逐次格納する原画像格納部と、
新たな原画像が入力されるたびに、当該新たな原画像と直前に作成した平均画像とに基づいて、新たな平均画像を作成する平均画像作成部と、
作成された平均画像を逐次格納する平均画像格納部と、
新たな原画像が入力されるたびに、直前に作成した参照画像に基づいて新たな参照画像を作成する参照画像作成部と、
作成された参照画像を逐次格納する参照画像格納部と、
前記原画像格納部に格納された原画像と、前記平均画像格納部に格納された平均画像と、前記参照画像格納部に格納された参照画像と、を用いた比較処理により、前景領域と背景領域とを区別するマスク画像を作成する画像比較部と、
前記マスク画像を格納するマスク画像格納部と、
前記マスク画像を出力する画像出力部と、
を備え、
前記画像比較部は、
前記原画像格納部に格納された第ｉ番目の原画像、前記平均画像格納部に格納された第（ｉ−１）番目の平均画像、前記参照画像格納部に格納された第（ｉ−１）番目の参照画像から、それぞれ対応する所定位置にある画素の三原色の各画素値を読み出す画素値読出部と、
前記画素値読出部によって読み出された画素値に基づいて、前記第ｉ番目の原画像の前記所定位置にある画素が前景画素か背景画素かを判定する前背判定部と、
第ｉ番目のマスク画像を構成する前記所定位置の画素の画素値として、前記前背判定部が背景画素と判定した場合には背景領域を示す画素値を、前記前背判定部が前景画素と判定した場合には前景領域を示す画素値を、それぞれ前記マスク画像格納部に書き込む画素値書込部と、
を有し、
前記前背判定部は、第ｉ番目の原画像を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の平均画像を構成する画素の画素値ａ（ｉ−１）とを比較して類似するか否かを判定する第１判定部と、第ｉ番目の原画像を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の参照画像を構成する画素の画素値ｕ（ｉ−１）とを比較して類似するか否かを判定する第２判定部と、前記第１判定部による判定結果および前記第２判定部による判定結果の少なくとも一方が類似を示す場合には背景画素、双方とも非類似を示す場合には前景画素との判定を行う総合判定部と、を有し、
前記平均画像作成部は、第１番目の原画像をそのまま第１番目の平均画像とし、第ｉ番目の原画像と第（ｉ−１）番目の平均画像とについて、互いに対応する位置にある画素の三原色の各画素値の重みつき平均値をそれぞれ求め、得られた各平均値を各画素値とする画素の集合からなる画像を第ｉ番目（ｉ≧２）の平均画像とし、
前記参照画像作成部は、第１番目の原画像をそのまま第１番目の参照画像とし、第（ｉ−１）番目の参照画像を構成する個々の画素のうち、前記前背判定部によって第ｉ番目の原画像の対応画素が前景画素と判定された画素については、更新せずに、もとの画素値をそのまま維持し、前記前背判定部によって第ｉ番目の原画像の対応画素が背景画素と判定された画素については、当該画素と第（ｉ−１）番目の平均画像の対応する位置にある画素とについて、三原色の各画素値の重みつき平均値をそれぞれ求め、得られた各平均値を新画素値として更新することにより、第ｉ番目（ｉ≧２）の参照画像を作成することを特徴とする移動物体検出装置。 A moving object detection device for detecting a moving object for a moving image,
An image input unit for inputting a color original image in units of frames continuously given in time series as aggregate data of pixels having pixel values of three primary colors;
An original image storage unit for sequentially storing the input original images;
Each time a new original image is input, an average image creation unit that creates a new average image based on the new original image and the average image created immediately before,
An average image storage unit for sequentially storing the created average images;
A reference image creation unit that creates a new reference image based on the reference image created immediately before a new original image is input;
A reference image storage unit that sequentially stores the created reference images;
A foreground region and a background are compared by a comparison process using the original image stored in the original image storage unit, the average image stored in the average image storage unit, and the reference image stored in the reference image storage unit. An image comparison unit that creates a mask image that distinguishes the region;
A mask image storage for storing the mask image;
An image output unit for outputting the mask image;
With
The image comparison unit
The i-th original image stored in the original image storage unit, the (i−1) -th average image stored in the average image storage unit, and the (i−1) -th image stored in the reference image storage unit. A pixel value reading unit that reads out the pixel values of the three primary colors of the pixels at the corresponding predetermined positions from the second reference image;
A foreground determination unit for determining whether a pixel at the predetermined position of the i-th original image is a foreground pixel or a background pixel based on the pixel value read by the pixel value reading unit;
As the pixel value of the pixel at the predetermined position constituting the i-th mask image, when the foreground determination unit determines that it is a background pixel, a pixel value indicating a background region is used. A pixel value writing unit that writes a pixel value indicating a foreground region to the mask image storage unit when it is determined;
Have
The foreground determination unit calculates a pixel value p (i) of a pixel constituting the i-th original image and a pixel value a (i-1) of a pixel constituting the (i-1) -th average image. A first determination unit that determines whether or not they are similar to each other; a pixel value p (i) of a pixel that forms the i-th original image; and a pixel that forms the (i−1) -th reference image. A second determination unit that determines whether or not the pixel value u (i-1) is similar to each other, and at least one of the determination result by the first determination unit and the determination result by the second determination unit is similar to each other. A general determination unit that determines a background pixel in the case of showing, and a foreground pixel in the case of both showing dissimilarity,
The average image creation unit uses the first original image as it is as the first average image, and the pixels at positions corresponding to each other with respect to the i-th original image and the (i−1) -th average image. The weighted average values of the pixel values of the three primary colors are respectively determined, and an image composed of a set of pixels having the obtained average values as the pixel values is defined as an i-th (i ≧ 2) average image,
The reference image creation unit uses the first original image as the first reference image as it is, and among the individual pixels constituting the (i-1) th reference image, the front-side determination unit performs the i th The pixels for which the corresponding pixel of the original image is determined to be the foreground pixel are not updated and the original pixel values are maintained as they are, and the corresponding pixel of the i-th original image is set to the background by the foreground determination unit. For the pixel determined to be a pixel, the weighted average value of each pixel value of the three primary colors is obtained for the pixel and the pixel at the corresponding position of the (i−1) -th average image, and each obtained A moving object detection device that creates an i-th (i ≧ 2) reference image by updating an average value as a new pixel value.
平均画像作成部が、
最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の平均画像Ａ（１）として平均画像格納部へ格納する処理を行い、
以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の平均画像Ａ（ｉ）を、
ａ（ｉ）＝（１−ｗ）・ａ（ｉ−１）＋ｗ・ｐ（ｉ）
（但し、ａ（ｉ）は、平均画像Ａ（ｉ）の
所定位置の画素の所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
前記所定位置の画素の前記所定色の画素値、
ｐ（ｉ）は、原画像Ｐ（ｉ）の
前記所定位置の画素の前記所定色の画素値、
ｗは、所定の重みを示すパラメータ（ｗ＜１））
なる演算式を用いて作成することを特徴とする移動物体検出装置。 The moving object detection device according to claim 1,
The average image creation unit
When the first original image P (1) is input, the original image P (1) is stored in the average image storage unit as the first average image A (1) as it is,
Thereafter, every time the i-th original image P (i) is input (i = 2, 3,...), The i-th average image A (i) is
a (i) = (1-w) .a (i-1) + w.p (i)
(However, a (i) is the average image A (i)
A pixel value of a predetermined color of a pixel at a predetermined position,
a (i-1) is the average image A (i-1)
A pixel value of the predetermined color of the pixel at the predetermined position;
p (i) is the original image P (i)
A pixel value of the predetermined color of the pixel at the predetermined position;
w is a parameter indicating a predetermined weight (w <1))
A moving object detection device, which is created using an arithmetic expression
参照画像作成部が、
最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の参照画像Ｕ（１）として参照画像格納部へ格納する処理を行い、
以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の参照画像Ｕ（ｉ）の各画素値を、
背景画素と判定された画素については、
ｕ（ｉ）＝（１−ｖ）・ｕ（ｉ−１）＋ｖ・ａ（ｉ−１）
（但し、ｕ（ｉ）は、平均画像Ｕ（ｉ）の
所定位置の画素の所定色の画素値、
ｕ（ｉ−１）は、平均画像Ｕ（ｉ−１）の
前記所定位置の画素の前記所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
前記所定位置の画素の前記所定色の画素値、
ｖは、所定の重みを示すパラメータ（ｖ＜１））
なる演算式を用いて求められた画素値ｕ（ｉ）に更新し、
前景画素と判定された画素については、
ｕ（ｉ）＝ｕ（ｉ−１）
として、更新せずに、もとの画素値をそのまま維持することにより決定することを特徴とする移動物体検出装置。 The moving object detection device according to claim 2,
The reference image creation unit
When the first original image P (1) is input, the original image P (1) is directly stored in the reference image storage unit as the first reference image U (1).
Thereafter, each time the i-th original image P (i) is input (i = 2, 3,...), The pixel values of the i-th reference image U (i) are
For pixels determined to be background pixels,
u (i) = (1-v) .u (i-1) + v.a (i-1)
(However, u (i) is the average image U (i)
A pixel value of a predetermined color of a pixel at a predetermined position,
u (i-1) is the average image U (i-1)
A pixel value of the predetermined color of the pixel at the predetermined position;
a (i-1) is the average image A (i-1)
A pixel value of the predetermined color of the pixel at the predetermined position;
v is a parameter indicating a predetermined weight (v <1))
Updated to the pixel value u (i) obtained using the following equation:
For pixels determined to be foreground pixels,
u (i) = u (i-1)
As described above, the moving object detection apparatus is characterized in that the determination is made by maintaining the original pixel value as it is without updating.
重みを示すパラメータｗ，ｖを、ｗ＞ｖとなるように設定することを特徴とする移動物体検出装置。 The moving object detection device according to claim 3,
A moving object detection apparatus characterized in that parameters w and v indicating weights are set so that w> v.
パラメータ「ｗ」もしくは「ｖ」またはこれら双方を、ユーザの操作入力によって任意の値に設定するパラメータ設定部を更に備えることを特徴とする移動物体検出装置。 In the moving object detection apparatus in any one of Claims 2-4,
A moving object detection device further comprising a parameter setting unit that sets a parameter “w” or “v” or both to an arbitrary value by a user operation input.
第１判定部および第２判定部が、比較対象となる一方の画素の画素値を基準画素値、他方の画素の画素値を比較画素値として、三原色の各画素値を各座標軸にとった三次元座標系において、前記基準画素値に対応する座標に位置する基準点Ｑと前記比較画素値に対応する座標に位置する比較点ｑをとり、前記基準点Ｑを中心とする所定サイズの基準立体と前記比較点ｑとの位置関係を調べ、前記比較点ｑが前記基準立体の外部に位置すると判定できる場合に非類似との判定を行い、内部に位置すると判定できる場合には類似との判定を行うことを特徴とする移動物体検出装置。 In the moving object detection apparatus in any one of Claims 1-5,
The first determination unit and the second determination unit use the pixel value of one pixel to be compared as a reference pixel value, the pixel value of the other pixel as a comparison pixel value, and a cubic that takes each pixel value of the three primary colors on each coordinate axis. In the original coordinate system, a reference point Q located at the coordinate corresponding to the reference pixel value and a comparison point q located at the coordinate corresponding to the comparison pixel value are taken, and a reference solid of a predetermined size centered on the reference point Q When the comparison point q can be determined to be located outside the reference solid, it is determined that the comparison point q is located outside the reference solid. A moving object detection device characterized by:
第１判定部が、原画像の画素の画素値を基準画素値、平均画像の画素の画素値を比較画素値として判定を行い、
第２判定部が、原画像の画素の画素値を基準画素値、参照画像の画素の画素値を比較画素値として判定を行うことを特徴とする移動物体検出装置。 The moving object detection device according to claim 6,
The first determination unit determines the pixel value of the pixel of the original image as the reference pixel value, the pixel value of the pixel of the average image as the comparison pixel value,
The moving object detection apparatus, wherein the second determination unit performs determination using a pixel value of a pixel of an original image as a standard pixel value and a pixel value of a pixel of a reference image as a comparison pixel value.
第１判定部および第２判定部が、三次元座標系の原点Ｏと基準点Ｑとの距離Ｄに、所定のパラメータｈ（但し、ｈ＜１）を乗じて求まる値α＝ｈ・Ｄを長軸半径とし、所定のパラメータｋ（但し、ｋ＜ｈ）を乗じて求まる値β＝ｋ・Ｄを短軸半径とする楕円を、原点Ｏと基準点Ｑとを結ぶ基準軸Ｚ上に長軸が重なるように、かつ、基準点Ｑが中心点となるように配置し、この楕円を前記基準軸Ｚを中心に回転させることにより得られる同一の回転楕円体Ｅもしくはその近似体を基準立体として用いることを特徴とする移動物体検出装置。 The moving object detection device according to claim 6 or 7,
The first determination unit and the second determination unit obtain a value α = h · D obtained by multiplying the distance D between the origin O of the three-dimensional coordinate system and the reference point Q by a predetermined parameter h (where h <1). An ellipse having a long axis radius and a value β = k · D obtained by multiplying a predetermined parameter k (where k <h) as a short axis radius is long on the reference axis Z connecting the origin O and the reference point Q. The same spheroid E or its approximation obtained by rotating the ellipse around the reference axis Z is arranged so that the axes are overlapped and the reference point Q is the center point. A moving object detection device characterized by being used as:
第１判定部および第２判定部が、
「原点Ｏを中心とし半径（Ｄ−α）の球Ｃ１の内側に比較点ｑが位置する」もしくは「原点Ｏを中心とし半径（Ｄ＋α）の球Ｃ２の外側に比較点ｑが位置する」という第１の条件を満足するか否かを判定する第１の条件判定部と、
前記第１の条件判定部が否定的判定を行った場合に「原点Ｏを頂点、基準軸Ｚを中心軸とし、回転楕円体Ｅと円で接する円錐ξもしくはその近似体の外側に比較点ｑが位置する」という第２の条件を満足するか否かを判定する第２の条件判定部と、
前記第２の条件判定部が否定的判定を行った場合に「回転楕円体Ｅの外側に比較点ｑが位置する」という第３の条件を満足するか否かを判定する第３の条件判定部と、
前記第１の条件判定部、前記第２の条件判定部、前記第３の条件判定部のいずれかが肯定的判定を行った場合に、非類似との判定結果を示す判定値を出力し、前記第１の条件判定部、前記第２の条件判定部、前記第３の条件判定部のすべてが否定的判定を行った場合に、類似との判定結果を示す判定値を出力する判定値出力部と、
を有することを特徴とする移動物体検出装置。 The moving object detection device according to claim 8,
The first determination unit and the second determination unit are
“The comparison point q is located inside the sphere C1 with the origin O as the center and the radius (D−α)” or “the comparison point q is located outside the sphere C2 with the origin O as the center and the radius (D + α)”. A first condition determining unit that determines whether or not the first condition is satisfied;
If the first condition determination unit makes a negative determination, “the comparison point q is located outside the cone ξ or its approximate body that is in contact with the spheroid E with a circle with the origin O as the vertex and the reference axis Z as the central axis. A second condition determining unit that determines whether or not the second condition that “is located” is satisfied;
Third condition determination for determining whether or not the third condition “the comparison point q is located outside the spheroid E” is satisfied when the second condition determination unit makes a negative determination. And
When any one of the first condition determination unit, the second condition determination unit, and the third condition determination unit makes a positive determination, a determination value indicating a determination result of dissimilarity is output, Determination value output that outputs a determination value indicating a determination result of similarity when all of the first condition determination unit, the second condition determination unit, and the third condition determination unit make a negative determination And
A moving object detection apparatus comprising:
第１判定部および第２判定部が、
パラメータｈおよびｋの値を保持するパラメータ保持部と、
画素値読出部が読み出した基準画素値（Ｒ，Ｇ，Ｂ）および比較画素値（ｒ，ｇ，ｂ）に基づいて、
Ｄ２＝Ｒ２＋Ｇ２＋Ｂ２ および
ｄ２＝ｒ２＋ｇ２＋ｂ２
なる演算を行い、値Ｄ２および値ｄ２を算出する基本演算部と、
前記基本演算部が算出した値Ｄ２および値ｄ２と前記パラメータ保持部に保持されているパラメータｈの値とを用いて、
（１−ｈ）２・Ｄ２＞ｄ２ もしくは
（１＋ｈ）２・Ｄ２＜ｄ２
という条件を満足するか否かを判定するための演算を行う第１の条件判定部と、
前記第１の条件判定部が否定的判定を行った場合に、画素値読出部が読み出した基準画素値（Ｒ，Ｇ，Ｂ）および比較画素値（ｒ，ｇ，ｂ）に基づいて、
γ＝Ｒ・ｒ＋Ｇ・ｇ＋Ｂ・ｂ
なる演算を行い、値γを算出し、前記基本演算部が算出した値Ｄ２および値ｄ２と前記パラメータ保持部に保持されているパラメータｋの値と前記値γとを用いて、
γ２／（Ｄ２・ｄ２）＜（１−ｋ２／２）２
という条件を満足するか否かを判定するための演算を行う第２の条件判定部と、
前記第２の条件判定部が否定的判定を行った場合に、前記基本演算部が算出した値Ｄ２および値ｄ２と前記パラメータ保持部に保持されているパラメータｈおよびｋの値と前記第２の条件判定部が算出した前記値γとを用いて、
α２＝ｈ２・Ｄ２
β２＝ｋ２・Ｄ２
ｘ２＝Ｄ２＋γ２／Ｄ２−２γ
ｙ２＝ｄ２−γ２／Ｄ２
なる演算を行い、当該演算結果を用いて、
β２・ｘ２＋α２・ｙ２−α２・β２＞０
という条件を満足するか否かを判定するための演算を行う第３の条件判定部と、
前記第１の条件判定部、前記第２の条件判定部、前記第３の条件判定部のいずれかが肯定的判定を行った場合に、非類似との判定結果を示す判定値を出力し、前記第１の条件判定部、前記第２の条件判定部、前記第３の条件判定部のすべてが否定的判定を行った場合に、類似との判定結果を示す判定値を出力する判定値出力部と、
を有することを特徴とする移動物体検出装置。 The moving object detection device according to claim 8,
The first determination unit and the second determination unit are
A parameter holding unit for holding values of parameters h and k;
Based on the reference pixel value (R, G, B) and the comparison pixel value (r, g, b) read by the pixel value reading unit,
D 2 = R 2 + G 2 + B 2 and
d 2 = r 2 + g 2 + b 2
A basic calculation unit for calculating the value D 2 and the value d 2 ,
By using the value of the parameter h to the basic computation unit is held to the value D 2 and the value d 2 calculated in the parameter holding unit,
(1-h) 2 · D 2 > d 2 or
(1 + h) 2 · D 2 <d 2
A first condition determination unit that performs an operation for determining whether or not the condition is satisfied;
Based on the reference pixel value (R, G, B) and the comparison pixel value (r, g, b) read by the pixel value reading unit when the first condition determining unit makes a negative determination,
γ = R · r + G · g + B · b
To calculate the value γ, using the value D 2 and the value d 2 calculated by the basic calculation unit, the value of the parameter k held in the parameter holding unit, and the value γ,
γ 2 / (D 2 · d 2) <(1-k 2/2) 2
A second condition determination unit that performs an operation for determining whether or not the condition is satisfied,
When the second condition determination unit makes a negative determination, the value D 2 and the value d 2 calculated by the basic calculation unit, the values of the parameters h and k held in the parameter holding unit, and the first Using the value γ calculated by the condition determining unit 2,
α 2 = h 2 · D 2
β 2 = k 2 · D 2
x 2 = D 2 + γ 2 / D 2 -2γ
y 2 = d 2 −γ 2 / D 2
And using the calculation result,
β 2 · x 2 + α 2 · y 2 -α 2 · β 2 > 0
A third condition determination unit that performs an operation for determining whether or not the condition is satisfied,
When any one of the first condition determination unit, the second condition determination unit, and the third condition determination unit makes a positive determination, a determination value indicating a determination result of dissimilarity is output, Determination value output that outputs a determination value indicating a determination result of similarity when all of the first condition determination unit, the second condition determination unit, and the third condition determination unit make a negative determination And
A moving object detection apparatus comprising:
パラメータ「ｈ」および「ｋ」を、ユーザの操作入力によって任意の値に設定するパラメータ設定部を更に備えることを特徴とする移動物体検出装置。 In the moving object detection apparatus in any one of Claims 8-10,
A moving object detection apparatus, further comprising a parameter setting unit that sets parameters “h” and “k” to arbitrary values by a user operation input.
コンピュータが、時系列で連続的に与えられるフレーム単位のカラー原画像を、三原色の各画素値を有する画素の集合体データとして入力する画像入力段階と、
コンピュータが、新たな原画像が入力されるたびに、当該新たな原画像と直前に作成した平均画像とに基づいて、新たな平均画像を作成する平均画像作成段階と、
コンピュータが、新たな原画像が入力されるたびに、当該新たな原画像と直前に作成した参照画像とに基づいて、新たな参照画像を作成する参照画像作成段階と、
コンピュータが、原画像と平均画像と参照画像とを用いた比較処理により、前景領域と背景領域とを区別するマスク画像を作成する画像比較段階と、
コンピュータが、前記マスク画像を出力する画像出力段階と、
を有し、
前記画像比較段階は、
第ｉ番目の原画像、第（ｉ−１）番目の平均画像、第（ｉ−１）番目の参照画像から、それぞれ対応する所定位置にある画素の三原色の各画素値を読み出す画素値読出ステップと、
第ｉ番目の原画像を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の平均画像を構成する画素の画素値ａ（ｉ−１）とが類似するか否かを判定する第１判定処理と、第ｉ番目の原画像を構成する画素の画素値ｐ（ｉ）と第（ｉ−１）番目の参照画像を構成する画素の画素値ｕ（ｉ−１）とが類似するか否かを判定する第２判定処理と、を行い、第ｉ番目の原画像の前記所定位置にある画素について、前記第１判定処理による判定結果と前記第２判定処理による判定結果との少なくとも一方が類似を示す場合には背景画素、双方とも非類似を示す場合には前景画素との判定を行う前背判定ステップと、
第ｉ番目のマスク画像を構成する前記所定位置の画素の画素値として、前記前背判定ステップにより背景画素と判定された場合には背景領域を示す画素値を、前記前背判定ステップにより前景画素と判定された場合には前景領域を示す画素値を、それぞれ与えることにより、第ｉ番目のマスク画像を作成するマスク画像作成ステップと、
を有し、
前記平均画像作成段階では、第１番目の原画像をそのまま第１番目の平均画像とし、第ｉ番目（ｉ≧２）の平均画像を作成する際には、第ｉ番目の原画像と第（ｉ−１）番目の平均画像とについて、互いに対応する位置にある画素の三原色の各画素値の重みつき平均値をそれぞれ求め、得られた各平均値を各画素値とする画素の集合からなる画像を第ｉ番目の平均画像とし、
前記参照画像作成段階では、第１番目の原画像をそのまま第１番目の参照画像とし、第ｉ番目（ｉ≧２）の参照画像を作成する際には、第（ｉ−１）番目の参照画像を構成する個々の画素のうち、前記前背判定ステップにおいて第ｉ番目の原画像の対応画素が前景画素と判定された画素については、更新せずに、もとの画素値をそのまま維持し、前記前背判定ステップにおいて第ｉ番目の原画像の対応画素が背景画素と判定された画素については、第（ｉ−１）番目の平均画像の対応する位置にある画素との間で、三原色の各画素値の重みつき平均値をそれぞれ求め、得られた各平均値を新画素値として更新することにより、第ｉ番目の参照画像を作成することを特徴とする移動物体検出方法。 A moving object detection method for detecting a moving object for a moving image,
An image input stage in which a computer inputs a color original image in units of frames continuously given in time series as aggregate data of pixels having pixel values of three primary colors;
An average image creation stage for creating a new average image based on the new original image and the average image just created each time a new original image is input;
A reference image creation stage in which a computer creates a new reference image based on the new original image and the reference image created immediately before each new original image is input;
An image comparison stage in which a computer creates a mask image that distinguishes a foreground area and a background area by a comparison process using an original image, an average image, and a reference image;
An image output step of outputting the mask image by a computer;
Have
The image comparison step includes
A pixel value reading step of reading out pixel values of the three primary colors of the pixels at the corresponding predetermined positions from the i-th original image, the (i-1) -th average image, and the (i-1) -th reference image, respectively. When,
It is determined whether the pixel value p (i) of the pixels constituting the i-th original image is similar to the pixel value a (i-1) of the pixels constituting the (i-1) -th average image. And the pixel value p (i) of the pixel constituting the i-th original image and the pixel value u (i-1) of the pixel constituting the (i-1) -th reference image. A second determination process for determining whether or not they are similar to each other, and for a pixel at the predetermined position of the i-th original image, a determination result by the first determination process and a determination result by the second determination process A foreground determination step for determining a background pixel when at least one of the two is similar, and a foreground pixel when both are dissimilar,
As a pixel value of the pixel at the predetermined position constituting the i-th mask image, a pixel value indicating a background area is determined by the foreground determination step when it is determined to be a background pixel by the foreground determination step. A mask image creating step for creating an i-th mask image by giving a pixel value indicating a foreground region, respectively,
Have
In the average image creation stage, the first original image is used as the first average image as it is, and when the i-th (i ≧ 2) average image is created, the i-th original image and the ( For the i-1) th average image, a weighted average value is obtained for each pixel value of the three primary colors of the pixels at positions corresponding to each other, and a set of pixels each having the obtained average value as each pixel value. Let the image be the i-th average image,
In the reference image creation stage, the first original image is used as the first reference image as it is, and when the i-th (i ≧ 2) reference image is created, the (i−1) -th reference image is created. Among the individual pixels constituting the image, the original pixel value is maintained as it is without updating the pixel in which the corresponding pixel of the i-th original image is determined to be the foreground pixel in the foreground determination step. For the pixels for which the corresponding pixel of the i-th original image is determined to be the background pixel in the foreground determination step, the three primary colors between the pixels at the corresponding position of the (i-1) -th average image A moving object detection method comprising: obtaining an i-th reference image by obtaining a weighted average value of each pixel value and updating each obtained average value as a new pixel value.
平均画像作成段階では、
最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の平均画像Ａ（１）とする処理を行い、
以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の平均画像Ａ（ｉ）を、
ａ（ｉ）＝（１−ｗ）・ａ（ｉ−１）＋ｗ・ｐ（ｉ）
（但し、ａ（ｉ）は、平均画像Ａ（ｉ）の
所定位置の画素の所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
前記所定位置の画素の前記所定色の画素値、
ｐ（ｉ）は、原画像Ｐ（ｉ）の
前記所定位置の画素の前記所定色の画素値、
ｗは、所定の重みを示すパラメータ（ｗ＜１））
なる演算式を用いて作成し、
参照画像作成段階では、
最初の原画像Ｐ（１）が入力されたときに、当該原画像Ｐ（１）をそのまま最初の参照画像Ｕ（１）とする処理を行い、
以後、第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、第ｉ番目の参照画像Ｕ（ｉ）の各画素値を、
背景画素と判定された画素については、
ｕ（ｉ）＝（１−ｖ）・ｕ（ｉ−１）＋ｖ・ａ（ｉ−１）
（但し、ｕ（ｉ）は、平均画像Ｕ（ｉ）の
所定位置の画素の所定色の画素値、
ｕ（ｉ−１）は、平均画像Ｕ（ｉ−１）の
前記所定位置の画素の前記所定色の画素値、
ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の
前記所定位置の画素の前記所定色の画素値、
ｖは、所定の重みを示すパラメータ（ｖ＜１、かつｗ＞ｖ））
なる演算式を用いて求められた画素値ｕ（ｉ）に更新し、
前景画素と判定された画素については、
ｕ（ｉ）＝ｕ（ｉ−１）
として、更新せずに、もとの画素値をそのまま維持することにより、参照画像Ｕ（ｉ）を作成することを特徴とする移動物体検出方法。 The moving object detection method according to claim 14,
In the average image creation stage,
When the first original image P (1) is input, the original image P (1) is processed as it is as the first average image A (1).
Thereafter, every time the i-th original image P (i) is input (i = 2, 3,...), The i-th average image A (i) is
a (i) = (1-w) .a (i-1) + w.p (i)
(However, a (i) is the average image A (i)
A pixel value of a predetermined color of a pixel at a predetermined position,
a (i-1) is the average image A (i-1)
A pixel value of the predetermined color of the pixel at the predetermined position;
p (i) is the original image P (i)
A pixel value of the predetermined color of the pixel at the predetermined position;
w is a parameter indicating a predetermined weight (w <1))
Created using the following formula:
In the reference image creation stage,
When the first original image P (1) is input, the original image P (1) is processed as the first reference image U (1) as it is,
Thereafter, each time the i-th original image P (i) is input (i = 2, 3,...), The pixel values of the i-th reference image U (i) are
For pixels determined to be background pixels,
u (i) = (1-v) .u (i-1) + v.a (i-1)
(However, u (i) is the average image U (i)
A pixel value of a predetermined color of a pixel at a predetermined position,
u (i-1) is the average image U (i-1)
A pixel value of the predetermined color of the pixel at the predetermined position;
a (i-1) is the average image A (i-1)
A pixel value of the predetermined color of the pixel at the predetermined position;
v is a parameter indicating a predetermined weight (v <1, and w> v))
Updated to the pixel value u (i) obtained using the following equation:
For pixels determined to be foreground pixels,
u (i) = u (i-1)
As a moving object detection method, the reference image U (i) is generated by maintaining the original pixel value as it is without updating.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011020228A JP5630298B2 (en) | 2011-02-01 | 2011-02-01 | Moving object detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011020228A JP5630298B2 (en) | 2011-02-01 | 2011-02-01 | Moving object detection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012160977A JP2012160977A (en) | 2012-08-23 |
| JP5630298B2 true JP5630298B2 (en) | 2014-11-26 |
Family
ID=46841135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011020228A Active JP5630298B2 (en) | 2011-02-01 | 2011-02-01 | Moving object detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5630298B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7606894B2 (en) * | 2021-03-12 | 2024-12-26 | 本田技研工業株式会社 | Image processing device, image processing method, and program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3423886B2 (en) * | 1998-06-30 | 2003-07-07 | 株式会社日立製作所 | Moving object monitoring device |
| JP4117073B2 (en) * | 1998-11-18 | 2008-07-09 | 株式会社日立製作所 | Monitoring device |
| JP3848918B2 (en) * | 2002-12-26 | 2006-11-22 | 三菱電機株式会社 | MOBILE BODY MONITORING DEVICE AND MOBILE BODY MONITORING METHOD |
-
2011
- 2011-02-01 JP JP2011020228A patent/JP5630298B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012160977A (en) | 2012-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114782412B (en) | Image detection method, training method and device of target detection model | |
| Prasad et al. | Challenges in video based object detection in maritime scenario using computer vision | |
| CN113286194A (en) | Video processing method and device, electronic equipment and readable storage medium | |
| CN112348815A (en) | Image processing method, image processing apparatus, and non-transitory storage medium | |
| CN103578083B (en) | Single image defogging method based on associating average drifting | |
| CN112364865A (en) | Method for detecting small moving target in complex scene | |
| CN110688925A (en) | Cascade target recognition method and system based on deep learning | |
| CN104063885A (en) | Improved movement target detecting and tracking method | |
| US12374045B2 (en) | Efficient texture mapping of a 3-D mesh | |
| CN110647836B (en) | Robust single-target tracking method based on deep learning | |
| CN110516514A (en) | A kind of modeling method and device of target detection model | |
| CN109658453B (en) | Circle center determining method, device, equipment and storage medium | |
| Spampinato et al. | Covariance based Fish Tracking in Real-life Underwater Environment. | |
| CN111242026A (en) | Remote sensing image target detection method based on spatial hierarchy perception module and metric learning | |
| CN108491857B (en) | Multi-camera target matching method with overlapped vision fields | |
| CN107025672A (en) | A kind of conspicuousness detection method based on improvement convex closure | |
| JP5391970B2 (en) | Moving object detection device and pixel similarity determination method | |
| JP5736831B2 (en) | Sunlight change region detection device and moving object detection device | |
| CN118379696A (en) | Ship target detection method, device and readable storage medium | |
| CN104539942B (en) | Video shot switching detection method and device based on frame difference clustering | |
| CN112419231B (en) | Visibility determination method, apparatus, computer device, and storage medium | |
| CN110517291A (en) | A road vehicle tracking method based on multi-feature space fusion | |
| CN104700384B (en) | Display systems and methods of exhibiting based on augmented reality | |
| CN107452019B (en) | Target detection method, device and system based on model switching and storage medium | |
| JP5630298B2 (en) | Moving object detection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131216 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140904 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140909 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140922 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5630298 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |