Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4811289B2 - Image processing device - Google Patents
[go: Go Back, main page]

JP4811289B2 - Image processing device - Google Patents

Image processing device Download PDF

Info

Publication number
JP4811289B2
JP4811289B2 JP2007032358A JP2007032358A JP4811289B2 JP 4811289 B2 JP4811289 B2 JP 4811289B2 JP 2007032358 A JP2007032358 A JP 2007032358A JP 2007032358 A JP2007032358 A JP 2007032358A JP 4811289 B2 JP4811289 B2 JP 4811289B2
Authority
JP
Japan
Prior art keywords
difference
image
pixel
pixel value
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007032358A
Other languages
Japanese (ja)
Other versions
JP2008199303A (en
Inventor
淳之 広野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Electric Works Co Ltd
Original Assignee
Panasonic Corp
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Works Ltd filed Critical Panasonic Corp
Priority to JP2007032358A priority Critical patent/JP4811289B2/en
Publication of JP2008199303A publication Critical patent/JP2008199303A/en
Application granted granted Critical
Publication of JP4811289B2 publication Critical patent/JP4811289B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像処理装置に関するものである。   The present invention relates to an image processing apparatus.

従来から、撮像された画像に基づいて移動物体を検出する画像処理装置が、例えば無人駐車場の発券機において移動物体としての自動車の検出に用いられている(例えば、特許文献1参照)。   2. Description of the Related Art Conventionally, an image processing apparatus that detects a moving object based on a captured image is used for detecting a car as a moving object in a ticket machine in an unmanned parking lot, for example (see, for example, Patent Document 1).

この種の画像処理装置は、定期的に所定の監視範囲の撮像を行う撮像部と、撮像部によって撮像された画像であって移動物体が存在しない例えば図5(a)のような基準画像が格納される記憶部と、撮像部によって撮像された例えば図5(b)のような最新画像を基準画像と比較することにより移動物体Mを検出する検出部とを備える。すなわち、検出部は、最新画像において基準画像との差分を図5(c)に示すように移動物体Mとして検出し、例えば監視の用途においては移動物体の部分を抽出して移動物体の識別に用いたり、防犯の用途においては移動物体が検出された時点で警報を発したりする。   This type of image processing apparatus includes an imaging unit that periodically captures an image of a predetermined monitoring range, and a reference image as illustrated in FIG. 5A that is an image captured by the imaging unit and has no moving object. A storage unit that is stored, and a detection unit that detects the moving object M by comparing a latest image captured by the imaging unit, for example, as illustrated in FIG. 5B with a reference image. That is, the detection unit detects a difference from the reference image in the latest image as a moving object M as shown in FIG. 5C. For example, in a monitoring application, a part of the moving object is extracted to identify the moving object. For use in crime prevention, an alarm is issued when a moving object is detected.

ここで、ドアや椅子などの停止物体の変位、荷物や足跡などの停止物体の出現・消失といった要因により、監視範囲に移動物体が存在しない状態で撮像部によって撮像される画像が基準画像とは異なってしまうと、移動物体が存在しないにも関わらず移動物体が存在すると判定してしまう誤判定の可能性がある。   Here, the reference image is an image captured by the imaging unit when there is no moving object in the monitoring range due to the displacement of a stopped object such as a door or chair, or the appearance or disappearance of a stopped object such as a luggage or footprint. If they are different, there is a possibility of erroneous determination in which it is determined that there is a moving object even though there is no moving object.

そこで、撮像部によって撮像された画像を前回画像として次の撮像まで記憶部に格納しておき、最新画像と基準画像とが異なっていても、最新画像と前回画像が一致していれば、上記のような停止物体の変位や出現・消失があったと判定し、基準画像を前回画像に更新することが提案されている。この構成を採用すれば、停止物体の変位や出現・消失に合わせて適宜基準画像を更新し、上記誤判定を低減することができる。
特開2002−150272号公報
Therefore, the image captured by the imaging unit is stored in the storage unit as the previous image until the next imaging, and even if the latest image and the reference image are different from each other, It has been proposed that it is determined that there is a displacement or appearance / disappearance of a stationary object, and the reference image is updated to the previous image. By adopting this configuration, it is possible to appropriately update the reference image in accordance with the displacement, appearance / disappearance of the stopped object, and to reduce the erroneous determination.
JP 2002-150272 A

しかし、最新画像と前回画像との間で差分が無かった部分を停止物体と判定してしまうため、実際には移動物体であるものを停止物体と判定してしまう誤判定の可能性があった。   However, since the part where there was no difference between the latest image and the previous image is determined as a stopped object, there is a possibility of erroneous determination that actually determines a moving object as a stopped object. .

本発明は、上記事由に鑑みて為されたものであり、その目的は、誤判定を低減することができる画像処理装置を提供することにある。   SUMMARY An advantage of some aspects of the invention is that it provides an image processing apparatus capable of reducing erroneous determination.

請求項1の発明は、監視範囲の撮像を行う撮像部と、撮像部によって撮像された画像のうち移動物体が存在しない画像である基準画像と、撮像部によって撮像された画像が逐次反映される中間画像とがそれぞれ格納されるとともに、基準画像に対する差分が変化せずに維持された差分維持回数が画素毎に格納される記憶部と、記憶部に格納された基準画像と撮像部によって撮像された最新画像との差に基づいて移動物体の存在を検出する検出部とを備え、検出部は、定期的に且つ画素毎に、最新画像での画素値と基準画像での画素値との差の絶対値を所定の差分判定閾値と比較し、最新画像での画素値と基準画像での画素値との差の絶対値が差分判定閾値よりも小さければ移動物体がその画素にかかっていないと判定して差分維持回数を0とし、最新画像での画素値と基準画像での画素値との差の絶対値が差分判定閾値よりも大きければ、さらに最新画像での画素値と中間画像での画素値との差の絶対値を差分判定閾値と比較し、最新画像での画素値と中間画像での画素値との差の絶対値が差分判定閾値よりも大きければ移動物体がその画素にかかっていると判定して差分維持回数を1とし、最新画像での画素値と中間画像での画素値との差の絶対値が差分判定閾値よりも小さければ基準画像に対する差分が維持されていると判定して差分維持回数に1を加算し、差分維持回数が2以上の所定の停止判定閾値に達すれば基準画像に存在する停止物体とは異なる停止物体がその画素にかかっていると判定して基準画像での画素値を中間画像での画素値に更新して差分維持回数を0とするとともに、いずれの比較の結果にも関わらず最新画像での画素値を反映させて中間画像での画素値を更新することを特徴とする。   According to the first aspect of the present invention, an imaging unit that captures an image of the monitoring range, a reference image that is an image in which no moving object is present among images captured by the imaging unit, and an image captured by the imaging unit are sequentially reflected. Each of the intermediate images is stored, and the difference maintenance count maintained without changing the difference with respect to the reference image is stored for each pixel, and the reference image stored in the storage unit and the imaging unit are captured. A detection unit that detects the presence of a moving object based on a difference from the latest image, and the detection unit periodically and for each pixel, the difference between the pixel value in the latest image and the pixel value in the reference image. If the absolute value of the difference between the pixel value in the latest image and the pixel value in the reference image is smaller than the difference determination threshold, the moving object does not cover that pixel. Judge the difference maintenance count to 0 If the absolute value of the difference between the pixel value in the latest image and the pixel value in the reference image is larger than the difference determination threshold, the absolute value of the difference between the pixel value in the latest image and the pixel value in the intermediate image is further calculated. Compared to the difference determination threshold, if the absolute value of the difference between the pixel value in the latest image and the pixel value in the intermediate image is greater than the difference determination threshold, it is determined that the moving object is on that pixel and the number of difference maintenance times If the absolute value of the difference between the pixel value in the latest image and the pixel value in the intermediate image is smaller than the difference determination threshold, it is determined that the difference with respect to the reference image is maintained, and the difference maintenance count is set to 1. If the difference maintenance count reaches a predetermined stop determination threshold value of 2 or more, it is determined that a stop object different from the stop object existing in the reference image covers the pixel, and the pixel value in the reference image is determined as the intermediate image Update to the pixel value at 0 and set the difference maintenance count to 0 Together, despite the result of any comparison to reflect the pixel values of the latest image and updates the pixel value in the intermediate image.

この発明によれば、2以上の数である停止判定閾値の回数だけ中間画像に対する差分が維持された画素についてのみ基準画像を更新するので、中間画像に対する差分が一回維持されただけで停止物体がその画素にかかっていると判定して基準画像を更新する場合に比べ、実際には停止物体にかかっていない画素を停止物体にかかっていると判定する誤判定を低減することができる。   According to the present invention, since the reference image is updated only for the pixels in which the difference with respect to the intermediate image is maintained by the number of times of the stop determination threshold that is two or more, the stopped object can be obtained only by maintaining the difference with respect to the intermediate image once. It is possible to reduce erroneous determination that determines that a pixel that is not actually applied to the stopped object is applied to the stopped object, as compared with a case where it is determined that the image is applied to the pixel and the reference image is updated.

請求項2の発明は、請求項1の発明において、検出部は差分維持回数が1である画素の範囲を移動物体の範囲として抽出して出力することを特徴とする。   The invention of claim 2 is characterized in that, in the invention of claim 1, the detection unit extracts and outputs a range of pixels having a difference maintenance count of 1 as a range of moving objects.

請求項3の発明は、請求項1の発明において、検出部は差分維持回数が2以上である画素の範囲を停止物体の範囲として抽出して出力することを特徴とする。   The invention of claim 3 is characterized in that, in the invention of claim 1, the detection unit extracts and outputs a range of pixels having a difference maintenance count of 2 or more as a range of a stopped object.

請求項4の発明は、請求項1〜3のいずれかの発明において、差分判定閾値は、使用環境で想定される電磁ノイズによる画素値の変動幅よりも大きいことを特徴とする。   According to a fourth aspect of the present invention, in any one of the first to third aspects, the difference determination threshold is larger than a fluctuation range of the pixel value due to electromagnetic noise assumed in a use environment.

請求項5の発明は、請求項1〜4のいずれかの発明において、撮像部は、監視範囲からの入射光量と画素値との関係を決定するパラメータであるゲインを変更可能であって、検出部は、撮像部においてゲインが変更されたときに、変更されたゲインに応じて、基準画像と中間画像との各画素の画素値、並びに、差分判定閾値をそれぞれ更新することを特徴とする。   According to a fifth aspect of the present invention, in any one of the first to fourth aspects, the imaging unit can change a gain, which is a parameter that determines a relationship between the incident light amount from the monitoring range and the pixel value, and detects the gain. When the gain is changed in the imaging unit, the unit updates the pixel value of each pixel of the reference image and the intermediate image and the difference determination threshold according to the changed gain.

この発明によれば、ゲインの変更に起因する誤判定を低減することができる。   According to the present invention, it is possible to reduce erroneous determination due to a change in gain.

請求項6の発明は、請求項1〜5のいずれかの発明において、各画素について、それぞれ、検出部による更新後の中間画像での画素値Ep’は、検出部による更新前の中間画像での画素値Epと、1以下の所定の正の数αと、最新画像での画素値Enとを用いて、Ep’=αEn+(1−α)Epで表されることを特徴とする。   According to a sixth aspect of the present invention, in any one of the first to fifth aspects, for each pixel, the pixel value Ep ′ in the intermediate image after the update by the detection unit is the intermediate image before the update by the detection unit. The pixel value Ep is represented by Ep ′ = αEn + (1−α) Ep using a predetermined positive number α of 1 or less and the pixel value En in the latest image.

請求項7の発明は、請求項2の発明において、検出部は、移動物体の範囲と移動物体以外の範囲とのそれぞれについて各連結領域の画素数をそれぞれ所定のノイズ判定閾値と比較し、移動物体の範囲に含まれていながら画素数が所定のノイズ判定閾値に満たない連結領域を移動物体の範囲から外してその連結領域に含まれる各画素の差分維持回数をその連結領域に隣接する各画素の差分維持回数に応じた数とするとともに、移動物体の範囲に含まれていないが画素数がノイズ判定閾値に満たない連結領域を移動物体の範囲に加えてその連結領域に含まれる各画素の差分維持回数を1とすることを特徴とする。   According to a seventh aspect of the present invention, in the second aspect of the present invention, the detection unit compares the number of pixels of each connected region with a predetermined noise determination threshold for each of the range of the moving object and the range other than the moving object, and moves Each pixel that is included in the range of the object but has the number of pixels that does not satisfy the predetermined noise determination threshold is excluded from the range of the moving object, and the difference maintenance count of each pixel included in the connected region is adjacent to the connected region. In addition to a connected area that is not included in the moving object range but the number of pixels is less than the noise determination threshold, the number of pixels that are included in the connected area The difference maintenance frequency is set to 1.

この発明によれば、移動物体において偶然に画素値が基準画像や停止物体と一致する部位による影響や、電磁ノイズによる影響を低減することができる。   According to the present invention, it is possible to reduce the influence caused by the part of the moving object where the pixel value coincides with the reference image or the stop object, or the influence caused by electromagnetic noise.

請求項8の発明は、請求項3の発明において、検出部は、停止物体の範囲と停止物体以外の範囲とのそれぞれについて各連結領域の画素数をそれぞれ所定のノイズ判定閾値と比較し、停止物体の範囲に含まれていながら画素数がノイズ判定閾値に満たない連結領域を停止物体の範囲から外してその連結領域に含まれる各画素の差分維持回数をその連結領域に隣接する各画素の差分維持回数に応じた数とするとともに、停止物体の範囲に含まれていないが画素数がノイズ判定閾値に満たない連結領域を停止物体の範囲に加えてその連結領域に含まれる各画素の差分維持回数をその連結領域に隣接する各画素の差分維持回数に応じた数とすることを特徴とする。   In the invention of claim 8, in the invention of claim 3, the detection unit compares the number of pixels in each connected region with a predetermined noise determination threshold value for each of the range of the stopped object and the range other than the stopped object, and stops. A connected area whose number of pixels is included in the object range but does not satisfy the noise determination threshold is excluded from the range of the stopped object, and the difference maintenance count of each pixel included in the connected area is the difference between the pixels adjacent to the connected area. In addition to the number corresponding to the number of times of maintenance, a connected area that is not included in the stop object range but whose pixel count does not satisfy the noise determination threshold is added to the stop object range, and the difference between the pixels included in the connected area is maintained. The number of times is set to a number corresponding to the number of times of difference maintenance for each pixel adjacent to the connected region.

この発明によれば、移動物体において偶然に画素値が基準画像や停止物体と一致する部位による影響や、電磁ノイズによる影響を低減することができる
請求項9の発明は、請求項1の発明において、検出部は、各比較についてそれぞれ比較結果が一致する各連結領域の画素数をそれぞれ所定のノイズ判定閾値と比較し、画素数がノイズ判定閾値に満たない場合にはその連結領域に属する各画素に関してそれぞれ比較結果を反転させることを特徴とする。
According to this invention, it is possible to reduce the influence caused by the part where the pixel value coincides with the reference image or the stop object in the moving object, or the influence caused by electromagnetic noise. The detection unit compares the number of pixels in each connected region with the same comparison result for each comparison with a predetermined noise determination threshold, and if the number of pixels is less than the noise determination threshold, each pixel belonging to the connected region The comparison result is reversed for each.

この発明によれば、移動物体において偶然に画素値が基準画像や停止物体と一致する部位による影響や、電磁ノイズによる影響を低減することができる。   According to the present invention, it is possible to reduce the influence caused by the part of the moving object where the pixel value coincides with the reference image or the stop object, or the influence caused by electromagnetic noise.

請求項10の発明は、請求項1〜9のいずれかの発明において、撮像部は、監視範囲に光を間欠的に照射する光源と、監視範囲を撮像する撮像素子と、光源によって監視範囲に光が照射されているときの画像と、光源によって監視範囲に光が照射されていないときの画像との差分を検出部に出力する差分出力部とを有することを特徴とする。   According to a tenth aspect of the present invention, in the invention according to any one of the first to ninth aspects, the imaging unit is brought into the monitoring range by a light source that intermittently irradiates the monitoring range with light, an imaging element that images the monitoring range, and the light source. And a difference output unit that outputs a difference between the image when the light is irradiated and the image when the light is not irradiated to the monitoring range by the light source to the detection unit.

この発明によれば、太陽光や照明の点灯消灯などによる周囲の環境の明るさの影響を受けない。   According to the present invention, it is not affected by the brightness of the surrounding environment due to sunlight or lighting on / off.

請求項1の発明によれば、2以上の数である停止判定閾値の回数だけ中間画像に対する差分が維持された画素についてのみ基準画像を更新するので、中間画像に対する差分が一回維持されただけで停止物体がその画素にかかっていると判定して基準画像を更新する場合に比べ、実際には停止物体にかかっていない画素を停止物体にかかっていると判定する誤判定を低減することができる。   According to the first aspect of the present invention, the reference image is updated only for the pixels in which the difference with respect to the intermediate image is maintained by the number of stop determination thresholds equal to or greater than two, so the difference with respect to the intermediate image is only maintained once. Compared with the case where the reference image is updated by determining that the stopped object is applied to the pixel, the erroneous determination of determining that the pixel that is not actually applied to the stopped object is applied to the stopped object can be reduced. it can.

請求項5の発明は、撮像部においてゲインが変更されたときに、変更されたゲインに応じて、基準画像と中間画像との各画素の画素値、並びに、差分判定閾値をそれぞれ更新されるので、ゲインの変更に起因する誤判定を低減することができる。   In the invention of claim 5, when the gain is changed in the imaging unit, the pixel value of each pixel of the reference image and the intermediate image and the difference determination threshold are updated according to the changed gain. In addition, it is possible to reduce misjudgment caused by gain change.

請求項7〜9の発明は、それぞれ、連結領域の画素数がノイズ判定閾値に満たないときには判定結果や比較結果を反転させるので、移動物体において偶然に画素値が基準画像や停止物体と一致する部位による影響や、電磁ノイズによる影響を低減することができる。   In each of the seventh to ninth aspects, since the determination result and the comparison result are inverted when the number of pixels in the connected region is less than the noise determination threshold value, the pixel value coincides with the reference image or the stop object by chance in the moving object. The influence by a part and the influence by electromagnetic noise can be reduced.

請求項10の発明は、撮像部は、監視範囲に光を間欠的に照射する光源と、監視範囲を撮像する撮像素子と、光源によって監視範囲に光が照射されているときの画像と、光源によって監視範囲に光が照射されていないときの画像との差分を検出部に出力する差分出力部とを有するので、検出部には環境光による画素値への寄与が相殺された画像が出力されることになるから、環境光の影響を低減することができる。   According to a tenth aspect of the present invention, the imaging unit includes a light source that intermittently irradiates the monitoring range with light, an imaging element that images the monitoring range, an image when the monitoring range is irradiated with light, and a light source. Since the difference output unit that outputs the difference from the image when the monitoring range is not irradiated with light to the detection unit is output to the detection unit, an image in which the contribution of the ambient light to the pixel value is offset is output. Therefore, the influence of ambient light can be reduced.

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。   The best mode for carrying out the present invention will be described below with reference to the drawings.

本実施形態は、図2に示すように、例えばCCDイメージセンサやCMOSイメージセンサのような固体撮像素子を有して監視範囲を撮像する撮像部B1と、撮像部B1によって撮像された画像であって移動物体が存在しない基準画像が格納された記憶部B3と、撮像部B1によって撮像された最新画像と記憶部B3に格納された基準画像との差に基づいて移動物体を検出する検出部B2とを備える。   As shown in FIG. 2, the present embodiment includes an imaging unit B1 that has a solid-state imaging device such as a CCD image sensor or a CMOS image sensor and images a monitoring range, and an image that is captured by the imaging unit B1. And a storage unit B3 that stores a reference image in which no moving object exists, and a detection unit B2 that detects a moving object based on the difference between the latest image captured by the imaging unit B1 and the reference image stored in the storage unit B3. With.

次に、本実施形態の検出部B2の動作を、主に図1を用いて説明する。   Next, the operation of the detection unit B2 of the present embodiment will be described mainly using FIG.

記憶部B3には、予め移動物体が存在しない状態で撮像部B1により監視範囲を撮像して得られた画像である基準画像と、撮像部B1から画像が得られる度に新しく得られた画像(以下、「最新画像」と呼ぶ。)を反映させて逐次更新される中間画像とが格納されている。また、記憶部B3には、基準画像に対する差分が変動せず維持された回数を示す差分維持回数Nが、各画素毎に格納されている。   In the storage unit B3, a reference image that is an image obtained by capturing an image of the monitoring range by the image capturing unit B1 in the absence of a moving object in advance, and an image (a new image obtained every time an image is obtained from the image capturing unit B1) Hereinafter, intermediate images that are sequentially updated to reflect “the latest image” are stored. The storage unit B3 stores a difference maintenance count N indicating the number of times that the difference with respect to the reference image is maintained without fluctuation for each pixel.

図1に示すように、始動(S1)後、検出部B2は、定期的に撮像部B1から画像が得て、得られた画像(以下、「最新画像」と呼ぶ。)の各画素について、以下の動作を行う。   As shown in FIG. 1, after the start (S1), the detection unit B2 periodically obtains an image from the imaging unit B1, and for each pixel of the obtained image (hereinafter referred to as “latest image”). The following operations are performed.

まず、最新画像での画素値Enを取得する(S2)。次に、最新画像での画素値Enと基準画像での画素値Ebとの差の絶対値|En−Eb|を所定の差分判定閾値Etと比較する(S3)。そして、上記差の絶対値|En−Eb|が差分判定閾値Etよりも小さければ移動物体がその画素にかかっていないと判定して差分維持回数Nを0とし(S4)、最新画像での画素値を反映させて中間画像での画素値Epを更新する(S5)。   First, the pixel value En in the latest image is acquired (S2). Next, the absolute value | En−Eb | of the difference between the pixel value En in the latest image and the pixel value Eb in the reference image is compared with a predetermined difference determination threshold Et (S3). If the absolute value | En−Eb | of the difference is smaller than the difference determination threshold Et, it is determined that the moving object does not cover the pixel, the difference maintenance count N is set to 0 (S4), and the pixel in the latest image is displayed. The pixel value Ep in the intermediate image is updated by reflecting the value (S5).

一方、ステップS3において上記絶対値|En−Ep|が差分判定閾値Etよりも大きければ、さらに最新画像での画素値Enと中間画像での画素値Epとの差の絶対値を差分判定閾値Etと比較し(S6)、最新画像での画素値Enと中間画像での画素値Epとの差の絶対値|En−Ep|が差分判定閾値Etよりも大きければ移動物体がその画素にかかっていると判定して差分維持回数Nを1として(S7)ステップS5に進む。また、ステップS6において上記差の絶対値|En−Ep|が差分判定閾値Etよりも小さければ、基準画像に対する差分が維持されていると判定して差分維持回数Nに1を加算した上で(S8)、差分維持回数Nが2以上の所定の停止判定閾値Nt(例えばNt=2)に達しているか否かを判定する(S9)。ステップS9において、差分維持回数Nが停止判定閾値Ntに達していなければそのままステップS5に進み、差分維持回数Nが停止判定閾値Ntに達していれば基準画像に存在する停止物体とは異なる停止物体がその画素にかかっていると判定して基準画像での画素値Ebを中間画像での画素値Epに更新するとともに差分維持回数Nを0として(S10)ステップS5に進む。つまり、ステップS3とステップS6とのいずれの比較結果にも関わらずステップS5の中間画像での画素値Epの更新は行われる。   On the other hand, if the absolute value | En−Ep | is larger than the difference determination threshold Et in step S3, the absolute value of the difference between the pixel value En in the latest image and the pixel value Ep in the intermediate image is further calculated as the difference determination threshold Et. (S6), if the absolute value | En−Ep | of the difference between the pixel value En in the latest image and the pixel value Ep in the intermediate image is larger than the difference determination threshold Et, the moving object is applied to the pixel. The difference maintenance count N is set to 1 (S7), and the process proceeds to step S5. If the absolute value | En-Ep | of the difference is smaller than the difference determination threshold Et in step S6, it is determined that the difference with respect to the reference image is maintained, and 1 is added to the difference maintenance count N ( S8), it is determined whether or not the difference maintenance count N has reached a predetermined stop determination threshold Nt (for example, Nt = 2) of 2 or more (S9). In step S9, if the difference maintenance count N has not reached the stop determination threshold value Nt, the process proceeds directly to step S5, and if the difference maintenance count N has reached the stop determination threshold value Nt, a stop object different from the stop object existing in the reference image. The pixel value Eb in the reference image is updated to the pixel value Ep in the intermediate image and the difference maintenance count N is set to 0 (S10), and the process proceeds to step S5. That is, the pixel value Ep is updated in the intermediate image in step S5 regardless of the comparison result between step S3 and step S6.

ここで、ステップS5における更新後の中間画像での画素値Ep’は、検出部B2による更新前の中間画像での画素値Epと、1以下の所定の正の数αと、最新画像での画素値Enとを用いて、Ep’=αEn+(1−α)Epで表される。αは用途に応じて適宜選択されるパラメータであり、αが1に近ければ近いほど中間画像の変化が早くなって停止物体の変位や出現・消失への対応が早くなる。   Here, the pixel value Ep ′ in the intermediate image after the update in step S5 is the pixel value Ep in the intermediate image before the update by the detection unit B2, a predetermined positive number α of 1 or less, and the pixel value Ep ′ in the latest image. Using the pixel value En, it is expressed as Ep ′ = αEn + (1−α) Ep. α is a parameter that is appropriately selected according to the application. The closer α is to 1, the faster the change in the intermediate image is, and the faster the response to displacement, appearance / disappearance of the stationary object.

ステップS5において中間画像での画素値Epを更新した後はステップS2に戻る。このとき、同じ最新画像でまだ上記の処理が終了していない画素があれば、同じ最新画像での次の画素について同様の処理を行い、全ての画素について上記の処理が終了していれば次の最新画像で1個目の画素から順に同様の処理を行う。   After updating the pixel value Ep in the intermediate image in step S5, the process returns to step S2. At this time, if there is a pixel in the same latest image for which the above processing has not been completed, the same processing is performed for the next pixel in the same latest image, and if the above processing is completed for all the pixels, the next processing is performed. The same processing is performed in order from the first pixel in the latest image.

上記構成によれば、2以上の数である停止判定閾値Ntの回数だけ中間画像に対する差分が維持された画素についてのみ基準画像を更新するので、中間画像に対する差分が一回維持されただけで停止物体がその画素にかかっていると判定して基準画像を更新する場合に比べ、実際には停止物体にかかっていない画素を停止物体にかかっていると判定する誤判定を低減することができる。   According to the above configuration, since the reference image is updated only for the pixels in which the difference with respect to the intermediate image is maintained by the number of times of the stop determination threshold Nt that is a number equal to or greater than 2, the reference image is updated only once the difference with respect to the intermediate image is maintained. Compared with the case where the reference image is updated by determining that the object is applied to the pixel, it is possible to reduce erroneous determination that determines that the pixel that is not actually applied to the stopped object is applied to the stopped object.

ここで、停止判定閾値Ntは、大きくするほど、停止物体の変位や出現・消失への対応が遅くなる反面、実際には停止物体ではないものを停止物体と判定してしまう誤判定は抑制される。   Here, as the stop determination threshold Nt is increased, the response to the displacement or appearance / disappearance of the stopped object is delayed, but an erroneous determination that actually determines that the object is not a stopped object is suppressed. The

また、差分判定閾値Etを選択するに当たっては、例えば、想定される移動物体について、画素が移動物体にかかっている期間内での画素値の変動幅よりも差分判定閾値Etを大きくする。差分判定閾値Etを上記のように選択すれば、画素が移動物体にかかっている期間内は差分維持回数Nは1のままとなるから、誤って上記期間内に基準画像が更新されることはない。   In selecting the difference determination threshold Et, for example, for an assumed moving object, the difference determination threshold Et is set larger than the fluctuation range of the pixel value within a period in which the pixel is on the moving object. If the difference determination threshold Et is selected as described above, the difference maintenance count N remains 1 during the period when the pixel is on the moving object, so that the reference image is erroneously updated within the period. Absent.

なお、1個の最新画像の全ての画素において上記処理が完了したとき、次の最新画像に移る前に、差分維持回数Nが1である画素の範囲のみを移動物体の範囲として抽出し、または、差分維持回数Nが2以上である画素の範囲のみを停止物体の範囲として抽出して、移動物体又は停止物体に含まれる画素からなる各連結領域と含まれない画素からなる各連結領域とのそれぞれにおいて、連結領域を構成する画素数を所定のノイズ判定閾値と比較し、画素数がノイズ判定閾値に満たない連結領域については、移動物体又は停止物体に含まれる・含まれないの属性を反転させてもよい。この場合、属性を反転させた各画素については、属する連結領域に隣接する各画素の差分維持回数に応じて差分維持回数を更新する。例えば、該連結領域に隣接する画素のうち差分維持回数が0である画素が半数以上を占めている場合には該連結領域に含まれる各画素の差分維持回数をそれぞれ0とし、差分維持回数が0である画素が半数未満であった場合には該連結領域に含まれる各画素の差分維持回数をそれぞれ該連結領域に隣接する画素のうち差分維持回数が0でない全ての画素の差分維持回数の平均値(端数は切捨て又は切り上げ)とする。つまり、移動物体に含まれていないとされていた連結領域を移動物体に含まれるとした場合には、該連結領域に含まれる各画素の差分維持回数は1とされる。ここで、移動物体において画素値が基準画像や背後の停止物体と偶然に一致する部位が存在することがあり、このような場合には移動物体の上記部位が、移動物体として判定されなかったり停止物体として判定されたりといった誤判定が発生し得る。また、電磁ノイズによっても、移動物体の一部が移動物体として判定されなかったり、逆に停止物体の一部が停止物体として判定されなかったりといった誤判定は発生し得る。しかし、上記構成を採用すれば、上記のような誤判定を低減することができる。上記処理において抽出された移動物体の範囲や停止物体の範囲は、図示しない後段において移動物体や停止物体の同定等の別の処理に用いることができる。   When the above processing is completed for all the pixels of one latest image, before moving to the next latest image, only the range of pixels whose difference maintenance count N is 1 is extracted as the range of moving objects, or , By extracting only the range of pixels having the difference maintenance count N of 2 or more as the range of the stopped object, each connected region consisting of pixels included in the moving object or the stopped object and each connected region consisting of pixels not included In each case, the number of pixels constituting the connected area is compared with a predetermined noise determination threshold, and for connected areas where the number of pixels is less than the noise determination threshold, the attribute of being included or not included in the moving object or the stopped object is inverted. You may let them. In this case, for each pixel whose attribute has been inverted, the difference maintenance count is updated according to the difference maintenance count of each pixel adjacent to the connected region to which it belongs. For example, when pixels that have a difference maintenance count of 0 occupy more than half of the pixels adjacent to the connection area, the difference maintenance count of each pixel included in the connection area is set to 0, and the difference maintenance count is If less than half of the pixels are 0, the difference maintenance count of each pixel included in the connected area is set to the difference maintenance count of all the pixels whose difference maintenance count is not 0 among the pixels adjacent to the connected area. Average value (rounded down or rounded up). That is, when a connected area that is not included in the moving object is included in the moving object, the difference maintenance count of each pixel included in the connected area is 1. Here, there may be a part of the moving object where the pixel value coincides with the reference image or the stop object behind, and in such a case, the part of the moving object is not determined as a moving object or is stopped. An erroneous determination such as determination as an object may occur. Also, due to electromagnetic noise, misjudgment that a part of a moving object is not determined as a moving object or a part of a stopping object is not determined as a stopping object may occur. However, if the above configuration is adopted, the erroneous determination as described above can be reduced. The range of the moving object and the range of the stopped object extracted in the above process can be used for another process such as identification of the moving object and the stopped object in a later stage (not shown).

または、ステップS3〜ステップS8の一連の処理を画素毎に連続して一気に行う代わりに、ステップS3とステップS6との比較をそれぞれ全ての画素について一斉に行うとともに、ステップS3とステップS6とのそれぞれに関し、比較結果が互いに共通の画素からなる各連結領域のそれぞれについて構成する画素数を所定のノイズ判定閾値と比較し、画素数がノイズ判定閾値に満たない連結領域については比較結果を反転させた上で後の処理を行うようにしてもよい。ここで、比較結果を反転させるとは、差の絶対値が差分判定閾値を下回っていた連結領域に属する画素についてはそれぞれ差の絶対値が差分判定閾値を上回っていたものとして扱い、差の絶対値が差分判定閾値を上回っていた連結領域に属する画素についてはそれぞれ差の絶対値が差分判定閾値を下回っていたものとして扱うことを意味する。この構成を採用すれば、移動物体において偶然に画素値が基準画像や停止物体と一致する部位による影響や、電磁ノイズによる影響を低減することができる。   Alternatively, instead of performing the series of processes from step S3 to step S8 consecutively for each pixel, the comparison between step S3 and step S6 is performed for all the pixels simultaneously, and each of step S3 and step S6 is performed. The comparison result is compared with the predetermined noise determination threshold value for the number of pixels constituting each of the connected regions that are composed of pixels having the same comparison result, and the comparison result is inverted for the connected region whose pixel number is less than the noise determination threshold value. You may make it perform a later process above. Here, inverting the comparison result means that the pixels belonging to the connected region whose absolute difference value is lower than the difference determination threshold value are treated as if the absolute value of the difference is higher than the difference determination threshold value. This means that the pixels belonging to the connected regions whose values are higher than the difference determination threshold are treated as those whose absolute difference value is lower than the difference determination threshold. By adopting this configuration, it is possible to reduce the influence caused by the part where the pixel value coincides with the reference image or the stop object accidentally in the moving object, or the influence caused by electromagnetic noise.

さらに、撮像部B1においてゲインが変更されたときに、検出部B2が、変更されたゲインに応じて、記憶部B3に格納された基準画像と中間画像との各画素値と、差分判定閾値とをそれぞれ変更するようにしてもよい。すなわち、ゲインが大きい(つまり、入射光量に対して画素値が大きい)ほど、基準画像と中間画像との各画素値と、差分判定閾値とをそれぞれ大きくする。この構成を採用すれば、ゲインの変更に起因する誤判定を低減することができる。   Further, when the gain is changed in the imaging unit B1, the detection unit B2 determines each pixel value of the reference image and the intermediate image stored in the storage unit B3, the difference determination threshold value, and the difference according to the changed gain. May be changed respectively. That is, the larger the gain (that is, the larger the pixel value with respect to the incident light amount), the larger the respective pixel values of the reference image and the intermediate image and the difference determination threshold value. By adopting this configuration, it is possible to reduce erroneous determination due to gain change.

ここで、撮像部B1としては、図3に示すように、監視範囲に対して光を照射する光源2と、監視範囲に存在する対象物5での反射光が光学系6を介して入射する撮像素子としてのイメージセンサ10と、イメージセンサ10の出力を用いて画像を生成する画像生成部3と、光源2とイメージセンサ10とをそれぞれ制御する制御部4とを有するものを用いることができる。   Here, as shown in FIG. 3, as the imaging unit B <b> 1, the light source 2 that irradiates light to the monitoring range and the reflected light from the object 5 existing in the monitoring range are incident via the optical system 6. An image sensor 10 as an image sensor, an image generation unit 3 that generates an image using the output of the image sensor 10, and a control unit 4 that controls the light source 2 and the image sensor 10 can be used. .

イメージセンサ10は、例えばマトリクス状に配列された複数個の受光素子1を備えるCCDイメージセンサである。各受光素子1は、それぞれ、入射光量に応じた電荷を生成する感光部1aと、感光部1aで生成された電荷が蓄積される電荷蓄積部1bとを有する。受光素子1は、例えばMIS(Metal-Insulate-Semiconductor)素子のような光電変換素子である。また、各受光素子1はそれぞれ制御電極13を有し、制御部4は制御電極13に加える電圧を制御することにより、入射光量に対して出力される電荷(画素値)の倍率すなわちゲインを制御する。さらに、イメージセンサ10は、各受光素子1の電荷蓄積部1bに蓄積された電荷を個別に引き出して画像生成部3に転送する電荷引き出し部1cを有する。すなわち、電荷蓄積部1bには感光部1aの入射光量に応じた量の電荷が蓄積され、この電荷の量が画素値として画像生成部3に出力される。   The image sensor 10 is a CCD image sensor including a plurality of light receiving elements 1 arranged in a matrix, for example. Each light receiving element 1 includes a photosensitive portion 1a that generates charges according to the amount of incident light and a charge storage portion 1b that stores charges generated by the photosensitive portion 1a. The light receiving element 1 is a photoelectric conversion element such as a MIS (Metal-Insulate-Semiconductor) element. Each light receiving element 1 has a control electrode 13, and the control unit 4 controls the voltage applied to the control electrode 13, thereby controlling the magnification, that is, gain, of the charge (pixel value) output with respect to the incident light amount. To do. Further, the image sensor 10 includes a charge extraction unit 1 c that individually extracts the charges accumulated in the charge accumulation unit 1 b of each light receiving element 1 and transfers them to the image generation unit 3. That is, an amount of charge corresponding to the amount of light incident on the photosensitive portion 1a is accumulated in the charge accumulation portion 1b, and this amount of charge is output to the image generation portion 3 as a pixel value.

光源2としては、例えば発光ダイオードを用いることができる。光源2は制御部4によって間欠的に点灯するように制御される。画像生成部3は、図4に示すように光源2の点灯中の画素値Aaと消灯中の画素値Abとをそれぞれ入力され、光源2の点灯中の画素値Aaと光源2の消灯中の画素値Abとの差Aa−Abを画素値とする振幅画像を生成して検出部B2へ出力する。すなわち、図4に曲線Eで示すような環境光による画素値への寄与が上記のように差Aa−Abをとることで相殺されるから、振幅画像は、環境光の変動による影響が低減され、撮像部B1との距離が近く光源2によって強く照明される物体ほど強調された画像となる。光源2の点灯のデューティ比は例えば50%(つまり点灯時間と消灯時間とを同じ)とする。光源2の明滅の周波数は、例えば10〜100kHzといったように、人の目では明滅が確認できず連続点灯に見える程度に高い周期とすることが望ましい。ここで、光電2の点灯中の画素値Aaと消灯中の画素値Abとのいずれか一方のみを移動物体の検出に用いた場合、太陽光や街灯の光といった環境光の変動による画像の変化が、移動物体による画像の変化として誤認され誤検出を招く可能性がある。これに対し、上記のように振幅画像の画素値Aa−Abを移動物体の検出に用いれば、環境光の変動に起因する誤検出が低減される。なお、振幅画像の画素値は、必ずしも明滅毎に算出される必要はなく、複数回の明滅毎に、点灯中の画素値Aaの該複数回分の合計と、消灯中の画素値Abの該複数回分の合計との差として算出されるようにしてもよい。   As the light source 2, for example, a light emitting diode can be used. The light source 2 is controlled so as to be intermittently lit by the control unit 4. As shown in FIG. 4, the image generation unit 3 receives the pixel value Aa when the light source 2 is turned on and the pixel value Ab when the light source 2 is turned off, and the pixel value Aa when the light source 2 is turned on and the light source 2 is turned off. An amplitude image having a pixel value that is the difference Aa−Ab from the pixel value Ab is generated and output to the detection unit B2. That is, since the contribution of the ambient light to the pixel value as indicated by the curve E in FIG. 4 is offset by taking the difference Aa−Ab as described above, the amplitude image is less affected by the fluctuation of the ambient light. An object that is closer to the imaging unit B1 and is more strongly illuminated by the light source 2 has an enhanced image. For example, the duty ratio of lighting of the light source 2 is 50% (that is, the lighting time and the light-off time are the same). It is desirable that the blinking frequency of the light source 2 is set to a period high enough that blinking cannot be confirmed by human eyes, for example, 10-100 kHz. Here, when only one of the pixel value Aa when the photoelectric 2 is turned on and the pixel value Ab when the light is turned off is used for detection of a moving object, a change in the image due to a change in environmental light such as sunlight or streetlight light. However, it may be mistaken for an image change caused by a moving object and may cause erroneous detection. On the other hand, if the pixel value Aa-Ab of the amplitude image is used for detection of a moving object as described above, erroneous detection due to fluctuations in ambient light is reduced. Note that the pixel value of the amplitude image does not necessarily have to be calculated for each blinking. For each of the plurality of blinks, the total of the plurality of pixel values Aa that are turned on and the plurality of pixel values Ab that are turned off. It may be calculated as a difference from the total of the batches.

また、画像生成部3は、上記のように振幅画像を生成する差分出力部としての振幅画像生成部3aのほか、光源2が点灯中の画素値Aaのみを用いて生成された濃淡画像を生成する濃淡画像生成部3bを有する。濃淡画像は肉眼で見た映像に近く、例えば液晶画面などのディスプレイへの表示に用いられる。   In addition to the amplitude image generation unit 3a serving as a difference output unit that generates an amplitude image as described above, the image generation unit 3 generates a grayscale image generated using only the pixel value Aa when the light source 2 is lit. A gray-scale image generating unit 3b. The grayscale image is close to the image seen with the naked eye, and is used for display on a display such as a liquid crystal screen.

本発明の実施形態における検出部の動作を示す流れ図である。It is a flowchart which shows operation | movement of the detection part in embodiment of this invention. 同上の概略構成を示すブロック図である。It is a block diagram which shows schematic structure same as the above. 同上の撮像部の一例の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of an example of an imaging part same as the above. 図3の撮像部の動作を示す説明図である。It is explanatory drawing which shows operation | movement of the imaging part of FIG. 撮像部によって撮像される画像の例を示し、(a)は移動物体が存在しない画像の例を示し、(b)は移動物体が存在する画像の例を示し、(c)は(b)から移動物体が抽出された画像の例を示す。An example of an image captured by the imaging unit is shown, (a) shows an example of an image without a moving object, (b) shows an example of an image with a moving object, and (c) shows an example from (b). The example of the image from which the moving object was extracted is shown.

符号の説明Explanation of symbols

2 光源
3a 振幅画像生成部(請求項における差分出力部)
10 イメージセンサ(請求項における撮像素子)
B1 撮像部
B2 検出部
B3 記憶部
2 Light source 3a Amplitude image generation unit (difference output unit in claims)
10 Image sensor (Image sensor in claims)
B1 imaging unit B2 detection unit B3 storage unit

Claims (10)

監視範囲の撮像を行う撮像部と、
撮像部によって撮像された画像のうち移動物体が存在しない画像である基準画像と、撮像部によって撮像された画像が逐次反映される中間画像とがそれぞれ格納されるとともに、基準画像に対する差分が変化せずに維持された差分維持回数が画素毎に格納される記憶部と、
記憶部に格納された基準画像と撮像部によって撮像された最新画像との差に基づいて移動物体の存在を検出する検出部とを備え、
検出部は、定期的に且つ画素毎に、最新画像での画素値と基準画像での画素値との差の絶対値を所定の差分判定閾値と比較し、最新画像での画素値と基準画像での画素値との差の絶対値が差分判定閾値よりも小さければ移動物体がその画素にかかっていないと判定して差分維持回数を0とし、最新画像での画素値と基準画像での画素値との差の絶対値が差分判定閾値よりも大きければ、さらに最新画像での画素値と中間画像での画素値との差の絶対値を差分判定閾値と比較し、最新画像での画素値と中間画像での画素値との差の絶対値が差分判定閾値よりも大きければ移動物体がその画素にかかっていると判定して差分維持回数を1とし、最新画像での画素値と中間画像での画素値との差の絶対値が差分判定閾値よりも小さければ基準画像に対する差分が維持されていると判定して差分維持回数に1を加算し、差分維持回数が2以上の所定の停止判定閾値に達すれば基準画像に存在する停止物体とは異なる停止物体がその画素にかかっていると判定して基準画像での画素値を中間画像での画素値に更新して差分維持回数を0とするとともに、いずれの比較の結果にも関わらず最新画像での画素値を反映させて中間画像での画素値を更新することを特徴とする画像処理装置。
An imaging unit for imaging the monitoring range;
A reference image, which is an image captured by the imaging unit, in which there is no moving object, and an intermediate image in which images captured by the imaging unit are sequentially reflected are stored, and a difference with respect to the reference image is changed. A storage unit for storing the number of difference maintenance times maintained for each pixel;
A detection unit that detects the presence of a moving object based on the difference between the reference image stored in the storage unit and the latest image captured by the imaging unit;
The detection unit periodically and for each pixel compares the absolute value of the difference between the pixel value in the latest image and the pixel value in the reference image with a predetermined difference determination threshold, and the pixel value in the latest image and the reference image If the absolute value of the difference from the pixel value at is smaller than the difference determination threshold, it is determined that the moving object does not cover that pixel, the difference maintenance count is set to 0, and the pixel value in the latest image and the pixel in the reference image If the absolute value of the difference from the value is larger than the difference determination threshold, the absolute value of the difference between the pixel value in the latest image and the pixel value in the intermediate image is compared with the difference determination threshold, and the pixel value in the latest image If the absolute value of the difference between the pixel value in the intermediate image and the pixel value in the intermediate image is larger than the difference determination threshold, it is determined that the moving object is on that pixel, the difference maintenance count is set to 1, and the pixel value in the latest image and the intermediate image If the absolute value of the difference from the pixel value is smaller than the difference judgment threshold, It is determined that the difference is maintained, 1 is added to the difference maintenance count, and if the difference maintenance count reaches a predetermined stop determination threshold value of 2 or more, a stop object different from the stop object existing in the reference image is the pixel. The pixel value in the reference image is updated to the pixel value in the intermediate image and the difference maintenance count is set to 0, and the pixel value in the latest image is changed regardless of the result of any comparison. An image processing apparatus that updates a pixel value in an intermediate image by reflecting.
検出部は差分維持回数が1である画素の範囲を移動物体の範囲として抽出して出力することを特徴とする請求項1記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the detection unit extracts and outputs a range of pixels having a difference maintenance count of 1 as a range of moving objects. 検出部は差分維持回数が2以上である画素の範囲を停止物体の範囲として抽出して出力することを特徴とする請求項1記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the detection unit extracts and outputs a range of pixels having a difference maintenance count of 2 or more as a range of a stopped object. 差分判定閾値は、使用環境で想定される電磁ノイズによる画素値の変動幅よりも大きいことを特徴とする請求項1〜3のいずれか一項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the difference determination threshold is larger than a fluctuation range of a pixel value due to electromagnetic noise assumed in a use environment. 撮像部は、監視範囲からの入射光量と画素値との関係を決定するパラメータであるゲインを変更可能であって、
検出部は、撮像部においてゲインが変更されたときに、変更されたゲインに応じて、基準画像と中間画像との各画素の画素値、並びに、差分判定閾値をそれぞれ更新することを特徴とする請求項1〜4のいずれか一項に記載の画像処理装置。
The imaging unit can change a gain that is a parameter for determining the relationship between the incident light amount from the monitoring range and the pixel value,
When the gain is changed in the imaging unit, the detection unit updates the pixel value of each pixel of the reference image and the intermediate image and the difference determination threshold according to the changed gain. The image processing apparatus according to claim 1.
各画素について、それぞれ、検出部による更新後の中間画像での画素値Ep’は、検出部による更新前の中間画像での画素値Epと、1以下の所定の正の数αと、最新画像での画素値Enとを用いて、Ep’=αEn+(1−α)Epで表されることを特徴とする請求項1〜5のいずれか一項に記載の画像処理装置。   For each pixel, the pixel value Ep ′ in the intermediate image after the update by the detection unit is the pixel value Ep in the intermediate image before the update by the detection unit, a predetermined positive number α of 1 or less, and the latest image The image processing apparatus according to claim 1, wherein the pixel value En is expressed by Ep ′ = αEn + (1−α) Ep. 検出部は、移動物体の範囲と移動物体以外の範囲とのそれぞれについて各連結領域の画素数をそれぞれ所定のノイズ判定閾値と比較し、移動物体の範囲に含まれていながら画素数が所定のノイズ判定閾値に満たない連結領域を移動物体の範囲から外してその連結領域に含まれる各画素の差分維持回数をその連結領域に隣接する各画素の差分維持回数に応じた数とするとともに、移動物体の範囲に含まれていないが画素数がノイズ判定閾値に満たない連結領域を移動物体の範囲に加えてその連結領域に含まれる各画素の差分維持回数を1とすることを特徴とする請求項2記載の画像処理装置。   The detection unit compares the number of pixels in each connected region with a predetermined noise determination threshold for each of the range of the moving object and the range other than the moving object, and the number of pixels included in the range of the moving object is the predetermined noise. A connected area that does not satisfy the determination threshold is removed from the range of the moving object, and the number of times of difference maintenance for each pixel included in the connected area is set to a number corresponding to the number of times of difference maintenance for each pixel adjacent to the connected area. A connected area that is not included in the range but whose number of pixels does not satisfy the noise determination threshold is added to the range of the moving object, and the difference maintenance count of each pixel included in the connected area is set to 1. 2. The image processing apparatus according to 2. 検出部は、停止物体の範囲と停止物体以外の範囲とのそれぞれについて各連結領域の画素数をそれぞれ所定のノイズ判定閾値と比較し、停止物体の範囲に含まれていながら画素数がノイズ判定閾値に満たない連結領域を停止物体の範囲から外してその連結領域に含まれる各画素の差分維持回数をその連結領域に隣接する各画素の差分維持回数に応じた数とするとともに、停止物体の範囲に含まれていないが画素数がノイズ判定閾値に満たない連結領域を停止物体の範囲に加えてその連結領域に含まれる各画素の差分維持回数をその連結領域に隣接する各画素の差分維持回数に応じた数とすることを特徴とする請求項3記載の画像処理装置。   The detection unit compares the number of pixels in each connected region with a predetermined noise determination threshold value for each of the range of the stopped object and the range other than the stopped object, and the number of pixels is included in the range of the stopped object while the number of pixels is the noise determination threshold value. And the number of times of maintaining the difference of each pixel included in the connected region is determined according to the number of times of maintaining the difference between the pixels adjacent to the connected region. The number of pixels that are not included in the connected area but the number of pixels is less than the noise determination threshold is added to the range of the stopped object, and the number of times of maintaining the difference of each pixel included in the connected area is the number of times of maintaining the difference between the adjacent pixels. The image processing apparatus according to claim 3, wherein the number is set in accordance with. 検出部は、各比較についてそれぞれ比較結果が一致する各連結領域の画素数をそれぞれ所定のノイズ判定閾値と比較し、画素数がノイズ判定閾値に満たない場合にはその連結領域に属する各画素に関してそれぞれ比較結果を反転させることを特徴とする請求項1記載の画像処理装置。   For each comparison, the detection unit compares the number of pixels in each connected region where the comparison results match each other with a predetermined noise determination threshold value. If the number of pixels is less than the noise determination threshold value, the detection unit relates to each pixel belonging to the connected region. The image processing apparatus according to claim 1, wherein each of the comparison results is inverted. 撮像部は、
監視範囲に光を間欠的に照射する光源と、
監視範囲を撮像する撮像素子と、
光源によって監視範囲に光が照射されているときの画像と、光源によって監視範囲に光が照射されていないときの画像との差分を検出部に出力する差分出力部とを有することを特徴とする請求項1〜9のいずれか一項に記載の画像処理装置。
The imaging unit
A light source that intermittently irradiates the monitoring range with light;
An image sensor for imaging the monitoring range;
A difference output unit that outputs a difference between an image when the monitoring range is illuminated by the light source and an image when the monitoring range is not illuminated by the light source to the detection unit The image processing apparatus according to claim 1.
JP2007032358A 2007-02-13 2007-02-13 Image processing device Expired - Fee Related JP4811289B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007032358A JP4811289B2 (en) 2007-02-13 2007-02-13 Image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007032358A JP4811289B2 (en) 2007-02-13 2007-02-13 Image processing device

Publications (2)

Publication Number Publication Date
JP2008199303A JP2008199303A (en) 2008-08-28
JP4811289B2 true JP4811289B2 (en) 2011-11-09

Family

ID=39757860

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007032358A Expired - Fee Related JP4811289B2 (en) 2007-02-13 2007-02-13 Image processing device

Country Status (1)

Country Link
JP (1) JP4811289B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014053791A (en) * 2012-09-07 2014-03-20 Panasonic Corp Image processing device, image processing program and image pickup device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10111944A (en) * 1996-10-04 1998-04-28 Nippon Telegr & Teleph Corp <Ntt> Background image updating method and apparatus
JP2000090277A (en) * 1998-09-10 2000-03-31 Hitachi Denshi Ltd Reference background image updating method, intruding object detecting method, and intruding object detecting device
JP2002150272A (en) * 2000-11-07 2002-05-24 Mitsubishi Electric Corp Image processing system for parking lot
JP2002290959A (en) * 2001-03-23 2002-10-04 Fujitsu General Ltd Intruder detection method and device
JP2003299074A (en) * 2002-04-05 2003-10-17 Hitachi Kokusai Electric Inc Change detection device and detection method using imaging device
JP4438396B2 (en) * 2003-12-12 2010-03-24 ソニー株式会社 Monitoring device
JP4678487B2 (en) * 2005-03-15 2011-04-27 オムロン株式会社 Image processing system, image processing apparatus and method, recording medium, and program

Also Published As

Publication number Publication date
JP2008199303A (en) 2008-08-28

Similar Documents

Publication Publication Date Title
TWI285049B (en) Image capture device capable of flicker detection
US8779667B2 (en) Illumination apparatus
US10791252B2 (en) Image monitoring device, image monitoring method, and recording medium
CN102473061A (en) Ambient correction in rolling image capture system
JP2008158922A (en) Wrinkle detection device, wrinkle detection method and program
EP2765406B1 (en) Fluorescent light observation device and fluorescent light observation method
JP2009140307A (en) Human detection device
JP4811289B2 (en) Image processing device
JP4973341B2 (en) License plate reader
JP2006277085A (en) Optical pointing controller and pointing system using same device
JP6189284B2 (en) Image sensing device
JP5405365B2 (en) Image monitoring apparatus and monitoring system
EP3226554B1 (en) Imaging device and vehicle
JP3862558B2 (en) Image sensor and surveillance camera device
JP2012023566A (en) Monitoring system, and behavior monitoring program
JP5179132B2 (en) Human body detection device
KR20170108564A (en) System and method for detecting vehicle invasion using image
KR100717861B1 (en) Method and apparatus for detecting motion using camera image
JP4547213B2 (en) Object detection apparatus and method
JP6133700B2 (en) Image sensor
JP2009010594A (en) Image sensor
JP2010238034A (en) Smoke detection device
CN113132617A (en) Image jitter judgment method and device and image identification triggering method and device
JP2009177578A (en) Digital camera
JP4645321B2 (en) Moving object detection device using images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090915

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100915

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110726

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110808

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140902

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees