JP3134845B2 - Apparatus and method for extracting object in moving image - Google Patents
Apparatus and method for extracting object in moving imageInfo
- Publication number
- JP3134845B2 JP3134845B2 JP10188455A JP18845598A JP3134845B2 JP 3134845 B2 JP3134845 B2 JP 3134845B2 JP 10188455 A JP10188455 A JP 10188455A JP 18845598 A JP18845598 A JP 18845598A JP 3134845 B2 JP3134845 B2 JP 3134845B2
- Authority
- JP
- Japan
- Prior art keywords
- background
- difference
- stereo
- image
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 40
- 238000000605 extraction Methods 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 description 7
- 235000019557 luminance Nutrition 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- 238000004040 coloring Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、画像中の物体抽出
技術に関し、特にステレオ動画像中の物体抽出方法及び
装置に関する。The present invention relates to a technique for extracting an object from an image, and more particularly to a method and an apparatus for extracting an object from a stereo moving image.
【０００２】[0002]
【従来の技術】従来より、画像中の物体、特に動画像中
の移動物体を検出または抽出する技術が開発されてい
る。これらの技術の代表的なものとして、事前に撮影し
ておいた物体の存在しない背景画像と動画像の各フレー
ムとの差分から物体を検出する背景差分法、あるいは、
複数カメラで対象を撮像した画像から動物体を抽出する
ステレオ法などが知られている。2. Description of the Related Art Conventionally, techniques for detecting or extracting an object in an image, particularly a moving object in a moving image, have been developed. As a typical example of these techniques, a background subtraction method for detecting an object from a difference between a background image having no object photographed in advance and each frame of a moving image, or
A stereo method for extracting a moving object from an image of an object captured by a plurality of cameras is known.
【０００３】前者の例として例えば特開平９―２６５５
８５号公報には、背景差分画像とフレーム間差分画像を
利用して、監視領域内の侵入物体を抽出する技術が開示
されている。後者の例としては、特開平１０―７９９３
４号公報には、ステレオ法により監視区域内の移動物体
を検知して警報を発する技術が開示されている。また他
の応用として、特開平１０―１１５８５号公報には、車
載の複数台のカメラにより他の車両や白線を検出し、自
動運転を行う技術が開示されている。さらに特開平９―
２７１０１４号公報には、事前にステレオ画像間の背景
対応を記憶しておき、物体によって生じる対応の崩れを
用いて動物体を抽出する技術が開示されている。As an example of the former, see, for example, Japanese Patent Laid-Open No. 9-2655.
No. 85 discloses a technique of extracting an intruding object in a monitoring area using a background difference image and an inter-frame difference image. An example of the latter is disclosed in JP-A-10-7993.
Japanese Patent Application Laid-Open No. 4 (1999) -1995 discloses a technique of detecting a moving object in a monitoring area by a stereo method and issuing an alarm. As another application, Japanese Patent Application Laid-Open No. 10-11585 discloses a technique of detecting another vehicle or a white line with a plurality of in-vehicle cameras and performing automatic driving. Japanese Patent Application Laid-Open No. 9-
Japanese Patent No. 2701414 discloses a technique in which background correspondence between stereo images is stored in advance, and a moving object is extracted by using a collapse of correspondence caused by an object.
【０００４】[0004]
【発明が解決しようとする課題】しかしながら、上記し
た背景差分画像による技術では、照明条件の変化により
背景中の輝度変動を物体と誤検出してしまうため、正確
な物体検出が難しいという問題がある。特に屋外での監
視用途に用いる場合は、気象条件などによる照明条件の
変動により誤報が増大してしまい望ましくない。However, in the technique using the background difference image described above, there is a problem that it is difficult to accurately detect an object because a luminance variation in the background is erroneously detected as an object due to a change in illumination conditions. . In particular, when used for outdoor monitoring, false alarms increase due to fluctuations in lighting conditions due to weather conditions or the like, which is not desirable.
【０００５】またステレオ法による技術においても、複
数の画像間での物体領域あるいは特徴点の対応を探索す
る負荷が大きいという問題点がある。また、テクスチャ
が少なく輝度の類似した物体領域や、一部の画像のみに
撮像された隠蔽領域などでは正しい対応が探索できない
ため、検出もれあるいは誤検出が生じる、という問題も
ある。[0005] The technique based on the stereo method also has a problem in that the load of searching for a correspondence between an object region and a feature point between a plurality of images is large. Further, there is also a problem in that a correct correspondence cannot be searched for in an object region having a small texture and similar luminance, or a concealed region captured only in a part of the image, resulting in missed detection or erroneous detection.
【０００６】したがって、本発明は、上記問題点に鑑み
てなされたものであって、その目的は、照明条件の変化
の大きい環境で撮像された動画像中から、物体領域内部
の検出もれや背景中の誤検出の少ない、より自然で正確
な物体領域を、負荷の増大を抑止して抽出する物体抽出
装置及び方法を提供することにある。SUMMARY OF THE INVENTION Accordingly, the present invention has been made in view of the above-described problems, and has as its object to detect the leakage of the inside of an object area from a moving image captured in an environment where the lighting conditions change greatly. It is an object of the present invention to provide an object extracting apparatus and method for extracting a more natural and accurate object region with less erroneous detection in the background while suppressing an increase in load.
【０００７】[0007]
【課題を解決するための手段】上記目的を達成するため
に本発明は、複数カメラにより対象物体を含む動画像を
撮像する撮影手段と、得られた画像中の変化領域を識別
するフレーム間差分処理手段と、前記のフレーム間差分
処理手段で選択された変化領域に対し蓄積した背景画像
との差分を用いて動物体領域を抽出する背景差分処理手
段と、前記背景差分処理手段の信頼度が低い状況におい
て画像間の背景対応の崩れを用いて動物体を抽出するス
テレオ法処理手段と、前記フレーム間処理手段、背景差
分処理手段、及びステレオ法処理手段により抽出された
動物体領域を画像中に表示する抽出動物体表示手段と、
を有する。SUMMARY OF THE INVENTION In order to achieve the above object, the present invention provides a photographing means for photographing a moving image including a target object by a plurality of cameras, and an inter-frame difference for identifying a change area in the obtained image. Processing means; background difference processing means for extracting a moving object area using a difference between the accumulated background image for the change area selected by the inter-frame difference processing means; and reliability of the background difference processing means. A stereo method processing means for extracting a moving object by using the collapse of the background correspondence between images in a low situation, and a moving object region extracted by the inter-frame processing means, the background difference processing means, and the stereo method processing means in the image. Extraction moving object display means for displaying on the
Having.
【０００８】[0008]
【発明の実施の形態】本発明の実施の形態について説明
する。本発明は、背景差分技術、ステレオ法技術を組み
合わせることで、物体中のテクスチャが少ない領域にお
いても背景差分により検出されるため抜けが減少し、同
時に照明変化による背景中の誤検出を減少させることが
可能としたものである。Embodiments of the present invention will be described. The present invention combines background subtraction technology and stereo method technology to reduce omissions in areas with little texture in an object because they are detected by background subtraction, and at the same time to reduce false detections in the background due to illumination changes. Is made possible.
【０００９】より詳細には、本発明は、その好ましい実
施の形態において、図１を参照すると、撮影手段（１）
の複数カメラにより得た画像から、フレーム間差分処理
手段（２１）により検出された変化領域について、背景
差分処理手段（２２）により、その点と背景ステレオ対
応点のそれぞれの背景差分を基に、背景領域及び隠蔽領
域を抽出する。ステレオ対応点での背景差分が予め定め
られたしきい値よりも共に大きい場合には、ステレオ法
処理手段（２３）により、背景ステレオ対応点との輝度
値差分（「ステレオ差分」という）を求め、物体領域を
抽出する。このステレオ差分が予め定められたしきい値
よりも小さい場合には、物体内部の検出もれ、または背
景中の抜けのいずれであるかを、前フレームの抽出結果
をもとに判断して修正し、抽出動物体表示手段（４）に
て動物体領域を表示する。More specifically, in the preferred embodiment of the present invention, referring to FIG.
For the change area detected by the inter-frame difference processing means (21) from the images obtained by the plurality of cameras, the background difference processing means (22) calculates the change area based on the background difference between the point and the background stereo corresponding point. The background area and the concealed area are extracted. If the background difference at the stereo corresponding point is larger than a predetermined threshold value, the stereo method processing means (23) calculates a luminance value difference (referred to as “stereo difference”) from the background stereo corresponding point. , And extract the object region. If the stereo difference is smaller than a predetermined threshold, it is determined whether the object is missing inside the object or missing in the background based on the extraction result of the previous frame and correct it. Then, the moving object area is displayed by the extracted moving object display means (4).
【００１０】[0010]
【実施例】本発明の実施例について図面を参照して以下
に詳細に説明する。図１は、本発明の一実施例の全体の
構成を示す図である。DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments of the present invention will be described below in detail with reference to the drawings. FIG. 1 is a diagram showing the overall configuration of one embodiment of the present invention.
【００１１】図１を参照すると、本発明の一実施例は、
撮影手段１と、データ処理装置２と、記憶装置３と、抽
出動物体表示手段４と、を備えて構成されている。撮影
手段１は、不図示の２台のＴＶカメラが一定間隔をおい
て配置されており、データ処理装置２に対象物体を含む
画像を供給する。Referring to FIG. 1, one embodiment of the present invention is:
It is provided with a photographing means 1, a data processing device 2, a storage device 3, and an extracted moving object display means 4. The photographing means 1 has two TV cameras (not shown) arranged at regular intervals, and supplies an image including a target object to the data processing device 2.
【００１２】記憶装置３は、前フレーム画像記憶部３１
と、背景画像記憶部３２と、背景ステレオ対応記憶部３
３と、前フレーム抽出結果記憶部３４と、を備えてい
る。前フレーム画像記憶部３１は、各カメラの前フレー
ムにおいて得られた画像を順次記憶する。背景画像記憶
部３２は、各カメラにおける物体の無い背景画像を予め
記憶している。背景ステレオ対応記憶部３３は、事前に
求めた複数の背景画像間の画素のステレオ対応を予め記
憶している。前フレーム抽出結果記憶部３４は、前フレ
ームにおける抽出結果を順次記憶する。The storage device 3 includes a previous frame image storage unit 31
, A background image storage unit 32 and a background stereo correspondence storage unit 3
3 and a previous frame extraction result storage unit 34. The previous frame image storage unit 31 sequentially stores images obtained in the previous frame of each camera. The background image storage unit 32 stores in advance a background image without an object in each camera. The background stereo correspondence storage unit 33 stores in advance the stereo correspondence of pixels between a plurality of background images obtained in advance. The previous frame extraction result storage unit 34 sequentially stores the extraction results in the previous frame.
【００１３】データ処理装置２は、フレーム間差分処理
手段２１と、背景差分処理手段２２と、ステレオ法処理
手段２３と、を備えている。The data processing apparatus 2 includes an inter-frame difference processing means 21, a background difference processing means 22, and a stereo method processing means 23.
【００１４】フレーム間差分処理手段２１は、撮影手段
１で得られた複数の画像それぞれについて、前フレーム
画像記憶部３１に記憶される前フレーム画像との画素値
差分を算出し、差分があるしきい値を超える画素を変化
領域として背景差分処理手段２２に出力する。一方、差
分がしきい値を超えない画素については、変化のないも
のとして、前フレーム抽出結果記憶部３４に記憶されて
いる前フレームの判定結果により、状態を決定し、抽出
動物体表示手段４に出力する。The inter-frame difference processing means 21 calculates a pixel value difference between each of the plurality of images obtained by the photographing means 1 and the previous frame image stored in the previous frame image storage section 31 and determines whether there is a difference. Pixels exceeding the threshold value are output to the background difference processing means 22 as a change area. On the other hand, for the pixels whose difference does not exceed the threshold value, the state is determined based on the determination result of the previous frame stored in the previous frame extraction result storage unit 34 assuming that there is no change, and the extracted moving object display means 4 Output to
【００１５】背景差分処理手段２２は、フレーム間差分
処理手段２１から得られた変化領域の各画素、及び、事
前に背景ステレオ対応記憶部３３に記憶されている、背
景画像における当該画素のステレオ対応点のそれぞれに
ついて、事前に背景画像記憶部３２に記憶されている動
物体の存在しない背景画像の画素値と比較を行う。The background difference processing means 22 calculates each pixel of the change region obtained from the inter-frame difference processing means 21 and the corresponding stereo image of the pixel in the background image stored in the background stereo correspondence storage unit 33 in advance. Each of the points is compared with a pixel value of a background image in which no moving object is stored in the background image storage unit 32 in advance.
【００１６】そして、これら画素の差分値（左右の画像
のステレオ対応点での背景差分値）が共にあるしきい値
を超えない場合には背景とし、片方のみがしきい値を超
える場合には、超える方を物体領域、超えない方を背景
領域として、抽出動物体表示手段４に出力する。さらに
共にしきい値を超える場合には、状態を決定せず、ステ
レオ法処理手段２３に出力する。When the difference value of these pixels (the background difference value at the stereo corresponding points of the left and right images) does not exceed a certain threshold value, the background is set. Is output to the extracted moving object display means 4 as an object area exceeding the object area and a background area not exceeding the object area. If both of them exceed the threshold value, the state is not determined and output to the stereo method processing means 23.
【００１７】ステレオ法処理手段２３は、背景差分処理
手段２２から出力された画素について、事前に背景ステ
レオ対応記憶部３３に記憶されている背景ステレオ対応
点との差分があるしきい値を超える場合には、その画素
を物体領域とし、しきい値を超えない場合には、前フレ
ーム抽出結果記憶部３４の前フレームの判定結果によ
り、状態を決定し、抽出動物体表示手段４に出力する。When the difference between the pixel output from the background difference processing unit 22 and the background stereo corresponding point stored in the background stereo correspondence storage unit 33 in advance exceeds a certain threshold value, the stereo method processing unit 23 In step (2), if the pixel is set as an object area and the threshold value is not exceeded, the state is determined based on the determination result of the previous frame in the previous frame extraction result storage unit 34 and output to the extracted moving object display means 4.
【００１８】抽出動物体表示手段４は、フレーム間差分
処理手段２１、背景差分処理手段２２およびステレオ法
処理手段２３から得られた結果に従い、背景領域の画素
と動物体領域の画素を区別して着色し画像表示を行う。According to the results obtained from the inter-frame difference processing means 21, the background difference processing means 22, and the stereo method processing means 23, the extracted moving object display means 4 discriminates the pixels in the background area from the pixels in the moving object area. Image display.
【００１９】次に本発明の一実施例の動作について説明
する。Next, the operation of one embodiment of the present invention will be described.
【００２０】まず事前の処理として、前フレーム画像記
憶部３１と背景画像記憶部３２とに各カメラにおける物
体が撮像されていない背景画像を、背景ステレオ対応記
憶部３３に各カメラの背景画像間での各画素の対応関係
を、前フレーム抽出結果記憶部３４に全画素が背景であ
ったという情報をそれぞれ記憶しておく。First, as a preliminary process, a background image in which an object of each camera is not imaged is stored in a previous frame image storage unit 31 and a background image storage unit 32, and a background stereo correspondence storage unit 33 stores the background image of each camera. In the previous frame extraction result storage unit 34, information indicating that all pixels are backgrounds is stored.
【００２１】撮影手段１の複数カメラからそれぞれ入力
された対象物体を含む複数の動画像は、データ処理装置
２のフレーム間差分処理手段２１に供給される。A plurality of moving images including a target object respectively input from a plurality of cameras of the photographing means 1 are supplied to an inter-frame difference processing means 21 of the data processing device 2.
【００２２】図２は、本発明の一実施例におけるデータ
処理装置２の処理フローを示すフローチャートである。FIG. 2 is a flowchart showing a processing flow of the data processing device 2 in one embodiment of the present invention.
【００２３】まず、フレーム間差分処理手段２１におい
て得られた画像の各画素の画素値と、前フレーム画像記
憶部３１に記憶された前フレームの同位置の画素の画素
値との差分を算出し(ステップＡ１)、その差分値と、予
め定められたしきい値との比較結果により分岐する(ス
テップＡ２) 。First, the difference between the pixel value of each pixel of the image obtained by the inter-frame difference processing means 21 and the pixel value of the same position pixel of the previous frame stored in the previous frame image storage unit 31 is calculated. (Step A1) The process branches depending on the result of comparison between the difference value and a predetermined threshold value (Step A2).
【００２４】差分値がしきい値を超えない場合には（ス
テップＡ２のＮＯ）、前フレームから状況が変化してい
ないと考えられるため、前フレーム抽出結果記憶部３４
に記憶された前フレームの同位置の画素の抽出結果をそ
のまま用いて抽出結果を決定し、抽出動物体表示手段４
に出力する(ステップＡ９及びＡ１１)。If the difference value does not exceed the threshold value (NO in step A2), it is considered that the situation has not changed from the previous frame, so the previous frame extraction result storage unit 34
The extraction result is determined by using the extraction result of the pixel at the same position in the previous frame stored in
(Steps A9 and A11).
【００２５】一方、差分値がしきい値を超える画素につ
いては、変化領域として背景差分処理手段２２に出力す
る（ステップＡ２のＹＥＳ）。On the other hand, a pixel whose difference value exceeds the threshold value is output to the background difference processing means 22 as a change area (YES in step A2).
【００２６】背景差分処理手段２２では、フレーム間差
分処理手段２１から得られた変化領域の各画素と、その
画素の背景ステレオ対応記憶部３３に記憶された他の画
像における背景対応点のそれぞれにおける背景差分を、
背景画像記憶部３２に記憶された各カメラにおける背景
画像との比較により求め(ステップＡ３)、それぞれの差
分値が、予め定められたあるしきい値を超えるかどうか
で分岐する(ステップＡ４)。In the background difference processing means 22, each pixel of the change area obtained from the inter-frame difference processing means 21 and each of the background corresponding points in the other image stored in the background stereo correspondence storage unit 33 of the pixel. The background difference
It is determined by comparison with the background image of each camera stored in the background image storage unit 32 (step A3), and the process branches depending on whether each difference value exceeds a predetermined threshold value (step A4).
【００２７】対象画素の背景差分と他カメラ画像の対応
点での背景差分が共にしきい値を超えない場合には、背
景として確定し(ステップＡ５)、抽出動物体表示手段４
に出力する(ステップＡ１１)。If both the background difference of the target pixel and the background difference at the corresponding point of the other camera image do not exceed the threshold value, it is determined as the background (step A5) and the extracted moving object display means 4
(Step A11).
【００２８】背景差分の片方のみがしきい値を超えた場
合には、隠蔽領域とみなし、超えた方の画素を物体、超
えない方の画素を背景として確定し(ステップＡ７)、結
果を抽出動物体表示手段４に出力する(ステップＡ１
１)。If only one of the background differences exceeds the threshold value, it is regarded as a concealed area, and the exceeded pixel is determined as an object and the other pixel is determined as a background (step A7), and the result is extracted. Output to the moving object display means 4 (Step A1)
1).
【００２９】背景差分が共にしきい値を超えた場合に
は、物体内部あるいは照明変化による背景中の輝度変化
領域であると考えられるため、ステレオ法処理手段２３
において背景ステレオ対応記憶部３３に記憶された背景
ステレオ対応点との輝度値差分(これを「ステレオ差
分」という)を算出し(ステップＡ６)、あるしきい値を
超えるかどうかで分岐する(ステップＡ８)。If both of the background differences exceed the threshold value, it is considered to be a luminance change area inside the object or in the background due to a change in illumination.
In step A6, a luminance value difference from the background stereo correspondence point stored in the background stereo correspondence storage unit 33 (this is referred to as a “stereo difference”) is calculated (step A6), and branching is performed to determine whether the difference exceeds a certain threshold (step A6) A8).
【００３０】背景中の照明変化領域では、ステレオ差分
は小さいと考えられるため、ステレオ差分がしきい値を
超えた場合には、物体として確定し(ステップＡ１０)、
抽出動物体表示手段４に出力する(ステップＡ１１)。Since the stereo difference is considered to be small in the illumination change area in the background, if the stereo difference exceeds the threshold, it is determined as an object (step A10).
Output to the extracted moving object display means 4 (step A11).
【００３１】一方、ステレオ差分がしきい値を超えない
場合には、背景中の照明変化領域またはテクスチャの少
ない物体領域のいずれかと考えられ、現フレームの情報
のみでは確定できないものとして、前フレーム抽出結果
記憶部３４に記憶された前フレームの同位置の画素の抽
出結果をそのまま用いて抽出結果を決定し(ステップＡ
９)、抽出動物体表示手段４に出力する(ステップＡ１
１)。On the other hand, if the stereo difference does not exceed the threshold value, it is considered as either an illumination change area in the background or an object area with little texture, and it is determined that it cannot be determined only by the information of the current frame. The extraction result is determined using the extraction result of the pixel at the same position of the previous frame stored in the result storage unit 34 as it is (step A
9) Output to the extracted moving object display means 4 (step A1)
1).
【００３２】物体の移動速度が撮像間隔に対して十分小
さいという条件であれば、隠蔽領域によって分離されて
いる物体領域と背景領域が隠蔽領域を経ずにフレーム間
で入れ替わる画素は少ないと考えられることから、前フ
レームの抽出結果を用いることで物体中の検出もれ領域
と背景中の抜けを識別できる。If the moving speed of the object is sufficiently small with respect to the imaging interval, it is considered that the number of pixels in which the object region and the background region separated by the concealed region are switched between frames without passing through the concealed region is small. Therefore, by using the extraction result of the previous frame, it is possible to discriminate the detection leakage area in the object and the omission in the background.
【００３３】抽出動物体表示手段４では、データ処理装
置２から得られた結果を基に、各フレーム毎に物体領域
とされた画素と背景領域とされた画素とに異なる着色な
どの効果を施した画像を生成して表示する。In the extracted moving object display means 4, on the basis of the result obtained from the data processing device 2, different coloring and other effects are applied to the pixels set as the object area and the pixels set as the background area for each frame. Generate and display the image.
【００３４】上記した実施例では、２台のカメラを用い
る場合について示したが、カメラの数は２台以上であれ
ば、本発明は実施可能であり、その数に制限はない。In the above embodiment, the case where two cameras are used has been described. However, the present invention can be implemented as long as the number of cameras is two or more, and the number is not limited.
【００３５】[0035]
【発明の効果】以上説明したように、本発明によれば下
記記載の効果を奏する。As described above, according to the present invention, the following effects can be obtained.
【００３６】本発明の第１の効果は、ステレオ法により
生じる物体中のテクスチャの少ない領域における認識も
れが減少する、ということである。A first effect of the present invention is that omission of recognition in an area with less texture in an object caused by the stereo method is reduced.
【００３７】本発明の第２の効果は、背景差分法によっ
て生じる照明変化による背景中の誤検出が減少する、と
いうことである。A second advantage of the present invention is that false detections in the background due to changes in illumination caused by the background subtraction method are reduced.
【００３８】本発明が上記第１、第２の効果を奏する理
由は、以下のとおりである。すなわち物体と背景の輝度
が異なれば、これらの２種の誤認領域は共にステレオ差
分は小さく、背景差分は大きくなること、及び、物体の
移動速度が撮像間隔に対して十分小さいという条件であ
れば、隠蔽領域によって分離されている物体領域と背景
領域が隠蔽領域を経ずにフレーム間で入れ替わる画素は
少ない、と考えられることから、対象画素の背景差分と
他カメラ画像の対応点での背景差分としきい値の比較、
及び、ステレオ差分としきい値との比較による判断分岐
を経て、参照する前フレームの結果を基にして物体領域
内の検出もれ及び背景中の照明変化による誤検出を分類
して修正することができる、ためである。The reason why the present invention exhibits the above first and second effects is as follows. That is, if the brightness of the object and the background are different, these two types of misidentified areas both have a small stereo difference and a large background difference, and if the moving speed of the object is sufficiently small with respect to the imaging interval. Since it is considered that there are few pixels in which the object region and the background region separated by the concealment region are switched between frames without passing through the concealment region, the background difference of the target pixel and the background difference at the corresponding point of the other camera image are considered. And threshold comparison,
And, through a decision branch by comparing the stereo difference and the threshold value, it is possible to classify and correct detection omission in the object area and erroneous detection due to illumination change in the background based on the result of the previous frame to be referred to. It is because you can.
【００３９】本発明の第３の効果は、背景対応の崩れを
用いるステレオ法において物体として誤検出されてしま
う隠蔽領域での誤認識が減少する、ということである。A third effect of the present invention is that erroneous recognition in a concealed area, which is erroneously detected as an object in the stereo method using the collapse of the background correspondence, is reduced.
【００４０】その理由は、次の通りとする。すなわち、
背景と物体の輝度が異なるならばステレオ対応する２点
での背景差分は背景側で小さく、物体側で大きくなると
考えられる。本発明においては、対象画素の背景差分と
他カメラ画像の対応点での背景差分としきい値との比較
において、しきい値を片方のみが上回り、差分値がしき
い値を超える方を物体、超えない方を背景として確定す
ることで、それぞれの画像で正しい結果が得られるため
である。The reason is as follows. That is,
If the luminances of the background and the object are different, it is considered that the background difference at two points corresponding to stereo is small on the background side and large on the object side. In the present invention, in the comparison between the background difference of the target pixel and the background difference at the corresponding point of the other camera image and the threshold, only one exceeds the threshold and the object whose difference value exceeds the threshold is the object, This is because a correct result can be obtained for each image by determining the one that does not exceed as the background.
【００４１】本発明の第４の効果は、フレーム間差分を
用いて検出した変化領域のみを処理しているため、全画
素について処理を行う場合に比べ計算処理量が少なく負
荷が小さいことである。A fourth effect of the present invention is that since only the changed area detected using the inter-frame difference is processed, the amount of calculation processing is small and the load is small as compared with the case where processing is performed on all pixels. .
【図１】本発明の一実施例の構成を示すブロック図であ
る。FIG. 1 is a block diagram showing the configuration of an embodiment of the present invention.
【図２】本発明の一実施例におけるデータ処理装置の動
作を示すフローチャートである。FIG. 2 is a flowchart showing an operation of the data processing device according to one embodiment of the present invention.
１ 撮影手段 ２ データ処理装置 ２１ フレーム間差分処理手段 ２２ 背景差分処理手段 ２３ ステレオ法処理手段 ３ 記憶装置 ３１ 前フレーム画像記憶部 ３２ 背景画像記憶部 ３３ 背景ステレオ対応記憶部 ３４ 前フレーム抽出結果記憶部 ４ 抽出動物体表示手段 REFERENCE SIGNS LIST 1 imaging means 2 data processing device 21 inter-frame difference processing means 22 background difference processing means 23 stereo method processing means 3 storage device 31 previous frame image storage unit 32 background image storage unit 33 background stereo correspondence storage unit 34 previous frame extraction result storage unit 4 Extracted moving object display means
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 1/00 G06T 7/00 - 7/60 H04N 7/18 ──────────────────────────────────────────────────続 き Continued on the front page (58) Field surveyed (Int.Cl. 7 , DB name) G06T 1/00 G06T 7 /00-7/60 H04N 7/18
Claims (6)
ら、前フレームとのフレーム間差分値より変化領域を検
出するフレーム間差分処理手段と、 変化領域の画素と背景ステレオ対応点のそれぞれの背景
差分を基に、背景領域及び隠蔽領域を抽出する背景差分
処理手段と、 前記ステレオ対応点での背景差分が予め定められたしき
い値よりも共に大きい場合には、背景ステレオ対応点と
の輝度値差分（「ステレオ差分」という）を求め、物体
領域を抽出し、このステレオ差分が予め定められたしき
い値よりも小さい場合には、物体内部の検出もれ、また
は背景中の抜けのいずれであるかを、前フレームの抽出
結果を基に判断して修正するステレオ法処理手段と、 抽出された動物体領域を表示する手段と、 を備えたことを特徴とする、動画像中の物体抽出装置。1. An inter-frame difference processing means for detecting a change area from an inter-frame difference value with respect to a previous frame from an image obtained by a plurality of cameras of a photographing means, and a background of a pixel of the change area and a corresponding background stereo corresponding point. A background difference processing unit for extracting a background region and a hidden region based on the difference; and, when the background difference at the stereo corresponding point is both larger than a predetermined threshold, the luminance with the background stereo corresponding point. A value difference (referred to as a “stereo difference”) is obtained, an object region is extracted, and if the stereo difference is smaller than a predetermined threshold value, either the detection loss inside the object or the omission in the background is detected. , A stereo method processing unit that determines and corrects based on the extraction result of the previous frame, and a unit that displays the extracted moving object region. Object extraction device.
る撮影手段と、 前記撮影手段から得られた画像中の変化領域を識別する
フレーム間差分処理手段と、 前記フレーム間差分処理手段により識別された変化領域
について背景差分を用いて動物体領域を抽出する背景差
分処理手段と、 前記背景差分処理手段の信頼度が低い状況において画像
間の背景対応の崩れを用いて動物体を抽出するステレオ
法処理手段と、 前記フレーム間処理手段、前記背景差分処理手段、及び
前記ステレオ法処理手段により抽出された動物体領域を
画像中に表示する抽出動物体表示手段と、 前フレームの画像を記憶し、前記フレーム間差分処理手
段で参照される前フレーム画像記憶部と、 前記各カメラにおける物体の無い背景画像を予め記憶
し、前記背景差分処理手段で参照される背景画像記憶部
と、 事前に求めた複数の背景画像間の画素のステレオ対応を
記憶し、前記背景差分処理手段及び前記ステレオ法処理
手段で参照される背景ステレオ対応記憶部と、 前フレームの抽出結果を記憶し、前記フレーム間差分処
理手段及び前記ステレオ法処理手段で参照される前フレ
ーム抽出結果記憶部と、 を備えたことを特徴とする動画像中の物体抽出装置。2. An image capturing means for supplying an image captured by a plurality of cameras; an inter-frame difference processing means for identifying a change area in an image obtained from the image capturing means; Background difference processing means for extracting a moving object area using a background difference for the changed area, and a stereo method for extracting a moving object by using a background correspondence collapse between images in a situation where the reliability of the background difference processing means is low. Processing means, the inter-frame processing means, the background difference processing means, and the extracted moving object display means for displaying the moving object area extracted by the stereo method processing means in the image, and storing the image of the previous frame, A previous frame image storage unit referred to by the inter-frame difference processing means; and a background image having no object in each of the cameras is stored in advance, and the background difference processing is performed. A background image storage unit referred to in the stage, storing a stereo correspondence of pixels between a plurality of background images obtained in advance, and a background stereo correspondence storage unit referred to by the background difference processing means and the stereo method processing means; An object extraction apparatus for a moving image, comprising: a previous frame extraction result storage unit that stores a previous frame extraction result and is referred to by the inter-frame difference processing unit and the stereo method processing unit.
る撮影手段と、 前記撮像手段の各カメラの前フレームにおいて得られた
画像を順次記憶する前フレーム画像記憶部と、 前記各カメラにおける物体の無い背景画像を予め記憶し
た背景画像記憶部と、 事前に求めた複数の背景画像間の画素のステレオ対応を
記憶した背景ステレオ対応記憶部と、 前フレームの抽出結果を順次記憶する前フレーム抽出結
果記憶部と、 前記撮影手段から得られた複数の画像のそれぞれについ
て、前フレーム画像記憶部の前フレームとのフレーム間
差分をとり該差分値が予め定めたしきい値を超える画素
を変化領域として識別するフレーム間差分処理手段と、 前記フレーム間差分処理手段により識別された変化領域
の各画素、及び、事前に前記背景ステレオ対応記憶部に
記憶されている、該画素の他の画像における背景ステレ
オ対応点のそれぞれについて、事前に前記背景画像記憶
部に記憶した動物体の存在しない背景画像の画素値と比
較を行い、これら画素の差分値が、共にあるしきい値を
超えない場合には背景とし、一方のみがしきい値を超え
る場合には、超える方を物体領域、超えない方を背景領
域として抽出移動物体表示手段に出力し、さらに、これ
らの画素の差分値が共にしきい値を超える場合には、状
態を決定せず、ステレオ法処理手段に出力する背景差分
処理手段と、 前記ステレオ法処理手段と、前記抽出移動物体表示手段
と、を備え、 前記ステレオ法処理手段は、前記背景差分処理手段から
出力された画素について、事前に背景ステレオ対応記憶
部に記憶されている背景ステレオ対応点との差分がある
しきい値を超える場合には、その画素を物体領域とし、
前記しきい値を超えない場合には、前フレーム抽出結果
記憶部に記憶される前フレームの判定結果により、状態
を決定し、前記抽出動物体表示手段に出力し、 前記抽出動物体表示手段は、前記フレーム間差分処理手
段、前記背景差分処理手段、及び前記ステレオ法処理手
段から得られた結果に従い、背景領域の画素と動物体領
域の画素を区別して画像表示を行う、 ことを特徴とする動画像中の物体抽出装置。3. An image capturing means for supplying images captured by a plurality of cameras, a previous frame image storage unit for sequentially storing images obtained in a previous frame of each camera of the image capturing means; A background image storage unit in which no background image is stored in advance, a background stereo correspondence storage unit in which the stereo correspondence of pixels between a plurality of background images obtained in advance is stored, and a previous frame extraction result which sequentially stores previous frame extraction results For each of the plurality of images obtained from the storage unit, a plurality of images obtained from the photographing unit, a difference between the previous frame of the previous frame image storage unit and a pixel whose difference value exceeds a predetermined threshold value is set as a change area. An inter-frame difference processing unit to be identified, each pixel of the change area identified by the inter-frame difference processing unit, and the background stereo pair in advance For each of the background stereo corresponding points in the other image of the pixel stored in the storage unit, a comparison is made with the pixel value of the background image where no moving object is stored in advance in the background image storage unit, and these pixels If the difference value of both does not exceed a certain threshold value, it is regarded as the background, and if only one exceeds the threshold value, the excess is regarded as the object region, and the one not exceeding is regarded as the background region. Output, and further, when both of the difference values of these pixels exceed the threshold value, the state is not determined, and the background difference processing means for outputting to the stereo method processing means; the stereo method processing means; Moving object display means, the stereo method processing means, for a pixel output from the background difference processing means, a background stereo pair stored in a background stereo correspondence storage unit in advance. If the difference from the corresponding point exceeds a certain threshold, the pixel is regarded as an object area,
If the threshold is not exceeded, a state is determined based on the determination result of the previous frame stored in the previous frame extraction result storage unit, and the state is output to the extracted moving object display means. According to results obtained from the inter-frame difference processing unit, the background difference processing unit, and the stereo method processing unit, image display is performed by distinguishing pixels in a background region from pixels in a moving object region. Object extraction device for moving images.
像について前フレームの画像とのフレーム間差分から前
記入力画像中の変化領域を識別する手段と、 検出された変化領域について、画素点と背景ステレオ対
応点のそれぞれの背景差分を基に、背景領域及び隠蔽領
域を抽出する手段と、 前記背景ステレオ対応点での背景差分が予め定められた
しきい値よりも共に大きい場合には、背景ステレオ対応
点との輝度値差分（「ステレオ差分」という）を求め物
体領域を抽出し、前記ステレオ差分が予め定められたし
きい値よりも小さい場合には、前フレームの抽出結果を
もとに判断して修正し、抽出物体表示手段により動物体
領域を表示する手段と、を含むことを特徴とする動画像
中の物体抽出装置。4. A means for identifying a change area in an input image from an image of a previous frame with respect to an input image from an imaging means having a plurality of cameras, and a pixel point and a background for a detected change area. Means for extracting a background region and a hidden region based on the background difference of each of the stereo corresponding points; and, when the background difference at the background stereo corresponding points is larger than a predetermined threshold, A luminance value difference from a corresponding point (referred to as “stereo difference”) is obtained, an object region is extracted, and if the stereo difference is smaller than a predetermined threshold, judgment is made based on a result of extracting the previous frame. And means for displaying the moving object region by means of the extracted object display means.
複数の入力画像について前フレームの画像とのフレーム
間差分から前記入力画像中の変化領域を識別するステッ
プ、 （ｂ）検出された変化領域について、画素点と背景ステ
レオ対応点のそれぞれの背景差分を基に、背景領域及び
隠蔽領域を抽出するステップ、 （ｃ）前記背景ステレオ対応点での背景差分が予め定め
られたしきい値よりも共に大きい場合には、背景ステレ
オ対応点との輝度値差分（「ステレオ差分」という）を
求め物体領域を抽出するステップ、及び、 （ｄ）前記ステレオ差分が予め定められたしきい値より
も小さい場合には、前フレームの抽出結果をもとに判断
して修正し、抽出物体表示手段により動物体領域を表示
するステップ、 を含むことを特徴とする物体抽出方法。5. A method comprising: (a) identifying a change area in the input image from a difference between a previous frame image and a plurality of input images from a photographing means having a plurality of cameras; and (b) detecting a detected change. Extracting a background region and a concealed region on the basis of the background difference between the pixel point and the background stereo corresponding point; and (c) determining the background difference at the background stereo corresponding point from a predetermined threshold value. If both are large, a luminance value difference from the background stereo corresponding point (referred to as “stereo difference”) is obtained and an object area is extracted; and (d) the stereo difference is greater than a predetermined threshold value. If it is smaller, determine and correct based on the extraction result of the previous frame, and display the moving object region by the extracted object display means. Method.
素の画素値と、前フレームの同位置の画素の画素値との
フレーム間差分を算出するステップ、 （ｂ）前記差分値と、予め定められたしきい値との比較
し、前記差分値が前記しきい値を超えない場合には、前
フレームの同位置の画素の抽出結果をそのまま用いて抽
出結果を決定し、抽出動物体表示手段に出力するステッ
プ、 （ｃ）前記差分値がしきい値を超える画素については、
前記（ａ）ステップのフレーム間差分処理で得られた変
化領域の各画素と、該画素の、予め記憶された他の画像
における背景対応点のそれぞれにおける背景差分を、予
め記憶された各カメラにおける背景画像との比較により
求め、 （ｄ）対象画素の背景差分と他カメラ画像の対応点での
背景差分が共にしきい値を超えない場合には、背景とし
て確定し、前記抽出動物体表示手段に出力するステッ
プ、 （ｅ）前記背景差分の一方のみがしきい値を超えた場合
には、超えた方の画素を物体、超えない方の画素を背景
として確定し、前記抽出動物体表示手段に出力するステ
ップ、 （ｆ）前記背景差分が共にしきい値を超えた場合は、背
景ステレオ対応記憶部に記憶された背景ステレオ対応点
との輝度値差分（「ステレオ差分」という）を算出し、
該ステレオ差分を予め定められたしきい値と比較し、該
ステレオ差分がしきい値を超えた場合には、物体として
確定し、前記抽出動物体表示手段に出力するステップ、
及び、 （ｇ）前記ステレオ差分がしきい値を超えない場合に
は、前フレームの同位置の画素の抽出結果をそのまま用
いて抽出結果を決定し、前記抽出動物体表示手段に出力
するステップ、 を含むことを特徴とする物体抽出方法。(A) calculating an inter-frame difference between a pixel value of each pixel of an image obtained by a plurality of cameras and a pixel value of a pixel at the same position in a previous frame; (b) the difference value Is compared with a predetermined threshold value. If the difference value does not exceed the threshold value, the extraction result is determined using the extraction result of the pixel at the same position in the previous frame, and the extraction result is determined. Outputting to a moving object display means; (c) for a pixel whose difference value exceeds a threshold value,
The background difference between each pixel of the change area obtained by the inter-frame difference processing of the step (a) and the background corresponding point of the pixel in another image stored in advance is calculated for each camera stored in advance in each camera. (D) When both the background difference of the target pixel and the background difference at the corresponding point of the other camera image do not exceed the threshold value, it is determined as the background, and the extracted moving object display means is determined. (E) when only one of the background differences exceeds a threshold value, the pixel that exceeds the threshold value is determined as an object, and the pixel that does not exceed the threshold value is determined as a background. (F) When both of the background differences exceed the threshold value, a luminance value difference (referred to as “stereo difference”) from the background stereo corresponding point stored in the background stereo correspondence storage unit is calculated. ,
Comparing the stereo difference with a predetermined threshold value, and when the stereo difference exceeds the threshold value, determining the object as an object and outputting the object to the extracted moving object display means;
And (g) when the stereo difference does not exceed the threshold, determining the extraction result using the extraction result of the pixel at the same position in the previous frame as it is, and outputting the result to the extracted moving object display means; An object extraction method characterized by including:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10188455A JP3134845B2 (en) | 1998-07-03 | 1998-07-03 | Apparatus and method for extracting object in moving image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10188455A JP3134845B2 (en) | 1998-07-03 | 1998-07-03 | Apparatus and method for extracting object in moving image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000020722A JP2000020722A (en) | 2000-01-21 |
| JP3134845B2 true JP3134845B2 (en) | 2001-02-13 |
Family
ID=16224013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10188455A Expired - Fee Related JP3134845B2 (en) | 1998-07-03 | 1998-07-03 | Apparatus and method for extracting object in moving image |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3134845B2 (en) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100434876B1 (en) * | 2002-03-23 | 2004-06-07 | (주)맥스소프트 | Method and apparatus for a tracking stereo target |
| CN100373409C (en) * | 2003-01-27 | 2008-03-05 | 富士通株式会社 | Appearance position display device of attention object |
| JP2004234423A (en) * | 2003-01-31 | 2004-08-19 | Seiko Epson Corp | Stereo image processing method, stereo image processing device, and stereo image processing program |
| JP4670303B2 (en) | 2004-10-06 | 2011-04-13 | ソニー株式会社 | Image processing method and image processing apparatus |
| JP5402625B2 (en) * | 2009-09-29 | 2014-01-29 | パナソニック株式会社 | Vehicle detection apparatus using stereo image processing |
| CN102136147B (en) * | 2011-03-22 | 2012-08-22 | 深圳英飞拓科技股份有限公司 | Target detecting and tracking method, system and video monitoring device |
| JP6602009B2 (en) | 2014-12-16 | 2019-11-06 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| CN106224706A (en) * | 2016-08-24 | 2016-12-14 | 常州澳德森江浪减速机有限公司 | Location type cycloidal planetary gear speed reducer frame |
| JP7407427B2 (en) * | 2019-04-04 | 2024-01-04 | パナソニックＩｐマネジメント株式会社 | Information processing method and information processing system |
| JP6866450B2 (en) * | 2019-10-10 | 2021-04-28 | キヤノン株式会社 | Image processing equipment, image processing methods, and programs |
| JP7435298B2 (en) * | 2020-06-22 | 2024-02-21 | オムロン株式会社 | Object detection device and object detection method |
| CN119831974B (en) * | 2025-01-06 | 2025-07-18 | 大连理工大学 | Nuclear fuel pool foreign body falling detection method, electronic equipment and storage medium |
-
1998
- 1998-07-03 JP JP10188455A patent/JP3134845B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000020722A (en) | 2000-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2765674B2 (en) | Data supply device | |
| JP3134845B2 (en) | Apparatus and method for extracting object in moving image | |
| KR20020034919A (en) | Monitoring method for detecting an intruding object and monitoring apparatus therefor | |
| JP2001351105A (en) | Method for detecting shot change in a series of video images | |
| US7982774B2 (en) | Image processing apparatus and image processing method | |
| US7880815B2 (en) | Method for detecting and eliminating flash scene in digital video | |
| JP3486229B2 (en) | Image change detection device | |
| JP3377659B2 (en) | Object detection device and object detection method | |
| EP2017788A1 (en) | Shielding-object video-image identifying device and method | |
| JP2002342762A (en) | Object tracking method | |
| JPH10289321A (en) | Image monitoring device | |
| JPH07249128A (en) | Vehicle image processing device | |
| CN120455839A (en) | Image acquisition system, marking method, processing method, electronic equipment and vehicle | |
| JP3736836B2 (en) | Object detection method, object detection apparatus, and program | |
| JPH0514891A (en) | Image monitoring device | |
| JPH057363A (en) | Picture monitoring device | |
| CN100391232C (en) | digital image flash scene detection and elimination method | |
| JP2008165595A (en) | Obstacle detection method, obstacle detection device, obstacle detection system | |
| JP3682631B2 (en) | Fire detection equipment | |
| JP2004185537A (en) | Traveling vehicle detection system | |
| JP2621806B2 (en) | Background feature mask generation device and moving object feature extraction device | |
| CN114331843B (en) | Image splicing method based on gray level histogram | |
| JP3490196B2 (en) | Image processing apparatus and method | |
| JP3035420B2 (en) | Image motion vector detection method | |
| CN115761616B (en) | A control method and system based on storage space adaptation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20001031 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071201 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081201 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091201 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091201 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101201 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111201 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121201 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121201 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131201 Year of fee payment: 13 |
|
| LAPS | Cancellation because of no payment of annual fees |