JP3548028B2 - 動画像移動物体検出装置及び検出方法 - Google Patents
動画像移動物体検出装置及び検出方法 Download PDFInfo
- Publication number
- JP3548028B2 JP3548028B2 JP37238698A JP37238698A JP3548028B2 JP 3548028 B2 JP3548028 B2 JP 3548028B2 JP 37238698 A JP37238698 A JP 37238698A JP 37238698 A JP37238698 A JP 37238698A JP 3548028 B2 JP3548028 B2 JP 3548028B2
- Authority
- JP
- Japan
- Prior art keywords
- macroblock
- moving
- image
- mode
- moving object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、動画像移動物体検出装置及方法に関する。
【０００２】
【従来の技術】
移動物体検出をするためには、一般に画素毎の動きを調べること必要がある。しかし、画素毎に動きを調べる処理は、実は、多くの計算量を必要とするという問題がある。例えば、ＩＴＵ−Ｔ Ｈ。２６１、Ｈ。２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４等でよく用いられるＣＩＦフォーマットの場合、横３５２画素、縦２８８画素で合計１０１３７６画素もの画素について、動きを検出することになる。このような計算量の多い処理に対しては、専用のハードウェアを用意する必要があったりして、コスト面でも大きな問題があった。
【０００３】
そこで、特開平９−２５２４６７号公報「移動物体検出装置」では、動画像符号化装置で作られた動きベクトルから、移動物体を検出する手法が考案されている。この方法によれば、動画像符号化装置で作成されるブロック毎の動きベクトルを用いるので、移動物体検出のために特別に画素の動きを調べる必要がなく、大幅に計算量を減らすことができる。
【０００４】
しかし、従来の符号化データを用いた移動物体検出技術の問題点としては、動きベクトルが大きいブロックや書き換わっているブロックが必ずしも移動物体とは限らず、また、移動物体の内部のブロックでも、書き換わっていないブロックが存在したりして、監視などに用いることを考えた場合、必ずしも必要な映像が得ることができなかった。
【０００５】
【発明が解決しようとする課題】
上述したように、従来技術によると移動物体を検出するためには、多くの計算量を必要とするという問題点があり、動画像符号化データを用いた方法では精度に問題があった。
【０００６】
本発明は、高速でかつ安定して精度よく移動物体を検出することのできる動画像移動物体検出装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の動画像移動物体検出装置は、フレーム内符号化を行う第１のモード、フレーム間符号化を行う第２のモードおよび符号化不要として符号化する第３のモードのいずれかのモードによりマクロブロック毎に符号化された動画像データを復号する動画像復号化手段と、その復号結果からフレーム内のマクロブロック毎の画像が静止状態か動状態かを判定するマクロブロック静動判定手段と、当該マクロブロック毎の静動判定結果から移動物体を判定する手段と、判定された移動物体の画像を前記動画像復号化手段により復号された画像信号と合成して表示する表示手段とを有する動画像移動物体検出装置において、前記マクロブロック静動判定手段は（１）前記動画像復号化手段により復号されたマクロブロックが前記第１のモードにより符号化されていた場合には、その復号された画像信号と１フレーム前の画像信号との差分の大きさに基づいて、（２）前記動画像復号化手段により復号されたマクロブロックが前記第２のモードにより符号化されていた場合には、当該マクロブロックの動きベクトル及び変換係数の大きさに基づいて、それぞれ当該マクロブロック毎の画像が静止状態か動状態かを判定し、（３）前記動画像復号化手段により復号されたマクロブロックが前記第３のモードにより符号化されていた場合には、当該マクロブロックの画像は静止状態と判定することを特徴とする。
また本発明の動画像移動物体検出装置は、フレーム内符号化を行う第１のモード、フレーム間符号化を行う第２のモードおよび符号化不要として符号化する第３のモードのいずれかのモードによりマクロブロック毎に動画像を符号化する手段と、この符号化手段により符号化された動画像データをマクロブロック毎に局部復号する動画像復号化手段と、前記符号化手段で符号化された結果からフレーム内のマクロブロック毎の画像が静止状態か動状態かを判定するマクロブロック静動判定手段と、当該マクロブロック毎の静動判定結果から移動物体を判定する手段と、判定された移動物体の画像を前記動画像復号化手段により復号された画像信号と合成して表示する表示手段とを有する動画像移動物体検出装置において、前記マクロブロック静動判定手段は（１）前記動画像符号化手段により符号化されたマクロブロックが前記第１のモードにより符号化された場合には、そのマクロブロックが前記動画像復号化手段により復号された画像信号と１フレーム前の画像信号との差分の大きさに基づいて、（２）前記動画像符号化手段により符号化されたマクロブロックが前記第２のモードにより符号化された場合には、当該マクロブロックの動きベクトル及び変換係数の大きさに基づいて、それぞれ当該マクロブロック毎の画像が静止状態か動状態かを判定し、（３）前記動画像符号化手段により符号化されたマクロブロックが前記第３のモードにより符号化されていた場合には、当該マクロブロックの画像は静止状態と判定することを特徴とする。
また本発明の動画像移動物体検出方法は、フレーム内符号化を行う第１のモード、フレーム間符号化を行う第２のモードおよび符号化不要として符号化する第３のモードのいずれかのモードによりマクロブロック毎に符号化された動画像データを復号する動画像復号化ステップと、その復号結果からフレーム内のマクロブロック毎の画像が静止状態か動状態かを判定するマクロブロック静動判定ステップと、当該マクロブロック毎の静動判定結果から移動物体を判定するステップと、判定された移動物体の画像を前記動画像復号化ステップにより復号された画像信号と合成して表示するステップとを有する動画像移動物体検出方法において、前記マクロブロック静動判定ステップは（１）前記動画像復号化ステップにより復号されたマクロブロックが前記第１のモードにより符号化されていた場合には、その復号された画像信号と１フレーム前の画像信号との差分の大きさに基づいて、（２）前記動画像復号化ステップにより復号されたマクロブロックが前記第２のモードにより符号化されていた場合には、当該マクロブロックの動きベクトル及び変換係数の大きさに基づいて、それぞれ当該マクロブロック毎の画像が静止状態か動状態かを判定し、（３）前記動画像復号化ステップにより復号されたマクロブロックが前記第３のモードにより符号化されていた場合には、当該マクロブロックの画像は静止状態と判定することを特徴とする。
【０００８】
この動画像移動物体検出装置の復号されたブロック毎を復号結果からブロック内の画像が静止状態か動状態かを判定する手段は、動画像復号化手段によって復号されたブロック毎のモード情報と、動きベクトル情報と、変換係数情報と、現在の再生画像信号と１フレーム前の再生画像との差分から、ブロックが静止状態か、動状態かを判定する。
【０００９】
このように、動画像復号化装置と移動物体の検出を組み合わせることにより、復号化と同時に実行できるともに、ブロック毎の静動判定結果から、移動物体を検出する範囲を大幅に絞り込むことができるため、高速に移動物体検出が可能となる。
【００１０】
また、本発明に係る動画像移動物体検出装置は、動画像を符号化する動画像符号化手段と、移動物体検出手段と、動画像を圧縮した符号化データを復号する動画像復号化手段とを有し、前記移動物体検出手段は、前記動画像符号化手段によって符号化されたブロック毎を符号化結果からブロック内の画像が静止状態か動状態かを判定する手段と、ブロック毎の静動判定結果から移動物体を判定する手段と、前記動画像符号化手段は、移動物体の判定結果を符号化データと多重化して伝送し、前記動画像復号化手段は、符号化データを復号し、再生画像信号と、移動物体の判定結果を合成して表示する手段とを有する。
【００１１】
この動画像移動物体検出装置の符号化されたブロック毎を符号化結果からブロック内の画像が静止状態か動状態かを判定する手段は、動画像符号化手段によって復号されたブロック毎のモード情報と、動きベクトル情報と、変換係数情報と、現在の再生画像信号と１フレーム前の再生画像との差分から、ブロックが静止状態か、動状態かを判定する。
【００１２】
この動画像移動物体検出装置は、判定した移動物体の領域を動画像符号手段と前記動画像符号化手段によって作成された局部画像信号と合成して表示する手段を有する。
【００１３】
このように、動画像符号化装置と移動物体の検出を組み合わせることにより、符号化と同時に実行できるともに、ブロック毎の静動判定結果から、移動物体を検出する範囲を大幅に絞り込むことができるため、高速に移動物体検出が可能となる。
【００１４】
また、これらの動画像移動物体検出装置のブロック毎の静動判定結果から移動物体を判定する手段は、ブロック内の画像が動状態のブロックを包含する図形で移動物体を判定する。
【００１５】
このような処理により、検出誤差の影響を抑えることができ、検出結果をより明確に表示することができる。
【００１６】
【発明の実施の形態】
（第１の実施の形態）
以下、図面を参照して本発明の第１の実施形態を説明する。図１は、本発明の実施形態の動画像移動物体検出装置の構成を示すブロック図である。
【００１７】
図１は、本発明の実施形態の動画像移動物体検出装置の構成を示すブロック図である。図１の動画像移動物体検出装置は、動画像復号化部１１０と移動物体検出部１１５の２つの部分から成り立っている。
【００１８】
動画像復号化部１１０においては、まず、伝送路または蓄積系から受信した符号化データは、入力バッファ１０１に一度蓄えられ、多重化分離部１０２により１フレーム毎にシンタクスに基づいて分離し、可変長復号化部１０３に出力する。可変長復号化部１０３では、各シンタクスの情報の可変長符号の復号をおこなう。
【００１９】
可変長復号化部１０３において、マクロブロックのモードがＩＮＴＲＡならば、モード切替スイッチ１０９をオフに選択して、可変長復号化部１０３で復号化された量子化ＤＣＴ係数情報は、逆量子化部１０４で逆量子化され、ＩＤＣＴ部１０５で逆離散コサイン変換処理をおこなうことにより、再生画像信号を生成させる。この再生画像信号は、フレームメモリ１０７に参照画像として蓄積される一方、移動物体検出部１１５内の移動物体合成表示部１１４に入力される。
【００２０】
可変長復号化部１０３において、マクロブロックのモードがＩＮＴＥＲ及びＮＯＴ＿ＣＯＤＥＤならば、モード切替スイッチ１０９をオフに選択して、可変長復号化部１０３で復号化された量子化ＤＣＴ係数情報は、逆量子化部１０４で逆量子化され、ＩＤＣＴ部１０５で逆離散コサイン変換処理をおこない、可変長復号化部１０３で復号化された動きベクトル情報に基づいて、動き補償部１０８において参照画像を動き補償し、加算器１０６で足しあわせて、再生画像信号を生成させる。この再生画像信号は、フレームメモリ１０７に参照画像として蓄積される一方、移動物体検出部１１５内の移動物体合成表示部１１４に入力される。
【００２１】
一方、移動物体検出部１１５においては、図２の流れ図のように、１フレーム毎にマクロブロック静動判定（Ｓ１０１）、移動物体判定（Ｓ１０２）、移動物体合成表示（Ｓ１０３）の３つの処理をそれぞれ、マクロブロック静動判定部１１１、移動物体判定部１１２、移動物体合成表示部１１４で行う。
【００２２】
マクロブロック静動判定部１１１では、可変長復号部１０３において復号されたモード情報、動きベクトル情報、ＤＣＴ係数情報と、減算器１１２で求めたＩＮＴＲＡマクロブロックの時の再生画像信号と１フレーム前のフレームメモリとの差分絶対値和（ＳＡＤ）から、フレーム内のマクロブロック毎の静動判定を行う。
【００２３】
図３は、マクロブロック静動判定（Ｓ１０１）の具体的な流れ図である。ここで、ｉとｊは、フレーム内の垂直方向と水平方向のマクロブロックのアドレスをそれぞれ表し、Ｖ＿ＮＭＢとＨ＿ＮＭＢはフレーム内の垂直方向と水平方向のマクロブロック数を表している。２次元配列Ｍ［ｉ］［ｊ］は、各マクロブロックが動マクロブロックか否かの情報を蓄える配列で、ＴＲＵＥならば動マクロブロック、ＦＡＬＳＥならば静止マクロブロックを表す。
【００２４】
まず、マクロブロック毎に可変長復号化部１０３からのモード情報ＭＯＤＥの判定を行う。（Ｓ２０３）
もし、ＭＯＤＥがＩＮＴＲＡならば、そのマクロブロックの再生画像信号と１フレーム前のフレームメモリとの差分絶対値和（ＳＡＤ）を計算し、閾値Ｔ０と比較を行う。（Ｓ２０４）もし、閾値Ｔ０よりも大きい場合、そのマクロブロックは動マクロブロックと判定し、 Ｍ［ｉ］［ｊ］にＴＲＵＥが代入される。（Ｓ２０６）閾値Ｔ０以下の場合、そのマクロブロックは静止マクロブロックと判定し、 Ｍ［ｉ］［ｊ］にＦＡＬＳＥが代入される。（Ｓ２０７）
もし、ＭＯＤＥがＩＮＴＥＲならば、可変長復号化部１０３からの動きベクトル情報及びＤＣＴ係数情報から、そのマクロブロックの動きベクトルの絶対値和Σ｜ＭＶ｜及び、ＤＣＴ係数の絶対値和Σ｜ＣＯＦ｜を計算し、それぞれの閾値Ｔ１、Ｔ２と比較を行う。（Ｓ２０５）もし、動きベクトルの絶対値和と、ＤＣＴ係数の絶対値和が閾値よりも小さければ、そのマクロブロックは静止マクロブロックと判定し、 Ｍ［ｉ］［ｊ］にＦＡＬＳＥが代入される。（Ｓ２０７）そうでない場合には、そのマクロブロックは動マクロブロックと判定し、 Ｍ［ｉ］［ｊ］にＴＲＵＥが代入される。（Ｓ２０６）
もし、ＮＯＴ＿ＣＯＤＥＤならは、そのマクロブロックは静止マクロブロックと判定し、 Ｍ［ｉ］［ｊ］にＦＡＬＳＥが代入される。（Ｓ２０７）
移動物体判定部１１３では、マクロブロック静動判定部１１２のマクロブロック毎の静動判定情報から、移動物体の判定を行う。図４は、その具体的な流れ図である。図４で示すように処理内容は、雑音除去処理（Ｓ３０１）と移動物体包含処理（Ｓ３０２）の２つから成り立っている。雑音除去処理（Ｓ３０１）では、背景画像の小物体の揺らぎや画像取り込み時の雑音によって動マクロブロックと誤検出されてしまう防止するために、周囲８マクロブロックが全て静止している動マクロブロックを取り除いている。移動物体包含処理（Ｓ３０２）は、雑音を取り除いた後の静動判定結果から、隣接して動マクロブロックが存在する領域を包含する最小の長方形の検出する処理を行う。この処理で、移動物体を包含する長方形を見つけることができる。
【００２５】
図５は、雑音除去処理の具体的な処理内容である。図３と同様に、ｉとｊは、フレーム内の垂直方向と水平方向のマクロブロックのアドレスをそれぞれ表し、Ｖ＿ＮＭＢとＨ＿ＮＭＢはフレーム内の垂直方向と水平方向のマクロブロック数を表している。２次元配列Ｍ［ｉ］［ｊ］は、各マクロブロックが動マクロブロックか否かの情報を蓄える配列で、ＴＲＵＥならば動マクロブロック、ＦＡＬＳＥならば静止マクロブロックを表す。
【００２６】
まず、マクロブロック毎の静動判定結果をみる。（Ｓ４０３）もし、２次元配列Ｍ［ｉ］［ｊ］の値がＦＡＬＳＥ、つまり、静止マクロブロックならば、そのマクロブロックでは何も行わず、次のマクロブロックにいく。もし、２次元配列Ｍ［ｉ］［ｊ］の値がＴＵＲＥ、つまり、動マクロブロックならば、そのマクロブロックの周囲８マクロブロックの静動判定結果をチェックし（Ｓ４０５）、全て、ＦＡＬＳＥつまり静止マクロブロックならば、そのマクロブロックは、雑音であると判定し、静止マクロブロックに書き換える。（Ｓ４０６）もし、周囲８マクロブロックのうち一つでもＴＵＲＥがあれば、雑音とは判定せず、次のマクロブロックに移る。なお、画面の外側については、静止マクロブロックとして仮定している。
【００２７】
図６から図８は、移動物体包含処理の具体的な処理内容である。ここで、ｎは、移動物体の数を示すカウンタであり、Ｓ１￣Ｓ４は、移動物体を包含する長方形を探索する範囲を示すパラメータで、Ｓ１、Ｓ２は、垂直方向のアドレスの始点と終点であり、Ｓ３、Ｓ４は、水平方向のアドレスの始点と終点である。
【００２８】
図６の流れ図は、探索範囲としてフレーム全体を指定するように、初期化を行う。（Ｓ５０１）次に指定された探索範囲で移動物体を包含する最小の長方形を探索する関数Ｒｅｃｔａｎｇｕｌａｒを呼び出す。（Ｓ５０２）
図７、図８の流れ図は、関数Ｒｅｃｔａｎｇｕｌａｒの処理の内容を示している。関数Ｒｅｃｔａｎｇｕｌａｒは、探索範囲であるＳ１〜Ｓ４と移動物体の数を示すｎと各マクロブロックの静動判定結果の格納された２次元配列Ｍを入力とし、探索結果の長方形のアドレスを格納した１次元配列Ｂ１〜Ｂ４と移動物体の数を示すｎとを出力とする。ここで、１次元配列ＨＶは、垂直方向の動マクロブロックの数のヒストグラムを作成するための作業配列であり、１次元配列ＨＨは、水平方向の動マクロブロックの数のヒストグラムを作成するための作業配列である。また、変数ＶＦＬＡＧは、水平方向のヒストグラムの値が０でない状態の時にＴＲＵＥとなり、値が０の時にＦＡＬＳＥとなるように変更されるフラグであり、変数ＨＦＬＡＧは、垂直方向のヒストグラムの値が０でない状態の時にＴＲＵＥとなり、値が０の時にＦＡＬＳＥとなるように変更されるフラグである。
【００２９】
まず、垂直方向の動マクロブロックの数のヒストグラムを作成するための作業配列ＨＶの探索範囲であるＳ１〜Ｓ２の範囲を値０で初期化する。（Ｓ６０１）次のＬＯＯＰ１とＬＯＯＰ２の２重ループでは、探索範囲での垂直方向の動マクロブロックの数のヒストグラムを作成している。つまり、マクロブロック毎の静動判定結果Ｍ［ｉ］［ｊ］の値を比較し（Ｓ６０４）、値がＴＵＲＥ、つまり、動マクロブロックならば、ＨＶ［ｉ］をプラス１し（Ｓ６０５）、ＦＡＬＳＥの場合は、何もしないという動作をとっている。
【００３０】
次に、その垂直方向のヒストグラムの中から、０でない連続した部分を探索する。まず、フラグＶＦＬＡＧをＦＡＬＳＥにセットする。（Ｓ６０８）次に、探索範囲Ｓ１からＳ２の順序で、ヒストグラムＨＶが０でなく、ＶＦＬＡＧがＦＡＬＳＥであるかをチェックする。（Ｓ６１０）この条件に当てはまるのは、ヒストグラムが０でない連続した部分の始点の部分である。従って、探索している長方形の垂直方向の始点の候補となるので、１次元配列Ｂ１［ｎ］にアドレスｉを格納し、ＶＦＬＡＧをＴＵＲＥにセットする。（Ｓ６１１）
次に、ヒストグラムＨＶが０あるいは、探索範囲の終点で、ＶＦＬＡＧがＴＵＲＥであるかをチェックする。（Ｓ６１２）この条件に当てはまるのは、ヒストグラムが０でない連続した部分の終点の部分である。従って、探索している長方形の垂直方向の終点の候補となるので、もし、ヒストグラムＨＶが０の場合は、１次元配列Ｂ２［ｎ］にアドレスｉ−１を格納し（Ｓ６１４）、そうでない場合は、１次元配列Ｂ２［ｎ］にアドレスｉを格納する。（Ｓ６１５）そして、ＶＦＬＡＧを再びＦＡＬＳＥにセットする。（Ｓ６１１）
図８は、図７の流れ図の続きである。今度は、水平方向の動マクロブロックの数のヒストグラムを作成するための作業配列ＨＶの探索範囲であるＳ３〜Ｓ４の範囲を値０で初期化する。（Ｓ６１７）次のＬＯＯＰ４とＬＯＯＰ５の２重ループでは、探索範囲での水平方向の動マクロブロックの数のヒストグラムを作成している。つまり、マクロブロック毎の静動判定結果Ｍ［ｉ］［ｊ］の値を比較し（Ｓ６０４）、値がＴＵＲＥ、つまり、動マクロブロックならば、ＨＨ［ｉ］をプラス１し（Ｓ６０５）、ＦＡＬＳＥの場合は、何もしないという動作をとっている。
【００３１】
次に、その水平方向のヒストグラムの中から、０でない連続した部分を探索する。まず、フラグＨＦＬＡＧをＦＡＬＳＥにセットする。（Ｓ６２４）次に、探索範囲Ｓ３からＳ４の順序で、ヒストグラムＨＨが０でなく、ＨＦＬＡＧがＦＡＬＳＥであるかをチェックする。（Ｓ６２６）この条件に当てはまるのは、ヒストグラムが０でない連続した部分の始点の部分である。従って、探索している長方形の水平方向の始点の候補となるので、１次元配列Ｂ３［ｎ］にアドレスｊを格納し、ＨＦＬＡＧをＴＵＲＥにセットする。（Ｓ６２７）
次に、ヒストグラムＨＨが０あるいは、探索範囲の終点で、ＨＦＬＡＧがＴＵＲＥであるかをチェックする。（Ｓ６２８）この条件に当てはまるのは、ヒストグラムが０でない連続した部分の終点の部分である。従って、探索している長方形の水平方向の終点の候補となるので、もし、ヒストグラムＨＨが０の場合は、１次元配列Ｂ４［ｎ］にアドレスｊ−１を格納し（Ｓ６３０）、そうでない場合は、１次元配列Ｂ４［ｎ］にアドレスｊを格納する。（Ｓ６３１）そして、ＨＦＬＡＧを再びＦＡＬＳＥにセットする。（Ｓ６３２）
ここで、１通りの垂直方向と水平方向のヒストグラムによる探索が終了したが、探索した結果Ｂ１［ｎ］〜Ｂ４［ｎ］が探索範囲Ｓ１〜Ｓ４と一致するかをチェックして（Ｓ６３３）、一致する場合は、もうこれ以上探索する範囲がないので、最小の長方形が求まっていると判定できる。（Ｓ６３４）そして、移動物体の数を表すｎをプラス１して（Ｓ６３５）、次の移動物体の探索に移る。探索した結果Ｂ１［ｎ］〜Ｂ４［ｎ］が探索範囲Ｓ１〜Ｓ４と一致しない場合、探索した結果の範囲にまだ複数の移動物体が存在するので、探索した結果Ｂ１［ｎ］〜Ｂ４［ｎ］をＳ１〜Ｓ４に移し替えて（Ｓ６３７）、再び、関数Ｒｅｃｔａｎｇｕｌａｒを呼び出す。（Ｓ６３７）
図９は、移動物体判定部１１３の判定結果の例である。ここでは、２つの移動物体を判定した。それぞれの判定結果は、図に示すようにこの例では、マクロブックのアドレスの原点は、フレームの左上であり、Ｂ１［０］〜Ｂ４［０］とＢ１［１］〜Ｂ４［１］のような配置で移動物体を判定している。
【００３２】
移動物体合成表示部１１４では、移動物体判定部１１３で判定した移動物体の領域と再生動画像信号を合成した画像を作成する。図１０は、その具体的な流れ図である。ここで、ｎは、移動物体判定部１１３で求めたフレーム内の移動物体数を示している。処理の流れとしては、移動物体毎に、Ｂ１［ｉ］〜 Ｂ４［ｉ］が移動物体の４角のマクロブロックを表しているので、それを囲むような長方形の白い線を描き、再生画像と合成する。（Ｓ６０２）
図１１は、移動物体合成表示部によって作成された画像の例である。
（第２の実施の形態）
図１２と図１３は、本発明の第２の実施形態の動画像移動物体検出装置の構成を示すブロック図である。この実施の形態において、移動物体検出部は、動画像符号化部と組み合わされている。
【００３３】
図１２において、入力動画像信号は、ブロック化回路２０１でマクロブロックに分割される。マクロブロックに分割された入力動画像信号は、減算器２０２に入力され、予測画像信号との差分がとられて、予測残差信号が生成される。この予測残差信号と、ブロック化回路２０１からの入力動画像信号のいずれか一方を、モード選択スイッチ２０３によって選択し、ＤＣＴ（離散コサイン変換）回路２０４により離散コサイン変換される。ＤＣＴ回路２０４で得られＤＣＴ係数データは、量子化回路２０５で量子化される。量子化器２０５で量子化された信号は２分岐され、一方は可変長符号化回路２１５で可変長符号化される。
【００３４】
一方、量子化回路２０５で量子化され２分岐された信号の他方は、逆量子化回路２０６及びＩＤＣＴ（逆離散コサイン変換）回路２０７により量子化回路２０５およびＤＣＴ回路２０４の処理と逆の処理を順次受けた後、加算器２０８でスイッチ２１１を介して入力される予測画像信号と加算されることにより、局部復号信号が生成される。この局部復号信号は、フレームメモリ２０９に蓄えられ、動き補償回路２１０に入力される。動き補償回路２１０では、予測画像信号が生成されるとともに、モード選択回路２０３に必要な情報を送る。
【００３５】
モード選択回路２１２では、マクロブロック単位に動き補償回路２１０からの予測情報Ｐに基づいて、フレーム間符号化をおこなうマクロブロックとフレーム内符号化をおこなうマクロブロックを選択する。フレーム内符号化（イントラ符号化）をおこなう場合は、モード選択スイッチ情報ＭをＡとし、スイッチ情報ＳをＡとする。フレーム間符号化（インター符号化）をおこなう場合は、モード選択スイッチ情報ＭをＢとし、スイッチ情報ＳをＢとする。モード選択スイッチ２０３ではモード選択スイッチ情報Ｐに基づき、スイッチを変更し、また、スイッチ２１６ではスイッチ情報Ｓに基づき、スイッチを変更する。
【００３６】
ここで、モードとして、イントラモード（ＩＮＴＲＡ）、インターモード（ＩＮＴＥＲ）、非符号化モード（ＮＯＴ＿ＣＯＤＥＤ）があり、各マクロブロック毎に対応づけられ、ＩＮＴＲＡのマクロブロックはフレーム内符号化される画像領域、ＩＮＴＥＲのマクロブロックはフレーム間符号化される画像領域、ＮＯＴ＿ＣＯＤＥＤのマクロブロックは、符号化不要の画像領域である。
【００３７】
一方、移動物体検出部２２２においては、まず、可変長符号化部２１４に入力されたモード情報、動きベクトル情報、ＤＣＴ係数情報をマクロブロック静動判定部に入力し、その判定結果を移動物体判定部２２０に入力する。移動物体判定部２２０で、判定された結果は、移動物体合成表示部に入力されるとともに、動画像符号化部２１８の多重化部２１５に入力される。移動物体合成部２２１では、動画像符号化部によって作成された局部復号信号と移動物体を合成した画像を作成し、局部再生信号として出力する。なお、マクロブロック静動判定部２１９、移動物体判定部２２０、移動物体合成表示部２２１の具体的な処理内容は、第１の実施の形態のでの図２〜図１１の処理と同一である。
【００３８】
符号化制御回路２１４では、符号化部２１８の符号化情報と出力バッファ２１６のバッファ量をもとに符号化部２１７を制御する。可変長符号化回路２１４で符号化された符号化データは、移動物体判定部２２０からの移動物体判定結果とともに、多重化回路２１６で多重化され、出力バッファ２１７で送信レートを平滑化され、符号化データとして伝送系または蓄積系に送られる。
【００３９】
図１３は、図１２の符号化側に対する復号化側のブロック図である。
【００４０】
まず、動画像復号化部３１０においては、まず、伝送路または蓄積系から受信した符号化データは、入力バッファ３０１に一度蓄えられ、多重化分離部３０２により１フレーム毎にシンタクスに基づいて分離し、可変長復号化部３０３に出力する。可変長復号化部３０３では、各シンタクスの情報の可変長符号の復号をおこなう。
【００４１】
可変長復号化部３０３において、マクロブロックのモードがＩＮＴＲＡならば、モード切替スイッチ３０９をオフに選択して、可変長復号化部３０３で復号化された量子化ＤＣＴ係数情報は、逆量子化部３０４で逆量子化され、ＩＤＣＴ部３０５で逆離散コサイン変換処理をおこなうことにより、再生画像信号を生成させる。この再生画像信号は、フレームメモリ３０７に参照画像として蓄積される一方、移動物体検出部１１５内の移動物体合成表示部３１１に入力される。
【００４２】
可変長復号化部３０３において、マクロブロックのモードがＩＮＴＥＲ及びＮＯＴ＿ＣＯＤＥＤならば、モード切替スイッチ３０９をオフに選択して、可変長復号化部３０３で復号化された量子化ＤＣＴ係数情報は、逆量子化部３０４で逆量子化され、ＩＤＣＴ部３０５で逆離散コサイン変換処理をおこない、可変長復号化部３０３で復号化された動きベクトル情報に基づいて、動き補償部３０８において参照画像を動き補償し、加算器３０６で足しあわせて、再生画像信号を生成させる。この再生画像信号は、フレームメモリ３０７に参照画像として蓄積される一方、移動物体合成表示部３１１に入力される。
【００４３】
一方、多重化分離部で、分離された移動物体判定結果は、移動物体合成表示部３１１に入力され、図１０の流れ図に従って動作する。
【００４４】
【発明の効果】
以上、説明したように本発明のよれば、高速でかつ安定して精度よく移動物体を検出することのできる動画像移動物体検出装置及び方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の動画像移動物体検出装置の構成を示すブロック図である。
【図２】本発明の移動物体検出部の動作を示す流れ図である。
【図３】本発明のマクロブロック静動判定部の動作を示す流れ図である。
【図４】本発明の移動物体判定部の動作を示す流れ図である。
【図５】本発明の移動物体判定部の雑音処理の動作を示す流れ図である。
【図６】本発明の移動物体判定部の移動物体包含処理の動作を示す流れ図（その１）である。
【図７】本発明の移動物体判定部の移動物体包含処理の動作を示す流れ図（その２）である。
【図８】本発明の移動物体判定部の移動物体包含処理の動作を示す流れ図（その３）である。
【図９】本発明の移動物体判定部の判定結果の例を示す図である。
【図１０】本発明の移動物体合成表示部の動作を示す流れ図である。
【図１１】本発明の移動物体判定部の表示結果の例を示す図である。
【図１２】本発明の第２の実施形態の動画像移動物体検出装置の符号化側の構成を示すブロック図である。
【図１３】本発明の第２の実施形態の動画像移動物体検出装置の復号化側の構成を示すブロック図である。
【符号の説明】
１０１…入力バッファ
１０２…多重化分離部
１０３…可変長復号化部
１０４…逆量子化部
１０５…ＩＤＣＴ部
１０６…加算器
１０７…フレームメモリ
１０８…動き補償部
１０９…モード切替スイッチ
１１０…動画像復号化部
１１１…マクロブロック静動判定部
１１２…減算器
１１３…移動物体判定部
１１４…移動物体合成表示部
１１５…移動物体検出部
２０１…ブロック化回路
２０２…減算器
２０３…モード選択スイッチ
２０４…ＤＣＴ回路
２０５…量子化回路
２０６…逆量子化回路
２０７…ＩＤＣＴ回路
２０８…加算器
２０９…フレームメモリ
２１０…動き補償回路
２１１…スイッチ
２１２…モード選択回路
２１３…符号化制御回路
２１４…可変長符号化回路
２１５…多重化回路
２１６…出力バッファ
２１７…符号化部
２１８…動画像符号化部
２１９…マクロブロック静動判定部
２２０…移動物体判定部
２２１…移動物体合成表示部
２２２…移動物体検出部
３０１…入力バッファ
３０２…多重化分離部
３０３…可変長復号化部
３０４…逆量子化部
３０５…ＩＤＣＴ部
３０６…加算器
３０７…フレームメモリ
３０８…動き補償部
３０９…モード切替スイッチ
３１０…動画像復号化部
３１１…移動物体合成表示部
【発明の属する技術分野】
この発明は、動画像移動物体検出装置及方法に関する。
【０００２】
【従来の技術】
移動物体検出をするためには、一般に画素毎の動きを調べること必要がある。しかし、画素毎に動きを調べる処理は、実は、多くの計算量を必要とするという問題がある。例えば、ＩＴＵ−Ｔ Ｈ。２６１、Ｈ。２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４等でよく用いられるＣＩＦフォーマットの場合、横３５２画素、縦２８８画素で合計１０１３７６画素もの画素について、動きを検出することになる。このような計算量の多い処理に対しては、専用のハードウェアを用意する必要があったりして、コスト面でも大きな問題があった。
【０００３】
そこで、特開平９−２５２４６７号公報「移動物体検出装置」では、動画像符号化装置で作られた動きベクトルから、移動物体を検出する手法が考案されている。この方法によれば、動画像符号化装置で作成されるブロック毎の動きベクトルを用いるので、移動物体検出のために特別に画素の動きを調べる必要がなく、大幅に計算量を減らすことができる。
【０００４】
しかし、従来の符号化データを用いた移動物体検出技術の問題点としては、動きベクトルが大きいブロックや書き換わっているブロックが必ずしも移動物体とは限らず、また、移動物体の内部のブロックでも、書き換わっていないブロックが存在したりして、監視などに用いることを考えた場合、必ずしも必要な映像が得ることができなかった。
【０００５】
【発明が解決しようとする課題】
上述したように、従来技術によると移動物体を検出するためには、多くの計算量を必要とするという問題点があり、動画像符号化データを用いた方法では精度に問題があった。
【０００６】
本発明は、高速でかつ安定して精度よく移動物体を検出することのできる動画像移動物体検出装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の動画像移動物体検出装置は、フレーム内符号化を行う第１のモード、フレーム間符号化を行う第２のモードおよび符号化不要として符号化する第３のモードのいずれかのモードによりマクロブロック毎に符号化された動画像データを復号する動画像復号化手段と、その復号結果からフレーム内のマクロブロック毎の画像が静止状態か動状態かを判定するマクロブロック静動判定手段と、当該マクロブロック毎の静動判定結果から移動物体を判定する手段と、判定された移動物体の画像を前記動画像復号化手段により復号された画像信号と合成して表示する表示手段とを有する動画像移動物体検出装置において、前記マクロブロック静動判定手段は（１）前記動画像復号化手段により復号されたマクロブロックが前記第１のモードにより符号化されていた場合には、その復号された画像信号と１フレーム前の画像信号との差分の大きさに基づいて、（２）前記動画像復号化手段により復号されたマクロブロックが前記第２のモードにより符号化されていた場合には、当該マクロブロックの動きベクトル及び変換係数の大きさに基づいて、それぞれ当該マクロブロック毎の画像が静止状態か動状態かを判定し、（３）前記動画像復号化手段により復号されたマクロブロックが前記第３のモードにより符号化されていた場合には、当該マクロブロックの画像は静止状態と判定することを特徴とする。
また本発明の動画像移動物体検出装置は、フレーム内符号化を行う第１のモード、フレーム間符号化を行う第２のモードおよび符号化不要として符号化する第３のモードのいずれかのモードによりマクロブロック毎に動画像を符号化する手段と、この符号化手段により符号化された動画像データをマクロブロック毎に局部復号する動画像復号化手段と、前記符号化手段で符号化された結果からフレーム内のマクロブロック毎の画像が静止状態か動状態かを判定するマクロブロック静動判定手段と、当該マクロブロック毎の静動判定結果から移動物体を判定する手段と、判定された移動物体の画像を前記動画像復号化手段により復号された画像信号と合成して表示する表示手段とを有する動画像移動物体検出装置において、前記マクロブロック静動判定手段は（１）前記動画像符号化手段により符号化されたマクロブロックが前記第１のモードにより符号化された場合には、そのマクロブロックが前記動画像復号化手段により復号された画像信号と１フレーム前の画像信号との差分の大きさに基づいて、（２）前記動画像符号化手段により符号化されたマクロブロックが前記第２のモードにより符号化された場合には、当該マクロブロックの動きベクトル及び変換係数の大きさに基づいて、それぞれ当該マクロブロック毎の画像が静止状態か動状態かを判定し、（３）前記動画像符号化手段により符号化されたマクロブロックが前記第３のモードにより符号化されていた場合には、当該マクロブロックの画像は静止状態と判定することを特徴とする。
また本発明の動画像移動物体検出方法は、フレーム内符号化を行う第１のモード、フレーム間符号化を行う第２のモードおよび符号化不要として符号化する第３のモードのいずれかのモードによりマクロブロック毎に符号化された動画像データを復号する動画像復号化ステップと、その復号結果からフレーム内のマクロブロック毎の画像が静止状態か動状態かを判定するマクロブロック静動判定ステップと、当該マクロブロック毎の静動判定結果から移動物体を判定するステップと、判定された移動物体の画像を前記動画像復号化ステップにより復号された画像信号と合成して表示するステップとを有する動画像移動物体検出方法において、前記マクロブロック静動判定ステップは（１）前記動画像復号化ステップにより復号されたマクロブロックが前記第１のモードにより符号化されていた場合には、その復号された画像信号と１フレーム前の画像信号との差分の大きさに基づいて、（２）前記動画像復号化ステップにより復号されたマクロブロックが前記第２のモードにより符号化されていた場合には、当該マクロブロックの動きベクトル及び変換係数の大きさに基づいて、それぞれ当該マクロブロック毎の画像が静止状態か動状態かを判定し、（３）前記動画像復号化ステップにより復号されたマクロブロックが前記第３のモードにより符号化されていた場合には、当該マクロブロックの画像は静止状態と判定することを特徴とする。
【０００８】
この動画像移動物体検出装置の復号されたブロック毎を復号結果からブロック内の画像が静止状態か動状態かを判定する手段は、動画像復号化手段によって復号されたブロック毎のモード情報と、動きベクトル情報と、変換係数情報と、現在の再生画像信号と１フレーム前の再生画像との差分から、ブロックが静止状態か、動状態かを判定する。
【０００９】
このように、動画像復号化装置と移動物体の検出を組み合わせることにより、復号化と同時に実行できるともに、ブロック毎の静動判定結果から、移動物体を検出する範囲を大幅に絞り込むことができるため、高速に移動物体検出が可能となる。
【００１０】
また、本発明に係る動画像移動物体検出装置は、動画像を符号化する動画像符号化手段と、移動物体検出手段と、動画像を圧縮した符号化データを復号する動画像復号化手段とを有し、前記移動物体検出手段は、前記動画像符号化手段によって符号化されたブロック毎を符号化結果からブロック内の画像が静止状態か動状態かを判定する手段と、ブロック毎の静動判定結果から移動物体を判定する手段と、前記動画像符号化手段は、移動物体の判定結果を符号化データと多重化して伝送し、前記動画像復号化手段は、符号化データを復号し、再生画像信号と、移動物体の判定結果を合成して表示する手段とを有する。
【００１１】
この動画像移動物体検出装置の符号化されたブロック毎を符号化結果からブロック内の画像が静止状態か動状態かを判定する手段は、動画像符号化手段によって復号されたブロック毎のモード情報と、動きベクトル情報と、変換係数情報と、現在の再生画像信号と１フレーム前の再生画像との差分から、ブロックが静止状態か、動状態かを判定する。
【００１２】
この動画像移動物体検出装置は、判定した移動物体の領域を動画像符号手段と前記動画像符号化手段によって作成された局部画像信号と合成して表示する手段を有する。
【００１３】
このように、動画像符号化装置と移動物体の検出を組み合わせることにより、符号化と同時に実行できるともに、ブロック毎の静動判定結果から、移動物体を検出する範囲を大幅に絞り込むことができるため、高速に移動物体検出が可能となる。
【００１４】
また、これらの動画像移動物体検出装置のブロック毎の静動判定結果から移動物体を判定する手段は、ブロック内の画像が動状態のブロックを包含する図形で移動物体を判定する。
【００１５】
このような処理により、検出誤差の影響を抑えることができ、検出結果をより明確に表示することができる。
【００１６】
【発明の実施の形態】
（第１の実施の形態）
以下、図面を参照して本発明の第１の実施形態を説明する。図１は、本発明の実施形態の動画像移動物体検出装置の構成を示すブロック図である。
【００１７】
図１は、本発明の実施形態の動画像移動物体検出装置の構成を示すブロック図である。図１の動画像移動物体検出装置は、動画像復号化部１１０と移動物体検出部１１５の２つの部分から成り立っている。
【００１８】
動画像復号化部１１０においては、まず、伝送路または蓄積系から受信した符号化データは、入力バッファ１０１に一度蓄えられ、多重化分離部１０２により１フレーム毎にシンタクスに基づいて分離し、可変長復号化部１０３に出力する。可変長復号化部１０３では、各シンタクスの情報の可変長符号の復号をおこなう。
【００１９】
可変長復号化部１０３において、マクロブロックのモードがＩＮＴＲＡならば、モード切替スイッチ１０９をオフに選択して、可変長復号化部１０３で復号化された量子化ＤＣＴ係数情報は、逆量子化部１０４で逆量子化され、ＩＤＣＴ部１０５で逆離散コサイン変換処理をおこなうことにより、再生画像信号を生成させる。この再生画像信号は、フレームメモリ１０７に参照画像として蓄積される一方、移動物体検出部１１５内の移動物体合成表示部１１４に入力される。
【００２０】
可変長復号化部１０３において、マクロブロックのモードがＩＮＴＥＲ及びＮＯＴ＿ＣＯＤＥＤならば、モード切替スイッチ１０９をオフに選択して、可変長復号化部１０３で復号化された量子化ＤＣＴ係数情報は、逆量子化部１０４で逆量子化され、ＩＤＣＴ部１０５で逆離散コサイン変換処理をおこない、可変長復号化部１０３で復号化された動きベクトル情報に基づいて、動き補償部１０８において参照画像を動き補償し、加算器１０６で足しあわせて、再生画像信号を生成させる。この再生画像信号は、フレームメモリ１０７に参照画像として蓄積される一方、移動物体検出部１１５内の移動物体合成表示部１１４に入力される。
【００２１】
一方、移動物体検出部１１５においては、図２の流れ図のように、１フレーム毎にマクロブロック静動判定（Ｓ１０１）、移動物体判定（Ｓ１０２）、移動物体合成表示（Ｓ１０３）の３つの処理をそれぞれ、マクロブロック静動判定部１１１、移動物体判定部１１２、移動物体合成表示部１１４で行う。
【００２２】
マクロブロック静動判定部１１１では、可変長復号部１０３において復号されたモード情報、動きベクトル情報、ＤＣＴ係数情報と、減算器１１２で求めたＩＮＴＲＡマクロブロックの時の再生画像信号と１フレーム前のフレームメモリとの差分絶対値和（ＳＡＤ）から、フレーム内のマクロブロック毎の静動判定を行う。
【００２３】
図３は、マクロブロック静動判定（Ｓ１０１）の具体的な流れ図である。ここで、ｉとｊは、フレーム内の垂直方向と水平方向のマクロブロックのアドレスをそれぞれ表し、Ｖ＿ＮＭＢとＨ＿ＮＭＢはフレーム内の垂直方向と水平方向のマクロブロック数を表している。２次元配列Ｍ［ｉ］［ｊ］は、各マクロブロックが動マクロブロックか否かの情報を蓄える配列で、ＴＲＵＥならば動マクロブロック、ＦＡＬＳＥならば静止マクロブロックを表す。
【００２４】
まず、マクロブロック毎に可変長復号化部１０３からのモード情報ＭＯＤＥの判定を行う。（Ｓ２０３）
もし、ＭＯＤＥがＩＮＴＲＡならば、そのマクロブロックの再生画像信号と１フレーム前のフレームメモリとの差分絶対値和（ＳＡＤ）を計算し、閾値Ｔ０と比較を行う。（Ｓ２０４）もし、閾値Ｔ０よりも大きい場合、そのマクロブロックは動マクロブロックと判定し、 Ｍ［ｉ］［ｊ］にＴＲＵＥが代入される。（Ｓ２０６）閾値Ｔ０以下の場合、そのマクロブロックは静止マクロブロックと判定し、 Ｍ［ｉ］［ｊ］にＦＡＬＳＥが代入される。（Ｓ２０７）
もし、ＭＯＤＥがＩＮＴＥＲならば、可変長復号化部１０３からの動きベクトル情報及びＤＣＴ係数情報から、そのマクロブロックの動きベクトルの絶対値和Σ｜ＭＶ｜及び、ＤＣＴ係数の絶対値和Σ｜ＣＯＦ｜を計算し、それぞれの閾値Ｔ１、Ｔ２と比較を行う。（Ｓ２０５）もし、動きベクトルの絶対値和と、ＤＣＴ係数の絶対値和が閾値よりも小さければ、そのマクロブロックは静止マクロブロックと判定し、 Ｍ［ｉ］［ｊ］にＦＡＬＳＥが代入される。（Ｓ２０７）そうでない場合には、そのマクロブロックは動マクロブロックと判定し、 Ｍ［ｉ］［ｊ］にＴＲＵＥが代入される。（Ｓ２０６）
もし、ＮＯＴ＿ＣＯＤＥＤならは、そのマクロブロックは静止マクロブロックと判定し、 Ｍ［ｉ］［ｊ］にＦＡＬＳＥが代入される。（Ｓ２０７）
移動物体判定部１１３では、マクロブロック静動判定部１１２のマクロブロック毎の静動判定情報から、移動物体の判定を行う。図４は、その具体的な流れ図である。図４で示すように処理内容は、雑音除去処理（Ｓ３０１）と移動物体包含処理（Ｓ３０２）の２つから成り立っている。雑音除去処理（Ｓ３０１）では、背景画像の小物体の揺らぎや画像取り込み時の雑音によって動マクロブロックと誤検出されてしまう防止するために、周囲８マクロブロックが全て静止している動マクロブロックを取り除いている。移動物体包含処理（Ｓ３０２）は、雑音を取り除いた後の静動判定結果から、隣接して動マクロブロックが存在する領域を包含する最小の長方形の検出する処理を行う。この処理で、移動物体を包含する長方形を見つけることができる。
【００２５】
図５は、雑音除去処理の具体的な処理内容である。図３と同様に、ｉとｊは、フレーム内の垂直方向と水平方向のマクロブロックのアドレスをそれぞれ表し、Ｖ＿ＮＭＢとＨ＿ＮＭＢはフレーム内の垂直方向と水平方向のマクロブロック数を表している。２次元配列Ｍ［ｉ］［ｊ］は、各マクロブロックが動マクロブロックか否かの情報を蓄える配列で、ＴＲＵＥならば動マクロブロック、ＦＡＬＳＥならば静止マクロブロックを表す。
【００２６】
まず、マクロブロック毎の静動判定結果をみる。（Ｓ４０３）もし、２次元配列Ｍ［ｉ］［ｊ］の値がＦＡＬＳＥ、つまり、静止マクロブロックならば、そのマクロブロックでは何も行わず、次のマクロブロックにいく。もし、２次元配列Ｍ［ｉ］［ｊ］の値がＴＵＲＥ、つまり、動マクロブロックならば、そのマクロブロックの周囲８マクロブロックの静動判定結果をチェックし（Ｓ４０５）、全て、ＦＡＬＳＥつまり静止マクロブロックならば、そのマクロブロックは、雑音であると判定し、静止マクロブロックに書き換える。（Ｓ４０６）もし、周囲８マクロブロックのうち一つでもＴＵＲＥがあれば、雑音とは判定せず、次のマクロブロックに移る。なお、画面の外側については、静止マクロブロックとして仮定している。
【００２７】
図６から図８は、移動物体包含処理の具体的な処理内容である。ここで、ｎは、移動物体の数を示すカウンタであり、Ｓ１￣Ｓ４は、移動物体を包含する長方形を探索する範囲を示すパラメータで、Ｓ１、Ｓ２は、垂直方向のアドレスの始点と終点であり、Ｓ３、Ｓ４は、水平方向のアドレスの始点と終点である。
【００２８】
図６の流れ図は、探索範囲としてフレーム全体を指定するように、初期化を行う。（Ｓ５０１）次に指定された探索範囲で移動物体を包含する最小の長方形を探索する関数Ｒｅｃｔａｎｇｕｌａｒを呼び出す。（Ｓ５０２）
図７、図８の流れ図は、関数Ｒｅｃｔａｎｇｕｌａｒの処理の内容を示している。関数Ｒｅｃｔａｎｇｕｌａｒは、探索範囲であるＳ１〜Ｓ４と移動物体の数を示すｎと各マクロブロックの静動判定結果の格納された２次元配列Ｍを入力とし、探索結果の長方形のアドレスを格納した１次元配列Ｂ１〜Ｂ４と移動物体の数を示すｎとを出力とする。ここで、１次元配列ＨＶは、垂直方向の動マクロブロックの数のヒストグラムを作成するための作業配列であり、１次元配列ＨＨは、水平方向の動マクロブロックの数のヒストグラムを作成するための作業配列である。また、変数ＶＦＬＡＧは、水平方向のヒストグラムの値が０でない状態の時にＴＲＵＥとなり、値が０の時にＦＡＬＳＥとなるように変更されるフラグであり、変数ＨＦＬＡＧは、垂直方向のヒストグラムの値が０でない状態の時にＴＲＵＥとなり、値が０の時にＦＡＬＳＥとなるように変更されるフラグである。
【００２９】
まず、垂直方向の動マクロブロックの数のヒストグラムを作成するための作業配列ＨＶの探索範囲であるＳ１〜Ｓ２の範囲を値０で初期化する。（Ｓ６０１）次のＬＯＯＰ１とＬＯＯＰ２の２重ループでは、探索範囲での垂直方向の動マクロブロックの数のヒストグラムを作成している。つまり、マクロブロック毎の静動判定結果Ｍ［ｉ］［ｊ］の値を比較し（Ｓ６０４）、値がＴＵＲＥ、つまり、動マクロブロックならば、ＨＶ［ｉ］をプラス１し（Ｓ６０５）、ＦＡＬＳＥの場合は、何もしないという動作をとっている。
【００３０】
次に、その垂直方向のヒストグラムの中から、０でない連続した部分を探索する。まず、フラグＶＦＬＡＧをＦＡＬＳＥにセットする。（Ｓ６０８）次に、探索範囲Ｓ１からＳ２の順序で、ヒストグラムＨＶが０でなく、ＶＦＬＡＧがＦＡＬＳＥであるかをチェックする。（Ｓ６１０）この条件に当てはまるのは、ヒストグラムが０でない連続した部分の始点の部分である。従って、探索している長方形の垂直方向の始点の候補となるので、１次元配列Ｂ１［ｎ］にアドレスｉを格納し、ＶＦＬＡＧをＴＵＲＥにセットする。（Ｓ６１１）
次に、ヒストグラムＨＶが０あるいは、探索範囲の終点で、ＶＦＬＡＧがＴＵＲＥであるかをチェックする。（Ｓ６１２）この条件に当てはまるのは、ヒストグラムが０でない連続した部分の終点の部分である。従って、探索している長方形の垂直方向の終点の候補となるので、もし、ヒストグラムＨＶが０の場合は、１次元配列Ｂ２［ｎ］にアドレスｉ−１を格納し（Ｓ６１４）、そうでない場合は、１次元配列Ｂ２［ｎ］にアドレスｉを格納する。（Ｓ６１５）そして、ＶＦＬＡＧを再びＦＡＬＳＥにセットする。（Ｓ６１１）
図８は、図７の流れ図の続きである。今度は、水平方向の動マクロブロックの数のヒストグラムを作成するための作業配列ＨＶの探索範囲であるＳ３〜Ｓ４の範囲を値０で初期化する。（Ｓ６１７）次のＬＯＯＰ４とＬＯＯＰ５の２重ループでは、探索範囲での水平方向の動マクロブロックの数のヒストグラムを作成している。つまり、マクロブロック毎の静動判定結果Ｍ［ｉ］［ｊ］の値を比較し（Ｓ６０４）、値がＴＵＲＥ、つまり、動マクロブロックならば、ＨＨ［ｉ］をプラス１し（Ｓ６０５）、ＦＡＬＳＥの場合は、何もしないという動作をとっている。
【００３１】
次に、その水平方向のヒストグラムの中から、０でない連続した部分を探索する。まず、フラグＨＦＬＡＧをＦＡＬＳＥにセットする。（Ｓ６２４）次に、探索範囲Ｓ３からＳ４の順序で、ヒストグラムＨＨが０でなく、ＨＦＬＡＧがＦＡＬＳＥであるかをチェックする。（Ｓ６２６）この条件に当てはまるのは、ヒストグラムが０でない連続した部分の始点の部分である。従って、探索している長方形の水平方向の始点の候補となるので、１次元配列Ｂ３［ｎ］にアドレスｊを格納し、ＨＦＬＡＧをＴＵＲＥにセットする。（Ｓ６２７）
次に、ヒストグラムＨＨが０あるいは、探索範囲の終点で、ＨＦＬＡＧがＴＵＲＥであるかをチェックする。（Ｓ６２８）この条件に当てはまるのは、ヒストグラムが０でない連続した部分の終点の部分である。従って、探索している長方形の水平方向の終点の候補となるので、もし、ヒストグラムＨＨが０の場合は、１次元配列Ｂ４［ｎ］にアドレスｊ−１を格納し（Ｓ６３０）、そうでない場合は、１次元配列Ｂ４［ｎ］にアドレスｊを格納する。（Ｓ６３１）そして、ＨＦＬＡＧを再びＦＡＬＳＥにセットする。（Ｓ６３２）
ここで、１通りの垂直方向と水平方向のヒストグラムによる探索が終了したが、探索した結果Ｂ１［ｎ］〜Ｂ４［ｎ］が探索範囲Ｓ１〜Ｓ４と一致するかをチェックして（Ｓ６３３）、一致する場合は、もうこれ以上探索する範囲がないので、最小の長方形が求まっていると判定できる。（Ｓ６３４）そして、移動物体の数を表すｎをプラス１して（Ｓ６３５）、次の移動物体の探索に移る。探索した結果Ｂ１［ｎ］〜Ｂ４［ｎ］が探索範囲Ｓ１〜Ｓ４と一致しない場合、探索した結果の範囲にまだ複数の移動物体が存在するので、探索した結果Ｂ１［ｎ］〜Ｂ４［ｎ］をＳ１〜Ｓ４に移し替えて（Ｓ６３７）、再び、関数Ｒｅｃｔａｎｇｕｌａｒを呼び出す。（Ｓ６３７）
図９は、移動物体判定部１１３の判定結果の例である。ここでは、２つの移動物体を判定した。それぞれの判定結果は、図に示すようにこの例では、マクロブックのアドレスの原点は、フレームの左上であり、Ｂ１［０］〜Ｂ４［０］とＢ１［１］〜Ｂ４［１］のような配置で移動物体を判定している。
【００３２】
移動物体合成表示部１１４では、移動物体判定部１１３で判定した移動物体の領域と再生動画像信号を合成した画像を作成する。図１０は、その具体的な流れ図である。ここで、ｎは、移動物体判定部１１３で求めたフレーム内の移動物体数を示している。処理の流れとしては、移動物体毎に、Ｂ１［ｉ］〜 Ｂ４［ｉ］が移動物体の４角のマクロブロックを表しているので、それを囲むような長方形の白い線を描き、再生画像と合成する。（Ｓ６０２）
図１１は、移動物体合成表示部によって作成された画像の例である。
（第２の実施の形態）
図１２と図１３は、本発明の第２の実施形態の動画像移動物体検出装置の構成を示すブロック図である。この実施の形態において、移動物体検出部は、動画像符号化部と組み合わされている。
【００３３】
図１２において、入力動画像信号は、ブロック化回路２０１でマクロブロックに分割される。マクロブロックに分割された入力動画像信号は、減算器２０２に入力され、予測画像信号との差分がとられて、予測残差信号が生成される。この予測残差信号と、ブロック化回路２０１からの入力動画像信号のいずれか一方を、モード選択スイッチ２０３によって選択し、ＤＣＴ（離散コサイン変換）回路２０４により離散コサイン変換される。ＤＣＴ回路２０４で得られＤＣＴ係数データは、量子化回路２０５で量子化される。量子化器２０５で量子化された信号は２分岐され、一方は可変長符号化回路２１５で可変長符号化される。
【００３４】
一方、量子化回路２０５で量子化され２分岐された信号の他方は、逆量子化回路２０６及びＩＤＣＴ（逆離散コサイン変換）回路２０７により量子化回路２０５およびＤＣＴ回路２０４の処理と逆の処理を順次受けた後、加算器２０８でスイッチ２１１を介して入力される予測画像信号と加算されることにより、局部復号信号が生成される。この局部復号信号は、フレームメモリ２０９に蓄えられ、動き補償回路２１０に入力される。動き補償回路２１０では、予測画像信号が生成されるとともに、モード選択回路２０３に必要な情報を送る。
【００３５】
モード選択回路２１２では、マクロブロック単位に動き補償回路２１０からの予測情報Ｐに基づいて、フレーム間符号化をおこなうマクロブロックとフレーム内符号化をおこなうマクロブロックを選択する。フレーム内符号化（イントラ符号化）をおこなう場合は、モード選択スイッチ情報ＭをＡとし、スイッチ情報ＳをＡとする。フレーム間符号化（インター符号化）をおこなう場合は、モード選択スイッチ情報ＭをＢとし、スイッチ情報ＳをＢとする。モード選択スイッチ２０３ではモード選択スイッチ情報Ｐに基づき、スイッチを変更し、また、スイッチ２１６ではスイッチ情報Ｓに基づき、スイッチを変更する。
【００３６】
ここで、モードとして、イントラモード（ＩＮＴＲＡ）、インターモード（ＩＮＴＥＲ）、非符号化モード（ＮＯＴ＿ＣＯＤＥＤ）があり、各マクロブロック毎に対応づけられ、ＩＮＴＲＡのマクロブロックはフレーム内符号化される画像領域、ＩＮＴＥＲのマクロブロックはフレーム間符号化される画像領域、ＮＯＴ＿ＣＯＤＥＤのマクロブロックは、符号化不要の画像領域である。
【００３７】
一方、移動物体検出部２２２においては、まず、可変長符号化部２１４に入力されたモード情報、動きベクトル情報、ＤＣＴ係数情報をマクロブロック静動判定部に入力し、その判定結果を移動物体判定部２２０に入力する。移動物体判定部２２０で、判定された結果は、移動物体合成表示部に入力されるとともに、動画像符号化部２１８の多重化部２１５に入力される。移動物体合成部２２１では、動画像符号化部によって作成された局部復号信号と移動物体を合成した画像を作成し、局部再生信号として出力する。なお、マクロブロック静動判定部２１９、移動物体判定部２２０、移動物体合成表示部２２１の具体的な処理内容は、第１の実施の形態のでの図２〜図１１の処理と同一である。
【００３８】
符号化制御回路２１４では、符号化部２１８の符号化情報と出力バッファ２１６のバッファ量をもとに符号化部２１７を制御する。可変長符号化回路２１４で符号化された符号化データは、移動物体判定部２２０からの移動物体判定結果とともに、多重化回路２１６で多重化され、出力バッファ２１７で送信レートを平滑化され、符号化データとして伝送系または蓄積系に送られる。
【００３９】
図１３は、図１２の符号化側に対する復号化側のブロック図である。
【００４０】
まず、動画像復号化部３１０においては、まず、伝送路または蓄積系から受信した符号化データは、入力バッファ３０１に一度蓄えられ、多重化分離部３０２により１フレーム毎にシンタクスに基づいて分離し、可変長復号化部３０３に出力する。可変長復号化部３０３では、各シンタクスの情報の可変長符号の復号をおこなう。
【００４１】
可変長復号化部３０３において、マクロブロックのモードがＩＮＴＲＡならば、モード切替スイッチ３０９をオフに選択して、可変長復号化部３０３で復号化された量子化ＤＣＴ係数情報は、逆量子化部３０４で逆量子化され、ＩＤＣＴ部３０５で逆離散コサイン変換処理をおこなうことにより、再生画像信号を生成させる。この再生画像信号は、フレームメモリ３０７に参照画像として蓄積される一方、移動物体検出部１１５内の移動物体合成表示部３１１に入力される。
【００４２】
可変長復号化部３０３において、マクロブロックのモードがＩＮＴＥＲ及びＮＯＴ＿ＣＯＤＥＤならば、モード切替スイッチ３０９をオフに選択して、可変長復号化部３０３で復号化された量子化ＤＣＴ係数情報は、逆量子化部３０４で逆量子化され、ＩＤＣＴ部３０５で逆離散コサイン変換処理をおこない、可変長復号化部３０３で復号化された動きベクトル情報に基づいて、動き補償部３０８において参照画像を動き補償し、加算器３０６で足しあわせて、再生画像信号を生成させる。この再生画像信号は、フレームメモリ３０７に参照画像として蓄積される一方、移動物体合成表示部３１１に入力される。
【００４３】
一方、多重化分離部で、分離された移動物体判定結果は、移動物体合成表示部３１１に入力され、図１０の流れ図に従って動作する。
【００４４】
【発明の効果】
以上、説明したように本発明のよれば、高速でかつ安定して精度よく移動物体を検出することのできる動画像移動物体検出装置及び方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の動画像移動物体検出装置の構成を示すブロック図である。
【図２】本発明の移動物体検出部の動作を示す流れ図である。
【図３】本発明のマクロブロック静動判定部の動作を示す流れ図である。
【図４】本発明の移動物体判定部の動作を示す流れ図である。
【図５】本発明の移動物体判定部の雑音処理の動作を示す流れ図である。
【図６】本発明の移動物体判定部の移動物体包含処理の動作を示す流れ図（その１）である。
【図７】本発明の移動物体判定部の移動物体包含処理の動作を示す流れ図（その２）である。
【図８】本発明の移動物体判定部の移動物体包含処理の動作を示す流れ図（その３）である。
【図９】本発明の移動物体判定部の判定結果の例を示す図である。
【図１０】本発明の移動物体合成表示部の動作を示す流れ図である。
【図１１】本発明の移動物体判定部の表示結果の例を示す図である。
【図１２】本発明の第２の実施形態の動画像移動物体検出装置の符号化側の構成を示すブロック図である。
【図１３】本発明の第２の実施形態の動画像移動物体検出装置の復号化側の構成を示すブロック図である。
【符号の説明】
１０１…入力バッファ
１０２…多重化分離部
１０３…可変長復号化部
１０４…逆量子化部
１０５…ＩＤＣＴ部
１０６…加算器
１０７…フレームメモリ
１０８…動き補償部
１０９…モード切替スイッチ
１１０…動画像復号化部
１１１…マクロブロック静動判定部
１１２…減算器
１１３…移動物体判定部
１１４…移動物体合成表示部
１１５…移動物体検出部
２０１…ブロック化回路
２０２…減算器
２０３…モード選択スイッチ
２０４…ＤＣＴ回路
２０５…量子化回路
２０６…逆量子化回路
２０７…ＩＤＣＴ回路
２０８…加算器
２０９…フレームメモリ
２１０…動き補償回路
２１１…スイッチ
２１２…モード選択回路
２１３…符号化制御回路
２１４…可変長符号化回路
２１５…多重化回路
２１６…出力バッファ
２１７…符号化部
２１８…動画像符号化部
２１９…マクロブロック静動判定部
２２０…移動物体判定部
２２１…移動物体合成表示部
２２２…移動物体検出部
３０１…入力バッファ
３０２…多重化分離部
３０３…可変長復号化部
３０４…逆量子化部
３０５…ＩＤＣＴ部
３０６…加算器
３０７…フレームメモリ
３０８…動き補償部
３０９…モード切替スイッチ
３１０…動画像復号化部
３１１…移動物体合成表示部
Claims (3)
- フレーム内符号化を行う第１のモード、フレーム間符号化を行う第２のモードおよび符号化不要として符号化する第３のモードのいずれかのモードによりマクロブロック毎に符号化された動画像データを復号する動画像復号化手段と、その復号結果からフレーム内のマクロブロック毎の画像が静止状態か動状態かを判定するマクロブロック静動判定手段と、当該マクロブロック毎の静動判定結果から移動物体を判定する手段と、判定された移動物体の画像を前記動画像復号化手段により復号された画像信号と合成して表示する表示手段とを有する動画像移動物体検出装置において、前記マクロブロック静動判定手段は（１）前記動画像復号化手段により復号されたマクロブロックが前記第１のモードにより符号化されていた場合には、その復号された画像信号と１フレーム前の画像信号との差分の大きさに基づいて、（２）前記動画像復号化手段により復号されたマクロブロックが前記第２のモードにより符号化されていた場合には、当該マクロブロックの動きベクトル及び変換係数の大きさに基づいて、その復号された符号化モードの種類に基づいて、それぞれ当該マクロブロック毎の画像が静止状態か動状態かを判定し、（３）前記動画像復号化手段により復号されたマクロブロックが前記第３のモードにより符号化されていた場合には、当該マクロブロックの画像は静止状態と判定することを特徴とする動画像移動物体検出装置。
- フレーム内符号化を行う第１のモード、フレーム間符号化を行う第２のモードおよび符号化不要として符号化する第３のモードのいずれかのモードによりマクロブロック毎に動画像を符号化する手段と、この符号化手段により符号化された動画像データをマクロブロック毎に局部復号する動画像復号化手段と、前記符号化手段で符号化された結果からフレーム内のマクロブロック毎の画像が静止状態か動状態かを判定するマクロブロック静動判定手段と、当該マクロブロック毎の静動判定結果から移動物体を判定する手段と、判定された移動物体の画像を前記動画像復号化手段により復号された画像信号と合成して表示する表示手段とを有する動画像移動物体検出装置において、前記マクロブロック静動判定手段は（１）前記動画像符号化手段により符号化されたマクロブロックが前記第１のモードにより符号化された場合には、そのマクロブロックが前記動画像復号化手段により復号された画像信号と１フレーム前の画像信号との差分の大きさに基づいて、（２）前記動画像符号化手段により符号化されたマクロブロックが前記第２のモードにより符号化された場合には、当該マクロブロックの動きベクトル及び変換係数の大きさに基づいて、それぞれ当該マクロブロック毎の画像が静止状態か動状態かを判定し、（３）前記動画像符号化手段により符号化されたマクロブロックが前記第３のモードにより符号化されていた場合には、当該マクロブロックの画像は静止状態と判定することを特徴とする動画像移動物体検出装置。
- フレーム内符号化を行う第１のモード、フレーム間符号化を行う第２のモードおよび符号化不要として符号化する第３のモードのいずれかのモードによりマクロブロック毎に符号化された動画像データを復号する動画像復号化ステップと、その復号結果からフレーム内のマクロブロック毎の画像が静止状態か動状態かを判定するマクロブロック静動判定ステップと、当該マクロブロック毎の静動判定結果から移動物体を判定するステップと、判定された移動物体の画像を前記動画像復号化ステップにより復号された画像信号と合成して表示するステップとを有する動画像移動物体検出方法において、前記マクロブロック静動判定ステップは（１）前記動画像復号化ステップにより復号されたマクロブロックが前記第１のモードにより符号化されていた場合には、その復号された画像信号と１フレーム前の画像信号との差分の大きさに基づいて、（２）前記動画像復号化ステップにより復号されたマクロブロックが前記第２のモードにより符号化されていた場合には、当該マクロブロックの動きベクトル及び変換係数の大きさに基づいて、それぞれ当該マクロブロック毎の画像が静止状態か動状態かを判定し、（３）前記動画像復号化ステップにより復号さ れたマクロブロックが前記第３のモードにより符号化されていた場合には、当該マクロブロックの画像は静止状態と判定することを特徴とする動画像移動物体検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP37238698A JP3548028B2 (ja) | 1998-12-28 | 1998-12-28 | 動画像移動物体検出装置及び検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP37238698A JP3548028B2 (ja) | 1998-12-28 | 1998-12-28 | 動画像移動物体検出装置及び検出方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002103478A Division JP3873000B2 (ja) | 2002-04-05 | 2002-04-05 | 動画像移動物体検出装置及び検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000197064A JP2000197064A (ja) | 2000-07-14 |
| JP3548028B2 true JP3548028B2 (ja) | 2004-07-28 |
Family
ID=18500359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP37238698A Expired - Fee Related JP3548028B2 (ja) | 1998-12-28 | 1998-12-28 | 動画像移動物体検出装置及び検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3548028B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3732760B2 (ja) | 2001-06-29 | 2006-01-11 | 株式会社東芝 | 物体認識装置及び物体認識方法 |
-
1998
- 1998-12-28 JP JP37238698A patent/JP3548028B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000197064A (ja) | 2000-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4157234B2 (ja) | 動画像内の移動物体検出装置 | |
| KR20080068678A (ko) | 동화상 부호화 장치 및 동화상 복호 장치 | |
| KR101589334B1 (ko) | 압축 동화상 부호화 장치, 압축 동화상 복호화 장치, 압축 동화상 부호화 방법 및 압축 동화상 복호화 방법 | |
| US20070092007A1 (en) | Methods and systems for video data processing employing frame/field region predictions in motion estimation | |
| JP3548028B2 (ja) | 動画像移動物体検出装置及び検出方法 | |
| JP3732760B2 (ja) | 物体認識装置及び物体認識方法 | |
| JP3873000B2 (ja) | 動画像移動物体検出装置及び検出方法 | |
| JPH10229563A (ja) | 動画像符号化方法、及び動画像符号化装置 | |
| JP3253595B2 (ja) | 動画像特定色検出装置及び検出方法 | |
| JPH1051787A (ja) | 動きベクトル検出装置 | |
| JP3711022B2 (ja) | 動画像内の特定物体認識方法及び装置 | |
| JP3677165B2 (ja) | 動画像符号化装置および動画像符号化方法 | |
| JP2000059786A (ja) | 動き検出装置及び方法 | |
| JP3407872B2 (ja) | 付加情報検出方法及び装置 | |
| JP3641219B2 (ja) | 動画像内の特定物体検出方法及び装置 | |
| JP3595238B2 (ja) | 動画像解析方法及び装置 | |
| JP4003149B2 (ja) | 画像符号化装置及びその方法 | |
| JP3031638B2 (ja) | 蓄積用動画像符号化方式における補間フレームのベクトル探索方法 | |
| JP2000184380A (ja) | 動画像圧縮符号化装置及び動画像圧縮復号装置 | |
| JPH09271028A (ja) | 動きベクトル検出回路 | |
| JP3637259B2 (ja) | 動画像解析処理方法及び装置 | |
| KR19980066971A (ko) | 움직임 이동량 검출기능을 갖는 영상 부호화 장치 | |
| JPH1198510A (ja) | 画像復号化装置 | |
| JP2013009164A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
| JP2007129335A (ja) | 画面動き検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040322 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040415 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080423 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090423 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |