JP3765334B2 - 動画像判別装置及びその方法 - Google Patents
動画像判別装置及びその方法 Download PDFInfo
- Publication number
- JP3765334B2 JP3765334B2 JP24913696A JP24913696A JP3765334B2 JP 3765334 B2 JP3765334 B2 JP 3765334B2 JP 24913696 A JP24913696 A JP 24913696A JP 24913696 A JP24913696 A JP 24913696A JP 3765334 B2 JP3765334 B2 JP 3765334B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- frame
- blocks
- continuity
- previous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【目次】
以下の順序で本発明を説明する。
発明の属する技術分野
従来の技術
発明が解決しようとする課題
課題を解決するための手段
発明の実施の形態
（１）第１実施例（図１〜図５）
（２）第２実施例（図６）
発明の効果
【０００２】
【発明の属する技術分野】
本発明は動画像判別装置及びその方法に関し、例えばデイジタルテレビジヨン放送用の動画像判別装置及びその方法に適用し得る。
【０００３】
【従来の技術】
従来、アナログ信号によつて放送されている衛星テレビジヨン放送の場合、例えば27〔ＭHz〕の伝送帯域を利用して１チヤンネル分のテレビジヨン画像を放送している。
ここで例えば、同じ27〔ＭHz〕の伝送帯域を用いてデイジタル放送を行つた場合、約30〜50〔Mbps〕のデイジタル情報を伝送することができる。従つて例えば、１チヤンネル当たり約5 〔Mbps〕でテレビジヨン画像を伝送すると6 〜10チヤンネル分を同時に放送することができる。これによりデイジタル信号を情報圧縮することによつて情報量の多い画像信号を効率良く、しかも高画質で伝送することができる。
【０００４】
画像信号は一般に冗長性があり、画素の信号値は近傍の信号値と高い相関関係をもつている。そこでこの空間方向の冗長度を直交変換によつて削減し、さらに時間軸方向に関してもフレーム間予測符号化を行うことで情報圧縮することができる。
フレーム間予測符号化は、空間的に離れた画素間の信号値の差分又は時間軸方向にずれた信号値の差分を用いて行われる。フレーム間予測で採られたビデオ入力信号と予測メモリ内の予測信号の差分を用いて、画面内で最も差分が小さくなる位置、すなわち動きベクトルを求めて、そのときの差分を求めることによつて動き補償フレーム間予測がなされる。
【０００５】
動画像符号化装置は、動画像の符号化の際、画像圧縮率を上げるための基準となるフレームの画像から動きデータを予測し、差分値のみで別のフレームの画像を生成する手法がとられる。この場合、連続したフレームの間ではフレーム間予測符号化を用いることができるが、シーンチエンジしているフレーム間ではフレーム内符号化を用いなくてはならない。
そこで動画像符号化装置は、動画像を符号化する場合、シーンチエンジによつて急に場面が変わつた画像が現れたときに符号化処理を切り換えるためにフレーム画像のシーンチエンジを判別している。
【０００６】
シーンチエンジの判別は、例えば１フレーム全体の画像の画素値の総和及び分散値を求めてそれらの値のフレーム間での差分を算出し、画素値の総和及び分散値のフレーム間での差分が所定の閾値以上かどうかを判別することによつてなされている。
【０００７】
すなわちシーンチエンジの判別は、フレームＦ０及びフレームＦ０から時間軸方向にずれたフレームＦ１各々の画像データをそれぞれＦ０（ｈ，ｖ）及びＦ１（ｈ，ｖ）としたとき、フレーム間の画像データの差分を次式、
【数１】
において所定の閾値αと比較し、さらにフレーム間の画像データの分散を次式、
【数２】
において所定の閾値βと比較して（１）式又は（２）式のいずれか一方が成立する場合をシーンチエンジと判別している。
このようにシーンチエンジは、フレームＦ０及びフレームＦ１をそれぞれ１フレーム画面全体の画像データから評価することによつて判別している。
【０００８】
【発明が解決しようする課題】
ところで１フレーム画面全体の画像データによりシーンチエンジを判別した場合、シーンチエンジするフレーム画像が同じような輝度、色彩で変化しているときはシーンチエンジと判別されないことがあつた。
またこれとは反対に画面内の一部のみが大きく変化しているフレームの場合、フレーム画面全体の画像データによる判別ではフレーム全体がシーンチエンジしていると判別されるということがある。
このように１フレーム画面全体の画像データによるシーンチエンジ判別では、シーンチエンジの誤判別があるために、画像の圧縮効率が上げられないという問題があつた。
本発明は以上の点を考慮してなされたもので、フレーム画像の連続性を的確に判別することのできる動画像判別装置及びその方法を提案しようとするものである。
【０００９】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、第１フレームの画像データを所定画素数でなる複数の第１ブロツクに分割し、第１フレームから時間軸方向に所定フレームずれた第２フレームの画像データを所定画素数でなる複数の第２ブロツクに分割し、各第１ブロツク及び当該各第１ブロツクに対応する各第２ブロツクの画像データに基づいて各第１ブロツクに対応する各第２ブロツクの位置を抽出するブロツク抽出手段と、第１ブロツク及び前フレームに属する第２ブロツク間の画素データの差分値でなる前差分値の総和から第１ブロツク及び後フレームに属する第２ブロツク間の画素データの差分値でなる後差分値の総和を引いた値が所定の総和差閾値より大きく、かつ、前差分値の分散から後差分値の分散を引いた値が所定の分散差閾値より大きいとき、第１ブロツクと前フレームに属する第２ブロツクとはブロツク間の連続性が無い不連続ブロツクであると判断する前フレーム方向ブロツク連続性判断手段と、後差分値の総和から前差分値の総和を引いた値が総和差閾値より大きく、かつ、後差分値の分散から前差分値の分散を引いた値が分散差閾値より大きいとき、第１ブロツクと後フレームに属する第２ブロツクとはブロツク間の連続性が無い不連続ブロツクであると判断する後フレーム方向ブロツク連続性判断手段と、不連続ブロツクの数に基づいて第１フレームに対する第２フレームの連続性を判別するフレーム連続性判別手段とを動画像判別装置に設けた。
【００１０】
これにより、各第１ブロツクに対応する各第２ブロツク間の画像データの連続性の判別結果より得られる不連続ブロツク数に基づいて、フレームの連続性を的確に判別することができる。
【００１１】
さらに本発明においては、第１フレームの画像データを所定画素数でなる複数の第１ブロツクに分割し、第１フレームから時間軸方向に所定フレームずれた第２フレームの画像データを所定画素数でなる複数の第２ブロツクに分割し、各第１ブロツク及び当該各第１ブロツクに対応する各第２ブロツクの画像データに基づいて各第１ブロツクに対応する各第２ブロツクの位置を抽出するブロツク抽出ステツプと、第１ブロツク及び前フレームに属する第２ブロツク間の画素データの差分値でなる前差分値の総和から第１ブロツク及び後フレームに属する第２ブロツク間の画素データの差分値でなる後差分値の総和を引いた値が所定の総和差閾値より大きく、かつ、前差分値の分散から後差分値の分散を引いた値が所定の分散差閾値より大きいとき、第１ブロツクと前フレームに属する第２ブロツクとはブロツク間の連続性が無い不連続ブロツクであると判断する前フレーム方向ブロツク連続性判断ステツプと、後差分値の総和から前差分値の総和を引いた値が総和差閾値より大きく、かつ、後差分値の分散から前差分値の分散を引いた値が分散差閾値より大きいとき、第１ブロツクと後フレームに属する第２ブロツクとはブロツク間の連続性が無い不連続ブロツクであると判断する後フレーム方向ブロツク連続性判断ステツプと、不連続ブロツクの数に基づいて第１フレームに対する第２フレームの連続性を判別するフレーム連続性判別ステツプとを設けた。
【００１２】
これにより、各第１ブロツクに対応する各第２ブロツク間の画像データの連続性の判別結果より得られる不連続ブロツク数に基づいて、フレームの連続性を的確に判別することができる。
【００１３】
【発明の実施の形態】
以下図面について、本発明の一実施例を詳述する。
【００１４】
（１）第１実施例
図１において１は全体として動画像復号装置を示し、フレーム画像のシーンチエンジを判別するシーンチエンジ判別装置１Ａ及び画像データＤ１からノイズ成分を低減して画像再生するノイズリダクシヨン・フイルタ１Ｂによつて形成される。
動画像復号装置１は、シーンチエンジ判別装置１Ａに入力される符号化された画像データＤ１を後フレーム画像用の後フレーム用フレームメモリ２に格納する。このとき同時に後フレーム用フレームメモリ２に格納されていた画像データＤ１は、現フレーム画像用の現フレーム用フレームメモリ３に送出され、さらに現フレーム用フレームメモリ３に格納されていた画像データＤ１は前フレーム画像用の前フレーム用フレームメモリ４へと、順次、送出されて各々格納される。
後フレーム用フレームメモリ２、現フレーム用フレームメモリ３及び前フレーム用フレームメモリ４それぞれに格納された画像データＤ１は、動きベクトル検出回路５（５Ａ及び５Ｂ）に送出される。動きベクトル検出回路５は、フレーム間の動きベクトルをブロツク単位で検出してシーンチエンジブロツク検出回路６に送出する。
【００１５】
後フレーム用フレームメモリ２及び現フレーム用フレームメモリ３からは、後フレーム画像データ及び現フレーム画像データが順次、動きベクトル検出回路５Ａに送出され、現フレーム用フレームメモリ３及び前フレーム用フレームメモリ４からは現フレーム画像データ及び後フレーム画像データが順次、動きベクトル検出回路５Ｂに送出される。
動きベクトル検出回路５は、それぞれ現フレーム画像を、動き検出を実行するブロツク単位で分割し、ブロツクマツチング等のアルゴリズム回路によつて前フレーム及び後フレームの対応ブロツク間で全画素データに関して差分データから動きベクトルを検出する。
【００１６】
すなわち動きベクトル検出回路５Ａは、現フレーム及び後フレームを例えば16×16画素のブロツク単位に分け、各ブロツク毎に画像データの動きベクトルを検出する。そして、その動きベクトルの最小値より現フレームのブロツク（以下、現ブロツクという）に対応する後フレームのブロツク（以下、後ブロツクという）位置を決定する。
次にシーンチエンジブロツク検出回路６では、先ず、対応ブロツク抽出回路７において動きベクトルに基づいて現ブロツクの画像データＣblk に対応する後ブロツクの画像データＢblk を抽出してブロツク画像比較回路８に送出する。
【００１７】
同様にして動きベクトル検出回路５Ｂは、現フレーム及び前フレームを16×16画素のブロツク単位で分割し、各ブロツク毎に画像データの動きベクトルを検出して、その動きベクトルの最小値より、現ブロツクに対応する前フレームのブロツク（以下、前ブロツクという）位置を決定する。
対応ブロツク抽出回路９は、この動きベクトルに基づいて現ブロツクに対応する前ブロツクの画像データＦblk をブロツク画像比較回路１０に送出する。
【００１８】
ブロツク画像比較回路８は、前ブロツク、現ブロツク及び前ブロツクの画像データを用いてブロツク間の連続性に関する情報であるブロツク間の画像データの差分値の総和ＤＢ及びＤＦ並びに、ブロツク間の画像データのばらつきに関する情報として差分の分散値ＶＢ及びＶＦを算出する。
すなわちブロツク画像比較回路８は、まず動きベクトル検出回路５Ａによつて検出された現ブロツクに対応する後ブロツクの全画素データの差分値の総和ＤＢ及び全画素データの差分値の分散ＶＢをブロツク単位で１フレーム分、算出する。
【００１９】
実際、ブロツク画像比較回路８は、現フレーム及び後フレームの対応するブロツク間の各画素の差分値の総和ＤＢを次式、
【数３】
によつて算出し、さらに現ブロツクに対応する後ブロツクの各画素の差分値の分散ＶＢを次式、
【数４】
によつて算出する。
【００２０】
同様にしてブロツク画像比較回路１０は、現ブロツクに対応する前ブロツクの各画素の差分値の総和ＤＦを次式、
【数５】
によつて算出し、さらに現ブロツクに対応する前ブロツクの各画素の差分値の分散ＶＦを次式、
【数６】
によつて算出する。
このようにして算出された差分値の総和ＤＢ及びＤＦ並びに差分値の分散ＶＢ及びＶＦは、ブロツク連続性判断回路１２に送出される。
【００２１】
ブロツク連続性判断回路１２は、このようにして得られる差分値の総和ＤＢ及びＤＦ及び差分の分散値ＶＢ及びＶＦを係数発生回路１３によつて設定される閾値α及び閾値βを用いて後フレーム方向及び前フレーム方向それぞれについてブロツク間の連続性を判断する。
因みに閾値α及び閾値βは、係数発生回路１３によつて現フレーム画像の輝度及び色彩に基づいて導出した係数を現フレームのブロツク内の画像データの微分値に掛けることによつて各ブロツク毎に設定する。
【００２２】
先ず、後フレーム方向の連続性に関しては、差分値の総和ＤＢ及び差分値の分散ＶＢを閾値α及び閾値βに対して次式、
【数７】
及び、
【数８】
によつてそれぞれ比較することにより、差分値の総和ＤＢが閾値αより大きいか、又は差分値の分散ＶＢが閾値βより大きい場合は、ブロツク間の画像データの差が大きすぎるので後フレーム方向には連続性がないものと判断する。
【００２３】
同様にして前フレーム方向の連続性に関しては、差分値の総和ＤＦ及び差分値の分散ＶＦを閾値α及び閾値βに対して次式、
【数９】
及び、
【数１０】
によつてそれぞれ比較して、この結果、差分値の総和ＤＦが閾値αより大きいか、又は差分値の分散ＶＦが閾値βより大きい場合は、ブロツク間の画像データの差が大きすぎ、前フレーム方向にはブロツク間の連続性がないものと判断する。
【００２４】
ここで（７）式及び（９）式によつて差分値の総和ＤＢ及びＤＦが閾値α以下、かつ（８）式及び（10）式によつて差分値の分散ＶＢ及びＶＦが閾値β以下であつた場合、さらに現ブロツクに対する前ブロツク及び後ブロツクの差分値の総和ＤＢ及びＤＦの差から前後ブロツク間の差分値の総和を求め、所定の閾値γと比較する。さらに前ブロツク及び後ブロツクのそれぞれの差分値の分散ＶＢ及びＶＦの差を求めて所定の閾値δと比較する。
【００２５】
ここでは、前後フレームの画像が連続画像ならば前後フレームの各ブロツク間での画像の差は小さくなるので上述した差分値の総和ＤＢ及びＤＦの差、並びに画像のばらつきを表す差分値の分散ＶＢ及びＶＦの差は非常に近い値となることを用いて前ブロツク及び後ブロツク間の連続性を判断している。
【００２６】
すなわち、後フレーム方向への動きは後フレーム方向の差分値の総和ＤＢから前フレーム方向の差分値の総和ＤＦを引いた値を次式、
【数１１】
によつて閾値γと比較し、さらに後フレーム方向の差分値の分散ＶＢから前フレーム方向の差分の分散ＶＦを引いた値を次式、
【数１２】
によつて閾値δと比較して（11）式及び（12）式とが共に成立した場合、後フレーム方向への動きが大きいと判別し、これにより後フレーム方向への連続性がないと判断する。
【００２７】
同様にして後フレーム方向への動きは前フレーム方向の差分値の総和ＤＦから後フレーム方向の差分値の総和ＤＢを引いた値を次式、
【数１３】
によつて閾値γと比較し、さらに前フレーム方向の差分値の分散ＶＦから後フレーム方向の差分の分散ＶＢを引いた値を次式、
【数１４】
によつて閾値δと比較して（13）式及び（14）式とが共に成立した場合、前フレーム方向への動きが大きいと判別し、これにより前フレーム方向への連続性がないと判断する。
【００２８】
因みにこの場合、差分値の総和に関する閾値γを差分値の総和ＤＢ及びＤＦの平均値の半分の値とし、さらに差分値の分散に関する閾値δを差分値の分散ＶＢ及びＶＦの平均値の半分の値として設定する。
【００２９】
このように現ブロツク及び前ブロツク間並びに現ブロツク及び後ブロツク間のブロツク間の連続性の判断の後、さらに時間軸方向に伸長した前後フレーム間において前ブロツク及び後ブロツク間の連続性を前ブロツク及び後ブロツクの差分値の総和ＤＦ及びＤＢの差から判断する。さらに前後フレーム間の画像のばらつきを差分値の分散ＶＢ及びＶＦの差に基づいて判断することによつてブロード（平坦）に変化している不連続性を検出し得る。
これにより同じような輝度、色彩で変化しているブロツク間の不連続性を容易に検出することができる。
さらにこの場合、前フレーム及び後フレーム間の連続性をブロツク単位で検出して現ブロツクに前ブロツク又は後ブロツクを正確に対応付けて動き検出するようにしたことにより、フレーム全体で画像データを比較する場合に比して、より一層正確にフレーム間の動きを検出し得る。
【００３０】
このようにしてブロツク単位で検出された前フレーム方向及び後フレーム方向への連続性に関する判断結果ＨＫ１は、シーンチエンジ判別回路１４に送出される。
シーンチエンジ判別回路１４は、１フレームについて各ブロツクの連続性に関する情報からフレーム間のシーンチエンジを前フレーム方向及び後フレーム方向の各々について判別する。
【００３１】
すなわちシーンチエンジ判別回路１４は、まず判別するフレーム方向の不連続ブロツクの発生比率ｒを１フレーム総ブロツク数に対する１フレーム中の不連続ブロツク数の比率として表し、この不連続ブロツクの発生比率ｒに応じて動画像の状態を以下に示す４つのケースに分類して連続性を判別する。
ここで不連続ブロツクの発生比率ｒが次式、
【数１５】
の範囲内である場合をケース１とする。この場合、シーンチエンジ判別回路１４は、不連続ブロツクの発生比率ｒが、シーンチエンジの判別基準となる最小発生比率ｒmin 以下なので連続ブロツク率が十分に大きいと判別すると共に、フレーム画像はシーンチエンジしていないと無条件に判別する。
【００３２】
また不連続ブロツクの発生比率ｒが次式、
【数１６】
の範囲内である場合をケース２とする。この場合、シーンチエンジ判別回路１４は、フレーム間の不連続ブロツク率が50〔％〕以下で、かつ、最小発生比率ｒmin よりも大きいということでフレーム間の連続性又は不連続を判別できないので、さらに連続ブロツク及び不連続ブロツクそれぞれについて簡略的な探索を実行してブロツク配置の連鎖性を判断する。
また不連続ブロツクの発生比率ｒが次式、
【数１７】
の範囲内である場合をケース３とする。この場合、シーンチエンジ判別回路１４は、フレーム間の不連続なブロツク率が50〔％〕より大きく、かつ、最大発生比率ｒmax 以下ということでフレーム間の連続性を確定できないので、さらに連続ブロツク及び不連続ブロツクそれぞれについてブロツク配置の連鎖性を判断する。
【００３３】
さらに不連続ブロツクの発生比率ｒが次式、
【数１８】
の範囲内である場合をケース４とする。この場合、フレーム間の不連続ブロツク率がシーンチエンジの判別基準となる最大発生比率ｒmax よりも大きいので、シーンチエンジ判別回路１４は、不連続ブロツク率が十分に大きいと判別してフレーム間でシーンチエンジしていると無条件に判断する。
【００３４】
シーンチエンジ判別回路１４によるブロツク間の連鎖性の判別は、先ずケース２については、不連続ブロツクがｎ個以上繋がつているブロツクのみを真の不連続ブロツクエリアとして抽出し、不連続ブロツクの繋がりがｎ個未満のブロツクエリアは連続ブロツクと判別する。
これにより不連続ブロツク率が最小発生比率ｒmin より大きいが50〔％〕以下であるためにフレーム全体としてはシーンチエンジを容易に判別できないような場合においても、不連続ブロツクの連鎖性によつて不連続ブロツクエリアのシーンチエンジをブロツク単位で判別し得る。
【００３５】
同様にしてケース３については、連続ブロツクがｎ個以上繋がつている場合のみ真の連続ブロツクエリアとして抽出し、連続ブロツク数の繋がりがｎ個未満のブロツクエリアは不連続ブロツクと判別する。
これにより不連続ブロツク率が50〔％〕以上であるが最大発生比率ｒmax より小さいためにフレーム全体では連続画像であると判別される場合においても、連続ブロツクの連鎖性によつて不連続ブロツクエリアと連続ブロツクエリアとをブロツク単位で判別し得る。
【００３６】
かくしてフレーム全体ではシーンチエンジしているような画像についても連続ブロツクエリア又は不連続ブロツクエリアに基づいてブロツク単位で連続しているような連続画像エリアを容易に検出して、高い精度でシーンチエンジを判別することができる。
因みにブロツクの連鎖性の判別基準値ｎは、目標とする画像に応じて例えば、１フレーム中のブロツク総数に対する連鎖ブロツク数の割合が 0.2〔％〕程度になるように設定する。なお、この連鎖ブロツク数の割合は、目的とする符号化画像に応じて設定する。
【００３７】
このようにしてシーンチエンジ判別回路１４によつて判別されたフレーム間の画像の連続性の情報の判別結果ＨＫ２は、ノイズリダクシヨン・フイルタ１Ｂに送出される。
ノイズリダクシヨン・フイルタ１Ｂは、シーンチエンジ判別回路１４によつて判別されたブロツク単位の画像の連続性の情報ＨＫ２に基づいて係数発生回路２０において、再生画像を生成するとき現ブロツク、前ブロツク及び後ブロツクの各々の画像データを合成する割合としてフイルタ係数Ｋ１、Ｋ２及びＫ３を設定する。
すなわちノイズリダクシヨン・フイルタ１Ｂは、フイルタ係数Ｋ１、Ｋ２及びＫ３をそれぞれ乗算器２１Ａ、Ｂ及びＣにおいて現ブロツク、前ブロツク及び後ブロツクの画像データＣblk 、Ｂblk 及びＦblk に対して乗算して、加算器２２によつてその総和をとることによつて、復号した現ブロツクの画像データを再生するようになされている。
【００３８】
乗算器２１Ａ、Ｂ及びＣに設定されるフイルタ係数Ｋ１、Ｋ２及びＫ３としては、例えば１）前後フレーム方向共、連続ブロツクの場合、Ｋ１=0.5、Ｋ２=0.25 、Ｋ３=0.25 、すなわちフイルタ係数Ｋ１、Ｋ２及びＫ３の比率を２：１：１と設定する。また２）前フレーム方向のみ不連続ブロツクの場合、Ｋ１=0.5、Ｋ２=0.5、Ｋ３=0すなわちフイルタ係数Ｋ１、Ｋ２及びＫ３の比率を１：１：０と設定する。
さらに３）後フレーム方向のみ不連続ブロツクの場合、Ｋ１=0.5、Ｋ２=0、Ｋ３=0.5すなわちフイルタ係数Ｋ１、Ｋ２及びＫ３の比率を１：０：１と設定する。さらに４）前後フレーム方向共、不連続ブロツクの場合、Ｋ１=1.0、Ｋ２=0、Ｋ３=0すなわちフイルタ係数Ｋ１、Ｋ２及びＫ３の比率を１：０：０と設定する。
このように現ブロツクに対応する前ブロツク及び又は後ブロツクの連続性に応じてフイルタ係数を現ブロツクに掛けることによつて、ノイズ成分を効率的に除去して良好な再生画像を得ることができる。
【００３９】
以上の構成において、現フレームに対する前フレーム及び後フレーム間の連続性は、図２、図３及び図４に示すシーンチエンジ判別手順に従つてフレーム画像についてブロツク単位でブロツク連続性判断回路１２によつて判断した後、その判断結果ＨＫ１に基づいてシーンチエンジ判別回路１４によつてフレーム画像のブロツク単位でのシーンチエンジを判別する。
【００４０】
すなわちシーンチエンジ判別手順が開始されると、ステツプＳＰ１において、後フレーム用フレームメモリ２、現フレーム用フレームメモリ３及び前フレーム用フレームメモリ４より読み出した後フレーム画像データ、現フレーム画像データ及び前フレーム画像データを用いて動きベクトル検出回路５によつて動きベクトルを検出し、ブロツク画像比較回路８及び１０において、前フレーム及び後フレーム方向の差分値の総和ＤＢ及びＤＦ並びに前フレーム及び後フレーム方向の差分値の分散ＶＢ及びＶＦがブロツク単位で計算される。
【００４１】
次にステツプＳＰ２において、ブロツク連続性判断回路１２は、係数発生回路１３において設定した差分値に関する閾値α、分散値に関する閾値βを用いて差分値の総和ＤＢ及びＤＦが閾値α以下、かつ差分値の分散ＶＢ及びＶＦが閾値β以下であるか否かを判別する。このステツプＳＰ２で肯定結果が得られた場合はステツプＳＰ３に移り、また否定結果が得られた場合はステツプＳＰ４に移る。
【００４２】
ステツプＳＰ３でブロツク連続性判断回路１２は、差分値の総和ＤＢ及び差分値の総和ＤＦの差が後フレーム方向のブロツク不連続の閾値γより大きく、かつ差分値の分散ＶＢ及び差分値の分散ＶＦの差が後フレーム方向のブロツク不連続の閾値δより大きいか否かを判別する。このステツプＳＰ３で肯定結果が得られた場合、ブロツク連続性判断回路１２はステツプＳＰ５において、後フレーム方向にブロツクが不連続であると判断してステツプＳＰ１２に移る。
【００４３】
またステツプＳＰ３で否定結果が得られた場合はステツプＳＰ６に移つて差分値の総和ＤＦ及び差分値の総和ＤＢの差が前フレーム方向のブロツク不連続性を判断する閾値γより大きく、かつ差分値の分散ＶＦ及び差分値の分散ＶＢの差が前フレーム方向のブロツク不連続性を判断する閾値δより大きいか否かを判別する。このステツプＳＰ６で肯定結果が得られた場合、ブロツク連続性判断回路１２は、ステツプＳＰ７において前フレーム方向にブロツクが不連続であると判断してステツプＳＰ１２に移る。
またステツプＳＰ６で否定結果が得られた場合、ブロツク連続性判断回路１２はステツプＳＰ７において前フレーム及び後フレーム両フレーム間のブロツクが連続していると判断してステツプＳＰ１２に移る。
【００４４】
ここで上述したステツプＳＰ２において、差分値の総和ＤＢ及びＤＦが閾値αより大きいか、又は差分値の分散ＶＢ及びＶＦが閾値βより大きかつた場合はステツプＳＰ４に移つて、ブロツク連続性判断回路１２は、まず差分値の総和ＤＢが閾値αより大きいか、又は差分値の分散ＶＢが閾値βより大きいか否かを判別する。このステツプＳＰ４で肯定結果が得られた場合、ブロツク連続性判断回路１２はステツプＳＰ９において後フレーム方向のブロツクが不連続であると判断する。
【００４５】
またステツプＳＰ４で否定結果が得られた場合、ブロツク連続性判断回路１２はステツプＳＰ１０に移つて差分値の総和ＤＦが閾値αより大きいか、又は差分値の分散ＶＦが閾値βより大きいか否かを判別する。このステツプＳＰ１０で肯定結果が得られた場合、ブロツク連続性判断回路１２は、ステツプＳＰ１１において前フレーム方向のブロツクが不連続であると判断する。
またステツプＳＰ１０で否定結果が得られた場合、ブロツク連続性判断回路１２はそのままステツプＳＰ１２に移る。
【００４６】
ステツプＳＰ１２では、ブロツク連続性判断回路１２によつてステツプＳＰ８、ＳＰ７Ｐ、ＳＰ１０及びＳＰ１１において判断した前後フレーム内のブロツク連続性に関する情報をブロツク連続性判断回路１２内のメモリ（図示せず）に格納する。以下、前フレーム方向及び後フレーム方向の各ブロツク間の連続性からシーンチエンジの状態をシーンチエンジ判別回路１４によつて判別する。
まずステツプＳＰ１３において、シーンチエンジ判別回路１４によつて１フレーム中の総ブロツク数に対する１フレーム中の前フレーム方向の不連続ブロツク数の発生比率ｒf を算出する。以下、この前フレーム方向の不連続ブロツク数の発生比率ｒf を用いて、前フレーム方向のブロツク連続性を判別する。
すなわちシーンチエンジ判別回路１４は、まずステツプＳＰ１４において、前フレーム方向の不連続ブロツクの発生比率ｒf が最小発生比率ｒmin より大きく、かつ、最大発生比率ｒmax 以下であるか否かを判別する。
【００４７】
このステツプＳＰ１４で肯定結果が得られた場合、シーンチエンジ判別回路１４はステツプＳＰ１５において発生比率ｒf が50〔％〕より大きいか否かを判別する。
このステツプＳＰ１５において、発生比率ｒf が50〔％〕より大きいと判別された場合はステツプＳＰ１６に移る。シーンチエンジ判別回路１４は、ステツプＳＰ１６でｎ個以上繋がつている連続ブロツクを連続ブロツクエリアとして抽出すると、ステツプＳＰ１７において、前フレーム方向の連続ブロツクエリア及び不連続ブロツクエリアを分離する。
【００４８】
またステツプＳＰ１５において、発生比率ｒf が50〔％〕以下であると判別された場合、シーンチエンジ判別回路１４はステツプＳＰ１８において、ｎ個以上繋がつている不連続ブロツクを不連続ブロツクエリアとして抽出する。そしてシーンチエンジ判別回路１４は、ステツプＳＰ１７で前フレーム方向の連続ブロツクエリア及び不連続ブロツクエリアを分離する。
【００４９】
またステツプＳＰ１４において、不連続ブロツクの発生比率ｒf が最小発生比率ｒmin 以下か、又は最大発生比率ｒmax より大きかつた場合、シーンチエンジ判別回路１４は、ステツプＳＰ１９に進んで発生比率ｒf が最大比率ｒmax より大きいか否かを判別する。ここで発生比率ｒf が最大比率ｒmax より大きかつた場合、シーンチエンジ判別回路１４はステツプＳＰ２０において前フレーム方向にシーンチエンジしていると判別する。また不連続ブロツクの発生比率ｒf が最大比率ｒmax 以下であつた場合、シーンチエンジ判別回路１４はステツプＳＰ２１において前フレーム方向にシーンが連続していると判別する。
これにより前フレーム方向のシーンチエンジを前フレーム方向の連続ブロツク数又は不連続ブロツク数の判断結果ＨＫ１に基づいてブロツク単位で詳細に判断し得る。
【００５０】
ここでステツプＳＰ１２以降、シーンチエンジ判別手順は、一方においてステツプＳＰ２２からシーンチエンジ判別回路１４によつて後フレーム方向に関するブロツクの連続性からシーンチエンジを判別する。
すなわちステツプＳＰ２２において、先ずシーンチエンジ判別回路１４によつて１フレーム中の総ブロツク数に対する１フレーム中の後フレーム方向の不連続ブロツク数の発生比率ｒb を算出する。続くステツプＳＰ２３において、シーンチエンジ判別回路１４は、後フレーム方向の不連続ブロツクの発生比率ｒb が最小発生比率ｒmin より大きく、かつ最大発生比率ｒmax 以下であるか否かを判別する。
【００５１】
このステツプＳＰ２３で肯定結果が得られた場合、シーンチエンジ判別回路１４はステツプをステツプＳＰ２４に進めて不連続ブロツクの発生比率ｒb が50〔％〕より大きいか否かを判別する。
このステツプＳＰ２４において、肯定結果が得られた場合、シーンチエンジ判別回路１４はステツプＳＰ２５に移つてｎ個以上繋がつている連続ブロツクを連続ブロツクエリアとして抽出してステツプＳＰ２６に移る。
またステツプＳＰ２４において、不連続ブロツクの発生比率ｒb が50〔％〕以下であると判別された場合はステツプＳＰ２７に移つてｎ個以上繋がつている不連続ブロツクを不連続ブロツクエリアとして抽出してステツプＳＰ２６に移る。シーンチエンジ判別回路１４は、ステツプＳＰ２６で後フレーム方向の連続ブロツクエリア及び不連続ブロツクエリアを分離する。
【００５２】
またステツプＳＰ２３において、不連続ブロツクの発生比率ｒb が最小発生比率ｒmin 以下か、又は最大発生比率ｒmax より大きかつた場合、シーンチエンジ判別回路１４はステツプＳＰ２８に移つて不連続ブロツクの発生比率ｒb が最大比率ｒmax より大きいか否かを判別する。このステツプＳＰ２８で肯定結果が得られた場合、シーンチエンジ判別回路１４はステツプＳＰ２９において後フレーム方向にシーンチエンジしていると判別する。
【００５３】
またステツプＳＰ２８で否定結果が得られた場合、シーンチエンジ判別回路１４は、ステツプＳＰ３０において、後フレーム方向にシーンが連続していると判別する。以上でシーンチエンジ判別手順を終了する。
【００５４】
これにより後フレーム方向のシーンチエンジを後フレーム方向の連続ブロツク数又は不連続ブロツク数並びに連続ブロツクエリア又は不連続ブロツクエリアの判別結果に基づいてブロツク単位で詳細に判別し得る。
かくしてフレーム画像のシーンチエンジの状態を前フレーム方向及び後フレーム方向に関する連続ブロツク数又は不連続ブロツク数並びに連続ブロツクエリア又は不連続ブロツクエリアのブロツク数の判別結果ＨＫ２に基づいて詳細に判別することができる。
【００５５】
この結果、例えば図５（Ａ）に示すように動画像が任意のフレームＦＲ内でシーンＡ１からシーンＢ１にワイプして切り替わる場面では、上述したようにブロツク単位で画像の連続性を判別することによつて、図５（Ｂ）に示すように前フレーム方向の連続エリアＡＲ１、不連続エリアＡＲ２及び後フレーム方向の連続エリアＡＲ３としてブロツク単位で判別できる。
【００５６】
これによりフレーム画像が、ワイプによつて画面が左側から右側方向に徐々に書き換えられているような場合、変更前、変更後の画像部分はそれぞれ連続画像としてブロツク単位で検出し、変更中の部分は不連続画像としてブロツク単位で検出することによつてフレーム画像の連続性をブロツク単位でより詳細に検出し得る。
【００５７】
この結果、ノイズリダクシヨン・フイルタ１Ｂは、上述したようにシーンチエンジ判別手順に従つて判別されたブロツク単位のシーンチエンジ情報を用いて係数発生回路２０によつて、現フレーム、前フレーム及び後フレームに対してそれぞれフイルタ係数Ｋ１、Ｋ２及びＫ３を設定する。
すなわち前後フレーム方向に連続性がある連続ブロツクエリアに対しては、現フレームに重点を置くとともに、前後フレーム方向にも等分の割合を設定して、例えばフイルタ係数Ｋ１、Ｋ２及びＫ３を２：１：１の割合でかける。
【００５８】
また前後フレーム方向共に不連続である不連続ブロツクエリアに対しては、ノイズ成分があると判断してフイルタ係数Ｋ１、Ｋ２及びＫ３を１：０：０の割合として、不連続な前後フレーム方向についてはフイルタ係数を０にしてフイルタをかけないようにする。
さらに前フレーム方向又は後フレーム方向のいずれか一方向にのみ連続するブロツクエリアに対しては連続性のある方向にのみフイルタをかけるようにする。これにより再生画像を前フレーム及び又は後フレームの画像データをもとに生成するときに、ブロツク間の連続性の判別結果ＨＫ２に基づいて１フレーム中の各現ブロツクに対する後ブロツク及び又は前ブロツク各々に対するフイルタ係数を設定することによつて、ノイズ成分を効率的に低減して良好な画像を再生し得る。
【００５９】
以上の構成によれば、画像信号Ｄ１のフレーム画像を前フレーム画像、現フレーム画像及び後フレーム画像としてそれぞれ一旦、後フレーム用フレームメモリ２、現フレーム用フレームメモリ３及び前フレーム用フレームメモリ４に記憶させた後、各前フレーム画像、現フレーム画像及び後フレーム画像をブロツク単位に分割して各ブロツク間の画像データから得られるブロツク間の連続性の判断結果ＨＫ１に基づいて連続ブロツク数又は不連続ブロツク数を判別し、これによりフレーム間の連続性を判断するようにしたことによつて、フレーム画像の一部のエリアのみが変化している場合の不連続エリア及び連続エリアを容易に検出してシーンチエンジを判別し得ると共に、輝度及び色彩が同じ様なフレーム画像間のシーンチエンジもブロツク単位の高い精度で検出することができる。
またフレーム画像をブロツク単位に分割して現フレームに対応する前ブロツク及び又は後ブロツクを抽出するようにしたことにより、もとになる現ブロツクとの連続性を比較する対応画像を的確に検出し得る。
【００６０】
さらに上述の実施例によれば、ブロツク間の連続性をブロツク画像の画像データの差分値の総和ＤＢ及びＤＦ並びに、差分の分散値ＶＢ及びＶＦに基づいて大まかに判別した後、さらに差分値の総和ＤＢ及びＤＦの差並びに、差分の分散値ＶＢ及びＶＦの差に基づいてより詳細に判別するようにしたことにより、輝度及び色彩が同じ様なフレーム画像間のシーンチエンジもブロツク単位の高い精度で検出することができる。
【００６１】
さらに上述の実施例によれば、ブロツク間の連続性を判別する際に連続ブロツク及び不連続ブロツクそれぞれについて、連続エリア及び不連続エリアを抽出してブロツク間の連鎖性に基づいてシーンチエンジを判別するようにしたことにより、局所的なシーンチエンジやブロードなシーンチエンジを高い精度で判別し得る。
かくして再生するフレーム画像について、フレーム間の連続性を１フレーム中の連続ブロツク数又は不連続ブロツク数に基づいてブロツク単位の高い精度で検出し得る。さらに各ブロツク間の連続性に基づいて１フレーム中の各現ブロツクに対する後ブロツク及び又は前ブロツク各々に対するフイルタ係数を設定することによつて、再生画像のノイズ成分をブロツク単位で効率的に低減することができる。
【００６２】
（２）第２実施例
図１との対応部分に同一符号を付した図６において、３０は動画像符号化装置を示し、入力される画像データＤ０をＭＰＥＧ(Moving Pictures Expert Group)標準に従つて画像圧縮する。
動画像符号化装置３０は、入力される画像データＤ０をまず、画像並び換回路３１によつてＭＰＥＧ標準に従つて所定のＧＯＰ(Group Of Pictures) に並び換え、マクロブロツク化回路３２においてフレーム画像を走査線毎の画像データからマクロブロツク化してシーンチエンジ判別装置１及び動画像データ圧縮回路３３に送出する。
【００６３】
動画像データ圧縮回路３３に送出された画像データＤ０は、先ず、離散コサイン変換(DCT,Discrete Cosine Transform) 回路３４によつて直交変換して量子化回路３５に送出する。量子化回路３５は、ＤＣＴ回路３４によつて直交変換された画像データＤ０の画素値を所定の除数で割り算して余りを丸めることによつて高周波成分を落とすようにしている。
【００６４】
また量子化回路３５から出力される量子化データは、逆量子化回路４２及び逆ＤＣＴ回路４３によつて復号処理された後、加算器４４において動き補償回路４５から送出される動きベクトルを加算され、動き補償回路４５内のフレームメモリ（図示せず）に送出される。
一方、シーンチエンジ判別装置１においては、現フレーム画像についてブロツク単位で前フレーム方向又は後フレーム方向に関するブロツク単位のシーンチエンジを判別し、そのシーンチエンジの情報を動き補償回路４５に送出する。
【００６５】
ここで動き補償回路４５は、シーンチエンジ判別装置１から送出されるブロツク単位のシーンチエンジの情報に基づいて前フレーム方向に連続性のある現フレームの連続ブロツクエリアに対しては現ブロツクエリアに対応する前ブロツクエリアの画素データを用いた動き補償によるフレーム間予測符号化を実行する。
また動き補償回路４５は、後フレーム方向に連続性のある現フレームの連続ブロツクエリアに対しては現ブロツクエリアに対応する後ブロツクエリアの画素データを用いた動き補償によるフレーム間予測符号化を実行する。
さらに動き補償回路４５は、前後フレーム方向に連続性を有する現フレームの連続ブロツクエリアに対しては現ブロツクエリアに対応する前後ブロツクエリアの画素データを各々用いた動き補償によるフレーム間予測符号化を実行する。
さらに動き補償回路４５は、前後フレーム方向共に不連続な不連続ブロツクエリアに対しては現ブロツクエリアの画素データを用いた動き補償によるフレーム内符号化を実行する。
【００６６】
動き補償するための差分データＳＤは減算器４６に送出されると、入力される現フレームの画像データＤ０に対して減算処理が実行され、この結果、動き補償された画像データＤ０がＤＣＴ回路３４に送出される。このようにして動き補償された画像データＤ１は、可変長符号化回路４８に送出され平均情報量を減らされることにより符号化される。バツフアメモリ４９を介してデータ転送レートをそろえられた後、ビツトストリームの画像データとして出力される。
【００６７】
以上の構成において、シーンチエンジ判断装置１は動き検出回路３２によつて現フレームに対する前フレーム方向及び後フレーム方向の動きベクトルをブロツク単位で検出して、シーンチエンジブロツク検出回路３３によつて現フレームの画像データ１フレーム分について、各現ブロツクに対応する前ブロツク及び又は後ブロツクのシーンチエンジを検出する。
さらに動き補償回路４５はシーンチエンジ判別装置１から送出される現フレーム画像に関するブロツク単位のシーンチエンジの情報に基づいて現ブロツクに対応する前後ブロツクの画素データを用いた動き補償フレーム間予測符号化又はフレーム内符号化を選択的に実行する。
これにより入力されるフレーム画像の画像データＤ０に対してブロツク単位の詳細な符号化がなし得る。
【００６８】
以上の構成によれば、デイジタル信号でなる画像データＤ０を情報圧縮して出力する動画像符号化装置３０において、入力される画像データＤ０は、所定のＧＯＰに並び換えた後、マクロブロツク化したフレーム画像をシーンチエンジ判別装置１Ａ及び動画像データ圧縮回路３３に送出する。
シーンチエンジ判別装置１Ａによつて、入力される画像データＤ０から検出する現ブロツクに対する前後ブロツクの前フレーム方向及び後フレーム方向の連続性の情報によつて、動画像データ圧縮回路３３において、フレーム画像をブロツク単位での詳細な動き補償を施すことができる。
これによりフレーム画像に対してブロツク単位での詳細な画像の連続性の情報に基づいて、フレーム内補償又はフレーム間補償を選択的に用いた効率のよい符号化がなし得る。
【００６９】
なお上述の実施例においては、現フレームに対して前フレーム及び又は後フレームを比較させた場合について述べたが、本発明はこれに限らず、現フレームに対して例えば２フレーム以上ずらせたフレームを比較させるようにしても良い。この場合、選択するフレームを時間軸方向に所定数ずらせることによつて、ずらされたフレーム数に応じた画像の動きを検出することができる。
【００７０】
また上述の実施例においては、ブロツク間の連続性を検出するとき比較するブロツク間の差分値ＤＢ及びＤＦ並びに分散値ＶＢ及びＶＦに対する閾値α及びβ並びに、差分値ＤＢ及びＤＦの差及び分散値ＶＢ及びＶＦの差に対する閾値γ及びδを現ブロツクの微分値に基づいて設定した場合について述べたが、本発明はこれに限らず、現ブロツクの差分に基づいて設定するようにしても良く、これにより上述した実施例と同様の効果を得ることができる。
【００７１】
また上述の実施例においては、連続ブロツク又は不連続ブロツクの連鎖性の判別基準となる不連続ブロツク発生比率ｒの最大発生比率ｒmax を80〔％〕、また最小発生比率ｒmin を20〔％〕とした場合について述べたが、本発明はこれに限らず、目的とする再生画像に応じて上述した比率以外に設定しても良い。
【００７２】
また上述の実施例においては、動画像符号化装置３０による符号化手法としてＭＰＥＧによるアルゴリズムを用いた場合について述べたが、本発明はこれに限らず、ＭＰＥＧ以外でもフレーム間符号化を用いた符号化手法に対して用いることができ、これにより上述した実施例と同様の効果を得ることができる。
【００７３】
また上述の実施例においては、デイジタルテレビジヨン放送用の動画像判別装置に用いた場合について述べたが、本発明はこれに限らず、デイジタルＶＴＲ(Video Tape Recorder) 等、デイジタル信号の動画像を符号化する際に用いる種々の動画像判別装置に適用しても良い。
【００７４】
さらに上述の実施例においては、フレームをブロツク分割する際、 ブロツクの大きさを16×16画素単位とした場合について述べたが、本発明はこれに限らず、10×10画素単位等任意の画素単位に設定しても良い。
【００７５】
【発明の効果】
上述のように本発明によれば、各第１ブロツクに対応する各第２ブロツク間の画像データの連続性の判別結果から得られる不連続ブロツク数に基づいて、第１フレームに対する第２フレームの連続性をブロツク単位で詳細に判別して、フレームの連続性を的確に判別することのできる動画像判別装置及びその方法を実現し得る。
【図面の簡単な説明】
【図１】第１実施例による動画像復号装置の全体構成を示すブロツク図である。
【図２】シーンチエンジ判別手順を示すフローチヤートである。
【図３】シーンチエンジ判別手順を示すフローチヤートである。
【図４】シーンチエンジ判別手順を示すフローチヤートである。
【図５】シーンチエンジの説明に供する略線図である。
【図６】第２実施例による動画像符号化装置を示すブロツク図である。
【符号の説明】
１……動画像復号装置、２……後フレーム用フレームメモリ、３……現フレーム用フレームメモリ、４……前フレーム用フレームメモリ、５……動きベクトル検出回路、６……シーンチエンジブロツク検出回路、７、９……対応ブロツク抽出回路、８、１０……ブロツク画像比較回路、１２……ブロツク連続性判断回路、１３……係数発生回路、１４……シーンチエンジ判別回路、３１……画像並び換回路、３２……マクロブロツク化回路、３３……動画像データ圧縮回路、３４……ＤＣＴ回路、３５……量子化回路、４８……可変長符号化回路、４２……逆量子化回路、４３……逆ＤＣＴ回路、４４……加算器、４５……動き補償回路、４６……減算器、４９……バツフアメモリ。
【目次】
以下の順序で本発明を説明する。
発明の属する技術分野
従来の技術
発明が解決しようとする課題
課題を解決するための手段
発明の実施の形態
（１）第１実施例（図１〜図５）
（２）第２実施例（図６）
発明の効果
【０００２】
【発明の属する技術分野】
本発明は動画像判別装置及びその方法に関し、例えばデイジタルテレビジヨン放送用の動画像判別装置及びその方法に適用し得る。
【０００３】
【従来の技術】
従来、アナログ信号によつて放送されている衛星テレビジヨン放送の場合、例えば27〔ＭHz〕の伝送帯域を利用して１チヤンネル分のテレビジヨン画像を放送している。
ここで例えば、同じ27〔ＭHz〕の伝送帯域を用いてデイジタル放送を行つた場合、約30〜50〔Mbps〕のデイジタル情報を伝送することができる。従つて例えば、１チヤンネル当たり約5 〔Mbps〕でテレビジヨン画像を伝送すると6 〜10チヤンネル分を同時に放送することができる。これによりデイジタル信号を情報圧縮することによつて情報量の多い画像信号を効率良く、しかも高画質で伝送することができる。
【０００４】
画像信号は一般に冗長性があり、画素の信号値は近傍の信号値と高い相関関係をもつている。そこでこの空間方向の冗長度を直交変換によつて削減し、さらに時間軸方向に関してもフレーム間予測符号化を行うことで情報圧縮することができる。
フレーム間予測符号化は、空間的に離れた画素間の信号値の差分又は時間軸方向にずれた信号値の差分を用いて行われる。フレーム間予測で採られたビデオ入力信号と予測メモリ内の予測信号の差分を用いて、画面内で最も差分が小さくなる位置、すなわち動きベクトルを求めて、そのときの差分を求めることによつて動き補償フレーム間予測がなされる。
【０００５】
動画像符号化装置は、動画像の符号化の際、画像圧縮率を上げるための基準となるフレームの画像から動きデータを予測し、差分値のみで別のフレームの画像を生成する手法がとられる。この場合、連続したフレームの間ではフレーム間予測符号化を用いることができるが、シーンチエンジしているフレーム間ではフレーム内符号化を用いなくてはならない。
そこで動画像符号化装置は、動画像を符号化する場合、シーンチエンジによつて急に場面が変わつた画像が現れたときに符号化処理を切り換えるためにフレーム画像のシーンチエンジを判別している。
【０００６】
シーンチエンジの判別は、例えば１フレーム全体の画像の画素値の総和及び分散値を求めてそれらの値のフレーム間での差分を算出し、画素値の総和及び分散値のフレーム間での差分が所定の閾値以上かどうかを判別することによつてなされている。
【０００７】
すなわちシーンチエンジの判別は、フレームＦ０及びフレームＦ０から時間軸方向にずれたフレームＦ１各々の画像データをそれぞれＦ０（ｈ，ｖ）及びＦ１（ｈ，ｖ）としたとき、フレーム間の画像データの差分を次式、
【数１】
【数２】
このようにシーンチエンジは、フレームＦ０及びフレームＦ１をそれぞれ１フレーム画面全体の画像データから評価することによつて判別している。
【０００８】
【発明が解決しようする課題】
ところで１フレーム画面全体の画像データによりシーンチエンジを判別した場合、シーンチエンジするフレーム画像が同じような輝度、色彩で変化しているときはシーンチエンジと判別されないことがあつた。
またこれとは反対に画面内の一部のみが大きく変化しているフレームの場合、フレーム画面全体の画像データによる判別ではフレーム全体がシーンチエンジしていると判別されるということがある。
このように１フレーム画面全体の画像データによるシーンチエンジ判別では、シーンチエンジの誤判別があるために、画像の圧縮効率が上げられないという問題があつた。
本発明は以上の点を考慮してなされたもので、フレーム画像の連続性を的確に判別することのできる動画像判別装置及びその方法を提案しようとするものである。
【０００９】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、第１フレームの画像データを所定画素数でなる複数の第１ブロツクに分割し、第１フレームから時間軸方向に所定フレームずれた第２フレームの画像データを所定画素数でなる複数の第２ブロツクに分割し、各第１ブロツク及び当該各第１ブロツクに対応する各第２ブロツクの画像データに基づいて各第１ブロツクに対応する各第２ブロツクの位置を抽出するブロツク抽出手段と、第１ブロツク及び前フレームに属する第２ブロツク間の画素データの差分値でなる前差分値の総和から第１ブロツク及び後フレームに属する第２ブロツク間の画素データの差分値でなる後差分値の総和を引いた値が所定の総和差閾値より大きく、かつ、前差分値の分散から後差分値の分散を引いた値が所定の分散差閾値より大きいとき、第１ブロツクと前フレームに属する第２ブロツクとはブロツク間の連続性が無い不連続ブロツクであると判断する前フレーム方向ブロツク連続性判断手段と、後差分値の総和から前差分値の総和を引いた値が総和差閾値より大きく、かつ、後差分値の分散から前差分値の分散を引いた値が分散差閾値より大きいとき、第１ブロツクと後フレームに属する第２ブロツクとはブロツク間の連続性が無い不連続ブロツクであると判断する後フレーム方向ブロツク連続性判断手段と、不連続ブロツクの数に基づいて第１フレームに対する第２フレームの連続性を判別するフレーム連続性判別手段とを動画像判別装置に設けた。
【００１０】
これにより、各第１ブロツクに対応する各第２ブロツク間の画像データの連続性の判別結果より得られる不連続ブロツク数に基づいて、フレームの連続性を的確に判別することができる。
【００１１】
さらに本発明においては、第１フレームの画像データを所定画素数でなる複数の第１ブロツクに分割し、第１フレームから時間軸方向に所定フレームずれた第２フレームの画像データを所定画素数でなる複数の第２ブロツクに分割し、各第１ブロツク及び当該各第１ブロツクに対応する各第２ブロツクの画像データに基づいて各第１ブロツクに対応する各第２ブロツクの位置を抽出するブロツク抽出ステツプと、第１ブロツク及び前フレームに属する第２ブロツク間の画素データの差分値でなる前差分値の総和から第１ブロツク及び後フレームに属する第２ブロツク間の画素データの差分値でなる後差分値の総和を引いた値が所定の総和差閾値より大きく、かつ、前差分値の分散から後差分値の分散を引いた値が所定の分散差閾値より大きいとき、第１ブロツクと前フレームに属する第２ブロツクとはブロツク間の連続性が無い不連続ブロツクであると判断する前フレーム方向ブロツク連続性判断ステツプと、後差分値の総和から前差分値の総和を引いた値が総和差閾値より大きく、かつ、後差分値の分散から前差分値の分散を引いた値が分散差閾値より大きいとき、第１ブロツクと後フレームに属する第２ブロツクとはブロツク間の連続性が無い不連続ブロツクであると判断する後フレーム方向ブロツク連続性判断ステツプと、不連続ブロツクの数に基づいて第１フレームに対する第２フレームの連続性を判別するフレーム連続性判別ステツプとを設けた。
【００１２】
これにより、各第１ブロツクに対応する各第２ブロツク間の画像データの連続性の判別結果より得られる不連続ブロツク数に基づいて、フレームの連続性を的確に判別することができる。
【００１３】
【発明の実施の形態】
以下図面について、本発明の一実施例を詳述する。
【００１４】
（１）第１実施例
図１において１は全体として動画像復号装置を示し、フレーム画像のシーンチエンジを判別するシーンチエンジ判別装置１Ａ及び画像データＤ１からノイズ成分を低減して画像再生するノイズリダクシヨン・フイルタ１Ｂによつて形成される。
動画像復号装置１は、シーンチエンジ判別装置１Ａに入力される符号化された画像データＤ１を後フレーム画像用の後フレーム用フレームメモリ２に格納する。このとき同時に後フレーム用フレームメモリ２に格納されていた画像データＤ１は、現フレーム画像用の現フレーム用フレームメモリ３に送出され、さらに現フレーム用フレームメモリ３に格納されていた画像データＤ１は前フレーム画像用の前フレーム用フレームメモリ４へと、順次、送出されて各々格納される。
後フレーム用フレームメモリ２、現フレーム用フレームメモリ３及び前フレーム用フレームメモリ４それぞれに格納された画像データＤ１は、動きベクトル検出回路５（５Ａ及び５Ｂ）に送出される。動きベクトル検出回路５は、フレーム間の動きベクトルをブロツク単位で検出してシーンチエンジブロツク検出回路６に送出する。
【００１５】
後フレーム用フレームメモリ２及び現フレーム用フレームメモリ３からは、後フレーム画像データ及び現フレーム画像データが順次、動きベクトル検出回路５Ａに送出され、現フレーム用フレームメモリ３及び前フレーム用フレームメモリ４からは現フレーム画像データ及び後フレーム画像データが順次、動きベクトル検出回路５Ｂに送出される。
動きベクトル検出回路５は、それぞれ現フレーム画像を、動き検出を実行するブロツク単位で分割し、ブロツクマツチング等のアルゴリズム回路によつて前フレーム及び後フレームの対応ブロツク間で全画素データに関して差分データから動きベクトルを検出する。
【００１６】
すなわち動きベクトル検出回路５Ａは、現フレーム及び後フレームを例えば16×16画素のブロツク単位に分け、各ブロツク毎に画像データの動きベクトルを検出する。そして、その動きベクトルの最小値より現フレームのブロツク（以下、現ブロツクという）に対応する後フレームのブロツク（以下、後ブロツクという）位置を決定する。
次にシーンチエンジブロツク検出回路６では、先ず、対応ブロツク抽出回路７において動きベクトルに基づいて現ブロツクの画像データＣblk に対応する後ブロツクの画像データＢblk を抽出してブロツク画像比較回路８に送出する。
【００１７】
同様にして動きベクトル検出回路５Ｂは、現フレーム及び前フレームを16×16画素のブロツク単位で分割し、各ブロツク毎に画像データの動きベクトルを検出して、その動きベクトルの最小値より、現ブロツクに対応する前フレームのブロツク（以下、前ブロツクという）位置を決定する。
対応ブロツク抽出回路９は、この動きベクトルに基づいて現ブロツクに対応する前ブロツクの画像データＦblk をブロツク画像比較回路１０に送出する。
【００１８】
ブロツク画像比較回路８は、前ブロツク、現ブロツク及び前ブロツクの画像データを用いてブロツク間の連続性に関する情報であるブロツク間の画像データの差分値の総和ＤＢ及びＤＦ並びに、ブロツク間の画像データのばらつきに関する情報として差分の分散値ＶＢ及びＶＦを算出する。
すなわちブロツク画像比較回路８は、まず動きベクトル検出回路５Ａによつて検出された現ブロツクに対応する後ブロツクの全画素データの差分値の総和ＤＢ及び全画素データの差分値の分散ＶＢをブロツク単位で１フレーム分、算出する。
【００１９】
実際、ブロツク画像比較回路８は、現フレーム及び後フレームの対応するブロツク間の各画素の差分値の総和ＤＢを次式、
【数３】
【数４】
【００２０】
同様にしてブロツク画像比較回路１０は、現ブロツクに対応する前ブロツクの各画素の差分値の総和ＤＦを次式、
【数５】
【数６】
このようにして算出された差分値の総和ＤＢ及びＤＦ並びに差分値の分散ＶＢ及びＶＦは、ブロツク連続性判断回路１２に送出される。
【００２１】
ブロツク連続性判断回路１２は、このようにして得られる差分値の総和ＤＢ及びＤＦ及び差分の分散値ＶＢ及びＶＦを係数発生回路１３によつて設定される閾値α及び閾値βを用いて後フレーム方向及び前フレーム方向それぞれについてブロツク間の連続性を判断する。
因みに閾値α及び閾値βは、係数発生回路１３によつて現フレーム画像の輝度及び色彩に基づいて導出した係数を現フレームのブロツク内の画像データの微分値に掛けることによつて各ブロツク毎に設定する。
【００２２】
先ず、後フレーム方向の連続性に関しては、差分値の総和ＤＢ及び差分値の分散ＶＢを閾値α及び閾値βに対して次式、
【数７】
【数８】
【００２３】
同様にして前フレーム方向の連続性に関しては、差分値の総和ＤＦ及び差分値の分散ＶＦを閾値α及び閾値βに対して次式、
【数９】
【数１０】
【００２４】
ここで（７）式及び（９）式によつて差分値の総和ＤＢ及びＤＦが閾値α以下、かつ（８）式及び（10）式によつて差分値の分散ＶＢ及びＶＦが閾値β以下であつた場合、さらに現ブロツクに対する前ブロツク及び後ブロツクの差分値の総和ＤＢ及びＤＦの差から前後ブロツク間の差分値の総和を求め、所定の閾値γと比較する。さらに前ブロツク及び後ブロツクのそれぞれの差分値の分散ＶＢ及びＶＦの差を求めて所定の閾値δと比較する。
【００２５】
ここでは、前後フレームの画像が連続画像ならば前後フレームの各ブロツク間での画像の差は小さくなるので上述した差分値の総和ＤＢ及びＤＦの差、並びに画像のばらつきを表す差分値の分散ＶＢ及びＶＦの差は非常に近い値となることを用いて前ブロツク及び後ブロツク間の連続性を判断している。
【００２６】
すなわち、後フレーム方向への動きは後フレーム方向の差分値の総和ＤＢから前フレーム方向の差分値の総和ＤＦを引いた値を次式、
【数１１】
【数１２】
【００２７】
同様にして後フレーム方向への動きは前フレーム方向の差分値の総和ＤＦから後フレーム方向の差分値の総和ＤＢを引いた値を次式、
【数１３】
【数１４】
【００２８】
因みにこの場合、差分値の総和に関する閾値γを差分値の総和ＤＢ及びＤＦの平均値の半分の値とし、さらに差分値の分散に関する閾値δを差分値の分散ＶＢ及びＶＦの平均値の半分の値として設定する。
【００２９】
このように現ブロツク及び前ブロツク間並びに現ブロツク及び後ブロツク間のブロツク間の連続性の判断の後、さらに時間軸方向に伸長した前後フレーム間において前ブロツク及び後ブロツク間の連続性を前ブロツク及び後ブロツクの差分値の総和ＤＦ及びＤＢの差から判断する。さらに前後フレーム間の画像のばらつきを差分値の分散ＶＢ及びＶＦの差に基づいて判断することによつてブロード（平坦）に変化している不連続性を検出し得る。
これにより同じような輝度、色彩で変化しているブロツク間の不連続性を容易に検出することができる。
さらにこの場合、前フレーム及び後フレーム間の連続性をブロツク単位で検出して現ブロツクに前ブロツク又は後ブロツクを正確に対応付けて動き検出するようにしたことにより、フレーム全体で画像データを比較する場合に比して、より一層正確にフレーム間の動きを検出し得る。
【００３０】
このようにしてブロツク単位で検出された前フレーム方向及び後フレーム方向への連続性に関する判断結果ＨＫ１は、シーンチエンジ判別回路１４に送出される。
シーンチエンジ判別回路１４は、１フレームについて各ブロツクの連続性に関する情報からフレーム間のシーンチエンジを前フレーム方向及び後フレーム方向の各々について判別する。
【００３１】
すなわちシーンチエンジ判別回路１４は、まず判別するフレーム方向の不連続ブロツクの発生比率ｒを１フレーム総ブロツク数に対する１フレーム中の不連続ブロツク数の比率として表し、この不連続ブロツクの発生比率ｒに応じて動画像の状態を以下に示す４つのケースに分類して連続性を判別する。
ここで不連続ブロツクの発生比率ｒが次式、
【数１５】
【００３２】
また不連続ブロツクの発生比率ｒが次式、
【数１６】
また不連続ブロツクの発生比率ｒが次式、
【数１７】
【００３３】
さらに不連続ブロツクの発生比率ｒが次式、
【数１８】
【００３４】
シーンチエンジ判別回路１４によるブロツク間の連鎖性の判別は、先ずケース２については、不連続ブロツクがｎ個以上繋がつているブロツクのみを真の不連続ブロツクエリアとして抽出し、不連続ブロツクの繋がりがｎ個未満のブロツクエリアは連続ブロツクと判別する。
これにより不連続ブロツク率が最小発生比率ｒmin より大きいが50〔％〕以下であるためにフレーム全体としてはシーンチエンジを容易に判別できないような場合においても、不連続ブロツクの連鎖性によつて不連続ブロツクエリアのシーンチエンジをブロツク単位で判別し得る。
【００３５】
同様にしてケース３については、連続ブロツクがｎ個以上繋がつている場合のみ真の連続ブロツクエリアとして抽出し、連続ブロツク数の繋がりがｎ個未満のブロツクエリアは不連続ブロツクと判別する。
これにより不連続ブロツク率が50〔％〕以上であるが最大発生比率ｒmax より小さいためにフレーム全体では連続画像であると判別される場合においても、連続ブロツクの連鎖性によつて不連続ブロツクエリアと連続ブロツクエリアとをブロツク単位で判別し得る。
【００３６】
かくしてフレーム全体ではシーンチエンジしているような画像についても連続ブロツクエリア又は不連続ブロツクエリアに基づいてブロツク単位で連続しているような連続画像エリアを容易に検出して、高い精度でシーンチエンジを判別することができる。
因みにブロツクの連鎖性の判別基準値ｎは、目標とする画像に応じて例えば、１フレーム中のブロツク総数に対する連鎖ブロツク数の割合が 0.2〔％〕程度になるように設定する。なお、この連鎖ブロツク数の割合は、目的とする符号化画像に応じて設定する。
【００３７】
このようにしてシーンチエンジ判別回路１４によつて判別されたフレーム間の画像の連続性の情報の判別結果ＨＫ２は、ノイズリダクシヨン・フイルタ１Ｂに送出される。
ノイズリダクシヨン・フイルタ１Ｂは、シーンチエンジ判別回路１４によつて判別されたブロツク単位の画像の連続性の情報ＨＫ２に基づいて係数発生回路２０において、再生画像を生成するとき現ブロツク、前ブロツク及び後ブロツクの各々の画像データを合成する割合としてフイルタ係数Ｋ１、Ｋ２及びＫ３を設定する。
すなわちノイズリダクシヨン・フイルタ１Ｂは、フイルタ係数Ｋ１、Ｋ２及びＫ３をそれぞれ乗算器２１Ａ、Ｂ及びＣにおいて現ブロツク、前ブロツク及び後ブロツクの画像データＣblk 、Ｂblk 及びＦblk に対して乗算して、加算器２２によつてその総和をとることによつて、復号した現ブロツクの画像データを再生するようになされている。
【００３８】
乗算器２１Ａ、Ｂ及びＣに設定されるフイルタ係数Ｋ１、Ｋ２及びＫ３としては、例えば１）前後フレーム方向共、連続ブロツクの場合、Ｋ１=0.5、Ｋ２=0.25 、Ｋ３=0.25 、すなわちフイルタ係数Ｋ１、Ｋ２及びＫ３の比率を２：１：１と設定する。また２）前フレーム方向のみ不連続ブロツクの場合、Ｋ１=0.5、Ｋ２=0.5、Ｋ３=0すなわちフイルタ係数Ｋ１、Ｋ２及びＫ３の比率を１：１：０と設定する。
さらに３）後フレーム方向のみ不連続ブロツクの場合、Ｋ１=0.5、Ｋ２=0、Ｋ３=0.5すなわちフイルタ係数Ｋ１、Ｋ２及びＫ３の比率を１：０：１と設定する。さらに４）前後フレーム方向共、不連続ブロツクの場合、Ｋ１=1.0、Ｋ２=0、Ｋ３=0すなわちフイルタ係数Ｋ１、Ｋ２及びＫ３の比率を１：０：０と設定する。
このように現ブロツクに対応する前ブロツク及び又は後ブロツクの連続性に応じてフイルタ係数を現ブロツクに掛けることによつて、ノイズ成分を効率的に除去して良好な再生画像を得ることができる。
【００３９】
以上の構成において、現フレームに対する前フレーム及び後フレーム間の連続性は、図２、図３及び図４に示すシーンチエンジ判別手順に従つてフレーム画像についてブロツク単位でブロツク連続性判断回路１２によつて判断した後、その判断結果ＨＫ１に基づいてシーンチエンジ判別回路１４によつてフレーム画像のブロツク単位でのシーンチエンジを判別する。
【００４０】
すなわちシーンチエンジ判別手順が開始されると、ステツプＳＰ１において、後フレーム用フレームメモリ２、現フレーム用フレームメモリ３及び前フレーム用フレームメモリ４より読み出した後フレーム画像データ、現フレーム画像データ及び前フレーム画像データを用いて動きベクトル検出回路５によつて動きベクトルを検出し、ブロツク画像比較回路８及び１０において、前フレーム及び後フレーム方向の差分値の総和ＤＢ及びＤＦ並びに前フレーム及び後フレーム方向の差分値の分散ＶＢ及びＶＦがブロツク単位で計算される。
【００４１】
次にステツプＳＰ２において、ブロツク連続性判断回路１２は、係数発生回路１３において設定した差分値に関する閾値α、分散値に関する閾値βを用いて差分値の総和ＤＢ及びＤＦが閾値α以下、かつ差分値の分散ＶＢ及びＶＦが閾値β以下であるか否かを判別する。このステツプＳＰ２で肯定結果が得られた場合はステツプＳＰ３に移り、また否定結果が得られた場合はステツプＳＰ４に移る。
【００４２】
ステツプＳＰ３でブロツク連続性判断回路１２は、差分値の総和ＤＢ及び差分値の総和ＤＦの差が後フレーム方向のブロツク不連続の閾値γより大きく、かつ差分値の分散ＶＢ及び差分値の分散ＶＦの差が後フレーム方向のブロツク不連続の閾値δより大きいか否かを判別する。このステツプＳＰ３で肯定結果が得られた場合、ブロツク連続性判断回路１２はステツプＳＰ５において、後フレーム方向にブロツクが不連続であると判断してステツプＳＰ１２に移る。
【００４３】
またステツプＳＰ３で否定結果が得られた場合はステツプＳＰ６に移つて差分値の総和ＤＦ及び差分値の総和ＤＢの差が前フレーム方向のブロツク不連続性を判断する閾値γより大きく、かつ差分値の分散ＶＦ及び差分値の分散ＶＢの差が前フレーム方向のブロツク不連続性を判断する閾値δより大きいか否かを判別する。このステツプＳＰ６で肯定結果が得られた場合、ブロツク連続性判断回路１２は、ステツプＳＰ７において前フレーム方向にブロツクが不連続であると判断してステツプＳＰ１２に移る。
またステツプＳＰ６で否定結果が得られた場合、ブロツク連続性判断回路１２はステツプＳＰ７において前フレーム及び後フレーム両フレーム間のブロツクが連続していると判断してステツプＳＰ１２に移る。
【００４４】
ここで上述したステツプＳＰ２において、差分値の総和ＤＢ及びＤＦが閾値αより大きいか、又は差分値の分散ＶＢ及びＶＦが閾値βより大きかつた場合はステツプＳＰ４に移つて、ブロツク連続性判断回路１２は、まず差分値の総和ＤＢが閾値αより大きいか、又は差分値の分散ＶＢが閾値βより大きいか否かを判別する。このステツプＳＰ４で肯定結果が得られた場合、ブロツク連続性判断回路１２はステツプＳＰ９において後フレーム方向のブロツクが不連続であると判断する。
【００４５】
またステツプＳＰ４で否定結果が得られた場合、ブロツク連続性判断回路１２はステツプＳＰ１０に移つて差分値の総和ＤＦが閾値αより大きいか、又は差分値の分散ＶＦが閾値βより大きいか否かを判別する。このステツプＳＰ１０で肯定結果が得られた場合、ブロツク連続性判断回路１２は、ステツプＳＰ１１において前フレーム方向のブロツクが不連続であると判断する。
またステツプＳＰ１０で否定結果が得られた場合、ブロツク連続性判断回路１２はそのままステツプＳＰ１２に移る。
【００４６】
ステツプＳＰ１２では、ブロツク連続性判断回路１２によつてステツプＳＰ８、ＳＰ７Ｐ、ＳＰ１０及びＳＰ１１において判断した前後フレーム内のブロツク連続性に関する情報をブロツク連続性判断回路１２内のメモリ（図示せず）に格納する。以下、前フレーム方向及び後フレーム方向の各ブロツク間の連続性からシーンチエンジの状態をシーンチエンジ判別回路１４によつて判別する。
まずステツプＳＰ１３において、シーンチエンジ判別回路１４によつて１フレーム中の総ブロツク数に対する１フレーム中の前フレーム方向の不連続ブロツク数の発生比率ｒf を算出する。以下、この前フレーム方向の不連続ブロツク数の発生比率ｒf を用いて、前フレーム方向のブロツク連続性を判別する。
すなわちシーンチエンジ判別回路１４は、まずステツプＳＰ１４において、前フレーム方向の不連続ブロツクの発生比率ｒf が最小発生比率ｒmin より大きく、かつ、最大発生比率ｒmax 以下であるか否かを判別する。
【００４７】
このステツプＳＰ１４で肯定結果が得られた場合、シーンチエンジ判別回路１４はステツプＳＰ１５において発生比率ｒf が50〔％〕より大きいか否かを判別する。
このステツプＳＰ１５において、発生比率ｒf が50〔％〕より大きいと判別された場合はステツプＳＰ１６に移る。シーンチエンジ判別回路１４は、ステツプＳＰ１６でｎ個以上繋がつている連続ブロツクを連続ブロツクエリアとして抽出すると、ステツプＳＰ１７において、前フレーム方向の連続ブロツクエリア及び不連続ブロツクエリアを分離する。
【００４８】
またステツプＳＰ１５において、発生比率ｒf が50〔％〕以下であると判別された場合、シーンチエンジ判別回路１４はステツプＳＰ１８において、ｎ個以上繋がつている不連続ブロツクを不連続ブロツクエリアとして抽出する。そしてシーンチエンジ判別回路１４は、ステツプＳＰ１７で前フレーム方向の連続ブロツクエリア及び不連続ブロツクエリアを分離する。
【００４９】
またステツプＳＰ１４において、不連続ブロツクの発生比率ｒf が最小発生比率ｒmin 以下か、又は最大発生比率ｒmax より大きかつた場合、シーンチエンジ判別回路１４は、ステツプＳＰ１９に進んで発生比率ｒf が最大比率ｒmax より大きいか否かを判別する。ここで発生比率ｒf が最大比率ｒmax より大きかつた場合、シーンチエンジ判別回路１４はステツプＳＰ２０において前フレーム方向にシーンチエンジしていると判別する。また不連続ブロツクの発生比率ｒf が最大比率ｒmax 以下であつた場合、シーンチエンジ判別回路１４はステツプＳＰ２１において前フレーム方向にシーンが連続していると判別する。
これにより前フレーム方向のシーンチエンジを前フレーム方向の連続ブロツク数又は不連続ブロツク数の判断結果ＨＫ１に基づいてブロツク単位で詳細に判断し得る。
【００５０】
ここでステツプＳＰ１２以降、シーンチエンジ判別手順は、一方においてステツプＳＰ２２からシーンチエンジ判別回路１４によつて後フレーム方向に関するブロツクの連続性からシーンチエンジを判別する。
すなわちステツプＳＰ２２において、先ずシーンチエンジ判別回路１４によつて１フレーム中の総ブロツク数に対する１フレーム中の後フレーム方向の不連続ブロツク数の発生比率ｒb を算出する。続くステツプＳＰ２３において、シーンチエンジ判別回路１４は、後フレーム方向の不連続ブロツクの発生比率ｒb が最小発生比率ｒmin より大きく、かつ最大発生比率ｒmax 以下であるか否かを判別する。
【００５１】
このステツプＳＰ２３で肯定結果が得られた場合、シーンチエンジ判別回路１４はステツプをステツプＳＰ２４に進めて不連続ブロツクの発生比率ｒb が50〔％〕より大きいか否かを判別する。
このステツプＳＰ２４において、肯定結果が得られた場合、シーンチエンジ判別回路１４はステツプＳＰ２５に移つてｎ個以上繋がつている連続ブロツクを連続ブロツクエリアとして抽出してステツプＳＰ２６に移る。
またステツプＳＰ２４において、不連続ブロツクの発生比率ｒb が50〔％〕以下であると判別された場合はステツプＳＰ２７に移つてｎ個以上繋がつている不連続ブロツクを不連続ブロツクエリアとして抽出してステツプＳＰ２６に移る。シーンチエンジ判別回路１４は、ステツプＳＰ２６で後フレーム方向の連続ブロツクエリア及び不連続ブロツクエリアを分離する。
【００５２】
またステツプＳＰ２３において、不連続ブロツクの発生比率ｒb が最小発生比率ｒmin 以下か、又は最大発生比率ｒmax より大きかつた場合、シーンチエンジ判別回路１４はステツプＳＰ２８に移つて不連続ブロツクの発生比率ｒb が最大比率ｒmax より大きいか否かを判別する。このステツプＳＰ２８で肯定結果が得られた場合、シーンチエンジ判別回路１４はステツプＳＰ２９において後フレーム方向にシーンチエンジしていると判別する。
【００５３】
またステツプＳＰ２８で否定結果が得られた場合、シーンチエンジ判別回路１４は、ステツプＳＰ３０において、後フレーム方向にシーンが連続していると判別する。以上でシーンチエンジ判別手順を終了する。
【００５４】
これにより後フレーム方向のシーンチエンジを後フレーム方向の連続ブロツク数又は不連続ブロツク数並びに連続ブロツクエリア又は不連続ブロツクエリアの判別結果に基づいてブロツク単位で詳細に判別し得る。
かくしてフレーム画像のシーンチエンジの状態を前フレーム方向及び後フレーム方向に関する連続ブロツク数又は不連続ブロツク数並びに連続ブロツクエリア又は不連続ブロツクエリアのブロツク数の判別結果ＨＫ２に基づいて詳細に判別することができる。
【００５５】
この結果、例えば図５（Ａ）に示すように動画像が任意のフレームＦＲ内でシーンＡ１からシーンＢ１にワイプして切り替わる場面では、上述したようにブロツク単位で画像の連続性を判別することによつて、図５（Ｂ）に示すように前フレーム方向の連続エリアＡＲ１、不連続エリアＡＲ２及び後フレーム方向の連続エリアＡＲ３としてブロツク単位で判別できる。
【００５６】
これによりフレーム画像が、ワイプによつて画面が左側から右側方向に徐々に書き換えられているような場合、変更前、変更後の画像部分はそれぞれ連続画像としてブロツク単位で検出し、変更中の部分は不連続画像としてブロツク単位で検出することによつてフレーム画像の連続性をブロツク単位でより詳細に検出し得る。
【００５７】
この結果、ノイズリダクシヨン・フイルタ１Ｂは、上述したようにシーンチエンジ判別手順に従つて判別されたブロツク単位のシーンチエンジ情報を用いて係数発生回路２０によつて、現フレーム、前フレーム及び後フレームに対してそれぞれフイルタ係数Ｋ１、Ｋ２及びＫ３を設定する。
すなわち前後フレーム方向に連続性がある連続ブロツクエリアに対しては、現フレームに重点を置くとともに、前後フレーム方向にも等分の割合を設定して、例えばフイルタ係数Ｋ１、Ｋ２及びＫ３を２：１：１の割合でかける。
【００５８】
また前後フレーム方向共に不連続である不連続ブロツクエリアに対しては、ノイズ成分があると判断してフイルタ係数Ｋ１、Ｋ２及びＫ３を１：０：０の割合として、不連続な前後フレーム方向についてはフイルタ係数を０にしてフイルタをかけないようにする。
さらに前フレーム方向又は後フレーム方向のいずれか一方向にのみ連続するブロツクエリアに対しては連続性のある方向にのみフイルタをかけるようにする。これにより再生画像を前フレーム及び又は後フレームの画像データをもとに生成するときに、ブロツク間の連続性の判別結果ＨＫ２に基づいて１フレーム中の各現ブロツクに対する後ブロツク及び又は前ブロツク各々に対するフイルタ係数を設定することによつて、ノイズ成分を効率的に低減して良好な画像を再生し得る。
【００５９】
以上の構成によれば、画像信号Ｄ１のフレーム画像を前フレーム画像、現フレーム画像及び後フレーム画像としてそれぞれ一旦、後フレーム用フレームメモリ２、現フレーム用フレームメモリ３及び前フレーム用フレームメモリ４に記憶させた後、各前フレーム画像、現フレーム画像及び後フレーム画像をブロツク単位に分割して各ブロツク間の画像データから得られるブロツク間の連続性の判断結果ＨＫ１に基づいて連続ブロツク数又は不連続ブロツク数を判別し、これによりフレーム間の連続性を判断するようにしたことによつて、フレーム画像の一部のエリアのみが変化している場合の不連続エリア及び連続エリアを容易に検出してシーンチエンジを判別し得ると共に、輝度及び色彩が同じ様なフレーム画像間のシーンチエンジもブロツク単位の高い精度で検出することができる。
またフレーム画像をブロツク単位に分割して現フレームに対応する前ブロツク及び又は後ブロツクを抽出するようにしたことにより、もとになる現ブロツクとの連続性を比較する対応画像を的確に検出し得る。
【００６０】
さらに上述の実施例によれば、ブロツク間の連続性をブロツク画像の画像データの差分値の総和ＤＢ及びＤＦ並びに、差分の分散値ＶＢ及びＶＦに基づいて大まかに判別した後、さらに差分値の総和ＤＢ及びＤＦの差並びに、差分の分散値ＶＢ及びＶＦの差に基づいてより詳細に判別するようにしたことにより、輝度及び色彩が同じ様なフレーム画像間のシーンチエンジもブロツク単位の高い精度で検出することができる。
【００６１】
さらに上述の実施例によれば、ブロツク間の連続性を判別する際に連続ブロツク及び不連続ブロツクそれぞれについて、連続エリア及び不連続エリアを抽出してブロツク間の連鎖性に基づいてシーンチエンジを判別するようにしたことにより、局所的なシーンチエンジやブロードなシーンチエンジを高い精度で判別し得る。
かくして再生するフレーム画像について、フレーム間の連続性を１フレーム中の連続ブロツク数又は不連続ブロツク数に基づいてブロツク単位の高い精度で検出し得る。さらに各ブロツク間の連続性に基づいて１フレーム中の各現ブロツクに対する後ブロツク及び又は前ブロツク各々に対するフイルタ係数を設定することによつて、再生画像のノイズ成分をブロツク単位で効率的に低減することができる。
【００６２】
（２）第２実施例
図１との対応部分に同一符号を付した図６において、３０は動画像符号化装置を示し、入力される画像データＤ０をＭＰＥＧ(Moving Pictures Expert Group)標準に従つて画像圧縮する。
動画像符号化装置３０は、入力される画像データＤ０をまず、画像並び換回路３１によつてＭＰＥＧ標準に従つて所定のＧＯＰ(Group Of Pictures) に並び換え、マクロブロツク化回路３２においてフレーム画像を走査線毎の画像データからマクロブロツク化してシーンチエンジ判別装置１及び動画像データ圧縮回路３３に送出する。
【００６３】
動画像データ圧縮回路３３に送出された画像データＤ０は、先ず、離散コサイン変換(DCT,Discrete Cosine Transform) 回路３４によつて直交変換して量子化回路３５に送出する。量子化回路３５は、ＤＣＴ回路３４によつて直交変換された画像データＤ０の画素値を所定の除数で割り算して余りを丸めることによつて高周波成分を落とすようにしている。
【００６４】
また量子化回路３５から出力される量子化データは、逆量子化回路４２及び逆ＤＣＴ回路４３によつて復号処理された後、加算器４４において動き補償回路４５から送出される動きベクトルを加算され、動き補償回路４５内のフレームメモリ（図示せず）に送出される。
一方、シーンチエンジ判別装置１においては、現フレーム画像についてブロツク単位で前フレーム方向又は後フレーム方向に関するブロツク単位のシーンチエンジを判別し、そのシーンチエンジの情報を動き補償回路４５に送出する。
【００６５】
ここで動き補償回路４５は、シーンチエンジ判別装置１から送出されるブロツク単位のシーンチエンジの情報に基づいて前フレーム方向に連続性のある現フレームの連続ブロツクエリアに対しては現ブロツクエリアに対応する前ブロツクエリアの画素データを用いた動き補償によるフレーム間予測符号化を実行する。
また動き補償回路４５は、後フレーム方向に連続性のある現フレームの連続ブロツクエリアに対しては現ブロツクエリアに対応する後ブロツクエリアの画素データを用いた動き補償によるフレーム間予測符号化を実行する。
さらに動き補償回路４５は、前後フレーム方向に連続性を有する現フレームの連続ブロツクエリアに対しては現ブロツクエリアに対応する前後ブロツクエリアの画素データを各々用いた動き補償によるフレーム間予測符号化を実行する。
さらに動き補償回路４５は、前後フレーム方向共に不連続な不連続ブロツクエリアに対しては現ブロツクエリアの画素データを用いた動き補償によるフレーム内符号化を実行する。
【００６６】
動き補償するための差分データＳＤは減算器４６に送出されると、入力される現フレームの画像データＤ０に対して減算処理が実行され、この結果、動き補償された画像データＤ０がＤＣＴ回路３４に送出される。このようにして動き補償された画像データＤ１は、可変長符号化回路４８に送出され平均情報量を減らされることにより符号化される。バツフアメモリ４９を介してデータ転送レートをそろえられた後、ビツトストリームの画像データとして出力される。
【００６７】
以上の構成において、シーンチエンジ判断装置１は動き検出回路３２によつて現フレームに対する前フレーム方向及び後フレーム方向の動きベクトルをブロツク単位で検出して、シーンチエンジブロツク検出回路３３によつて現フレームの画像データ１フレーム分について、各現ブロツクに対応する前ブロツク及び又は後ブロツクのシーンチエンジを検出する。
さらに動き補償回路４５はシーンチエンジ判別装置１から送出される現フレーム画像に関するブロツク単位のシーンチエンジの情報に基づいて現ブロツクに対応する前後ブロツクの画素データを用いた動き補償フレーム間予測符号化又はフレーム内符号化を選択的に実行する。
これにより入力されるフレーム画像の画像データＤ０に対してブロツク単位の詳細な符号化がなし得る。
【００６８】
以上の構成によれば、デイジタル信号でなる画像データＤ０を情報圧縮して出力する動画像符号化装置３０において、入力される画像データＤ０は、所定のＧＯＰに並び換えた後、マクロブロツク化したフレーム画像をシーンチエンジ判別装置１Ａ及び動画像データ圧縮回路３３に送出する。
シーンチエンジ判別装置１Ａによつて、入力される画像データＤ０から検出する現ブロツクに対する前後ブロツクの前フレーム方向及び後フレーム方向の連続性の情報によつて、動画像データ圧縮回路３３において、フレーム画像をブロツク単位での詳細な動き補償を施すことができる。
これによりフレーム画像に対してブロツク単位での詳細な画像の連続性の情報に基づいて、フレーム内補償又はフレーム間補償を選択的に用いた効率のよい符号化がなし得る。
【００６９】
なお上述の実施例においては、現フレームに対して前フレーム及び又は後フレームを比較させた場合について述べたが、本発明はこれに限らず、現フレームに対して例えば２フレーム以上ずらせたフレームを比較させるようにしても良い。この場合、選択するフレームを時間軸方向に所定数ずらせることによつて、ずらされたフレーム数に応じた画像の動きを検出することができる。
【００７０】
また上述の実施例においては、ブロツク間の連続性を検出するとき比較するブロツク間の差分値ＤＢ及びＤＦ並びに分散値ＶＢ及びＶＦに対する閾値α及びβ並びに、差分値ＤＢ及びＤＦの差及び分散値ＶＢ及びＶＦの差に対する閾値γ及びδを現ブロツクの微分値に基づいて設定した場合について述べたが、本発明はこれに限らず、現ブロツクの差分に基づいて設定するようにしても良く、これにより上述した実施例と同様の効果を得ることができる。
【００７１】
また上述の実施例においては、連続ブロツク又は不連続ブロツクの連鎖性の判別基準となる不連続ブロツク発生比率ｒの最大発生比率ｒmax を80〔％〕、また最小発生比率ｒmin を20〔％〕とした場合について述べたが、本発明はこれに限らず、目的とする再生画像に応じて上述した比率以外に設定しても良い。
【００７２】
また上述の実施例においては、動画像符号化装置３０による符号化手法としてＭＰＥＧによるアルゴリズムを用いた場合について述べたが、本発明はこれに限らず、ＭＰＥＧ以外でもフレーム間符号化を用いた符号化手法に対して用いることができ、これにより上述した実施例と同様の効果を得ることができる。
【００７３】
また上述の実施例においては、デイジタルテレビジヨン放送用の動画像判別装置に用いた場合について述べたが、本発明はこれに限らず、デイジタルＶＴＲ(Video Tape Recorder) 等、デイジタル信号の動画像を符号化する際に用いる種々の動画像判別装置に適用しても良い。
【００７４】
さらに上述の実施例においては、フレームをブロツク分割する際、 ブロツクの大きさを16×16画素単位とした場合について述べたが、本発明はこれに限らず、10×10画素単位等任意の画素単位に設定しても良い。
【００７５】
【発明の効果】
上述のように本発明によれば、各第１ブロツクに対応する各第２ブロツク間の画像データの連続性の判別結果から得られる不連続ブロツク数に基づいて、第１フレームに対する第２フレームの連続性をブロツク単位で詳細に判別して、フレームの連続性を的確に判別することのできる動画像判別装置及びその方法を実現し得る。
【図面の簡単な説明】
【図１】第１実施例による動画像復号装置の全体構成を示すブロツク図である。
【図２】シーンチエンジ判別手順を示すフローチヤートである。
【図３】シーンチエンジ判別手順を示すフローチヤートである。
【図４】シーンチエンジ判別手順を示すフローチヤートである。
【図５】シーンチエンジの説明に供する略線図である。
【図６】第２実施例による動画像符号化装置を示すブロツク図である。
【符号の説明】
１……動画像復号装置、２……後フレーム用フレームメモリ、３……現フレーム用フレームメモリ、４……前フレーム用フレームメモリ、５……動きベクトル検出回路、６……シーンチエンジブロツク検出回路、７、９……対応ブロツク抽出回路、８、１０……ブロツク画像比較回路、１２……ブロツク連続性判断回路、１３……係数発生回路、１４……シーンチエンジ判別回路、３１……画像並び換回路、３２……マクロブロツク化回路、３３……動画像データ圧縮回路、３４……ＤＣＴ回路、３５……量子化回路、４８……可変長符号化回路、４２……逆量子化回路、４３……逆ＤＣＴ回路、４４……加算器、４５……動き補償回路、４６……減算器、４９……バツフアメモリ。
Claims (3)
- 第１フレームの画像データを所定画素数でなる複数の第１ブロツクに分割し、上記第１フレームから時間軸方向に所定フレームずれた第２フレームの画像データを所定画素数でなる複数の第２ブロツクに分割し、上記各第１ブロツク及び当該各第１ブロツクに対応する上記各第２ブロツクの画像データに基づいて、上記各第１ブロツクに対応する上記各第２ブロツクの位置を抽出するブロツク抽出手段と、
上記第１ブロツク及び前フレームに属する上記第２ブロツク間の画素データの差分値でなる前差分値の総和から上記第１ブロツク及び後フレームに属する上記第２ブロツク間の画素データの差分値でなる後差分値の総和を引いた値が所定の総和差閾値より大きく、かつ、上記前差分値の分散から上記後差分値の分散を引いた値が所定の分散差閾値より大きいとき、上記第１ブロツクと前フレームに属する第２ブロツクとはブロツク間の連続性が無い不連続ブロツクであると判断する前フレーム方向ブロツク連続性判断手段と、
上記後差分値の総和から上記前差分値の総和を引いた値が上記総和差閾値より大きく、かつ、上記後差分値の分散から上記前差分値の分散を引いた値が上記分散差閾値より大きいとき、上記第１ブロツクと後フレームに属する第２ブロツクとはブロツク間の連続性が無い不連続ブロツクであると判断する後フレーム方向ブロツク連続性判断手段と、
上記不連続ブロツクの数に基づいて、上記第１フレームに対する上記第２フレームの連続性を判別するフレーム連続性判別手段と
を具えることを特徴とする動画像判別装置。 - 上記ブロツク抽出手段は、
上記第１ブロツクに対応する上記各第２ブロツクの画像データの動きベクトルに基づいて上記各第１ブロツクに対応する上記各第２ブロツクの位置を抽出する
ことを特徴とする請求項１に記載の動画像判別装置。 - 第１フレームの画像データを所定画素数でなる複数の第１ブロツクに分割し、上記第１フレームから時間軸方向に所定フレームずれた第２フレームの画像データを所定画素数でなる複数の第２ブロツクに分割し、上記各第１ブロツク及び当該各第１ブロツクに対応する上記各第２ブロツクの画像データに基づいて、上記各第１ブロツクに対応する上記各第２ブロツクの位置を抽出するブロツク抽出ステツプと、
上記第１ブロツク及び前フレームに属する上記第２ブロツク間の画素データの差分値でなる前差分値の総和から上記第１ブロツク及び後フレームに属する上記第２ブロツク間の画素データの差分値でなる後差分値の総和を引いた値が所定の総和差閾値より大きく、かつ、上記前差分値の分散から上記後差分値の分散を引いた値が所定の分散差閾値より大きいとき、上記第１ブロツクと前フレームに属する第２ブロツクとはブロツク間の連続性が無い不連続ブロツクであると判断する前フレーム方向ブロツク連続性判断ステツプと、
上記後差分値の総和から上記前差分値の総和を引いた値が上記総和差閾値より大きく、かつ、上記後差分値の分散から上記前差分値の分散を引いた値が上記分散差閾値より大きいとき、上記第１ブロツクと後フレームに属する第２ブロツクとはブロツク間の連続性が無い不連続ブロツクであると判断する後フレーム方向ブロツク連続性判断ステツプと、
上記不連続ブロツクの数に基づいて、上記第１フレームに対する上記第２フレームの連続性を判別するフレーム連続性判別ステツプと
を具えることを特徴とする動画像判別方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24913696A JP3765334B2 (ja) | 1996-08-31 | 1996-08-31 | 動画像判別装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24913696A JP3765334B2 (ja) | 1996-08-31 | 1996-08-31 | 動画像判別装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1075454A JPH1075454A (ja) | 1998-03-17 |
| JP3765334B2 true JP3765334B2 (ja) | 2006-04-12 |
Family
ID=17188470
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24913696A Expired - Fee Related JP3765334B2 (ja) | 1996-08-31 | 1996-08-31 | 動画像判別装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3765334B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009291280A (ja) * | 2008-06-03 | 2009-12-17 | Hitachi Medical Corp | 医療画像システム |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5649296B2 (ja) * | 2009-10-26 | 2015-01-07 | キヤノン株式会社 | 画像符号化装置 |
| JP6066561B2 (ja) * | 2012-01-26 | 2017-01-25 | キヤノン株式会社 | 映像処理装置、映像処理方法およびプログラム |
-
1996
- 1996-08-31 JP JP24913696A patent/JP3765334B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009291280A (ja) * | 2008-06-03 | 2009-12-17 | Hitachi Medical Corp | 医療画像システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1075454A (ja) | 1998-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TW411698B (en) | Methods for encoding and decoding the image sequences | |
| CN103250182B (zh) | 用于色调映射hdr数据视频流的方法和系统 | |
| US5812197A (en) | System using data correlation for predictive encoding of video image data subject to luminance gradients and motion | |
| US6862372B2 (en) | System for and method of sharpness enhancement using coding information and local spatial features | |
| JPH08237669A (ja) | 画像信号処理装置、画像信号処理方法および画像信号復号化装置 | |
| JP2000217121A (ja) | ディジタル画像表示のビデオデ―タを圧縮した形で処理してシ―ン変化を検出する方法 | |
| US20060093232A1 (en) | Unified metric for digital video processing (umdvp) | |
| EP1506525B1 (en) | System for and method of sharpness enhancement for coded digital video | |
| WO2007018626A2 (en) | Coding device, coding method, decoding device, decoding method, and programs of same | |
| CN1608378A (zh) | 在视频清晰度增强中改善时间一致性 | |
| JP2003284075A (ja) | 動画像符号化方法と装置及び復号化方法と装置 | |
| JP3765334B2 (ja) | 動画像判別装置及びその方法 | |
| JPH07193818A (ja) | 画像処理方法および画像処理装置 | |
| US7006570B2 (en) | Video signal coding method and video signal encoder | |
| JPH0244883A (ja) | 動画像伝送方式 | |
| JPH0951538A (ja) | 画像信号の符号化方法 | |
| JP3334384B2 (ja) | 画像予測符号化方法 | |
| JP2001268581A (ja) | 画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，画像予測符号化装置，及びデータ記憶媒体 | |
| JPH1066092A (ja) | 映像データ圧縮装置およびその方法 | |
| JPH08149479A (ja) | 超低ビットレートビデオ符号化方法 | |
| KR100207392B1 (ko) | 텍스쳐 영역 판단장치 및 이를 이용한 복원 영상의 화질 평가 시스템 | |
| JP3387820B2 (ja) | 画像予測復号化装置及び画像予測復号化方法 | |
| JP3214849B2 (ja) | 画像予測復号化方法および装置 | |
| WO1999059342A1 (en) | Method and system for mpeg-2 encoding with frame partitioning | |
| JPH0738899A (ja) | 画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050408 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050415 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050614 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060105 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060118 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100203 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |