JP4829615B2 - 画像分析のための装置及び方法 - Google Patents

Description

本発明は画像を分析する方法及び装置に関する。

画像を符号化する装置は、低い時間的又は空間的エントロピーで画像を符号化すればするほど効率的である。

したがって、これらの装置は、より良い符号化ができるように画像を処理する事前画像処理装置と接続されることが多い。

事前ビデオ処理の目的は、何よりもまず、関連する符号化システムの性能を高めることであり、これは、スループットは変えずに符号化／復号化された画像の品質を改善するか、又は、画像品質は変えずに符号化スループットを低下させるかの２つの仕方で顕れる。

しかし、ある処理動作は過度に目立って画像の解像度を低下させる傾向がある。したがって、これらの欠点が最も良く回避されるように、これらの処理の有効な制御を確立することが有益である。

空間フィルタを制御する慣習的な方法は一般的な性質のものであることが多い。処理すべき画像のシーケンスは大域的に特徴づけられ、フィルタの強さは結果に応じて調整される。

本発明の課題は、ピクセルのレベルでの解像度の局所的制御、又は空間軸で動作するエントロピー低減システムを提供することである。

上記課題は、画像の高周波成分を取得する手段、前記高周波成分に基づいて高周波画像を取得する手段、前記高周波画像の各ピクセルについて分散を計算する手段、及び、前記分散に応じて画像の各ピクセルに係数を対応させる手段を有し、前記係数が人間の目にとっての各ピクセルの視覚的な知覚し易さを表すものであることを特徴とするビデオ画像を分析する装置により解決される。

本発明によれば、高周波成分を取得する手段は、前記ビデオ信号をウェーブレット変換する手段を含んでいる。

有利には、高周波画像を取得する手段は、ウェーブレット変換により得られた高周波画像を重み付けする手段を含んでおり、この重み付けは対角線状の輪郭を示す高周波画像により大きな重みを付ける。

実際、目は対角線状の輪郭に対しては水平又は垂直の輪郭に対してよりも閉じられにくい。したがって、後で処理動作を行うことができるように、対角線状の輪郭を示す成分を優先すると有利である。

有利には、各ピクセルについて分散を計算する手段は各ピクセルについて該ピクセルを中心とした近傍を定義し、該近傍における各ピクセルの値の平均偏差を計算する。

有利な実施形態によれば、装置は分散のスケールを等しい長さの区間に分割する手段を有しており、各ピクセルに係数ｋを対応させる手段は区間ごとに前記係数に値を割り当てる。

有利には、係数ｋを対応させる手段は、画像の中心から現在ピクセルまでの距離に応じて前記係数を変える。

実際に、目は画像の中心領域に比較的長く留まるので、これらの領域が優先されなければならない。

有利な実施形態によれば、装置は画像内で動きの小さな領域を検出する手段を有している。

有利には、各ピクセルについて係数ｋを計算する手段は、係数ｋに対応する前記ピクセルが静止領域に属している場合には、係数ｋの前記値を最小値にまで低下させる。

画像の静止領域は人間の目にとって特に知覚し易い領域である。したがって、これらの領域では、知覚し易い領域における画像の品質を変えてしまうような処理動作を行うのを望ましくは避けなければならない。

本発明はまた、入来ビデオ信号に対してエントロピー低減を行う手段と、前記入来ビデオ信号とエントロピー低減後のビデオ信号とのミキシング操作を行う手段とを有する事前ビデオ処理装置であって、請求項１から８のいずれか１項による装置を含み、前記係数ｋが前記ミキシング手段において入来ビデオ信号とエントロピー低減後のビデオ信号との間で重み付けをすることを特徴とする事前ビデオ処理装置にも関する。

本発明はまた、請求項１から８のいずれか１項によるビデオ画像分析装置を含むビデオ符号化装置であって、前記係数ｋが前記符号化装置により使用される圧縮率を調整することを特徴とするビデオ符号化装置にも関する。

本発明はまた、請求項１から８のいずれか１項によるビデオ画像分析装置を含むディジタル透かし入れ装置であって、前記係数ｋが透かしを入れる画像領域の決定を可能にすることを特徴とするディジタル透かし入れ装置にも関する。

本発明はまた、
― 画像の高周波成分を取得するステップ、
― 前記高周波成分に基づいて高周波画像を取得するステップ、
― 前記高周波画像の各ピクセルについて分散を計算するステップ、
― 前記分散に応じて画像の各ピクセルに係数を対応させるステップ
を有し、前記係数は人間の目にとっての各ピクセルの視覚的な知覚し易さを表すものであることを特徴とするビデオ画像を分析する方法にも関する。

本発明は、例示的で非限定的な有利な実施形態と添付した図面の参照とによりより良く理解及び図解される。

図示されているモジュールは機能単位であり、物理的に区別可能なユニットに相当することもあれば、相当しないこともある。例えば、これらのモジュール又はこれらのモジュールのうちの幾つかは単一のコンポーネントの中にまとめてもよいし、あるいは同一のソフトウェアの複数の機能を構成するものであってもよい。逆に、あるモジュールはことによると別個の物理的エンティティから構成されていてもよい。

事前符号化装置の入力側におけるビデオ信号Ｓｉｄは、インタレースタイプのビデオ信号である。

事前符号化装置の性能を改善するために、ビデオ信号Ｓｉｄはインタレース解除される。インタレース解除器は、ビデオ信号Ｓｉの連続する３つのフレームに基づいた当業者には周知のインタレース解除方法を用いて、ビデオ信号Ｓｉの１フレーム当りの行数を２倍にする。これにより、各々が画像の完全な垂直解像度を有するプログレッシブフレームが得られ、その後フレームごとの比較を行うことが可能になる。なお、連続する２つのフレームのそれぞれの行は空間的に画像内の同じ場所にある。

ウェーブレット分析モジュール５は、インタレース解除されたビデオ信号Ｓｉの画像の様々な周波数成分をサブバンドに分割する。

このウェーブレット分析モジュールは、ローパスフィルタとハイパスフィルタの２つの１次元フィルタを有している。

これら２つのフィルタリングはまず行で行われ、その後で列で行われる。

このフィルタリングにしたがって、４つの画像が得られる：
― 低周波数の画像
― 高垂直周波数の画像、ＨＦＶ
― 高水平周波数の画像、ＨＦＨ
― 高対角周波数の画像、ＨＦＤ
３つの高周波サブ画像ＨＦＶ，ＨＦＨ，ＨＦＤは、これらを足し合わせるモジュール６に送られる。具体的にはここで、目の性質が利用される。目は空間周波数の高い画像の領域におけるグラデーションには比較的敏感でない。高い空間周波数により特徴づけられるテクスチャはマスキング信号として作用するので、いずれのグラデーションもマスクすることができる。したがって、空間周波数の高い領域がマークされる。したがって、これらの領域では、例えばビデオ符号化の用途において、画像のエントロピーを低減することが可能であり、したがってまた、目にとっての画像の視覚的品質を劣化させることなくスループットが低減される。

モジュール６はＨＦ画像を得るためにこれら３つのサブ画像の和を重み付けする。

この加重和は、対角線状の輪郭に対しては水平又は垂直の輪郭に対してよりも目が閉じられにくいという人間の視覚系統の性質に基づいている。目の感度は異方性を有している。

したがって、重み付けはＨＦＤサブ画像にＨＦＶ及びＨＦＤ画像よりも大きな重みを付与することによりＨＦＤサブ画像を優先する。

Image HF ＝ (A*HFV) + (B*HFH) + (C*HFD), ただし、C>B, C>A
係数Ａ，Ｂ，Ｃは以下のように実験的に定義される。
Ａ＝０．２５
Ｂ＝０．２５
Ｃ＝０．５
別の実施形態では、係数Ａ，Ｂ，ＣはＣＳＦ曲線（「コントラスト感度関数」（“contrast sensitivity function”）の頭字語）を用いて定義することもできる。図２では、このような曲線の一例が定義されている。

ＣＳＦは信号を検出するときの目の感度を表している（この感度は、実際には、最初の検出を可能にした感度の値の逆数である）。したがって、曲線を見れば、以下のことが分かる。
― 感度は水平及び垂直周波数が低いときに最大である。このことは、低周波数により特徴付けられる信号はコントラストが弱いときでも目で検出することができることを意味している。周波数が比較的高い場合には、このコントラスト閾は強く上昇する（ゼロ感度）。
― さらに、周波数が同じならば、目は垂直又は水平成分上でよりも対角周波数上での方が容易に信号を検出する。重力のため、目は実質的に水平／垂直構造と対面する。したがって、生体系はこれらの向きに対して感覚過敏を発達させてきた。

本発明では、画像の対角線状構造をより強く劣化させるために、対角成分の検出に関する人間の目の感度の弱さを考慮に入れている。したがって、重みパラメータは以下のようにして規格化されたＣＳＦ曲線から導出される。
Ａ＝Ｂ＝１−ＶａｌｕｅＣＳＦＮｏｒｍ
Ｃ＝１−ＶａｌｕｅＣＳＦＮｏｒｍ
このようにして得られたＨＦ画像は、ＨＦ画像の各ピクセルについて分散を計算するモジュール７に送られる。

モジュール７は各ピクセルの周りの近傍を選択する。この近傍は、現在ピクセルを中心とした５＊５ピクセルの正方形である。モジュール７はつぎにこの近傍内のピクセルの輝度の平均偏差を計算する。この計算の結果は分散画像を２５６のグレーレベルのスケールで与える。ただし、各ピクセルの振幅はテクスチャのレベルを表す。

得られた分散画像は、画像の各ピクセルに対する係数ｋを計算するモジュール９に送られる。

係数ｋは、対応するピクセルに適用される処理の強さを表すものである。係数ｋが大きければ大きいほど、対応するピクセルはテクスチャの強い領域の一部を形成することになる。テクスチャの強い領域では、エントロピーの低下は符号化にとって特に有益である。

各ピクセルに関して、得られた分散と係数ｋとの間の対応関係が以下の表にしたがって形成される：

平滑化されたマップを得るためには、隣接ピクセルを考慮に入れることが重要である。実際、１に近い大きな係数ｋを有するピクセルがゼロレベルのピクセルによって包囲されることはありえない。それゆえ、モジュール９は係数ｋに対して２次元ガウシアンローパスフィルタを適用する。

以下の表は、係数ｋに対して適用されるべき２次元ガウシアンフィルタの例を示している。この表は５ピクセル×５ピクセルの窓に適用されるべき係数の値を示している。適用されるべき正規化係数は１／１４４４である。

モジュール９はまた、目にとって特に知覚し易い画像の中央領域が優先されるように、フーバー加重も用いる。

Ｋｉｎ（ｘ，ｙ）をガウシアンフィルタの適用による座標（ｘ，ｙ）のピクセルに対するｋの値を表すものとし、Ｋｏｕｔ（ｘ，ｙ）をフーバー加重を適用した後の同ピクセルに対するｋの値を表すものとすると、

ここで、
― ｄは点（ｘ，ｙ）から画像（ｘ０，ｙ０）の中心までの距離を表し、
― Ｄは信号を減衰させるための定数を表す。Ｄは、例えば総面積の１／８を占める画像の中心領域を画定する。

つぎに、画像の各ピクセルに関してこのようにして得られた値Ｋｏｕｔ（ｘ，ｙ）は、画像の静止領域を検出するモジュール８により検証される。

モジュール８は画像の動きが小さな領域と画像の動きが大きな領域を検出する。特に、時間的にほとんど変化しない領域は目にとって最も欠陥を区別し易い領域であるということが、もう１つの心理視覚的な特徴である。よって、これらの領域内のピクセルに対する係数ｋは最小化されなければならない。

静止領域を検出するモジュール８は、インタレース解除されたビデオ信号Ｓｉｄを入力として受け取る。

モジュール８は先行フレームに対して静止している現在フレームの領域を検出する。

この目的のために、モジュール８は信号Ｓｉｄを１フレームだけ遅延させる遅延モジュールを有している。

静止領域の検出は、フレームからフレームにわたって又は画像から画像にわたって動きのない領域を検出することから成っている。静止領域の検出は輝度情報に基づいて行われ、また可変サイズのブロックに対して行われる。静止領域であるか否かを検証するため、各フレームの同じ座標のブロックの間の平均誤差が所定の閾値と比較される。ブロックのサイズが小さければ小さいほど、分析はより正確になるが、ノイズに対してより敏感になる。

安定性を保証するために、静止領域は画像の各ピクセルに関してではなく２＊２ピクセルのブロックに関して計算される。

２＊２ピクセルのブロックに関しては、ピクセル（０‥２５５）のスケールに関する誤差の平均は、閾値である６を超えてはならない。

モジュール８は、現在ピクセルが先行フレームに対して静止したいわゆる不動領域の一部を形成していることを示す信号ＺＦＴを出力する。

モジュール９は以下のようにして信号ＺＦＴを考慮に入れる：
― 静止領域に属さない各ピクセル（ＺＦＴ＝０）に対しては、ｋ＝ｋｏｕｔ、
― 静止領域に属する各ピクセルに対しては、ｋ＝ｋｍｉｎ。

図２は、計算された係数ｋを事前ビデオ処理に使用する実施例を示している。

ビデオ信号Ｓｉはインタレース解除モジュール２によりインタレース解除される。インタレース解除モジュール２はインタレース解除された信号Ｓｉｄを出力し、信号Ｓｉｄは、図１に示されているように、分析モジュール１に入力される。

分析モジュール１は画像の各ピクセルに対して係数ｋを出力する。

エントロピー低減処理モジュール３は入力として信号Ｓｉを受け取る。

エントロピー低減処理モジュール３は、有利には、形態学的オペレータにより構成される。エントロピー低減の適用は、当業者に周知の様々な方法によって可能である。

ミキサオオペレータ４は、入力として、分析モジュール１により供給された係数ｋとエントロピー低減モジュールのビデオ出力Ｔを受け取る。

ミキサオオペレータ４はまたビデオ信号Ｓｉも入力として受け取る。ミキサオペレータ４は次の演算を行う：
Ｓｏ＝ｋ＊Ｔ＋（１−ｋ）＊Ｓｉ
Ｓｏはミキサオペレータのビデオ出力である。

したがって、ｋの値が大きい場合には、ここではエントロピー低減である事前ビデオ処理の後のビデオ信号は、信号Ｔに近い。それゆえ、強いエントロピー低減は、劣化に比較的敏感でない領域に対して適用される。

他方で、ｋの値が小さい場合には、ビデオ信号Ｓｏは入力信号に近く、したがって非常に弱いエントロピー低減を受ける。それゆえ、弱いエントロピー低減は、劣化に比較的敏感な領域に対して適用される。

ディジタル透かし入れのような用途では、係数ｋは透かしを入れることが望ましい領域を知らせるために使用される。ｋが大きい場合には、領域は視覚的劣化に比較的敏感でなく、この場合には、この領域にディジタル透かしを入れるべくこの領域を正当に選択することができる。

ビデオ符号化の用途では、係数ｋは、目にとって特に知覚し易い領域により多くの符号化資源を割り当てるために使用することができる。符号化資源として、例えば、これらの比較的知覚し易い領域に対して比較的小さな量子化インターバルを使用することが考えられる。

図４は、分析モジュール１において実施される本発明による方法の一例を示している。

ステップＥ１では、入力画像がインタレース解除される。ステップＥ２では、画像の高周波成分を得るために、インタレース解除された画像はウェーブレットに分解される。画像の高周波成分は離散コサイン変換のような他の方法によっても得ることができる。

ステップＥ３では、図１に示されているように、高周波成分の加重和が計算される。

ステップＥ４では、画像の各ピクセルについて近傍が選択される。有利な実施形態によれば、現在点を中心とした５ピクセル×５ピクセルの近傍が選択される。

ステップＥ５では、高周波画像の各ピクセルの近傍内のピクセルの平均偏差が計算される。

ステップＥ６では、すでに表１で示されたように、ピクセルの分散に基づいて各ピクセルに関して係数ｋが計算される。

ステップＥ７では、隣接ピクセルに関して得られたｋの値に応じて係数ｋが平滑化される。それゆえ、係数ｋに対して２次元ガウシアンローパスフィルタが適用される。

ステップＥ８では、現在ピクセルと画像の中心との間の距離が測定される。とりわけ、特に目を引く領域である画像の中心は画像処理において優先されなければならない。

ステップＥ９では、動きベクトルを計算するため、ならびに先行フレームに対する画像の動きを推定するために、インタレース解除された入力画像にフレーム遅延が行われる。

ステップＥ１０では、動き情報に基づいて画像内の静止領域が検出される。

ステップＥ１１では、現在ピクセルが静止領域に属しているか否かを確認するためのテストが行われる。

テストの結果が否定的であれば、現在ピクセルは静止領域に属しておらず、したがって、ステップＥ１５において、このピクセルに対する係数ｋはｋの最小値であるｋｍｉｎをとる。

テストの結果が肯定的であれば、ステップＥ１２に進む。このステップＥ１２では、画像の中心と現在ピクセルとの間の距離が検査される。

この距離が距離Ｄよりも小さければ、ステップＥ１３において、このピクセルに対応する係数ｋにゼロ値が割り当てられる。

そうでなく、検査の結果が肯定的であれば、ステップＥ１４において、以下の値が係数ｋに割り当てられる：

本発明による装置の一例を示す。 高周波画像の重み係数の計算に使用されるコントラストの感度曲線を示す。 本発明による装置の使用例を示す。 本発明による方法の一例を示す。

Claims (12)

1. ビデオ画像を分析する装置であって、
   画像の高周波成分（ＨＦＤ，ＨＦＨ，ＨＦＶ）を取得する手段（５）と、
   前記高周波成分（ＨＦＤ，ＨＦＨ，ＨＦＶ）に基づいて高周波画像（ＨＦ）を取得する手段（６）と、
   前記高周波画像（ＨＦ）の各ピクセルについて分散を計算する手段（７）と、
   前記分散に応じて前記画像の各ピクセルに係数（ｋ）を対応させる手段（９）とを有しており、前記係数（ｋ）は人間の目にとっての各ピクセルの視覚的な知覚し易さを表すものである、ことを特徴とするビデオ画像を分析する装置。
2. 画像の高周波成分（ＨＦＤ，ＨＦＨ，ＨＦＶ）を取得する手段（５）は、前記ビデオ信号をウェーブレット変換する手段（５）を含んでいる、請求項１記載の装置。
3. 高周波画像（ＨＦ）を取得する手段（６）は、ウェーブレット変換により得られた高周波画像を重み付けする手段（６）を含んでおり、該重み付け手段は対角線状の輪郭を示す高周波画像（ＨＦＤ）にはより大きな重みを割り当てる、請求項２記載の装置。
4. 各ピクセルについて分散を計算する手段（７）は、各ピクセルについて、該ピクセルを中心とした近傍を定め、前記近傍内の各ピクセルの値の平均偏差を計算する、請求項１から３のいずれか１項記載の装置。
5. 分散のスケールを等しい長さの区間に分割する手段を有し、
   前記係数（ｋ）を対応させる手段は、各ピクセルについて、区間ごとに前記係数に値を割り当てる、請求項１から４のいずれか１項記載の装置。
6. 前記係数（ｋ）を対応させる手段は、画像の中心から現在ピクセルまでの距離に応じて前記係数（ｋ）を変える、請求項５記載の装置。
7. 動きの小さな領域を検出する手段（８）を有する、請求項５又は６記載の装置。
8. 各ピクセルについて前記係数（ｋ）を計算する手段は、前記係数（ｋ）に対応する前記ピクセルが静止領域に属している場合には、前記係数（ｋ）の前記値を最小値（ｋ_ｍｉｎ）まで低下させる、請求項７記載の装置。
9. 入来ビデオ信号に対してエントロピー低減を行う手段と、前記入来ビデオ信号とエントロピー低減後のビデオ信号とのミキシング操作を行う手段とを有する事前ビデオ処理装置において、
   請求項１から８のいずれか１項による装置を含み、前記係数（ｋ）が前記ミキシング手段において入来ビデオ信号とエントロピー低減後のビデオ信号との間で重み付けをする、ことを特徴とする事前ビデオ処理装置
10. 請求項１から８のいずれか１項によるビデオ画像分析装置を含み、前記係数ｋが前記符号化装置により使用される圧縮率を調整する、ことを特徴とするビデオ符号化装置
11. 請求項１から８のいずれか１項によるビデオ画像分析装置を含み、前記係数ｋが透かしを入れる画像領域の決定を可能にする、ことを特徴とするディジタル透かし入れ装置。
12. ― 画像の高周波成分を取得するステップ、
    ― 前記高周波成分に基づいて高周波画像を取得するステップ、
    ― 前記高周波画像の各ピクセルについて分散を計算するステップ、
    ― 前記分散に応じて画像の各ピクセルに係数を対応させるステップ
    を有し、前記係数は人間の目にとっての各ピクセルの視覚的な知覚し易さを表すものである、ことを特徴とするビデオ画像を分析する方法。

Images