JP3568026B2 - ビデオ画像品質の評価方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオ画像信号のテスト及び測定に関し、特にサブサンプリングを行って高速な処理を実現しつつ、画像の各領域の空間的位置を考慮したビデオ画像の品質を評価する方法に関する。
【０００２】
【従来の技術】
ビデオ画像信号内のビデオ品質の劣化を測定するには、その劣化の主観的（ｓｕｂｊｅｃｔｉｖｅ）測定及び客観的（ｏｂｊｅｃｔｉｖｅ）測定の両方が行われている。主観的測定においては、人間が、オリジナルのビデオ画像信号と、損傷を受けたビデオ画像信号とを視覚的に比較して評価する。客観的な品質測定は、損傷を受けたビデオ画像信号をそのオリジナル（元の）ビデオ画像信号と比較することにより行う。この比較では、ビデオ画像信号をビット・マップ形式に変換し、相互の振幅利得、オフセット及び空間シフトを調整し、これら信号をある形式でろ波し、ろ波した信号を互いに減算し、更にろ波し、その結果をエラー・マップ又はこれらマップから得た統計として示す処理などを行う。
【０００３】
【発明が解決しようとする課題】
主観的な測定方法は、再現性及び一貫性に関して欠点がある。客観的方法は、機械的であり、観察者が注意を払う領域（「注意要素」）と、観察者がそれ程注意を払わない領域との間で区別することができない。
【０００４】
本願出願人に譲渡され、１９９７年７月１７日に出願されたボジダー・ジャンコ及びジョン・エドワードの米国特許出願第０８／８９６９１２号「ビデオ品質劣化の客観的測定における留意マップ」（特開平１１−８８９１５号公報に対応）では、人間の顔などの特定の内容要素を分離し、かかる要素の品質重み付けを大きくする方法を用いて、ビデオ画像内容を基準とした画像品質を求めている。しかし、この方法は、画像内のどの要素に、より多くの重み付けをするかを手動的に入力したり、総ての画像に対するかかる決定を行う特定の処理アルゴリズムが必要となった。
【０００５】
ビデオ画像のある部分が、他よりも重要な情報を含んでいるかもしれないということは周知である。ビデオ業界では、いわゆる「セーフ画像」及び「セーフ・タイトル」領域を用いており、その中では、番組の重要な要素が一般的にカメラにより捕捉されたり、タイトルが含まれる。本質的には、セーフ領域がスクリーンの中央部分を定める。すなわち、ビデオ画像の周辺部は、セーフ領域の外となる。また、画像品質の現在の測定は、コンピュータによる動作であり、実時間で実行できなかった。衛星が多くのチャンネルを扱えるようにするために、多くのチャンネルを、感知できるほどには劣化させずに、できるだけ圧縮するのが望ましい衛星伝送の如きあるアプリケーションにおいては、実時間処理が望まれている。
【０００６】
よって、注意力によるマップではなく、画像の各領域の空間的位置を考慮してビデオ画像の品質を評価する簡単な方法であって、しかも実時間処理できる高速処理が可能な方法が望まれている。
【０００７】
したがって、本発明は、画像の各領域の空間的位置を考慮してビデオ画像の品質を評価する方法であって、しかも高速に処理可能な方法を提供するものである。
【０００８】
【課題を解決するための手段】
本発明によれば、基準ビデオ・シーケンス又は被試験装置からのビデオ・シーケンスを、任意のサイズの複数の幾何学的区分（セグメント）に分割する。区分重み付けマップを生成し、このマップで、ビデオ画像の「セーフ画像」区分用の低いしきい値と、他の区分用の高いしきい値とを与える。重み付け係数をしきい値の代わりに用いてもよい。更に、１個以上の区分をサブサンプリング（部分サンプリング）することにより、測定精度は犠牲になるものの、実時間アプリケーションで必要な処理量を減らして高速な処理を実現する。また、基準ビデオ画像及びテスト・ビデオ画像の両方を捕獲し、区分化し、サブサンプリングをし、適切な画像品質評価アルゴリズムで処理して、各区分に対する品質エラー値を発生する。なお、適切な画像品質評価アルゴリズムには、例えば、ＪＮＤ法（妥当に気が付く差（Just Noticable Difference）の測定法）や、ＰＳＮＲ法（電力信号対ノイズ比（Power Signal to Noise Ratio）測定法）がある。区分重み付けマップを各区分に適用し、その結果をエラー・マップとして表示する。
【０００９】
本発明の目的、利点及び新規な特徴は、添付図を参照した以下の詳細説明から明らかになろう。
【００１０】
【発明の実施の形態】
図１は、本発明により画像品質評価を行うテスト及び測定機器のブロック図である。テスト及び測定機器１０は、パーソナル・コンピュータ・インタフェース（ＰＣＩ）アーキテクチャを基本としている。パーソナル・コンピュータ（ＰＣ）１２は、ランダム・アクセス・メモリ（ＲＡＭ）１６を含んだ中央処理装置（ＣＰＵ）１４を具えている。パーソナル・コンピュータ１２は、典型的には、フロッピー・ディスク・ドライブ１８と、ＣＤ−ＲＯＭドライブ２０と、ハード・ディスク・ドライブ２１と、インタフェース・ポート２２とを具えている。このインタフェース・ポート２２により、例えば、マウス、キーボード、プリンタなどが接続される。パーソナル・コンピュータ１２は、ＰＣＩバス２４に接続される。このＰＣＩバス２４には、ＰＣＩと両立できる他のプラグイン・カードを結合してもよい。この実施例のテスト及び測定機器１０では、デジタル信号処理（ＤＳＰ）ボードをＰＣＩバス２４に接続できる。かかるボードは、捕獲／分析部分２６と、オプション（選択的に使用する）としての発生器部分２８とを具えている。また、ＰＣＩバス２４に、エンコーダ３０を結合して、直列ビデオ信号を複合ビデオ信号に変換したり、デコーダ３２を結合して、複合ビデオ信号を直列ビデオ信号に変換することができる。なお、これらカード２６、２８、３０及び３２の動作は、所定の測定評価ソフトウェアに応じて、パーソナル・コンピュータ１２により制御される。
【００１１】
ＤＳＰボードは、捕獲／分析部分２６内に、ランダム・アクセス・メモリ（ＳＤＲＡＭ）３４を具えており、このＳＤＲＡＭは、テスト・シーケンス・ファイル３６と、捕獲シーケンス・ファイル３８とを含んでいる。発生器部分２８は、発生したテスト・シーケンス・ファイル４２を記憶したＳＤＲＡＭ４０も含んでいる。動作において、テスト・シーケンスは、信号源から捕獲してもよいし、テスト・シーケンス・ファイル３６に蓄積されたものでもよい。また、このテスト・シーケンスは、テスト・シーケンス・ファイル４２から新たに発生したものでもよい。例えば、発生器部分２８から「テスト出力」であるビデオ・テスト・シーケンスが入力された被試験システムから、この入力ビデオ・テスト・シーケンスに対応するビデオ画像シーケンスを捕獲／分析部分２６が「６０１入力（直列デジタル・ビデオ・シーケンス）」として捕獲し、捕獲シーケンス・ファイル３８に蓄積される。次に、ＤＳＰは、妥当に気が付く差（Just Noticable Difference:ＪＮＤ）の測定や、電力信号対ノイズ比（Power Signal to Noise Ratio：ＰＳＮＲ）測定の如き所望測定、又は、他の画像品質評価（Picture Quality Assessment：ＰＱＡ）アルゴリズムに応じて、テスト・シーケンス・ファイル４２（又は３６）及び捕獲シーケンス・ファイル３８の内容を比較する。この比較結果である「測定出力」を、表示用の出力として発生する。
【００１２】
点線で示すように、テスト・シーケンス・ファイル４２から発生したビデオ・テスト・シーケンスをエンコーダ３０に入力して、逆直列化（即ち、並列化）し、外部からの同期基準を基にゲン・ロック（ＧＥＮ ＬＯＣＫ）回路からの同期信号に応じて、並列信号のテスト・シーケンスをエンコードし、適切なモニタ上に表示する複合ビデオ信号を発生してもよい。また、被試験システムからの複合ビデオ信号をデコーダ３２に入力して、フィルタ処理、Ａ／Ｄ変換、デコード、並列／直列変換をした後、「６０１出力」として、捕獲／分析部分２６に供給してもよい。
【００１３】
図２は、本発明による画像品質評価用の区分重み付けマップを示す図である。各ビデオ画像は、複数の幾何学的区分（セグメント）に分割されている。図では、便宜上、矩形区分として示す。これら区分は、任意の水平及び垂直寸法となる複数の矩形のマトリクスを形成する。画像品質評価は、画像品質評価尺度を用いて、各区分ごとに計算される。品質測定しきい値又は重み（重み付け用の特定値）を各区分に割り当てるので、例えば、図２に示すように、中央区分は、１の如き低エラーしきい値（大きい重みに対応する）を受け、これらの周りの周辺部は、より大きなエラーしきい値（小さい重みに対応する）を受けて、区分重み付けマップを形成する。なお、これらエラーしきい値は、被測定画像に応じて適切に設定される。テスト・シーケンス・ファイル３６又は４２の内容と捕獲シーケンス・ファイル３８の内容との比較により発生したエラー値を、この区分重み付けマップで決まる対応しきい値と比較する。例として、いくつかの区分エラー値を図３に示す。このエラー値が区分重み付けマップ内のしきい値よりも小さいと、エラー表示内の結果の部分は、図４に示すように、ゼロ・エラーを有するように表示される。エラー値が、しきい値と等しいか大きいと、このエラー値は、各区分ごとに、捕獲／分析部分２６からの測定出力により、表示器上に示される。表示器は、パーソナル・コンピュータに接続されたものを利用してもよいし、専用の表示器でもよい。なお、これら、動作は、パーソナル・コンピュータ１２の制御により、ＤＳＰ自体が行ってもよいし、パーソナル・コンピュータ１２自体が行ってもよい。なお、重み係数を有する区分重み付けマップの場合を、図５に示す。
【００１４】
上述の例では、説明を簡単にするため矩形区分について記載したが、任意の大きさの幾何学的画像区分を用いて、画像上に任意に配置してもよい。上述のしきい値重み付けを、かかる区分に適用してもよい。しきい値を供給する前に示された重み、又はしきい値の代わりに示された重みを選択的に、画像品質評価測定値と乗算してもよい。
【００１５】
実時間アプリケーション用に処理時間を短縮するには、（基準区分及びテスト区分の両方に対して）画像品質評価アルゴリズムに入力する前に、オプションとして、個別の区分を分散的に又は集合的にサブサンプリングしてもよい。なお、サブサンプリングとは、元の画像又は区分からの１組のパターンにおけるピクセル及び／又はラインを故意に放棄することである。ここで、任意のパターンを使用できる。例えば、４つのピクセル又はラインから、３つのピクセル又はラインを放棄する極度に単純化された４：１サブサンプリング技術を用いてもよい。最高の精度、且つ実時間での結果を得るために、ＰＱＡアルゴリズムの後に重み付けを施すか、区分単位でのＰＱＡアルゴリズムの前にサブサンプリングを施すことにより、操作者は、これらの間での最良のバランスを取るように調整できる。サブサンプリングは、重み付けと同様であるが、多少異なる効果を達成する。この効果は、視角が狭くなる、即ち、観察スクリーンから遠くに離れることに一層類似している。これにより、サブサンプリング比が高くなり過ぎると、精度が大幅に低下する。しかし、適切な画像品質測定においては、計算量を大幅に節約できる。
【００１６】
全体的な処理を図６に示す。ステップ４４で、基準ビデオ・シーケンスと、被試験装置からのテスト・ビデオ・シーケンスとの両方を捕獲し、夫々のファイル３６及び３８に蓄積する。この実施例では、２個の区分（セグメント）を図示している。内側の区分Ａは、ＨＤＴＶビデオ・シーケンスのＳＤＴＶ部分に対応してもよく、区分Ｂで囲まれている。ステップ４６で、ビデオ・シーケンスを区分する。この実施例では、区分Ａのみが、ステップ４８で、オプションとしてサブサンプリングされる。ステップ５０において、所望のＰＱＡ（画像品質評価）アルゴリズムを各区分に適用して、測定（評定）する。ステップ５２において、区分重み付けマップを、ＰＱＡ測定結果に適用する。ステップ５４において、各区分におけるエラー値の結果を組み合わせて、エラー表示マップに表示する。
【００１７】
【発明の効果】
したがって、本発明の画像品質評価では、ビデオ画像を複数の任意の幾何学的区分に分割し、各区分をサブサンプリングし、各区分に対して品質エラーを見つけ、そのエラーを、区分ごとの重み付けマップと比較する。このとき、特定の区分は低いしきい値（重み付けが高い）を有し、他の区分は高いしきい値（重み付けが低い）である。そして、エラーの比較結果としきい値に応じて、エラー表示を行う。よって、画像の各領域の空間的位置を考慮して画像品質を簡単に評価できる。また、サブサンプリングにより、コンピュータの処理量が減り、実時間処理が可能になる。
【図面の簡単な説明】
【図１】本発明により画像品質評価を行うテスト及び測定機器のブロック図である。
【図２】しきい値レベルを用いた本発明による画像品質評価用の区分重み付けマップを示す図である。
【図３】図２の区分重み付けの各区分に対して測定した品質エラーを示す図である。
【図４】図３の測定した品質エラーに対する図２の区分重み付けマップを用いたエラー表示の図である。
【図５】重み付け係数を用いた本発明による画像品質評価用の区分重み付けマップを示す図である。
【図６】本発明による画像品質評価を示す流れ図である。
【符号の説明】
１０ テスト及び測定機器
１２ パーソナル・コンピュータ
１４ 中央処理装置
１６ ＲＡＭ
１８ フロッピー・ディスク・ドライブ
２０ ＣＤ−ＲＯＭドライブ
２１ ハード・ディスク・ドライブ
２２ インタフェース・ポート
２４ パーソナル・コンピュータ・インタフェース（ＰＣＩ）バス
２６ 捕獲／分析部分
２８ 発生器部分
３０ エンコーダ
３２ デコーダ
３４ ＳＤＲＡＭ
３６ テスト・シーケンス・ファイル
３８ 捕獲シーケンス・ファイル
４０ ＳＤＲＡＭ
４２ テスト・シーケンス・ファイル

Claims (2)

1. ビデオ画像品質を評価する方法であって、
   ビデオ画像を複数の幾何学的区分に分割し、
   品質測定しきい値が上記幾何学的区分夫々について特定値を有する区分重み付けマップを生成し、
   上記ビデオ画像及びテスト・ビデオ画像の対応関係にある上記幾何学的区分を選択的にサブサンプリングし、
   上記ビデオ画像及び上記テスト・ビデオ画像のサブサンプリングされた対応する上記幾何学的区分を比較して、上記幾何学的区分夫々について品質エラー値を発生し、
   上記品質エラー値が上記区分重み付けマップからの上記特定の品質測定しきい値と等しいか又は大きい上記幾何学的区分の上記品質エラー値を表示することを特徴とするビデオ画像品質の評価方法。
2. ビデオ画像品質を評価する方法であって、
   基準ビデオ・シーケンスと、被試験装置からの対応する出力ビデオ・シーケンスとを捕獲し、
   上記基準ビデオ・シーケンス及び上記出力ビデオ・シーケンスを対応関係にある複数の幾何学的区分に分割し、
   上記幾何学的区分の夫々に対して特定値を有する区分重み付けマップを発生し、
   上記基準ビデオ・シーケンス及び上記出力ビデオ・シーケンスの対応関係にある上記幾何学的区分を選択的にサブサンプリングし、
   画像品質評価アルゴリズムを用いて、上記基準ビデオ・シーケンス及び上記出力ビデオ・シーケンスのサブサンプリングした対応関係にある上記幾何学的区分を比較し、上記幾何学的区分夫々に関する品質エラー値を生成し、
   上記区分重み付けマップに応じて上記品質エラー値を重み付けして、重み付け品質エラー値を発生し、
   エラー表示マップに、上記幾何学的区分夫々に関する上記重み付け品質エラー値を表示することを特徴とするビデオ画像品質の評価方法。

Images