JP4744150B2 - フィールド間の動き検出の３ｄベクトル法 - Google Patents

Description

本発明は、テレビジョン信号の処理に関し、具体的には、インターレース・テレビジョン信号の時間的に隣接する偶数フィールドと奇数フィールドとの間の動き（コーミング）を検出する方法及びシステムに関する。

テレビジョンシステムでは、これまで画像表示としてインターレース方式が使用されている。このシステムにおいては、画像は、１回に有効水平ラインの半分に対して表示される。このシステムでは、奇数番号のラインと偶数番号のラインを交互に使用して表示し、従って、システムの垂直解像度が低下する。画像は、５０Ｈｚ（ＰＡＬ／ＳＥＣＡＭ）又は６０Ｈｚ（ＮＴＳＣ）で表示され、ラインの半分の各画像はフィールドとして知られる。

順次走査システムは、入力情報の全てのフィールドに対してフレーム全体（全ての有効ラインを使用する画像）を表示することによって垂直解像度の向上を目的とするものである。この形式の表示は、各画像は静止画像であり且つ単一フィールドの表示ライン全てに対して表示することができるので、フィルムを上映する場合に特に有益である。インターレースデータを順次走査システム上で表示することを可能にする最も単純な方法は、時間的に隣接する２つの最新のフィールドを共に織り込んで１つの完全なフレームを生成することである。図１は、これを行う様子を示している。フィールド１０１、１０２、１０３は、連続的に発生する。フィールド１０１及び１０３は奇数番号のラインからの情報を含み、フィールド１０２は偶数番号のラインからの情報を含む。フレーム１０４は、奇数番号及び偶数番号のライン両方からの情報を含むが、フィールド１０１及び１０２からの情報を共に織り込むことによって構成される。フレーム１０５は、フィールド１０２及び１０３を同様の方法で織り込むことによって構成される。

時間的に間隔を置いた画像をこのようにして組み合わせることは、完全に静止した画像については理想的な解決策であるが、画像が動きを含む場合には、コーミングとして知られる好ましくない視覚的アーチファクトが生じる可能性がある。例えば、図１のフィールドのシーケンスは、視聴者には暗色から明色への滑らかなフェードとして見えることになる。しかしながら、織り込まれたフレームであれば、画面全体にわたる水平ストライプを伴うフェード、すなわち「シミング効果」としてユーザに見えることになる。最新のフィールドを再構成されたフィールドと組み合わせることによって、これらのアーチファクトの視覚的影響を低減する方法が存在するが、このような方法は、必然的に、織り込まれたフィールド全体にわたって垂直解像度が幾分損失する結果となる。

従って、２つの既存のフィールドを共に織り込むこと、時間補間と空間補間の両方を用いる再構成アルゴリズムを使用することの選択を行うために、フィールド間で動きを検出することは重要である。

コーミングパターンを見つけることによってフィールド間で動きを検出するシステムが存在する。この例は、米国特許第６，３４８，９４９号、米国特許第４，９８２，２８０号、米国特許第５，２９１，２８０号、米国特許第６，０１４，１８２号において見られる。直接的なシステムは、操作面において、画素間の単純な大きさの差異を見つけることに限定される。これらは、多少簡単過ぎるものであり、信頼性がなく且つノイズの影響を受ける可能性がある。より信頼性のある解決策も存在するが、複雑なフィルタリング及び処理を伴う。

更に、多くのシステムは、一次元の色空間だけで動作する。このような簡素化は、システムの動きに対する感度を低下させる。例えば、輝度差が用いられる場合、等しい輝度を有する異なる色の背景上で移動するオブジェクトは検出されない。この状況を示す例は、原色が使用されることが多い幼い子供達を対象とした場面又は動画ロゴで見られる。

米国特許第６，３４８，９４９号公報 米国特許第４，９８２，２８０号公報 米国特許第５，２９１，２８０号公報 米国特許第６，０１４，１８２号公報

本発明の好ましい実施形態は、ノイズの影響を受けず且つ幾つかの色空間において動作することができ、コーミングパターンを検出する単純で信頼性のある方法を提供する。本方法は、等しい輝度を有する背景上を移動するオブジェクトを検出することができる。

本システムの好ましい実施形態は、各画素の計算された動き値を閾値レベルと比較することによって動作し、閾値レベルを超えると動きが発生したと言われる。好ましくは、コーミングを検出するために、動き値が閾値を超えた状態の最小数の画素が、水平方向に互いに隣接して存在しなければならない。このような措置によって、複雑なフィルタリングを行わずにノイズによる誤検出が防止される。

好ましくは、本システムは、ＲＧＢ又はＹＵＶなどの３Ｄ色空間において垂直方向に隣接する（が時間的には離れた）画素をプロットすることによって、フィールド間の動きを計算し、差分ベクトルの内積を計算することによって動作する。従って、本システムは、幾つかの３Ｄ色空間内で動作することができる。

好ましくは、本システムは、本方法が適用されるテレビジョン信号をフィールドを互いに織り込むことと、フィールドを補間することとを選択して、検出された動きに応じて１：１の順次走査表示を行うように適用される。

好ましくは、本システムは、家庭用ＴＶ受信器において備えられる。

本発明のシステム及び方法の好適な実施形態においては、動きを含むビデオフレームの領域は、現在のビデオから失われているラインを、これらの領域において織り込みではなく補間を用いて再構成されるように検出され、その結果、他の場合では発生したはずのコーミング効果が排除される。

本発明は、添付の請求項において定義され、ここで参照されたい。
次に、本発明の好ましい実施形態を、添付図面を参照しながら例証として詳細に説明する。

本システムの実施形態を図２に示す。この実施形態においては、時間的に隣接するフィールドの画素情報は、フィールド記憶装置２０１及び２０２内に記憶される。出力バッファ２０３は、送られることになるフレーム画素情報を収容するのに使用される（２：１インターレースシステムにおいては、フレームは２つのフィールドを含む）。作動時には、最新の受信フィールド２０１からの全てのラインは、変更されずに出力バッファ２０３にコピーされる。これにより、残りのラインの決定は残されたままである。動き検出ユニット２０４は、フィールド記憶装置２０１及び２０２内に記憶された２つのフィールド間の動きを検出するのに使用され、検出された動きに応じてスイッチ２０５を制御する。動き検出ユニット２０４は、フィールド２０２のラインから、動いている画素と動きが存在しない画素とを検出する。動き検出ユニット２０４は、スイッチ２０５を制御して画素情報をフィールド２０２からフレーム２０３内の対応する画素記憶装置に直接送る。これは、動きがない場合には最適な性能をもたらす。動きが検出された画素については、動き検出ユニット２０４内に収容される補間器２０６が、最新フィールドからの画素情報に基づいて動作して、出力バッファ内で所要の画素についての適切な出力を求める。スイッチ２０５は、データを補間器から出力バッファ２０３に送るように制御される。これにより、動きが存在する領域においてコーミング効果が排除される。

本システムは、より高度な形態の補間を含むように適合させることができ、すなわち該システムでは、フィールドベース単位でフィールド上の動きを検出する。従って、フィールド記憶装置２０１に記憶された最新のフィールドに基づいて空間補間を行うだけでなく、例えば、最新のフィールドに対して前のフィールドと後続のフィールドとを用いて、時間補間も行うことができる。これによって、フィールド記憶装置２０１に記憶されたフィールドのライン間の補間されたラインについての画素値をより正確に求めることが可能となる。他の代替方法は、検出された動きの量に基づいて、織り込まれた画素と補間された画素との間のブレンディング・ファクタとして動き検出器を使用することである。

本システムの好ましい実施形態では、２つの時間的に隣接するフィールドから画素情報において動きを検出する。この情報は、３Ｄ色空間を表すフォーマットで存在しなければならない。使用することができる色空間システムとしては、限定ではないが、ＲＧＢ及びＹＵＶがある。データは、アルゴリズムの操作を行わなくても４：２：２などの圧縮フォーマットで存在することができる。

理解を容易にするために、２つのフィールドからの情報は、単一のフレームを形成するために共に織り込まれたものであると考えることができる。これによって、奇数番号の水平方向のラインが一方のフィールドから取得され、偶数番号のラインが他方のフィールドから取得された単一の画像が得られる。これは、幾つかの遅延モジュール又は画素データを含むメモリモジュールと組み合わされた画素データストリームを用いて達成することができる。このような方法は、従来技術に存在し、当業者には公知のものである。アルゴリズムが必要とされる画素データに基づいて動作するように他の方法を使用することができる。

図３においては、示される各画素は、３Ｄ空間における点と考えられ、その座標は、色値によって定義される。図示の実施例においては、ＲＧＢ色空間が使用されている。赤色値は軸３０１に、緑色は軸３０２に、青色は軸３０３にプロットされている。

画素３０４は、点（ａ_rｒ、ａ_gｇ、ａ_bｂ）にあると考えられ、ここで、ａ_r、ａ_g、ａ_bは、それぞれ、赤色値、緑色値、及び青色値を示し、ｒ、ｇ、ｂは、それぞれ、赤色軸、緑色軸、青色軸の方向における単位ベクトルである。こうした単位ベクトルが使用されているが、ＹＵＶなどの他の色空間ベクトルの有効なセットを使用してもよい。

図４は、織り込まれたフレーム４０１からの情報が画素４０３での動きを検出するのにどのように使用されるかを示している。この説明においては、色空間の単位ベクトルを示すｒ、ｇ、ｂではなく、ｘ及びｙが、織り込まれた画像に対する画素の水平方向及び垂直方向の空間座標をそれぞれ示している。３つの垂直方向に隣接する画素の縦列４０２は、織り込まれた画像から選択される。これは、座標［ｘ，ｙ］の中央画素４０３、座標［ｘ，ｙ＋１］の垂直方向上の画素４０４、座標［ｘ，ｙ−１］の垂直方向下の画素４０５を含む。

動きが検出されることになる画素４０３は、「中央」画素であり、色空間座標［ｃｒ，ｃｇ，ｃｂ］を有する。その垂直方向で上にある画素（「上方」）４０４は、座標［ｕｒ，ｕｇ，ｕｂ］を有し、その下の座標（「下方」）４０５は、座標［ｄｒ，ｄｇ，ｄｂ］を有する。

次の段階は、図５に示すように、中央画素と垂直方向で上方にある画素、及び垂直方向で下方にある画素との間の色空間差分ベクトルを計算することである。この図においては、軸５０１はｒ軸、５０２はｇ軸、５０３はｂ軸を示す。点５０４は、ＲＧＢ色空間においてプロットされた時の中央画素４０３の位置ベクトルを示す。点５０５及び５０６は、ＲＧＢ色空間においてプロットされた時の、垂直方向で中央画素の上にある画素及び中央画素の下にある画素の位置ベクトルを示す。

関心のある差分ベクトルは、中央画素と、垂直方向で上にある画素及び垂直方向で下にある画素との間のベクトルである。差分ベクトル５０７、Ｄ_uは、中央画素と垂直方向で上にある画素との間の差分ベクトルであり、数学的に以下のように定義される。

差分ベクトル５０８、Ｄ_dは、中央画素と垂直方向で下にある画素との間の色空間差分ベクトルであり、数学的に以下のように定義される。

重要なことは、この両方の差分ベクトルは、中央画素の位置に対して同じ方向で計算される点であり、即ち、両方のベクトルは、中央画素から離れる方向に向いていなければならず、又は、中央画素に向かう方向に向いていなければならない。

次に、２つの差分ベクトルの内積又はスカラ積を取ることができる。これによって、中央画素Ｍ_x,y

についてのフィールド間の動きの値が得られる。

コーミングが存在する画素の縦列においては、同じフィールドからの画素、即ち［ｘ，ｙ＋１］及び［ｘ，ｙ−１］は、色空間において類似の位置を共有する可能性がある。また、別のフィールドからの画素、即ち［ｘ，ｙ］から離れている可能性がある。この場合、差分ベクトルは、近接して並び、大きな振幅を有する可能性があり、その結果、内積は、大きな動きの値を示すことになる。静止画像上にノイズ又は高周波の垂直方向遷移がある場合、ベクトルは、比較的短いか又は近接して並んでいない可能性がある。このような状況は、従来のコーミングシステムが正確に機能しない原因となる可能性がある。いずれの状況においても、動き値を表す内積は小さなものとなる。

計算された動き値は、閾値と比較され、閾値を超えると、中央画素について動きが検出されたと言われる。この閾値は、映し出される画像の形式に応じて選択することができ、通常は、使用される色空間軸の尺度及び処理される画像の予想ノイズレベルに依存する。

所与の画素が動いているか否かを判断するのに使用されるウィンドウの形状を考慮すると、この判断は、最上部と最下部の画素の列を除いて、織り込まれた画素内の全ての画素について行うことができることがわかる。有効な画素について判断されると、ノイズと真の動きを区別し、又はコーミングを区別する更なる条件を満たさなければならない。この条件は図６に示される。

マトリクス６０１は、任意の織り込まれた画像についての動き検出判断の結果を含む。マトリクス内の位置は、織り込まれた画像内の空間画素座標に対応する。マトリクス内の位置が黒色であるものは、織り込まれた画像内の対応する画素で動きが検出されたものである。マトリクス内の位置が白色であるものは、対応する画素内では動きが検出されなかったものである。マトリクス内の位置が斜線付きであるものは、上又は下の画素の画素情報がなかったために判断することが不可能であったものである。

コーミングが検出されるためには、ｎ個の水平方向に隣接する画素内で動きが検出されていなければならない。領域６０２は、ｎ＝３の場合、３つの水平方向に隣接する画素内で動きが検出されているので、この要件を満たしている。領域６０３は、動きの検出は、２つの水平方向に隣接する画素においてのみであるので、ｎ＝３の場合はこの要件を満たしていない。水平方向のコーミング長の閾値ｎは、所与のフレームに対して一定である。より大きなｎの値を使用して、ノイズによる誤検出を排除することができる。しかしながら、ｎはまた、アルゴリズムによって検出することができる水平方向の動きの最低速度と正比例しており、従って、遅い動きに対して感度を向上させるためには、ｎを最小限に抑えることが必要である。

フレーム毎に基づいて出力フィールドを織り込むか、又は補間するかを判断するシステムにおいては、織り込まれたフレームにわたってコーミングが検出される回数をカウントし、そのカウント数を閾値と比較する必要があり、閾値を下回ると出力フィールドが織り込まれ、閾値を上回ると補間が行われる。画素毎に基づいて出力フィールドを補間するシステムにおいては、動き値を用いて画素を再構成する方法を決定することができ、即ちシステムは、当業者には明らかなように、フィールド内でインターレース表示と非インターレース表示とを切り替えることができる。

図７は、図２の動き検出ユニット２０４の実施形態を概略的に示す。
検出ユニットに対する入力は、テレビジョン信号デコーダからのデジタル化された画素情報を表す連続画素ストリームであり、ここでは、標準的な２：１のインターレースシステムで表示される順番で画素情報が示される。１ライン遅延７０２及び１フィールド遅延画素ストリームを用いることによって、３つの垂直方向に隣接する画素が導出される。次いで、これによって、動きが検出されている画素よりも垂直方向で上にある画素と下にある画素とが得られる。あるいは、フィールド記憶装置２０１及び２０２から動き検出ユニット内の別のバッファにこれらの画素を読み込むことができる。

色空間画素値ユニット７０４における当該３つの画素について色空間画素値が導出される。次いで、２つの差分ユニット７０６を使用して、動きが検出される画素よりも垂直方向で上にある画素と下にある画素とに差分信号を分割する。次に、これらの差分信号を、内積を導く内積導出ユニット７０８に通す。閾値検出器７１０は、内積が所定のレベルを超えるか否かを検出する。カウンタ７１２は、閾値を超えた水平方向に隣接する画素数のカウントを累算し、閾値検出器及びカウンタ７１２からの信号をスイッチ制御ユニット７１４が使用して、図２のスイッチ２０５に対するスイッチ制御信号と、補間器（図示せず）に対する補間イネーブル信号とを導出する。次いで、スイッチ制御信号及び補間イネーブル信号によって、織り込み又は補間された順次走査表示が行われるか否かが決定される。

本説明はＲＧＢ色空間に関係するものであったが、二次元又はそれ以上の次元で存在する任意の色空間は、方法での使用に好適なものとすることができる点を強調したい。

動きに対する感度の向上、ノイズ除去の改善、及び同じ輝度を有する異なる色の背景上のオブジェクトの動きを検出する機能により、この解決策はまた、セキュリティ監視の領域においても適用することができる。これまで、デインターレース用途に設計された動き検出方法は、この用途には好適ではなく、代替方法が使用されていた。

上記で説明されたコーミングパターンの発生の様子を示す概略図である。 本発明の実施形態を示すブロック図である。 ３Ｄ色空間の例を示す図である。 織り込まれたフレームから得られた情報が画素での動きを検出するのにどのように使用されるかを示す図である。 隣接画素間の色空間における差分ベクトルを示す図である。 動きの存在を伴う水平方向に隣接する画素の欠失を概略的に示す図である。 図２の動き検出ユニットのブロック図である。

符号の説明

２０１、２０２ フィールド記憶装置
２０３ 出力バッファ
２０４ 動き検出ユニット
２０５ スイッチ

Claims (12)

1. テレビジョン信号のインターレースフィールドから導出された順次走査テレビジョン信号を表示する方法であって、
   第１のフィールドにある現在の画素の色空間ベクトルを導出する段階と、
   少なくとも１つの時間的に隣接するインターレースされたフィールドから、少なくとも２つの垂直方向に隣接する画素の各々の色空間ベクトルを導出する段階と、
   前記現在の画素の色空間ベクトルと前記少なくとも２つの垂直方向に隣接する画素の各々の色空間ベクトルとの間の差分ベクトルを導出する段階と、
   前記差分ベクトルから、動きが前記現在の画素に存在するか否かを判断する段階と、
   前記判断の結果に基づいて、前記順次走査の画像を導出する方法を選択する段階と
   を含み、
   前記差分ベクトルから動きが存在するか否かを判断する前記段階が、差分ベクトルの内積を導出して、結果として得られる値が所定の閾値を超えるか否かを判断する段階を含む方法。
2. 前記判断する段階が、前記第１のフィールドの所定の数の隣接画素上に動きが存在するか否かを判断する段階を含む
   請求項１に記載の方法。
3. 前記判断する段階における隣接画素が、前記第１のフィールドの水平方向に隣接する画素である
   請求項２に記載の方法。
4. 前記順次走査の画像を導出する方法を選択する前記段階が、前記表示の異なる領域に対して異なる方法を選択する
   請求項１に記載の方法。
5. 前記順次走査の画像を導出する方法を選択する前記段階が、時間補間と空間補間とを切り換えることを特徴とする、
   請求項１に記載の方法。
6. テレビジョン信号のインターレースフィールドから導出された順次走査テレビジョン信号を表示する装置であって、
   第１のフィールドにある現在の画素の色空間ベクトルを導出する手段と、
   少なくとも１つの時間的に隣接するインターレースされたフィールドから、少なくとも２つの垂直方向に隣接する画素の各々の色空間ベクトルを導出する手段と、
   前記現在の画素の色空間ベクトルと、前記少なくとも２つの垂直方向に隣接する画素の各々の色空間ベクトルとの間の差分ベクトルを導出する手段と、
   前記差分ベクトルから、動きが前記現在の画素に存在するか否かを判断する手段と、 前記判断の結果に基づいて、前記順次走査の画像を導出する方法を選択する手段と
   を備え、
   前記判断する手段が、前記差分ベクトルの内積を求める手段と、結果として得られる値が所定の閾値を越えるか否かを判断する手段と、を備える
   ことを特徴とする装置。
7. 前記判断する手段が、前記第１のフィールドにある所定の数の隣接画素上に動きが存在するか否か判断する手段を備える
   請求項６に記載の装置。
8. 前記隣接画素が、前記第１のフィールドにある水平方向に隣接する画素である請求項７に記載の装置。
9. 前記順次走査の画像を導出するための方法を選択する手段が、時間補間と空間補間とを切り換えることを特徴とする、
   請求項６に記載の装置。
10. 前記選択する手段が、時間的に補間された画像を含む画像またはインターレースされた画像を選択する
    請求項６に記載の装置。
11. インターレースビデオ信号の少なくとも２つの時間的に隣接するフィールドの第１のフィールドにおける、現在の画素の動きを検出する方法であって、
    第１のフィールドにある現在の画素の色空間ベクトルを導出する段階と、
    少なくとも１つの時間的に隣接するインターレースされたフィールドから、少なくとも２つの垂直方向に隣接する画素の各々の色空間ベクトルを導出する段階と、
    前記現在の画素の色空間ベクトルと、前記少なくとも２つの垂直方向に隣接する画素の各々の色空間ベクトルとの間の差分ベクトルを導出する段階と、
    前記差分ベクトルから、動きが前記現在の画素に存在するか否かを判断する段階と
    を含み、
    動きが前記現在の画素に存在するか否かを判断する前記段階が、前記差分ベクトルの内積を導出し、結果として得られる値が所定の閾値を越えるか否かを判断する段階を含む方法。
12. インターレースビデオ信号の少なくとも２つの時間的に隣接するフィールドの第１のフィールドにおける、現在の画素の動きを検出する装置であって、
    第１のフィールドの現在の画素に対する色空間ベクトルを導出する手段と、
    少なくとも１つの時間的に隣接するインターレースされたフィールドから、少なくとも２つの垂直方向に隣接する画素の色空間ベクトルを導出する手段と、
    前記現在の画素の色空間ベクトルと前記少なくとも２つの垂直方向に隣接する画素に対する各々の色空間ベクトルとの間の差分ベクトルを導出する手段と、
    前記差分ベクトルから、動きが前記現在の画素に存在するか否かを判断する手段と
    を備え、動きが存在するか否かを判断する前記手段が、前記差分ベクトルの内積を求める手段と、結果として得られる値が所定の閾値を越えるか否かを判断する手段と、を備える装置。

Images