JP5206313B2 - コーミングノイズ検出装置、コーミングノイズ検出方法 - Google Patents

Description

本発明は、画像表示におけるコーミングノイズの検出に関し、特に液晶ＴＶやプラズマＴＶの順次走査ディスプレイにインタレース走査映像信号を表示するためのＩＰ（Interlace to Progressive）変換処理におけるコーミングノイズ検出に関するものである。

シネマ映像をＮＴＳＣ方式のＴＶ（日本、アメリカなど）で放送する場合や、ＤＶＤ（Digital Versatile Disc）に収録されたシネマ映像をＮＴＳＣ方式の信号としてＴＶなどで放送する場合、２４フレームのプログレッシブ映像（シネマ映像）は６０フィールドのインタレース映像（テレシネ映像と呼ばれる）に変換される。

この変換は２３プルダウンと呼ばれ、５フィールドに１回２フィールド前のフィールドを繰り返す（以降リピートフィールドと呼ぶ）ことで変換を実現している。具体的には、５フィ−ルドに１回、同一フィールドが繰り返され、フレーム周波数が５／４倍に変換された映像となる。

テレシネ映像は、ブラウン管などのインタレース方式のディスプレイに出力することを想定したものであり、６０フィールドインタレースのディスプレイに表示する場合はそのまま出力すればよい。しかし近年、液晶ＴＶやプラズマＴＶの順次走査（プログレッシブ）ディスプレイに表示されることも多くなっている。これらのプログレッシブディスプレイにインタレース映像を表示する場合、インタレース映像に対してＩＰ変換を行なうことでプログレッシブ映像にして表示することとなる。

ＩＰ変換の一例として、インタレース映像のトップフィールドとボトムフィールドを組み合わせて１つのフレームを得るものがある。変換対象のインタレース映像が２３プルダウンによって得られたテレシネ映像である場合、すなわち、２４フレームプログレッシブから作成された６０フレームインタレース映像を６０フレームプログレッシブに変換する場合、２４フレームプログレッシブの一つのフレームから作成されたトップフィールドとボトムフィールドとを組み合わせることが好適である。

そこで、従来、インタレース映像がテレシネ映像であるか否かを検出する、いわゆるフィルムモード検出をおこなってきた。インタレース走査の映像からフィルムモード検出（２３プルダウンシーケンス検出）を行なう方式として、例えば、特許文献１が開示するように、画素単位に現行フィールドと２フィールド前の映像とのフレ−ム間差分絶対値和（特徴量）を計算し、その特徴量から相関の高いフィールドが５フィールドに１回の周期で現れることを利用してフィルム検出、フィルム非検出を行なう技術が知られている。このようにリピートフィールドを検出することで、ＩＰ変換においてトップフィールドとボトムフィールドとを適切に組み合わせることができる。

特開２００７−３００１５２号公報

従来の技術では、一旦フィルムモードを検出し、リピートフィールドの出現タイミングを検知すると、フィルムモードはそのまま継続し、リピートフィールドについても周期的に現れるものとしてＩＰ変換を行なってきた。しかしながら、映画の宣伝用にコマーシャルを作成するような場合、もとのシネマ映像を編集した後にテレシネ映像に変換するのではなく、変換後のテレシネ映像に対して編集を行なうことが多く、５フィールドの周期が崩れることになるという問題点があった。

すなわち、編集されたインタレ−スのシネマ映像では、５フィールドに１回の周期が不定期に崩れるので、上述した従来技術によってフィルムモードを検出し、検出結果に基づいてフィールドの組合せによるＩＰ変換を行なった場合に、編集点前後の映像が組み合わされる場合がある。このように編集点前後の映像が組み合わされると、テレシネ映像である異なるフィールドから得られたトップフィールドとボトムフィールドを組み合わせて６０プログレッシブのフレームを作成することとなり、コーミングノイズが発生してしまう。

本装置および方法は、上述した従来技術にかかる問題点を解消し、課題を解決するためになされたものであり、コーミングノイズを高精度に検出することで編集されたシネマ映像の編集点の検出性能を向上し、本来の映像の組合せへの訂正や、迅速なフィルムモードからの解除をおこなって高画質化に寄与するコーミングノイズ検出装置、コーミングノイズ検出方法およびフィルムモード検出装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本装置及び方法は、連続する入力画像に対する２３プルダウンシーケンス検出情報と前記連続する入力画像の組み合わせ情報とを用いて、対応する入力画像間の画素差分を算出し、算出結果に基づいて入力画像のライン毎のコーミングノイズ候補を抽出し、コーミングノイズ候補の抽出結果から、入力画像ごとのコーミングノイズの発生を判定する。

本装置および方法によればコーミングノイズを高精度に検出することで編集されたシネマ映像の編集点の検出性能を向上し、本来の映像の組合せへの訂正や、迅速なフィルムモードからの解除をおこなって高画質化に寄与するコーミングノイズ検出装置、コーミングノイズ検出方法およびフィルムモード検出装置を得ることができるという効果を奏する。

以下に、本発明にかかるコーミングノイズ検出装置、コーミングノイズ検出方法およびフィルムモード検出装置の実施例を図面に基づいて詳細に説明する。

図１は、本発明の実施例にかかるフィルムモード検出装置１の概要構成を説明する概要構成図である。同図に示したように、本実施例にかかるフィルムモード検出装置１は、その内部にフィールドメモリ１０、統計量算出部１１、フィルムモード検出部１２、コーミングノイズ検出部２０を有する。

フィールドメモリ１０は、入力画像を少なくとも２フィールド分保持するメモリである。統計量算出部１１は、現行フィールドの映像Ｆ（ｎ）と２フィールド前の映像Ｆ（ｎ−２）とを読み出し、画素単位にフレ−ム間差分絶対値（特徴量）を計算する処理を行う。

フィルムモード検出部１２は、統計量算出部１１が算出した特徴量から相関の高いフィールドが５フィールドに１回の周期で現れることを利用してフィルム検出・フィルム非検出を行なって、検出結果を再生装置２に出力する。

ここで、図２を参照して映像の変換について説明する。同図に示したように、２４フレームのプログレッシブ映像（シネマ映像）を６０フィールドのインタレース映像にテレシネ変換する２３プルダウンでは、２４フレームプログレッシブの１フレーム目である２４Ｐ（１）から６０フィールドインタレースの１フィールド目である６０ｉ（１）と２フィールド目である６０ｉ（２）を作成する。

そして、２４フレームプログレッシブの１フレーム目である２４Ｐ（２）から６０フィールドインタレースの３フィールド目である６０ｉ（３），４フィールド目である６０ｉ（４）、５フィールド目である６０ｉ（５）を作成する。

ここで、６０フィールドインタレースの６０ｉ（１），６０ｉ（３），６０ｉ（５）はトップフィールド、６０ｉ（２），６０ｉ（４）はボトムフィールドである。すなわち、６０フィールドインタレースの６０ｉ（３）と６０ｉ（５）とは、ともに２４Ｐ（２）から作成されたトップフィールドであり、６０ｉ（５）は６０ｉ（３）を繰り返したリピートフィールドである。

フィルムモード検出部１２は、このリピートフィールドを検出した場合に「フィルムモード検出」との外部出力を行なうとともに、どのフィールドがリピートフィールドであるかを外部出力して、Ｉ／Ｐ変換を行う処理装置である再生装置２に提供する。

再生装置２は、図１に示したように、トランスフォームＩＰ変換部３１、動き補償型ＩＰ変換部３２、合成部３３を有する。トランスフォームＩＰ変換部３１は、インタレース映像のトップフィールドとボトムフィールドを組み合わせることでプログレッシブ映像に変換する処理部である。一方、動き補償ＩＰ型変換部３２は、インタレース映像のフィールド間の動きを検出して補間することで、プログレッシブ映像に変換する処理部である。合成部３３は、トランスフォームＩＰ変換部３１と動き補償型ＩＰ変換部３２のいずれか一方のＩＰ変換結果を有効とする。具体的には、合成部は、フィルモード検出部１２からフィルムモードであるとの検知結果が得られた場合にトランスフォームＩＰ変換３１の出力が有効となるように切り替えて出力する。

トランスフォームＩＰ変換では、図２に示したように、２４Ｐ（１）からテレシネ変換によって作成されたトップフィールドである６０ｉ（１）と、２４Ｐ（１）からテレシネ変換によって作成されたボトムフィールドである６０ｉ（２）とを組み合わせて、６０フレームプログレッシブの２フレーム目６０Ｐ（２）と３フレーム目６０Ｐ（３）を作成する。なお、６０フレームプログレッシブの１フレーム目６０Ｐ（１）は、同様の処理によって以前のフィールドから作成したものである。

このように２４フレームプログレッシブの同一のフレーム由来のトップフィールドとボトムフィールドを組み合わせることで、得られたフレーム６０Ｐ（２）、６０Ｐ（３）は、コーミングノイズのない高品質な画像となる。

おなじく、２４Ｐ（２）からテレシネ変換によって作成されたトップフィールドである６０ｉ（３）と、２４Ｐ（２）からテレシネ変換によって作成されたボトムフィールドである６０ｉ（３）とを組み合わせて、６０フレームプログレッシブの４フレーム目６０Ｐ（４）と５フレーム目６０Ｐ（５）を作成する。

さらに、２４Ｐ（２）からはリピートフィールドである６０ｉ（５）も作成されている。そこで、ボトムフィールドである６０ｉ（４）と、トップフィールドである６０ｉ（５）とを組み合わせて、６０フレームプログレッシブの６フレーム目６０Ｐ（５）を作成する。

以上の処理を繰り返すことで、リピートフィールドが正しく繰り返されている限り、２４フレームプログレッシブからテレシネ変換されたフィールドにおける同一フレームに由来するトップフィールドとボトムフィールドを組み合わせることができる。

しかし、図３に示したように、６０フィールドインタレース映像に対して編集を行なうと、リピートフィールドのタイミングにずれが発生する。これを放置するとＩ／Ｐ変換時に組み合わせるべきでないフィールド、すなわち２４フレームプログレッシブからテレシネ変換されたフィールドよりトップフィールドとボトムフィールドを誤って組み合わせてしまい、その結果、コーミングノイズが発生する。

図３に示した例では、テレシネ変換によって作成した６０フィールドインタレース映像の４フィールド目６０ｉ（４）と５フィールド目６０ｉ（５）を削る編集を行なっている。この編集により、編集前のフィールド６０ｉ（６）〜６０ｉ（１２）が編集後にはフィールド６０ｉ（４）´〜６０ｉ（１０）´となっている。

この図３の例では、フィールド６０ｉ（４）´が編集点であり、このままＩＰ変換を行なうと６０フレームプログレッシブの６０Ｐ（４），６０Ｐ（５）は、２４フレームプログレッシブの２フィールド目２４Ｐ（２）から作成されたトップフィールドと、３フィールド目２４Ｐ（３）から作成されたボトムフィールドを組み合わせることとなり、画像内にコーミングノイズが発生する。

さらに、この組み合わせのずれは周期的に発生するので以降のフレームでも６０フレームプログレッシブの６０Ｐ（９），６０Ｐ（１０）のようにコーミングノイズが周期的に発生することとなる。

そこで、本実施例にかかるフィルムモード検出装置１では、フィルムモード検出部１２の検出の結果としてえられた２３プルダウンシーケンスの検出状態と、フィールドの組み合わせ情報をコーミングノイズ検出部２０に出力させて、コーミングノイズの検出を行っている。

コーミングノイズ検出部２０は、本発明において新規に考案された処理部であり、その内部にフィールド間画素差分絶対値算出部２１、輝度変化判定部２２、コーミングノイズ候補部２３、コーミングノイズ判定部２４を有する。

このコーミングノイズ検出部２０による処理について図４および図５を参照して説明する。図４は、コーミングノイズの検出方法について説明する説明図である。

コーミングノイズ検出部２０のうち、フィールド間画素差分絶対値算出部２１は、フィルムモード検出結果の組合せ情報から、組合せるべきと示された２つのフィールドについてフィールド間差分絶対値を算出する。

輝度変化判定部２２は、フィールド間の輝度、すなわちフィールド間差分絶対値がしきい値を越える画素がＮｘ以上連続する組合せを抽出する処理を行なう。

コーミングノイズ候補部２３は、輝度変化判定部２２で判定した連続性のある（Ｎｘ個以上連続する）画素がＭｘ組以上存在する場合に、そのラインをコーミングノイズ候補のラインとしてライン毎でコーミングノイズ候補フラグを設定する。

コーミングノイズ判定部２４は、コーミングノイズ候補となったラインがＮｙライン以上連続して存在する場合に、これから組み合わせる２つのフィールドには、コーミングノイズがあると判定する。

コーミングノイズ検出部２０がコーミングノイズ有りと判定した場合、フィルムモード検出部１２は、２３プルダウンシーケンス検出状態を非検出状態に遷移させてフィルムモード検出を行なわないよう制御する。

図５は、コーミングノイズ検出部２０の処理動作を説明するフローチャートである。コーミングノイズ検出部２０は、まず、フィールドの最初の画素を処理対象として選択する（Ｓ１０１）。

フィールド間画素差分絶対値算出部２１は、処理対象の画素についてフィールド間の画素差分絶対値を算出する（Ｓ１０２）。算出したフィールド間画素差分絶対値が閾値未満であれば（Ｓ１０３，Ｎｏ）、現在の画素が画面内の最後の画素であるか否かを判定し（Ｓ１０４）、最後の画素で無ければ（Ｓ１０４，Ｎｏ）、次の画素を選択して（Ｓ１０５）、ステップＳ１０２に戻る。そして、画素差分絶対値が閾値以上の画素がないまま最後の画素の処理が終了した場合（Ｓ１０４，Ｙｅｓ）、処理を終了する。

一方、選択した画素について算出したフィールド間画素差分絶対値が閾値以上の場合（Ｓ１０３，Ｙｅｓ）、輝度変化判定部２２は、現在の画素の位置を基点に設定し（Ｓ１０６）、基点ライン、すなわち、基点から横方向（Ｘ方向）の輝度変化を判定する（Ｓ１０７）。

輝度変化判定の結果を用い、コーミングノイズ候補部２３は、基点ラインがノイズ候補のラインであるか否かを判定する（Ｓ１０８）。具体的には、コーミングノイズ候補部２３は、画素差分絶対値が閾値以上である画素がＮｘ個以上連続する部分を検出し、Ｎｘ個以上連続する部分をＭｙ個以上有するラインをノイズ候補ラインとする。

基点ラインがノイズ候補ラインである場合（１０８，Ｙｅｓ）、コーミングノイズ判定部２４は、ノイズ候補ラインがＮｙ本連続したかを判定し（Ｓ１０９）、ノイズ候補ラインがＮｙ本連続した場合（Ｓ１０９，Ｙｅｓ）にコーミングノイズであると判定し、処理を終了する（Ｓ１１２）。

一方、基点ラインがノイズ候補ラインではなかった場合（Ｓ１０８，Ｎｏ）、ノイズ候補ラインがＮｙ連続していない場合（Ｓ１０９，Ｎｏ）には、現在の基点ラインがフィールドの最終ラインであるか否かを判定する（Ｓ１１３）。現在の基点ラインが最終ラインでなければ基点を次のラインの先頭画素に移動して（Ｓ１１４）、ステップＳ１０７に戻る。そして、最終ラインであれば（Ｓ１１３，Ｙｅｓ）、そのまま、すなわちコーミングノイズ発生と出力することなく処理を終了する。

このように、新規に考案したコーミングノイズ検出部は、フィルムモード検出結果（２３プルダウンシーケンス検出状態、組合せ情報）を基に、画素単位のフィールド間画素差分絶対値抽出による輝度変化（輝度）を判定し、一定以上の輝度変化（輝度）の組み合わせが存在する場合に、コーミングノイズとして検出する。

また、本コーミングノイズ検出結果（コーミングノイズ有無）を用いてフィルムモード検出部では、２３プルダウンシーケンス検出状態を非検出状態に遷移させる。

かかる構成により、従来のフィルムモード検出における問題点、すなわち現フィールドで編集されたシネマ映像が存在する場合にも、直前のフィルムモード検出判定結果（２３検出状態, 映像の組合せ情報）を基に映像を組合せてしまう為、現フィールドで映像出力を行なうと、コーミングノイズ現象が発生するという問題を解決して、編集されたシネマ映像の編集点の検出性能を向上し、本来の映像の組合せへの訂正や、迅速なフィルムモードからの解除による高画質化を実現することができる。

なお、本実施例に示した構成および動作はあくまで一例であり、本発明を限定するものではない。例えば、本実施例では、コーミングノイズの検出結果をフィルムモード検出部１２にフィードバックする場合の構成を例に説明を行ったが、コーミングノイズの検出結果を外部出力し、外部装置がフィルムモードの検出結果とコーミングノイズの検出結果をそれぞれ受けて動作するようにしてもよい。

この場合の装置構成の具体例を図６に示す。同図に示したフィルムモード検出装置１ａでは、コーミングノイズ検出部２０ａは、コーミングノイズ判定部２４ａの判定結果を外部出力し、フィルムモード検出部１２ａはコーミングノイズの検出結果を用いることなくフィールドモードを検出して検出結果を外部出力している。その他の構成および動作は図１に示したフィルムモード検出装置１と同様であるので、同一の構成要素には同一の符号を付して説明を省略する。

また、本実施例ではコーミングノイズ検出部をフィルムモード検出装置の内部に設けた構成を例に説明を行ったが、コーミングノイズ検出装置として独立した構成で本発明を実施することもできる。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）連続する入力画像に対する２３プルダウンシーケンス検出情報と前記連続する入力画像の組み合わせ情報とを用いて、対応する入力画像間の画素差分を算出する画素差分算出部と、
前記画素差分算出部による算出結果に基づいて前記入力画像のライン毎のコーミングノイズ候補を抽出するコーミングノイズ候補抽出部と、
前記コーミングノイズ候補抽出部の抽出結果から、前記入力画像ごとのコーミングノイズの発生を判定するコーミングノイズ判定部と、
を備えたことを特徴とするコーミングノイズ検出装置。

（付記２）前記画素差分算出処理部は、前記２３プルダウンシーケンス検出情報および組合せ情報を用い、画素単位に輝度の差分絶対値を算出し、前記コーミングノイズ候補抽出部は、前記輝度の差分絶対値がしきい値を越える連続した画素の組合せに基づいてコーミングノイズ候補を抽出することを特徴とする付記１に記載のコーミングノイズ検出装置。

（付記３）前記コーミングノイズ候補抽出部は、前記連続した画素の組合せが、１ライン内に所定の組以上存在していると、コーミングノイズ候補として扱うことを特徴とする付記２に記載のコーミングノイズ検出装置。

（付記４）前記コーミングノイズ判定部は、ライン毎のコーミングノイズ候補となったラインが、所定数以上の場合に、入力画像内にコーミングノイズが発生していると判定することを特徴とする付記３に記載のコーミングノイズ検出装置。

（付記５）連続する入力画像に対する２３プルダウンシーケンス検出情報と前記連続する入力画像の組み合わせ情報とを用いて、対応する入力画像間の画素差分を算出する画素差分算出ステップと、
前記画素差分算出ステップによる算出結果に基づいて前記入力画像のライン毎のコーミングノイズ候補を抽出するコーミングノイズ候補抽出ステップと、
前記コーミングノイズ候補抽出ステップの抽出結果から、前記入力画像ごとのコーミングノイズの発生を判定するコーミングノイズ判定ステップと、
を含んだことを特徴とするコーミングノイズ検出方法。

（付記６）前記画素差分算出処理ステップは、前記２３プルダウンシーケンス検出情報および組合せ情報を用い、画素単位に輝度の差分絶対値を算出し、前記コーミングノイズ候補抽出ステップは、前記輝度の差分絶対値がしきい値を越える連続した画素の組合せに基づいてコーミングノイズ候補を抽出することを特徴とする付記５に記載のコーミングノイズ検出方法。

（付記７）前記コーミングノイズ候補抽出ステップは、前記連続した画素の組合せが、１ライン内に所定の組以上存在していると、コーミングノイズ候補として扱うことを特徴とする付記６に記載のコーミングノイズ検出方法。

（付記８）前記コーミングノイズ判定ステップは、ライン毎のコーミングノイズ候補となったラインが、所定数以上連続する場合に、入力画像内にコーミングノイズが発生していると判定することを特徴とする付記７に記載のコーミングノイズ検出方法。

（付記９）入力画像から特徴量を抽出する特徴量算出部と、
前記特徴量を用いてフィルムモードを検出するフィルムモード検出部と、
前記フィルムモード検出結果である２３プルダウンシーケンス検出情報および入力画像の組み合わせ情報とを用いてフィールド間画素差分を算出する画素差分算出部と、
前記画素差分算出部による算出結果に基づいて輝度の変化を判定する輝度変化判定部と、
前記輝度変化判定部による判定結果に基づいてライン毎のコーミングノイズ候補を検出するコーミングノイズ候補検出部と、
前記コーミングノイズ候補検出部の検出結果から、画面ごとのコーミングノイズの発生を判定するコーミングノイズ判定部と、
を備えたことを特徴とするフィルムモード検出装置。

（付記１０）前記フィルムモード検出部は、前記コーミングノイズの判定結果を用いて前記フィルムモードの検出を行うことを特徴とする付記９に記載のフィルムモード検出装置。

以上のように、本発明は、コーミングノイズの検出、テレシネ映像の編集点の検出に有用であり、ＩＰ変換における画質向上に適している。

本発明の実施例にかかるフィルムモード検出装置の概要構成を説明する概要構成図である。 映像の変換について説明する説明図である。 編集点とコーミングノイズ発生について説明する説明図である。 コーミングノイズの検出方法について説明する説明図である。 コーミングノイズ検出の処理動作を説明するフローチャートである。 フィルモード検出装置の変形例を説明する説明図である。

符号の説明

１，１ａ フィルムモード検出装置
２ 再生装置
１０ フィールドメモリ
１１ 統計量算出部
１２，１２ａ フィルムモード検出部
２０ コーミングノイズ検出部
２１ フィールド間画素差分絶対値算出部
２２ 輝度変化判定部
２３ コーミングノイズ候補部
２４，２４ａ コーミングノイズ判定部
３１ トランスフォームＩＰ変換部
３２ 動き補償型ＩＰ変換部
３３ 合成部

Claims (5)

1. 入力画像から特徴量を抽出する特徴量算出部と、前記特徴量を用いてフィルムモードを検出するフィルムモード検出部と、
   前記フィルムモード検出結果である２３プルダウンシーケンス検出情報および入力画像の組み合わせ情報を用いて、対応する入力画像間で画素単位に輝度の差分絶対値を算出する画素差分算出部と、
   前記差分絶対値がしきい値を越える連続した画素の組み合わせを判定する輝度変化判定部と、
   前記連続した画素の組み合わせに基づいてライン毎のコーミングノイズ候補を検出するコーミングノイズ候補検出部と、
   前記コーミングノイズ候補検出部の検出結果から、画面ごとのコーミングノイズの発生を判定するコーミングノイズ判定部と、
   を備えたことを特徴とするコーミングノイズ検出装置。
2. 前記コーミングノイズ候補検出部は、前記連続した画素の組合せが、１ライン内に所定の組以上存在していると、コーミングノイズ候補として扱うことを特徴とする請求項１に記載のコーミングノイズ検出装置。
3. 前記コーミングノイズ判定部は、ライン毎のコーミングノイズ候補となったラインが、所定数以上の場合に、入力画像内にコーミングノイズが発生していると判定することを特徴とする請求項２に記載のコーミングノイズ検出装置。
4. 前記フィルムモード検出部は、前記コーミングノイズの判定結果を用いて前記フィルムモードの検出を行うことを特徴とする請求項１〜３のいずれか一つに記載のコーミングノイズ検出装置。
5. 連続する入力画像に対する２３プルダウンシーケンス検出情報と前記連続する入力画像の組み合わせ情報とを用いて、対応する入力画像間の画素単位に輝度の差分絶対値を算出する画素差分算出ステップと、
   前記差分絶対値がしきい値を越える連続した画素の組み合わせに基づいて前記入力画像のライン毎のコーミングノイズ候補を検出するコーミングノイズ候補検出ステップと、
   前記コーミングノイズ候補検出ステップの検出結果から、前記入力画像ごとのコーミングノイズの発生を判定するコーミングノイズ判定ステップと、
   を含んだことを特徴とするコーミングノイズ検出方法。

Images