JP5023780B2 - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、画像信号の動きベクトルに基づいて補間を行う場合において、補間後の画像信号の画質を向上させることができるようにした画像処理装置および画像処理方法、並びにプログラムに関する。

図１は、従来の画像処理装置１の構成例を示している。

図１の画像処理装置１は、フレームレート変換部１１、パネル駆動部１２、および表示パネル１３により構成され、外部から入力された、時系列のフレーム単位の画像の各画素のデジタル信号である画像信号のフレームレートを、高速にして表示を行う。

フレームレート変換部１１は、外部から入力された画像信号に対して、その画像信号の周期であるフレームレートを高速にする高フレームレート処理を行う。具体的には、フレームレート変換部１１は、外部から入力された画像信号に対してフレーム補間処理を行い、その結果得られる画像信号を、外部から入力される画像信号の間の時刻における画像信号としてパネル駆動部１２に出力する。これにより、パネル駆動部１２に入力される画像信号のフレームレートは、フレームレート変換部１１に入力された画像信号のフレームレートに比べて高速になる。

パネル駆動部１２は、フレームレート変換部１１から供給される画像信号に対してD/A（Digital/Analog）変換などの処理を行う。パネル駆動部１２は、その結果得られるアナログ信号に基づいて、液晶パネルなどの表示パネル１３を駆動し、表示パネル１３にフレーム単位の画像を表示させる。

図１のフレームレート変換部１１が行う高フレームレート処理や、時系列の画像信号の動きを補償する動き補償処理などに適用されるフレーム補間処理は、時系列の画像信号の高画質化に欠かせない処理である。

このようなフレーム補間処理としては、入力された時系列の画像信号に含まれる動きベクトルを検出し、その動きベクトルを用いて、時系列の画像信号の間の任意の時刻における画像信号を補間する処理が考案されている（例えば、特許文献１参照）。

この動きベクトルは、例えば、ブロックマッチング法などにしたがって、時系列の画像信号を比較することにより、検出される。この場合、被写体としての剛体が移動しているようなときには、動きベクトルは正確に検出される。

特開２００１−４２８３１号公報

しかしながら、フェードインやフェードアウトが施されている場合などのように、被写体の画像信号のレベルや画素数が時間的に変化する場合には、動きベクトルは誤検出される可能性が高い。また、動きベクトルが誤検出されると、その動きベクトルに基づく補間において、誤った画像信号が生成され、補間後の画像信号の画質が劣化する。

本発明は、このような状況に鑑みてなされたものであり、画像信号の動きベクトルに基づいて補間を行う場合において、補間後の画像信号の画質を向上させることができるようにするものである。

本発明の一側面の画像処理装置は、入力された時系列の各画素の画像信号である入力画像信号の動きベクトルを検出する検出手段と、前記入力画像信号がゼロレベルである画素の数の時間変化量に基づいて、前記入力画像信号が所定の条件を満たしているかどうかを判定する判定手段と、前記入力画像信号が所定の条件を満たしていないと判定された場合、前記動きベクトルに基づいて、前記入力画像信号と、その入力画像信号の１つ前の入力画像信号である前入力画像信号の間の任意の時刻における画像信号である入力画像信号間信号を補間して出力し、前記所定の条件を満たしていると判定された場合、前記前入力画像信号を、そのまま前記入力画像信号間信号として出力する補間手段とを備える。

本発明の一側面の画像処理装置においては、前記判定手段は、前記入力画像信号がゼロレベルである画素の数の時間変化量と、前記入力画像信号の最大のレベル、および、各時刻における前記入力画像信号のレベルの総和のうちの、少なくとも１つの時間変化量とに基づいて、前記入力画像信号が前記所定の条件を満たしているかどうかを判定することができる。

本発明の一側面の画像処理装置においては、前記判定手段は、前記入力画像信号または前記前入力画像信号がゼロレベルである画素の数が、所定の数以上である場合、前記入力画像信号がゼロレベルである画素の数の時間変化量と、前記入力画像信号の最大のレベル、および、各時刻における前記入力画像信号のレベルの総和のうちの、少なくとも１つの時間変化量とに基づいて、前記入力画像信号が前記所定の条件を満たしているかどうかを判定することができる。

本発明の一側面の画像処理方法は、入力された時系列の各画素の画像信号である入力画像信号を補間する画像処理装置の画像処理方法において、前記入力画像信号の動きベクトルを検出し、前記入力画像信号がゼロレベルである画素の数の時間変化量に基づいて、前記入力画像信号が所定の条件を満たしているかどうかを判定し、前記入力画像信号が所定の条件を満たしていないと判定された場合、前記動きベクトルに基づいて、前記入力画像信号と、その入力画像信号の１つ前の入力画像信号である前入力画像信号の間の任意の時刻における画像信号である入力画像信号間信号を補間して出力し、前記所定の条件を満たしていると判定された場合、前記前入力画像信号を、そのまま前記入力画像信号間信号として出力するステップを含む。

本発明の一側面のプログラムは、入力された時系列の各画素の画像信号である入力画像信号を補間する画像処理を、コンピュータに行わせるプログラムにおいて、前記入力画像信号の動きベクトルを検出し、前記入力画像信号がゼロレベルである画素の数の時間変化量に基づいて、前記入力画像信号が所定の条件を満たしているかどうかを判定し、前記入力画像信号が所定の条件を満たしていないと判定された場合、前記動きベクトルに基づいて、前記入力画像信号と、その入力画像信号の１つ前の入力画像信号である前入力画像信号の間の任意の時刻における画像信号である入力画像信号間信号を補間して出力し、前記所定の条件を満たしていると判定された場合、前記前入力画像信号を、そのまま前記入力画像信号間信号として出力するステップを含む画像処理をコンピュータに行わせる。

本発明の一側面においては、入力された時系列の各画素の画像信号である入力画像信号の動きベクトルが検出され、前記入力画像信号がゼロレベルである画素の数の時間変化量に基づいて、前記入力画像信号が所定の条件を満たしているかどうかが判定され、前記入力画像信号が所定の条件を満たしていないと判定された場合、前記動きベクトルに基づいて、前記入力画像信号と、その入力画像信号の１つ前の入力画像信号である前入力画像信号の間の任意の時刻における画像信号である入力画像信号間信号が補間されて出力され、前記所定の条件を満たしていると判定された場合、前記前入力画像信号が、そのまま前記入力画像信号間信号として出力される。

以上のように、本発明の一側面によれば、画像信号の動きベクトルに基づいて補間を行う場合において、補間後の画像信号の画質を向上させることができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の画像処理装置（例えば、図２の受信装置３０）は、
入力された時系列の各画素の画像信号である入力画像信号の動きベクトルを検出する検出手段（例えば、図５の検出部９２）と、
前記入力画像信号がゼロレベルである画素の数の時間変化量に基づいて、前記入力画像信号が所定の条件を満たしているかどうかを判定する判定手段（例えば、図４の判定部８２）と、
前記入力画像信号が所定の条件を満たしていないと判定された場合、前記動きベクトルに基づいて、前記入力画像信号と、その入力画像信号の１つ前の入力画像信号である前入力画像信号の間の任意の時刻における画像信号である入力画像信号間信号を補間して出力し、前記所定の条件を満たしていると判定された場合、前記前入力画像信号を、そのまま前記入力画像信号間信号として出力する補間手段(例えば、図５の混合部９５)と
を備える。

本発明の一側面の画像処理方法は、
入力された時系列の各画素の画像信号である入力画像信号を補間する画像処理装置（例えば、図２の受信装置３０）の画像処理方法において、
前記入力画像信号の動きベクトルを検出し（例えば、図１１のステップＳ８４）、
前記入力画像信号がゼロレベルである画素の数の時間変化量に基づいて、前記入力画像信号が所定の条件を満たしているかどうかを判定し（例えば、図１１のステップＳ８６）、
前記入力画像信号が所定の条件を満たしていないと判定された場合、前記動きベクトルに基づいて、前記入力画像信号と、その入力画像信号の１つ前の入力画像信号である前入力画像信号の間の任意の時刻における画像信号である入力画像信号間信号を補間して出力し（例えば、図１１のステップＳ８９）、前記所定の条件を満たしていると判定された場合、前記前入力画像信号を、そのまま前記入力画像信号間信号として出力する(例えば、図１１のステップＳ９１)
ステップを含む。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

図２は、本発明を適用した受信装置の一実施の形態の構成例を示している。

図２の受信装置３０では、MPU（Micro Processing Unit）３１、チューナ３２、デコード処理部３３、表示部３５とスピーカ３６が接続された信号処理部３４、入力部３８、通信部３９、記録部４０、およびドライブ４１が、バス３７を介して互いに接続されており、受信装置３０は、必要に応じてフェードインやフェードアウトが施された、番組の時系列のフレーム単位の画像の各画素や音声のデジタル信号（以下、番組信号という）の電波を受信し、その番組の画像や音声を出力する。

MPU３１は、例えば、記録部４０にインストールされたプログラムを実行することにより、入力部３８から入力される指令などに対応して、各種の処理を実行する。例えば、MPU３１は、ユーザの所望のチャンネルの番組を表示させるための指令に対応して、チューナ３２、デコード処理部３３、および信号処理部３４を制御し、そのチャンネルの番組信号に対応する画像を表示部３５に表示させるとともに、音声をスピーカ３６から出力させる。

さらに、MPU３１は、通信部３９によりダウンロードされたプログラムや、ドライブ４１に装着された磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア４２に記録されたプログラムを必要に応じて、記録部４０にインストールする。

チューナ３２は、MPU３１の制御により、図示せぬ放送局から放射される、ユーザの所望のチャンネルの番組信号の電波を受信して復調する。チューナ３２は、復調の結果得られる番組信号をデコード処理部３３に供給する。

デコード処理部３３は、MPU３１の制御により、チューナ３２から供給される、符号化されている番組信号を、MPEG2(Moving Picture Experts Group phase 2)などの所定の方式でデコードし、その結果得られる番組信号を信号処理部３４に供給する。

信号処理部３４は、画像処理部５１と音声処理部５２により構成される。画像処理部５１は、デコード処理部３３から供給される番組信号のうちの画像信号に対して、連続する画像信号の中間の時刻における画像信号の補間、D/A変換などの処理を施す。画像処理部５１は、その結果得られるアナログ信号である画像信号を、表示部３５に供給して、表示部３５に画像を表示させる。

音声処理部５２は、デコード処理部３３から供給される番組信号のうちの音声信号に対して、D/A変換などを行い、その結果得られるアナログ信号である音声信号を、スピーカ３６に供給して、外部に音声を出力する。

入力部３８は、例えば、図示せぬリモートコントローラから送信されてくる指令を受信する受信部、ボタン、キーボード、マウス、スイッチなどから構成され、ユーザによる操作を受け付ける。入力部３８は、ユーザによる操作に応じて、各種の指令を、バス３７を介してMPU３１に供給する。例えば、入力部３８は、ユーザによる所望のチャンネルの番組を表示させるための操作に応じて、その番組を表示させるための指令をMPU３１に供給する。

通信部３９は、図示せぬインターネットなどのネットワークを介して、各種のデータの送受信を行う。例えば、通信部３９は、図示せぬサーバからネットワークを介して所定のプログラムをダウンロードし、MPU３１に供給する。記録部４０は、必要に応じて、MPU３１が実行するプログラムおよび各種のデータを記録する。

ドライブ４１には、必要に応じて、リムーバブルメディア４２が装着される。ドライブ４１は、リムーバブルメディア４２を駆動して、そこに記録されているプログラムやデータなどを読み出し、バス３７を介してMPU３１に供給する。

次に、図３は、図２の受信装置３０の画像処理部５１と表示部３５の詳細構成例を示している。

図３に示すように、画像処理部５１は、検出部６１とフレームレート変換部６２により構成され、表示部３５は、パネル駆動部１２と表示パネル１３により構成される。なお、図１と同一のものには同一の符号を付してあり、説明は繰り返しになるので省略する。

画像処理部５１の検出部６１とフレームレート変換部６２には、デコード処理部３３から供給される番組信号のうちの画像信号が、入力画像信号として入力される。検出部６１は、入力画像信号のレベルに基づいて、その入力画像信号が、フェードインまたはフェードアウトが施されているという条件を満たしているかどうかを検出する。即ち、検出部６１は、入力画像信号のレベルに基づいて、その入力画像信号にフェードインまたはフェードアウトが施されているかどうかを検出する。

検出部６１は、入力画像信号にフェードインまたはフェードアウトが施されていることを検出した場合、そのことを表すフェードインアウト信号をフレームレート変換部６２に供給する。なお、検出部６１の詳細は、後述する図４を参照して説明する。

フレームレート変換部６２は、検出部６１から供給されるフェードインアウト信号に応じて、入力画像信号を補間することにより、入力画像信号のフレームレートを変換する。フレームレート変換部６２は、補間後の入力画像信号を、表示部３５のパネル駆動部１２に供給し、表示パネル１３にフレーム単位の画像を表示させる。なお、フレームレート変換部６２の詳細は、後述する図５を参照して説明する。

図４は、図３の検出部６１の詳細構成例を示している。

図４の検出部６１は、フレームメモリ８１と判定部８２により構成される。デコード処理部３３（図２）から検出部６１に入力された入力画像信号は、フレームメモリ８１と判定部８２に供給される。

フレームメモリ８１は、デコード処理部３３から入力された入力画像信号を記憶する。判定部８２は、フレームメモリ８１に記憶されている入力画像信号を読み出す。判定部８２は、その読み出した入力画像信号と、デコード処理部３３から入力された入力画像信号を用いて、入力画像信号の最大のレベル、入力画像信号がゼロレベル(黒レベル)である画素の数、および各時刻における入力画像信号のレベルの総和の、時間変化を検出する。

判定部８２は、その検出の結果に基づいて、入力画像信号にフェードインまたはフェードアウトが施されているかどうかを判定する。判定部８２は、入力画像信号にフェードインまたはフェードアウトが施されていると判定した場合、フェードインアウト信号をフレームレート変換部６２に出力する。

図５は、図３のフレームレート変換部６２の詳細構成例を示している。

図５のフレームレート変換部６２は、フレームメモリ９１、検出部９２、移動部９３、判定部９４、混合部９５、および選択部９６により構成される。

図２のデコード処理部３３から供給される入力画像信号は、フレームメモリ９１、検出部９２、混合部９５、および選択部９６に供給される。また、図４の検出部６１の判定部８２から供給されるフェードインアウト信号は、判定部９４に供給される。

フレームメモリ９１は、デコード処理部３３から入力された入力画像信号をフレーム単位で記憶する。フレームメモリ９１は、前回記憶した入力画像信号、即ち、デコード処理部３３から入力された入力画像信号の１フレーム前の入力画像信号を読み出し、検出部９２、移動部９３、および混合部９５に供給する。

検出部９２は、デコード処理部３３から入力された入力画像信号を、補間処理の対象の入力画像信号(以下、補間対象信号という)として、補間対象信号と、フレームメモリ９１から供給される補間対象信号より１フレーム前の入力画像信号（以下、前補間対象信号という）とに基づいて、補間対象信号の動きベクトルを検出する。

例えば、検出部９２は、ブロックマッチング法にしたがって、補間対象信号に設定した基準ブロックと、前補間対象信号に設定した、基準ブロックと同一のサイズの参照ブロックとのマッチングを行うことにより、ブロック単位の動きベクトルを検出する。検出部９２は、検出したブロック単位の動きベクトルを、移動部９３と判定部９４に供給する。

移動部９３は、検出部９２から供給されるブロック単位の動きベクトルを用いて、フレームメモリ９１から供給される前補間対象信号をブロック単位で移動し、移動後の前補間対象信号を混合部９５に供給する。

判定部９４は、検出部９２から供給されるブロック単位の動きベクトルの値に基づいて、ブロック単位の動きベクトルの信頼度を決定する。なお、ブロック単位の動きベクトルの信頼度は、動きベクトルの値に基づいて決定されるのではなく、動きベクトルの算出に用いられた基準ブロックと参照ブロックの、対応する画素どうしの差分のブロック単位の積算値に基づいて、決定されるようにしてもよい。

図４の判定部８２から、補間対象信号のフェードインアウト信号が入力される場合、判定部９４は、混合しない旨を表す混合なし情報を混合部９５に供給する。一方、補間対象信号のフェードインアウト信号が入力されない場合、判定部９４は、ブロック単位の信頼度に基づいて、ブロック単位で補間対象信号と前補間対象信号を混合する比率（以下、混合比という）を決定する。そして、判定部９４、そのブロック単位の混合比を混合部９５に供給する。

混合部９５は、判定部９４から供給される混合比に基づいて、デコード処理部３３から供給される補間対象信号と、移動部９３から供給される移動後の前補間対象信号を混合する。混合部９５は、混合後の画像信号を、補間対象信号と前補間対象信号の間の中間の時刻における画像信号を補間する補間信号として、選択部９６に供給する。

以上のように、判定部９４により混合比が決定される場合、混合部９５は、その混合比に基づいて、補間対象信号と、移動部９３により動きベクトルを用いて移動された前補間対象信号の混合による補間を行う。即ち、フェードインアウト信号が入力されない場合、フレームレート変換部６２は、動きベクトルを用いて画像信号を補間する通常補間処理を行う。

また、混合部９５は、判定部９４から供給される混合なし情報に応じて、フレームメモリ９１から供給される前補間対象信号を、そのまま補間信号として選択部９６に供給する。即ち、フェードインアウト信号が入力される場合、フレームレート変換部６２は、前補間対象信号をそのまま補間信号とする前置補間処理を行う。

このように、補間対象信号に対して、フェードインまたはフェードアウトが施されていることにより、動きベクトルが誤検出される可能性が高い場合、フレームレート変換部６２では、動きベクトルを用いた補間が行われず、前補間対象信号そのものが補間信号とされる。従って、誤った補間信号の生成が抑制され、補間後の画像信号の画質を向上させることができる。

選択部９６は、デコード処理部３３から供給される補間対象信号と、混合部９５から供給される補間信号のいずれか一方を選択し、所定のタイミングで、補間後の画像信号として出力する。具体的には、選択部９６は、補間対象信号と、その次の対象入力画像信号の間に、それらを用いて生成された補間信号を、補間後の画像信号として出力する。その結果、選択部９６から出力される補間後の画像信号のフレームレートは、入力画像信号のフレームレートの２倍となる。

次に、図６を参照して、フレームレート変換部６２による前置補間処理と通常補間処理について説明する。

ここでは、図６のＡに示すように、連続する３フレームの入力画像信号ａ乃至ｃが、フレームレート変換部６２に順に入力される場合について説明する。

通常補間処理では、入力画像信号ｂが補間対象信号とされると、入力画像信号ｂの動きベクトルに対応する混合比に基づいて、補間対象信号である入力画像信号ｂと、動きベクトルを用いて移動された前補間対象信号である入力画像信号ａが混合され、これにより、図６のＢに示すように、入力画像信号ａと入力画像信号ｂの間の中間の時刻における補間信号abが生成される。また同様に、入力画像信号ｃが補間対象信号とされると、入力画像信号ｃの動きベクトルに対応する混合比に基づいて、図６のＢに示すように、入力画像信号ｂと入力画像信号ｃの間の中間の時刻における補間信号bcを生成する。

一方、前置補間処理では、入力画像信号ｂが補間対象信号とされると、図６のＣに示すように、前補間対象信号である入力画像信号ａが、そのまま補間信号として生成される。また同様に、入力画像信号ｃが補間対象信号とされると、図６のＣに示すように、前補間対象信号である入力画像信号ｂが、そのまま補間信号として生成される。

次に、図７を参照して、図２の受信装置３０における画像処理について説明する。この画像処理は、例えば、デコード処理部３３から入力画像信号が入力されたとき、開始される。

ステップＳ１１において、画像処理部５１の検出部６１は、デコード処理部３３から入力される入力画像信号のレベルに基づいて、その入力画像信号にフェードインまたはフェードアウトが施されているかどうかを検出する検出処理を行う。この検出処理の詳細は、後述する図８を参照して説明する。

ステップＳ１２において、フレームレート変換部６２は、入力画像信号のフレームレートを変換するフレームレート変換処理を行う。このフレームレート変換処理の詳細は、後述する図１１を参照して説明する。

ステップＳ１３において、パネル駆動部１２は、フレームレート変換部６２から供給される補間後の画像信号に対してD/A変換を行い、その結果得られるアナログ信号に基づいて表示パネル１３を駆動し、表示パネル１３にフレーム単位の画像を表示させる。そして、処理は終了する。

次に、図８を参照して、図７のステップＳ１１の検出処理の詳細について説明する。

ステップＳ２１において、検出部６１のフレームメモリ８１は、デコード処理部３３から供給される入力画像信号を記憶する。この入力画像信号は、判定部８２にも供給され、判定部８２において、フェードインまたはフェードアウトが施されているかどうかを検出する検出対象となる。なお、以下では、この検出対象の入力画像信号を、検出対象信号という。

ステップＳ２２において、判定部９４は、フレームメモリ８１に既に記憶されている、検出対象信号の１フレーム前の入力画像信号（以下、前検出対象信号という）を読み出す。ステップＳ２３において、判定部９４は、前検出対象信号がゼロレベルである領域の大きさ、即ち、前検出対象信号がゼロレベルである画素の数（以下、前検出対象ゼロレベル画素数という）Ｙ_nが、予め設定された閾値Ｇ以上であるかどうかを判定する。

ここで、閾値Ｇは、フェードインが施された、連続する２フレームのフレーム単位の画像信号のうちの、前のフレームの画像信号がゼロレベルである画素の最低限の数である。即ち、フェードインが施されている場合、後のフレームになるに連れて画像信号のレベルが増加していく、即ち後のフレームになるに連れてゼロレベルの画素の数が減少していくため、連続する２フレームにおいて、減少前のゼロレベルの画素数として最低限の数を、閾値Ｇとして設定する。

ステップＳ２３において、前検出対象ゼロレベル画素数Ｙ_nが閾値Ｇ以上であると判定された場合、即ち、前検出対象ゼロレベル画素数Ｙ_nにより、検出対象信号にフェードインが施されている可能性があると判定される場合、ステップＳ２４において、判定部８２は、検出対象信号にフェードインが施されているかどうかを検出するフェードイン検出処理を行う。このフェードイン検出処理の詳細は、後述する図９を参照して説明する。ステップＳ２４の処理後、処理は図７のステップＳ１１に戻る。

一方、ステップＳ２３において、前検出対象ゼロレベル画素数Ｙ_nが閾値Ｇ以上ではないと判定された場合、即ち、前検出対象ゼロレベル画素数Ｙ_nにより、検出対象信号にフェードインが施された可能性がないと判定された場合、処理はステップＳ２５に進む。

ステップＳ２５において、判定部９４は、検出対象信号がゼロレベルである画素の数（以下、検出対象ゼロレベル画素数という）Ｙ_n+1が、予め設定された閾値Ｊ以上であるかどうかを判定する。

なお、閾値Ｊは、フェードアウトが施された、連続する２フレームのフレーム単位の画像信号のうちの、後のフレームの画像信号がゼロレベルである画素の最低限の数である。即ち、フェードアウトが施されている場合、後のフレームになるに連れて画像信号のレベルが減少していく、即ち後のフレームになるに連れてゼロレベルの画素の数が増加していくため、連続する２フレームにおいて、増加後のゼロレベルの画素数として最低限の数を、閾値Ｊとして設定する。

ステップＳ２５において、検出対象ゼロレベル画素数Ｙ_n+1が閾値Ｊ以上であると判定された場合、即ち、検出対象ゼロレベル画素数Ｙ_n+1により、検出対象信号にフェードアウトが施されている可能性があると判定される場合、ステップＳ２６において、判定部８２は、検出対象信号にフェードアウトが施されているかどうかを検出するフェードアウト検出処理を行う。このフェードアウト検出処理の詳細は、後述する図１０を参照して説明する。ステップＳ２６の処理後、処理は、図７のステップＳ１１に戻る。

一方、ステップＳ２５において、検出対象ゼロレベル画素数Ｙ_n+1が閾値Ｊ以上ではないと判定された場合、即ち、前検出対象ゼロレベル画素数Ｙ_nと検出対象ゼロレベル画素数Ｙ_n+1により、検出対象信号にフェードインとフェードアウトのいずれも施されている可能性がないと判定された場合、判定部８２は、検出対象信号にフェードインとフェードアウトのいずれも施されていないことを検出し、処理は、図７のステップＳ１１に戻る。

次に、図９を参照して、図８のステップＳ２４のフェードイン検出処理の詳細について説明する。

ステップＳ４１において、判定部８２は、カウント値Ｎを０に設定する。また、判定部８２は、検出対象信号を、フェードイン検出処理またはフェードアウト検出処理における判定の対象の入力画像信号（以下、判定対象信号という）とする。

ステップＳ４２において、判定部８２は、判定対象信号の最大のレベルの値（以下、判定対象最大レベル値という）Ｘ_n+Nから、判定対象信号の１フレーム前の入力画像信号の最大のレベルの値（以下、前判定対象最大レベル値という）Ｘ_n+N-1を減算した値が、予め設定された閾値Ｄ以上であるかどうかを判定する。

例えば、最初のステップＳ４２の処理では、判定部８２は、デコード処理部３３から供給され、検出対象信号とされた入力画像信号である判定対象信号の判定対象最大レベル値Ｘ_nから、フレームメモリ８１から読み出された前検出対象信号である前判定対象信号の前判定対象最大レベル値Ｘｎ−１を減算した値が、閾値Ｄ以上であるかどうかを判定する。

ここで、閾値Ｄは、フェードインが施された、連続する２フレームのフレーム単位の画像信号における最大のレベルの差の最小値である。即ち、フェードインが施されている場合、後のフレームになるに連れて画像信号のレベルが増加していくため、最大のレベルの値が増加する最低限の度合を閾値Ｄとして設定する。

ステップＳ４２において、判定対象最大レベル値Ｘ_n+Nから、前判定対象最大レベル値Ｘ_n+N-1を減算した値が閾値Ｄ以上ではないと判定された場合、即ち検出対象信号にフェードインが施されている可能性がない場合、判定部８２は、検出対象信号にフェードインが施されていないことを検出し、処理は、図７のステップＳ１１に戻る。

一方、ステップＳ４２において、判定対象最大レベル値Ｘ_n+Nから、前判定対象最大レベル値Ｘ_n+N-1を減算した値が閾値Ｄ以上であると判定された場合、即ち検出対象信号にフェードインが施されている可能性がある場合、処理はステップＳ４３に進む。

ステップＳ４３において、前判定対象信号がゼロレベルである画素の数（以下、前判定対象ゼロレベル画素数という）Ｙ_n+N-1から、判定対象信号がゼロレベルである画素の数(以下、判定対象ゼロレベル画素数という)Ｙ_n+Nを減算した値が、閾値Ｅ以上であるかどうかを判定する。

なお、閾値Ｅは、フェードインが施された、連続する２フレームのフレーム単位の画像信号におけるゼロレベルである画素の数の差の最小値である。即ち、フェードインが施されている場合、後のフレームになるに連れてゼロレベルの画素数が徐々に減少していくため、その減少の度合の最小値を閾値Ｅとして設定する。

ステップＳ４３において、前判定対象ゼロレベル画素数Ｙ_n+N-1から、判定対象ゼロレベル画素数Ｙ_n+Nを減算した値が、閾値Ｅ以上ではないと判定された場合、即ち、前判定対象信号から判定対象信号へのゼロレベルの画素数の変化が少なく、検出対象信号にフェードインが施されている可能性がない場合、判定部８２は、検出対象信号にフェードインが施されていないことを検出し、処理は、図７のステップＳ１１に戻る。

一方、ステップＳ４３において、前判定対象ゼロレベル画素数Ｙ_n+N-1から、判定対象ゼロレベル画素数Ｙ_n+Nを減算した値が、閾値Ｅ以上であると判定された場合、即ち、検出対象信号にフェードインが施されている可能性がある場合、処理は、ステップＳ４４に進む。

ステップＳ４４において、判定部８２は、判定対象信号の全画素のレベルの総和（以下、判定対象レベル総和という）Ｚ_n+Nから、前判定対象信号の全画素のレベルの総和（以下、前判定対象レベル総和という）Ｚ_n+N-1を減算した値が、閾値Ｆ以上であるかどうかを判定する。

ここで、閾値Ｆは、フェードインが施された、連続する２フレームのフレーム単位の画像信号における全画素のレベルの総和の差の最小値である。即ち、フェードインが施されている場合、後のフレームになるに連れてレベルが徐々に増加していくため、全画素のレベルの総和が増加する最低限の度合を閾値Ｆとして設定する。

ステップＳ４４において、判定対象レベル総和Ｚ_n+Nから、前判定対象レベル総和Ｚ_n+N-1を減算した値が、閾値Ｆ以上ではないと判定された場合、即ち、検出対象信号にフェードインが施されている可能性がない場合、判定部８２は、検出対象信号にフェードインが施されていないことを検出し、処理は、図７のステップＳ１１に戻る。

一方、ステップＳ４４において、判定対象レベル総和Ｚ_n+Nから、前判定対象レベル総和Ｚ_n+N-1を減算した値が、閾値Ｆ以上であると判定された場合、即ち、検出対象信号にフェードインが施されている可能性がある場合、ステップＳ４５において、判定部８２は、カウント値Ｎが、予め設定された所定の値Ｈより小さいかどうかを判定する。ここで、値Ｈは、検出対象信号にフェードインが施されているかどうかを検出するために必要な、判定対象信号のフレーム数から、１を減算した値である。

ステップＳ４５において、カウント値Ｎが値Ｈより小さいと判定された場合、ステップＳ４７において、判定部８２は、カウント値Ｎを１だけインクリメントする。ステップＳ４８において、判定部８２は、いまの判定対象信号の次のフレームの入力画像信号を、新しい判定対象信号とする。そして、処理はステップＳ４２に戻り、カウント値Ｎが値Ｈ以上となるまで、上述した処理が繰り返される。

ステップＳ４５において、カウント値Ｎが値Ｈより小さくない、即ちカウント値Ｎが値Ｈ以上であると判定された場合、ステップＳ４６において、判定部８２は、検出対象信号のフェードインアウト信号を出力し、処理は図７のステップＳ１１に戻る。

以上のように、判定部８２は、検出対象信号の１フレーム前の前検出対象信号から、検出対象信号のＨ＋１フレーム後の入力画像信号までの入力画像信号を用いて、ステップＳ４２乃至Ｓ４４の判定を行うことにより、検出対象信号にフェードインが施されているかどうかを検出する。

なお、ステップＳ４２乃至Ｓ４４の判定は、判定対象信号と前判定対象信号のレベルを検出することにより行うことができるので、判定部８２は、小規模の回路で、これらの判定を行うことができる。従って、画像処理部５１の回路規模を著しく増大させずに、検出対象信号にフェードインが施されているかどうかを検出することができる。

また、判定部８２は、ステップＳ４２乃至Ｓ４４の判定のすべてを行うのではなく、いずれか１つまたは２つの判定を行うようにしてもよい。

次に、図１０を参照して、図８のステップＳ２６のフェードアウト検出処理の詳細について説明する。

ステップＳ６１において、判定部８２は、カウント値Ｎを０に設定する。また、判定部８２は、検出対象信号を判定対象信号とする。

ステップＳ６２において、判定部８２は、前判定対象最大レベル値Ｘ_n+N-1から、判定対象最大レベル値Ｘ_n+Nを減算した値が、予め設定された閾値Ａ以上であるかどうかを判定する。

なお、閾値Ａは、フェードアウトが施された、連続する２フレームのフレーム単位の画像信号における最大レベルの差の最小値である。即ち、フェードアウトが施されている場合、後のフレームになるに連れて画像信号のレベルが減少していくため、最大のレベルの値が減少する最低限の度合を閾値Ａとして設定する。

ステップＳ６２において、前判定対象最大レベル値Ｘ_n+N-1から、判定対象最大レベル値Ｘ_n+Nを減算した値が閾値Ａ以上ではないと判定された場合、即ち検出対象信号にフェードアウトが施されている可能性がない場合、判定部８２は、検出対象信号にフェードアウトが施されていないことを検出し、処理は、図７のステップＳ１１に戻る。

一方、ステップＳ６２において、前判定対象最大レベル値Ｘ_n+N-1から、判定対象最大レベル値Ｘ_n+Nを減算した値が閾値Ａ以上であると判定された場合、即ち検出対象信号にフェードアウトが施されている可能性がある場合、処理はステップＳ６３に進む。

ステップＳ６３において、判定対象ゼロレベル画素数Ｙ_n+Nから、前判定対象ゼロレベル画素数Ｙ_n+N-1を減算した値が、閾値Ｂ以上であるかどうかを判定する。ここで、閾値Ｂは、フェードアウトが施された、連続する２フレームのフレーム単位の画像信号におけるゼロレベルの画素の数の差の最小値である。即ち、フェードアウトが施されている場合、後のフレームになるに連れてゼロレベルの画素数が徐々に増加していくため、その増加の度合の最小値を閾値Ｂとして設定する。

ステップＳ６３において、判定対象ゼロレベル画素数Ｙ_n+Nから、前判定対象ゼロレベル画素数Ｙ_n+N-1を減算した値が、閾値Ｂ以上ではないと判定された場合、即ち、前判定対象信号から判定対象信号へのゼロレベルの画素数の変化が少なく、検出対象信号にフェードアウトが施されている可能性がない場合、判定部８２は、検出対象信号にフェードアウトが施されていないことを検出し、処理は、図７のステップＳ１１に戻る。

一方、ステップＳ６３において、判定対象ゼロレベル画素数Ｙ_n+Nから、前判定対象ゼロレベル画素数Ｙ_n+N-1を減算した値が、閾値Ｂ以上であると判定された場合、即ち、検出対象信号にフェードアウトが施されている可能性がある場合、処理は、ステップＳ６４に進む。

ステップＳ６４において、判定部８２は、前判定対象レベル総和Ｚ_n+N-1から、判定対象レベル総和Ｚ_n+Nを減算した値が、閾値Ｃ以上であるかどうかを判定する。なお、閾値Ｃは、フェードアウトが施された、連続する２フレームのフレーム単位の画像信号における全画素のレベルの総和の差の最小値である。即ち、フェードアウトが施されている場合、後のフレームになるに連れてレベルが徐々に減少していくため、全画素のレベルの総和が減少する最低限の度合を閾値Ｃとして設定する。

ステップＳ６４において、前判定対象レベル総和Ｚ_n+N-1から、判定対象レベル総和Ｚ_n+Nを減算した値が、閾値Ｃ以上ではないと判定された場合、即ち、検出対象信号にフェードアウトが施されている可能性がない場合、判定部８２は、検出対象信号にフェードアウトが施されていないことを検出し、処理は、図７のステップＳ１１に戻る。

一方、ステップＳ６４において、前判定対象レベル総和Ｚ_n+N-1から、判定対象レベル総和Ｚ_n+Nを減算した値が、閾値Ｃ以上であると判定された場合、即ち、検出対象信号にフェードアウトが施されている可能性がある場合、ステップＳ６５において、判定部８２は、カウント値Ｎが、予め設定された所定の値Ｋより小さいかどうかを判定する。ここで、値Ｋは、検出対象信号にフェードアウトが施されているかどうかを検出するために必要な、判定対象信号のフレーム数から、１を減算した値である。なお、値Ｋは、値Ｈと同一であっても、異なっていてもよい。

ステップＳ６５において、カウント値Ｎが値Ｋより小さいと判定された場合、ステップＳ６７において、判定部８２は、カウント値Ｎを１だけインクリメントする。ステップＳ６８において、判定部８２は、いまの判定対象信号の次のフレームの入力画像信号を、新しい判定対象信号とする。そして、処理はステップＳ６２に戻り、カウント値Ｎが値Ｋ以上となるまで、上述した処理が繰り返される。

ステップＳ６８において、カウント値Ｎが値Ｋより小さくない、即ちカウント値Ｎが値Ｋ以上であると判定された場合、ステップＳ６６において、判定部８２は、検出対象信号のフェードインアウト信号を出力し、処理は図７のステップＳ１１に戻る。

以上のように、判定部８２は、検出対象信号の１フレーム前の前検出対象信号から、検出対象信号のＫ＋１フレーム後の入力画像信号までの入力画像信号を用いて、ステップＳ６２乃至Ｓ６４の判定を行うことにより、検出対象信号にフェードアウトが施されているかどうかを検出する。

なお、ステップＳ６２乃至Ｓ６４の判定は、ステップＳ４２乃至Ｓ４４の判定と同様に、判定対象信号と前判定対象信号のレベルを検出することにより行うことができるので、判定部８２は、小規模の回路で、これらの判定を行うことができる。従って、画像処理部５１の回路規模を著しく増大させずに、検出対象信号にフェードアウトが施されているかどうかを検出することができる。

また、判定部８２は、ステップＳ６２乃至Ｓ６４の判定のすべてを行うのではなく、いずれか１つまたは２つの判定を行うようにしてもよい。

次に、図１１を参照して、図７のステップＳ１２のフレームレート変換処理の詳細について説明する。

ステップＳ８１において、フレームレート変換部６２の選択部９６は、デコード処理部３３から供給される入力画像信号を、補間後の画像信号として出力する。ステップＳ８２において、フレームメモリ９１は、デコード処理部３３から供給される入力画像信号を記憶する。ステップＳ８３において、フレームメモリ９１は、既に記憶されている、ステップＳ８２で記憶された入力画像信号の前の入力画像信号を、前補間対象信号として読み出し、検出部９２、移動部９３、および混合部９５に供給する。

ステップＳ８４において、検出部９２は、デコード処理部３３から供給される入力画像信号を補間対象信号として、補間対象信号と、フレームメモリ９１から供給される前補間対象信号に基づいて、補間対象信号のブロック単位の動きベクトルを検出する。そして、検出部９２は、検出したブロック単位の動きベクトルを、移動部９３と判定部９４に供給する。

ステップＳ８５において、移動部９３は、検出部９２から供給されるブロック単位の動きベクトルに基づいて、フレームメモリ９１から供給される前補間対象信号をブロック単位で移動し、移動後の前補間対象信号を混合部９５に供給する。

ステップＳ８６において、判定部９４は、検出部６１の判定部８２から、補間対象信号のフェードインアウト信号が入力されたかどうかを判定する。具体的には、例えば、図９のステップＳ４６または図１０のステップＳ６６で出力される、検出対象信号のフェードインアウト信号には、その検出対象信号を特定するための情報（例えば、フレーム番号）が付加されており、判定部９４は、補間対象信号を特定するための情報が付加されたフェードインアウト信号が、判定部８２から入力されているかどうかを判定する。

ステップＳ８６において、補間対象信号のフェードインアウト信号が入力されていないと判定された場合、ステップＳ８７において、判定部９４は、検出部９２から供給されるブロック単位の動きベクトルに基づいて、ブロック単位の信頼度を決定する。

ステップＳ８８において、判定部９４は、ステップＳ８７で決定されたブロック単位の信頼度に基づいて、混合比を決定する。具体的には、例えば、ブロック単位の信頼度が高い場合、判定部９４は、移動後の前補間対象信号の画素を混合する比率が高くなるようにブロック単位の混合比を決定し、ブロック単位の信頼度が低い場合、移動後の前補間対象信号の画素を混合する比率が低くなるようにブロック単位の混合比を決定する。判定部９４は、決定したブロック単位の混合比を混合部９５に供給する。

ステップＳ８９において、混合部９５は、判定部９４から供給される混合比に基づいて、デコード処理部３３から供給される補間対象信号と、移動部９３から供給される移動後の前補間対象信号を混合する。混合部９５は、混合後の画像信号を補間信号として、選択部９６に供給する。以上のようにして、検出部６１からフェードインアウト信号が入力されていない場合、フレームレート変換部６２は、通常補間処理を行う。

一方、ステップＳ８６で、補間対象信号のフェードインアウト信号が入力されたと判定された場合、ステップＳ９０において、判定部９４は、混合なし情報を混合部９５に供給する。ステップＳ９１において、混合部９５は、判定部９４から供給される混合なし情報に応じて、フレームメモリ９１から供給される前補間対象信号を、そのまま補間信号として選択部９６に供給する。

以上のようにして、検出部６１からフェードインアウト信号が入力された場合、フレームレート変換部６２は、前置補間処理を行う。従って、補間対象信号にフェードインまたはフェードアウトが施されていることにより、動きベクトルを正確に検出することが困難である場合において、誤った動きベクトルによる補間エラーの発生が回避され、補間後の画像信号の画質が向上する。

ステップＳ９２において、選択部９６は、混合部９５から供給される補間信号を、補間後の画像信号として出力し、処理は図７のステップＳ１２に戻る。

なお、上述した説明では、連続する画像信号の中間の時刻における画像信号が補間されたが、中間の時刻に限らず、任意の時刻における画像信号が補間されるようにしてもよい。

また、上述した説明では、検出部６１が、フェードインまたはフェードアウトが施されている場合を検出したが、その他の、被写体の画像信号のレベルや画素数が時間的に変化する場合を検出してもよい。

また、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

従来の画像処理装置の構成例を示すブロック図である。 本発明を適用した受信装置の一実施の形態の構成例を示す図である。 図２の画像処理部と表示部の詳細構成例を示す図である。 図３の検出部の詳細構成例を示す図である。 図３のフレームレート変換部の詳細構成例を示す図である。 前置補間処理と通常補間処理について説明する図である。 図２の受信装置における画像処理について説明するフローチャートである。 ステップＳ１１の検出処理の詳細について説明するフローチャートである。 ステップＳ２４のフェードイン検出処理の詳細について説明するフローチャートである。 ステップＳ２６のフェードアウト検出処理の詳細について説明するフローチャートである。 ステップＳ１２のフレームレート変換処理の詳細について説明するフローチャートである。

符号の説明

３０ 受信装置， ５１ 画像処理部， ６１ 検出部， ６２ フレームレート変換部， ８２ 判定部， ９２ 検出部， ９３ 移動部， ９５ 混合部

Claims (5)

1. 入力された時系列の各画素の画像信号である入力画像信号の動きベクトルを検出する検出手段と、
   前記入力画像信号がゼロレベルである画素の数の時間変化量に基づいて、前記入力画像信号が所定の条件を満たしているかどうかを判定する判定手段と、
   前記入力画像信号が所定の条件を満たしていないと判定された場合、前記動きベクトルに基づいて、前記入力画像信号と、その入力画像信号の１つ前の入力画像信号である前入力画像信号の間の任意の時刻における画像信号である入力画像信号間信号を補間して出力し、前記所定の条件を満たしていると判定された場合、前記前入力画像信号を、そのまま前記入力画像信号間信号として出力する補間手段と
   を備える画像処理装置。
2. 前記判定手段は、前記入力画像信号がゼロレベルである画素の数の時間変化量と、前記入力画像信号の最大のレベル、および、各時刻における前記入力画像信号のレベルの総和のうちの、少なくとも１つの時間変化量とに基づいて、前記入力画像信号が前記所定の条件を満たしているかどうかを判定する
   請求項１に記載の画像処理装置。
3. 前記判定手段は、前記入力画像信号または前記前入力画像信号がゼロレベルである画素の数が、所定の数以上である場合、前記入力画像信号がゼロレベルである画素の数の時間変化量と、前記入力画像信号の最大のレベル、および、各時刻における前記入力画像信号のレベルの総和のうちの、少なくとも１つの時間変化量とに基づいて、前記入力画像信号が前記所定の条件を満たしているかどうかを判定する
   請求項１に記載の画像処理装置。
4. 入力された時系列の各画素の画像信号である入力画像信号を補間する画像処理装置の画像処理方法において、
   前記入力画像信号の動きベクトルを検出し、
   前記入力画像信号がゼロレベルである画素の数の時間変化量に基づいて、前記入力画像信号が所定の条件を満たしているかどうかを判定し、
   前記入力画像信号が所定の条件を満たしていないと判定された場合、前記動きベクトルに基づいて、前記入力画像信号と、その入力画像信号の１つ前の入力画像信号である前入力画像信号の間の任意の時刻における画像信号である入力画像信号間信号を補間して出力し、前記所定の条件を満たしていると判定された場合、前記前入力画像信号を、そのまま前記入力画像信号間信号として出力する
   ステップを含む画像処理方法。
5. 入力された時系列の各画素の画像信号である入力画像信号を補間する画像処理を、コンピュータに行わせるプログラムにおいて、
   前記入力画像信号の動きベクトルを検出し、
   前記入力画像信号がゼロレベルである画素の数の時間変化量に基づいて、前記入力画像信号が所定の条件を満たしているかどうかを判定し、
   前記入力画像信号が所定の条件を満たしていないと判定された場合、前記動きベクトルに基づいて、前記入力画像信号と、その入力画像信号の１つ前の入力画像信号である前入力画像信号の間の任意の時刻における画像信号である入力画像信号間信号を補間して出力し、前記所定の条件を満たしていると判定された場合、前記前入力画像信号を、そのまま前記入力画像信号間信号として出力する
   ステップを含む画像処理をコンピュータに行わせるプログラム。

Images