JP4556982B2 - 映像信号処理装置および映像信号処理方法 - Google Patents

Description

この発明は、例えばテレビジョン受像機に設けられる映像信号処理装置および映像信号処理方法に関する。

ディスプレイに供給される映像信号に対して高画質化の処理がなされる。例えば輪郭補正処理、コントラスト補正処理等の高画質化処理がなされる。下記の特許文献１には、入力ＲＧＢ信号から輝度信号を生成し、輝度信号の最大輝度差を検出し保持し、最大輝度差を輪郭補正量に変換し、輪郭補正量の時間的平均をとることによって輪郭強調利得信号を形成し、輪郭強調利得信号によってゲインを調整して輪郭補正信号を生成し、輪郭補正信号によって、輪郭補正を行うことが記載されている。さらに、ＣＰＵ(Central Processing Unit)によって補正信号を形成することが記載されている。

特開２００５−１７６０６０号公報

特許文献１に記載の輪郭補正のような高画質化処理装置においては、画像の計測情報例えば上述した輝度信号の最大輝度差に基づいて最適な高画質化制御が行われる。画像計測情報から画像制御情報例えば輪郭補正信号を生成するまでにある程度の時間を要する。したがって、画像計測情報を得た画像と、当該画像制御情報による処理の対象の画像とが１フレームずれる場合が生じる。このことは、良好な制御を行う点で問題が生じる場合がある。

フレームメモリを使用してこのずれを防止するようになされる。すなわち、画像計測後に映像データをフレームメモリへ一時的に格納することによって映像データを遅延させ、ＣＰＵによる画像制御情報算出時間を稼ぐようになされる。

このような位相合わせの方法は、下記のような問題を生じる。
・システム全体の映像フレーム遅延が増加する。
・高画質化回路とフレームメモリー間の通信帯域の消費が生じる。
・フレームメモリーの必要領域が増加する。

したがって、この発明の目的は、かかる問題の発生を回避しつつ、画像情報に基づく最適な動的高画質化制御を実現することができる映像信号処理装置および映像信号処理方法を提案することにある。

上述の課題を解決するために、この発明は、入力映像信号の各フレームの画像情報を計測する画像計測手段と、
入力映像信号が格納される２フレーム以上の領域を有する記憶手段と、
記憶手段の読出しを制御することによって、フレームレートの変換を行うフレームレート変換手段と、
フレームレート変換手段によるフレームレート変換時のフレーム遅延時間を利用し、画像情報を使用して高画質化処理のための制御情報を生成し、生成した制御情報を各フレームの入力映像信号と対応付けて記憶手段に格納する制御情報生成手段と、
フレームレート変換手段から出力されるフレームレート変換後の映像信号および制御情報が供給され、制御情報に基づいてフレームレート変換後の映像信号のフレーム毎に高画質化の処理を行う画像処理制御手段とを備え、
フレームレート変換後の映像信号と高画質化制御の位相を合わせるようにした映像信号処理装置である。

また、この発明は、入力映像信号の各フレームの画像情報を計測する画像計測ステップと、
入力映像信号が格納される２フレーム以上の領域を有する記憶手段の読出しを制御することによって、フレームレートの変換を行うフレームレート変換ステップと、
フレームレート変換ステップによるフレームレート変換時のフレーム遅延時間を利用し、画像情報を使用して高画質化処理のための制御情報を生成し、生成した制御情報を各フレームの入力映像信号と対応付けて記憶手段に格納する制御情報生成ステップと、
フレームレート変換ステップによるフレームレート変換後の映像信号および制御情報が供給され、制御情報を使用してフレームレート変換後の映像信号のフレーム毎に高画質化の処理を行う画像処理制御ステップとを有し、
フレームレート変換後の映像信号と高画質化制御の位相を合わせるようにした映像信号処理方法である。

この発明によれば、画像計測情報に基づき、ＣＰＵ にて算出された高画質化画像処理
のための制御情報と出力画像信号の位相をフレームメモリをアクセスせずに合わせることができ、最適な動的高画質化制御が可能になる。したがって、この発明では、高画質化制御においては、ＣＰＵ処理は、入力垂直同期信号に対してのみ同期して動作を行えばよく、構成および処理を簡略化することができる。

以下、この発明による映像信号処理装置の一実施の形態について図面を参照して説明する。図１に示すように、一実施の形態における映像信号処理装置は、ＣＰＵ１０１と、フレームメモリ１０２と、映像信号処理ブロック１０３とから構成されている。ＣＰＵ１０１とフレームメモリ１０２との間がメモリバス１０４で接続されている。ＣＰＵ１０１と映像信号処理ブロック１０３との間がレジスタバス１０５で接続されている。

映像信号処理ブロック１０３は、映像信号（例えばデジタル輝度信号）入力端子１０６と接続された画像計測ブロック１０７と、画像計測ブロック１０７と接続された画像スケーリングブロック１０８と、フレームレート変換ブロック１０９と、高画質化のための画像処理制御ブロック１１０とを有し、画像処理制御ブロック１１０から出力端子１１１にフレームレートが変換され、高画質化の処理がなされた出力映像信号が取り出される。

画像スケーリングブロック１０８とフレームメモリ１０２との間にメモリバス１１２が設けられ、フレームメモリ１０２とフレームレート変換ブロック１０９との間にメモリバス１１３が設けられている。

画像計測ブロック１０７は、入力映像信号から高画質化の処理に必要な制御信号を形成するために、高画質化の処理に対応して入力映像信号の所望の情報を計測する。高画質化の処理としては、輪郭補正等が可能である。一例として、処理対象の１フレームの画像の画像平均輝度（ＡＰＬと称する）が計測され、画像処理制御ブロック１１０において、ＡＰＬに適応した輝度の入出力特性の制御がなされる。ＡＰＬに代えて１フレーム内の輝度のヒストグラムを計測しても良い。なお、この動的な画質制御の例の詳細については、後述する。

画像計測ブロック１０７の計測情報をレジスタバス１０５を介してＣＰＵ１０１が読み取り、ＣＰＵ１０１において、画像処理制御ブロック１１０に対して設定すべき制御情報が算出される。ＣＰＵ１０１が算出した制御情報（例えばレジスタ値）がメモリバス１０４経由してフレームメモリ１０２に供給される。

画像スケーリングブロック１０８は、表示パネルの解像度等に合わせて入力映像信号を拡大または縮小する。例えば表示パネルが（１９２０×１０８０）プログレッシブの表示を行う場合、入力映像信号が（７２０×４８０）インタ−レース（飛び越し走査）信号であれば、画像スケーリングブロック１０８において拡大処理がなされ、表示パネルに表示するのに適合したサイズの画像信号が形成される。

画像スケーリングブロック１０８の処理後の画像データがメモリバス１１２を介してフレームメモリ１０２に書き込まれる。書き込み後に、上述したＣＰＵ１０１が算出した制御情報が書き込まれた画像データとパッキングされてフレームメモリ１０２に対して格納される。パッキングということは、例えば１フレームの画像データと当該画像データに付随する制御情報とが関連付けられてフレームメモリ１０２に記憶されることを意味する。言い換えると、画像データとその画像データに関する制御情報とを一緒にフレームメモリ１０２から読み出すことができることを意味する。一例として、画像データと制御情報との関連を示すテーブルを作成し、テーブルを参照して画像データおよび制御情報を読み出すようにしても良い。

フレームメモリ１０２に書き込まれた画像データおよび制御情報が読み出され、読み出された画像データおよび制御情報がメモリバス１１３を介してフレームレート変換ブロック１０９に供給される。フレームレート変換ブロック１０９において、フレームレートが変換される。

フレームレート変換ブロック１０９でフレームレートが変換された映像信号が画像処理制御ブロック１１０に供給され、高画質化の処理を受ける。この場合、高画質化の制御情報は、ブランキング期間に画像信号よりも先にフレームメモリ１０２から読み出され、高画質化のための画像処理制御ブロック１１０が垂直ブランキング期間中に高画質化設定を更新する。画像処理制御ブロック１１０が高画質化の処理を行い、出力端子１１１にフレームレートが変換され、高画質化された出力ビデオ信号が取り出される。

図２のタイミングチャートを参照してこの発明の一実施の形態の処理の時間的流れについて説明する。図２においてＶsy１が入力映像信号と同期した垂直同期信号であり、Ｄen１が入力映像信号と同期したデータイネーブル信号である。データイネーブル信号Ｄen１のハイレベルの期間が映像データの存在する期間であり、そのローレベルの期間が垂直ブランキング期間である。なお、図２のタイミングチャートは、ある一つの垂直区間の処理に注目した場合を示す。

画像計測ブロック１０７は、入力映像信号の１垂直区間中の映像データの区間において、その画像のＡＰＬ等を計測する（区間２０１）。計測結果が画像処理ブロック１０７において、次の１垂直区間保持されている（区間２０２）。画像スケーリングブロック１０８は、画像計測ブロック１０７が計測の対象としている１垂直区間の映像信号をスケーリングし、スケーリング後の画像データをメモリバス１１２を介してフレームメモリ１０２に書き込む（区間２０３）。

ＣＰＵ１０１は、入力映像データの垂直同期信号Ｖsy１と同期して処理を行う。画像計測ブロック１０７に保持されている計測情報をＣＰＵ１０１が取得する（区間２０４）。取得した計測情報を使用して制御情報を生成し、生成した制御情報をメモリバス１１２を介してフレームメモリ１０２に対して書き込む（区間２０５）。この場合、前の区間２０３においてフレームメモリ１０２に書き込まれているスケーリング後の画像データと関連付けて制御情報がフレームメモリ１０２に書き込まれる。

制御情報をフレームメモリ１０２に書き込んだ後に、フレームレート変換処理および高画質化処理がなされる。区間２０６において、フレームメモリ１０２から読み出すフレームを決定し、決定されたフレームの制御情報がフレームメモリ１０２から読み出される。読み出された制御情報が画像処理制御ブロック１１０に供給され、画像処理制御ブロック１１０に設定されている制御情報が更新される。

画像処理制御ブロック１１０が行う高画質化の処理は、出力垂直同期信号Ｖsy２と同期して行われる。Ｄen２は、出力映像データのイネーブル信号であり、そのハイレベルの区間が映像区間であり、そのローレベルの区間が垂直ブランキング期間である。上述した読み出しフレームの決定と、制御情報の読み出しと、読み出した制御情報によって画像処理制御ブロック１１０の制御情報の更新（区間２０６）が垂直ブランキング期間内で行われる。制御情報が先行して更新されるので、区間２０７において同じ垂直区間の映像信号に対する高画質化の処理を更新された制御情報に対応して行うことができる。

フレームレート変換ブロック１０９は、図３のタイミングチャートで示すようにフレームレートを変換する。フレームメモリ１０２がメモリ領域として３フレーム分（領域１，領域２，領域３）を有している。入力垂直同期信号Ｖsy１と同期する入力映像データＤinがフレームメモリ１０２の各領域に順に書き込まれる。

出力映像データのフレームレートが入力映像データの約２倍の場合には、出力垂直同期信号Ｖsy２がＶsy１の約２倍の周波数を有する。入力映像データがフレームメモリ１０２に対して１回書き込まれる期間に、フレームレート変換ブロック１０９では、同一のフレームを２回読み出すようになされる。この処理をリピートと称する。

出力映像データのフレームレートが入力映像データの約１／２の場合には、出力垂直同期信号Ｖsy２がＶsy１の約１／２の周波数を有する。入力映像データに対し、フレームメモリ領域を破綻させることなく、且つリアルタイムで表示を行うために、フレームの読み飛ばしが必要になる。この処理をスキップと称する。

なお、フレームレートの変換の際に、動きに適応した補間を行うようにしても良い。例えばスキップ処理の場合に、同一の画像を繰り返す方法に限らず、追加されるフレームの動きがある画素に関して、前後のフレームの画像から補間された画素で置き換えるようにしても良い。また、フレームレートの変換に伴って水平走査線の周波数が２倍（リピートの場合）、またはその周波数が１／２（スキップの場合）とされる。

このようにしてフレームレートの変換がなされる。通常、フレームレート変換においては、映像データの書き込み側である画像スケーリングブロック１０８は、フレームレート変換後の映像データの読み出し側であるフレームレート変換ブロック１０９が読み出しているメモリ領域に対しては、読み出しが先に完了する場合のみ、書き込みが許容され、フレームレート変換ブロック１０９が読み出していない領域に対しては、書き込みが許可されることにより、読み出している（表示している）映像を書き込み側が上書きして追い越していく追越現象を防止する。このようにリピートおよびスキップ処理によってフレームレート変換を制御するシステムにおいては、図３に示すように、入力垂直同期信号Ｖsy１の１周期以上の時間をＣＰＵ１０１の処理時間として活用することができる。

図４を参照してフレームメモリ１０２内の各データのパッキングについて説明する。フレームメモリ１０２には、フレーム１の領域４０１、フレーム２の領域４０２、フレーム３の領域４０３が確保することが可能とされている。画像スケーリングブロック１０８が入力映像データを画像データ領域４０４，画像データ領域４０５，画像データ領域４０６，画像データ領域４０４，画像データ領域４０５，・・・とスケーリングした映像を順に格納する。

ＣＰＵ１０１は、画像計測ブロック１０７が計測した計測情報から制御情報を算出し、算出した制御情報を制御情報領域４０７，制御情報領域４０８，制御情報領域４０９，制御情報領域４０７，制御情報領域４０８，・・・と順に格納する。この場合、画像スケーリングブロック１０８が格納する映像データと制御情報とがパッキングされて各領域に格納される。

フレームレート変換ブロック１０９は、スキップ処理とリピート処理の何れを行うかを判定し、判定結果に基づいてフレーム領域４０１，４０２，４０３の選択を行う。選択された領域から出力垂直同期信号に同期して、最初に制御情報を読み出し、画像処理制御ブロック１１０の制御情報の設定を読み出した制御情報に更新する。そして、領域４０４，４０５，４０６の何れかの映像データを読み出し、フレームレートの変換を行い、画像処理制御ブロック１１０において、読み出した映像データに対応した高画質化制御を行う。

なお、画像処理制御ブロック１１０には、前段のフレームレート変換ブロック１０９から高画質化のための制御情報（高画質化制御レジスタ群）を更新する手段が設けられている。画像処理制御ブロック１１０が直接フレームメモリ１０２から高画質化制御情報を取得しない理由としては、フレームレート変換ブロック１０９が前述のスキップ処理とリピート処理により、フレームメモリ１０２内の読み出す領域（図４中の領域４０４，４０５，４０６の何れかの該当領域）を決定することに起因している。また、フレームレート変換ブロック１０９には、領域４０４，４０５，４０６の何れかの該当領域から映像データを読み出す前に、ブランキング期間内に高画質化制御情報（図４中の領域４０７，４０８，４０９の何れかの該当領域）を読み出すようになされている。

上述したこの発明の一実施の形態についてより具体的な例について図５を参照して説明する。この例は、画像計測ブロック１０７において、ＡＰＬ（画像平均輝度）を計測し、画像処理制御ブロック１１０において、ＡＰＬに適応した入出力輝度特性の制御を行うものである。ＡＰＬは、画面内の全画素が最大のレベル（白）であるときを１００％とし、全画素が最小のレベル（黒）であるときを０％となる。つまり、ＡＰＬは、パーセンテージ値である。

図５のタイミングチャートは、図２のタイミングチャートをより具体的に示すものである。入力垂直同期信号Ｖsy１、データイネーブル信号Ｄen１、入力映像信号Ｄinが示されている。入力映像信号Ｄinは、フレームＡ、Ｂ、Ｃ、ＤのそれぞれのＡＰＬが順に低い値となっている。画像計測ブロック１０７は、入力映像信号の各フレームのＡＰＬを計測し、ＡＰＬの計測結果（画像計測情報）が各フレーム期間で得られる。例えばＡＰＬが５０％、４０％、３０％、２０％とそれぞれ求められる。

画像スケーリングブロック１０８が画像データをフレームメモリ１０２に書き込み、フレームレート変換ブロック１０９がフレームメモリ１０２から画像データを読み出す。図５の例では、スキップ処理によってフレームレートが１／２とされている。

画像処理制御ブロック１１０に対して入力される映像データＤin'は、出力垂直同期信
号Ｖsy２と同期したものである。映像データＤin'は、スケーリングおよびフレームレー
ト変換がなされたものである。但し、ＡＰＬは、入力映像データと同様であり、フレームＡのＡＰＬが５０％であり、フレームＢのＡＰＬが４０％である。

画像処理制御ブロック１１０においては、入力輝度５０％のレベルを伸長するゲインを最大とする入出力輝度制御特性が使用される。この時、入力データのレベルと出力データのレベルの比をゲインGainとすると、下記の式で表される制御を行う。

Gain ＝入力輝度×（１００％−入力輝度）

上式の入力輝度に５０％を代入し、GainMax 値を求めると２５％になる。このGainMax
値を使用し、計測したＡＰＬに依存した伸長Gainを以下のように定義する

伸長Gain＝（１００％−ＡＰＬ）×GainMax

この式からわかるように、ＡＰＬが高いほど伸長Gainは低く、つまり、高画質化制御を行わない。逆に、ＡＰＬが低いほど伸長Gainは高く、画面全体の輝度特性を伸長するような制御を行うことになる。図５を参照すると分かるように、ＡＰＬ が高い画像Ａは、伸
長Gainが低いので、輝度伸長処理のレベルは低い。逆に画像ＡよりもＡＰＬが低い画像Ｂは、画像Ａよりも高い伸長Gainで制御していることがわかる。

この発明は、上述の実施の形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。例えばこの発明は、高画質化制御として入出力輝度特性の制御以外に輪郭補正等の他の制御に対しても適用できる。

この発明の一実施の形態による映像信号処理装置の構成の一例を示すブロック図である。 この発明の一実施の形態の処理の一例を示すタイミングチャートである。 この発明の一実施の形態におけるフレームレート変換処理の例を示すタイミングチャートである。 この発明の一実施の形態におけるフレームメモリのマッピングの一例を示す略線図である。 この発明の一実施の形態の処理の具体例を示すタイミングチャートである。

符号の説明

１０１・・・ＣＰＵ
１０２・・・フレームメモリ
１０３・・・映像信号処理ブロック
１０７・・・画像計測ブロック
１０８・・・画像スケーリングブロック
１０９・・・フレームレート変換ブロック
１１０・・・画像処理制御ブロック

Claims (3)

1. 入力映像信号の各フレームの画像情報を計測する画像計測手段と、
   上記入力映像信号が格納される２フレーム以上の領域を有する記憶手段と、
   上記記憶手段の読出しを制御することによって、フレームレートの変換を行うフレームレート変換手段と、
   上記フレームレート変換手段によるフレームレート変換時のフレーム遅延時間を利用し、上記画像情報を使用して高画質化処理のための制御情報を生成し、生成した制御情報を各フレームの入力映像信号と対応付けて上記記憶手段に格納する制御情報生成手段と、
   上記フレームレート変換手段から出力されるフレームレート変換後の映像信号および上記制御情報が供給され、上記制御情報に基づいて上記フレームレート変換後の映像信号のフレーム毎に高画質化の処理を行う画像処理制御手段とを備え、
   上記フレームレート変換後の映像信号と高画質化制御の位相を合わせるようにした映像信号処理装置。
2. 上記制御情報生成手段がＣＰＵである請求項１記載の映像信号処理装置。
3. 入力映像信号の各フレームの画像情報を計測する画像計測ステップと、
   上記入力映像信号が格納される２フレーム以上の領域を有する記憶手段の読出しを制御することによって、フレームレートの変換を行うフレームレート変換ステップと、
   上記フレームレート変換ステップによるフレームレート変換時のフレーム遅延時間を利用し、上記画像情報を使用して高画質化処理のための制御情報を生成し、生成した制御情報を各フレームの入力映像信号と対応付けて上記記憶手段に格納する制御情報生成ステップと、
   上記フレームレート変換ステップによるフレームレート変換後の映像信号および上記制御情報が供給され、上記制御情報を使用して上記フレームレート変換後の映像信号のフレーム毎に高画質化の処理を行う画像処理制御ステップとを有し、
   上記フレームレート変換後の映像信号と高画質化制御の位相を合わせるようにした映像信号処理方法。

Images