JP4120945B2 - 画像信号変換装置及び画像信号変換方法 - Google Patents

Description

本発明は信号処理装置及び信号処理方法、並びに画像信号変換装置及び画像信号変換方法に関し、例えばテレビジョン装置に適用して好適なものである。

従来、テレビジヨン受像機は、テレビ局から送信されるテレビジヨン放送信号を受信し、これに基づく画像を画面上に表示するようになされている。
すなわちテレビジヨン受像機は、テレビ局から送信されるテレビジヨン放送信号をアンテナ及びチユーナで受信及び選局し、当該テレビジヨン放送信号に所定の信号処理を施した後、これに基づく画像及び音声を出力する。
このようにしてユーザはテレビ局から送信されるテレビジヨン放送信号による番組等を視聴し得る。

ところで、このようなテレビジヨン受像機は与えられる画像をそのまま表示するだけの受動的な機能しか備えておらず、画像を見ている際に『今の場面を繰り返し見たい』というユーザの要求を満足させることができなかつた。
このような要求を実現する方法として、ＶＴＲ（Video Tape Recorder ）やビデオデイスク等の記録媒体に記録した画像を再生してモニタ上に表示させるという方法があるが、所望の場面の再生画像を繰り返して視聴する場合、記録媒体の巻き戻し操作を繰り返す必要があり、操作が煩雑になるという問題がある。

これを回避するために、内部にメモリ等でなる記憶部を設けてテレビジヨン放送信号を記憶し、当該記憶したテレビジヨン放送信号を再生することにより、見直したい場面を視聴し得るテレビジヨン受像機が提案されている。

ところでかかる構成のように内部に記憶部を設けたテレビジヨン受像機においては、テレビジヨン放送信号をそのままの状態で記憶した場合、記憶できる情報量が小さく、静止画像しか表示できず、ユーザの要求を十分に満たすことができない。

このような問題を解決するために、特開平6-78229 号公報に開示されているようなテレビジヨン信号受信装置が提案されている。これは入力されるテレビジヨン放送信号を圧縮して記憶することにより記憶できる情報量を増加させ、動画像をリプレイできるようにしたものである。
ところが、この種のテレビジヨン信号受信装置は、長時間の画像信号を記憶するために圧縮効率を高めると画像情報の劣化が大きくなつて表示画像の画質が低下し、また画質を高めるために圧縮効率を低くすると長時間の記憶ができないという問題があつた。

本発明は以上の点を考慮してなされたもので、入力画像信号に基づく画像の所望の場面のリプレイ画像を良好な画質で繰り返し表示でき、かつ長時間表示することができる信号処理装置及び信号処理方法、並びに画像信号変換装置及び画像信号変換方法を提案しようとするものである。

かかる課題を解決するため本発明においては、映像信号における画素を間引くことにより圧縮処理され解像度の劣化した第１の画像信号を、注目画素及び当該注目画素周辺の複数の画素を単位ブロツクとする第１の分割画像信号に分割する分割手段と、教師データと当該教師データを圧縮処理によって圧縮した後に当該圧縮処理に対応する伸長手法によって復号した復号教師データとの間に生じる誤差を修正するよう、復号教師データが表す画像信号のレベル分布パターンに応じて分類される複数のクラスに分類した上で、当該クラス毎に算出された予測係数を格納した記憶手段と、第１の分割画像信号のレベル分布パターンに応じて分類する当該第１の分割画像信号を複数のクラスのうち一のクラスにクラス分類する第１のクラス分類手段と、第１の分割画像信号が属するクラスに対応する予測係数及び第１の画像信号が表す画素値を積和演算することにより間引かれた画素の画素値を生成する予測演算処理を行うことにより、第１の画像信号よりも解像度の向上した第２の画像信号を形成する予測演算手段と、映像信号において動きを有する動き領域を示す領域番号から第２の画像信号において動き領域と対応する領域を拡大対象となる拡大領域として選択し、拡大領域における注目画素及び当該注目画素周辺の複数の画素を単位ブロツクとする第２の分割画像信号に分割し、第２の分割画像信号のレベル分布パターンに応じて分類することにより、当該第２の分割画像信号を複数のクラスのうち一のクラスにクラス分類し、第２の分割画像信号が属するクラスに対応する予測係数及び第２の分割画像信号が表す画素値を積和演算することにより補間する画素の画素値を生成する予測演算処理を行うことにより、拡大画像信号の空間解像度を上げる拡大画像形成手段とを設けるようにした。

また本発明においては、映像信号における画素を間引くことにより圧縮処理され解像度の劣化した第１の画像信号を、注目画素及び当該注目画素周辺の複数の画素を単位ブロツクとする第１の分割画像信号に分割する分割ステップと、第１の分割画像信号のレベル分布パターンに応じて分類する当該第１の分割画像信号を複数のクラスのうち一のクラスにクラス分類する第１のクラス分類ステップと、教師データと当該教師データを圧縮処理によって圧縮した後に当該圧縮処理に対応する伸長手法によって復号した復号教師データとの間に生じる誤差を修正するよう復号教師データが表す画像信号のレベル分布パターンに応じて分類される複数のクラスに分類した上で当該クラス毎に算出された予測係数のうち第１の分割画像信号が属するクラスに対応する予測係数及び第１の画像信号が表す画素値を積和演算することにより間引かれた画素の画素値を生成する予測演算処理を行うことにより、第１の画像信号よりも解像度の向上した第２の画像信号を形成する予測演算ステップと、映像信号において動きを有する動き領域を示す領域番号から第２の画像信号において動き領域と対応する領域を拡大対象となる拡大領域として選択し、拡大領域における注目画素及び当該注目画素周辺の複数の画素を単位ブロツクとする第２の分割画像信号に分割し、第２の分割画像信号のレベル分布パターンに応じて分類することにより、当該第２の分割画像信号を複数のクラスのうち一のクラスにクラス分類し、第２の分割画像信号が属するクラスに対応する予測係数及び第２の分割画像信号が表す画素値を積和演算することにより補間する画素の画素値を生成する予測演算処理を行うことにより、拡大画像信号の空間解像度を上げる拡大画像形成ステップとを設けるようにした。

これにより、拡大画像の画質を、クラス分類適応処理を用いて向上させることができる。

本発明によれば、画像を拡大することにより低下する画像信号の解像度を、クラス分類適応処理を用いて向上させて復元することができ、かくして解像度の高い画像信号を生成し得る画像信号変換装置及び画像信号変換方法を実現できる。

以下図面について、本発明の一実施の形態を詳述する。

（１）全体構成
図１において、１は全体としてテレビジヨン信号受信装置を示し、受信したテレビジヨン放送信号を圧縮符号化して所定の時間毎に更新しながら一時記憶し、リプレイモードが選択された際に、記憶したテレビジヨン放送信号を読み出すことによつてモニタ上にリプレイ画像又は拡大リプレイ画像を当該リプレイモードが解除されるまで繰り返し表示するようになされている。

テレビジヨン信号受信装置１は、アンテナ２で受信したテレビジヨン信号Ｓ１をチユーナ３に供給する。チユーナ３は、テレビジヨン信号Ｓ１を復調及びＹ／Ｃ分離処理することによつて画像信号Ｓ２を形成し、これを経路ＲＴ１及びＲＴ２にそれぞれ送出する。ここで経路ＲＴ１は通常のテレビジヨン放送信号を送出するための経路であり、経路ＲＴ２はリプレイ画像又は拡大リプレイ画像を形成して送出するための経路である。
経路ＲＴ１に送出された画像信号Ｓ２は、スイツチ４に与えられる。また、経路ＲＴ２に送出された画像信号Ｓ２を入力したアナログ／デイジタル変換器（Ａ／Ｄ）５は、当該画像信号Ｓ２を量子化してデイジタル信号でなる画像信号Ｓ３に変換し、これを間引き回路６及び動き検出回路７に送出する。

間引き回路６は、画像信号Ｓ３に例えばＭＵＳＥ（Multiple Sub-Nyquist Sampling Encode）方式によるような時空間方向への画素間引き処理を施すことによつて、画像信号Ｓ３の情報量を１／４に圧縮した間引き画像信号Ｓ４を形成して階調圧縮回路８に送出する。
階調圧縮回路８は、間引き画像信号Ｓ４に例えばＡＤＲＣ（Adaptive Dynamic Range Coding ）符号化によるような階調方向への圧縮処理を施すことにより、当該間引き画像信号Ｓ４の各画素の階調方向の情報量を１／４に圧縮する。
かくして画像信号Ｓ３を時空間方向及び階調方向にそれぞれ圧縮したことにより、当該画像信号Ｓ３を元の情報量の１／１６に圧縮した圧縮画像データＳ５を形成し、当該圧縮画像データＳ５を記憶装置９に供給する。

また動き検出回路７は後述する構成により、画像信号Ｓ３に基づく画像内の動き領域を検出し、当該動き領域を表す動き領域データＳ６を形成して記憶装置９に供給する。
記憶装置９は、ハードデイスク、ＭＯ（Magneto-optical ）デイスク、ＭＤ（Mini Disc ）又は大容量半導体メモリ等で構成されており、圧縮画像データＳ５及び動き領域データＳ６を、所定の時間毎に更新しながら記憶する。

制御部１０は、ユーザの操作により与えられるモード選択データＳ７で示される選択内容に応じた切り替え制御信号Ｓ８を記憶装置９に送出して、記憶装置９の書き込み／読み出しを切り替え制御する。
例えばユーザがリプレイ画像又は拡大リプレイ画像を表示させるモード選択をした場合、記憶装置９は当該切り替え制御信号Ｓ８により、圧縮画像データＳ５及び動き領域データＳ６の更新記憶を停止して、圧縮画像データＳ５を復号化回路１１へ、また動き領域データＳ６を遅延回路１２へそれぞれ繰り返して読み出して送出する。

復号化回路１１は後述する構成により、記憶装置９から読み出された圧縮画像データＳ５を伸長及び復号して復元画像信号Ｓ９を形成し、当該復元画像信号Ｓ９をズーム処理回路１３及びスイツチ１４に繰り返し送出する。
また遅延回路１２は、復号化回路１１が圧縮画像データＳ５を伸長及び復号して復元画像信号Ｓ９を形成する期間の間だけ遅延させた動き領域データＳ６をズーム処理回路１３に送出する。
ズーム処理回路１３は後述する構成により、復元画像信号Ｓ９から動き領域データＳ６に基づいて拡大画像信号Ｓ１０を形成する。ズーム処理回路１３はリプレイ画像内の動き領域を拡大した拡大リプレイ画像でなる当該拡大画像信号Ｓ１０をスイツチ１４に繰り返し送出する。

スイツチ１４は制御部１０が送出する制御信号Ｓ８により切り替え制御されており、復号化回路１１より与えられる復元画像信号Ｓ９と、ズーム処理回路１３より与えられる拡大画像信号Ｓ１０とを、選択的に切り替えてデイジタル／アナログ変換器（Ｄ／Ａ）１５に送出する。
すなわちユーザがリプレイ画像を表示させるモード選択をした場合、スイツチ１４は通常のまま、復元画像信号Ｓ９側に接続された状態を維持する。これに対してユーザが拡大リプレイ画像を表示させるモード選択をした場合、スイツチ１４は拡大画像信号Ｓ１０側に接続が切り替えられる。
このようにスイツチ１４は、ユーザの選択するモードに応じて制御部１０より送出される制御信号Ｓ８により切り替え制御され、入力される復元画像信号Ｓ９又は拡大画像信号Ｓ１０を選択的に切り替えて送出する。

デイジタル／アナログ変換器１５は、復元画像信号Ｓ９又は拡大画像信号Ｓ１０をアナログ変換してスイツチ４に送出する。
スイツチ４もスイツチ１４と同様に、制御部１０が送出する制御信号Ｓ８により切り替え制御されており、入力される画像信号Ｓ２と、復元画像信号Ｓ９又は拡大画像信号Ｓ１０とを選択的に切り替えてテレビジヨン信号処理回路１６に送出する。

すなわち通常、ユーザがテレビジョン放送信号に基づく画像を見ている場合、スイツチ４は経路ＲＴ１を介して入力される画像信号Ｓ２側に接続されている。ここでユーザがリプレイ画像又は拡大リプレイ画像を表示させるモード選択をした場合、スイツチ４は経路ＲＴ２を介して入力される復元画像信号Ｓ９又は拡大画像信号Ｓ１０側に接続される。
このようにスイツチ４は、ユーザの選択するモードに応じて制御部１０より送出される制御信号Ｓ８により切り替え制御され、入力される画像信号Ｓ２と、復元画像信号Ｓ９又は拡大画像信号Ｓ１０とを選択的に切り替えて送出する。

テレビジヨン信号処理回路１６は、スイツチ４を介して入力される画像信号Ｓ２、復元画像信号Ｓ９又は拡大画像信号Ｓ１０をモニタ１７に画像表示できるように信号処理し、これをモニタ１７に送出する。
モニタ１７は、信号処理回路１６を介して供給される画像信号Ｓ２に基づく画像、復元画像信号Ｓ９に基づくリプレイ画像又は拡大画像信号Ｓ１０に基づく拡大リプレイ画像を表示する。

このように、テレビジヨン信号受信装置１はユーザのモード切り替え操作に応じて、リプレイ画像又は当該リプレイ画像内の動き領域を拡大した拡大リプレイ画像を通常のテレビジヨン画像と切り替えて、繰り返し表示するようになされている。

（２）動き検出回路の構成
図１との対応部分に同一符号を付して示す図２において、７は全体として動き検出回路を示し、代表点ブロツクマツチングによる手法により動きベクトルを求めるようになされている。
例えば図３に示すように、画像を１２個のマクロブロツクに分割し、各ブロツク内で動きベクトルの検出を行う。

すなわち、各マクロブロツク内で縦横に所定間隔で配置された代表点ｐに対して、当該代表点ｐの輝度等の情報を画像の各フイールド毎に更新しながら記憶する。
また１フイールド後のフイールドにおいて、代表点が移動すると予想される移動距離を含む大きさのサーチブロツクを切り出す。ここでは縦方向に３１画素、横方向に３１画素の大きさでブロツクを切り出している。

こうして切り出した各サーチブロツク内において、ある時点のフイールドでの各画素の輝度等の情報と、当該時点の１つ前のフイールドの同じサーチブロツクにおける代表点ｐの輝度等の情報との差分の絶対値を求める。ここで１つ前のフイールドにおける各ブロツクの代表点ｐの輝度等の情報は、先に記憶したものを読み出して用いる。このようにして差分の絶対値を求めることにより、３１×３１個のテーブルが作成される。
この後、求められた差分の絶対値を各ブロツク内において足し合わせる（すなわち積分する）。積分結果はすり鉢状になるため、この中から最小値の位置を求めて、代表点ｐから当該最小値の位置へのベクトルを引く。このようにして各マクロブロツク単位での平均化された動きベクトルが求められる。

次に、こうして求めた動きベクトルを隣合うブロツクで逐次比較（すなわちベクトルの距離計算）して、ある誤差ｅの範囲内で一致する（すなわち｜ベクトルＶ_ｎ−ベクトルＶ_ｎ＋１≦ｅ｜の条件式を満たす）ベクトルを求める。さらに画像の中央付近で当該条件を満たすものをマージして、このマクロブロツク番号を動き領域番号とする。

実際上、動き検出回路７は、上述のような動き領域検出を実現するために、図２に示すように、先ず画像信号Ｓ３をメモリ２０及び切り出し回路２１にそれぞれ入力する。メモリ２０は、画像信号Ｓ３から抽出した代表点ｐの情報を画像の各フイールド毎に記憶した後、情報信号Ｓ１１として差分回路２２に送出する。
また切り出し回路２１は、情報信号Ｓ１１を抽出したフイールドの１フイールド後の画像信号Ｓ３を分割してサーチブロツクを切り出し、切り出した各サーチブロツク内の情報を情報信号Ｓ１２として差分回路２２に送出する。

差分回路２２は、情報信号Ｓ１１と情報信号Ｓ１２との差分の絶対値を算出し、当該算出結果をテーブルデータＳ１３として演算部２３に供給する。
演算部２３は、それぞれ各マクロブロツクのうちの１つに割り振られて対応付けされた積分回路２３Ａ〜２３Ｌで構成され、テーブルデータＳ１３から対応するマクロブロツクにおけるテーブルデータのみを取り出して積分演算を行い、演算結果をベクトルデータＳ１４Ａ〜Ｓ１４Ｌとして検出回路２４へ送出する。

検出回路２４はベクトルデータＳ１４Ａ〜Ｓ１４Ｌを基にして各々のマクロブロツクの動きベクトルを求め、当該動きベクトルから上述の条件を満たすものを選び出して当該動きベクトルを有するマクロブロツクを動き領域とし、当該動き領域の領域番号を動き領域データＳ６として記憶装置１１（図１）に送出する。 このように動き検出回路７は、毎フイールド毎に画像信号Ｓ３の動き領域を検出して当該動き領域の領域番号を示す動き領域データＳ６を形成し、当該動き領域データＳ６を記憶装置９に送出するようになされている。

（３）復号化回路の構成
図１との対応部分に同一符号を付して示す図４において、１１は全体として復号化回路を示し、時空間方向及び階調方向への圧縮処理を施された圧縮画像データＳ５をクラス分類適応処理を用いて復号することにより、高解像度の復元画像信号Ｓ９を生成する。

復号化回路１１は、記憶装置９（図１）から読み出された圧縮画像データＳ５をブロツク化回路２５及び復号化回路（デコード）２６に入力する。
ブロツク化回路２５は、圧縮画像データＳ５を注目画素及び注目画素周辺の複数の画素コードを１単位としてブロツク化することにより、ブロツク化信号Ｓ１５を形成してクラス生成回路２７に送出する。
クラス生成回路２７は、ブロツク化信号Ｓ１５をクラス分類し、分類されたクラスを示すインデツクスを生成する。例えばブロツク化信号Ｓ１５内の画素コードよりＭＳＢ（Most Significant Bit）のみを取り出し、当該ＭＳＢの１／０を順に並べることにより当該ブロツク化信号Ｓ１５をパターン分類し、こうして分類されたパターンに応じて当該ブロツク化信号Ｓ１５が属するクラスを決定し、当該クラスを表すインデツクスでなるインデツクス信号Ｓ１６を生成して送出する。

一方、復号化回路２６は、圧縮画像データＳ５にＡＤＲＣ復号化処理を施すことにより階調方向に伸長した画像データＳ１７をブロツク化回路２８に送出する。
ブロツク化回路２８は、画像データＳ１７から注目画素を中心とした複数の周辺画素値を取り出してブロツク化し、ブロツク化信号Ｓ１８として演算部２９に供給する。

演算部２９は積和演算回路２９Ａ〜２９Ｄ及び係数メモリＭ１〜Ｍ４で構成されている。積和演算回路２９Ａ及び係数メモリＭ１は、階調方向に圧縮したことにより低下した解像度を復元するための予測演算を行い、また積和演算回路２９Ｂ〜２９Ｄ及び係数メモリＭ２〜Ｍ４は、間引き処理により損失された画素を補間するための予測演算を行う。
このため、係数メモリＭ１と係数メモリＭ２〜Ｍ４とには、それぞれ異なる予測係数が記憶されている。

すなわちクラス生成回路２７から与えられるインデツクス信号Ｓ１６は、係数メモリＭ１〜Ｍ４にそれぞれ入力される。係数メモリＭ１〜Ｍ４はＲＯＭ（Read Only Memory）でなり、当該ＲＯＭには後述する方法により予め求められた予測係数が記憶されている。係数メモリＭ１〜Ｍ４はインデツクス信号Ｓ１６をアドレス信号として、記憶している予測係数をそれぞれ読み出して、積和演算回路２９Ａ〜２９Ｄにそれぞれ送出する。

積和演算回路２９Ａは、係数メモリＭ１より与えられる予測係数を用いて、ブロツク化信号Ｓ１８に示される画素の階調方向の解像度を復元する予測演算を行う。また積和演算回路２９Ｂ〜２９Ｄは、ブロツク化信号Ｓ１８に示される画素と係数メモリＭ２〜Ｍ４より与えられる予測係数とを用いて予測演算することにより、間引かれた部分の画素を復元する画素値を生成する。
こうして得られた演算結果は多重化回路３０に送出される。

多重化回路３０は、演算部２９での演算結果による画素値をテレビジヨン時系列方向に配列するように多重化することにより復元画像信号Ｓ９を生成し、スイツチ１６及びズーム処理回路１３（図１）に送出する。
かくして復号化回路１１は、圧縮画像データＳ５をクラス分類適応処理を用いて復号する際に、間引かれた画素と間引かれなかつた画素とで異なる予測係数を用いて演算処理を施すことによつて、時空間方向に間引かれた画素を補間して解像度を高めると共に、レベル方向の分解能を向上させることにより、全体的に解像度を向上させたリプレイ画像を形成するようになされている。

（４）ズーム処理回路の構成
図１との対応部分に同一符号を付して示す図５において、１３は全体としてズーム処理回路を示し、復元画像信号Ｓ９の動き領域を拡大した拡大画像信号Ｓ１０を形成するようになされている。

ズーム処理回路１３は、動き領域データＳ６で示される動き領域全体を含むと共にアスペクト比が４：３となる領域を、当該動き領域の大きさよりもやや大きめの範囲で設定する。このように設定した領域を拡大領域として、当該拡大領域とモニタ画面との大きさの比より拡大比を算出する。
ズーム処理回路１３は、復元画像信号Ｓ９より設定された拡大領域内の画素を読み出し、算出された拡大比で拡大処理を施す。ここで、拡大処理にクラス分類適応処理を用いることにより、拡大の際に不足する画素を補間して解像度を向上させる。
かくしてフルサイズの拡大リプレイ画像を形成する。

実際上、ズーム処理回路１３は、図５に示すように、先ず動き領域データＳ６を領域設定回路３１に入力し、また復元画像信号Ｓ９を拡大画像生成部３２に入力する。
領域設定回路３１は、動き領域データＳ６に示される動き領域のマクロブロツク番号に基づき、拡大する領域を設定する。設定された領域情報は拡大比計算回路３３に与えられる。
拡大比計算回路３３は、領域設定回路３１で設定された領域とモニタ画面の大きさとの比から画像の拡大比を算出し、算出結果を拡大画像生成部３２に与える。

拡大画像生成部３２は、拡大比計算回路３３より与えられる拡大比に基づき、復元画像信号Ｓ９から読み出した拡大する領域内の画素にクラス分類適応処理を用いた拡大処理を施すことにより、図６中に破線で示すような動き領域を拡大した拡大画像信号Ｓ１０を生成する。

ここで拡大画像生成部３２の構成を図７に示す。図５との対応部分に同一符号を付して示す図７において、１３は全体としてズーム処理回路を示し、図中に破線で示される拡大画像生成部３２に復元画像信号Ｓ９及び拡大比計算回路３３で求められた拡大比を供給する。
拡大画像生成部３２は、復元画像信号Ｓ９をブロツク化回路３４、遅延回路３５及び３６にそれぞれ入力する。

ブロツク化回路３４は、復元画像信号Ｓ９を注目画素及び注目画素周辺の複数の画素コードを１単位としてブロツク化し、当該各ブロツクをブロツク化信号Ｓ１９としてクラス生成回路３７に送出する。
クラス生成回路３７は、ブロツク化信号Ｓ１９にＡＤＲＣ符号化処理を施すことによつて当該ブロツク化信号Ｓ１９のパターン分類を行い、こうして分類されたパターンに応じて当該ブロツク化信号Ｓ１９が属するクラスを決定し、当該クラスを表すインデツクスでなるインデツクス信号Ｓ２０を生成して演算部３８に送出する。

また遅延回路３５を介して一定時間だけ遅延された復元画像信号Ｓ９は、ブロツク化回路３９に送出される。
ブロツク化回路３９は画像信号Ｓ９から注目画素を中心とした複数の周辺画素値を取り出してブロツク化し、ブロツク化信号Ｓ２１として演算部３８に送出する。

演算部３８は複数の積和演算回路及び係数メモリで構成されており、各係数メモリには拡大処理の際に不足する画素を周辺の画素値に基づき予測演算して生成するための予測係数が、様々な拡大比毎に予め記憶されている。
各係数メモリは、インデツクス信号Ｓ２０及び拡大比計算回路３３から与えられる拡大比をアドレス値として予測係数を読み出し、対応する積和演算回路に当該予測係数を与える。
各積和演算回路は、与えられる予測係数とブロツク化信号Ｓ２１とを演算処理することにより補間する画素値を生成して多重化回路４０に供給する。
ここで上述した係数メモリは、復号化回路１３の場合と同様にＲＯＭ（Read Only Memory）でなり、後述する方法により予め求められた予測係数が記憶されている。

多重化回路４０は演算部３８で算出された各画素値をテレビジヨン信号方向に多重化することにより補間画素データＳ２２を生成し、合成回路４１に送出する。
合成回路４１は、遅延回路３６を介して供給される復元画像信号Ｓ９より拡大する領域の画素を抽出し、拡大処理の際に不足する画素を多重化回路４０から供給される補間画素データＳ２２を用いて補間することにより拡大画像信号Ｓ１０を生成し、スイツチ１４（図１）に送出する。
このようにズーム処理回路１３は、入力される復元画像信号Ｓ９及び画像内の動き領域を示す動き領域データＳ６に基づき、復元画像信号Ｓ９にクラス分類適応処理を用いた拡大処理により当該動き領域を拡大すると共に拡大の際に不足する画素を補間して解像度を上げた拡大画像信号Ｓ１０を生成する。

（５）予測係数作成回路の構成
図１及び図４との対応部分に同一符号を付して示す図８において、４２は全体として予測係数作成回路を示し、間引き回路６（図１）による画素間引き処理の際に間引かれなかつた画素の階調方向の解像度を復元するための予測係数を作成するようになされている。因みに間引き回路６（図１）において施される圧縮符号化処理は１／４画素間引きを行つており、４画素を１単位とするブロツク内から３画素を間引いて１画素を残すようになされている。
予測係数作成回路４２は、教師データとしてサンプル画像を入力し、当該サンプル画像を圧縮符号化した後に復号して復元し、当該復元した画像と元のサンプル画像との相関関係より、低下した画質を演算処理により復元するために最適な予測係数を求めるようになされている。

予測係数作成回路４２は、画像信号Ｓ３を階調圧縮回路８及びブロツク化回路４３にそれぞれ入力する。
階調圧縮回路８は、画像信号Ｓ３に例えばＡＤＲＣ符号化処理によるような階調方向への圧縮処理を施して、得られた圧縮画像データＳ２３をブロツク化回路２５及び復号化回路（デコード）２６に送出する。
一方、ブロツク化回路４３は画像信号Ｓ３を注目画素及び注目画素を中心とする複数の画素を１単位としてブロツク化し、これをブロツク化信号Ｓ２４として係数算出回路４４に送出する。

ブロツク化回路２５は、圧縮画像データＳ２３を注目画素及び注目画素周辺の複数の画素コードを１単位としてブロツク化することにより、ブロツク化信号Ｓ１５を形成してクラス生成回路２７に送出する。
クラス生成回路２７は、ブロツク化信号Ｓ１５をクラス分類し、分類されたクラスを示すインデツクスを生成する。例えばブロツク化信号Ｓ１５内の画素コードよりＭＳＢ（Most Significant Bit）のみを取り出し、当該ＭＳＢの１／０を順に並べることにより当該ブロツク化信号Ｓ１５をパターン分類し、こうして分類されたパターンに応じて当該ブロツク化信号Ｓ１５が属するクラスを決定し、当該クラスを表すインデツクスでなるインデツクス信号Ｓ１６を生成して係数算出回路４４に送出する。

一方、復号化回路２６は、圧縮画像データＳ２３にＡＤＲＣ復号化処理を施すことにより階調方向に伸長した画像データＳ１７をブロツク化回路２８に送出する。
ブロツク化回路２８は、画像データＳ１７から注目画素を中心とした複数の周辺画素値を取り出してブロツク化し、ブロツク化信号Ｓ１８として係数算出回路４４に供給する。
係数算出回路４４は、インデツクス信号Ｓ１６が示すインデツクスコード毎に、ブロツク化信号Ｓ２４とブロツク化信号Ｓ１８との相関関係を表す予測係数を算出する。

ＡＤＲＣ符号化処理では、入力される画像信号を階調方向に圧縮する際及び復号する際の演算過程において小数部分を切捨てることでデータの丸め込みをするため、丸め込みの分、実際の画像の画素値との間で誤差が生じる。
予測係数作成回路４２は、上述したようにサンプル画像と当該サンプル画像を圧縮した後に復号した画像との相関関係を求める学習作業を行うことにより、当該誤差を予測演算によつて修正し、低下した画質を復元し得る最適な予測係数を算出することができる。
このようにして得られた予測係数は、係数データＳ２５として出力されてメモリＭ１（図４）に書き込まれる。

また図１、図４及び図８との対応部分に同一符号を付して示す図９において、４５は全体として予測係数作成回路を示し、間引き回路６（図１）による画素間引き処理の際に間引かれた画素の画素値を生成する予測係数を作成するようになされている。予測係数作成回路４５は階調圧縮回路８の前段に間引き処理を施す間引き回路６を設けたことを除いて、予測係数作成回路４２とほぼ同様に構成されている。

予測係数作成回路４５は、教師データとなる画像信号Ｓ３を間引き回路６及びブロツク化回路４３に入力する。
間引き回路６は、画像信号Ｓ３に時空間方向への画素間引き処理を施すことにより、情報量を１／４に圧縮した間引き画像信号Ｓ４を階調圧縮回路８に送出する。
その後、予測係数作成回路４２と同様に階調方向への圧縮処理、ブロツク化処理、復号化処理及びクラス生成処理を行い、インデツクス信号Ｓ１６、ブロツク化信号Ｓ１８及びＳ２４を係数算出回路４４に送出する。

係数算出回路４４は、インデツクス信号Ｓ１６が示すインデツクスコード毎に、ブロツク化信号Ｓ１８とブロツク化信号Ｓ２４との相関関係を表す予測係数を算出する。この際、係数算出回路４４は間引き回路６でなされる間引き処理が１／４間引きであるので、間引かれた３画素分の予測係数をそれぞれ算出するようになされている。
このようにして算出された各係数は、係数データＳ２６として出力されてメモリＭ２〜Ｍ４（図４）にそれぞれ書き込まれる。

（６）実施例の動作及び効果
以上の構成において、ユーザが表示画像を視聴中、繰り返して見たい場面に遭遇したとする。この際、ユーザがテレビジヨン信号受信装置１の筐体部前面の操作パネル又は遠隔操作装置（図示せず）を操作してリプレイモードを選択することにより、制御部１０にモード選択信号Ｓ７が与えられる。
モード選択信号Ｓ７で示される選択内容に応じて制御部１０から送出される制御信号Ｓ８は、記憶装置９の更新記憶を停止させると共に当該記憶装置９に記憶された圧縮画像データＳ５及び動き領域データＳ６を繰り返し読み出させる。

また制御信号Ｓ８はスイツチ４及び１４にも与えられ、当該スイツチ４及び１４を切り替え動作させる。
モード選択データＳ７の示す選択内容がリプレイ画像を表示させるためのものであつた場合、制御信号Ｓ８は通常、経路ＲＴ１側に接続されているスイツチ４を経路ＲＴ２側に切り替え、通常、復元画像信号Ｓ９側に接続されているスイツチ１４は切り替えない。
こうして、復号化回路１１で復元された復元画像信号Ｓ９がスイツチ１４、デイジタル／アナログ変換器１５、スイツチ４及びテレビジヨン信号処理回路１６を順次介してモニタ１７に与えられ、当該モニタ１７にリプレイ画像を繰り返し表示させる。

またモード選択データＳ７の示す選択内容が拡大リプレイ画像を表示させるためのものであつた場合、制御信号Ｓ８は通常、経路ＲＴ１側に接続されているスイツチ４を経路ＲＴ２側に切り替えると共に、通常、復元画像信号Ｓ９側に接続されているスイツチ１４を拡大画像信号Ｓ１０側に切り替える。
これにより、拡大画像信号Ｓ１０がスイツチ１４、デイジタル／アナログ変換器１５、スイツチ４及びテレビジヨン信号処理回路１６を順次介してモニタ１７に与えられ、当該モニタ１７に動き領域を拡大した拡大リプレイ画像を繰り返し表示させる。
かくしてユーザは、モニタ１７に所望の場面のリプレイ画像及び拡大リプレイ画像を表示させることができる。

またズーム処理回路１３において記憶装置９から読み出される圧縮画像データＳ５と動き領域データＳ６とを基に拡大画像信号Ｓ１０が形成される。当該拡大画像信号Ｓ１０は、画像内の動き領域を拡大して形成される。
通常、画像内で注目される部分は動き物体の存在する領域であるため、このように当該動き領域を拡大表示することにより、注目される部分を良好な大きさでなる画像で表示することができる。

また記憶装置９は、リプレイモードが選択されるまでは、与えられる圧縮画像データＳ５及び動き領域データＳ６を一定時間毎に、逐次上書きして更新する。これにより、常に一定時間内の最新の画像データを記憶することができる。
因みに当該記憶装置９に画像データを記憶することができる時間は、記憶装置９を構成する媒体容量と圧縮後のビツトレートにより決定される。例えば記憶装置９の記憶容量が２Ｍ〔bits〕であり、圧縮後の画像の情報量が１Ｍ〔bps 〕に圧縮されている場合、当該記憶装置９は２秒間の画像データを記憶することができる。

また圧縮画像データＳ５は、クラス分類適応処理を用いて通常の大きさのリプレイ画像でなる復元画像信号Ｓ９及び拡大リプレイ画像でなる拡大画像信号Ｓ１０に変換される。
クラス分類適応処理とは、与えられる画像信号をパターン化することによりクラス分類し、各クラス毎に予め学習により求められた予測値を用いて入力される信号に含まれていない画像データを予測演算して求めることにより、入力画像信号に比して解像度の高い出力画像信号を生成する画像信号の変換方法である。

復号化回路１１及びズーム処理回路１３において用いられるクラス分類適応処理は、圧縮符号化の際に間引き処理によつて損失した画素を補間すると共に階調方向への圧縮によつて低下した分解能を上げることができ、また拡大リプレイ画像を生成する際に不足する画素を補間することにより解像度を向上させることができる。
このようにして良好な画質でなるリプレイ画像及び拡大リプレイ画像を生成することができる。

さらにクラス分類適応処理を用いて画像データの低下した画質を復元できるようにしたことにより、複数の圧縮処理を併用するような高圧縮率の圧縮符号化手法を、画質の低下にかかわらず用いることができる。これにより、入力される画像信号の情報量を大幅に圧縮することができ、長時間の画像データを記録することができる。

以上の構成によれば、高圧縮率の圧縮符号化手法により圧縮符号化して一時記憶した入力画像信号をリプレイモードが選択された際に繰り返し読み出して、低下した画質をクラス分類適応処理を用いて復元したリプレイ画像を生成するようにした。
かくして受信したテレビジヨン信号に基づく画像の所望の場面のリプレイ画像を良好な画質で繰り返し表示し得ると共に、長時間表示し得るテレビジヨン信号受信装置１及びテレビジヨン信号受信方法が実現できる。

また圧縮符号化した入力画像信号と共に、画像内の動き領域を表す動き領域データを一時記憶し、拡大リプレイモードが選択された際に当該記憶を繰り返し読み出して、拡大処理の際に低下する画質をクラス分類適応処理を用いて向上させた拡大リプレイ画像を生成するようにした。
かくして受信したテレビジヨン信号に基づく画像の所望の場面の動き領域を拡大した拡大リプレイ画像を良好な画質で繰り返し表示し得るテレビジヨン信号受信装置１及びテレビジヨン信号受信方法が実現できる。

（７）他の実施例
なお上述の実施例においては、テレビジヨン放送信号を入力画像信号として受信する場合について述べたが、本発明はこれに限らず、例えばＶＴＲやビデオデイスク等の記録媒体を再生して得られる画像信号を入力画像信号として入力する場合においても適用し得る。この場合、当該記録媒体に画像信号がデイジタル形式で記録されているならば、アナログ／デイジタル変換器５を介さずに直接、間引き回路６でなる圧縮符号化手段及び動き検出回路７でなる動き検出手段に当該画像信号を入力することができる。

また上述の実施例においては、入力画像信号Ｓ１に基づく通常のテレビジヨン画像と、復元画像信号Ｓ９に基づくリプレイ画像又は拡大画像信号Ｓ１０に基づく拡大リプレイ画像とを選択的に切り替えて表示する場合について述べたが、本発明はこれに限らず、図１０に示すような構成により両方の画像をＰｉｎＰ（Picture in Picture）形式で表示するようにしてもよい。

すなわち図１との対応部分に同一符号を付して示す図１０において、６０は全体としてテレビジヨン信号受信装置を示し、入力される復元画像信号Ｓ９又は拡大画像信号Ｓ１０に間引き処理を施す間引き回路６１、間引き処理された画像信号を記憶するメモリ６２及びメモリ６２から送出される画像信号をアナログ信号に変換するデイジタル／アナログ変換器（Ｄ／Ａ）６３を追加したことを除いて、図１に示すテレビジヨン信号受信装置１と同様に構成されている。

間引き回路６１は、ユーザの選択操作によりスイツチ１４を介して送出される復元画像信号Ｓ９又は拡大画像信号Ｓ１０を間引き処理することにより、ＰｉｎＰ（Picture in Picture）形式の子画面内に収まるように縮小処理し、縮小画像信号Ｓ３２としてメモリ６２に記憶させる。
メモリ６２はフレームメモリでなり、アナログ／デイジタル変換器（Ａ／Ｄ）５から与えられる画像信号Ｓ３及び間引き回路６１から供給される縮小画像信号Ｓ３２をアドレス上で重ね合わせて、親画面上に子画面を付加した画面でなる画像信号Ｓ３３を生成して、デイジタル／アナログ変換器（Ｄ／Ａ）６３、スイツチ４及び信号処理回路１６を順次介してモニタ１７に出力表示する。

テレビジヨン信号受信装置６０は、このような構成により、所望の場面のリプレイ画像又は当該画像の動き領域を拡大した拡大リプレイ画像を通常のテレビジヨン画像と同時に表示することができる。

また上述の実施例においては、クラス生成回路２７、予測係数作成回路４２及び４５において、ブロツク化信号内の画素コードよりＭＳＢのみを取り出して、当該ＭＳＢの１／０を順に並べることにより当該ブロツク化信号のパターン分類を行う場合について述べたが、本発明はこれに限らず、例えばＤＣＴ（Discreat Cosine Transform ）符号化、ＤＰＣＭ（差分符号化）、ベクトル量子化、サブバンド符号化やウエーブレツト変換等の圧縮手法を用いて、パターン分類によるクラス分類処理を行うようにしてもよい。

さらに上述の実施例においては、ズーム処理回路１３においてクラス分類適応処理の際に用いられるインデツクスコードの生成手段として、ＡＤＲＣ符号化を用いた場合について述べたが、本発明はこれに限らず、例えばＤＣＴ（Discreat Cosine Transform ）符号化、ＤＰＣＭ（差分符号化）、ベクトル量子化、サブバンド符号化やウエーブレツト変換等の圧縮手法を用いて、パターン分類によるクラス分類処理を行うようにしてもよい。

また上述の実施例においては、ＭＵＳＥ方式による時空間方向の画素間引きを行う間引き手段と、ＡＤＲＣ符号化による階調方向への圧縮を行う階調方向圧縮手段とを、入力画像信号を圧縮する圧縮符号化手法として用いた場合について述べたが、本発明はこれに限らず、当該圧縮符号化手法に代えて他の圧縮符号化手法を用いるようにしてもよい。

また上述の実施例においては、予測係数を記憶した係数メモリとしてＲＯＭを用いた場合について述べたが、本発明はこれに限らず、ＲＯＭに代えてＲＡＭ（Random Access Memory）やＳＲＡＭ（Static RAM）等を用いるようにしてもよい。

本発明は、映像を一時的に記録して再生する用途に広く利用できる。

本発明の一実施例によるテレビジヨン信号受信装置を示すブロツク図である。 動き検出回路の構成を示すブロツク図である。 動き領域の検出の説明のために供する略線図である。 復号化回路の構成を示すブロツク図である。 ズーム処理回路の構成を示すブロツク図である。 設定領域の画像拡大の説明に供する略線図である。 ズーム処理回路の構成を示すブロツク図である。 予測係数作成回路の構成を示すブロツク図である。 予測係数作成回路の構成を示すブロツク図である。 ＰｉｎＰ機能を付加したテレビジヨン信号受信装置の構成を示すブロツク図である。

符号の説明

１、６０……テレビジヨン信号受信装置、２……アンテナ、３……チユーナ、４、１４……スイツチ、５……アナログ／デイジタル変換器、６、６１……間引き回路、７……動き検出回路、８……階調圧縮回路、９……記憶装置、１０……制御部、１１、２６……復号化回路、１２、３５、３６……遅延回路、１３……ズーム処理回路、１５、６３……デイジタル／アナログ変換器、１６……テレビジヨン信号処理回路、１７……モニタ、２０、６２……メモリ、２１……切り出し回路、２２……差分回路、２３、２９、３８……演算部、２３Ａ〜２３Ｌ……積分回路、２４……検出回路、２５、２８、３４、３９、４３……ブロツク化回路、２７、３７……クラス生成回路、２９Ａ〜２９Ｄ……積和演算回路、３０、４０……多重化回路、３１……領域設定回路、３２……拡大画像生成部、３３……拡大比計算回路、４１……合成回路、４２、４５……予測係数作成回路、４４……係数算出回路、Ｍ１〜Ｍ４……係数メモリ。

Claims (4)

1. 映像信号における画素を間引くことにより圧縮処理され解像度の劣化した第１の画像信号を、注目画素及び当該注目画素周辺の複数の画素を単位ブロツクとする第１の分割画像信号に分割する分割手段と、
   教師データと当該教師データを上記圧縮処理によって圧縮した後に当該圧縮処理に対応する伸長手法によって復号した復号教師データとの間に生じる誤差を修正するよう、上記復号教師データが表す画像信号のレベル分布パターンに応じて分類される複数のクラスに分類した上で、当該クラス毎に算出された予測係数を格納した記憶手段と、
   上記第１の分割画像信号のレベル分布パターンに応じて分類する当該第１の分割画像信号を上記複数のクラスのうち一のクラスにクラス分類する第１のクラス分類手段と、
   上記第１の分割画像信号が属するクラスに対応する上記予測係数及び上記第１の画像信号が表す画素値を積和演算することにより間引かれた画素の画素値を生成する予測演算処理を行うことにより、上記第１の画像信号よりも解像度の向上した第２の画像信号を形成する予測演算手段と、
   上記映像信号において動きを有する動き領域を示す領域番号から上記第２の画像信号において上記動き領域と対応する領域を拡大対象となる拡大領域として選択し、上記拡大領域における注目画素及び当該注目画素周辺の複数の画素を単位ブロツクとする第２の分割画像信号に分割し、上記第２の分割画像信号のレベル分布パターンに応じて分類することにより、当該第２の分割画像信号を複数のクラスのうち一のクラスにクラス分類し、上記第２の分割画像信号が属するクラスに対応する予測係数及び上記第２の分割画像信号が表す画素値を積和演算することにより補間する画素の画素値を生成する予測演算処理を行うことにより、上記拡大画像信号の空間解像度を上げる拡大画像形成手段と
   を具えることを特徴とする画像信号変換装置。
2. 上記記憶手段には、
   上記予測係数として、
   時空間方向に間引かれた画素生成に必要な係数であって、学習により求められた第１の係数と、
   階調方向の上記圧縮処理によって低下した分解能を上げるのに必要な係数であって、学習により求められた第２の予測係数とが記憶されており、
   上記分割手段は、
   時空間方向及び階調方向に圧縮された上記第１の画像信号を分割画像信号に分割し、
   上記予測演算手段は、
   上記第１の分割画像信号が属するクラスに対応する上記予測係数及び上記第１の画像信号を積和演算することにより間引かれた画素の画素値を生成すると共に階調方向の解像度を向上させる
   ことを特徴とする請求項１に記載の画像信号変換装置。
3. 上記予測係数は、
   教師データを所定の圧縮処理方法によって圧縮処理することにより圧縮画像データを形成し、上記圧縮処理手法によって圧縮処理することにより圧縮画像データを復号することにより復号画像データを形成し、
   上記圧縮画像データに基づき、注目画素及び当該注目画素周辺の複数の画素を単位ブロツクとしてブロツク化し、第１のブロツク信号を得て、
   上記各第１のブロツクについてパターン分類を行い、当該ブロツクが属するクラスを決定し、
   上記復号画像データに基づき、注目画素及び当該注目画素周辺の複数の画素を単位ブロツクとしてブロツク化し第２のブロツク信号を得て、
   上記教師データに基づき、注目画素及び当該注目画素周辺の複数の画素を単位ブロツク化し、第３のブロツク信号を得て、
   上記決定されたクラス毎に、上記第２のブロツク信号とこれに対応する上記第３のブロツク信号とを用いた演算によって作成される
   ことを特徴とする請求項１に記載の画像信号変換装置。
4. 映像信号における画素を間引くことにより圧縮処理され解像度の劣化した第１の画像信号を、注目画素及び当該注目画素周辺の複数の画素を単位ブロツクとする第１の分割画像信号に分割する分割ステップと、
   上記第１の分割画像信号のレベル分布パターンに応じて分類する当該第１の分割画像信号を上記複数のクラスのうち一のクラスにクラス分類する第１のクラス分類ステップと、
   教師データと当該教師データを上記圧縮処理によって圧縮した後に当該圧縮処理に対応する伸長手法によって復号した復号教師データとの間に生じる誤差を修正するよう上記復号教師データが表す画像信号のレベル分布パターンに応じて分類される複数のクラスに分類した上で当該クラス毎に算出された予測係数のうち上記第１の分割画像信号が属するクラスに対応する上記予測係数及び上記第１の画像信号が表す画素値を積和演算することにより間引かれた画素の画素値を生成する予測演算処理を行うことにより、上記第１の画像信号よりも解像度の向上した第２の画像信号を形成する予測演算ステップと、
   上記映像信号において動きを有する動き領域を示す領域番号から上記第２の画像信号において上記動き領域と対応する領域を拡大対象となる拡大領域として選択し、上記拡大領域における注目画素及び当該注目画素周辺の複数の画素を単位ブロツクとする第２の分割画像信号に分割し、上記第２の分割画像信号のレベル分布パターンに応じて分類することにより、当該第２の分割画像信号を複数のクラスのうち一のクラスにクラス分類し、上記第２の分割画像信号が属するクラスに対応する予測係数及び上記第２の分割画像信号が表す画素値を積和演算することにより補間する画素の画素値を生成する予測演算処理を行うことにより、上記拡大画像信号の空間解像度を上げる拡大画像形成ステップと
   を具えることを特徴とする画像信号変換方法。

Images