JP4193236B2 - 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 - Google Patents
画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 Download PDFInfo
- Publication number
- JP4193236B2 JP4193236B2 JP23885798A JP23885798A JP4193236B2 JP 4193236 B2 JP4193236 B2 JP 4193236B2 JP 23885798 A JP23885798 A JP 23885798A JP 23885798 A JP23885798 A JP 23885798A JP 4193236 B2 JP4193236 B2 JP 4193236B2
- Authority
- JP
- Japan
- Prior art keywords
- class
- image signal
- data
- image data
- prediction coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、入力画像信号からより高い解像度を有する画像信号を生成する機能を有する画像情報変換装置、画像情報変換方法、およびテレビジョン受像機に関する。
【０００２】
【従来の技術】
入力画像信号よりも解像度の高い画像信号を得る等の目的で、入力画像信号とは走査線構造が異なる出力画像信号を形成する画像情報変換処理が行われる。画像情報変換処理として、入力画像信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行い、それによって得られるクラス値を参照して画素の予測生成を行う、クラス分類適応処理が提案されている。
【０００３】
予測生成に係る演算処理は、クラス毎に所定の演算によって決定される予測係数を用いてなされる。従って、予測係数を表現するための予測係数データを装置内のメモリに記憶しておく必要がある。かかるメモリ内で各予測係数に対応して割り当てられるビット幅として、一般的には、予測係数の最大値を表現できるビット幅が用いられている。しかしながら、予測係数の値が大きく変動する場合には、割り当てられるビット幅の内で有効に使用されない部分が多くなるという問題があった。
【０００４】
【発明が解決しようとする課題】
従って、この発明の目的は、予測係数の値が大きく変動する場合等においても、各予測係数に対応してメモリ内で割り当てられるビット幅が有効に使用されることを可能とする画像情報変換装置、画像情報変換方法、およびテレビジョン受像機を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換装置において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択手段と、
第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、少なくとも検出したパターンに基づいて注目点が属するクラスを示すクラス値を決定するクラス検出手段と、
入力画像信号から、注目点を含み、注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択手段と、
クラス毎に予め決定された予測係数データを記憶する第１の記憶手段と、
第１の記憶手段に記憶された予測係数データに対する重み量データを、クラス毎に記憶する第２の記憶手段と、
クラス値に対応して第１の記憶手段から選択される予測係数データと、第２の画像データ選択手段によって得られる画像データとの線型一次結合によって、注目点に画素を予測生成し、生成した画素を含むデータを、クラス値に対応して第２の記憶手段から選択される重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
重み量データは、
出力画像信号に対応する所定の画像信号中の真の画素値と、第２の画像データ選択手段によって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された予測係数のクラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が重み量データとしてクラス毎に決定され、
重み量データを用いて、クラス毎に所定のビット幅に収まるように、重み量データに等しいビット数のシフト処理を施すことによって予測係数が得られることを特徴とする画像情報変換装置である。
【０００６】
請求項２の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換装置において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択手段と、
第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて注目点が属する空間クラスを示す空間クラス値を決定する空間クラス検出手段と、
入力画像信号から、入力画像信号内の複数のフレーム内において、注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択手段と、
第２の画像データ選択手段によって選択される画像データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラス値を決定する動きクラス検出手段と、
空間クラス値と動きクラス値とを合成してクラスを示すクラス値を生成するクラス合成手段と、
入力画像信号から、注目点を含み、注目点に時間的または空間的に近傍に位置する画素を選択する第３の画像データ選択手段と、
クラス毎に予め決定された予測係数データを記憶する第１の記憶手段と、
第１の記憶手段に記憶された予測係数データに対する重み量データを、クラス毎に記憶する第２の記憶手段と、
クラス値に対応して第１の記憶手段から選択される予測係数データと、第３の画像データ選択手段によって得られる画像データとの線型一次結合によって、注目点に画素を予測生成し、生成した画素を含むデータを、クラス値に対応して第２の記憶手段から選択される重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
重み量データは、
出力画像信号に対応する所定の画像信号中の真の画素値と、第３の画像データ選択手段によって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された予測係数のクラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が重み量データとしてクラス毎に決定され、
重み量データを用いて、クラス毎に所定のビット幅に収まるように、重み量データに等しいビット数のシフト処理を施すことによって予測係数が得られることを特徴とする画像情報変換装置である。
【０００７】
請求項５の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換方法において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択ステップと、
第１の画像データ選択ステップによって選択される画像データから、レベル分布のパターンを検出し、少なくとも検出したパターンに基づいて注目点が属するクラスを示すクラス値を決定するクラス検出ステップと、
入力画像信号から、注目点を含み、注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択ステップと、
クラス毎に予め決定された予測係数データが記憶された第１の記憶手段と、第１の記憶手段に記憶された予測係数データに対する重み量データがクラス毎に記憶された第２の記憶手段とから、クラス値に従って、予測係数データと重み量データとを読み出す読み出しステップと、
読み出された予測係数データと第２の画像データ選択手段によって得られる画像データとの線型一次結合によって、注目点に画素を予測生成し、生成した画素を含むデータを、読み出しステップにおいて読み出された重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理ステップとを有し、
重み量データは、
出力画像信号に対応する所定の画像信号中の真の画素値と、第２の画像データ選択ステップによって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された予測係数のクラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が重み量データとしてクラス毎に決定され、
重み量データを用いて、クラス毎に所定のビット幅に収まるように、重み量データに等しいビット数のシフト処理を施すことによって予測係数が得られることを特徴とする画像情報変換方法である。
【０００８】
請求項６の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換方法において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択ステップと、
第１の画像データ選択ステップによって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて注目点が属する空間クラスを示す空間クラス値を決定する空間クラス検出ステップと、
入力画像信号から、入力画像信号内の複数のフレーム内において、注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択ステップと、
第２の画像データ選択ステップによって選択される画像データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラス値を決定する動きクラス検出ステップと、
空間クラス値と動きクラス値とを合成してクラスを示すクラス値を生成するクラス合成ステップと、
入力画像信号から、注目点を含み、注目点に時間的または空間的に近傍に位置する画素を選択する第３の画像データ選択ステップと、
クラス毎に予め決定された予測係数データが記憶された第１の記憶手段と、第１の記憶手段に記憶された予測係数データに対する重み量データがクラス毎に記憶された第２の記憶手段とから、クラス値に従って、予測係数データと重み量データとを読み出す読出しステップと、
読み出された予測係数データと第３の画像データ選択手段によって得られる画像データとの線型一次結合によって、注目点に画素を予測生成し、生成した画素を含むデータを、読み出しステップにおいて読み出された重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理ステップとを有し、
出力画像信号に対応する所定の画像信号中の真の画素値と、第３の画像データ選択ステップによって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された予測係数のクラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が重み量データとしてクラス毎に決定され、
重み量データを用いて、クラス毎に所定のビット幅に収まるように、重み量データに等しいビット数のシフト処理を施すことによって予測係数が得られることを特徴とする画像情報変換方法である。
【０００９】
請求項９の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにしたテレビジョン信号受像機において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択手段と、
第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、少なくとも検出したパターンに基づいて注目点が属するクラスを示すクラス値を決定するクラス検出手段と、
入力画像信号から、注目点を含み、注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択手段と、
クラス毎に予め決定された予測係数データを記憶する第１の記憶手段と、
第１の記憶手段に記憶された予測係数データに対する重み量データを、クラス毎に記憶する第２の記憶手段と、
クラス値に対応して第１の記憶手段から選択される予測係数データと、第２の画像データ選択手段によって得られる画像データとの線型一次結合によって、注目点に画素を予測生成し、生成した画素を含むデータを、クラス値に対応して第２の記憶手段から選択される重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
重み量データは、
出力画像信号に対応する所定の画像信号中の真の画素値と、第２の画像データ選択手段によって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された予測係数のクラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が重み量データとしてクラス毎に決定され、
重み量データを用いて、クラス毎に所定のビット幅に収まるように、重み量データに等しいビット数のシフト処理を施すことによって予測係数が得られることを特徴とするテレビジョン信号受像機である。
【００１０】
請求項１０の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにしたテレビジョン信号受像機において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択手段と、
第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて注目点が属する空間クラスを示す空間クラス値を決定する空間クラス検出手段と、
入力画像信号から、入力画像信号内の複数のフレーム内において、注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択手段と、
第２の画像データ選択手段によって選択される画像データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラス値を決定する動きクラス検出手段と、
空間クラス値と動きクラス値とを合成してクラスを示すクラス値を生成するクラス合成手段と、
入力画像信号から、注目点を含み、注目点に時間的または空間的に近傍に位置する画素を選択する第３の画像データ選択手段と、
クラス毎に予め決定された予測係数データを記憶する第１の記憶手段と、
第１の記憶手段に記憶された予測係数データに対する重み量データを、クラス毎に記憶する第２の記憶手段と、
クラス値に対応して第１の記憶手段から選択される予測係数データと、第３の画像データ選択手段によって得られる画像データとの線型一次結合によって、注目点に画素を予測生成し、生成した画素を含むデータを、クラス値に対応して第２の記憶手段から選択される重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
重み量データは、
出力画像信号に対応する所定の画像信号中の真の画素値と、第３の画像データ選択手段によって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された予測係数のクラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が重み量データとしてクラス毎に決定され、
重み量データを用いて、クラス毎に所定のビット幅に収まるように、重み量データに等しいビット数のシフト処理を施すことによって予測係数が得られることを特徴とするテレビジョン信号受像機である。
【００１１】
以上のような発明によれば、重み量データに関連して、予測係数を表現する情報を所定ビット幅に収めるための処理（丸め処理）の結果として生成される係数データをに基づいて、予測生成のための演算処理を行うようにすることができる。
【００１２】
このため、クラスによって予測係数の値が大幅に変化する場合にも、係数データを記憶する係数メモリ内で各係数データに割り当てられるビット幅を増やす必要を無くすことができる。
【００１３】
【発明の実施の形態】
以下、この発明の一実施形態についての説明に先立ち、その前提となる画像情報変換処理について説明する。かかる処理は、標準解像度のディジタル画像信号（以下、ＳＤ信号と表記する）を高解像度の画像信号（ＨＤ信号と称されることがある）に変換して出力するものである。この際のＳＤ信号としては、例えばライン数が５２５本でインターレス方式の画像信号（以下、５２５ｉ信号と表記する）等が用いられる。また、高解像度の画像信号としては、例えばライン数が５２５本でプログレッシブ方式の出力映像信号（以下、５２５ｐ信号と表記する）等が用いられる。さらに、出力画像信号における水平方向の画素数が入力画像信号における水平方向の画素数の２倍とされる。
【００１４】
かかる画像情報変換処理においては、本願出願人の提案に係るクラス分類適応処理によって解像度を高めようとしている。クラス分類適応処理は、従来の補間処理によって高解像度信号を形成するものとは異なる。すなわち、クラス分類適応処理は、入力ＳＤ信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習によって獲得された予測計数値を所定の記憶部に格納し、予測式に基づいた演算によって最適な推定値を出力する処理である。クラス分類適応処理によって、入力ＳＤ信号の解像度以上の解像度を得ることが可能となる。
【００１５】
このような処理によって得られる画像信号についてより詳細に説明する。図１は、１フィールドの画像の一部を拡大することによって、入力ＳＤ信号としての５２５ｉ信号を出力画像信号としての５２５ｐ信号に変換する画像情報変換処理における画素の配置の一例を示すものである。ここで、大きなドットが５２５ｉ信号の画素を示し、また、小さなドットが５２５ｐ信号の画素を示す。
【００１６】
５２５ｉ信号のラインと同一位置のラインデータｙ１（黒塗りの小さいドットとして示した）および５２５ｉ信号の上下のラインの中間位置のラインデータｙ２（白抜きの小さいドットとして示した）とが形成されることによって５２５ｐ信号が予測生成される。なお、図１は、あるフレームの奇数フィールドの画素配置を示している。他のフィールド（偶数フィールド）では、５２５ｉ信号および５２５ｐ信号の各ラインが空間的に０．５ラインずれることになる。
【００１７】
入力ＳＤ信号から、ラインデータｙ１、ｙ２についての空間クラスを検出するために必要なＳＤ画素（以下、空間クラスタップと表記する）の配置の一例を図２に示す。図２では、水平方向（左→右）に時間が進行する場合に、各フィールド内の画素を垂直方向に並べて示されている。
【００１８】
図示されているフィールドを、左から順にＦ−１／ｏ、Ｆ−１／ｅ、Ｆ／ｏ、Ｆ／ｅと表記する。なお、Ｆ−１／ｏは、「Ｆ−１番目のフレームの奇数（ｏｄｄ）番目の走査線からなるフィールド」である旨を示す表記である。同様に、Ｆ−１／ｅは、「Ｆ−１番目のフレームの偶数（ｅｖｅｎ）番目の走査線からなるフィールド」を意味し、Ｆ／ｏは、「Ｆ番目のフレームの奇数番目の走査線からなるフィールド」を意味し、また、Ｆ／ｅは、「Ｆ番目のフレームの偶数番目の走査線からなるフィールド」を意味する。
【００１９】
かかる一例においては、フィールドＦ／ｏ内のラインデータｙ１、ｙ２についての空間クラスタップとして、フィールドＦ−１／ｅ内のＴ５，Ｔ６，およびフィールドＦ／ｏ内のＴ２、Ｔ３、Ｔ４、並びにフィールドＦ／ｅ内のＴ１の全部で６個の画素値が使用される。但し、空間クラスタップの配置はこれに限定されるものでは無い。例えば、空間クラスタップとして、水平方向の複数の入力画素を使用しても良い。
【００２０】
上述したような画像情報変換処理を行うための一般的な構成の一例を図３に示す。以下の説明は、入力ＳＤ信号としての５２５ｉ信号を出力画像信号としての５２５ｐ信号に変換する処理系を例として行う。但し、他の画像信号形式を有する入力ＳＤ信号／出力画像信号間の画像情報変換処理も、同様な構成によって行うことができる。入力ＳＤ信号（５２５ｉ信号）がタップ選択回路１、６、７に供給される。
【００２１】
タップ選択回路１は、ラインデータｙ１，ｙ２を予測推定するための演算処理（後述する式（１）に従う演算処理）に必要とされる複数の画素が含まれる領域を切り出し、切り出した領域からラインデータｙ１，ｙ２を予測推定するために必要なＳＤ画素（以下、予測タップと表記する）を選択する。選択される予測タップが推定予測演算回路４に供給される。ここで、予測タップとしては、後述する空間クラスタップと同様なものを使用することができる。但し、予測精度を向上させるために、クラスに対応する予測タップ位置情報によって選択される。
【００２２】
また、推定予測演算回路４には、後述する係数メモリ１１からラインデータｙ１，ｙ２を予測推定するために必要な予測係数を供給される。推定予測演算回路４、５は、タップ選択回路１から供給される予測タップ、および係数メモリ１１から供給される予測係数に基づいて、以下の式（１）に従って画素値ｙを順次予測生成する。
【００２３】
ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋‥‥＋ｗn ×ｘn （１）
ここで、ｘ1 ，‥‥，ｘn が各予測タップであり、ｗ1 ，‥‥，ｗn が各予測係数である。すなわち、式（１）は、ｎ個の予測タップを用いて画素値ｙを予測生成するための式である。画素値ｙの列として、ラインデータｙ１およびｙ２が予測生成される。
【００２４】
推定予測演算回路４は、ラインデータｙ１、ｙ２を線順序変換回路５に供給する。線順序変換回路５は、供給されるラインデータにライン倍速処理を施し、高解像度信号を生成する。この高解像度信号が最終的な出力画像信号とされる。図示しないが、出力画像信号がＣＲＴディスプレイに供給される。ＣＲＴディスプレイは、出力画像信号（５２５ｐ信号）を表示することが可能なように、その同期系が構成されている。また、入力ＳＤ信号としては、放送信号、またはＶＴＲ等の再生装置の再生信号が供給される。すなわち、この一実施形態をテレビジョン受像機等に内蔵することができる。
【００２５】
一方、タップ選択回路６は、入力ＳＤ信号から空間クラスタップを選択する。タップ選択回路６の出力が空間クラス検出回路８に供給される。また、タップ選択回路７は、入力ＳＤ信号から動きクラスを検出するために必要なＳＤ画素（以下、動きクラスタップと表記する）を選択する。タップ選択回路７の出力が動きクラス検出回路９に供給される。
【００２６】
空間クラス検出回路８は、供給される空間クラスタップに基づいて空間クラス値を検出し、検出した空間クラス値をクラス合成回路１０に供給する。また、動きクラス検出回路９は、供給される動きクラスタップに基づいて動きクラス値を検出し、検出した空間クラス値をクラス合成回路１０に供給する。
【００２７】
クラス合成回路１０は、空間クラス値と動きクラス値とを合成し、合成されたクラス値を係数メモリ１１に供給する。係数メモリ１１は、後述する学習によって予め決められた予測係数を記憶している。そして、クラス合成回路１０から供給される、合成されたクラス値によって指定される予測係数データを、推定予測演算回路４に対して出力する。このような出力を行うためには、合成されたクラス情報によって指定されるアドレスに沿って、係数メモリ１１に予測係数データを記憶しておく等の方法を用いれば良い。
【００２８】
ここで、空間クラス検出についてより詳細に説明する。一般に、空間クラス検出回路は、空間クラスタップのレベル分布のパターンに基づいて画像データのレベル分布の空間的パターンを検出し、検出した空間的パターンに基づいて空間クラス値を生成する。この場合、クラス数が膨大になることを防ぐために、各画素について８ビットの入力画素データをより少ないビット数のデータに圧縮するような処理を行う。このような情報圧縮処理の一例として、ＡＤＲＣ(Adaptive Dynamic Range Coding) を用いることができる。また、情報圧縮処理として、ＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いることもできる。
【００２９】
ＡＤＲＣは、本来、ＶＴＲ(Video Tape Recoder)向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この一形態では、ＡＤＲＣを空間クラス分類のコード発生に使用している。ＡＤＲＣは、空間クラスタップのダイナミックレンジをＤＲ，ビット割当をｎ，空間クラスタップの画素のデータレベルをＬ，再量子化コードをＱとして、以下の式（２）により、最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００３０】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝ （２）
但し、｛ ｝は切り捨て処理を意味する。
【００３１】
次に、動きクラス検出についてより詳細に説明する。動きクラス検出回路２１は、供給される動きクラスタップに基づいて、以下の式（３）に従ってフレーム間差分絶対値の平均値ｐａｒａｍを計算する。そして、計算したｐａｒａｍの値に基づいて、動きクラス値を検出する。
【００３２】
【数１】
【００３３】
式（３）においてｎは動きクラスタップ数であり、例えばｎ＝６と設定することができる。そして、ｐａｒａｍの値と、予め設定されたしきい値とを比較することによって動きの指標である動きクラス値が決定される。例えば、ｐａｒａｍ≦２の場合には動きクラス値０、２＜ｐａｒａｍ≦４の場合には動きクラス値１、４＜ｐａｒａｍ≦８の場合には動きクラス値２、ｐａｒａｍ＞８の場合には動きクラス値３というように動きクラス値が生成される。動きクラス値０が動きが最小（静止）であり、動きクラス値１、２、３となるに従って動きが大きいものと判断される。なお、動きベクトルを検出し、検出した動きベクトルに基づいて動きクラスを検出しても良い。
【００３４】
次に、予測係数の生成に係る処理について説明する。図４に、予測係数生成処理系の構成の一例を示す。出力画像信号と同じ信号形式を有する既知の信号（例えば５２５ｐ信号）が間引きフィルタ２０、および正規方程式加算回路２７に供給される。間引きフィルタ５１は、水平方向および垂直方向で画素数がそれぞれ１／２とされ、全体として供給される信号の１／４の画素数を有するＳＤ信号（例えば５２５ｉ信号）を生成する。
【００３５】
かかる処理として、例えば、入力する画像信号について垂直方向の周波数が１／２になるように垂直間引きフィルタによって画素を間引き、さらに、水平方向の周波数が１／２になるように水平間引きフィルタによって画素を間引く等の処理が行われる。間引きフィルタ５１が生成するＳＤ信号がタップ選択回路２１、２２、２３に供給される。間引きフィルタ２０の特性を変えることによって学習の特性を変え、それによって、変換して得られる画像の画質を制御することができる。
【００３６】
タップ選択回路２１は、予測タップを選択し、選択した予測タップを正規方程式加算回路２７に供給する。また、タップ選択回路２２は、予測タップを選択し、選択した予測タップを空間クラス検出回路２４に供給する。一方、タップ選択回路２３は、予測タップを選択し、選択した予測タップを動きクラス検出回路２５に供給する。
【００３７】
空間クラス検出回路２４は、供給される空間クラスタップに基づいて空間クラス値を検出し、検出した空間クラス値をクラス合成回路２６に供給する。また、動きクラス検出回路２４は、供給される動きクラスタップに基づいて動きクラス値を検出し、検出した動きクラス値をクラス合成回路２６に供給する。クラス合成回路２６は、供給される空間クラス値および動きクラス値を合成し、合成したクラス値を正規方程式加算回路２７に供給する。
【００３８】
正規方程式加算回路２７は、予測係数を解とする正規方程式を解くための計算処理に使用されるデータを算出する。すなわち、正規方程式加算回路２７は、入力ＳＤ信号、タップ選択回路２１の出力、およびクラス合成回路２６の出力に基づいて加算処理を行うことにより、ラインデータｙ１，ｙ２の予測生成に使用される予測係数を解とする正規方程式を解くために必要なデータを算出する。
【００３９】
正規方程式加算回路２７が算出したデータが予測係数決定回路２８に供給される。予測係数決定回路２８は、供給されるデータに基づいて正規方程式を解くための計算処理を行い、ラインデータｙ１，ｙ２の予測生成に使用される予測係数を算出する。算出される予測係数が係数メモリ２９に供給され、記憶される。
【００４０】
ここで、正規方程式について説明する。上述したように、ｎ個の予測タップを使用して、ラインデータｙ１，ｙ２を構成する各画素は、上述の式（１）によって順次予測生成される。式（１）において、学習前は予測係数ｗ1 ，‥‥，ｗn が未定係数である。学習は、クラス毎に複数の入力画像信号データに対して行う。かかる入力画像信号データの総数をｍと表記する場合、式（１）に従って、以下の式（４）が設定される。
【００４１】
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn （４）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合、予測係数ｗ1 ，‥‥，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅk を以下の式（５）で定義して、式（６）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００４２】
ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn｝ （５）
（ｋ＝１，２，‥‥ｍ）
【００４３】
【数２】
【００４４】
式（６）のｅ2 を最小とする予測係数を求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi (i=1,2‥‥）で偏微分し（式（７））、ｉの各値について偏微分値が０となるように各予測係数ｗi を定めれば良い。
【００４５】
【数３】
【００４６】
式（７）から各予測係数ｗi を定める具体的な手順について説明する。式（８）、（９）のようにＸji，Ｙi を定義すると、式（７）は、式（１０）の行列式の形に書くことができる。
【００４７】
【数４】
【００４８】
【数５】
【００４９】
【数６】
【００５０】
式（１０）が一般に正規方程式と呼ばれるものである。正規方程式加算回路２７は、クラス合成回路２６から供給されたクラス情報、予測タップ選択回路２１から供給される予測タップ、および入力画像信号に基づいて、正規方程式データ、すなわち、式（８）、（９）に従うＸji，Ｙi の値を算出する。そして、算出した正規方程式データを予測係数決定部２８に供給する。予測係数決定部２８は、正規方程式データに基づいて、掃き出し法等の一般的な行列解法に従って正規方程式を解くための計算処理を行って予測係数ｗi を算出する。
【００５１】
上述したような一般的な画像情報変換処理において、予測係数の値は大きく変化する。このため、係数メモリ１１において予測係数を記憶するために、以下のような方法が用いられてきた。すなわち、予測係数の絶対値の最大値を求め、求めた最大値を表現できるビット幅を、各予測係数値を記憶するためのビット幅として割当てるようになされていた。
【００５２】
このようにして割当てられるビット幅は、以下のような理由で有効に使用されない場合がある。一般的に、クラス検出が適正に行われる場合には、特定のクラスの予測生成に使用される予測係数の総和が略１となり、個々の予測係数の値も１より大幅に大きくなることは無い。また、予測係数の値が大きく変動する場合には、入力画像信号から出力画像信号を的確に推定できない場合が多く、そのような予測係数を予測生成のために必要とするようなクラスが検出される割合は、通常、入力画像信号中の全画素数に比して非常に少ない。
【００５３】
このような状況においても、上述したように各予測係数に対して割当てられるビット幅を全予測係数の絶対値の最大値に基づいて決めるようにする場合には、入力画像信号に占める割合の小さいクラスによってビット幅の割当てが律則されることになる。このため、予測係数が１より大幅に大きくなることが無い、多数のクラスについて、割当てられるビット幅が有効に使用されないことがある。
【００５４】
そこで、この発明は、予測生成に使用される予測係数の最大値をクラス毎に検出し、検出した最大値に関連して、クラス毎の重み量を生成すると共に各予測係数を固定有効ビット幅に収める丸め処理を行うことによって予測係数データを生成するようにしたものである。このようにして生成される予測係数データを記憶するように構成することにより、メモリにおいて各予測係数について割り当てられるビット幅を有効に使用することが可能となる。そして、クラス毎の重み量を別途記憶し、この重み量を用いて丸め処理に対応する補償を行うことによって、予測生成を的確に行うことができる。
【００５５】
以下、この発明の一実施形態について、適宜図面を参照して説明する。一実施形態は、入力ＳＤ信号としての５２５ｉ信号を、出力画像信号としての５２５ｐ信号に変換する画像情報変換処理を行うものである。但し、他の画像信号形式を有する入力ＳＤ信号／出力画像信号間の変換を行う場合にも、この発明を適用することができる。
【００５６】
図５に、一実施形態における予測係数生成処理系の構成の一例を示す。ここで、図３等を参照して上述した一般的な予測係数生成処理系中の構成要素と同様な構成要素には、同一の符号を付した。予測係数決定回路２８によって生成される予測係数が最大値検出回路２９に供給される。最大値検出回路２９は、各クラス毎に、以下のような処理を行う。まず、予測係数の絶対値の最大値Ｍを検出し、検出した最大値Ｍを越える最小の２の巾乗を求める。すなわち、２n-1 ＜Ｍ＜２ nを満たすｎの値を求める。このｎの値を当該クラスに対する重み量データとして、重み量メモリ３０および丸め処理回路３１に供給する。丸め処理回路３１は、供給される重み量データを記憶する。また、各予測係数値は、最大値検出回路２９を介して丸め処理回路３１に供給される。
【００５７】
丸め処理回路３１は、供給される各予測係数の値を丸める処理をクラス毎に行う。まず、供給される重み量データｎを用いて、各予測係数値を２ nで割る演算を行う。すなわち、重み量ｎに等しいビット数だけ、各画素値を左にビットシフトする。さらに、かかる割り算の結果を例えば８ビット等の固定有効ビット幅に収めるために、例えば固定有効ビット幅以降のビットを以下の切り捨てる等の処理を行う。以上のような丸め処理によって得られる予測係数データが係数メモリ３２に供給される。なお、必要に応じて位取り等に関する情報を示すビットを付加しても良い。以上のようにして、全てのクラスについて、固定有効ビット幅に収められた値と、重み量データとの組合わせによって予測係数値が表現される。係数メモリ３２、重み量メモリ３０に記憶されたデータは、それぞれ、係数メモリ１１、重み量メモリ１２にロードされる。
【００５８】
次に、上述したようにして表現される予測係数値を使用した、画像情報変換処理について説明する。図６は、一実施形態における画像情報変換処理系の構成の一例を示すブロック図である。ここで、図３等を参照して上述した一般的な画像情報処理系中の構成要素と同様な構成要素には、同一の符号を付した。クラス合成回路１０が生成するクラス値は、係数メモリ１１に供給されると共に、重み量メモリ１２にも供給される。
【００５９】
係数メモリ１１は、供給されるクラス値によって指定される予測係数データを、推定予測演算回路４に対して出力する。また、重み量メモリ１２は、供給されるクラス値によって指定される重み量データを、ビットシフト処理回路５に対して出力する。このような出力を行うためには、クラス値によって指定されるアドレスに沿って、重み量メモリ１２に重み量データを記憶しておく等の方法を用いれば良い。
【００６０】
推定予測演算回路４は、上述したような演算処理を行うことによって予測生成したラインデータ値をビットシフト処理回路５に供給する。ビットシフト処理回路５は、供給される重み量データに従って、供給されるラインデータ値に対するビットシフト処理を行う。すなわち、重み量ｎに等しいビット数だけ、各画素値を右にビットシフトする。かかるビットシフト処理は、各画素値を２n 倍する演算処理であり、従って、ラインデータ値に対して、丸め処理に対応する補償がなされることになる。なお、必要に応じて位取り等に関する情報を示すビットに基づく処理を行うようにしても良い。かかる処理によって、ラインデータｙ１，ｙ２を的確に生成することができる。
【００６１】
なお、上述したこの発明の一実施形態では、空間クラスップの配置がｙ１，ｙ２について同一とされていた。これに対し、入力画像信号の走査線との位置関係の違いにに起因する予測生成の困難さの違いを考慮して、ｙ１、ｙ２について、異なる空間クラスップの配置が使用されることもある。すなわち、入力画像信号の走査線に対応する位置にあるラインデータｙ１の予測生成よりも、入力画像信号の走査線に対応する位置にないラインデータｙ２の予測生成の方が一般に困難であることを考慮して、ｙ２についてより多くの空間クラスタップが配置されることもある。このような場合にも、この発明を適用することができる。
【００６２】
また、この発明の一実施形態および他の実施形態は、５２５ｉ信号を５２５ｐ信号に変換するものであるが、５２５本のライン数は、一例であって、他のライン数であってもこの発明を適用することができる。例えば、入力ＳＤ信号における水平方向の画素数に対して、２倍以外の画素数を含むラインからなる出力画像信号を予測生成するようにしても良い。より具体的には、出力画像信号として１０５０ｉ信号、すなわち走査線数が１０５０本でインターレス方式の画像信号を予測生成する画像情報変換処理を行う場合に、この発明を適用することができる。
【００６３】
【発明の効果】
上述したように、この発明は、画像情報変換を行うに際して、クラス毎の予測係数データと共に、予測生成を行うための演算処理を行うようにしたものである。ここで、所定の方法で計算される予測係数に基づいてクラス毎に重み量データが検出される、また、かかる重み量データを使用した丸め処理によって、クラス毎の予測係数が所定ビット幅の予測係数データに変換される。
【００６４】
このため、クラスによって予測係数の値が大幅に変化する場合にも、係数メモリ内で予測係数に対応して割り当てられるビット幅を増やす必要が無く、各クラスについて最適な演算精度を確保することができる。従って、係数メモリの容量を増大させることなく、広範囲の予測係数値に対応することができる。
【００６５】
このため、画像情報変換によって得られる出力画像信号の品質を損なうことなく、予測係数に対応してメモリ内で割り当てられるビット幅を有効に使用することが可能となる。従って、予測係数に対応した記憶を行うためのメモリの総記憶容量を削減することが可能となる。このため、装置全体に関わる回路規模の縮小および低コスト化に寄与することができる。
【図面の簡単な説明】
【図１】この発明の一実施形態によってなされる画像情報変換処理における画素の配置の一例を示す略線図である。
【図２】この発明の一実施形態における、空間クラスタップ配置の一例を示す略線図である。
【図３】一般的な画像情報変換処理系の構成の一例を示すブロック図である。
【図４】一般的な予測係数算出処理系の構成の一例を示すブロック図である。
【図５】この発明の一実施形態における予測係数算出処理系の構成の一例を示すブロック図である。
【図６】この発明の一実施形態における画像情報変換処理系の構成の一例を示すブロック図である。
【符号の説明】
２９・・・最大値検出回路、３０・・・重み量メモリ、３１・・・丸め処理部、３２・・・係数メモリ
【発明の属する技術分野】
この発明は、入力画像信号からより高い解像度を有する画像信号を生成する機能を有する画像情報変換装置、画像情報変換方法、およびテレビジョン受像機に関する。
【０００２】
【従来の技術】
入力画像信号よりも解像度の高い画像信号を得る等の目的で、入力画像信号とは走査線構造が異なる出力画像信号を形成する画像情報変換処理が行われる。画像情報変換処理として、入力画像信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行い、それによって得られるクラス値を参照して画素の予測生成を行う、クラス分類適応処理が提案されている。
【０００３】
予測生成に係る演算処理は、クラス毎に所定の演算によって決定される予測係数を用いてなされる。従って、予測係数を表現するための予測係数データを装置内のメモリに記憶しておく必要がある。かかるメモリ内で各予測係数に対応して割り当てられるビット幅として、一般的には、予測係数の最大値を表現できるビット幅が用いられている。しかしながら、予測係数の値が大きく変動する場合には、割り当てられるビット幅の内で有効に使用されない部分が多くなるという問題があった。
【０００４】
【発明が解決しようとする課題】
従って、この発明の目的は、予測係数の値が大きく変動する場合等においても、各予測係数に対応してメモリ内で割り当てられるビット幅が有効に使用されることを可能とする画像情報変換装置、画像情報変換方法、およびテレビジョン受像機を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換装置において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択手段と、
第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、少なくとも検出したパターンに基づいて注目点が属するクラスを示すクラス値を決定するクラス検出手段と、
入力画像信号から、注目点を含み、注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択手段と、
クラス毎に予め決定された予測係数データを記憶する第１の記憶手段と、
第１の記憶手段に記憶された予測係数データに対する重み量データを、クラス毎に記憶する第２の記憶手段と、
クラス値に対応して第１の記憶手段から選択される予測係数データと、第２の画像データ選択手段によって得られる画像データとの線型一次結合によって、注目点に画素を予測生成し、生成した画素を含むデータを、クラス値に対応して第２の記憶手段から選択される重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
重み量データは、
出力画像信号に対応する所定の画像信号中の真の画素値と、第２の画像データ選択手段によって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された予測係数のクラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が重み量データとしてクラス毎に決定され、
重み量データを用いて、クラス毎に所定のビット幅に収まるように、重み量データに等しいビット数のシフト処理を施すことによって予測係数が得られることを特徴とする画像情報変換装置である。
【０００６】
請求項２の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換装置において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択手段と、
第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて注目点が属する空間クラスを示す空間クラス値を決定する空間クラス検出手段と、
入力画像信号から、入力画像信号内の複数のフレーム内において、注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択手段と、
第２の画像データ選択手段によって選択される画像データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラス値を決定する動きクラス検出手段と、
空間クラス値と動きクラス値とを合成してクラスを示すクラス値を生成するクラス合成手段と、
入力画像信号から、注目点を含み、注目点に時間的または空間的に近傍に位置する画素を選択する第３の画像データ選択手段と、
クラス毎に予め決定された予測係数データを記憶する第１の記憶手段と、
第１の記憶手段に記憶された予測係数データに対する重み量データを、クラス毎に記憶する第２の記憶手段と、
クラス値に対応して第１の記憶手段から選択される予測係数データと、第３の画像データ選択手段によって得られる画像データとの線型一次結合によって、注目点に画素を予測生成し、生成した画素を含むデータを、クラス値に対応して第２の記憶手段から選択される重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
重み量データは、
出力画像信号に対応する所定の画像信号中の真の画素値と、第３の画像データ選択手段によって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された予測係数のクラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が重み量データとしてクラス毎に決定され、
重み量データを用いて、クラス毎に所定のビット幅に収まるように、重み量データに等しいビット数のシフト処理を施すことによって予測係数が得られることを特徴とする画像情報変換装置である。
【０００７】
請求項５の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換方法において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択ステップと、
第１の画像データ選択ステップによって選択される画像データから、レベル分布のパターンを検出し、少なくとも検出したパターンに基づいて注目点が属するクラスを示すクラス値を決定するクラス検出ステップと、
入力画像信号から、注目点を含み、注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択ステップと、
クラス毎に予め決定された予測係数データが記憶された第１の記憶手段と、第１の記憶手段に記憶された予測係数データに対する重み量データがクラス毎に記憶された第２の記憶手段とから、クラス値に従って、予測係数データと重み量データとを読み出す読み出しステップと、
読み出された予測係数データと第２の画像データ選択手段によって得られる画像データとの線型一次結合によって、注目点に画素を予測生成し、生成した画素を含むデータを、読み出しステップにおいて読み出された重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理ステップとを有し、
重み量データは、
出力画像信号に対応する所定の画像信号中の真の画素値と、第２の画像データ選択ステップによって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された予測係数のクラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が重み量データとしてクラス毎に決定され、
重み量データを用いて、クラス毎に所定のビット幅に収まるように、重み量データに等しいビット数のシフト処理を施すことによって予測係数が得られることを特徴とする画像情報変換方法である。
【０００８】
請求項６の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換方法において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択ステップと、
第１の画像データ選択ステップによって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて注目点が属する空間クラスを示す空間クラス値を決定する空間クラス検出ステップと、
入力画像信号から、入力画像信号内の複数のフレーム内において、注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択ステップと、
第２の画像データ選択ステップによって選択される画像データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラス値を決定する動きクラス検出ステップと、
空間クラス値と動きクラス値とを合成してクラスを示すクラス値を生成するクラス合成ステップと、
入力画像信号から、注目点を含み、注目点に時間的または空間的に近傍に位置する画素を選択する第３の画像データ選択ステップと、
クラス毎に予め決定された予測係数データが記憶された第１の記憶手段と、第１の記憶手段に記憶された予測係数データに対する重み量データがクラス毎に記憶された第２の記憶手段とから、クラス値に従って、予測係数データと重み量データとを読み出す読出しステップと、
読み出された予測係数データと第３の画像データ選択手段によって得られる画像データとの線型一次結合によって、注目点に画素を予測生成し、生成した画素を含むデータを、読み出しステップにおいて読み出された重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理ステップとを有し、
出力画像信号に対応する所定の画像信号中の真の画素値と、第３の画像データ選択ステップによって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された予測係数のクラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が重み量データとしてクラス毎に決定され、
重み量データを用いて、クラス毎に所定のビット幅に収まるように、重み量データに等しいビット数のシフト処理を施すことによって予測係数が得られることを特徴とする画像情報変換方法である。
【０００９】
請求項９の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにしたテレビジョン信号受像機において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択手段と、
第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、少なくとも検出したパターンに基づいて注目点が属するクラスを示すクラス値を決定するクラス検出手段と、
入力画像信号から、注目点を含み、注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択手段と、
クラス毎に予め決定された予測係数データを記憶する第１の記憶手段と、
第１の記憶手段に記憶された予測係数データに対する重み量データを、クラス毎に記憶する第２の記憶手段と、
クラス値に対応して第１の記憶手段から選択される予測係数データと、第２の画像データ選択手段によって得られる画像データとの線型一次結合によって、注目点に画素を予測生成し、生成した画素を含むデータを、クラス値に対応して第２の記憶手段から選択される重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
重み量データは、
出力画像信号に対応する所定の画像信号中の真の画素値と、第２の画像データ選択手段によって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された予測係数のクラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が重み量データとしてクラス毎に決定され、
重み量データを用いて、クラス毎に所定のビット幅に収まるように、重み量データに等しいビット数のシフト処理を施すことによって予測係数が得られることを特徴とするテレビジョン信号受像機である。
【００１０】
請求項１０の発明は、入力画像信号から走査線構造の異なる出力画像信号を形成するようにしたテレビジョン信号受像機において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択手段と、
第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出したパターンに基づいて注目点が属する空間クラスを示す空間クラス値を決定する空間クラス検出手段と、
入力画像信号から、入力画像信号内の複数のフレーム内において、注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択手段と、
第２の画像データ選択手段によって選択される画像データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラス値を決定する動きクラス検出手段と、
空間クラス値と動きクラス値とを合成してクラスを示すクラス値を生成するクラス合成手段と、
入力画像信号から、注目点を含み、注目点に時間的または空間的に近傍に位置する画素を選択する第３の画像データ選択手段と、
クラス毎に予め決定された予測係数データを記憶する第１の記憶手段と、
第１の記憶手段に記憶された予測係数データに対する重み量データを、クラス毎に記憶する第２の記憶手段と、
クラス値に対応して第１の記憶手段から選択される予測係数データと、第３の画像データ選択手段によって得られる画像データとの線型一次結合によって、注目点に画素を予測生成し、生成した画素を含むデータを、クラス値に対応して第２の記憶手段から選択される重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
重み量データは、
出力画像信号に対応する所定の画像信号中の真の画素値と、第３の画像データ選択手段によって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された予測係数のクラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が重み量データとしてクラス毎に決定され、
重み量データを用いて、クラス毎に所定のビット幅に収まるように、重み量データに等しいビット数のシフト処理を施すことによって予測係数が得られることを特徴とするテレビジョン信号受像機である。
【００１１】
以上のような発明によれば、重み量データに関連して、予測係数を表現する情報を所定ビット幅に収めるための処理（丸め処理）の結果として生成される係数データをに基づいて、予測生成のための演算処理を行うようにすることができる。
【００１２】
このため、クラスによって予測係数の値が大幅に変化する場合にも、係数データを記憶する係数メモリ内で各係数データに割り当てられるビット幅を増やす必要を無くすことができる。
【００１３】
【発明の実施の形態】
以下、この発明の一実施形態についての説明に先立ち、その前提となる画像情報変換処理について説明する。かかる処理は、標準解像度のディジタル画像信号（以下、ＳＤ信号と表記する）を高解像度の画像信号（ＨＤ信号と称されることがある）に変換して出力するものである。この際のＳＤ信号としては、例えばライン数が５２５本でインターレス方式の画像信号（以下、５２５ｉ信号と表記する）等が用いられる。また、高解像度の画像信号としては、例えばライン数が５２５本でプログレッシブ方式の出力映像信号（以下、５２５ｐ信号と表記する）等が用いられる。さらに、出力画像信号における水平方向の画素数が入力画像信号における水平方向の画素数の２倍とされる。
【００１４】
かかる画像情報変換処理においては、本願出願人の提案に係るクラス分類適応処理によって解像度を高めようとしている。クラス分類適応処理は、従来の補間処理によって高解像度信号を形成するものとは異なる。すなわち、クラス分類適応処理は、入力ＳＤ信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習によって獲得された予測計数値を所定の記憶部に格納し、予測式に基づいた演算によって最適な推定値を出力する処理である。クラス分類適応処理によって、入力ＳＤ信号の解像度以上の解像度を得ることが可能となる。
【００１５】
このような処理によって得られる画像信号についてより詳細に説明する。図１は、１フィールドの画像の一部を拡大することによって、入力ＳＤ信号としての５２５ｉ信号を出力画像信号としての５２５ｐ信号に変換する画像情報変換処理における画素の配置の一例を示すものである。ここで、大きなドットが５２５ｉ信号の画素を示し、また、小さなドットが５２５ｐ信号の画素を示す。
【００１６】
５２５ｉ信号のラインと同一位置のラインデータｙ１（黒塗りの小さいドットとして示した）および５２５ｉ信号の上下のラインの中間位置のラインデータｙ２（白抜きの小さいドットとして示した）とが形成されることによって５２５ｐ信号が予測生成される。なお、図１は、あるフレームの奇数フィールドの画素配置を示している。他のフィールド（偶数フィールド）では、５２５ｉ信号および５２５ｐ信号の各ラインが空間的に０．５ラインずれることになる。
【００１７】
入力ＳＤ信号から、ラインデータｙ１、ｙ２についての空間クラスを検出するために必要なＳＤ画素（以下、空間クラスタップと表記する）の配置の一例を図２に示す。図２では、水平方向（左→右）に時間が進行する場合に、各フィールド内の画素を垂直方向に並べて示されている。
【００１８】
図示されているフィールドを、左から順にＦ−１／ｏ、Ｆ−１／ｅ、Ｆ／ｏ、Ｆ／ｅと表記する。なお、Ｆ−１／ｏは、「Ｆ−１番目のフレームの奇数（ｏｄｄ）番目の走査線からなるフィールド」である旨を示す表記である。同様に、Ｆ−１／ｅは、「Ｆ−１番目のフレームの偶数（ｅｖｅｎ）番目の走査線からなるフィールド」を意味し、Ｆ／ｏは、「Ｆ番目のフレームの奇数番目の走査線からなるフィールド」を意味し、また、Ｆ／ｅは、「Ｆ番目のフレームの偶数番目の走査線からなるフィールド」を意味する。
【００１９】
かかる一例においては、フィールドＦ／ｏ内のラインデータｙ１、ｙ２についての空間クラスタップとして、フィールドＦ−１／ｅ内のＴ５，Ｔ６，およびフィールドＦ／ｏ内のＴ２、Ｔ３、Ｔ４、並びにフィールドＦ／ｅ内のＴ１の全部で６個の画素値が使用される。但し、空間クラスタップの配置はこれに限定されるものでは無い。例えば、空間クラスタップとして、水平方向の複数の入力画素を使用しても良い。
【００２０】
上述したような画像情報変換処理を行うための一般的な構成の一例を図３に示す。以下の説明は、入力ＳＤ信号としての５２５ｉ信号を出力画像信号としての５２５ｐ信号に変換する処理系を例として行う。但し、他の画像信号形式を有する入力ＳＤ信号／出力画像信号間の画像情報変換処理も、同様な構成によって行うことができる。入力ＳＤ信号（５２５ｉ信号）がタップ選択回路１、６、７に供給される。
【００２１】
タップ選択回路１は、ラインデータｙ１，ｙ２を予測推定するための演算処理（後述する式（１）に従う演算処理）に必要とされる複数の画素が含まれる領域を切り出し、切り出した領域からラインデータｙ１，ｙ２を予測推定するために必要なＳＤ画素（以下、予測タップと表記する）を選択する。選択される予測タップが推定予測演算回路４に供給される。ここで、予測タップとしては、後述する空間クラスタップと同様なものを使用することができる。但し、予測精度を向上させるために、クラスに対応する予測タップ位置情報によって選択される。
【００２２】
また、推定予測演算回路４には、後述する係数メモリ１１からラインデータｙ１，ｙ２を予測推定するために必要な予測係数を供給される。推定予測演算回路４、５は、タップ選択回路１から供給される予測タップ、および係数メモリ１１から供給される予測係数に基づいて、以下の式（１）に従って画素値ｙを順次予測生成する。
【００２３】
ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋‥‥＋ｗn ×ｘn （１）
ここで、ｘ1 ，‥‥，ｘn が各予測タップであり、ｗ1 ，‥‥，ｗn が各予測係数である。すなわち、式（１）は、ｎ個の予測タップを用いて画素値ｙを予測生成するための式である。画素値ｙの列として、ラインデータｙ１およびｙ２が予測生成される。
【００２４】
推定予測演算回路４は、ラインデータｙ１、ｙ２を線順序変換回路５に供給する。線順序変換回路５は、供給されるラインデータにライン倍速処理を施し、高解像度信号を生成する。この高解像度信号が最終的な出力画像信号とされる。図示しないが、出力画像信号がＣＲＴディスプレイに供給される。ＣＲＴディスプレイは、出力画像信号（５２５ｐ信号）を表示することが可能なように、その同期系が構成されている。また、入力ＳＤ信号としては、放送信号、またはＶＴＲ等の再生装置の再生信号が供給される。すなわち、この一実施形態をテレビジョン受像機等に内蔵することができる。
【００２５】
一方、タップ選択回路６は、入力ＳＤ信号から空間クラスタップを選択する。タップ選択回路６の出力が空間クラス検出回路８に供給される。また、タップ選択回路７は、入力ＳＤ信号から動きクラスを検出するために必要なＳＤ画素（以下、動きクラスタップと表記する）を選択する。タップ選択回路７の出力が動きクラス検出回路９に供給される。
【００２６】
空間クラス検出回路８は、供給される空間クラスタップに基づいて空間クラス値を検出し、検出した空間クラス値をクラス合成回路１０に供給する。また、動きクラス検出回路９は、供給される動きクラスタップに基づいて動きクラス値を検出し、検出した空間クラス値をクラス合成回路１０に供給する。
【００２７】
クラス合成回路１０は、空間クラス値と動きクラス値とを合成し、合成されたクラス値を係数メモリ１１に供給する。係数メモリ１１は、後述する学習によって予め決められた予測係数を記憶している。そして、クラス合成回路１０から供給される、合成されたクラス値によって指定される予測係数データを、推定予測演算回路４に対して出力する。このような出力を行うためには、合成されたクラス情報によって指定されるアドレスに沿って、係数メモリ１１に予測係数データを記憶しておく等の方法を用いれば良い。
【００２８】
ここで、空間クラス検出についてより詳細に説明する。一般に、空間クラス検出回路は、空間クラスタップのレベル分布のパターンに基づいて画像データのレベル分布の空間的パターンを検出し、検出した空間的パターンに基づいて空間クラス値を生成する。この場合、クラス数が膨大になることを防ぐために、各画素について８ビットの入力画素データをより少ないビット数のデータに圧縮するような処理を行う。このような情報圧縮処理の一例として、ＡＤＲＣ(Adaptive Dynamic Range Coding) を用いることができる。また、情報圧縮処理として、ＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いることもできる。
【００２９】
ＡＤＲＣは、本来、ＶＴＲ(Video Tape Recoder)向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この一形態では、ＡＤＲＣを空間クラス分類のコード発生に使用している。ＡＤＲＣは、空間クラスタップのダイナミックレンジをＤＲ，ビット割当をｎ，空間クラスタップの画素のデータレベルをＬ，再量子化コードをＱとして、以下の式（２）により、最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００３０】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝ （２）
但し、｛ ｝は切り捨て処理を意味する。
【００３１】
次に、動きクラス検出についてより詳細に説明する。動きクラス検出回路２１は、供給される動きクラスタップに基づいて、以下の式（３）に従ってフレーム間差分絶対値の平均値ｐａｒａｍを計算する。そして、計算したｐａｒａｍの値に基づいて、動きクラス値を検出する。
【００３２】
【数１】
式（３）においてｎは動きクラスタップ数であり、例えばｎ＝６と設定することができる。そして、ｐａｒａｍの値と、予め設定されたしきい値とを比較することによって動きの指標である動きクラス値が決定される。例えば、ｐａｒａｍ≦２の場合には動きクラス値０、２＜ｐａｒａｍ≦４の場合には動きクラス値１、４＜ｐａｒａｍ≦８の場合には動きクラス値２、ｐａｒａｍ＞８の場合には動きクラス値３というように動きクラス値が生成される。動きクラス値０が動きが最小（静止）であり、動きクラス値１、２、３となるに従って動きが大きいものと判断される。なお、動きベクトルを検出し、検出した動きベクトルに基づいて動きクラスを検出しても良い。
【００３４】
次に、予測係数の生成に係る処理について説明する。図４に、予測係数生成処理系の構成の一例を示す。出力画像信号と同じ信号形式を有する既知の信号（例えば５２５ｐ信号）が間引きフィルタ２０、および正規方程式加算回路２７に供給される。間引きフィルタ５１は、水平方向および垂直方向で画素数がそれぞれ１／２とされ、全体として供給される信号の１／４の画素数を有するＳＤ信号（例えば５２５ｉ信号）を生成する。
【００３５】
かかる処理として、例えば、入力する画像信号について垂直方向の周波数が１／２になるように垂直間引きフィルタによって画素を間引き、さらに、水平方向の周波数が１／２になるように水平間引きフィルタによって画素を間引く等の処理が行われる。間引きフィルタ５１が生成するＳＤ信号がタップ選択回路２１、２２、２３に供給される。間引きフィルタ２０の特性を変えることによって学習の特性を変え、それによって、変換して得られる画像の画質を制御することができる。
【００３６】
タップ選択回路２１は、予測タップを選択し、選択した予測タップを正規方程式加算回路２７に供給する。また、タップ選択回路２２は、予測タップを選択し、選択した予測タップを空間クラス検出回路２４に供給する。一方、タップ選択回路２３は、予測タップを選択し、選択した予測タップを動きクラス検出回路２５に供給する。
【００３７】
空間クラス検出回路２４は、供給される空間クラスタップに基づいて空間クラス値を検出し、検出した空間クラス値をクラス合成回路２６に供給する。また、動きクラス検出回路２４は、供給される動きクラスタップに基づいて動きクラス値を検出し、検出した動きクラス値をクラス合成回路２６に供給する。クラス合成回路２６は、供給される空間クラス値および動きクラス値を合成し、合成したクラス値を正規方程式加算回路２７に供給する。
【００３８】
正規方程式加算回路２７は、予測係数を解とする正規方程式を解くための計算処理に使用されるデータを算出する。すなわち、正規方程式加算回路２７は、入力ＳＤ信号、タップ選択回路２１の出力、およびクラス合成回路２６の出力に基づいて加算処理を行うことにより、ラインデータｙ１，ｙ２の予測生成に使用される予測係数を解とする正規方程式を解くために必要なデータを算出する。
【００３９】
正規方程式加算回路２７が算出したデータが予測係数決定回路２８に供給される。予測係数決定回路２８は、供給されるデータに基づいて正規方程式を解くための計算処理を行い、ラインデータｙ１，ｙ２の予測生成に使用される予測係数を算出する。算出される予測係数が係数メモリ２９に供給され、記憶される。
【００４０】
ここで、正規方程式について説明する。上述したように、ｎ個の予測タップを使用して、ラインデータｙ１，ｙ２を構成する各画素は、上述の式（１）によって順次予測生成される。式（１）において、学習前は予測係数ｗ1 ，‥‥，ｗn が未定係数である。学習は、クラス毎に複数の入力画像信号データに対して行う。かかる入力画像信号データの総数をｍと表記する場合、式（１）に従って、以下の式（４）が設定される。
【００４１】
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn （４）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合、予測係数ｗ1 ，‥‥，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅk を以下の式（５）で定義して、式（６）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００４２】
ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn｝ （５）
（ｋ＝１，２，‥‥ｍ）
【００４３】
【数２】
式（６）のｅ2 を最小とする予測係数を求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi (i=1,2‥‥）で偏微分し（式（７））、ｉの各値について偏微分値が０となるように各予測係数ｗi を定めれば良い。
【００４５】
【数３】
式（７）から各予測係数ｗi を定める具体的な手順について説明する。式（８）、（９）のようにＸji，Ｙi を定義すると、式（７）は、式（１０）の行列式の形に書くことができる。
【００４７】
【数４】
【数５】
【数６】
式（１０）が一般に正規方程式と呼ばれるものである。正規方程式加算回路２７は、クラス合成回路２６から供給されたクラス情報、予測タップ選択回路２１から供給される予測タップ、および入力画像信号に基づいて、正規方程式データ、すなわち、式（８）、（９）に従うＸji，Ｙi の値を算出する。そして、算出した正規方程式データを予測係数決定部２８に供給する。予測係数決定部２８は、正規方程式データに基づいて、掃き出し法等の一般的な行列解法に従って正規方程式を解くための計算処理を行って予測係数ｗi を算出する。
【００５１】
上述したような一般的な画像情報変換処理において、予測係数の値は大きく変化する。このため、係数メモリ１１において予測係数を記憶するために、以下のような方法が用いられてきた。すなわち、予測係数の絶対値の最大値を求め、求めた最大値を表現できるビット幅を、各予測係数値を記憶するためのビット幅として割当てるようになされていた。
【００５２】
このようにして割当てられるビット幅は、以下のような理由で有効に使用されない場合がある。一般的に、クラス検出が適正に行われる場合には、特定のクラスの予測生成に使用される予測係数の総和が略１となり、個々の予測係数の値も１より大幅に大きくなることは無い。また、予測係数の値が大きく変動する場合には、入力画像信号から出力画像信号を的確に推定できない場合が多く、そのような予測係数を予測生成のために必要とするようなクラスが検出される割合は、通常、入力画像信号中の全画素数に比して非常に少ない。
【００５３】
このような状況においても、上述したように各予測係数に対して割当てられるビット幅を全予測係数の絶対値の最大値に基づいて決めるようにする場合には、入力画像信号に占める割合の小さいクラスによってビット幅の割当てが律則されることになる。このため、予測係数が１より大幅に大きくなることが無い、多数のクラスについて、割当てられるビット幅が有効に使用されないことがある。
【００５４】
そこで、この発明は、予測生成に使用される予測係数の最大値をクラス毎に検出し、検出した最大値に関連して、クラス毎の重み量を生成すると共に各予測係数を固定有効ビット幅に収める丸め処理を行うことによって予測係数データを生成するようにしたものである。このようにして生成される予測係数データを記憶するように構成することにより、メモリにおいて各予測係数について割り当てられるビット幅を有効に使用することが可能となる。そして、クラス毎の重み量を別途記憶し、この重み量を用いて丸め処理に対応する補償を行うことによって、予測生成を的確に行うことができる。
【００５５】
以下、この発明の一実施形態について、適宜図面を参照して説明する。一実施形態は、入力ＳＤ信号としての５２５ｉ信号を、出力画像信号としての５２５ｐ信号に変換する画像情報変換処理を行うものである。但し、他の画像信号形式を有する入力ＳＤ信号／出力画像信号間の変換を行う場合にも、この発明を適用することができる。
【００５６】
図５に、一実施形態における予測係数生成処理系の構成の一例を示す。ここで、図３等を参照して上述した一般的な予測係数生成処理系中の構成要素と同様な構成要素には、同一の符号を付した。予測係数決定回路２８によって生成される予測係数が最大値検出回路２９に供給される。最大値検出回路２９は、各クラス毎に、以下のような処理を行う。まず、予測係数の絶対値の最大値Ｍを検出し、検出した最大値Ｍを越える最小の２の巾乗を求める。すなわち、２n-1 ＜Ｍ＜２ nを満たすｎの値を求める。このｎの値を当該クラスに対する重み量データとして、重み量メモリ３０および丸め処理回路３１に供給する。丸め処理回路３１は、供給される重み量データを記憶する。また、各予測係数値は、最大値検出回路２９を介して丸め処理回路３１に供給される。
【００５７】
丸め処理回路３１は、供給される各予測係数の値を丸める処理をクラス毎に行う。まず、供給される重み量データｎを用いて、各予測係数値を２ nで割る演算を行う。すなわち、重み量ｎに等しいビット数だけ、各画素値を左にビットシフトする。さらに、かかる割り算の結果を例えば８ビット等の固定有効ビット幅に収めるために、例えば固定有効ビット幅以降のビットを以下の切り捨てる等の処理を行う。以上のような丸め処理によって得られる予測係数データが係数メモリ３２に供給される。なお、必要に応じて位取り等に関する情報を示すビットを付加しても良い。以上のようにして、全てのクラスについて、固定有効ビット幅に収められた値と、重み量データとの組合わせによって予測係数値が表現される。係数メモリ３２、重み量メモリ３０に記憶されたデータは、それぞれ、係数メモリ１１、重み量メモリ１２にロードされる。
【００５８】
次に、上述したようにして表現される予測係数値を使用した、画像情報変換処理について説明する。図６は、一実施形態における画像情報変換処理系の構成の一例を示すブロック図である。ここで、図３等を参照して上述した一般的な画像情報処理系中の構成要素と同様な構成要素には、同一の符号を付した。クラス合成回路１０が生成するクラス値は、係数メモリ１１に供給されると共に、重み量メモリ１２にも供給される。
【００５９】
係数メモリ１１は、供給されるクラス値によって指定される予測係数データを、推定予測演算回路４に対して出力する。また、重み量メモリ１２は、供給されるクラス値によって指定される重み量データを、ビットシフト処理回路５に対して出力する。このような出力を行うためには、クラス値によって指定されるアドレスに沿って、重み量メモリ１２に重み量データを記憶しておく等の方法を用いれば良い。
【００６０】
推定予測演算回路４は、上述したような演算処理を行うことによって予測生成したラインデータ値をビットシフト処理回路５に供給する。ビットシフト処理回路５は、供給される重み量データに従って、供給されるラインデータ値に対するビットシフト処理を行う。すなわち、重み量ｎに等しいビット数だけ、各画素値を右にビットシフトする。かかるビットシフト処理は、各画素値を２n 倍する演算処理であり、従って、ラインデータ値に対して、丸め処理に対応する補償がなされることになる。なお、必要に応じて位取り等に関する情報を示すビットに基づく処理を行うようにしても良い。かかる処理によって、ラインデータｙ１，ｙ２を的確に生成することができる。
【００６１】
なお、上述したこの発明の一実施形態では、空間クラスップの配置がｙ１，ｙ２について同一とされていた。これに対し、入力画像信号の走査線との位置関係の違いにに起因する予測生成の困難さの違いを考慮して、ｙ１、ｙ２について、異なる空間クラスップの配置が使用されることもある。すなわち、入力画像信号の走査線に対応する位置にあるラインデータｙ１の予測生成よりも、入力画像信号の走査線に対応する位置にないラインデータｙ２の予測生成の方が一般に困難であることを考慮して、ｙ２についてより多くの空間クラスタップが配置されることもある。このような場合にも、この発明を適用することができる。
【００６２】
また、この発明の一実施形態および他の実施形態は、５２５ｉ信号を５２５ｐ信号に変換するものであるが、５２５本のライン数は、一例であって、他のライン数であってもこの発明を適用することができる。例えば、入力ＳＤ信号における水平方向の画素数に対して、２倍以外の画素数を含むラインからなる出力画像信号を予測生成するようにしても良い。より具体的には、出力画像信号として１０５０ｉ信号、すなわち走査線数が１０５０本でインターレス方式の画像信号を予測生成する画像情報変換処理を行う場合に、この発明を適用することができる。
【００６３】
【発明の効果】
上述したように、この発明は、画像情報変換を行うに際して、クラス毎の予測係数データと共に、予測生成を行うための演算処理を行うようにしたものである。ここで、所定の方法で計算される予測係数に基づいてクラス毎に重み量データが検出される、また、かかる重み量データを使用した丸め処理によって、クラス毎の予測係数が所定ビット幅の予測係数データに変換される。
【００６４】
このため、クラスによって予測係数の値が大幅に変化する場合にも、係数メモリ内で予測係数に対応して割り当てられるビット幅を増やす必要が無く、各クラスについて最適な演算精度を確保することができる。従って、係数メモリの容量を増大させることなく、広範囲の予測係数値に対応することができる。
【００６５】
このため、画像情報変換によって得られる出力画像信号の品質を損なうことなく、予測係数に対応してメモリ内で割り当てられるビット幅を有効に使用することが可能となる。従って、予測係数に対応した記憶を行うためのメモリの総記憶容量を削減することが可能となる。このため、装置全体に関わる回路規模の縮小および低コスト化に寄与することができる。
【図面の簡単な説明】
【図１】この発明の一実施形態によってなされる画像情報変換処理における画素の配置の一例を示す略線図である。
【図２】この発明の一実施形態における、空間クラスタップ配置の一例を示す略線図である。
【図３】一般的な画像情報変換処理系の構成の一例を示すブロック図である。
【図４】一般的な予測係数算出処理系の構成の一例を示すブロック図である。
【図５】この発明の一実施形態における予測係数算出処理系の構成の一例を示すブロック図である。
【図６】この発明の一実施形態における画像情報変換処理系の構成の一例を示すブロック図である。
【符号の説明】
２９・・・最大値検出回路、３０・・・重み量メモリ、３１・・・丸め処理部、３２・・・係数メモリ
Claims (12)
- 入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換装置において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択手段と、
上記第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、少なくとも検出した上記パターンに基づいて上記注目点が属するクラスを示すクラス値を決定するクラス検出手段と、
上記入力画像信号から、上記注目点を含み、上記注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択手段と、
上記クラス毎に予め決定された予測係数データを記憶する第１の記憶手段と、
上記第１の記憶手段に記憶された予測係数データに対する重み量データを、上記クラス毎に記憶する第２の記憶手段と、
上記クラス値に対応して上記第１の記憶手段から選択される予測係数データと、上記第２の画像データ選択手段によって得られる画像データとの線型一次結合によって、上記注目点に画素を予測生成し、生成した上記画素を含むデータを、上記クラス値に対応して上記第２の記憶手段から選択される上記重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
上記出力画像信号に対応する所定の画像信号中の真の画素値と、上記第２の画像データ選択手段によって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された上記予測係数の上記クラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が上記重み量データとして上記クラス毎に決定され、
上記重み量データを用いて、上記クラス毎に所定のビット幅に収まるように、上記重み量データに等しいビット数のシフト処理を施すことによって上記予測係数が得られることを特徴とする画像情報変換装置。 - 入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換装置において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択手段と、
上記第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出した上記パターンに基づいて上記注目点が属する空間クラスを示す空間クラス値を決定する空間クラス検出手段と、
上記入力画像信号から、上記入力画像信号内の複数のフレーム内において、上記注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択手段と、
上記第２の画像データ選択手段によって選択される画像データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラス値を決定する動きクラス検出手段と、
上記空間クラス値と上記動きクラス値とを合成してクラスを示すクラス値を生成するクラス合成手段と、
上記入力画像信号から、上記注目点を含み、上記注目点に時間的または空間的に近傍に位置する画素を選択する第３の画像データ選択手段と、
上記クラス毎に予め決定された予測係数データを記憶する第１の記憶手段と、
上記第１の記憶手段に記憶された予測係数データに対する重み量データを、上記クラス毎に記憶する第２の記憶手段と、
上記クラス値に対応して上記第１の記憶手段から選択される予測係数データと、上記第３の画像データ選択手段によって得られる画像データとの線型一次結合によって、上記注目点に画素を予測生成し、生成した上記画素を含むデータを、上記クラス値に対応して上 記第２の記憶手段から選択される上記重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
上記重み量データは、
上記出力画像信号に対応する所定の画像信号中の真の画素値と、上記第３の画像データ選択手段によって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された上記予測係数の上記クラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が上記重み量データとして上記クラス毎に決定され、
上記重み量データを用いて、上記クラス毎に所定のビット幅に収まるように、上記重み量データに等しいビット数のシフト処理を施すことによって上記予測係数が得られることを特徴とする画像情報変換装置。 - 請求項２において、
上記入力画像信号は、
走査線数が５２５本のインターレス画像信号であり、
出力画像信号は、
走査線数が５２５本のプログレッシブ画像信号であることを特徴とする画像情報変換装置。 - 請求項２において、
上記入力画像信号は、
走査線数が５２５本のインターレス画像信号であり、
出力画像信号は、
走査線数が１０５０本のプログレッシブ画像信号であることを特徴とする画像情報変換装置。 - 入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換方法において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択ステップと、
上記第１の画像データ選択ステップによって選択される画像データから、レベル分布のパターンを検出し、少なくとも検出した上記パターンに基づいて上記注目点が属するクラスを示すクラス値を決定するクラス検出ステップと、
上記入力画像信号から、上記注目点を含み、上記注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択ステップと、
上記クラス毎に予め決定された予測係数データが記憶された第１の記憶手段と、上記第１の記憶手段に記憶された予測係数データに対する重み量データが上記クラス毎に記憶された第２の記憶手段とから、上記クラス値に従って、上記予測係数データと上記重み量データとを読み出す読み出しステップと、
読み出された上記予測係数データと上記第２の画像データ選択手段によって得られる画像データとの線型一次結合によって、上記注目点に画素を予測生成し、生成した上記画素を含むデータを、上記読み出しステップにおいて読み出された上記重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理ステップとを有し、
上記重み量データは、
上記出力画像信号に対応する所定の画像信号中の真の画素値と、上記第２の画像データ選択ステップによって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された上記予測係数の上記クラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が上記重み量データとして上記クラス毎に決定され、
上記重み量データを用いて、上記クラス毎に所定のビット幅に収まるように、上記重み量データに等しいビット数のシフト処理を施すことによって上記予測係数が得られることを特徴とする画像情報変換方法。 - 入力画像信号から走査線構造の異なる出力画像信号を形成するようにした画像情報変換方法において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択ステップと、
上記第１の画像データ選択ステップによって選択される画像データから、レベル分布のパターンを検出し、検出した上記パターンに基づいて上記注目点が属する空間クラスを示す空間クラス値を決定する空間クラス検出ステップと、
上記入力画像信号から、上記入力画像信号内の複数のフレーム内において、上記注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択ステップと、
上記第２の画像データ選択ステップによって選択される画像データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラス値を決定する動きクラス検出ステップと、
上記空間クラス値と上記動きクラス値とを合成してクラスを示すクラス値を生成するクラス合成ステップと、
上記入力画像信号から、上記注目点を含み、上記注目点に時間的または空間的に近傍に位置する画素を選択する第３の画像データ選択ステップと、
上記クラス毎に予め決定された予測係数データが記憶された第１の記憶手段と、上記第１の記憶手段に記憶された予測係数データに対する重み量データが上記クラス毎に記憶された第２の記憶手段とから、上記クラス値に従って、上記予測係数データと上記重み量データとを読み出す読出しステップと、
読み出された上記予測係数データと上記第３の画像データ選択手段によって得られる画像データとの線型一次結合によって、上記注目点に画素を予測生成し、生成した上記画素を含むデータを、上記読み出しステップにおいて読み出された上記重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理ステップとを有し、
上記出力画像信号に対応する所定の画像信号中の真の画素値と、上記第３の画像データ選択ステップによって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された上記予測係数の上記クラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が上記重み量データとして上記クラス毎に決定され、
上記重み量データを用いて、上記クラス毎に所定のビット幅に収まるように、上記重み量データに等しいビット数のシフト処理を施すことによって上記予測係数が得られることを特徴とする画像情報変換方法。 - 請求項６において、
上記入力画像信号は、
走査線数が５２５本のインターレス画像信号であり、
出力画像信号は、
走査線数が５２５本のプログレッシブ画像信号であることを特徴とする画像情報変換方法。 - 請求項６において、
上記入力画像信号は、
走査線数が５２５本のインターレス画像信号であり、
出力画像信号は、
走査線数が１０５０本のプログレッシブ画像信号であることを特徴とする画像情報変換方法。 - 入力画像信号から走査線構造の異なる出力画像信号を形成するようにしたテレビジョン信号受像機において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択手段と、
上記第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、少なくとも検出した上記パターンに基づいて上記注目点が属するクラスを示すクラス値を決定するクラス検出手段と、
上記入力画像信号から、上記注目点を含み、上記注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択手段と、
上記クラス毎に予め決定された予測係数データを記憶する第１の記憶手段と、
上記第１の記憶手段に記憶された予測係数データに対する重み量データを、上記クラス毎に記憶する第２の記憶手段と、
上記クラス値に対応して上記第１の記憶手段から選択される予測係数データと、上記第２の画像データ選択手段によって得られる画像データとの線型一次結合によって、上記注目点に画素を予測生成し、生成した上記画素を含むデータを、上記クラス値に対応して上記第２の記憶手段から選択される上記重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
上記重み量データは、
上記出力画像信号に対応する所定の画像信号中の真の画素値と、上記第２の画像データ選択手段によって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された上記予測係数の上記クラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が上記重み量データとして上記クラス毎に決定され、
上記重み量データを用いて、上記クラス毎に所定のビット幅に収まるように、上記重み量データに等しいビット数のシフト処理を施すことによって上記予測係数が得られることを特徴とするテレビジョン信号受像機。 - 入力画像信号から走査線構造の異なる出力画像信号を形成するようにしたテレビジョン信号受像機において、
所定の注目点に時間的または空間的に近傍に位置する画素を、入力画像信号から選択する第１の画像データ選択手段と、
上記第１の画像データ選択手段によって選択される画像データから、レベル分布のパターンを検出し、検出した上記パターンに基づいて上記注目点が属する空間クラスを示す空間クラス値を決定する空間クラス検出手段と、
上記入力画像信号から、上記入力画像信号内の複数のフレーム内において、上記注目点に時間的または空間的に近傍に位置する画素を選択する第２の画像データ選択手段と、
上記第２の画像データ選択手段によって選択される画像データから、フレーム間差分絶対値の総和を計算し、計算結果に基づいて動きを表す動きクラス値を決定する動きクラス検出手段と、
上記空間クラス値と上記動きクラス値とを合成してクラスを示すクラス値を生成するクラス合成手段と、
上記入力画像信号から、上記注目点を含み、上記注目点に時間的または空間的に近傍に位置する画素を選択する第３の画像データ選択手段と、
上記クラス毎に予め決定された予測係数データを記憶する第１の記憶手段と、
上記第１の記憶手段に記憶された予測係数データに対する重み量データを、上記クラス毎に記憶する第２の記憶手段と、
上記クラス値に対応して上記第１の記憶手段から選択される予測係数データと、上記第 ３の画像データ選択手段によって得られる画像データとの線型一次結合によって、上記注目点に画素を予測生成し、生成した上記画素を含むデータを、上記クラス値に対応して上記第２の記憶手段から選択される上記重み量データに従ってビットシフト処理を行うことにより、出力画像信号を推定するための演算処理を行う演算処理手段とを有し、
上記重み量データは、
上記出力画像信号に対応する所定の画像信号中の真の画素値と、上記第３の画像データ選択手段によって選択された画像データに対応する画像データとの線型一次結合の計算値との差を最小とするように予測係数を計算し、計算された上記予測係数の上記クラス毎の最大値をＭとしたときに、２ n-1 ＜Ｍ＜２ n の式を満たすｎの値が上記重み量データとして上記クラス毎に決定され、
上記重み量データを用いて、上記クラス毎に所定のビット幅に収まるように、上記重み量データに等しいビット数のシフト処理を施すことによって上記予測係数が得られることを特徴とするテレビジョン信号受像機。 - 請求項１０において、
上記入力画像信号は、
走査線数が５２５本のインターレス画像信号であり、
出力画像信号は、
走査線数が５２５本のプログレッシブ画像信号であることを特徴とするテレビジョン信号受像機。 - 請求項１０において、
上記入力画像信号は、
走査線数が５２５本のインターレス画像信号であり、
出力画像信号は、
走査線数が１０５０本のプログレッシブ画像信号であることを特徴とするテレビジョン信号受像機。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23885798A JP4193236B2 (ja) | 1998-08-25 | 1998-08-25 | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23885798A JP4193236B2 (ja) | 1998-08-25 | 1998-08-25 | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000069433A JP2000069433A (ja) | 2000-03-03 |
| JP2000069433A5 JP2000069433A5 (ja) | 2005-09-08 |
| JP4193236B2 true JP4193236B2 (ja) | 2008-12-10 |
Family
ID=17036300
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23885798A Expired - Fee Related JP4193236B2 (ja) | 1998-08-25 | 1998-08-25 | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4193236B2 (ja) |
-
1998
- 1998-08-25 JP JP23885798A patent/JP4193236B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000069433A (ja) | 2000-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0975156B1 (en) | Information signal processing apparatus, picture information converting apparatus, and picture displaying apparatus | |
| JP4147632B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 | |
| JP4131048B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP4168490B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| JP4300603B2 (ja) | 画像情報変換装置および方法 | |
| JP4099555B2 (ja) | 画像情報変換装置 | |
| JP2001339695A (ja) | 画像信号処理装置及び画像信号処理方法 | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP4193236B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 | |
| JP4123587B2 (ja) | 画像情報処理装置および方法 | |
| JP4470324B2 (ja) | 画像信号変換装置および方法 | |
| JP4078719B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP3800638B2 (ja) | 画像情報変換装置および方法 | |
| JP3480011B2 (ja) | 画像情報変換装置 | |
| JP4099554B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP4310847B2 (ja) | 画像情報変換装置および変換方法 | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP4001143B2 (ja) | 係数生成装置および方法 | |
| JP2000092454A (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP4154768B2 (ja) | 画像情報変換装置および画像表示装置 | |
| JP4042121B2 (ja) | 画像情報処理装置及び画像情報処理方法 | |
| JPH07193791A (ja) | 画像情報変換装置 | |
| JP2006020347A (ja) | 係数生成装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050310 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050310 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070918 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071218 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080902 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080915 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111003 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121003 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131003 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |