JP5901362B2 - 色変換装置、カラーサブサンプリング装置およびこれらのプログラム - Google Patents

Description

本発明は、カラー画像を符号化する際の前処理に関し、とくに色変換とカラーサブサンプリングを行う技術に関する。

画像符号化においては、カラー画像を扱う際に、輝度１成分と色差２成分とに変換することが行われている。例えば、赤、青および緑の３成分を、輝度１成分と色差２成分とに変換する際には、ＩＴＵ−Ｒ ＢＴ．６０１規格に定める色変換行列や、ＩＴＵ−Ｒ ＢＴ．７０９規格に定める色変換行列が用いられている。輝度の方が色差よりも視覚的に目立ちやすいため、前記したような色変換行列は、符号化による色差よりも輝度の画質劣化が少なくなるように設定されることが多い。例えば、輝度画像の画素数は変化させずに、色差画像のみについて画素数を１／２または１／４に間引くことがよく行われている。この間引き操作は、カラーサブサンプリングと呼ばれている。

カラーサブサンプリングの手法において、色差画像の画素数を水平方向のみに１／２に間引いた信号は４：２：２フォーマットと呼ばれており、色差画像の画素数を水平方向および垂直方向にそれぞれ１／２に間引いた信号は４：２：０フォーマットと呼ばれている。一方、輝度および色差がすべて同一の水平および垂直画素数からなる信号は４：４：４フォーマットと呼ばれている。
また、ディジタルカメラやビデオにおいては、色味が所望のものとなるようホワイトバランスの調整が行われている。従来、ホワイトバランスの調整を自動化する技術が種々提案されている（特許文献１，２参照）。

特許第４７６４１６３号公報 特許第４８１５２６７号公報

しかしながら、前記した従来の規格では、入力画像によらず常に同じ色変換行列が用いられる。このため、例えば、色相の異なる色で構成された細かいテクスチャ（細かいストライプなど）は、色差画像上にも細かいテクスチャとして現れる。これをカラーサブサンプリングすると、このテクスチャがつぶれてしまったりモアレを生じてしまったりした結果、著しい画質劣化を招いてしまう。また、入力画像の色味が標準的な色味から偏っている場合（例えば、夕日の色味での撮影など色温度が符号化手法の想定と異なる場合や、色かぶりを生じている場合）にも、色差画像のパワーが想定以上に大きくなり、カラーサブサンプリングの悪影響が目立ちやすくなる。

また、特許文献１，２に示したようなホワイトバランスの調整を自動化する技術によれば、被写体の色味を所定の色味に補正できるため、特に色温度の差異や色かぶりの影響を除くことができるものの、被写体のテクスチャの細かさなどは考慮されないため、カラーサブサンプリング後の画質劣化を防止することはできない。また、演出上の意図によってカラーバランスを敢えて崩した場合には、色差成分が符号化装置の想定する値を逸してしまい、符号化効率の低下を招くことがある。

そこで、本発明は、入力画像の色の統計的な偏りに応じた色変換を行うことで、サブサンプリング時における画質劣化を抑制する技術を提供することを課題とする。

本発明は、前記課題を解決するために創案されたものであり、まず、請求項１に記載の色変換装置は、カラー画像の各色成分を、サブサンプリング時の画質劣化が少なくなるような新たな色成分にそれぞれ変換する色変換装置であって、損失成分抽出手段と、主成分分析手段と、色空間変換手段と、を備える構成とした。

かかる構成によれば、色変換装置は、損失成分抽出手段によって、カラー画像の前記各色成分からなる各入力画像から、サブサンプリング時に失われる損失成分をそれぞれ抽出する。
また、色変換装置は、主成分分析手段によって、前記損失成分抽出手段によって抽出された前記各損失成分の画素値列に対し、所定の領域内において主成分分析を行う。
さらに、色変換装置は、色空間変換手段によって、前記主成分分析手段による主成分分析によって得られた結合係数に基づく色変換行列によって、前記各色成分を、当該各色成分の色空間とは異なる色空間の前記新たな色成分にそれぞれ変換して、前記各新たな色成分からなる画像をそれぞれ生成する。これにより、色変換装置は、入力画像の各色成分を、当該各色成分が属する色空間と異なる新たな色空間に属する色成分でそれぞれ表現することができる。この新たな色空間は、その各軸が、入力画像をサブサンプリングしたときに損失の最も大きくなる軸から順次直交基底を張るため、間引き影響を受けやすい色成分から間引き影響を受けにくい色成分へと順位付けのなされた色分解が可能となる。

また、請求項２に記載の色変換装置は、請求項１に記載の色変換装置において、損失成分抽出手段が、画素間引き手段と、補間手段と、減算手段と、を備えることとした。

かかる構成によれば、色変換装置は、画素間引き手段によって、予め定めた規則にしたがって、入力画像の画素をそれぞれ所定量間引く。また、色変換装置は、補間手段によって、画素間引き手段によって所定量画素が間引かれた入力画像を元の解像度に戻した補間画像を生成する。さらに、色変換装置は、減算手段によって、各入力画像と各補間画像との差分画像をそれぞれ生成する。このように、入力画像の各色成分に対しサブサンプリングを模擬した処理を施すことで、サブサンプリングが実際に行われた際に失われる色成分を抽出することができる。

また、請求項３に記載の色変換装置は、請求項１または請求項２に記載の色変換装置において、ゲイン乗算手段をさらに備えることとした。

かかる構成によれば、色変換装置は、ゲイン乗算手段によって、前記損失成分抽出手段によって抽出された前記各損失成分のうち、いずれか１つ以上の前記損失成分に対し、当該損失成分の抽出元である前記入力画像の前記色成分について予め設定されたゲインを乗算する。

例えば、人間の視覚特性を考慮すると、サブサンプリングによって視覚的な感度の高い色成分が失われた場合、視覚的な感度の低い色成分が失われた場合よりも、画質の劣化を感じやすいと考えられる。そのため、例えば、重要度を視覚的な感度の高さとし、視覚的な感度の高い色成分に大きなゲインを設定し、視覚的な感度の低い色成分に小さなゲインを設定するとよい。そして、ゲイン乗算手段による乗算結果が主成分分析手段に出力されることで、主成分分析に各色成分の重要度を反映することができ、ひいては、色変換の結果に各色成分の重要度を反映することができる。

また、請求項４に記載のカラーサブサンプリング装置は、請求項１から請求項３のいずれか一項に記載の色変換装置と、画素間引き手段と、を備えることとした。

かかる構成によれば、カラーサブサンプリング装置は、前記色変換装置で生成された前記各新たな色成分からなる前記各画像のうち、前記主成分分析手段で得られた固有値の小さい方から所定個数の前記画像に対応して設けられた画素間引き手段によって、当該対応する画像の画素を予め定めた規則にしたがって所定量間引く。

この固有値は、入力画像がサブサンプリングされたときに失われると推定される色成分を主成分分析することによって各主成分に対応して得られる値である。この固有値は、主成分の分散に対応しており、その主成分がどの程度元のデータの情報を保持しているかを表している。したがって、固有値が大きいほど、その色成分が失われやすく、固有値が小さいほどその色成分が失われにくいといえる。このように、サブサンプリング装置は、画素間引き手段によって、新たな各色成分のうち、重要度の低い色成分を間引き、重要度の高い色成分を間引かないことで、劣化の少ない画像を生成することができる。

また、請求項５に記載の色変換プログラムは、カラー画像の各色成分を、サブサンプリング時の画質劣化が少なくなるような新たな色成分にそれぞれ変換するために、コンピュータを、損失成分抽出手段、主成分分析手段、色空間変換手段、として機能させる構成とした。

かかる構成によれば、色変換プログラムは、損失成分抽出手段によって、カラー画像の前記各色成分からなる各入力画像から、サブサンプリング時に失われる損失成分をそれぞれ抽出する。
また、色変換プログラムは、主成分分析手段によって、前記損失成分抽出手段によって抽出された前記各損失成分の画素値列に対し、所定の領域内において主成分分析を行う。
さらに、色変換プログラムは、色空間変換手段によって、前記主成分分析手段による主成分分析によって得られた結合係数に基づく色変換行列によって、前記各色成分を、当該各色成分の色空間とは異なる色空間の前記新たな色成分にそれぞれ変換して、前記各新たな色成分からなる画像をそれぞれ生成する。

また、請求項６に記載のカラーサブサンプリングプログラムは、カラー画像の各色成分を、サブサンプリング時の画質劣化が少なくなるような新たな色成分にそれぞれ変換したうえで、前記新たな色成分からなる画像から予め定めた規則にしたがって所定量画素を間引くために、コンピュータを、損失成分抽出手段、主成分分析手段、色空間変換手段、画素間引き手段、として機能させる構成とした。

かかる構成によれば、カラーサブサンプリングプログラムは、損失成分抽出手段によって、カラー画像の前記各色成分からなる各入力画像から、サブサンプリング時に失われる損失成分をそれぞれ抽出する。
また、カラーサブサンプリングプログラムは、主成分分析手段によって、前記損失成分抽出手段によって抽出された前記各損失成分の画素値列に対し、所定の領域内において主成分分析を行う。
さらに、カラーサブサンプリングプログラムは、色空間変換手段によって、前記主成分分析手段による主成分分析によって得られた結合係数に基づく色変換行列によって、前記各色成分を、当該各色成分の色空間とは異なる色空間の前記新たな色成分にそれぞれ変換して、前記各新たな色成分からなる画像をそれぞれ生成する。
またさらに、カラーサブサンプリングプログラムは、前記色空間変換手段で生成された前記各新たな色成分からなる前記各画像のうち、前記主成分分析手段で得られた固有値の小さい方から所定個数の前記画像に対応して設けられた画素間引き手段によって、当該対応する画像の画素を予め定めた規則にしたがって所定量間引く。

請求項１，５に記載の発明によれば、入力画像の各色成分の統計的な色の偏りを考慮したうえで、当該色成分を、新たな色成分で表現することで、サブサンプリングによる間引き影響を受けやすい色成分から間引き影響を受けにくい色成分へと順位付けのなされた色分解が可能となる。このため、入力画像の各色成分を、サブサンプリングが行われた際に画質劣化が抑制されるような新たな色成分へとそれぞれ変換することができる。

請求項２に記載の発明によれば、入力画像に対しサブサンプリングを模擬した処理を施すことで、サブサンプリングが行われた際に失われる損失成分を予め抽出することができる。そして、この損失成分の抽出結果を利用することで、入力画像の各色成分を、サブサンプリングが行われた際に画質劣化が抑制されるような色成分へとそれぞれ変換することが可能となる。

請求項３に記載の発明によれば、入力画像の各色成分の色空間を変換して得られた新たな色成分から、重要度の低い色成分を間引き、重要度の高い色成分を間引かないことができるので、劣化の少ない良好な画質の画像を生成することができる。
請求項４，６に記載の発明によれば、入力画像の各色成分を重要度に応じて重み付けすることができるので、サブサンプリング後の画質に影響を与えやすい色成分が失われるのを抑制することができる。

本発明の第一実施形態に係る色変換装置による色変換の概要を説明するための概念図である。 本発明の第一実施形態に係る色変換装置あるいはカラーサブサンプリング装置の構成例を示すブロック図である。 本発明の第一実施形態に係る色変換装置あるいはカラーサブサンプリング装置の動作を示すフローチャートである。 本発明の第二実施形態に係る色変換装置あるいはカラーサブサンプリング装置の他の構成例を示すブロック図である。 本発明の第二実施形態に係る色変換装置あるいはカラーサブサンプリング装置の動作を示すフローチャートである。

＜第一実施形態＞
［カラーサブサンプリングの概略］
以下、本発明の第一実施形態に係る色変換装置およびカラーサブサンプリング装置について説明する。まず、第一実施形態に係るカラーサブサンプリング装置で行うカラーサブサンプリング方式の概略について図１を参照して説明する。

図１に示すように、カラーサブサンプリング装置は、カラー画像を構成する色成分（ここでは、色成分Ａ，ＢおよびＣ）ごとに分けた画像Ａ，ＢおよびＣを入力する。カラーサブサンプリング装置は、この入力画像Ａ，ＢおよびＣに対しサブサンプリングが行われた際に失われる損失成分を画像形式で抽出する。なお、ここでは、３つの色成分で構成されたカラー画像の色成分を変換することとしているが、４色以上の色成分で構成されたカラー画像の色成分を変換することとしてもよい。

カラーサブサンプリング装置は、入力画像Ａ，ＢおよびＣからそれぞれ所定量画素を間引くことにより、サブサンプリングを模擬的に行い、間引き画像Ａ’，Ｂ’およびＣ’を生成する。次に、カラーサブサンプリング装置は、この間引き画像Ａ’，Ｂ’およびＣ’を入力画像Ａ，ＢおよびＣの画素数に戻した補間画像Ａ”，Ｂ”およびＣ”を生成する。さらに、カラーサブサンプリング装置は、補間画像Ａ”，Ｂ”およびＣ”と入力画像Ａ，ＢおよびＣとの差分をとった差分画像Ｐ，ＱおよびＲを生成する。つまり、この差分画像Ｐ，ＱおよびＲは、入力画像Ａ，ＢおよびＣに対しサブサンプリングが行われた際に失われる損失成分の色成分ごとの集合である。

また、カラーサブサンプリング装置は、入力画像Ａ，ＢおよびＣに対応する差分画像Ｐ，ＱおよびＲの主成分分析を行って各主成分に対する結合係数を求める。そして、色変換装置は、この結合係数から、サブサンプリング時に失われると推定される色成分のうち画質に与える影響の大きい色成分から画質に与える影響の小さい成分へと順位付けした色変換行列Ｍを生成する。例えば、人間の視覚特性を考慮して感度が高い色成分、つまり、失われることで画質が劣化したと感じさせやすい色成分を画質に与える影響の大きい色成分とし、一方、感度が低い色成分、つまり、失われたとしても画質が劣化したと感じさせにくい色成分を画質に与える影響の小さい色成分とすることができる。

そして、カラーサブサンプリング装置は、色変換行列Ｍを入力画像Ａ，ＢおよびＣの色成分Ａ，ＢおよびＣに乗算することで、入力画像Ａ，ＢおよびＣの色成分Ａ，ＢおよびＣを、当該色成分Ａ，ＢおよびＣの色空間とは異なる新たな色空間の新たな色成分Ｘ，ＹおよびＺからなる画像Ｘ，ＹおよびＺに変換する。このようにして、カラーサブサンプリング装置は、入力画像Ａ，ＢおよびＣに対しサブサンプリングを模擬的に行って生成した間引き画像Ａ’，Ｂ’およびＣ’に基づいて色変換行列Ｍを生成し、この色変換行列Ｍを入力画像Ａ，ＢおよびＣの色成分Ａ，ＢおよびＣに乗算することで、入力画像Ａ，ＢおよびＣの色成分Ａ，ＢおよびＣを、サブサンプリング時における画質劣化の影響が少なくなるような新たな色成分Ｘ，ＹおよびＺに変換することができる。

そして、カラーサブサンプリング装置は、この新たな色成分Ｘ，ＹおよびＺからなる画像Ｘ，ＹおよびＺのうち、重要度の低い色成分（ここでは、色成分Ｙ，Ｚ）からなる画像Ｙ，Ｚの画素を所定量間引き、間引き画像Ｙ’，Ｚ’を生成する。この画像Ｘおよび間引き画像Ｙ’，Ｚ’は、４：２：２フォーマットあるいは４：２：０フォーマットとみなすことができる。この画像Ｘおよび間引き画像Ｙ’，Ｚ’は、画像符号化装置に入力される。

以上のように、本発明のカラーサブサンプリング装置の特徴は、入力画像の各色成分から直接、色変換行列を生成するのではなく、サブサンプリングの前に入力画像の各色成分に対しサブサンプリングを模擬した処理を行うことで間引き画像を生成し、この間引き画像と入力画像との差分画像から色変換行列を生成する点にある。この色変換行列を入力画像の各色成分に乗算することで、入力画像に対しサブサンプリングが行われた際の画質劣化を考慮した新たな色成分を生成することが可能となる。

次に、図２を参照して、本発明の第一実施形態に係る色変換装置およびカラーサブサンプリング装置の構成について説明する。ここでは、色変換装置を備えるカラーサブサンプリング装置として説明する。
図２に示すように、本発明の第一実施形態に係るカラーサブサンプリング装置２は、色変換手段（色変換装置）１と、画素間引き手段６０，７０と、を備えている。

［色変換手段の構成］
図２に示すように、色変換手段１は、損失成分抽出手段１０，２０および３０と、主成分分析手段４０と、色空間変換手段５０と、を備えている。

損失成分抽出手段１０，２０および３０は、色成分Ａ，ＢおよびＣからなる入力画像Ａ，ＢおよびＣについて、入力画像Ａ，ＢおよびＣのサブサンプリング時に失われる損失成分を画像形式で抽出するものである。この損失成分抽出手段は、カラー画像の成分数に対応する数だけ設けられる。ここでは、カラー画像が３つの色成分Ａ，ＢおよびＣからなるので、これに対応して、損失成分抽出手段を３つ設けている。なお、ここでは、色成分Ａ，ＢおよびＣからなる画像Ａ，ＢおよびＣを入力することとしているが、これに替えて、例えば、輝度成分Ｙと色差成分Ｃ_Ｂ，Ｃ_Ｒからなる画像などを入力することとしてもよい。

以下、損失成分抽出手段１０，２０および３０の詳細な構成例について説明するが、損失成分抽出手段１０，２０および３０は同一の構成要素を有するので、図２および以下では、損失成分抽出手段１０を例にとって詳細な構成を説明する。

損失成分抽出手段１０は、ここでは、画素間引き手段１１と、補間手段１２と、減算手段１３と、を備えている。
画素間引き手段１１は、入力画像Ａの画素を予め定めた規則にしたがって所定量間引き、より画素数の少ない間引き画像Ａ’を生成するものである。例えば、画素間引き手段１１は、入力画像Ａの画素数を水平方向のみに１／２に間引く。なお、間引きの際に、間引きフィルタ（典型的には低域通過フィルタ）を適用してもよい。例えば、画素間引き手段１１は、以下の式（１），（２）により入力画像Ａの水平方向の画素数を１／２に間引く。

ここで、式（１），（２）において、ｘ，ｙは、入力画像Ａ内の座標であり、Ｄ（ｉ）は、フィルタ係数である。なお、例えば、式（１）の右辺のＡ（２ｘ＋ｉ，ｙ）などにおいて、入力画像Ａの領域外の画素を参照してしまった場合、入力画像Ａの領域内で当該画素位置に最近傍の有効画素の画素値を外挿することによって、当該画素位置の画素値を定義することができる。

また例えば、画素間引き手段１１は、入力画像Ａの画素数を水平方向に１／２、かつ、垂直方向に１／２に間引くことにより、総画素数を１／４に間引いて間引き画像Ａ’を生成してもよい。具体的には、画素間引き手段１１は、例えば、次の式（３），（４）により、入力画像Ａの総画素数を１／４に間引く。

ここで、式（３），（４）において、ｘ，ｙは、入力画像Ａ内の座標であり、Ｄ（ｉ）は、フィルタ係数である。このようにして生成された間引き画像Ａ’は、補間手段１２に出力される。

補間手段１２は、間引き画像Ａ’を補間によって拡大し、入力画像Ａの画素数と合わせた補間画像Ａ”を生成するものである。例えば、補間手段１２は、前記式（１），（２）により入力画像Ａの画素数が水平方向に１／２に間引かれた場合、次の式（５），（６）により、補間画像Ａ”を生成する。なお、間引き画像Ａ’の水平座標ξまたは垂直座標ηのいずれか一方でも非整数である場合、Ａ’（ξ，η）＝０と定義する。また、間引き画像Ａ’の水平座標ξまたは垂直座標ηの両者が整数であって、かつ、そのいずれか一方でも間引き画像Ａ’の領域外にある場合、例えば、間引き画像Ａ’において座標（ξ，η）に最近傍の有効画素の画素値を外挿することによって、間引き画像Ａ’（ξ，η）の画素値であると定義することができる。

また、前記した画素間引き手段１１において、式（３），（４）により入力画像Ａの画素数が水平方向に１／２、かつ、垂直方向に１／２に間引かれた場合、補間手段１２は、補間処理によって、水平方向に２倍、かつ、垂直方向に２倍の拡大を行う。その場合、補間手段１２は、例えば、次の式（７），（８）により間引き画像Ａ’を補間する。このようにして生成された補間画像Ａ”は、減算手段１３に出力される。

減算手段１３は、入力画像Ａと補間画像Ａ”の差分を演算し、その結果を差分画像Ｐとして出力するものである。
例えば、減算手段１３は、次の式（９）により、差分画像Ｐを生成する。

以上説明した損失成分抽出手段１０と同様に、損失成分抽出手段２０は、入力画像Ｂから差分画像Ｑを生成し、損失成分抽出手段３０は、入力画像Ｃから差分画像Ｒを生成する。この差分画像Ｐ，ＱおよびＲが、損失成分を画像形式で表したものに相当する。このようにして生成された差分画像Ｐ，ＱおよびＲは、主成分分析手段４０にそれぞれ出力される。

主成分分析手段４０は、次の式（１０）で表される差分画像Ｐ，ＱおよびＲの各画素位置におけるベクトルＳ（ｘ，ｙ）（画素値）に対し主成分分析を行って、各主成分に対する結合係数ベクトルを求めるものである。なお、以下では、第ｋ主成分（ｋは自然数）に対する結合係数ベクトルをｗ_ｋとし、この結合係数ベクトルｗ_ｋは、列ベクトルであるものとする。

主成分分析手段４０による主成分分析は、１画像フレームを１単位として行ってもよいし、１画像フレームを区分した部分領域を１単位として行ってもよいし、複数画像フレームをまとめて１単位として行ってもよい。

また、主成分分析手段４０は、例えば、前記したような単位ごとに主成分分析をすることによって得られた結合係数ベクトルｗ_ｋに基づき、次の式（１１）に示す色変換行列Ｍを生成する。

式（１１）において、Ｔはベクトルまたは行列の転置を表す。なお、結合係数ベクトルｗ_ｋは、１画像フレーム内におけるベクトルＳの分散共分散行列のｋ番目に大きな固有値をとる単位固有ベクトルである。
つまり、式（１１）において、ｗ_１は、最も固有値が大きい色成分、言い換えれば、サブサンプリングが行われた際に最も損失が目立ちやすい色成分であり、ｗ_２は、２番目に固有値が大きい色成分を表し、ｗ_３は、最も固有値が小さい色成分、言い換えれば、サブサンプリングが行われた際に最も損失が目立ちにくい色成分を表している。
このようにして算出された色変換行列Ｍは、色空間変換手段５０に出力される。

色空間変換手段５０は、色成分Ａ，ＢおよびＣからなる入力画像Ａ，ＢおよびＣに対し、画素ごとの色ベクトルに対して色変換行列Ｍを乗算することで、新たな色成分Ｘ，ＹおよびＺからなる出力画像Ｘ，ＹおよびＺを生成するものである。すなわち、色空間変換手段５０は、次の式（１２）に示すような演算を実行する。

［画素間引き手段の構成］
画素間引き手段６０，７０は、色変換手段１の色空間変換手段５０によって入力画像Ｂ，Ｃをそれぞれ色変換して生成された新たな色成分Ｙ，Ｚからなる出力画像Ｙ，Ｚをそれぞれ入力し、この出力画像Ｙ，Ｚの画素を所定量間引き、間引き画像Ｙ’，Ｚ’として外部に出力するものである。
ここで、固有値とは、前記したように、色変換手段１の主成分分析手段４０によって、入力画像Ａ，ＢおよびＣがサブサンプリングされたときに失われると推定される色成分の集合である差分画像Ｐ，ＱおよびＲを主成分分析することによって各主成分に対応して得られる値である。この固有値は、主成分の分散に対応しており、その主成分がどの程度元のデータの情報を保持しているかを表している。ここでは、色変換手段１の説明において前記したように、色成分Ｘが最も大きい固有値を有し、色成分Ｙ，Ｚの順に固有値が小さくなっている。つまり、色成分Ｘ（色成分Ａ）が、サブサンプリングが行われた際に、最も損失が目立ちやすい色成分であるといえる。

そのため、最も大きい固有値を有する新たな色成分Ｘの画素を間引くと画質の劣化につながるため、ここでは、新たな色成分Ｘに対応する画素間引き手段を設けていない。したがって、色変換手段１の色空間変換手段５０によって生成された新たな色成分Ｘからなる画像Ｘは、そのまま外部に出力される。

この画素間引き手段６０，７０は、ここでは、前記した色変換手段１の損失成分抽出手段１０が備える画素間引き手段１１と完全に同一のものである。
なお、ここでは、画素間引き手段を２つ設けているが、画素間引き手段の数は、所望の画像フォーマットに応じて適宜変更されるものである。

［カラーサブサンプリング装置の動作］
次に、本発明の第一実施形態に係るカラーサブサンプリング装置２の動作について図３を参照して説明する。

図３に示すように、カラーサブサンプリング装置２は、色変換手段１の損失成分抽出手段１０，２０および３０の画素間引き手段１１によって、外部から、色成分Ａで構成された入力画像Ａ、色成分Ｂで構成された入力画像Ｂおよび色成分Ｃで構成された入力画像Ｃをそれぞれ入力する（ステップＳ１０１）。画素間引き手段１１は、例えば、前記式（１），（２）あるいは前記式（３），（４）によって入力画像Ａ，ＢおよびＣの画素を所定量間引き、間引き画像Ａ’，Ｂ’およびＣ’を生成する（ステップＳ１０２）。画素間引き手段１１は、生成した間引き画像Ａ’，Ｂ’およびＣ’を、補間手段１２に出力する。

補間手段１２は、画素間引き手段１１から間引き画像Ａ’，Ｂ’およびＣ’を入力すると、間引き画像Ａ’，Ｂ’およびＣ’を前記式（５），（６）あるいは前記式（７），（８）によって補間して拡大し、入力画像Ａの画素数と合わせた補間画像Ａ”，Ｂ”およびＣ”を生成する（ステップＳ１０３）。補間手段１２は、生成した補間画像Ａ”，Ｂ”およびＣ”を、減算手段１３に出力する。

減算手段１３は、補間手段１２から補間画像Ａ”，Ｂ”およびＣ”を入力するとともに、外部から入力画像Ａ，ＢおよびＣを入力し、前記式（９）によって補間画像Ａ”と入力画像Ａとの間、補間画像Ｂ”と入力画像Ｂとの間、補間画像Ｃ”と入力画像Ｃとの間、でそれぞれ差分をとり、差分画像Ｐ，ＱおよびＲを生成する（ステップＳ１０４）。減算手段１３は、生成した差分画像Ｐ，ＱおよびＲを主成分分析手段４０に出力する。

主成分分析手段４０は、損失成分抽出手段１０，２０および３０から差分画像Ｐ，ＱおよびＲをそれぞれ入力し、差分画像Ｐ，ＱおよびＲの各画素位置におけるベクトルＳ（ｘ，ｙ）（前記式（１０）参照）に対し主成分分析を行い、各主成分に対する結合係数ベクトルｗ_ｋを求める（ステップＳ１０５）。さらに、主成分分析手段４０は、ステップＳ１０４で得られた結合係数ベクトルｗ_ｋに基づき、前記式（１１）に示す色変換行列Ｍを生成する（ステップＳ１０６）。主成分分析手段４０は、生成した色変換行列Ｍを色空間変換手段５０およびカラーサブサンプリング装置２の外部に出力する。

色空間変換手段５０は、主成分分析手段４０から色変換行列Ｍを入力するとともに、外部から画像Ａ，ＢおよびＣを入力し、入力画像Ａ，ＢおよびＣに対し色変換行列Ｍをそれぞれ乗算して、新たな色成分Ｘ，ＹおよびＺからなる出力画像Ｘ，ＹおよびＺを生成する（ステップＳ１０７）。色空間変換手段５０は、生成した出力画像Ｘをカラーサブサンプリング装置２の外部に出力し（ステップＳ１０９）、出力画像Ｙ，Ｚを画素間引き手段６０，７０にそれぞれ出力する。

続いて、画素間引き手段６０，７０は、色変換手段１の色空間変換手段５０によって出力された出力画像Ｙ，Ｚをそれぞれ入力する。そして、画素間引き手段６０，７０は、出力画像Ｙ，Ｚに画素間引き手段１１と同様の画素間引き処理を行って画素を所定量間引き、間引き画像Ｙ’，Ｚ’をそれぞれ生成する（ステップＳ１０８）。画素間引き手段６０，７０は、生成した間引き画像Ｙ’，Ｚ’をカラーサブサンプリング装置２の外部に出力する（ステップＳ１０９）。
カラーサブサンプリング装置２は、以上のように動作する。

このようにして色変換手段１の色空間変換手段５０から外部に出力された画像Ｘ、および、画素間引き手段６０，７０から外部に出力された間引き画像Ｙ’，Ｚ’は、例えば、４：２：２フォーマットや４：２：０フォーマットによる間引き後の画像とみなすことができる。このような画像Ｘ、および、間引き画像Ｙ’，Ｚ’は、図示しない画像符号化装置に入力されて符号化される。

なお、色変換手段１の色空間変換手段５０から、例えば図示しない受信装置（例えば、デコーダ）に色変換行列Ｍを別途通知する（例えば、ヘッダ情報やサイド情報として伝送する）ことで、図示しない受信装置で復号された結果を、例えば、色成分Ａ，ＢおよびＣ（例えば、Ｒ，ＧおよびＢ）からなる三原色に逆変換したり、表示デバイスの表色系に合致した色表現に変換したりすることが可能となる。例えば、画像Ｘおよび間引き画像Ｙ’，Ｚ’を色成分Ａ，ＢおよびＣからなる三原色に戻すためには、まず、間引き画像Ｙ’，Ｚ’について、色変換手段１の損失成分抽出手段１０の補間手段１２と同様の方法によって補間拡大を行って、補間画像Ｙ”，Ｚ”を生成する。そして、画像Ｘおよび補間画像Ｙ”，Ｚ”のそれぞれの色成分からなる色ベクトル［Ｘ，Ｙ”，Ｚ”］に対して、左側から色変換行列の逆行列Ｍ^−１を乗算することで、色成分Ａ，ＢおよびＣに戻すことができる。

以上説明した本発明のカラーサブサンプリング装置２によれば、次のような作用効果を奏する。
本発明の第一実施形態に係るカラーサブサンプリング装置２によれば、色変換手段（色変換装置）１によって、サブサンプリングによる間引き影響を受けやすい色成分から間引き影響を受けにくい色成分へと順位付けのなされた色分解が可能となるので、入力画像Ａ，ＢおよびＣの色成分Ａ，ＢおよびＣを、サブサンプリングが行われた際に画質劣化が抑制されるような新たな色成分Ｘ，ＹおよびＺへとそれぞれ変換することができる。
また、色変換手段１によって、入力画像Ａ，ＢおよびＣに対しサブサンプリングを模擬した処理を施すことで、サブサンプリングが行われた際に失われる色成分を予め抽出することができる。この結果から色変換行列Ｍを生成して入力画像Ａ，ＢおよびＣに乗算することで、サブサンプリングが行われた際の情報損失が最も少なくなるような色変換を行うことができる。

さらに、画素間引き手段６０，７０によって、新たな色成分Ｘ，ＹおよびＺから重要度の低い色成分を間引き、重要度の高い色成分を間引かないことができるので、劣化の少ない良好な画質の画像を生成することができる。

このようにして、カラーサブサンプリング装置２によって、カラーサブサンプリングによる損失が目立ちやすい色成分Ａ，ＢおよびＣを損失が目立ちにくい色成分Ｘ，ＹおよびＺに変換し、さらに、もともとの色成分Ａ，ＢおよびＣの損失の目立ちやすさに応じて画素間引きを適否して画像Ｘ、および、間引き画像Ｙ’，Ｚ’を生成することで、これらを図示しない画像符号化装置で符号化したときに、情報損失を抑制した符号化画像を得ることができる。

なお、前記した色変換手段１における損失成分抽出手段１０の画素間引き手段１１と、画素間引き手段６０，７０とを完全に同一のものとしたが、これに限られるものではない。例えば、画素間引き手段１１のフィルタ係数Ｄ（ｉ）と画素間引き手段６０，７０のフィルタ係数Ｄ（ｉ）とは必ずしも一致していなくてもよい。例えば、画素間引き手段１１のフィルタ係数Ｄ（ｉ）を、画素間引き手段６０，７０のフィルタ係数Ｄ（ｉ）をより平易な演算で済むようにしたものに近似的に置き換えてもよい。例えば、画素間引き手段６０，７０のフィルタ係数Ｄ（ｉ）を１／２５６の倍数とした場合に、それを近似する１／１６の倍数を以て画素間引き手段１１のフィルタ係数Ｄ（ｉ）とすることが考えられる。また、逆に、例えば、画素間引き手段６０，７０のフィルタ係数Ｄ（ｉ）を、画素間引き手段１１のフィルタ係数Ｄ（ｉ）をより平易な演算で済むようにしたものに近似的に置き換えてもよい。

さらに例えば、画素間引き手段１１のフィルタ係数Ｄ（ｉ）のタップ長と画素間引き手段６０，７０のフィルタ係数Ｄ（ｉ）のタップ長とは必ず一致していなくてもよい。例えば、画素間引き手段１１のフィルタ係数Ｄ（ｉ）のタップ長を５として、画素間引き手段６０，７０のフィルタ係数Ｄ（ｉ）のタップ長を７として、画素間引き手段１１のフィルタ係数Ｄ（ｉ）のタップ長を画素間引き手段６０，７０のフィルタ係数Ｄ（ｉ）のタップ長よりも少なくしたり、逆に、多くしたりしてもよい。ただし、画素間引き手段１１と画素間引き手段６０，７０とを完全に同一のものとすると、画素間引き手段１１によって、入力画像Ａのサブサンプリング時における損失成分をより正確に抽出することができるため好ましい。

また例えば、色変換手段（色変換装置）１あるいはカラーサブサンプリング装置２は、コンピュータにおいて各手段を機能プログラムとして実現することも可能であり、各機能プログラムを結合して、色変換プログラムあるいはカラーサブサンプリングプログラムとして動作させることも可能である。

なお、前記した第一実施形態では、色変換手段（色変換装置）１を備えたカラーサブサンプリング装置２として説明したが、色変換手段（色変換装置）１あるいは色変換プログラムが独立していてもよいことはもちろんである。

＜第二実施形態＞
［カラーサブサンプリング装置の構成］
次に、本発明の第二実施形態に係る色変換手段（色変換装置）１Ａおよびカラーサブサンプリング装置２Ａについて、図４を参照して説明する。第二実施形態に係るカラーサブサンプリング装置２Ａは、色変換手段（色変換装置）１Ａと、画素間引き手段６０，７０と、を備えている。

第二実施形態に係るカラーサブサンプリング装置２Ａは、第一実施形態に係るカラーサブサンプリング装置２に対し、色変換手段の構成が異なる点で相違する。具体的には、色変換手段１Ａは、色変換手段１の各構成要素に加えて、ゲイン乗算手段８１，８２および８３をさらに備える点で相違する。このため、その他の同一の構成要素については同一の符号を付し、重複する説明を省略する。また、以下では、主に、色変換手段１Ａの構成について説明する。

［色変換手段の構成］
図４に示すように、色変換手段１Ａは、損失成分抽出手段１０，２０および３０と、ゲイン乗算手段８１，８２および８３と、主成分分析手段４０と、色空間変換手段５０と、を備えている。

ゲイン乗算手段８１，８２および８３は、損失成分抽出手段１０，２０および３０で生成された差分画像Ｐ，Ｑ，Ｒにそれぞれ対応して設けられている。ゲイン乗算手段８１，８２および８３は、差分画像Ｐ，ＱおよびＲを生成する元となる入力画像Ａ，ＢおよびＣを構成する色成分Ａ，ＢおよびＣのそれぞれについてその重要度に応じて予め設定した所定のゲインＫ_Ａ，Ｋ_ＢおよびＫ_Ｃを、対応する差分画像Ｐ，ＱおよびＲにそれぞれ乗算して差分画像Ｐ’，Ｑ’およびＲ’を生成するものである。

ゲイン乗算手段８１，８２および８３は、損失成分抽出手段１０，２０および３０で生成された差分画像Ｐ，ＱおよびＲに所定のゲインＫ_Ａ，Ｋ_ＢおよびＫ_Ｃを乗算して差分画像Ｐ’，Ｑ’およびＲ’を生成するものである。このゲインＫ_Ａ，Ｋ_ＢおよびＫ_Ｃは、例えば、人間の視覚特性を考慮し、感度の高い色成分に対して大きな値を設定し、感度の低い色成分に対して小さな値を設定する。つまり、サブサンプリングにより失われることで画質の劣化を感じさせやすい色成分は重要度が高いので、当該色成分が失われないように大きなゲインを設定し、サブサンプリングにより失われても画質の劣化を感じさせにくい色成分は重要度が低いので、小さなゲインを設定することができる。このようにして、色成分Ａ，ＢおよびＣを重要度に応じて重み付けすることで感度の高い色成分が失われないようにすることができる。

なお、ここでは、損失成分抽出手段１０，２０および３０のそれぞれに対応してゲイン乗算手段を設け、損失成分抽出手段１０，２０および３０で生成された差分画像Ｐ，ＱおよびＲのそれぞれに所定のゲインＫ_Ａ，Ｋ_Ｂ，Ｋ_Ｃを乗算して差分画像Ｐ’，Ｑ’およびＲ’を生成することとしているが、これに限られるものではない。例えば、色成分Ａ，ＢおよびＣのいずれか１個以上に対応してゲイン乗算手段を設けていればよい。
このようにして生成された差分画像Ｐ’，Ｑ’およびＲ’は、主成分分析手段４０に出力される。

主成分分析手段４０は、次の式（１３）に示すように、ゲイン乗算手段８１，８２および８３から入力された、差分画像Ｐ’，Ｑ’およびＲ’の各画素位置におけるベクトルＳ（ｘ，ｙ）に対して主成分分析を行い、結合係数ベクトルｗ_ｋを求める。

［カラーサブサンプリング装置の動作］
次に、カラーサブサンプリング装置２Ａの動作について、図５を参照して説明する。
カラーサブサンプリング装置２Ａにおいて、ステップＳ１１１〜Ｓ１１４の動作は、図３を参照して説明したカラーサブサンプリング装置２のステップＳ１０１〜Ｓ１０４の動作と同様であるので、ここでは説明を省略する。
カラーサブサンプリング装置２Ａは、ゲイン乗算手段８１，８２および８３によって、ステップＳ１１４で生成された差分画像Ｐ，Ｑ，Ｒに所定のゲインＫ_Ａ，Ｋ_ＢおよびＫ_Ｃを乗算して差分画像Ｐ’，Ｑ’およびＲ’を生成する（ステップＳ１１５）。ゲイン乗算手段８１，８２および８３は、差分画像Ｐ’，Ｑ’およびＲ’を、主成分分析手段４０に出力する。カラーサブサンプリング装置２Ａは、ステップＳ１１５において、主成分分析手段４０によって、ゲイン乗算手段８１，８２および８３から差分画像Ｐ’，Ｑ’およびＲ’を入力し、差分画像Ｐ’，Ｑ’およびＲ’の各画素位置におけるベクトルＳ（ｘ，ｙ）（前記式（１３）参照）に対し主成分分析を行い、各主成分に対する結合係数ベクトルｗ_ｋを求める。ステップＳ１１６〜Ｓ１２０の動作は、図３を参照して説明したカラーサブサンプリング装置２のステップＳ１０５〜Ｓ１０９の動作と同様であるので、ここでは説明を省略する。

第二実施形態に係るカラーサブサンプリング装置２Ａによれば、色変換手段１Ａのゲイン乗算手段８１，８２および８３によって、色成分Ａ，ＢおよびＣのいずれか１個以上に対応して、視覚的な感度など、入力画像の各色成分の重要度に応じて予め設定した所定のゲインを、色成分Ａ，ＢおよびＣにそれぞれ対応する差分画像Ｐ，ＱおよびＲのいずれか１個以上に乗算することで、色変換の結果にその重要度を反映することができる。よって、画素間引き手段６０，７０において、この重要度を反映した間引き処理が行うことができる、つまり、重要な色成分は間引かず、重要でない色成分は間引くことができるので、劣化が少ない良好な画質の画像を生成することができる。

１，１Ａ 色変換装置
２，２Ａ カラーサブサンプリング装置
１０，２０，３０ 損失成分抽出手段
４０ 主成分分析手段
５０ 色空間変換手段
６０，７０ 画素間引き手段
８１，８２，８３ ゲイン乗算手段

Claims (6)

1. カラー画像の各色成分を、サブサンプリング時の画質劣化が少なくなるような新たな色成分にそれぞれ変換する色変換装置であって、
   前記カラー画像の前記各色成分からなる各入力画像から、サブサンプリング時に失われる損失成分をそれぞれ抽出する損失成分抽出手段と、
   前記損失成分抽出手段によって抽出された前記各損失成分の画素値列に対し、所定の領域内において主成分分析を行う主成分分析手段と、
   前記主成分分析手段による主成分分析によって得られた結合係数に基づく色変換行列によって、前記各色成分を、当該各色成分の色空間とは異なる色空間の前記新たな色成分にそれぞれ変換して、前記各新たな色成分からなる画像をそれぞれ生成する色空間変換手段と、を備えることを特徴とする色変換装置。
2. 前記損失成分抽出手段が、
   予め定めた規則にしたがって前記各入力画像の画素をそれぞれ所定量間引く画素間引き手段と、
   前記画素間引き手段によって所定量画素が間引かれた前記各入力画像を元の解像度に戻した補間画像をそれぞれ生成する補間手段と、
   前記各入力画像と前記各補間画像との差分画像を前記損失成分としてそれぞれ生成する減算手段と、を備えることを特徴とする請求項１に記載の色変換装置。
3. 前記損失成分抽出手段によって抽出された前記各損失成分のうち、いずれか１つ以上の前記損失成分に対し、当該損失成分の抽出元である前記入力画像の前記色成分について予め設定されたゲインを乗算するゲイン乗算手段をさらに備えることを特徴とする請求項１または請求項２に記載の色変換装置。
4. 請求項１から請求項３のいずれか一項に記載の色変換装置と、
   前記色変換装置で生成された前記各新たな色成分からなる前記各画像のうち、前記主成分分析手段で得られた固有値の小さい方から所定個数の前記画像に対応して設けられ、当該対応する画像の画素を予め定めた規則にしたがって所定量間引く画素間引き手段と、を備えることを特徴とするカラーサブサンプリング装置。
5. カラー画像の各色成分を、サブサンプリング時の画質劣化が少なくなるような新たな色成分にそれぞれ変換するために、コンピュータを、
   前記カラー画像の前記各色成分からなる各入力画像から、サブサンプリング時に失われる損失成分をそれぞれ抽出する損失成分抽出手段、
   前記損失成分抽出手段によって抽出された前記各損失成分の画素値列に対し、所定の領域内において主成分分析を行う主成分分析手段、
   前記主成分分析手段による主成分分析によって得られた結合係数に基づく色変換行列によって、前記各色成分を、当該各色成分の色空間とは異なる色空間の前記新たな色成分にそれぞれ変換して、前記各新たな色成分からなる画像をそれぞれ生成する色空間変換手段、として機能させるための色変換プログラム。
6. カラー画像の各色成分を、サブサンプリング時の画質劣化が少なくなるような新たな色成分にそれぞれ変換したうえで、前記新たな色成分からなる画像から予め定めた規則にしたがって所定量画素を間引くために、コンピュータを、
   前記カラー画像の前記各色成分からなる各入力画像から、サブサンプリング時に失われる損失成分をそれぞれ抽出する損失成分抽出手段、
   前記損失成分抽出手段によって抽出された前記各損失成分の画素値列に対し、所定の領域内において主成分分析を行う主成分分析手段、
   前記主成分分析手段による主成分分析によって得られた結合係数に基づく色変換行列によって、前記各色成分を、当該各色成分の色空間とは異なる色空間の前記新たな色成分にそれぞれ変換して、前記各新たな色成分からなる画像をそれぞれ生成する色空間変換手段、
   前記色空間変換手段で生成された前記各新たな色成分からなる前記各画像のうち、前記主成分分析手段で得られた固有値の小さい方から所定個数の前記画像に対応して設けられ、当該対応する画像の画素を予め定めた規則にしたがって所定量間引く画素間引き手段、として機能させるためのカラーサブサンプリングプログラム。

Images