JP4056185B2

JP4056185B2 - Color video processing apparatus and method

Info

Publication number: JP4056185B2
Application number: JP29653899A
Authority: JP
Inventors: 性徳李; 昌容金; 斗植朴; 亮錫徐; 正 ▲樺▼ 金
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 1998-10-22
Filing date: 1999-10-19
Publication date: 2008-03-05
Anticipated expiration: 2019-10-19
Also published as: US6639628B1; KR100278642B1; JP2000138948A; KR20000026693A

Description

【発明の属する技術分野】
【０００１】
本発明は映像処理装置及び方法に係り、特にカラー映像処理装置及び方法に関する。
【従来の技術】
【０００２】
カメラのようなカラー映像入力装置を使用して場面を撮影し、撮影された映像データをモニターのような映像出力装置を用いて再現する時や、インターネットからダウンロードした映像データをディスプレーしようとする場合、再現される映像の色を元の場面映像の色と一致させることがカラー映像処理分野で重要な問題である。このような問題を解決するためには、被写体を照射する照明(以下、場面照明と称する)に対する照明色を求めて映像入力装置の基準白色点をそれに一致させることと、再現する映像が有する白色点と再現する映像出力装置のディスプレー色温度との間の光源色処理問題が核心である。
【０００３】
しかし、ほとんどのカメラは一つまたは二つの基準照明を使用して全ての回路が調整されるため、基準照明以外の照明下で被写体を撮影する場合、映像出力装置で再現される映像は場面映像と異なる色に示される問題があり、カメラの基準照明と被写体の場面照明との間の照明色または色温度の差が大きいほど再現された映像の色と被写体の元来色との間の色差がさらに大きくなるという問題がある。
【０００４】
また、被写体の照明がカメラの基準照明と一致したとしても、カメラによって撮影された映像をディスプレーするモニターの陰極線管色温度と被写体に照射される照明色に差がある場合、その色温度差に該当する程度の色変形を誘発する問題がある。場面映像の色と再現映像の色を一致させるための従来の一般的な方法で、使用者によりモニター上で映像取扱ソフトウェア(例: Adobe社のPhotoshop)でRed、Green、Blue(以下、RGBと称する)または色相、輝度、彩度の三原色の量を調整して映像が変更できる。
【０００５】
しかし、熟練者ではなく一般の使用者が二つの映像間の色一致のための最適のRGB比率値を求めるためには長時間と努力が要求される短所があり、特に光源間の不均衡により現れる問題を色相などの調整を通じて克服し難い。二つの映像の色一致に核心になる場面照明の照明色と映像入力装置の白色均衡を一致させる方法がカメラ分野で一部適用されている。
【０００６】
このような方法としてはたとえば光学センサーを用いる方法があるが、これは米国特許第４,６１６,２５３号と第４,８０５,０１０号に示されている。前記資料では、被写体を照射する照明色成分を検出する目的でカメラ装置に光学センサーを内蔵したりまたは独立的な装置として使用して照明から放射される照明色の色座標値を求め、その色座標値をカメラの白色として設定して最適の場面映像を得る。
【０００７】
しかし、このような方法は、光検出器を使用する場合、付加的なハードウェアの付着に従う費用負担の外にもハードウェアで直接対応できない遠距離撮影で得られる映像に適用するには問題がある。また、カメラ装置が白色調節できる高級型であるべきという制限が付加される。さらに、予め定義されたカメラではなく他種の映像入力装置から作られたカラー映像は色一致することができないという短所がある。
【０００８】
映像入力装置の種類とは関係なく、照明色推定の問題を解決するための従来の方法が米国特許第４,６８５,０７１号に示されている。前記方法はカラー映像自体から照明色を検出する。即ち、前記方法は映像から鏡のように反射する光(specularly reflected light＝Highlight)を用いて明るさに独立的な色変化を検出するために映像を色度座標を有する色座標空間上に投影し、彩度と色相が最も急に変わる色境界を検出し、彩度の変化による色境界周囲のデータ集合を使用して照明色を検出する。この場合、彩度の変化による境界か、色相の変化による境界かを区別するために色境界の両辺にあるデータ集合を収集して直線近似し、両辺から収集されたデータ集合から求めた直線の傾斜が同じ場合、彩度による境界で決定し、照明色検出のためのデータ集合とし、このような彩度の変化による境界点周囲の多くのデータ集合から得られた直線の交点の経路から照明色として決定する変数を求める。
【０００９】
しかし、前記方法は遂行時間が長い短所がある。また各境界点データから両辺のデータ収集が難しいだけでなく、境界点単位で処理することによって多くの境界点から両辺のデータを収集し、直線近似して比較、判断する作業が反復されるべき短所がある。また、色度図上で照明色の計算のためにいくつかの有効なハイライトが存在すべき問題がある。
【００１０】
他の従来の方法が米国特許第５,４９５,４２８号に示されている。前記方法は照明色のはじめになる直線を探すために映像データを色度空間ヒストグラム上に投影させ、色度空間上で各々のクラスターに対する主軸直線を計算し、直線が収斂する位置の色度値を求める。しかし、前記方法は複雑な境界変化検出方法を使用しないが、その代りに全てのクラスターを対象として計算を遂行することによってやはり長時間がかかり、映像内の物体の色が似ている場合、クラスターの固まり現象が発生して正確性が落ち、また映像内に強いハイライト情報が存在してこそ安全性のある照明色の抽出ができるという短所がある。
【００１１】
図８は、映像の生成及び再現過程を示す一般の映像処理システムの構成を示すブロック図である。図８を参照すれば、任意の照明により照射される人間と木がある場面は、例えば色温度５０００Kを有する任意の基準照明で設定されたカメラで撮影でき、また例えば色温度７５００Kを有するさらに他の任意の基準照明で設定されたカメラにより撮影できる。また、例えば銀塩写真の形態に印画された映像が、例えば色温度２８００Kの固有の照明設定を有するイメージスキャナーにより読取られる場合もある。また、入力映像は映像入力装置が定義できないインターネット上でダウンロードされた映像である場合もある。上記の方法により得られた映像データは、コンピュータまたは映像処理装置により任意の映像出力装置でディスプレーされる。この場合、モニターもその色温度設定が異なったりする。即ち、場面映像は一つであるが、映像入力装置との照明色の差によって、そして任意の光源を有する映像データとモニターのディスプレー色温度差によりいろいろな他の色を有する多くの映像が現れる。
【発明が解決しようとする課題】
【００１２】
本発明が達成しようとする技術的課題は、映像の構成要素、映像入力装置種類とは関係なくて安定的に場面映像と再現映像の色を一致させうるカラー映像処理装置を提供することである。本発明が達成しようとする他の技術的な課題は、前記カラー映像処理装置内で具現されるカラー映像処理方法を提供することである。
【課題を解決するための手段】
【００１３】
前記課題を達成するために、本発明によるカラー映像処理装置は、映像入力装置から出力される第１RGB信号を入力し、映像処理を遂行してディスプレー手段に出力するカラー映像処理装置において、入力されたRGB信号を相異なる所定の複数のN個の照明色を使用してRGB空間上の信号を所定の色空間上の信号に光源変換する手段と、所定の色空間上の信号を、ディスプレー手段に対する所定の複数のM個の色温度を使用してRGB空間上に光源変換する手段とを含み、N×M個の映像信号を生成し、出力することを特徴とする。
【００１４】
また、入力されたRGB信号をバッファリングして出力する第１フレームメモリ手段と、
前記第１フレームメモリ手段から出力されたRGB信号を入力してダウンサンプリングすることによってRGB信号を出力する映像サンプリング部と、ダウンサンプリングされたRGB信号を相異なる所定のN個の照明色を用いて光源変換を遂行し、出力装置の色温度を以って光源変換を遂行して光源変換されたRGB信号を出力する色変換部と、光源変換されたRGB信号をバッファリングして出力する第２フレームメモリ手段とをさらに含むことを特徴とする。
【００１５】
また、前記色変換部は、所定のN個の照明色を用いてRGB空間上の信号を所定の色空間上の信号に光源変換する行列を計算する並列接続されたN個の行列演算器を具備する第１演算部を含むことが望ましい。
【００１６】
また、前記色変換部は、ディスプレー手段に対する所定のM個の色温度を使用して所定の色空間上の信号をRGB空間上の信号に光源変換するための行列を計算する並列接続されたM個の行列演算器を具備する第２演算部をさらに含むことが望ましい。
【００１７】
また、前記色変換部は、所定のN個の照明色を使用してRGB空間上の信号を所定の色空間上の信号に光源変換する行列に関する情報を貯蔵し、所定の第１制御信号に応答して前記情報を出力する第１メモリ、及び前記第１メモリから出力された前記情報に従って行列演算を遂行する第１行列演算部を具備する第１演算部を含むことが望ましい。
【００１８】
また、前記色変換部は、所定の色空間上の信号を、ディスプレー手段に対する所定のM個の色温度を使用してRGB空間上に光源変換する行列に関する情報を貯蔵し、所定の第２制御信号に応答して前記情報を供給する第２メモリ、及び前記第２メモリから出力された前記情報に従って行列演算を遂行する第２行列演算部を具備する第２演算部をさらに含むことが望ましい。
【００１９】
また、前記所定の色空間は標準色空間であることが望ましい。また、前記所定の色空間は、変換された信号の大きさが以前のRGB信号の大きさと線形的な関係を有する色空間であることがさらに望ましい。代案として、前記所定の色空間は、CIEXYZ、CIEUVW色空間、又はuv色度座標空間、若しくはY、R-Y、B-Y座標を適用した色空間よりなる、国際照明委員会が勧告する標準色空間群の中で選択されたことでもよい。また、前記色変換部の所定のN個の照明色は、人間の視覚で区別し易い差を持って日常で頻繁に用いられる２８００K、４３００K、５０００K、５５００K、６５００K、又は７５００Kの色温度を含む群から少なくとも一つ以上を含むことが望ましい。
【００２０】
また、前記色変換部は、照明の色温度を知っている場合には
【００２１】
【数２】

を使用して光源変換を遂行することが望ましい。
【００２２】
前記他の課題を達成するために、本発明によるカラー映像処理方法は、映像入力装置から出力されるRGB空間上の信号を映像処理してディスプレー手段に出力するカラー映像処理方法において、(a-１)所定の複数のN個の照明色を使用してRGB空間上の信号を所定の色空間上の信号に光源変換する段階と、(a-２)所定の色空間上の信号をディスプレー手段に対する所定の複数のM個の色温度を使用してRGB空間上に光源変換し、N×M個の映像信号を生成する段階と、(b)光源変換されたN×M個の映像信号をディスプレー手段に映像として示す段階と、(c)ディスプレー手段に示されたN×M個の映像の中で視感的に最適の映像を選択する段階と、(d)(c)段階で選択した映像に当る照明色を最適照明色として選択する段階とを含むことを特徴とする。
【００２３】
また、前記(a)段階の所定のN個の照明色は、人間の視覚で区別し易い差を持って日常で頻繁に用いられる、概略２８００K、４３００K、５０００K、５５００K、６５００K、又は７５００Kの色温度よりなる群から選択された少なくとも一つ以上の照明色を含むことが望ましい。また、前記(a)段階で前記所定の色空間は、変換された信号の大きさが以前のRGB信号の大きさと線形的な関係を有する色空間であることが望ましい。代案として、前記(a)段階で前記所定の色空間は、CIEXYZ、CIEUVW色空間、又はuv色度座標空間、若しくはY、R-Y、B-Y座標を適用した色空間よりなる、国際照明委員会が勧告する標準色空間群の中で選択されたことが望ましい。
【発明の実施の形態】
【００２４】
以下、添付した図面を参照して本発明に係る望ましい実施例を説明する。図１には、本発明の実施例に係るカラー映像処理装置の主要部分に対する構成を示した。
【００２５】
図１を参照すれば、本発明によるカラー映像処理装置２０は、第１フレームメモリ２０２、映像サンプリング部２０４、色変換部２０６、及び第２フレームメモリ２０８を具備する。
【００２６】
このようなカラー映像処理装置２０の動作を説明すれば、先に、第１フレームメモリ２０２は、入力された三原色の第１RGB信号Rin、Gin、Binをバッファリングして出力する。映像サンプリング部２０４は、前記第１フレームメモリ２０２から出力された第１RGB信号を入力してダウンサンプリングすることによって第２RGB信号を出力する。
【００２７】
例えば、入力された第１RGB信号の映像空間解像度が６４０(幅)×４８０(高さ)で、カラーモニター２１０の空間解像度が１２８０(幅)×１０２４(高さ)とし、６または１８個の比較映像をカラーモニター２１０上にディスプレーすれば、映像サンプリング部２０４のダウンサンプリング比は、前記空間解像度を考慮してマイコン(図示せず)からの制御信号Cont#addr#Aに従って決定される。言い換えれば、映像サンプリング部２０４は入力された映像の空間解像度を出力装置に合うように変換して色変換部２０６に出力する。映像サンプリング部２０４はまた、場合によってマイコンの制御下でダウンサンプリングを遂行せずに映像を通過させる機能を遂行することもできる。
【００２８】
色変換部２０６は、ダウンサンプリングされて出力された第２RGB信号を後述される方法で選択された６個の代表照明色を使用して光源変換し、光源変換された信号をカラーモニター２１０に対する３つの代表色温度を使用して第３RGB信号で光源変換を遂行する。第２フレームメモリ２０８はマイコンからの第２制御信号Cont#addr#Bに応答して変換された第３RGB信号を順次に貯蔵してカラーモニター２１０に出力する。図２には色変換部２０６の詳細な構成を示した。
【００２９】
図２を参照すれば、色変換部２０６は第１演算部３２と第２演算部３４とを具備する。第１演算部３２は６個の行列演算器３２１、３２２、３２３、３２４、３２５、３２６を具備する。行列演算器３２１、３２２、３２３、３２４、３２５、３２６は並列に接続される。第２演算部３４は３個の行列演算器３４１、３４２、３４３を具備する。行列演算器３４１、３４２、３４３は並列に接続される。
【００３０】
６個の行列演算器３２１、３２２、３２３、３２４、３２５、３２６は各々異なる６個の代表照明色を使用して入力されたRGB空間上の信号をXYZ空間上の信号に光源変換する行列を各々計算する。３個の行列演算器３４１、３４２、３４３はディスプレー手段の各々異なる３個の色温度を使用してXYZ空間上の信号をRGB空間上の信号に変換する行列を各々計算する。
【００３１】
行列演算器３２１、３２２、３２３、３２４、３２５、３２６と行列演算器３４１、３４２、３４３は、マイクロコンピュータ(図示せず)からの制御信号(Cont)に応答して行列演算を遂行する。行列演算器３２１、３２２、３２３、３２４、３２５、３２６は入力されたRGB空間上の信号をXYZ空間上の信号に光源変換するための行列演算を遂行する時、６個の照明色に該当する相異なる行列係数値を使用する。
【００３２】
また、各行列演算器３４１、３４２、３４３は、入力されたXYZ空間上の信号をRGB空間上の信号に光源変換するための行列演算を遂行する時、３個の色温度に該当する相異なる行列係数値を使用する。結果的に、ディスプレー上には６個の照明色と３個のディスプレーに対する色温度を組合した総１８個の映像がディスプレーされる。使用者は１８個の映像中で視覚的に適合した映像を選択する。
【００３３】
これにより、該当映像を光源変換するのに使われた場面映像の照明色とディスプレー手段の色温度が最適照明色及び色温度として決定される。以上、本発明によるカラー映像処理装置の色変換部２０６では、RGB色空間とCIEXYZ色空間との間の光源変換を遂行することを例として説明した。
【００３４】
しかし、これに限定されず、色変換部２０６が入力されたRGB空間上の信号を所定の色空間上の信号に変換するとする時、前記所定の色空間は国際照明委員会が勧告する他の標準色空間でありうる。前記所定の色空間は、変換された色空間上の信号の大きさが変換前のRGB空間上の信号の大きさと線形的な関係を有することができる色空間であることがさらに望ましい。このような色空間としてCIEUVW色空間がある。
【００３５】
また、前記所定の色空間は、カラー映像分野の産業で広く用いられるY、R-Y、B-Y座標を適用した色空間でありうる。代案として、前記色変換部は必要によってRGB空間とrg色度座標空間との間の光源変換を遂行することもできる。一方、各行列別に一つずつの行列演算器を使用して計算するように具現することは望ましくない。
【００３６】
図３には色変換部２０６の実際的な構成の一例を示した。図３を参照すれば、色変換部２０６は第１演算部４２と第２演算部４４を具備する。
【００３７】
第１演算部４２は第１メモリ４２２と第１行列演算部４２４を具備する。動作を説明すれば、第１行列演算部４２４に必要な代表照明色別行列係数はマイコン制御信号Cont#Cに応答して第１メモリ４２２からダウンロードされて設定され、第２行列演算部４４４に必要な代表照明色別行列係数はマイコン制御信号Cont#Dに応答して第２メモリ４４２からダウンロードされて設定される。これにより、第１行列演算部４２はRGBからXYZへの信号変換を、第２行列演算部４４はXYZからRGBへの信号変換を遂行する。
【００３８】
次に、どのように代表照明を選択し、光源変換を遂行するかに対して詳細に説明する。
【００３９】
人間の目は照明変化に従う被写体の色変化に鈍感な色恒常性(Color Constancy)を有するということは一般的に知られた理論である。反面、カメラのようなカラー映像入力装置の場合は、被写体を照射する照明の分光スペクトル(以下、照明色)に従って三刺激値間の比率が大きく変わる。映像で色の表現は:
【００４０】
【数３】

のようにRGBまたはCIEXYZ(以下、XYZ)のような三刺激値で表現される。
【００４１】
即ち、物体表面の分光反射度S(λ)と物体を照射する照明の分光スペクトルE(λ)、及びカメラなどのセンサー分光特性r_k(λ)の掛け算の和で表現される。従って、数式２の照明色のような照明要素は再現色に影響を及ぼす主要要素として作用される。
【００４２】
図４には、本発明の実施例に係るカラー映像処理装置に適用した代表照明のスペクトル分布を示した。図４を参照すれば、本発明の実施例に係るカラー映像処理装置に使われた照明は、周辺で主に用いられる、例えば２８００Kの色温度を有する白熱灯、４３００Kの色温度を有する蛍光灯、並びに各々５０００K、５５００K、６５００K、及び７５００Kの色温度を有する４種の太陽光で総６種類である。
【００４３】
図５には、前記代表照明の色温度を色度図で示した。図５を参照すれば、このような６種類の照明色は色座標上で相異なる位置にあることが分かり、これは照明の色成分が相異なることを意味する。
【００４４】
【表１】

表１には、場面照明として用いられる６種の照明に対する代表的な色温度対XYZ＆xy座標値の関係を示した。
【００４５】
例えば、色温度２８００Kの白熱灯と色温度７５００Kの太陽光熱でXYZ値を比較すれば、X値は１０%以上、Z値は７０%以上の差があることが分かる。一方、RGB信号をXYZ信号に変換するためには、RGB三原色のXYZ値と照明のXYZ値で計算された伝達関数行列Aが定義されるべきである。
【００４６】
【数４】

RGB三原色のXYZ値は、カメラあるいはイメージスキャナーごとに固有なフィルターの設計があるので値は各々若干異なる場合があるが、XYZ分光感度と類似の分光感度を有するフィルターを設計することが望ましいので、例えば現在業界標準のCCIR ６０１あるいはCCIR ７０９のRGB三原色の中で一つを使用することが望ましい。
【００４７】
【表２】

表２で白色光(white)は、照明色であって場面照明を意味し、場面の照明色は変化が多くてまた変化量も大きい場合があるので数式２が定義できない。
【００４８】
しかし、ほとんどの照明色は本発明で使用した６個の代表照明色中いずれか一つで定義できる。この照明色の個数は必要によって増加または減少させうる。２８００Kの色温度を有する白熱灯を照明として使用した場合、数式４は数式５のように示すことができる。
【００４９】
【数５】

数式５は再び数式６及び数式７のように変換できる。
【００５０】
【数６】

【００５１】
【数７】

また、類似に、４３００Kの色温度を有する蛍光灯、並びに各々５０００K、５５００K、６５００K、及び７５００Kの色温度を有する４種の太陽光熱を照明として使用した場合、数式４は数式８のように示すことができる。
【００５２】
【数８】

図６には、本発明の実施例に係るカラー映像処理装置に適用したモニター色温度を色度図に示した。図６を参照すれば、モニターで広く使われる３種の色温度(５０００K、６５００K、９３００K)がXY色度座標上に示されている。
【００５３】
【表３】

表３には、モニターで用いられる代表的な色温度対XYZ＆xyの関係を示した。即ち、３個の色温度を有するモニターに対してXYZ三刺激値とxy色度座標値を示した。
【００５４】
表３のように色温度５０００Kと９３００Kを比較すればX軸で色温度間の差は小さいものの、Z軸の場合には大きい差があることが分かる。XYZ空間上の信号をRGB空間上の信号に光源変換する過程は、数式７のように行列式で示すことができる。数式９の行列式で、ディスプレー手段の各々異なる３個の色温度(５０００K、６５００K、９３００K)が行列係数を決定するのに使用される。
【００５５】
【数９】

以上のような方法によってモニターの色温度と照明色に従って総１８個の映像がモニター上に同時にまたは順次にディスプレーされる。使用者はこの映像の中で場面映像と類似の色分布を有する映像を選択することによって最適照明色とディスプレー色温度を決定して、場面映像と再現映像との間の色一致が達成できる。
【００５６】
前述した本発明に係るカラー映像処理装置で具現されるカラー映像処理方法の主要段階を図７に示した。
【００５７】
図７を参照すれば、本発明に係るカラー映像処理方法は、先に被写体を照射する代表照明色を選定する(段階８０２)。本実施例では２８００K、４３００K、５０００K、５５００K、６５００K、７５００Kの色温度に該当する照明色が代表照明色として選択された。
このような代表照明色は人間の視覚によって容易に区別できる差を持って日常で頻繁に使われることが望ましい。これよりさらに細分化した照明色を使用することもできるが、この場合は視覚的に区別することにおいてより細心な注意が要求される。
【００５８】
次に、モニターの色温度を知っているかどうかを決定する(段階８０６)。段階８０６でモニターの色温度を知らないことと決定された場合には、所定の３個の色温度をモニターの代表色温度と設定する(段階８０８)。
【００５９】
本実施例では５０００K、６５００K、及び９３００Kの３種の色温度を代表色温度と設定する。反面に、段階８０６でモニターの色温度を知っていることと決定された場合には、知っている色温度を代表色温度と設定する(段階８１０)。
【００６０】
ここで、XYZ三刺激値またはxy色度座標値を示すための色空間としては、CCIR６０１が使われうる。さて、段階８０２で選択された各代表照明色を使用してRGB-XYZ光源変換行列係数を計算する(段階８２０)。次に、前記行列係数を使用してRGB-XYZ光源変換を遂行する(段階８２２)。また、選択された各代表色温度を使用してXYZ-RGB光源変換行列係数を計算する(段階８２４)。
【００６１】
次に、前記行列係数を使用してXYZ-RGB光源変換を遂行する(段階８２６)。
【００６２】
次に、光源変換された複数の映像をモニター上にディスプレー(段階８２８)し、使用者は視感的に場面映像と最も類似の映像または使用者が最も好む映像を選択する(段階８３０)。即ち、モニターの色温度種類と場面の照明色に従って総１８個の映像がモニター上に同時にまたは順次にディスプレーされ、使用者はこの映像の中で場面映像と類似の色分布を有する映像を選択することによって場面映像と再現映像との間の色一致を達成するための最適照明色とディスプレー色温度が決定される。
【００６３】
以上で説明した光源変換過程を一つの式で簡略化して示すと、
【００６４】
【数１０】

と同じである。
【００６５】
ここで、W_Sは場面照明色、W_Rは再現用基準照明色、W_Dはモニターの色温度を示す。即ち、場面映像と再現映像との間の色一致映像が選択されれば、この三個の白色点(照明色または色温度)に対する変数も決定されるので、場面に照射される照明色W_Sが抽出される。以上の実施例のように、周辺でよく使われる照明色を代表照明色として使用することが望ましい。
【００６６】
しかし、代案として、照明の色温度Tcが知られた場合、下記のように照明色温度Tc対標準色空間(色度値xy)間の変換公式を用いて代表照明色の範囲と間隔を調節して使用することができる。
【００６７】
【数１１】

【発明の効果】
【００６８】
前述したように本発明によれば、場面で被写体を照射する照明(場面照明)の照明色と映像出力装置のディスプレー色温度に対する推定のために、多様な照明色を有する照明を使用して光源変換を遂行し、これを通じて作られた映像を使用者が選択するようにすることによって、使用者が光源を知らない場合にも自然なカラー映像または好みの色の映像が得られる。
【００６９】
またこのような過程を通じて撮影された映像における場面照明に対する情報も得られる長所がある。これにより、本発明は従来技術の問題点の場面映像で光源の種類、映像出力装置の色温度設定状態、ハードウェアの複雑度、映像の構成要素の制限、または映像の複雑度などに関係なく、正確性と安全性の側面でさらに効果的な方法が提供でき、方法の具現はハードウェアまたはソフトウェアで具現できる。従って本発明は、映像処理システム、カラーカメラ、カラーイメージングソフトウェアなどに広く適用できる。
【００７０】
前述したように、本発明に係るカラー映像処理装置は、場面で被写体を照射する照明の照明色と、映像出力装置のディスプレー色温度に対する推定のために多様な色温度を有する照明を使用して光源変換を遂行し、使用者がこれを通じて作られた映像が選択できるようにすることによって、光源に対する情報がなくても自然なカラー映像または好みの色の映像が得られる。
【図面の簡単な説明】
【図１】本発明の実施例に係るカラー映像処理装置の構成を示すブロック図である。
【図２】図１の装置の色変換部の構成例を示すブロック図である。
【図３】図１の装置の色変換部の他の構成例を示すブロック図である。
【図４】本発明の実施例に係るカラー映像処理装置に適用した代表照明に対するスペクトル分布図である。
【図５】本発明の実施例に係るカラー映像処理装置に適用した代表照明の色温度を示す色度図グラフである。
【図６】本発明の実施例に係るカラー映像処理装置に適用したモニター色温度を示す色度図グラフである。
【図７】本発明の実施例に係るカラー映像処理方法の主要段階を示すフローチャートである。
【図８】映像の生成及び再現過程を示す一般の映像処理システムの構成を示すブロック図である。
【符号の説明】
２０カラー映像処理装置
２０２第１フレームメモリ
２０４映像サンプリング部
２０６色変換部
２０８第２フレームメモリ
２１０カラーモニターBACKGROUND OF THE INVENTION
[0001]
The present invention relates to an image processing apparatus and method, and more particularly to a color image processing apparatus and method.
[Prior art]
[0002]
When shooting a scene using a color video input device such as a camera and reproducing the captured video data using a video output device such as a monitor, or when trying to display video data downloaded from the Internet Therefore, matching the color of the reproduced video with the color of the original scene video is an important problem in the color video processing field. In order to solve such a problem, the illumination color for the illumination that illuminates the subject (hereinafter referred to as scene illumination) is obtained, and the reference white point of the image input device is made coincident with that, and the white color that the reproduced image has The illuminant color processing problem between the point and the display color temperature of the reproduced video output device is the core.
[0003]
However, since most cameras use one or two reference lights to adjust all circuits, when shooting a subject under a light other than the reference light, the image reproduced by the video output device is a scene image. The color difference between the reproduced video color and the original color of the subject increases as the difference in illumination color or color temperature between the standard illumination of the camera and the scene lighting of the subject increases. There is a problem that becomes even larger.
[0004]
Even if the illumination of the subject matches the reference illumination of the camera, if there is a difference between the color temperature of the cathode ray tube of the monitor that displays the video taken by the camera and the illumination color irradiated to the subject, the color temperature difference There is a problem of inducing a corresponding degree of color deformation. This is a conventional general method for matching the color of the scene video with the color of the reproduced video.The user can use Red, Green, Blue (hereinafter referred to as RGB) on the monitor with video handling software (e.g., Adobe Photoshop). The image can be changed by adjusting the amounts of the three primary colors of hue, luminance and saturation.
[0005]
However, a general user, not an expert, has the disadvantage that it takes a long time and effort to find the optimal RGB ratio value for color matching between two images, especially due to imbalance between light sources. It is difficult to overcome the problems that appear by adjusting the hue. A method of matching the illumination color of scene illumination, which is the core of color matching between two images, and the white balance of the image input device has been partially applied in the camera field.
[0006]
As such a method, for example, there is a method using an optical sensor, which is shown in US Pat. Nos. 4,616,253 and 4,805,010. In the above document, for the purpose of detecting an illumination color component that illuminates a subject, an optical sensor is incorporated in the camera device or an independent device is used to determine the color coordinate value of the illumination color emitted from the illumination, and the color Set the coordinate value as the white color of the camera to obtain the optimal scene image.
[0007]
However, such a method has a problem when applied to images obtained by long-distance shooting that cannot be directly handled by hardware in addition to the cost burden of attaching additional hardware when using a photodetector. is there. In addition, a restriction is added that the camera device should be a high-quality type that can adjust white. Furthermore, there is a disadvantage in that a color image created from another type of image input device rather than a predefined camera cannot be color-matched.
[0008]
Regardless of the type of video input device, a conventional method for solving the problem of illumination color estimation is shown in US Pat. No. 4,685,071. The method detects the illumination color from the color image itself. That is, the method projects the image on a color coordinate space having chromaticity coordinates in order to detect a color change independent of brightness using light reflected from the image like a mirror (specularly reflected light = Highlight). Then, the color boundary where the saturation and the hue change most rapidly is detected, and the illumination color is detected using the data set around the color boundary due to the change in saturation. In this case, in order to distinguish between a boundary due to a change in saturation or a boundary due to a change in hue, a data set on both sides of the color boundary is collected and linearly approximated, and a straight line obtained from the data set collected from both sides is obtained. When the slope is the same, it is determined at the boundary by saturation, and it is used as a data set for illumination color detection, and illumination is performed from the path of the intersection of straight lines obtained from many data sets around the boundary point due to such saturation change. Find the variable to be determined as color.
[0009]
However, the method has a disadvantage of long execution time. Not only is it difficult to collect data on both sides from each boundary point data, but the process of collecting data on both sides from many boundary points by processing in units of boundary points, comparing and judging by linear approximation should be repeated. There are disadvantages. There is also the problem that some useful highlights should exist for the calculation of the illumination color on the chromaticity diagram.
[0010]
Another conventional method is shown in US Pat. No. 5,495,428. The method projects video data on a chromaticity space histogram in order to find a straight line at the beginning of the illumination color, calculates a main axis straight line for each cluster in the chromaticity space, and calculates a chromaticity value at a position where the straight line converges. Ask. However, the method does not use a complicated boundary change detection method, but instead it takes a long time to perform the calculation for all clusters, and if the colors of the objects in the image are similar, the cluster However, there are disadvantages in that the accuracy of the image is reduced due to the occurrence of lumping phenomenon, and the safe illumination color can be extracted only when strong highlight information is present in the video.
[0011]
FIG. 8 is a block diagram showing a configuration of a general video processing system showing a video generation and reproduction process. Referring to FIG. 8, a scene with a human being and a tree illuminated by an arbitrary illumination can be taken with a camera set with an arbitrary reference illumination having a color temperature of 5000K, for example, and still another example having a color temperature of 7500K. Can be taken with a camera set with any reference illumination. In addition, for example, an image printed in the form of a silver salt photograph may be read by an image scanner having a specific illumination setting with a color temperature of 2800K, for example. Also, the input video may be a video downloaded on the Internet that cannot be defined by the video input device. The video data obtained by the above method is displayed on an arbitrary video output device by a computer or a video processing device. In this case, the monitor also has a different color temperature setting. That is, although there is only one scene image, many images having various other colors appear due to the difference in illumination color from the image input device, and from the image data having an arbitrary light source and the display color temperature difference of the monitor. .
[Problems to be solved by the invention]
[0012]
The technical problem to be achieved by the present invention is to provide a color video processing apparatus capable of stably matching the colors of the scene video and the reproduced video regardless of the components of the video and the type of the video input device. . Another technical problem to be achieved by the present invention is to provide a color video processing method embodied in the color video processing apparatus.
[Means for Solving the Problems]
[0013]
In order to achieve the above object, a color video processing apparatus according to the present invention receives a first RGB signal output from the video input apparatus, performs video processing, and outputs it to a display means. A means for converting the RGB space signal into a signal on the predetermined color space using a plurality of predetermined N illumination colors different from the RGB signal, and a display means for displaying the signal on the predetermined color space N × M video signals are generated and output using a plurality of predetermined M color temperatures for light source conversion on the RGB space.
[0014]
A first frame memory means for buffering and outputting the input RGB signal;
A video sampling unit that outputs an RGB signal by inputting and down-sampling the RGB signal output from the first frame memory means, and using predetermined N illumination colors different from the down-sampled RGB signal A color conversion unit that performs light source conversion, performs light source conversion according to the color temperature of the output device, and outputs a RGB signal that has undergone light source conversion; and second outputs a buffered RGB signal that has undergone light source conversion And a frame memory means.
[0015]
The color conversion unit includes N matrix calculators connected in parallel for calculating a matrix for converting a light source from a signal in the RGB space to a signal in the predetermined color space using predetermined N illumination colors. It is desirable to include the 1st calculating part to comprise.
[0016]
In addition, the color conversion unit is connected in parallel to calculate a matrix for light source conversion of a signal on a predetermined color space to a signal on the RGB space using predetermined M color temperatures for the display means. It is desirable to further include a second calculation unit including a number of matrix calculators.
[0017]
The color conversion unit stores information on a matrix for converting a light source from a signal in the RGB space to a signal in the predetermined color space using predetermined N illumination colors, and stores the information in a predetermined first control signal. It is desirable to include a first calculation unit including a first memory that outputs the information in response and a first matrix calculation unit that performs a matrix calculation according to the information output from the first memory.
[0018]
The color conversion unit stores information on a matrix for converting a light source signal in a predetermined color space into an RGB space using predetermined M color temperatures for the display unit, and performs predetermined second control. It is preferable to further include a second memory that includes a second memory that supplies the information in response to a signal, and a second matrix calculator that performs a matrix operation according to the information output from the second memory.
[0019]
The predetermined color space is preferably a standard color space. The predetermined color space is more preferably a color space in which the size of the converted signal has a linear relationship with the size of the previous RGB signal. As an alternative, the predetermined color space is a standard color space group recommended by the International Commission on Illumination consisting of CIEXYZ, CIEUVW color space, uv chromaticity coordinate space, or color space to which Y, RY, and BY coordinates are applied. It may be selected in. Further, the predetermined N illumination colors of the color conversion unit include a color temperature of 2800K, 4300K, 5000K, 5500K, 6500K, or 7500K that is frequently used in daily life with a difference that is easily distinguishable by human vision. It is desirable to include at least one from the group.
[0020]
In addition, when the color conversion unit knows the color temperature of the illumination,
[0021]
[Expression 2]

It is desirable to perform light source conversion using
[0022]
In order to achieve the other object, a color video processing method according to the present invention is a color video processing method in which a signal in an RGB space output from a video input device is processed and output to a display means. 1) a step of converting a light source in a RGB space into a signal in a predetermined color space using a plurality of predetermined N illumination colors; and (a-2) a display means for displaying a signal in a predetermined color space. A light source conversion to RGB space using a plurality of predetermined M color temperatures to generate N × M video signals; and (b) N × M video signals that have undergone light source conversion. Selected as a video on the display means, (c) a step of selecting the optimal visual image among N × M images shown on the display means, and (d) selected in the (c) stage Selecting the illumination color that hits the image as the optimum illumination color.
[0023]
Further, the predetermined N illumination colors in the step (a) are colors of about 2800K, 4300K, 5000K, 5500K, 6500K, or 7500K that are frequently used in daily life with a difference that is easily distinguishable by human vision. It is desirable to include at least one illumination color selected from the group consisting of temperatures. In the step (a), the predetermined color space is preferably a color space in which the magnitude of the converted signal has a linear relationship with the magnitude of the previous RGB signal. As an alternative, in the step (a), the predetermined color space is a CIEXYZ, CIEUVW color space, uv chromaticity coordinate space, or a color space to which Y, RY, BY coordinates are applied. It is desirable that the selected standard color space group be selected.
DETAILED DESCRIPTION OF THE INVENTION
[0024]
Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. FIG. 1 shows a configuration of main parts of a color video processing apparatus according to an embodiment of the present invention.
[0025]
Referring to FIG. 1, the color video processing apparatus 20 according to the present invention includes a first frame memory 202, a video sampling unit 204, a color conversion unit 206, and a second frame memory 208.
[0026]
The operation of the color video processing apparatus 20 will be described. First, the first frame memory 202 buffers and outputs the input first RGB signals Rin, Gin, and Bin of the three primary colors. The video sampling unit 204 receives the first RGB signal output from the first frame memory 202 and down-samples to output a second RGB signal.
[0027]
For example, the image spatial resolution of the input first RGB signal is 640 (width) × 480 (height), the color resolution of the color monitor 210 is 1280 (width) × 1024 (height), and 6 or 18 comparisons are made. If the image is displayed on the color monitor 210, the downsampling ratio of the image sampling unit 204 is determined according to the control signal Cont # addr # A from the microcomputer (not shown) in consideration of the spatial resolution. In other words, the video sampling unit 204 converts the spatial resolution of the input video so as to match the output device, and outputs the converted image to the color conversion unit 206. The video sampling unit 204 can also perform a function of allowing video to pass without performing downsampling under the control of a microcomputer in some cases.
[0028]
The color conversion unit 206 performs light source conversion on the second RGB signal output by down-sampling using six representative illumination colors selected by a method to be described later, and converts the light source converted signal to the color monitor 210. The light source conversion is performed on the third RGB signal using two representative color temperatures. The second frame memory 208 sequentially stores the third RGB signals converted in response to the second control signal Cont # addr # B from the microcomputer and outputs them to the color monitor 210. FIG. 2 shows a detailed configuration of the color conversion unit 206.
[0029]
Referring to FIG. 2, the color conversion unit 206 includes a first calculation unit 32 and a second calculation unit 34. The first calculation unit 32 includes six

matrix calculators

321, 322, 323, 324, 325, and 326. The

matrix calculators

321, 322, 323, 324, 325, and 326 are connected in parallel. The second calculation unit 34 includes three

matrix calculators

341, 342, and 343. The

matrix calculators

341, 342, and 343 are connected in parallel.
[0030]
Six

matrix calculators

321, 322, 323, 324, 325, and 326 each convert a light source converted into a signal in XYZ space from an RGB space signal input using six different representative illumination colors. Calculate each. The three

matrix calculators

341, 342, and 343 each calculate a matrix that converts a signal in the XYZ space into a signal in the RGB space using three different color temperatures of the display means.
[0031]
The

matrix calculators

321, 322, 323, 324, 325, and 326 and the

matrix calculators

341, 342, and 343 perform matrix calculations in response to a control signal (Cont) from a microcomputer (not shown). The

matrix calculators

321, 322, 323, 324, 325, and 326 correspond to six illumination colors when performing matrix calculation for light source conversion of input RGB space signals to XYZ space signals. Use different matrix coefficient values.
[0032]
Further, the

matrix calculators

341, 342, and 343 are different from each other corresponding to three color temperatures when performing matrix calculation for light source conversion of input signals in the XYZ space to signals in the RGB space. Use matrix coefficient values. As a result, a total of 18 images combining 6 illumination colors and 3 color temperatures for the 3 displays are displayed on the display. The user selects a visually adapted image from the 18 images.
[0033]
Thereby, the illumination color of the scene image used for light source conversion of the corresponding image and the color temperature of the display means are determined as the optimum illumination color and color temperature. As described above, the color conversion unit 206 of the color video processing apparatus according to the present invention has been described as performing light source conversion between the RGB color space and the CIEXYZ color space.
[0034]
However, the present invention is not limited to this, and when the color conversion unit 206 converts the input RGB space signal into a predetermined color space signal, the predetermined color space may be another one recommended by the International Lighting Commission. It can be a standard color space. More preferably, the predetermined color space is a color space in which the magnitude of the signal in the converted color space can have a linear relationship with the magnitude of the signal in the RGB space before the conversion. There is a CIEUVW color space as such a color space.
[0035]
The predetermined color space may be a color space to which Y, RY, and BY coordinates widely used in the color video field industry are applied. As an alternative, the color conversion unit may perform light source conversion between the RGB space and the rg chromaticity coordinate space if necessary. On the other hand, it is not desirable to implement the calculation using one matrix calculator for each matrix.
[0036]
FIG. 3 shows an example of a practical configuration of the color conversion unit 206. Referring to FIG. 3, the color conversion unit 206 includes a first calculation unit 42 and a second calculation unit 44.
[0037]
The first calculation unit 42 includes a first memory 422 and a first matrix calculation unit 424. Explaining the operation, the matrix coefficient for each representative illumination color necessary for the first matrix calculation unit 424 is downloaded from the first memory 422 in response to the microcomputer control signal Cont # C, and is set in the second matrix calculation unit 444. Necessary representative illumination color matrix coefficients are downloaded from the second memory 442 and set in response to the microcomputer control signal Cont # D. Accordingly, the first matrix calculation unit 42 performs signal conversion from RGB to XYZ, and the second matrix calculation unit 44 performs signal conversion from XYZ to RGB.
[0038]
Next, how to select representative illumination and perform light source conversion will be described in detail.
[0039]
It is a generally known theory that the human eye has a color constancy that is insensitive to the color change of the subject following the illumination change. On the other hand, in the case of a color video input device such as a camera, the ratio between tristimulus values varies greatly according to the spectral spectrum of illumination that illuminates the subject (hereinafter referred to as illumination color). The color representation in the video is:
[0040]
[Equation 3]

As expressed by tristimulus values such as RGB or CIEXYZ (hereinafter, XYZ).
[0041]
That is, the spectral reflectance S (λ) of the object surface, the spectral spectrum E (λ) of the illumination that illuminates the object, and the sensor spectral characteristics r such as a camera _k It is expressed as the sum of multiplication of (λ). Therefore, an illumination element such as the illumination color of Equation 2 acts as a main element that affects the reproduction color.
[0042]
FIG. 4 shows the spectral distribution of representative illumination applied to the color video processing apparatus according to the embodiment of the present invention. Referring to FIG. 4, the illumination used in the color image processing apparatus according to the embodiment of the present invention is mainly used in the vicinity, for example, an incandescent lamp having a color temperature of 2800K and a fluorescent lamp having a color temperature of 4300K. , And four types of sunlight having color temperatures of 5000K, 5500K, 6500K, and 7500K, respectively, for a total of 6 types.
[0043]
FIG. 5 is a chromaticity diagram showing the color temperature of the representative illumination. Referring to FIG. 5, it can be seen that these six types of illumination colors are in different positions on the color coordinates, which means that the color components of the illumination are different.
[0044]
[Table 1]

Table 1 shows the relationship between typical color temperature versus XYZ & xy coordinate values for six types of lighting used as scene lighting.
[0045]
For example, if the XYZ values are compared between an incandescent lamp with a color temperature of 2800K and sunlight heat with a color temperature of 7500K, it can be seen that there is a difference between the X value of 10% or more and the Z value of 70% or more. On the other hand, in order to convert an RGB signal into an XYZ signal, a transfer function matrix A calculated from the XYZ values of the three primary colors of RGB and the XYZ values of illumination should be defined.
[0046]
[Expression 4]

The XYZ values for the three primary colors of RGB may vary slightly because each camera or image scanner has its own filter design, but it is desirable to design a filter with spectral sensitivity similar to the XYZ spectral sensitivity. For example, it is desirable to use one of the RGB RGB primary colors of industry standard CCIR 601 or CCIR 709.
[0047]
[Table 2]

In Table 2, white light is an illumination color and means scene illumination, and since the illumination color of the scene has many changes and a large amount of change, Equation 2 cannot be defined.
[0048]
However, most illumination colors can be defined by any one of the six representative illumination colors used in the present invention. The number of illumination colors can be increased or decreased as necessary. When an incandescent lamp having a color temperature of 2800K is used as illumination, Equation 4 can be expressed as Equation 5.
[0049]
[Equation 5]

Equation 5 can be converted into Equation 6 and Equation 7 again.
[0050]
[Formula 6]

[0051]
[Expression 7]

Similarly, when a fluorescent lamp having a color temperature of 4300K and four types of solar heat each having a color temperature of 5000K, 5500K, 6500K, and 7500K are used as illumination, Formula 4 is expressed as Formula 8. be able to.
[0052]
[Equation 8]

FIG. 6 is a chromaticity diagram showing the monitor color temperature applied to the color image processing apparatus according to the embodiment of the present invention. Referring to FIG. 6, three kinds of color temperatures (5000K, 6500K, and 9300K) widely used in monitors are shown on the XY chromaticity coordinates.
[0053]
[Table 3]

Table 3 shows the relationship between the typical color temperature used in the monitor and XYZ & xy. That is, XYZ tristimulus values and xy chromaticity coordinate values are shown for a monitor having three color temperatures.
[0054]
Comparing the color temperatures of 5000K and 9300K as shown in Table 3, it can be seen that the difference between the color temperatures on the X axis is small, but there is a large difference on the Z axis. The process of converting the light source from the signal in the XYZ space to the signal in the RGB space can be expressed by a determinant as shown in Equation 7. In the determinant of Equation 9, three different color temperatures (5000K, 6500K, 9300K) of the display means are used to determine the matrix coefficients.
[0055]
[Equation 9]

According to the above method, a total of 18 images are simultaneously or sequentially displayed on the monitor according to the color temperature and illumination color of the monitor. The user determines an optimum illumination color and a display color temperature by selecting an image having a color distribution similar to that of the scene image, and can achieve color matching between the scene image and the reproduced image.
[0056]
The main steps of the color video processing method implemented by the color video processing apparatus according to the present invention described above are shown in FIG.
[0057]
Referring to FIG. 7, the color image processing method according to the present invention first selects a representative illumination color to irradiate the subject (step 802). In this embodiment, illumination colors corresponding to color temperatures of 2800K, 4300K, 5000K, 5500K, 6500K, and 7500K were selected as representative illumination colors.
It is desirable that such representative illumination colors are frequently used in daily life with a difference that can be easily distinguished by human vision. Although it is possible to use illumination colors that are further subdivided than this, in this case, more careful attention is required in visual discrimination.
[0058]
Next, it is determined whether the color temperature of the monitor is known (step 806). If it is determined in step 806 that the color temperature of the monitor is not known, predetermined three color temperatures are set as the representative color temperatures of the monitor (step 808).
[0059]
In this embodiment, three color temperatures of 5000K, 6500K, and 9300K are set as representative color temperatures. On the other hand, if it is determined in step 806 that the color temperature of the monitor is known, the known color temperature is set as the representative color temperature (step 810).
[0060]
Here, CCIR 601 can be used as a color space for indicating XYZ tristimulus values or xy chromaticity coordinate values. Now, an RGB-XYZ light source conversion matrix coefficient is calculated using each representative illumination color selected in step 802 (step 820). Next, RGB-XYZ light source conversion is performed using the matrix coefficients (step 822). In addition, an XYZ-RGB light source conversion matrix coefficient is calculated using each selected representative color temperature (step 824).
[0061]
Next, XYZ-RGB light source conversion is performed using the matrix coefficients (step 826).
[0062]
Next, the plurality of light source converted images are displayed on the monitor (step 828), and the user visually selects the image most similar to the scene image or the image most preferred by the user (step 830). That is, a total of 18 images are displayed on the monitor simultaneously or sequentially according to the color temperature type of the monitor and the illumination color of the scene, and the user selects an image having a color distribution similar to that of the scene image. As a result, the optimum illumination color and display color temperature for achieving color matching between the scene image and the reproduced image are determined.
[0063]
When the light source conversion process described above is simplified by one expression,
[0064]
[Expression 10]

Is the same.
[0065]
Where W _S Is the scene lighting color, W _R Is the standard illumination color for reproduction, W _D Indicates the color temperature of the monitor. That is, if a color matching image between the scene image and the reproduced image is selected, the variables for these three white points (illumination color or color temperature) are also determined. _S Is extracted. As in the above embodiments, it is desirable to use an illumination color often used in the vicinity as a representative illumination color.
[0066]
However, as an alternative, if the color temperature Tc of the illumination is known, the range and interval of the representative illumination color are adjusted using the conversion formula between the illumination color temperature Tc and the standard color space (chromaticity value xy) as follows: Can be used.
[0067]
[Expression 11]

【The invention's effect】
[0068]
As described above, according to the present invention, in order to estimate the illumination color for illuminating a subject in a scene (scene illumination) and the display color temperature of the video output device, a light source using various illumination colors is used. By performing the conversion and allowing the user to select an image created through the conversion, a natural color image or a favorite color image can be obtained even when the user does not know the light source.
[0069]
In addition, there is an advantage that information on scene lighting in images taken through such a process can be obtained. As a result, the present invention can be applied regardless of the type of light source, the color temperature setting state of the video output device, the complexity of the hardware, the limitation of the components of the video, or the complexity of the video. A more effective method in terms of accuracy and safety can be provided, and the method can be implemented in hardware or software. Therefore, the present invention can be widely applied to video processing systems, color cameras, color imaging software, and the like.
[0070]
As described above, the color image processing apparatus according to the present invention uses illumination having various color temperatures to estimate the illumination color for illuminating the subject in the scene and the display color temperature of the image output apparatus. By performing light source conversion and allowing a user to select an image created through the light source conversion, a natural color image or an image of a favorite color can be obtained without information on the light source.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a color video processing apparatus according to an embodiment of the present invention.
2 is a block diagram illustrating a configuration example of a color conversion unit of the apparatus in FIG. 1;
FIG. 3 is a block diagram illustrating another configuration example of the color conversion unit of the apparatus of FIG. 1;
FIG. 4 is a spectrum distribution diagram with respect to representative illumination applied to the color image processing apparatus according to the embodiment of the present invention.
FIG. 5 is a chromaticity diagram graph showing the color temperature of representative illumination applied to the color image processing apparatus according to the embodiment of the present invention.
FIG. 6 is a chromaticity diagram graph showing a monitor color temperature applied to a color image processing apparatus according to an embodiment of the present invention.
FIG. 7 is a flowchart illustrating main steps of a color image processing method according to an embodiment of the present invention.
FIG. 8 is a block diagram showing a configuration of a general video processing system showing a video generation and reproduction process.
[Explanation of symbols]
20 color image processing device
202 First frame memory
204 Video sampling unit
206 Color converter
208 Second frame memory
210 Color monitor

Claims

In a color video processing apparatus that inputs a first RGB signal output from a video input apparatus, performs video processing, and outputs it to a display means.
It means for a light source converting the signals on the RGB space into a signal on a predetermined color space using illumination color input by a plurality of RGB signals different predetermined N number of,
The signals on a predetermined color space, seen including a means for the light source converted to RGB space by using a predetermined plurality of M color temperature for display means,
A color video processing device that generates and outputs N × M video signals .

First frame memory means for buffering and outputting the input RGB signal;
A video sampling unit that outputs an RGB signal by inputting and down-sampling the RGB signal output from the first frame memory means;
Color that performs light source conversion of the downsampled RGB signal using a predetermined number of N different illumination colors, and performs light source conversion using the color temperature of the output device to output the light source converted RGB signal A conversion unit;
2. The color image processing apparatus according to claim 1, further comprising second frame memory means for buffering and outputting the RGB signal subjected to light source conversion.

The color conversion unit includes N matrix calculators connected in parallel for calculating a matrix for converting a light source from a signal in the RGB space to a signal in the predetermined color space using predetermined N illumination colors. The color image processing apparatus according to claim 1, further comprising a first calculation unit.

The color conversion unit uses a predetermined M color temperatures for the display means to calculate a matrix for converting a light source from a signal in a predetermined color space into a signal in the RGB space. The color image processing apparatus according to claim 3, further comprising a second calculation unit including a matrix calculator.

The color conversion unit stores information on a matrix for converting a light source from a signal in the RGB space to a signal in a predetermined color space using predetermined N illumination colors, and responds to a predetermined first control signal. 2. A first operation unit comprising a first memory that outputs the information and a first matrix operation unit that performs a matrix operation according to the information output from the first memory. The color image processing apparatus described.

The color conversion unit stores information on a matrix for converting a light source into a RGB space using a predetermined M color temperatures for a display unit, and a predetermined second control signal. A second operation unit comprising a second memory that supplies the information in response, and a second matrix operation unit that performs a matrix operation according to the information output from the second memory. Item 6. A color image processing apparatus according to Item 5.

The color image processing apparatus according to claim 3, wherein the predetermined color space is a standard color space.

The predetermined color space is a color space in which the size of the converted signal has a linear relationship with the size of the previous RGB signal. The color image processing apparatus described.

The predetermined color space is selected from a standard color space group recommended by the International Commission on Illumination consisting of CIEXYZ, CIEUVW color space, uv chromaticity coordinate space, or color space to which Y, RY, and BY coordinates are applied. The color video processing apparatus according to claim 3, wherein the color video processing apparatus is provided.

The predetermined N illumination colors of the color conversion unit are selected from a group including color temperatures of 2800K, 4300K, 5000K, 5500K, 6500K, or 7500K that are frequently used in daily life with a difference that is easily distinguishable by human vision. The color image processing apparatus according to claim 1, comprising at least one or more.

When the color conversion unit knows the color temperature of the illumination,

The color image processing apparatus according to claim 1, wherein the light source conversion is performed using a color image.

In a color video processing method for processing a signal on an RGB space output from a video input device and outputting it to a display means,
(a- 1 ) converting a signal in the RGB space to a signal in the predetermined color space using a plurality of predetermined N illumination colors ;
(a- 2 ) converting a light source signal in a predetermined color space into an RGB space using a predetermined plurality of M color temperatures for the display means, and generating N × M video signals;
(b) showing the light source converted N × M video signals as video on the display means;
(c) selecting a visually optimal image from N × M images shown on the display means;
(d) and (c) including a step of selecting an illumination color corresponding to the image selected in the step as an optimum illumination color.

The predetermined N illumination colors in the step (a) have a color temperature of about 2800K, 4300K, 5000K, 5500K, 6500K, or 7500K that is frequently used in daily life with a difference that is easily distinguishable by human vision. The color image processing method according to claim 12, comprising at least one illumination color selected from the group.

The color according to claim 12, wherein the predetermined color space in the step (a) is a color space in which the size of the converted signal has a linear relationship with the size of the previous RGB signal. Video processing method.

In the step (a), the predetermined color space is a standard color recommended by the International Commission on Illumination, comprising a CIEXYZ, CIEUVW color space, a uv chromaticity coordinate space, or a color space to which Y, RY, and BY coordinates are applied. The color image processing method according to claim 14, wherein the color image processing method is selected in a space group.