JP5074101B2 - マルチスペクトル画像処理装置およびこれを用いる色再現システム - Google Patents

Description

本発明は、マルチスペクトルカメラ等により取得された３バンド以上の分光感度特性を有するマルチバンド画像を、遠隔地への伝送用または記録媒体への記録用の画像データに変換するマルチスペクトル画像処理装置、特に、既存の３原色機器との互換性を保ちつつ、さらに観察側における高精度な照明変換にも対応可能な画像データに変換するマルチスペクトル画像処理装置およびこれを用いる色再現システムに関するものである。

従来、画像の色（明度、色相、彩度）や分光反射率情報を表現する手段として、画像の画素毎に３バンド以上の分光感度特性を有するマルチスペクトル画像が利用されている。このマルチスペクトル画像は、撮影被写体の撮影波長領域を複数のバンド帯域に分割し、バンド帯域毎に撮影被写体を撮影した複数のバンド画像から構成されるマルチバンド画像に基づいて分光反射率分布を画像毎に推定して得られるものであり、赤（Ｒ）、緑（Ｇ）および青（Ｂ）画像からなる既存のＲＧＢカラー画像では十分に表現できない被写体の分光反射率情報を表現することができる。

したがって、観察側の照明環境が撮影側における被写体の照明環境と異なる場合でも、マルチスペクトル画像に基づいて推定される被写体の分光反射率情報から、観察側の照明環境下で被写体の色を正確に再現することが可能となり、例えば、異なる観察環境下で正確な被写体の色再現が望まれる遠隔医療、ウェブショッピング等において非常に有効となる。

しかしながら、上記のマルチスペクトル画像は、多原色モニタ等の専用の出力機器で受信すれば、マルチスペクトル画像を有効に活用して被写体の色を正確に再現することができるが、既存のＲＧＢカラー画像出力機器で受信した場合には、マルチスペクトル画像のうち３バンド分の情報しか処理できないため、被写体の色を正確に再現できないことになる。

この既存の３バンドシステムとの互換性を考慮したマルチスペクトル画像の符号化方法として、マルチスペクトル画像を、ＣＩＥ（国際照明委員会）で規格化された等色関数で展開した３バンド信号と、これとはスペクトル空間上で直交する残りの主成分とに分離して符号化することが知られている（例えば、特許文献１および非特許文献１参照）。

この符号化方法によると、既存のＲＧＢカラー画像出力機器においては、等色関数で展開された３バンド信号を用いることにより、ある所定の観察環境条件（照明および観察者の目の特性の条件）下で画像を観察することが可能となり、また、専用機器においては、残りの主成分も含めて使用することにより、マルチスペクトル情報を有効に活用して、被写体の色を正確に再現することが可能となる。

特開２００４−１５９０４５号公報 Keusen，"Multispectral color system with an encoding format compatible with the conventional tristimulus model"，J.IS&T, vol.40,no.6,pp.510-515，Nov./Dec.1996

上記の特許文献１や非特許文献１に開示の符号化方法では、等色関数を用いて３バンド信号を生成しているが、いずれも等色関数を直交化した基底関数を用いてマルチスペクトル画像を展開している。このため、既存のＲＧＢカラー画像出力機器に画像を表示するには、生成された３バンド信号をそのまま使用しても表示できないため、生成された３バンド信号を、ＲＧＢカラー画像出力機器側において、直交化されていない等色関数で展開された信号に変換しなければならず、その分、互換性が低くなるとともに、ＲＧＢカラー画像出力機器においては、余分な変換処理が必要となって、コストアップを招くことが懸念される。

したがって、かかる点に鑑みてなされた本発明の目的は、マルチスペクトル画像を、既存の３バンドシステムとの互換性の高い画像データに変換するマルチスペクトル画像処理装置およびこれを用いる色再現システムを提供することにある。

上記目的を達成する請求項１に係るマルチスペクトル画像処理装置の発明は、入力された被写体のマルチバンド画像を基底ベクトルに基づいて展開して基底画像に変換する基底画像変換手段と、
上記基底ベクトルを算出する基底ベクトル算出手段と、
上記基底画像変換手段で変換された基底画像に基づくマルチスペクトル画像を出力する出力手段とを備え、
上記基底ベクトル算出手段は、
上記基底ベクトルとして、所定のレンダリング照明スペクトルと等色関数との積により求められた３原色用基底ベクトルと、該３原色用基底ベクトルとは直交し、かつ上記被写体の分光反射率の統計情報に基づく直交基底ベクトルとを算出することを特徴とするものである。

請求項２に係る発明は、請求項１に記載のマルチスペクトル画像処理装置において、
上記基底画像変換手段は、
上記基底ベクトル算出手段で算出された基底ベクトルに基づいて、上記マルチバンド画像を基底画像に変換するための変換マトリクスを作成して記憶する変換マトリクス作成・記憶手段を有することを特徴とするものである。

請求項３に係る発明は、請求項１または２に記載のマルチスペクトル画像処理装置において、
上記基底ベクトル算出手段は、
上記３原色用基底ベクトルおよび該３原色用基底ベクトルを直交化した基底ベクトルに基づいて復元用基底ベクトルを算出する手段を有し、
上記出力手段は、
上記マルチスペクトル画像として、上記復元用基底ベクトルおよび上記直交基底ベクトルを付加して出力することを特徴とするものである。

さらに、上記目的を達成する請求項４に係る色再現システムの発明は、
請求項１，２または３に記載のマルチスペクトル画像処理装置と、
上記マルチスペクトル画像処理装置から出力されたマルチスペクトル画像に対して、上記基底ベクトルに基づいて色再現処理を行ってモニタに画像を表示するマルチスペクトル色再現装置と、
を有することを特徴とするものである。

本発明によれば、入力された被写体のマルチバンド画像を、所定のレンダリング照明スペクトルと等色関数との積により求められた３原色用基底ベクトルと、該３原色用基底ベクトルとは直交し、かつ被写体の分光反射率の統計情報に基づく直交基底ベクトルとに基づいて基底画像に展開し、その展開した基底画像に基づくマルチスペクトル画像として出力するようにしたので、観察側において既存のＲＧＢカラー出力機器を用いる場合には、３原色用基底ベクトルを特別な変換なしにそのまま用いることにより、所定の観察環境条件下の画像を観察することができ、また、マルチスペクトル情報をフルに活用したい場合には、残りの直交基底ベクトルをも用いることにより、被写体の色を正確に再現して観察することが可能となる。したがって、既存の３バンドシステムとの互換性を高めることができ、特に、残りの直交基底ベクトルを用いる場合には、該直交基底ベクトルを、所定のレンダリング照明スペクトルおよび被写体の分光反射率の統計情報に基づいて作成するので、照明変換に対して精度の高い成分の画像を作成でき、照明変換に適したマルチスペクトル画像を作成することが可能となる。

以下、本発明の実施の形態について、図を参照して説明する。

（第１実施の形態）
図１は、本発明の第１実施の形態に係るマルチスペクトル画像処理装置の要部の構成を示す機能ブロック図である。本実施の形態のマルチスペクトル画像処理装置１は、基底ベクトル算出部２、変換用基底ベクトル格納部３、復元用基底ベクトル格納部４、変換マトリクス作成・記憶部５、基底画像変換部６、表示色信号変換部７および送信・記録部８を有しており、例えばマルチスペクトルカメラ９からのマルチバンド画像を、伝送・記録用のマルチスペクトル画像に変換して、図示しない伝送装置へ出力したり、記憶媒体に出力したりするものである。

基底ベクトル算出部２は、等色関数および所定のレンダリング照明スペクトルを用いて既存の３原色用画像に変換する基底ベクトルを算出するとともに、被写体分光反射率の統計情報を用いて、残りの直交成分の画像に変換する基底ベクトルを算出し、これら算出した変換用の基底ベクトルを変換用基底ベクトル格納部３へ出力する。さらに、基底ベクトル算出部２は、上記変換用の基底ベクトルにより変換された画像から、被写体の分光反射率を復元するための基底ベクトルとして、上記変換用の基底ベクトルとは異なる基底ベクトルを算出し、その算出した復元用の基底ベクトルを復元用基底ベクトル格納部４へ出力する。なお、この基底ベクトル算出部２の詳細については、後述する。

変換用基底ベクトル格納部３は、基底ベクトル算出部２において算出された変換用基底ベクトルを格納する。この変換用基底ベクトル格納部３に格納された変換用基底ベクトルは、後段の変換マトリクス作成・記憶部５において使用される。

復元用基底ベクトル格納部４は、基底ベクトル算出部２において算出された復元用基底ベクトルを格納する。この復元用基底ベクトル格納部４に格納された復元用基底ベクトルは、後段の送信・記録部８において使用される。

変換マトリクス作成・記憶部５は、変換用基底ベクトル格納部３に格納された変換用基底ベクトル、およびマルチスペクトルカメラ９により被写体の撮影を行った際の撮影時の照明スペクトル、マルチスペクトルカメラ９の分光感度特性、被写体の分光反射率の統計情報を用いて、マルチバンド画像から既存の３原色用および残りの直交成分の基底画像に変換するための変換マトリクスを作成して、記憶する。この変換マトリクス作成・記憶部５で作成する変換マトリクスの具体的な内容については、後述する。

基底画像変換部６は、マルチスペクトルカメラ９からのマルチバンド画像を、変換マトリクス作成・記憶部５に記憶されている変換マトリクスを用いて既存の３原色用および残りの直交成分の基底画像に変換して、表示色信号変換部７へ出力する。

表示色信号変換部７は、基底画像変換部６で変換された基底画像を、モニタ等にて画像表示を行うための表示用色空間の画像信号に変換して、３原色用信号Ｃ１、Ｃ２、Ｃ３と、残りの直交成分信号Ｃ４、Ｃ５，Ｃ６とを得、これらの表示色信号を送信・記録部８へ出力する。ここで、表示用色空間としては、一般的な規格として定義されているｓＲＧＢ、ＹＣＣに変換することもできるが、本実施の形態におけるように、マルチスペクトル画像変換後に再び画像を復元することを考慮すると、色空間の色域が広い拡張色空間であるｂｇ−ｓＲＧＢ、ｓＹＣＣ、ｘｖ−ＹＣＣ等に変換する方が望ましい。

送信・記録部８は、表示色信号変換部７で変換された表示色用信号を符号化して、伝送装置や記憶媒体へ出力する。この送信・記録部８の詳細については、後述する。

本実施の形態のマルチスペクトル画像処理装置１は、以上の構成により、等色関数、レンダリング照明スペクトル、被写体分光反射率統計情報、撮影照明スペクトルおよびカメラ分光感度特性の各種特性情報に基づいて、予め基底ベクトルおよび変換マトリクスを算出して記憶しておき、入力されたマルチバンド画像に対して、記憶されている変換マトリクスを用いて高速に伝送・記録用のマルチスペクトル画像を作成することが可能となる。

図２は、図１に示した基底ベクトル算出部２の構成を示す機能ブロック図である。基底ベクトル算出部２は、乗算部１１、直交成分算出部１２、復元用基底ベクトル算出部１３および主成分分析部１４を有する。この基底ベクトル算出部２では、先ず、乗算部１１において、下記の（１）式に従って、所定のレンダリング照明スペクトルＥ_Ｒ（λ）と、等色関数ｘ（λ）、ｙ（λ）、ｚ（λ）の各々とを乗算して、Ｔ_１（λ）〜Ｔ_３（λ）を算出する。

上記（１）式で得られるＴ_１（λ）〜Ｔ_３（λ）を、Ｎ次元のベクトル表記で表すと、下記（２）式で示すような第１基底ベクトルｔ_１〜第３基底ベクトルｔ_３となる。なお、Ｔは転置を表す。

このように算出された第１基底ベクトル〜第３基底ベクトルは、変換用基底ベクトル格納部３に格納するとともに、直交成分算出部１２および復元用基底ベクトル算出部１３において使用される。

直交成分算出部１２では、乗算部１１で算出された第１基底ベクトル〜第３基底ベクトルを入力し、予め与えられた被写体分光反射率の統計情報に対して、第１基底ベクトル〜第３基底ベクトルとは直交する成分による統計情報を算出して、主成分分析部１４へ出力する。具体的には、被写体分光反射率の統計情報として、予め幾つかのサンプルによる被写体の分光反射率から求められた共分散行列Ｃ_ＣＯＶが与えられた場合には、以下に示す方法で直交化を行う。

先ず、第１基底ベクトル〜第３基底ベクトルと直交する補空間へ写像するための行列をＰとすると、行列Ｐは、一般的によく知られているグラム・シュミットの直交化法を用いて、下記（３）式で求められる。

ここで、Ｐ_１、Ｐ_２、Ｐ_３は、下記（４）、（５）、（６）式により漸化的に求められる。

上記（３）式の直交補空間へ写像する行列Ｐを用いて、被写体の分光反射率の共分散行列Ｃ_ＣＯＶを、下記（７）式で示すように、第１基底ベクトル〜第３基底ベクトルとは直交する成分による共分散行列Ｃ^⊥ _ＣＯＶに変換し、その変換した共分散行列Ｃ^⊥ _ＣＯＶを、直交化された統計情報として主成分分析部１４へ出力する。

また、上記（４）〜（６）で求めらる直交基底ベクトルt_１ ^⊥、t_２ ^⊥、t_３ ^⊥を、復元用基底ベクトル算出部１３へ出力する。

なお、上記の説明では、共分散行列Ｃ_ＣＯＶは、幾つかのサンプルによる被写体の分光反射率から求めるとしたが、予め被写体の統計情報として分光反射率の基底関数が与えられている場合には、その基底関数から共分散行列Ｃ_ＣＯＶを作成してもよい。

復元用基底ベクトル算出部１３では、乗算部１１で変換用基底ベクトルとして算出された第１基底ベクトル〜第３基底ベクトルと、直交成分算出部１２で算出された直交基底ベクトルt_１ ^⊥、t_２ ^⊥、t_３ ^⊥とを用いて、下記（８）式により、復元用基底ベクトルの第１基底ベクトル〜第３基底ベクトルｕ_ｋ（ｋ＝１〜３）を算出する。

ここで、変換用基底ベクトルとして算出される第１基底ベクトル〜第３基底ベクトルは、直交基底ではないため、これにより展開される展開係数から被写体の分光反射率成分を復元するためには、展開係数を直交基底空間に写像する必要がある。そのため、上記（８）式では、写像が行列（・）^−１で表されるものであり、これにより直交基底でない第１基底ベクトル〜第３基底ベクトルの展開係数から、被写体の分光反射率成分を復元するためのベクトルを求めることができる。

以上により求められたｕ_ｋ（ｋ＝１〜３）は、復元用基底ベクトルの第１基底ベクトル〜第３基底ベクトルとして、復元用基底ベクトル格納部４へ格納する。

主成分分析部１４では、直交成分算出部１２で算出された共分散行列の直交成分Ｃ^⊥ _ＣＯＶを用いて、下記（１０）式による固有値を満たす固有ベクトルのうち展開寄与率の高い上位３つの固有ベクトルを選択して、基底ベクトルｔ_ｋ（ｋ＝４〜６）を算出する。

以上により算出された第４基底ベクトル〜第６基底ベクトルは、変換用および復元用として両方に用いられるので、変換用基底ベクトル格納部３および復元用基底ベクトル格納部４の双方に格納する。

なお、ここでは、算出する基底ベクトルとして、３原色用の基底ベクトル３つと、残りの直交基底ベクトル３つとの計６個とするが、伝送・記録の容量に余裕がある場合には、上記（１０）式におけるｋをより高次元まで拡張して、基底ベクトルを６つ以上に増やすこともできる。

次に、図１に示した変換マトリクス作成・記憶部５において作成する変換マトリクスについて、詳細を説明する。

先ず、マルチスペクトルカメラ９により撮影されたマルチバンド画像の画素値を、ｇ_ｉ（ｉ＝１〜Ｍ、Ｍは撮影バンド数）としたとき、画素値ｇ_ｉは、撮影された被写体の分光反射率ｆ（λ）、撮影時の照明スペクトルＥ_Ｏ（λ）、カメラの分光感度特性Ｓ_ｉ（λ）を用いて、下記（１１）式のように表すことができる。

さらに、被写体の分光反射率ｆ（λ）は、被写体の分光反射率の統計情報として、基底関数Ｏ_ｊ（λ）（ｊ＝１〜Ｊ、Ｊは基底本数）が与えられている場合には、下記（１２）式により表される。

したがって、上記（１１）式は、上記（１２）式を用いると、下記の（１３）式のように表すことができる。

また、上記（１３）式は、行列表記すると、下記の（１４）式のようになる。

ここで、ベクトルｇは、ｇ＝（ｇ_１、ｇ_２、・・・、ｇ_Ｍ）^Ｔ、ベクトルａは、ａ＝（ａ_１、ａ_２、・・・、ａ_Ｊ）^Ｔである。また、行列Ｈは、下記（１５）式で表される。

一方、被写体の分光反射率ｆ（λ）が与えられたとき、上述した変換用基底ベクトル格納部３に格納されている第１基底ベクトル〜第６基底ベクトルを用いて、下記（１６）式により、基底画像の画素値Ｉ_ｋ（ｋ＝１〜６）に変換することができる。

ここで、ｔ_ｋ（λ）は、ベクトルｔ_ｋを関数表記したものである。なお、上記（１６）式も、上記（１２）式を用いると、下記の（１７）式のように表すことができる。

また、上記（１７）式は、行列表記すると、下記の（１８）式のようになる。

以上により、上記（１４）式および（１８）式を用いて、マルチスペクトルカメラ９により撮影されたマルチバンド画像の画素値ｇ_ｉから基底画像の画素値Ｉ_ｋに変換するためのマトリクスＭは、下記（２０）式のように導出される。

ここで、行列Ｈ^＊は、行列Ｈの一般化逆行列を表す。したがって、一般化逆行列の算出方法として最小２乗推定を用いた場合には、上記（２０）式は、下記（２１）式のようになる。

なお、上記（２１）式において、＜ａａ^Ｔ＞は、ベクトルａのアンサンブル平均を表しており、これは上述した基底関数Ｏ_ｊ（λ）に対する統計量（寄与率）から求めることができる。

以上のように、変換マトリクス作成・記憶部５では、（２０）式〜（２１）式に基づいて、マルチスペクトルカメラ９により撮影されたマルチバンド画像の画素値ｇ_ｉから、基底画像の画素値Ｉ_ｋに変換するためのマトリクスＭを算出して、記憶する。

図３は、図１に示した送信・記録部８の構成を示す機能ブロック図である。送信・記録部８は、チャンネル分離部２１、第１符号化部２２、第２符号化部２３、信号合成部２４および記録部２５を有する。

チャンネル分離部２１は、前段の表示色信号変換部７にて変換された表示色信号Ｃ１，Ｃ２，・・・，Ｃ６を入力して、既存の３原色用信号Ｃ１、Ｃ２、Ｃ３と、残りの直交成分信号Ｃ４、Ｃ５，Ｃ６とに分離し、３原色用信号Ｃ１、Ｃ２、Ｃ３を第１符号化部２２へ、直交成分信号Ｃ４、Ｃ５，Ｃ６を第２符号化部２３へそれぞれ出力する。

第１符号化部２２は、チャンネル分離部２１により分離された３原色用信号Ｃ１，Ｃ２，Ｃ３を、所定の符号化アルゴリズムを用いて符号化する。また、第２符号化部２３は、チャンネル分離部２１により分離された直交成分信号Ｃ４、Ｃ５，Ｃ６を、所定の符号化アルゴリズムを用いて符号化する。なお、第１符号化部２２および第２符号化部２３における符号化は、同じアルゴリズムもしくはパラメータを用いて行うこともできるし、異なるアルゴリズムもしくはパラメータを用いて行うこともできる。

信号合成部２４は、直交成分信号Ｃ４，Ｃ５，Ｃ６の符号化された信号と、画像信号とは別に復元用基底ベクトル格納部４から入力される復元用基底ベクトルｕ_１，ｕ_２，ｕ_３，ｔ_４，ｔ_５，ｔ_６とを合成する。ここで、復元用基底ベクトルの情報は、画像信号１フレーム毎に毎回合成する必要はなく、復元用基底ベクトルが更新されたタイミングのみ復元用基底ベクトルを合成し、それ以外は、例えば復元用基底ベクトルを格納するフレームのアドレスのみ付加してもよい。

第１符号化部２２で符号化された信号（Ｃ１，Ｃ２，Ｃ３）および信号合成部２４で合成された信号（Ｃ４，Ｃ５，Ｃ６，ｕ_１，ｕ_２，ｕ_３，ｔ_４，ｔ_５，ｔ_６）は、記録部２５で記録媒体に記録したり、別経路で出力して伝送装置により伝送したりする。

このように、符号化した３原色用信号（Ｃ１，Ｃ２，Ｃ３）と、符号化した直交成分信号および復元用基底ベクトルを合成した信号（Ｃ４、Ｃ５，Ｃ６，ｕ_１，ｕ_２，ｕ_３，ｔ_４，ｔ_５，ｔ_６）とを別経路で出力することにより、マルチスペクトル画像を既存の３原色用伝送システムを利用して、複数チャンネル（２チャンネル）で並列に送ることができる。これにより、伝送された側（画像を観察する側）では、複数チャンネルで送られた信号のうちＣ１，Ｃ２，Ｃ３のチャンネルのみを受信することで、既存の汎用的な３原色機器にて画像を観察することが可能となり、また、２チャンネル両方受信することで、専用の出力機器を用いて、照明環境の変換等、マルチスペクトル画像を有効に利用したカラー画像出力が可能となる。

また、記録部２５により記録媒体に記録する場合にも、符号化した３原色用信号（Ｃ１，Ｃ２，Ｃ３）と、当該３原色用信号（Ｃ１，Ｃ２，Ｃ３）および合成した信号（Ｃ４、Ｃ５，Ｃ６，ｕ_１，ｕ_２，ｕ_３，ｔ_４，ｔ_５，ｔ_６）の全ての信号とを、選択的に読み取り可能に記録する。

以上、本実施の形態によれば、マルチスペクトル画像を伝送・記録するに際して、３原色表示用信号と、残りの信号とに分離した変換処理を行うようにしたので、既存の３原色機器との互換性の高い伝送・記録を行うことができる。また、残りの信号をレンダリング照明スペクトルおよび被写体の分光反射率の統計情報を利用して作成するようにしたので、被写体の分光反射率の復元精度が高く、観察側での照明変換に最適なマルチスペクトル画像信号を伝送・記録することができる。なお、上記の説明では、レンダリング照明スペクトルと撮影照明スペクトルとは異なるものとして説明したが、レンダリング照明スペクトルは撮影照明スペクトルと同じであってもよい。

（第２実施の形態）
図４は、本発明の第２実施形態に係る色再現システムの要部の構成を示す機能ブロック図である。本実施の形態の色再現システムは、第１実施の形態で説明したマルチスペクトルカメラ９およびマルチスペクトル画像処理装置１の他に、伝送装置２７、マルチスペクトル色再現装置３１、多原色モニタ３２および通常のＲＧＢモニタ３３を有し、マルチスペクトル画像処理装置１で処理したマルチスペクトルカメラ９によるマルチスペクトル画像を、伝送装置２７によりインターネットあるいは無線等により観察側に伝送して、観察側でマルチスペクトル色再現装置３１を用いて照明変換して多原色モニタ３２に表示したり、所定の観察環境条件下における画像として通常のＲＧＢモニタ３３に表示したり、するものである。

なお、図４では、マルチスペクトル画像処理装置１から得られるマルチスペクトル画像を、伝送装置２７により観察側へ伝送するようにしたが、第１実施の形態で説明したように、マルチスペクトル画像処理装置１から得られるマルチスペクトル画像を記録媒体に記録して、観察側へ提供するようにしてもよい。

以下、マルチスペクトル色再現装置３１について説明する。マルチスペクトル色再現装置３１は、受信・再生部３５、基底画像復元部３６、照明変換マトリクス作成・記憶部３７、照明変換部３８、および表示色信号補正部３９を有している。

受信・再生部３５は、図５に示すように、再生部４１、信号分離部４２、第１復号化部４３、第２復号化部４４、およびチャンネル合成部４５を有している。再生部４１は、記録媒体に記録されたＣ１，Ｃ２，Ｃ３の３原色用信号およびＣ４，Ｃ５，Ｃ６の直交成分信号を、各々同期を合わせて再生するものである。なお、直交成分信号Ｃ４，Ｃ５，Ｃ６には、復元用基底ベクトルｕ_１，ｕ_２，ｕ_３，ｔ_４，ｔ_５，ｔ_６も合成されて再生される。

信号分離部４２は、伝送装置２７により伝送もしくは再生部４１により再生された直交成分信号Ｃ４，Ｃ５，Ｃ６と復元用基底ベクトルｕ_１，ｕ_２，ｕ_３，ｔ_４，ｔ_５，ｔ_６とが合成された信号を、直交成分信号と復元用基底ベクトルとに分離して、直交成分信号Ｃ４，Ｃ５，Ｃ６を第２復号化部４４へ、復元用基底ベクトルｕ_１，ｕ_２，ｕ_３，ｔ_４，ｔ_５，ｔ_６を照明変換マトリクス作成・記憶部３７へそれぞれ出力する。

第１復号化部４３は、伝送装置２７により伝送もしくは再生部４１により再生された３原色用信号Ｃ１，Ｃ２，Ｃ３を復号化して３原色用の表示色用信号に戻す。ここでは、図３に示したマルチスペクトル画像処理装置１の送信・記録部８の第１符号化部２２で行った符号化処理の逆変換による復号化処理を行う。

第２復号化部４４も同様であり、伝送装置２７により伝送もしくは再生部４１から信号分離部４２を介して入力された直交成分信号Ｃ４，Ｃ５，Ｃ６に対して、図３に示した送信・記録部８の第２符号化部２３で行った符号化処理の逆変換による復号化処理を行って、表示色用信号を生成し、出力する。

チャンネル合成部４５は、第１復号化部４３および第２復号化部４４により復号化されて別々に入力されるＣ１，Ｃ２，Ｃ３およびＣ４，Ｃ５，Ｃ６の表示色信号を合成して、後段の基底画像復元部３６へ出力する。

図４において、基底画像復元部３６は、受信・再生部３５から入力される表示色信号を基底画像信号に復元する。ここでは、図１に示した表示色信号変換部７において行われる変換処理の逆変換処理を行う。

照明変換マトリクス作成・記憶部３７は、受信・再生部３５の信号分離部４２において分離された復元用基底ベクトルを入力し、さらに外部より入力される観察照明スペクトルおよび等色関数に基づいて、３原色用信号において想定されたレンダリング照明から上記観察照明へ画像の照明環境を変換するための照明変換マトリクスＱを作成し、記憶する。なお、照明変換マトリクスＱ（３×６の行列）は、具体的には下記（２２）式により作成する。

ここで、Ｅ_Ｏ（λ）およびｘ（λ）、ｙ（λ）、ｚ（λ）は観察照明スペクトルおよび等色関数であり、Ｕ_１（λ）〜Ｕ_３（λ）およびＴ_４（λ）〜Ｔ_６（λ）は復元用基底ベクトルｕ_１〜ｕ_３およびｔ_４〜ｔ_６を関数表記したものである。

照明変換部３８は、照明変換マトリクス作成・記憶部３７に記憶された照明変換マトリクスＱを用いて、基底画像復元部３６から入力される基底画像を、観察照明スペクトル環境下のＸＹＺ画像にマトリクス変換する。

表示色信号補正部３９は、多原色モニタ３２の原色特性および多原色モニタ３２のトーンカーブ特性（γ特性）に基づいて、照明変換部３８にて変換された観察照明スペクトル環境下のＸＹＺ画像を、公知の方法により表示色信号に変換して、多原色モニタ３２へ出力する。具体的には、例えば、特開平１１−８５９５２公報の（９）式および（１０）式を適用して、下記（２３）式により、Ｒ′，Ｇ′，Ｂ′を出力する。なお、（２３）式において、Ｏｘ、Ｏｙ，Ｏｚはモニタオフセット光によるＸＹＺ値を示しており、Ｌｘ，Ｌｙ，Ｌｚは外光によるＸＹＺ値を示している。

本実施の形態によれば、上述した第１実施の形態におけるマルチスペクトル画像処理装置１で処理した伝送・記録用マルチスペクトル画像を、マルチスペクトル色再現装置３１で受信して、任意の観察照明環境下において多原色モニタ３２に高精度に色再現して表示することが可能となる。また、図４に示すように、マルチスペクトル画像処理装置１で処理された伝送・記録用マルチスペクトル画像の片方の３バンド（Ｃ１，Ｃ２，Ｃ３）をそのまま使って、通常のＲＧＢモニタ３３により所定の観察照明環境下で表示することができる。

（第３実施の形態）
図６は、本発明の第３実施形態に係る色再現システムの要部の構成を示す機能ブロック図である。本実施の形態の色再現システムは、第２実施の形態の色再現システムにおいて、伝送・記録用マルチスペクトル画像を作成する際に、レンダリング照明スペクトル、等色関数および被写体分光反射率統計情報を、標準的に決められた、もしくは公開された情報を用いて作成することにより、復元用基底ベクトルを画像信号に付加して送信することを省略し、Ｃ１〜Ｃ６の画像信号のみを伝送・記録するようにしたものである。

このため、マルチスペクトル画像処理装置５１は、図１に示した構成において、基底ベクトル算出部２に代えて変換用基底ベクトル算出部５２を設けるとともに、復元用基底ベクトル格納部４を省略して、基底ベクトルとして変換用基底ベクトルのみを算出・格納するように構成する。その他の構成は、図１に示したマルチスペクトル画像処理装置１と同様である。

また、マルチスペクトル色再現装置５５は、図４に示した構成において、さらに、復元用基底ベクトル算出部５６および復元用基底ベクトル格納部５７を付加して、レンダリング照明スペクトル、等色関数および被写体分光反射率統計情報に基づいて復元用基底ベクトルを算出・格納するようにする。その他の構成は、図４に示したマルチスペクトル色再現装置３１と同様である。

図７は、図６に示したマルチスペクトル画像処理装置５１における変換用基底ベクトル算出部５２の要部の構成を示す機能ブロック図である。この変換用基底ベクトル算出部５２は、図２に示した基底ベクトル算出部２の構成において、復元用基底ベクトル算出部１３を省いた構成となっており、変換用基底ベクトルとして、上述した（２）式および（１０）式によるベクトルｔ１〜ｔ６を算出して変換用基底ベクトル格納部３へ格納する。

図８は、図６に示したマルチスペクトル色再現装置５５における復元用基底ベクトル算出部５６の要部の構成を示す機能ブロック図である。この復元用基底ベクトル算出部５６は、図２に示した基底ベクトル算出部２の構成において、変換用基底ベクトルを算出する部分の構成を省いた構成となっており、復元用基底ベクトルとして上述した（８）式および（１０）式によるｕ１〜ｕ３およびｔ４〜ｔ６を算出して、復元用基底ベクトル格納部５７へ格納する。なお、ここで算出する復元用基底ベクトルは、変換用基底ベクトルと比較して、最初の３つの基底ベクトルは異なり、残りの３つの基底ベクトルｔ４〜ｔ６は同じベクトルを共有する。

本実施の形態によれば、伝送・記録用マルチスペクトル画像のレンダリング照明スペクトル、等色関数および被写体分光反射率統計情報を、標準的に決められた、もしくは公開された情報を用いて、画像信号のみを伝送・記録し、マルチスペクトル画像を配信、活用することができる。したがって、復元用基底ベクトルを画像信号に付加する必要がないので、従来の伝送機器、伝送フォーマットを利用した汎用的な色再現システムを構築することができる。なお、ここで規定されるレンダリング照明スペクトル、等色関数および被写体分光反射率統計情報は、マルチスペクトル画像処理装置５１およびマルチスペクトル色再現装置５５内に、予め記憶されておいてもよいし、外部公開サーバーに記録されていて必要なときに利用できるようなものであってもよい。

（第４実施の形態）
図９は、本発明の第４実施の形態に係る色再現システムの要部の構成を示す機能ブロック図である。本実施の形態の色再現システムは、例えば、第１実施の形態で説明したマルチスペクトル画像処理装置１で生成されたマルチスペクトル画像を、放送局１００から例えば地上波デジタルＴＶ電波で放送し、その放送電波を固定受信部２００で受信して再現するものである。ここでは、マルチスペクトル画像として、６バンド（色）で撮像された画像を放送するものとする。

６バンドで撮像されたマルチスペクトル画像は、現在の地上波デジタルＴＶ放送における一つの放送チャンネル（物理チャンネル）では帯域が狭く送信できないので、ここでは、二つの物理チャンネルを使用し、一方の物理チャンネル（第１チャンネル）で既存のＲＧＢの３原色用信号Ｃ１，Ｃ２，Ｃ３を放送し、他方の物理チャンネル（第２チャンネル）で直交成分信号Ｃ４，Ｃ５，Ｃ６と復元用基底ベクトルｕ_１，ｕ_２，ｕ_３，ｔ_４，ｔ_５，ｔ_６とを合成した信号を放送する。

放送局１００は、図１０に要部の機能ブロック図を示すように、編集システム部１０１およびデータセンタ部１０２を有している。本実施の形態では、第１実施の形態で説明したマルチスペクトル画像処理装置１で生成されたマルチスペクトル画像を記録媒体１０３に記録し、この記録媒体１０３に記録されているマルチスペクトル画像を含むコンテンツを編集システム部１０１で読み出して編集し、その編集したコンテンツをデータセンタ部１０２により、ＲＧＢの３原色用信号Ｃ１，Ｃ２，Ｃ３は第１チャンネル用に、残りの直交成分信号Ｃ４，Ｃ５，Ｃ６および復元用基底ベクトルｕ_１，ｕ_２，ｕ_３，ｔ_４，ｔ_５，ｔ_６を合成した信号は第２チャンネル用に分離する。

データセンタ部１０２で分離された各チャンネル用の信号は、図示しないが、対応する送信部で各チャンネルのＲＦ信号に増幅した後、個々の送信アンテナあるいは共用の送信アンテナから放射する。なお、第２チャンネルから送信する復元用基底ベクトルのデータは、例えば図１１に示すように、直交成分信号Ｃ４，Ｃ５，Ｃ６の画像データの最下行ラインに書き込んだり、あるいは画像データ中に電子透かしにより書き込んだりして、送信する。

一方、図９において、固定受信部２００は、受信アンテナ２０１、ナチュラルビジョン（ＮＶ）受信部２０２、地上波デジタルチューナ２０３、多原色受像機（ＴＶ）２０４およびＲＧＢ受像機（ＴＶ）２０５を有している。

ＮＶ受信部２０２には、図１２に示すように、チャンネル信号抽出部２１０、マルチスペクトル色再現装置２１１およびＲＧＢ出力端子２１２を設ける。また、多原色ＴＶ２０４には、モニタ原色特性およびモニタトーンカーブ特性（γ特性）の記憶部（図示せず）を設けるとともに、照明スペクトル検出センサ２１５を設け、記憶部に記憶されているモニタ原色特性およびモニタγ特性、並びに、照明スペクトル検出センサ２１５で検出される観察照明スペクトルをマルチスペクトル色再現装置２１１に供給する。

この固定受信部２００では、受信アンテナ２０１で受信されたＲＦ信号を、ＮＶ受信部２０２および地上波デジタルチューナ２０３に供給する。ＮＶ受信部２０２は、チャンネル信号抽出部２１０において、受信アンテナ２０１の受信信号から第１チャンネルおよび第２チャンネルの信号を抽出し、これら抽出した第１チャンネルおよび第２チャンネルの信号をマルチスペクトル色再現装置２１１へ供給するとともに、第１チャンネルの信号をＲＧＢ出力端子２１２へ出力する。

マルチスペクトル色再現装置２１１は、第２実施の形態に示したマルチスペクトル色再現装置３１と同様に構成して、受信したマルチスペクトル画像を、等色関数、観察照明スペクトル、モニタ原色特性およびモニタγ特性に基づいて照明変換して多原色ＴＶ２０４に表示する。また、ＮＶ受信部２０２のＲＧＢ出力端子２１２には、ＲＧＢＴＶ２０５を選択的に接続して、第１チャンネルで受信した３原色用信号Ｃ１，Ｃ２，Ｃ３により所定の観察環境条件下で画像を表示する。

一方、地上波デジタルチューナ２０３は、受信アンテナ２０１の受信信号から、ユーザ等によるチャンネル選択操作に応じて、上述したマルチスペクトル画像の直交成分信号および復元用基底ベクトルを送信する第２チャンネルを除く所望のチャンネルをチューニングし、そのチューニングしたチャンネルの信号を、通常のＲＧＢＴＶ２０５に所定の観察環境条件下で画像として表示する。

本実施の形態によれば、マルチスペクトル色再現装置２１１を内蔵するＮＶ受信部２０２に多原色ＴＶ２０４を接続することにより、第１チャンネルおよび第２チャンネルの二つの放送チャンネルで放送されたマルチスペクトル画像を含むコンテンツを、任意の観察照明環境下において高精度に色再現して視聴することができる。また、ＮＶ受信部２０２のＲＧＢ出力端子２１２に通常のＲＧＢＴＶ２０５を接続したり、あるいは、地上波デジタルチューナ２０３に通常のＲＧＢＴＶ２０５を接続したり、することで、マルチスペクトル画像を含むコンテンツや、マルチスペクトル画像を含まないコンテンツを、所定の観察環境条件下で表示して視聴することができる。

（第５実施の形態）
図１３は、本発明の第５実施の形態に係る色再現システムで使用する受像機（ＴＶ）の要部の構成を示す機能ブロック図である。このＴＶ２３０は、概略的には、第４実施の形態において、ＮＶ受信部２０２および地上波デジタルチューナ２０３を内蔵させたものである。

すなわち、図１３に示す受像機（ＴＶ）２３０は、地上波デジタルチューナ２３１、チャンネル信号抽出部２３２、マルチスペクトル色再現装置２３３、色補正処理部２３４、モード切替部２３５、表示素子駆動部２３６、および多原色表示可能な表示素子２３７を有している。なお、本実施の形態では、放送局側から二つの放送チャンネルを使用してマルチスペクトル画像を含むコンテンツを送信する際は、例えば、使用する二つのチャンネルの各々において、対を成す他方のチャンネルが把握できる情報を付加して送信する。

このようにして、地上波デジタルチューナ２３１では、ユーザ等によるチャンネル選択操作に応じて、マルチスペクトル画像を含むコンテンツを放送しているチャンネルの場合には、対を成す二つのチャンネルをチューニングして、各チャンネルの信号をチャンネル信号抽出部２３２へ供給し、マルチスペクトル画像を含まないコンテンツを放送しているチャンネルの場合には、当該チャンネルのみをチューニングして、チューニングしたチャンネルの信号をチャンネル信号抽出部２３２へ供給する。

チャンネル信号抽出部２３２は、マルチスペクトル画像を含むコンテンツの場合には、一方のチャンネルで受信した３原色用信号をＲＧＢチャンネル信号とし、他方のチャンネルで受信した残りの直交成分信号および復元用基底ベクトルをマルチスペクトルチャンネル信号として、両者を分離してマルチスペクトル色再現装置２３３に供給するとともに、ＲＧＢチャンネル信号を色補正処理部２３４に供給する。また、マルチスペクトル画像を含まないコンテンツの場合には、当該チャンネルの信号を、ＲＧＢチャンネル信号として、マルチスペクトル色再現装置２３３に供給するとともに、色補正処理部２３４に供給する。

マルチスペクトル色再現装置２３３は、第２実施の形態のマルチスペクトル色再現装置３１と同様に構成して、ＲＧＢチャンネル信号およびマルチスペクトルチャンネル信号として受信したマルチスペクトル画像を、等色関数、観察照明スペクトル、表示素子２３７の原色特性およびγ特性に基づいて照明変換して表示色信号を生成し、その表示色信号をモード切替部２３５に供給する。

色補正処理部２３４は、チャンネル信号抽出部２３２からのＲＧＢチャンネル信号を、表示素子２３７のＲＧＢの原色特性およびγ特性に応じて補正して、表示色信号としてモード切替部２３５に供給する。

モード切替部２３５は、例えば、ＴＶ２３０やリモコンに設けられたモード選択部２３８からのユーザによるモード選択操作に応じて、マルチスペクトル色再現装置２３３からの表示色信号または色補正処理部２３４からの表示色信号を選択する。これにより、ＴＶ２３０は、モード切替部２３５で選択された表示色信号を、表示素子駆動部２３６を経て表示素子２３７に供給して表示する。

本実施の形態によれば、マルチスペクトル画像を含むコンテンツの場合には、モード切替部２３５において、マルチスペクトル色再現装置２３３からの表示色信号を選択することにより、第４実施の形態の場合と同様に、マルチスペクトル画像を任意の観察照明環境下において表示素子２３７に高精度に色再現して表示して、コンテンツを視聴することができる。また、マルチスペクトル画像を含まないコンテンツの場合には、モード切替部２３５において、色補正処理部２３４からの表示色信号を選択することにより、表示素子２３７に適合した所定の観察環境条件で画像を表示して、コンテンツを視聴することができる。

なお、マルチスペクトル画像を含むコンテンツの場合でも、モード切替部２３５において、色補正処理部２３４からの表示色信号を選択することにより、あるいは、マルチスペクトル画像を含まないコンテンツの場合でも、モード切替部２３５において、マルチスペクトル色再現装置２３３からの表示色信号を選択することにより、表示素子２３７に所定の観察環境条件で画像を表示して、コンテンツを視聴することができる。

本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、第４実施の形態および５実施の形態は、ＣＡＴＶ放送によりコンテンツを放送する場合にも有効に適用することができるとともに、第３実施の形態のように、レンダリング照明スペクトル、等色関数および被写体分光反射率統計情報を、標準的に決められた、もしくは公開された情報を用いて作成することにより、復元用基底ベクトルを送信することなく、Ｃ１〜Ｃ６の画像信号のみを伝送する場合にも有効に適用することができる。

本発明の第１実施の形態に係るマルチスペクトル画像処理装置の要部の構成を示す機能ブロック図である。 図１に示した基底ベクトル算出部の構成を示す機能ブロック図である。 図１に示した送信・記録部の構成を示す機能ブロック図である。 本発明の第２実施形態に係る色再現システムの要部の構成を示す機能ブロック図である。 図４に示したマルチスペクトル色再現装置における受信・再生部３５の要部の構成を示す機能ブロック図である。 本発明の第３実施形態に係る色再現システムの要部の構成を示す機能ブロック図である。 図６に示したマルチスペクトル画像処理装置における変換用基底ベクトル算出部の要部の構成を示す機能ブロック図である。 図６に示したマルチスペクトル色再現装置における復元用基底ベクトル算出部の要部の構成を示す機能ブロック図である。 本発明の第４実施の形態に係る色再現システムの要部の構成を示す機能ブロック図である。 図９に示した放送局の要部の構成を示す機能ブロック図である。 第４実施の形態において第２チャンネルから送信する復元用基底ベクトルの送信態様を説明するための図である。 図９に示した固定受信部におけるＮＶ受信部の要部の構成を示す機能ブロック図である。 本発明の第５実施の形態に係る色再現システムで使用する受像機（ＴＶ）の要部の構成を示す機能ブロック図である。

符号の説明

１ マルチスペクトル画像処理装置
２ 基底ベクトル算出部
３ 変換用基底ベクトル格納部
４ 復元用基底ベクトル格納部
５ 変換マトリクス作成・記憶部
６ 基底画像変換部
７ 表示色信号変換部
８ 送信・記録部
９ マルチスペクトルカメラ
２７ 伝送装置
３１ マルチスペクトル色再現装置
３２ 多原色モニタ
３３ ＲＧＢモニタ
３５ 受信・再生部
３６ 基底画像復元部
３７ 照明変換マトリクス作成・記憶部
３８ 照明変換部
３９ 表示色信号補正部
５１ マルチスペクトル画像処理装置
５２ 変換用基底ベクトル算出部
５５ マルチスペクトル色再現装置
５６ 復元用基底ベクトル算出部
５７ 復元用基底ベクトル格納部
１００ 放送局
１０１ 編集システム部
１０２ データセンタ部
１０３ 記録媒体
２００ 固定受信部
２０１ 受信アンテナ
２０２ ナチュラルビジョン（ＮＶ）受信部
２０３ 地上波デジタルチューナ
２０４ 多原色受像機（ＴＶ）
２０５ ＲＧＢ受像機（ＴＶ）
２１０ チャンネル信号抽出部
２１１ マルチスペクトル色再現装置
２１２ ＲＧＢ出力端子
２１５ 照明スペクトル検出センサ
２３０ 受像機（ＴＶ）
２３１ 地上波デジタルチューナ
２３２ チャンネル信号抽出部
２３３ マルチスペクトル色再現装置
２３４ 色補正処理部
２３５ モード切替部
２３６ 表示素子駆動部
２３７ 表示素子
２３８ モード選択部

Claims (4)

1. 入力された被写体のマルチバンド画像を基底ベクトルに基づいて展開して基底画像に変換する基底画像変換手段と、
   上記基底ベクトルを算出する基底ベクトル算出手段と、
   上記基底画像変換手段で変換された基底画像に基づくマルチスペクトル画像を出力する出力手段とを備え、
   上記基底ベクトル算出手段は、
   上記基底ベクトルとして、所定のレンダリング照明スペクトルと等色関数との積により求められた３原色用基底ベクトルと、該３原色用基底ベクトルとは直交し、かつ上記被写体の分光反射率の統計情報に基づく直交基底ベクトルとを算出することを特徴とするマルチスペクトル画像処理装置。
2. 上記基底画像変換手段は、
   上記基底ベクトル算出手段で算出された基底ベクトルに基づいて、上記マルチバンド画像を基底画像に変換するための変換マトリクスを作成して記憶する変換マトリクス作成・記憶手段を有することを特徴とする請求項１に記載のマルチスペクトル画像処理装置。
3. 上記基底ベクトル算出手段は、
   上記３原色用基底ベクトルおよび該３原色用基底ベクトルを直交化した基底ベクトルに基づいて復元用基底ベクトルを算出する手段を有し、
   上記出力手段は、
   上記マルチスペクトル画像として、上記復元用基底ベクトルおよび上記直交基底ベクトルを付加して出力することを特徴とする請求項１または２に記載のマルチスペクトル画像処理装置。
4. 請求項１，２または３に記載のマルチスペクトル画像処理装置と、
   上記マルチスペクトル画像処理装置から出力されたマルチスペクトル画像に対して、上記基底ベクトルに基づいて色再現処理を行ってモニタに画像を表示するマルチスペクトル色再現装置と、
   を有することを特徴とする色再現システム。

Images