JP4529210B2

JP4529210B2 - Colorimetric conversion coefficient calculation method and colorimetric image conversion method, colorimetric conversion coefficient calculation apparatus and colorimetric image conversion apparatus, and computer-readable information recording a colorimetric conversion coefficient calculation program or colorimetric imaging program recoding media

Info

Publication number: JP4529210B2
Application number: JP37113799A
Authority: JP
Inventors: 浩一飯野; 貴也田中; 雄大諸原; 隆行長谷川
Original assignee: Toppan Inc
Current assignee: Toppan Inc
Priority date: 1999-12-27
Filing date: 1999-12-27
Publication date: 2010-08-25
Anticipated expiration: 2019-12-27
Also published as: JP2001186540A

Description

【０００１】
【発明の属する技術分野】
本発明は、空間内の特定の位置に配した同一平面上の複数の色票をデジタルスチルカメラやデジタルビデオカメラなどのカメラで撮影することによって得られた画像から、その位置を照射する照明光の分光特性を算出し、画像を測色的に得る測色撮影装置に関する。推定された照明光の分光特性を用いた変換により、例えば、撮影した画像から空間の測色値を求めたり、撮影系の撮像特性固有でない測色的に定義された空間の画像を蓄積したり、同一の照明下で撮影したシーンや被写体の画像データの色や明るさを補正するカラー画像処理や、環境照明の分析を行う環境調査など好適に利用可能である。
【０００２】
【従来の技術】
従来、撮影系により撮影した空間の画像データは、撮影系固有の特性によって記述されるのが一般的である。また、これらの画像データを測色画像データに変換する方法は、およそ以下のような状況であった。
（ａ）ＩＣＣ〔いわゆるＩｎｔｅｒｎａｔｉｏｎａｌＣｏｌｏｒＣｏｎｓｏｒｔｈｉｕｍの略称〕のデバイスの色特性記述ファイルを用いて、撮影系固有の画像データを測色画像データに変換する。
【０００３】
（ｂ）また、現実のシーンを撮影した画像の色を、光源の影響を考慮して自動的に演算補正する自動色補正装置。
【０００４】
しかしながら、前記（ａ）や（b ）の方法には、それぞれ以下の問題点を有していた。
【０００５】
（ａ）ＩＣＣのデバイスの色特性記述ファイルでは、撮影される光源毎にそれら特性記述ファイルを必要とし、照明の条件毎に全ての特性記述ファイルを準備する必要があった。また、このような「色の補正」の為には、シーンがどのような種類の光源で照らされていたかが重要な情報である。撮影されてある画像だけからではそのような情報が得られない為に、一般には、画像補正を行う者が必要なその情報（そのシーンがどのような種類の光源で照らされていたかを示す情報）を測定機等を用いて撮影条件毎に得なければならない必要があった。また、光源の分光特性を得る場合には、一般的に、測定機器として高価、重い、大きい、測定に要する時間が長くかかる、測定データを処理する装置との間にインターフェイスを必要とする、といった諸問題があった。また、これらと撮像系との一体化を考慮した場合は、その価格が高くなること、重量が重くなること、サイズが大きくなること、そして需要が乏しいこと（市場規模が小さいこと）、などの観点から普通合理的ではない。
【０００６】
また、（ｂ）の色補正装置は、光源の影響を考慮した色補正のための情報を人間が入力することなく行うために、画像から照明光源の種類を自動的に精度良く判別する手段は存在していなかった。
【０００７】
【発明が解決しようとする課題】
本発明は前記従来の技術がもつ問題点に鑑みなされたものであって、専用の光源の分光特性測定機器を必要とせず、撮像系を利用することによって、低コストで簡便・迅速にしかも精度のよく光源の特性を推定し、撮影された画像データを、その照明光の分光特性推定データを利用して、特に、より人間の感覚にマッチするように人間の視感度特性も考慮すべく、人間の視感度特性によって重み付けすることによって、測色的データへの変換を可能とする測色変係数算出方法、これら測色変換係数算出を用いて測色的データを得る測色画像変換方法、及びそれに好適な測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色画像変換プログラムを記録したコンピュータ読み取り可能な情報記録媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段】
前記課題を解決するために本発明が提供する手段は、まず請求項１の発明にあっては、分光反射率が異なる複数の色票を同一の面上に配した標準板を、分光特性を求めたい照明光が照射する空間内の所望する位置に設置し、該標準板の複数の色票を撮像系により撮像した画像データを用いて、該標準板を照射する照明光の分光特性を推定し、推定した該分光特性と撮像系の分光感度特性と被写体の分光特性から、該空間の照明下で撮像された任意の画像データを測色値へ変換する変換係数を算出する方法であって、
（イ）前記標準板上の各色票に対応する撮像応答値を前記画像データから抽出し、抽出した全ての撮像応答値Ｒ_ｉｊを列成分とする応答値ベクトルrを作成して目的変数とする目的変数作成ステップ；
（ロ）前記目的変数作成ステップの前後いずれかの順序で行うか、あるいは該目的変数作成ステップと並行して行い、
照明光の分光特性を複数の色票から得られる撮像応答値ベクトルR_ｉｊの数nより小さい次数ｄで表現するための基底関数ｂｋ（λ）を列の成分とするd列の基底関数行列Bを異なる複数の照明光の種類毎に保持し、前記基底関数行列Ｂと、前記標準板上の異なる複数の色票の分光反射率ｓｊ（λ）および前記撮像系の分光感度特性Ｃ_ｉ（λ）の各波長の成分における積を成分とする行列との積として説明変数行列Ｔを照明光の種類毎に作成する説明変数行列作成ステップ；
（ハ）前記応答値ベクトルｒを目的変数とし、前記照明光の種類毎に作成した説明変数行列Ｔと、照明光分光特性を基底関数の線形結合で表すための重みベクトルwとの積で表し、最適化法を施し、照明光の種類を適切に選択することにより最適な重みベクトルｗを算出する分析ステップ；
そして、
（ニ）前記最適な重みベクトルｗと、前記（ハ）で選択した最適な照明光を用いた基底関数行列Ｂの積から前記標準板を照射する照明光の分光特性ｅを算出する変換ステップ；
によって前記照明光の分光特性を推定し、
次いで、
（ホ）前記照明光の分光特性ｅと、前記撮像系の分光感度特性Ｃ_ｉ（λ）と、被写体の分光特性を特定の次元で表現するための基底関数から第二の説明変数を作成する第二の説明変数作成ステップ；
（ヘ）前記第二の説明変数作成ステップの前後いずれかの順序で行うか、あるいは該第二の説明変数作成ステップと並行して行い、前記照明光の分光特性ｅと人の視感度特性Ｃ_ｈ（λ）と、被写体の分光特性を特定の次元で表現するための基底関数から第二の目的変数を作成する第二の目的変数作成ステップ；
（ト）前記第二の目的変数と第二の説明変数とを用いて最適化法を施すことにより、撮像応答値を測色値表現する測色変換行列Mを得る測色値表現分析ステップ；
前記（イ）〜（ハ）、及び（ニ）〜（ト）のステップを行なうこと、
を特徴とする測色変換係数算出方法である。
【０００９】
尚、標準板の分光反射率が異なる複数の色票を配した前記の面は、好ましくは平面である。但し、本発明の目的にある分光特性の推定に関わる精度上、特に問題に成らない程度であれば、必ずしも平面でなくても良い（一部に又は全部に曲面部が存在しても良い）。
また、その面の一部に又は全部に曲面部が存在したとしても、本発明に関わる推定方法のステップの途中か／又は最後で、または推定装置の撮像手段、解析手段、設定手段、あるいはその他に別途付加する手段で、前記の面が平面ではない為に生じる誤差を補正する為のステップ（又は機能）を備えることにより、本発明を好適に適応可能となる。但し、その場合であっても、やはり平面であることの方がより好ましい。というのは、本発明に関わる照明光の分光特性推定方法あるいは分光特性推定装置を適用して実際に具現化したソフトウェアやハードウェアの開発コスト、開発に要する期間、あるいはソフトウェアやハードウェアの製品としての価格などを考慮すると、前記の標準板の分光反射率が異なる複数の色票を配した前記の面は、やはり平面であることの方が経済性の良さや市場競争における競争力の強さをよりいっそう得やすい、等の理由があるからである。
【００１１】
また、請求項２に記載の発明にあっては、撮影された画像データを測色値画像データへ変換する測色画像変換方法であって、該撮像が行なわれた空間に関わる変換係数は、請求項１に記載の測色変換係数算出方法を用いて算出し、該変換の場合には該変換係数を使用し、（リ）前記第二の最適解から前記撮像系により撮像した画像データを測色画像データへ
変換する変換ステップ；について、
前記（イ）〜（ト）に続いて（リ）のステップを行なうか、
前記（イ）〜（ト）によって得られた変換係数を取得し（リ）のステップを行なうか、
前記（イ）〜（ハ）、及び（ニ）〜（ト）のステップに続いて（リ）のステップを行なうか、あるいは、
前記（イ）〜（ハ）、及び（ニ）〜（ト）によって得られた変換係数を取得することによって（リ）のステップを行なうこと、
を特徴とする測色画像変換方法である。
【００１２】
また、請求項３に記載の発明にあっては、空間内の所望する位置を照射する照明光の分光特性を推定し、該空間の照明下で撮影された任意の画像データを測色値に基づくデータへ変換する係数を算出する装置であって、
（ヌ）分光反射率が異なる複数の色票を同一の面上に配した標準板を前記所望の位置に設置した場合に、該複数の色票を撮像可能であり、その撮像系の入射光に対する分光感度特性が既知であり、且つ撮像された該複数の色票の画像データを記録可能である撮像手段；
（ル）撮像された前記複数の色票の画像データから、前記照明光の分光特性の推定値を算出する解析手段；
（ヲ）前記照明光の分光特性の推定値、撮像系の入射光に対する分光感度特性、被写体の分光特性を特定の次元で表現するための基底関数、および人の視感度特性とから、撮影された撮像系固有の画像データを測色画像データへ変換する変換係数を算出する変換係数算出手段；
以上の（ヌ）〜（ヲ）を全て具備しており、
該（ル）解析手段は、請求項１に記載の測色変換係数算出方法の前記（イ）〜（ハ）、及び（ニ）を利用し、
該（ヲ）変換係数算出手段は、請求項１に記載の測色変換係数算出方法の前記（ホ）〜
（ト）を利用すること、
を特徴とする測色変換係数算出装置である。
【００１６】
また、請求項４に記載の発明にあっては、請求項１に記載の測色変換係数算出方法を実行する際に使用可能な測色変換係数算出プログラムを記録したコンピュータ読み取り可能な情報記録媒体である。
【００１８】
＜作用＞
本発明によれば，まず請求項１に示す変換係数算出方法、あるいは請求項４に示す変換係数算出装置によって、空間内の測定対象とする位置に標準板を設置し、空間内の測定点とする位置から撮像手段を用いて標準板を撮影することによって得られる画像データを、解析手段において、照明光の分光特性を特定の次元で表現するための基底関数と撮像手段の撮像特性データと標準板の各色票表面の分光反射率データとに基づいて解析することにより、空間内の測定対象とする位置の照明光の分光特性データを得たうえ、この照明光の分光特性と、撮像系の分光感度特性と、被写体の分光特性を特定の次元で表現するための基底関数と、人間の視感度特性とから、撮像系によって得られた画像データを測色画像データへ変換する変換係数を変換係数算出手段により算出することができる。被写体並びに人間の視感度特性に重みをおいた変換係数によって被写体のより正確な測色値画像への変換が可能となる。
【００１９】
また、請求項３に示す測色的撮像方法によって、請求項１の撮影系の画像データを測色値へ変換する測色変換係数算出方法、あるいは請求項４に示す測色変換係数算出装置によって得られた変換係数を用いて、撮像系により撮影された画像データを測色画像データへ画像変換処理手段により変換することができる。この測色画像データは撮像系固有の特性によらず、色が定義されたデータとなり、測色的な取り扱いが可能となる。
【００２０】
【発明の実施の形態】
＜１．構成＞
以下、本発明に関わる装置構成について例示し、図面を参照しつつより詳細に説明する。
【００２１】
図１は本発明の一実施形態に係わる測色的撮像装置の構成を示す説明図である。同図において、１は標準板であり、空間内の測定対象位置に撮像手段の方向へ前記色票の面を向けて設置する。その表面上には、分光反射率がそれぞれ異なる（例えば）合計２４個の色票を配列している。
尚、それぞれの色票の表面の反射特性は、拡散性が高く、同一色票内ではその拡散性及び反射率が実質一様であるように作成してある。
【００２２】
また、２はデジタルスチルカメラ（以下、デジタルカメラと呼ぶ）である。ここでは、ＲＧＢの３チャンネルの光センサーが検出した電位信号を処理して、各画素のＲＧＢ階調値をカラー画像データとして画像ファイル記録する撮像手段と、撮像手段の露光条件であるシャッタースピードと絞り値を制御して各露光条件を画像データと共に画像ファイルに記録する設定手段とを兼ね備えたデジタルカメラである。
【００２３】
また、３は撮像手段で得られた標準板の画像ファイルを入力〜解析して、照明光の分光特性データとして、（例えば）波長域３８０〜７８０ｎｍの範囲にわたり５ｎｍ間隔で合計８１個ぶんの分光分布のデータを出力する解析手段であり、計算機（コンピュータ）が用いられる。
【００２４】
また、撮像された画像ファイルは３の計算機によって、撮像系固有の画像データから測色データへ変換される。
【００２５】
＜２．動作＞
２−１．全体動作
以下、本発明に関わる測色的撮像方法や測色的撮像装置の一例について、図面を参照しつつ、全体の処理のステップあるいは全体の動作について説明する。
【００２６】
図２は、本実施形態に係わる測色的撮像装置を用いた全体の動作フローを示すブロック図である。
【００２７】
（ブロック図のｓ１）
ユーザが、標準板１を測定対象位置に設置し、デジタルカメラ２をデジタルカメラ２の撮像範囲内で標準板１が適切な大きさに撮像されるような測定位置に設置し、標準板１の法線方向とデジタルカメラ２の撮像系の光軸とが一致するように標準板１とデジタルカメラ２の方向を調整する。
【００２８】
（ブロック図のｓ２）
ユーザが、標準板１の表面から反射する光がデジタルカメラ２の適性露光範囲に収まるようにデジタルカメラ２の露光条件であるシャッタースピードと絞り値を設定する。
【００２９】
（ブロック図のｓ３）
ユーザが、デジタルカメラ２のシャッターを切り、デジタルカメラ２が、撮像を行い、画像データと露光条件を画像ファイルに記録する。また、同様の手順により同一照明下で撮影の本来の目的となる空間を撮影し、画像ファイルに記憶する。
【００３０】
（ブロック図のｓ４）
ユーザが、デジタルカメラ２に記録された画像ファイルを計算機３へ入力する。
【００３１】
（ブロック図のｓ５）
ユーザが、計算機３のモニターへ標準板１を含む画像ファイル中の画像データを表示させ、観察して、画像内の標準板１が占めている位置を指定する。
【００３２】
（ブロック図のｓ６）
計算機３は、照明光の分光分布を特定の次元で表現するための基底関数と、デジタルカメラ２の撮像特性データ（階調特性、分光感度特性、適正応答範囲）と、標準板１の各色票面の分光反射率データとに基づいて、画像ファイル内に記録された標準板の画像データと、画像ファイル内に記録された標準板撮像時のデジタルカメラ２の露光条件とに対応して解析処理を施し、標準板１を照射した照明光の分光分布データを出力する。その後、この照明光の分光分布データと、予め得て計算機内に記憶させておいたデジタルカメラ２の分光感度特性を記述したデータと、予め得て計算機内に記憶させておいた被写体の分光特性を特定の次元で表現するための基底関数を記述したデータ及び人間の視感度特性とから解析処理を施し、デジタルカメラ２で得た画像データを測色データへ変換する測色変換係数を算出する。
【００３３】
（ブロック図のｓ７）
計算機３が、解析処理で計算された測色変換係数に基づき、s ４で入力したデジタルカメラ２からの画像ファイルの画像データを測色データへ変換する。
【００３４】
尚、上記ｓ１〜ｓ７は、部分的に又は全体的に、ユーザー（人間）の作業によるのではなく、自動で処理することも可能である。省力化や迅速化の為には一般にその方が好ましい。また、s ４では一度に撮影した画像データ全てを計算機３に入力したが、s ４では測色変換係数を得るための標準板１を撮影した画像データのみを入力し、s ７の段階で残る撮影した画像データ全てを計算機３に入力してもよい。
【００３５】
２−２．解析処理
以下、本発明に関わる測色画像変換方法あるいは測色画像変換装置の一例について、デジタルカメラ２に固有な画像データから測色画像データへ変換する係数を算出する解析処理について、図３のフローチャートに基づいて説明する。
【００３６】
（フローチャートのｓ８）
デジタルカメラで標準板を含むシーンを撮影した画像データが記載されたファイルを、通信線で接続されたデジタルカメラから入力し、計算機３へ記録する。
【００３７】
（フローチャートのｓ９）
標準板の画像データをモニターへ表示し、撮影された画像内の標準板の位置をユーザに指定させ、この指定位置より特定される各色票内の中心付近の一定領域の画素について（例えば）3 チャンネル（Ｒ，Ｇ，Ｂ）それぞれの平均値を計算し、（例えば）２４個の色票に対応した階調値；
ｇ_Rj ，ｇ_Gj ，ｇ_Bj （ｊ：色票番号）
から成る（例えば）全７２個の階調値データを得る。
尚、チャンネルは前記（Ｒ，Ｇ，Ｂ）の３チャンネルが最も一般的である。
【００３８】
（フローチャートのｓ１０）
全色票に対応した（例えば）３×２４個の階調値データから、あらかじめ記録してあるデジタルカメラ２の適正応答範囲内にないデータｎ0 個を除き、全部でｎ個〔＝（７２−ｎ0 ）個〕の階調値データを得る。
【００３９】
（フローチャートのｓ１１）
デジタルカメラ２への入射光のエネルギー量とデジタルカメラ２が出力する階調値との非線形な関係を関数Ｆ（ｘ）としてあらかじめ記録した階調特性データによって、ｎ個の階調値データを、エネルギー量に線形で０〜１に標準化された線形階調値データ；
【００４０】
【数１】

【００４１】
（ここでｉ：チャンネル（Ｒ，Ｇ，Ｂ），ｊ：色票番号）
へ変換する。
【００４２】
（フローチャートのｓ１２）
標準板を撮影した際にデジタルカメラで設定した露光条件であるシャッタースピード（ｔ）と絞り値（ｆ）とを、画像データが記録されたファイルから読み込み、ｎ個の線形階調値データをこれらの露光条件によりシャッタースピード１あたりかつ絞り値１あたりの階調値に標準化し、応答値データ
【００４３】
【数２】

【００４４】
とし、これらをｎ次元の１列の応答値ベクトル
【００４５】
【数３】

【００４６】
で表す。
【００４７】
（フローチャートのｓ１３）
あらかじめ記録してある、デジタルカメラ２の入射光の分光エネルギー（例えば）波長域３８０〜７８０ｎｍの範囲で５ｎｍ間隔に対する応答値の関係を記述した３チャンネルそれぞれの分光感度特性データ；
ｃi （λ）
と、標準板上の全色票の分光反射率をやはり３８０〜７８０ｎｍの範囲で５ｎｍ間隔で記述した２４個の分光反射率データ；
ｓj （λ）
と、照明光の分光分布をｄ次元で表現するためのｄ個の基底関数；
ｂk （λ）
とから、ｎ行×ｄ列の説明変数行列；
【００４８】
【数４】

【００４９】
を次のように作成する。
【００５０】
【数５】

【００５１】
【数６】

【００５２】
λ：波長（λ1 ，λ2 ，λ3 ，‥‥，λ81）
Ｂ：各列が基底関数ｂk ( λ )を示す基底関数ベクトル（８１行×ｄ列）
【００５３】
（フローチャートのｓ１４）
照明の分光分布をｄ個の基底関数；
ｂk （λ）
の線形結合で表すためのｄ個の重み係数から成る重みベクトルを
【００５４】
【数７】

【００５５】
とすると、応答値ベクトル；
【００５６】
【数８】

【００５７】
は、
【００５８】
【数９】

【００５９】
と表わすことができることから、説明変数；
【００６０】
【数１０】

【００６１】
に対して、応答値ベクトル；
【００６２】
【数１１】

【００６３】
を目的変数とした線形重回帰分析を施し、得られた偏回帰係数を重みベクトル
【００６４】
【数１２】

【００６５】
とする。
但し、照明の分光分布を基底関数の線形結合で表すための次数ｄは、適正応答範囲内の応答値の数ｎより小さくなければならない。
【００６６】
（フローチャートのs １５）
ｄ個の基底関数を収めた基底関数行列；
【００６７】
【数１３】

【００６８】
とｄ次元の重みベクトル
【００６９】
【数１４】

【００７０】
とにより、
【００７１】
【数１５】

【００７２】
を計算し、未知であった照明光の分光分布データを、３８０〜７８０ｎｍの範囲の５ｎｍ間隔で合計８１個の分光分布の推定値を対角に収めた８１行×８１列対角行列ベクトル
【００７３】
【数１６】

【００７４】
を作成する。
【００７５】
（フローチャートのｓ１６）
波長域３８０〜７８０ｎｍの範囲で５ｎｍ間隔で記述したＣＩＥ１９３１の２°視野の標準観測者の等色関数；
【００７６】
【数１７】

【００７７】
から等色関数行列；
【００７８】
【数１８】

【００７９】
を次のように作成する。
【００８０】
【数１９】

【００８１】
（フローチャートのｓ１７）
デジタルカメラ２の分光感度特性データ；
Ｃ_i（λ）
からカメラ分光感度行列；
【００８２】
【数２０】

【００８３】
を次のように作成する。
【００８４】
【数２１】

【００８５】
（フローチャートのｓ１８）
被写体の分光特性を特定の次元で表現するための基底関数；
から被写体基底関数行列
【００８６】
【数２２】

【００８７】
を次の様に作成する。但し、被写体の分光特性を特定の次元で表現するための基底関数の次数ｎは、３より大きくなければならない。
【００８８】
【数２３】

【００８９】
（フローチャートのｓ１９）
また、３×３の重み係数からなる重みベクトルを
【００９０】
【数２４】

【００９１】
とすると、デジタルカメラ２の分光感度特性と、推定された照明の分光特性と、被写体の分光特性を特定の次元で表現する基底関数と、標準観測者の等色関数の関係は、
【００９２】
【数２５】

【００９３】
と、表わすことができるから、等色関数行列と推定された照明の分光特性を収めた行列から、
【００９４】
【数２６】

【００９５】
を第二の目的変数行列として作成する。
【００９６】
（フローチャートのｓ２０）
デジタルカメラ２の分光感度特性を収めた行列と、推定された照明の分光特性を収めた行列と、被写体の基底関数を収めた行列から第二の説明変数行列である
【００９７】
【数２７】

【００９８】
を作成する。
【００９９】
（フローチャートのｓ２１）
線形重回帰分析を施し、３×３の重み係数からなる重みベクトル
【０１００】
【数２８】

【０１０１】
を得る。
【０１０２】
２−３．画像変換処理
以下、本発明に関わる測色的撮像方法あるいは測色的撮像装置の一例について、解析処理で計算された測色変換係数である３×３の重み係数からなる重みベクトル
【０１０３】
【数２９】

【０１０４】
を用い、デジタルカメラ２からの画像ファイルの画像データを測色データへ変換する画像変換処理について図４のフローチャートに基づいて説明する。
【０１０５】
（フローチャートのｓ２２）
デジタルカメラ２からの画像ファイルの３チャンネル（Ｒ，Ｇ，Ｂ）の画像データを、
【０１０６】
【数３０】

【０１０７】
（ここで、ｏ：画素番号）
とすると、入射光のエネルギー量とデジタルカメラ２の出力階調値の関係を記述した関数Ｆ（ｘ）を用い、画像データを、エネルギー量に線形で０〜１に標準化された線形画像データ；
【０１０８】
【数３１】

【０１０９】
（ここでｉ：チャンネル（Ｒ，Ｇ，Ｂ），ｏ：画素番号）
へ変換する。
【０１１０】
（フローチャートのｓ２３）
測色変換係数を記述した測色変換ベクトル
【０１１１】
【数３２】

【０１１２】
を用いて、線形画像データを測色データ；
【０１１３】
【数３３】

【０１１４】
を、得る。
【０１１５】
＜３．変形例＞
以上本発明に関わる推定方法及び推定装置について例を挙げてその実施形態を説明したが、それ以外にも例えば次のような変形例も考えられる。
【０１１６】
（ａ）解析手段が出力する照明光の分光特性データとしては、分光分布データである必要はなく、分光特性に対応するその他の値もしくは分光分布データから計算される値でも好ましい。
（ｂ）解析手段において、標準板を撮影した際の露光条件を使用しなくても、照明光の相対的な分光特性を解析し、出力することも好ましい。
【０１１７】
（ｃ）色票によっては撮像応答値が撮像系の適正な応答範囲にない場合があるが、同一の撮像手段によって異なる露光条件で撮像した異なる撮像応答値を解析手段で適切に利用することも好ましい。
（ｄ）標準板上の色票の数、照明の分光分布を基底関数で表すための次数、扱う全ての分光データの波長範囲、扱う全ての分光データの波長間隔などは固定ではなく、適正な推定精度を得られる範囲内であれば、必要に応じて選択することも好ましい。
（ｅ）標準板上の色票の分光反射率の組み合わせは、用途や目的に応じて推定精度を高めるために最適化することも好ましい。
【０１１８】
（ｆ）固定した露光条件により撮像する場合には、解析手段において露光条件による標準化の補正を、敢えて施さないことも好ましい。
【０１１９】
（ｇ）解析手段において、露光条件による標準化の補正は、撮像応答値ではなく説明変数の方に施すことも好ましい。
（ｈ）解析手段において、ＣＩＥ１９３１の２°視野標準観測者の等色関数の代わりに、ＣＩＥ１９６４の１０°視野補助標準観測者の等色関数を用いることも好ましい。
（ｉ）標準板の画像データには撮像系のノイズ成分が含まれている。その為、解析手段の中に、色票部をサンプリングした後の各種分析値から又は画像データから、ノイズ成分を除去（若しくは低減）する処理を組み込んでおくことも好ましい。
【０１２０】
（ｊ）解析手段において、入力する露光条件は、画像データを含むファイルから入力するのではなく、デジタルカメラから露光条件を直接入力するとか、あるいはユーザが入力する、という事も好ましい。
（ｋ）解析手段において、使用する標準板の指定位置の情報をユーザが入力する事を必要とせず、画像データを自動的に分析し標準板の指定位置を検出する処理を行なうよう機能を解析手段の中へ組み込むことも好ましい。
（ｌ）解析手段は、必ずしも電子計算機（コンピュータ）を用意しなくても、独立した専用の装置を設けたり、あるいはマイコンをデジタルカメラの中に撮像系と一体で組み込んでおくことも好ましい。
【０１２１】
（ｍ）画像変換手段は、必ずしも解析手段に用いた電子計算機（コンピュータ）によって行なう必要はなく、この画像変換は別の計算機によって行なっても良いし、これら変換機能を独立した専用の装置を設けたり、デジタルカメラの中に撮像系と一体で組み込んでおくことも好ましい。
【０１２２】
（ｎ）撮像系は、必ずしもデジタルスチルカメラではなくてもよく、例えばデジタルビデオカメラか又はフィルム撮影用カメラと、イメージスキャナとを組み合わせて利用するなど、画像データを取得できる技術であるならばデジタルスチルカメラ以外の機器を利用することも好ましい。
【０１２３】
（ｏ）設定手段として挙げた前記の例は、撮像手段と一体となったデジタルカメラであるが、必ずしも設定手段が撮像手段と一体に組み立てられている必要はなく、撮像手段以外の部分、例えば電子計算機に装備されていることも好ましい。
【０１２４】
（ｐ）前記の例では、回帰分析としては線形な重回帰分析を挙げているが、例えば、照明光の分光特性が基底ベクトルと非線形な関係にある場合や、解析手段において画像のデータに線形化をほどこさない場合などには、適宜、非線形な回帰分析を行うことが好ましい場合もある。
（ｑ）本実施例において行う回帰分析では、標準板上の各色票に対する撮像系の各チャンネルの応答値の重みを一様に扱っているが、例えば、撮像系の特定の応答値が照明光の分光特性と相関が低いような場合には、標準板上の色票や撮像系のチャンネルによって異なる重みを置いた回帰分析を行うことも好ましい。
【０１２５】
（ｒ）照明光の分光特性を特定の次元で表現するための基底関数については、解析手段が、異なる複数の光源の種類毎にそれぞれ異なる基底関数を保持しておき、推定誤差などを利用して光源の種類を適切に選択する機能も備えておくことによって、その選択結果に対応した、より適切な基底関数を用いて照明光の分光特性を推定できるようにすることも好ましい。
【０１２６】
（ｓ）上記変形例（ｒ）に示した「光源の種類を適切に選択する機能」を備えておく場合、解析手段が出力する照明光の分光特性データとしては、「光源の種類を適切に選択する機能」が同定する光源の種類であってもよい。
【０１２７】
（ｔ）被写体の分光特性を特定の次元で表現するための基底関数については、異なる複数の被写体の種類毎にそれぞれ異なる基底関数を保持しておき、被写体の種類によって基底関数を選択できるようにしておくことも好ましい。被写体の種類として、例えば、花、緑、肌、空、海、自然物体、絵画、写真、印刷物といったようなものがあるが、これら被写体になりうるのものの分光特性を統合して求めた基底関数を用いて一般的な被写体用の基底関数としてもよい。
（ｕ）被写体の分光特性を特定の次元で表現するための基底関数は３次元以上であればよく、効率的に計算を行わせるためには３次元で計算してもよい。
【０１２８】
（ｖ）前記の例では、被写体の分光特性を特定の次元で表現するための基底関数として、被写体の種類毎の基底関数を用いたが、被写体と同一または類似した種類の物体の分光特性データそのものを基底関数の代わりとして用いてもよい。
【０１２９】
【発明の効果】
以上説明したように、本発明によれば、空間内の測定対象とする位置に標準板を設置し、空間内の測定点とする位置から撮像手段を用いて標準板を撮影することによって得られる画像を、照明光の分光特性を特定の次元で表現するための基底関数，撮像手段の撮像特性データ，及び標準板の各色票表面の分光反射率データ、に基づいて解析することにより、空間内の測定対象とする位置の照明光の分光特性を推定し、撮像手段を用いて得られた画像データを測色データへ変換できる測色変換係数を算出し、前記の画像データを測色データへ変換できる。ここで、測色データへ変換する際に、人の視感度特性の影響も上手く重み付けされる為に、得られた測色データの精度の良さは信頼性の高いものとなる。そして、これによって前記のような専用の照明光の分光特性測定機器を敢えて用いることも無く、撮像で得られた画像データを測色データへ変換する方法および装置を提供することが出来た。
【図面の簡単な説明】
【図１】本発明に関わる測色的撮像装置の一例について、その概略構成を模式的に示す説明図。
【図２】本発明に関わる測色的撮像装置の一例について、その全体の動作を説明するフローチャート。
【図３】本発明に関わる測色的撮像装置の一例について、解析手段が行う処理を説明するフローチャート。
【図４】本発明に関わる測色的撮像装置の一例について、画像変換処理手段が行う処理を説明するフローチャート。
【符号の説明】
１・・・標準板
２・・・撮像手段（デジタルカメラ）
３・・・解析手段（電子計算機）[0001]
BACKGROUND OF THE INVENTION
The present invention provides illumination light for irradiating a position obtained from an image obtained by photographing a plurality of color charts on a same plane arranged at a specific position in space with a camera such as a digital still camera or a digital video camera. The present invention relates to a colorimetric photographing apparatus that calculates the spectral characteristics of the image and obtains an image colorimetrically. Conversion using estimated spectral characteristics of illumination light, for example, obtaining a colorimetric value of a space from a captured image, or accumulating an image of a colorimetrically defined space that is not unique to the imaging characteristics of the imaging system It can be suitably used for color image processing for correcting the color and brightness of image data of scenes and subjects photographed under the same illumination, and environmental surveys for analyzing environmental lighting.
[0002]
[Prior art]
Conventionally, image data of a space photographed by a photographing system is generally described by characteristics unique to the photographing system. Further, the method of converting these image data into colorimetric image data has the following situation.
(A) Image data unique to the photographing system is converted into colorimetric image data using a device color characteristic description file of ICC (abbreviation of so-called International Color Consortium).
[0003]
(B) An automatic color correction apparatus that automatically calculates and corrects the color of an image obtained by photographing a real scene in consideration of the influence of a light source.
[0004]
However, the methods (a) and (b) have the following problems.
[0005]
(A) In the color characteristic description file of the ICC device, it is necessary to prepare the characteristic description file for each light source to be photographed, and to prepare all the characteristic description files for each illumination condition. In addition, for such “color correction”, what kind of light source the scene is illuminated with is important information. Since such information cannot be obtained from only the captured image, generally, the information required by the person who performs the image correction (information indicating what kind of light source the scene was illuminated with) ) Must be obtained for each shooting condition using a measuring instrument or the like. In addition, when obtaining the spectral characteristics of the light source, it is generally expensive, heavy, large as a measuring instrument, takes a long time for measurement, and requires an interface with a device for processing measurement data. There were various problems. In addition, considering the integration of these with the imaging system, the price increases, the weight increases, the size increases, and the demand is low (the market size is small). Usually not reasonable from a point of view.
[0006]
In addition, the color correction apparatus (b) automatically and accurately discriminates the type of the illumination light source from the image in order to perform information for color correction considering the influence of the light source without human input. It did not exist.
[0007]
[Problems to be solved by the invention]
The present invention has been made in view of the problems of the above-described conventional technology, and does not require a dedicated light source spectral characteristic measurement device, and by using an imaging system, it is simple, quick, and accurate. In order to better estimate the characteristics of the light source and take the captured image data into consideration of the human visual sensitivity characteristics to match the human sense more particularly, using the spectral characteristics estimation data of the illumination light, A colorimetric change coefficient calculation method that enables conversion to colorimetric data by weighting according to human visibility characteristics, a colorimetric image conversion method that obtains colorimetric data using these colorimetric conversion coefficient calculation, And a calorimetric conversion coefficient calculation device and a calorimetric image conversion device suitable for the same, and a computer-readable information recording medium recording the calorimetric conversion coefficient calculation program or the calorimetric image conversion program And an object thereof.
[0008]
[Means for Solving the Problems]
  In order to solve the above problems, the means provided by the present invention is that, in the first aspect of the invention, a standard plate in which a plurality of color charts having different spectral reflectances are arranged on the same surface has spectral characteristics. Estimate the spectral characteristics of the illumination light that illuminates the standard plate using the image data obtained by imaging the multiple color charts of the standard plate with the imaging system. And calculating a conversion coefficient for converting arbitrary image data captured under illumination of the space into a colorimetric value from the estimated spectral characteristics, spectral sensitivity characteristics of the imaging system, and spectral characteristics of the subject. ,
(A) An imaging response value corresponding to each color chart on the standard plate is extracted from the image data, and all the extracted imaging response values R_ijAn objective variable creating step in which a response value vector r having as a column component is created as an objective variable;
(B) performed in any order before and after the objective variable creation step or in parallel with the objective variable creation step;
  Imaging response value vector R obtained from multiple color charts for spectral characteristics of illumination light_ijHolding a basis function matrix B of d columns having a basis function bk (λ) for representing a degree d smaller than the number n of each of the plurality of types of illumination light, , Spectral reflectances sj (λ) of different color charts on the standard plate and spectral sensitivity characteristics C of the imaging system_iAn explanatory variable matrix creation step of creating an explanatory variable matrix T for each type of illumination light as a product of a matrix having a product of components of each wavelength of (λ) as a component;
(C) The response value vector r is an objective variable, and is represented by the product of an explanatory variable matrix T created for each type of illumination light and a weight vector w for representing illumination light spectral characteristics by linear combination of basis functions. Analyzing step of calculating an optimum weight vector w by performing an optimization method and appropriately selecting the type of illumination light;
And
(D) a conversion step of calculating a spectral characteristic e of illumination light that irradiates the standard plate from the product of the optimum weight vector w and the basis function matrix B using the optimum illumination light selected in (c);
To estimate the spectral characteristics of the illumination light,
Then
(E) The spectral characteristic e of the illumination light and the spectral sensitivity characteristic C of the imaging system_i(Λ)And basis functions to express the spectral characteristics of the subject in a specific dimensionCreating a second explanatory variable from the second explanatory variable creating step;
(F) Either in the order before or after the second explanatory variable creation step, or in parallel with the second explanatory variable creation step, and the spectral characteristic e of the illumination light and the human visual sensitivity characteristic C_h(Λ)And basis functions to express the spectral characteristics of the subject in a specific dimensionCreating a second objective variable from the second objective variable creating step;
(G) a colorimetric value expression analyzing step of obtaining a colorimetric conversion matrix M for expressing the imaging response value as a colorimetric value by performing an optimization method using the second objective variable and the second explanatory variable;
Performing the steps (a) to (c) and (d) to (g),
Is a colorimetric conversion coefficient calculation method characterized by the following.
[0009]
The surface on which a plurality of color charts having different spectral reflectances of the standard plate are arranged is preferably a flat surface. However, as long as it does not cause any problem in terms of accuracy related to the estimation of spectral characteristics, which is the object of the present invention, it is not necessarily a flat surface (a curved surface portion may exist in part or in whole). .
Further, even if a curved surface portion exists on a part or all of the surface, it is in the middle or at the end of the step of the estimation method according to the present invention, or the imaging means, analysis means, setting means, or others of the estimation device The present invention can be suitably applied by providing a step (or function) for correcting an error that occurs because the surface is not a flat surface. However, even in that case, it is still more preferable that it is a plane. This is because the development cost of software or hardware actually implemented by applying the spectral characteristic estimation method or spectral characteristic estimation apparatus of illumination light according to the present invention, the time required for development, or the software or hardware product In consideration of the price of the standard plate, the surface of the standard plate on which a plurality of color charts having different spectral reflectances are arranged is more flat and more economical and competitive in market competition. This is because there is a reason that it is easier to obtain.
[0011]
  The invention according to claim 2 is a colorimetric image conversion method for converting photographed image data into colorimetric value image data, wherein the conversion coefficient relating to the space in which the image is taken is: The colorimetric conversion coefficient calculation method according to claim 1 is used. In the case of the conversion, the conversion coefficient is used, and (i) image data captured by the imaging system from the second optimal solution. To colorimetric image data
About the conversion step to convert;
(I) to (g) are followed by step (ri),
Obtain the conversion coefficient obtained by (i) to (g) above and perform the step (i),
Above(I)-(C) and (D)-(G)Follow the steps in (Re), or
Above(I)-(C) and (D)-(G)Performing step (ii) by obtaining the transform coefficient obtained by
The colorimetric image conversion method characterized by the above.
[0012]
  In the invention according to claim 3, the spectral characteristic of the illumination light that irradiates a desired position in the space is estimated, and any image data photographed under illumination in the space is used as a colorimetric value. An apparatus for calculating a coefficient to be converted into data based on
(N) When a standard plate in which a plurality of color charts having different spectral reflectances are arranged on the same surface is installed at the desired position, the plurality of color charts can be imaged and incident light of the imaging system Imaging means that has a known spectral sensitivity characteristic and is capable of recording image data of the plurality of color charts taken;
(Le) Analysis means for calculating an estimated value of a spectral characteristic of the illumination light from the image data of the plurality of color charts taken;
(E) An image is taken from the estimated value of the spectral characteristic of the illumination light, the spectral sensitivity characteristic with respect to the incident light of the imaging system, the basis function for expressing the spectral characteristic of the subject in a specific dimension, and the human visual sensitivity characteristic. Conversion coefficient calculating means for calculating a conversion coefficient for converting the image data unique to the imaging system into colorimetric image data;
It has all the above (nu)-(wo),
The (le) analysis means is the colorimetric conversion coefficient calculation method according to claim 1.(I)-(C) and (D)Use
The (v) conversion coefficient calculation means is the colorimetric conversion coefficient calculation method according to claim 1, wherein
(G),
Is a colorimetric conversion coefficient calculation device characterized by the following.
[0016]
  In the invention according to claim 4,A computer-readable information recording medium on which a colorimetric conversion coefficient calculation program usable when executing the colorimetric conversion coefficient calculation method according to claim 1 is recordedIt is.
[0018]
<Action>
  According to the present invention, first, by using the conversion coefficient calculation method according to claim 1 or the conversion coefficient calculation apparatus according to claim 4, a standard plate is installed at a position to be measured in space, The image data obtained by photographing the standard plate from the position where the image is taken using the image pickup means, the analysis means, the basis function for expressing the spectral characteristic of the illumination light in a specific dimension, the image pickup characteristic data of the image pickup means and the standard By analyzing based on the spectral reflectance data of each color chart surface of the plate, the spectral characteristic data of the illumination light at the position to be measured in space is obtained, and the spectral characteristics of this illumination light and the imaging system Conversion coefficients that convert image data obtained by the imaging system into colorimetric image data are converted from spectral sensitivity characteristics, basis functions for expressing the spectral characteristics of the subject in a specific dimension, and human visibility characteristics. It can be calculated by the number calculation means. The conversion of the subject and the human visibility characteristic allows the conversion of the subject into a more accurate colorimetric value image.
[0019]
  According to a colorimetric imaging method according to claim 3, a colorimetric conversion coefficient calculation method for converting image data of the photographing system according to claim 1 into a colorimetric value, or a colorimetric conversion coefficient calculation device according to claim 4. Using the obtained conversion coefficient, the image data captured by the imaging system can be converted into colorimetric image data by the image conversion processing means. The colorimetric image data is data in which a color is defined regardless of the characteristics specific to the imaging system, and can be handled colorimetrically.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
<1. Configuration>
Hereinafter, an apparatus configuration related to the present invention will be exemplified and described in more detail with reference to the drawings.
[0021]
FIG. 1 is an explanatory diagram showing the configuration of a colorimetric imaging apparatus according to an embodiment of the present invention. In the figure, reference numeral 1 denotes a standard plate, which is installed at a measurement target position in space with the color chart surface facing the image pickup means. A total of 24 color charts having different spectral reflectances (for example) are arranged on the surface.
Note that the reflection characteristics of the surface of each color chart are high in diffusibility, and the diffusivity and reflectivity are substantially uniform within the same color chart.
[0022]
Reference numeral 2 denotes a digital still camera (hereinafter referred to as a digital camera). Here, an imaging unit that processes the potential signals detected by the RGB three-channel photosensors and records the RGB gradation value of each pixel as an image file as color image data, and a shutter speed that is an exposure condition of the imaging unit, It is a digital camera that also has setting means for controlling the aperture value and recording each exposure condition in an image file together with image data.
[0023]
Reference numeral 3 denotes an image file of a standard plate obtained by the image pickup means, which is input to analyzed and used as spectral characteristic data of illumination light, for example, for a total of 81 spectra at intervals of 5 nm over a wavelength range of 380 to 780 nm. An analysis means for outputting distribution data, and a computer (computer) is used.
[0024]
The captured image file is converted from image data unique to the imaging system to colorimetric data by the computer 3.
[0025]
<2. Operation>
2-1. Overall operation
Hereinafter, an example of a colorimetric imaging method and an example of a colorimetric imaging apparatus according to the present invention will be described with reference to the drawings, with respect to the overall processing steps or the overall operation.
[0026]
FIG. 2 is a block diagram showing an overall operation flow using the colorimetric imaging apparatus according to the present embodiment.
[0027]
(S1 in the block diagram)
The user installs the standard plate 1 at the measurement target position, and installs the digital camera 2 at a measurement position where the standard plate 1 is imaged in an appropriate size within the imaging range of the digital camera 2. The directions of the standard plate 1 and the digital camera 2 are adjusted so that the normal direction and the optical axis of the imaging system of the digital camera 2 coincide.
[0028]
(S2 in the block diagram)
The user sets the shutter speed and the aperture value, which are the exposure conditions of the digital camera 2, so that the light reflected from the surface of the standard plate 1 falls within the appropriate exposure range of the digital camera 2.
[0029]
(S3 in the block diagram)
The user releases the shutter of the digital camera 2, and the digital camera 2 captures an image and records the image data and exposure conditions in an image file. In addition, a space that is the original purpose of photographing is photographed under the same illumination by the same procedure, and stored in an image file.
[0030]
(S4 in the block diagram)
A user inputs an image file recorded in the digital camera 2 to the computer 3.
[0031]
(S5 in the block diagram)
The user displays the image data in the image file including the standard plate 1 on the monitor of the computer 3, observes it, and designates the position occupied by the standard plate 1 in the image.
[0032]
(S6 in the block diagram)
The computer 3 uses a basis function for expressing the spectral distribution of illumination light in a specific dimension, imaging characteristic data (gradation characteristics, spectral sensitivity characteristics, appropriate response range) of the digital camera 2, and each color chart surface of the standard plate 1. Analysis processing corresponding to the image data of the standard plate recorded in the image file and the exposure conditions of the digital camera 2 at the time of imaging the standard plate recorded in the image file based on the spectral reflectance data of The spectral distribution data of the illumination light irradiated on the standard plate 1 is output. Thereafter, the spectral distribution data of the illumination light, the data describing the spectral sensitivity characteristics of the digital camera 2 obtained in advance and stored in the computer, and the spectral characteristics of the subject obtained in advance and stored in the computer. Is subjected to an analysis process from data describing basis functions for expressing the image in a specific dimension and human visibility characteristics, and calorimetric conversion coefficients for converting image data obtained by the digital camera 2 into calorimetric data are calculated. .
[0033]
(S7 in the block diagram)
The computer 3 converts the image data of the image file from the digital camera 2 input in s4 into colorimetric data based on the colorimetric conversion coefficient calculated in the analysis process.
[0034]
Note that the above s1 to s7 can be processed automatically, not partially or entirely, by the user's (human) work. This is generally preferred for labor saving and speeding up. In s4, all the image data photographed at one time are inputted to the computer 3, but in s4, only the image data photographed of the standard plate 1 for obtaining the colorimetric conversion coefficient is inputted and remains in the stage of s7. All captured image data may be input to the computer 3.
[0035]
2-2. Analysis processing
Hereinafter, an analysis process for calculating a coefficient for conversion from image data unique to the digital camera 2 to colorimetric image data for an example of the colorimetric image conversion method or colorimetric image conversion apparatus according to the present invention will be described with reference to the flowchart of FIG. This will be explained based on.
[0036]
(S8 in the flowchart)
A file describing image data obtained by photographing a scene including a standard board with a digital camera is input from a digital camera connected via a communication line and recorded in the computer 3.
[0037]
(S9 in the flowchart)
Display the image data of the standard plate on the monitor, let the user specify the position of the standard plate in the captured image, and (for example) 3 for pixels in a certain area near the center in each color chart specified from this specified position An average value of each channel (R, G, B) is calculated, and (for example) gradation values corresponding to 24 color charts;
g_Rj  , G_Gj  , G_Bj  (J: Color chart number)
A total of 72 gradation value data consisting of (for example) is obtained.
The three channels (R, G, B) are the most common.
[0038]
(S10 in the flowchart)
Excluding (for example) 3 × 24 gradation value data corresponding to all color charts, n 0 data [= (72− n0)] gradation value data.
[0039]
(S11 in the flowchart)
With the gradation characteristic data recorded in advance as a function F (x), a non-linear relationship between the energy amount of incident light to the digital camera 2 and the gradation value output from the digital camera 2, n gradation value data are obtained. Linear tone value data that is linear in energy and standardized from 0 to 1;
[0040]
[Expression 1]

[0041]
(Where i: channel (R, G, B), j: color chart number)
Convert to
[0042]
(S12 in the flowchart)
The shutter speed (t) and aperture value (f), which are the exposure conditions set by the digital camera when the standard plate is photographed, are read from the file in which the image data is recorded, and these n linear gradation value data are read. Response value data is standardized to the gradation value per shutter speed and aperture value 1 according to the exposure conditions of
[0043]
[Expression 2]

[0044]
And these are n-dimensional single-column response value vectors
[0045]
[Equation 3]

[0046]
Represented by
[0047]
(S13 in the flowchart)
Spectral sensitivity characteristic data of each of the three channels describing the relationship of response values with respect to 5 nm intervals in the spectral energy (for example) wavelength range of 380 to 780 nm of the incident light of the digital camera 2 recorded in advance;
ci (λ)
24 spectral reflectance data describing spectral reflectances of all color charts on the standard plate in the range of 380 to 780 nm at intervals of 5 nm;
sj (λ)
And d basis functions for expressing the spectral distribution of illumination light in d dimensions;
bk (λ)
And an explanatory variable matrix of n rows × d columns;
[0048]
[Expression 4]

[0049]
Is created as follows.
[0050]
[Equation 5]

[0051]
[Formula 6]

[0052]
λ: Wavelength (λ1, λ2, λ3, ..., λ81)
B: Basis function vector (81 rows × d columns) in which each column indicates a basis function bk (λ)
[0053]
(S14 in the flowchart)
D basis functions for the spectral distribution of illumination;
bk (λ)
A weight vector consisting of d weighting coefficients to represent the linear combination of
[0054]
[Expression 7]

[0055]
Then the response value vector;
[0056]
[Equation 8]

[0057]
Is
[0058]
[Equation 9]

[0059]
Because it can be expressed as:
[0060]
[Expression 10]

[0061]
Response value vector;
[0062]
## EQU11 ##

[0063]
Is used as the objective variable, and the partial regression coefficient obtained is used as the weight vector.
[0064]
[Expression 12]

[0065]
And
However, the order d for expressing the spectral distribution of illumination by a linear combination of basis functions must be smaller than the number n of response values within the appropriate response range.
[0066]
(S15 in the flowchart)
a basis function matrix containing d basis functions;
[0067]
[Formula 13]

[0068]
And d-dimensional weight vector
[0069]
[Expression 14]

[0070]
And by
[0071]
[Expression 15]

[0072]
The 81-row × 81-column diagonal matrix vector in which the spectral distribution data of the illumination light that has been unknown is diagonally stored with estimates of a total of 81 spectral distributions at 5 nm intervals in the range of 380 to 780 nm
[0073]
[Expression 16]

[0074]
Create
[0075]
(S16 in the flowchart)
CIE1931 2 ° field-of-view standard observer color function described at 5 nm intervals in the wavelength range of 380-780 nm;
[0076]
[Expression 17]

[0077]
To the color matching function matrix;
[0078]
[Expression 18]

[0079]
Is created as follows.
[0080]
[Equation 19]

[0081]
(S17 in the flowchart)
Spectral sensitivity characteristic data of digital camera 2;
C_i(Λ)
To the camera spectral sensitivity matrix;
[0082]
[Expression 20]

[0083]
Is created as follows.
[0084]
[Expression 21]

[0085]
(S18 in the flowchart)
Basis functions for expressing the spectral characteristics of the subject in a specific dimension;
To object basis function matrix
[0086]
[Expression 22]

[0087]
Is created as follows. However, the order n of the basis function for expressing the spectral characteristics of the subject in a specific dimension must be greater than 3.
[0088]
[Expression 23]

[0089]
(S19 in the flowchart)
Also, a weight vector consisting of 3 × 3 weighting coefficients
[0090]
[Expression 24]

[0091]
Then, the relationship between the spectral sensitivity characteristic of the digital camera 2, the estimated spectral characteristic of the illumination, the basis function expressing the spectral characteristic of the subject in a specific dimension, and the color matching function of the standard observer is
[0092]
[Expression 25]

[0093]
Therefore, from the color matching function matrix and the matrix containing the estimated spectral characteristics of the illumination,
[0094]
[Equation 26]

[0095]
As a second objective variable matrix.
[0096]
(S20 in the flowchart)
The second explanatory variable matrix is a matrix containing the spectral sensitivity characteristics of the digital camera 2, a matrix containing the estimated spectral characteristics of the illumination, and a matrix containing the basis function of the subject.
[0097]
[Expression 27]

[0098]
Create
[0099]
(S21 in the flowchart)
Weight vector consisting of 3 × 3 weighting coefficients with linear multiple regression analysis
[0100]
[Expression 28]

[0101]
Get.
[0102]
2-3. Image conversion processing
Hereinafter, with respect to an example of the colorimetric imaging method or the colorimetric imaging apparatus according to the present invention, a weight vector composed of 3 × 3 weighting coefficients which are colorimetric conversion coefficients calculated by the analysis processing
[0103]
[Expression 29]

[0104]
An image conversion process for converting image data of an image file from the digital camera 2 into colorimetric data will be described with reference to the flowchart of FIG.
[0105]
(S22 in the flowchart)
Image data of 3 channels (R, G, B) of the image file from the digital camera 2
[0106]
[30]

[0107]
(Where o: pixel number)
Then, using the function F (x) describing the relationship between the amount of energy of incident light and the output gradation value of the digital camera 2, the image data is linear image data that is linear with respect to the amount of energy and standardized from 0 to 1;
[0108]
[31]

[0109]
(Where i: channel (R, G, B), o: pixel number)
Convert to
[0110]
(S23 in the flowchart)
Colorimetric conversion vector describing colorimetric conversion coefficients
[0111]
[Expression 32]

[0112]
Using linear image data to colorimetric data;
[0113]
[Expression 33]

[0114]
Get.
[0115]
<3. Modification>
Although the embodiment has been described with reference to the estimation method and the estimation apparatus according to the present invention, other modifications such as the following are also conceivable.
[0116]
(A) The spectral characteristic data of the illumination light output by the analyzing means need not be spectral distribution data, and other values corresponding to the spectral characteristics or values calculated from the spectral distribution data are also preferable.
(B) It is also preferable that the analysis means analyzes and outputs the relative spectral characteristics of the illumination light without using the exposure conditions when photographing the standard plate.
[0117]
(C) Depending on the color chart, the imaging response value may not be within the appropriate response range of the imaging system, but it is also possible to appropriately use different imaging response values captured by the same imaging unit under different exposure conditions in the analysis unit. preferable.
(D) The number of color charts on the standard plate, the order for expressing the spectral distribution of illumination with a basis function, the wavelength range of all the spectral data to be handled, the wavelength interval of all the spectral data to be handled, etc. are not fixed, but appropriate It is also preferable to select as necessary as long as the estimation accuracy is within a range.
(E) It is also preferable to optimize the combination of spectral reflectances of the color charts on the standard plate in order to increase the estimation accuracy according to the application and purpose.
[0118]
(F) When imaging is performed under a fixed exposure condition, it is also preferable that the standardization correction based on the exposure condition is not intentionally performed in the analysis unit.
[0119]
(G) In the analysis means, it is also preferable that the standardization correction based on the exposure condition is applied to the explanatory variable instead of the imaging response value.
(H) In the analyzing means, it is also preferable to use the color matching function of the CIE 1931 10 ° visual field auxiliary standard observer instead of the color matching function of the CIE 1931 2 ° visual field standard observer.
(I) The image data of the standard plate includes noise components of the imaging system. Therefore, it is also preferable to incorporate processing for removing (or reducing) noise components from various analysis values after sampling the color chart portion or from image data in the analysis means.
[0120]
(J) In the analysis means, it is preferable that the exposure condition to be input is not input from a file containing image data, but is directly input from the digital camera or input by the user.
(K) Analyzing the function so that the analysis means automatically analyzes the image data and detects the designated position of the standard plate without requiring the user to input information on the designated position of the standard plate to be used. It is also preferred to incorporate it into the means.
(L) The analyzing means is not necessarily provided with an electronic computer (computer), but it is also preferable to provide an independent dedicated device or to incorporate a microcomputer into the digital camera integrally with the imaging system.
[0121]
(M) The image conversion means does not necessarily have to be performed by the electronic computer (computer) used for the analysis means. This image conversion may be performed by another computer, or a dedicated device having independent conversion functions is provided. It is also preferable that the digital camera is integrated with the imaging system.
[0122]
(N) The imaging system does not necessarily have to be a digital still camera. For example, if it is a technology that can acquire image data, such as using a digital video camera or a film shooting camera in combination with an image scanner, it is digital. It is also preferable to use a device other than the still camera.
[0123]
(O) The above example given as the setting means is a digital camera integrated with the imaging means, but the setting means does not necessarily have to be assembled integrally with the imaging means. It is also preferable that the electronic computer is equipped.
[0124]
(P) In the above example, linear multiple regression analysis is given as the regression analysis. For example, when the spectral characteristic of the illumination light has a non-linear relationship with the basis vector, or the image data is linear in the analysis means. In some cases, for example, when non-regressive analysis is not performed, it is preferable to perform nonlinear regression analysis.
(Q) In the regression analysis performed in this embodiment, the weight of the response value of each channel of the imaging system for each color chart on the standard plate is uniformly treated. For example, the specific response value of the imaging system is the illumination light. In the case where the correlation with the spectral characteristic is low, it is also preferable to perform regression analysis with different weights depending on the color chart on the standard plate and the channel of the imaging system.
[0125]
(R) For basis functions for expressing the spectral characteristics of illumination light in a specific dimension, the analysis means holds different basis functions for different types of light sources, and uses estimation errors and the like. It is also preferable to provide a function for appropriately selecting the type of light source so that the spectral characteristic of the illumination light can be estimated using a more appropriate basis function corresponding to the selection result.
[0126]
(S) When the “function to appropriately select the type of light source” shown in the modification (r) is provided, the spectral characteristic data of the illumination light output by the analyzing unit is “appropriately select the type of light source. The type of light source to be identified may be the “function to be selected”.
[0127]
(T) Regarding the basis functions for expressing the spectral characteristics of the subject in a specific dimension, different basis functions are held for different types of subjects so that the basis functions can be selected according to the types of subjects. It is also preferable to keep it. The types of subjects include, for example, flowers, green, skin, sky, sea, natural objects, paintings, photographs, and printed materials. Basis functions obtained by integrating the spectral characteristics of these subjects May be used as a basis function for a general subject.
(U) The basis function for expressing the spectral characteristics of the subject in a specific dimension may be three or more dimensions, and may be calculated in three dimensions for efficient calculation.
[0128]
(V) In the above example, the basis function for each type of subject is used as the basis function for expressing the subject's spectral characteristics in a specific dimension. However, spectral characteristic data of the same or similar type of object as the subject is used. It may be used as a substitute for the basis function.
[0129]
【The invention's effect】
As described above, according to the present invention, the standard plate is installed at the position to be measured in the space, and is obtained by photographing the standard plate from the position as the measurement point in the space using the imaging means. By analyzing the image based on the basis function for expressing the spectral characteristics of the illumination light in a specific dimension, the imaging characteristic data of the imaging means, and the spectral reflectance data of each color chart surface of the standard plate, The spectral characteristics of the illumination light at the position to be measured are estimated, colorimetric conversion coefficients that can convert the image data obtained using the imaging means into colorimetric data are calculated, and the image data is converted into colorimetric data. Can be converted. Here, since the influence of human visibility characteristics is also well weighted when converting to colorimetric data, the accuracy of the obtained colorimetric data is highly reliable. As a result, it is possible to provide a method and apparatus for converting image data obtained by imaging into colorimetric data without intentionally using the dedicated device for measuring spectral characteristics of illumination light as described above.
[Brief description of the drawings]
FIG. 1 is an explanatory view schematically showing a schematic configuration of an example of a colorimetric imaging apparatus according to the present invention.
FIG. 2 is a flowchart for explaining the overall operation of an example of a colorimetric imaging apparatus according to the present invention.
FIG. 3 is a flowchart for explaining processing performed by analysis means for an example of a colorimetric imaging apparatus according to the present invention.
FIG. 4 is a flowchart for explaining processing performed by image conversion processing means for an example of a colorimetric imaging apparatus according to the present invention.
[Explanation of symbols]
1 ... Standard plate
2 ... Imaging means (digital camera)
3. Analysis means (electronic computer)

Claims

A standard plate with a plurality of color charts with different spectral reflectances arranged on the same surface is installed at a desired position in the space irradiated with the illumination light whose spectral characteristics are to be obtained. Using the image data captured by the imaging system, estimate the spectral characteristics of the illumination light that illuminates the standard plate,
A method for calculating a conversion coefficient for converting arbitrary image data captured under illumination in the space into a colorimetric value from the estimated spectral characteristics, spectral sensitivity characteristics of the imaging system, and spectral characteristics of the subject,
(A) An imaging response value corresponding to each color chart on the standard plate is extracted from the image data, and a response value vector r having all the extracted imaging response values R _ij as column components is created as an objective variable. Objective variable creation step;
(B) performed in any order before and after the objective variable creation step or in parallel with the objective variable creation step;
Basis function matrix B of d columns having basis components bk (λ) for representing the spectral characteristics of illumination light with an order d smaller than the number n of imaging response value vectors R _ij obtained from a plurality of color charts. For each of a plurality of different types of illumination light, the basis function matrix B, spectral reflectances sj (λ) of different color charts on the standard plate, and spectral sensitivity characteristics C _i (λ of the imaging system) ) To create an explanatory variable matrix T for each type of illumination light as a product of a matrix having the product of each wavelength component as a component;
(C) The response value vector r is an objective variable, and is represented by the product of an explanatory variable matrix T created for each type of illumination light and a weight vector w for representing illumination light spectral characteristics by linear combination of basis functions. Analyzing step of calculating an optimum weight vector w by performing an optimization method and appropriately selecting the type of illumination light;
And
(D) a conversion step of calculating a spectral characteristic e of illumination light that irradiates the standard plate from the product of the optimum weight vector w and the basis function matrix B using the optimum illumination light selected in (c);
To estimate the spectral characteristics of the illumination light,
Then
(E) A second explanatory variable is created from the spectral characteristic e of the illumination light, the spectral sensitivity characteristic C _i (λ) of the imaging system, and a basis function for expressing the spectral characteristic of the subject in a specific dimension. Second explanatory variable creation step;
(F) Either in the order before or after the second explanatory variable creation step, or in parallel with the second explanatory variable creation step, and the spectral characteristic e of the illumination light and the human visual sensitivity characteristic C a second objective variable creating step for creating a second objective variable from _h (λ) and a basis function for expressing the spectral characteristics of the subject in a specific dimension ;
(G) a colorimetric value expression analyzing step of obtaining a colorimetric conversion matrix M for expressing the imaging response value as a colorimetric value by performing an optimization method using the second objective variable and the second explanatory variable;
Performing the steps (a) to (c) and (d) to (g),
A calorimetric conversion coefficient calculation method characterized by the above.

A colorimetric image conversion method for converting captured image data into colorimetric image data,
The conversion coefficient related to the space in which the imaging was performed is calculated using the colorimetric conversion coefficient calculation method according to claim 1, and in the case of the conversion, the conversion coefficient is used,
(I) a conversion step of converting image data captured by the imaging system from the second optimal solution into colorimetric image data;
about,
(I) to (g) are followed by step (ri),
Obtain the conversion coefficient obtained by (i) to (g) above and perform the step (i),
(I) to (c) and (d) to (g) are followed by step (ri), or
(I) performing the steps (i) by obtaining the conversion coefficients obtained by (a) to (c) and (d) to (g);
A colorimetric image conversion method characterized by the above.

An apparatus for estimating a spectral characteristic of illumination light that illuminates a desired position in a space, and calculating a coefficient for converting arbitrary image data photographed under illumination in the space into data based on a colorimetric value,
(N) When a standard plate in which a plurality of color charts having different spectral reflectances are arranged on the same surface is installed at the desired position, the plurality of color charts can be imaged and incident light of the imaging system Imaging means that has a known spectral sensitivity characteristic and is capable of recording image data of the plurality of color charts taken;
(Le) Analysis means for calculating an estimated value of a spectral characteristic of the illumination light from the image data of the plurality of color charts taken;
(E) An image is taken from the estimated value of the spectral characteristic of the illumination light, the spectral sensitivity characteristic with respect to the incident light of the imaging system, the basis function for expressing the spectral characteristic of the subject in a specific dimension, and the human visual sensitivity characteristic. Conversion coefficient calculating means for calculating a conversion coefficient for converting the image data unique to the imaging system into colorimetric image data;
It has all the above (nu)-(wo),
The (le) analysis means uses the (a) to (c) and (d) of the colorimetric conversion coefficient calculation method according to claim 1,
The conversion coefficient calculation means uses the (e) to (g) of the colorimetric conversion coefficient calculation method according to claim 1;
A calorimetric conversion coefficient calculation device characterized by the above.

A computer-readable information recording medium storing a colorimetric conversion coefficient calculation program that can be used when executing the colorimetric conversion coefficient calculation method according to claim 1.