JP4677699B2 - 画像処理方法、画像処理装置、撮影装置評価方法、画像情報保存方法および画像処理システム - Google Patents
画像処理方法、画像処理装置、撮影装置評価方法、画像情報保存方法および画像処理システム Download PDFInfo
- Publication number
- JP4677699B2 JP4677699B2 JP2001292201A JP2001292201A JP4677699B2 JP 4677699 B2 JP4677699 B2 JP 4677699B2 JP 2001292201 A JP2001292201 A JP 2001292201A JP 2001292201 A JP2001292201 A JP 2001292201A JP 4677699 B2 JP4677699 B2 JP 4677699B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- color
- image
- conversion
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6083—Colour correction or control controlled by factors external to the apparatus
- H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Facsimile Scanning Arrangements (AREA)
- Color Image Communication Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理方法、画像処理装置、撮影装置評価方法、画像情報保存方法および画像処理システムに係り、詳細には、撮影装置により撮影された画像を処理してカラーバランスをとる画像処理方法および画像処理装置、前記画像処理方法によって画像を処理する場合に用いる撮影装置を評価する撮影装置評価方法、画像情報を保存する画像情報保存方法、および画像処理システムに関する。
【０００２】
【従来の技術】
従来より、人間の色順応を想定して、画像のカラーバランスをとる方法が知られている。
例えば、特開平１０−１２６８１０号公報には、von Kriesタイプの順応を想定して、画像データを人間の網膜レベルの３刺激値（Ｌ、Ｍ、Ｓ）に変換し、これを調整してホワイトバランスが合うように処理する方法が例示されている。この方法により、人間の色順応を考慮して、自然なカラーバランスが得られるようになっている。
【０００３】
【発明が解決しようとする課題】
ところで、晴れた日の日陰などの色温度の高い光源下で、人の肌の色に違和感を感じたり、タングステン光の下で、人の肌が赤っぽく見えたりすることがある。このように、人間の目では、観察対象物の色を自然な色（例えば、観察対象物が人の肌であれば、肌色）に感じられない場合があり、このことは、人間の色順応機構の不完全さを示している。
【０００４】
一方、従来より、色恒常と呼ばれる機能が知られている。色恒常機能は、標準的な光源（例えば、昼光色など）とは異なる種類の異種光源（例えば、晴れた日の日陰や、タングステン光など）の下で観察された対象物の色を元にして、この対象物が標準的な光源の下でどのような色に見えるのかを推定する、というものである。
【０００５】
以上のことをふまえると、カメラなどの入力機器により撮影した画像のカラーバランスをとる場合には、人間の色順応の機能に基づいて画像のカラーバランスをとるよりも、色恒常の機能に従って画像のカラーバランスをとる方が、標準的な光源の下で認識される色を効果的に再現でき、より自然な色合いになると予測される。
【０００６】
本発明の課題は、色恒常の考えに基づいて、画像のカラーバランスをとれるようにすることである。
【０００７】
【課題を解決するための手段】
以上の課題を解決するため、請求項１記載の発明は、撮影装置により撮影された画像を処理してカラーバランスをとる画像処理方法であって、
前記撮影装置の分光感度に関わる情報に基づいて得られる、標準光源とは異なる種類の複数の異種光源下における有彩色を含む色票の色情報である異種光源下色情報を、前記色票の標準光源下における色情報である標準光源下色情報に合わせるように変換可能な変換手段により、前記画像の色情報を変換するものであり、
前記変換手段による変換処理は、色情報を変換するプライマリ変換処理と、前記プライマリ変換処理によって得られた変換後色情報を直接ゲイン調整してホワイトバランスを調整するゲイン調整処理と、を含み、
前記プライマリ変換処理に用いるマトリクスは、前記複数の種類の異種光源について、前記標準光源下色情報と、前記複数の種類の異種光源それぞれの異種光源下において前記撮影装置により前記色票を撮影して得られた撮影出力値に対して前記変換手段による変換処理を施して得られた色情報と、の色差を重み付け平均した値である色恒常予測誤差が最小となるように、繰り返し演算処理を行うことで最適化されたものであることを特徴とする。
【０００８】
請求項１記載の発明によれば、撮影装置により撮影された画像の色情報を、前記変換手段により変換するので、撮影装置の分光感度に関わる情報に基づいて得られる、有彩色を含む色票の異種光源下における色情報（異種光源下色情報）を、前記色票の標準光源下における色情報（標準光源下色情報）に合わせるようにして、前記画像の色情報が変換される。すなわち、前記画像の色情報は、変換手段により、標準光源下における色情報に合うように変換される。
したがって、撮影装置により撮影された画像の色合いが、まるで標準光源下で撮影したかのような色合いになるよう、カラーバランスをとることができる。すなわち、色恒常の考えに基づいて、画像のカラーバランスをとることができる。
また、変換後色情報のゲイン調整によって、画像のホワイトバランスがとられることになる。したがって、複雑な処理を施すことなく、容易に画像のホワイトバランスをとることができる。
【００１２】
前記変換手段は、請求項１に記載されているように、異種光源下色情報を標準光源下色情報に合わせるように変換可能な手段である。このことを逆に言えば、変換手段は、異種光源下色情報を標準光源下色情報に合わせるように変換できるよう、異種光源下色情報と標準光源下色情報とに基づいて特定される手段である。
【００１３】
ここで、異種光源下色情報は、請求項１に記載されているように、撮影装置の分光感度に関わる情報に基づいて得られるものである。すなわち、異種光源下色情報は、異種光源に関わる情報（例えば、光源の分光分布など）、色票に関わる情報（例えば、色票の分光反射率など）に加え、撮影装置の分光感度に関わる情報を含めた各情報に基づいて特定される情報である。したがって、異種光源下色情報の特定のためには、撮影装置の分光感度を測定する必要が生じる。
【００１４】
これに対し、異種光源下色情報として実際に撮影して得られた撮影出力値を用いることにより、異種光源、色票、撮影装置の分光感度、のそれぞれに関わる情報を含んだ形の色情報が特定される。
よって、異種光源下色情報の特定のために撮影装置の分光感度を測定する必要がない。また、異種光源下色情報を求めるための演算処理等を行う必要がないので、異種光源下色情報そのものである実際の撮影出力値に基づいて、変換手段を容易に特定することができる。
【００１５】
請求項２記載の発明は、請求項１記載の画像処理方法において、
前記プライマリ変換処理に用いるマトリクスは、線形マトリクスであることを特徴とする。
【００１６】
請求項２記載の発明によれば、色情報が線形マトリクスにより変換される。したがって、色情報の変換処理において複雑な演算処理等を必要とせず、容易に色情報を変換することができる。
【００１８】
請求項３記載の発明は、請求項１または２に記載の画像処理方法において、
前記プライマリ変換処理は、前記撮影装置により得られた撮影出力値を直接変換するものであることを特徴とする。
【００１９】
請求項４記載の発明は、撮影装置により撮影された画像を処理してカラーバランスをとる画像処理装置であって、
前記撮影装置の分光感度に関わる情報に基づいて得られる、標準光源とは異なる種類の複数の異種光源下における有彩色を含む色票の色情報である異種光源下色情報を、前記色票の標準光源下における色情報である標準光源下色情報に合わせるように変換可能な変換手段を備え、
この変換手段により、前記画像の色情報を変換するものであり、
前記変換手段による変換処理は、色情報を変換するプライマリ変換処理と、前記プライマリ変換処理によって得られた変換後色情報を直接ゲイン調整してホワイトバランスを調整するゲイン調整処理と、を含み、
前記プライマリ変換処理に用いるマトリクスは、前記複数の種類の異種光源について、前記標準光源下色情報と、前記複数の種類の異種光源それぞれの異種光源下において前記撮影装置により前記色票を撮影して得られた撮影出力値に対して前記変換手段による変換処理を施して得られた色情報と、の色差を重み付け平均した値である色恒常予測誤差が最小となるように、繰り返し演算処理を行うことで最適化されたものであることを特徴とする。
【００２０】
請求項４記載の発明によれば、画像処理装置は前記変換手段を備え、この変換手段により前記画像の色情報を変換するので、異種光源下色情報を標準光源下色情報に合わせるようにして、前記画像の色情報が変換手段によって変換される。すなわち、前記画像の色情報は、変換手段により、標準光源下における色情報に合うように変換される。
したがって、撮影装置により撮影された画像の色合いが、まるで標準光源下で撮影したかのような色合いになるよう、カラーバランスをとることができる。すなわち、色恒常の考えに基づいて、画像のカラーバランスをとることができる。
【００２１】
請求項５記載の発明は、請求項１記載の画像処理方法によって画像を処理する場合に用いる撮影装置を評価する撮影装置評価方法であって、
前記プライマリ変換処理に用いるマトリクスの最適化により最小化された色恒常予測誤差に基づいて、前記撮影装置を評価することを特徴とする。
【００２２】
請求項５記載の発明によれば、プライマリ変換処理に用いるマトリクスの最適化により最小化された色恒常予測誤差に基づいて撮影装置を評価するので、この評価結果により、どの撮影装置を用いれば、色恒常の考えに基づく画像処理をより高い精度で行えるか、を知ることができる。よって、撮影装置の評価結果に基づき撮影装置を取捨選択して、色恒常の考えに基づく、より高い精度のカラーバランス調整を行うことができ、また、好ましい撮影システムを選定できる。
【００２３】
請求項６記載の発明は、請求項１〜３のいずれかに記載の画像処理方法によって画像を処理する場合に画像情報を保存する画像情報保存方法であって、
前記撮影装置の撮影により得られた撮影画像情報と、前記画像処理方法により画像を処理して得られた処理後画像情報と、のうちの少なくとも一方の画像情報とともに、前記変換手段による色情報の変換方法を特定可能な変換情報と、この変換情報の居所を示す居所情報と、のうちの少なくとも一方の情報を保存することを特徴とする。
【００２４】
請求項６記載の発明によれば、前記撮影画像情報と、前記処理後画像情報と、のうちの少なくとも一方の画像情報とともに、前記変換情報と、前記居所情報と、のうちの少なくとも一方の情報が保存されることになる。
したがって、変換情報が画像情報とともに保存されている場合には、変換情報に基づいて変換手段による色情報の変換方法を特定できるので、特定した色情報の変換方法に従って、撮影画像情報の色情報を変換したり、処理後画像情報から変換前の画像情報を求めて、変換前の画像情報の色情報を再度変換したりすることができる。よって、撮影した画像や、画像処理後の画像について、色恒常の考えに基づいてカラーバランスをとることができる。
また、居所情報が画像情報とともに保存されている場合には、居所情報に基づいて変換情報を探し当てて、探し当てた変換情報に基づいて変換方法を特定することができるので、変換情報が保存されている場合と同様に、撮影した画像や、画像処理後の画像について、色恒常の考えに基づいてカラーバランスをとることができる。
【００２５】
請求項７記載の発明は、請求項６記載の画像情報保存方法において、
前記プライマリ変換処理に用いるマトリクスは、線形マトリクスであり、
前記変換手段による色情報の変換方法を特定可能な変換情報は、前記撮影装置の分光感度と、前記線形マトリクスと、のうちの少なくとも一方の情報であることを特徴とする。
【００２６】
請求項７記載の発明によれば、前記変換情報は、撮影装置の分光感度と、線形マトリクスと、のうちの少なくとも一方の情報であるので、変換手段による色情報の変換方法を、撮影装置の分光感度や線形マトリクスの情報に基づいて特定できる。したがって、最小限の明確な情報に基づき、撮影した画像や、画像処理後の画像について、カラーバランスをとる処理を容易に行うことができる。
【００２７】
請求項８記載の発明は、請求項７記載の画像情報保存方法により保存された画像情報を処理する画像処理方法であって、
前記画像情報保存方法により保存された変換情報、および、居所情報に基づき探し当てられた変換情報、のうちの少なくとも一方の変換情報に含まれる、分光感度、および、線形マトリクスの少なくとも一方の情報に基づいて、前記変換手段による色情報の変換方法を特定し、
特定した色情報の変換方法に従って、前記画像情報保存方法により保存された撮影画像情報、および、処理後画像情報、のうちの少なくとも一方の画像情報の色情報を変換することを特徴とする。
【００２８】
請求項８記載の発明によれば、変換情報に含まれる、分光感度、および線形マトリクスの少なくとも一方の情報に基づいて、変換手段による色情報の変換方法が特定され、この変換方法に従って、撮影画像情報、および処理後画像情報のうちの少なくとも一方の画像情報の色情報が変換される。
したがって、最小限の明確な情報に基づき、撮影した画像や、画像処理後の画像について、色恒常の考えに基づいてカラーバランスを容易にとることができる。
【００２９】
請求項９記載の発明は、請求項１〜３のいずれかに記載の画像処理方法によって画像を処理する画像処理装置であって、
前記撮影装置の撮影により得られた撮影画像情報と、前記画像処理方法により画像を処理して得られた処理後画像情報と、のうちの少なくとも一方の画像情報とともに、前記変換手段による色情報の変換方法を特定可能な変換情報と、この変換情報の居所を示す居所情報と、のうちの少なくとも一方の情報を保存する情報保存手段を備えることを特徴とする。
【００３０】
請求項９記載の発明によれば、画像処理装置は前記情報保存手段を備えるので、この情報保存手段に前記変換情報が前記画像情報とともに保存されている場合には、変換情報に基づいて変換手段による色情報の変換方法を特定でき、特定した色情報の変換方法に従って、撮影画像情報の色情報を変換したり、処理後画像情報から変換前の画像情報を求めて、変換前の画像情報の色情報を再度変換したりすることができる。よって、撮影した画像や、画像処理後の画像について、色恒常の考えに基づいてカラーバランスをとることができる。
また、情報保存手段に前記居所情報が前記画像情報とともに保存されている場合には、居所情報に基づいて変換情報を探し当てて、探し当てた変換情報に基づいて変換方法を特定することができるので、変換情報が保存されている場合と同様に、撮影した画像や、画像処理後の画像について、色恒常の考えに基づいてカラーバランスをとることができる。
【００３１】
請求項１０記載の発明は、請求項６または７記載の画像情報保存方法により画像情報が保存される情報保存手段を備える第１の画像処理装置と、請求項１〜３のいずれかに記載の画像処理方法によって画像を処理可能な第２の画像処理装置と、前記第１の画像処理装置と前記第２の画像処理装置との間で情報をやりとりするための伝送媒体と、を備え、
前記情報保存手段に保存された撮影画像情報と処理後画像情報とのうちの少なくとも一方の画像情報とともに、前記情報保存手段に前記画像情報とともに保存された変換情報と居所情報とのうちの少なくとも一方の情報を、前記伝送媒体を介して、前記第１の画像処理装置から、前記第２の画像処理装置へ送信することを特徴とする画像処理システムである。
【００３２】
請求項１０記載の発明によれば、第１の画像処理装置の情報保存手段に保存された撮影画像情報と処理後画像情報とのうちの少なくとも一方の画像情報とともに、前記情報保存手段に前記画像情報とともに保存された変換情報と居所情報とのうちの少なくとも一方の情報が、伝送媒体を介して、第１の画像処理装置から第２の画像処理装置へ送信される。
したがって、変換情報が画像情報とともに送信される場合には、第２の画像処理装置側において、変換情報に基づいて変換手段による色情報の変換方法を特定できるので、特定した色情報の変換方法に従って、撮影画像情報の色情報を変換したり、処理後画像情報から変換前の画像情報を求めて、変換前の画像情報色情報を再度変換したりすることができる。よって、撮影した画像や、画像処理後の画像について、色恒常の考えに基づいてカラーバランスをとることができる。
また、居所情報が画像情報とともに送信される場合には、第２の画像処理装置側において、居所情報に基づいて変換情報を探し当てて、探し当てた変換情報に基づいて変換方法を特定することができるので、変換情報が画像情報とともに送信される場合と同様に、撮影した画像や、画像処理後の画像について、色恒常の考えに基づいてカラーバランスをとることができる。
【００３８】
【発明の実施の形態】
以下、この発明の実施の形態について、図面を参照しながら説明する。
【００３９】
＜第１の実施の形態＞
本発明の第１の実施の形態である画像処理方法は、例えば、図１に示す画像処理装置１により画像を処理する方法である。画像処理装置１は、具体的には、例えばデジタルカメラやビデオカメラ等のカメラである。
画像処理装置１は、この画像処理装置１全体の制御を行う制御部２、被写体を撮影して画像信号（画像撮影出力値）を出力する撮影装置である撮影部３、この撮影部３により撮影された画像を処理する画像処理部４、各種の制御プログラムやデータ等を記憶する記憶部５、外部機器との間で信号を送受信するための外部インターフェース（以下、外部Ｉ／Ｆと略称する）６を備えて構成されている。
【００４０】
記憶部５は、内部記憶装置としてのＲＡＭ（Random Access Memory）や、外部記憶装置としてのハードディスク装置、着脱自在に設けられるフロッピー（登録商標）ディスク等により構成されている。記憶部５には、例えば、画像処理装置１全体の制御プログラムや制御データ、撮影部３により出力された画像信号で構成される画像データ画像処理部４による画像処理を行うための画像処理プログラムや制御データ、画像処理部４の画像処理による画像処理後の画像データ等が記憶されるようになっている。
なお、これらの各種プログラムやデータは、異なる記憶部（ディスク）に記憶されていても良いし、あるいは、同一の記憶部（ディスク）に記憶されていても良く、その記憶形態は特に限定されるものではない。
【００４１】
制御部２は画像処理装置１のメイン処理を行うものであり、具体的には、例えば、撮影部３により撮影された画像の画像データや、画像処理部４の画像処理による画像処理後の画像データを記憶部５に記憶させる処理、記憶部５に記憶されたデータを外部Ｉ／Ｆ６を介して外部機器へ送信する処理、外部機器から外部Ｉ／Ｆ６を介して受信したデータを記憶部５に記憶させる処理等を実行する。
外部Ｉ／Ｆ６は、例えば、ＵＳＢ（Universal Serial Bus）やＳＣＳＩ（Small Computer System Interface）などにより、外部機器との間で画像データや制御データ等の送受信を行うものである。
【００４２】
撮影部３は、例えば、ＣＣＤ（Charge Coupled Device）などの受光素子を備えて構成されている。受光素子は、図示しないレンズを通過して入射した被写体からの光を、積層して配置された各種フィルタ（図示略）を介して受光し、この受光量に応じて、ＲＧＢ（Red-Green-Blue）信号やＣＭＹ（Cyan-Magenta-Yellow）信号等の画像信号を出力するようになっている。積層して配置されるフィルタの例としては、例えば、三板式フィルタや、単板式のモザイクフィルタ等が挙げられる。
【００４３】
画像処理部４は、記憶部５に記憶されている画像処理プログラムに基づいて、撮影部３により出力された画像信号を処理し、標準光源下の色に合うようカラーバランスをとる処理を行う。画像処理部４の内部構成の例を図２に示す。
【００４４】
図２（ａ）に示す例においては、画像処理部４は、三刺激値変換部４１、プライマリ変換部４２、ゲイン調整部４３、プライマリ逆変換部４４、および色変換部４５を備えて構成されている。ここで、三刺激値変換部４１、プライマリ変換部４２、ゲイン調整部４３、およびプライマリ逆変換部４４は、本発明の変換手段（色差最小化変換手段）を構成するものである。
ここで、「プライマリ変換」とは、撮影部３の出力値を別の座標系に変換することを意味しており、「プライマリ逆変換」とは、別の座標系に変換された値を元の座標系に戻すことを意味している。
【００４５】
三刺激値変換部４１は、画像信号を三刺激値へ近似させる三刺激値近似マトリクスＢ（以下、マトリクスＢと略称する）により、撮影部３が出力した画像信号を三刺激値に変換する処理を行う。
なお、図２においては図示を省略しているが、撮影部３のフィルタが単板式である場合には、三刺激値変換部４１により画像信号を変換する前に、画像処理部４により色補間処理が行われるようになっている（この手法については、例えば、特開平１０−１７８６５０号公報等に記載有）。また、三刺激値変換部４１により画像信号を変換する前には、画像処理部４により黒レベル調整が行われるようになっている。
【００４６】
また、プライマリ変換部４２は、三刺激値変換部４１の変換処理により得られた三刺激値を、線形マトリクスであるプライマリ変換マトリクスＡ（後述する。以下、マトリクスＡと略称する）により変換して、仮のＲＧＢ値（本発明の変換後色情報に相当）を算出する処理を行う。
すなわち、三刺激値変換部４１とプライマリ変換部４２は、撮影部３により撮影された画像の色情報である画像信号を変換する色情報変換手段である。
【００４７】
ゲイン調整部４３は、プライマリ変換部４２の変換処理により得られた仮のＲＧＢ値を、対角行列Ｍにより線形変換する処理を行う。ここで、対角行列Ｍは、異種光源下の無彩色が、標準的な光源下の無彩色に合致するよう、ＲＧＢ値をゲイン調整し、これによりホワイトポイントを調整するものである。すなわち、ゲイン調整部４３は、変換後色情報である仮のＲＧＢ値をゲイン調整してホワイトバランスをとるホワイトバランス調整手段である。
ここで、ホワイトポイントは、例えば、画像の総平均をホワイトポイントとする方法や、最大値をホワイトポイントとする方法により検出されるが、ホワイトポイントの検出方法は特にこれらの例に限定されるものではなく、従来より周知の方法を適用可能である。
【００４８】
プライマリ逆変換部４４は、ゲイン調整部４３のゲイン調整処理により得られた仮のＲＧＢ値を、プライマリ変換部４２で用いられるマトリクスＡの逆行列Ａ-1により逆変換して、三刺激値に戻す処理を行う。
色変換部４５は、プライマリ逆変換部４４の逆変換処理により得られた三刺激値を、ＣＲＴ（Cathode Ray Tube）等の出力系のプライマリ（例えば、IEC 61966-2-1で規定されているｓＲＧＢなど）やＹＣＣに変換する処理を行う。
【００４９】
画像処理部４の画像処理により得られた処理後の画像データは、画像処理部４によりＪＰＥＧ等の圧縮形式で画像圧縮された状態で、記憶部５に記憶されるようになっている。
ここで、画像処理装置１に表示装置等の出力部（図示略）が設けられている場合には、上述のように画像圧縮された画像データに基づいて、出力部により画像が出力されるようになっている。また、表示装置等の出力部を備えた外部機器が、外部Ｉ／Ｆ６を介して画像処理装置１と接続され、画像圧縮された画像データを画像処理装置１から外部機器が受信した場合には、受信した画像データに基づいて、外部機器の出力部により画像が出力されるようになっている。
【００５０】
図２（ｂ）に示す例においては、画像処理部４は、図２（ａ）に示す三刺激値変換部４１、プライマリ変換部４２、ゲイン調整部４３、プライマリ逆変換部４４の代わりに、プライマリ変換部４６、ゲイン調整部４７、プライマリ逆変換部４８、三刺激値変換部４９を備えて構成されている。ここで、プライマリ変換部４６、ゲイン調整部４７、およびプライマリ逆変換部４８は、本発明の変換手段を構成するものである。
【００５１】
プライマリ変換部４６（色情報変換部に相当）は、撮影部３が出力した画像信号を、マトリクスＡにより直接プライマリ変換する処理を行う。なお、図２（ａ）と同様に、色補間処理、黒レベル調整については図示を省略している。
また、ゲイン調整部４７（ホワイトバランス調整手段に相当）は、プライマリ変換部４６の変換処理により得られた仮の画像信号を、対角行列Ｍによりゲイン調整する処理を行う。プライマリ逆変換部４８は、ゲイン調整部４７のゲイン調整処理により得られたゲイン調整後の仮の画像信号を、プライマリ変換部４６で用いられるマトリクスＡの逆行列Ａ-1により逆変換する処理を行う。
【００５２】
また、三刺激値変換部４９は、プライマリ逆変換部４８の逆変換処理により得られた処理後の画像信号を三刺激値に変換する処理を行うようになっている。また、図２（ｂ）に示す色変換部４５は、三刺激値変換部４９の変換処理により得られた三刺激値を出力系のプライマリに変換する処理を行うようになっている。
【００５３】
上述のマトリクスＡとマトリクスＢには、最適化処理（後述する）により最適化して求められたデータが用いられる。これらのマトリクスＡ、Ｂは、画像処理データとして予め記憶部５に記憶されている。
以上、図２（ａ）および図２（ｂ）を参照して画像処理部４の内部構成例を二つ説明したが、いずれの構成の画像処理部４の画像処理によっても、最終的に同様の画像データが得られるようになっている。
【００５４】
ここで、画像処理方法の説明をする前に、最適化処理について説明する。最適化処理は、予め選択された各種データに基づき、従来より周知のパーソナルコンピュータ等の演算装置により実行される。
なお、後述する式（１）〜（５）に示される各記号は、それぞれベクトル行列を意味しており、また、転置行列の区別は省略している。
【００５５】
最適化処理においては、予め、最適化に必要な各種データを選択しておく。
まず、画像処理装置１のカラーバランスの目標となる光源の種類を一つ選択して、これを標準光源に設定する。標準光源の例としては、例えば、Ｄ５５（相対色温度５５００Ｋ）、Ｄ６５（６５００Ｋ）などの昼光色や、人工的に作られたシミュレータ光源であるＣ光源などが挙げられる。
【００５６】
また、標準光源以外の種類の光源を一つもしくは複数選択して、これを異種光源に設定する。異種光源としては、撮影部３による撮影に用いられる代表的な光源の種類を選択するのが好ましいが、これに限らず任意の種類の光源を選択可能である。異種光源の例としては、例えば、室内光を想定したＡ光源（タングステン光源）、晴れた日の日陰を想定した黒体放射の光源（色温度７５００〜１００００度程度）、室内の蛍光灯を想定したＦ１〜１２光源などが挙げられる。
【００５７】
また、有彩色を含む色票を選択する。ここで、色票としては、撮影部３の被写体（例えば、人間の肌や、景色など）の色に近似する分光反射率を有するものが望ましいが、これに限らず任意の種類の色票を選択可能である。
色票の例としては、例えば、マクベスカラーチェッカー、マンセル色票（マンセルブック）、CIE13.3で規定される分光反射率色票、SOCS(JIS-TR X 0012、色再現評価用標準物体色分光データベース(SOCS)(1998))で規定される分光反射率色票などが挙げられる。ただし、分光データのみで規定され、実在色票が存在しない色票（上述の分光反射率色票など）は、撮影部３の分光感度が既知である場合にのみ選択可能である。
【００５８】
最適化に必要な各種データを選択した後、次に、標準光源、異種光源、それぞれの光源下において、選択した色票を実際に撮影部３により撮影して得られる画像信号の出力値Ｏ（本発明の撮影出力値に相当）、もしくは、これに相当する値を取得する。
【００５９】
色票として実在色票を選択した場合には、画像処理装置１の撮影部３により実在色票を撮影し、これにより得られた出力値Ｏのデータを、画像処理装置１が外部Ｉ／Ｆ６を介して演算装置に送信し、送信された出力値Ｏのデータを演算装置側で受信する。なお、フィルタが単板式の場合には色補間済の値、また、黒レベル補正済の値を出力値Ｏとする。
【００６０】
分光データで規定された分光反射率色票を色票として選択した場合には、撮影部３の分光感度Ｓiと、光源分光強度Ｌ、色票分光反射率Ｒの各データに基づいて、出力値Ｏに相当する値を演算装置により算出する。
具体的には、例えば、標準光源としてＤ６５を、異種光源としてＡ光源、９３００Ｋの黒体放射分光強度の光源とをそれぞれ選択した場合には、各光源下における出力値Ｏを、下記式（１）によりそれぞれ算出する。ここで、添え字のiは、撮影部３の種類を示している。
【数１】
なお、分光感度Ｓiは、例えば、IEC61966-9で規定されている分光感度の測定方法に従って計測できる。
【００６１】
次に、以上のようにして選択・取得された各種データに基づき、演算装置により各マトリクスＡ、Ｂの最適化を行う。
【００６２】
＜三刺激値近似マトリクスＢの最適化＞
例えば、標準光源としてＤ６５を選択した場合には、標準光源下における色票の三刺激値ＴD65は、等色関数Ｆを用いて、下記式（２）により求められる。
【数２】
また、各色票の色差△Ｅ*ａｂの平均をＥ*ａｂ（α,β）、Ｌ*ａ*ｂ*表色系への変換をＬａｂ（Ｔ）と表記すると、撮影部３の測色色再現誤差Ｅcolは、下記式（３）により表される。
【数３】
前記の式（２）、（３）（実在色票が存在しない色票を選択した場合には、式（１）〜式（３））に基づいて、測色色再現誤差Ｅcolを最小化するよう、マトリクスＢを最適化する。
【００６３】
＜プライマリ変換マトリクスＡの最適化＞
ここでは、画像処理部４が図２（ｂ）に示す内部構成をしている場合に適用するマトリクスＡの最適化処理について説明する。
例えば、標準光源としてＤ６５を、異種光源としてＡ光源と、９３００Ｋの黒体放射分光強度の光源とをそれぞれ選択した場合には、色恒常予測誤差Ｅmcciは、下記式（４）により表される。ここで、色恒常予測誤差Ｅmcciは、標準光源下における色票のＬ*ａ*ｂ*値（標準光源下色情報）と、異種光源下における色票の出力値Ｏをプライマリ変換部４６、ゲイン調整部４７、プライマリ逆変換部４８、及び三刺激値変換部４９により変換して得られるＬ*ａ*ｂ*値（異種光源下色情報）と、の色差を示している。また、下記式（４）は、それぞれの異種光源について同じ重み付けをした場合の例を示している。
【数４】
最適化されたマトリクスＢと、前記式（２）、（４）（実在色票が存在しない色票を選択した場合には、式（１）、式（２）、式（４））に基づいて、色恒常予測誤差Ｅmcciを最小化するよう、繰り返し演算により、マトリクスＡを最適化する。
【００６４】
なお、色恒常予測誤差Ｅmcciは、異種光源の種類をｊ、異種光源の種類の数をＮ、任意の重み平均をｗとすると、下記式（５）により一般化できる。
【数５】
以上の最適化処理により最適化されたマトリクスＡ、マトリクスＢのデータが、画像処理装置１の記憶部５にそれぞれ予め記憶されている。
【００６５】
次に、上述の画像処理装置１により画像を処理する画像処理方法について説明する。ここでは、画像処理部４が図２（ａ）に示す内部構成をしている場合における画像処理を説明する。
【００６６】
まず、撮影部３が、被写体の光を、レンズ、フィルタを介して、受光素子により受光し、このときの受光量に基づき画像信号を出力する。フィルタが単板式の場合には、画像処理部４が画像信号の色補間処理を行い、また、黒レベル調整処理を行う。
【００６７】
次に、画像処理部４の三刺激値変換部４１が、最適化されたマトリクスＢにより画像信号を変換して、三刺激値を算出する。次に、プライマリ変換部４２が、三刺激値変換部４１により算出された三刺激値を、最適化されたマトリクスＡにより変換して、仮のＲＧＢ値を算出する。
【００６８】
次に、ゲイン調整部４３が、プライマリ変換部４２により算出された仮のＲＧＢ値を対角行列Ｍによりゲイン調整して、標準光源下の無彩色に合致するようホワイトバランスをとる。次に、プライマリ逆変換部４４が、ゲイン調整部４３にのゲイン調整処理により得られた変換後の仮のＲＧＢ値を、最適化されたマトリクスＡの逆行列Ａ-1により逆変換して、三刺激値に戻す。
【００６９】
次に、色変換部４５が、プライマリ逆変換部４４の逆変換処理により得られた三刺激値を、出力系のプライマリに変換する。次に、以上のようにして画像処理部４により処理された処理後の画像データを画像圧縮し、記憶部５に記憶する。
【００７０】
以上のように、本発明の第１の実施の形態の画像処理方法、およびこの画像処理方法の実施に使用する画像処理装置１によれば、有彩色を含む色票の異種光源下における出力値Ｏ、もしくはこれに相当する値を、前記色票の標準光源下における色合いに合うように変換できるよう最適化されたプライマリ変換マトリクスＡを用いて、撮影画像の画像信号が、図２（ａ）に示す三刺激値変換部４１、プライマリ変換部４２、ゲイン調整部４３、プライマリ逆変換部４４（もしくは、図２（ｂ）に示すプライマリ変換部４６、ゲイン調整部４７、プライマリ逆変換部４８）により変換される。
これにより、撮影部３により撮影された画像が、まるで標準光源下で撮影したかのような色合いになるよう、カラーバランスがとられることになる。したがって、第１の実施の形態の画像処理方法、画像処理装置１により、色恒常の考えに基づいて、画像のカラーバランスをとることができる。
【００７１】
また、撮影部３の分光感度に基づいて決まる撮影部３の出力値Ｏ、もしくはこれに相当する値に基づいてマトリクスＡを最適化し、このマトリクスＡを用いて画像データを処理するので、撮影部３そのもの分光特性、すなわち、撮影部３の分光感度に適応した画像処理を行うことができる。
【００７２】
また、マトリクスＡとして、色恒常予測誤差が最小化されるように最適化されたものを用いるので、撮影部３により撮影された画像の画像信号が、標準光源下における色合いとの色差が最小化されるように変換されることになる。したがって、色恒常の考えに基づく画像処理を高い精度で行うことができる。
【００７３】
また、画像データの変換処理は、最適化されたマトリクスＡと対角行列Ｍ（ゲイン調整）を用いて行われるので、これにより、撮影部３による撮影時の光源の種類に関わらず、適切なカラーバランス調整を行うことが可能となる。よって、撮影時の光源ごとにマトリクスＡを設定しなくても、撮影時の光源の色温度の変化に対応した画像処理を行うことができる。
【００７４】
また、最適化処理において、色票に実在色票を選択した場合には、撮影部３により実在色票を撮影して、これにより得られた出力値Ｏを用いてマトリクスＡの最適化が行われる。また、分光データで規定された分光反射率色票を色票として選択した場合には、撮影部３の分光感度に基づき前記出力値Ｏに相当する値を演算装置により算出して、これに基づいてマトリクスＡの最適化が行われる。
したがって、実在色票を選択した場合には、分光反射率色票を選択した場合と異なり、撮影部３の分光感度を測定する必要がなく、また、出力値Ｏに相当する値を算出する処理を行う必要がない。よって、分光データで規定された分光反射率色票を選択した場合に比べ、マトリクスＡの最適化処理をより容易に行うことができる。
【００７５】
また、画像処理部４にはゲイン調整部４３・４７が設けられているので、プライマリ変換部４２・４６の変換処理により得られた仮のＲＧＢ値のホワイトバランスが調整される。したがって、画像処理部４により、画像のホワイトバランスをとることができる。
また、ホワイトバランス調整はゲイン調整により行われるので、複雑な処理を施すことなく、容易に画像のホワイトバランスをとることができる。
【００７６】
また、画像処理部４の三刺激値変換部４１・４９、プライマリ変換部４２・４６、ゲイン調整部４３・４７、プライマリ逆変換部４４・４８は、線形マトリクスにより画像信号を線形変換してデータ処理を行う構成となっているので、画像処理において複雑な演算処理等を必要とせず、容易に画像信号の変換処理を行うことができる。
【００７７】
なお、第１の実施の形態においては、異種光源としてタングステン光源、高色温度光源（９３００Ｋの黒体放射）を選択し、同じ重み付けをして式（４）によりマトリクスＡを最適化する場合の例を説明したが、これに限らず、式（５）により、代表的な蛍光灯光源などを含めて適当に重み付けして、マトリクスＡを最適化するものとしても良い。
【００７８】
また、撮影部３を備える画像処理装置１に対してマトリクスＡを一つだけ設定する場合に限らず、標準光源よりも低色温度の異種光源、高色温度の異種光源について、それぞれ重み平均を変化させた場合に最適化して得られる複数のマトリクスＡや、一部の演色性の低い蛍光灯（例えば、Ｆ２光源）のみを異種光源に設定して最適化されたマトリクスＡ等、複数種類のマトリクスＡを記憶部５に記憶させておき、撮影環境によって画像処理に用いるマトリクスＡを切り替える構成としても良い。
このとき、例えば、フリッカーや輝線を検出したり、ストロボやカバーなどの装置の取り付けを検出したり、特定の色票の彩度や色相を認識したりすることによって、撮影時の光源を判断をする光源判定手段や、撮影時の光源をマニュアルで入力する入力部などを画像処理装置１に設ける構成としてもよい。この構成とすれば、検出あるいは入力された撮影時の光源の種類に基づいて、自動的にマトリクスＡを切り替えて、撮影時の環境に合った適切な画像処理を行うことができる。
また、撮影時の光源の種類を判断して、これに基づいて適宜重み平均してマトリクスＡを算出し直し、算出し直したマトリクスＡに基づいて画像処理を行う構成としても良い。
【００７９】
また、画像処理部４の内部構成例を図２に二つ示したが、撮影部３が４色以上の分光感度を持つ場合には、図２（ｂ）に示す内部構成の方がより好ましい。
例えば、撮影部３のセンサ（受光素子）がＮ種類（ch１〜chＮ）まで存在し、画像処理部４の内部構成が図２（ｂ）に示す構成である場合には、画像処理装置１により以下の（１）〜（６）の処理が行われる。
（１）センサch１〜chＮにより、image１〜imageＮの画像を取得する。
（２）プライマリ変換部４６により、Ｎ×Ｎの最適化マトリクスＡを用いて、適切なプライマリに変換する。
（３）（２）の処理により得られたimage１'〜imageＮ'に基づき、白色点（分光反射率が一定の被写体（グレー）に対する画像値）を検出し、この値をＷ１〜ＷＮとする。なお、これに限らず、例えば、被写体を撮影するセンサとは別のセンサを設け、このセンサにより照明光を直接測定し、このときの出力値に基づいてＷ１〜ＷＮを算出しても良い。
（４）ゲイン調整部４７により、Ｎ×Ｎの対角行列ＭであるＤＭＴ（diagonal matrix transform）を用いて、標準光源下で撮影されるときのバランスになるよう、画像データをゲイン調整する。
（５）プライマリ逆変換部４８により、（４）で得られた結果を逆プライマリ変換する。
（６）三刺激値変換部４９により、（５）で得られた結果を三刺激値へ最適化する。
なお、上述の（１）〜（６）の処理は、照明光成分を取り除いて、物体の分光反射率を計測する処理を行うのと略同様の処理である。
【００８０】
上述のように、処理（４）においては、Ｎ×Ｎの対角行列Ｍによりゲイン調整が行われる。これに対し、図２（ａ）に示す内部構成の場合には、撮影部３が４色以上の分光感度を持っていたとしても、三刺激値変換部４１により三つのパラメータに変換されてしまうため、３×３の対角行列Ｍによりゲイン調整が行われる。
したがって、図２（ａ）に示す内部構成に比べ、図２（ｂ）に示す内部構成の方が、より対角行列Ｍで調整できる範囲が広がり、より高精度なホワイトバランス調整を行うことができる。
【００８１】
また、本発明の「色情報」は、色を特定するための情報全般を意味し、具体的には、例えば、上述した出力値Ｏ、三刺激値Ｔ、Ｌ*ａ*ｂ*値などが挙げられるが、これらの例に限らず、例えば、他の表色系の刺激値等を用いても良い。
【００８３】
また、画像処理装置１は、デジタルカメラ等のカメラであるものとしたが、撮影された画像を処理する装置であれば特にカメラに限定されるものではない。また、撮影部３を画像処理装置１に設けずに、他の装置に設ける構成としても良い。具体的には、例えば、撮影部３を、画像処理を行わないデジタルカメラに設け、画像処理装置１の画像処理部４を、パーソナルコンピュータなどに設ける構成としても良い。
その他、画像処理装置１の構成、画像処理方法の各処理の内容を、本発明の特許請求の範囲内で適宜変更しても良いのは勿論である。
【００８４】
［実施例１］
次に、上述の最適化処理の実施例について説明する。
図３（ａ）のグラフに示す分光感度を有するデジタルカメラ（以下、感度Ａのカメラと略称する）と、図３（ｂ）のグラフに示す分光感度を有するテレビカメラ（以下、感度Ｂのカメラと略称する）と、について、最適化処理を行った。
【００８５】
最適化処理においては、標準光源として、図４のグラフに示す光源のうち、Ｄ６５を選択した。また、異種光源として、図４のグラフに示す光源のうち、Ａ（Ａ光源）と、Ｌ９３００（９３００Ｋの黒体放射）を選択した。また、色票として、図５のグラフに示すマクベスカラーチェッカーを選択した。
【００８６】
次に、Ｄ６５光源、Ａ光源、および９３００Ｋの黒体放射の各光源下で、感度Ａのカメラ、および感度Ｂのカメラにより、それぞれマクベスカラーチェッカーの実在色票を撮影し、出力値Ｏを得た。この出力値Ｏを用いて、測色色再現誤差Ｅcolを最小化するよう、式（２）、式（３）に基づき、三刺激値近似マトリクスＢを最適化した。また、色恒常予測誤差Ｅmcciを最小化するよう、式（２）、式（４）に基づき、プライマリ変換マトリクスＡを最適化した。
【００８７】
以上の最適化処理の結果により、画像信号の変換に用いられる各線形変換係数が得られた。以下に、一例として、感度Ｂのカメラの画像信号を変換する線形変換式（６）〜（９）を示す。
下記式（６）は、最適化されたマトリクスＡにより画像信号（ch1〜ch3）を変換する式である。
【数６】
【００８８】
下記式（７）は、式（６）により得られたプライマリ変換後の画像信号（ch1'〜ch3'）を、対角行列Ｍによりゲイン調整する式である。ここで、式（６）内に示す対角行列は、Ａ光源からＤ６５光源のホワイトポイントに合致させるための対角行列Ｍである。
【数７】
【００８９】
下記式（８）は、式（７）により得られたゲイン調整後の画像信号（ch1''〜ch3''）を、最適化されたマトリクスＡの逆行列Ａ-1により逆変換する式である。
【数８】
【００９０】
下記式（９）は、式（８）により得られた逆変換後の画像信号（ch1'''〜ch3'''）を、最適化されたマトリクスＢにより三刺激値に変換する式である。
【数９】
【００９１】
また、最適化処理の結果に基づき、図３（ａ）、（ｂ）のグラフに示す各カメラの分光感度をプライマリ変換し、最適化された分光感度を求めた。この結果をそれぞれ図６（ａ）、（ｂ）に示す。
【００９２】
＜第２の実施の形態＞
本発明の第２の実施の形態である撮影装置評価方法は、画像処理装置１の撮影部３を、（１）測色色再現誤差、（２）最小化色恒常予測誤差、および（３）ノイズ量に基づいて評価する方法である。本発明は、特に（２）最小化色恒常予測誤差に基づいて撮影部３を評価する点を特徴としている。
まず、評価対象となる撮影部３について、測色色再現誤差、最小化色恒常予測誤差、ノイズ量をそれぞれ演算装置等により算出する。
【００９３】
（１）測色色再現誤差
第１の実施の形態で記述した三刺激値近似マトリクスＢの最適化処理により、最小化された測色色再現誤差Ｅcolを算出する。
（２）最小化色恒常予測誤差
第１の実施の形態で記述したプライマリ変換マトリクスＡの最適化処理により、最小化された色恒常予測誤差Ｅmcci（最小化色恒常予測誤差）を算出する。
（３）ノイズ量
Ｌ*＝５０に相当する入力値（０．１８４）に対して、各色微少範囲振れ、各色±ａだけ動いたときのＬ*ａ*ｂ*の標準偏差（計８点）を、Ｌ*、ａ*、ｂ*の各方向について計算し、このＲＭＳ（Root mean square）をノイズ量とする。
ここで、ａの値としては、入力最大値を１としたとき、例えば、０．００５を用いる。
また、ノイズ量は、Estevez-Hunt-Pointerプライマリを１００％としたときの比率で示す。Estevez-Hunt-Pointerプライマリを基準としたのは、これが人間の目の錐体感度に近いと考えられるためである。
上述のようにして算出された測色色再現誤差、最小化色恒常予測誤差、およびノイズ量に基づいて、撮影部３を評価する。
【００９４】
以上のように、第２の実施の形態の撮影装置評価方法によれば、上述の測色色再現誤差、最小化色恒常予測誤差、およびノイズ量に基づいて撮影部３を評価するので、この評価結果により、測色色再現誤差、最小化色恒常予測誤差、ノイズ量が小さい撮影部３ほど、より高い精度で画像処理できる、と判断できる。よって、評価結果に基づき撮影部３を取捨選択することができる。
ここで、測色色再現誤差による評価結果と、色恒常予測誤差による評価結果は、相反する場合がある。このとき、評価結果に基づいて、色恒常予測誤差が最小である撮影部３を選択すると、色恒常の考えに基づき、より高い精度のカラーバランス調整を行うことができる。
【００９５】
なお、第２の実施の形態においては、測色色再現誤差、最小化色恒常予測誤差、ノイズ量の三つの値をそれぞれ算出し、これらの算出値を比較するものとしたが、必ずしも三つの値全てを算出する必要はない。少なくとも最小化色恒常予測誤差を算出して、この算出値を比較すれば、色恒常の考えに基づく画像処理を行う際に適切な撮影部３はどれか、を知ることができる。
【００９６】
［実施例２］
上述の実施例１の最適化処理の結果に基づいて、感度Ａのカメラ、感度Ｂのカメラについて、それぞれ測色色再現誤差、最小化色恒常予測誤差、およびノイズ量を算出した。また、比較例として、図７（ａ）のグラフに示す錐体の分光感度（Estevez-Hunt-Pointerプライマリ）についても実施例１と同様の最適化処理を行い、測色色再現誤差、最小化色恒常予測誤差、ノイズ量を算出した。なお、図７（ｂ）は、錐体の分光感度をプライマリ変換して最適化した分光感度を示すグラフである。
【００９７】
また、参考例として、感度Ａのカメラ、感度Ｂのカメラ、および錐体の分光感度それぞれについて、最適化されていないそのままの分光感度によるプライマリでカラーバランス（ホワイトバランス）をとった場合の色恒常予測誤差を算出した。具体的には、マトリクスＡを単位行列とした場合の色恒常予測誤差を、上記式（４）に基づいて算出した。
【００９８】
図８に、算出結果を示す。分光感度を最適化しない場合に得られた色恒常予測誤差（参考）に対する、分光感度を最適化した場合に得られた最小化色恒常予測誤差の比率は、感度Ａのカメラでは６６％、感度Ｂのカメラでは６０％である。このことから、感度Ｂのカメラの方が、感度Ａのカメラに比べ、第１の実施の形態の画像処理方法によって異種光源下の色から標準光源下の色ををより高精度で再現でき、より高精度で画像のカラーバランスをとれる、ということがわかる。
【００９９】
また、感度Ａのカメラ、感度Ｂのカメラについて、測色色再現誤差、ノイズ比を比較すると、いずれも感度Ｂのカメラの方が低い値を示している。したがって、感度Ａのカメラよりも、感度Ｂのカメラを選択した方が、より高精度の画像処理を行える、と判断できる。
【０１００】
＜第３の実施の形態＞
本発明の第３の実施の形態である画像情報保存方法は、画像処理システム（図示略）を構成する画像処理装置１により、画像データを保存する方法である。画像処理システムは、第１の実施の形態の画像処理装置１（第１の画像処理装置）と、外部機器（第２の画像処理装置）と、画像処理装置１と外部機器との間で情報をやりとりするための伝送媒体と、を備えて構成されている。
【０１０１】
ここで、画像処理装置１の制御部２は、画像処理部４により画像圧縮された画像データ（本発明の処理後画像情報に相当）を、例えば、図９に示すファイル構造７（本発明の画像データファイルにおけるデータ構造に相当）のフォーマットで記憶部５（本発明の情報保存手段に相当）に記憶させるようになっている。
ファイル構造７は、ファイルヘッダ部７１、画像データに関する共通な情報を記憶するメタデータ部７２、画像データそのものを記憶する画像データ記憶部７３（本発明の第１のデータ領域に相当）を備えて構成されている。メタデータ部７２には変換データ記憶部７２ａ（本発明の第２のデータ領域に相当）が設けられており、変換データ記憶部７２ａには、最適化されたプライマリ変換マトリクスＡのデータや、画像撮影時における撮影部３の分光感度のデータなど（本発明の変換情報に相当）が記憶されるようになっている。
また、制御部２は、記憶部５に記憶されたファイル構造７に含まれるデータ全てを、一緒に外部機器へ伝送媒体を介して送信できるようになっている。
【０１０２】
また、画像処理システムを構成する外部機器には、第１の実施の形態の画像処理部４と同様の構成の画像処理部が設けられている。また、外部機器には、画像処理部により画像処理を行うための画像処理プログラムや画像処理データ等を記憶する記憶部が設けられている。
また、前記伝送媒体は、例えば、ケーブルや、ＬＡＮ（Local Area Network）、電話回線、インターネット等から構成されるものである。
【０１０３】
上記の画像処理装置１による画像情報保存方法について、説明する。第１の実施の形態で述べたようにして画像処理部４による画像処理が施された後、制御部２は、圧縮された画像データを、図９に示すファイル構造７のフォーマットで記憶させる。このとき、記憶部５に予め記憶されている、最適化されたマトリクスＡのデータや、画像撮影時における撮影部３の分光感度のデータを、変換データ記憶部７２ａに記憶させる。
【０１０４】
次に、外部機器が画像処理装置１からファイル構造７のデータを伝送媒体を介して受信した場合に、外部機器により行う画像処理方法について、説明する。
外部機器は、画像処理装置１から受信したファイル構造７の変換データ記憶部７２ａから、マトリクスＡのデータを読み出す。次に、このマトリクスＡのデータに基づき、外部機器の画像処理部が、ファイル構造７に含まれる処理後の画像データを逆変換して、ゲイン調整処理後のデータを算出する。具体的には、色変換部４５の変換処理の逆変換と、プライマリ逆変換部４４の変換処理の逆変換（または三刺激値変換部４９の変換処理の逆変換、およびプライマリ逆変換部４８の変換処理の逆変換）を行う。
次に、得られたゲイン調整後のデータを、ゲイン調整部４３（またはゲイン調整部４７）によりゲイン調整して、ホワイトバランスをとりなおす。その後、プライマリ逆変換部４４（または三刺激値変換部４９とプライマリ逆変換部４８）と、色変換部４５により、ホワイトバランスを取り直した画像データの変換処理を行う。
【０１０５】
もしくは、外部機器は、画像処理装置１から受信したファイル構造７の変換データ記憶部７２ａから、撮影部３の分光感度のデータを読み出す。次に、この分光感度のデータに基づき、外部機器において第１の実施の形態で記述したマトリクスＡの最適化処理を行う。次に、マトリクスＡが変換データ記憶部７２ａに記憶されている場合と同様にして、最適化処理により算出したマトリクスＡに基づいて、画像データの逆変換、ホワイトバランス調整、および変換処理を行う。
【０１０６】
以上のように、第３の実施の形態の画像情報保存方法、画像処理装置１、画像処理システム、およびファイル構造７によれば、外部機器において、変換データ記憶部７２ａに記憶されたマトリクスＡや分光感度のデータを読みとり、このデータに基づき、画像圧縮された画像データを、色恒常を最適化して再処理することができる。
特に、画像処理装置１側で自動的にホワイトバランスを調整している場合には、処理後の画像に誤差が含まれている可能性がある。このような場合に、外部機器において再度ホワイトバランスをとることができるので、より高画質化された画像を得ることができる。
【０１０７】
また、変換データ記憶部７２ａにマトリクスＡや分光感度のデータが記憶されているので、最小限の明確な情報に基づき、画像データを再処理できる。よって、画像データを再処理する際の演算処理にかかる負担を軽減できる。また、ファイル構造７全体のデータ量を少なく抑えることができる。
【０１０８】
なお、第３の実施の形態において、ファイル構造７の画像データ記憶部７３に記憶させる画像データを、出力段で使われるビット数（例えば、８ビット）を上回るビット数（例えば、１０〜１６ビット）を持つように構成すれば、再計算によるビット落ちを避けることができる。
【０１０９】
また、画像データ記憶部７３に画像処理後の画像データを記憶させる構成としたが、これに限らず、画像データ記憶部７３に、撮影部３による撮影によって得られた画像信号の生データや、この生データを三刺激値に変換したデータなどの画像処理前のデータ（本発明の撮影画像情報に相当）を記憶させる構成としてもよい。この場合には、外部機器の画像処理部により、変換データ記憶部７２ａに記憶されたマトリクスＡや撮影部３の分光感度のデータに基づいて、画像処理前のデータを処理して、色恒常の考えに基づくカラーバランス調整を行える。
【０１１０】
また、変換データ記憶部７２ａにはマトリクスＡや撮影部３の分光感度のデータが記憶されるものとしたが、これに限らず、例えば、マトリクスＡや分光感度のデータをインターネット上の任意の場所に予め記憶しておき、この居所を示すデータ（本発明の居所情報に相当。具体的には、例えば、ＵＲＬ（Uniform Resource Locator）など）を変換データ記憶部７２ａに記憶させておく構成としてもよい。
この構成とすれば、外部機器側において、居所データに基づきマトリクスＡや分光感度のデータを探し当てることができるので、探し当てたデータに基づいて画像データの変換処理や、処理後の画像データの再変換処理を行える。
【０１１１】
また、画像処理装置１側において、画像データのファイル構造７が記憶されている記憶部５が、例えば、フロッピー（登録商標）ディスクなどの着脱可能な記憶媒体である場合には、この着脱可能な記憶媒体を外部機器に装着し、外部機器において記憶媒体からファイル構造７のデータを読みとって、読みとったデータに基づき画像処理を行うことができる。なお、この場合には、外部機器は、必ずしも伝送媒体を介して画像処理装置１と接続されている必要はない。
【０１１２】
また、第３の実施の形態における画像処理装置１は、必ずしも画像処理部４を備えている必要はない。これは、外部機器側において、最適化されたマトリクスＡを用いて、色恒常の考えに基づきカラーバランスをとることができるためである。
【０１１３】
【発明の効果】
請求項１、４記載の発明によれば、変換手段により、異種光源下色情報を標準光源下色情報に合わせるようにして、撮影装置により撮影された画像の色情報が変換される。したがって、画像の色合いが、まるで標準光源下で撮影したかのような色合いになるよう、カラーバランスをとることができる。すなわち、色恒常の考えに基づいて、画像のカラーバランスをとることができる。
【０１１６】
請求項２記載の発明によれば、色情報が線形マトリクスにより変換されるので、色情報の変換処理において複雑な演算処理等を必要とせず、容易に色情報を変換できる。
【０１１７】
請求項５記載の発明によれば、撮影装置の評価結果により、どの撮影装置を用いれば、色恒常の考えに基づく画像処理をより高い精度で行えるか、を知ることができる。よって、撮影装置の評価結果に基づき撮影装置を取捨選択して、色恒常の考えに基づき、より高い精度のカラーバランス調整を行え、また、好ましい撮影システムを選定できる。
【０１１８】
請求項６、９記載の発明によれば、画像情報とともに保存されている変換情報や居所情報に基づき、変換手段による色情報の変換方法を特定でき、特定した色情報の変換方法に従って、撮影画像情報の色情報を変換したり、処理後画像情報から変換前の画像情報を求めて、変換前の画像情報の色情報を再度変換したりすることができる。よって、撮影した画像や、画像処理後の画像について、色恒常の考えに基づいてカラーバランスをとることができる。
【０１１９】
請求項７記載の発明によれば、変換手段による色情報の変換方法を、撮影装置の分光感度や線形マトリクスの情報に基づいて特定できるので、最小限の明確な情報に基づき、撮影した画像や、画像処理後の画像について、カラーバランスをとる処理を容易に行うことができる。
請求項８記載の発明によれば、変換手段による色情報の変換方法が、撮影装置の分光感度や線形マトリクスの情報に基づいて特定され、この変換方法に従って、撮影画像情報、および処理後画像情報のうちの少なくとも一方の画像情報の色情報が変換される。よって、最小限の明確な情報に基づき、撮影した画像や、画像処理後の画像について、カラーバランスをとる処理を容易に行うことができる。
【０１２０】
請求項１０記載の発明によれば、画像情報とともに送信される変換情報や居所情報に基づき、変換手段による色情報の変換方法を特定でき、特定した色情報の変換方法に従って、撮影画像情報の色情報を変換したり、処理後画像情報から変換前の画像情報を求めて、変換前の画像情報の色情報を再度変換したりすることができる。よって、撮影した画像や、画像処理後の画像について、色恒常の考えに基づいてカラーバランスをとることができる。
【図面の簡単な説明】
【図１】第１の実施の形態の画像処理装置の構成を示す概略ブロック図である。
【図２】図１中の画像処理部の内部構成例を示す概略図である。
【図３】（ａ）は、実施例１の最適化処理に用いた感度Ａのカメラの分光感度を示すグラフであり、（ｂ）は、実施例１の最適化処理に用いた感度Ｂのカメラの分光感度を示すグラフである。
【図４】実施例１の最適化処理において選択した光源の分光分布を示すグラフである。
【図５】実施例１の最適化処理において選択したマクベスカラーチェッカーの分光反射率を示すグラフである。
【図６】（ａ）は、図３（ａ）に示す分光感度の最適化結果を示すグラフであり、（ｂ）は、図３（ｂ）に示す分光感度の最適化結果を示すグラフである。
【図７】（ａ）は、実施例２において比較例として用いた錐体の分光感度を示すグラフであり、（ｂ）は、（ａ）に示す分光感度の最適化結果を示すグラフである。
【図８】実施例２の算出結果を示す表である。
【図９】第３の実施の形態の画像保存方法により保存される画像データのファイル構造を示す概念図である。
【符号の説明】
１ 画像処理装置（第１の画像処理装置）
３ 撮影部（撮影装置）
５ 記憶部（情報保存手段）
７ ファイル構造（画像データファイルにおけるデータ構造）
４１ 三刺激値変換部（変換手段、色差最小化変換手段、色情報変換手段）
４２、４６ プライマリ変換部（変換手段、色差最小化変換手段、色情報変換手段）
４３、４７ ゲイン調整部（変換手段、色差最小化変換手段、ホワイトバランス調整手段）
４４、４８ プライマリ逆変換部（変換手段、色差最小化変換手段）
７２ａ 変換データ記憶部（第２のデータ領域）
７３ 画像データ記憶部（第１のデータ領域）
【発明の属する技術分野】
本発明は、画像処理方法、画像処理装置、撮影装置評価方法、画像情報保存方法および画像処理システムに係り、詳細には、撮影装置により撮影された画像を処理してカラーバランスをとる画像処理方法および画像処理装置、前記画像処理方法によって画像を処理する場合に用いる撮影装置を評価する撮影装置評価方法、画像情報を保存する画像情報保存方法、および画像処理システムに関する。
【０００２】
【従来の技術】
従来より、人間の色順応を想定して、画像のカラーバランスをとる方法が知られている。
例えば、特開平１０−１２６８１０号公報には、von Kriesタイプの順応を想定して、画像データを人間の網膜レベルの３刺激値（Ｌ、Ｍ、Ｓ）に変換し、これを調整してホワイトバランスが合うように処理する方法が例示されている。この方法により、人間の色順応を考慮して、自然なカラーバランスが得られるようになっている。
【０００３】
【発明が解決しようとする課題】
ところで、晴れた日の日陰などの色温度の高い光源下で、人の肌の色に違和感を感じたり、タングステン光の下で、人の肌が赤っぽく見えたりすることがある。このように、人間の目では、観察対象物の色を自然な色（例えば、観察対象物が人の肌であれば、肌色）に感じられない場合があり、このことは、人間の色順応機構の不完全さを示している。
【０００４】
一方、従来より、色恒常と呼ばれる機能が知られている。色恒常機能は、標準的な光源（例えば、昼光色など）とは異なる種類の異種光源（例えば、晴れた日の日陰や、タングステン光など）の下で観察された対象物の色を元にして、この対象物が標準的な光源の下でどのような色に見えるのかを推定する、というものである。
【０００５】
以上のことをふまえると、カメラなどの入力機器により撮影した画像のカラーバランスをとる場合には、人間の色順応の機能に基づいて画像のカラーバランスをとるよりも、色恒常の機能に従って画像のカラーバランスをとる方が、標準的な光源の下で認識される色を効果的に再現でき、より自然な色合いになると予測される。
【０００６】
本発明の課題は、色恒常の考えに基づいて、画像のカラーバランスをとれるようにすることである。
【０００７】
【課題を解決するための手段】
以上の課題を解決するため、請求項１記載の発明は、撮影装置により撮影された画像を処理してカラーバランスをとる画像処理方法であって、
前記撮影装置の分光感度に関わる情報に基づいて得られる、標準光源とは異なる種類の複数の異種光源下における有彩色を含む色票の色情報である異種光源下色情報を、前記色票の標準光源下における色情報である標準光源下色情報に合わせるように変換可能な変換手段により、前記画像の色情報を変換するものであり、
前記変換手段による変換処理は、色情報を変換するプライマリ変換処理と、前記プライマリ変換処理によって得られた変換後色情報を直接ゲイン調整してホワイトバランスを調整するゲイン調整処理と、を含み、
前記プライマリ変換処理に用いるマトリクスは、前記複数の種類の異種光源について、前記標準光源下色情報と、前記複数の種類の異種光源それぞれの異種光源下において前記撮影装置により前記色票を撮影して得られた撮影出力値に対して前記変換手段による変換処理を施して得られた色情報と、の色差を重み付け平均した値である色恒常予測誤差が最小となるように、繰り返し演算処理を行うことで最適化されたものであることを特徴とする。
【０００８】
請求項１記載の発明によれば、撮影装置により撮影された画像の色情報を、前記変換手段により変換するので、撮影装置の分光感度に関わる情報に基づいて得られる、有彩色を含む色票の異種光源下における色情報（異種光源下色情報）を、前記色票の標準光源下における色情報（標準光源下色情報）に合わせるようにして、前記画像の色情報が変換される。すなわち、前記画像の色情報は、変換手段により、標準光源下における色情報に合うように変換される。
したがって、撮影装置により撮影された画像の色合いが、まるで標準光源下で撮影したかのような色合いになるよう、カラーバランスをとることができる。すなわち、色恒常の考えに基づいて、画像のカラーバランスをとることができる。
また、変換後色情報のゲイン調整によって、画像のホワイトバランスがとられることになる。したがって、複雑な処理を施すことなく、容易に画像のホワイトバランスをとることができる。
【００１２】
前記変換手段は、請求項１に記載されているように、異種光源下色情報を標準光源下色情報に合わせるように変換可能な手段である。このことを逆に言えば、変換手段は、異種光源下色情報を標準光源下色情報に合わせるように変換できるよう、異種光源下色情報と標準光源下色情報とに基づいて特定される手段である。
【００１３】
ここで、異種光源下色情報は、請求項１に記載されているように、撮影装置の分光感度に関わる情報に基づいて得られるものである。すなわち、異種光源下色情報は、異種光源に関わる情報（例えば、光源の分光分布など）、色票に関わる情報（例えば、色票の分光反射率など）に加え、撮影装置の分光感度に関わる情報を含めた各情報に基づいて特定される情報である。したがって、異種光源下色情報の特定のためには、撮影装置の分光感度を測定する必要が生じる。
【００１４】
これに対し、異種光源下色情報として実際に撮影して得られた撮影出力値を用いることにより、異種光源、色票、撮影装置の分光感度、のそれぞれに関わる情報を含んだ形の色情報が特定される。
よって、異種光源下色情報の特定のために撮影装置の分光感度を測定する必要がない。また、異種光源下色情報を求めるための演算処理等を行う必要がないので、異種光源下色情報そのものである実際の撮影出力値に基づいて、変換手段を容易に特定することができる。
【００１５】
請求項２記載の発明は、請求項１記載の画像処理方法において、
前記プライマリ変換処理に用いるマトリクスは、線形マトリクスであることを特徴とする。
【００１６】
請求項２記載の発明によれば、色情報が線形マトリクスにより変換される。したがって、色情報の変換処理において複雑な演算処理等を必要とせず、容易に色情報を変換することができる。
【００１８】
請求項３記載の発明は、請求項１または２に記載の画像処理方法において、
前記プライマリ変換処理は、前記撮影装置により得られた撮影出力値を直接変換するものであることを特徴とする。
【００１９】
請求項４記載の発明は、撮影装置により撮影された画像を処理してカラーバランスをとる画像処理装置であって、
前記撮影装置の分光感度に関わる情報に基づいて得られる、標準光源とは異なる種類の複数の異種光源下における有彩色を含む色票の色情報である異種光源下色情報を、前記色票の標準光源下における色情報である標準光源下色情報に合わせるように変換可能な変換手段を備え、
この変換手段により、前記画像の色情報を変換するものであり、
前記変換手段による変換処理は、色情報を変換するプライマリ変換処理と、前記プライマリ変換処理によって得られた変換後色情報を直接ゲイン調整してホワイトバランスを調整するゲイン調整処理と、を含み、
前記プライマリ変換処理に用いるマトリクスは、前記複数の種類の異種光源について、前記標準光源下色情報と、前記複数の種類の異種光源それぞれの異種光源下において前記撮影装置により前記色票を撮影して得られた撮影出力値に対して前記変換手段による変換処理を施して得られた色情報と、の色差を重み付け平均した値である色恒常予測誤差が最小となるように、繰り返し演算処理を行うことで最適化されたものであることを特徴とする。
【００２０】
請求項４記載の発明によれば、画像処理装置は前記変換手段を備え、この変換手段により前記画像の色情報を変換するので、異種光源下色情報を標準光源下色情報に合わせるようにして、前記画像の色情報が変換手段によって変換される。すなわち、前記画像の色情報は、変換手段により、標準光源下における色情報に合うように変換される。
したがって、撮影装置により撮影された画像の色合いが、まるで標準光源下で撮影したかのような色合いになるよう、カラーバランスをとることができる。すなわち、色恒常の考えに基づいて、画像のカラーバランスをとることができる。
【００２１】
請求項５記載の発明は、請求項１記載の画像処理方法によって画像を処理する場合に用いる撮影装置を評価する撮影装置評価方法であって、
前記プライマリ変換処理に用いるマトリクスの最適化により最小化された色恒常予測誤差に基づいて、前記撮影装置を評価することを特徴とする。
【００２２】
請求項５記載の発明によれば、プライマリ変換処理に用いるマトリクスの最適化により最小化された色恒常予測誤差に基づいて撮影装置を評価するので、この評価結果により、どの撮影装置を用いれば、色恒常の考えに基づく画像処理をより高い精度で行えるか、を知ることができる。よって、撮影装置の評価結果に基づき撮影装置を取捨選択して、色恒常の考えに基づく、より高い精度のカラーバランス調整を行うことができ、また、好ましい撮影システムを選定できる。
【００２３】
請求項６記載の発明は、請求項１〜３のいずれかに記載の画像処理方法によって画像を処理する場合に画像情報を保存する画像情報保存方法であって、
前記撮影装置の撮影により得られた撮影画像情報と、前記画像処理方法により画像を処理して得られた処理後画像情報と、のうちの少なくとも一方の画像情報とともに、前記変換手段による色情報の変換方法を特定可能な変換情報と、この変換情報の居所を示す居所情報と、のうちの少なくとも一方の情報を保存することを特徴とする。
【００２４】
請求項６記載の発明によれば、前記撮影画像情報と、前記処理後画像情報と、のうちの少なくとも一方の画像情報とともに、前記変換情報と、前記居所情報と、のうちの少なくとも一方の情報が保存されることになる。
したがって、変換情報が画像情報とともに保存されている場合には、変換情報に基づいて変換手段による色情報の変換方法を特定できるので、特定した色情報の変換方法に従って、撮影画像情報の色情報を変換したり、処理後画像情報から変換前の画像情報を求めて、変換前の画像情報の色情報を再度変換したりすることができる。よって、撮影した画像や、画像処理後の画像について、色恒常の考えに基づいてカラーバランスをとることができる。
また、居所情報が画像情報とともに保存されている場合には、居所情報に基づいて変換情報を探し当てて、探し当てた変換情報に基づいて変換方法を特定することができるので、変換情報が保存されている場合と同様に、撮影した画像や、画像処理後の画像について、色恒常の考えに基づいてカラーバランスをとることができる。
【００２５】
請求項７記載の発明は、請求項６記載の画像情報保存方法において、
前記プライマリ変換処理に用いるマトリクスは、線形マトリクスであり、
前記変換手段による色情報の変換方法を特定可能な変換情報は、前記撮影装置の分光感度と、前記線形マトリクスと、のうちの少なくとも一方の情報であることを特徴とする。
【００２６】
請求項７記載の発明によれば、前記変換情報は、撮影装置の分光感度と、線形マトリクスと、のうちの少なくとも一方の情報であるので、変換手段による色情報の変換方法を、撮影装置の分光感度や線形マトリクスの情報に基づいて特定できる。したがって、最小限の明確な情報に基づき、撮影した画像や、画像処理後の画像について、カラーバランスをとる処理を容易に行うことができる。
【００２７】
請求項８記載の発明は、請求項７記載の画像情報保存方法により保存された画像情報を処理する画像処理方法であって、
前記画像情報保存方法により保存された変換情報、および、居所情報に基づき探し当てられた変換情報、のうちの少なくとも一方の変換情報に含まれる、分光感度、および、線形マトリクスの少なくとも一方の情報に基づいて、前記変換手段による色情報の変換方法を特定し、
特定した色情報の変換方法に従って、前記画像情報保存方法により保存された撮影画像情報、および、処理後画像情報、のうちの少なくとも一方の画像情報の色情報を変換することを特徴とする。
【００２８】
請求項８記載の発明によれば、変換情報に含まれる、分光感度、および線形マトリクスの少なくとも一方の情報に基づいて、変換手段による色情報の変換方法が特定され、この変換方法に従って、撮影画像情報、および処理後画像情報のうちの少なくとも一方の画像情報の色情報が変換される。
したがって、最小限の明確な情報に基づき、撮影した画像や、画像処理後の画像について、色恒常の考えに基づいてカラーバランスを容易にとることができる。
【００２９】
請求項９記載の発明は、請求項１〜３のいずれかに記載の画像処理方法によって画像を処理する画像処理装置であって、
前記撮影装置の撮影により得られた撮影画像情報と、前記画像処理方法により画像を処理して得られた処理後画像情報と、のうちの少なくとも一方の画像情報とともに、前記変換手段による色情報の変換方法を特定可能な変換情報と、この変換情報の居所を示す居所情報と、のうちの少なくとも一方の情報を保存する情報保存手段を備えることを特徴とする。
【００３０】
請求項９記載の発明によれば、画像処理装置は前記情報保存手段を備えるので、この情報保存手段に前記変換情報が前記画像情報とともに保存されている場合には、変換情報に基づいて変換手段による色情報の変換方法を特定でき、特定した色情報の変換方法に従って、撮影画像情報の色情報を変換したり、処理後画像情報から変換前の画像情報を求めて、変換前の画像情報の色情報を再度変換したりすることができる。よって、撮影した画像や、画像処理後の画像について、色恒常の考えに基づいてカラーバランスをとることができる。
また、情報保存手段に前記居所情報が前記画像情報とともに保存されている場合には、居所情報に基づいて変換情報を探し当てて、探し当てた変換情報に基づいて変換方法を特定することができるので、変換情報が保存されている場合と同様に、撮影した画像や、画像処理後の画像について、色恒常の考えに基づいてカラーバランスをとることができる。
【００３１】
請求項１０記載の発明は、請求項６または７記載の画像情報保存方法により画像情報が保存される情報保存手段を備える第１の画像処理装置と、請求項１〜３のいずれかに記載の画像処理方法によって画像を処理可能な第２の画像処理装置と、前記第１の画像処理装置と前記第２の画像処理装置との間で情報をやりとりするための伝送媒体と、を備え、
前記情報保存手段に保存された撮影画像情報と処理後画像情報とのうちの少なくとも一方の画像情報とともに、前記情報保存手段に前記画像情報とともに保存された変換情報と居所情報とのうちの少なくとも一方の情報を、前記伝送媒体を介して、前記第１の画像処理装置から、前記第２の画像処理装置へ送信することを特徴とする画像処理システムである。
【００３２】
請求項１０記載の発明によれば、第１の画像処理装置の情報保存手段に保存された撮影画像情報と処理後画像情報とのうちの少なくとも一方の画像情報とともに、前記情報保存手段に前記画像情報とともに保存された変換情報と居所情報とのうちの少なくとも一方の情報が、伝送媒体を介して、第１の画像処理装置から第２の画像処理装置へ送信される。
したがって、変換情報が画像情報とともに送信される場合には、第２の画像処理装置側において、変換情報に基づいて変換手段による色情報の変換方法を特定できるので、特定した色情報の変換方法に従って、撮影画像情報の色情報を変換したり、処理後画像情報から変換前の画像情報を求めて、変換前の画像情報色情報を再度変換したりすることができる。よって、撮影した画像や、画像処理後の画像について、色恒常の考えに基づいてカラーバランスをとることができる。
また、居所情報が画像情報とともに送信される場合には、第２の画像処理装置側において、居所情報に基づいて変換情報を探し当てて、探し当てた変換情報に基づいて変換方法を特定することができるので、変換情報が画像情報とともに送信される場合と同様に、撮影した画像や、画像処理後の画像について、色恒常の考えに基づいてカラーバランスをとることができる。
【００３８】
【発明の実施の形態】
以下、この発明の実施の形態について、図面を参照しながら説明する。
【００３９】
＜第１の実施の形態＞
本発明の第１の実施の形態である画像処理方法は、例えば、図１に示す画像処理装置１により画像を処理する方法である。画像処理装置１は、具体的には、例えばデジタルカメラやビデオカメラ等のカメラである。
画像処理装置１は、この画像処理装置１全体の制御を行う制御部２、被写体を撮影して画像信号（画像撮影出力値）を出力する撮影装置である撮影部３、この撮影部３により撮影された画像を処理する画像処理部４、各種の制御プログラムやデータ等を記憶する記憶部５、外部機器との間で信号を送受信するための外部インターフェース（以下、外部Ｉ／Ｆと略称する）６を備えて構成されている。
【００４０】
記憶部５は、内部記憶装置としてのＲＡＭ（Random Access Memory）や、外部記憶装置としてのハードディスク装置、着脱自在に設けられるフロッピー（登録商標）ディスク等により構成されている。記憶部５には、例えば、画像処理装置１全体の制御プログラムや制御データ、撮影部３により出力された画像信号で構成される画像データ画像処理部４による画像処理を行うための画像処理プログラムや制御データ、画像処理部４の画像処理による画像処理後の画像データ等が記憶されるようになっている。
なお、これらの各種プログラムやデータは、異なる記憶部（ディスク）に記憶されていても良いし、あるいは、同一の記憶部（ディスク）に記憶されていても良く、その記憶形態は特に限定されるものではない。
【００４１】
制御部２は画像処理装置１のメイン処理を行うものであり、具体的には、例えば、撮影部３により撮影された画像の画像データや、画像処理部４の画像処理による画像処理後の画像データを記憶部５に記憶させる処理、記憶部５に記憶されたデータを外部Ｉ／Ｆ６を介して外部機器へ送信する処理、外部機器から外部Ｉ／Ｆ６を介して受信したデータを記憶部５に記憶させる処理等を実行する。
外部Ｉ／Ｆ６は、例えば、ＵＳＢ（Universal Serial Bus）やＳＣＳＩ（Small Computer System Interface）などにより、外部機器との間で画像データや制御データ等の送受信を行うものである。
【００４２】
撮影部３は、例えば、ＣＣＤ（Charge Coupled Device）などの受光素子を備えて構成されている。受光素子は、図示しないレンズを通過して入射した被写体からの光を、積層して配置された各種フィルタ（図示略）を介して受光し、この受光量に応じて、ＲＧＢ（Red-Green-Blue）信号やＣＭＹ（Cyan-Magenta-Yellow）信号等の画像信号を出力するようになっている。積層して配置されるフィルタの例としては、例えば、三板式フィルタや、単板式のモザイクフィルタ等が挙げられる。
【００４３】
画像処理部４は、記憶部５に記憶されている画像処理プログラムに基づいて、撮影部３により出力された画像信号を処理し、標準光源下の色に合うようカラーバランスをとる処理を行う。画像処理部４の内部構成の例を図２に示す。
【００４４】
図２（ａ）に示す例においては、画像処理部４は、三刺激値変換部４１、プライマリ変換部４２、ゲイン調整部４３、プライマリ逆変換部４４、および色変換部４５を備えて構成されている。ここで、三刺激値変換部４１、プライマリ変換部４２、ゲイン調整部４３、およびプライマリ逆変換部４４は、本発明の変換手段（色差最小化変換手段）を構成するものである。
ここで、「プライマリ変換」とは、撮影部３の出力値を別の座標系に変換することを意味しており、「プライマリ逆変換」とは、別の座標系に変換された値を元の座標系に戻すことを意味している。
【００４５】
三刺激値変換部４１は、画像信号を三刺激値へ近似させる三刺激値近似マトリクスＢ（以下、マトリクスＢと略称する）により、撮影部３が出力した画像信号を三刺激値に変換する処理を行う。
なお、図２においては図示を省略しているが、撮影部３のフィルタが単板式である場合には、三刺激値変換部４１により画像信号を変換する前に、画像処理部４により色補間処理が行われるようになっている（この手法については、例えば、特開平１０−１７８６５０号公報等に記載有）。また、三刺激値変換部４１により画像信号を変換する前には、画像処理部４により黒レベル調整が行われるようになっている。
【００４６】
また、プライマリ変換部４２は、三刺激値変換部４１の変換処理により得られた三刺激値を、線形マトリクスであるプライマリ変換マトリクスＡ（後述する。以下、マトリクスＡと略称する）により変換して、仮のＲＧＢ値（本発明の変換後色情報に相当）を算出する処理を行う。
すなわち、三刺激値変換部４１とプライマリ変換部４２は、撮影部３により撮影された画像の色情報である画像信号を変換する色情報変換手段である。
【００４７】
ゲイン調整部４３は、プライマリ変換部４２の変換処理により得られた仮のＲＧＢ値を、対角行列Ｍにより線形変換する処理を行う。ここで、対角行列Ｍは、異種光源下の無彩色が、標準的な光源下の無彩色に合致するよう、ＲＧＢ値をゲイン調整し、これによりホワイトポイントを調整するものである。すなわち、ゲイン調整部４３は、変換後色情報である仮のＲＧＢ値をゲイン調整してホワイトバランスをとるホワイトバランス調整手段である。
ここで、ホワイトポイントは、例えば、画像の総平均をホワイトポイントとする方法や、最大値をホワイトポイントとする方法により検出されるが、ホワイトポイントの検出方法は特にこれらの例に限定されるものではなく、従来より周知の方法を適用可能である。
【００４８】
プライマリ逆変換部４４は、ゲイン調整部４３のゲイン調整処理により得られた仮のＲＧＢ値を、プライマリ変換部４２で用いられるマトリクスＡの逆行列Ａ-1により逆変換して、三刺激値に戻す処理を行う。
色変換部４５は、プライマリ逆変換部４４の逆変換処理により得られた三刺激値を、ＣＲＴ（Cathode Ray Tube）等の出力系のプライマリ（例えば、IEC 61966-2-1で規定されているｓＲＧＢなど）やＹＣＣに変換する処理を行う。
【００４９】
画像処理部４の画像処理により得られた処理後の画像データは、画像処理部４によりＪＰＥＧ等の圧縮形式で画像圧縮された状態で、記憶部５に記憶されるようになっている。
ここで、画像処理装置１に表示装置等の出力部（図示略）が設けられている場合には、上述のように画像圧縮された画像データに基づいて、出力部により画像が出力されるようになっている。また、表示装置等の出力部を備えた外部機器が、外部Ｉ／Ｆ６を介して画像処理装置１と接続され、画像圧縮された画像データを画像処理装置１から外部機器が受信した場合には、受信した画像データに基づいて、外部機器の出力部により画像が出力されるようになっている。
【００５０】
図２（ｂ）に示す例においては、画像処理部４は、図２（ａ）に示す三刺激値変換部４１、プライマリ変換部４２、ゲイン調整部４３、プライマリ逆変換部４４の代わりに、プライマリ変換部４６、ゲイン調整部４７、プライマリ逆変換部４８、三刺激値変換部４９を備えて構成されている。ここで、プライマリ変換部４６、ゲイン調整部４７、およびプライマリ逆変換部４８は、本発明の変換手段を構成するものである。
【００５１】
プライマリ変換部４６（色情報変換部に相当）は、撮影部３が出力した画像信号を、マトリクスＡにより直接プライマリ変換する処理を行う。なお、図２（ａ）と同様に、色補間処理、黒レベル調整については図示を省略している。
また、ゲイン調整部４７（ホワイトバランス調整手段に相当）は、プライマリ変換部４６の変換処理により得られた仮の画像信号を、対角行列Ｍによりゲイン調整する処理を行う。プライマリ逆変換部４８は、ゲイン調整部４７のゲイン調整処理により得られたゲイン調整後の仮の画像信号を、プライマリ変換部４６で用いられるマトリクスＡの逆行列Ａ-1により逆変換する処理を行う。
【００５２】
また、三刺激値変換部４９は、プライマリ逆変換部４８の逆変換処理により得られた処理後の画像信号を三刺激値に変換する処理を行うようになっている。また、図２（ｂ）に示す色変換部４５は、三刺激値変換部４９の変換処理により得られた三刺激値を出力系のプライマリに変換する処理を行うようになっている。
【００５３】
上述のマトリクスＡとマトリクスＢには、最適化処理（後述する）により最適化して求められたデータが用いられる。これらのマトリクスＡ、Ｂは、画像処理データとして予め記憶部５に記憶されている。
以上、図２（ａ）および図２（ｂ）を参照して画像処理部４の内部構成例を二つ説明したが、いずれの構成の画像処理部４の画像処理によっても、最終的に同様の画像データが得られるようになっている。
【００５４】
ここで、画像処理方法の説明をする前に、最適化処理について説明する。最適化処理は、予め選択された各種データに基づき、従来より周知のパーソナルコンピュータ等の演算装置により実行される。
なお、後述する式（１）〜（５）に示される各記号は、それぞれベクトル行列を意味しており、また、転置行列の区別は省略している。
【００５５】
最適化処理においては、予め、最適化に必要な各種データを選択しておく。
まず、画像処理装置１のカラーバランスの目標となる光源の種類を一つ選択して、これを標準光源に設定する。標準光源の例としては、例えば、Ｄ５５（相対色温度５５００Ｋ）、Ｄ６５（６５００Ｋ）などの昼光色や、人工的に作られたシミュレータ光源であるＣ光源などが挙げられる。
【００５６】
また、標準光源以外の種類の光源を一つもしくは複数選択して、これを異種光源に設定する。異種光源としては、撮影部３による撮影に用いられる代表的な光源の種類を選択するのが好ましいが、これに限らず任意の種類の光源を選択可能である。異種光源の例としては、例えば、室内光を想定したＡ光源（タングステン光源）、晴れた日の日陰を想定した黒体放射の光源（色温度７５００〜１００００度程度）、室内の蛍光灯を想定したＦ１〜１２光源などが挙げられる。
【００５７】
また、有彩色を含む色票を選択する。ここで、色票としては、撮影部３の被写体（例えば、人間の肌や、景色など）の色に近似する分光反射率を有するものが望ましいが、これに限らず任意の種類の色票を選択可能である。
色票の例としては、例えば、マクベスカラーチェッカー、マンセル色票（マンセルブック）、CIE13.3で規定される分光反射率色票、SOCS(JIS-TR X 0012、色再現評価用標準物体色分光データベース(SOCS)(1998))で規定される分光反射率色票などが挙げられる。ただし、分光データのみで規定され、実在色票が存在しない色票（上述の分光反射率色票など）は、撮影部３の分光感度が既知である場合にのみ選択可能である。
【００５８】
最適化に必要な各種データを選択した後、次に、標準光源、異種光源、それぞれの光源下において、選択した色票を実際に撮影部３により撮影して得られる画像信号の出力値Ｏ（本発明の撮影出力値に相当）、もしくは、これに相当する値を取得する。
【００５９】
色票として実在色票を選択した場合には、画像処理装置１の撮影部３により実在色票を撮影し、これにより得られた出力値Ｏのデータを、画像処理装置１が外部Ｉ／Ｆ６を介して演算装置に送信し、送信された出力値Ｏのデータを演算装置側で受信する。なお、フィルタが単板式の場合には色補間済の値、また、黒レベル補正済の値を出力値Ｏとする。
【００６０】
分光データで規定された分光反射率色票を色票として選択した場合には、撮影部３の分光感度Ｓiと、光源分光強度Ｌ、色票分光反射率Ｒの各データに基づいて、出力値Ｏに相当する値を演算装置により算出する。
具体的には、例えば、標準光源としてＤ６５を、異種光源としてＡ光源、９３００Ｋの黒体放射分光強度の光源とをそれぞれ選択した場合には、各光源下における出力値Ｏを、下記式（１）によりそれぞれ算出する。ここで、添え字のiは、撮影部３の種類を示している。
【数１】
【００６１】
次に、以上のようにして選択・取得された各種データに基づき、演算装置により各マトリクスＡ、Ｂの最適化を行う。
【００６２】
＜三刺激値近似マトリクスＢの最適化＞
例えば、標準光源としてＤ６５を選択した場合には、標準光源下における色票の三刺激値ＴD65は、等色関数Ｆを用いて、下記式（２）により求められる。
【数２】
【数３】
【００６３】
＜プライマリ変換マトリクスＡの最適化＞
ここでは、画像処理部４が図２（ｂ）に示す内部構成をしている場合に適用するマトリクスＡの最適化処理について説明する。
例えば、標準光源としてＤ６５を、異種光源としてＡ光源と、９３００Ｋの黒体放射分光強度の光源とをそれぞれ選択した場合には、色恒常予測誤差Ｅmcciは、下記式（４）により表される。ここで、色恒常予測誤差Ｅmcciは、標準光源下における色票のＬ*ａ*ｂ*値（標準光源下色情報）と、異種光源下における色票の出力値Ｏをプライマリ変換部４６、ゲイン調整部４７、プライマリ逆変換部４８、及び三刺激値変換部４９により変換して得られるＬ*ａ*ｂ*値（異種光源下色情報）と、の色差を示している。また、下記式（４）は、それぞれの異種光源について同じ重み付けをした場合の例を示している。
【数４】
【００６４】
なお、色恒常予測誤差Ｅmcciは、異種光源の種類をｊ、異種光源の種類の数をＮ、任意の重み平均をｗとすると、下記式（５）により一般化できる。
【数５】
【００６５】
次に、上述の画像処理装置１により画像を処理する画像処理方法について説明する。ここでは、画像処理部４が図２（ａ）に示す内部構成をしている場合における画像処理を説明する。
【００６６】
まず、撮影部３が、被写体の光を、レンズ、フィルタを介して、受光素子により受光し、このときの受光量に基づき画像信号を出力する。フィルタが単板式の場合には、画像処理部４が画像信号の色補間処理を行い、また、黒レベル調整処理を行う。
【００６７】
次に、画像処理部４の三刺激値変換部４１が、最適化されたマトリクスＢにより画像信号を変換して、三刺激値を算出する。次に、プライマリ変換部４２が、三刺激値変換部４１により算出された三刺激値を、最適化されたマトリクスＡにより変換して、仮のＲＧＢ値を算出する。
【００６８】
次に、ゲイン調整部４３が、プライマリ変換部４２により算出された仮のＲＧＢ値を対角行列Ｍによりゲイン調整して、標準光源下の無彩色に合致するようホワイトバランスをとる。次に、プライマリ逆変換部４４が、ゲイン調整部４３にのゲイン調整処理により得られた変換後の仮のＲＧＢ値を、最適化されたマトリクスＡの逆行列Ａ-1により逆変換して、三刺激値に戻す。
【００６９】
次に、色変換部４５が、プライマリ逆変換部４４の逆変換処理により得られた三刺激値を、出力系のプライマリに変換する。次に、以上のようにして画像処理部４により処理された処理後の画像データを画像圧縮し、記憶部５に記憶する。
【００７０】
以上のように、本発明の第１の実施の形態の画像処理方法、およびこの画像処理方法の実施に使用する画像処理装置１によれば、有彩色を含む色票の異種光源下における出力値Ｏ、もしくはこれに相当する値を、前記色票の標準光源下における色合いに合うように変換できるよう最適化されたプライマリ変換マトリクスＡを用いて、撮影画像の画像信号が、図２（ａ）に示す三刺激値変換部４１、プライマリ変換部４２、ゲイン調整部４３、プライマリ逆変換部４４（もしくは、図２（ｂ）に示すプライマリ変換部４６、ゲイン調整部４７、プライマリ逆変換部４８）により変換される。
これにより、撮影部３により撮影された画像が、まるで標準光源下で撮影したかのような色合いになるよう、カラーバランスがとられることになる。したがって、第１の実施の形態の画像処理方法、画像処理装置１により、色恒常の考えに基づいて、画像のカラーバランスをとることができる。
【００７１】
また、撮影部３の分光感度に基づいて決まる撮影部３の出力値Ｏ、もしくはこれに相当する値に基づいてマトリクスＡを最適化し、このマトリクスＡを用いて画像データを処理するので、撮影部３そのもの分光特性、すなわち、撮影部３の分光感度に適応した画像処理を行うことができる。
【００７２】
また、マトリクスＡとして、色恒常予測誤差が最小化されるように最適化されたものを用いるので、撮影部３により撮影された画像の画像信号が、標準光源下における色合いとの色差が最小化されるように変換されることになる。したがって、色恒常の考えに基づく画像処理を高い精度で行うことができる。
【００７３】
また、画像データの変換処理は、最適化されたマトリクスＡと対角行列Ｍ（ゲイン調整）を用いて行われるので、これにより、撮影部３による撮影時の光源の種類に関わらず、適切なカラーバランス調整を行うことが可能となる。よって、撮影時の光源ごとにマトリクスＡを設定しなくても、撮影時の光源の色温度の変化に対応した画像処理を行うことができる。
【００７４】
また、最適化処理において、色票に実在色票を選択した場合には、撮影部３により実在色票を撮影して、これにより得られた出力値Ｏを用いてマトリクスＡの最適化が行われる。また、分光データで規定された分光反射率色票を色票として選択した場合には、撮影部３の分光感度に基づき前記出力値Ｏに相当する値を演算装置により算出して、これに基づいてマトリクスＡの最適化が行われる。
したがって、実在色票を選択した場合には、分光反射率色票を選択した場合と異なり、撮影部３の分光感度を測定する必要がなく、また、出力値Ｏに相当する値を算出する処理を行う必要がない。よって、分光データで規定された分光反射率色票を選択した場合に比べ、マトリクスＡの最適化処理をより容易に行うことができる。
【００７５】
また、画像処理部４にはゲイン調整部４３・４７が設けられているので、プライマリ変換部４２・４６の変換処理により得られた仮のＲＧＢ値のホワイトバランスが調整される。したがって、画像処理部４により、画像のホワイトバランスをとることができる。
また、ホワイトバランス調整はゲイン調整により行われるので、複雑な処理を施すことなく、容易に画像のホワイトバランスをとることができる。
【００７６】
また、画像処理部４の三刺激値変換部４１・４９、プライマリ変換部４２・４６、ゲイン調整部４３・４７、プライマリ逆変換部４４・４８は、線形マトリクスにより画像信号を線形変換してデータ処理を行う構成となっているので、画像処理において複雑な演算処理等を必要とせず、容易に画像信号の変換処理を行うことができる。
【００７７】
なお、第１の実施の形態においては、異種光源としてタングステン光源、高色温度光源（９３００Ｋの黒体放射）を選択し、同じ重み付けをして式（４）によりマトリクスＡを最適化する場合の例を説明したが、これに限らず、式（５）により、代表的な蛍光灯光源などを含めて適当に重み付けして、マトリクスＡを最適化するものとしても良い。
【００７８】
また、撮影部３を備える画像処理装置１に対してマトリクスＡを一つだけ設定する場合に限らず、標準光源よりも低色温度の異種光源、高色温度の異種光源について、それぞれ重み平均を変化させた場合に最適化して得られる複数のマトリクスＡや、一部の演色性の低い蛍光灯（例えば、Ｆ２光源）のみを異種光源に設定して最適化されたマトリクスＡ等、複数種類のマトリクスＡを記憶部５に記憶させておき、撮影環境によって画像処理に用いるマトリクスＡを切り替える構成としても良い。
このとき、例えば、フリッカーや輝線を検出したり、ストロボやカバーなどの装置の取り付けを検出したり、特定の色票の彩度や色相を認識したりすることによって、撮影時の光源を判断をする光源判定手段や、撮影時の光源をマニュアルで入力する入力部などを画像処理装置１に設ける構成としてもよい。この構成とすれば、検出あるいは入力された撮影時の光源の種類に基づいて、自動的にマトリクスＡを切り替えて、撮影時の環境に合った適切な画像処理を行うことができる。
また、撮影時の光源の種類を判断して、これに基づいて適宜重み平均してマトリクスＡを算出し直し、算出し直したマトリクスＡに基づいて画像処理を行う構成としても良い。
【００７９】
また、画像処理部４の内部構成例を図２に二つ示したが、撮影部３が４色以上の分光感度を持つ場合には、図２（ｂ）に示す内部構成の方がより好ましい。
例えば、撮影部３のセンサ（受光素子）がＮ種類（ch１〜chＮ）まで存在し、画像処理部４の内部構成が図２（ｂ）に示す構成である場合には、画像処理装置１により以下の（１）〜（６）の処理が行われる。
（１）センサch１〜chＮにより、image１〜imageＮの画像を取得する。
（２）プライマリ変換部４６により、Ｎ×Ｎの最適化マトリクスＡを用いて、適切なプライマリに変換する。
（３）（２）の処理により得られたimage１'〜imageＮ'に基づき、白色点（分光反射率が一定の被写体（グレー）に対する画像値）を検出し、この値をＷ１〜ＷＮとする。なお、これに限らず、例えば、被写体を撮影するセンサとは別のセンサを設け、このセンサにより照明光を直接測定し、このときの出力値に基づいてＷ１〜ＷＮを算出しても良い。
（４）ゲイン調整部４７により、Ｎ×Ｎの対角行列ＭであるＤＭＴ（diagonal matrix transform）を用いて、標準光源下で撮影されるときのバランスになるよう、画像データをゲイン調整する。
（５）プライマリ逆変換部４８により、（４）で得られた結果を逆プライマリ変換する。
（６）三刺激値変換部４９により、（５）で得られた結果を三刺激値へ最適化する。
なお、上述の（１）〜（６）の処理は、照明光成分を取り除いて、物体の分光反射率を計測する処理を行うのと略同様の処理である。
【００８０】
上述のように、処理（４）においては、Ｎ×Ｎの対角行列Ｍによりゲイン調整が行われる。これに対し、図２（ａ）に示す内部構成の場合には、撮影部３が４色以上の分光感度を持っていたとしても、三刺激値変換部４１により三つのパラメータに変換されてしまうため、３×３の対角行列Ｍによりゲイン調整が行われる。
したがって、図２（ａ）に示す内部構成に比べ、図２（ｂ）に示す内部構成の方が、より対角行列Ｍで調整できる範囲が広がり、より高精度なホワイトバランス調整を行うことができる。
【００８１】
また、本発明の「色情報」は、色を特定するための情報全般を意味し、具体的には、例えば、上述した出力値Ｏ、三刺激値Ｔ、Ｌ*ａ*ｂ*値などが挙げられるが、これらの例に限らず、例えば、他の表色系の刺激値等を用いても良い。
【００８３】
また、画像処理装置１は、デジタルカメラ等のカメラであるものとしたが、撮影された画像を処理する装置であれば特にカメラに限定されるものではない。また、撮影部３を画像処理装置１に設けずに、他の装置に設ける構成としても良い。具体的には、例えば、撮影部３を、画像処理を行わないデジタルカメラに設け、画像処理装置１の画像処理部４を、パーソナルコンピュータなどに設ける構成としても良い。
その他、画像処理装置１の構成、画像処理方法の各処理の内容を、本発明の特許請求の範囲内で適宜変更しても良いのは勿論である。
【００８４】
［実施例１］
次に、上述の最適化処理の実施例について説明する。
図３（ａ）のグラフに示す分光感度を有するデジタルカメラ（以下、感度Ａのカメラと略称する）と、図３（ｂ）のグラフに示す分光感度を有するテレビカメラ（以下、感度Ｂのカメラと略称する）と、について、最適化処理を行った。
【００８５】
最適化処理においては、標準光源として、図４のグラフに示す光源のうち、Ｄ６５を選択した。また、異種光源として、図４のグラフに示す光源のうち、Ａ（Ａ光源）と、Ｌ９３００（９３００Ｋの黒体放射）を選択した。また、色票として、図５のグラフに示すマクベスカラーチェッカーを選択した。
【００８６】
次に、Ｄ６５光源、Ａ光源、および９３００Ｋの黒体放射の各光源下で、感度Ａのカメラ、および感度Ｂのカメラにより、それぞれマクベスカラーチェッカーの実在色票を撮影し、出力値Ｏを得た。この出力値Ｏを用いて、測色色再現誤差Ｅcolを最小化するよう、式（２）、式（３）に基づき、三刺激値近似マトリクスＢを最適化した。また、色恒常予測誤差Ｅmcciを最小化するよう、式（２）、式（４）に基づき、プライマリ変換マトリクスＡを最適化した。
【００８７】
以上の最適化処理の結果により、画像信号の変換に用いられる各線形変換係数が得られた。以下に、一例として、感度Ｂのカメラの画像信号を変換する線形変換式（６）〜（９）を示す。
下記式（６）は、最適化されたマトリクスＡにより画像信号（ch1〜ch3）を変換する式である。
【数６】
下記式（７）は、式（６）により得られたプライマリ変換後の画像信号（ch1'〜ch3'）を、対角行列Ｍによりゲイン調整する式である。ここで、式（６）内に示す対角行列は、Ａ光源からＤ６５光源のホワイトポイントに合致させるための対角行列Ｍである。
【数７】
下記式（８）は、式（７）により得られたゲイン調整後の画像信号（ch1''〜ch3''）を、最適化されたマトリクスＡの逆行列Ａ-1により逆変換する式である。
【数８】
下記式（９）は、式（８）により得られた逆変換後の画像信号（ch1'''〜ch3'''）を、最適化されたマトリクスＢにより三刺激値に変換する式である。
【数９】
また、最適化処理の結果に基づき、図３（ａ）、（ｂ）のグラフに示す各カメラの分光感度をプライマリ変換し、最適化された分光感度を求めた。この結果をそれぞれ図６（ａ）、（ｂ）に示す。
【００９２】
＜第２の実施の形態＞
本発明の第２の実施の形態である撮影装置評価方法は、画像処理装置１の撮影部３を、（１）測色色再現誤差、（２）最小化色恒常予測誤差、および（３）ノイズ量に基づいて評価する方法である。本発明は、特に（２）最小化色恒常予測誤差に基づいて撮影部３を評価する点を特徴としている。
まず、評価対象となる撮影部３について、測色色再現誤差、最小化色恒常予測誤差、ノイズ量をそれぞれ演算装置等により算出する。
【００９３】
（１）測色色再現誤差
第１の実施の形態で記述した三刺激値近似マトリクスＢの最適化処理により、最小化された測色色再現誤差Ｅcolを算出する。
（２）最小化色恒常予測誤差
第１の実施の形態で記述したプライマリ変換マトリクスＡの最適化処理により、最小化された色恒常予測誤差Ｅmcci（最小化色恒常予測誤差）を算出する。
（３）ノイズ量
Ｌ*＝５０に相当する入力値（０．１８４）に対して、各色微少範囲振れ、各色±ａだけ動いたときのＬ*ａ*ｂ*の標準偏差（計８点）を、Ｌ*、ａ*、ｂ*の各方向について計算し、このＲＭＳ（Root mean square）をノイズ量とする。
ここで、ａの値としては、入力最大値を１としたとき、例えば、０．００５を用いる。
また、ノイズ量は、Estevez-Hunt-Pointerプライマリを１００％としたときの比率で示す。Estevez-Hunt-Pointerプライマリを基準としたのは、これが人間の目の錐体感度に近いと考えられるためである。
上述のようにして算出された測色色再現誤差、最小化色恒常予測誤差、およびノイズ量に基づいて、撮影部３を評価する。
【００９４】
以上のように、第２の実施の形態の撮影装置評価方法によれば、上述の測色色再現誤差、最小化色恒常予測誤差、およびノイズ量に基づいて撮影部３を評価するので、この評価結果により、測色色再現誤差、最小化色恒常予測誤差、ノイズ量が小さい撮影部３ほど、より高い精度で画像処理できる、と判断できる。よって、評価結果に基づき撮影部３を取捨選択することができる。
ここで、測色色再現誤差による評価結果と、色恒常予測誤差による評価結果は、相反する場合がある。このとき、評価結果に基づいて、色恒常予測誤差が最小である撮影部３を選択すると、色恒常の考えに基づき、より高い精度のカラーバランス調整を行うことができる。
【００９５】
なお、第２の実施の形態においては、測色色再現誤差、最小化色恒常予測誤差、ノイズ量の三つの値をそれぞれ算出し、これらの算出値を比較するものとしたが、必ずしも三つの値全てを算出する必要はない。少なくとも最小化色恒常予測誤差を算出して、この算出値を比較すれば、色恒常の考えに基づく画像処理を行う際に適切な撮影部３はどれか、を知ることができる。
【００９６】
［実施例２］
上述の実施例１の最適化処理の結果に基づいて、感度Ａのカメラ、感度Ｂのカメラについて、それぞれ測色色再現誤差、最小化色恒常予測誤差、およびノイズ量を算出した。また、比較例として、図７（ａ）のグラフに示す錐体の分光感度（Estevez-Hunt-Pointerプライマリ）についても実施例１と同様の最適化処理を行い、測色色再現誤差、最小化色恒常予測誤差、ノイズ量を算出した。なお、図７（ｂ）は、錐体の分光感度をプライマリ変換して最適化した分光感度を示すグラフである。
【００９７】
また、参考例として、感度Ａのカメラ、感度Ｂのカメラ、および錐体の分光感度それぞれについて、最適化されていないそのままの分光感度によるプライマリでカラーバランス（ホワイトバランス）をとった場合の色恒常予測誤差を算出した。具体的には、マトリクスＡを単位行列とした場合の色恒常予測誤差を、上記式（４）に基づいて算出した。
【００９８】
図８に、算出結果を示す。分光感度を最適化しない場合に得られた色恒常予測誤差（参考）に対する、分光感度を最適化した場合に得られた最小化色恒常予測誤差の比率は、感度Ａのカメラでは６６％、感度Ｂのカメラでは６０％である。このことから、感度Ｂのカメラの方が、感度Ａのカメラに比べ、第１の実施の形態の画像処理方法によって異種光源下の色から標準光源下の色ををより高精度で再現でき、より高精度で画像のカラーバランスをとれる、ということがわかる。
【００９９】
また、感度Ａのカメラ、感度Ｂのカメラについて、測色色再現誤差、ノイズ比を比較すると、いずれも感度Ｂのカメラの方が低い値を示している。したがって、感度Ａのカメラよりも、感度Ｂのカメラを選択した方が、より高精度の画像処理を行える、と判断できる。
【０１００】
＜第３の実施の形態＞
本発明の第３の実施の形態である画像情報保存方法は、画像処理システム（図示略）を構成する画像処理装置１により、画像データを保存する方法である。画像処理システムは、第１の実施の形態の画像処理装置１（第１の画像処理装置）と、外部機器（第２の画像処理装置）と、画像処理装置１と外部機器との間で情報をやりとりするための伝送媒体と、を備えて構成されている。
【０１０１】
ここで、画像処理装置１の制御部２は、画像処理部４により画像圧縮された画像データ（本発明の処理後画像情報に相当）を、例えば、図９に示すファイル構造７（本発明の画像データファイルにおけるデータ構造に相当）のフォーマットで記憶部５（本発明の情報保存手段に相当）に記憶させるようになっている。
ファイル構造７は、ファイルヘッダ部７１、画像データに関する共通な情報を記憶するメタデータ部７２、画像データそのものを記憶する画像データ記憶部７３（本発明の第１のデータ領域に相当）を備えて構成されている。メタデータ部７２には変換データ記憶部７２ａ（本発明の第２のデータ領域に相当）が設けられており、変換データ記憶部７２ａには、最適化されたプライマリ変換マトリクスＡのデータや、画像撮影時における撮影部３の分光感度のデータなど（本発明の変換情報に相当）が記憶されるようになっている。
また、制御部２は、記憶部５に記憶されたファイル構造７に含まれるデータ全てを、一緒に外部機器へ伝送媒体を介して送信できるようになっている。
【０１０２】
また、画像処理システムを構成する外部機器には、第１の実施の形態の画像処理部４と同様の構成の画像処理部が設けられている。また、外部機器には、画像処理部により画像処理を行うための画像処理プログラムや画像処理データ等を記憶する記憶部が設けられている。
また、前記伝送媒体は、例えば、ケーブルや、ＬＡＮ（Local Area Network）、電話回線、インターネット等から構成されるものである。
【０１０３】
上記の画像処理装置１による画像情報保存方法について、説明する。第１の実施の形態で述べたようにして画像処理部４による画像処理が施された後、制御部２は、圧縮された画像データを、図９に示すファイル構造７のフォーマットで記憶させる。このとき、記憶部５に予め記憶されている、最適化されたマトリクスＡのデータや、画像撮影時における撮影部３の分光感度のデータを、変換データ記憶部７２ａに記憶させる。
【０１０４】
次に、外部機器が画像処理装置１からファイル構造７のデータを伝送媒体を介して受信した場合に、外部機器により行う画像処理方法について、説明する。
外部機器は、画像処理装置１から受信したファイル構造７の変換データ記憶部７２ａから、マトリクスＡのデータを読み出す。次に、このマトリクスＡのデータに基づき、外部機器の画像処理部が、ファイル構造７に含まれる処理後の画像データを逆変換して、ゲイン調整処理後のデータを算出する。具体的には、色変換部４５の変換処理の逆変換と、プライマリ逆変換部４４の変換処理の逆変換（または三刺激値変換部４９の変換処理の逆変換、およびプライマリ逆変換部４８の変換処理の逆変換）を行う。
次に、得られたゲイン調整後のデータを、ゲイン調整部４３（またはゲイン調整部４７）によりゲイン調整して、ホワイトバランスをとりなおす。その後、プライマリ逆変換部４４（または三刺激値変換部４９とプライマリ逆変換部４８）と、色変換部４５により、ホワイトバランスを取り直した画像データの変換処理を行う。
【０１０５】
もしくは、外部機器は、画像処理装置１から受信したファイル構造７の変換データ記憶部７２ａから、撮影部３の分光感度のデータを読み出す。次に、この分光感度のデータに基づき、外部機器において第１の実施の形態で記述したマトリクスＡの最適化処理を行う。次に、マトリクスＡが変換データ記憶部７２ａに記憶されている場合と同様にして、最適化処理により算出したマトリクスＡに基づいて、画像データの逆変換、ホワイトバランス調整、および変換処理を行う。
【０１０６】
以上のように、第３の実施の形態の画像情報保存方法、画像処理装置１、画像処理システム、およびファイル構造７によれば、外部機器において、変換データ記憶部７２ａに記憶されたマトリクスＡや分光感度のデータを読みとり、このデータに基づき、画像圧縮された画像データを、色恒常を最適化して再処理することができる。
特に、画像処理装置１側で自動的にホワイトバランスを調整している場合には、処理後の画像に誤差が含まれている可能性がある。このような場合に、外部機器において再度ホワイトバランスをとることができるので、より高画質化された画像を得ることができる。
【０１０７】
また、変換データ記憶部７２ａにマトリクスＡや分光感度のデータが記憶されているので、最小限の明確な情報に基づき、画像データを再処理できる。よって、画像データを再処理する際の演算処理にかかる負担を軽減できる。また、ファイル構造７全体のデータ量を少なく抑えることができる。
【０１０８】
なお、第３の実施の形態において、ファイル構造７の画像データ記憶部７３に記憶させる画像データを、出力段で使われるビット数（例えば、８ビット）を上回るビット数（例えば、１０〜１６ビット）を持つように構成すれば、再計算によるビット落ちを避けることができる。
【０１０９】
また、画像データ記憶部７３に画像処理後の画像データを記憶させる構成としたが、これに限らず、画像データ記憶部７３に、撮影部３による撮影によって得られた画像信号の生データや、この生データを三刺激値に変換したデータなどの画像処理前のデータ（本発明の撮影画像情報に相当）を記憶させる構成としてもよい。この場合には、外部機器の画像処理部により、変換データ記憶部７２ａに記憶されたマトリクスＡや撮影部３の分光感度のデータに基づいて、画像処理前のデータを処理して、色恒常の考えに基づくカラーバランス調整を行える。
【０１１０】
また、変換データ記憶部７２ａにはマトリクスＡや撮影部３の分光感度のデータが記憶されるものとしたが、これに限らず、例えば、マトリクスＡや分光感度のデータをインターネット上の任意の場所に予め記憶しておき、この居所を示すデータ（本発明の居所情報に相当。具体的には、例えば、ＵＲＬ（Uniform Resource Locator）など）を変換データ記憶部７２ａに記憶させておく構成としてもよい。
この構成とすれば、外部機器側において、居所データに基づきマトリクスＡや分光感度のデータを探し当てることができるので、探し当てたデータに基づいて画像データの変換処理や、処理後の画像データの再変換処理を行える。
【０１１１】
また、画像処理装置１側において、画像データのファイル構造７が記憶されている記憶部５が、例えば、フロッピー（登録商標）ディスクなどの着脱可能な記憶媒体である場合には、この着脱可能な記憶媒体を外部機器に装着し、外部機器において記憶媒体からファイル構造７のデータを読みとって、読みとったデータに基づき画像処理を行うことができる。なお、この場合には、外部機器は、必ずしも伝送媒体を介して画像処理装置１と接続されている必要はない。
【０１１２】
また、第３の実施の形態における画像処理装置１は、必ずしも画像処理部４を備えている必要はない。これは、外部機器側において、最適化されたマトリクスＡを用いて、色恒常の考えに基づきカラーバランスをとることができるためである。
【０１１３】
【発明の効果】
請求項１、４記載の発明によれば、変換手段により、異種光源下色情報を標準光源下色情報に合わせるようにして、撮影装置により撮影された画像の色情報が変換される。したがって、画像の色合いが、まるで標準光源下で撮影したかのような色合いになるよう、カラーバランスをとることができる。すなわち、色恒常の考えに基づいて、画像のカラーバランスをとることができる。
【０１１６】
請求項２記載の発明によれば、色情報が線形マトリクスにより変換されるので、色情報の変換処理において複雑な演算処理等を必要とせず、容易に色情報を変換できる。
【０１１７】
請求項５記載の発明によれば、撮影装置の評価結果により、どの撮影装置を用いれば、色恒常の考えに基づく画像処理をより高い精度で行えるか、を知ることができる。よって、撮影装置の評価結果に基づき撮影装置を取捨選択して、色恒常の考えに基づき、より高い精度のカラーバランス調整を行え、また、好ましい撮影システムを選定できる。
【０１１８】
請求項６、９記載の発明によれば、画像情報とともに保存されている変換情報や居所情報に基づき、変換手段による色情報の変換方法を特定でき、特定した色情報の変換方法に従って、撮影画像情報の色情報を変換したり、処理後画像情報から変換前の画像情報を求めて、変換前の画像情報の色情報を再度変換したりすることができる。よって、撮影した画像や、画像処理後の画像について、色恒常の考えに基づいてカラーバランスをとることができる。
【０１１９】
請求項７記載の発明によれば、変換手段による色情報の変換方法を、撮影装置の分光感度や線形マトリクスの情報に基づいて特定できるので、最小限の明確な情報に基づき、撮影した画像や、画像処理後の画像について、カラーバランスをとる処理を容易に行うことができる。
請求項８記載の発明によれば、変換手段による色情報の変換方法が、撮影装置の分光感度や線形マトリクスの情報に基づいて特定され、この変換方法に従って、撮影画像情報、および処理後画像情報のうちの少なくとも一方の画像情報の色情報が変換される。よって、最小限の明確な情報に基づき、撮影した画像や、画像処理後の画像について、カラーバランスをとる処理を容易に行うことができる。
【０１２０】
請求項１０記載の発明によれば、画像情報とともに送信される変換情報や居所情報に基づき、変換手段による色情報の変換方法を特定でき、特定した色情報の変換方法に従って、撮影画像情報の色情報を変換したり、処理後画像情報から変換前の画像情報を求めて、変換前の画像情報の色情報を再度変換したりすることができる。よって、撮影した画像や、画像処理後の画像について、色恒常の考えに基づいてカラーバランスをとることができる。
【図面の簡単な説明】
【図１】第１の実施の形態の画像処理装置の構成を示す概略ブロック図である。
【図２】図１中の画像処理部の内部構成例を示す概略図である。
【図３】（ａ）は、実施例１の最適化処理に用いた感度Ａのカメラの分光感度を示すグラフであり、（ｂ）は、実施例１の最適化処理に用いた感度Ｂのカメラの分光感度を示すグラフである。
【図４】実施例１の最適化処理において選択した光源の分光分布を示すグラフである。
【図５】実施例１の最適化処理において選択したマクベスカラーチェッカーの分光反射率を示すグラフである。
【図６】（ａ）は、図３（ａ）に示す分光感度の最適化結果を示すグラフであり、（ｂ）は、図３（ｂ）に示す分光感度の最適化結果を示すグラフである。
【図７】（ａ）は、実施例２において比較例として用いた錐体の分光感度を示すグラフであり、（ｂ）は、（ａ）に示す分光感度の最適化結果を示すグラフである。
【図８】実施例２の算出結果を示す表である。
【図９】第３の実施の形態の画像保存方法により保存される画像データのファイル構造を示す概念図である。
【符号の説明】
１ 画像処理装置（第１の画像処理装置）
３ 撮影部（撮影装置）
５ 記憶部（情報保存手段）
７ ファイル構造（画像データファイルにおけるデータ構造）
４１ 三刺激値変換部（変換手段、色差最小化変換手段、色情報変換手段）
４２、４６ プライマリ変換部（変換手段、色差最小化変換手段、色情報変換手段）
４３、４７ ゲイン調整部（変換手段、色差最小化変換手段、ホワイトバランス調整手段）
４４、４８ プライマリ逆変換部（変換手段、色差最小化変換手段）
７２ａ 変換データ記憶部（第２のデータ領域）
７３ 画像データ記憶部（第１のデータ領域）
Claims (10)
- 撮影装置により撮影された画像を処理してカラーバランスをとる画像処理方法であって、
前記撮影装置の分光感度に関わる情報に基づいて得られる、標準光源とは異なる種類の複数の異種光源下における有彩色を含む色票の色情報である異種光源下色情報を、前記色票の標準光源下における色情報である標準光源下色情報に合わせるように変換可能な変換手段により、前記画像の色情報を変換するものであり、
前記変換手段による変換処理は、色情報を変換するプライマリ変換処理と、前記プライマリ変換処理によって得られた変換後色情報を直接ゲイン調整してホワイトバランスを調整するゲイン調整処理と、を含み、
前記プライマリ変換処理に用いるマトリクスは、前記複数の種類の異種光源について、前記標準光源下色情報と、前記複数の種類の異種光源それぞれの異種光源下において前記撮影装置により前記色票を撮影して得られた撮影出力値に対して前記変換手段による変換処理を施して得られた色情報と、の色差を重み付け平均した値である色恒常予測誤差が最小となるように、繰り返し演算処理を行うことで最適化されたものであることを特徴とする画像処理方法。 - 前記プライマリ変換処理に用いるマトリクスは、線形マトリクスであることを特徴とする請求項１記載の画像処理方法。
- 前記プライマリ変換処理は、前記撮影装置により得られた撮影出力値を直接変換するものであることを特徴とする請求項１または２に記載の画像処理方法。
- 撮影装置により撮影された画像を処理してカラーバランスをとる画像処理装置であって、
前記撮影装置の分光感度に関わる情報に基づいて得られる、標準光源とは異なる種類の複数の異種光源下における有彩色を含む色票の色情報である異種光源下色情報を、前記色票の標準光源下における色情報である標準光源下色情報に合わせるように変換可能な変換手段を備え、
この変換手段により、前記画像の色情報を変換するものであり、
前記変換手段による変換処理は、色情報を変換するプライマリ変換処理と、前記プライマリ変換処理によって得られた変換後色情報を直接ゲイン調整してホワイトバランスを調整するゲイン調整処理と、を含み、
前記プライマリ変換処理に用いるマトリクスは、前記複数の種類の異種光源について、前記標準光源下色情報と、前記複数の種類の異種光源それぞれの異種光源下において前記撮影装置により前記色票を撮影して得られた撮影出力値に対して前記変換手段による変換処理を施して得られた色情報と、の色差を重み付け平均した値である色恒常予測誤差が最小となるように、繰り返し演算処理を行うことで最適化されたものであることを特徴とする画像処理装置。 - 請求項１記載の画像処理方法によって画像を処理する場合に用いる撮影装置を評価する撮影装置評価方法であって、
前記プライマリ変換処理に用いるマトリクスの最適化により最小化された色恒常予測誤差に基づいて、前記撮影装置を評価することを特徴とする撮影装置評価方法。 - 請求項１〜３のいずれかに記載の画像処理方法によって画像を処理する場合に画像情報を保存する画像情報保存方法であって、
前記撮影装置の撮影により得られた撮影画像情報と、前記画像処理方法により画像を処理して得られた処理後画像情報と、のうちの少なくとも一方の画像情報とともに、前記変換手段による色情報の変換方法を特定可能な変換情報と、この変換情報の居所を示す居所情報と、のうちの少なくとも一方の情報を保存することを特徴とする画像情報保存方法。 - 前記プライマリ変換処理に用いるマトリクスは、線形マトリクスであり、
前記変換手段による色情報の変換方法を特定可能な変換情報は、前記撮影装置の分光感度と、前記線形マトリクスと、のうちの少なくとも一方の情報であることを特徴とする請求項６記載の画像情報保存方法。 - 請求項７記載の画像情報保存方法により保存された画像情報を処理する画像処理方法であって、
前記画像情報保存方法により保存された変換情報、および、居所情報に基づき探し当てられた変換情報、のうちの少なくとも一方の変換情報に含まれる、分光感度、および、線形マトリクスの少なくとも一方の情報に基づいて、前記変換手段による色情報の変換方法を特定し、
特定した色情報の変換方法に従って、前記画像情報保存方法により保存された撮影画像情報、および、処理後画像情報、のうちの少なくとも一方の画像情報の色情報を変換することを特徴とする画像処理方法。 - 請求項１〜３のいずれかに記載の画像処理方法によって画像を処理する画像処理装置であって、
前記撮影装置の撮影により得られた撮影画像情報と、前記画像処理方法により画像を処理して得られた処理後画像情報と、のうちの少なくとも一方の画像情報とともに、前記変換手段による色情報の変換方法を特定可能な変換情報と、この変換情報の居所を示す居所情報と、のうちの少なくとも一方の情報を保存する情報保存手段を備えることを特徴とする画像処理装置。 - 請求項６または７記載の画像情報保存方法により画像情報が保存される情報保存手段を備える第１の画像処理装置と、請求項１〜３のいずれかに記載の画像処理方法によって画像を処理可能な第２の画像処理装置と、前記第１の画像処理装置と前記第２の画像処理装置との間で情報をやりとりするための伝送媒体と、を備え、
前記情報保存手段に保存された撮影画像情報と処理後画像情報とのうちの少なくとも一方の画像情報とともに、前記情報保存手段に前記画像情報とともに保存された変換情報と居所情報とのうちの少なくとも一方の情報を、前記伝送媒体を介して、前記第１の画像処理装置から、前記第２の画像処理装置へ送信することを特徴とする画像処理システム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001292201A JP4677699B2 (ja) | 2001-09-25 | 2001-09-25 | 画像処理方法、画像処理装置、撮影装置評価方法、画像情報保存方法および画像処理システム |
| US10/245,748 US20030164828A1 (en) | 2001-09-25 | 2002-09-17 | Image processing method, apparatus and system, evaluation method for photographing apparatus, image data storage method, and data structure of image data file |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001292201A JP4677699B2 (ja) | 2001-09-25 | 2001-09-25 | 画像処理方法、画像処理装置、撮影装置評価方法、画像情報保存方法および画像処理システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003102031A JP2003102031A (ja) | 2003-04-04 |
| JP4677699B2 true JP4677699B2 (ja) | 2011-04-27 |
Family
ID=19114212
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001292201A Expired - Fee Related JP4677699B2 (ja) | 2001-09-25 | 2001-09-25 | 画像処理方法、画像処理装置、撮影装置評価方法、画像情報保存方法および画像処理システム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20030164828A1 (ja) |
| JP (1) | JP4677699B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20250054204A1 (en) * | 2021-10-01 | 2025-02-13 | Dolby Laboratories Licensing Corporation | Encoding and decoding multiple-intent images and video using metadata |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4251317B2 (ja) * | 2003-06-23 | 2009-04-08 | 株式会社ニコン | 撮像装置および画像処理プログラム |
| JP4197276B2 (ja) | 2003-07-16 | 2008-12-17 | シャープ株式会社 | 画像処理装置、画像読取装置、画像形成装置、および画像処理方法 |
| US7724949B2 (en) * | 2004-06-10 | 2010-05-25 | Qualcomm Incorporated | Advanced chroma enhancement |
| US7286703B2 (en) * | 2004-09-30 | 2007-10-23 | Fujifilm Corporation | Image correction apparatus, method and program |
| JP4290136B2 (ja) | 2005-03-14 | 2009-07-01 | キヤノン株式会社 | 色処理装置およびその方法 |
| JP2008067308A (ja) * | 2006-09-11 | 2008-03-21 | Fuji Xerox Co Ltd | 色処理装置、色処理方法およびプログラム |
| GB2447247B (en) * | 2007-03-07 | 2011-11-23 | Aurora Comp Services Ltd | Adaptive colour correction,exposure and gain control for area specific imaging in biometric applications |
| WO2009144896A1 (ja) * | 2008-05-27 | 2009-12-03 | シャープ株式会社 | 信号変換回路およびそれを備えた多原色液晶表示装置 |
| EP3001668A1 (en) | 2014-09-24 | 2016-03-30 | Thomson Licensing | Method for compensating for color differences between different images of a same scene |
| WO2015086530A1 (en) | 2013-12-10 | 2015-06-18 | Thomson Licensing | Method for compensating for color differences between different images of a same scene |
| JP2015179915A (ja) * | 2014-03-19 | 2015-10-08 | 有限会社パパラボ | 色忠実シミュレーション装置および色忠実シミュレーション方法 |
| JP6257551B2 (ja) * | 2015-03-31 | 2018-01-10 | 有限会社パパラボ | 色忠実環境補正装置および色忠実環境補正方法 |
| JP2019020311A (ja) * | 2017-07-20 | 2019-02-07 | 株式会社パパラボ | 色彩測定方法及び色彩測定装置 |
| JP6668298B2 (ja) * | 2017-08-30 | 2020-03-18 | 株式会社東芝 | スマートカメラ、画像処理装置、スマートカメラシステム、データ送信方法およびプログラム |
| CN109817176B (zh) * | 2019-02-28 | 2021-08-24 | 惠科股份有限公司 | 像素信号转换方法、像素信号转换装置和显示设备 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0628437A (ja) * | 1992-07-07 | 1994-02-04 | Seiko Instr Inc | 画像入出力装置 |
| JP3679488B2 (ja) * | 1996-01-31 | 2005-08-03 | キヤノン株式会社 | 画像処理装置及び方法 |
| JP3912813B2 (ja) * | 1996-02-23 | 2007-05-09 | 株式会社東芝 | カラー画像処理システム |
| JP3829363B2 (ja) * | 1996-06-14 | 2006-10-04 | コニカミノルタホールディングス株式会社 | 電子カメラ |
| JP3796318B2 (ja) * | 1997-03-25 | 2006-07-12 | 株式会社小糸製作所 | 灯具の照度に応じた色画像の生成及び表示方法 |
| JP3639696B2 (ja) * | 1997-07-09 | 2005-04-20 | キヤノン株式会社 | 画像処理方法および装置および記憶媒体 |
| JP3305265B2 (ja) * | 1998-07-24 | 2002-07-22 | キヤノン株式会社 | 画像処理装置およびその方法 |
| JP2001128191A (ja) * | 1999-08-18 | 2001-05-11 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びに記録媒体 |
| JP2001127986A (ja) * | 1999-10-29 | 2001-05-11 | Canon Inc | 画像処理装置および画像処理方法および記憶媒体 |
-
2001
- 2001-09-25 JP JP2001292201A patent/JP4677699B2/ja not_active Expired - Fee Related
-
2002
- 2002-09-17 US US10/245,748 patent/US20030164828A1/en not_active Abandoned
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20250054204A1 (en) * | 2021-10-01 | 2025-02-13 | Dolby Laboratories Licensing Corporation | Encoding and decoding multiple-intent images and video using metadata |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003102031A (ja) | 2003-04-04 |
| US20030164828A1 (en) | 2003-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Berns | The science of digitizing paintings for color-accurate image archives: a review | |
| JP4677699B2 (ja) | 画像処理方法、画像処理装置、撮影装置評価方法、画像情報保存方法および画像処理システム | |
| JP6455764B2 (ja) | 色補正パラメータ算出方法、色補正パラメータ算出装置および画像出力システム | |
| EP3888345B1 (en) | Method for generating image data for machine learning based imaging algorithms | |
| EP2227898B1 (en) | Image sensor apparatus and method for scene illuminant estimation | |
| JP3305265B2 (ja) | 画像処理装置およびその方法 | |
| US20090147098A1 (en) | Image sensor apparatus and method for color correction with an illuminant-dependent color correction matrix | |
| JP2005210526A (ja) | 画像処理装置、撮像装置、画像処理方法、画像データ出力方法、画像処理プログラム及び画像データ出力プログラム | |
| JP2005079834A (ja) | 色変換マトリクス算出方法および画像信号処理装置 | |
| JP2003134351A (ja) | スペクトル・色再現システム | |
| JP2013225802A (ja) | デジタルカメラ、色変換情報生成プログラム、色変換プログラムおよび記録制御プログラム | |
| JP4262359B2 (ja) | 色再現システム | |
| JP2005210495A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| US6507667B1 (en) | Color digital imaging apparatus having a rule-based hue-shift processor | |
| JP2005045446A (ja) | 色変換マトリクス算出方法および色補正方法 | |
| Pointer et al. | Practical camera characterization for colour measurement | |
| WO2005104659A2 (en) | Method and system for approximating the spectrum of a plurality of color samples | |
| JP4136820B2 (ja) | 色変換マトリクス算出方法および色補正方法 | |
| WO2025090608A1 (en) | Color correction matrix generation for imaging | |
| JP3863773B2 (ja) | 画像撮影方法および装置 | |
| JP2000278707A (ja) | 画像データ変換方法、画像データ構成方法、画像データ変換装置および画像データを変換するプログラムを記録した記録媒体 | |
| US20040119860A1 (en) | Method of colorimetrically calibrating an image capturing device | |
| JP5097927B2 (ja) | 色変換マトリクス算出方法 | |
| JP2001136543A (ja) | 画像データの変換方法および画像データ構成方法 | |
| Lee et al. | Design and implementation of color correction system for images captured by digital camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070926 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100723 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100803 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100929 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20100929 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101019 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101207 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110104 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110117 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140210 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |