JP5598045B2 - 画像処理装置、画像処理プログラム、撮像装置及び画像表示装置 - Google Patents

Description

本発明は、画像処理装置、画像処理プログラム、撮像装置及び画像表示装置に関するものである。

入力画像データに対して、観察環境における照明の明るさ及び白色点を考慮したカラーマッチング処理を行う画像処理方法が提案されている（例えば、特許文献１参照）。

特開２００１−１４３０６５号公報

ところで、上述の特許文献１記載の画像処理方法では、画像としての見えを再現する際、該画像の色等の視覚による影響のみが考慮され、該画像のシーンや被写体の認識による影響が考慮されていなかった。

本発明の目的は、画像のシーンや被写体の認識による影響が考慮された該画像としての見えを再現可能な画像処理装置、画像処理プログラム、撮像装置及び画像表示装置を提供することである。

本発明の画像処理装置は、入力画像を取得する入力画像取得部と、前記入力画像の観察環境に関する情報を取得する入力画像観察環境取得部と、出力画像を観察する際の観察環境に関する情報を取得する出力画像観察環境取得部と、前記入力画像の特徴として撮影シーンに関する情報を取得する撮影シーン取得部と、色が特徴的な被写体に対応する順応度合いを記憶する記憶部と、前記撮影シーンに関する情報に基づいて、前記入力画像中に色が特徴的な被写体が存在するか否かを判別する判別部と、前記色が特徴的な被写体が存在する場合、前記記憶部に記憶している該被写体に対応する順応度合いを読み出し、該順応度合いを設定する設定部と、前記設定部によって設定した前記順応度合い、前記入力画像の観察環境に関する情報及び前記出力画像を観察する際の観察環境に関する情報を用いて色順応変換処理を行い、出力画像の見えを再現する再現部とを備えることを特徴とする。

また、本発明の画像処理プログラムは、コンピュータを、画像の見えを再現する画像処理装置として機能させる画像処理プログラムであって、入力画像を取得するステップと、前記入力画像の観察環境に関する情報を取得するステップと、出力画像を観察する際の観察環境に関する情報を取得するステップと、前記入力画像の特徴として撮影シーンに関する情報を取得するステップと、前記撮影シーンに関する情報に基づいて、前記入力画像中に色が特徴的な被写体が存在するか否かを判別するステップと、前記色が特徴的な被写体が存在する場合、記憶部に記憶されている該被写体に対応する順応度合いを読み出し、該順応度合いを設定するステップと、設定した前記順応度合い、前記入力画像の観察環境に関する情報及び前記出力画像を観察する際の観察環境に関する情報を用いて色順応変換処理を行い、出力画像の見えを再現するステップと、を含むことを特徴とする。

また、本発明の撮像装置は、被写体を撮像する撮像装置であって、本発明の画像処理装置を備えることを特徴とする。また、本発明の画像表示装置は、画像を表示する画像表示装置であって、本発明の画像処理装置を備えることを特徴とする。

本発明の画像処理装置、画像処理プログラム、撮像装置及び画像表示装置によれば、画像のシーンや被写体の認識による影響が考慮された該画像としての見えを良好に再現することができる。

実施の形態に係る画像処理装置の概略構成を模式的に示した図である。 実施の形態に係る画像処理装置のシステム構成を示すブロック図である。 実施の形態に係る画像処理装置において入力画像データに対して実行される画像処理について説明するためのフローチャートである。

以下、図面を参照して、本発明の実施の形態に係る画像処理装置について説明する。画像処理装置とは、例えばパーソナルコンピュータ（ＰＣ）、デジタルカメラ等の撮像装置、画像データに基づく画像を液晶画面等に表示するための画像表示装置等、画像データに対して色変換処理等の画像処理を行うことができる装置のことである。この実施の形態では、画像処理装置としてＰＣを例に挙げて説明する。

図１は、この実施の形態に係る画像処理装置としてのＰＣの概略構成を模式的に示した図である。ＰＣ１は、デジタルカメラ２、ＣＤ−ＲＯＭ等により構成される記録媒体３、及びインターネットやその他の電気通信回線５を経由して他のコンピュータ４と接続されている。したがって、ＰＣ１は、デジタルカメラ２、記録媒体３及び他のコンピュータ４等から各種の画像データを取得可能かつ取得した画像データに基づく画像をディスプレイ２０に表示可能に構成されている。図２は、この実施の形態に係る画像処置装置としてのＰＣ１のシステム構成を示すブロック図である。図２に示すように、ＰＣ１の各部を統括的に制御するＣＰＵ１０には、記録媒体３、ＵＳＢポート１４、ネットワーク端子１６、メモリ１８、ディスプレイ６、及び操作部２２が接続されている。

ＵＳＢポート１２は、ＵＳＢ機器を接続するためのものであり、この実施の形態では、デジタルカメラ２がＵＳＢポート１２を介してＰＣ１に接続されている。ネットワーク端子１４は、インターネット等のネットワークに接続するために用いられ、この実施の形態では、他のコンピュータ４がネットワーク端子１４を介してＰＣ１に接続されている。メモリ１８には、ＣＰＵ１０に実行させるための制御プログラム等が記憶されている。ディスプレイ６には、デジタルカメラ２、記録媒体３、他のコンピュータ４等から入力される入力画像データに対してＣＰＵ１０により画像処理が施された出力画像データに基づく出力画像を表示する。操作部２２は、ユーザーにより操作される操作部材、例えば、キーボードやポインティングデバイス等を備えて構成されている。

この実施の形態に係るＰＣ１では、デジタルカメラ２、記録媒体３、他のコンピュータ４等から入力された入力画像データに対して画像処理が施される。なお、ＰＣ１が画像処理のために実行する画像処理プログラムは、記録媒体３、インターネットやその他の電気通信回線を経由した他のコンピュータ４等からダウンロードされ、メモリ１８に記憶され、ＰＣ１にインストールされる。以下、図３に示すフローチャートを参照して、この実施の形態に係るＰＣ１において入力画像データに対して実行される画像処理について説明する。

まず、ＣＰＵ１０は、入力画像データを取得する（ステップＳ１０）。この実施の形態では、デジタルカメラ２により撮影された撮影画像の画像データを、入力画像データとして取得するものとする。ステップＳ１０において取得した入力画像データは、カメラの分光感度に固有の色空間ＲＧＢにより構成されている。

次に、ＣＰＵ１０は、入力画像の観察環境に関する情報を取得する（ステップＳ１１）。具体的には、入力画像の観察環境に関する情報として、入力画像がデジタルカメラ２により撮影された際における撮影シーンの照明に関する情報を取得する。即ち、撮影シーンの照明白色点（Ｘ_Ｗ,Ｙ_Ｗ,Ｚ_Ｗ）、輝度Ｙ_Ｗ０、及び周囲輝度Ｙ_ＳＷ０を取得する。例えば、ユーザー（観察者）が分光放射輝度計などを用いて白色点及び輝度を測定し、測定結果をキーボードから入力した値を読み込む。または、デジタルカメラ２に設けられているオートホワイトバランス機能を用いて撮影時の照明白色点（Ｘ_Ｗ,Ｙ_Ｗ,Ｚ_Ｗ）を算出し、露出（ＡＥ）の自動調整に用いる測光機能の結果を解析することにより撮影時の照明輝度Ｙ_Ｗ０を算出し、測光機能の測光範囲を広げて測光した結果を用いて周囲輝度Ｙ_ＳＷ０を算出することもできる。または、撮影時に入力画像データに付加された情報をデジタルカメラ２から取得し、またはユーザーに操作部２２を介して入力させ、付加された情報から照明白色点（Ｘ_Ｗ,Ｙ_Ｗ,Ｚ_Ｗ）、輝度Ｙ_Ｗ０、及び周囲輝度Ｙ_ＳＷ０を取得することもできる。

次に、ＣＰＵ１０は、出力画像を観察する際の観察環境に関する情報を取得する（ステップＳ１２）。この実施の形態では、ディスプレイ６に表示される出力画像を視認することによりユーザーは出力画像を観察する。したがって、ＣＰＵ１０は、例えば標準観察環境下においてディスプレイ６に出力画像を表示させるものとして、ｓＲＧＢ標準観察環境に関する情報（白色点=Ｄ６５、輝度Ｙ_{ｄｅｖｉｃｅ０}´=８０Ｃｄ/ｍ２、周囲輝度Ｙ_ＳＷ０´=４．１Ｃｄ/ｍ２）を取得する。なお、ｓＲＧＢ標準観察環境と異なる観察環境下において出力画像を観察する場合、プリントアウトした印刷物で出力画像を観察する場合等には、ＣＰＵ１０は、まず、ユーザーにより操作部２２を介して入力される周囲照明白色点（Ｘ_ＳＷ´,Ｙ_ＳＷ´,Ｚ_ＳＷ´）、周囲照明輝度Ｙ_ＳＷ０´、出力画像観察に用いられるデバイスの白色点（Ｘ_{ｄｅｖｉｃｅ}´,Ｙ_{ｄｅｖｉｃｅ}´,Ｚ_{ｄｅｖｉｃｅ}´）、及び該デバイスの輝度Ｙ_{ｄｅｖｉｃｅ０}´、を読み込む。そして、周囲照明白色点とデバイスの白色点とを混合させたものを、出力画像を観察する際の観察環境での照明白色点（Ｘ_Ｗ´,Ｙ_Ｗ´,Ｚ_Ｗ´）、周囲照明輝度とデバイスの輝度とを混合させたものを、輝度Ｙ_Ｗ０´として用いることもできる。

次に、ＣＰＵ１０は、入力画像の特徴を取得する（ステップＳ１３）。この実施の形態では、入力画像の特徴として、入力画像の撮影シーンや主要被写体情報を取得する。具体的には、デジタルカメラ２に設けられているシーン認識機能により認識される海やポートレート等の撮影シーンに関する情報（例えば、入力画像データに付加されている）をデジタルカメラ２から取得する。また、デジタルカメラ２に設けられている顔認識機能により認識される人物を主要被写体とする場合の主要被写体情報（例えば、入力画像データに付加されている）をデジタルカメラ２から取得することもできる。また、撮影時に撮影者により入力された撮影シーンや主要被写体情報をデジタルカメラ２から取得してもよく、ユーザーにより操作部２２を介して入力される撮影シーンや主要被写体情報を取得してもよい。

次に、ＣＰＵ１０は、ステップＳ１３において取得した入力画像の撮影シーンや主要被写体情報に基づいて、入力画像の観察環境及び出力画像の観察環境への順応度合いα（０．０≦α≦１．０）を調整する（ステップＳ１４）。具体的には、海、ポートレート（肌の色）、バナナ等の色が特徴的な被写体の情報及び各被写体に対応する順応度合いαをテーブル形式で予め登録し、メモリ１８等に保存する。そして、入力画像中に色が特徴的な被写体が存在するか否かを判別し、色が特徴的な被写体が存在する場合には、登録されている被写体の情報の中からその被写体と一致する被写体の情報を読込み、予め登録されている順応度合いαに設定する。即ち、色が特徴的な被写体が存在する場合には、順応度合いαを上げる（例えばα＝０．９に設定する）。

また、色が特徴的な被写体の撮影画面に対する大きさ、位置、及び合焦度の少なくとも一つに基づいて、順応度合いαを調整することもできる。例えば、被写体の撮影画面に対する大きさが大きい場合には、小さい場合と比較して順応度合いαを上げる。同様に、被写体の撮影画面に対する位置が中心の場合には、端の場合と比較して順応度合いαを上げ、被写体の合焦度が高い場合には、低い場合と比較して順応度合いαを上げる。

また、色が特徴的な被写体が複数存在する場合には、登録されている各被写体の順応度合いを読込み、各順応度合いの平均値を算出し、算出された平均値を順応度合いαとして設定する。また、複数の被写体の撮影画面に対する大きさ、位置及び合焦度の少なくとも一つに応じて、各被写体の順応度合いの重み付けを行い、各順応度合いの重み付け平均値を算出し、算出された重み付け平均値を順応度合いαとして設定することもできる。また、色が特徴的な被写体が複数存在する場合には、登録されている各被写体に対応する順応度合いを読込み、一の被写体に対応する順応度合いから他の被写体に対応する順応度合いへと段階的に変化するように順応度合いαを設定することもできる。また、被写体を照明する照明条件と背景を照明する照明条件とが異なる場合には、被写体に対応する順応度合いから背景に対応する順応度合いへと段階的に変化するように順応度合いを設定することもできる。一方、色が特徴的な被写体が存在しない場合には、順応度合いαを０．０に設定する。

次に、ＣＰＵ１０は、ステップＳ１４において調整された順応度合いαに基づいて、色順応変換処理を行う（ステップＳ１５）。具体的には、ステップＳ１４において調整された順応度合いαを考慮しつつ、入力画像の観察環境への順応度合いを示す順応ファクタＤを、及び出力画像の観察環境への順応度合いを示す順応ファクタＤ´を各観察環境における照明輝度及び周囲の明るさから算出する（数１及び数２参照）。

ここで、ＬＡ、ＬＡ´は順応輝度を示し、順応輝度ＬＡ、ＬＡ´は入力画像、出力画像の観察環境において順応している輝度のことであり、通常照明輝度の約１／５である。また、Ｆ、Ｆ´は、入力画像、出力画像の観察環境における照明輝度と周囲輝度の比に応じて決まるパラメータである。

入力画像はデバイス依存の色空間ＲＧＢで記述されているので、デバイスに依存しない色空間であるＣＩＥ １９３１ ＸＹＺ色空間へ色変換する。この実施の形態では、入力画像は、デジタルカメラ２で撮影された撮影画像であるため、カメラの分光感度で決まる固有の色空間ＲＧＢで記述されている。したがって、予め決まっているカメラＲＧＢ→ＸＹＺマトリックスＭ_{ＲＧＢ→ＸＹＺ} を使用して、デバイスに依存しないＸＹＺ色空間へ色変換する。または、入力画像が標準の色空間（例えばｓＲＧＢ等）にエンコーディングされている場合には、標準の色変換マトリックスＭ_{ＲＧＢ→ＸＹＺ}を使用して、デバイスに依存しないＸＹＺ色空間へ色変換する。更にＸＹＺから錐体応答ＬＭＳへマトリックスＭ_{ＣＡＴ０２}を用いて色変換する。ＬＭＳ空間で入力画像、出力画像の観察環境における照明白色点（Ｘ_Ｗ，Ｙ_Ｗ，Ｚ_Ｗ）、（Ｘ_Ｗ´，Ｙ_Ｗ´，Ｚ_Ｗ´）と順応ファクタＤ、Ｄ´を用いてｖｏｎ Ｋｒｉｅｓの色順応変換を行い、ＬＭＳからＸＹＺ、ＸＹＺから出力機器のＲＧＢへ逆変換を行う。即ち、次式（数３〜数７参照）に示すような色変換を各画素について行う。

但し、

なお、上記の説明では、出力画像の観察環境における照明白色点として（Ｘ_Ｗ´，Ｙ_Ｗ´，Ｚ_Ｗ´）を用いたが、出力画像観察時のデバイスの白色点（Ｘ_{ｄｅｖｉｃｅ}´,Ｙ_{ｄｅｖｉｃｅ}´,Ｚ_{ｄｅｖｉｃｅ}´）と周囲照明白色点（Ｘ_ＳＷ´,Ｙ_ＳＷ´,Ｚ_ＳＷ´）とが異なっている場合、デバイス白色点と周囲照明白色点の混合として出力画像の観察環境における照明白色点 （Ｘ_Ｗ´,Ｙ_Ｗ´,Ｚ_Ｗ´）と照明輝度Ｙ_ｗｏ´を決定する。具体的には、デバイス輝度Ｙ_{ｄｅｖｉｃｅ０}´、周囲照明輝度Ｙ_ＳＷ０´、画像観察に使用するデバイス光源と周囲照明光源の影響の比率Ｒ_ｍｉｘを用いて、次式（数９〜数１１参照）に示すように算出する。

次に、ＣＰＵ１０は、出力画像の見えを再現する（ステップＳ１６）。この実施の形態では、出力画像をディスプレイ６に表示する。

この実施の形態に係る画像処理装置としてのＰＣ１によれば、入力画像の特徴、即ち撮影シーンや主要被写体情報を取得し、色が特徴的な被写体が存在する場合には、入力画像の観察環境及び出力画像の観察環境への順応度合いを上げる。したがって、入力画像の撮影シーンや被写体の認識による影響を考慮した出力画像を良好に再現することができる。

従来では、照明の白色点、輝度及び周囲の明るさ等の観察環境が異なる条件下においては、色の見えが異なり、このような観察環境を考慮した色の見えモデルとしてＣＩＥＣＡＭ９７ｓやＣＩＥＣＡＭ０２などがあった。例えば、モニタの観察条件として、モニタの白やモニタ輝度に依存する値として三刺激値ＸＹＺや順応輝度Ｌａなどを算出し、色の見えモデルに適用していた。視覚は、輝度が高ければ高い程、その観察環境の白色点に順応するため、その観察環境の白色点が「白」に近く見えるようになる。そして、ＣＩＥＣＡＭ０２等の色の見えモデルにおいては、このような視覚特性を反映させて、観察環境の白色点に順応している度合いを示す順応ファクタを、その観察環境における照明輝度、周囲の明るさの関数で算出していた。

即ち、上述の従来の色の見えモデルでは、視覚による影響（色順応など）のみを考慮しているため、色パッチの見えに対しては近い見えを再現していた。しかしながら、本来人は、画像や実シーン等を、視覚が取得した信号を脳で処理した結果として見ており、そのような画像や実シーン等を見ている場合のシーンや被写体の認識による影響を考慮していないため、画像や実シーン等の見えに対して近い見えを再現できない場合があった。即ち、海や空、人の肌やバナナの色等、これらのシーンやモノの色に対する情報が予め人の脳にインプットされており、従来の色の見えモデルにおいては、これら認識が考慮されていなかったが、この実施の形態においては、これら認識が考慮されているため、画像や実シーン等の見えに対して近い見えを再現することができる。

なお、上述の実施の形態においては、入力画像の観察環境及び出力画像の観察環境への順応度合いαを、入力画像の撮影シーンや主要被写体情報に基づいて調整しているが、出力画像を視認するユーザーにとっての見えに応じて順応度合いαを調整してもよい。この場合には、調整後の順応度合いαをユーザーにより変更することができる機能を設け、ユーザーにより順応度合いαが変更された場合には、ＣＰＵ１０は、その変更に関する情報をメモリ１８に記憶させる。そして、ＣＰＵ１０は、過去に変更された回数や、変更前と変更後との差等を考慮し、順応度合いαを調整する。例えば、赤い照明下で撮影した入力画像に対して、出力画像の見えが赤過ぎると感じるユーザーに対しては、順応度合いαを上げて、赤い照明下で撮影した入力画像に対して、出力画像の見えに赤が足りないと感じるユーザーに対しては、順応度合いαを下げる。

また、上述の実施の形態においては、入力画像がデジタルカメラ２により撮影された撮影画像である場合を例に挙げて説明したが、入力画像が撮影画像以外の画像である場合においても本発明を適用することができる。例えば、モニタによる入力画像の見えを印刷による出力画像の見えに再現するような場合、即ち、入力画像観察時の入力画像の見えを出力画像観察時の出力画像の見えに再現する場合においても本発明を適用することができる。この場合には、図３に示すステップＳ１０において、撮影画像の代わりに入力画像観察時の画像を取得し、ステップＳ１１において、撮影時の観察環境の代わりに、入力画像観察時の観察環境を取得する。

また、上述の実施の形態においては、本発明の画像処理装置としてＰＣを例に挙げて説明したが、デジタルカメラ等の撮像装置においても本発明を適用することができる。この場合には、デジタルカメラに設けられているＣＰＵが、ユーザー指定の出力画像観察時の観察環境を取得し、取得した出力画像観察時の観察環境、デジタルカメラにおいて撮影した撮影画像、及び撮影画像の撮影シーンにより指定される観察環境に基づいて出力画像を作成し、作成された出力画像をデジタルカメラに設けられているメモリ等に保存する。なお、ユーザーが出力画像観察時の観察環境を指定しない場合には、ｓＲＧＢ観察環境等の標準観察環境を用いる。

また、デジタルカメラがオートホワイトバランス機能を備えている場合において、デジタルカメラにおいてホワイトバランスを合わせる際に本発明を適用することができる。具体的には、撮影する撮影シーンや被写体の特徴を取得し、取得した特徴に応じて順応度合いαを調整し、調整された順応度合いαをホワイトバランスのゲイン値に反映させる。順応度合いαをホワイトバランスのゲイン値に反映させることにより、色が特徴的な撮影シーンや被写体等、撮影する撮影シーンや被写体の認識による影響を考慮した撮影画像を得ることができる。

また、上述の実施の形態においては、色の見えモデルにおける色順応変換処理としてｖｏｎ Ｋｒｉｅｓの色順応変換処理を例に挙げて説明したが、他の色の見えモデルにおける色順応変換処理においても本発明を適用することができる。

また、上述の実施の形態においては、メモリ１８等からＰＣ１に画像処理を実行させる画像処理プログラムを読み込んで実行している。即ち、上述の実施の形態で用いられている画像処理プログラムは、ＰＣ１を、画像の見えを再現する画像処理装置として機能させる画像処理プログラムであって、入力画像の特徴を取得するステップと、取得した入力画像の特徴に基づいて入力画像の観察環境及び出力画像の観察環境への順応度合いを調整するステップと、入力画像の観察環境に関する情報及び出力画像の観察環境に関する情報を入力するステップと、調整された入力画像の観察環境及び出力画像の観察環境への順応度合い、及び入力された入力画像の観察環境に関する情報及び出力画像の観察環境に関する情報に基づいて出力画像の見えを再現するステップとを実行させている。したがって、上述の実施の形態で用いられている画像処理プログラムによれば、入力画像のシーンや被写体の認識による影響を考慮した出力画像を良好に再現することができる。

また、本発明は、上述の実施の形態において説明した内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１…パーソナルコンピュータ（ＰＣ）、２…デジタルカメラ、３…記録媒体、４…他のコンピュータ、６…ディスプレイ、１０…ＣＰＵ。

Claims (6)

1. 入力画像を取得する入力画像取得部と、
   前記入力画像の観察環境に関する情報を取得する入力画像観察環境取得部と、
   出力画像を観察する際の観察環境に関する情報を取得する出力画像観察環境取得部と、
   前記入力画像の特徴として撮影シーンに関する情報を取得する撮影シーン取得部と、
   色が特徴的な被写体に対応する順応度合いを記憶する記憶部と、
   前記撮影シーンに関する情報に基づいて、前記入力画像中に色が特徴的な被写体が存在するか否かを判別する判別部と、
   前記色が特徴的な被写体が存在する場合、前記記憶部に記憶している該被写体に対応する順応度合いを読み出し、該順応度合いを設定する設定部と、
   前記設定部によって設定した前記順応度合い、前記入力画像の観察環境に関する情報及び前記出力画像を観察する際の観察環境に関する情報を用いて色順応変換処理を行い、出力画像の見えを再現する再現部と、
   を備えることを特徴とする画像処理装置。
2. 前記色が特徴的な被写体の撮影画面に対する大きさ、位置、及び合焦度の少なくとも１つに基づいて、前記順応度合いを調整する調整部を備えることを特徴とする請求項１記載の画像処理装置。
3. 前記順応度合いを変更可能な変更部と、
   前記変更部による過去の変更結果に基づいて、前記順応度合いを調整する調整部と、
   を備えることを特徴とする請求項１記載の画像処理装置。
4. コンピュータを、画像の見えを再現する画像処理装置として機能させる画像処理プログラムであって、
   入力画像を取得するステップと、
   前記入力画像の観察環境に関する情報を取得するステップと、
   出力画像を観察する際の観察環境に関する情報を取得するステップと、
   前記入力画像の特徴として撮影シーンに関する情報を取得するステップと、
   前記撮影シーンに関する情報に基づいて、前記入力画像中に色が特徴的な被写体が存在するか否かを判別するステップと、
   前記色が特徴的な被写体が存在する場合、記憶部に記憶されている該被写体に対応する順応度合いを読み出し、該順応度合いを設定するステップと、
   設定した前記順応度合い、前記入力画像の観察環境に関する情報及び前記出力画像を観察する際の観察環境に関する情報を用いて色順応変換処理を行い、出力画像の見えを再現するステップと、
   を含むことを特徴とする画像処理プログラム。
5. 被写体を撮像する撮像装置であって、
   請求項１〜請求項３の何れか一項に記載の画像処理装置を備えることを特徴とする撮像装置。
6. 画像を表示する画像表示装置であって、
   請求項１〜請求項３の何れか一項に記載の画像処理装置を備えることを特徴とする画像表示装置。

Images