JP5430076B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は画像処理装置、画像処理方法、プログラム及び記録媒体に関し、特に、ホワイトバランス補正を行うために用いて好適な技術に関する。

液晶では、電圧の印加レベルによって液晶材料の配向が変化する。これにより、透過率が変化して輝度差が生じ、画像が表示される。ところが、液晶材料の配向が変化すると分光透過率に影響を与え、輝度により色が変動するという現象が起こる。これは液晶の特性として一般によく知られている現象である。そのため、ポートレートなどでは、撮影中の僅かな輝度変化により、肌の色が青ばんだり黄ばんだりして色合いに影響することがある。

そこで、例えば、特許文献１に記載の液晶表示装置では、まず、Ｒ、Ｇ、Ｂ信号から輝度レベルを求め、マトリクス回路に制御信号を送る。そして、マトリクス回路では制御信号によりマトリクス成分を変化させ、入力の輝度レベルに応じて画面の色度点を移動させている。

また、特許文献２に記載の撮像装置では、被写体の輝度に応じて諧調補正を行い、暗い画像であっても見やすく表示できるようにしている。さらに、特許文献３に記載の画像処理装置では、全体画像中に複数の顔画像が表示されていると、顔ボタンがオンされるたびに、左側の顔画像から順次拡大表示する。そして、その際に、顔画像のγ補正を行っている。

特開平５−２７７１１号公報 特開２００６−１０１１５１号公報 特開２００７−２００２９号公報

前述したように、液晶の表示素子は輝度により色度が変化する。そのため、撮影の際に被写体の輝度が変化すると、同じ被写体であっても画像を再生表示した時に、撮影した駒によって色度が変化してしまう。したがって、例えば、ＡＥブラケットモードで撮影した画像では、駒により変動量だけ色度の違いが生じ、撮影した画像を正確に再生表示できなかった。

このような問題を解決するために、例えば、特許文献１に記載の液晶表示装置では、前述したように、輝度レベルに応じて画面の色度点を移動させている。しかしながら、輝度レベルに応じて色度点を移動させる場合、輝度値に応じた色度点の補正情報を予め用意し、表示画像への影響を確認しながら画面の色度点を移動させなければならない。したがって、サンプル間のばらつきが大きい場合には、さらにサンプルごとに輝度値に応じた色度点の補正情報を用意しなければならず、多くの情報を記憶しなければならないという問題点がある。

また、特許文献２に記載の撮像装置では、前述したように、被写体の輝度に応じて諧調補正を行い、暗い画像であっても見やすくしている。しかしながら、諧調補正を行うと、輝度及びコントラスト等が変化し、表示画像全体の画質が低下し、撮影画像を正確に表示できなくなるという問題点がある。

さらに、特許文献３に記載の画像処理装置では、前述したように、顔ボタンがオンされるたびに、左側の顔画像から順次拡大表示し、顔画像のγ補正を行う。しかしながら、γ補正を行うと、輝度及びコントラスト等が撮影画像そのものから変化し、撮影画像を正確に表示できなくなるという問題点がある。

本発明は前述の問題点に鑑み、簡単な構成により撮影画像を正確に表示できるようにすることを目的としている。

本発明の画像処理装置は、同一の被写体が撮影された複数の画像データを入力する入力手段と、前記入力手段によって入力された画像データに基づく画像を表示手段に表示する表示制御手段と、前記複数の画像データそれぞれにおいて、画像の対応する一部の領域の輝度をそれぞれ検出する輝度検出手段と、前記表示手段の特性による輝度に対する色度の変動量についての情報を記憶する記憶手段と、前記輝度検出手段によって検出された前記複数の画像データの対応する一部の領域の輝度と、前記記憶手段に記憶されている情報とに基づいて、前記複数の画像データの対応する一部の領域の色の差を少なくするように色度補正を行う補正手段とを有し、前記表示制御手段は、前記補正手段によって色度補正された画像データに基づく画像を前記表示手段に表示することを特徴とする。

本発明の画像処理方法は、同一の被写体が撮影された複数の画像データを入力する入力工程と、前記入力工程において入力された画像データに基づく画像を表示手段に表示する表示制御工程と、前記複数の画像データそれぞれにおいて、画像の対応する一部の領域の輝度をそれぞれ検出する輝度検出工程と、前記輝度検出工程において検出された前記複数の画像データの対応する一部の領域の輝度と、前記表示手段の特性による輝度に対する色度の変動量についての情報とに基づいて、前記複数の画像データの対応する一部の領域の色の差を少なくするように色度補正を行う補正工程とを有し、前記表示制御工程においては、前記補正工程において色度補正された画像データに基づく画像を前記表示手段に表示することを特徴とする。

本発明のプログラムは、同一の被写体が撮影された複数の画像データを入力する入力工程と、前記入力工程において入力された画像データに基づく画像を表示手段に表示する表示制御工程と、前記複数の画像データそれぞれにおいて、画像の対応する一部の領域の輝度をそれぞれ検出する輝度検出工程と、前記輝度検出工程において検出された前記複数の画像データの対応する一部の領域の輝度と、前記表示手段の特性による輝度に対する色度の変動量についての情報とに基づいて、前記複数の画像データの対応する一部の領域の色の差を少なくするように色度補正を行う補正工程とをコンピュータに実行させ、前記表示制御工程においては、前記補正工程において色度補正された画像データに基づく画像を前記表示手段に表示することを特徴とする。

本発明の記録媒体は、前記プログラムを記録したことを特徴とする。

本発明によれば、画像データの中の一部の領域の輝度に基づいて色度補正を行うようにしたので、画像を表示したときの色合いの影響を小さくすることができる。これにより、簡単な構成により撮影画像を正確に表示することができる。

（第１の実施形態）
以下、本発明の実施形態について図面を参照しながら説明する。
図１は、本実施形態に係る画像処理装置の構成例を示すブロック図である。本実施形態では、画像処理装置１００をデジタルカメラに適用した場合の例について説明する。
図１に示すように、画像処理装置１００は全体の制御を行う制御手段として機能するマイコンＰＲＳ１４０と、ＣＣＤまたはＣＭＯＳエリアセンサ等からなる撮像部１３とを備えている。さらに、撮像部１３から入力された画像信号を処理する画像処理部１４１、撮影画像を表示する画像表示部６等を備えており、複数の画像データを保存する不揮発性の記憶部材からなる外部記憶装置９が装着されている。

マイコンＰＲＳ１４０は、例えば、ＣＰＵ（中央演算処理部）、ＲＡＭ、ＲＯＭ、不揮発性メモリ、入出力ポート等が内部に配置されたワンチップのコンピュータ（以下、マイコン）である。マイコンＰＲＳ１４０は、ＲＯＭに格納されたシーケンスプログラムに基づいて、一連の動作を行う。

また、マイコンＰＲＳ１４０に内蔵されている不揮発性メモリには、露出制御や焦点調節に関する調整値等を含む一連のカメラの制御パラメータが格納されている。さらに、不揮発性メモリには、撮像素子の調整値、撮影画像のホワイトバランスに関わる制御値、画像表示部６に撮影画像を表示する際の制御値など、画像処理の制御及び調整に関係する一連のパラメータが格納されている。

撮像部１３は、ＣＣＤまたはＣＭＯＳエリアセンサ等の撮像素子と撮像素子を駆動するセンサ駆動部とからなる。撮像部１３では、レンズ部５の光学系を通じて、撮影領域からの光束を撮像素子上に結像させており、撮像素子はこの光学像を光電変換し、電気信号として画像処理部１４１へ出力する。

画像処理部１４１は、さらに、撮像画像補正部１４６、信号処理部１４７、インターフェイス（ＩＦ）部１４８、ＶＲＡＭ部１４９、リサイズ部１５０、ホワイトバランス（ＷＢ）調整部１５１及び領域抽出／平均輝度検出部１４５から構成されている。

撮像画像補正部１４６は、Ａ／Ｄ変換機能を備えており、撮像部１３から入力された電気信号をＡ／Ｄ変換し、暗電流補正やシェーディング補正など、撮像部１３の制御に起因する一連の補正を行う。

信号処理部１４７は、ローパスフィルタによりノイズ成分を除去し、画素及び色補間処理、ホワイトバランス補正やガンマ補正等、いわゆる画像そのものに関する一連の画像処理を行う。ＩＦ部１４８は入力手段として機能し、一連の画像処理を行った撮影画像データを後述する外部記憶装置９へ送り出したり、外部記憶装置９に記憶された撮影画像データを読み出したりする。

また、画像処理部１４１は、撮像部１３から入力されて画像処理された撮影画像データや、外部記憶装置９に記憶された撮影画像データに対して表示のための一連の処理を行い、ＩＦ部１４８を介して画像表示部６へ出力する。なお、ＩＦ部１４８から画像表示部６へ撮影画像データを出力するまでの一連の処理は、領域抽出／平均輝度検出部１４５、ＷＢ調整部１５１、リサイズ部１５０及びＶＲＡＭ部１４９を経由して行われる。

領域抽出／平均輝度検出部１４５は、例えば、顔検出を行う際に、これから表示を行う対象となる撮影画像データから顔の領域を特定し、その特定した領域の平均輝度を求める。なお、領域抽出／平均輝度検出部１４５により行われる処理の詳細については、図３に示すフローチャートの説明において後述する。

ＷＢ調整部１５１は補正手段として機能し、領域抽出／平均輝度検出部１４５による出力結果に基づいて、撮影画像データのホワイトバランスを調整する。なお、ＷＢ調整部１５１により行われる処理の詳細については、図４に示すフローチャートの説明において後述する。

リサイズ部１５０は、ホワイトバランスの調整が行われた撮影画像データを、ＬＣＤ表示部１４３に表示可能な解像度に解像度変換し、ＶＲＡＭ部１４９に一旦格納する。そして、ＶＲＡＭ部１４９に格納された撮影画像データは、画像表示部６に出力される。このように、ＬＣＤ表示部１４３に表示可能な解像度に解像度変換され、ＬＣＤ制御部１４２へ撮影画像データが出力される。

画像表示部６は、表示制御を行うＬＣＤ制御部１４２とＬＣＤ表示部１４３とから構成されている。そして、ＬＣＤ制御部１４２はさらに、γ補正部１５２と、Ｄ／Ａ変換部１５３と、不図示のＬＣＤドライバーとから構成されている。

γ補正部１５２は、ＶＲＡＭ部１４９から出力された撮影画像データに対してＬＣＤ表示器に適したガンマ補正を行い、Ｄ／Ａ変換部１５３は、ガンマ補正が行われた撮影画像データをＬＣＤ表示部１４３へ出力する信号に変換する。不図示のＬＣＤドライバーは、Ｄ／Ａ変換部１５３にてＤ／Ａ変換された撮影画像データに同期させて、ＬＣＤ表示部１４３の駆動信号を出力する。

表示手段であるＬＣＤ表示部１４３は、ＬＣＤ表示パネル及びバックライトからなるＬＣＤ表示器である。ＬＣＤ表示部１４３に表示される対象となる画像データは、前述した撮像部１３で撮像された画像データのほかに、外部記憶装置９に記憶した画像データや、カメラの設定情報がある。

外部記憶装置９は、例えば、ＳＤカードのような複数の画像データを保存することができる不揮発性の記憶部材であって、画像処理装置１００から着脱可能なものである。そして、画像処理装置１００に装着した状態で画像処理部１４１から出力される撮影画像データを記憶する。これにより、１つまたは複数の撮影画像データを記憶した後に、画像処理装置１００から取り外して、本システムのデータ形式で読み出し可能な別のシステムに装着すれば、記憶されている撮影画像データの再生、編集、及び保存が可能となる。

また、画像処理装置１００本体に外部記憶装置９を再度装着することによって、本システムのデータ形式で読み出し可能な画像データであれば、読み出し後、画像処理部１４１において最適な信号処理を行うことができる。そして、ＬＣＤ制御部１４２においてＬＣＤ表示部１４３に表示するための処理を行った後に、ＬＣＤ表示部１４３に画像を表示することができる。

焦点検出部４は、結像面近傍に配置されたフィールドレンズ、反射ミラー、２次結像レンズ、絞り及び複数の光電変換素子からなるＣＣＤ等のラインセンサから構成されている。本実施形態における焦点検出部４は、周知の位相差方式であるとともに、観察画面内（ファインダ視野内）の複数の領域を測距点として、該測距点で焦点を検出することが可能となるように構成されている。

レンズ部５には、焦点調節回路及び絞り駆動回路が組み込まれており、不図示のマウント接点を介してマイコンＰＲＳ１４０と信号の伝達がなされる。マイコンＰＲＳ１４０は焦点検出部４から出力される信号に基づき、レンズ部５に内蔵されている焦点調節回路を動作して、最適な焦点調節となる信号を焦点調節回路に出力する。さらに、不図示の測光回路から出力される信号に基づいて、レンズ部５に内蔵されている絞り駆動回路を動作して、最適な露光量となる信号を絞り駆動回路に出力する。

次に、ホワイトバランスに関わる動作について、図２〜図４を参照しながら説明する。図２は、本実施形態において、表示対象となる撮影画像データを読み出して表示するまでの動作手順の一例を示すフローチャートである。

まず、ステップＳ２０１において、領域抽出／平均輝度検出部１４５は、表示の対象となる撮影画像データから、ホワイトバランス補正を最適に行う部分を特定し、その部分の平均輝度を求める。次に、ステップＳ２０２において、ＷＢ調整部１５１は、ステップＳ２０１で求めた平均輝度と予め記憶されている補正量とに基づいてホワイトバランス補正を行う。そして、ステップＳ２０３において、補正された画像データに対して一連の表示処理を行う。ここでの一連の表示処理とは、画像処理部１４１内のリサイズ部１５０による解像度変換から画像表示部６のＬＣＤ表示部１４３に画像を表示するまでの処理である。

図３は、図２のステップＳ２０１において、領域抽出／平均輝度検出部１４５によるホワイトバランス補正を最適に行うために領域を特定する動作手順の一例を示すフローチャートである。
まず、図３のステップＳ３０１において、顔検出機能が動作しているか否かを判断する。この判断の結果、顔検出機能が動作している場合は、ステップＳ３０２に進み、撮影画像データから顔検出が可能であるか否かを判断する。この判断の結果、顔検出が可能である場合は、ステップＳ３０５に進む。

一方、ステップＳ３０１の判断の結果、顔検出機能が動作していない場合、またはステップＳ３０２の判断の結果、顔検出が不可能である場合は、ステップＳ３０３に進む。そして、ステップＳ３０３において、焦点調節に用いた領域を輝度検出の対象として設定する。次に、ステップＳ３０４において、焦点調節に用いた領域から平均輝度を検出し、処理を終了する。

一方、ステップＳ３０２の判断の結果、顔検出が可能である場合は、ステップＳ３０５において、検出した顔が複数あるか否かを判断する。この判断の結果、検出した顔が複数ある場合は、ステップＳ３０６に進み、焦点調節に用いた顔の領域を輝度検出の対象として設定する。そして、ステップＳ３０７に進む。

一方、ステップＳ３０５の判断の結果、検出した顔が１つである場合は、ステップＳ３０７に進み、顔の領域において平均輝度を検出し、処理を終了する。以上により、ホワイトバランス補正を最適に行う領域を特定し、ホワイトバランス補正を最適に行うために必要な平均輝度を求めることができる。

図４は、図２のステップＳ２０２におけるホワイトバランス補正の動作手順の一例を示すフローチャートである。
まず、ステップＳ４０１において、図３に示す手順で求めた平均輝度からホワイトバランスの色度補正量を求める。

この色度補正量は、補正テーブルデータとして、予め、マイコンＰＲＳ１４０に内蔵されている不揮発性メモリに記録されている情報から求めることができる。補正テーブルデータの内容は、例えば、ＬＣＤ表示部１４３の輝度と色度との関係、及びホワイトバランスにより得られる色度についての情報である。求めた平均輝度と、ＬＣＤ表示部１４３の輝度と色度との関係から得られる色度と、ホワイトバランスにより得られる色度とから色度のずれとして色度補正量が得られる。

次に、ステップＳ４０２において、色度補正量からＲ、Ｂの補正量を、例えば色度ｘ、ｙとＲ、Ｇ、Ｂとの関係を示す公知の式を用いて算出する。そして、ステップＳ４０３において、算出したＲ、Ｂの補正量により表示対象の撮影画像データ全体の補正を行う。なお、本実施形態では、ホワイトバランスによる輝度の変動を小さくするために補正はＲ、Ｂのみを用いて行う。

以上のように本実施形態においては、表示画像を構成する全ての輝度データに応じて詳細にホワイトバランス補正を行って、輝度による色度の変動を最小にするような方法を用いていない。本実施形態では、ホワイトバランス補正を最適に行いたい部分（領域）を表示画像から求め、その領域の平均輝度により決定される補正量により表示画像を構成する画像データ全体のホワイトバランス補正を行っている。

これにより、補正量を求めるための部分的な領域が顔構成領域である場合には、画像データの中の顔構成領域から平均輝度を算出し、画像データのホワイトバランス補正により顔の色合いを最適に表示する。このように、簡単な構成により輝度による色ずれの補正を行うことができる。

（第２の実施形態）
以下、本発明の第２の実施形態について図面を参照しながら説明する。第１の実施形態では、ホワイトバランスの調整は画像処理部１４１において行われ、画像表示部６で行われる表示のための画像処理はγ補正のみであった。本実施形態では、ホワイトバランスの調整を画像処理部ではなく画像表示部において行い、さらに、コントラスト及び輝度の調整を画像表示部で行う。

図５は、本実施形態に係る画像処理装置５００の構成例を示すブロック図である。
図５においては、第１の実施形態とは異なり、ホワイトバランス（ＷＢ）調整部５０１が画像表示部６に含まれている。なお、画像処理部１４１に含まれる他の構成は図１と同じである。

さらに、本実施形態ではＬＣＤ制御部１４２にコントラスト調整部５０２及び輝度調整部５０３が含まれている。また、γ補正部１５２及びＤ／Ａ変換部１５３の表示制御手段としての機能は図１と同じである。さらに、撮像部１３、外部記憶装置９、レンズ部５、焦点検出部４及びマイコンＰＲＳ１４０の機能については第１の実施形態と同様であるため、説明は省略する。

ＷＢ調整部５０１は、画像処理部１４１のＶＲＡＭ部１４９から出力された表示対象となる撮影画像データに対して、マイコンＰＲＳ１４０から送られる設定値によりＲ、Ｂの比率を可変する。このＲ、Ｂの比率は、表示画像の所定領域から求めた平均輝度に基づく値であり、第１の実施形態と同じである。

コントラスト調整部５０２は、ホワイトバランス調整された表示対象となる撮影画像データのコントラストを可変する。可変内容はマイコンＰＲＳ１４０から送られる設定値により決定する。輝度調整部５０３は、コントラスト調整された撮影画像データの輝度を可変する。可変内容はマイコンＰＲＳ１４０から送られる設定値により決定する。

次に、γ補正部１５２により、輝度調整された撮影画像データをγ補正し、Ｄ／Ａ変換部１５３によりＤ／Ａ変換する。そして、Ｄ／Ａ変換された撮影画像データがＬＣＤ表示部１４３へ送られ、ＬＣＤ表示部１４３にて一連の画像処理された画像が表示される。

次に、撮影画像データのホワイトバランスに関わる動作について、図６〜図９を参照しながら説明する。
図６は、本実施形態において、表示対象となる撮影画像データを読み出して表示するまでの動作手順の一例を示すフローチャートである。

なお、図６に示すそれぞれの処理の制御は、マイコンＰＲＳ１４０により行われる。詳細については後述するが、ホワイトバランス補正を行う際には、領域抽出／平均輝度検出部１４５において検出される平均輝度と補正値テーブルにある情報とから、ホワイトバランスで補正する量を求める。さらに、ＬＣＤ制御部１４２におけるＷＢ調整部５０１での制御値となるパラメータに換算し、その値をＬＣＤ制御部１４２に設定する。

まず、ステップＳ６０１において、領域抽出／平均輝度検出部１４５は、表示しようとする撮影画像データから、ホワイトバランス補正を行うか否を判断するための処理を行う。次に、ステップＳ６０２において、対象となる撮影画像データがホワイトバランス補正を行う対象であるか否かを判断する。

この判断の結果、ホワイトバランス補正を行う場合は、ステップＳ６０３に進み、領域抽出／平均輝度検出部１４５は、撮影画像データから、ホワイトバランス補正を最適に行う部分を特定し、その部分の平均輝度を求める。そして、ステップＳ６０４において、ＷＢ調整部５０１は、ステップＳ６０３で求めた平均輝度と予め用意している補正値テーブルにある情報とから補正量を求め、ホワイトバランス補正を行い、ステップＳ６０５に進む。

一方、ステップＳ６０２の判断の結果、ホワイトバランス補正を行わない場合は、ステップＳ６０５に進む。そして、ステップＳ６０５において、表示対象となる撮影画像データをＬＣＤ表示部１４３に表示するための一連の表示処理を行う。ここで、一連の表示処理とは、画像処理部１４１内のリサイズ部１５０による解像度変換から画像表示部６のＬＣＤ表示部１４３に画像を表示するまでの処理である。

図７は、図６のステップＳ６０１及びＳ６０２におけるホワイトバランス補正を行うか否かを判断するための動作手順の一例を示すフローチャートである。図７に示す各処理は、ＬＣＤ表示部１４３に表示する画像の関連性を確認するために行う処理である。

まず、ステップＳ７０１において、表示対象となる撮影画像データに付加されている撮影情報を参照し、撮影画像データが連写モードで撮影された画像データであるか否かを判断する。この判断の結果、連写モードで撮影された画像データである場合は、ステップＳ７０８に進む。一方、ステップＳ７０１の判断の結果、連写モードで撮影された画像データでない場合は、ステップＳ７０２に進む。そして、ステップＳ７０２において、撮影画像データが単写モードで撮影された画像データであるか否かを判断する。この判断の結果、単写モードで撮影された画像データである場合は、ステップＳ７０３に進む。

一方、ステップＳ７０２の判断の結果、単写モードで撮影された画像データでない場合は、ステップＳ７０６に進む。次に、ステップＳ７０３において、撮影間隔が例えば１秒未満であったか否かを判断する。この判断の結果、１秒未満であった場合は、ステップＳ７０４に進む。一方、ステップＳ７０３の判断の結果、１秒以上である場合は、ステップＳ７０６に進む。

次に、ステップＳ７０４において、被写体との距離変動が所定値よりも小さいか否かを判断する。この判断の結果、所定値よりも小さい場合は、ステップＳ７０５に進む。一方、ステップＳ７０４の判断の結果、所定値以上である場合は、ステップＳ７０６に進む。次に、ステップＳ７０５において、カメラの移動量が所定値よりも小さいか否かを判断する。この判断の結果、所定値よりも小さい場合は、ステップＳ７０８に進む。一方、ステップＳ７０５の判断の結果、所定値以上である場合は、ステップＳ７０６に進む。

次に、ステップＳ７０６において、さらに、撮影時にＡＥＢ（Auto Exposure Bracketing）モードが動作中であったか否かを判断する。この判断の結果、ＡＥＢモードが動作中であった場合は、ステップＳ７０８に進む。一方、ステップＳ７０６の判断の結果、ＡＥＢモードが動作中でなかった場合は、ステップＳ７０７に進む。そして、ステップＳ７０７において、撮影時にホワイトバランス（ＷＢ）ブラケットモードが動作中であったか否かを判断する。

この判断の結果、ＷＢブラケットモードが動作中であった場合は、ステップＳ７０８に進む。そして、ステップＳ７０８において、同じ被写体の連続撮影と判断し、処理を終了する。すなわち、以降の処理でホワイトバランスの調整を行う。一方、ステップＳ７０７の判断の結果、ＷＢブラケットモードが動作中でなかった場合は、ホワイトバランス補正を行わないものと判断し、処理を終了する。

なお、連写モード、単写モード、ＡＥＢモード、及びＷＢブラケットモードの各機能が撮影時に動作していたか否かについては、画像データに付加されている撮影情報から判断する。また、単写モードであった場合において、撮影間隔については、画像データに付加されている撮影情報から連続する駒の時間差を求める。

さらに、被写体との距離変動については、連続する駒間における焦点調節のためのレンズ駆動量から求め、その量の大きさから判断する。また、カメラの移動量については、画像処理装置５００に内蔵されている不図示の加速度センサの出力結果から求め、出力結果が大きいときには移動量が大きいものと判断する。

前述したように、同じ被写体の連続撮影と判断したときには、以降の処理でホワイトバランスの調整を行う。一方、連写モード、ＡＥＢモード及びＷＢブラケットモードのいずれの動作も撮影時に機能しておらず、さらに、単写モードであっても、ステップＳ７０３〜Ｓ７０５の判断のうち、少なくとも１つがＮＯである場合は、同じ被写体の連続撮影と判断しない。したがって、ホワイトバランス補正は行われない。

図８は、図６のステップＳ６０３において、領域抽出／平均輝度検出部１４５によるホワイトバランス補正を最適に行うために領域を特定する動作手順の一例を示すフローチャートである。なお、第１の実施形態と異なる点は、ブラケットモードに関わる処理が加わっている点である。したがって、ステップＳ８０４〜Ｓ８１０の処理は、図３のステップＳ３０１〜Ｓ３０７の処理に対応するため、説明は省略する。

まず、ステップＳ８０１において、撮影時にＡＥＢ（自動露出ブラケット）モード、またはＷＢブラケットモードが動作していたか否かを判断する。この判断の結果、何れかのブラケットモードが動作していた場合は、ステップＳ８０２に進み、ブラケットモードで撮影した駒の中からホワイトバランスの基準とする駒を確定させる。

ＡＥＢモードが動作中であった場合は、最適露出制御値（ＡＥＢモードが動作していないときと同じ制御値）で撮影した駒を基準とする。例えば、３駒撮影した場合に露出制御値が、撮影順にＴＹＰ（適）、−１（１段アンダー）、＋１（１段オーバー）である場合は、最初の駒を基準とする。また、露出制御値が、撮影順に−１（１段アンダー）、ＴＹＰ（適）、＋１（１段オーバー）である場合は、２番目の駒を基準とする。ＷＢブラケットモードが動作中であった場合も同様の手順でＴＹＰ（適）となる駒を基準とする。

一方、ステップＳ８０１の判断の結果、ＡＥＢ（自動露出ブラケット）モード、ＷＢブラケットモードのいずれも動作していなかった場合は、ステップＳ８０３に進み、撮影した最初の１駒を基準とする。

なお、前述したように、露出制御値が、撮影順に−１（１段アンダー）、ＴＹＰ（適）、＋１（１段オーバー）である場合は、２番目の駒を基準とする。この場合、一旦、１番目の駒（１段アンダー）の撮影情報を確認し、確認した時点で、１番目の駒の表示処理を中断し、２番目の駒（ＴＹＰ（適））の表示処理に移る。そして、２番目の駒がＴＹＰ（適）であることを確認すると、輝度値についての情報を一時記憶した後に、１番目の駒の表示処理を再開する。輝度値の一時記憶については図９を参照しながら後述する。

図９は、図６のステップＳ６０４におけるＷＢ調整部５０１によるホワイトバランス補正の動作手順の一例を示すフローチャートである。
まず、ステップＳ９０１において、ホワイトバランス補正を行うにあたり、基準とする駒であるか否かを確認する。

この確認の結果、基準駒であれる場合は、ステップＳ９０２に進み、ステップＳ６０３で求めた平均輝度についての情報を、以降の関連する駒との輝度差を求めるために一時的に記憶する。そして、ホワイトバランス補正を行わず次の処理へ移る。

一方、ステップＳ９０１の判断の結果、基準駒でない場合は、ステップＳ９０３に進み、一時的に記憶している基準駒の平均輝度についての情報と、ホワイトバランス補正を行う駒の平均輝度についての情報とから相対輝度差を求める。そして、ステップＳ９０４において、ホワイトバランス補正を行うための色度補正量を求める。

この色度補正量は、補正値テーブルとして、予め、マイコンＰＲＳ１４０に内蔵されている不揮発性メモリに記録されている情報から求めることができる。補正値テーブルの内容としては、例えば、ＬＣＤ表示部１４３の輝度と色度との関係についての情報である。この情報から、基準駒中の部分的領域の平均輝度に基づく色度と、ホワイトバランス補正を行う駒中の部分的領域の平均輝度に基づく色度とが得られ、その色度差を求めることができる。この色度差が、ホワイトバランス補正で用いられる色度補正量である。

なお、本実施形態では、ホワイトバランスによる輝度の変動を小さくするためにＲ、Ｂのみを用いて補正を行う。そこで、ステップＳ９０５において、色度補正量からＲ、Ｂの補正量を、例えば、色度ｘ、ｙとＲ、Ｇ、Ｂとの関係を示す公知の式を用いて求める。

次に、ステップＳ９０６において、ＷＢ調整部５０１は、求めたＲ、Ｂの補正量を、ＬＣＤ制御部１４２の制御値に換算して設定する。そして、その補正量により表示対象となる撮影画像データ全体のホワイトバランス補正を行う。

次に、マルチ画像表示の際の制御内容について、図１０及び図１１を参照しながら説明する。
図１０は、本実施形態において、ＡＥＢモードで撮影した画像を表示したときの画面内の表示内容を簡略的に示す図である。
図１０において、「画像ＡＥＢ −１」、「画像ＡＥＢ ＴＹＰ」及び「画像ＡＥＢ ＋１」は、ＡＥＢ機能が３駒撮影する仕様であることを示している。さらに、露出制御値が、撮影順に、−１（１段アンダー）、ＴＹＰ（適）、＋１（１段オーバー）であることを示している。

図１１は、本実施形態において、ＬＣＤ制御部１４２の制御領域の独立性を示す概念図である。
図１１において、第１のＷＢ制御領域１１０１、第２のＷＢ制御領域１１０２及び第３のＷＢ制御領域１１０３はそれぞれ、図１０に示した「画像ＡＥＢ −１」、「画像ＡＥＢ ＴＹＰ」、及び「画像ＡＥＢ ＋１」の内容と対応している。制御内容については、マイコンＰＲＳ１４０により独立に設定される。

図１０に示す例では、撮像画像データが全てＶＲＡＭ部１４９に格納された後、画像表示部６に対して１つの画像データとして出力される。そして、ＬＣＤ制御部１４２は、ＶＲＡＭ部１４９から画像データが入力されると、それぞれの撮影画像を表示領域のどの部分に表示すべきかを検出する。

次に、検出した領域が、図１１に示す制御領域のどこであるかを確認する。そして、マイコンＰＲＳ１４０により制御領域が切り換ると、ＷＢ調整部５０１は、制御領域に対応する設定値に切り換えてホワイトバランス補正を行う。このとき、第１のＷＢ制御領域１１０１、第２のＷＢ制御領域１１０２及び第３のＷＢ制御領域１１０３に対応するホワイトバランスの設定値は、領域検出／平均輝度検出部１４５にて求めた内容に基づく値として、ＬＣＤ制御部１４２に設定されている。

また、図１１の第１のＷＢ制御領域１１０１、第２のＷＢ制御領域１１０２及び第３のＷＢ制御領域１１０３以外の領域におけるホワイトバランスの設定値は、「画像ＡＥＢ −１」、「画像ＡＥＢ ＴＹＰ」及び「画像ＡＥＢ ＋１」とは独立な値となっている。

以上のように本実施形態においては、表示しようとする駒を構成する全ての輝度データに応じて詳細にホワイトバランス補正を行って、輝度による色度の変動を最小にするのではない。本実施形態では、ホワイトバランス補正を最適に行いたい部分（領域）を特定し、該当領域の平均輝度により決定される補正量により、表示画像を構成する画像データ全体のホワイトバランス補正を行う。そして、その際に、カメラの撮影モードに応じて基準とする駒を特定し、カメラの撮影モードにおいて関連する他の駒の画像データのホワイトバランス補正を行う際には、基準とする駒との平均輝度の差に基づいて行う。

このように、関連する他の駒の画像データのホワイトバランスは、基準とした駒の一部である所定領域の平均輝度との差に従って行うようにした。これにより、関連性のある駒の画像データについては、ホワイトバランスの精度をより高めることができる。

また、マルチ画像表示を行う際には、各駒の表示画像の領域と、ホワイトバランスを制御する領域とが１対１で対応するようにした。これにより、各駒のホワイトバランス補正を正確に行うことができる。また、マルチ画像表示を行う際には、それぞれ駒のホワイトバランス補正が独立にかつ最適に行われるので、例えば、ＡＥＢモードの撮影結果の表示の場合には、同一画面で同時に正確に表示することができる。

（第３の実施形態）
以下、本発明の第３の実施形態について図面を参照しながら説明する。第１の実施形態では、どの駒についても、不揮発性メモリに予め記録されている補正テーブルデータに基づき、その輝度差からホワイトバランス補正を行うものであった。また、第２の実施形態では、カメラの動作モードに応じてホワイトバランスの標準とする駒を選択し、標準となる駒との輝度の差に基づいてホワイトバランス補正を行うものであった。

本実施形態では、通常時は、第１の実施形態と同様に、不揮発性メモリに予め記録されている補正テーブルデータに基づき、その輝度差からホワイトバランス補正を行う。ところが、カメラの動作モードによっては、第２の実施形態に示した方法でホワイトバランス補正を行う。以下、本実施形態の詳細について図１２を参照しながら説明する。なお、本実施形態の画像処理装置の構成は第２の実施形態と同様であるため、説明は省略する。

図１２は、本実施形態におけるＷＢ調整部５０１によるホワイトバランス補正の動作処理の一例を示すフローチャートである。なお、ホワイトバランスに関わる処理についてはは、第２の実施形態で示した図６〜図８と同様であるため、説明は省略する。

まず、ステップＳ１２０１において、ホワイトバランスを行うにあたり、基準とする駒であるか否かを確認する。この時、撮影した時にＡＥＢモードが動作中であった場合は、最適露出制御値（ＡＥＢが動作していないときと同じ制御値）で撮影した駒を基準とする。例えば、３駒撮影した場合に露出制御値が、撮影順にＴＹＰ（適）、−１（１段アンダー）、＋１（１段オーバー）である場合は、最初の駒を基準とする。また、露出制御値が−１（１段アンダー）、ＴＹＰ（適）、＋１（１段オーバー）である場合は、２番目の駒を基準とする。ＷＢブラケットモードが動作中であった場合も同様の手順でＴＹＰ（適）となる駒を基準とする。

ステップＳ１２０１の確認の結果、基準とする駒である場合は、ステップＳ１２０２に進む。そして、ステップＳ１２０２において、図８と同様の手順で既に求めている平均輝度（ＢＲＴ）と、不揮発性メモリに予め記録されているデフォルトの輝度との差であるΔＢＲＴを求める。そして、ステップＳ１２０３において、求めたΔＢＲＴを一時的に記憶する。

一方、ステップＳ１２０１の確認の結果、基準とする駒でない場合は、ステップＳ１２０４に進む。そして、図８と同様の手順で求めた平均輝度と、一時記憶しているΔＢＲＴとからホワイトバランス補正を行った後の標準駒との輝度差を求める。なお、ステップＳ１２０５〜Ｓ１２０７の処理は、図９のステップＳ９０４〜Ｓ９０６と同様であるため、説明は省略する。

以上のように本実施形態においては、カメラの撮影モードから基準とする駒を決め、まず、基準とする駒のホワイトバランスを行う。そして、カメラの撮影モードにて関連する他の駒の画像データのホワイトバランス補正を行う際には、基準とする駒との平均輝度の差に基づいて行う。これにより、各駒間の絶対的な色ずれと相対的な色ずれとを同時に改善して、より精度の高いホワイトバランス補正を行うことができる。

（本発明に係る他の実施形態）
本発明は、デジタルカメラに限らず、カメラ以外の光学機器や他の装置などの表示部であれば適用できる。また、ＬＣＤ表示器に限らず、表示機能を有するものであれば本発明を適用でき、例えば、有機ＥＬ使った表示器であってもよい。

前述した本発明の実施形態における画像処理装置を構成する各手段、並びに画像処理方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図２〜４、６〜９、１２に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の第１の実施形態に係るデジタルカメラを構成する画像処理装置の構成例を示すブロック図である。 本発明の第１の実施形態において、表示対象となる撮影画像データを読み出して表示するまでの動作手順の一例を示すフローチャートである。 本発明の第１の実施形態において、ホワイトバランス補正を最適に行うために領域を特定する動作手順の一例を示すフローチャートである。 本発明の第１の実施形態におけるホワイトバランス補正の動作手順の一例を示すフローチャートである。 本発明の第２の実施形態に係るデジタルカメラを構成する画像処理装置の構成例を示すブロック図である。 本発明の第２の実施形態において、表示対象となる撮影画像データを読み出して表示するまでの動作手順の一例を示すフローチャートである。 本発明の第２の実施形態において、ホワイトバランス補正を行うか否かを判断するための動作手順の一例を示すフローチャートである。 本発明の第２の実施形態において、ホワイトバランス補正を最適に行うために領域を特定する動作手順の一例を示すフローチャートである。 本発明の第２の実施形態におけるホワイトバランス補正の動作手順の一例を示すフローチャートである。 本発明の第２の実施形態において、ＡＥＢモードで撮影した画像を表示したときの画面内の表示内容を簡略的に示す図である。 本発明の第２の実施形態において、ＬＣＤ制御部の制御領域の独立性を示す概念図である。 本発明の第３の実施形態におけるホワイトバランス補正の動作手順の一例を示すフローチャートである。

符号の説明

４ 焦点検出部
５ レンズ部
６ 画像表示部
９ 外部記憶装置
１３ 撮像部
１００ 画像処理装置
１４０ マイコンＰＲＳ
１４１ 画像処理部
１４２ ＬＣＤ制御部
１４３ ＬＣＤ表示部
１４５ 領域抽出／平均輝度検出部
１４６ 撮像画像補正部
１４７ 信号処理部
１４８ ＩＦ部
１４９ ＶＲＡＭ部
１５０ リサイズ部
１５１ ＷＢ調整部
１５２ γ補正部
１５３ Ｄ／Ａ変換部

Claims (8)

1. 同一の被写体が撮影された複数の画像データを入力する入力手段と、
   前記入力手段によって入力された画像データに基づく画像を表示手段に表示する表示制御手段と、
   前記複数の画像データそれぞれにおいて、画像の対応する一部の領域の輝度をそれぞれ検出する輝度検出手段と、
   前記表示手段の特性による輝度に対する色度の変動量についての情報を記憶する記憶手段と、
   前記輝度検出手段によって検出された前記複数の画像データの対応する一部の領域の輝度と、前記記憶手段に記憶されている情報とに基づいて、前記複数の画像データの対応する一部の領域の色の差を少なくするように色度補正を行う補正手段とを有し、
   前記表示制御手段は、前記補正手段によって色度補正された画像データに基づく画像を前記表示手段に表示することを特徴とする画像処理装置。
2. 前記画像データの撮影モードに応じて、前記複数の画像データの中から色度補正の基準とする画像データを特定する特定手段をさらに有し、
   前記補正手段は、前記色度補正の基準とする画像データとそれ以外の画像データとの一部の領域の輝度の変動量と、前記記憶手段に記憶されている情報とに基づいて前記色度補正を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記輝度検出手段は、前記複数の画像データの対応する一部の領域を、前記画像データの中の顔の領域または撮影時に焦点調節を行った領域とすることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補正手段は、撮影モードに応じて前記色度補正を行うか否かを切り換えることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記補正手段は、撮影モードが連写モード、ＡＥＢモード、ＷＢブラケットモード、または前記複数の画像データの撮影間隔が所定の時間より短い単写モードである場合に、前記色度補正を行うことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 同一の被写体が撮影された複数の画像データを入力する入力工程と、
   前記入力工程において入力された画像データに基づく画像を表示手段に表示する表示制御工程と、
   前記複数の画像データそれぞれにおいて、画像の対応する一部の領域の輝度をそれぞれ検出する輝度検出工程と、
   前記輝度検出工程において検出された前記複数の画像データの対応する一部の領域の輝度と、前記表示手段の特性による輝度に対する色度の変動量についての情報とに基づいて、前記複数の画像データの対応する一部の領域の色の差を少なくするように色度補正を行う補正工程とを有し、
   前記表示制御工程においては、前記補正工程において色度補正された画像データに基づく画像を前記表示手段に表示することを特徴とする画像処理方法。
7. 同一の被写体が撮影された複数の画像データを入力する入力工程と、
   前記入力工程において入力された画像データに基づく画像を表示手段に表示する表示制御工程と、
   前記複数の画像データそれぞれにおいて、画像の対応する一部の領域の輝度をそれぞれ検出する輝度検出工程と、
   前記輝度検出工程において検出された前記複数の画像データの対応する一部の領域の輝度と、前記表示手段の特性による輝度に対する色度の変動量についての情報とに基づいて、前記複数の画像データの対応する一部の領域の色の差を少なくするように色度補正を行う補正工程とをコンピュータに実行させ、
   前記表示制御工程においては、前記補正工程において色度補正された画像データに基づく画像を前記表示手段に表示することを特徴とするプログラム。
8. 請求項７に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images