JP7129813B2 - 画像処理装置およびその制御方法、プログラム並びに記憶媒体 - Google Patents

Description

本発明は、階調特性の異なる複数の画像を記録・出力可能な画像処理技術に関する。

従来の表示装置で表示可能なダイナミックレンジ（Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ、ＳＤＲ）よりも広いダイナミックレンジ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ、ＨＤＲ）で画像を表示可能な表示装置がある。このような表示装置で画像を表示するためにＨＤＲに対応した画像信号（ＨＤＲ画像信号）を出力可能なデジタルビデオカメラ等の撮像装置がある。一方で、このような撮像装置において、従来の表示装置でも画像の表示を可能とするためにＳＤＲ画像信号を出力可能とすることも求められる。最近ではＨＤＲ画像信号とＳＤＲ画像信号とを同時に出力することが可能なデジタルビデオカメラも登場している。

ＨＤＲ画像とＳＤＲ画像は、同じ露出で撮影した画像であってもディスプレイで視聴する際に感じられる明るさが異なるため、ＨＤＲ画像とＳＤＲ画像とのそれぞれに対して露出を調整することがある。この場合、ＨＤＲ画像とＳＤＲ画像とを別々のディスプレイで視聴しながら露出を調節することがある。また、ＨＤＲ画像の波形モニタ(ＷＦＭ：Ｗａｖｅ Ｆｏｒｍ Ｍｏｎｉｔｏｒ)と、ＳＤＲ画像の波形モニタとを切り替えて白とび領域や肌の明るさを確認しながら露出を調節することもある。

特許文献１には、撮影時の設定補助機能として、画像信号について、所定の輝度レベル範囲に含まれる領域を所定色に着色して表示し、画像信号の輝度波形について、輝度レベル範囲に対応する領域を所定色に対応する色に着色して表示することが記載されている。

特開２０１５－１０９５６３号公報

しかしながら、撮影時に２つの視聴環境や波形モニタを用意するのはコストがかかる。また、１つの視聴環境（ディスプレイや波形モニタ)で２つの画像と、ディスプレイや波形モニタの設定を切り替えながら露出を決定するのはユーザへの操作負担が大きくなる。

本発明は、上記課題に鑑みてなされ、その目的は、コストをかけず、かつユーザの操作負担を増加せずに、複数の画像の明るさや露出などを容易に調節できる技術を実現することである。

上記課題を解決するために、本発明の画像処理装置は、第１のダイナミックレンジで表される第１の画像を処理して、前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジで表される第２の画像を生成する処理手段と、前記第１の画像の輝度分布を示す分布画像と、前記分布画像における前記第２の画像の所定の輝度レベルを示すためのスケール画像と、を含む画像を生成する生成手段と、前記画像を表示するように表示部を制御する制御手段と、を有し、前記分布画像は、前記第１の画像の水平方向の位置に対して、前記位置の各々における前記第１の画像の輝度値を示した波形モニタである。

本発明によれば、コストをかけず、かつユーザの操作負担を増加せずに、複数の画像の明るさや露出などを容易に調節できるようになる。

実施形態１のデジタルビデオカメラの構成を示すブロック図。 実施形態１のＨＤＲ画像、ＳＤＲ画像、波形モニタおよびスケールを生成する処理を実現する機能ブロック図。 ＳＤＲゲイン変更前後のガンマ特性を例示する図。 ＨＤＲ画像のガンマ特性を例示する図。 撮影された被写体（ａ）および波形モニタ（ｂ）の表示例を示す図。 ＨＤＲ画像の波形モニタ上にＳＤＲ画像のスケールを付加する処理を示すフローチャート。 ＳＤＲ画像のスケールが波形モニタ上に表示された状態を例示する図。 ＳＤＲ画像のスケールの他の表示例を示す図。 実施形態２の露出インジケータ上に露出指標を付加する処理を実現する機能ブロック図。 従来の露出インジケータの表示例を示す図。 実施形態２の露出インジケータの表示例を示す図。 ＳＤＲ画像の測光結果とＨＤＲ画像の測光結果とを用いて求められたＳＤＲ画像の露出指標を比較して示す図。 実施形態２の露出インジケータ上に強調表示される露出指標を例示する図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

＜装置構成＞まず、図１を参照して、本実施形態のデジタルビデオカメラの構成および機能について説明する。

図１において、撮像レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群であり、被写体像を結像させる。絞り１０１は、入射光量を調節するために使用される。ＮＤフィルタ１０４は絞り１０１とは別に入射光量を調節（減光）するために使用される。撮像部１２２は、被写体の光学像を電気信号に変換するＣＣＤやＣＭＯＳ等で構成される撮像素子である。また、撮像部１２２には電子シャッターによる蓄積の制御や、アナログゲイン、読み出し速度の変更などの機能も備える。Ａ／Ｄ変換部１２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換部１２３は、撮像部１２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア１０２は、デジタルビデオカメラ（以下、カメラ）１００の、撮像レンズ１０３を含む撮像系を覆うことにより、撮像レンズ１０３、絞り１０１、撮像部１２２を含む撮像系の汚れや破損を防止する。絞り１０１、バリア１０２、撮像レンズ１０３、撮像部１２２、およびＡ／Ｄ変換部１２３は、被写体を撮像して得られた光学像に基づいてＲＡＷ画像信号を生成して、画像処理部１２４およびメモリ制御部１１５の少なくとも一方に出力する。

画像処理部１２４は、Ａ／Ｄ変換部１２３又はメモリ制御部１１５から画像信号（入力画像信号）を取得し、ＨＤＲ階調特性の画像信号（ＨＤＲ画像信号）に変換する信号処理部２０１を備える。ここで、ＨＤＲ階調特性は、ＳＭＰＴＥ ＳＴ．２０８４に準拠したＰＱ（ＰＥＲＣＥＰＴＵＡＬ Ｑｕａｎｔｉｚａｔｉｏｎ）特性であるとする。ＰＱ特性は、信号レベル（ダイナミックレンジ、Ｄレンジ）に対して表示輝度値を絶対輝度で示す単位系（ｎｉｔ）で対応付けた階調特性である。図４は、ＨＤＲ画像のガンマ特性を示している。実線４０１は信号処理部２０１で生成されるＨＤＲ画像のガンマ特性を示している。Ｄレンジが１００％、４００％、１０００％の場合、それぞれの表示輝度値が１００ｎｉｔｓ、４００ｎｉｔｓ、１０００ｎｉｔｓに対応する。ここで、ディスプレイで表現できる最大輝度値が１０００ｎｉｔｓの場合を説明する。階調特性を示す情報はデータベースとして不揮発性メモリ１５６などに予め記憶されているものとする。なお、ＨＤＲ階調特性は、ＩＴＵ－Ｒ ＢＴ．２１００に準拠したＨＬＧ（Ｈｙｂｒｉｄ Ｌｏｇ Ｇａｍｍａ）特性であってもよいし、他の階調特性であってもよい。

画像処理部１２４は、取得した画像信号に対して色変換処理、ガンマ補正、デジタルゲイン付加等の処理を行ってもよい。また、画像処理部１２４が撮像された動画や静止画などの画像信号に所定の演算処理を施して得られた演算結果に基づいて、システム制御部１５０が露出制御、測距制御、ホワイトバランス制御等を行うことも可能である。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が行われる。

画像変換部１９１は、画像処理部１２４により生成されたＨＤＲ画像信号を、ＨＤＲ階調特性よりも狭いダイナミックレンジに対応するＳＤＲ階調特性のＳＤＲ画像信号に変換する信号処理部２０２を備える。画像変換部１９１は、変換したＳＤＲ画像信号を画像出力部１９２に出力する。ＳＤＲ階調特性は、従来の表示装置が表示可能なダイナミックレンジに対応する階調特性であって、例えば、ＩＴＵ－Ｒ ＢＴ．７０９に準拠したγ１．９、γ２．２、およびγ２．４等の階調特性である。ＳＤＲ階調特性は、不揮発性メモリ１５６などに予め記憶されているものとする。なお、ＳＤＲ階調特性は、後述するように設定されたＳＤＲゲインによって補正され決定される。

図３はＳＤＲ階調特性を示す模式図である。図３において、破線３０１は不揮発性メモリ１５６から読み出したＳＤＲ階調特性を示す。破線３０１が示すＳＤＲ階調特性は、不揮発性メモリ１５６から読み出したＳＤＲ階調特性に対してＳＤＲゲイン０ｄＢを設定した（ＳＤＲゲイン変更前の）場合のＳＤＲ階調特性であるともいえる。実線３０２は、ＳＤＲゲインが６ｄＢに設定された場合のＳＤＲ階調特性を示している。図３は、横軸に信号レベル（ダイナミックレンジ、Ｄレンジ）、縦軸に出力［ＩＲＥ］レベルを示す。ここで、ＩＲＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｒａｄｉｏ Ｅｎｇｉｎｅｅｒｓ）は画像信号の１００％白の輝度レベルを１００［ＩＲＥ］とした単位であり、輝度レベルである。ＳＤＲ階調特性では、輝度レベルは相対的な値で示されるとする。

また、ＳＤＲゲインをｋ倍とすると、ＳＤＲゲイン変更前のガンマ特性３０１をＤレンジ方向に１／ｋ倍した特性がＳＤＲゲイン変更後のガンマ特性３０２となっている。実施形態１では、ＳＤＲゲイン変更前のＤレンジを８００％、ＳＤＲゲインを＋６ｄＢ（２倍）とすると、ＳＤＲゲイン変更後のＤレンジは４００％となり、飽和信号レベルのＤレンジが４００％として求められる。

画像出力部１９２は、画像変換部１９１から出力されたＳＤＲ画像信号を外部装置に出力する出力手段である。画像出力部１９２は、ＨＤＭＩ（登録商標）などの画像出力端子であるとする。

画像出力部１９２は、画像処理部１２４から出力されたＨＤＲ画像信号を外部装置に出力する出力手段である。画像出力部１９２は、メモリカードやハードディスク等の記録媒体１９０に接続するインターフェースであるとする。図１では画像出力部１９２が記録媒体１９０と接続している状態を示している。記録媒体１９０は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

上述したようにＨＤＲ画像信号およびＳＤＲ画像信号を生成する回路をそれぞれ備えることから、ＨＤＲ画像信号およびＳＤＲ画像信号を並列に生成し、Ｉ／Ｆ１１８、画像出力部１９２から並行して出力することが可能である。

メモリ制御部１１５は、Ａ／Ｄ変換部１２３から得られたＲＡＷ画像信号および画像処理部１２４から得られた画像信号をメモリ１３２に記憶し（書き込み）、また、メモリ１３２から画像表示用の画像信号を読み出して信号重畳部１９４に出力する制御部である。なお、メモリ制御部１１５は、画像処理部１２４から得られた画像信号を、直接、画像表示用の画像信号として、信号重畳部１９４に出力してもよい。

メモリ１３２は、撮像部１２２によって得られ、Ａ／Ｄ変換部１２３によりデジタルデータに変換された画像信号や、表示部１２８に表示するための画像信号を格納する。メモリ１３２は、所定時間の動画および音声を格納するのに十分な記憶容量を備えている。メモリ１３２は画像表示用の画像信号を格納するメモリ（ビデオメモリ）を兼ねている。

Ｄ／Ａ変換部１１３は、取得したデジタル形式の画像信号をアナログ信号に変換して表示部１２８に供給する。表示部１２８は、取得したアナログ信号に基づいて、画像を表示する表示装置である。表示部１２８は、例えば、液晶ディスプレイモジュールや有機ＥＬディスプレイモジュールであるとする。例えば、表示部１２８は、１０００ｎｉｔまでの輝度で画像を表示することが可能なＨＤＲ対応の表示装置であるとする。また、表示部１２８は、電子ビューファインダ（ＥＶＦ）であってもよい。表示部１２８は、Ａ／Ｄ変換部１２３によってＡ／Ｄ変換され、メモリ１３２に蓄積されたデジタル信号をＤ／Ａ変換部１１３においてアナログ変換し、表示部１２８に逐次転送して表示することで、撮像して得られた画像をライブビュー表示することが可能である。

不揮発性メモリ１５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ１５６には、システム制御部１５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。不揮発性メモリ１５６には、後述する信号処理部２０１および信号処理部２０２が実行する画像信号の階調変換処理に用いられる階調特性のデータも記憶されており、カメラの感度設定とガンマ設定に応じたデータベースに格納されている。

システム制御部１５０は、カメラ１００全体を制御する。また、システム制御部１５０は、操作部１７０を介して入力されたユーザ指示に応じてＳＤＲゲインを設定するゲイン設定部２０３と、少なくともＳＤＲ階調特性に基づいてスケール位置を算出するスケール位置算出部２０４とを備える。システム制御部１５０は、前述した不揮発性メモリ１５６に記録されたプログラムを実行することで、デジタルビデオカメラ１００の各処理を実現することが可能である。１５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ１５２には、システム制御部１５０の動作用の定数、変数、不揮発性メモリ１５６から読み出したプログラム等を展開する。また、システム制御部１５０はメモリ１３２、Ｄ／Ａ変換部１１３、表示部１２８等を制御することにより表示制御も行う。

システムタイマー１５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替スイッチ１６０、録画スイッチ１６１、操作部１７０はシステム制御部１５０に各種の動作指示を入力するための操作手段である。

モード切替スイッチ１６０は、システム制御部１５０の動作モードを、動画記録モード、静止画記録モード、再生モード等のいずれかに切り替える。動画記録モードや静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ１６０で、動画記録モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ１６０で動画記録モードに一旦切り替えた後に、動画記録モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。録画スイッチ１６１は撮影待機状態と撮影状態を切り替える。システム制御部１５０は、録画スイッチ１６１により、撮像部１２２からの信号読み出しから記録媒体１９０への録画データの書き込みまでの一連の動作を開始する。

操作部１７０の各操作部材は、表示部１２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１２８に表示される。ユーザは、表示部１２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンを用いて直感的に各種設定を行うことができる。

電源制御部１８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部１８０は、その検出結果及びシステム制御部１５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１９０を含む各部へ供給する。

電源部１３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、リチウムイオン電池等の二次電池、ＡＣアダプタ等からなる。

アシスト情報生成部１９３は、ＲＡＷ画像信号およびＨＤＲ画像信号の少なくとも一方に基づいて、ＨＤＲ画像信号の特性値を示すアシスト画像を生成する。さらに、アシスト情報生成部１９３は、ＲＡＷ画像信号およびＨＤＲ画像信号の少なくとも一方と、ＳＤＲ階調特性とに基づいてＳＤＲ画像信号における特性値に関連する補助画像を生成し、補助画像をアシスト画像と合成する。

実施形態１において、特性値は、輝度値であるとする。また、アシスト画像は、ＨＤＲ画像信号のうち水平方向における各位置の輝度値を示す輝度波形とＨＤＲ画像の特性に応じたスケールとで構成される波形モニタ画像であるとする。なお、生成する輝度波形は、垂直方向における各位置の輝度値を示す波形でもよい。また、アシスト情報生成部１９３は、ＨＤＲ階調特性とＳＤＲ階調特性とに基づいて、ＳＤＲ画像信号において予め定められた信号レベル（基準輝度レベル）に対応する輝度値を示すスケール画像を生成する。なお、アシスト情報生成部１９３は、ゲイン値（ＳＤＲゲイン）を参照して、スケール画像を生成してもよい。これによって、ユーザは、波形モニタ画像を確認して輝度波形において基準輝度レベルを超えてしまう領域を容易に確認することが可能となる。例えば、基準輝度レベルを、ＳＤＲ階調特性において飽和する信号レベルに予め設定することにより、ＳＤＲ画像信号で飽和する領域をユーザが確認することが可能となる。

波形モニタ画像は、画像信号のうち、ユーザが設定した水平ラインにおける輝度値の分布を示す分布画像である。輝度波形は、横軸に水平方向における位置をとり、縦軸に輝度値をとる。なお、波形モニタ画像は、ＨＤＲ画像信号の水平ラインごとに輝度波形を、１画面分の輝度波形を合成して、１画面分の輝度分布を示すものであってもよい。この場合、輝度波形は、各画素のｘ座標が画像信号の水平方向の位置を、ｙ座標が輝度値を、また画素値がｙ座標で表される輝度の出現頻度を表す画像である。画像信号の水平位置ｘ１の垂直ラインが同一輝度値ｙ１の画素で構成される場合、輝度信号波形は、ｘ１に対応するｘ座標を有する画素群のうち、ｙ１に対応するｙ座標の画素だけが値を有し、他のｙ座標を有する画素は値を持たない。また、輝度波形の画素値は出現頻度が多いほど大きくなるため、高輝度で表示される。

信号重畳部１９４は、メモリ制御部１１５から出力されるＨＤＲ画像信号に、アシスト情報生成部１９３により生成されたアシスト画像信号を重畳して合成するデータ加算部である。信号重畳部１９４は、合成した画像信号をＤ／Ａ変換部１１３に出力する。

Ｄ／Ａ変換部１１３は、信号重畳部１９４から取得したデジタル形式の画像信号をアナログ信号に変換して表示部１２８に出力する。表示部１２８には、ＨＤＲ画像が画面全体に表示され、画面の一部の領域に、ＳＤＲ画像のスケールを含む波形モニタ画像が表示される。

次に、図２を参照して、実施形態１のＨＤＲ画像、ＳＤＲ画像、波形モニタおよびスケールを生成する処理を実現する機能ブロックについて説明する。

本実施形態の処理は、信号処理部２０１と、信号処理部２０２と、ゲイン設定部２０３と、スケール位置算出部２０４により実現される。

以下では、ユーザがＳＤＲ画像のスケールを含む波形モニタを見ながらＳＤＲ画像の明るさを調節し、ＨＤＲ／ＳＤＲサイマル記録を行う場合について説明する。

なお、画像処理部１２４での信号処理は、ホワイトバランス制御や輪郭強調処理などを含むが、これらの処理は既知であるので、詳細な説明は省略する。また、図２の各ブロックは、システム制御部１５０から、絞りや、ＮＤ情報、シャッター速度などの露出パラメータを含めたカメラ内部のあらゆるデータを取得可能である。

図２において、信号処理部２０１は、Ａ／Ｄ変換部１２３でデジタル信号に変換されたＲＡＷ画像信号に対して入出力特性（ガンマ特性）を変更する階調変換処理を行ってＨＤＲ画像信号を生成する。信号処理部２０１で生成されたＨＤＲ画像信号はＩ／Ｆ１１８を介して記録媒体１９０に記録される。また、信号処理部２０１で生成されたＨＤＲ画像信号はメモリ制御部１１５を介して信号重畳部１９４へ出力され、Ｄ／Ａ変換部１１３を介して表示部１２８に表示される。

信号処理部２０２は、信号処理部２０１で生成されたＨＤＲ画像信号をデガンマ処理した後、メモリ１３２から読み出したＳＤＲ階調特性と、ゲイン設定部２０３により設定されたＳＤＲゲインとに基づいて階調変換処理を行う。このようにしてＨＤＲ画像信号に対して入出力特性（ガンマ特性）を変更したＳＤＲ画像信号を生成する。ここで、デガンマ処理は信号処理部２０１でＲＡＷ画像信号をＨＤＲ画像信号に変換するために行った階調変換処理の逆変換である。すなわち、デガンマ処理によって、ＨＤＲ画像信号はＲＡＷ画像信号に逆変換されるともいえる。したがって、信号処理部２０２は、ＲＡＷ画像信号をＳＤＲ階調特性とＳＤＲゲインとに基づいてＳＤＲ画像信号に変換する処理を実行するともいえる。なお、ＨＤＲ画像信号からＳＤＲ画像信号への階調変換処理は色域変換処理を伴う場合があるが、本実施形態では関連がないため詳細な説明は省略する。信号処理部２０２で生成されたＳＤＲ画像信号は、画像出力部１９２に出力され、図示しない外部機器などで記録、表示することが可能である。ユーザは、ＨＤＲ画像信号を記録媒体１９０に記録しつつ表示部１２８に表示してＨＤＲ画像の輝度や露出を確認することができる。また、ＳＤＲ画像信号を外部機器などに出力して記録することでＨＤＲ／ＳＤＲサイマル記録が可能である。

ゲイン設定部２０３は、ユーザ操作に応じてＳＤＲゲイン値を設定する。スケール位置算出部２０４は、信号処理部２０１で適用されるＨＤＲ階調特性と、信号処理部２０２で適用されるＳＤＲ階調特性とに基づいて、ＨＤＲ画像の波形モニタ画像上においてＳＤＲ画像信号の基準輝度レベルに対応するスケールを表示する位置を算出する。

図５（ａ）は、本実施形態のカメラにより撮影された被写体を例示している。図５（ａ）において、５０１は輝度値２００ｎｉｔｓの人物の顔、５０２、５０３は光源であり、それぞれ輝度値５００ｎｉｔｓ、１５００ｎｉｔｓの被写体である。５０４は輝度信号波形を生成する水平ライン位置を指定するためのカーソル（ＬｉｎｅＳｅｌｅｃｔ）である。

図５（ｂ）は、ＨＤＲ画像信号に基づいて生成した波形モニタ画像を示す模式図である。図５（ａ）に示した被写体を撮像して得られたＲＡＷ画像信号を、ＨＤＲ階調特性４０１に基づいてＨＤＲ画像信号に変換した場合、１０００ｎｉｔ以上のダイナミックレンジは表現できないため、１０００ｎｉｔ以上の光源５０３およびその周辺の領域は、１０００ｎｉｔで飽和する。したがって、図５（ｂ）において、５００ｎｉｔｓの光源５０２とその周辺の領域は波形モニタ画像において輝度分布が被写体の輝度に対応して表現されるが、光源５０３とその周辺の領域は１０００ｎｉｔｓで飽和した状態として表現される。なお、輝度値はＹ信号のｎｉｔｓ表示を例示しているが、ＩＲＥ表示や、ＲＧＢ信号の波形モニタ表示に適応してもよい。

次に、図６のフローを参照して、ＨＤＲ画像信号に基づいて生成した波形モニタ画像にＳＤＲ画像信号における基準輝度レベルを示すスケール画像を付加する処理について説明する。

ＨＤＲ階調特性は図４の階調特性４０１とし、ＳＤＲ階調特性は図３の階調特性３０１であるとする。

また、図６の処理は、システム制御部１５０が不揮発性メモリ１５６から読み出した制御プログラムをシステムメモリ１５２に展開して実行し、図２に示す各ブロックを制御することにより実現される。

Ｓ６０１で、システム制御部１５０は、ＨＤＲ画像の波形モニタ上にＳＤＲ画像のスケールを表示するＳＤＲ画像のアシスト表示機能がＯＮにされたか否かを、操作部１７０からの設定指示の有無により判定する。システム制御部１５０は、ＳＤＲ画像のアシスト表示機能がＯＮにされたと判定した場合はＳ６０２に進み、ＯＦＦと判定した場合はＳ６０８に進む。

Ｓ６０２で、システム制御部１５０は、波形モニタ上に表示するＳＤＲ画像の基準輝度レベルを取得する。基準輝度レベルは、ユーザがＳＤＲ画像信号においてどのような輝度レベルを把握したいかに応じて、任意に設定することが可能である。例えば、基準輝度レベルは、ＳＤＲ画像の飽和レベル（ＩＲＥ１００％）であるとする。これにより、ユーザはＨＤＲ画像の輝度波形を確認しながら、ＳＤＲ画像における白飛び領域の有無およびその位置等を把握ですることが容易となる。また、画像撮影時に人物の肌の輝度レベルの目安となるＩＲＥ７０～７５％前後の値を基準輝度レベルとしてもよい。なお、基準輝度レベルは、ユーザ操作に応じて変更可能としてもよい。

Ｓ６０３で、システム制御部１５０は、ＳＤＲ画像変換に用いるガンマ特性を取得する。ＳＤＲ画像変換に用いるガンマ特性は、予め不揮発性メモリ１５６のデータベースに記憶されている。システム制御部１５０は、カメラ設定に応じて図３のガンマ特性３０１などの情報を取得してもよい。

Ｓ６０４で、システム制御部１５０のゲイン設定部２０３は、ユーザが操作部１７０を介して入力した指示に応じて、ＳＤＲゲイン設定する。なおＳＤＲゲインはあらかじめ設定された値をメモリ１３２から読み出して設定してもよい。

Ｓ６０５で、システム制御部１５０は、図３のガンマ特性３０１からＳＤＲ画像の基準輝度レベルに対応するＤレンジの値（基準Ｄ値）を決定する。基準輝度レベルがＩＲＥ１００％である場合、図３のガンマ特性３０１から基準Ｄ値は８００％となる。

Ｓ６０６で、システム制御部１５０のスケール位置算出部２０４は、基準Ｄ値に対応するＨＤＲ画像の輝度を決定する。基準Ｄ値に対応するＨＤＲ画像の輝度は、輝度波形において、ＳＤＲ画像信号の基準輝度レベルを示すスケールを表示する位置（表示位置）に対応する。スケール位置算出部２０４は、ＨＤＲ画像の輝度波形におけるＳＤＲ画像のスケールの表示位置を算出し、アシスト情報生成部１９３に出力する。スケール位置算出部２０４は、図４のガンマ特性４０１を不揮発性メモリ１５６に記憶されたデータベースから取得する。スケール位置算出部２０４は、取得したガンマ特性４０１と基準Ｄ値とから、基準Ｄ値に対応するＨＤＲ画像の輝度（ディスプレイの表示輝度値［ｎｉｔｓ］）を算出する。ここでは、図４のガンマ特性４０１からＤレンジ８００％に対応するディスプレイの表示輝度値８００ｎｉｔｓをＳＤＲ画像信号における基準輝度レベルを示すスケールの位置として決定する。

Ｓ６０７で、アシスト情報生成部１９３は、ＨＤＲ画像の輝度波形を生成する。また、アシスト情報生成部１９３は、ＨＤＲ画像の輝度波形と、ＨＤＲ画像の輝度を示すスケールと、ＳＤＲ画像信号における基準輝度レベルを示すスケールとを合成した波形モニタ画像を生成する。

図７は、ＨＤＲ画像信号の波形モニタ上にＳＤＲ画像のスケールが付加されたアシスト表示例を示している。図７（ａ）において、７０１はＨＤＲ画像信号の輝度波形であり、７０２はＳＤＲ画像信号の飽和信号レベルが１００％の位置を示すスケールである。また、図７（ａ）の波形モニタにおける第１軸であるＯｕｔｐｕｔ１がＨＤＲ画像信号の輝度値［ｎｉｔｓ］に対応し、第２軸のＯｕｔｐｕｔ２がＳＤＲ画像信号の輝度値［ＩＲＥ］に対応している。本実施形態では、波形モニタの８００ｎｉｔｓのラインに、ＳＤＲ画像信号の飽和信号レベルの１００％を示すスケール７０２が表示される。

Ｓ６０８では、システム制御部１５０は、アシスト情報生成部１９３に、ＨＤＲ画像信号の輝度波形のみから構成される波形モニタ画像を生成させる。また、アシスト情報生成部１９３は、ＨＤＲ画像信号の輝度波形と、ＨＤＲ画像信号の輝度を示すスケールとを合成した波形モニタ画像を生成する。

次に、ＳＤＲゲインが０ｄＢから６ｄＢに変更された場合について説明する。すなわち、ＳＤＲ画像信号のガンマ特性が、図３のガンマ特性３０２である場合の処理について、説明する。処理手順は図６のフローと同様である。

ＳＤＲゲインが０ｄＢから６ｄＢに変更された場合には、Ｓ６０５でＳＤＲ階調特性がＳＤＲゲイン値と図３のガンマ特性３０１とからガンマ特性３０２として算出される。そして、Ｓ６０６で算出されるＳＤＲ画像信号における基準信号レベルに対応する基準Ｄ値が４００％となる。よって、ＳＤＲゲインが６ｄＢの場合に、Ｓ６０７で表示されるＳＤＲ画像のスケール位置は、ＨＤＲ画像信号における４００ｎｉｔの位置に対応する位置となる。したがって、波形モニタ画像は、図７（ｂ）に示すように変更される。ＳＤＲゲインはＨＤＲ画像に影響を与えないため、ＨＤＲ画像の輝度信号波形７０１は変化しない。

上述したように、ＳＤＲ画像信号において所定の信号レベル（基準輝度レベル）を示すスケールをＨＤＲ画像信号の輝度波形に付加することによりＳＤＲ画像信号の白飛び（飽和）や被写体の明るさなどを容易に確認することができる。また、基準輝度レベルに対応するスケールの位置をＳＤＲゲインに基づいて決定することにより、ＳＤＲゲインの変更による白とび等の変化を容易に確認することが可能となる。例えば、図７では、ＳＤＲゲインが０ｄＢの場合に光源５０２の領域は飽和しないが、ＳＤＲゲインを６ｄＢに変更すると白飛びすることを容易に把握することが可能となる。

なお、本実施形態では、ＳＤＲ階調特性よりもＤレンジが広いＨＤＲ階調特性に基づいてＳＤＲ画像信号のスケールを生成しているため、ＳＤＲ画像信号では飽和してしまう領域に関する情報が生成可能となっている。

また、本実施形態では、ＳＤＲ画像信号から輝度波形を生成する回路を必要としないことから、複数の画像信号に対応する複数の輝度波形生成回路を設ける必要がない。したがって、輝度波形を生成する回路が最小限に抑えられるため回路規模を削減できる。

なお、ＳＤＲゲインが変更されたことをユーザに明示するために、ユーザに対してＳＤＲゲイン変更後の波形モニタの第２軸やＳＤＲ画像信号のスケールの表示形態を変更してもよい。この場合、例えば、波形モニタの第２軸やＳＤＲ画像のスケールについて、表示色を変更、点滅表示などを行えばよい。

なお、スケールは複数の基準輝度レベルに対してそれぞれ生成して表示することも可能である。複数の基準輝度レベルに対応する複数のスケールを表示する場合について、図８を参照して説明する。

図８は、ＨＤＲ画像信号の波形モニタに、ＳＤＲゲインが±０ｄＢの場合と＋６ｄＢに設定された場合の２つのＳＤＲ画像のスケールを表示した例を示している。

図８において、８０１は、ＳＤＲゲインが＋６ｄＢに設定されている場合のＳＤＲ画像信号のスケールである。８０２は、ＳＤＲゲインが±０ｄＢに設定されたと仮定した場合のＳＤＲ画像信号のスケールである。

スケール８０１は、信号処理部２０２が適用するＳＤＲゲイン値（ゲイン設定部２０３を介して設定されたＳＤＲゲイン値）に基づいて、図６の処理手順に従って算出される。これに対して、スケール８０２は、ゲイン設定部２０３を介して設定されたＳＤＲゲインとは異なるゲイン値に基づいて算出される。異なるゲイン値はユーザの変更指示であってもよいし、信号処理部２０２が適用するゲイン値に対して－６ｄＢなどの値を初期値として設定してもよい。

このように、信号処理部２０２が適用するＳＤＲゲイン値に基づいて算出されるＳＤＲ画像信号のスケールと、それとは別のゲイン値に基づいて算出されるスケールとを波形モニタ上に付加する。これにより、例えばＳＤＲ画像信号の白飛びを改善するために、ＳＤＲゲインをどの程度まで下げればよいかを容易に把握することができるようになる。

なお、実施形態１では、ＳＤＲ画像信号のアシスト表示機能としてＨＤＲ画像信号の輝度波形を用いたが、輝度ヒストグラムを用いてもよい。この場合、ＨＤＲ画像信号から、画素ごとの輝度値を度数で示す輝度ヒストグラムを生成し、輝度ヒストグラム上にＳＤＲ画像信号の飽和輝度値を示すスケールを表示すればよい。

また、実施形態１では、ＳＤＲ画像信号のスケールをカメラの表示部１２８に表示する例を説明したが、ＳＤＲ画像信号のスケールを、外部機器に出力されるＨＤＲ画像信号に付加して出力してもよい。この場合、出力先である外部機器で付加情報を解析し、ＨＤＲ画像の波形モニタにＳＤＲ画像信号のスケールが表示可能となる。

［実施形態２］
次に、実施形態２について説明する。上述した実施形態１では画像の特性を示すアシスト画像が輝度の分布を示す輝度波形である場合について説明したが、実施形態２ではアシスト画像が画像の露出を示す露出インジケータである場合について説明する。実施形態２では、ＨＤＲ画像の露出を示す露出インジケータに、ＳＤＲ画像の露出を示すための補助画像を合成する例を説明する。

実施形態２のデジタルビデオカメラ１００の構成図は、実施形態１の図１の構成図と同様である。実施形態２のデジタルビデオカメラは、アシスト情報生成部１９３と信号重畳部１９４における処理が、実施形態１と異なる。その他の構成については、実施形態１と同様であることから説明を省略する。

アシスト情報生成部１９３は、露出インジケータに表示される露出指標データを生成する。露出インジケータは、画像信号の露出（明るさの特性値（評価値））を示すための露出指標（カーソル画像）１００３と、カーソルが示す露出をユーザが認識するためのスケール１００１とを含むアシスト画像である。図１０は、露出インジケータの表示例を示している。露出インジケータにおいて、カメラで判定される画像の適正露出位置１００２がスケール１００１の目盛りの中心に設定される。また、撮影画像の露出位置に逆三角形の露出指標１００３が表示される。撮影画像の信号レベルから算出される明るさの評価値が適正露出よりも露出オーバーであれば適正露出位置１００２より右側に、評価値が適正露出よりも露出アンダーであれば適正露出位置１００２より左側に、露出指標１００３が表示される。言い換えれば、適正露出からの差が大きいほど、現在の露出を表す露出指標１００３は中心の適正露出位置１００２から離れて表示されるといえる。なお、明るさの評価値は、既知の方法を用いて算出することができる。例えば、画像全体の信号レベルの平均値でもよいし、画像を複数の領域に分割し、分割領域に含まれる被写体や画像内の位置に応じて加重平均したものでもよいし、平均信号レベルとピーク信号レベルを考慮した指標でもよい。また、評価値算出に用いる画像信号は輝度信号でもよいし、色信号でもよいし、それぞれの画素ごとに色信号と輝度信号の組み合わせた信号でもよい。

次に、図１１を参照して、ＨＤＲ画像信号の露出とＳＤＲ画像信号の露出を示す露出インジケータについて説明する。

図１１（ａ）は、ＨＤＲ画像信号の露出指標１１０１とＳＤＲ画像信号の露出指標１１０２とがそれぞれ異なるスケール１１０３、１１０４上にカーソルとして表示される例を示している。図１１（ｂ）は、ＨＤＲ画像信号の露出指標１１０１とＳＤＲ画像信号の露出指標１１０２が同一のスケール１１０５上にカーソルとして表示される例を示している。図１１（ｃ）は、スケール１１０５上にＨＤＲ画像信号の露出指標１１０１がカーソルとして配置され、かつ、ＳＤＲ画像信号の露出指標は、ＨＤＲ画像信号の露出に対する相対値として表示される例を示している。

図１１に示すように、ＨＤＲ画像信号の露出指標１１０１とＳＤＲ画像信号の露出指標１１０２、１１０６を露出インジケータ上に同時に表示することが可能となる。これにより、ユーザがＨＤＲ画像信号に基づく画像およびＳＤＲ画像信号に基づく画像のいずれを表示部１２８に表示させてみている状態であっても、両画像信号の露出指標を同時に把握することができる。よって、被写体に応じて画像を切り替えながら明るさを確認する必要がなく、一方の画像を見ながらもう一方の画像の明るさを容易に確認することができる。

アシスト情報生成部１９３で生成されたＨＤＲ画像信号の露出指標を含むアシスト画像とＳＤＲ画像信号の露出指標を示す補助画像を合成した画像信号は、信号重畳部１９４においてメモリ制御部１１５を介して入力される画像信号に対して重畳され、Ｄ／Ａ変換部１１３を介して表示部１２８に表示される。

次に、図９を参照して、本実施形態の露出インジケータ上に露出指標を付加する処理について説明する。

アシスト情報生成部１９３には、メモリ制御部１１５を介してＲＡＷ画像信号が入力される。露出指標を算出するためには入力画像の光量に対して線形特性（リニア）を持つ信号が好ましいため、アシスト情報生成部１９３には、信号処理部２０１で階調変換処理を行う前のＲＡＷ画像信号が入力される。アシスト情報生成部１９３は、メモリ制御部１１５を介して入力される階調変換前のＲＡＷ画像信号とスケール位置算出部２０４から出力されるゲイン設定部２０３で設定されたゲイン値（ＳＤＲゲイン）とからＨＤＲ画像信号の測光値を取得することでＨＤＲ画像信号の露出指標を生成する。また、アシスト情報生成部１９３は、ＨＤＲ画像信号の測光値とＳＤＲゲインとからＳＤＲ画像信号の測光値を取得することでＳＤＲ画像信号の露出指標を生成する。

ＨＤＲ画像信号とＳＤＲ画像信号の露出指標を算出するためには、２つの画像信号からそれぞれに設けられた測光回路により測光値を取得し、それぞれの測光値を用いて２つの画像信号の評価値を算出することで２つの画像信号の露出指標を生成するのが一般的である。しかしながら、この場合、複数の測光回路が必要となり、非常に大きな回路構成になってしまう。さらに、ＳＤＲ画像信号はＨＤＲ画像信号に対して相対的な信号変換処理を行って生成される。このため、正のＳＤＲゲイン値が設定された場合は増幅により飽和信号が発生し、飽和により失われた画像信号を正しく測光することができず、ＳＤＲ画像信号を相対的に正しく測光することできない。

これに対して、本実施形態では、アシスト情報生成部１９３に入力されるＲＡＷ画像信号が入力画像の光量に対して線形な特性を持ち、測光値も入力画像の光量に対して線形な特性を維持していることに注目して、２つの画像信号の測光値を取得する。具体的には、ＳＤＲ画像信号の測光値はＳＤＲ画像信号を測光するのではなく、ＨＤＲ画像信号の測光値に対してＳＤＲゲインに応じた線形な変換（増幅）を行うことで、ＨＤＲ画像信号の測光値をＳＤＲ画像信号の測光値として代替的に用いている。このようにして求められたＳＤＲ画像信号の測光値は、ＳＤＲ画像信号に比べて充分コンパクトな形式に変換されている。このため、ソフトウェアで充分なビット精度を持った数値データとして扱うことができ、ゲイン値に応じた線形な変換（増幅）を行ったとしても情報が失われることがないという利点がある。

図１２は、露出インジケータ１２０２上にＨＤＲ画像信号の測光値を３ｄＢのＳＤＲゲイン値で変換（増幅）して求めたＳＤＲ画像信号の測光値を用いて生成されるＳＤＲ画像信号の露出指標１２０２とＳＤＲ画像信号を測光して得られる測光値を用いて生成されるＳＤＲ画像信号の露出指標１２０３とを比較して示している。本実施形態によれば、大きな回路構成を必要とせずに、ＳＤＲゲイン値に応じた線形な増幅処理を施しても情報が失われることがなく、正確な測光値を取得することができる。そして、１つのＲＡＷ画像信号の測光値から求めた２つの画像信号の測光値に基づいてそれぞれの評価値を算出し、２つの画像信号の露出指標を生成し、信号重畳部１９４で入力画像に重畳する。これにより、入力画像をその都度切り替えることなく、ＨＤＲ画像信号とＳＤＲ画像信号の各露出状態を同時に確認できるようになる。

上述した実施形態では、メモリ制御部１１５から信号処理部２０１で階調変換される前のＲＡＷ画像信号がアシスト情報生成部１９３に入力される例を説明した。これに対して、アシスト情報生成部１９３に入力される画像信号は入力画像の光量に対してリニアな信号であればよいので、信号処理部２０２から出力されるＳＤＲ画像信号でもよい。この場合、信号処理部２０２では入力画像の光量に対してＳＤＲ画像信号に準じた非線形な階調変換が行われているため、信号処理部２０２で入力画像の光量に対してリニアな信号に階調変換された画像信号をアシスト情報生成部１９３に出力すればよい。また、ＳＤＲ画像信号はＨＤＲ画像信号に対してＳＤＲゲイン値に応じて増幅されているため、ＳＤＲゲイン値の符号を反転した値で増幅したＳＤＲ画像信号の測光値を用いることで、ＨＤＲ画像信号の測光値を相対的に算出することが可能である。

また、アシスト情報生成部１９３に入力される画像信号が入力画像の光量に対して非線形な信号である場合でも、アシスト情報生成部１９３で入力画像の光量に対してリニアな信号に変換した後に測光値を取得してもよい。

次に、ＳＤＲゲインが変更された場合の処理について説明する。ＨＤＲ／ＳＤＲサイマル記録において、ＳＤＲ画像の明るさのみを適正化するために設定されるＳＤＲゲイン値は、ユーザが画像を見ながら手動で調節する場合や撮影画像から被写体の明るさを評価してカメラが自動で判定して調節する場合がある。

ユーザがＨＤＲ画像とＳＤＲ画像のいずれか一方のみを見ている場合は、見ていない方の画像の明るさが変わった場合でも見ている方の画像に変化が現れず、ユーザが意図しない露出条件で画像が撮影されてしまう場合がある。本実施形態では、このような場合を想定して露出の変化をユーザに提示する。例えば、ＨＤＲ画像を見て、ＳＤＲゲイン値をユーザが手動で設定する場合には、ゲイン値を変更してもユーザが見ているＨＤＲ画像の明るさには変化が現れない。このため、ＳＤＲ画像がユーザが意図しない不適切な明るさになっていたとしてもユーザは気付くことができない。そこで、図１３に示すように露出が変更された画像信号の露出指標を強調表示することで、ユーザは画像の明るさの変化を見ることはできなくても明るさが変化したことを把握することができる。図１３は強調表示としてＳＤＲ画像の露出指標を点滅させ、カーソル色を変更する例を示しているが、他の方法でもよい。例えば、カーソルや文字の色、大きさ、フォント、形、点滅／点灯、表示状態、あるいはこれらを組み合わせて変化させて強調表示を実現してもよい。これにより、露出が変更された画像の露出指標が、変更されてない画像の露出指標と識別可能になり、２つの画像をその都度切り替えながら撮影を行う必要がなく、両画像を同時に確認しながら撮影を行うことが可能となる。

［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…画像処理装置、１５０…システム制御部、１９１…画像変換部、１９２…画像出力部、１９３…アシスト情報生成部、１９４…信号重畳部、２０１、２０２…信号処理部、２０３…ゲイン設定部、２０４…スケール位置算出部

Claims (10)

1. 第１のダイナミックレンジで表される第１の画像を処理して、前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジで表される第２の画像を生成する処理手段と、
   前記第１の画像の輝度分布を示す分布画像と、前記分布画像における前記第２の画像の所定の輝度レベルを示すためのスケール画像と、を含む画像を生成する生成手段と、
   前記画像を表示するように表示部を制御する制御手段と、を有し、
   前記分布画像は、前記第１の画像の水平方向の位置に対して、前記位置の各々における前記第１の画像の輝度値を示した波形モニタであることを特徴とする画像処理装置。
2. 前記生成手段は、前記処理手段が前記第２の画像を生成するために用いたゲインに基づく位置に前記スケール画像を配置することを特徴とする請求項１に記載の画像処理装置。
3. 前記所定の輝度レベルは、前記第２の画像の飽和輝度レベルであることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の画像を外部装置に出力する第１出力手段と、前記第２の画像を外部装置に出力する第２出力手段と、をさらに備えることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 第１のダイナミックレンジで表される第１の画像を処理して前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジで表される第２の画像を生成する処理工程と、
   前記第１の画像の輝度分布を示す分布画像と、前記分布画像における前記第２の画像の所定の輝度レベルを示すためのスケール画像と、を含む画像を生成する生成工程と、
   前記画像を表示するように表示部を制御する制御工程と、を有し、
   前記分布画像は、前記第１の画像の水平方向の位置に対して、前記位置の各々における前記第１の画像の輝度値を示した波形モニタであることを特徴とする画像処理装置の制御方法。
6. 前記生成工程では、前記処理工程において前記第２の画像を生成するために用いたゲインに基づく位置に前記スケール画像を配置することを特徴とする請求項５に記載の画像処理装置の制御方法。
7. 前記所定の輝度レベルは、前記第２の画像の飽和輝度レベルであることを特徴とする請求項５または６に記載の画像処理装置の制御方法。
8. 前記第１の画像を外部装置に出力する第１出力工程と、前記第２の画像を外部装置に出力する第２出力工程と、をさらに有することを特徴とする請求項５から７のいずれか１項に記載の画像処理装置の制御方法。
9. コンピュータに、請求項５から８のいずれか１項に記載された画像処理装置の制御方法を実行させるためのプログラム。
10. コンピュータに、請求項５から８のいずれか１項に記載された画像処理装置の制御方法を実行させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images