JP6825568B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本開示は、画像処理装置及び画像処理方法に関する。

現在、ＩＴＵ−Ｒ（International Telecommunication Union-Radio communications sector）では、映像信号の輝度ダイナミックレンジを従来のＳＤＲ（Standard Dynamic Range）から拡張するための議論が進められている。拡張後のダイナミックレンジは、ＥＩＤＲＴＶ（Extended Image Dynamic Range Television）、又はより簡易にＨＤＲ（High Dynamic Range）と呼ばれる。ＩＴＵ−Ｒにおける最新のステータスでは、ＨＤＲ映像信号の信号方式として、Ａｐｐｌｉｃａｔｉｏｎ−１及びＡｐｐｌｉｃａｔｉｏｎ−２という２つの方式が共に勧告案に含まれる見込みである。

Ａｐｐｌｉｃａｔｉｏｎ−１は、撮影環境の輝度の絶対値を表現できるようにすることを目的とした、ＰＱ（Perceptual Quantizer）−ＥＯＴＦ（Electro-Optical Transfer
Function）に基づく信号方式である（非特許文献１参照）。Ａｐｐｌｉｃａｔｉｏｎ−２は、基準白色よりも低い輝度レベルにおけるガンマ曲線と、基準白色よりも高い輝度レベルにおける対数曲線とを組合せたＨＬＧ（Hybrid Log-Gamma）曲線で相対的な輝度レベルを表現する信号方式である（非特許文献２参照）。Ａｐｐｌｉｃａｔｉｏｎ−１では最大で１万ｃｄ/ｍ^２の絶対輝度を表示することができ、一方でＡｐｐｌｉｃａｔｉｏｎ−２では最大で基準白色の１２倍（ヘッドルームを使用する場合には２０倍）の相対輝度を表示することができる。

ＩＴＵ−Ｒ Ａｐｐｌｉｃａｔｉｏｎ−１は、ＩＴＵ−Ｒとは異なる標準化団体であるＳＭＰＴＥ（Society of Motion Picture and Television Engineers）により策定されたＳＴ２０８４と同じ方式である。ＳＭＰＴＥ ＳＴ２０８４に類似する他の信号方式も存在する（非特許文献３参照）。

Society of Motion Picture and Television Engineers，「High Dynamic Range Electro-Optical Transfer Function of Mastering Reference Displays」，ST 2084:2014，2014，［online］，［２０１５年９月９日検索］，インターネット＜URL： http://standards.smpte.org/content/978-1-61482-829-7/st-2084-2014/SEC1＞ Association of Radio Industries and Businesses，「ESSENTIAL PARAMETER VALUES FOR THE EXTENDED IMAGE DYNAMIC RANGE TELEVISION (EIDRTV) SYSTEM FOR PROGRAMME PRODUCTION ARIB STANDARD」，ARIB STD-B67 Version 1.0，July 3, 2015，［online］，［２０１５年９月９日検索］，インターネット＜URL： http://www.arib.or.jp/english/html/overview/doc/2-STD-B67v1_0.pdf＞ Philips International B.V.，「Philips HDR technology-white paper, hdr」，Version 0.1，2015-08-21，［online］，［２０１５年９月９日検索］，インターネット＜URL： http://www.ip.philips.com/data/downloadables/1/9/7/9/philips_hdr_white_paper.pdf＞

しかしながら、ディスプレイのピーク輝度は、ＨＤＲ信号方式の輝度ダイナミックレンジの上限とは異なることが多い。映像信号に含まれる１つ以上の画素の輝度がディスプレイのピーク輝度を上回る場合には、クリッピングの結果として、再生される映像内でいわゆる白とびが発生する。最大輝度がディスプレイのピーク輝度を下回る場合には、ディスプレイの性能が最大限活用されないことになる。こうしたレンジの不一致を解消するための簡易な手法の１つは、ゲインの乗算によって輝度レベルを調整することである。しかし、単なるゲインの乗算は、固定的に扱われるべき基準点の輝度レベルまでをも変化させてしまう。

従って、ＨＤＲ映像信号のダイナミックレンジとディスプレイのピーク輝度との不一致に関わる上述した不都合を解消し又は少なくとも軽減する新たな仕組みが提供されることが望ましい。

本開示によれば、基準白色の表示輝度レベルを固定的に扱う信号方式に基づく画像信号を、ディスプレイのピーク輝度レベルに基づいて決定されるパラメータを用いて、前記基準白色の表示輝度レベルが維持されるようにガンマ変換することにより、表示用信号へと変換する変換部、を備える画像処理装置が提供される。

また、本開示によれば、画像処理装置により実行される画像処理方法であって、基準白色の表示輝度レベルを固定的に扱う信号方式に基づく画像信号を、ディスプレイのピーク輝度レベルに基づいて決定されるパラメータを用いて、前記基準白色の表示輝度レベルが維持されるようにガンマ変換することにより、表示用信号へと変換すること、を含む画像処理方法が提供される。

本開示に係る技術によれば、ＨＤＲ映像信号のダイナミックレンジとディスプレイのピーク輝度との不一致に関わる不都合を解消し又は少なくとも軽減することができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。

映像信号の変換特性の概略について説明するための説明図である。 ＩＴＵ−Ｒ Ａｐｐｌｉｃａｔｉｏｎ−２のＯＥＴＦについて説明するための説明図である。 ＩＴＵ−Ｒ Ａｐｐｌｉｃａｔｉｏｎ−２のＯＯＴＦについて説明するための説明図である。 輝度ダイナミックレンジをディスプレイのピーク輝度へ適応させるためのいくつかの手法の例について説明するための説明図である。 一実施形態に係る画像処理装置の構成の一例を示すブロック図である。 基準白色（ＲＷ）固定ガンマ変換のグラフを表している。 線形変換のグラフを表している。 ピーク固定ガンマ変換のグラフを表している。 ＲＷ固定ガンマ変換に従ってＯＯＴＦが変化する様子を示す第１の説明図である。 ＲＷ固定ガンマ変換に従ってＯＯＴＦが変化する様子を示す第２の説明図である。 ＲＷ固定ガンマ変換に従ってＯＯＴＦが変化する様子を示す第３の説明図である。 線形変換及びピーク固定ガンマ変換に従ってＯＯＴＦが変化する様子を示す説明図である。 図８Ａの低輝度領域を拡大した図である。 ＢＴ．１８８６でのＳＤＲ表示におけるＯＯＴＦについて説明するための説明図である。 一実施形態に係る画像変換処理の流れの一例を示すフローチャートである。 図１０に示したＲＷ維持ガンマ変換処理の流れの第１の例を示すフローチャートである。 図１０に示したＲＷ維持ガンマ変換処理の流れの第２の例を示すフローチャートである。 図１０に示したＲＷ維持ガンマ変換処理の流れの第３の例を示すフローチャートである。 図１０に示した線形変換処理の流れの一例を示すフローチャートである。 ＨＬＧ映像を記録し及び再生する手法の一例について説明するための説明図である。 一実施形態に係る記録処理の流れの一例を示すフローチャートである。 一実施形態に係る再生処理の流れの第１の例を示すフローチャートである。 一実施形態に係る再生処理の流れの第２の例を示すフローチャートである。 装置のハードウェア構成の一例を示すブロック図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．関連技術の説明
１−１．映像信号の変換特性
１−２．ＨＤＲ映像信号の信号方式の例
１−３．ディスプレイピークへの適応
２．画像処理装置の構成例
２−１．画像取得部
２−２．変換部
２−３．制御部
３．処理の流れ
３−１．画像変換処理
３−２．ＲＷ維持ガンマ変換処理
３−３．線形変換処理
４．ＨＬＧ映像の記録及び再生
４−１．ＨＬＧ映像の認識
４−２．処理の流れ
４−３．補足的なストリームの扱い
５．ハードウェア構成例
６．応用例
７．まとめ

＜１．関連技術の説明＞
まず、図１〜図４を用いて、本開示に関連する技術について説明する。

［１−１．映像信号の変換特性］
図１は、映像信号の変換特性の概略について説明するための説明図である。図１には、撮影装置１０、ネットワーク２０、記録装置３０及び表示装置５０が示されている。撮影装置１０は、撮影環境において被写体を撮影して、映像信号を生成する。より具体的には、撮影装置１０は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）といった光電変換素子（イメージセンサ）の配列を有し、撮影環境から入射する光を電気信号へと変換する。光から電気信号への変換の特性は、ＯＥＴＦ（Opto-Electronic Transfer Function；光電気伝達関数）でモデル化される。ＯＥＴＦが線形関数であれば、電気信号の電圧レベルは素子ごとの受光量に比例する。但し、ＩＴＵ−Ｒにより策定された標準仕様であるＢＴ．７０９又はＢＴ．２０２０のＯＥＴＦは非線形であり、例えば全体的なガンマ値が０．４５で、低輝度領域においてのみ線形性を有する。

撮影装置１０は、一連のフレームの画像信号と制御信号とを含む映像信号を、ネットワーク２０を介して表示装置５０へと伝送し、又は記録装置３０により記録媒体へと記録させる。ネットワーク２０は、有線通信ネットワーク若しくは無線通信ネットワークであってもよく、又は簡易な接続ケーブルであってもよい。記録装置３０は、撮影装置１０から受信される映像信号を、指定された記録方式で記録媒体へと記録する。記録媒体は、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）ディスク）若しくはＤＶＤ（Digital Versatile Disc）のようなリムーバブルな媒体であってもよく、又はハードディスクのような内蔵型の媒体であってもよい。

表示装置５０は、ネットワーク２０を介して受信され又は記録媒体から読み出される映像信号から、映像を再生する。より具体的には、表示装置５０は、入力される電気信号を光へと変換する表示素子の配列を有する（例えば、液晶パネル、有機発光ダイオード（ＯＬＥＤ）パネル又はプラズマディスプレイパネル（ＰＤＰ）など）。電気信号から光への変換の特性は、ＥＯＴＦ（Electro-Optical Transfer Function；電気光伝達関数）でモデル化される。ＥＯＴＦがＯＥＴＦの逆関数であれば、表示される光の強さは、撮影された光の強さに等しい。ＯＥＴＦとＥＯＴＦとを包括するエンドツーエンドの撮影光から表示光への変換の特性を、ＯＯＴＦ（Opto-Optical Transfer Function；光光伝達関数）という。ＯＯＴＦは、システムガンマ又はトータルガンマとも呼ばれる。ＩＴＵ−Ｒにより策定された標準仕様であるＢＴ．１８８６のＥＯＴＦのガンマ値は２．４であり、例えばＯＥＴＦのガンマ値が０．５であるとすると、システムガンマ値は（０．５×２．４＝）１．２である。

［１−２．ＨＤＲ映像信号の信号方式の例］
既存のＳＤＲ映像信号の一般的な輝度ダイナミックレンジの上限は、１００ｃｄ／ｍ^２（ｎｉｔともいう）である。一方、ＨＤＲ映像信号の輝度ダイナミックレンジの上限は、数百から数千ｃｄ／ｍ^２へと拡張される。上述したように、ＩＴＵ−Ｒは、ＨＤＲ映像信号の信号方式として、Ａｐｐｌｉｃａｔｉｏｎ−１及びＡｐｐｌｉｃａｔｉｏｎ−２という２つの方式を勧告案に併記するものと見込まれている。

図２は、ＩＴＵ−Ｒ Ａｐｐｌｉｃａｔｉｏｎ−２の光電気伝達関数について説明するための説明図である。Ａｐｐｌｉｃａｔｉｏｎ−２は、基準白色よりも低い輝度レベルにおけるガンマ曲線と、基準白色よりも高い輝度レベルにおける対数曲線とを組合せたＨＬＧ（Hybrid Log-Gamma）曲線で、相対的な輝度レベルを表現する。図２において、横軸は基準白色の輝度レベルが１に等しくなるように正規化された光の強度Ｅを表し、縦軸は対応する電気信号の信号レベルＥ´を表す。Ａｐｐｌｉｃａｔｉｏｎ−２のＯＥＴＦは、次の条件Ｃ１〜Ｃ３を満たすように設計されており、式（１）で表現される：
Ｃ１）基準白色（Ｅ＝１）でＥ´＝０．５
Ｃ２）基準白色の１２倍の光強度（Ｅ＝１２）でＥ´＝１
Ｃ３）基準白色（Ｅ＝１）において傾き０．２５でガンマ曲線と対数曲線とが滑らかに接続する

式（１）から理解されるように、基準白色未満の低輝度領域ではガンマ値が０．５に等しく、線形部分が存在しない。これにより、暗い状況でのウェーバー比（Weber fraction）を改善される。Ａｐｐｌｉｃａｔｉｏｎ−２の輝度ダイナミックレンジの上限は、ヘッドルームを使用しない場合には基準白色の１２倍（Ｅ＝１２）であり、これは基準白色を１００ｃｄ／ｍ^２とすると１２００ｃｄ／ｍ^２に相当する。ヘッドルームを使用する場合には、輝度ダイナミックレンジの上限は、Ｅ＝２０に対応する２０００ｃｄ／ｍ^２に達する。但し、１よりも大きいシステムガンマが使用される場合には、輝度ダイナミックレンジの上限はさらに大きくなる。

図３は、ＩＴＵ−Ｒ Ａｐｐｌｉｃａｔｉｏｎ−２のＯＯＴＦについて説明するための説明図である。図３において、横軸は図２と同じ正規化された光の強度Ｅを表し、縦軸は逆変換（ＯＥＴＦ^−１）を実行した後の輝度のレベルＬ（ｃｄ／ｍ^２）を表す。点線は、システムガンマγ_Ｓ＝１．０の場合のＯＯＴＦを表し、Ｅ＝１のときＬ＝１００（点Ｐ_１）、Ｅ＝１２のときＬ＝１２００（点Ｐ_３１）である。実線は、システムガンマγ_Ｓ＝１．２の場合のＯＯＴＦを表し、Ｅ＝１のときＬ＝１００（点Ｐ_１）、Ｅ＝１２のときＬ＝１２００^１．２≒２０００（点Ｐ_３２）である。システムガンマγ_Ｓ＝１．２は、既存のＳＤＲ表示において典型的に用いられており、視覚的に自然な映像を実現する値として知られている。

図３ではＩＴＵ−Ｒ Ａｐｐｌｉｃａｔｉｏｎ−２の例が示されているが、ＩＴＵ−Ｒ
Ａｐｐｌｉｃａｔｉｏｎ−１などの他のＨＤＲ信号方式でも、輝度ダイナミックレンジの上限は、数百から数千ｃｄ／ｍ^２へ達する。

［１−３．ディスプレイピークへの適応］
ＨＤＲ信号方式により輝度ダイナミックレンジの上限が拡張されたとしても、ディスプレイのピーク輝度が必ずその上限に一致するわけではない。映像信号に含まれる１つ以上の画素の輝度がディスプレイのピーク輝度を上回る場合には、クリッピングの結果として、再生される映像内でいわゆる白とびが発生する。最大輝度がディスプレイのピーク輝度を下回る場合には、ディスプレイの性能が最大限活用されないことになる。こうしたレンジの不一致を解消するために、いくつかの手法が考えられる。

図４は、輝度ダイナミックレンジをディスプレイのピーク輝度へ適応させるためのいくつかの手法の例について説明するための説明図である。図３と同様、横軸は正規化された光の強度Ｅを表し、縦軸は輝度レベルＬを表す。実線で表されるグラフ４１は、システムガンマγ_Ｓ＝１．２の場合のピーク輝度への適応前のＯＯＴＦである。

１点鎖線で表されるグラフ４２は、元のＯＯＴＦ（グラフ４１）をディスプレイのピーク輝度でハードクリッピングした結果である。こうしたクリッピングは、クリッピング点Ｐ_ＣＬＰよりも光強度Ｅが大きい領域で白とびを生じさせ、画像情報を欠損させる。破線で表されるグラフ４３は、クリッピング点Ｐ_ＣＬＰ ^´よりも光強度Ｅが大きい領域でＯＯＴＦに傾きを持たせるためのソフトクリッピングの結果である。ソフトクリッピングは完全な白とびを生じさせないものの、クリッピング点Ｐ_ＣＬＰ ^´において傾きが不連続となるため、不自然な映像の表示をもたらすことがある。

２点鎖線により表されるグラフ４４は、元のＯＯＴＦを一定のゲインで線形変換した結果である。例えば、ディスプレイのピーク輝度が１２００ｃｄ／ｍ^２である場合に、ゲインＧ＝１２００／２０００での線形変換を適用することで、Ｅ＝１２に対応する輝度レベルを約２０００から約１２００へと引き下げることができる（Ｐ_４１→Ｐ_４４）。しかし、この場合、固定的に扱われるべき基準白色（Ｅ＝１）に対応する輝度レベルまでが変化してしまう（Ｐ_１→Ｐ_１ ^´）。基準白色の輝度レベルが変化すると、撮影環境の明るさ（又はコンテンツ製作者が視聴者へ見せようと望む明るさ）を適切に再現することが難しくなる。こうした線形変換は、例えばＩＴＵ−Ｒ Ａｐｐｌｉｃａｔｉｏｎ−２の目的に整合しない。

次節以降で説明する本開示に係る技術の実施形態は、ＨＤＲ映像信号のダイナミックレンジとディスプレイのピーク輝度との不一致に関わる上述した不都合を解消し又は少なくとも軽減するための仕組を提供する。

＜２．画像処理装置の構成例＞
図５は、一実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、例えば、図１に示したような撮影装置、記録装置若しくは表示装置であってもよく、又はこれら装置に搭載される画像処理モジュールであってもよい。図５を参照すると、画像処理装置１００は、画像取得部１１０、変換部１２０及び制御部１３０を備える。

［２−１．画像取得部］
画像取得部１１０は、何らかの信号源から入力画像信号を取得する。入力画像信号は、映像信号を構成する一連のフレームの各々の画像信号であってもよく、又は静止画のための画像信号であってもよい。入力画像信号はＨＤＲ信号方式に基づいており、ここでは一例として、ＩＴＵ−Ｒ Ａｐｐｌｉｃａｔｉｏｎ−２に基づく画像信号（以下、ＨＬＧ画像信号という）が取得されるものとする。ＩＴＵ−Ｒ Ａｐｐｌｉｃａｔｉｏｎ−２は、基準白色の表示輝度レベルを固定的に扱う信号方式の一例である。ＨＬＧ画像信号は、基準白色の輝度レベルでの正規化後の信号である。

画像取得部１１０は、取得した入力画像信号にその信号方式のＯＥＴＦの逆関数（ＯＥＴＦ^−１）を適用することにより、線形画像信号を生成する。線形画像信号は、撮影時の光の強度を線形的に表現する信号である。ここでの逆関数の演算は、信号方式ごとに予め記憶される演算パラメータを用いた数値演算として実装されてもよく、又は信号の入力値と出力値とをマッピングするルックアップテーブルを用いて実装されてもよい。そして、画像取得部１１０は、生成した線形画像信号を変換部１２０へ出力する。

［２−２．変換部］
変換部１２０は、画像取得部１１０から入力される線形画像信号を、ディスプレイのピーク輝度レベルに基づいて決定されるパラメータを用いて、基準白色の表示輝度レベルが維持されるようにガンマ変換することにより、表示用信号へと変換する。

（１）３通りの基本変換
本実施形態において、変換部１２０は、次の３通りの基本変換のうちの１つ又は２つ以上の組合せに相当する変換法を用いて、画像信号の信号レベルを変換する。
・基準白色（ＲＷ）固定ガンマ変換
・線形変換
・ピーク固定ガンマ変換

ＲＷ固定ガンマ変換は、基準白色の輝度レベルを変化させないガンマ変換である。ＨＬＧ画像の場合、画像信号は基準白色の輝度レベルで正規化されており、即ち基準白色においてＥ＝１である。よって、ＲＷ固定ガンマ変換を、次式のような画像信号Ｅの関数Ｔ_１（Ｅ）として表現することができる。

図６Ａは、ＲＷ固定ガンマ変換のグラフを表している。ＲＷ固定ガンマ変換では、ガンマ値が１より大きい場合、基準白色よりも低いレンジで輝度レベルは減少し、基準白色よりも高いレンジで輝度レベルは増加する。ガンマ値が１より小さい場合、基準白色よりも低いレンジで輝度レベルは増加し、基準白色よりも高いレンジで輝度レベルは減少する。基準白色の輝度レベルは維持される。

線形変換は、ゲイン値Ｇを用いて、画像信号Ｅの関数Ｔ_２（Ｅ）として次式のように表現される。

図６Ｂは、線形変換のグラフを表している。線形変換では、ゲイン値Ｇが１より大きい場合、全てのレンジにわたって輝度レベルは増加し、ゲイン値が１より小さい場合、全てのレンジにわたって輝度レベルは減少する。ゲイン値が１でなければ、基準白色の輝度レベルもまた変化する。

ピーク固定ガンマ変換は、ダイナミックレンジの上限を変化させないガンマ変換である。入力値の上限に相当するパラメータＫを用いて、ピーク固定ガンマ変換を、次式のような画像信号Ｅの関数Ｔ_３（Ｅ）として表現することができる。

図６Ｃは、ピーク固定ガンマ変換のグラフを表している。ここでは、Ｋ＝１２である。ピーク固定ガンマ変換では、ガンマ値が１より大きい場合、全てのレンジにわたって輝度レベルは減少し、ガンマ値が１より小さい場合、全てのレンジにわたって輝度レベルは増加する。輝度レベルの変化の割合は、レンジの中央に近いほどより大きい。ガンマ値が１でなければ、基準白色の輝度レベルもまた変化する。

変換部１２０の役割は、表示用信号により表現可能な最大輝度レベルをディスプレイのピーク輝度レベルに合わせること、及び、必要とされる場合に基準白色の表示輝度レベルを維持することである。ここでのディスプレイのピーク輝度レベルとは、ディスプレイ（若しくは表示素子）の性能の観点での最大輝度レベルであってもよく、又は、性能の観点での上限よりも小さい、追加的な制約の観点（例えば、ユーザ設定若しくは環境条件など）での最大輝度レベルであってもよい。以下に詳しく説明する第１の変換法では、基準白色の表示輝度レベルは、ＲＷ固定ガンマ変換によって維持される。第２の変換法では、基準白色の表示輝度レベルは、線形変換及びピーク固定ガンマ変換の組合せによって維持される。

（２）第１の変換法
第１の変換法において、変換部１２０は、表示用信号により表現可能な最大輝度レベルをディスプレイのピーク輝度レベルに合わせるように第１のガンマ値γ_１を決定し、決定した第１のガンマ値γ_１を用いて線形画像信号をガンマ変換する。

図７Ａは、ＲＷ固定ガンマ変換に従ってＯＯＴＦが変化する様子を示す第１の説明図である。図７Ａの例では、ディスプレイのピーク輝度が２０００ｃｄ／ｍ^２よりも大きいものとする。実線のグラフはγ_１＝１．２、破線のグラフはγ_１＝１．５、２点鎖線のグラフはγ_１＝１．６のケースをそれぞれ示している。γ_１＝１．２かつヘッドルーム不使用の場合の輝度ダイナミックレンジの上限は約２０００ｃｄ／ｍ^２である。ガンマ値γ_１を１．５まで引き上げると、表現可能な最大輝度レベルは約４０００ｃｄ／ｍ^２となる。ガンマ値γ_１を１．６まで引き上げると、表現可能な最大輝度レベルは５０００ｃｄ／ｍ^２を上回る。γ_１＝１．２かつヘッドルームが使用される場合の輝度ダイナミックレンジの上限は約３６００ｃｄ／ｍ^２である。ガンマ値γ_１を１．５まで引き上げると、表現可能な最大輝度レベルは約９０００ｃｄ／ｍ^２に達する。基準白色の輝度レベルは維持される（点Ｐ_１）。

図７Ｂは、ＲＷ固定ガンマ変換に従ってＯＯＴＦが変化する様子を示す第２の説明図である。図７Ｂの例では、ディスプレイのピーク輝度が２０００ｃｄ／ｍ^２よりも小さいものとする。実線のグラフはγ_１＝１．２、破線のグラフはγ_１＝１．０のケースをそれぞれ示している。γ_１＝１．２かつヘッドルーム不使用の場合の輝度ダイナミックレンジの上限は約２０００ｃｄ／ｍ^２である。γ_１＝１．０かつヘッドルーム不使用の場合の輝度ダイナミックレンジの上限は１２００ｃｄ／ｍ^２である。基準白色の輝度レベルは維持される（点Ｐ_１）。ガンマ値γ_１が１．０≦γ_１＜１．２を満たす場合、低輝度領域（０＜Ｅ＜１）のシステムガンマは既存のＳＤＲ表示のケースよりも小さくなるが、その視覚上の影響はそれほど大きくない。

図７Ｃは、ＲＷ固定ガンマ変換に従ってＯＯＴＦが変化する様子を示す第３の説明図である。図７Ｃの例では、ディスプレイのピーク輝度が１２００ｃｄ／ｍ^２よりも小さいものとする。実線のグラフはγ_１＝１．２、破線のグラフはγ_１＝１．０、点線のグラフはγ_１＝０．９、１点鎖線のグラフはγ_１＝０．７のケースをそれぞれ示している。γ_１＝０．９かつヘッドルーム不使用の場合に表現可能な最大輝度レベルは約１０００ｃｄ／ｍ ^２を下回る。γ_１＝０．７かつヘッドルーム不使用の場合に表現可能な最大輝度レベルは約６００ｃｄ／ｍ^２を下回る。これらケースにおいて、基準白色の輝度レベルは維持されるが、低輝度領域（０＜Ｅ＜１）において本来は暗いはずの被写体がグレーがかって浮かび上がって見えるようになり、主観的な画質が劣化する。

（３）第２の変換法
第２の変換法において、変換部１２０は、表示用信号により表現可能な最大輝度レベルをディスプレイのピーク輝度レベルに合わせるようにゲイン値Ｇを決定し、決定したゲイン値Ｇを用いて線形画像信号を線形変換する。さらに、変換部１２０は、基準白色の表示輝度レベルが元の輝度レベルへと復元されるように第２のガンマ値γ_２を決定し、決定した第２のガンマ値γ_２を用いて上記線形変換後の画像信号をガンマ変換する。変換部１２０は、第２のガンマ値γ_２を用いたガンマ変換を、ピーク輝度レベルを変化させないように実行する。変換部１２０は、線形画像信号の代わりに、線形画像信号を所定のシステムガンマ値γ_Ｓ（例えば、γ_Ｓ＝１．２）を用いてガンマ変換することにより得られる中間画像信号を、第２の変換法への入力信号として扱ってもよい。

図８Ａは、線形変換及びピーク固定ガンマ変換に従ってＯＯＴＦが変化する様子を示す説明図である。図８Ｂは、図８Ａの低輝度領域を拡大した図である。これら図において、実線のグラフは、γ_Ｓ＝１．２であって第２の変換法の適用前のケースを示している。破線のグラフは、γ_Ｓ＝１．２であってゲインＧ＝０．６での線形変換のみを適用した後のケースを示している。点線のグラフは、γ_Ｓ＝１．２であってゲインＧ＝０．６での線形変換と第２のガンマ値γ_Ｓ＝０．８２９５とを適用した後のケースを示している。図８Ａから理解されるように、γ_１＝１．２かつヘッドルーム不使用の場合の輝度ダイナミックレンジの上限は約２０００ｃｄ／ｍ^２である。例えばディスプレイのピーク輝度が１２００ｃｄ／ｍ^２である場合に、ゲインＧ＝０．６での線形変換を実行すると、輝度ダイナミックレンジの上限、即ち表現可能な最大輝度レベルは、ディスプレイのピーク輝度に近い約１２００ｃｄ／ｍ^２にまで引き下げられる。その結果、白とびの発生が抑制され、かつディスプレイの性能を最大限活用することが可能となる。しかし、図８Ｂから理解されるように、固定的に扱われるべき基準白色の輝度レベルまでが引き下げられる（点Ｐ_１→点Ｐ_１´）。そこで、さらに第２のガンマ値γ_２＝０．８２９５でのガンマ変換が実行される。但し、ピーク輝度レベルを変化させないために、ここでのガンマ変換の入力値Ｅは、上に示した式（４）のようにパラメータＫで除算される。パラメータＫの値は、例えば、ヘッドルームが使用されない場合には１２、ヘッドルームが使用される場合には２０であってよい。第２のガンマ値γ_２でのガンマ変換の結果、基準白色の表示輝度レベルは元の輝度レベルへと復元される（点Ｐ_１´→点Ｐ_１）。

（４）他の手法
変換部１２０は、基準白色の表示輝度レベルを維持する第１の動作モード及び基準白色の表示輝度レベルを維持しない第２の動作モードの双方をサポートしてもよい。ここでは一例として、第１の動作モード及び第２の動作モードをそれぞれＲＷ維持モード及びＲＷ非維持モードという。変換部１２０は、ＲＷ維持モードが選択された場合には、上述した第１の変換法又は第２の変換法のいずれかを実行する。一方、変換部１２０は、ＲＷ非維持モードが選択された場合には、基準白色の表示輝度レベルを維持することなく、他の手法で表示用信号を出力する。

変換部１２０は、例えば、ＲＷ非維持モードが選択された場合に、ＩＴＵ−Ｒ ＢＴ．１８８６に従って画像信号を表示用信号へと変換してもよい。ＩＴＵ−Ｒ ＢＴ．１８８６でのディスプレイ出力（ＳＤＲ表示）では、レンジの全体にわたってガンマ値２．４が用いられる。その代わりに又はそれに加えて、変換部１２０は、表示用信号により表現可能な最大輝度レベルをディスプレイのピーク輝度レベルに合わせるようにゲイン値を決定し、決定したゲイン値を用いて画像信号を線形変換してもよい。

図９は、ＢＴ．１８８６でのＳＤＲ表示におけるＯＯＴＦについて説明するための説明図である。図９において、実線及び破線のグラフは、それぞれγ_Ｓ＝１．２及びγ_Ｓ＝０．７のケースを示している（ＳＤＲ表示ではない）。１点鎖線のグラフは、ＢＴ．１８８６でのＳＤＲ表示におけるＯＯＴＦを示しており、点線のグラフはそのＳＤＲ表示のＯＯＴＦにゲインＧ＝１．５での線形変換を適用した結果を示している。ゲイン無しでのＳＤＲ表示（１点鎖線）では、表現可能な最大輝度レベルは約５００ｃｄ／ｍ^２程度であるため、ディスプレイのピーク輝度レベルが約５００ｃｄ／ｍ^２を上回る場合には、１よりも大きいゲインでの線形変換を要する。ＳＤＲ対応型のディスプレイがこうしたゲイン調整の機能を有する場合には、変換部１２０はゲイン調整を実行しなくてもよい。ＳＤＲ表示では、低輝度領域（０＜Ｅ＜１）でのシステムガンマが約１．２に維持される。システムガンマγ_Ｓを１．０よりも低い値に設定したケース（点線）と比較して、ＳＤＲ表示のケース（１点鎖線）は中輝度領域（１＜Ｅ＜８）の輝度レベルを平均的に高める作用を有することから、ＳＤＲ表示は、ディスプレイのピーク輝度が低い場合（例えば、約６００ｃｄ／ｍ^２未満）の、視覚的により良好な選択肢であり得る。

［２−３．制御部］
制御部１３０は、画像取得部１１０及び変換部１２０の動作を制御する。例えば、制御部１３０は、入力画像信号に関連付けられる制御パラメータから入力画像信号の信号方式を判定し、判定した信号方式に対応する処理を画像取得部１１０及び変換部１２０に実行させる。ここでの制御パラメータの例について、後にさらに説明する。制御部１３０は、入力画像信号の信号方式に応じて、画像取得部１１０が入力画像信号に適用すべきＯＥＴＦの逆関数の種類を切り替えさせてもよい。また、制御部１３０は、画像処理装置１００の動作モードを制御してもよい。

ある実施例において、制御部１３０は、基準白色の表示輝度レベルが維持されるＲＷ維持モード及び基準白色の表示輝度レベルが維持されないＲＷ非維持モードのうち変換部１２０が使用すべき動作モードを選択する。制御部１３０は、ＲＷ維持モードを選択した場合には、ダイナミックレンジの調整のための変換処理において、基準白色の表示輝度レベルが維持される変換法を変換部１２０に使用させる。制御部１３０は、例えば、次の条件のうちの１つ以上に基づいて、いずれかの動作モードを選択してよい。

１）信号方式のタイプ：制御部１３０は、入力画像信号の信号方式が基準白色の表示輝度レベルを固定的に扱う信号方式（例えば、ＩＴＵ−Ｒ Ａｐｐｌｉｃａｔｉｏｎ−２）である場合に、ＲＷ維持モードを選択する。

２）ユーザ設定：ＲＷ維持モード又はＲＷ非維持モードを、ユーザインタフェースを介してユーザが設定する。撮影環境の明るさを適切に再現することを望むユーザは、ＲＷ維持モードを設定し得る。その代わりに、ユーザは、ディスプレイの許容ピーク輝度レベルを設定してもよい。制御部１３０は、許容ピーク輝度レベルが予め定義される閾値よりも大きい場合にはＲＷ維持モードを、そうでない場合にはＲＷ非維持モードを選択し得る。

３）ディスプレイの属性：制御部１３０は、ディスプレイの属性（例えば、デバイスタイプ、モデル番号又は性能値）からディスプレイのピーク輝度レベルを判定し、判定したピーク輝度レベルが予め定義される閾値よりも大きい場合にはＲＷ維持モードを、そうでない場合にはＲＷ非維持モードを選択し得る。

４）表示環境：制御部１３０は、図示しないセンサを介して検知される表示環境の条件（環境照度又はロケーションなど）からディスプレイの推奨ピーク輝度レベルを決定し、決定した推奨ピーク輝度レベルが予め定義される閾値よりも大きい場合にはＲＷ維持モードを、そうでない場合にはＲＷ非維持モードを選択し得る。

他の実施例において、制御部１３０は、上述した第１の変換法（ＲＷ固定ガンマ変換）と第２の変換法（線形変換及びピーク固定ガンマ変換の組合せ）とを、変換部１２０に選択的に使用させてもよい。制御部１３０は、上述した動作モードの選択と同様に、例えばユーザによるモード設定、又はピーク輝度値（性能上の値、ユーザによる許容値及びシステム推奨値を含み得る）と閾値との比較に基づいて、いずれかの変換法を選択してよい。

＜３．処理の流れ＞
［３−１．画像変換処理］
図１０は、上述した画像処理装置１００により実行される画像変換処理の流れの一例を示すフローチャートである。

図１０を参照すると、まず、制御部１３０は、入力画像信号に関連付けられる制御パラメータから、入力画像信号の信号方式を判定する（ステップＳ１０２）。また、制御部１３０は、ディスプレイのピーク輝度Ｌ_Ｐを取得する（ステップＳ１０４）。次に、制御部１３０は、信号方式のタイプ又はユーザ設定といった条件に基づいて、動作モードを選択する（ステップＳ１０６）。

次に、図１０の画像変換処理は、ステップＳ１０２において判定された信号方式及びステップＳ１０６において選択された動作モードに依存して分岐する（ステップＳ１１０、Ｓ１２５）。例えば、信号方式がＨＤＲ方式ではない場合には、ＩＴＵ−Ｒ ＢＴ．１８８６に従って変換部１２０からディスプレイへと表示用信号が出力され、映像がＳＤＲ表示される（ステップＳ１２０）。一方、信号方式がＨＤＲ方式（例えば、ＨＬＧ方式）であって、ＲＷ維持モードが選択された場合には、処理はステップＳ１３０へ進む。信号方式がＨＤＲ方式であって、ＲＷ非維持モードが選択された場合には、処理はステップＳ１６５へ進む。

ステップＳ１３０において、画像取得部１１０及び変換部１２０は、ＲＷ維持ガンマ変換処理を実行する。ＲＷ維持ガンマ変換処理では、基準白色（ＲＷ）の表示輝度レベルが維持される。ＲＷ維持ガンマ変換処理のより詳細な流れについて、後にさらに説明する。

処理がステップＳ１６５へと遷移した場合、基準白色の表示輝度レベルは必ずしも維持されない。制御部１３０は、例えばユーザ設定又はステップＳ１０４において判定したディスプレイのピーク輝度レベルに基づいて、ＳＤＲ表示を行うか否かを判定する（ステップＳ１６５）。ＳＤＲ表示を行うと判定された場合には、処理はステップＳ１２０へ進み、ＩＴＵ−Ｒ ＢＴ．１８８６に従って変換部１２０からディスプレイへと表示用信号が出力される。ＳＤＲ表示を行わないと判定された場合には、処理はステップＳ１７０へと進み、画像取得部１１０及び変換部１２０により線形変換処理が行われる（ステップＳ１７０）。線形変換処理のより詳細な流れについて、後にさらに説明する。

ＲＷ維持ガンマ変換処理又は線形変換処理が実行されると、表示用信号がディスプレイへと出力され、ＨＤＲ映像がディスプレイにより表示される（ステップＳ１９０）。

［３−２．ＲＷ維持ガンマ変換処理］
（１）第１の例
図１１Ａは、図１０に示したＲＷ維持ガンマ変換処理の流れの第１の例を示すフローチャートである。

図１１Ａを参照すると、まず、変換部１２０は、ディスプレイのピーク輝度レベルＬ_Ｐ及び輝度ダイナミックレンジの上限値Ｌ_ｍａｘから、ガンマ値γ_１を計算する（ステップＳ１３２）。ガンマ値γ_１は、例えば、式（２）に示したＲＷ固定ガンマ変換を通じて、表示用信号により表現可能な最大輝度レベルがディスプレイのピーク輝度レベルに合わせられるように計算され得る。

また、画像取得部１１０は、何らかの信号源から入力画像信号を取得し（ステップＳ１３６）、取得した入力画像信号にＯＥＴＦの逆関数（ＯＥＴＦ^−１）を適用することにより、線形画像信号を生成する（ステップＳ１３８）。

次に、変換部１２０は、ステップＳ１３２において計算したガンマ値γ_１を用いて、画像取得部１１０から入力される線形画像信号をガンマ変換することにより、表示用信号を生成する（ステップＳ１４４）。そして、変換部１２０は、生成した表示用信号をディスプレイへ出力する（ステップＳ１５０）。

（２）第２の例
図１１Ｂは、図１０に示したＲＷ維持ガンマ変換処理の流れの第２の例を示すフローチャートである。

図１１Ｂを参照すると、まず、変換部１２０は、ディスプレイのピーク輝度レベルＬ_Ｐ及び輝度ダイナミックレンジの上限値Ｌ_ｍａｘから、ゲインＧ_１及びガンマ値γ_２を計算する（ステップＳ１３４）。ゲインＧ_１は、例えば、式（３）に示した線形変換を通じて表示用信号により表現可能な最大輝度レベルがディスプレイのピーク輝度レベルに合わせられるように計算され得る。ガンマ値γ_２は、式（４）に示したピーク固定ガンマ変換をさらに適用することによって、基準白色の表示輝度レベルが元の輝度レベルへと復元されるように計算され得る。

また、画像取得部１１０は、何らかの信号源から入力画像信号を取得し（ステップＳ１３６）、取得した入力画像信号にＯＥＴＦの逆関数（ＯＥＴＦ^−１）を適用することにより、線形画像信号を生成する（ステップＳ１３８）。

次に、制御部１３０は、例えばユーザ設定又はディスプレイのピーク輝度レベルに基づいて、システムガンマを調整するか否かを判定する（ステップＳ１４０）。ここでシステムガンマを調整すると判定された場合には、変換部１２０は、画像取得部１１０から入力される線形画像信号を、所定のシステムガンマ値（例えば、１．２）を用いてガンマ変換する（ステップＳ１４２）。

次に、変換部１２０は、ステップＳ１３４において計算したゲインＧ_１を用いて、（必要に応じてシステムガンマが調整された）線形画像信号の線形変換を実行する（ステップＳ１４６）。次に、変換部１２０は、ステップＳ１３４において計算したガンマ値γ_２を用いて線形変換後の画像信号をガンマ変換することにより、表示用信号を生成する（ステップＳ１４８）。そして、変換部１２０は、生成した表示用信号をディスプレイへ出力する（ステップＳ１５０）。

（３）第３の例
図１１Ｃは、図１０に示したＲＷ維持ガンマ変換処理の流れの第３の例を示すフローチャートである。第３の例では、第１の変換法と第２の変換法との間の選択的な切替えが行われる。

図１１Ｃを参照すると、制御部１３０は、例えばユーザによるモード設定、又はピーク輝度値（性能上の値、ユーザによる許容値及びシステム推奨値を含み得る）と閾値との比較に基づいて、第１の変換法（ＲＷ固定ガンマ変換）と第２の変換法（線形変換及びピーク固定ガンマ変換の組合せ）のうちのいずれかを選択する（ステップＳ１５２）。そして、制御部１３０は、第１の変換法を選択した場合には、図１１Ａに示したステップＳ１３２〜ステップＳ１５０を画像取得部１１０及び変換部１２０に実行させる（ステップＳ１５４）。一方、制御部１３０は、第２の変換法を選択した場合には、図１１Ｂに示したステップＳ１３４〜ステップＳ１５０を画像取得部１１０及び変換部１２０に実行させる（ステップＳ１５６）。

［３−３．線形変換処理］
図１２は、図１０に示した線形変換処理の流れの一例を示すフローチャートである。

図１２を参照すると、まず、変換部１２０は、ディスプレイのピーク輝度レベルＬ_Ｐ及び輝度ダイナミックレンジの上限値Ｌ_ｍａｘから、ゲインＧ_２を計算する（ステップＳ１７２）。ゲインＧ_２は、例えば、式（３）に示した線形変換を通じて表示用信号により表現可能な最大輝度レベルがディスプレイのピーク輝度レベルに合わせられるように計算され得る。

また、画像取得部１１０は、何らかの信号源から入力画像信号を取得し（ステップＳ１７４）、取得した入力画像信号にＯＥＴＦの逆関数（ＯＥＴＦ^−１）を適用することにより、線形画像信号を生成する（ステップＳ１７６）。

次に、制御部１３０は、例えばユーザ設定又はディスプレイのピーク輝度レベルに基づいて、システムガンマを調整するか否かを判定する（ステップＳ１７８）。ここでシステムガンマを調整すると判定された場合には、変換部１２０は、画像取得部１１０から入力される線形画像信号を、所定のシステムガンマ値（例えば、１．２）を用いてガンマ変換する（ステップＳ１８０）。

次に、変換部１２０は、ステップＳ１７２において計算したゲインＧ_２を用いて、（必要に応じてシステムガンマが調整された）線形画像信号の線形変換を実行することにより、表示用信号を生成する（ステップＳ１８２）。そして、変換部１２０は、生成した表示用信号をディスプレイへ出力する（ステップＳ１８４）。

＜４．ＨＬＧ映像の記録及び再生＞
［４−１．ＨＬＧ映像の認識］
図５に関連して説明したように、入力画像信号の信号方式は、入力画像信号に関連付けられる制御パラメータに基づいて判定される。一連のフレームの画像信号は、通常、何らかの映像コーデックに従って圧縮符号化された上で、記録媒体に記録され又はネットワーク上で伝送される。信号方式を識別する制御パラメータもまた符号化され、画像信号のビットストリームに関連付けられる。

一例として、ＨＤＲ映像を記録することの可能な次世代の映像記録方式であるＵＨＤ−ＢＤ（Ultra HD - Blu-ray Disc）は、映像コーデックとしてＨＥＶＣ（High Efficiency Video Coding）を採用している。ＨＥＶＣでは、符号化された画像信号のＯＥＴＦを特定するためのＯＥＴＦ番号をＶＵＩ（Video Usability Information）に含めることができ、このＯＥＴＦ番号の値として、ＨＬＧ方式用の新たな値の定義を追加することが提案されている（Y. Nishida, T. Yamashita, and A. Ichigaya, “Proposed
addition of transfer characteristics in VUI”, JCTVC-U0032, JCTVC 21st
Meeting, Warsaw, June 19-26, 2015）。但し、ＵＨＤ−ＢＤでは、現在のところＶＵＩにおけるＯＥＴＦ番号に値の制約が課せられており、新たなＨＬＧ方式用の番号“１８”を使用することは許可されていない。また、ＨＥＶＣのＳＥＩにおいてＨＤＲ映像信号の信号方式のタイプをシグナリングすることも提案されている（Matteo Naccari, et. al, “High dynamic range compatibility information SEI message”, JCTVC-U0033, JCTVC 21st Meeting, Warsaw, June 19-26, 2015）。ここでの信号方式のタイプの定義は、ＶＵＩのＯＥＴＦ番号の定義から再利用され、よって値“１８”がＨＬＧ方式を識別する。これらＶＵＩ又はＳＥＩに含まれるＯＥＴＦ番号が、信号方式を識別する制御パラメータとして利用されてよい。例えば、ＵＨＤ−ＢＤレコーダは、ＶＵＩ内のＯＥＴＦ番号には現在のところ許可されている値（例えば、“１”又は“１４”）を書き込みつつ、ＳＥＩ内の信号方式のタイプにＨＬＧ方式用の番号“１８”を書き込んでもよい。この場合、ＨＤＲ対応型のプレーヤ又はディスプレイは、ＳＥＩ内のパラメータを優先的に参照することで、ＵＨＤ−ＢＤの仕様に違反することなく、ＨＬＧ映像を認識することができる。

図１３は、ＨＬＧ映像を記録し及び再生する手法の一例について説明するための説明図である。図１３には、ＨＤＲ対応型のレコーダ／プレーヤである記録装置３０、記録媒体４０、ＨＤＲ非対応型のプレーヤである再生装置４５、ＨＤＲ対応型のディスプレイである表示装置５０、及びＨＤＲ非対応型のディスプレイである表示装置５５が示されている。記録装置３０は、符号化部３２、復号部３４、ＨＬＧ処理部３６及び制御部３８を備える。

記録装置３０の符号化部３２は、例えば、ＨＬＧ処理部３６によって生成されるＨＬＧ画像信号をＨＥＶＣに従って符号化し、符号化ビットストリームをＵＨＤ−ＢＤに従って記録媒体４０へ記録する。制御部３８は、記録媒体４０への記録の際に、ＶＵＩ又はＳＥＩへ、ＨＬＧ方式用のＯＥＴＦ番号を示す制御パラメータを書き込む。ＶＵＩ又はＳＥＩは、圧縮された画像信号を含む符号化ビットストリームに関連付けられる。制御部３８は、記録装置３０が映像を再生しようとする際、ＶＵＩ又はＳＥＩ内のＯＥＴＦ番号を読み取ることにより、記録媒体４０に記録されている映像がＨＬＧ映像であることを認識する。復号部３４は、ＨＥＶＣに従ってＨＬＧ画像信号を復号する。

記録装置３０の制御部３８は、復号されたＨＬＧ画像信号を、当該画像信号がＨＬＧ画像信号であることを示すＨＬＧ標識と共に、画像信号の出力先のディスプレイへとシグナリングしてよい。ＨＤＲ対応型のディスプレイである表示装置５０は、ＨＬＧ標識を受信すると、ＨＬＧ方式に従って画像信号を処理して、ＨＤＲ映像を表示する。上で説明した画像処理装置１００は、例えば表示装置５０に搭載され、ＨＤＲ映像が表示される前に上述したダイナミックレンジの調整を実行し得る。画像信号の出力先のディスプレイがＨＤＲ非対応型の表示装置５５である場合、表示装置５５は、ＨＬＧ標識の存在に気付くことなく、映像をＳＤＲ表示する。

ＨＤＲ非対応型の再生装置４５は、映像を再生する際、ＶＵＩ又はＳＥＩ内のＯＥＴＦ番号を読み取らず、又は読み取ったＯＥＴＦ番号が未知の（若しくは制約に反する）値であるためにこれを無視する。再生装置４５は、ＨＥＶＣに従って復号した画像信号を、ＨＬＧ標識を伴うことなく表示装置５０又は表示装置５５へ出力する。表示装置５０は、ＨＬＧ標識が受信されないため、映像をＳＤＲ表示する。表示装置５５もまた映像をＳＤＲ表示する。

表示装置５０の代わりに、記録装置３０のＨＬＧ処理部３６が上で説明した画像処理装置１００の機能を有していてもよい。この場合、ＨＬＧ処理部３６は、復号されたＨＬＧ画像信号をＨＬＧ方式に従って処理して、広い輝度ダイナミックレンジを有するＨＤＲ映像のための表示用信号を生成する。そして、表示用信号が表示装置５０へ出力されると、表示装置５０によりＨＤＲ映像が表示される。

［４−２．処理の流れ］
（１）記録処理
図１４は、一実施形態に係る記録装置３０により実行される記録処理の流れの一例を示すフローチャートである。図１４を参照すると、まず、記録装置３０のＨＬＧ処理部３６は、映像コンテンツの光強度を線形的に表現する原画像信号を取得する（ステップＳ２０２）。次に、ＨＬＧ処理部３６は、原画像信号をＨＬＧ画像信号に変換する（ステップＳ２０４）。次に、符号化部３２は、ＨＬＧ画像信号を符号化して、符号化ストリームを生成する（ステップＳ２０６）。次に、制御部３８は、ＨＬＧ方式のＯＥＴＦ番号を示す制御パラメータを生成する（ステップＳ２０８）。そして、制御部３８は、ＨＬＧ画像信号の符号化ストリームを記録媒体へ記録すると共に、当該符号化ストリームに関連付けられるＶＵＩ又はＳＥＩへ、ＨＬＧ方式のＯＥＴＦ番号を示す制御パラメータを書き込む（ステップＳ２１０）。

（２）再生処理−第１の例
図１５Ａは、一実施形態に係る再生処理の流れの第１の例を示すフローチャートである。図１５Ａを参照すると、まず、記録装置３０の制御部３８は、符号化ストリーム及び関連付けられている制御パラメータを記録媒体から読み出す（ステップＳ２２２）。次に、復号部３４は、読み出された符号化ストリームから画像信号を復号する（ステップＳ２２４）。制御部３８は、画像信号の信号方式がＨＬＧ方式であるか否かを、ステップＳ２２２において読み出した制御パラメータに基づいて判定する（ステップＳ２２６）。例えば、ＨＬＧ方式用のＯＥＴＦ番号“１８”がＶＵＩに含まれる場合、又は他のＯＥＴＦ番号がＶＵＩに含まれているとしてもＳＥＩにおいてＯＥＴＦ番号が値“１８”で上書きされている場合には、画像信号の信号方式はＨＬＧ方式であると判定され得る。ＨＬＧ画像信号ではない画像信号が復号された場合には、処理はステップＳ２２８へ進み、非ＨＬＧ画像信号がディスプレイへ出力される（ステップＳ２２８）。ＨＬＧ画像信号が復号された場合には、処理はステップＳ２３０へ進み、制御部３８は、出力先のディスプレイがＨＬＧ対応型であるか否かをさらに判定する（ステップＳ２３０）。出力先のディスプレイがＨＬＧ対応型ではない場合には、ＨＬＧ変換が実行されることなく、画像信号がディスプレイへ出力される（ステップＳ２２８）。出力先のディスプレイがＨＬＧ対応型である場合、ＨＬＧ処理部３６は、復号された画像信号をＨＬＧ方式に従って処理して、広い輝度ダイナミックレンジを有する表示用信号を生成する（ステップＳ２３２）。そして、表示用信号がディスプレイへ出力される（ステップＳ２３４）。

（３）再生処理−第２の例
図１５Ｂは、一実施形態に係る再生処理の流れの第２の例を示すフローチャートである。図１５Ｂを参照すると、まず、記録装置３０の制御部３８は、符号化ストリーム及び関連付けられている制御パラメータを記録媒体から読み出す（ステップＳ２２２）。次に、復号部３４は、読み出された符号化ストリームから画像信号を復号する（ステップＳ２２４）。制御部３８は、画像信号の信号方式がＨＬＧ方式であるか否かを、第１の例と同様に、ステップＳ２２２において読み出した制御パラメータに基づいて判定する（ステップＳ２２６）。ＨＬＧ画像信号ではない画像信号が復号された場合には、処理はステップＳ２２８へ進み、非ＨＬＧ画像信号がディスプレイへ出力される（ステップＳ２２８）。ＨＬＧ画像信号が復号された場合には、処理はステップＳ２３６へ進み、制御部３８は、ＨＬＧ標識のシグナリングと共に、ＨＬＧ画像信号をディスプレイへ出力する（ステップＳ２３６）。

［４−３．補足的なストリームの扱い］
映像コンテンツは、一連のフレームの画像信号、音声信号及び制御信号の符号化ストリームに加えて、字幕情報又はグラフィックス情報を含む補足的なストリームをも有し得る。ＨＤＲ対応型のレコーダ／プレーヤである記録装置３０は、こうした補足的なストリームが画像信号の符号化ストリームに関連付けられている場合に、当該補足的なストリームのコンテンツ（例えば字幕、ＧＵＩ又はその他の表示オブジェクト）の最大輝度レベルが基準白色の表示輝度レベル（図２におけるＥ´＝０．５）に一致するように、コンテンツの輝度を調整する。これは、ＨＤＲ非対応型の再生装置４５又は表示装置５５がＳＤＲ映像の最大輝度レベルと補足的なストリームのコンテンツの最大輝度レベルとを一致させることとは対照的である。例えば字幕又はＧＵＩの白色がＨＤＲ映像の最大輝度レベル（ヘッドルーム不使用の場合、図２におけるＥ´＝１．０）で表示されてしまうと、その白色は明る過ぎて却って視認性を損なう。しかし、上述したように、補足的なストリームのコンテンツの最大輝度レベルをＨＤＲ映像の基準白色の表示輝度レベルに合わせることで、コンテンツの適切な視認性を確保することができる。

本節では、主にＨＬＧ方式で表現される信号の記録及び再生について説明したが、ここで説明した手法は、ＨＤＲ映像のためのＨＬＧ方式以外の信号方式が使用されるケースにも適用されてよい。

＜５．ハードウェア構成例＞
上述した実施形態は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアが使用される場合、ソフトウェアを構成するプログラムは、例えば、装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵ（Central Processing Unit）などのプロセッサにより実行される。

図１６は、上述した実施形態を適用可能な装置のハードウェア構成の一例を示すブロック図である。図１６を参照すると、画像処理装置８００は、システムバス８１０、画像処理チップ８２０及びオフチップメモリ８９０を備える。画像処理チップ８２０は、ｎ個（ｎは１以上）の処理回路８３０−１、８３０−２、…、８３０−ｎ、参照バッファ８４０、システムバスインタフェース８５０及びローカルバスインタフェース８６０を含む。

システムバス８１０は、画像処理チップ８２０と外部モジュール（例えば、中央制御機能、アプリケーション機能、通信インタフェース、ユーザインタフェース又はディスプレイインタフェースなど）との間の通信路を提供する。処理回路８３０−１、８３０−２、…、８３０−ｎは、システムバスインタフェース８５０を介してシステムバス８１０と接続され、及びローカルバスインタフェース８６０を介してオフチップメモリ８９０と接続される。処理回路８３０−１、８３０−２、…、８３０−ｎは、オンチップメモリ（例えば、ＳＲＡＭ）に相当し得る参照バッファ８４０にもアクセスすることができる。オフチップメモリ８９０は、例えば、画像処理チップ８２０により処理される画像データを記憶するフレームメモリであってよい。一例として、処理回路８３０−１はＨＤＲ画像信号の輝度ダイナミックレンジの調整のために利用され、処理回路８３０−２はＨＥＶＣに従った画像信号の符号化又は復号のために利用され得る。なお、これら処理回路は、同一の画像処理チップ８２０ではなく、別個のチップ上に形成されてもよい。

＜６．応用例＞
上述した実施形態は、様々な電子機器に応用され得る。以下、４つの応用例について説明する。

（１）第１の応用例
図１７は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。

チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。

デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。

映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。

表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。

音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。

外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

制御部９１０は、ＣＰＵ（Central Processing Unit）などのプロセッサ、並びにＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。

ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。

バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。

このように構成されたテレビジョン装置９００において、映像信号処理部９０５は、上述した実施形態に係る画像処理装置１００の機能を有する。従って、テレビジョン装置９００において、ＨＤＲ映像を再生する際に、映像信号のダイナミックレンジとディスプレイのピーク輝度との不一致に関わる不都合を解消し又は少なくとも軽減することができる。

（２）第２の応用例
図１８は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。

アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。

携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。

音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。

記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。

また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。

また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像処理装置１００の機能を有する。従って、携帯電話機９２０において、ＨＤＲ映像を再生する際に、映像信号のダイナミックレンジとディスプレイのピーク輝度との不一致に関わる不都合を解消し又は少なくとも軽減することができる。

（３）第３の応用例
図１９は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。

記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。

チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。

外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。

エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。

ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。

ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。

セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。

デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。

ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。

制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。

ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。

このように構成された記録再生装置９４０において、ＯＳＤ９４８は、上述した実施形態に係る画像処理装置１００の機能を有する。従って、記録再生装置９４０において、ＨＤＲ映像を再生する際に、映像信号のダイナミックレンジとディスプレイのピーク輝度との不一致に関わる不都合を解消し又は少なくとも軽減することができる。

（４）第４の応用例
図２０は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮影装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。

撮影装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。

光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。

光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。

信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。

画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。

ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。

外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮影装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮影装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮影装置９６０における伝送手段としての役割を有する。

メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。

制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮影装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮影装置９６０の動作を制御する。

ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮影装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。

このように構成された撮影装置９６０において、画像処理部９６４は、上述した実施形態に係る画像処理装置１００の機能を有する。従って、撮影装置９６０において、ＨＤＲ映像を再生する際に、映像信号のダイナミックレンジとディスプレイのピーク輝度との不一致に関わる不都合を解消し又は少なくとも軽減することができる。

＜７．まとめ＞
ここまで、図１〜図２０を用いて、本開示に係る技術の実施形態について詳細に説明した。上述した実施形態によれば、基準白色の表示輝度レベルを固定的に扱う信号方式に基づく画像信号が、表示用信号への変換のためにガンマ変換される。そのガンマ変換は、ディスプレイのピーク輝度レベルに基づいて決定されるパラメータを用いて、基準白色の表示輝度レベルが維持されるように実行される。従って、輝度のクリッピング（又は過剰に強いロールオフ）に起因する高輝度領域の情報の欠損（いわゆる白とび）の発生が回避されると共に、コンテンツの撮影又は制作の際に明るさの基準とされる基準白色の輝度を、コンテンツの表示の際にも適切に再現することが可能となる。

ある実施例によれば、表示用信号により表現可能な最大輝度レベルをディスプレイのピーク輝度レベルに合わせるように決定される第１のガンマ値を用いて、基準白色の輝度レベルでの正規化後の信号がガンマ変換される。この場合、ガンマ変換によって基準白色の輝度レベルは変化しない。このような第１の変換法により、高輝度領域の情報の欠損が回避され、かつディスプレイのピーク輝度までのレンジを無駄なく使い切ることができる。

ある実施例によれば、表示用信号により表現可能な最大輝度レベルをディスプレイのピーク輝度レベルに合わせるように決定されるゲイン値を用いて、基準白色の輝度レベルでの正規化後の信号が線形変換され、当該線形変換後の画像信号が、基準白色の表示輝度レベルを元の輝度レベルへと復元するように決定される第２のガンマ値を用いてガンマ変換される。この場合、基準白色の輝度レベルは、（演算の途中で変化はするものの）最終的には元のレベルの通り維持される。第２のガンマ値を用いたガンマ変換は、表示用信号により表現可能な最大輝度レベルを変化させないように実行され得る。ゲイン値を用いた線形変換及びダイナミックレンジの両端を固定したガンマ変換は、汎用的な演算機能として個々に既に実装されていることが多い。そのため、このような第２の変換法は、新たな演算機能の追加的な実装を要することなく、比較的低いコストで実現されることができる。第２の変換法は、画像信号を所定のシステムガンマ値を用いてガンマ変換した後に実行されてもよい。例えば、１．２というシステムガンマ値を用いることで、表示される映像における輝度の階調を、ＩＴＵ−Ｒ ＢＴ．１８８６などの既存の仕様に基づく表示に近付けることができる。上述した第１の変換法と第２の変換法とが選択的に切り替えられてもよい。それにより、ＨＤＲ映像の多様な表現をユーザに提供すること、及びディスプレイの特性に応じて最適な表現を選択することが可能となる。

ある実施例によれば、基準白色の表示輝度レベルが維持される第１の動作モードと、基準白色の表示輝度レベルが維持されない第２の動作モードとの間で、動作モードが切り替えられる。これら動作モードが提供されることにより、基準白色の輝度をＨＤＲ映像の表示の際に再現することを優先するか否かをユーザ又はデバイスが適応的に選択することが可能となる。例えば、動作モードは、信号方式のタイプに基づいて選択されてもよい。この場合、例えば基準白色のレベルを基準として輝度レベルが相対的に表現されるＨＬＧ方式で画像信号が生成されているときにはその基準白色のレベルを維持する一方で、そうでないときには基準白色のレベルを維持しないといった切替えが可能である。ＨＥＶＣ方式で符号化された符号化ストリームから画像信号が復号される場合、信号方式のタイプは、例えばＶＵＩ（Video Usability Information）又はＳＥＩ（Supplemental Enhancement Information）に含まれる制御パラメータに基づいて判定され得る。動作モードは、ユーザ設定に基づいて選択されてもよい。例えば、撮影環境又はコンテンツ制作環境の明るさが再現されることを望むユーザは、第１の動作モードを選択するであろう。動作モードは、ディスプレイの性能としてのピーク輝度レベル又は表示環境の条件から自動的に設定されるピーク輝度レベルといった他の要因に基づいて選択されてもよい。

第２の動作モードが選択された場合には、ゲイン値を用いた単純な線形変換が実行されてもよく、この場合、輝度のクリッピングに起因する高輝度領域の情報の欠損の発生が回避される。また、特にディスプレイのピーク輝度が低いケースではＩＴＵ−Ｒ ＢＴ．１８８６に従ったＳＤＲ表示が行われてもよく、この場合、中輝度領域において視認性の良好な映像を得ることができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
基準白色の表示輝度レベルを固定的に扱う信号方式に基づく画像信号を、ディスプレイのピーク輝度レベルに基づいて決定されるパラメータを用いて、前記基準白色の表示輝度レベルが維持されるようにガンマ変換することにより、表示用信号へと変換する変換部、
を備える画像処理装置。
（２）
前記画像信号は、前記基準白色の輝度レベルでの正規化後の信号であり、
前記変換部は、第１のガンマ値を用いて前記画像信号をガンマ変換する、
前記（１）に記載の画像処理装置。
（３）
前記変換部は、前記表示用信号により表現可能な最大輝度レベルを前記ディスプレイの前記ピーク輝度レベルに合わせるように前記第１のガンマ値を決定する、前記（２）に記載の画像処理装置。
（４）
前記画像信号は、前記基準白色の輝度レベルでの正規化後の信号であり、
前記変換部は、前記画像信号をゲイン値を用いて線形変換し、前記基準白色の表示輝度レベルが元の輝度レベルへと復元されるように決定される第２のガンマ値を用いて前記線形変換後の画像信号をガンマ変換する、
前記（１）に記載の画像処理装置。
（５）
前記変換部は、前記表示用信号により表現可能な最大輝度レベルを前記ディスプレイの前記ピーク輝度レベルに合わせるように前記ゲイン値を決定する、前記（４）に記載の画像処理装置。
（６）
前記変換部は、前記第２のガンマ値を用いたガンマ変換を、前記表示用信号により表現可能な最大輝度レベルを変化させないように実行する、前記（４）又は前記（５）に記載の画像処理装置。
（７）
前記変換部は、前記画像信号を所定のシステムガンマ値を用いてガンマ変換した後に、前記線形変換及び前記第２のガンマ値を用いた前記ガンマ変換を実行する、前記（４）〜（６）のいずれか１項に記載の画像処理装置。
（８）
前記画像処理装置は、前記基準白色の表示輝度レベルが維持される第１の動作モード及び前記基準白色の表示輝度レベルが維持されない第２の動作モードのうち前記変換部が使用すべきモードを選択する制御部、をさらに備え、
前記変換部は、前記制御部により前記第１の動作モードが選択された場合に、前記基準白色の表示輝度レベルが維持されるように、前記画像信号を前記表示用信号へと変換する、
前記（１）〜（７）のいずれか１項に記載の画像処理装置。
（９）
前記制御部は、信号方式のタイプ、ユーザ設定、前記ディスプレイの属性及び表示環境の条件のうちの１つ以上に基づいて、前記第１の動作モード及び前記第２の動作モードのうちの前記１つを選択する、前記（８）に記載の画像処理装置。
（１０）
前記変換部は、
前記画像信号を前記基準白色の表示輝度レベルが変化しないようにガンマ変換する第１の変換法と、
前記画像信号をゲイン値を用いて線形変換し、前記基準白色の表示輝度レベルが元の輝度レベルへと復元されるように決定される第２のガンマ値を用いて前記線形変換後の画像信号をガンマ変換する第２の変換法と、
を選択的に使用する、前記（１）〜（９）のいずれか１項に記載の画像処理装置。
（１１）
前記変換部は、前記制御部により前記第２の動作モードが選択された場合に、前記表示用信号により表現可能な最大輝度レベルを前記ディスプレイの前記ピーク輝度レベルに合わせるように決定されるゲイン値を用いて前記画像信号を線形変換する、
前記（８）又は前記（９）に記載の画像処理装置。
（１２）
前記変換部は、前記制御部により前記第２の動作モードが選択された場合に、ＩＴＵ−Ｒ ＢＴ．１８８６に従って前記画像信号を前記表示用信号へと変換する、前記（８）又は前記（９）に記載の画像処理装置。
（１３）
前記信号方式は、基準白色よりも低い輝度レベルにおけるガンマ曲線と、基準白色よりも高い輝度レベルにおける対数曲線との組合せに基づくＨＬＧ（Hybrid Log Gamma）方式である、前記（１）〜（１２）のいずれか１項に記載の画像処理装置。
（１４）
前記画像信号は、ＨＥＶＣ（High Efficiency Video Coding）方式に従って符号化された符号化ストリームから復号され、
前記符号化ストリームに関連付けられるＳＥＩ（Supplemental Enhancement Information）に含まれるパラメータに基づいて、前記画像信号について前記ＨＬＧ方式が使用されたことが判定される、
前記（１３）に記載の画像処理装置。
（１５）
前記画像信号は、ＨＥＶＣ（High Efficiency Video Coding）方式に従って符号化された符号化ストリームを含み、
前記符号化ストリームに関連付けられるＶＵＩ（Video Usability Information）に含まれるパラメータに基づいて、前記画像信号について前記ＨＬＧ方式が使用されたことが判定される、
前記（１３）に記載の画像処理装置。
（１６）
前記符号化ストリームに字幕情報又はグラフィックス情報を含む補足的なストリームが関連付けられている場合に、当該補足的なストリームのコンテンツの最大輝度レベルは、前記基準白色の表示輝度レベルに合うように調整される、前記（１４）又は前記（１５）に記載の画像処理装置。
（１７）
画像処理装置により実行される画像処理方法であって、
基準白色の表示輝度レベルを固定的に扱う信号方式に基づく画像信号を、ディスプレイのピーク輝度レベルに基づいて決定されるパラメータを用いて、前記基準白色の表示輝度レベルが維持されるようにガンマ変換することにより、表示用信号へと変換すること、
を含む画像処理方法。

１０ 撮影装置
２０ ネットワーク
３０ 記録装置（ＨＤＲ対応型）
４０ 記録媒体
４５ 再生装置（ＨＤＲ非対応型）
５０ 表示装置（ＨＤＲ対応型）
５５ 表示装置（ＨＤＲ非対応型）
１００ 画像処理装置
１１０ 画像取得部
１２０ 変換部
１３０ 制御部

Claims (16)

1. 基準白色の表示輝度レベルを固定的に扱う信号方式に基づく、前記基準白色の輝度レベルでの正規化後の信号である画像信号を、ディスプレイのピーク輝度レベルに基づいて決定されるパラメータを用いて、前記基準白色の表示輝度レベルが維持されるようにガンマ変換することにより、表示用信号へと変換し、
   前記画像信号を、ゲイン値を用いて線形変換し、前記基準白色の表示輝度レベルが元の輝度レベルへと復元されるように決定される第２のガンマ値を用いて前記線形変換後の画像信号をガンマ変換する変換部、
   を備える画像処理装置。
2. 前記変換部は、第１のガンマ値を用いて前記画像信号をガンマ変換する、請求項１に記載の画像処理装置。
3. 前記変換部は、前記表示用信号により表現可能な最大輝度レベルを前記ディスプレイの前記ピーク輝度レベルに合わせるように前記第１のガンマ値を決定する、請求項２に記載の画像処理装置。
4. 前記変換部は、前記表示用信号により表現可能な最大輝度レベルを前記ディスプレイの前記ピーク輝度レベルに合わせるように前記ゲイン値を決定する、請求項１に記載の画像処理装置。
5. 前記変換部は、前記第２のガンマ値を用いたガンマ変換を、前記表示用信号により表現可能な最大輝度レベルを変化させないように実行する、請求項１または請求項４に記載の画像処理装置。
6. 前記変換部は、前記画像信号を所定のシステムガンマ値を用いてガンマ変換した後に、前記線形変換及び前記第２のガンマ値を用いた前記ガンマ変換を実行する、請求項１、請求項４、請求項５の何れか１項に記載の画像処理装置。
7. 前記画像処理装置は、前記基準白色の表示輝度レベルが維持される第１の動作モード及び前記基準白色の表示輝度レベルが維持されない第２の動作モードのうち前記変換部が使用すべきモードを選択する制御部、をさらに備え、
   前記変換部は、前記制御部により前記第１の動作モードが選択された場合に、前記基準白色の表示輝度レベルが維持されるように、前記画像信号を前記表示用信号へと変換する、
   請求項１乃至請求項６の何れか１項に記載の画像処理装置。
8. 前記制御部は、信号方式のタイプ、ユーザ設定、前記ディスプレイの属性及び表示環境の条件のうちの１つ以上に基づいて、前記第１の動作モード及び前記第２の動作モードのうちの前記１つを選択する、請求項７に記載の画像処理装置。
9. 前記変換部は、
   前記画像信号を前記基準白色の表示輝度レベルが変化しないようにガンマ変換する第１の変換法と、
   前記画像信号を、前記ゲイン値を用いて線形変換し、前記第２のガンマ値を用いて前記線形変換後の画像信号をガンマ変換する第２の変換法と、
   を選択的に使用する、請求項１乃至請求項８の何れか１項に記載の画像処理装置。
10. 前記変換部は、前記制御部により前記第２の動作モードが選択された場合に、前記表示用信号により表現可能な最大輝度レベルを前記ディスプレイの前記ピーク輝度レベルに合わせるように決定される前記ゲイン値を用いて前記画像信号を線形変換する、
    請求項７または請求項８に記載の画像処理装置。
11. 前記変換部は、前記制御部により前記第２の動作モードが選択された場合に、ＩＴＵ−Ｒ ＢＴ．１８８６に従って前記画像信号を前記表示用信号へと変換する、請求項７または請求項８に記載の画像処理装置。
12. 前記信号方式は、基準白色よりも低い輝度レベルにおけるガンマ曲線と、基準白色よりも高い輝度レベルにおける対数曲線との組合せに基づくＨＬＧ（Hybrid Log Gamma）方式である、請求項１乃至請求項１１の何れか１項に記載の画像処理装置。
13. 前記画像信号は、ＨＥＶＣ（High Efficiency Video Coding）方式に従って符号化された符号化ストリームから復号され、
    前記符号化ストリームに関連付けられるＳＥＩ（Supplemental Enhancement Information）に含まれるパラメータに基づいて、前記画像信号について前記ＨＬＧ方式が使用されたことが判定される、
    請求項１２に記載の画像処理装置。
14. 前記画像信号は、ＨＥＶＣ（High Efficiency Video Coding）方式に従って符号化された符号化ストリームを含み、
    前記符号化ストリームに関連付けられるＶＵＩ（Video Usability Information）に含まれるパラメータに基づいて、前記画像信号について前記ＨＬＧ方式が使用されたことが判定される、
    請求項１２に記載の画像処理装置。
15. 前記符号化ストリームに字幕情報又はグラフィックス情報を含む補足的なストリームが関連付けられている場合に、当該補足的なストリームのコンテンツの最大輝度レベルは、前記基準白色の表示輝度レベルに合うように調整される、請求項１３または請求項１４に記載の画像処理装置。
16. 画像処理装置により実行される画像処理方法であって、
    基準白色の表示輝度レベルを固定的に扱う信号方式に基づく、前記基準白色の輝度レベルでの正規化後の信号である画像信号を、ディスプレイのピーク輝度レベルに基づいて決定されるパラメータを用いて、前記基準白色の表示輝度レベルが維持されるようにガンマ変換することにより、表示用信号へと変換することと、
    前記画像信号を、ゲイン値を用いて線形変換し、前記基準白色の表示輝度レベルが元の輝度レベルへと復元されるように決定される第２のガンマ値を用いて前記線形変換後の画像信号をガンマ変換することと、
    を含む画像処理方法。

Images