JP6009538B2 - Ｈｄｒ画像を符号化及び復号するための装置及び方法 - Google Patents

Description

本発明は、とりわけＨＤＲシーンの改善された画像の符号化を得るための装置、方法、及びデータ記憶製品又は符号化信号などの結果として生じる製品に関する。

最近（捕捉シーン又はコンピュータグラフィックスの）画像／映像の符号化に関して新たな進展が生じており、即ち、自然の中で生じる物体の輝度と色の全範囲をより良く捕捉することが望ましく、これは高ダイナミックレンジ（ＨＤＲ：high dynamic range）符号化と呼ばれる。幾つかの理由から、少なくとも将来数年にわたり何らかの形の後方互換性が求められる可能性があり、つまり所謂低ダイナミックレンジ（ＬＤＲ：low dynamic range）符号化のデータが、とりわけ常に元々そうであったような方法で入手できる必要がある。更に、本文でも示すように、このことは長期的にも有用であり得ることが分かる。本発明者は、ＬＤＲ符号化を有する１つの論理的根拠が、例えますます高まるダイナミックレンジの（ハイエンド）ディスプレイが登場しても、同様にかなりの低ダイナミックレンジのディスプレイの区分（例えば外部環境における携帯機器、投影等）があることだと認識した。

ＨＤＲシーンを捕捉して符号化すること、つまりＣＣＤやＣＭＯＳなどの一次元イメージセンサーを単にＨＤＲシーンに向け、輝度情報を含む線形色信号を直接記録することは簡単に思われるかもしれない（注意：技術的混乱がない場合は輝度と色とを同義語として用いることがあり、例えば実際にその輝度成分が高い場合は明るい色のことを言う）。しかし、最終的にＨＤＲ画像データはテレビなどのレンダリング装置上でレンダリングされる必要があり、レンダリング及び元のシーンの両方が、あらゆる種類の画像条件、周囲条件、更には視聴者の気分や生物学的要因などの他の条件を考慮に入れて非常に複雑な心理視覚的な人間の視覚系によって見られるのでＨＤＲ画像化チェーンはより複雑である。

物理的に（比色定量的に）、屋外シーンの晴天は６０００ニットの輝度、そのシーン内の物体は３００ニットの輝度を有し得る（コントラスト比ＣＲ２０：１）。その物体だけが、例えば５００ニットホワイトの標準的なテレビ上で「忠実に」レンダリングされ得る（極度に単純化した忠実さの標準として厳密な輝度の再現を使用する場合。とはいえ、例え輝度コーディング値やレンダリング戦略などのレンダリング装置の機能を除いても、人間の視覚条件、即ちとりわけレンダリングされる特定の輝度に様々な実際の明度感覚を与え得る視聴環境も関与するので原則的にそれ自体では何も意味せず、その感覚はレンダリングされる物体を取り囲む画像画素の色値などの条件にさえ依拠する）。緩和されたレンダリング品質基準として実際に現実面で得ようと努力する可能性があるのは「リアルさ」である（例えば仮にその晴天が物体よりも２０倍明るい居間のテレビ上で相対的にレンダリングされる場合、ディスプレイ上でレンダリングされるその実際の絶対輝度が何であろうと、そのピクチャは十分リアルと見なされ得る）。今度はその同じシーンが、２５ニットだけのスクリーンホワイト及び２００：１の（フレーム内）コントラスト比／ダイナミックレンジを有する映画館の中でもリアルに（即ち日当たりの良い屋外シーンとして脳によって妥当に解釈可能に）レンダリングされなければならない。

例えば様々な副環境を有する合成シーンなど、高コントラスト比を有するＨＤＲシーンを捕捉する場合はより興味深いことになる。例えば屋外の照度は、（例えばカメラが外の日当たりの良い副環境への窓を見る、長くて暗い廊下内に配置される場合）容易く屋内よりも１００倍から１０００倍明るくなる場合があるので、同じ捕捉シーン内に、４ニットの屋内の物体及び４０００ニットの屋外の物体を表す画像画素を有する可能性がある。このコントラスト比は、多くの画像センサーが線形に（最大ウェル（maximum well）対ノイズ）捕捉できる限度上に既にあり得るが、間違いなく多くのレンダリング技術のダイナミックレンジを上回る（例えば照明環境下でのテレビ視聴、及び印刷は典型的には４０：１のダイナミックレンジをほぼ有する）。他方では、例えば人間の脳は、或る光源がレンダリング時に明るい光源のように確かに見える限り、光源がシーン内の反射ホワイト物体の（正確に）２０倍又は１０００倍明るいかどうかはそれ程気にしないと想像することもできる。そのため、一方における捕捉シーン側の単純な線形の光の計算（注意：ガンマ０．４５などの問題は無視し、ディスプレイ側でのその逆数に鑑みて、依然として実質的に線形に接続された信号チェーンと見なす）と、レンダリング側で人間が視聴するために画像を再現する複雑な非線形の性質との間に葛藤又は活動の場があるようである。このことは、画像又は映像の符号化技術や、例えば画像の向上のような画像変換などの中間技術を設計する活動の場も作り出し得る。

あり得る全てのシーンをどのように捕捉するかは別にして（本文では暗領域の記録をマスクするレンズフレアなどの問題は無視し）、画像の優れた符号化は、これらの全ての自然の又は人工のシーンを「十分に」（即ちリアルに、例えば確実に）表す必要がある（画像は低コントラストの水中シーンから高精度を必要とする氷の構造の捕捉、ミュージカルパフォーマンスレコーディング内の高輝度の光／レーザーショー、更にはコンピュータによって生成される、燃えている異世界の画像や科学番組の解説画像等まで、多くの種類から成ることができる）。十分にとは、シーンの殆どをリアルにレンダリングできるようにするために、表現されるシーン物体についての少なくとも十分な詳細情報があることを意味する（即ち少なくともレンダリング技術が認める限り、レンダリングされるシーンは、例えばシーン内の物体が容易に認識可能であること、又はシーンが或る雰囲気を伝えることなどの品質基準に従い、少なくともそのシーンの重要な部分／物体について元のシーンにかなり似て見える）。好ましくは、物体情報は、例えば画像処理又は幾つかの装置若しくはアプリケーション間の共有等のための、容易に管理できる構造内に更に符号化される。

更に、とりわけＨＤＲ画像をそれ自体で最適にコード化する代わりに、同じシーンのより低品質のＬＤＲ表現に関連してＨＤＲ画像を符号化する需要がある（そのＬＤＲ画像はＬＤＲレンダリング装置上で所望の通りに又は少なくとも許容できるようにレンダリングされる）。従来技術では、ＨＤＲ画像も実際には幾何学的にＬＤＲ画像と同じ画像／捕捉だが、ＨＤＲ情報を符号化するＨＤＲ符号化スキーム、即ち例えばシーン上の異なるビューなどの異なる画像を同じシーン上でしか想定できないことに留意されたい。本発明者は、例えばＬＤＲ改変形態など、シーン符号化の幾つかの改変形態を利用できるようにすることは、使用側においてデータをより扱い易くすること、例えばＬＤＲディスプレイのディスプレイ駆動値へのより容易なマッピングを可能にすることに気付いた。

従来技術は、一種のスケーラブルコード化の概念に基づく幾つかのＨＤＲ符号化技法を教示しており、それらの技法では幾らかの予測により、ＬＤＲ符号化局所的テクスチャの精度が洗練され又はより正確に示され、そのテクスチャのＨＤＲバージョンに投影され、予測に対する元のＨＤＲ画像の差が、エンハンスピクチャとして所望の程度まで共同符号化される。例えば、１１６８のＨＤＲグレイ値は（新たな範囲に正規化するだけでなく、それにより典型的には精度も落とす）８による除算により値１４６で表すことができる。このＨＤＲ値は再度８を掛けることによって再現できるが、値１１６９も同じベースレイヤ値１４６に量子化するので、高品質のＨＤＲ信号を再現できるようにするには１に等しいエンハンス値が必要になる。そのような技術の一例が、欧州特許第２００９９２１号［Liu Shanら、三菱電機：（スケーリング及びオフセットによる）逆トーンマッピングの方法］の中で説明されている。これらの符復号化では理論上、（標準的なマルチプライヤのよりスマートな等価物である）逆トーンマッピング予測モデルは、軽微な訂正が施される適度に厳密なＨＤＲの見た目を既に与えるのに十分正確である（実際に、非線形関数を使うことにより一連の可能な値を別の範囲に投影する場合、精度の問題は別にして、元の範囲の値は回復可能であるべきである）。

現在のＨＤＲ符号化の技術的問題は、多くのアプリケーション主導型の符号化の需要（全ての複雑なシーン物体テクスチャの優れた視覚品質に対して少量の記述データビットを有する古典的な画像圧縮基準だけでなく、例えば幾つかの使用シナリオの少なくとも一部における符号化データの使い易さ）に鑑みて、そのような予測シナリオに依存しない符号化を有する需要があることである。とりわけ、符号化は、２ピクチャ符号化と同様の性質の又は２ピクチャ符号化の種類のデータ構造を既に利用できるシステムにとって望ましい場合がある（例えばブルーレイ又はブロードキャスト上の３Ｄ符号化には左及び右ピクチャがある）。これらのピクチャは同じ構造のもの（例えば１９２０ｘ１０８０画素、８ビット等）でも、異なる構造のもの（例えば第１の画像は１９２０ｘ１０８０画素、８ビット、第２の画像は７２０ｘ５７６、１２ビット）でも良い。

ＨＤＲ画像の単純且つ容易に使用可能な符号化が、高ダイナミックレンジ画像信号（ＩＭ＿ＨＤＲ−ｉｎ）を符号化するように構成される画像符号化ユニット（５５１）に関する原理に従う本発明の実施形態の概念によって実現されても良く、画像符号化ユニット（５５１）は、
−より低いダイナミックレンジ（ＳＥＬＲ）を受け取るための第１の受信機（９０１）と、
−より低いダイナミックレンジ（ＳＥＬＲ）内の輝度を有する高ダイナミックレンジ画像信号（ＩＭ＿ＨＤＲ−ｉｎ）の全ての画素を第１の画像（Ｉｍ＿１）内に符号化するように構成される、第１のコードマッピングユニット（９０４）と、
−第１の画像（Ｉｍ＿１）内に既に符号化されている輝度のどれ位の量まで再び冗長に符号化される必要があるのかを指定する、最大冗長性（ＭＡＸＲＥＤ）を受け取るための第２の受信機（９０２）と、
−高ダイナミックレンジ画像信号（ＩＭ＿ＨＤＲ−ｉｎ）のどの画素が第２の画像（Ｉｍ＿２）内に符号化される必要があるのかを最大冗長性（ＭＡＸＲＥＤ）に基づいて決定するように構成される、画像処理ユニット（９０３）と、
−第２の画像（Ｉｍ＿２）内に符号化される必要がある高ダイナミックレンジ画像信号（ＩＭ＿ＨＤＲ−ｉｎ）の画素の輝度を第２の画像（Ｉｍ＿２）内に符号化するように構成される第２のコードマッピングユニット（９０５）と、
−第１の画像及び第２の画像を高ダイナミックレンジ符号化Ｓ（Ｉｍ＿１，Ｉｍ＿２）として出力するように構成されるフォーマッタ（９０６）と
を含む。

最大冗長性によって決定され、両方の画像内に符号化される輝度の幾らかの重複はあり得るが、主な目的は、第２のコードマッピングユニット９０５が、主にまだＩｍ＿１内に符号化されていないＩＭ＿ＨＤＲ＿ｉｎの輝度、又は例えば広範なシーン捕捉若しくは元のＲＡＷ ＨＤＲ画像の輝度がＩｍ＿１内で僅かなコードでしか表現されなかったという理由で、少なくとも正確に符号化されていないＩＭ＿ＨＤＲ＿ｉｎの輝度をＩｍ＿２内に符号化することである。原則として、輝度範囲の入れ子的な性質により、ＬＤＲ輝度範囲に含まれる輝度を有する全てのシーン物体は既に符号化されている。それらの物体が十分に符号化されている場合、それらは従ってＨＤＲ情報第２の画像内にもはや符号化される必要はなく、即ち最大冗長性があることになる。しかし、２つの画像データ構造を利用できるようにすることは、例えば映画のポストプロダクションサイトにおいてグレーダに非常に高水準の汎用性を与える。グレーダは、例えばシーンの暗い部分を（例えばクリッピング又はごく少数の特徴的なコード値による粗い表現により）ＬＤＲ信号内に非常に粗く符号化することに決め、同じシーンの物体又は領域を第２のピクチャ内にはるかに改善された方法で再コード化することに決めることができる。割当は、純粋に基礎となるシーン物体テクスチャの情報技術的な記憶以外の理由によるものでも良く、即ちグレーダは、２つの画像の符号化内で更なる情報、例えばＨＤＲディスプレイ上の一定のより暗い又はより明るい領域に使用される異なるグレーディングを伝えることができる。画素ごとに単一のルーマ値を必要とする単一画像符号化は、例えば画素がインタレースされ空間的にサブサンプルされる方法（ｆｉｒｓｔ＿ｇｒａｄｅ＿ｌｕｍａ，ｓｅｃｏｎｄ＿ｇｒａｄｅ＿ｌｕｍａ，ｆｉｒｓｔ＿ｇｒａｄｅ＿ｌｕｍａ，．．．）により、特定のシーン領域の二重コード化しか含むことができないのに対し、２つ以上のピクチャメモリーにシーンを表現させることは一層汎用性のあるコード化戦略及び対応する用途を使用可能にする。最大冗長性は、例えば含まれる物体を識別するために両方の画像内に符号化される幾つかの特定の重要な輝度を定める構造とすることもできる。

本発明の幾らかの教示を含む更なる実施形態、改変形態、及び代替的実現にはとりわけ以下のものがある。

最大冗長性（ＭＡＸＲＥＤ）が輝度レベル仕様を含み、画像処理ユニット（９０３）が、高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ−ｉｎ）の輝度を輝度レベル仕様と比較し、高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ＿ｉｎ）のどの画素が第２の画像（Ｉｍ＿２）内に符号化される必要があるのかをそこから決定するように構成される、画像符号化ユニット。

Ｉｍ＿１内に符号化されるデータを参照ＬＤＲディスプレイ上にレンダリングする品質の品質基準（Ｑｃｒｉｔ）に従い、第１の画像（Ｉｍ＿１）内への高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ＿ｉｎ）の輝度の符号化を決定するように、第１のコードマッピングユニット（９０４）が好ましくは範囲決定ユニット（９５０）とともに更に構成される、画像符号化ユニット。より優れたレンダリング、より高効率な符号化、受信端でのより容易な再グレーディングなどの問題のバランスを取るために、幾つかの品質基準が使用されても良い。

当然ながら、ＨＤＲの明るい／暗い更なるコンテンツの何を符号化し又は省くのか、及びそれをどのように符号化するのかも、ＨＤＲコンテンツ又は見た目に関する更なる品質基準、例えばＱｃｒｉｔ２に基づいて検討することができる。例えば特定の技術システムのために符号化する場合、特定のディスプレイ上でどの種類のＨＤＲ効果を忠実にレンダリングできるのかを考慮に入れ、それを踏まえて第２のピクチャを符号化することができる。

第１の画像（Ｉｍ＿１）よりもサイズが小さく且つ／又はより低頻度で生じる第２の画像（Ｉｍ＿２）の実現において、第２のコードマッピングユニット（９０５）が、第２の画像（Ｉｍ＿２）用のデータを符号化するために幾何学的変換を施すように構成される幾何学的最適化ユニット（９６０）を更に含む、画像符号化ユニット。こうすることで圧縮を高めることが可能になる。

第１のコードマッピングユニット（９０４）及び第２のコードマッピングユニット（９０５）が、符号化効率及び／又はレンダリングの視覚品質に応じて最適化されるそれぞれのトーンマッピングＴＭ１及びＴＭ２を適用するように構成される、画像符号化ユニット。

第１のコードマッピングユニット（９０４）が１画素当たり８ビットのワード長を有する第１の画像（Ｉｍ＿１）を作成するように構成され、第２のコードマッピングユニット（９０５）が１画素当たり４，５，６，７，８，９，１０，１１，１２，１３，１４，１５又は１６ビットだが、好ましくは８ビットのワード長を有する第２の画像（Ｉｍ＿２）を作成するように構成される、画像符号化ユニット。第１の（ＬＤＲレンダリングに使用可能な）画像の構造が、例えば８ビットＭＰＥＧ２などの古典的なものである場合は大いに役立つが、本発明の概念は、当然第１の画像の構造の他の定義とも連携する（例えばより低いコード値を単に充填すること、線形ストレッチ、コード値を定めるガンマ関数を使用することなどにより、最も優勢なＬＤＲ情報を６ビット近似又は任意の１０ビット構造内に符号化することに決めることができ、追加のコード値を作成するために例えば線形補間、一部の中間コード値を空にしておくこと、コンピュータグラフィックステクスチャ復元関数を適用することなど、どんな手段が使われても良い）。

本実施形態は、画像を符号化するための多くの既存のコンテナ形式、とりわけメモリー又はデータリンクが容量的に認める内容とともに使用されても良く、例えば符号化されたＨＤＲデータは、例えば３Ｄアプリケーションのために既に規定されている二重画像符号化構造を有するシステム内に記憶され得る。

フォーマッタ（９０６）が、例えばＩｍ＿１をケーブルテレビ信号として、Ｉｍ＿２をオンデマンドでインターネット接続を介してなど、第１の画像（Ｉｍ＿１）及び第２の画像（Ｉｍ＿２）を別々の通信チャネル上で伝えるように構成される、画像符号化ユニット。

高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ−ｉｎ）を符号化するように構成される画像符号化ユニット（１０５１）であって、
−高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ−ｉｎ）、及び高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ−ｉｎ）のより高いダイナミックレンジ内に位置するより低いダイナミックレンジ内の輝度を符号化する第１の画像（Ｉｍ＿１＿ｉｎ）を受け取るための受信機（１０７５）と、
−第１の画像（Ｉｍ＿１＿ｉｎ）内に既に符号化されている輝度のどれ位の量まで再び冗長に符号化される必要があるのかを指定する最大冗長性（ＭＡＸＲＥＤ）を決定するように構成され、高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ−ｉｎ）のどの画素が第２の画像（Ｉｍ＿２）内に符号化される必要があるのかを最大冗長性（ＭＡＸＲＥＤ）に基づいて決定するように構成されるセレクター（１０３３）を含む、画像処理ユニット（１００３）と、
−第２の画像（Ｉｍ＿２）内に符号化される必要がある高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ＿ｉｎ）の画素の輝度を第２の画像（Ｉｍ＿２）内に符号化するように構成される第２のコードマッピングユニット（１００５）と、
−第１の画像及び第２の画像を高ダイナミックレンジ符号化Ｓ（Ｉｍ＿１，Ｉｍ＿２）として出力するように構成されるフォーマッタ（９０６）と
を含む、画像符号化ユニット（１０５１）。

Ｉｍ＿２がＩｍ＿１内に符号化される輝度範囲の外側の輝度のデータを含む、高ダイナミックレンジ符号化Ｓ（Ｉｍ＿１，Ｉｍ＿２）を復号するように構成される画像復号ユニット（６５１）であって、
−高ダイナミックレンジ符号化Ｓ（Ｉｍ＿１，Ｉｍ＿２）から第１の画像（Ｉｍ＿１）及び第２の画像（Ｉｍ＿２）を得るための受信機（６８８）と、
−復号ＨＤＲ出力画像（Ｉｍ＿ｄ）を得るために、第１の画像（Ｉｍ＿１）及び第２の画像（Ｉｍ＿２）のそれぞれの中に符号化される輝度に、第１の逆コードマッピングＴＭＩ１及び第２の逆コードマッピングＴＭＩ２のそれぞれを適用するように構成されるカラーマッピングユニット（６１２）であって、第２の逆コードマッピングＴＭＩ２は、第１の逆コードマッピングＴＭＩ１がマップする輝度範囲の外側にある復号ＨＤＲ出力画像（Ｉｍ＿ｄ）の輝度にマップする、カラーマッピングユニット（６１２）と
を含む、画像復号ユニット（６５１）。

受信機（６８８）が、高ダイナミックレンジ符号化Ｓ（Ｉｍ＿１，Ｉｍ＿２，ＭＥＴ）内に符号化されるメタデータ（ＭＥＴ）から、第１の逆コードマッピングＴＭＩ１又は第２の逆コードマッピングＴＭＩ２の情報を抽出するように構成される、画像復号ユニット（６５１）。

第２の逆コードマッピングＴＭＩ２を行う前に、Ｉｍ＿２内のデータに対して幾何学的変換を施すように構成される幾何学的マッピングユニット（６１１）を含む画像復号ユニット（６５１）。

カラーマッピングユニット（６１２）が、第１の画像（Ｉｍ＿１）及び第２の画像（Ｉｍ＿２）内に符号化される輝度データに対して更なるトーンマッピングを独立に施すように更に構成される、画像復号ユニット（６５１）。

高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ−ｉｎ）を符号化するための画像符号化法であって、
−より低いダイナミックレンジ（ＳＥＬＲ）を受け取るステップと、
−より低いダイナミックレンジ（ＳＥＬＲ）内の輝度を有する高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ−ｉｎ）の全ての画素を第１の画像（Ｉｍ＿１）内に符号化するステップと、
−第１の画像（Ｉｍ＿１）内に既に符号化されている輝度のどれ位の量まで再び冗長に符号化される必要があるのかを指定する、最大冗長性（ＭＡＸＲＥＤ）を受け取るステップと、
−高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ−ｉｎ）のどの画素が第２の画像（Ｉｍ＿２）内に符号化される必要があるのかを最大冗長性（ＭＡＸＲＥＤ）に基づいて決定するステップと、
−第２の画像（Ｉｍ＿２）内に符号化される必要がある高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ−ｉｎ）の画素の輝度を第２の画像（Ｉｍ＿２）内に符号化するステップと、
−第１の画像及び第２の画像を高ダイナミックレンジ符号化Ｓ（Ｉｍ＿１，Ｉｍ＿２）として出力するステップと
を含む、方法。

Ｉｍ＿２がＩｍ＿１内に符号化される輝度範囲の外側の輝度のデータを含む、高ダイナミックレンジ符号化Ｓ（Ｉｍ＿１，Ｉｍ＿２）を復号するための画像復号法であって、
−高ダイナミックレンジ符号化Ｓ（Ｉｍ＿１，Ｉｍ＿２）から第１の画像（Ｉｍ＿１）及び第２の画像（Ｉｍ＿２）を得るステップと、
−復号ＨＤＲ出力画像（Ｉｍ＿ｄ）を得るために、第１の画像（Ｉｍ＿１）及び第２の画像（Ｉｍ＿２）のそれぞれの中に符号化される輝度に、第１の逆コードマッピングＴＭＩ１及び第２の逆コードマッピングＴＭＩ２のそれぞれを適用するステップであって、第２の逆コードマッピングＴＭＩ２は、第１の逆コードマッピングＴＭＩ１がマップする輝度範囲の外側にある復号ＨＤＲ出力画像（Ｉｍ＿ｄ）の輝度にマップする、適用するステップと
を含む、方法。

高ダイナミックレンジ画像を符号化する画像構造であって、
−第１の画像（Ｉｍ＿１）内に符号化される高ダイナミックレンジ（Ｓｅｌ（Ｌ＿ｓｃ）＿ＨＤＲ）の優先的なより狭い部分範囲（Ｓｅｌ（Ｌ＿ｓｃ）＿ＬＤＲ）内の輝度のデータと、
−第２の画像（Ｉｍ＿２）内に符号化される高ダイナミックレンジ（Ｓｅｌ（Ｌ＿ｓｃ）＿ＨＤＲ）の優先的なより狭い部分範囲（Ｓｅｌ（Ｌ＿ｓｃ）＿ＬＤＲ）外の輝度のデータと
を含み、
−優先的なより狭い部分範囲（Ｓｅｌ（Ｌ＿ｓｃ）＿ＬＤＲ）が、Ｉｍ＿１内に符号化されるデータを参照低ダイナミックレンジディスプレイ上にレンダリングする品質の品質基準（Ｑｃｒｉｔ）に従い、参照低ダイナミックレンジディスプレイ上に第１の画像（Ｉｍ＿１）を良好にレンダリングできるようにするために好ましくは選択される、
画像構造。

優先的なより狭い部分範囲（Ｓｅｌ（Ｌ＿ｓｃ）＿ＬＤＲ）は、典型的には例えばデジタルマスタグレーディングからＤＶＤ又はＢＤバージョンを作成するときにグレーダによって最適に選択されるものとすることができるが、自動で例えばトランスコーダにより、例えばコード化の効率対視覚的な品質及び影響など、純粋に技術的な基準に基づいて決定されても良い。何れにせよ、優先的なより狭い部分範囲（Ｓｅｌ（Ｌ＿ｓｃ）＿ＬＤＲ）は輝度範囲を決定する数字であり、その後、例えば１つ又は複数のＢＤ上に書き込まれ若しくは通信チャネル上で送られる符号化構造を実現する以下の方法の更なる部分によって使用される。

提示される改変形態の何れかによる画像の符号化を含むデータキャリア。

記載の方法の何れかを演算装置が実行することを可能にするコード手段を含むコンピュータプログラム製品。

以下に記載する実施形態の多くの更なる改変形態も当然可能であり、当業者は、それらが例えばその部分的機能を様々な瞬間に又は互いの後で何度か等適用し、世界の様々な幾何学的領域における様々な装置で実現されても良いことを理解する。

本発明による方法及び装置のこれらの及び他の態様が、以下に記載する実装形態及び実施形態から明らかになり、かかる実装形態及び実施形態並びに添付図面に関して明瞭にされ、その添付図面はより全体的な概念を例示する非限定的な具体的説明図としての役割を果たすに過ぎず、図面内ではコンポーネントが任意選択的であることを示すために破線が使われ、破線が使われていないコンポーネントは必ずしも必須ではない。破線は、必須であると説明される要素が物体の内部に隠れていることを示すために、又は例えば物体／領域の選択（及びそれらがディスプレイ上でどのように表示され得るのか）などの無形の物のために使われても良い。

問題の一部を明らかにし、以下の実施形態がどのようにその問題に対処するのかを明らかにするために、高ダイナミックレンジの輝度を有するシーンを概略的に示す。 そのシーン内の輝度のヒストグラムを概略的に示す。 本発明の実施形態が、どのようにシーンの様々な部分を様々な符号化画像に割り当てることができるのかを概略的に示す。 異なる符号化画像のシーン輝度とコードとの間のトーンマッピングを概略的に示す。 例えばカラーグレーダによって操作されても良い符号化側システムを概略的に示す。 例えば消費者のテレビシステムとすることができる復号側システムを概略的に示す。 受信側システムが以下の実施形態の符号化信号のコードを、高ダイナミックレンジ復号画像の範囲にどのようにマップするのかを概略的に示す。 以下の符号化原理を可能にする情報を伝えるために、信号及びそのデータ構造がどのようにフォーマットされ得るのかを概略的に示す。 あり得る符号化ユニットのより詳細な内部構造を概略的に示す。 あり得る別の符号化ユニットのより詳細な内部構造を概略的に示す。

光信号（即ちカメラに流れ込む情報）を見る場合、それらの信号の様々な特性をどのように測定し表現するのかについて様々な規則が定められ得る。時間的サンプリングに関し、慣性の法則は、動く人などの動的に展開する身体を適度にモデル化するには十分な瞬間の数にわたる等距離サンプリングが十分であることを通常含意する。空間的サンプリングは全く違った性質である。継続的により優れて分布するサンプルを使用しても良いことを物質のフラクタル性が含意する（例えば山を有するシーンを遠くから捕捉することは山を与え、この山は、より詳しく見るとき葉などの植生構造のための中間画素を必要とし、その上には興味がある詳細等とともに重ね合わせられる更に優れた構造がある）。しかし、そのようなシーンは相変らず「階層環境」内にグループ化することができる。例えば山の上に立っている人がおり、そのスケールでその環境を捕捉することができる。その人物強調環境では、その人たちの顔の全てのしわの（不）所望の表現を得るためにどの程度の空間的詳細が必要かを依然として議論できるが、適度の空間分解能でさえ人がいること、彼らが何をしているのか、彼らがどんな気分なのか等を既に認識することができる（明らかに、適切な捕捉距離から、これは通常ＰＡＬなどの低分解能信号によって忠実に行うことができる）。何れにせよ、４Ｋ更には８Ｋ分解能への傾向があるようである。

１組のあり得る値をもたらす等距離サンプリングの同様のパラダイムが、捕捉済みの輝度（又は色）値に（二次元関数の数学的記述は関数のｘ軸をｙ軸と一切異なるように扱わないので）適用され、つまりそれらは通常或る範囲内のどこかに含まれる（例えばＥＶ１６値は、完全に日なたにある白い物体を表す）。しかし、必要な何らかの最大値を定めることにより、原則的にその範囲をいかようにも大きくすることができる。その最大値（通常「ホワイト」として解釈される）から、（最も低いコード０未満の全てのものの黒レベルも決定する）事前に望まれる精度とともにより低い値を（線形に又は非線形に）表すだけで良い。

このパラダイムは全てに広く行きわたっている。このパラダイムは、カメラが（そのセンサー機能から実際的な最大ホワイトレベルを定めるならば）どのように機能するのか、光空間及び色空間がどのように定められるのか（例えばテレビのＲＧＢ空間は一定のホワイトから下方に定められる）、及びＳＮＲスケーラブル符号化がどのように構築されるのかでもある。画素の輝度値を近似する場合、後者は、通常既に適度に十分だと述べ、（例えばバンディングなどのアーティファクトが生じることを理由に）情報が依然として不十分であると見なされる場合、値の一部をより高い精度に微調整することができ、この微調整は量子化されたレベルのフラクション（fraction）を符号化するビットを追加することによって行うことができる（即ちマイクロテクスチャ画像を符号化する）。

しかし、ＨＤＲシーンとともに現れる新たな１つの問題が既に認識され、その問題とはつまり、何がホワイト基準なのかである。古典的なＬＤＲ画像化ではこのホワイト基準が容易に設定され、例えば約８：１の明暗調節による光でテレビスタジオを照らし、９０％の反射光を有する白い物体を使用し、スタジオの物体の全ての画素色／輝度の見事な分布をもたらす。しかし、ＨＤＲ画像化では、スタジオ内のホワイトなどの関連ホワイトである第１のホワイト、窓から見える屋外の副環境及びあり得る更に（ずっと）明るい物体の第２のホワイトがある可能性がある。最も明るいホワイトを選択することは実用的でない（とりわけ輝度のために８ビットなどの限られたワード長又は限られたレンダリング能力を有する場合、関連する物体の多くは拙劣にレンダリングされる）。しかし、中間レベルのホワイトを選択することも、２つの疑問、つまりそのホワイトレベルをどこで選択するのか、及び再現不可能なより高輝度の物体の輝度の影響は何かという疑問が生じるので難しい。このことは、よく考えられた照度を使用することにより似通った性質になるように常に構築されていた良く調整されたＬＤＲシーンでは問題ではなかったように思われるが、自然の中で生じるＨＤＲシーンの多くに事例に依存する問題を引き起こす。

しかし、シーンの色をコード化する別の優れた特性があるようであり、これは（山の上の人々の動作を画像化する場合に山又は表情について全てを見る必要がないように）上記の空間的な階層環境と幾分似ており、つまり色／輝度値の方向に「表現フォーカス部分範囲」を定めることができる（注意：空間的構造と対比し、環境の総明度範囲は通常はるかに小さいが、現在の画像化技術に比べ依然として大きく、そのためスマートな処理が望ましい）。原則として、そのように再構築され、これがカメラを（自動）露出しそこから（デジタル）信号を得るときに行わなければならないことだが、それらのシステムはその際生じる問題を明解に処理しなかった。

図１の例示的ＨＤＲシーンを用いてこの概念を更に解説する。図１には、食料製品のコマーシャル用の台所環境が示されている。一見したところ、台所内の殆どの物体に及ぶ「好ましい」画素輝度に対応する主要空間領域（領域１０１）がある。このことは、領域１０１を、表現に的を絞るための興味深い輝度の部分範囲にする。図１の部分範囲の画素輝度Ｌ＿ｓｃのカウントｎ（Ｌ＿ｓｃ）のヒストグラムを概略的に示す（即ち、全領域のカウント／高さが同様の高さに正規化される）図２では、この領域は典型的には中間輝度を有しても良い主たる極大部分２０１に対応する（注意：混同がないので画像の画素輝度対シーン内の物体の点に由来する輝度について置換可能に語る場合がある。デジタル的に表現される画像の画素輝度は大文字のＹで示される。）ＨＤＲシーン内には、例えば幾つかのプラクティカルしか有さない照明により、主たる極大部分２０１の最も暗い画素よりも暗く、特定の画像の符号化内で（少なくとも忠実に）表現できる内容よりもしばしば暗い暗領域（１０２、２０２）もあり得る（即ちこれらの画素は、典型的にはカメラの制限により非常にノイズの多い色値を有する場合があり、最も低い輝度コード、例えば０、１、及び２のうちの幾つかにしか位置しないことがある）。領域の一例は、暗い極大部分２０２に対応する影の領域１０２である。しかし、この領域は通常それ程関心をもたれず、即ちはっきり分かるように又は高品質でレンダリングされる必要がある重要な物体はそこにはない。窓の外の領域（明るい極大部分２０３に対応する高輝度領域１０３）など、より高輝度の領域があっても良い。かかる高輝度領域は、低輝度領域と特徴面で異なる。第１に、高輝度領域も特段関心のある物体を一切含まないことがあるが、可能な限りリアルにレンダリングすることが依然として望ましい場合がある。第２に、これらのより高輝度の領域は、まさにより明るいディスプレイがレンダリングの違いを生じさせることができる領域である（５００ニットディスプレイに比べ、５０００ニットではピクチャ内の太陽と光を鈍くではなくあたかも描かれた物体の色のように生き生きと表示することができる）。ＨＤＲディスプレイは、より暗い色をレンダリングすることもできるが、一部のより明るい視聴環境内では、そうすることはリアルにレンダリングする第１の焦点ではない場合があり、それはそれらのシナリオにおいてそれらの色がＬＤＲディスプレイとそれ程変わらない可能性があるからである（とはいえ新たな暗い映画視聴条件下では、例えばそうしたスクリーンが小さな映画館又は同様の環境内に置かれる場合、それらの色は変わる）。最後に、光源１０５（光の極大部分２０５）など、輝度が正確にコード化され又は表現される必要のない非常に明るい領域があり得る。但しこの光は明るく、好ましくは画像の他の全ての物体よりも明るくレンダリングされることが望ましい（そのため好ましくはこの光もより高い輝度値で符号化されるが、受信側が光源の画素を他の画像領域とは異なる光源の画素としてどのように解釈するのか、及びそれらの画素をどのように処理するのか、例えば最終的にそれらの画素をレンダリングするのかを分かっている限り、かかる符号化は決して必須ではない）。これらのヒストグラムは原則として概念的であることに留意されたい。これらのヒストグラムは幾つかの方法で抽出されても良く、例えばモルフォロジ演算が使用されても良い。例えば窓の外のシーンの部分では、殆どの画素が非常に明るいが、幾分低い輝度の、ことによるとより暗い（例えば主要）領域内の一部の画素よりも更に低い輝度の幾らかの画素がある場合がある。その場合、例えば隔離された小さい黒い島を有する主に白い領域を２進表現でもたらす閾値処理を行い、次いでそれらの島をホワイト値で置換する（即ち純粋に大域的なヒストグラム演算ではなく、部分的に局所化された演算によりそれらを明領域に加える）ことによってヒストグラムの極大部分が作図され得る。

したがって、本発明者らはこの画像内で、あらゆる画像において見られるようなより関心の高い物体の領域、及びより関心の低い物体の領域があることを見て取る。しかし、画像化システムの機能（コード化又は処理の複雑さ、可用メモリー、レンダリング品質、サーバ−クライアント間のビジネスモデル等）にもよるが、特定の技術又は応用例にとって所望の通りにこれらの全ての領域を多かれ少なかれリアルに表現したい場合がある。通常、領域１０１の好ましい輝度の背後には更なる技術的論拠もある。この例では、コマーシャルが制作される対象は物体１１１（物体の極大部分２１１）辺りの領域である。写真構成では、「最も優勢な物体」の役割は良く知られている。映像又は映画制作では、概してこの物体は（ライトスポット１１２により）好ましい方法で照らされ、物体の周囲にも一般に同じことが当てはまる。即ち撮影監督（ＤＯＰ）又は同様の創造的機能は、関心のあるものが何なのかをシーン内で明確に選択しており、それを指示することができる（その場のカメラワークでさえ、カメラマンの単なる動作が関心領域を決定する）。更に、最終的に望むのは、この物体１１１及び領域１０１が最適にレンダリングされること、即ちそれらが例えばテレビなどの特定のディスプレイ上でレンダリング可能な輝度のより明るい半分にマップされることである。このようにして製品は目立ち、注目を集め、美しくなる。

実際には、古典的な画像化システムでは、新たに設計される（更なる汎用性、例えば現場からのオンザフライのレポートを可能にする）ＨＤＲ画像化チェーン内で必ずしも絶対に保たれる必要のない条件である、これらの２つの条件（照明＋捕捉対レンダリング）が密に結び付けられている。現在、カメラマンは既に最終的にレンダリングするテレビ（／ディスプレイ）の色空間に密に結び付けられている色空間（例えばＭＰＥＧ２のＲＧＢや関連するＹＣｒＣｂ又はＭＰＥＧ４〜１０）内で作業し、そのカメラオペレータ又は他のクリエイティブな人は典型的には自らの信号をカメラ側の参照画像モニター上で見て、参照テレビ色空間信号モニター上などでその信号を検討することもできる。つまりカメラマン（又はＤＯＰ等）は、捕捉されるために物体１１１が例えば１８％グレイの一ストップ上で照らされていることを確実にさえすれば良く、その結果、その物体は視聴者／受信者側のディスプレイ上でとても近似的にレンダリングされる。テレビカメラのガンマ曲線などの幾らかの非線形曲線が関与し得るが、これは最終的には２つの色空間（シーンの色空間とレンダリングの色空間）の間の、密で比較的融通の利かない線形の１対１の関係であることを理解すべきである。再較正を目指す技術でさえ、この密な関係を確実にする単一の変換によって通常それを行う（例えば、ＬＣＤの色の詳細を、ＥＢＵ蛍光体原色を有する標準的な参照ＣＲＴに最大限従わせるカラーマトリックスマッピング）。

この単純なシステムの良い特性は保ちたいが（例えもはや現行の慣習との互換性のためであろうと）、少なくともこのシステムが低い満足度で機能するシナリオ、即ちＨＤＲ画像化について、この厳格な条件を幾分緩和する技術が望ましい。

そのため、ＨＤＲシーンについて一般的に言えることは、ＨＤＲシーンが通常主たる輝度（主たる極大部分２０１）の主要領域１０１を含むということである。多くの異なるディスプレイの種類があるこの時代において、この最も重要な画像領域は、（高品質のＨＤＲ、標準的なＬＤＲ８ビットテレビから低品質の（ＳｕｂＬＤＲ）日なたの携帯型ディスプレイまで）多くのディスプレイ上で最も優れて表現可能な領域であるべきである。画像の物体は様々なレンダリング状況下で異なる品質でレンダリング可能だが、レンダリングは（例えば映像解析を行う必要があるディスプレイシステムにより）どんな闇雲な方法でも良い品質で（リアルに）行える程些細なことではない。レンダリングは、より優れた方法で、又は様々な重要なレンダリングシナリオの下で画像を醜く見せる方法で行うことができ、例えばＨＤＲ画像がＬＤＲディスプレイ上で漫画のように見える場合がある。

主要領域／輝度範囲は、カメラマンが古典的なＬＤＲ画像化において重点的に取り組むものであり、そのため、残りの画像化チェーンの中で主要領域／輝度範囲に重点的に取り組み続け、任意のＨＤＲ画像化プロセス／チェーンでもそれを特別に扱うことは意味をなす。最初に、古典的な画像化においてこの主要領域を処理するために何が行われるのかを分析的且つ言い換え的に簡潔に説明する（この場合、主要領域は符号化画像の（ほぼ）全体であり得る）。ヒストグラムの主たる極大部分２０１が大きすぎるダイナミックレンジ（極大部分２０１内の最大輝度割る最小輝度）を有さないように、照明クルーが典型的には台所のシーンを照らす。とりわけ、最終的な出力が低品質の印刷などの低ダイナミックレンジの媒体である場合、それを早い段階で考慮に入れることが有益であり得る。更に、実際のシーンを捕捉する場合、普通に照らされている殆どの部屋は、現在のハイエンドテレビシナリオ向けの、過剰な量の物体画素輝度のバリエーションをシーン内に有さない。但し例えば車の中からなど、二重の輝度の部分範囲を有するシーンにはこれは当てはまらず、その場合は重大な選択がなされなければならない。自然物体の反射率は０．５％から９９％の間に及ぶが、実際には４〜９０％がより現実的な値である（時として見せかけの白い衣類がテレビ番組で着られたことさえある）。即ち、完全に均等な照度を得るには、画像のコントラスト比が約２５：１に等しくなる。これは、（当然画面に太陽が反射していない場合）通常のテレビシステムがレンダリングできるべきものでもある。典型的には、シーンの関連部分にわたる光変調は１０：１未満とするべきである（例えば主要な照明部分及び補助光部分の２：１の変調で顔が照らされても良い）。即ち、シーンのその部分をコード化するには、例えコード化が線形（即ちシーンの輝度と［０，２５５］の画像コード値との間の線形マッピング）でも２５５のコード値はむしろ満足のいくものであるように思われる。

計算をより十分に理解するために、幾つかのあり得る線形マッピングを提示することにより可能な事を思い出す。

Ａ）黒から開始し上方へ：
線形輝度コーディングを定めるこの方法は、単一体の刻み（unity step）の定義から測定尺度を指定することに密接に従うので自然に思われる（１００度を超える温度を測定できる必要が明らかにない摂氏温度計と比較することができる）。この線形シーン輝度区域の「論理的」境界を、例えばＬｗ＝９００の値をもたらす、最大ホワイト反射率（９０％）掛ける１０（任意単位）に等しい最大（可能）照度として定めることができ、最小値はアナログ数字４％^＊１（１は、１０：１の変調の最低照度である）又は４として表されても良い（実際には、例えばＣＣＤ画素の完全なウェル容量、及び例えばノイズを考慮に入れた最低レベルが必要な変更を加えてこれらの境界に使用されても良い）。そのためこれらが、（妥当な精度で）符号化できるべきものの境界である。コード値ゼロ辺りで興味深い問題があるが、アナログの恐らく可能な限り黒い黒（Ｌｂｋ＝４）を０＋ｄｂのデジタル出力値Ｙ＿ｏｕｔ＿ｌｉｎ（ｄｂは黒オフセット）にマップすることができる。単純にｄｂ＝１を取ることは意味をなす。次いで、２倍の輝度８が２倍のデジタル値２にマップし、全体的なシーン輝度Ｌ＿ｓｃが公式Ｙ＿ｏｕｔ＿ｌｉｎ＝Ｑ［ｓｃａｌｅ^＊（Ｌ＿ｓｃ／Ｌｂｋ）］によってマップし、式中、ｓｃａｌｅ＝１、Ｌｂｋ＝４、及びＱは量子化演算子又は例えば最も近い整数値への丸め演算子である。

このマッピングは、（関連）暗領域の最小限のリジェクションがあるという特性を有する。当然ながら、理論的最小値４よりも暗い領域がシーン内にはあり得るが、それらの領域はＱ演算子によって１又は０にマップされる。しばしばこれらの領域はカメラによって不十分に捕捉され、又はどのみちディスプレイ（若しくは印刷等）によって拙劣にレンダリングされ得る可能性がある。９００の理論的最大値のマッピングを上回る可能なコード化のために、例えば８ビット範囲上に依然として幾つかのＹ＿ｏｕｔ＿ｌｉｎ値が更に残っている（９００／４は２５５未満である）が、シーンの非常に明るい全ての値は、このコントラストスケール因子を所与として、概して２５５の値付近でクリップされるか、又は少なくとも強くソフトクリップされる（しかし「非常に明るい」領域を識別するのにそのコードが十分であると見なす場合、それは問題になるに及ばない）。

このマッピングのもう１つの特性は、（黒レベルを１にする）このコード化のためのスケールが、最小の黒Ｌｂｋに等しいコード値の変化ごとの画素輝度差の刻みを与えることであり、Ｌｂｋは最大輝度をホワイトにほぼ等しくすることによって（Ｙ＿ｏｕｔ＿ｌｉｎ＝２５５）決定されている。より厳密には、黒から開始し、スケール＝１の線形コードが、全てのものを所望の最大ホワイトレベルまで符号化するのに必要な最大ビット量を定める。ワード長を８ビットに固定する場合、シーン内の総コントラストが２５５：１未満の場合はこれが機能し、これは９００：４についても成立し、さもなければスケール因子が調節される必要があり、この調節は黒を変えること（即ち新たな黒の下をクリップすることに対応する、全範囲に沿って精度を失うこと）により最も容易に行われ得る。これがコードの自然の線形コントラスト範囲である。かかる手法は、一部の領域が不十分に表示される問題を有し得るのに対し、より明るい領域の近くではそのような小さい刻みは必要とされないが、必要な時はいつでも範囲に沿ってコードを再分配する非線形トーンマッピング曲線によってこれを解決しようと試みる場合がある（例えばガンマ関数やシグモイド関数等）。

しかし、より暗い輝度を正確にコード化することを重視する場合、黒レベルを固定したままにすることもできる。実際に、（デジタルユニットの変化に対応する、上記の例ではＤ＿Ｌ＿ｓｃ＝４である、Ｄ＿Ｌ＿ｓｃを決定するアナログ値を使用可能な［１，２５５］にわたって分配するために）黒から始まるスケールされたデジタル刻み（精度）があり、又はユニットの変化についてアナログ輝度刻み、例えばＤ＿Ｌ＿ｓｃ＝３を指定し（以下のホワイトシナリオを参照）、ホワイトから下方に始まり一定の黒で終わる。人は画像を明るく見たく、即ち殆どの情報はよく照らされた領域内にあり、何れにせよ黒は大して見えないためそれらのより低い領域内のコーディング誤りはより許容されるので、後者のホワイト固定戦略が通常より興味深く、そのため好ましい手法である。刻み幅の指針として、それらを理論上のＪＮＤに基づかせ、複雑に変化する画像データ内では大体の場合刻みはどのみちあまり見えない（少なくとも単純な階調度の画像を注意深く調べるとき程明瞭ではない）ことを考慮し、実際的なはるかに大きい値を取るか、又は何らかの実用的な刻み値を取り、（十分であろうとなかろうと）どんな視覚品質の結果でもそれを選ぶことができる。ＬＤＲ画像化のようにシーンが単純な場合、実際に（例えば少なくとも幾らかの光輝部の符号化を可能にするために反射ホワイトを幾分上回る）適度なホワイトから開始し、通常十分過ぎるより暗いコードに終わる場所を見ることができる。しかしＨＤＲ画像化では、適切に符号化される必要があるこれらのより暗い領域が（ことによると所与の視聴環境内での暗いテクスチャの優れた区別とともにこれらの領域をレンダリングできるようにするためにこれらの領域を明るくする色変換の後に）少なくとも一部のシステム上でレンダリングされる必要があり得るので、これらのより暗い領域内にも非常に重要な情報があり得る。

これは、（例えば８ビット）システムが、ホワイト及び黒、又はそうではなくホワイト及びスケールによって決定されると述べることによって要約することができる。ホワイト及び黒によって定められる場合、黒をオフセットと見なし、２５５の値を［１，２５５］にわたって等距離で分配することができる。

すると、シーンの輝度と線形コードとの間の関係は以下の通りになる（単純な直接線形モデルを依然として使用する、シーンからコード化される必要があるもの）。
Ｌ＿ｓｃ＝Ｌｂｋ＋（Ｙ＿ｏｕｔ＿ｌｉｎ−１）^＊（Ｌｗ−Ｌｂｋ）／２５４、又は
Ｙ＿ｏｕｔ＿ｌｉｎ＝２５４^＊（Ｌ＿ｓｃ−Ｌｂｋ）／（Ｌｗ−Ｌｂｋ）＋１

そのため、この観点から考えると、以下の幾つかのことを行うことができる。
１）最小の黒及びスケール（例えばシーンの黒と同じ値又はそれ未満、例えばその黒の２％）を定め、（この場合は黒ベースの単位刻みを使用して）所要のホワイトレベルまでコード化するための、所要のビット又はワード長の最大量を見出す。しかしワード長を固定する場合、望ましくあるには低過ぎる最大符号化可能レベルを上回るホワイトがクリップされることになり得る（即ちあまりに多くの高輝度領域が拙劣に符号化され、例えばこれは典型的には屋外領域が完全にホワイトにクリップされる場合に見ることができ、一部の低品質の事例ではこれは画像の半分を占める場合があり、ＨＤＲディスプレイ上で非常に良くはレンダリングしない）。これを「精度優先」と呼ぶことができる。通常、以下のホワイトシナリオにおいて見られるように黒を代わりに犠牲にする。何れにせよ、このシナリオはＬＤＲ画像化においてよく起こることであり、つまり平均グレイレベル及び顔の周りで優れた精度を望み、（選択された最適な又は最適でない照度にも依存する（例えばとりわけＨＤＲシナリオでは、より暗く不完全に照らされた領域内の顔の中に十分なコード値を相変わらず有する基準を使用することができる）、かかる部分範囲に対するコード化を固定することにより）一定の黒未満及び一定のホワイト超をクリップする（それらの輝度にコード値を割り当てないことにより、それらの輝度を完全に無視する）。
２）最小の黒及びホワイトを定める。この「範囲優先」シナリオは、少なくとも所望の全ての値を外部クリッピングなしにコード化することができるので、とりわけその全輝度範囲に沿って重要な物体を実際に有する極めて重要なＨＤＲシーン（例えば明るい太陽に照らされたステンドグラスの窓対教会内部の暗い角）にとってより理にかなっている。しかし精度が著しく低くなる場合があり、かなりの元のダイナミックレンジを有するシーンをレンダリングする際にこれは問題であり得る。例えばそのようなコード化画像は漫画のように見える場合があり、又は他の品質アーティファクトを有することがある。

当然ながら、ホワイト、黒、及び精度を固定しても良いが、その場合必要とされるビット量がこれらに依存する変数になり、例えば標準化されたテレビ信号の鮮明度などのように固定されたメモリー量が割り当てられる場合、多くの応用例で人は（例え８、１０、１２ビットなど幾つかのワード長から選択することができても）ワード長を固定したいのでこれはそれ程手頃ではない。精度が更に高くても、間違ったコントラストでコード化された画像は相変らず漫画のように見え得ることに留意されたい。

出され得るもう１つの結論は、黒から始めることはマッピングを定義する最も有用な方法ではなく、そのため本発明者らは例によってホワイトから始めて（但し同じ数学的結果をもたらす）上記を再考する。

実際的な８ビットの符号化では、処理中のオーバフローなどの他の理由から両側に幾らかのコードを更に確保するが、数学的挙動が本明細書で説明されるものと原則的に似ているので、オフセットされるその再スケーリングは現在は無視されても良いことに留意されたい。

やはり興味深い問題は、所与のスケール／精度に関するこれらの線形刻みが、レンダリングされるときにどのような視覚効果を有するのかである。とりわけ、それらは単に例えば（輝度９００ポイントに関する実際に測定されるシーン輝度に対応してもしなくても良いが、２５５の刻みが比較的認識できない視覚的差異をもたらし得る）１００ニットディスプレイ上に表示されても良いだけでなく、この符号化信号は例えば５００ニット又は５０００ニットディスプレイに直接適用されても良く、その場合（刻みはディスプレイのホワイトで重み付けされるので）レンダリングされる刻みは更に離れ、従って多くの場合（周囲の照度にもよるが）より暗い領域内で（例えば階調のバンディングのように）より顕著である。

これを部分的に軽減するために、実際の符号化はガンマ０．４５又は人間の視覚系のＪＮＤ感知性に大部分従う同様の非線形マッピングを用いてＹ値を取得し、ディスプレイの出力輝度を得るためにこのマッピングが逆にされる（ＣＲＴはその電子銃及び他の要素の物理的性質によってこれを行った）。

上記の簡潔に説明された線形マッピングのようにかかる画像化チェーンを粗く数学的に同様に働くものとして解釈することができるので、その中間の非線形性を相変らず無視することができる（コードは、使用可能なコーディングスケール上の実画像の好ましい異なるグレーディングとして単に解釈可能な、上の範囲内で単に異なるように再割り当てされたものとして考えることができ、言い換えれば、そのような単純な連続的関数変換を可変剛性のスプリングとして見なすことができるが、それをホワイトにおいて固定されたままにする場合、依然として例えば黒をどこかにプッシュする必要がある）。

確かに非線形性（とりわけ丁度可知差異効果を最小限に抑えようとするもの）を使用することは、異なる方法でコードを割り当てることにより、より大きい範囲Ｌｗ−Ｌｂｋを符号化できるようにする。例えば、より明るい範囲に対してコードをより疎らに割り当てることができ、それにより、より高いホワイトＬｗ^＊まで符号化できるようになる。

例えば、コードがＬ＿ｓｃの平方根を符号化する場合、関数を例えば
Ｌ＿ｓｃ＝Ｌｂｋ＋ａｌｐｈａ^＊（Ｙ＿ｏｕｔ＿ｌｉｎ−１）^＊（Ｙ＿ｏｕｔ＿ｌｉｎ−１）、及び
Ｌｗ＝Ｌｂｋ＋ａｌｐｈａ^＊２５４^＊２５４
として定めることができる。

Ｌｗ＝９００及びＬｂｋ＝４、即ち８９６／２５４の線形事例のように、Ｙ＿ｏｕｔ＿ｌｉｎ＝１の黒と次のグレイ（ルーマコード値Ｙ＝２）との間で同じ輝度刻みを取る場合、上記の符号化公式はＬｗ＝２２７５８８のホワイトまで上昇することができる。より現実的には、これは通常アルファスケールを変更し、より暗い領域により小さい刻みを割り当てること（又は以下の固定ホワイトシナリオのように単にホワイトから開始し、マッピング関数を所与として最後に行き着く何らかの黒で見ること）を意味する。例えば値２５５でＬｗを体系化する８ビットコードに２ビット（１０ビットルーマコード）加えるとき、どの追加の明領域輝度範囲利得を有することができるのかを知るためにこの計算を使用しても良い。何れにせよ、そのような符号化戦略は、依然として精度と範囲との間の判断を下す必要がある。つまり、輝度範囲の一方における小さい刻みは、反対側（通常ホワイト）のより大きい刻みを犠牲にして得られ、これを（特定のシーンを符号化する際に最適に望み得るものに必ずしも従わない特定の剛性分布を有するスプリングである）どちらかと言えば固定されたガンマ変換によって定められる方法で行う。そのため、シーン内の例えば５０００ニットまでの明るい光を符号化したい場合、例えば８ビット又は７ビットのコードがあまりに多くの精度を失う恐れがあり、即ち範囲内の少なくともどこかで問題があると見なされる誤りがある可能性がある（しかし他のシーンでは許容できる場合もある）。チェーン内のどこかで更なる処理、例えばテレビにおける例えば輝度又はコントラストの（局所的）調節が行われる場合、このバンディングはより極端になり得る。更にコンテンツ制作者は、自身の（元の又はコピー）信号を、或る最適の又は最適でない非線形マッピングを用いて例えば８ビットワード内に詰め込もうとするよりも、より忠実に符号化したい場合がある。

Ｂ）ホワイトから開始し下方へ：
「ホワイト」の割り当て、即ち９００を２５５（又は少なくとも何らかの高値）にマップすることから始めても良い。これは、ディスプレイ用コーディングが見られる通常の方法である。次いで、差Ｄ＿Ｌ＿ｓｃ＝例えば３（又は最大（ホワイト）の倍数因子３／９００パーセンテージ）を決定し、コード１以下の一定の黒に行き着くまでこれを減算し続けることができる。当然ながらこの差は、極大部分２０１のコントラスト比、即ち生じている黒レベルを考慮に入れることによりやはりスマートに選択されることが好ましい。

ここでも、コードビットの数を固定する場合、スケールはどの黒が依然としてコード化可能かを固定し、或いは黒が精度を固定し、選択される関数に従ってコード化可能な総範囲の周りに異なるように分配されるだけで線形の事例と同様に非線形関数にもそれは当てはまる。そのため、（例えばコンテンツ制作者として又は何らかの画像通信規格内で固定される、間違ったガンマを選択しないと仮定し）生じているシーンの輝度にコード値を割り当てるかなりの自由度があり得るが、（２．２ガンマなど、符号化を定めるガンマなどによる）限られた連続関数的割当は依然としてシーン、とりわけ極めて複雑な（即ち極めて異なるように照らされた幾つかの領域内に多くの反射値を有するテクスチャを有する）ＨＤＲシーンを最適に符号化しない。

ＤＯＰが、かなり暗い黒を有するシーンを作成し又は見つけることを選択できることに留意しておくことが重要であり、従って（例え同じホワイトレベルを所与としても）例えば暗黒映画の撮影において極大部分２０１のコントラスト比は２５５：１を優に上回る。簡潔にするために上記では専らカメラ側（又はそこからの符号化）に目下関心を向けたが、以下に見られるように、同じマッピングの問題がレンダリング側でもやはり生じ、即ちこの２５５：１の設定でさえ一部のレンダラーにとって大変な難題であり得ることに留意されたい。

しかし、例えばコントラスト比が１０００：１であり、マッピングが４倍粗いスケーリング（ｓｃａｌｅ＝４）でビットを割り当てる場合、関心のある物体１１１を記述するデジタルコードが幾つかしかない恐れがある。即ち、かかる考慮事項間のトレードオフが必要である。

画像化チェーンの全体を通してシーン輝度のマッピングがどれ位正確に処理されるのかは、使用される画像化システム、画像化の種類（写真、テレビ制作、映画制作．．．）等に依存する。

しかし、典型的には以下のことを行うことができる。例えばカメラＩＣが１２又は１４ビットセンサーを有する場合（ノイズが不快になるレベルも通常その数の中に組み入れるべきである）、カメラＩＣ自体が１０００：１以上の線形シーン輝度比を処理することができる。カメラの（自動）露出設定（スチール写真では絞り及びシャッター時間）を用いて、シフティングにより、最も優勢なシーン輝度範囲Ｓｅｌ（Ｌ＿ｓｃ）＿ＬＤＲを選択することができ、このＳｅｌ（Ｌ＿ｓｃ）＿ＬＤＲは、（例えばシグモイドマッピングを用いて線形カメラ信号をマッピングすることにより）ＬＤＲ（８ビット）符号化を得るための開始点を慣例的に形成する。カメラの露出を変えるだけで高ダイナミックレンジ信号を既に作成できるが、その場合それらの信号は時間的な高ダイナミックレンジを有する（即ちそれはレンダリングのためだが、符号化目的ではそれらの画像のそれぞれは、それらの画像を最適に符号化する場合、より低いダイナミックレンジを有しても良く、更により大きい共通範囲に沿った可変位置においてそれらを符号化することに決めても良い）が、実際のシーン内／ピクチャ内のダイナミックレンジの画像化は、例えばより短い及びより長い露出時間で（ほぼ）同時に露出するカメラ、異なる感度のインタレースされたカメラ画素行列を有するカメラ、又は様々な共同画像化サブセンサーを有するカメラ等によって現在行われていることに留意されたい。次に、シーンの物体を理想的に表現するには、範囲Ｓｅｌを含むこの優勢情報が、概して主たる極大部分２０１の殆ど又は全てを範囲に含む（即ちことによると限られた精度で符号化する）（完全に範囲に含むことが達成不能な場合はことによると最も暗い部分は別にして、及び２０２などの更に暗い極大部分は含まない）が、典型的には更に多く、例えば高い極大部分２０３の一部も範囲に含む（但しこの部分は、ホワイト付近のＲＧＢのような色域の尖った形状のみが原因で殆どホワイトにクリップされる）。例えば極大部分２０５も当然実際に捕捉されるが、最大値２５５への誤ったクリップとして捕捉される（極大部分２０５の光は、現実に比べ歪んだものにせよ出力信号をもたらす画素センサーに当たる）ので、この範囲Ｓｅｌは象徴的に描かれていることに留意されたい。即ち、Ｓｅｌは範囲内の輝度が画像センサーによって比較的忠実に（センサーによって線形に、及び画像コードによって疑似線形に）捕捉されていることを大まかに示す。

今度は典型的にはカメラ又はカメラオペレータが、このより高いビット範囲（例えば１４ビット線形）を８ビット信号にマップして画素輝度Ｙ＿ＬＤＲを有するＬＤＲ画像Ｉｍ＿ＬＤＲを得るために、非線形カメラ曲線を（トーンマッピングＴＭ＿Ｃａｍとして）適用する（静止カメラでは通常自動、専門的なビデオカメラでは限られた選択による）。これが古典的なＬＤＲ画像化が行う全てである。例えば典型的にはシグモイド曲線（又は黒クリップの場合は大よそのシグモイド）が適用されても良く、内側の領域は幾分コントラストストレッチされていても良く（しかし比較的多くの値によって何れにせよサンプリングされ）、外側の領域はシグモイド曲線の水平に傾斜する部分によってソフトクリップされる（即ち黒／ホワイトの様々なレベル上に依然として幾らかの情報があるが、それらは全てＬＤＲディスプレイ上で（ほぼ）同じ白っぽいパステルカラーのように見えるものへと一まとめにされる）。上記で述べたように、暗領域ではこれはそれ程問題にならない場合があるが、窓越しのシーンの外側のパステルピクチャを見ることは必ずしも望ましいとは限らない。

範囲Ｓｅｌのシフトされた位置の選択は通常、ｘ％のグレイレベルｘ％Ｇに焦点を合わせるのと似た何らかの手続きによって決定される。例えば、グレイワールドモデルによれば、シーンの平均輝度は約１８％グレイであるべきである（同様に非常に重要な人肌は３６％グレイである）。それらのグレイレベルの何れかを固定することは、通常よく照らされた領域内の反射ホワイトである決定された１００％のシーンホワイトＷ^＊と比較してシフトすることに似ている。実際には、写真家は好ましい物体を見て、その物体が１８％グレイの一ストップ上で捕捉／符号化／レンダリングされるべきかを決定し、露出値の訂正とともに同じプロセスを適用することもできる。最後に、場合によってはその写真家は（例えば段階説の原理に従って）より多くの領域、例えばより暗い領域の捕捉などを見ることにより、とりわけ特定の重要領域（例えば雲）内のテクスチャを見ることにより、その手続きを（通常僅かに）訂正することができる。テクスチャに何が起こるのか、とりわけより少ない量のコードに起因するテクスチャ低減を見ることは、良品質の画像に達するための重要な方法である。関係する方法は局所的コントラストを見ることであり、例えば雲の中の暗構造が（例えば捕捉画像の参照レンダリングの下で）どのように表示されるのかを見ることにより、例えば少なくとも局所的な輝度レベルを判断することができる。この点でも、センサー範囲が不便な最適化を必要とする（暗過ぎる顔や拙劣に捕捉された雲）制限因子である場合があり、特に従来のＬＤＲチェーンが限定的であり得る。

今日では、はるかに多くの輝度値（Ｓｅｌ（Ｌ＿ｓｃ）＿ＨＤＲ）、例えば（殆どのシーンを詳細に捕捉するのに十分な）１８ストップ以上捕捉可能なカメラが登場している。例えばカメラは、著しく異なる感度を有し又は異なる感度の画素を有するセンサーまでの２つの画像化経路を投影することができる。そのため、カメラの一部がシーンのより暗い部分を捕捉し、他の部分がより明るい部分を捕捉し、その後それらの副画像は結合されても良い。原則として（レンズなど、画像化システムの他の要素を無視して）、例えば０．０１ニットから１００ニットの範囲を測定する１つのセンサー、及び（２つの範囲内で少なくとも幾らかの重複を有するために）１０００倍高い感度を有する、即ち１０ニットから１０００００ニットの間を捕捉する第２のセンサーを有することができる。そのようなカメラは、あらゆるシーンについて非常に良い結果をもたらす。問題は、同じ捕捉プロセス（例えばシーンデザイン、カメラ較正等）、又は少なくとも同じ符号化プロセスを依然として適用すべきかどうかである。全１８ストップセンサー出力（２６００００：１線形）を８ビット信号内に入れようとすることは、しばしば次善の結果（漫画化等）をもたらす。使用されるカメラ範囲を（例えば外れ値に対するハードクリッピングを有するトーンマッピングＴＭ＿Ｃａｍを使用することにより、例えば外れ値を無視することにより）再びＳｅｌ（Ｌ＿ｓｃ）＿ＬＤＲに制限することによって前の状況に戻ることを考えることができるが、それはばかげているように思われ、つまりその場合、より優れたカメラの使用目的はなんなのかということである。中間的な解決策を見つけようと試みることもできるが、上記に示した基礎的な計算に鑑みて、８ビットは自然の中で生じる何かを忠実に符号化するためのそれほど良い方法ではないように思われる。従って新規のＨＤＲ符号化に対する需要がある。

本発明の実施形態は、好ましい範囲の指定を相変わらず可能にする一方で、その範囲の（少なくとも片側、例えばより明るい側における）外側にある他の捕捉輝度を追加だが別の方法で更に処理することによりこの問題に対する解決策を提供する。好ましい範囲とは、システムにもよるが幾つかのことを意味することができ、例えばそれはコンテンツ制作者がいつも作業した方法とすることができる（とりわけ既存のＬＤＲコンテンツのＨＤＲリマスタリングを作成するときは）（前の）カメラのダイナミックレンジ、又は（コード化可能なホワイト、黒に対する要件、及び中間グレイの精度を考慮に入れて上記で説明したように）シーンの主要部分を表現するための所望の精度でも良い。又は有利な一実施形態では、特定のＬＤＲ参照モニター上で所望の通りにレンダリングするＬＤＲコーディングに相当しても良い。

これは、２つ（又はそれ以上の）範囲を扱うパラディグマティック（実用的）な新たな可能性を導入することに留意されたい。第１のＨＤＲ範囲Ｓｅｌ（Ｌ＿ｓｃ）＿ＨＤＲは、使用可能なシーン輝度の周囲で（例えばことによると非対称的にクリップし、非常に明るい部分の多くを含めて使用可能な輝度の殆どを組み入れることにより、又は或る特定の物体１１１の輝度をＨＤＲ範囲内の特定の値ｘ％Ｇに前にマッピングすることにより）最適に選択されても良い。そのＨＤＲ範囲内で第２の（好ましい）ＬＤＲ範囲が選択されても良く、優勢なシーン輝度範囲Ｓｅｌ（Ｌ＿ｓｃ）＿ＬＤＲ、ＨＤＲ範囲を最適化するために全シーン輝度範囲を使用することがより有利であり得る事実に照らし、ＬＤＲ範囲を位置決めする（即ち少なくともそのシーンから得ることができるＬＤＲ信号内から始め、関心のある物体及びその周囲が最適に調和されるように好ましい範囲をその物体の周りに上手く位置付ける）ためにｘ％Ｇ割り当てを使用することができる。

即ち、シーンは、ＨＤＲ範囲にほぼ準拠して「自由に」構築され／照らされ得る（例えばシーンの光、物体の反射輝度を優に上回る明るく輝く光にＨＤＲ効果を加えても良い）が、逆に最も興味深い物体にほぼ準拠して「自由に」構築され／照らされても良い（ＨＤＲディスプレイ上でそれ程明るくなくレンダリングされるが、ＬＤＲ範囲を使用するＬＤＲディスプレイ上では中心でレンダリングされる、ＨＤＲのより低い範囲に含まれるように最も興味深い物体を照らす）。このようにしてシーンを構築するはるかに多くの支配力をこれで有し、そのような輝度範囲階層が（入れ子状態だろうが互いの外にあろうが、ことによると更に多くの部分範囲を有しても）その後の処理、レンダリング、及び他の用途にも非常に役立つことを理解できるようになり得る。以下に述べるように、トーンマッピング又は他の画像処理機能についても更なる自由度が実現可能である。

図３では、輝度の部分範囲の選択に対応する２つの画像に、ＨＤＲ捕捉シーン（Ｓｅｌ（Ｌ＿ｓｃ）＿ＨＤＲは画像センサーが線形に出力するものである）をどのように割り当てるのかについての一例を示す。単純な実施形態は、単にＳｅｌ（Ｌ＿ｓｃ）＿ＬＤＲを標準的なマッピングにより１つの画像内に入れ、コード化されていない（即ちＳｅｌ（Ｌ＿ｓｃ）＿ＬＤＲの外側にある）輝度の全て又は一部をどちらも選択トーンマッピングにより第２の画像内に入れることができる。しかしここでは、当業者が幾つかの類似の可能性をそこから理解する幾分複雑なシナリオについて記述する。本発明の概念による実施形態が、第１の（典型的には例えばＬＤＲディスプレイ上に直接提示するためのＬＤＲ）画像に対して最大限に補完的である第２の画像内の情報を単に符号化するだけでなく、ＨＤＲ画像内で最重要であるその情報を主として（又は最も正確に）符号化する場合便利である（例えば明るい極大部分２０３をより適切に符号化するためにより多くの余裕を残し、光の極大部分２０５の色が依然として犠牲にされ得る）。輝度の符号化の全くの単調な性質を放棄すると、ＨＤＲ情報は当然重要だが、第１の画像Ｉｍ＿１内に忠実に符号化される主要領域１０１よりも通常は重要でないことも考慮に入れ、その追加のＨＤＲ情報を第２の画像Ｉｍ＿２のルーマコードＹ＿２にどの程度正確に割り当てるのかに関してかなりの自由度がある。

典型的には、選択されたＬＤＲ範囲Ｓｅｌ（Ｌ＿ｓｃ）＿ＬＤＲ（ＬＤＲディスプレイ上でＬＤＲ画像を忠実にレンダリングすることなどの原理や、例えばＩｍ＿２内に更に情報が書き込まれ得るよりも狭く範囲が選択されているかどうか又はその逆を考慮に入れた圧縮対象に基づきスマートに選択され得る）内の値は、（例えばＭＰＥＧ又は同様の規格に基づく記憶若しくは伝送用の）従来型のものとして従来のＬＤＲ画像Ｉｍ＿１にマップされる。とりわけこのマッピングは、好ましくは、ＬＤＲディスプレイ（又はより低いダイナミックレンジを有する下位ＬＤＲディスプレイ）上にリアルに／最適にレンダリングするために結果として生じるＬＤＲ画像が使用され得るような方法で行われる。しかし、本発明の少なくとも一部の実施形態により、（最も優れた表現及びレンダリングを必要とする最も関心のある領域にＬＤＲ範囲がほぼ重複する限り）このＬＤＲ範囲を原則として比較的自由に選択しても良く、即ちその最適なＬＤＲ符号化基準を幾らか緩和することができ、例えば通常のＬＤＲテレビの慣行よりも高精度で符号化するためにＬＤＲ範囲を幾らか狭くしても良い。最も典型的には、Ｉｍ＿１内の情報がより重要なので、第１の画像の輝度コードＹ＿１（概してカラーコードだが、輝度に焦点を当てることにより説明を簡単にする）に対する、選択された部分範囲（典型的にはＬＤＲ）内のシーン輝度のマッピングＴＭ１をまず設計し、残りのシーン情報のためのＨＤＲコーディング戦略をそこから決定するが、当然ながらＨＤＲ情報に応じて例えばトランスコーディング等による再帰的な方法でＴＭ１を修正しても良い。当業者ならこの原理が画像化チェーン内のどこでも、即ちＲＡＷカメラ捕捉からだけでなく、例えば再分配装置（例えば１８ビットＨＤＲ線形符号化信号から始まる）内、映像のパラレルバージョンを伝送するための方式、例えばウェブサイト内のＰＩＰのための幾らか等にも適用され得ることを理解する。有利には、第１のトーンマッピングＴＭ１及び範囲Ｓｅｌ（Ｌ＿ｓｃ）＿ＬＤＲは、捕捉シーンがＬＤＲ参照ディスプレイ上で最適にレンダリングする（シーンの見た目を回復するための更なるトーンマッピングなしに使用できる）ように選択されても良いが、代わりにグレーダ又は装置は、例えば（ことによるとＩｍ＿１の符号化とレンダリングが切り離されるように、Ｉｍ＿１に適用される幾らかの訂正トーンマッピング関数を共同符号化する）ガンマ関数又は他の詰め込み関数を用いてＩｍ＿１内に更に多くの輝度を詰め込んだ後も、ＬＤＲレンダリングが依然として十分見栄えが良いようにＩｍ＿１のコーディングを定めても良い。

第２の画像Ｉｍ＿２を符号化するために（これに関し、教示を簡潔にするためにこの画像はＬＤＲ符号化の画像に似ている、即ち同じく典型的には８ビット、例えば同じＡＶＣ符号化等と仮定するが、より少ない追加データが必要とされる場合、この画像は別の形式に符号化される４ビット画像とすることができ、又は８ビット超の精度画像でも良く、分解能が下げられたＨＤＲデータを符号化するために又はＩｍ＿１の副領域のために、減らされた瞬間数などについてのみ、この画像は下げられた空間分解能から成ることができる）、必ずしもまだコード化されていない輝度を単独で符号化する必要はなく、それは概してかかる輝度が一連の他の何らかの輝度を含むからである。その画像がＩｍ＿１内に既に（忠実に）符号化されている（ほぼ）全ての（又は殆どの）シーン輝度を単に含まない限り（即ちＩｍ＿１及びＩｍ＿２の符号化を所望の程度まで異なるようにする）。このＩｍ＿２は、残りの情報の第２の疑似ＬＤＲ画像として解釈することができ、それ自体では忠実に表示され得ないが、ＨＤＲ又は中間レンダリングを生成するために使用されても良く、あたかも通常のＬＤＲ画像であったかのように符号化され更に扱われても良い。

発明の一部の概念を説明するためのこの好ましい実施例では、忠実な符号化Ｒ＿ｆｆのＳｅｌ（Ｌ＿ｓｃ）＿ＬＤＲの部分範囲があると見なす。上記で述べたように、これは典型的には高密度輝度方向サンプリングによるカメラシグモイドの一部であり、よってこの領域は通常ＬＤＲ Ｉｍ＿１（の或る部分）内に十分に符号化されており、もう一度符号化することによって得られることはそれ程ない（但し非常に特殊な事例では既に符号化されているＬＤＲ範囲の一部（輝度及び空間的範囲の両方で通常小さい）を幾分異なる方法で、例えば別のトーンマッピングで符号化することに決めても良い）。後者は、例えばＩＤＲレンダリング用の中間範囲（ＩＤＲ）信号を生成するための、受信者側の画像処理装置のための案内として有用であり得る。しかし、Ｓｅｌ（Ｌ＿ｓｃ）＿ＬＤＲの外側の領域は通常ＬＤＲの改変形態の中に強く圧縮されており（極大部分２０３の保留部分は例えば［０，２５５］の最も高い４つのコードだけで符号化されている場合があり）、そのためそれらをより優れた方法で再び符号化することは理にかなっていることがある。又、それらは、光の極大部分２０５の領域と同じコード値で紛らわしく符号化される可能性がある。より優れたコード化情報なしでは、画像化されたシーン内のそれらの領域／物体について忠実なレンダリングを得ることができない。

多くのシナリオにおいて、高輝度領域１０３だけをコード化すれば現実的なＨＤＲ符号化には十分な場合があり、本発明の方法はその状況に実用上安価に調整され得る。この実施例では、より暗い輝度（例えばＨＤＲがより適切にそれらをレンダリングできるからであり、又はそれらを明るくするための何らかの再トーンマッピングが有効にされるべきである）及びより明るい輝度の両方を符号化する論理的根拠があると考える。それに加え、影の範囲Ｒ＿ＳＨＡＤ内の輝度が選択される（そして図示のように、例え忠実な範囲（Ｒ＿ｆｆと重なり合う範囲Ｒ＿ＳＨＡＤ）内でもそれらは潜在的にはＬＤＲ符号化物体画素の一部を実際に再符号化することができる。その一方で、ＨＤＲ符号化においてさえ、センサーによって捕捉される真に最も暗い輝度は破棄／クリップされる）（即ちＩｍ＿２内の０にマップされる）。明るい範囲Ｒ＿ＬＧＨＴ内の輝度も選択される（この輝度は符号化内にランプ内部の幾らかの画像構造が依然として残ることを確実にするために極大部分２０５内に行き、ここでも範囲の選択は象徴的であり、つまり例えばランプシーンの最も低い４つの輝度を４つの別々のコードに割り当て、より高い全てのランプシーンの輝度を例えば２５５に割り当てる代わりに、ランプ内の異なるシーン輝度の全ての構造を符号化するために、極大部分２０５に広がるそれらの４つの使用可能な最も高いコードを当然割り当てるが、それにより極大部分２０５を粗い精度で表現する）。このデータは全て第２の画像Ｉｍ＿２内に集められる。

それぞれのシーン輝度をデジタル画像コード（Ｙ＿２）にマップするためのトーンマッパＴＭ２及びＴＭ３を設計する（昔の単純な一直線の連続的な（「線形」）符号化パラダイムを廃止する高度に非線形な）自由により、（例えばビットを節約するための、更なる処理のためのシーンの簡単なメタ記述等のための）アプリケーションの要求に応じた非常に汎用性のある方法で、しかも実際にはトーンマッピングしか必要でない単純な技術的方法でＨＤＲシーンをコード化できることを理解する。これらのマッピング関数は、予め決められていても（例えば光の範囲に関する単一の又は幾つかの選択可能な固定された高指数の冪関数（fixed high exponent power function）を有することができ）、又は単独で符号化される関数（例えばルックアップテーブルＬＵＴ）若しくは１組の関数へのインデックスとして共同符号化され、例えば画像のショットごとに伝送されても良い。又はマッピング関数は、例えば入力ＨＤＲ画像の一部（例えば前の瞬間の、又は現在のシーン若しくはショットの粗いヒストグラムベースの表現など、ＨＤＲコンテンツの任意の粗い特性評価）、及び／又は使用されるＬＤＲ符号化などの検討事項に基づいて最適なトーンマッピングを計算し、ことによると決定される心理視覚モデル、視聴環境の特性評価、ＨＤＲ効果モデル等も更に考慮に入れる数学アルゴリズムによって更にはその場で決定されても良い。ランプ自体の明領域であろうと放たれる光のパターンであろうと、例えばシーン内のあかりを検出するアルゴリズムを考えても良い。

例えばＴＭ２によるＲ＿ＳＨＡＤのマッピングに第２の８ビット画像Ｉｍ＿２内のコード［０，８０］、又は概して［０，Ｍｘ＿Ｓ］が割り当てられても良く、残りのコード［Ｍｘ＿Ｓ＋ｒｘ，Ｍｘ＿Ｌ］（例えば［８１，２５５］）が範囲Ｒ＿ＬＧＨＴに使用されても良い。

これを図４内で、シーン輝度のコードへの変換（即ちトーンマッピングも示す）によって概略的に示す。

この曲線を見たとき、古典的な画像のコード化に比べ驚くべき幾つかのことがあり、提示される実施形態の背後にある幾つかの論理的根拠を理解するために説明される。第１に、シーン輝度のｘ軸が、必要とされる何らかの値（例えば幾つかの感度設定を有するカメラが捕捉可能な何か、又はコンピュータグラフィックス生成プログラムが結果として生じる輝度の境界として定める何か）の間で通常通り直線的に延びる。しかし、画像内の対応するコード値Ｙを与えるｙ軸は、０から始まり８０まで延び、次いで０から再び始まり２５５まで延び、８１等で再び始まる。これは、（異なる輝度領域の）２つ（又はそれ以上）の異なる画像に不連続的にマップするからである（但し幾らかの連続性を再導入する幾らかの重複はあり得る）。

トーンマッピング関数が破線の曲線で表され、簡潔にするためにその一部を線として取っている（しかし当然それらの線はより最適なサンプラになるように、例えば現在符号化されている映像の部分、例えば現在のシーンのヒストグラム特性に対応して、例えば明領域内で識別されるフェイスカラーなど、例えば頻繁に発生し又は極めて重要であり若しくは特別な色の極大部分の境界に応じて曲げられても良い）。この曲線が様々なコード化画像（より単純なマッピングではオフセット）のどこにマップするのかに関する予測が破線によって更に明確にされている。第１の画像Ｉｍ＿１を生成するために、この実施例では圧縮シグモイドマッピングＴＭ１が使用され、圧縮シグモイドマッピングは一般的なので更に詳しくは述べない。当然ながら、本発明の実施形態と最適に連携するように、このシグモイドの形状（例えばその中央部分の傾斜及び境界）がスマートに選択されても良い。次いで、ＴＭ１によってＩｍ＿１内に符号化される輝度未満の暗いシーンの輝度が、ＴＭ２により第２の画像の（コード輝度Ｙ＿２の）第１の部分Ｉｍ＿２＿Ｐｔ１にマップされる。この実施例では、それらのＹ＿２画素値から（例えば暗構造をより見えるようにするための）幾つかの新たな値を得ることができるアプリケーションのために、Ｉｍ＿１のコードと重複することなしに、より暗い色についての幾らかの情報が必要なだけだと仮定しているのに対し、さもなければそのアプリケーションは全てのシーン情報を失う闇雲なクリップに直面することになる。より明るいシーン輝度は、Ｉｍ＿２のより高いコード値（例えば典型的には明るい極大部分２０３、例えば図１の窓の向こう側のシーンからの上手く符号化されたシーン輝度を含む、その第２の部分Ｉｍ＿２＿Ｐｔ２）にマップされる。第２の連続性があることも分かり、即ち図３の中で単一のトーンマッピングＴＭ３として概念的に示したものが、より最適な更なるサブトーンマッピングＴＭ３１（ＴＭ３１はＴＭ１の上端において重複すること、即ちＩｍ＿１及びＩｍ＿２の両方の二重コーディングが生じることに留意されたい）及びＴＭ３２（この実施例では光の極大部分２０５の光の範囲Ｒ＿２０５を非常に粗くコード化する）に更にまた分解し得る。そのため、符号化される必要がないので符号化することが「できない」シーン輝度領域Ｒ＿ＮＣＯＤがある。例えば送信側／作成側において、現在の画像又は１組の画像（例えばショット）内でそこにコード化される有用なものは何もないことをアルゴリズムが見出すので、必要でなかったのは、何らかの粗い戦略を有する任意のコードである（実際にはそこにシーン輝度が任意の方法でマップされても良い幾つかの点があるようにマッピングを当然逆に設計しても良い）。但し、ＴＭ３２でマップされる更に高いシーン輝度内に依然として興味深い情報がある。

最後に、１つ又は複数の単一点を様々なコードに割り当てることもできる（ＴＭ４）。ＴＭ３１が値８４においてマップし始めるので、（例えば同期目的などの更なる用途のために）Ｉｍ＿２内の幾つかのコードを未使用のままにしてある。この例示的コーディングは、単一点をＩｍ＿２内の８２にマップする。これが有用であり得る１つの理由は以下の通りである。Ｉｍ＿２内にコード化される必要がない多くのシーン領域／物体があり得るが、依然として何かを行う必要がある。特に、これらの画素がＩｍ＿１から（直接又は更なるマッピングにより）取得されなければならないことを復号アルゴリズムが素早く気付けるようになる。そのため、それらに例えば値０を与えることができるが、その場合それらは非常に暗い色と混同される可能性がある。この例では、Ｒ＿ｆｆの範囲内からの全ての色をあたかもそれらが単一点Ｐ１であるかのように扱い、従ってＩｍ＿２内の値８２にマップされる（及び当然Ｉｍ＿１内に忠実に符号化される）。そのため、Ｉｍ＿２内の最重要物体を単一のグレイブラブ（grey blob、灰色の塊）と見なし、これは実際には非常に効率的な非相関化された符号化法である。当然ながら、Ｉｍ＿２内の最重要領域の少なくとも粗い表現を有するように、幾つかのシーン輝度副領域が様々な値（例えば１０コード：８２、８３、８４等）を使ってＩｍ＿２内に符号化される場合がより望ましいことを見出す応用例があり得ることを当業者なら理解できる。これは、人的介入を伴う応用例（例えばどの画像を扱っているのかを素早く確認しなければならないオペレータは、画像が殆どグレイブラブから成らない場合、画像をより良く識別することができる）、及び自動画像解析を伴う応用例（例えば動き推定などのためにＩｍ＿１及びＩｍ＿２の両方の中の対応する領域に対して構造マッピングを行うことができ、又は両方の画像の領域の（粗い）ヒストグラム表現に対して処理を行うことなどができる）の両方にとって有用であり得る。

２つの範囲Ｒ＿ＳＨＡＤ及びＲ＿ＬＧＨＴのＩｍ＿２内の輝度位置を逆にすることさえでき（即ち明るいシーン輝度に、暗いシーン輝度よりも低いコード値が与えられる）、又は更なる符号化のためにＩｍ＿２の一部の輝度範囲が確保されても良く、例えばどの種類のトーンマッピングＴＭ３が使用されるのかをインデックス付けするために２５４及び２５５のコードが使用されるなどしても良い（ガンマ、パラボラ、ｌｉｎｅａｒ＿１，．．．、その場合、少なくとも例えばかかるグレイブラブ内の一部の画素について、これらの値を値８２の代わりにＩｍ＿２内に入れることができる）。原則として、何らかのアルゴリズムによってＬ＿ＳＨＡＤのシーン輝度Ｌ＿ｓｃ又はその表現と等しくされ得る、［０，２５５］内のコードをフィボナッチセットが決定できるように、Ｉｍ＿２内の異なる部分範囲に対してインタリーブ符号化を使用することさえできる。

画像の異なる空間領域について、Ｉｍ＿２の符号化のマッピングの判定を変えることさえ可能であり、例えばＩｍ＿１に対する閾値を定めることができ、暗い画素は主に暗い輝度が符号化されるＩｍ＿２のコーディングを使用できるのに対し、Ｉｍ＿１のより明るい部分では、例えば明るい輝度だけが符号化されるようにＩｍ＿２の定義が変わる（即ちＩｍ＿２内の０の値が今度は例えば７００ニットを意味するのに対し、より暗い部分内では０．０１ニットを意味することになる）。

受信者が両方の画像Ｉｍ＿１及びＩｍ＿２を得ると、その受信者は両方の画像内の有用な情報を「最適化」しただけでなく、簡単な更なる使用のためにこの情報は事前分類もされている（最重要（「ＬＤＲ」）、ＨＤＲ品質改善ｎｒ．１、ＨＤＲ品質改善ｎｒ．２．．．）。

本発明者らが提示した方法の汎用性は、第１のピクチャ内のＬＤＲ部分を（最適に）符号化するための幾つかのシナリオを扱えるようにすることに留意されたい。例えば、Landによるレティネックス式のアルゴリズムを使用することができ、このアルゴリズムは、必ずしも絶対輝度又はその何らかの関数を符号化する必要はないが、典型的には領域アルゴリズムによって相対値を符号化することができる。考え方は、目は、絶対輝度よりも輝度差により関心があるというものである。そのため、例えば隣接する２つの暗いパッチの輝度を（それらのパッチの値が例えばホワイトのパッチにより似るように）中間グレイの方に高め、次いで典型的にはそれらの差を増すことができる（半局所的コントラスト）。これは人間が見るとき画像構造のより優れた表現である場合があり、よって潜在的により効率的なコード化につながるが、コードの技術的なレンダリング用途に関する問題を生ぜしめる。この符号化は絶対輝度の情報を減らすので（大げさに言えば隣接する２つの暗いパッチに２つのホワイトのパッチとほぼ同じ輝度を与えることを想像することができ、これは錯覚などの心理視覚実験において実際に起こり得るが、その場合暗黒対ホワイトについての全ての情報が失われる）、例えば最適なレンダリングを得るためのトーンマッピングアルゴリズム内で扱うのがはるかに困難になる。そのようなＬＤＲ符号化では、例えば一部の暗い又はホワイトのパッチを再びＨＤＲの第２の画像内に再符号化し、有していた元の厳密な輝度を明確に伝えることができる（即ち合わせて絶対及び相対コーディング）。例えば、５００ニットの開始輝度に対応するコードと１２０００ニットに対応するコードとの間の第２の画像内に明るいパッチを符号化しても良い。次いで、トーンマッパがこれらの情報単位の両方を使用して最終的な最適レンダリングに達することができる。

第１の画像（よって連携する第２の画像）が、絶対又は相対の両方をどのように符号化できるのかについてのもう１つの実施例は以下の通りである。例えば廊下での爆発を検討されたい。爆発とともに全ての壁が一斉に明るくなる。専ら符号化効率の観点から、変化する輝度とともに動くＬＤＲ画像を符号化すること、例えば平均輝度値の一定のパーセンテージを取ることが理にかなっている場合がある。この信号はレガシＬＤＲシステム内では使用がより困難であり、それは常にほぼ同じ信号が符号化されるため（一定の反射率が割り引かれる照度を調節する）、輝度の変化を実際に見ることはないからである。即ち、好ましいシステムはＬＤＲ画像内のより暗い又はより明るいコードを主に符号化することを選択でき、これはＬＤＲ画像をこのシーンの元の輝度範囲に沿った最適な位置に固定することに相当する。第２の画像は、様々な爆発／照明画像を含むことができる。

この方法は、「ホワイトとは何か」、従って「１８％グレイとは何か」及び「３６％グレイ（フェイスカラー）とは何か」というＨＤＲの根本的な問題も扱う。そのような「特別なホワイト」がどのようにレンダリングされるべきか、という二重の疑問のためにこれは重要である（実際、捕捉されるあらゆる色は最終的にレンダリングされるときにのみ意味をもつ）。従来の色空間及びＬＤＲ画像生成では、色域がシーンのホワイト（恐らく単純に照らされたシーンの最も明るい部分）から始まる。そこからは、とりわけ物体による吸収により、光の更に多くを除去することによって色が構築される。付加的なＲＧＢ空間ではこれは逆にモデル化されるが、ホワイトスペクトルの例えばＲスペクトルバンドの要素部分をインクリメンタルに除去するとき、それらを解釈することができる。しかし、一般的なＨＤＲシーンでは幾つかのホワイトがあり得る。ピクチャのより暗い部分内にホワイトがある場合があり、より明るい外側の部分内、及び更に明るい物体内にホワイトがあり得る。より重要なことに、例えばとりわけＨＤＲ画像化の莫大なラチチュードが捕捉された色の更に多くの事後訂正を可能にするので、より暗い画像領域内に立っている人間の肌の色のために（厳しく規定された方法で）露出すべきかどうかは疑問である。言い換えれば、ＨＤＲは例えば芸術的で薄気味悪い効果を得るために、顔の意図的な暗い照度を認める。今度は、シーンの輝度範囲のうちの最大輝度、例えばランプのためのＨＤＲ範囲を選択することができる（但しそれは本当のホワイトである必要はなく、例えば技術的又は芸術的理由からより明るい輝度の幾らかのクリッピングを依然として認めることができる）。ＨＤＲシーンの興味のある副環境のために、１つ又は複数のＬＤＲ範囲を選択することができる。概して本発明者らの方法は、シーン上の様々なＬＤＲビュー及び部分的に補完的な（異なる）ＨＤＲ残余画像を共同符号化できるが、ＬＤＲ画像がシーンの最も重要な構成の優れた表現を既に含み、（他のヒストグラムの極大部分を合わせてスマートにグループ化／コード化する場合）ＨＤＲ補完第２画像Ｉｍ＿２は目を引く範囲のＨＤＲ情報に通常十分であるという、上記で説明した原理に鑑みて大抵２つの画像で十分であることに留意されたい。ＨＤＲ情報を更に近似することさえでき、例えば減らされたレベル量（例えば２０）で窓の外側の高輝度領域１０３を符号化することを考えても良く、そうすることはその全てを吹き消すよりもまだはるかに良い。とりわけ、例えばインターネットビデオなどの一部の応用例は、（ことによるとＩｍ＿１への粗雑な追加分としてさえ）ＨＤＲ物体又は効果の一部しか符号化しない場合がある。即ち、提示された方法は、画像内で望ましい全てのもの、とりわけ様々なＨＤＲ副環境、及びそれらが基本的なＬＤＲ部分にどのように関係するのかを、とりわけＩｍ＿２の副範囲構造を定めるための正しいトーンマッピングを選択することによって最適に符号化することを可能にし（即ち例えば特定の方法で窓１０３をレンダリングする重要性はＬＤＲ部分内に正確に何があるのかによって決まり、同様に、明るい極大部分２０３のより適切な符号化に有利なように影の領域を表すビットの一部を提供するよう、総ＨＤＲ符号化階層を構築することができる）、更にこの符号化は、様々なＨＤＲシーン成分を更に使用すること、例えば特定のディスプレイ環境へのマッピングなども容易に可能にする。典型的には、符号化は非常に優れている（厳密に符号化された元のシーンの十分な輝度情報を有する）ため、幾つかの応用シナリオにおいて使用され得るが、（少なくともある程度まで）一部の応用例、例えばより明るい環境内で見ることに偏る可能性もあり、その場合影の領域の一部があまり適切に符号化されないことがある。

関心のあるＬＤＲ範囲及びＨＤＲ補完画像を符号化することに加え、概してそれらを、例えば或る範囲がどの程度理想的にレンダリングされるべきか、即ちどのような見た目が与えられるべきかを指示するメタデータＭＥＴを使って補完したい場合がある（下記参照）。例えばＬＤＲ範囲（実際には全ＨＤＲシーン）が、雲に覆われた雨降りの中で撮られる場合がある。自動露出アルゴリズムは、全てのシーンの均一で似た露出を作り出し、画像のあかりの特性を減らす傾向がある。これに更に加え、ディスプレイがその環境内でその信号をどのようにレンダリングするのかという疑問がある。通常、ディスプレイは内部の暗い環境を屋外の日当たりの良い世界と同じ位明るくレンダリングするが、ＨＤＲレンダリングでは両方のシーンについて、平均ディスプレイ出力輝度の少なくとも幾らかの差をレンダリングしたい場合がある。又ディスプレイは、典型的にはより明るい屋外の内部を有する屋内の或る夕方のシーンを、日光が当たるそのシーンと比較的同様にレンダリングする（符号化がコード内のシーンをシミュレートするように注意深く選択されない限り。しかしその場合、例えば輝度上昇ユーザーコマンドを所与として、レンダラーがこれらのコードをどうするのかコーディング側で依然として分からない）。

そのＬＤＲピクチャが例えばどのシーン輝度又はあかりの種類に属するのかを指定する場合（ＬＤＲピクチャのホワイト及び／又は１８％グレイをより詳細に説明する一実施例である）、ディスプレイはレンダリング時にそれを考慮し、本当に雨降りの日をシミュレートする表示可能なその輝度範囲内にＬＤＲ部分を入れることができる。そのためこの最も単純なメタデータの一例は、これから本当のホワイト（例えば室内の壁のホワイト）がどのように伝えられ得るのかを説明する。レンダリング側は、夕方のシーンが捕捉されたことを符号化ホワイト輝度メタデータから知る場合、白っぽくではなく、レンダリング側でより暗いグレイに見える色に屋内の色を強いることができる。それ以上符号化されるものがない場合、再構築可能なＨＤＲ駆動信号の範囲内のどこに最重要のシーンホワイト（即ちそれはＩｍ＿１の２５５ポイントである）があるのかを受信端は既に知っており、Ｉｍ＿２をＩｍ＿１の上に直接置くだけの最も単純な再構築アルゴリズムでさえ、画像を符号化するために使用されるトーンマッピングＴＭ１、ＴＭ２、．．．からそのホワイトの線形光レンダリング位置を求めることができる。しかし、このホワイトが捕捉シーン内で実際には例えば５００ニットであったことを述べる任意選択的なメタデータも加える場合、一層改善されたレンダリングを行うことができる（例えばディスプレイ駆動信号生成装置は、ディスプレイ側の検討事項を考慮に入れて元のシーンをより忠実に近似するために信号をリマップしても良い）。

もう１つの便利なメタデータは、顔に関するメタデータである。本発明の実施形態では、及び一般にＨＤＲ符号化の便利な特性として、ＬＤＲ捕捉で行われたようにはるかに厳密でない方法で（少なくとも二次的な人物の）顔を照らすことができる。即ち十分な光で、及びコントラストが強過ぎずに顔を照らす代わりに、例えばＨＤＲ範囲の非常に暗い領域内のどこかに、更には顔の一部を強い懐中電灯で照らす場合などに生じるコントラストの高い照明の場合はその範囲の至る所に落ち着くように一部の顔を明るくすることができる。本発明の実施形態によれば、とりわけそれらの顔がＩｍ＿２内のＨＤＲ追加情報の一部である場合、それらの顔を独自の部分範囲内に符号化しても良い。しかし、少なくとも１つの顔のグレイ値の上限値及び下限値がメタデータＭＥＴとして符号化される場合、その情報は既に非常に便利である。レンダリング側は、より魅力的に見えるようにするために、より上手く隠すためなどに顔をレンダリングするとき、この情報を使用することができる。この事例では顔の極大部分である、物体の極大部分２１１内のｘ％Ｇレベルは、更なるメタデータのもう１つの便利な例である。概して、範囲の境界など、特段重要などんな輝度レベルもメタデータＭＥＴとして符号化され得るが、更なる情報、例えばどの範囲が重大か、（例えば輝度オフセット又はコントラストストレッチ時に、とりわけシーン内の他の領域と調整して）それをどのように処理するのか等も当然符号化され得る。

図５は、映画制作システムにおいて本発明の概念の一部を具体化する例示的システムを示す。ＨＤＲ範囲Ｓｅｌ（Ｌ＿ｓｃ）＿ＨＤＲを捕捉可能な広ダイナミックレンジカメラ５０１を使ってＨＤＲシーンが捕捉され、捕捉された画像はカメラディスプレイ５０３上で見ることができる（好ましくは同じくＨＤＲでだが、カメラは例えばスライディングスケールを使用することによりＨＤＲをエミュレートすることができる）。それから、その画像が信号接続５０５（ネットワーク又は無線（衛星）等）を介して画像処理装置５１０に送られる。使用シナリオにもよるが、実際のブロードキャストでは、画像処理装置５１０は監督のブース又はトラック内の装置とすることができるが、映画では、画像処理装置５１０は、（後の時点ではオフラインの）グレーダ５２０のグレーディング装置とすることができる。前者の場合、自動的な画像解析が行われても良いが、この実施例ではグレーダ５２０の案内に基づいて半自動の処理が行われると仮定する。任意の中間ステップ又は更なるステップ（例えば前にグレーディングされた信号を新たな用途のためにリマスタするステップ）にも同じ原理が適用され得ることに留意されたい。例えば、捕捉側では、ＤＯＰ５２１が結果として生じる画像Ｉｍ＿１及びＩｍ＿２内のシーンのＬＤＲ／ＨＤＲ構成を既に（事前）指定しても良いが、グレーダ５２０はそれを指定し直すことができる。例えばグレーダは、中間３２ビット表現に対する適切なトーンマッピングにより、例えばＬＤＲ Ｉｍ＿１からＨＤＲ Ｉｍ＿２に光輝部の符号化データの幾らかの輝度レベルをシフト（又はコピー）し、又はその逆を行い、それにより修正済みのＬＤＲ及び／又はＨＤＲ符号化画像を得ることができる。グレーダは、例えばＨＤＲ参照ディスプレイ５３１上のＨＤＲバージョンと、ＬＤＲ参照ディスプレイ５３０上のＬＤＲバージョンとを切り替え又は並べて見ることにより、典型的には同じシーンの幾つかのグレーディング及び／又は符号化を見ている可能性がある。それによりグレーダは、典型的な最終視聴者群のそれぞれが見ることになるものを最適化し、これらの信号のそれぞれの品質を例えばビット配分によって平衡させることができる。グレーダは、最終的なグレーデッド画像Ｉｍ＿１及びＩｍ＿２をデータキャリア５１１上に記憶することができる。ことによるとグレーダは、Ｙコードの意味を記述する更なるメタデータであって、（例えばそれらの少なくとも一部を一緒に関係付ける、又は、元のシーンの輝度、例えばＩｍ＿１のホワイトコード２５５に対応する実際のシーンの輝度Ｗ^＊、画像Ｉｍ＿１及びＩｍ＿２等を符号化するために使用される様々なトーンマッピングのＬＵＴ又は公式に関係付ける）、Ｙコードの意味を記述する更なるメタデータ、又は符号化データに適用可能なトーンマッピングなどのあり得る更なる関数等（例えば参照ＬＤＲ及びＨＤＲディスプレイ間の幾つかの中間ディスプレイのためにＩｍ＿１及びＩｍ＿２内のデータをどのようにマージし又はリマップするのか）も記憶することができる。

画像処理装置５１０内には、画素ごとの実際の計算作業を行い最終的な出力を作成し、グレーダを導き助ける画像処理サブユニットがある。当然ながら、カメラの入力信号ＣＳＩ及びグレーダの好み（一般にＵＩモジュールによって処理される）に基づきコード化画像Ｉｍ＿１、Ｉｍ＿２を導き出すように構成される画像符号化ユニット５５１がある。概して画像符号化ユニット５５１は、（自動解析及び／又は人間のオペレータから得られる）ＨＤＲ範囲内で最も興味のあるより低い被選択ダイナミックレンジＳＥＬＲを所与としてＩｍ＿１を符号化する。典型的には、画像符号化ユニット５５１は、Ｉｍ＿１内に既に符号化されている情報のどれ位がＩｍ＿２内に冗長に符号化され得るのかを記述する仕様構造である、所定の最大冗長性ＭＡＸＲＥＤも受け取る。この構造は、Ｉｍ＿１内に符号化されるシーン輝度の上限及び下限を下回る値又は上回る値だけが符号化され得ること、又は忠実な符号化Ｒ＿ｆｆの範囲を下回る値若しくは上回る値だけが符号化され得ることを指定する程単純であり得る。又は、例えばＲ＿ｆｆ内の一部の値又は他の幾らかの値も（Ｙ＿２値の一部の中に）符号化されることを指定する、より複雑な戦略が構造内で指定されても良い。ＭＡＸＲＥＤは、人間のオペレータから得られても良く、又は例えば符号化される画像の統計的構造及びことによると幾何構造も解析する自動画像解析アルゴリズムによって決定されても良い。例えば、僅かな明るいＨＤＲ領域しか符号化されなくても良い場合、その組み込まれたアルゴリズムは、Ｉｍ＿１内に既に符号化されている範囲のより大きい部分を冗長に符号化するために、Ｉｍ＿２内の使用可能コードを使うことに決めることができる。

更に、典型的には画像を解析してコード化を支援する画像解析ユニット５５０もある。例えばこのユニットは、ＣＳＩの統計を考慮に入れて第１のトーンマッピングＴＭ１を提案することができる。このユニットは、例えばＬＤＲ及びＨＤＲ参照レンダリングの少なくとも１つの中の疑似カラー内で、どの画素がそれに対応するのかを示すためのＵＩメタデータをそこから導き出し、グレーダによる修正を支援することもできる。画像処理装置５１０がＲＡＷ ＣＳＩとともにＬＤＲグレーディングを既に受け取る場合、画像解析ユニット５５０はマッピングＴＭ１を解析して、より厳密でなく符号化される輝度を導き出したり、又はグレーディングとＲＡＷとを他の多くの方法で比較して、グレーダがＩｍ＿１及びＩｍ＿２内に符号化するための最適な提案に達し、更には人間の介入なしに自動でそれを行うことができる。

本実施例の画像処理装置５１０（及びグレーダ）は、レガシコンテンツ５８０へのアクセスリンク５８１も有する（当然ながら、当業者はこの機能が別の装置によって具体化され、画像化チェーンの別の段階で行われても良く、別のグレーダ又はコンピュータグラフィックスアーチストによって行われても良いことを理解する）。本実施形態では、グレーダがＨＤＲ効果を古いＬＤＲ映画に加えることができ、本実施形態は、ＬＤＲ符号化が変更される（「損害を受ける」）必要がない点で非常に有用であり、それはＬＤＲ符号化がＩｍ＿１として符号化されても良く、全ての効果がＩｍ＿２として符号化され得るからである。例えばインターネット５８４にとって非常に低品質の符号化Ｉｍ＿３であり得る別の「メインコンテンツ」の符号化Ｉｍ＿３を、別の通信経路に与えるためのもう１つの出力５８２も図示する。この符号化は、例えば所定の金額支払うときに配信され得る本実施形態による訂正ピクチャストリームＩｍ＿２^＊によってアップグレードされても良い。Ｉｍ＿２^＊は、例えば最も優勢なＨＤＲ効果、及びことによるとＩｍ＿１内に符号化される範囲内のグレイ値の幾らかの改善しか符号化しないという点でＩｍ＿２と異なり得る。

図６は、受信側のレンダリングシステムの一例を示す。このレンダリングシステムは、例えば映像処理ボックス６０１（例えばセットトップボックス又は汎用ＰＣコンピュータ等とすることができる）、及びこの例ではＬＥＤバックライトテレビ６０２だがＯＬＥＤ等でも良いディスプレイから成ることができる。

映像処理ボックス６０１は、システムにもよるが、例えばディスク読取器、メモリーカード及び接続されるメモリー管理ユニット用のスロット、外部装置を接続するためのバス、復調器を有するアンテナ及び受信機等とすることができる入力６１６を有する。記号を使って受信機６８８も図示しており、この受信機６８８は、典型的には受け取られる符号化信号Ｓ（Ｉｍ＿１，Ｉｍ＿２）の再フォーマットを行って適切な形式で２つの画像を取得し、本実施例では映像処理ボックス６０１の外部にあることにしたが、映像処理ボックス６０１の一部、例えば復号ユニット６５１とともに含まれても良い。

例えばＩｍ＿２を幾何学的に変換するように構成され得る、幾何学的マッピングユニット６１１があっても良い。例えば、幾何学的マッピングユニット６１１は、例えばＩｍ＿２ピクチャをサブサンプリングした後、ＨＤＲ追加情報が存在するＩｍ＿１の領域に対応する画像を作成することができる。より高度なアルゴリズムは、時間的なサブサンプリングも考慮に入れることができ、例えばそのシーンのショットについて符号化される幾つかのＩｍ＿１ピクチャ内で忠実に符号化されていないシーン内のＨＤＲ物体のために単一の又は幾つかのＩｍ＿２空間領域があっても良い。次いで、例えば単一のＩｍ＿２内に符号化される物体を複数のＩｍ＿１画像の対応する位置に動き補償することにより、ＨＤＲ画像（例えばディスプレイを直接駆動するための駆動画像）が構築され得る。

当然ながら、Ｉｍ＿１＋Ｉｍ＿２の符号化からＨＤＲ符号化を導き出すように構成される、輝度又は一般にカラーマッピングユニット６１２がある（それがどのように機能するのかの一例が図７によって明らかにされる）。カラーマッピングユニット６１２は、メタデータアナライザ６１４によって決定され得る構成可能アルゴリズムのための処理ユニット６１３を有することができる。単純な実施形態では、メタデータアナライザ６１４は、処理ユニット６１３の処理内にトーンマッピングアルゴリズムをロードするだけでも良い。

単純な実施形態は、Ｉｍ＿１の範囲の上のコードを直接書くようにトーンマッピングを符号化することができ、例えば
Ｙ＿２＝＝ｋが成立する場合、Ｙ＿ｆｉｎａｌ＝Ｙ＿１、及び
さもなければＹ＿ｆｉｎａｌ＝Ｙ＿２＋２４０
が成立する。

概してカラーマッピングユニット６１２は、Ｉｍ＿１及びＩｍ＿２内の符号化された輝度を、復号ＨＤＲ画像（例えばＩｍ＿ｄ）の輝度範囲に沿った正しい位置に配置する２つの逆コードマッピングＴＭＩ１及びＴＭＩ２を適用する。これらのマッピングは、部分的にプレフィックスされても良く（例えばインデックス［０，１０］は動画像列／映画の始めにおいて、どの特定のマッピングがＴＭＩ１又はＴＭＩ２に使用されるのかを示すことができる）、又は符号化データとともに共同指定（更には受信側で部分的に（「オンザフライで」）決定）されても良い。全体として、ＨＤＲからＬＤＲへのマッピングを指定することは、その対応する逆のＬＤＲからＨＤＲへのマッピングを指定するのとほぼ同じであり、そのため、絶対的な精度が必要とされる場合は何れか又は両方を共同符号化できることに留意されたい。

より高度な実施形態は、幾何学的特性、統計的特性、大規模な照度特性、テクスチャ特性等について画像を解析し、例えばレンダリング側の視聴条件、視聴される映画に対する心理視覚適合等を考慮に入れ、そこからより優れた出力ＨＤＲ画像を提案することができる画像解析ユニット６１５を使用しても良い。最終的なレンダリングを得るための輝度／色の処理は、入力Ｉｍ＿１及びＩｍ＿２に対して直接適用されようと中間画像表現に対して適用されようと、例えば輝度を設定するためなどにユーザーインターフェイスに接続されても良いレンダリング目的コンフィギュラ６８０によって更に指定され得る。

映像処理ボックス６０１は、その出力ＨＤＲ画像、例えば直接ディスプレイ駆動画像Ｉｍ＿２を、ネットワークリンク６５０、例えばＨＤＭＩ（登録商標）上に生成する。ディスプレイが（画像処理ユニット６２０により）独自の調節を行えるようにするために、元の二重コーディングの一部の残り、例えばＩｍ＿２だけが新たな二重コーディングとして伝送されても良い（この事例では、ディスプレイ内で再マップするために、例えばリモコン６４０によるユーザーのコマンド時にＨＤＲの明るい範囲を薄暗くするためにその画像の下位部分が使用されても良い）。ユーザーは、例えば自らのリモコンを使ってレンダリング嗜好プロファイルを定めることができ、例えばユーザーは、目に強烈過ぎてきついので明領域を薄暗くすることを望む可能性がある。これは本実施形態によって容易に行うことができ、それは第１の画像データに基づくレンダリングを保護しながら、専ら第２の画像データに作用することにより再レンダリング及びＨＤＲ効果を生じさせることができるからである。更に、例えば特定のＵＩレンダリングコマンドの受信時に、新たなメタデータＭＥＴ＿２、例えば映像をどのように（再）レンダリングするのかについての提案が送られても良い。

ネットワークリンクは、情報ＩＮｆＢｃｋ、例えばどのようにレンダリングしたいのかについてのディスプレイからの提案、Ｉｍ＿ｄの特定のコードに対応する絶対的なシーンの輝度の符号化などの更なるデータを求める要求、新たなＩｍ＿ｄ^＊画像を導き出すためのパラメータ等を逆に受け取るようにも構成され得る。

ここで映像処理ボックス６０１について例示的に説明されている内容は、概して復号ユニット内でも実施され得ることに留意されたい。即ち復号ユニット６５１は、典型的には符号化されたフォーマット（解凍等）のために読み取るためのフォーマットリーダ、及びＨＤＲ（中間）表現に対し、２つ以上の画像Ｉｍ＿１、Ｉｍ＿２のコードにマップするための１つ又は複数のデータマッパを含むことができる。より高度な符号器は、メタデータを解析するためのユニット、及び輝度コードＹ＿１、Ｙ＿２又は中間ＨＤＲ範囲内のコードに更なるマッピングを適用するためのユニットも含むことができる。かかる符号器は、幾何学的に定められたＩｍ＿２の符号化、例えば局所的なＨＤＲの物体だけを符号化する１００ｘ１００画素の副画像などを幾何学的にマッチするための幾何学的マッピングユニットも含むことができる。

本実施形態及び容易な再レンダリングがユーザーインターフェイスとどのように連携するのかについての一例が、「情報認識輝度コントロール」、例えばボタン６４１によって示され得る。例えば伝送されるＩｍ＿ｄにむやみにオフセットを加えるのではなく、このボタンを押すと、暗い極大部分２０２の情報をＩｍ＿ｄのより低い領域内に異なるように再マップし、そのようにして暗い物体のはるかに優れた視認性を得る新たな戦略を映像処理ボックス６０１又はテレビが適用することができる。

映像処理ボックス６０１は、例えば別のユーザーがベッドの中で映画を見るために使用することができるＩｐａｄなどの携帯型ＬＤＲ視聴装置への第２の（本実施例では無線）ネットワークリンク６９９を介して第２の駆動画像を構成することもできる。

本実施形態は、レンダリング側において改善されたユーザーインターフェイスコマンドを可能にする。よりインテリジェントに適合する再び明るくするボタン６４２、又はよりインテリジェントなコントラスト改善ボタン６４３は、メタデータだけでなく符号化された部分範囲も利用することができる。例えば、コントラストボタンを暗部にあり不十分に照らされている顔の部位に適用することができる。コントラストボタンは、「輝度上昇」モードで機能していても良い。この輝度上昇は、あらゆる要因を考慮に入れることができる。例えば輝度上昇は、メタデータ内の顔の範囲の上限及び下限を調べ、それらに基づいて顔の輝度を修正するアルゴリズムを有することができる。輝度上昇は、顔に関係する更なるメタデータ、例えば顔が「暗く隠れている」べきであることを示す指示を調べることができ、この指示はその顔を大きく明るくすることを認めない。又は、それらは、顔が「高コントラスト」等のままでなければならないというインジケータであり得る。例えば、顔面領域に適用される修正ガンマはメタデータに依存しても良い。

画像Ｉｍ＿１及びＩｍ＿２の様々な範囲を使用する一例として、再び明るくするボタンは、例えば全体的な明るさの増加（全体に及ぶ又は幾何学的な照度パターン）として機能し、又は色温度の変更として機能し得るが、Ｉｍ＿１内に符号化される主たる物体及びＩｍ＿２内に符号化される部分にこれらを異なるように適用する。例えば、主たる物体の画素はそのグレイ値を強力に増加されている場合があるのに対し、ＨＤＲ範囲は極大部分２０１の主要範囲内の変更を所与として、最終的な見た目に関して幾らかの整合を保つために変更されるに過ぎない。

何れにせよＩｍ＿１の独立したコード化は、少なくともその範囲の最も優れたレンダリングをＨＤＲディスプレイ上でさえ可能にする。とりわけ中間範囲ディスプレイは、Ｉｍ＿１内に符号化される主要範囲対Ｉｍ＿２内のＨＤＲ部分のレンダリングのバランスを取り、例えばＩｍ＿２内に符号化される少なくとも一部のＨＤＲ効果用の幾らかのヘッドルームを相変らず可能にしながら、節電のために主要範囲の輝度の低下を適用することをより容易に感じる（実際には、逆に節電のために暗くされるのはＩｍ＿２のデータだけであり得る）。これらの全ての操作は、例えばディスプレイ周辺で測定される照度などの視聴環境要因を考慮に入れることができる。

暗い範囲は、例えばディスプレイが暗い環境内で視聴されていない限り（大いに）破棄されても良い。この情報の分離を可能にする本実施形態は、破棄することを簡単な操作にする。一部の応用例は、その情報が必要とされる場合にのみその情報を転送しても良く、例えば（例えば無線ＨＤＭＩ（登録商標）を介した）適応型ホームネットワーキング環境は、ディスプレイが暗い中で視聴される場合（このことはディスプレイによって逆に伝えることもできる）暗い範囲とともにホームコンテンツサーバからＩｍ＿２だけを伝送することができ、さもなければ使用可能な全データがより明るい範囲を符号化するために使用されるようにＩｍ＿２のコーディングを再決定する（又は閾値処理によるより少ないビットへの非常に単純な変換によりデータ量を減らす）ことができる。

コンテンツ制作者が、追加のメタデータによりＨＤＲ範囲の見た目を指定するのも非常に簡単である。例えば幾つかの関数及び／又は閾値により、コンテンツ制作者は忠実に符号化されている明領域が、それにもかかわらず塗り潰されてレンダリングされることを指定することができる。そのようなレンダリング仕様がどのように共同符号化され得るのかについての一例が図８に示される。コンテンツ制作者は、Ｉｍ＿１の範囲の上にあるＩｍ＿２内に符号化される部分に対して塗り潰しを行うために、この場合は第１の関数であるレンダリング関数を指定することができる。このレンダリングは、例えばＴ１を下回るＹ＿２の全ての値が低減された輝度のＴＳ１を下回るように線形にマップされ、Ｔ２を下回る全ての値がＴＳ２未満にマップされ、ＴＳ２はＴＳ１を１値上回ることができ、それによりそれらの値が実際にクリップされるように指定されても良い。これは、レンダリング側がシーンの主要領域及び他の領域に対してどのように完全に異なるレンダリング／修正戦略を適用できるのかも明らかにする。

図７は、出力輝度範囲Ｒ＿ｄＬＤＲ及びＲ＿ｄＨＤＲとともに、レンダリング側の画像処理装置が２つのディスプレイ上で最終的にレンダリングするための駆動信号をどのように導き出せるのかを記号を使って示す。当業者なら駆動の物理的性質、電子機器、ディスプレイ較正、好ましいレンダリングモード（例えば鮮明等）について知っているはずであり、そのためそれらについては詳しく説明しないが、画像又は映像の符号化（目下ｉｍａｇｅ＿ｃｏｄｅ＿ｉｎ）がどのようにディスプレイから出る最終的な輝度のレンダリングをもたらすのかについて専ら説明する。ディスプレイは、ディスプレイのホワイト及び黒がどのように視聴環境に関係するのかなどのディスプレイ知識ＤＩＳＰＫＮＷＬＤＧを用いて概してマッピングを行う。従って画像処理装置は、好ましくは例えばＩｍ＿２＿Ｐｔ１の上部輝度により多くの視覚的強調を与え、コントラストを上げる非線形の方法等で、Ｉｍ＿２＿Ｐｔ１内に符号化される暗い輝度の一部だけが出力されるようなアルゴリズムを適用することができる。非常に明るいＬＤＲディスプレイを有する場合、Ｉｍ＿１内に符号化される中央範囲は、典型的には参照ＬＤＲディスプレイ上より幾らか明るくレンダリングされ得るが、例えば現在レンダリングされているシーン向けのエンハンスドＨＤＲ効果を作り出すために、平均輝度（又はマップされる主要範囲Ｒ＿ｍａｉｎの位置、即ちディスプレイ及びレンダリングシステムの更なるコンポーネント内で生じるあらゆることのマッピング後のディスプレイ出力輝度）が下げられても良い。しかし、概してこれらの主要領域の輝度は過度に明るくレンダリングされることはなく、多くの場合、ＬＤＲディスプレイがそれらを表示するのに匹敵する平均輝度である。Ｒ＿ｍａｉｎの上には、そのシーンのＨＤＲ部分の範囲、即ちＨＤＲディスプレイ範囲Ｒ＿ｅｆｆがある。この場合もやはり、ディスプレイは、Ｒ＿ｍａｉｎ内のレンダリングされる主要部分又は節電などの検討事項を考慮に入れて、例えばＨＤＲの見た目などの心理視覚的検討事項に応じてその輝度の程度を決定することができる。現在の実施例は、光の範囲Ｒ＿ｌｍｐ内にマップされている光の極大部分２０５を示し、極大部分２０５は、必ずしも最高のＨＤＲディスプレイ駆動コード１０２３でないにせよ、ほぼ最高の例えば１０１９、１０２０、１０２１に対応し得る。

同様に、ＬＤＲディスプレイ用に駆動信号が構築されても良く、その信号は、駆動のためにＩｍ＿１のコードを本質的に使用するが、例えばレンダリング環境の照度を理由により暗いコードの一部を落とし、第２の画像Ｉｍ＿２の符号化からより明るい色の幾らかを取り入れても（マップしても）良い。ＬＤＲディスプレイ又はディスプレイシステムがＩｍ＿１しか受け取れないほど原始的な場合、当然そのＬＤＲディスプレイ又はディスプレイシステムは専らＩｍ＿１のデータを使用するが、Ｉｍ＿２のデータを使用可能にしてある画像化システムは、Ｉｍ＿２の情報の少なくとも一部、例えばその中に符号化されるより明るい領域のより低い輝度を考慮に入れ、ＬＤＲディスプレイ用の新たなＬＤＲ駆動信号を当然作成することができる。Ｌ＿ｉＨＤＲは、（例えば特定のレンダリング側のレンダリング目的によって更に変換される）中間又は最終（更にディスプレイ駆動値さえ）とすることができるＨＤＲ範囲内で得られる輝度である。

図８は、映像符号化の一例を記号を使って示す。ＤＡＴ＿Ｉｍ＿１及びＤＡＴ＿Ｉｍ＿２は、例えばＩｍ＿１及びＩｍ＿２のＤＣＴブロックについてのデータ構造であり得る。トーンマッピングオペレータ仕様ＴＭ２は、ＨＤＲ画像を再現するためにＤＡＴ＿Ｉｍ＿２及びＤＡＴ＿Ｉｍ＿１をどのように一緒にマップするのかを示す（中間画像を作成するために更なるトーンマッピングが符号化されても良い）。トーンマッピングオペレータ仕様は、幾つかの予め定められた（例えば主要範囲の上の広範囲対狭範囲の明領域のための）マッピング戦略へのＬＵＴ又はインデックスとすることができる。

ＨＤＲディスプレイのための一定の様々なレンダリング、例えばユーザーインターフェイス制御の下で明るい極大部分２０３の部分に適用される例えばブーストｂ１及びｂ２を規定する、トーンマッピングＴＲＭ２があっても良い。幾何学的座標（ｘｓ，ｙｓ，ｗ，ｈ）は、ＤＡＴ＿Ｉｍ＿２とともに符号化された長方形画像が、どのようにＩｍ＿１の長方形上に幾何学的にマップするのかを定めることができる。ＤＡＴ＿Ｉｍ＿１に対応するシーンのホワイト輝度ＬＷ^＊などのメタデータも符号化されても良く、例えばＡＶＣでは補足的なエンハンスメント情報を使用することができる。概して、（ＬＤＲ）黒点、所望のコントラスト、ＨＤＲコード範囲内の相対位置、トーンマップＴＭ１上の極めて重要な位置のパラメータ、フェイスカラー又は照度についての情報など、Ｉｍ＿１の主要領域範囲１０１に関係する幾つかのパラメータが符号化されても良い。同様に、例えば新たな種類又はレベルの物体が生じる、又は新たなトーンマッピング戦略が使用されるべき場所等である、Ｉｍ＿２の範囲内の興味のある輝度又はコードポイントが符号化されても良い。

例えば中間ダイナミックレンジディスプレイ等に対し、指定された様々なレンダリング目的を与える符号化された更なる（副）画像があっても良いことに留意されたい。

図９は、例示的な画像符号化ユニット５５１を幾分更に詳しく明らかにする。画像符号化ユニット５５１は、（典型的には輝度又はルーマなどの同様の量の低／高値として規定される）より低いダイナミックレンジＳＥＬＲを受け取るための第１の受信機９０１、及び（人間、画像解析ユニット、又は前もって決められる等の）最大冗長性ＭＡＸＲＥＤを受け取るための第２の受信機９０２を有する。当然ながら、この冗長性は既にＩｍ＿１内に符号化されているどの輝度値が再び符号化される必要があるのかだけでなく、（典型的には符号化範囲の外側にある）まだ符号化されておらず、そのためＩｍ＿２内に符号化されなければならない値も指定する（これは「冗長性無し」又は「外側のコードだけ」と見なすことができる）。最も単純な改変形態では、ＭＡＸＲＥＤは輝度レベルを含む構造とすることができ、例えばＭＡＸＲＥＤは、それ未満がＩｍ＿２内に（再び）符号化される暗い輝度である第１の閾値、それを超えると（再び）符号化される明るい輝度がある第２の閾値、及び第１の閾値と第２の閾値との間の全ての値を表す１つ又は複数の中央値輝度として具体化され得る（単一の中央値輝度しかない場合、それは正確に指定されなくても良いが（Ｉｍ＿２内でそれがマップするコードだけ）、第１の閾値と第２の閾値との間の中点として指定され得る）。Ｓｅｌ（Ｌ＿ｓｃ）＿ＬＤＲの外側の領域との小さな重複があっても良く、又は重複はなくても良い。或いは、例えばＲ＿ｆｆ内の一部の部分範囲（例えば顔）を再び符号化することを望む場合があり、ＭＡＸＲＥＤは２つの更なる輝度範囲境界を含んで具体化されても良く、Ｉｍ＿２へのマッピングは暗い範囲の上で連続的であり、又はその範囲のための幾らかの更なるトーンマッピングを伴う。即ち最大冗長性は、様々な指定範囲に沿ったその輝度の値に基づき、画素が第２のトーンマッピングＴＭ２によって第２の画像内に依然として符号化される必要があるかどうかの一種のセレクターとして機能することができる。

画像処理ユニット９０３は、典型的には入力高ダイナミックレンジ画像ＩＭ＿ＨＤＲ−ｉｎを受け取り、第１のＩｍ＿１、第２のＩｍ＿２画像のそれぞれ（又はその両方）内に符号化される画素単位で画素をグループ化し、それらに適切なコーディングを施す。これは、画像を解析する他のユニット、人間のオペレータのコマンドを受け取る他のユニット等によって決定され得るマッピング定義ＴＭ１、ＴＭ２のそれぞれを受け取るように概して構成される、第１のコードマッピングユニット９０４及び第２のコードマッピングユニット９０５によって達成される。これらのコードマッピングユニットは、例えばＲＡＷカメラ信号又は中間ＨＤＲ表現の輝度若しくはルーマを、第１の画像、第２の画像それぞれのルーマ／カラーコード値、即ち例えば［０，２５５］にマップする。

最後に、フォーマッタ９０６が全てのものを符号化出力信号Ｓ（Ｉｍ＿１，Ｉｍ＿２）へとフォーマットする。フォーマッタ９０６は、メタデータＭＥＴとして高ダイナミックレンジ符号化Ｓ（Ｉｍ＿１，Ｉｍ＿２）内に含められる、例えば人間のオペレータからのレンダリング命令などの、更なるメタデータＭＥＴＳＰＥＣを受け取るための入力９０７も有することができる。

範囲決定ユニット９５０が接続されていても良く、このユニットは、例えば人間から追加の案内又は仕様データを受け取るか完全に自動に、Ｉｍ＿１内に符号化されるデータを参照ＬＤＲディスプレイ上にレンダリングする品質の（潜在的な）品質基準に基づき、どの範囲ＳＥＬＲが使用されるべきかを決定する。自動決定の場合、品質基準Ｑｃｒｉｔは、例えばＬＤＲ符号化画像を見て、幾つかの領域の半局所的及び局所的コントラスト、濃い黒などの特定の色のパーセンテージ、顔面領域内の精度及び輝度範囲、（ソフト）クリッピングの量などの要素を決定する、メモリー内にロードされるアルゴリズムとすることができる。人間のオペレータは、単に自らの参照モニター上で品質を視覚的に評価することができる。典型的にはＴＭ１とともにだが、少なくともＳＥＬＲが、（例えばより多くのソフトクリッピングを適用し、より小さい領域Ｒ＿ｆｆを定めることにより）満足のいく品質レベルに達するまでこれらのパラメータに影響を及ぼす。

第２のコードマッピングユニット９０５の実施形態は、同様のサイズＩｍ＿２を生じさせる全ての画素に輝度コードマッピングを単に適用するだけでなく、幾何学的最適化ユニット９６０も含むように構築されても良く、幾何学的最適化ユニット９６０はデータに更なる変換を施す、例えば一定の場所及び時間しか適用されないＩｍ＿１よりも小さいサイズの時空間的副画像Ｉｍ＿２を定め、より小さいピクチャＩｍ＿２のデータが属するＩｍ＿１フレーム内の位置（ｘｓ，ｙｓ，ｗ，ｈ）、Ｉｍ＿１のタイムコードに沿った瞬間など、適切な復号を可能にする記述データをフォーマッタに伝送することによって共同符号化することができる（サブサンプリング、形状変換、基底関数分解などの更なる幾何学的応用が使われても良く、概して両方の画像又はその一部は未処理画素画像、ＤＣＴ、又は他の変換等として当然符号化され得ることに留意されたい）。

図１０は、５５１と概ね同様の画像符号化ユニット１０５１を示す（即ち１００５は９０５と同様であり、１０６０、１００６、及び１００７もそうであり、そのためこれらについては再び説明せず、この画像符号化ユニット１０５１がＳＥＬＲ及びＭＡＸＲＥＤに対する案内をそれ自体で決定できるので、１００１及び１００２は、ＳＥＬＲ及びＭＡＸＲＥＤに対する案内のみ提供できるという点で任意選択的である）。違いは、ここでは高ダイナミックレンジ画像ＩＭ＿ＨＤＲ＿ｉｎだけでなく、既に存在しているＬＤＲ画像Ｉｍ＿１＿ｉｎも入力されることである（画像符号化ユニット１０５１は一種のトランスコーダと見なすことができるが、ＩＭ＿ＨＤＲ＿ｉｎは、例えばＨＤＲ物体又は画像領域若しくは範囲を作成し、又は再生成するためのコンピュータグラフィックス効果を施す接続装置によって形成され得るので、既存のＩｍ＿１をアップグレードするためのユニットでもあり得る）。受信機１０７５が両方の画像を受け取り、（画像が処理を行うのに正しいネイティブ（典型的には線形輝度）形式にあるように、主として逆ＣＡＢＡＣ、ＩＤＣＴ、ガンママッピング等を行った後に）それらを適切に更なるサブユニットに送ることを管理する。画像処理ユニット１００３は、今度はＩｍ＿１＿ｉｎ及びＩＭ＿ＨＤＲ＿ｉｎを比較し、どの画素が依然としてＩｍ＿２内に符号化される必要があるのか及びどのように符号化されるのかを評価するための比較器１０３１を含むように具体化され得る（そのため全体として画像処理ユニット１００３は、コードマッピングユニット１０６０を導くために（フィードバックが外部から来るのではなく）解析情報からもフィードバックを行う（例えば適用すべきコードマッピング）ことができる）。グレード解析ユニット１０３２があっても良く、このユニットは、ＩＭ＿ＨＤＲ＿ｉｎからＩｍ＿１＿ｉｎへのマッピングがどのように見えるのかを調べ、例えば緩やかな斜面を有しコードが殆ど使用されていない、Ｉｍ＿２内でより優れた再コード化が必要な領域を識別することができる。最後に、ＩＭ＿ＨＤＲ＿ｉｎのどの画素が１００５によるＩｍ＿２への更なる符号化を必要とするのかをセレクター１００３が選択する。更に、第１のコードマッピングユニット１００４が今度は少し異なることに留意されたい。第１のコードマッピングユニット１００４は、Ｉｍ＿１＿ｉｎが、出力されるＩｍ＿１内に単にコピーされる場合は必要でないことがあるが、画像符号化ユニット１０５１自体によって決定されようと、外部からの指定されたマッピングＴＭ１^＊によって決定されようと、出力される訂正済みのＩｍ＿１＿ｃｏｒ、例えばより優れ、よりコントラストが強く見えるＬＤＲグレーディングを決定しても良い。

本明細書で開示したアルゴリズムコンポーネントは、実際にはハードウェア（例えば特定用途向けＩＣの一部）として、又は専用のデジタル信号プロセッサー若しくは汎用プロセッサー上で実行されるソフトウェア等として（完全に又は部分的に）実現されても良い。それらは、少なくとも何らかのユーザー入力（例えば工場内、消費者による入力、又は他の人間による入力）があっても良いという意味で半自動とすることができる。

本発明者らの解説から、どのコンポーネントが任意選択的な改善であり得るのか及び他のコンポーネントと組み合わせて実現可能なのか、並びに方法の（任意選択的な）ステップがどのように装置のそれぞれの手段に対応し、その逆もどのように対応するのか当業者にとって理解可能であろう。一部のコンポーネントが本発明では特定の関係（例えば単一図面内の特定の構成）で開示されていることは、特許を取得するために本明細書で開示するのと同じ発明的思考に基づく実施形態として他の構成が可能でないことを意味するものではない。また、実利的理由から限られた範囲の例しか説明していないことは、他の改変形態が特許請求の範囲に該当し得ないことを意味するものではない。事実、本発明のコンポーネントは、任意の使用チェーンに沿って様々な改変形態で実施されても良く、例えば符号器などの作成側のあらゆる改変形態は、分解されたシステムの消費側の対応する装置、例えば復号器と同様又はかかる装置に対応することができ、逆の場合も同様である。実施形態の幾つかのコンポーネントが、符号器と復号器との間の任意の伝送技術等の中で、伝送用の又は調整などの更なる用途のための信号内の特定の信号データとして符号化されても良い。本願の中の「装置」という用語はその最も広い意味、即ち特定の目的を実現できるようにする手段群として使われ、従って例えばＩＣ（のごく一部）、専用機器（ディスプレイを有する機器など）、又はネットワーク化されたシステムの一部等とすることができる。「構成」又は「システム」も最も広い意味で使われることを意図し、そのため、この用語はとりわけ単一の物理的な購入可能な装置、装置の一部、共働する装置の集まり（又は一部）等を含むことができる。

コンピュータプログラム製品の明示的意味は、汎用プロセッサー又は専用プロセッサーが一連のローディングステップ（中間言語及び最終的なプロセッサー言語への翻訳などの中間変換ステップを含んでも良い）の後、プロセッサー内にコマンドを入力して発明の特徴的機能の何れかを実行できるようにする、コマンド群の任意の物理的実現を包含すると理解すべきである。とりわけ、コンピュータプログラム製品は、例えばディスクやテープ、メモリー内にあるデータ、（有線又は無線）ネットワーク接続を介して伝わるデータ、又は紙上のプログラムコードなど、キャリア上のデータとして実現され得る。プログラムコードは別にして、プログラムに必要な特徴的なデータもコンピュータプログラム製品として具体化され得る。そのようなデータは任意の方法で（部分的に）供給され得る。

本発明又は本発明の実施形態の任意の原理に従って使用可能な映像データなどの如何なるデータも、光学ディスク、フラッシュメモリー、着脱式ハードディスク、無線手段によって書込み可能な携帯装置などの取外し可能なメモリーとすることができるデータキャリア上の信号としても具体化され得る。

データの入出力ステップ、標準的なディスプレイの駆動などのよく知られている典型的には組み込まれる処理ステップなど、提示した任意の方法の実施に必要なステップの一部は、（本発明の実施形態の詳細とともに）本明細書に記載したコンピュータプログラム製品内の記述、任意のユニット、装置、又は方法ではなく、プロセッサーの機能又は本発明の任意の装置の実施形態の中に既にある場合がある。本発明者らは、例えば方法の任意のステップ又は装置の任意の下位部分に関与する特定の新規の信号、並びにかかる信号の何らかの新規用途又は関係する任意の方法など、結果として生じる製品及び同様の結果の保護も要求する。

上記の実施形態は、本発明を限定するのではなく例示することに留意すべきである。特許請求の範囲の他の範囲に対する提示した例の対応付けを当業者なら容易に認識できるので、簡潔にするためにそれらの全ての任意選択事項を詳しくは言及していない。特許請求の範囲の中で組み合わせられる本発明の要素の組合せは別として、それらの要素の他の組合せも可能である。要素のどんな組合せも、単一の専用要素内で実現され得る。

請求項における括弧の間の如何なる参照符号も請求項を限定することは意図せず、図面内の或る特定の記号でもない。「含む」という用語は、請求項の中に挙げられていない要素又は側面の存在を排除しない。要素の前にくる語「ａ」又は「ａｎ」は、その要素が複数存在することを排除しない。

Claims (16)

1. 高ダイナミックレンジ画像を符号化する画像符号化ユニットであって、
   −より低いダイナミックレンジを受け取るための第１の受信機と、
   −前記より低いダイナミックレンジ内の輝度を有する前記高ダイナミックレンジ画像の全ての画素を第１の画像内に符号化する、第１のコードマッピングユニットと、
   −前記第１の画像内に既に符号化されている輝度のどれ位の量まで再び冗長に符号化される必要があるのかを指定し、前記高ダイナミックレンジ画像の輝度範囲の少なくとも１つの輝度部分範囲を指定する少なくとも１つの輝度レベル仕様を含む輝度レベル仕様のセットである最大冗長性を受け取るための第２の受信機と、
   −前記高ダイナミックレンジ画像のどの画素が第２の画像内に符号化される必要があるのかを前記最大冗長性に基づいて決定する、画像処理ユニットと、
   −前記第２の画像内に符号化される必要がある前記高ダイナミックレンジ画像の前記画素の輝度を前記第２の画像内に符号化する第２のコードマッピングユニットと、
   −前記第１の画像及び前記第２の画像を高ダイナミックレンジ符号化として出力するフォーマッタと
   を含み、
   前記第１のコードマッピングユニット及び前記第２のコードマッピングユニットが、符号化効率及び／又はレンダリングの視覚的品質に応じて最適化されるトーンマッピングをそれぞれ適用する、画像符号化ユニット。
2. 前記画像処理ユニットが、前記高ダイナミックレンジ画像の輝度を前記輝度レベル仕様と比較し、前記高ダイナミックレンジ画像のどの画素が前記第２の画像内に符号化される必要があるのかを決定する、請求項１に記載の画像符号化ユニット。
3. 前記第１のコードマッピングユニットが、前記第１の画像内に符号化されるデータを参照ＬＤＲディスプレイ上にレンダリングする品質の品質基準に従い、前記第１の画像内への前記高ダイナミックレンジ画像の輝度の前記符号化を決定する、請求項１又は２に記載の画像符号化ユニット。
4. 前記第１のコードマッピングユニットが、範囲ユニットとともに、前記第１の画像内に符号化されるデータを参照ＬＤＲディスプレイ上にレンダリングする品質の品質基準に従い、前記第１の画像内への前記高ダイナミックレンジ画像の輝度の前記符号化を決定する、請求項１又は２に記載の画像符号化ユニット。
5. 前記第１の画像よりもサイズが小さく且つ／又はより低頻度で生じる前記第２の画像の実現において、前記第２のコードマッピングユニットが、前記第２の画像用の前記データを符号化するために幾何学的変換を施す幾何学的最適化ユニットを更に含む、請求項１乃至４の何れか１項に記載の画像符号化ユニット。
6. 前記第１のコードマッピングユニットが１画素当たり８又は１０ビットのワード長を有する前記第１の画像を作成し、前記第２のコードマッピングユニットが１画素当たり４，５，６，７，８，９，１０，１１，１２，１３，１４，１５又は１６ビットのワード長を有する前記第２の画像を作成する、請求項１乃至５の何れか１項に記載の画像符号化ユニット。
7. 前記フォーマッタが、前記第１の画像及び前記第２の画像を別々の通信チャネル上で伝える、請求項１乃至６の何れか１項に記載の画像符号化ユニット。
8. 前記フォーマッタが、前記第１の画像をケーブルテレビ信号として伝え、前記第２の画像をオンデマンドでインターネット接続を介して伝える、請求項１乃至７の何れか１項に記載の画像符号化ユニット。
9. 高ダイナミックレンジ画像を符号化する画像符号化ユニットであって、
   −前記高ダイナミックレンジ画像及び第１の画像を受け取るための受信機と、
   −前記第１の画像内に既に符号化されている輝度のどれ位の量まで再び冗長に符号化される必要があるのかを指定し、前記高ダイナミックレンジ画像の輝度範囲の少なくとも１つの輝度部分範囲を指定する少なくとも１つの輝度レベル仕様を含む輝度レベル仕様のセットである最大冗長性を決定する画像処理ユニットであって、前記高ダイナミックレンジ画像のどの画素が第２の画像内に符号化される必要があるのかを前記最大冗長性に基づいて決定するセレクターを含む、画像処理ユニットと、
   −前記第２の画像内に符号化される必要がある前記高ダイナミックレンジ画像の前記画素の輝度を前記第２の画像内に符号化する第２のコードマッピングユニットと、
   −前記第１の画像及び前記第２の画像を高ダイナミックレンジ符号化として出力するフォーマッタと
   を含み、
   前記第２のコードマッピングユニットが、符号化効率及び／又はレンダリングの視覚的品質に応じて最適化されるトーンマッピングを適用する、画像符号化ユニット。
10. 第２の画像が第１の画像内に符号化される輝度範囲の外側の輝度のデータを含む、高ダイナミックレンジ符号化を復号する画像復号ユニットであって、
    −前記高ダイナミックレンジ符号化から前記第１の画像及び前記第２の画像を得るための受信機と、
    −復号ＨＤＲ出力画像を得るために、前記第１の画像及び前記第２の画像のそれぞれの中に符号化される前記輝度に、第１の逆コードマッピング及び第２の逆コードマッピングをそれぞれ適用するカラーマッピングユニットであって、前記第２の逆コードマッピングは、前記第１の逆コードマッピングがマップする前記輝度範囲の外側にある前記復号ＨＤＲ出力画像の輝度にマップする、カラーマッピングユニットと
    を含む、画像復号ユニット。
11. 前記受信機が、前記高ダイナミックレンジ符号化内に符号化されるメタデータから、前記第１の逆コードマッピング又は第２の逆コードマッピングの情報を抽出する、請求項１０に記載の画像復号ユニット。
12. 前記第２の逆コードマッピングを行う前に、前記第２の画像内の前記データに対して幾何学的変換を施す幾何学的マッピングユニットを含む、請求項１０又は１１に記載の画像復号ユニット。
13. 前記カラーマッピングユニットが、前記第１の画像及び前記第２の画像内に符号化される前記輝度データに対して更なるトーンマッピングを独立に施す、請求項１０、１１又は１２に記載の画像復号ユニット。
14. 高ダイナミックレンジ画像を符号化するための画像符号化法であって、
    −より低いダイナミックレンジを受け取るステップと、
    −前記より低いダイナミックレンジ内の輝度を有する前記高ダイナミックレンジ画像の全ての画素を第１のコードマッピングユニットにより第１の画像内に符号化するステップと、
    −前記第１の画像内に既に符号化されている輝度のどれ位の量まで再び冗長に符号化される必要があるのかを指定し、前記高ダイナミックレンジ画像の輝度範囲の少なくとも１つの輝度部分範囲を指定する少なくとも１つの輝度レベル仕様を含む輝度レベル仕様のセットである最大冗長性を受け取るステップと、
    −前記高ダイナミックレンジ画像のどの画素が第２の画像内に符号化される必要があるのかを前記最大冗長性に基づいて決定するステップと、
    −前記第２の画像内に符号化される必要がある前記高ダイナミックレンジ画像の前記画素の輝度を第２のコードマッピングユニットにより前記第２の画像内に符号化するステップと、
    −前記第１の画像及び前記第２の画像を高ダイナミックレンジ符号化として出力するステップと
    を含み、
    前記第１のコードマッピングユニット及び前記第２のコードマッピングユニットが、符号化効率及び／又はレンダリングの視覚的品質に応じて最適化されるトーンマッピングをそれぞれ適用する、方法。
15. 第２の画像が第１の画像内に符号化される輝度範囲の外側の輝度のデータを含む、高ダイナミックレンジ符号化を復号するための画像復号法であって、
    −前記高ダイナミックレンジ符号化から前記第１の画像及び前記第２の画像を得るステップと、
    −復号ＨＤＲ出力画像を得るために、前記第１の画像及び前記第２の画像のそれぞれの中に符号化される前記輝度に、第１の逆コードマッピング及び第２の逆コードマッピングのそれぞれを適用するステップであって、前記第２の逆コードマッピングは、前記第１の逆コードマッピングがマップする前記輝度範囲の外側にある前記復号ＨＤＲ出力画像の輝度にマップする、適用するステップと
    を含む、方法。
16. 請求項１４又は１５に記載の方法を演算装置が実行することを可能にするコード手段を含む、コンピュータプログラム。

Images