数年前に、特に本出願人によって、ハイダイナミックレンジ(HDR)ビデオコーディングの新規の手法が導入された(例えば、WO2017157977を参照)。
ビデオのコーディングは、概して、画像を表現するためにカラーコード(例えば、1ピクセルあたりのルマ及び2つのクロマ)に主に関係しているか、又はカラーコードを作成する、若しくはより正確には定義することのみに関係している。これは、HDR画像を最適に表示する方法を知っていることとはどこか異なる(例えば、最も単純な方法では、高度に非線形な光電気伝達関数OETFを単に使用して、所望の輝度を、例えば10ビットのルマコードに変換し、逆の場合も同様に、逆の形の電気光伝達関数EOTFを使用して、これらのビデオピクセルルマコードを表示輝度に変換して、10ビットの電気的ルマコードを表示光学ピクセル輝度にマッピングできるが、特にコード化された画像の特定の使用から、画像のコーディングを切り離すことによって、より複雑な系がいくつかの方向に逸脱する可能性がある)。
HDRビデオのコーディング及び処理は、従来のビデオ技術の使用方法とは非常に大きく対照的である。従来のビデオ技術によれば、最近まですべてのビデオがエンコードされ、これは、今日では標準ダイナミックレンジ(SDR)ビデオコーディング(別名、ローダイナミックレンジビデオコーディング、LDR)と呼ばれている。このSDRは、アナログ時代にPAL又はNTSCとして始まり、デジタルビデオ時代に、MPEG2圧縮などのRec.709ベースのコーディングに移行した。
20世紀には動画を通信するための十分な技術であったが、20世紀のCRTの電子ビームの物理的限界を超えたディスプレイ技術の進歩、すなわち、グローバル的なTLバックライトLCDは、従来のディスプレイに比べてかなり明るい(潜在的には、より暗い)ピクセルで画像を表示することが可能になり、これにより、そのようなHDR画像をコード化して作成できることが必要になった。
実際、さまざまな理由から、SDR規格(8ビットRec.709)ではコード化できない、はるかに明るく、また、場合によっては、より暗い画像オブジェクトから始めて、これらの増加した輝度レンジのカラーを技術的に表現可能にするやり方が最初に発明された。そこから1つずつビデオ技術のすべてのルールが再考され、しばしば再発明されなければならなかった。
Rec.709のSDRのルマコード定義では、そのほぼ平方根のOETF関数形状のルマのため、(8ビット又は10ビットのルマで)約1000:1の輝度ダイナミックレンジしかエンコードできなかった:Y_code=power(2,N)*sqrt(L_norm)。ここで、Nはルマチャネルのビット数であり、L_normは物理的な輝度の0から1の間で正規化されたバージョンである。
さらに、SDR時代には、絶対表示輝度が定義されていなかったため、実際には、平方根OETFを介して、最大相対輝度L_norm_max=100%又は1を、最大正規化ルマコードYn=1(例えば、Y_code_max=255に相当する)にマッピングしていた。これには、絶対HDR画像(すなわち、200nitとして表示されるようにコード化された画像ピクセルは、理想的には(すなわち、可能な場合には)、すべてのディスプレイで200nitとして表示され、かなり異なる表示輝度として表示されない)を作成する場合と比較して、いくつかの技術的な違いがある。相対的なパラダイムでは、200nitのコード化されたピクセル輝度は、より明るいディスプレイ、すなわち、より明るい最大表示可能輝度PL_D(別名、ディスプレイ最大輝度)を有するディスプレイでは300nitで表示され、能力が劣るディスプレイでは、例えば100nitで表示される。なお、絶対エンコーディングも正規化輝度表現や正規化3D色域でも機能可能であるが、その場合、1.0は、例えば一意に1000nitを意味する。
ディスプレイでは、このような相対的な画像は、通常は、ビデオの最も明るい輝度を最も明るい表示可能ピクセル輝度にマッピングする(これは、最大ルマY_code_maxによるディスプレイパネルの電気的駆動を介して、さらなる輝度マッピングを伴うことなく自動的に行われる)ことで、ややヒューリスティックに表示されてきた。したがって、200nitのPL_Dディスプレイを購入した場合、100nitのPL_Dディスプレイ上よりも白が2倍明るく見えるが、同じSDRビデオ画像のより明るく、見てより楽しめる、いくぶんより美しいバージョンを与えることを除いて、あまり重要ではないと考えられていた目の適応といった要因を考えられる。
従来、今日では、(絶対的なフレームワークで)SDRビデオ画像について話す場合、通常は、PL_V=100nitのビデオピーク輝度がある(例えば、標準に従って合意されている)。したがって、本出願では、SDR画像の最大輝度(又はSDRグレーディング)は正確にそれであるか、又はおおよそその値で一般化されていると考える。
本出願でのグレーディング(grading)とは、例えば、人間のカラーグレーダー又はオートマトンによってピクセルが必要に応じて輝度を与えられたアクティビティ又は結果の画像のいずれかを意味することを意図している。例えば、画像を見る(例えば、画像を設計する)場合、複数の画像オブジェクトが存在し、理想的には、画像の全体性も考慮して、それらのオブジェクトのピクセルに、そのオブジェクトとシーンとに最適な平均輝度を中心に広がる輝度を与えることが望まれる。例えば、画像の最も明るいコード可能なピクセルが1000nit(画像又はビデオの最大輝度PL_V)になるような画像能力がある場合、あるグレーダーは800~1000nitの爆発輝度値のピクセルを与えて、爆発を非常に力強いように見せるよう選択するかもしれないし、別の映画作製者は、例えば、その時点で画像の残りの部分からあまり抑止しないように、500nit以下の明るさの爆発を選択するかもしれない(当然ながら、技術的には両方の状況に対応可能である)。
HDR画像又はビデオの最大輝度は大きく異なる場合があり、通常はHDRビデオ又は画像に関するメタデータとして画像データと共に通信される(一般的な値は、例えば、1000nit、4000nit、10,000nit(非限定的)であり、典型的には、PL_Vが少なくとも600nitであるとき、HDR画像があると言える)。ビデオ作成者が自分の画像をPL_V=4000nitとして定義することを選択した場合、当然ながらより明るい爆発を作成することを選択できるが、比較的それらはPL_Vの100%レベルに達しないが、例えば、シーンのこのような高いPL_V定義の場合は最大50%までである。
HDRディスプレイは、最大能力、すなわち、(よりローエンドのHDRディスプレイから始めて)600nit、1000nit、又はN×1000nitなどの最高の表示可能ピクセル輝度を有している場合がある。そのディスプレイの最大輝度又はピーク輝度PL_Dは、ビデオの最大輝度PL_Vとは別のものであり、これら2つを混同するべきではない。ビデオ作成者は、通常、可能なエンドユーザディスプレイごとに最適なビデオを作成することができない(すなわち、エンドユーザディスプレイの能力はビデオによって最適に使用され、(理想的には)ビデオの最大輝度がディスプレイの最大輝度を超えることはないが、それよりも低い値でもない。すなわち、ビデオ画像の一部には、ピクセル輝度がL_p=PL_V=PL_Dであるピクセルが少なくともいくつかあるべきである)。
作成者はいくつかの決定を行い(例えば、キャプチャするコンテンツ、キャプチャする態様)、通常は、今日の意図する観客、場合によっては、より高いPL_Dディスプレイが出現したときの将来における意図する観客の最高のPL_Dディスプレイに少なくとも対応できるように高いPL_Vを有するビデオを作成する。
次に、ディスプレイ適応と呼ばれる、ディスプレイピーク輝度PL_Dが(時にははるかに)低いディスプレイで、ピーク輝度PL_Vを有する画像をどのように最適に表示するかという二次的な質問が出現する。今後も、作成されて、通信媒体を介して受信される、例えば、2000nitのPL_V画像よりも低いダイナミックレンジの画像を必要とするディスプレイがあるであろう。理論上は、ディスプレイは常に再グレーディングが可能である。すなわち、画像ピクセルの輝度をマッピングして、内部ヒューリスティックによって表示可能にすることができるが、ビデオ作成者がピクセルの輝度を決定する際に十分な注意を払う場合は、画像をより低いPL_D値に合わせて表示する方法を示すこともでき、理想的には、ディスプレイがこれらの技術的なデシデラータに大きく従うことも有益であり得る。
最も暗い表示可能なピクセル輝度BL_Dに関しては、状況はより複雑である。そのうちの一部は、例えば、LCDセルリークライトなど、ディスプレイの固定の物理的特性であり得るが、最高のディスプレイであっても、視聴者が最終的に異なる最も暗い黒として判別できるものは、明確に定義された値ではない視聴室の照明にも依存する。この照明は、例えば、ルクス単位で平均照度レベルとして特徴付けられるが、ビデオ表示目的では、最小ピクセル輝度としてより優雅に特徴付けられる。これには、通常、明るい又は中程度の輝度の外観よりも強い態様で人間の目も関係する。人間の目が高い明度のピクセルをたくさん見ていると、より暗いピクセル、特にそれらの絶対輝度の関連性が低下する可能性があるためである。しかし、例えば、大部分が暗いが、ディスプレイ画面の前面にある環境光によってマスクされているシーンの画像を見ているときに、目が制限要因ではないと考えることができる。人間が2%の目立った違いだけを見ることができると仮定するならば、最も暗い駆動レベル(又はルマ)bがあり、それを上回ると次の暗いルマレベルを見ることができる(すなわち、もう2%多い輝度レベルを表示する、表示された輝度でX%高い)。
LDR時代には、最も暗いピクセルについてはまったく気にしていなかった。最大PL_V=100nitの約1/4である平均輝度を主に重視した。画像がこの値の周りにさらされた場合、100%最大値を上回るシーンの明るい部分のクリッピングを除いて、シーン内のすべてが明るくカラフルに見えた。シーンの最も暗い部分については、それらが十分に重要である場合には、録音スタジオ又は撮影環境で十分な量のベースライティングでキャプチャされた画像が作成された。シーンの一部がうまく見えなかった場合(例えば、コードY=0に埋もれてしまったために)、それは正常と見なされた。
それゆえに、もしそれ以上何も指定されないならば、最も黒い黒はゼロであるか、実際には0.1又は0.01nitのようなものであると仮定できる。このような状況では、技術者は、コード化され及び/又は表示されたHDR画像の平均以上のより明るいピクセルをより重視する。
コーディングに関して、HDRとSDRとの違いは物理的なもの(より多くの異なるピクセル輝度がより大きなダイナミックレンジ能力ディスプレイでは表示される)だけでなく、異なるルマコード割り当て機能(OETFを使用するもの、又は、絶対的な方法ではEOTFの逆)、例えば、追加の動的に(画像ごと又は時間的に連続する画像のセットごとに)変化するメタデータのようなさらなる技術的概念も潜在的に伴う技術的なものがある。メタデータは、さまざまな画像オブジェクトのピクセル輝度を再グレーディングして、開始画像ダイナミックレンジとは異なる二次ダイナミックレンジの画像を取得する方法を指定する(通常、2つの輝度レンジは、少なくとも1.5倍異なるピーク輝度で終了する)。
単純なHDRコーデックが市場に導入された。HDR10コーデックは、例えば、最近登場したブラックジュエルボックスHDRブルーレイを作成するために使用される。このHDR10ビデオコーデックは、OETF(逆EOTF)として、平方根よりも対数形状の関数、つまり、SMPTE2084で標準化されているいわゆる知覚量子化器(PQ)関数を使用する。Rec.709 OETFのように1000:1に限定されるのではなく、このPQ OETFでは、HDRビデオの実用的な制作に十分なより多くの(理想的には表示される)輝度、つまり、1/10,000nit~10,000nitのルマを定義できる。
なお、読者は、HDRをルマコードワード内の大量のビットと単純化して混同するべきではない。これは、アナログ-デジタル変換器のビット数のような線形システムに当てはまり、実際にビット数はダイナミックレンジの底が2の対数となる。しかし、コード割り当て関数は非常に非線形な形状を持つことができるので、理論上は、どのように望もうとも、10ビットのルマ(カラー成分HDR画像ごとに8ビット)しかないHDR画像を定義できる。これにより、すでに導入されているシステムの再利用可能性の利点がもたらされる(例えば、ICは特定のビット深度、又はビデオケーブルなどを有する)。
ルマの計算後、ピクセルルマY_codeの10ビット平面があり、これにピクセル当たり2つのクロミナンス成分Cb及びCrがクロミナンスピクセル平面として追加される。この画像は、従来、数学的に圧縮された(例えば、MPEG-HEVC圧縮された)SDR画像であるかのように、ラインのさらに下方で扱うことができる。圧縮器はピクセルカラーや輝度を考慮する必要はない。しかし、受信装置、例えば、ディスプレイ(又は実際にはそのデコーダ)は通常、{Y,Cb,Cr}ピクセルカラーの正しい色解釈を行い、例えば、ブリーチカラーを有する画像ではなく、正しく見える画像を表示する必要がある。
これは通常、3つのピクセル化されたカラー成分平面と一緒に、使用されたEOTF(PQ EOTF(又はOETF)が使用されたことを限定なく想定する)やPL_Vの値などの指示など、画像コーディングを定義するさらなる画像定義メタデータを共に通信することによって処理される。
より高度なコーデックには、さらなる画像定義メタデータ、例えば、処理メタデータ、例えば、PL_V=1000nitまでの第1の画像の輝度の正規化されたバージョンをセカンダリ基準画像の正規化された輝度、例えば、PL_V=100nitのSDR基準画像にマッピングする態様を指定する関数(図2でより詳細に解明する)が含まれ得る。
明確にするため、基準画像は単一の事前固定の画像ではない。シーンの各画像(例えば、ビデオ内の連続する画像)に対して、1つ以上の基準画像を作成できる。これらは、特定のダイナミックレンジで定義されている(すなわち、前述のDR、特にその最高輝度PL_Vの場合、さまざまな中間オブジェクト輝度は、レンジに依存する値を有する。それゆえに、基準画像は、画像がさまざまなDRについてグレーディングされる態様を表し、また、少なくとも2つの基準画像は、これら2つの画像のうちの1つが、もう1つの画像のDRについて輝度が再グレーディングされる態様を示している)。画像の等価性は、通常、それらのピクセルカラーの等価性を意味する。異なるダイナミックレンジのさまざまな画像は、第1の画像のピクセル輝度が、異なるDRの対応する画像の異なる輝度にシフトする点で互いに対応し得る。
HDRについてあまり知識のない読者の理解を深めるために、図1におけるいくつかの興味深い態様を手短に解明する。図1は、将来のHDRシステム(例えば、1000nitのPL_Dのディスプレイに接続されている)が正しく処理できる必要がある多くの可能なHDRシーンの典型的な例をいくつか示している。ピクセルカラーの実際の技術的な処理は、さまざまな態様でさまざまな色空間定義で行われ得るが、再グレーディングのデシデラタムは、異なるダイナミックレンジにまたがる輝度軸間の絶対輝度マッピングとして示される。
例えば、ImSCN1は、ほとんどが明るい領域である西部劇映画からの晴れた屋外の画像である。誤解してはいけない最初のことは、どの画像のピクセル輝度も、通常、現実世界で実際に測定できる輝度ではないということである。
出力HDR画像(スターター画像として機能し、マスターHDRグレーディング又は画像と呼ぶ)の作成に人間がそれ以上関与していない場合でも、1つのパラメータを調整することによってどれほど簡単であっても、カメラは、その虹彩のために、少なくとも常に画像センサ内の相対輝度を測定する。そのため、少なくとも最も明るい画像ピクセルがマスターHDR画像の利用可能なコーディング輝度レンジに収まるようにするには、常に何らかのステップを伴う。
例えば、保安官の星章に映る太陽の鏡面反射は、実際の世界では100,000nitを上回るように測定されるが、これは、通常の近い将来のディスプレイで表示できず、また、例えば、夜に薄暗い部屋で映画の画像を見ている視聴者にとって快適でもない。代わりに、ビデオ作成者は、星章のピクセルに対して5000nitが十分に明るいと決定でき、これが映画の中での最も明るいピクセルとする場合、ビデオ作成者は、PL_V=5000nitのビデオを作成することを決定できる。カメラは、マスターHDRグレーディングの生バージョンのみの相対ピクセル輝度測定デバイスであるが、良好な画像を作成するために十分に高いネイティブダイナミックレンジ(ノイズフロアをはるかに上回るフルピクセル)も有するべきである。グレーディングされた5000nitの画像のピクセルは、通常、カメラでキャプチャされた生画像から非線形に得られる。例えば、カラーグレーダーは、そのような側面を一般的な視聴状況として考慮する。この視聴状況は、実際の撮影場所、すなわち、熱い砂漠に立っているときと同じではない。このシーンImSCN1に対して作成するために選択される最良の(最高のPL_Vの)画像、すなわち、この例では、5000nitの画像がマスターHDRグレーディングである。これは、作成して通信するために最低限必要なHDRデータであるが、すべてのコーデックで通信される唯一のデータではなく、一部のコーデックでは画像さえまったく通信されない。
このようなエンコード可能な高輝度レンジDR_1(例えば、0.001nit~5000nit)が利用できることで、コンテンツ制作者が、明るい外観のより良い体験を視聴者に提供するが、もちろん、視聴者が対応するハイエンドPL_D=5000nitのディスプレイを持っていることを条件として、夜のシーン(映画全体でうまくグレードされた場合)も薄暗くすることを可能にする。優れたHDR映画は、1つの画像内だけでなく、映画又は一般的に作成されたビデオ素材(例えば、うまく構成されたHDRサッカー番組)のストーリーの時間の経過にわたっても、さまざまな画像オブジェクトの輝度のバランスを取る。
図1の左端の垂直軸には、理想的には5000nitのPL_Dディスプレイを対象としている5000nitのPL_VマスターHDRグレーディングで見たい(平均的な)オブジェクトの輝度のいくつかが示されている。例えば、映画では、約500nitのピクセル輝度(すなわち、典型的なLDRよりも10倍明るい。ただし、別の作成者は、300nitなどのやや少ないHDR印象を望むかもしれない)を持つ明るい太陽の光を浴びたカウボーイを見せたいと思うかもしれない。これは、作成者によれば、最終消費者に可能な限り最高の外観を与える、この西部劇画像を表示するための最良の態様を構成する。
輝度のより高いダイナミックレンジの必要性は、同じ画像内に、洞窟の画像ImSCN3の影のある隅といったかなり暗い領域を有するが、洞窟の入口を介して見られる太陽の光があたった外側世界のような非常に明るいピクセルの比較的大きな面積も有する画像について考えると、より簡単に理解できる。これは、例えば、街灯だけが高輝度ピクセル領域を含むImSCN2の夜間画像とは異なる視覚体験を作成する。
ここで、問題は、現時点では、多くの消費者がまだLDRディスプレイを持っており、また、将来においてでも、コーディングごとの典型的な単独のHDR画像の代わりに、映画の2つのグレーディングを作成する正当な理由があるため、マスターHDR画像に最適に対応するPL_V_SDR=100nit SDR画像を定義する必要があることである。これは、コーディング自体に関する技術的選択とは別個にある技術的なデシデラタムであり、これは、例えば、マスターHDR画像の1つともう1つからこの二次画像を(可逆的に)作成する態様を知っている場合、ペアのどちらか1つをコード化して通信することを選択できる(2つの画像を1つの画像の価格で事実上通信する。すなわち、1回のビデオ瞬間に1つの画像のみピクセルカラー成分平面を通信する)ことを証明している。
このような縮小ダイナミックレンジ画像では、当然ながら、本当に明るい太陽のような5000nitのピクセル輝度のオブジェクトを定義できない。最小ピクセル輝度又は最も深い黒も、より好ましい0.001nitではなく0.1nitまで高くなる。
したがって、この対応するSDR画像を、縮小輝度ダイナミックレンジDR_2で作成する必要がある。
これは受信側ディスプレイの自動アルゴリズムによって行うことができ、例えば、固定輝度マッピング関数を使用してもよいし、PL_V_HDR値のような単純なメタデータや潜在的に1つ以上の他の輝度値によって条件付けされたものであってもよい。
しかし、一般的にはより複雑な輝度マッピングアルゴリズムを使用できる。しかし、本出願では、一般性を失うことなく、マッピングは、あるグローバル輝度マッピング関数F_L(例えば、画像ごとに1つの関数)によって定義されると仮定する。これは、少なくとも1つの画像に対して、第1の画像で発生する可能性のあるすべての輝度(すなわち、例えば、0.0001~5000)を、第2の出力画像の対応する輝度(例えば、SDR出力画像の場合は0.1~100nit)にマッピングする方法を定義する。正規化関数は、両方の軸に沿った輝度をそれぞれの最大値で割ることで得られる。本コンテキストでは、グローバルとは、例えば、画像内の位置といったさらなる条件に関係なく、画像のすべてのピクセルに同じ関数が使用されることを意味する(例えば、いくつかの基準に従って分類可能なピクセルに対していくつかの関数を使用するより一般的なアルゴリズム)。
理想的には、ビデオ作成者が、すべての輝度を二次画像(SDR画像)の利用可能なレンジに沿って再分配する方法を決定するべきである。これは、ビデオ作成者が、制限がある中で、SDR画像が依然として意図するマスターHDR画像のように適しているように少なくとも良好に見えるように、縮小ダイナミックレンジに対して準最適化する方法を最もよく知っているためである。読者は、このようなオブジェクト輝度を実際に定義(位置決め)することは、輝度マッピング関数F_Lの形状を定義すること(その詳細は本出願の範囲外である)に対応していることを理解できる。
理想的には、関数の形状は、異なるシーンごとに、すなわち、洞窟のシーン対映画の少し後の日当たりの良い西部劇シーン、又は一般的に時間画像ごとに変化するべきである。これを動的メタデータ(F_L(t)と呼び、tは画像の瞬間を表す)と呼ぶ。
次に、理想的には、コンテンツ作成者が、各状況、すなわち、潜在的な各エンドユーザディスプレイ、例えば、対応するPL_V_MDR=800nitの画像を必要とするPL_D_MDR=800nitのディスプレイに最適な画像を作成することであるが、これは、通常は、最も高価なオフラインビデオ作成の場合でも、コンテンツ作成者の労力が多すぎる。
ただし、これまでに、シーンの2つ(のみ)の異なるダイナミックレンジ基準グレーディング(通常は両極端のグレーディング。例えば、5000nitが最も高い必要なPL_Vであり、100nitが通常最も低い必要なPL_Vとして十分である)を作成することで十分であることが、出願人によって実証されている。これは、これらの2つの基準グレーディング(HDR及びSDR)から、例えば、2つのグレーディングの情報を受信するエンドユーザディスプレイに適用される(通常は固定、例えば、標準化された)ディスプレイ適応アルゴリズムを介して、他のすべてのグレーディングを自動的に導出できるためである。一般的に、計算は、セットトップボックス、TV、コンピュータ、映画製作用機器など、任意のビデオ受信機で行うことができる。HDR画像の通信チャネルもまた、地上又はケーブルブロードキャスト、ブルーレイディスクといった物理的媒体、インターネット、ポータブルデバイスへの通信チャネル、専門的なサイト間のビデオ通信など、任意の通信技術にできる。
このディスプレイ適応は通常、例えば、マスターHDR画像のピクセル輝度に輝度マッピング関数を適用する。しかし、ディスプレイ適応アルゴリズムは、F_L_5000to100(2つの基準グレーディングの輝度を接続する基準輝度マッピング関数)とは異なる輝度マッピング関数、すなわち、ディスプレイ適応輝度マッピング関数FL_DAを決定する必要がある。これは、2つの基準グレーディング間の元のマッピング関数F_Lと必ずしも自明に関連しているわけではない(ディスプレイ適応アルゴリズムにはいくつかの変形例がある)。5000nitのPL_Vダイナミックレンジで定義されたマスター輝度と、800nitの中間ダイナミックレンジとの間の輝度マッピング関数は、本テキストでは、F_L_5000to800と記述する。
ここでは、F_L_5000to100関数が800nitのMDR画像輝度レンジを超えると「単純に」期待される位置にマッピングしないが、例えば、ややより高い位置(すなわち、そのような画像では、少なくとも選択されたディスプレイ適応アルゴリズムに従って、カウボーイはわずかに明るくなければならない)にマッピングする矢印で、ディスプレイ適応を象徴的に示した(平均的なオブジェクトのピクセル輝度のうちの1つに対してのみ)。そのため、より複雑なディスプレイ適応アルゴリズムによってはカウボーイは示されたより高い位置に配置される場合があるが、500nitのHDRカウボーイと18nitのSDRカウボーイとの間の接続が800nitのPL_Vの輝度レンジを超えるより単純な位置に満足する顧客もいる。
通常、ディスプレイ適応アルゴリズムは、元の輝度マッピング関数F_L(又は基準輝度マッピング関数、別名、基準再グレーディング関数)の形状に基づいて、ディスプレイ適応輝度マッピング関数FL_DAの形状を計算する。
この図1に基づく解明は、HDRビデオコーディング及び/又は処理システムの技術的なデシデラータを構成し、図2では、本出願人のコーデックアプローチに従って、デシデラータ(非限定)を実現するためのいくつかの模範的な技術システム及びその構成要素を示す。当業者は、これらの構成要素はさまざまなデバイスなどで具体化できることを理解するべきである。当業者は、この例は、さまざまなHDRコーデックフレームワークのためのパルスプロトト(全体に変わるものとして受け取られる部分:pars pro toto)として提示されて、操作のいくつかの原理の背景理解を得るためのものにすぎず、以下に示す革新的な貢献の実施形態のいずれかを特に制限することを意図していないことを理解するべきである。
可能ではあるが、1回の瞬間に2つの実際の異なる画像の技術的な通信(HDR及びSDRグレーディングの各々は、それぞれの3つの色平面として通信される)は、特に必要なデータ量に関して高価である。
また、これは必要ではない。対応するすべての二次画像ピクセル輝度が、一次画像の輝度と関数F_Lに基づいて計算できることがわかっていれば、1回の瞬間に一次画像と関数F_Lのみをメタデータとして通信することを決定できる(また、マスターHDR画像又はSDR画像のどちらかを両方の代表として通信することを選択もできる)ためである。受信機は、その(通常は固定の)ディスプレイ適応アルゴリズムを知っているので、このデータに基づいて、そのエンドでFL_DA関数を決定できる(ディスプレイ適応を制御又は誘導するためにさらなるメタデータが通信され得るが、現在は導入されていない)。
瞬間ごとの1つの画像と、関数F_Lとを通信する2つのモードがある。
第1の後方互換モードでは、SDR画像が通信される(「SDR通信モード」)。このSDR画像は、従来のSDRディスプレイに直接(さらなる輝度マッピングを必要とすることなく)表示できるが、HDRディスプレイは、F_L関数又はFL_DA関数を適用して、SDR画像からHDR画像(又は、通信される関数の変形例、すなわち、アップグレーディング変形例かダウングレーディング変形例かに応じて、その逆)を取得する必要がある。興味のある読者は、以下の標準化された本出願人の模範的な第1のモードアプローチのすべての詳細を参照されたい:
ETSI TS 103 433-1 V1.2.1(2017-08):High-Performance Single Layer High Dynamic Range System for use in Consumer Electronics devices;Part 1:Directly Standard Dynamic Range(SDR) Compatible HDR System(SL-HDR1)。
別のモードでは、マスターHDR画像自体、すなわち、例えば、5000nitの画像及びそこから100nitのSDR画像(又はディスプレイ適応を介して他の低ダイナミックレンジ画像)を計算することを可能にする関数F_Lを通信する(「HDR通信モード」)。マスターHDR通信された画像自体は、例えば、PQ EOTFを使用してエンコードできる。
図2はまた、ビデオ通信システム全体を示している。送信側では、画像源201から開始する。例えば、インターネット配信会社からのオフラインで作成されたビデオを有しているか、又は実際のブロードキャストであるかによって、これはハードディスクからテレビスタジオなどからのケーブル出力まであらゆるものであり得る。
これにより、例えば、人間のカラーグレーダーによってカラーグレーディングされた、又はカメラキャプチャの陰影が付けられたバージョン、又は自動輝度再分配アルゴリズムなどによるマスターHDRビデオ(MAST_HDR)がもたらされる。
マスターHDR画像のグレーディングに加えて、多くの場合可逆的なカラー変換関数F_ctのセットが定義される。一般化を失うことを意図せずに、これは少なくとも1つの輝度マッピング関数F_Lを含むと仮定する(ただし、さらなる関数や、例えば、ピクセルの彩度がHDRからSDRグレーディングにどのように変化する方法を指定するデータがあってもよい)。
この輝度マッピング関数は、前述のように、HDRとSDRの基準グレーディング間のマッピングを定義する(後者は、図2では、受信機に通信されるSDR画像Im_SDRであり、例えば、MPEGや他のビデオ圧縮アルゴリズムを介してデータを圧縮するかどうか)。
カラー変換器220のカラーマッピングを、ここでは既に入力されるものとして仮定されているマスターHDRビデオを取得するために生カメラフィードに適用されたものと混同してはならない。このカラー変換は、通信される画像と、同時に、輝度マッピング関数F_L内に技術的に定式化されている再グレーディングのデシデラータを取得するためのものであるためである。
模範的なSDR通信タイプ(すなわち、SDR通信モード)の場合、マスターHDR画像は、カラー変換器202に入力される。カラー変換器202は、マスターHDR画像(MAST_HDR)の輝度にF_L輝度マッピングを適用して、出力画像Im_SDRに書き込まれたすべての対応する輝度を取得するように構成されている。解明のために、この関数の形状は、人間のカラーグレーダーによって、カラーグレーディングソフトウェアを使用して、映画の類似シーンの画像のショットごとに調整されていると仮定する。適用された関数F_ct(すなわち、少なくともF_L)は、画像と共に通信される(動的、処理)メタデータに、MPEG補足強化情報データSEI(F_ct)の例、又は他の標準化された若しくは標準化されていない通信方法における類似のメタデータメカニズムに書き込まれる。
通信するHDR画像を対応するSDR画像Im_SDRとして正しく再定義した場合、これらの画像は既存のビデオ圧縮手法(例えば、MPEG HEVC、VVC、AV1など)を使用して(少なくとも、例えば、エンドユーザへのブロードキャストのために)圧縮されることが多い。これは、ビデオエンコーダ221の一部を形成するビデオ圧縮器203で実行される(ビデオエンコーダは、さまざまな形式のビデオ作成装置又はシステム内に含まれ得る)。
圧縮された画像Im_CODは、画像通信媒体205(例えば、ATSC3.0又はDVBなどに準拠する、例えば、衛星、ケーブル、又はインターネット伝送)を介して少なくとも1つの受信機に送信される(ただし、HDRビデオ信号は、例えば、2つのビデオ処理装置間のケーブルを介して通信することもできる)。
通常、通信前に、送信フォーマッタ204によってさらなる変換が行われる。送信フォーマッタ204は、システムに応じて、パケット化、変調、伝送プロトコル制御などの手法を適用する。これは通常、集積回路を適用する。
任意の受信サイトにおいて、対応するビデオ信号アンフォーマッタ206が、例えば、圧縮されたHEVC画像(すなわち、HEVC画像データ)のセットとして圧縮されたビデオを再取得するために、例えば、変調など、必要なアンフォーマット方法を適用する。
ビデオ解凍器207は、例えば、HEVC解凍を行い、ピクセル化された、圧縮されていない画像Im_USDRのストリームを取得する。この例では、画像Im_USDRはSDR画像であるが、他のモードではHDR画像である。また、ビデオ解凍器は、例えば、SEIメッセージから必要な輝度マッピング関数F_L、又は、一般的には、カラー変換関数F_ctをアンパックする。画像及び関数は、(デコーダの)カラー変換器208に入力される。カラー変換器208は、SDR画像を任意の非SDRダイナミックレンジの画像(すなわち、100nitを超える、通常は、少なくとも数倍、例えば、5倍高いPL_Vの画像)に変換するように配置されている。
例えば、5000nitの再構成されたHDR画像Im_RHDRが、MAST_HDRからIm_LDRを作成するためにエンコード側で使用されたカラー変換F_ctの逆カラー変換IF_ctを適用することにより、マスターHDR画像(MAST_HDR)の近い近似として再構成される。次に、この画像は、さらなるディスプレイ適応のために、例えば、ディスプレイ210に送られる。しかし、ディスプレイ適応された画像Im_DA_MDRは、F_L関数の代わりに、FL_DA関数(例えば、ファームウェアでは、オフラインループで決定される)をカラー変換器において使用することによって、デコード中に一気に作成できる。したがって、カラー変換器は、FL_DA関数を導出するために、ディスプレイ適応ユニット209を含んでいてもよい。
最適化された、例えば、800nitのディスプレイ適応された画像Im_DA_MDRは、ビデオデコーダ220が、例えば、セットトップボックスやコンピュータなどに含まれている場合は、例えば、ディスプレイ210に送信される。又は、デコーダが、例えば、携帯電話にある場合は、ディスプレイパネルに送信される。又は、デコーダが、例えば、インターネットに接続されたサーバなどにある場合は、映画館のプロジェクタに送信される。
図3は、HDRデコーダ(又は、通常はほぼ同じトポロジーを有しているが、逆関数を使用し、ただし、通常はディスプレイ適応を含まないエンコーダ)のカラー変換器300(すなわち、図2の208に対応している)の内部処理の有用な変形例を示している。
ピクセルの輝度(この例ではSDR画像のピクセル)は、対応するルマY’SDRとして入力される。クロミナンス、別名、クロマ成分Cb及びCrは、カラー変換器300の下側の処理経路に入力される。
ルマY’SDRは、輝度マッピング回路310によって、必要な出力輝度L’_HDR(例えば、マスターHDR再構成輝度、又は他のHDR画像輝度)にマッピングされる。輝度マッピング回路310は、メタデータと共に通信された基準輝度マッピング関数F_L(t)を入力として使用するディスプレイ適応関数計算器350から得られる、特定の画像及び最大ディスプレイ輝度PL_Dのための適切な関数、例えば、ディスプレイ適応された輝度マッピング関数FL_DA(t)を適用する。ディスプレイ適応関数計算器350は、クロミナンスの処理に適した関数を決定することもできる。ここでは、可能な入力画像ピクセルルマYの各々の乗算係数mC[Y]のセットが、例えば、カラーLUT301に保存されていると単に仮定する。
現在カラー変換されている(輝度マッピングされた)ピクセルのルマ値YでカラーLUT301をインデックス付けすると、必要な乗法係数mCがLUT出力としてもたらされる。この乗法係数mCは、乗算器302によって使用されて、現在のピクセルの2つのクロミナンス値が乗算される。すなわち、カラー変換された出力クロミナンスがもたらされる
Cbo=mC*Cb、
Cro=mC*Cr
標準測色計算を適用する固定カラーマトリキシングプロセッサ303を介して、クロミナンスを明度のない正規化された非線形のR’G’B’座標R’/L’、G’/L’、及びB’/L’に変換できる。
出力画像に適切な輝度を与えるR’G’B’座標は、乗算器311によって得られる。乗算器311は次を計算する:
R’_HDR=(R’/L’)*L’_HDR、
G’_HDR=(G’/L’)*L’_HDR、
B’_HDR=(B’/L’)*L’_HDR、
これは、カラートリプレットR’G’B’_HDRにまとめることができる。
最後に、ディスプレイマッピング回路320によって、ディスプレイに必要なフォーマットへのさらなるマッピングがあってもよい。これにより、ディスプレイ駆動カラーD_Cがもたらされる。これは、ディスプレイに望まれる測色(例えば、HLG OEFTフォーマットでも)で定式化されるだけではなく、このディスプレイマッピング回路320は、いくつかの変形例では、ディスプレイ用の特定のカラー処理を行うために配置されることがある。すなわち、ディスプレイマッピング回路320は、例えば、ピクセル輝度の一部をさらに再マッピングできる。
作成側のグレーダーが決定した可能性のある任意の可能なF_L関数に対応するFL_DA関数を導出するための適切なディスプレイ適応アルゴリズムを解明するいくつかの例は、WO2016/091406又はETSI TS 103 433-2 V1.1.1(2018-01)に教示されている。
ただし、これらのアルゴリズムは、エンドユーザのディスプレイに表示可能な最小の黒をあまり考慮しない。
実際、ゼロと言えるほど最小輝度BL_Dが小さいと見せかけると言えるかもしれない。したがって、ディスプレイ適応は、ビデオの最大輝度PL_Vと比較して、さまざまなディスプレイの最大輝度PL_Dの違いを主に考慮する。
先願のWO2016/091406の図18からわかるように、任意の入力関数(解明例では、2つの線形セグメントから形成される単純な関数)は、通常、1.0の入力及び出力輝度に正規化されたプロットにおける入力輝度の水平軸から開始して135度の角度に沿って配置されたメトリックに基づいて対角線に向かってスケーリングされる。これは、ディスプレイ適応アルゴリズムの全クラスのディスプレイ適応の一例に過ぎず、新規のディスプレイ適応概念の適用可能性を限定することを意図した態様では言及されていないことが理解されるべきである。例えば、具体的には、メトリック方向の角度は他の値であってもよい。
しかし、このメトリックと、再成形されたF_L関数、すなわち、決定されたFL_DA関数に対するそのアクションは、最大輝度PL_Vと、最適に再グレーディングされた中間ダイナミックレンジ画像が提供されるディスプレイの最大輝度PL_Dとにのみ依存する。例えば、5000nitの位置は、対角線上にあるゼロメトリック点に対応し(対角線上にある任意の位置は入力画像の可能なピクセル輝度に対応する)、100nitの位置(PBEとマークされる)は元のF_L関数の点である。
この方法の有用な変形例としてのディスプレイ適応は、可能な正規化された入力輝度Ln_in対正規化された出力輝度Ln_out(これらは、正規化された輝度に関連付けられたディスプレイの最大輝度(すなわち、PL_V値)による乗算によって実際の輝度に変換される)のプロットに対するそのアクションを示すことによって、図4にまとめられている。
例えば、ビデオ作成者は、図1で説明したように、2つの基準グレーディング間の輝度マッピング戦略を設計した。それゆえに、入力画像Ln_in、例えば、マスターHDR画像のピクセルの任意の可能な正規化された輝度について、この正規化された入力輝度は、出力画像である第2の基準グレーディングの正規化された出力輝度Ln_outにマッピングされなければならない。すべての輝度のこの再グレーディングは、人間のグレーダー又はグレーディングオートマトンによって決定される多くの異なる形状を有することができる関数F_Lに対応しており、この関数の形状は動的メタデータとして共に通信される。
ここで問題となるのは、この単純なディスプレイ適応プロトコルにおいて、中間ダイナミックレンジディスプレイのために(基準SDR画像ではなく)MDR画像にマッピングするために、F_L関数の導出された二次バージョンが有するべき形状である(ここでも入力画像としてHDR基準グレーディング画像から始まるマッピングを仮定する)。例えば、メトリックでは、例えば、800nitのディスプレイでは、50%のグレーディング効果があるべきであることを計算できる。フルの100%はマスターHDR画像から100nitのPL_V SDR画像への再グレーディングである。一般に、メトリックを使用して、ディスプレイ適応された輝度L_P_nとして示されるピクセルの任意の可能な正規化された入力輝度(Ln_in_pix)について、再グレーディングがない点と、第2の基準画像への完全な再グレーディングがある点との間の任意の点を決定できる。ディスプレイ適応された輝度L_P_nの位置は、当然ながら、入力された正規化された輝度に依存するが、出力画像に関連付けられた最大輝度の値(PL_V_out)にも依存する。
対応するディスプレイ適応された輝度マッピングFL_DAを以下のように決定できる(図4aを参照)。すべての入力輝度のうちのいずれか1つを選択する(例えば、Ln_in_pix)。これは、正規化された輝度の入力軸及び出力軸に対して等しい角度を有する対角線上の開始位置(正方形として示す)に対応する。対角線上の各点に、メトリックのスケーリングされたバージョン(スケーリングされたメトリックSM)を、それが対角線に対して直交し(又は入力軸から反時計回りに135度)、対角線において開始し、F_L曲線上の点、つまり、F_L曲線と直交するスケーリングされたメトリックSMとの交点(五角形で示す)で、その100%のレベルで終了するように配置する。メトリックの50%レベル、すなわち、中間[なお、この場合、出力画像のPL_V値は、ディスプレイ最適化された画像を供給する必要のあるディスプレイのPL_D値に設定される]に点を配置する(この例では、画像を計算する必要のあるディスプレイのこのPL_D値の場合)。すべてのLn_in値に対応する対角線上のすべての点に対してこれを行うことで、FL_DA曲線が得られ、これは元の曲線と同様に成形されており、すなわち、同じ再グレーディングを行うが、最大輝度は再スケーリング/調整されている。この関数は、Ln_inの任意の入力HDR輝度値を所与として、必要な対応する最適に再グレーディングされた/ディスプレイ適応された800nitのPL_Vピクセル輝度を計算するために適用する準備が整う。この関数FL_DAは輝度マッピング回路310によって適用される。
一般的に、このディスプレイ適応のプロパティは次のとおりである(具体的により限定的であることを意図していない)。メトリックの向きは、技術的に望ましいように事前に固定されている。図4bは、別のスケーリングされたメトリック、すなわち、垂直方向に向けられたスケールされたメトリックSMV(すなわち、正規化された入力輝度Ln_inの軸に直交している)を示している。ここでも、0%及び100%(又は1.0)は、それぞれ、再グレーディングなし(すなわち、入力画像輝度への恒等変換)及び2つの基準グレーディング画像のうちの第2の画像への再グレーディング(この例では、異なる形状の輝度マッピング関数F_L2によって関連付けられている)に対応している。
メトリック上の測定点の位置、すなわち、10%、20%などの値が存在する位置も正確に言えば変動するが、通常は非線形である。
これは、テレビディスプレイなどの技術において事前に設計されている。例えば、WO2015007505で説明されている関数を使用できる。また、a*(log(PL_V)+b)がPL_V_HDR値(例えば、5000nit)の1.0に等しく、0.0点が100nitのPL_V_SDR基準レベルに対応し、また、その逆も同様であるように、対数関数を設計することもできる。画像輝度を計算する必要がある任意のPL_V_MDRの位置は、メトリックの設計された数学的処理から得られる。
図5に、このようなメトリックの作用をまとめる。
例えば、テレビ、又はセットトップボックス内のディスプレイ適応回路510は、構成プロセッサ511を含む。構成プロセッサ511は、画像処理用の値を設定してから、入ってくる処理対象の画像のピクセルカラーを実行する。例えば、ディスプレイに最適化された出力画像PL_V_outの最大輝度値は、接続されたディスプレイからポーリングされることによってセットトップボックス内で1回設定される(すなわち、ディスプレイはその最大表示可能輝度PL_Dをセットトップボックスに通信する)。又は、回路がテレビ内にある場合は、製造業者などによって設定される。
いくつかの実施形態では、輝度マッピング関数F_Lは、入力画像ごとに異なり(他の変形例では、多数の画像に対して固定されている)、メタデータ情報源512から入力される(例えば、SEIメッセージとしてブロードキャストされたり、ブルーレイディスクといったメモリのセクタから読み取られたりする)。このデータは、正規化されたメトリック(Sm1、Sm2など)の正規化された高さを確立し、その上でPL_D値の望ましい位置をメトリックの数学的方程式から見つけることができる。
画像513が入力されると、連続するピクセル輝度(例えば、Ln_in_pix_33、Ln_in_pix_34などは、ディスプレイ適応を適用するカラー処理パイプラインを通過し、Ln_out_pix_33などの対応する出力輝度が生じる。
なお、このアプローチでは、最小の黒の輝度に特に対応するものが何もない。
これは、通常のアプローチが次のようになるためである。黒レベルは実際の視聴状況に大きく依存し、ディスプレイ特性(すなわち、最上位のPL_D)よりもさらに変動する。物理的な照明側面から人間の目の感光分子の最適な構成へと多岐にわたるあらゆる種類の効果が生じる。
したがって、「ディスプレイ用」の優れた画像を作成し、それだけである(つまり、意図したHDRディスプレイが通常のSDRディスプレイよりも明度に関してどれほど優れているかについて)。その後、必要に応じて、後で視聴状況に合わせて修正できる。これはディスプレイに委ねられる(未定義の)アドホックタスクである。
それゆえに、通常、ディスプレイは、その可変高輝度能力、すなわち、PL_Dまで、画像(ここでは、既にPL_D値に最適化されたMDR画像、すなわち、通常、PL_Dまで上昇する画像内の少なくともいくつかのピクセル領域を有する画像であると仮定する)内にコード化されたすべての必要なピクセル輝度を表示できると仮定する。これは一般的には白のクリッピングという厳しい結果に苦しむことを望んでいないためであるが、前述のように画像の黒はそれほど興味深くないことがよくある。
いずれにせよ、黒は「ほとんど」見えているので、そのうちの一部がややよく見えなくても、それは重要なことではない。少なくとも、マスターHDRグレーディングの潜在的に非常に明るいピクセル輝度をディスプレイの限られた上限範囲、例えば、200nit超、例えば、200~PL_D=600nit(例えば、5000nitまでのマスターHDR輝度の場合)に最適に入れることができる。
これは、すべての画像及び(少なくともほぼ)すべてのディスプレイについて、黒が常にゼロnitであると仮定することと似ている。白のクリッピングは、黒の一部を失うこと(この場合、あまり快適ではないにせよ、何かは依然として見える)よりもはるかに視覚的に不快なプロパティである。
しかし、このアプローチは不十分な場合がある。視聴室内でかなりの環境光(例えば、日中に、大きな窓がある、消費者テレビの視聴者がいるリビングルーム)の下では、最も暗い輝度のかなりのサブレンジが見えなくなるか、少なくとも可視性に欠ける場合があるからである。これは、薄暗いか暗い場合さえもある、ビデオが作成されるビデオ編集室の環境光の状況とは異なる。
したがって、例えば、ディスプレイに通常ある制御ボタン(いわゆる明度ボタン)を使用して、これらのピクセルの輝度を上げる必要がある。
Rec.ITU-R BT.814-4(07/2018)にあるようなテレビの電子挙動モデルを例にとると、HDRシナリオのテレビは、ルマ+クロマピクセルカラー(実際にはディスプレイを駆動している)を取得し、これらを、そのパネルを駆動するための非線形R’、G’、B’非線形駆動値に(標準的な測色計算に従って)変換する。次に、ディスプレイは、これらのR’、G’、B’非線形駆動値をPQ EOTFで処理して、表示するフロントスクリーンピクセル輝度(すなわち、例えば、PLEDパネルピクセル又はLCDピクセルの駆動方法、通常、LCD材料の電気光学的物理的挙動を説明する内部処理がまだあるが、その側面は本議論とは無関係である)を把握する。
例えば、ディスプレイの前面にある制御ノブは、ルマオフセット値b(ここでは、PLUGE又は他のテストパターンの2%上回る最小の黒のパッチが見えるようになる一方で、-2%の黒が見えないとき)を与えることができる。
元の修正されていないディスプレイ挙動は、例えば、次のとおりである:
LR_D=EOTF[max(0,R’)]=PQ[max(0,R’)]
LG_D=EOTF[max(0,G’)]=PQ[max(0,G’)]
LB_D=EOTF[max(0,B’)]=PQ[max(0,B’)] [式1]
この方程式では、LR_Dは、特定の輝度((部分)nit)を有する特定のピクセルカラーを作成するために表示される赤色の寄与の(線形)量であり、R’は、非線形ルマコード値(例えば、10ビットコーディングでは1023の値のうちの419)である。
青成分及び緑成分についても同じことが起こる。例えば、ある特定の無彩色を1nit(目に対するその色の総輝度)にする必要がある場合、例えば、1単位の青を必要とし、赤と緑についても同様である。その同じ色の100nitを作る必要がある場合、LR_D=100nitと言うことができる(その赤の視覚的重みは方程式から外される)。
次に、ルマオフセットノブを介して、このディスプレイ駆動モデルを制御すると、一般方程式は次のようになる:
LR_D_c=EOTF[max(0,a*R’+b)]、ここで、a=1-b/inv_EOTF[PL_D]などである。 [式2]
inv_EOTF[ ]は、EOTF[ ]の数学的逆方程式である。
このアプローチでは、目に見えないディスプレイの黒に隠れたどこかに画像のゼロの黒を表示するのではなく、黒が十分に区別可能になるレベルまで上げられる(なお、消費者ディスプレイでは、PLUGE以外のメカニズムを使用できる。例えば、視聴者の好みを使用でき、潜在的には、別の、場合によっては準最適ではあるが、視聴者が好んで使用可能なルマオフセットの値bがもたらされる)。
これは、最適に再グレーディングされた画像を作成した後のディスプレイの後処理ステップである。すなわち、最初に、最適に理論的に再グレーディングされた画像(例えば、再構成されたマスターHDR画像への最初のマッピング)がデコーダによって計算され、次に、例えば、550nitのPL_VのMDR画像への輝度の再マッピング、すなわち、ディスプレイの明度能力PL_Dを考慮した輝度の再マッピングが計算される。
そして、この最適な画像は、映画作成者の理想的なビジョンに従って決定された後、画像内の黒の期待される視認性を考慮して、ディスプレイによってさらにマッピングされる。
本発明者によると、問題は、これが慎重に作成されたかもしれないグレーディングのむしろ粗い操作であるということである、それゆえに、より良く見える画像を与えるより良い代替案を発明する機会があり得る。
米国特許出願公開第2019/0304379号は、ディスプレイに最適化された輝度の再グレーディングを作成するための別の技術的アプローチであり、これも環境光の量を考慮する。
システムは、LCDディスプレイパネル(例えば、閉じたピクセルが開いたピクセルの光の1000分の1に相当する量の暗いリークライトを送信している場合)のネイティブで達成可能なダイナミックレンジと組み合わせて、平均バックライト設定の適切な量(ローカルの調光によって変化し得る)を決定することに基づいている。
ディスプレイマッピングは、最適なS字形曲線の設計に基づいており、この曲線は、入力画像を記述する1つ以上の、通常は、3つのメタデータ値によって定義され、メタデータ値と共に、最適なS字形曲線は画像の受信器によって決定される。このS字形曲線のアプローチは、湿式写真撮影術時代に、より大きなダイナミックレンジのネガキャプチャからLDRプリントを作成するときにうまく機能し、デジタル時代でもうまく機能することがわかった。
例えば、中点輝度値と呼ばれる平均輝度(又は、ルマ領域で方法が適用される場合は、ルマ)を指定するメタデータは、S字形曲線の線形の傾きの形状及び位置を決定できる。入力画像がかなり暗い画像(例えば、建物があまりよく照らされていない夜間)である場合、HDR入力レンジの低い輝度を出力レンジ(例えば、LDRでは20~60nit)の中央にマッピングして、より低いダイナミックレンジのディスプレイできれいに見えるようにすることを読者は理解できる。同様に、入力画像の最大輝度メタデータは、S字形曲線が上端で安定状態を開始する必要がある場所を決定するのに役立る。最大値が平均値よりもはるかに高い場合(最終的には最大60nitまで表示する必要がある)、ハイライト用に使用可能である40nitしか残っていない場合は、輝度の入力レンジの早い段階でS字形曲線の上部のソフトクリッピングを開始する必要がある(これは、非常に明るいピクセルがあまり多くない場合、例えば、金属オブジェクトのシーン照明を反射するいくつかの光沢のあるパッチがある場合に特にうまく機能する)。
同様の種類のテーパリングが、輝度マッピングのS字形曲線の下端(S字形曲線のフット又はトウと呼ばれることもある)の段階的なクリッピングを決定することによって、利用可能なより低いレンジ、つまり、20nit未満の出力輝度に対して行われる。
したがって、このディスプレイ適応方法(又は、米国第’379号で呼ばれるようにディスプレイ管理方法)は、あらゆる種類の入力画像でうまく機能するが、入力画像が作成されたのと同じ視聴環境で、ダイナミックレンジがより小さいディスプレイのために画像がダウングレードされていることを前提としている(例えば、グレーディングブースの周囲光/環境光において、すなわち、制御された低い照明で暗くされて、4000nitのグレーディングディスプレイでグレーディングされる)。
任意の視聴環境に対しても一般化するという考えは、グレーディングされたマスター入力HDR画像を、グレーディングブースが異なる態様で(例えば、日中の電車内の光の量で)照らされた場合に、それがグレーディングされるべきであったように変更することに基づく戦略を設計することである。このグレーディングされたマスター画像の再定義は、仮想画像と呼ぶ。
ここでも、これは単なる画像なので、まったく同じディスプレイ適応を使用できる。
そのマスター/入力画像は、より明るい環境のために明るくされる(最も暗いものから最大のものまで、すべての輝度が高くなる)。それゆえに、標準のS字形曲線のディスプレイ管理後も、環境光レベルが基準の薄暗い光レベルのままの場合、ダイナミックレンジがより小さいエンドディスプレイでは明るすぎるように見える。しかし、両方とも新しい光のレベルでは良く見える。アプローチの再定義された明るくされた(仮想)入力画像の新しいメタデータ(最小、中点、最大)を計算することを忘れてはならない。
このアプローチは、正確に言えば、必要に応じてほとんどすべての形状のメタデータで指定可能な基準輝度マッピング関数のさまざまな点に沿って配置できる、メトリックに沿った位置決めを可能にする、単一の制御値を使用するシステムとは異なるため、メトリックのこれらの点で新しい(調整された)曲線の点を見つけることができ、黒の値で再定義しながら、最大輝度に基づく制御値ではない。
「High Dynamic range television for production and international program exchange」(質問ITU-R142-2/6)と名付けられたITU無線通信研究委員会の2017年3月27日の文書6/115-E(報告書BT.2390-1の作業部会6Cの改訂)には、次のように教示されている。
基準ディスプレイに表示される基準視聴環境の画像は、基準OOTFを芸術的な調整(クリエイティブな意図)で変化させることによって作成される。受信側の画像は、非基準視聴環境における非基準ディスプレイ用にディスプレイ調整される。基準OOTFは、直接カメラキャプチャを最適化する。このカメラキャプチャは、シーンの相対的な輝度測定にすぎないが、典型的なディスプレイ用の良い画像の外観としては最適ではない。このアプローチは、知覚量子化器HDRコーディングシステムに適用できる。つまり、芸術的に最適化されたピクセル輝度は、HDR画像(/ビデオ)通信の前にPQルマとしてエンコードできる。
カメラ画像の大まかな平均グレーディングを行うカメラ側のOOTFに加えて、ハイダイナミックレンジで作成された画像をより小さいダイナミックレンジのディスプレイに適応させるために適用されるEETFが定義される(輝度マッピングを計算するためのルマからルマへのマッピングとして)。コード化可能なPQレンジは、1/10000nitほどの暗さ及び潜在的に10,000nitほどの明るさのピクセル輝度を有する画像をコード化することを可能にし、典型的なHDRディスプレイは現在0.01~1000nitで表示するため、固定された再マッピング曲線が提示される。しかし、0.01nitがそのようなディスプレイ(例えば、購入可能な消費者テレビ)の黒を特徴付けるのに対し、さまざまな環境光レベルと画面反射の前面の下では、最小達成可能な黒は、例えば、0.1nitとなる。したがって、さまざまな最小黒レベルから開始するシナリオに対して同じS字形曲線を計算できる。利用可能なディスプレイレンジに特定の曲線をマッピングすることは、正確に言えば、ディスプレイ適応アルゴリズムに続くメトリックベースの関数形状の制御パラメータの変更とは非常に異なる。
図6は、カラー変換回路600に具現化された環境光レベル適応処理を示している。このような回路は通常、テレビ信号受信機のHDRビデオデコーダ内にある(例えば、ブロードキャスト、インターネット経由のビデオ配信など)。物理的には、テレビのディスプレイ、携帯電話、受信装置(セットトップボックスなど)などにあってもよい。画像ピクセルカラーは、1つずつで現れ、PQ領域では、ルマY’とクロマCb、Crでエンコードされていると仮定する(すなわち、ルマは、知覚量子化器の逆EOTFを適用することで、非線形の赤色、緑色、及び青色の成分から計算され、クロマはビデオカラーの通常の測色定義に従って計算される)。
ルマ成分Y’(図1の左端の軸上のようにHDR画像のルマであると仮定する)は、輝度マッピング回路(310)によって処理される。
メタデータ入力として、基準輝度マッピング関数F_Lを取得する。これは、二次基準画像を生成する必要がある場合、また、環境光レベル、すなわち、ディスプレイ上の最小の判別可能な黒について補正がない場合、適用する関数である。
輝度マッピング関数計算回路(611)の目的は、適切なディスプレイ及び環境適応マッピング関数(FL_DA(t))を決定することである。ここで、時間tは、ディスプレイ又は視聴環境が変化するためではなく、ビデオ画像のコンテンツが、輝度分布に関して変化する(次に続く画像について異なる輝度再グレーディング関数が通常必要となる)ため、通常は、時間の経過と共に変化し得ることを示す。
この関数FL_DA(t)は、正しい領域で指定されている場合(例えば、PQルマ上の同等の関数として)、輝度マッピング回路(310)によって入力ルマY’に直接適用して、必要な出力ルマ、すなわち、輝度L’_HDRを生成できる。すなわち、輝度マッピング関数計算回路(611)から輝度マッピング回路(310)に通信され、後者のメモリに、通常はカラー処理される新しい画像の始まりに保存され、その前に新しい関数が保存される。
輝度マッピング関数計算回路(611)は、その計算を実行するためには、次のデータが必要である。すなわち、基準輝度マッピング関数F_L、接続されているディスプレイの最大輝度(PL_D)、及び黒レベル値(b)が必要である。黒レベル値(b)は、PQルマコード値か、PQルマに変換可能なnit単位での輝度として通信される。後者の2つはメタデータメモリ602から来る。例えば、接続されたディスプレイから直接来る。カラー処理の残りの部分は、この既に説明した、解明しているにすぎない実施形態では、上述のとおりである(例えば、本革新は主に輝度部分に関係しているため、異なるカラー処理トラックがあり得る)。
輝度マッピング関数計算回路(611)は、F_L関数に基づいてFL_DA関数を導出するために構成されたディスプレイマッピングアルゴリズムを実行する前に、新しい(調整された)最大輝度値(PLA)を計算する必要がある。明確にすると、これはディスプレイの実際の最大値(すなわち、PL_D)ではなく、(図4及び図5で説明したように)他の点では変化のないディスプレイ適応アルゴリズムにおいて、PL_D値であるかのように機能する値にすぎない。
輝度マッピング関数計算回路(611)は以下を計算する:
PLA=EOTF(inverse_EOTF(PL_D)-b) [式3]
前述のように、好ましくは、適用されるEOTFは知覚量子化器EOTF(EOTF_PQ)である。しかし、他のEOTFも、特にそれらが視覚心理的に合理的に均一である場合、すなわち、k個のルマコードのステップが、このステップが適用される開始ルマレベルlに関係なく、ある程度の視覚的差異としてほぼ示すならば、同様に機能する。
その後、好ましい実施形態では、さらなる処理、すなわち、黒レベル値bへの再位置決めが実行される。これを達成するために、ディスプレイマッピング回路320もディスプレイ黒レベル値b、すなわち、この視聴環境状況のために受信する。ディスプレイマッピング回路320は、一般的に特定のディスプレイに必要なピクセルカラー出力信号(すなわち、ディスプレイ駆動カラーD_C)を準備するため、いくつかの処理機能を有し得る。実現のための有用な態様は、PQ領域で機能することである。すなわち、ディスプレイは、例えば、PQタイプのR‘G’B’値(又はそこから派生するY’CbCr値)を取得することを望む。したがって、この構成要素は内部でPQ領域でも機能する。R’G’B’_HDR値は別の領域にあってもよく(例えば、それらは線形であってもよい)、その場合、ディスプレイマッピング回路320は内部でPQへの変換(前述のように、SMPTEで指定された標準化された手法で行われる)を行う。
次の3つのPQ領域カラー成分に対して追加を行う:
R’_out=a*R’+b;
G’_out=a*G’+b;
B’_out=a*B’+b; [式4]
ここでも、定数aは、信号の白を表示可能な白にするために、スケーリング係数であり得るが、クリッピングや非線形方程式などの他のアプローチも使用できる(なお、Y’は、標準の合意された定義では、R’G’B’カラー成分と、合計が1になる3つの重みとの線形結合であるため、Y’_out=Y’+bも有する)。
次に、これらの出力信号は、D_C出力を構成する。例えば、:
D_C={R’_out,G’_out,B’_out}。
bを追加するこのアプローチには、最も暗い色が視認性閾値から始まるという利点があるが、この方法はまた、式3のみ(すなわち、異なる白設定調整のみ)を適用する場合にも有用である。これはすでに特に画像のコントラストを高めるためである。
図7は、処理における異なるカラー領域を解明するのにさらに役立つ。
通常、カラーがPQ領域で表現される場合、処理の最初の部分はPQ領域にある(注:彩色処理、すなわち、輝度ではなく、適切なカラータイプ(例えば、飽和黄色)は、独立して構成可能な処理パスであるが、それはPQ領域でも行われ得る)。図7では、カラー空間変換回路711を明示的に含めた。これは、PQルマを線形輝度Ylinに変換する。これは、通常、内部で他のカラー空間変換をいずれにせよ行い得るため、輝度マッピング回路310の関数でもすぐに実行できる(出願人は、ディスプレイ最適な視覚心理的に均一化されたカラー空間で、再グレーディング関数定義を指定することが有用であることを見出しており、他のすべての処理も従う)が、その態様は本革新に必須ではなく、それゆえに、これをさらに掘り下げて調べることによって混乱しないようにする。サブ回路(又は処理部)701において処理がPQで始まり、サブ回路702においてR’G’B’_HDRに対するYlinとL’_HDRとの間でエンドツーエンドが線形であり、ディスプレイマッピング回路320に対してサブ回路703においてPQ領域に再変換されると仮定する。ここで必要な出力フォーマットが生成され、本革新によれば、黒レベルの追加の補正がPQ領域で行われる(当業者は、この好ましい解明実施形態以外の領域でもこの原理を適用できることを理解する)。
最後に、最適化された画像とそのピクセルカラーを通信するための出力コネクタ699がある。画像入力コネクタ601と同様に、出力コネクタは、例えば、HDMI(登録商標)ケーブル、ワイヤレスチャネルアンテナへの接続など、画像を通信するために利用可能なさまざまな技術に物理的に及ぶ。メタデータ入力は別個の入力であってもよいが、有利には、このメタデータは、画像カラーデータ、すなわち、例えば、MPEGビデオに組み込まれたSEIメッセージと共に、インターネット接続を介して、又はHDMI(登録商標)ケーブル経由の別個のデータパッケージなどを介して通信される。
図8は、輝度マッピングの本方法がどのように機能するかと、既存の方法と比べて優れている利点とについて解明する。
図8bの左端の輝度軸上には、5000nitのHDR画像内に表されたときのさまざまな画像オブジェクトの平均輝度が示されている。画像の幾何学的構造は、図8aに示されている。これは、マスターグレーディング画像、すなわち、シーンの最高品質画像であり、通常は第1の基準画像として2倍になり得、また、それを入力画像であると仮定できる(入力画像は、例えば、放送局によって通信され、本例では、600nitのPL_Dのディスプレイに合わせて最適化された600nitのMDR画像へのカラー変換を実行するテレビディスプレイで受信される。600nitのPL_Dのディスプレイに対して出力画像が出力される)。
画像(又はビデオ/映画)作成者は、警察車の懐中電灯を、4000nitなど、非常に明るくすることを決定できる。(例えば、夜間のシーンの)家の窓から見える照明のない内部部分を、外の街灯によってのみ照らされていることでかなり薄暗くすることができる。マスター画像を作成するとき、マスター画像は、消費者の薄暗いリビングルームなど、小型のランプしかない最良の視聴環境用に作られている。このような状況下では、視聴者は多くの異なる暗い色を見ることができるため、理想的には、マスター画像には、これらの屋内ピクセルすべての情報が含まれているべきである。したがって、屋内のオブジェクト構造は、例えば、2nitの平均値(場合によっては0.01nitまで下げられてもよい)の周辺でマスター画像内にエンコードされる。次に、問題は、隣人が同じ映画、すなわち、同じ暗いピクセルを含む、同じ通信された5000マスターHDR画像を、非常に明るい部屋で、場合によっては日中に観ることである。この隣人は、最も暗いピクセルを見ることができないかもしれないが、場合によっては、おそらく7nitより暗いものは何も見えない。
図8bの右側は、受信した基準画像をMDR画像に適応させる方法を示している。このMDR画像は、最大輝度が低いだけでなく、より重要なことには、本教示では、(MDR画像が同じ5000nitの最大値を有していても)、黒レベル値bがより高い、例えば、7nitである。
方法METH1は、式2を用いて上で説明した方法であり、当業者が通常問題を解決し得る方法である。つまり、見えない暗いピクセルがいくつかあることを確認し、それゆえに、すべてを黒レベルbより上の可視レンジ内に入れる。
これがどのように機能するかは、20nitの窓と、さらに、図8cの第1のヒストグラム810とで示されている。20nitへのシフトはやや大きく、結果として得られるMDR画像の視覚的コントラストが準最適になる。さらに、この補正方法では、暗いレベルのオフセット補正をかなり遠くまで広げ、実際にはレンジ全体にわたって広げ、そのため、例えば、人の中間輝度もより明るい値に大幅にシフトする(これは、これらの領域(すなわち、画像のコントラスト全体)に準最適な影響を与える可能性もある)。これは、従来の方法のヒストグラムにおける暗いオブジェクト及び中間の明るさのオブジェクトのヒストグラムローブの第2のヒストグラム820に対するシフトからわかる。第2のヒストグラム820は、METH2とラベルされた輝度軸と共に、新しい本アプローチを表している。
画像が、概して、より現実的なコントラストでより良く見えるだけでなく、この方法をディスプレイ適応プロセスに適用することで、映画作成者のデシデラータにより現実的に従うことができる。すなわち、特に、基準再グレーディング輝度マッピング関数F_Lに表されるように従うことができる。例えば、グレーダーはこの関数を指定でき、したがって、最も暗い輝度のサブレンジ、例えば、屋内ピクセルは、より低い最大輝度にマッピングされるときに大幅にブーストされる。一方で、車の輝度が収まるHDR輝度サブレンジにおけるマッピングの局所の傾きは低いままであることが可能である。グレーダーは、このストーリーでは、家の内部が重要であることを示すことができる(内部が重要ではなく、目に見えない黒に単に埋もれているシナリオと比較して)。そのため、輝度マッピングが徐々に低くなる最大輝度画像に行われるたびに、利用可能な輝度の徐々に大きくなる正規化されたサブレンジが、最も暗い屋内ピクセルに使用されるため、薄暗いディスプレイでも比較的よく見えるようになる(この場合は、より明るいディスプレイでも比較的よく見えるが、暗いピクセルの視認性は低くなる)。本アプローチは、可能な限り正確にこれらの技術的なデシデラータに従うことができる。理想的な利用可能な状況へのマッピング、すなわち、0nitからPL_Dnitの再分配は行わないが、実際に利用可能な輝度b nitからPL_Dnitへの再分配は行い、そして、F_L関数において通信されるこのレンジを、コンテンツ作成者が意図したとおりにできるだけ良好に最適に使用する。これは通常、視聴者にとっては満足できるものである。これは少なくともエレガントで難しくはない実用的な方法である。
EOTF_PQの非線形性の側面を示す数値例が示されている。最も低いルマは、かなり高い値まで、非常に薄暗い輝度に対応する。したがって、比較的明るい暗いレベルは、通常、比較的高いルマ値に対応する。したがって、PLA値はPL_D値と比較して大幅に低くなるが、本方法では依然として最適に使用する。例えば、PL_D=1000nit、EOTF_PQ(b)=0.3nitとする。この場合、PQルマとしてのbは、0.097*1023=99となる。Inverse_EOTF(1000)は0.75*1023=767となる。これら2つの差は668になる。
ここで問題となるのは、このルマレベルが、ディスプレイ適応を制御するために調整されたどの白レベルに対応しているかである。
EOTF_PQ(668/1023)=EOTF_PQ(0.65)=408nit。それゆえに、このようなディスプレイ及び視聴環境の明度のPLA値(ディスプレイ画面上の最小視認性として定量化された)は408nitである。この値は、輝度マッピング関数計算回路(611)が使用するディスプレイ適応のいずれかの実施形態に入力され、正しいディスプレイ適応された輝度マッピング関数FL_DAが生成される。この関数は、ディスプレイに最適化されているだけでなく、視聴環境にも最適化されている。
本テキストに開示されているアルゴリズム構成要素は、実際にはハードウェア(例えば、特定用途向けICの一部)として、又は特殊なデジタル信号プロセッサ若しくは汎用プロセッサなどで動作するソフトウェアとして(全体的又は部分的に)実現され得る。
当業者は、どの構成要素が任意選択の改良点であり、他の構成要素と組み合わせて実現できるか、また、方法の(任意選択の)ステップが装置のそれぞれの手段にどのように対応しているか、又は同様にその逆も本提案説明から理解可能であるべきである。本出願における単語「装置」は、最も広い意味で使用される。つまり、特定の目的を実現することを可能にする手段のグループであり、したがって、例えば、IC若しくは専用の機器(例えば、ディスプレイ付きの機器)(の小さな回路部分)であっても、ネットワーク化されたシステムの一部などであってもよい。「配置」も最も広い意味で使用されることを意図しているため、特に単一の装置、装置の一部、協力する装置(の一部)の集合などを含み得る。
コンピュータプログラム製品の明示的意味は、一連のロードステップ(中間言語及び最終プロセッサ言語への翻訳などの中間変換ステップを含み得る)後に、汎用又は特殊目的プロセッサが、プロセッサにコマンドを入力し、本発明の特徴的な機能のいずれかを実行することを可能にするコマンドの集合の任意の物理的な具現化を包含すると理解されるべきである。特に、コンピュータプログラム製品は、例えば、ディスクやテープなどの担体上のデータ、メモリ内に存在するデータ、ネットワーク接続(有線又は無線)経由のデータ、又は紙に記載されたプログラムコードとして実現される。プログラムコードとは別に、プログラムに必要な特性データもコンピュータプログラム製品として具現化され得る。
方法の操作に必要なステップの一部は、データ入力ステップやデータ出力ステップなど、コンピュータプログラム製品に記述されているのではなく、プロセッサの機能にすでに存在している場合がある。
なお、上記の実施形態は、本発明を限定するものではなく、例示するものである。当業者が、提示された実施例の、特許請求の範囲の他の領域へのマッピングを容易に実現することができる場合は、簡潔さのためにこれらのオプションのすべてを掘り下げては言及していない。特許請求の範囲において組み合わされた本発明の要素の組み合わせ以外にも、要素の他の組み合わせが可能である。要素の任意の組み合わせは、単一の専用要素において実現できる。
特許請求の範囲における括弧間の任意の参照記号は、請求項を限定することを目的としたものではない。単語「含む」は、請求項に列挙されていない要素又は態様の存在を排除するものではない。単数形の要素は、当該要素が複数存在することを排除するものではない。