JP5254466B2 - ハイダイナミックレンジイメージ合成 - Google Patents

Description

分野

本開示は、一般的には、ハイダイナミックレンジイメージ合成(high dynamic range image combining)に関する。

関連技術の説明

技術の進歩は、より小さく、より高性能なコンピューティングデバイスをもたらしてきた。例えば、現在、様々なポータブルパーソナルコンピューティングデバイスが存在しており、小さく、軽量で、ユーザが持ち運ぶことが簡単な、ポータブルワイヤレス電話、携帯情報端末（ＰＤＡ）、そしてページングデバイス、のようなワイヤレスコンピューティングデバイスを含む。より具体的には、ポータブルワイヤレス電話、例えばセルラ電話とインターネットプロトコル（ＩＰ）電話は、ワイヤレスネットワーク上で音声及びデータパケットを通信することができる。さらに、多くのそのようなワイヤレス電話は、ここに組込まれる他のタイプのデバイスを含んでいてもよい。例えば、ワイヤレス電話はまた、デジタル静止カメラ、デジタルビデオカメラ、デジタルレコーダ、およびオーディオファイルプレイヤーを含むことができる。また、そのようなワイヤレス電話は、インターネットにアクセスするために使用されることができる、ウェブブラウザアプリケーションのようなソフトウェアアプリケーションを含む実行可能な命令を処理することができる。そのため、これらのワイヤレス電話は、重要なコンピューティング機能を含むことができる。

デジタル信号プロセッサ（ＤＳＰ）、イメージプロセッサ、および他の処理デバイスは、デジタルカメラを含む、または、デジタルカメラによってキャプチャされるイメージまたはビデオデータをディスプレイする、ポータブルパーソナルコンピューティングデバイスにおいてしばしば使用されている。そのような処理デバイスは、ビデオ及びオーディオ機能を提供するために使用されることができ、キャプチャされるイメージデータのような受信データを処理する、または、他の機能を実行する。

デジタルカメラによってキャプチャされたイメージデータまたはビデオデータのダイナミックレンジは、正確に解像されることができる最も高い光レベルと最も低い光レベルとの比を示す。イメージのダイナミックレンジは、イメージの露光時間に応じて変わる。イメージは、２つの異なる露光時間を使用してキャプチャされることができ、イメージデータの結果として生じるセットは、ハイダイナミックレンジ（ＨＤＲ;high dynamic range）イメージを生成するために合成されることができる。結果として生じるＨＤＲイメージは、異なる露光時間を伴う異なるイメージの合成に起因して高められたコントラスト(enhanced contrast)を提供することができるが、多くのディスプレイまたはデータトランスポート基準は、結果として生じるＨＤＲイメージの増加しつつあるデータ必要要件をサポートしない。

具体的な実施形態では、イメージセンサから第１のイメージデータを受信することを含む方法が開示されている。第１のイメージデータは、第１の露光時間を使用して生成される。方法は、イメージセンサから第２のイメージデータを受信することを含み、なお、第２のイメージデータは、第１の露光時間よりも大きい第２の露光時間を使用して生成される。方法は、スケーリングされた第１のイメージデータを生成するために、第２の露光時間と第１の露光時間の比に基づいて第１のイメージデータの輝度値をスケーリングすることを含む。方法はまた、ハイダイナミックレンジ（ＨＤＲ）イメージを生成するためにスケーリングされた第１のイメージデータの第１の有効ダイナミックレンジと第２のイメージの第２の有効ダイナミックレンジとの間のオーバーラップに基づいて、スケーリングされた第１のイメージデータと第２のイメージデータとを選択的に合成することとを含む。方法はまた、ＨＤＲイメージのダイナミックレンジを圧縮するためにトーンマッピング（tone mapping）を生成することを含む。トーンマッピングを生成することは、ＨＤＲイメージの各ピクセルの近隣内の輝度偏差(luminance variation)に基づいて全体的トーンマッピング値(global tone mapping value)と局所的トーンマッピング値(local tone mapping value)とのピクセル・バイ・ピクセル重み付け（pixel-by-pixel weighting）を決定することを含む。方法は、ディスプレイデバイスにおいてディスプレイされるべきＨＤＲイメージの圧縮されたダイナミックレンジを有するトーンマッピングされるイメージを提供することをさらに含む。

別の実施形態では、第２のイメージデータを生成するために第１のイメージデータの輝度分布に基づいて第１のイメージデータの第１の輝度値を調節することを含む方法が開示されている。方法はまた、局所的に調節されたイメージデータを生成するために、第２のイメージデータの領域（region）の局所的輝度分布に基づいて第２のイメージデータの領域の第２の輝度値を調節することを含む。方法はさらに、第１のイメージデータよりも小さいダイナミックレンジを有する第３のイメージデータを生成することを含む。第２のイメージデータの領域に対応する第３のイメージデータの輝度値は、領域内の第２のイメージデータの輝度偏差に基づいて、第２のイメージデータの領域内で、局所的に調節されるイメージデータと第２のイメージデータとを合成することによって決定される。

別の実施形態では、プロセッサと、プロセッサにアクセス可能なメモリとを含むワイヤレスデバイスが開示されている。ワイヤレスデバイスはまた、カメラとディスプレイデバイスとを含む。プロセッサは、特定ピクセルの近隣内の輝度偏差に基づいてイメージデータの複数のピクセルの各特定ピクセルのトーンマッピングされるピクセル値を含んでいるトーンマッピングされるイメージデータを生成するように構成される。イメージデータは、カメラにおけるイメージキャプチャに対応する。プロセッサはまた、ディスプレイデバイスにおけるディスプレイのためのトーンマッピングされるイメージデータを提供するように構成される。

別の実施形態では、特定ピクセルの近隣内の輝度偏差に基づいてイメージデータの複数のピクセルの各特定ピクセルのトーンマッピングされるピクセル値を含んでいるトーンマッピングされるイメージデータを生成するための手段を含む装置が開示されている。イメージデータは、カメラにおいてキャプチャされるイメージに対応する。本装置はまた、ディスプレイのためのトーンマッピングされるイメージデータを提供するための手段を含む。

別の実施形態では、イメージの領域内で第１の全体的にマッピングされる輝度値を生成するように構成される全体的マッピングモジュールを含むデバイスが開示されている。デバイスはまた、イメージの領域内で第２の局所的にマッピングされる輝度値を生成するように構成される局所的マッピングモジュールを含む。デバイスはさらに、第１の全体的にマッピングされる輝度値と第２の局所的にマッピングされる輝度値との重み付けられた和を使用して、出力イメージの対応する領域内で輝度値を決定するように構成される。重み付けられた和の重みは、イメージの領域内の輝度偏差に少なくとも部分的に基づいている。

別の実施形態では、実行されるときに、プロセッサに第１のイメージデータを受信させ、そして、第１のイメージデータの輝度分布に基づいて第２のイメージデータを生成させる実行可能な命令を含むコンピュータ可読媒体が開示されている。実行可能な命令は、実行されるときに、プロセッサに、第２のイメージデータの領域内の局所的輝度分布に基づいて局所的に調節されたイメージデータを生成させ、そして、第１のイメージデータよりも小さいダイナミックレンジを有する第３のイメージデータを生成させる。第２のイメージデータの領域に対応する第３のイメージデータの領域の輝度値は、第２のイメージデータの領域内の第２のイメージデータの輝度偏差に基づいて、局所的に調節されるイメージデータと第２のイメージデータとを合成することによって決定される。

ハイダイナミックイメージ合成の実施形態によって提供されるひとつの具体的な利点は、より低いダイナミックレンジイメージトランスポートおよびディスプレイメカニズムに準拠している、高められたコントラストイメージである。

本開示の他の態様、利益、および特徴は、下記のセクション:図面の簡単な説明、詳細な説明、および特許請求の範囲を含んでいる出願の全体の検討の後で明らかとなるであろう。

図１は、ハイダイナミックレンジ（ＨＤＲ）合成モジュールとＨＤＲ圧縮モジュールとを有するイメージ処理システムを含んでいるシステムの具体的な説明のための実施形態のブロック図である。 図２は、ハイダイナミックレンジイメージ合成システムの第１の説明のための実施形態のブロック図である。 図３は、ハイダイナミックレンジイメージ合成システムの第２の説明のための実施形態のブロック図である。 図４は、ハイダイナミックレンジイメージ合成システムの第３の説明のための実施形態のブロック図である。 図５は、イメージレジストレーションおよび合成システムのブロック図である。 図６は、ハイダイナミックレンジイメージを生成するためにイメージを合成する説明のための実施形態の一般図である。 図７は、ハイダイナミックレンジイメージデータを圧縮する方法の説明のための実施形態のフロー図である。 図８は、ハイダイナミックレンジイメージ合成の方法の第１の説明のための実施形態のフロー図である。 図９は、ハイダイナミックレンジイメージ合成の方法の第２の説明のための実施形態のフロー図である。 図１０は、ハイダイナミックレンジイメージ合成の方法の第３の説明のための実施形態のフロー図である。 図１１は、ハイダイナミックレンジイメージ合成モジュールを含んでいるデバイスの具体的な実施形態のブロック図である。 図１２は、ハイダイナミックレンジイメージ合成モジュールを含んでいるワイヤレス通信デバイスのブロック図である。

詳細な説明

図１は、ハイダイナミックレンジ（ＨＤＲ）合成モジュールと局所的および全体的マッピングを使用しているＨＤＲ圧縮モジュールとを有するイメージ処理システムを含んでいるシステムの具体的な説明のための実施形態のブロック図である。システム１００は、イメージ処理システム１３０に結合されるイメージキャプチャデバイス１０１を含む。イメージ処理システム１３０は、イメージストレージデバイス１４０とディスプレイデバイス１７０に結合される。イメージ処理システム１３０は、異なる露光時間を使用してイメージキャプチャデバイス１０１から複数セットのイメージデータ１０９を受信するように、そして、ローダイナミックレンジ（ＬＤＲ）トランスポート、ストレージ、そしてディスプレイメカニズムと互換性を有するＨＤＲイメージを作成するように、構成される。一般的に、システム１００は、相対的に制限される処理リソースを使用してリアルタイムイメージ処理を実行するように構成される電子デバイスにおいてインプリメントされる。

具体的な実施形態では、イメージキャプチャデバイス１０１は、ビデオカメラまたは静止カメラのようなカメラである。イメージキャプチャデバイス１０１は、焦点モジュール１０４と露光モジュール１０６とに応答するレンズ１０２を含む。センサ１０８は、レンズ１０２を介して受信するように、レンズ１０２を介して受信されるイメージに応じてイメージデータ１０９を生成するように、結合される。焦点モジュール１０４は、センサ１０８に応答することができ、レンズ１０２の焦点を自動的に制御するように適応されることができる。露光モジュール１０６はまた、センサ１０８に反応することができ、イメージの露光を制御するように、そして、ＨＤＲイメージへと合成されるべき複数のイメージの露光を変更するように、適応されることができる。具体的な実施形態では、センサ１０８は、隣接する検出器が異なる光の色を検出するように配置される複数の検出器またはピクセルウェル(pixel wells)を含む。例えば、受信した光は、各検出器が赤、緑、または青の入射光を受信するように、フィルタにかけられる。

イメージキャプチャデバイス１０１は、イメージ処理システム１３０に対してイメージデータ１０９を提供するように結合される。イメージ処理システム１３０は、センサ１０８から受信されるイメージデータ１０９に対してデモザイクオペレーションを実行する、デモザイクモジュール１１０を含む。色及びガンマ補正モジュール(color and gamma correction module)１１２は、デモザイクされるイメージデータに対して色補正を実行するように、そして、ガンマ補正されるイメージデータを生成するように、構成される。色変換モジュール１１４は、ガンマ補正されるイメージデータに対して色空間変換を実行するように結合される。

イメージ処理システム１３０はまた、ハイダイナミックレンジ（ＨＤＲ）合成モジュール１１６と局所的マッピングと全体的マッピングを使用しているＨＤＲ圧縮モジュール１１８とを含む。ＨＤＲ合成モジュール１１６は、短くされた露光時間を使用してキャプチャされる第１のローダイナミックレンジイメージ１６０を、より長い露光時間を使用してキャプチャされる第２のローダイナミックレンジイメージ１６２で合成するように構成される。ローダイナミックレンジ（ＬＤＲ）イメージ１６０および１６２は、ハイダイナミックレンジイメージ１６４を形成するために合成される。局所的および全体的マッピング１１８を使用しているＨＤＲ圧縮モジュールは、例えば、ジョイントフォトグラフィックエキスパートグループ(Joint Photographic Experts Group)(ＪＰＥＧ）符号化、または、ディスプレイデバイス１７０のようなディスプレイデバイスのようなトランスポート層に準拠するビットレンジに、ハイダイナミックレンジイメージ１６４を圧縮するように構成される。ＨＤＲ合成と局所的および全体的マッピングを使用しているＨＤＲ圧縮の説明のための実施形態が図２−１０について説明されている。

圧縮および保存モジュール１２０は、ＨＤＲ圧縮モジュール１１８の出力を受信するように、圧縮されるＨＤＲファイル１６６としてイメージストレージデバイス１４０において出力データを保存するように、結合される。例えば、圧縮および保存モジュール１２０は、ＪＰＥＧ符号化を使用するように構成され、保存されるべきＨＤＲ圧縮モジュール１１８の出力を符号化することができる。イメージストレージデバイス１４０は、１つまたは複数のディスプレイバッファ、レジスタ、キャッシュ、フラッシュメモリエレメント、ハードディスク、いずれの他のストレージデバイス、またはそれらのいずれの組み合わせのようないずれのタイプの保存媒体を含むことができる。イメージストレージデバイス１４０はディスプレイデバイス１７０に対してアクセス可能であるので、圧縮されたＨＤＲファイル１６６は、ディスプレイデバイス１７０におけるＨＤＲイメージ１６８としてディスプレイを検索することが可能である。

オペレーションの間に、システム１００は、代表図１５０の少なくとも２つのイメージキャプチャオペレーションを実行することができる。イメージ１５０は、太陽で示されている明るい領域と木の影で示されている暗い領域を含む。ローダイナミックレンジイメージ１６０は、センサ１０８での短くなった露光時間に応じてキャプチャされるイメージデータを含むことができる。短くなった露光時間は、イメージ１５０のより明るい領域内で詳細をセンサ１０８がキャプチャすることを可能にする。例えば、短くなった露光時間は、木の影のようなより暗いエリアの詳細がキャプチャされないという結果で、太陽の領域においてセンサピクセルの飽和を防ぐことができる。他方で、第２のローダイナミックレンジイメージ１６２は、イメージ１６０の露光時間の２倍のようなより長い露光時間で、センサ１０８によってキャプチャされたイメージデータを含むことができる。より長い露光時間は、センサ１０８がイメージ１５０のより暗い部分の詳細をキャプチャすることを可能にするが、明るい領域の近くにあるセンサ１０８のピクセルを飽和させる。

結果、第１のＬＤＲイメージ１６０は、明るいエリアの中のコントラストを提供するがより暗いエリアでは提供せず、第２のＬＤＲイメージ１６２は、暗いエリアにおいてコントラストを提供するが明るいエリアは色あせる(washed out)または不明瞭(indistinct)であるように見える可能性がある。ハイダイナミックレンジイメージ１６４を作成するためにローダイナミックレンジイメージ１６０および１６２を合成することによって、イメージ処理システム１３０は、太陽の周りの明るいエリアの詳細、また、木の影の周りの暗いエリアの詳細をイメージデータが含むことを可能にする。しかしながら、結果として起こるＨＤＲイメージ１６４は、ＪＰＥＧ層のようなトランスポート層によって、または、ディスプレイデバイス１７０のようなディスプレイデバイスによって、サポートされるよりも実質的により多くの情報を必要とすることができる。例えば、ローダイナミックレンジイメージ１６０および１６２の両方が、例えば０−２５５の範囲を有する８ビット値のようなピクセル輝度値を表すことができる場合、ＨＤＲイメージ１６４は、例えば０−６５，５３５の範囲に適応する、１６ビット値を使用してピクセル輝度値を表すことができる。しかしながら、ディスプレイデバイス１７０は、ピクセル当たりの８ビットの輝度値のみをサポートすることができる。したがって、ＨＤＲイメージ１６４の１６ビット輝度値は、ディスプレイデバイス１７０においてディスプレイ可能であるように８ビット値に圧縮される。

ＨＤＲ圧縮モジュール１１８は、局所的トーンマッピングおよび全体的トーンマッピングの両方を使用して、ＨＤＲイメージ１６４を圧縮する。例えば、全体トーンマッピングは、全体のＨＤＲイメージ１６４にわたって、輝度値の分布に基づいて、ハイダイナミックレンジイメージの大きい数の輝度値を、小さい数の輝度値へと減らすように使用されることができる。しかしながら、全体的トーンマッピングは、ＨＤＲイメージ１６４のいずれの特定領域においてサブ最適(sub-optimal)であってもよい。例えば、全体トーンマッピングは、太陽の周りの明るいエリアと木の基部における影エリアの両方にとって、十分に大きいダイナミックレンジを提供することができない。他方で、局所的トーンマッピングは、ハイダイナミックレンジイメージを複数の領域に論理的に分けることができ、リージョン・バイ・リージョンベース(region-by-region basis)で、ピクセル輝度値を、減らされた範囲の輝度値に選択的にマッピングすることができる。したがって、局所的トーンマッピングは、輝度値の縮小された範囲へのダイナミックレンジのより局所的に有効なマッピングを可能にするが、イメージの複数領域にわたって、均一性の損失を結果としてもたらす。

ＨＤＲ圧縮モジュール１１８は、受信されるＨＤＲイメージデータに基づいて全体トーンマッピングとさらに局所的トーンマッピングを実行することができ、そして、局所的トーンマッピング、全体的トーンマッピング、または、ピクセル・バイ・ピクセルベースで全体的トーンマッピングと全体的トーンマッピングとの重み付けられた合成を選択することができる。例えば、検討中のピクセルが輝度値の高い偏差のエリアにあるとき、ＨＤＲ圧縮モジュール１１８は、ピクセルの領域において輝度値のより大きなダイナミックレンジを提供するために局所的マッピングのより大きな重み付けを選択することができる。対照的に、特定ピクセルの近隣において著しい量の輝度偏差がない場合、ＨＤＲ圧縮モジュール１１８は、イメージ全体のより高い均一性のために全体的トーンマッピングのより大きな重み付けを選択することができる。

異なる露光値を使用して１つまたは複数のローダイナミックイメージ１６０、１６２を合成することによって、そして、局所的トーンマッピングと全体的トーンマッピングの両方を使用して結果として生じるＨＤＲイメージ１６４を圧縮することによって、システム１００は、対象の領域において効果的により大きなダイナミックレンジを提供するイメージ生成を可能にするが、より低いダイナミックレンジ技術を用いて互換性を保つ。さらに、ＨＤＲイメージ１６４をより小さい範囲の輝度値に圧縮するために局所的トーンマッピングされるピクセル値と全体的トーンマッピングされるピクセル値とを選択的に合成することによって、適切なマッピング技術またはマッピング技術のブレンドは、特定イメージの特徴に基づいて選択されることができ、マッピング技術の選択は、イメージ特徴が変化すると、イメージ全体で変化する。

図１で図示される具体的な実施形態において、イメージキャプチャデバイス１０２は単独センサ１０８を有するものとして図示されているが、他の実施形態では、イメージキャプチャデバイス１０２は、複数のセンサを有することができる。例えば、イメージキャプチャデバイス１０２は、ＬＤＲイメージ１６０および１６２を提供するために異なる露光設定を使用して特定のシーンの複数の同時イメージキャプチャを実行するように構成される２以上のセンサを有することができる。複数のセンサを有する実施形態では、センサは同一である必要がなく、代わりに、異なるプロパティを有することができる。

図２を参照すると、ハイダイナミックレンジ（ＨＤＲ）イメージ合成システムの第１の説明のための実施形態が図示され、一般的に２００で示されている。システム２００は、イメージレジストレーションモジュール２０２、イメージスケーリングモジュール２０４、イメージ合成モジュール２０６、そして重みづけ関数２０８を含む。システム２００は、ＨＤＲイメージデータ２１６を生成するために、第１のイメージデータ２１２と第２のイメージデータ２１４とを合成する。説明のための実施形態では、システム２００は、図１のＨＤＲ合成モジュール１１６に含まれていてもよい。

第１のイメージデータ２１２は、第１の露光時間を使用しているイメージに対応するイメージセンサの出力を含むことができ、第２のイメージデータ２１４は、第２の露光時間を使用しているイメージに対応する同じイメージセンサ（または別のイメージセンサ）の出力を含むことができる。例えば、第１のイメージデータ２１２は露光時間Ｎを使用して露光され、第２のイメージデータ２１４は、露光時間１．５Ｎ、２Ｎ、４Ｎ、またはいずれの他の整数または非整数の倍数Ｎを使用して露光される。

具体的な実施形態では、イメージレジストレーションモジュール２０２は、第１のイメージデータ２１２と第２のイメージデータ２１４とを受信するように構成される。イメージレジストレーションモジュール２０２は、第１のアラインされるイメージデータ２１８と第２のアラインされるイメージデータ２２０をイメージの正確なレジストレーションが生成することができるように、第１のイメージデータ２１２と第２のイメージデータ２１４に対して１つまたは複数のオフセットを決定するように構成されることができる。例えば、第１のイメージデータ２１２は、カメラの運動、例えば手ぶれ、または、イメージ内のオブジェクトの他のカメラの動きまたは運動、に起因して、第２のイメージデータ２１４からオフセットされることができる。イメージレジストレーションモジュール２０２は、イメージデータ２１２および２１４の領域またはピクセルに対応する１以上の動きベクトルを決定するように適応されることができる。動きベクトルは、第１のイメージデータ２１２と第２のイメージデータ２１４のうちの少なくとも１つが調節されることができるので、各イメージの対応部分は、第１のアラインされるイメージデータ２１８と第２のアラインされるイメージデータ２２０における各イメージの実質的には同じピクセルロケーションにおいて配置される。

イメージスケーリングモジュール２０４は、アラインされるイメージデータ２１８および２２０のうちの１つまたは複数の様々なピクセルレベルの強度を修正して、第１のスケーリングされたイメージデータ２２２と第２のスケーリングされたイメージデータ２２４とを生成するように構成される。例えば、第２のアラインされるイメージデータ２２０が第１のアラインされるイメージデータ２１８のものの２倍に等しい露光時間を有する場合には、第１のアラインされるイメージデータ２１８の各ピクセルに対応する輝度値は、第２のアラインされるイメージデータ２２０と同じ量の時間の間露光された場合にピクセルが受信したであろう光のおおよその量を補償するように調節されることができる。さらに、輝度値のスケーリングは、進行中に(on the fly)推定されることができる。具体的な実施形態では、第１のアラインされるイメージデータ２１８の輝度値をスケーリングする１つの結果は、第１のアラインされるイメージデータ２１８のスケーリングされる輝度値の範囲がローダイナミックレンジイメージデータフォーマットにおいて利用可能な数の輝度値を超えることができるということである。したがって、第１のスケーリングされたイメージデータ２２２は、第１のイメージデータ２１２よりも大きい数の各ピクセルのデータビットを使用して表されることができる。

具体的な実施形態では、イメージスケーリングモジュール２０４は、第１のスケーリングされたイメージデータ２２２と第２のスケーリングされたイメージデータ２２４を生成するために、第１のイメージの相対的露光時間と第２のイメージの相対的露光時間に基づいて第１のアラインされるイメージデータ２１８または第２のアラインされるイメージデータ２２０のうちの１つだけをスケーリングするように構成される。しかしながら、他の実施形態では、第１のアラインされるイメージデータ２１８と第２のアラインされるイメージデータ２２０のうちの１つまたは両方が調節されることができる。

具体的な実施形態では、イメージ合成モジュール２０６は、イメージスケーリングモジュール２０４からスケーリングされたイメージデータ２２２および２２４を受信するように、そして、ハイダイナミックレンジイメージデータ２１６を生成するために受信されるスケーリングイメージデータを合成するように、構成されることができる。具体的な実施形態では、イメージ合成モジュール２０６は、イメージスケーリングモジュール２０４によってスケーリングされるイメージデータ２１２のようなより短い露光時間に対応する第１のイメージデータ２２２を受信することができる。さらに、イメージ合成モジュール２０６は、第２のスケーリングされたイメージデータ２２４を受信することができ、そしてそれは、イメージスケーリングモジュール２０４によってスケーリングされてもよく、または、スケーリングされていなくてもよい。イメージ合成モジュール２０６は、ＨＤＲイメージデータ２１６の各特定ピクセルについて、第１のスケーリングされたイメージデータ２２２、第２のスケーリングされたイメージデータ２２４、または両方の組み合わせに対応する値を含むかどうかを決定するために内部論理または他の決定回路を含むことができる。

具体的な実施形態では、イメージ合成モジュール２０６は、重み付け関数２０８から１以上の値を受信するように構成される。重み付け関数２０８は、ＨＤＲイメージデータ２１６を生成するために、第１のスケーリングされたイメージデータ２２２と第２のスケーリングされたイメージデータ２２４をイメージ合成モジュール２０６が選択的に合成することを可能にする１つまたは複数の条件または値を含むことができる。例えば、重み付け関数２０８は、１以上のステップ関数、１以上のシグモイド関数(sigmoid function)、または、ブレンドする、区別する、またはそうでない場合には、第１のスケーリングされたイメージデータ２２２と第２のスケーリングされたイメージデータ２２４からＨＤＲイメージデータ２１６のピクセル値を決定するまたは選択する、１以上の他の関数を含むことができる。説明するために、ピクセルの領域内の輝度偏差のようなメトリックは、スケーリングされたイメージデータ２２２および／または２２４から決定されることができ、重み付け関数２０８に対して提供されることができる。重みづけ関数２０８は、ＨＤＲイメージデータ２１６におけるピクセル値を生成するために、第２のスケーリングされたイメージデータ２２４におけるピクセルの値に対して第１のスケーリングされたイメージデータ２２２におけるピクセルの値を加える前に、第１のスケーリングされたイメージデータ２２２におけるピクセルの値および／または第２のスケーリングされたイメージデータ２２４におけるピクセルの値に対して適用されるべきスケーリング係数を表示する値を戻すことができる。

図３を参照すると、ハイダイナミックレンジ（ＨＤＲ）イメージ合成システムの第２の説明のための実施形態が図示され、一般的に３００で示されている。システム３００は、全体的マッピングモジュール３０２、局所的マッピングモジュール３０４、偏差モジュール(variation module)３０６、そして、合成モジュール３０８を含む。全体的マッピングモジュール３０２、局所的マッピングモジュール３０４、そして偏差モジュール３０６は、それぞれ、ＨＤＲイメージデータに応答しており、そして、それぞれは、合成モジュール３０８に対して出力を提供する。具体的な実施形態では、合成モジュール３０８は、入力イメージデータよりも少ないビットを使用して表される輝度値を備えるハイダイナミックレンジを有する出力イメージデータ３２８を生成する。説明のための実施形態では、システム３００は、図１のＨＤＲ圧縮モジュール１１８に含まれる。

具体的な実施形態では、ハイダイナミックレンジイメージデータ３１０は、全体的マッピングモジュール３０２に提供される。ハイダイナミックレンジイメージデータ３１０は、イメージの１以上のピクセルについての輝度データを含むことができ、ここにおいて、輝度データは、出力イメージデータ３２８よりも大きな範囲の値を使用して表される。例えば、ＨＤＲイメージデータ３１０は、各ピクセルの輝度値の１６ビット記述を含むことができるが、出力イメージデータ３２８は、各ピクセルの輝度値の８ビット記述を含むことができる。全体的なマッピングモジュール３０２は、ＨＤＲイメージデータ３１０のピクセルの輝度値の１以上のヒストグラムを生成するように、そして、全体的にマッピングされるイメージデータ３１４を生成するためにより少ない数の輝度値へとピクセル輝度値のピクセル分布をマッピングするように、構成されることができる。具体的な実施形態では、全体的マッピングモジュール３０２は、知覚的に制約されたヒストグラムを使用することができ、ヒストグラムイコライゼーションを実行することができる。全体的マッピングモジュール３０２は、例えばローパスフィルタを使用することによってより暗い領域における知覚処理を実行して、目の欠陥機能(impaired capability)をシミュレートし、詳細を解像し及び色飽和低減して、色で見るための目の欠陥機能をシミュレートする。

具体的な実施形態では、局所的マッピングモジュール３０４は、ＨＤＲイメージデータ３１０の少なくとも１つの領域３１２に対応するデータを受信するように、そして、領域３１２内のピクセル輝度値に基づいて局所的にマッピングされるイメージ３１８を生成するように、構成される。例えば、局所的マッピングモジュール３０４は、領域３１２に対応する１サブセットのＨＤＲイメージデータ３１０に対して、全体的マッピングモジュール３０２と同様なマッピング技術を適用することができる。代替的には、局所的マッピングモジュール３０４は、縮小された数の輝度値に対して、領域３１２に対応する輝度値をマッピングする１以上の他のマッピング技術を適用することができる。局所的マッピングモジュール３０４は、局所的にマッピングされるイメージデータ３１８を生成することができ、ＨＤＲイメージデータ３１０の領域３１２に対応する局所的にマッピングされるピクセル輝度値を有する領域３２０を含んでいる。

具体的な実施形態において、全体的マッピングされたイメージデータ３１４および局所的マッピングされたイメージデータ３１８は、合成モジュール３０８に対して提供されることができる。合成モジュール３０８は、全体的にマッピングされるイメージデータ３１４と局所的にマッピングされるイメージデータ３１８を受信するように、そして、偏差モジュール３０６の出力に基づいて受信されるイメージデータ３１４と３１８を選択的に合成するように、適応されることができる。例えば、具体的な実施形態では、合成モジュール３０８は全体的マッピングされたイメージデータ３１４の輝度値、あるいは局所的マッピングされたイメージデータ３１８からの輝度値を選択するように構成されることができる。別の実施形態においては、合成モジュール３０８は、全体的にマッピングされるイメージデータ３１４のピクセルの輝度値に対して第１の重みを、局所的にマッピングされるイメージデータ３１８の輝度値に対して第２の重みを、適用するように構成されることができる。図示される実施形態において、合成モジュール３０８は、全体的にマッピングされるイメージデータ３１４に対して適用する第１の重みを決定するように構成される。第１の重みは、ゼロと１との間の値であってもよい。合成モジュール３０８は、局所的にマッピングされるイメージデータ３１８に対して適用されるべき第２の重みを決定するようにさらに構成される。第２の重みは、１から第１の重みを引いたものと実質的に等しくてもよい。したがって、合成モジュール３０８は、出力イメージデータ３２８として、全体的にマッピングされるイメージデータ３１４の輝度値と局所的にマッピングされるイメージデータ３１８の輝度値との重み付けられた和を出力するように構成されることができる。

具体的な実施形態では、合成モジュール３０８は、重みを決定し、そして、リージョン・バイ・リージョンベースで全体的にマッピングされるイメージデータ３１４と局所的にマッピングされるイメージデータ３１８のそれぞれに対して適用するように構成される。別の実施形態では、合成モジュール３０８は、ピクセル・バイ・ピクセルベースで重みを適用するように構成される。例えば、合成モジュール３０８において受信される偏差モジュール３０６の出力は、全体的にマッピングされるイメージデータ３１４の対応するピクセルに対して適用する第１の重み付けと、局所的にマッピングされるイメージデータ３１８に対して適用する第２の重み付けのピクセル・バイ・ピクセル決定を可能にするデータを含むことができる。

具体的な実施形態では、偏差モジュール３０６は、各特定ピクセルの対象３２２について、周囲ピクセル３２４における近隣の偏差を決定するように構成される。例えば、周囲ピクセル３２４の近隣は、対象の特定ピクセル３２２の周りの５×５領域のピクセルを含むことができる。具体的な実施形態では、偏差モジュール３０６は、近隣のピクセル３２４内のＨＤＲイメージデータ３１０の輝度値における差異に基づいて偏差を決定するように構成される。例えば、偏差モジュール３０６は、対象の各特定ピクセル３２２について、５×５の近隣のピクセル３２４内の輝度値の平均(mean or average)で割られた標準偏差(standard deviation)または分散(variance)に比例する出力値３２６を決定することができる。平均で割られた分散の出力値は、αと指定される比率係数でスケーリングされることができる。

具体的な実施形態では、出力イメージデータ３２８は、ＨＤＲイメージデータ３１０の領域３１２に対応する領域３３０を含む。出力イメージデータ３２８の領域３３０は、特定ピクセルの輝度値を含み、Ｌ_ｉ，ｊと示され、全体的マッピングされたイメージの対応領域３１６の対応ピクセルの輝度値（ＧＭＩ_ｉ，ｊ）で乗算された第１の重み付けの値ｗ_１に、局所的にマッピングされるイメージ（ＬＭＩ_ｉ，ｊ）の領域３２０の対応ピクセルの輝度値で乗算された第２の重み付けの値ｗ_２を足したものと等しい値を有する。

各特定ピクセルの領域内の輝度偏差の量に基づいて局所的にマッピングされるイメージデータ３１８で全体的にマッピングされるイメージデータ３１４を選択的に合成することによって、出力イメージデータ３２８は、全体的にマッピングされるイメージまたは局所的にマッピングされるイメージのうち１つだけを選択することによるよりも、より少ない対象の領域において改善された連続性(continuity)と対象の領域における改善されたダイナミックレンジを有することができる。したがって、出力イメージデータ３２８は、ハイダイナミックレンジイメージデータ３１０と少なくとも同じ量の詳細を有するように生成されることができる。さらに、他の技術と比較して、イメージセグメンテーションの制御された複雑さ、縮小、または除去、そして、アーチファクトの縮小または除去のような利益を結果としてもたらすことができる。

図４を参照すると、ハイダイナミックレンジイメージ合成システムの第３の説明のための実施形態が図示され、一般的に４００で示されている。システム４００は、全体的トーンマッピングモジュール４０２、局所的トーンマッピングモジュール４０４、偏差モジュール４０６、そして合成モジュール４０８を含む。全体的トーンマッピングモジュール４０２は、ハイダイナミックレンジ（ＨＤＲ）イメージデータ４２０を受信するように、そして、局所的トーンマッピングモジュール４０４、偏差モジュール４０６、そして合成モジュール４０８のそれぞれに対して全体的トーンマッピングされるイメージデータ４２１を提供するように、構成される。合成モジュール４０８は、局所的トーンマッピングモジュール４０４、全体的トーンマッピングモジュール４０２、および偏差モジュール４０６から入力を受信するように、そして、出力イメージデータ４２４を提供するように、構成される。具体的な実施形態では、システム４００は、図１のＨＤＲ圧縮モジュール１１８に含まれていてもよい。

具体的な実施形態では、全体的トーンマッピングモジュール４０２は、ＨＤＲイメージデータ４２０を受信するように、そして、ＨＤＲイメージデータ４２０のピクセル輝度値を全体的トーンマッピングされるイメージデータ４２１におけるより小さなセットの輝度値へとトランスフォームする全体的トーンマッピングを実行するように、構成される。全体的トーンマッピングされるイメージデータ４２１は、ＨＤＲイメージデータ４２０内の全体的、またはイメージワイドな分布の強度値(intensity values)によって選択されるピクセル輝度値を有するダイナミックレンジを含むことができる。

具体的な実施形態では、局所的トーンマッピングモジュール４０４は、全体的トーンマッピングされるイメージデータ４２１を受信するように、そして、全体的トーンマッピングされるイメージデータ４２１内の１つまたは複数の領域に局所的トーンマッピングを実行するように、構成される。例えば、局所的トーンマッピングモジュール４０４は、全体的トーンマッピングされるイメージデータ４２１を複数の隣接するまたはオーバーラップする領域へと論理的に分割することができ、そして、個々の領域の１つまたは複数に適切な輝度レンジ圧縮を決定するためにトーンマッピングを実行することができる。例えば、局所的トーンマッピングモジュール４０４は、次の領域の第２のマッピングが続く左上の大部分の領域の第１の適切なマッピングを決定するように構成されることができ、そして、全体的トーンマッピングされるイメージデータ４２１の実質的にはすべてをトラバースすることができ、各領域の適切なマッピングを決定する。局所的トーンマッピングモジュール４０４は、複数の領域にわたるピクセルのうちの１つまたは複数の近隣を使用して、例えば補間技術を介して、各局所的にマッピングされる領域を修正するようにさらに構成されることができる。この方法で、局所的トーンマッピングモジュール４０４は、局所的にマッピングされる領域データ４１８において領域間ごとに(from region-to-region)異なるビット値にマッピングされている同様な輝度値における差異を調節するまたは補償することができる。

具体的な実施形態では、偏差モジュール４０６は、全体的トーンマッピングされるイメージデータ４２１を受信するように、そして、分析を実行し、全体的トーンマッピングされるイメージデータ４２１の決定されるエリア内の輝度値の偏差に基づいて結果を出力するように、構成されることができる。例えば、偏差モジュール４０６は、各特定ピクセルの近隣内で、ピクセル・バイ・ピクセル（pixel-by-pixel）ベースで、標準偏差、平均で割られた分散、最高輝度値と最低輝度値との差異、またはいずれの他の偏差決定、を決定するように構成されることができる。

例えば、偏差モジュール４０６は、３×３、５×５、または他のサイズの対象の特性ピクセルの周りの近隣を決定することができる。代替的にまたは追加的に、偏差モジュール４０６は、全体的トーンマッピングされるイメージデータ４２１の１つまたは複数の領域に対応する偏差メトリックの１つまたは複数の値を決定することができる。例えば、偏差モジュール４０６は、局所的トーンマッピングされるモジュール４０４によって決定される局所的にマッピングされる領域データ４１８の各領域に対応する偏差メトリックの値を決定することができる。

具体的な実施形態は、偏差モジュール４０６は、フラットネスマップ(flatness map)４１０を生成する。フラットネスマップ４１０は、「フラットネス(flatness)」、すなわち、対象の予め決定される領域または各ピクセルに対応する輝度偏差の量を示しているデータを含むことができる。例えば、図３に関して説明されるように、特定ピクセルの「フラットネス(flatness)」は、ピクセルの近隣においてα（σ^２／μ）として決定されることができる。

具体的な実施形態では、合成モジュール４０８は、第１の重み付けモジュール４１２と第２の重み付けモジュール４１４を含む。第１の重み付けモジュール４１２は、局所的トーンマッピングモジュール４０４に対して、そして、フラットネスマップ４１０に対して、応答して、局所的にマッピングされる領域データ４１８に適用する重みを決定する。同様に、第２の重み付けモジュール４１４は、全体的トーンマッピングされるイメージデータ４２１に対して、そして、フラットネスマップ４１０に対して、応答して、全体的トーンマッピングされるイメージデータ４２１の各ピクセル輝度値に適用する重みを決定する。合成モジュール４０８はまた、第２の重み付けモジュール４１４によって出力される重み付けピクセル輝度値に対して、第１の重み付けモジュール４１２によって出力される重み付けされるピクセル輝度値を加算する、加算回路４１６を含む。加算回路４１６の出力は出力イメージデータ４２４に対して提供される。出力イメージデータ４２４は、ＨＤＲイメージデータ４２０の詳細のレベルを保つように、または、高めるように、生成されることができる。

図５を参照すると、複数のイメージを選択的に合成するシステムが図示されており、一般的には、５００と示されている。具体的な実施形態において、システム５００は、図１のＨＤＲ合成モジュール１１６、図２のシステム２００、図３のシステム３００、図４のシステム４００、いずれの他のイメージ処理システム、またはそれらのいずれの組み合わせに含まれることができる。システム５００は、階調合成回路５６０に結合される階調レジストレーション回路５２０を含む。階調レジストレーション回路５２０と階調合成回路５６０は、アプリケーション特有制御回路５３２に結合される。アプリケーション特有制御回路５３２と階調合成回路５６０はまた、重み付けテーブル５３４に結合される。

階調レジストレーション回路５２０は、第１のイメージに対応する第１のイメージ輝度データ５０２と、第２のイメージデータに対応する第２のイメージ輝度データ５０４と、を受信するように、そして、粗レジストレーション回路（coarse registration circuite）５２２とレジスト微細レジストレーション回路５２４とを使用して第１のイメージ輝度データ５０２と第２のイメージ輝度データ５０４に関してレジストレーションプロセスを実行するように、構成される。階調レジストレーション回路５２０は、第１のイメージ輝度データ５０２と第２のイメージ輝度データ５０４の対応する部分間で検出されるオフセットを表示する微細セットの動きベクトル５２９を生成するように構成される。具体的な実施形態では、微細セットの動きベクトル５２９は、カメラ運動、イメージ運動、または両方に起因して誤ってアラインされる可能性があるイメージをアラインするために、大きさおよび方向データを含む。説明されているように、階調レジストレーション回路５２０は、コンピュータ的な効率のためにイメージ輝度データ上で動作する。しかしながら、他の実施形態では、階調レジストレーション回路５２０は、他のタイプのイメージデータ、例えば色度コンポーネントデータ、赤データ、青データ、または緑データ、またはそれらのいずれの組み合わせを輝度データに加えて、または輝度データの代わりに、使用して動作することができる。

具体的な実施形態では、粗レジストレーション回路５２２は、動きベクトル生成回路５２６を含む。動きベクトル生成回路５２６は、ブロック間で粗レジストレーションプロセスを実行するために、第１のイメージ輝度５０２と第２のイメージ輝度データ５０４のそれぞれをブロックへ区分化するように構成されることができる。例えば、動きベクトル生成回路５２６は、第１のイメージ輝度データ５０２と第２のイメージ輝度データ５０４のそれぞれを３×３セットのオーバーラップするブロックへ論理的に分けることができ、第１のイメージ輝度データ５０２の対応ブロックに対して第２のイメージ輝度データ５０４のブロックのそれぞれをアラインするように適用されることができる粗セットの動きベクトル５２７を生成するために、オーバーラップするブロックのプロジェクションを使用することができる。他の実施形態では、任意の数のブロックが使用されることができ、ｍせのうちのいくつかまたはすべては、非オーバーラップするブロックであってもよい。

微細レジストレーション回路５２４は、粗セットの動きベクトル５２７を受信するように、そして、微細なセットの動きベクトル５２９を生成するように、構成される。具体的な実施形態では、微細レジストレーション回路５２４は、マクロブロック動きベクトル精製回路５３０に結合される動きベクトルアップサンプリング回路５２８を含む。動きベクトルアップサンプリング回路５２８は、粗セットの動きベクトル５２７よりもより微細な粒度を有する動きベクトルを生成するために、粗セットの動きベクトル５２７を受信しアップサンプルすることができる。説明するために、イメージ輝度データ５０２と５０４は、Ｍ×Ｎアレイのマクロブロックとして構成されることができ、各マクロブロックは、１６ピクセル×１６ピクセル領域のイメージに対応する。動きベクトルアップサンプリング回路５２８は、各マクロブロックに対して粗セットのモーションベクトル５２７の対応する動きベクトルを適用するＭ×Ｎセットの動きベクトルを生成することができる。

具体的な実施形態では、マクロブロック動きベクトル精製回路５３０は、アップサンプリングされるセットの動きベクトル５２７とイメージ輝度データ５０２および５０４を受信するように、そして、精製されたセットの動きベクトル５２９を生成するように、結合される。例えば、マクロブロック動きベクトル精製回路５３０は、第１のイメージデータの対応するマクロブロックで第２のイメージデータのマクロブロックを粗くアラインするために、アップサンプリングされるセットの動きベクトル５２７の各動きベクトルを第２のイメージデータのその対応するマクロブロックに適用するように構成されることができる。マクロブロック動きベクトル精製回路５３０は、第１のイメージ輝度データ５０２に対して粗くアラインされるマクロブロックのより正確なアライメントを決定するために粗くアラインされるマクロブロックの周りで第１のイメージ輝度データ５０２の領域をサーチすることができる。サーチ領域は、アプリケーション特有制御回路５３２から受信されるサーチレンジ制御信号５３５に基づいて選択されることができる。精製されたセットの動きベクトル５２９は、第１の輝度データ５０２と第２のイメージ輝度データ５０４のマクロブロック・バイ・マクロブロックのレジストレーションをイネーブルにするために各マクロブロックのより正確なアライメントに対応するベクトルデータを表示することができる。

マクロブロック動きベクトル精製回路５３０は、各動きベクトルについて複数の可能なＭＳＥの中で最小の計算された平均二乗誤差（ＭＳＥ）を選択するアルゴリズムを実行することによって精製されたセットの動きベクトル５２９を決定することができる。例えば、第２のイメージ輝度データ５０４の特定のマクロブロックの場合、第１のイメージ輝度データ５０２を伴ったマクロブロックの複数の可能なアライメントが考慮され、最小のコンピュートされる（computed）ＭＳＥを結果としてもたらすアライメントが精製セットの動きベクトル５２９について選択される。各マクロブロックについて決定される平均二乗誤差は、動きベクトル（ＭＶ）平均二乗差異データ５３１として階調合成回路５６０に対して提供されることができる。

具体的な実施形態では、階調合成回路５６０は、粗合成回路５６２と微細合成回路５６４とを使用して第１のイメージデータ５０６と第２のイメージデータ５０８とを合成するように構成される。第１のイメージデータ５０６は、第１のイメージのための第１の輝度データ５０２を含むことができ、ＹＣｂＣｒデータとして第１のイメージの色度データも含むことができる。第２のイメージデータ５０８は、第２のイメージのための第２の輝度データ５０４を含むことができ、ＹＣｂＣｒデータとしての第２のイメージの色度データも含むことができる。

具体的な実施形態では、粗合成回路５６２は、マクロブロックイメージアライメント回路５６６とブロックＭＳＥ差異ディスクリミネータ回路(block MSE difference discriminator circuit)５６８を含む。マクロブロックイメージアライメント回路５６６は、第１のイメージデータにアラインされる第２のイメージのイメージデータを生成するために、第２のイメージデータ５０８に対して精製されたセットの動きベクトル５２９を適用するように構成されることができる。例えば、マクロブロックイメージアライメント回路５６６は、ピクセル値をオーバーラップするように、または、補間するようにマクロブロックが決定されるとき第２のイメージデータにおいてピクセル値を合成するように構成されることができ、なお、マクロブロックは、いずれのマクロブロック内にも存在しない第２のイメージデータの領域を結果としてもたらすように再アラインされる。マクロブロックイメージアライメント回路５６６は、ブロックＭＳＥ差異ディスクリミネータ回路５６８に対して、第１のイメージデータ５０６と、第２のイメージのためのアラインされるイメージデータと、を提供することができる。

具体的な実施形態では、ブロックＭＳＥ差異ディスクリミネータ回路５６８は、マクロブロックイメージアライメント回路５６６から受信されたデータ上で粗合成プロセスを実行するように構成される。特に、ブロックＭＳＥ差異ディスクリミネータ回路５６８は、第１のイメージデータ５０６に十分に整合しない第２のイメージデータのアラインされるイメージデータのマクロブロックを消去することができる。例えば、各マクロブロックのＭＶ ＭＳ差異データ５３１は、しきい値と比較されることができる。ＭＳ差異が特定マクロブロックのしきい値を超えるとき、特定のマクロブロックは、第１のイメージデータ５０６と第２のイメージデータのアラインされるイメージデータとの間であまりに異なるように決定され、したがって、イメージデータは、特定のマクロブロックについて合成されるべきでない。

例えば、動いているオブジェクトが第１のイメージデータ５０６の第１のマクロブロックに現れ（ただし、第２のイメージのためのアラインされるイメージデータの第１のマクロブロックにはない）、動いているオブジェクトが第２のイメージのアラインされるイメージデータの第２のマクロブロックに現れる（ただし、第１のイメージデータ５０６の第２のマクロブロックにはない）場合、第１のマクロブロックは、第１のイメージと第２のイメージ間で非合成であるように決定され、第２のマクロブロックは、対応する平均二乗誤差の差異により、第１のイメージと第２のイメージ間で非合成であるように決定される。ブロックＭＳＥ差異ディスクリミネータ回路５６８は第１のイメージデータ５０６からのマクロブロックのためのピクセル値のみが使用されるように、アラインされる第２のイメージデータから各非合成可能なマクロブロックを取り除くように構成されることができる。例えば、第２のイメージのためのアラインされるイメージデータの対応するマクロのブロックにおいてピクセル値を交換するために、マクロブロックのためのピクセル値は、第１のイメージデータ５０６からコピーされることができる。

図示されているように、ブロックＭＳＥ差異ディスクリミネータ回路５６８は、アプリケーション特有制御回路５３２に応答する。例えば、アプリケーション特有制御回路５３２は、第１のイメージデータおよび第２のイメージデータのアラインされるイメージデータのマクロブロック間でＭＳＥ差異を比較するために使用されるしきい値差異を表示するしきい値制御信号５３７を提供することができる。ブロックＭＳＥ差異ディスクリミネータ回路５６８は、微細合成回路５６４に対して２セットのイメージデータを出力することができ、そして、粗い合成プロセスにしたがう、第１のイメージデータに対応するイメージデータと、第２のイメージデータに対応するイメージデータと、を含む。

微細合成回路５６４は、レジスタされ粗くアラインされている第１のイメージデータと第２のイメージデータとを受信するように、そして、出力イメージデータ５８０を生成するために微細合成プロセスを実行するように、構成される。具体的な実施形態では、微細合成回路５６４は、平均ピクセルＭＳ差異回路５７４に結合される第１のフィルタ５７０と第２のフィルタ５７２を含む。微細合成回路５６４はまた、平均ピクセルＭＳ差回路５７４に対して、そして、重み付けテーブル５３４に対して、結合されるイメージ合成回路５７６を含む。

第１のイメージのための受信されるデータは、第１のフィルタ５７０によって処理されてもよく、第１のイメージのためのフィルタにかけられたデータは、平均ピクセルＭＳ差異回路５７４に対して提供される。第２のイメージのための受信されるデータは、第２のフィルタ５７２によって処理されてもよく、第２のイメージのためのフィルタにかけられたデータは、平均ピクセルＭＳ差異回路５７４に対して提供される。フィルタ５７０および５７２は特定用途向け制御回路５３２に応答する。例えば、フィルタ５７０および５７２は、ローパス応答、ハイパス応答、バンドパス応答、いずれの他のフィルタ応答、またはそれらのいずれの組み合わせのようなフィルタ応答特徴を示すアプリケーション特有制御回路５３２から応答制御信号５３９を受信することができる。フィルタ５７０および５７２は、３ｘ３カーネル、または、いずれの他のサイズのカーネルを含むことができる。具体的な実施形態では、フィルタ５７０および５７２は特定用途向け制御回路５３２に応じるカーネルサイズを有する。

平均ピクセルＭＳ差異回路５７４は各イメージに対応するフィルタにかけられたデータを受信するように、ピクセル×ピクセルサインされる平均平方差異オペレーション(pixel-by-pixel signed mean square difference operation)を実行するように、構成されることができる。差異オペレーションは、特定ピクセルの輝度値と色度値のそれぞれを使用して、各特定ピクセルについて、第１のイメージのフィルタにかけられたデータと第２のイメージのフィルタにかけられたデータとの間で差異を示しているサインされる値(signed value)を生成することができる。平均ピクセルＭＳ差異回路５７４は、イメージ合成回路４７６に対して差異データを提供するように構成されることができる。

イメージ合成回路５７６は、各ピクセルについて、平均ピクセルＭＳ差異回路５７４から差異値を受信するように、そして、出力イメージデータ５８０において各ピクセルのピクセル値を決定するように、構成されることができる。例えば、特定ピクセルについての受信される差異値は、重み付けテーブル５３４においてルックアップオペレーションとして提供されることができる。ルックアップオペレーションの結果は、出力イメージデータ５８０におけるピクセル値が粗合成回路５６２から受信される第１のイメージデータからの値、粗合成回路５６２から受信される第２の受信されるイメージデータからの値、または、それらの組み合わせ、を有するかどうかを決定することができる。

重み付けテーブル５３４は、第１のイメージデータのピクセル値に適用されるべき第１の重みと、第２のイメージデータのピクセル値に適用されるべき第２の重みと、を示しているデータを含むことができる。重み付けテーブル５３４は、第１のイメージデータに適用されるべき重みに対応する大体０−１の範囲を有する出力値「Ｗ」と、第２のイメージデータに適用されるべき重みに対応する値１−Ｗを提供することができる。重み付けテーブル５３４は、アプリケーション特有制御回路５３２からのテーブル制御信号５３３に応答することができる。

オペレーションの間に、アプリケーション特有制御回路５３２は、システム５００においてイメージレジストレーションと合成プロセスを制御するために１つまたは複数の制御パラメータを決定することができる。例えば、アプリケーション特有制御回路５３２は、マクロブロックレジストレーションのアグレッシブネスを示すサーチレンジ制御信号５３５、マクロブロック合成についての受諾可能な差異の量を示すしきい値制御信号５３７、実行されるべきフィルタリングのタイプを示す応答制御信号５３９、イメージ間のフィルタにかけられたピクセル差異に基づいてどのようにイメージが合成されるかを表示するテーブル制御信号５３３、の値を選択することができる。

例えば、アプリケーション特有制御回路５３２は、ＨＤＲイメージを生成することに特有である制御信号を生成するように構成されることができる。サーチレンジ制御信号５３５は、非常に低い、または、ゼロの動きベクトルサーチレンジを示すように設定されることができる。しきい値制御信号５３７は、非常に高いしきい値を示すために、または、ブロック差異ディスクリミネーションオペレーションをディスエイブルにするために、設定されることができるので、すべてのブロックが承諾される。応答制御信号５３９は、高い露光イメージについての輝度フィルタがフィルタ５７０および５７２においてゼロにすべてを平均するように設定されるように設定されることができる。テーブル制御信号５３３は、他のピクセルから遠くに値を移されたピクセルを加えないように適度にピクセル受諾しきい値が高く設定されるように、重みづけ関数を示すように設定されることができる。

システム５００は、特定プロセスを実行するように構成されるハードウェア回路を含んでいるものとして図示されているが、他の実施形態では、システム５００の１以上のコンポーネントは、プロセッサ命令を実行しているプロセッサによって実行されてもよい。例えば、回路５２０、５２２、５２４、５２６、５２８、５３０、５３２、５３４、５６０、５６２、５６４、５６６、５６８、５７０、５７４、または５７６によって実行された機能の１つ以上は、上述された機能または一般的なアルゴリズムの１以上を実行するようにプログラムされているイメージプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、または汎用プロセッサによって実行されてもよい。他の実施形態では、回路５２０、５２２、５２４、５２６、５２８、５３０、５３２、５３４、５６０、５６２、５６４、５６６、５６８、５７０、５７４、または５７６の１以上は、ハードウェア、ファームウェア、コンピュータ可読命令を実行するプロセッサ、またはそれらのいずれの組み合わせに含まれるコンポーネントで置き換えられてもよい。

同様に、具体的な実施形態では、図１−４のシステムで図示されるモジュールのうちの１以上は、特定の関数またはアルゴリズムを実行する命令を実行することによって、専用コントローラまたはプロセッサとして動作するように構成されるコントローラまたはプロセッサによってインプリメントされるようなファームウェアとしてインプリメントされる。具体的な実施形態では、図１−４のシステムで図示されたモジュールの１以上は、特定の関数またはアルゴリズムを実行するためにデータをマニュピレートし処理するように構成される例えば回路のようなハードウェアとしてインプリメントされる。例えば、回路は特定用途向け集積回路（ＡＳＩＣ）の一部であってもよい。具体的な実施形態では、図１−４のシステムで図示されるモジュールの１以上は、例えばマルチコアシステムの１以上の専用プロセッサコアにおいてのような処理論理において実行されるプロセッサ命令としてインプリメントされる。例えば、コンピュータシステムがイメージ処理ソフトウェアを実行している間に、１以上のモジュールは、汎用コンピュータシステム内でインプリメントされることができる。

図６を参照すると、ハイダイナミックレンジイメージを生成するために２つのローダイナミックレンジイメージを合成する具体的な実施形態が図示され、一般的に６００と呼ばれる。第１のローダイナミックレンジデータは、第１のヒストグラム６０２と表わされ、第２のダイナミックレンジデータは、第２のヒストグラム６０４と表わされる。具体的な実施形態では、第１のヒストグラム６０２は、第１の露光条件を有する図１のセンサ１０８のようなセンサによってキャプチャされるイメージデータのピクセル輝度値を表し、第２のヒストグラム６０４は、第２の露光条件を有する図１のイメージセンサ１０８によってキャプチャされる第２のイメージデータのような第２のイメージデータのピクセルの輝度値を表す。

図６で図示されているように、第１のヒストグラム６０２は、短くなった露光時間を使用して、露光不足にされるダークネスエリアまたは影のエリアに対応することができる低い輝度値を有する大きい数のピクセルを示す。対照的に、第２のヒストグラム６０４は、より長い露光時間イメージキャプチャの過剰に露光された明るいエリアに対応するような高い輝度値を有する大きい数のピクセルを含む。具体的な実施形態では、第１のヒストグラム６０２は、図１の第１のイメージ１６０に対応することができ、第２のヒストグラム６０４は、図１の第２のイメージ１６２に対応することができる。

具体的な実施形態では、第１のヒストグラム６０２は、第１のイメージに第２のイメージの露光時間の増加量を補償するためにより高いレンジの輝度値にスケーリングされる。例えば、第２のイメージは第１のイメージと露光時間のｋ倍を使用してキャプチャされ、第１のイメージのピクセルの輝度値はスケーリングされ（例えば、ｋが２のときには倍となる）、第１のヒストグラムを、シフトされるヒストグラム６０６で図示されるように、Ｌ＿ｌｏｗ６０８の最低値およびＬ＿ｈｉｇｈ６１２の最高値からｋ＊Ｌ＿ｌｏｗ６１０の最低値およびｋ＊Ｌ＿ｈｉｇｈ６１４の最高値へとシフトする。Ｌ＿ｌｏｗ６０８は、センサのノイズフロア（noise floor）標準偏差に等しいまたは匹敵するセンサ読み取り値を生成する光レベルに対応することができる。Ｌ＿ｈｉｇｈ６１２は、ブラックレベル輝度より少ない、センサの飽和を引き起こす光レベルに対応することができる。

シフトされるヒストグラム６０６に対応する、第１のイメージデータのスケーリングされたピクセル値は、重み付け関数６１６を使用して、シフトされていない第２のヒストグラム６０４に対応する、第２のイメージデータのピクセル値で組み合わせられる。重みづけ関数６１６は、ｋ＊Ｌ＿ｌｏｗ６１０より少ない輝度レンジにおける第１の値６１８、ｋ＊Ｌ＿ｌｏｗ６１０とＬ＿ｈｉｇｈ６１２との間の第２の輝度レンジにおける第２の値６２０、そして、Ｌ＿ｈｉｇｈ６１２より上の第３の輝度レンジにおける第３の値６２２を含む。例えば、重みづけ関数６１６は、レンジ境界にわたる値間でスムーズに遷移する１以上のシグモイド関数を含むことができる。

図示されているように、ｋ＊Ｌ＿ｌｏｗ６１０より小さい輝度値を有するピクセルの場合、重み付け関数６１６は、重み「１」を示し、そしてそれは、ハイダイナミックレンジイメージにおける対応ピクセルのピクセル値は、第２のイメージデータのピクセル値に等しいということを示す。Ｌ＿ｈｉｇｈ６１２より大きい輝度値を有するピクセルの場合、重み付け関数６１６は、重み「０」を示し、そしてそれは、ハイダイナミックレンジイメージにおける対応ピクセルのピクセル値は、第１のイメージデータのピクセル値に等しいということを示す。ｋ＊Ｌ＿ｌｏｗ６１０とＬ＿ｈｉｇｈ６１２との間の輝度値を有するピクセルの場合、スケーリングされる第１のイメージデータと第２のイメージデータはオーバーラップし、重み付け関数６１６は、重み「０．５」を示し、そしてそれは、スケーリングされる第１のイメージデータおよび第２のイメージデータにおける対応ピクセルの平均輝度値が、ハイダイナミックレンジ出力イメージにおいてピクセル輝度値を決定するように平均されるということを示す。説明されるように、重みづけ関数６１６は、値間でスムーズに遷移するように大体ｋ＊Ｌ＿ｌｏｗ６１０とＬ＿ｈｉｇｈ６１２より上にアウトラインされるビヘービアからそれる(deviates)。

合成イメージは、下記のように記載されることができる。

Ｓ_ｃｏｍｂ＝ｋＳ_Ｔ（１Ｃ（Ｓ_ｋＴ））＋Ｓ_ｋＴ（Ｃ（Ｓ_ｋＴ））
ここにおいて、Ｓ_ｃｏｍｂは合成されるイメージの輝度を表し、ｋはより長い露光時間とより短い露光時間との比であり、Ｓ_Ｔは短い露光時間イメージの輝度値を表し、Ｃは重み付け関数を表し、Ｓ_ｋＴはより長い露光時間イメージの輝度を表す。

ハイダイナミックレンジ出力イメージのピクセル輝度値の分布は、第３のヒストグラム６２４によって示されている。第３のヒストグラム６２４は、ピクセル輝度値がｋ＊Ｌ＿ｈｉｇｈ／Ｌ＿ｌｏｗのダイナミックレンジで、Ｌ＿ｌｏｗからｋ＊Ｌ＿ｈｉｇｈに及ぶということを図示する。

具体的な実施形態において、図６で説明されるＨＤＲ合成は、図１のＨＤＲ合成モジュール１１６、図２のシステム２００、または、図５のシステム５００によって実行されることができる。ＨＤＲ合成のためのフレームレジストレーションは、飽和またはレベル差異のためイメージ間の非線形に対してロバストであってもよい。レジストレーションは、より微細なベクトル推定に依存していなくてもよく、合成に利用可能な実質的にすべてのピクセルを有し、そして、局所的イメージレベルに基づいて合成することができる。

例えば、図５のアプリケーション特有制御回路５３２は、ＨＤＲイメージを生成することに特有である制御信号を生成するように構成されることができる。サーチレンジ制御信号５３５は、非常に低い、または、ゼロの動きベクトルサーチレンジを示すように設定されることができる。しきい値制御信号５３７は、非常に高いしきい値を示すために、または、ブロック差識別オペレーションをディスエイブルにするために、設定されることができる。応答制御信号５３９は、高い露光イメージについての輝度フィルタがフィルタ５７０および５７２においてゼロにすべてを平均するように設定されるように設定されることができる。テーブル制御信号５３３は、図６の重みづけ関数６１６のような重みづけ関数を示すように設定されることができる。

図７は、ハイダイナミックレンジイメージデータを圧縮する方法の説明のための実施形態のフロー図である。具体的な実施形態において、方法７００またはその部分は、図１のＨＤＲ圧縮モジュール１１８、図３のシステム３００、図４のシステム４００、または、図５のシステム５００、またはそれらのいずれの組み合わせ、によって実行されることができる。方法７００は、７０２で全体的トーンマッピングを使用しているダイナミックレンジを圧縮すること、７１８でフラットネスマップをコンピュートすること、７２４で局所的にマッピングされるイメージを生成すること、そして、７３４で重みとしてフラットネスマップを使用して局所的にマッピングされるイメージと全体的にマッピングされるイメージとを合成する関数を実行することを含む。

具体的な実施形態では、全体的トーンマッピングを使用しているレンジ圧縮は、７０４で、ハイダイナミックレンジイメージデータのピクセル輝度値のヒストグラムをコンピュートすることを含む。ヒストグラムは、７０６で、キャップされる（cap）。例えば、ヒストグラムは、２Ｕでキャップされ、係数２にコントラスト増加を制限しており、ここにおいてＵは、ピクセル輝度値の一様分布の高さである。フロアはまた、７０８でヒストグラムに適用されることができる。例えば、フロアは、係数１／２にコントラスト縮小を制限するためにＵ／２であることができる。

結果として生じるヒストグラムは、７１０で正規化されてもよい。例えば、ヒストグラムの高さは、ヒストグラムの総エリアが実質的には１と等しいように縮小される。累積分布関数（ＣＤＦ;cumulative distribution function）は７１２でコンピュートされる。ＣＤＦは、ＣＤＦ（０）＝０とＣＤＦ（Ｘ）＝１となるような、輝度値の関数として正規化されたヒストグラムの下で累積エリアを表し、なお、Ｘは、ノンゼロヒストグラム値を有する最大輝度値である。

ハイダイナミックレンジイメージデータの輝度値は、７１４で、トーンマッピング関数としてＣＤＦを使用して再マッピングされてもよい。例えば、各ピクセルＬ_oldの輝度値はＬ_ｎｅｗ＝Ｌ_old＊ＣＤＦ（Ｌ_old）を使用して、値Ｌ_ｎｅｗに調節されることができる。ピクセルの色度コンポーネントもまた、７１６で、スケーリングされる。例えば、青差異色度コンポーネント（Ｃｂ）と赤差異色度コンポーネント（Ｃｒ）のような色度コンポーネントは、輝度比Ｌ_ｎｅｗ／Ｌ_oldでスケーリングされることができる。

具体的な実施形態では、フラットネスマップ７１８をコンピュートすることは、全体的トーンマッピングされるイメージデータを使用して実行される。偏差のメトリックまたは測定値は、７２０で、各ピクセルの領域においてコンピュートされることができる。例えば、値α（σ^２／μ）は、イメージの境界から離れているピクセルの５×５ピクセル領域において決定され、なお、σは、標準偏差を表し、μは平均を示し、αは、予め決定される一定値であってもよい。フラットネスマップは、７２２で、ピクセルフラットネス値が値１を超えないように、キャップされることができる。

具体的な実施形態では、局所的マッピングされたイメージ７２４を生成することは、７２６で、全体的にマッピングされるイメージを非オーバーラップするブロックへと分けることを含む。ヒストグラムは、７２８で、コンピュートされ、個々のブロックについてキャップされる。例えば、ヒストグラムは知覚ベースの技術またはコントラストベースの技術を使用してキャップされる。局所的トーンマッピングは、７３０で、個々のブロックについて生成される。例えば、個々のブロックの局所的トーンマッピングは、７０４−７１６で説明される全体的トーンマッピング７０２と同様な技術を使用することができる。個々のブロック内のピクセルについては、隣接するブロック間の補間は、７３２で、ピクセルマッピングをコンピュートするために実行されることができる。例えば、各ブロックの各ポイントについて、双線形補間（bilinear interpolation)は、ポイントのマッピングをコンピュートするために隣接するマッピング関数間で使用されることができる。

局所的にマッピングされるイメージと全体的にマッピングされるイメージは、７３４で、重みとしてフラットネスマップを使用して合成される。例えば、圧縮される出力イメージデータの各ピクセル値は、全体的にマッピングされるイメージデータと局所的にマッピングされるイメージデータの重み付けられた和であってもよい。局所的にマッピングされるイメージデータの重みは、ピクセルのフラットネスマップ値に対応し（例、ポジションｉ，ｊにおけるピクセルのＦＭ（ｉ，ｊ））、全体的にマッピングされるイメージデータについての重みは１−ＦＭ（ｉ，ｊ）に対応することができる。

具体的なインプリメンテーションでは、方法７００は、モバイルデバイスアプリケーションのためのイメージ処理回路によってイメージ処理パイプラインにおいてインプリメンテーションをイネーブルにするＨＤＲ圧縮の複雑さを制御する。結果として生じるイメージの連続性は補償され、アーチファクトは導入されない。

図８は、ハイダイナミックレンジイメージ合成の方法の第１の説明のための実施形態のフロー図である。具体的な実施形態では、方法８００は、図１-５のシステムのいずれか、または、それらのいずれの組み合わせによって実行される。第１のイメージデータは、８０２で、イメージセンサから受信される。第１のイメージデータは、第１の露光時間を使用して生成される。８０４に続いて、第２のイメージデータは、イメージセンサから受信される。第２のイメージデータは、第１の露光時間よりも大きい第２の露光時間を使用して生成される。

８０６に進むと、第１のイメージデータの輝度値は、スケーリングされた第１のイメージデータを生成するために、第２の露光時間と第１の露光時間との比に基づいて、スケーリングされる。８０８に進むと、スケーリングされた第１のイメージデータと第２のイメージデータは、ハイダイナミックレンジ（ＨＤＲ）イメージを生成するために、スケーリングされた第１のイメージデータの第１の有効ダイナミックレンジと第２のイメージの第２の有効ダイナミックレンジとの間のオーバーラップに基づいて、選択的に合成される。第１の有効ダイナミックレンジは、第１のイメージデータの、第１の飽和レベル、第１のダークレベル、そして、第１のノイズフロアに基づいて決定されることができる。第２の有効ダイナミックレンジは、第２のイメージデータの、第２の飽和レベル、第２のダークレベル、そして、第２のノイズフロアに基づいて決定されることができる。スケーリングされた第１のイメージデータと第２のイメージデータは、第１のノイズフロアに実質的に中心がある第１のシグモイド関数と、第２の飽和レベルから第２のダークレベルを引いたものに実質的に中心がある第２のシグモイド関数と、を使用して選択的に合成される。

８１０に移り、トーンマッピングは、ＨＤＲイメージのダイナミックレンジを圧縮するように生成される。トーンマッピングを生成することは、各ピクセルの近隣内の輝度偏差に基づいて、全体的トーンマッピング値と局所的トーンマッピング値のピクセル・バイ・ピクセル重み付けを決定することを含む。例えば、圧縮されるダイナミックレンジは８ビットレンジであってもよい。８１２を続けると、圧縮されるダイナミックレンジを有するトーンマッピングされるイメージは、ディスプレイデバイスにおいてディスプレイされるように提供されている。

図９は、ハイダイナミックレンジイメージ合成の方法の第２の説明のための実施形態のフロー図である。具体的な実施形態では、方法９００は、図１-５のシステムのいずれか、または、それらのいずれの組み合わせによって実行される。

９０２で、第１のイメージデータの第１の輝度値は、第２のイメージデータを生成するために第１のイメージデータの輝度分布に基づいて調節される。具体的な実施形態では、第１の輝度値を調節することは、第１のイメージデータのピクセル輝度値のヒストグラムを決定することと、一様分布レベル(uniform distribution level)に基づいてヒストグラムの範囲をキャップすることと、そのキャップされるヒストグラムを正規化することと、その正規化されるヒストグラムの累積分布関数（ＣＤＦ）を決定することと、そして、第１の輝度値を再マッピングするためにトーンマッピング関数としてＣＤＦを適用することと、を含む。

９０４を続けると、第２のイメージデータの領域の第２の輝度値は、第１の局所的に調節されるイメージデータを生成するために、第２のイメージデータの領域の局所的な輝度分布に基づいて、調節される。具体的な実施形態において、第２の輝度値を調節することは、第２のイメージデータを複数の領域に分割することと、複数の領域のそれぞれのピクセル輝度値のヒストグラムをコンピュートすることと、複数の領域のそれぞれに対応する局所的トーンマッピング関数を決定することと、そして、特定ピクセルのトーンマッピングをコンピュートするために隣接する領域に対応する局所的トーンマッピング関数間で双線形補間を実行することと、を含む。

９０６に進むと、第１のイメージデータよりも小さいダイナミックレンジを有する第３のイメージデータが生成される。第２のイメージデータの領域に対応する第３のイメージデータの輝度値は、領域内の第２のイメージデータの輝度偏差に基づいて、第２のイメージデータの領域内で、局所的に調節されるイメージデータと第２のイメージデータとを合成することによって決定される。

９０８に移ると、フラットネスマップは、領域内の各ピクセルについて、特定ピクセルを含んでいるピクセルの近隣に対応する第２のイメージデータを使用して、輝度分散（luminance variance）と輝度平均の比を決定することによって生成されることができる。ピクセルの近隣は、第２のイメージデータの領域よりも小さくてもよい。

図１０は、ハイダイナミックレンジイメージ合成の方法の第３の説明のための実施形態のフロー図である。具体的な実施形態では、方法１０００は、図１-５のシステムのいずれか、または、それらのいずれの組み合わせによって実行される。例えば、方法１０００は、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、あるいは明確にコンピュータ実行可能な命令を具現化することができる他のタイプのメモリ、のようなコンピュータ可読媒体で保存される命令を実行しているプロセッサによって実行されることができる。

第１のイメージデータは、１００２で受信される。１００４に進むと、第２のイメージデータは、第１のイメージデータの輝度分布に基づいて生成される。１００６を続けると、局所的に調節されるイメージデータは、第２のイメージデータの領域内の局所的輝度分布に基づいて生成される。

１００８に進むと、第１のイメージデータよりも小さいダイナミックレンジを有する第３のイメージデータが生成される。第２のイメージデータの領域に対応する第３のイメージデータの領域の輝度値は、第２のイメージデータの領域内の第２のイメージデータの輝度偏差に基づいて、局所的に調節されるイメージデータと第２のイメージデータとを合成することによって決定される。局所的に調整されたイメージデータと第２のイメージデータを合成することは、領域内で、局所的に調整されたイメージデータと第２のイメージデータの重み付けられた和を使用することを含むことができる。重み付けられた和の重みは、輝度偏差に基づくことができる。

具体的な実施形態において、第３のイメージデータの領域内の特定ピクセルの輝度値は、特定ピクセルに対応する第２のイメージデータの第１の値と特定ピクセルに対応する局所的に調節されるイメージデータの第２の値との重み付けられた和を使用して決定される。重み付けられた和は、特定ピクセルの近隣内の輝度偏差に基づいてコンピュートされることができる。特定ピクセルの近隣内のピクセル値は、第２のイメージデータから決定されることができる。

図１１は、ハイダイナミックレンジ（ＨＤＲ）合成と圧縮モジュールを含んでいるシステムの具体的な実施形態のブロック図である。システム１１００は、レンズ１１６８に結合される、そして、ポータブルマルチメディアデバイスのアプリケーションプロセッサチップセット１１７０にも結合される、イメージセンサデバイス１１２２を含む。イメージセンサデバイス１１２２は、図１-５のモジュールまたはシステムの１つまたは複数をインプリメントすることができる、図６−１０の実施形態または方法のいずれかにしたがって動作することができる、またはそれらのいずれの組み合わせの、局所的および全体的マッピングを使用しているＨＤＲモジュール１１６４を含む。

局所的および全体的マッピングを使用しているＨＤＲモジュール１１６４は、イメージアレイ１１６６の出力を受信するように、そして、局所的および全体的マッピングを使用しているＨＤＲモジュール１１６４に対してイメージデータを提供するように、結合される例えばアナログ・ツー・デジタルコンバータを介してイメージアレイ１１６６からイメージデータを受信するように結合される。局所的及び全体的マッピングを使用しているＨＤＲモジュール１１６４は、通常のイメージアレイ１１６６でＨＤＲ機能をイネーブルにするためにイメージアレイ１１６６でキャプチャされる複数のイメージからＨＤＲイメージデータを生成することができる。さらに、局所的および全体的マッピングを使用しているＨＤＲモジュール１１６４は、連続性を確実にしながら、アーチファクトを導入することなく、局所的トーンマッピングと全体的トーンマッピングの両方の合成を使用して、より低い解像度のトランスポートおよびストレージメカニズムと互換性があるように結果として生じるイメージを圧縮することができる。

例えば、局所的および全体的マッピングを使用しているＨＤＲモジュール１１６４は、イメージの領域内で第１に全体的にマッピングされる輝度値を生成するように構成された全体的マッピングモジュールと、イメージの領域内の第２の局所的にマッピングされる輝度値を生成するように構成された局所的マッピングモジュールと、第１の全体的にマッピングされる輝度値と第２の局所的にマッピングされる輝度値との重み付けられた和を使用して、出力イメージの対応する領域内で輝度値を決定するように構成された合成モジュールと、を含み、例えば、それぞれ、図４の全体的トーンマッピングモジュール４０２、局所的トーンマッピングモジュール４０４、そして合成モジュール４０８、または、それぞれ、図３の全体的トーンマッピングモジュール３０２、局所的トーンマッピングモジュール３０４、そして合成モジュール３０８を含む。重み付けられた和の重みは、イメージの領域内の輝度偏差に少なくとも部分的に基づいている。例えば、重みは、領域内のピクセル・バイ・ピクセルベースで決定されることができる。

局所的で全体的マッピングを使用しているＨＤＲモジュール１１６４はまた、図４の偏差モジュール４０６のようなイメージの部分に対応するフラットネスマップを生成するように構成された偏差モジュールを含むことができる。フラットネスマップは、イメージの領域内の輝度偏差を表示することができる。偏差モジュールは、領域内の特定ピクセルの近隣内の輝度分散を決定するように構成されることができる。特定ピクセルに対応するフラットネスマップのエントリは、例えば図３の出力値３２６に関連して説明されるように、特定ピクセルの近隣内の輝度分散と、特定ピクセルの近隣内の輝度平均と、の比に比例している。

イメージセンサデバイス１１２２はまた、プロセッサ１１１０を含むことができる。具体的な実施形態では、プロセッサ１１１０は、局所的および全体的マッピングを使用しているＨＤＲモジュール１１６４をインプリメントするように構成される。例えば、プロセッサ１１１０は、プロセッサ可読媒体から命令を読み取るように、そして、ＨＤＲモジュール１１６４をインプリメントするために命令を実行するように、構成されることができる。別の実施形態では、局所的および全体的マッピングを使用しているＨＤＲモジュールは、イメージ処理回路としてインプリメントされる。

プロセッサ１１１０はまた、図１のモジュール１１０−１２０によって実行されるオペレーションのうちの１つまたは複数のような、さらなるイメージ処理オペレーションを実行するように構成されることができる。プロセッサ１１１０は、さらなる処理、送信、ストレージ、ディスプレイ、またはそれらのいずれの組み合わせのために、アプリケーションプロセッサチップセット１１７０に対して処理されるイメージデータを提供することができる。

図１２は、ＨＤＲ合成および圧縮モジュールを含んでいるシステムの具体的な実施形態のブロック図である。システム１２００は、ポータブルワイヤレス電子デバイスにおいてインプリメントされてもよく、そして、メモリ１２３２に結合される、デジタル信号プロセッサ（ＤＳＰ）のようなプロセッサ１２１０を含む。システム１２００は、局所的および全体的マッピングを使用しているＨＤＲモジュール１２６４を含む。説明のための例では、局所的および全体的マッピングを使用しているＨＤＲモジュール１２６４は、図１−５のモジュールまたはシステムのうちの１つまたは複数を含む、または、図６−１０の実施形態または方法のうちのいずれかまたはそれらのいずれの組み合わせにしたがって動作する。局所的および全体的マッピングを使用しているＨＤＲモジュール１２６４は、プロセッサ１２１０内にあってもよく、または、個別のデバイスであってもよい。

カメラインタフェース１２６８は、プロセッサ１２１０に結合される、また、ビデオカメラまたは静止カメラ１２７０のようなカメラに結合される。ディスプレイコントローラ１２２６は、プロセッサ１２１０に対して、そして、ディスプレイデバイス１２２８に対して、結合される。符号化器／復号器（ＣＯＤＥＣ）１２３４はまた、プロセッサ１２１０に対して結合されることができる。スピーカー１２３６とマイクロフォン１２３８は、ＣＯＤＥＣ１２３４に結合されることができる。ワイヤレスインタフェース１２４０は、プロセッサ１２１０に対して、そして、ワイヤレスアンテナ１２４２に対して、結合されることができる。

具体的な実施形態では、プロセッサ１２１０は、局所的及び全体的マッピング１２６４を含み、普通のカメラ１２７０を備えるＨＤＲ機能をイネーブルにするために、カメラ１２７０によってキャプチャされる複数イメージからＨＤＲイメージデータを生成するように適応される。さらに、局所的および全体的マッピングを使用しているＨＤＲモジュール１１６４は、連続性を確実にしながら、アーチファクトを導入することなく、局所的トーンマッピングと全体的トーンマッピングの両方の合成を使用して、より低い解像度のトランスポートおよびストレージメカニズムと互換性があるように結果として生じるイメージを圧縮することができる。

プロセッサ１２１０はまた、様々なソースから受信されることができる複数セットのイメージデータからＨＤＲイメージデータを生成し圧縮するように適応されることができる。例えば、イメージデータは、制限ではなく説明のための例として、カメラ１２７０からのビデオデータまたは静止イメージ、ワイヤレスインタフェース１２４０を介したワイヤレス送信からの、または、ユニバーサルシリアルバス（ＵＳＢ）インタフェース（図示されず）を介して結合される外部デバイスのような他のソースからの、イメージデータを含むことができる。

具体的な実施形態では、プロセッサ１２１０は、特定ピクセルの近隣内の輝度偏差に基づいてイメージデータの複数のピクセルの各特定ピクセルのトーンマッピングされるピクセル値を含んでいるトーンマッピングされるイメージデータを生成するように、そして、トーンマッピングされるイメージデータを提供しディスプレイデバイス１２２８においてディスプレイするように、構成される。例えば、トーンマッピングされるデータは、図３の出力イメージデータ３２８または図４の出力イメージデータ４２４であってもよい。さらに、プロセッサ１２１０は、メモリ１２３２においてトーンマッピングされるイメージデータを保存するように、または、ワイヤレスインタフェース１２４０を介して通信されるべきトーンマッピングされたイメージデータを提供するように、さらに構成されることができる。

イメージデータは、第１の露光時間を使用してカメラ１２７０から受信される第１セットのイメージデータと、第２の露光時間を使用してカメラ１２７０から受信される第２セットのイメージデータと、を合成することによって、生成されるハイダイナミックレンジ（ＨＤＲ）イメージデータであってもよい。第１及び第２セットのイメージデータは、カメラ１２７０の単独センサにおいてシーケンシャルにキャプチャされてもよい、または、異なる露光条件を使用してカメラ１２７０の複数センサにおいて同時にキャプチャされてもよい。第１セットのイメージデータの輝度値は、第２の露光時間と第１の露光時間との比に基づいてスケーリングされてもよく、図６に関連して説明されているようなＨＤＲイメージデータを生成するために、スケーリングされる輝度値の第１の有効ダイナミックレンジと、第２セットのイメージデータの第２の有効ダイナミックレンジとの間のオーバラップに基づいて、第２セットのイメージデータで選択的に合成される。プロセッサ１２１０は、ＨＤＲイメージデータを処理し特定ピクセルの近隣内の輝度偏差を示すフラットネスマップを生成するように、そして、全体的にマッピングされるイメージデータと局所的にマッピングされるイメージデータの重み付けられた和を使用して特定ピクセルのトーンマッピングされるピクセル値を決定するように、さらに構成されてもよい。重み付けられた和は、特定ピクセルの近隣内の輝度偏差に基づいて決定されてもよい。例えば、プロセッサ１２１０は、図３の偏差モジュール３０６または図４の偏差モジュール４０６をインプリメントすることができる。

ディスプレイコントローラ１２２６は、処理されるイメージデータを受信するように、そして、ディスプレイデバイス１２２８に対して処理されるイメージデータを提供するように、構成される。さらに、メモリ１２３２は、処理されるイメージデータを受信するように、そして、保存するように、構成されることができ、ワイヤレスインタフェース１２４０は、アンテナ１２４２を介した送信のために処理されるイメージデータを受信するように構成されることができる。

具体的な実施形態では、信号プロセッサ１２１０、ディスプレイコントローラ１２２６、メモリ１２３２、ＣＯＤＥＣ１２３４、ワイヤレスインタフェース１２４０、そして、カメラインタフェース１２６８は、システム・イン・パッケージまたはシステム・オン・チップ・デバイス１２２２に含まれる。具体的な実施形態では、入力デバイス１２３０とパワーサプライ１２４４は、システム・オン・チップ・デバイス１２２２に結合される。さらに、具体的な実施形態では、図１２で図示されているように、ディスプレイデバイス１２２８、入力デバイス１２３０、スピーカー１２３６、マイクロフォン１２３８、ワイヤレスアンテナ１２４２、ビデオカメラ１２７０およびパワーサプライ１２４４は、システム・オンチップ・デバイス１２２２に外付けである。しかしながら、ディスプレイデバイス１２２８、入力デバイス１２３０、スピーカー１２３６、マイクロフォン１２３８、ワイヤレスアンテナ１２４２、ビデオカメラ１２７０、およびパワーサプライ１２４４の各々は、インターフェースまたはコントローラのようなシステム・オン・チップ・デバイス１２２２のコンポーネントに結合されることができる。

当業者は、様々な説明のための論理ブロック、構成、モジュール、回路、および、ここにおいて開示される実施形態に関連して説明されるアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェアあるいは両方の組合せとしてインプリメントされることができる、ということをさらに理解するであろう。ハードウェアとソフトウェアのこの互換性を明瞭に説明するために、様々な説明のためのコンポーネント、ブロック、構成、モジュール、回路およびステップが、一般に、それらの機能性という観点から、上記に説明されてきた。そのような機能性が、ハードウェアあるいはソフトウェアとしてインプリメントされるかどうかは、特定のアプリケーションと全体のシステムに課された設計制約(design constraints)によって決まる。熟練職人は、各特定のアプリケーションについての様々な方法で、説明された機能性をインプリメントすることができるが、そのようなインプリメンテーションの決定は、本発明の範囲からの逸脱を生じさせるものとして解釈されるべきでない。

ここに開示された実施形態に関して記述された方法またはアルゴリズムのステップは、直接ハードウェアにおいて、プロセッサによって実行されるソフトウェアモジュールにおいて、または、それらの２つの組み合わせにおいて、具現化されることができる。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）メモリ、フラッシュメモリ、読み取り専用メモリ（ＲＯＭ）、プログラム読取専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭ）、電子的に消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスク読取専用メモリ（ＣＤ−ＲＯＭ）、または、当技術分野で知られているいずれの他の形のストレージ媒体において常駐していてもよい。例示的な記憶媒体は、プロセッサに結合されるので、プロセッサが記憶媒体から情報を読み取ることができ、また記憶媒体に情報を書き込むことができる。あるいは、記憶媒体は、プロセッサに一体化されてもよい。プロセッサと記憶媒体は、特定用途集積回路（ＡＳＩＣ）において常駐していてもよい。ＡＳＩＣは、コンピューティングデバイスまたはユーザ端末において常駐することができる。あるいは、プロセッサと記憶媒体は、コンピューティングデバイスまたはユーザ端末において、ディスクリートコンポーネントとして常駐することができる。

開示される実施形態の前の説明は、当業者が開示された実施形態を行うまたは使用することを可能にするために提供される。これらの実施形態に対する様々な修正は、当業者にとっては容易に明らかであろう、そして、ここにおいて定義された包括的な原理は、本開示の精神あるいは範囲から逸脱することなく、他の実施形態に適用されることができる。したがって、本開示は、ここにおいて示される実施形態に限定されるように意図されていないが、特許請求の範囲によって規定されるように原理及び新規な特徴に整合する最も広い範囲が与えられるべきである。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
（１） イメージセンサから第１のイメージデータを受信することと、なお、前記第１のイメージデータは、第１の露光時間を使用して生成される；
前記イメージセンサから第２のイメージデータを受信することと、なお、前記第２のイメージデータは、前記第１の露光時間よりも大きい第２の露光時間を使用して生成される；
スケーリングされた第１のイメージデータを生成するために、前記第２の露光時間と前記第１の露光時間との比に基づいて前記第１のイメージデータの輝度値をスケーリングすることと；
ハイダイナミックレンジ（ＨＤＲ）イメージを生成するために、前記スケーリングされた第１のイメージデータの第１の有効ダイナミックレンジと前記第２のイメージの第２の有効ダイナミックレンジとの間のオーバーラップに基づいて前記スケーリングされた第１のイメージデータと前記第２のイメージデータとを選択的に合成することと；
前記ＨＤＲイメージのダイナミックレンジを圧縮するためにトーンマッピングを生成することと、なお、前記トーンマッピングを生成することは、前記ＨＤＲイメージの各ピクセルの近隣内の輝度偏差に基づいて全体的トーンマッピング値と局所的トーンマッピング値とのピクセル・バイ・ピクセル重みづけを決定することを含む；
ディスプレイデバイスにおいてディスプレイされるべき前記ＨＤＲイメージの前記圧縮されるダイナミックレンジを有するトーンマッピングされるイメージを提供することと；
を備える方法。
（２） 前記第１の有効ダイナミックレンジは、前記第１のイメージデータの、第１の飽和レベル、第１のダークレベル、そして第１のノイズフロアに基づいて決定され、前記第２の有効ダイナミックレンジは、前記第２のイメージデータの、第２の飽和レベル、第２のダークレベル、そして、第２のノイズフロアに基づいて決定される、（１）に記載の方法。
（３） 前記スケーリングされた第１のイメージデータと前記第２のイメージデータは、前記第１のノイズフロアに実質的に中心がある第１のシグモイド関数と、前記第２の飽和レベルから前記第２のダークレベルを引いたものに実質的に中心がある第２のシグモイド関数と、に基づいて選択的に合成される、（３）に記載の方法。
（４） 第２のイメージデータを生成するために、前記第１のイメージデータの輝度分布に基づいて第１のイメージデータの第１の輝度値を調節することと；
局所的に調節されるイメージデータを生成するために、前記第２のイメージデータの前記領域の局所的な輝度分布に基づいて前記第２のイメージデータの領域の第２の輝度値を調節することと；
前記第１のイメージデータよりも小さいダイナミックレンジを有する第３のイメージデータを生成することと、なお、前記第２のイメージデータの前記領域に対応する前記第３のイメージデータの輝度値は、前記領域内の前記第２のイメージデータの輝度偏差に基づいて、前記第２のイメージデータの前記領域内で前記局所的に調節されるイメージデータと前記第２のイメージデータとを合成することによって決定される；
を備える方法。
（５） 前記第１の輝度値を調節することは、
前記第１のイメージデータのピクセル輝度値のヒストグラムを決定することと、
前記ヒストグラムのレンジを一様分布レベルに基づいてキャップすることと、
前記キャップされるヒストグラムを正規化することと、
前記正規化されたヒストグラムの累積分布関数（ＣＤＦ）を決定することと、
前記第１の輝度値を再マッピングするために前記第１のイメージデータに対しトーンマッピング関数として前記ＣＤＦを適用することと、
を備える、（４）に記載の方法。
（６） 前記第２の輝度値を調節することは、
前記第２のイメージデータを複数の領域に分割することと、
前記複数の領域のそれぞれのピクセル輝度値のヒストグラムをコンピュートすることと、
前記複数の領域のそれぞれに対応する局所的トーンマッピング関数を決定することと、
前記複数の領域の特定の領域の特定ピクセルのトーンマッピングをコンピュートするために、前記局所的トーンマッピング関数間で双線形補間を実行することと、
を備え、なお、前記局所的トーンマッピング関数は、前記特定の領域に隣接する前記複数の領域のうちの領域に対応する、（４）に記載の方法。
（７） 前記領域内の各特定ピクセルについて、前記特定ピクセルを含んでいるピクセルの近隣に対応する前記第２のイメージデータを使用して、輝度分散と輝度平均の比を決定することによってフラットネスマップを生成すること、をさらに備える（４）に記載の方法。
（８） 前記第３のイメージデータは、前記第１のイメージデータと少なくとも同じ量の詳細を有するように生成される、（４）に記載の方法。
（９） ワイヤレスデバイスであって、
プロセッサと、
前記プロセッサに対してアクセス可能なメモリと、
を備え、前記プロセッサは、前記特定ピクセルの近隣内の輝度偏差に基づいて、イメージデータの複数のピクセルの各特定ピクセルのトーンマッピングされるピクセル値を含んでいるトーンマッピングされるイメージデータを生成するように構成され、前記イメージデータは、カメラにおいてキャプチャされるイメージに対応し、前記プロセッサは、ディスプレイのために前記トーンマッピングされるイメージデータを提供するように構成される、ワイヤレスデバイス。
（１０） 前記プロセッサは、前記メモリにおいて前記トーンマッピングされるイメージデータを保存するようにさらに構成される、（９）に記載のワイヤレスデバイス。
（１１） 前記プロセッサに結合されるワイヤレスインタフェース、をさらに備え、前記プロセッサは、前記ワイヤレスインタフェースを介して通信されるべき前記トーンマッピングされるイメージデータを提供するようにさらに構成される、（９）に記載のワイヤレスデバイス。
（１２） 前記イメージデータは、第１の露光時間を使用している前記カメラから受信される第１セットのイメージデータと、第２の露光時間を使用している前記カメラから受信される第２セットのイメージデータと、を合成することによって、生成されるハイダイナミックレンジ（ＨＤＲ）イメージデータを含む、（９）に記載のワイヤレスデバイス。
（１３） 前記第１セットのイメージデータの前記輝度値は、前記第２の露光時間と前記第１の露光時間との比に基づいてスケーリングされ、前記ＨＤＲイメージデータを生成するために、前記スケーリングされた輝度値の第１の有効ダイナミックレンジと前記第２セットのイメージデータの第２の有効ダイナミックレンジとの間のオーバーラップに基づいて前記第２セットのイメージデータで選択的に合成される、（１２）に記載のワイヤレスデバイス。
（１４） 前記プロセッサは、
前記特定ピクセルの近隣内の輝度偏差を表示するフラットネスマップを生成するために、前記ＨＤＲイメージデータを処理するように、
全体的にマッピングされるイメージデータと局所的にマッピングされるイメージデータの重み付けられた和を使用して前記特定ピクセルの前記トーンマッピングされるピクセル値を決定するように、
さらに構成され、前記重み付けられた和の重みは、前記特定ピクセルの前記近隣内の前記輝度偏差に基づいて決定される、（１３）に記載のワイヤレスデバイス。
（１５） 前記カメラ、をさらに備える（９）に記載のワイヤレスデバイス。
（１６） ディスプレイデバイス、をさらに備える（９）に記載のワイヤレスデバイス。
（１７） 前記特定ピクセルの近隣内の輝度偏差に基づいてイメージデータの複数のピクセルの各特定ピクセルのトーンマッピングされるピクセル値を含んでいるトーンマッピングされるイメージデータを生成するための手段と、なお、前記イメージデータは、カメラにおいてキャプチャされるイメージに対応する；
ディスプレイのために前記トーンマッピングされるイメージデータを提供するための手段と；
を備える装置。
（１８） 前記トーンマッピングされるイメージデータをワイヤレスで通信するための手段、をさらに備える（１７）に記載の装置。
（１９） 前記イメージデータは、第１の露光時間を使用している前記カメラから受信される第１セットのイメージデータと、第２の露光時間を使用している前記カメラから受信される第２セットのイメージデータと、を合成することによって生成されるハイダイナミックレンジ（ＨＤＲ）イメージデータを含む、（１７）に記載の装置。
（２０） 実行可能な命令を備えているコンピュータ可読媒体であって、実行されるとき、プロセッサに、
第１のイメージデータを受信させる実行可能な命令と；
前記第１のイメージデータの輝度分布に基づいて第２のイメージデータを生成させる実行可能な命令と；
前記第２のイメージデータの領域内の局所的輝度分布に基づいて局所的に調節されるイメージデータを生成させる実行可能な命令と；
前記第１のイメージデータよりもより小さいダイナミックレンジを有する第３のイメージデータを生成させる実行可能な命令と、なお、前記第２のイメージデータの前記領域に対応する前記第３のイメージデータの領域の輝度値は、前記第２のイメージデータの前記領域内の前記第２のイメージデータの輝度偏差に基づいて、前記局所的に調節されるイメージデータと前記第２のイメージとを合成することによって決定される；
を備えるコンピュータ可読媒体。
（２１） 前記局所的に調節されるイメージデータと前記第２のイメージデータとを合成することは、前記領域内で、前記局所的に調節されるイメージデータと前記第２のイメージデータとの重み付けられた和を使用することを含み、前記重み付けられた和の重みは、前記輝度偏差に基づいている、（２０）に記載のコンピュータ可読媒体。
（２２） 前記第３のイメージデータの前記領域内の特定ピクセルの輝度値は、前記特定ピクセルに対応する前記第２のイメージデータの第１の値と前記特定ピクセルに対応する前記局所的に調節されるイメージデータの第２の値との重み付けられた和を使用して決定される、（２０）に記載のコンピュータ可読媒体。
（２３） デバイスであって、
イメージの領域内で第１の全体的にマッピングされる輝度値を生成するように構成される全体的マッピングモジュールと；
前記イメージの前記領域内で第２の局所的にマッピングされる輝度値を生成するように構成される局所的マッピングモジュールと；
前記第１の全体的にマッピングされる輝度値と前記第２の局所的にマッピングされる輝度値との重み付けられた和を使用して、出力イメージの対応する領域内で輝度値を決定するように構成される合成モジュールと、なお、前記重み付けられた和の重みは、前記イメージの前記領域内の輝度偏差に少なくとも部分的に基づいている；
を備えているデバイス。
（２４） 前記イメージの部分に対応するフラットネスマップを生成するように構成される偏差モジュール、をさらに備え、前記フラットネスマップは、前記イメージの前記領域内の前記輝度偏差を示す、（２３）に記載のデバイス。
（２５） 前記特定ピクセルに対応する前記フラットネスマップのエントリは、特定ピクセルの近隣内の輝度分散と前記特定ピクセルの前記近隣内の輝度平均との比に比例している、（２４）に記載のデバイス。

Claims (25)

1. イメージセンサから第１のイメージデータを受信することと、なお、前記第１のイメージデータは、第１の露光時間を使用して生成される；
   前記イメージセンサから第２のイメージデータを受信することと、なお、前記第２のイメージデータは、前記第１の露光時間よりも大きい第２の露光時間を使用して生成される；
   スケーリングされた第１のイメージデータを生成するために、前記第２の露光時間と前記第１の露光時間との比に基づいて前記第１のイメージデータの輝度値をスケーリングすることと；
   ハイダイナミックレンジ（ＨＤＲ）イメージを生成するために、前記スケーリングされた第１のイメージデータの第１の有効ダイナミックレンジと前記第２のイメージの第２の有効ダイナミックレンジとの間のオーバーラップに基づいて前記スケーリングされた第１のイメージデータと前記第２のイメージデータとを選択的に合成することと；
   前記ＨＤＲイメージのダイナミックレンジを圧縮するためにトーンマッピングを生成することと、なお、前記トーンマッピングを生成することは、前記ＨＤＲイメージの各ピクセルの近隣内の輝度偏差に基づいて全体的トーンマッピング値と局所的トーンマッピング値とのピクセル・バイ・ピクセル重みづけを決定することを含む；
   ディスプレイデバイスにおいてディスプレイされるべき前記ＨＤＲイメージの前記圧縮されるダイナミックレンジを有するトーンマッピングされるイメージを提供することと；
   を備える方法。
2. 前記第１の有効ダイナミックレンジは、前記第１のイメージデータの、第１の飽和レベル、第１のダークレベル、そして第１のノイズフロアに基づいて決定され、前記第２の有効ダイナミックレンジは、前記第２のイメージデータの、第２の飽和レベル、第２のダークレベル、そして、第２のノイズフロアに基づいて決定される、請求項１に記載の方法。
3. 前記スケーリングされた第１のイメージデータと前記第２のイメージデータは、前記第１のノイズフロアに実質的に中心がある第１のシグモイド関数と、前記第２の飽和レベルから前記第２のダークレベルを引いたものに実質的に中心がある第２のシグモイド関数と、に基づいて選択的に合成される、請求項１に記載の方法。
4. 第２のイメージデータを生成するために、第１のイメージデータの輝度分布に基づいて前記第１のイメージデータの第１の輝度値を調節することと；
   局所的に調節されるイメージデータを生成するために、前記第２のイメージデータの領域の局所的な輝度分布に基づいて前記第２のイメージデータの前記領域の第２の輝度値を調節することと；
   前記第１のイメージデータよりも小さいダイナミックレンジを有する第３のイメージデータを生成することと、なお、前記第２のイメージデータの前記領域に対応する前記第３のイメージデータの輝度値は、前記領域内の前記第２のイメージデータの輝度偏差に基づいて、前記第２のイメージデータの前記領域内で前記局所的に調節されるイメージデータと前記第２のイメージデータとを合成することによって決定される；
   を備える方法。
5. 前記第１の輝度値を調節することは、
   前記第１のイメージデータのピクセル輝度値のヒストグラムを決定することと、
   前記ヒストグラムのレンジを一様分布レベルに基づいてキャップすることと、
   前記キャップされるヒストグラムを正規化することと、
   前記正規化されたヒストグラムの累積分布関数（ＣＤＦ）を決定することと、
   前記第１の輝度値を再マッピングするために前記第１のイメージデータに対しトーンマッピング関数として前記ＣＤＦを適用することと、
   を備える、請求項４に記載の方法。
6. 前記第２の輝度値を調節することは、
   前記第２のイメージデータを複数の領域に分割することと、
   前記複数の領域のそれぞれのピクセル輝度値のヒストグラムをコンピュートすることと、
   前記複数の領域のそれぞれに対応する局所的トーンマッピング関数を決定することと、
   前記複数の領域の特定の領域の特定ピクセルのトーンマッピングをコンピュートするために、前記局所的トーンマッピング関数間で双線形補間を実行することと、
   を備え、なお、前記局所的トーンマッピング関数は、前記特定の領域に隣接する前記複数の領域のうちの領域に対応する、請求項４に記載の方法。
7. 前記領域内の各特定ピクセルについて、前記特定ピクセルを含んでいるピクセルの近隣に対応する前記第２のイメージデータを使用して、輝度分散と輝度平均の比を決定することによってフラットネスマップを生成すること、をさらに備える請求項４に記載の方法。
8. 前記第３のイメージデータは、前記第１のイメージデータと少なくとも同じ量の詳細を有するように生成される、請求項４に記載の方法。
9. ワイヤレスデバイスであって、
   プロセッサと、
   前記プロセッサに対してアクセス可能なメモリと、
   を備え、前記プロセッサは、
   第２のイメージデータを生成するために、第１のイメージデータの輝度分布に基づいて前記第１のイメージデータの第１の輝度値を調節するように；
   局所的に調節されるイメージデータを生成するために、前記第２のイメージデータの領域の局所的な輝度分布に基づいて前記第２のイメージデータの前記領域の第２の輝度値を調節するように；
   前記第１のイメージデータよりも小さいダイナミックレンジを有する第３のイメージデータを生成するように、なお、前記第２のイメージデータの前記領域に対応する前記第３のイメージデータの輝度値は、前記領域内の前記第２のイメージデータの輝度偏差に基づいて、前記第２のイメージデータの前記領域内で前記局所的に調節されるイメージデータと前記第２のイメージデータとを合成することによって決定される；
   ように構成されており、前記プロセッサは、ディスプレイのために前記第３のイメージデータを提供するように構成される、ワイヤレスデバイス。
10. 前記プロセッサは、前記メモリにおいて前記第３のイメージデータを保存するようにさらに構成される、請求項９に記載のワイヤレスデバイス。
11. 前記プロセッサに結合されるワイヤレスインタフェース、をさらに備え、前記プロセッサは、前記ワイヤレスインタフェースを介して通信されるべき前記第３のイメージデータを提供するようにさらに構成される、請求項９に記載のワイヤレスデバイス。
12. 前記第１のイメージデータは、ハイダイナミックレンジ（ＨＤＲ）イメージデータを含む、請求項９に記載のワイヤレスデバイス。
13. 前記ハイダイナミックレンジ（ＨＤＲ）イメージデータは、カメラからの複数の露光を合成することによって生成される、請求項１２に記載のワイヤレスデバイス。
14. 前記プロセッサは、
    前記特定ピクセルの近隣内の輝度偏差を表示するフラットネスマップを生成するために、前記ＨＤＲイメージデータを処理するように、
    全体的にマッピングされるイメージデータと局所的にマッピングされるイメージデータの重み付けられた和を使用して前記特定ピクセルの前記トーンマッピングされるピクセル値を決定するように、
    さらに構成され、前記重み付けられた和の重みは、前記特定ピクセルの前記近隣内の前記輝度偏差に基づいて決定される、請求項１３に記載のワイヤレスデバイス。
15. 前記カメラ、をさらに備える請求項９に記載のワイヤレスデバイス。
16. ディスプレイデバイス、をさらに備える請求項９に記載のワイヤレスデバイス。
17. 第２のイメージデータを生成するために、第１のイメージデータの輝度分布に基づいて前記第１のイメージデータの第１の輝度値を調節するための手段と；
    局所的に調節されるイメージデータを生成するために、前記第２のイメージデータの領域の局所的な輝度分布に基づいて前記第２のイメージデータの前記領域の第２の輝度値を調節するための手段と；
    前記第１のイメージデータよりも小さいダイナミックレンジを有する第３のイメージデータを生成するための手段と、なお、前記第２のイメージデータの前記領域に対応する前記第３のイメージデータの輝度値は、前記領域内の前記第２のイメージデータの輝度偏差に基づいて、前記第２のイメージデータの前記領域内で前記局所的に調節されるイメージデータと前記第２のイメージデータとを合成することによって決定される；
    ディスプレイのために前記第３のイメージデータを提供するための手段と；
    を備える装置。
18. 前記第３のイメージデータをワイヤレスで通信するための手段、をさらに備える請求項１７に記載の装置。
19. 前記第１のイメージデータは、ハイダイナミックレンジ（ＨＤＲ）イメージデータを含む、請求項１７に記載の装置。
20. 実行可能な命令を備えているコンピュータ可読媒体であって、実行されるとき、プロセッサに、
    第１のイメージデータを受信させる実行可能な命令と；
    前記第１のイメージデータの輝度分布に基づいて第２のイメージデータを生成させる実行可能な命令と；
    前記第２のイメージデータの領域内の局所的輝度分布に基づいて局所的に調節されるイメージデータを生成させる実行可能な命令と；
    前記第１のイメージデータよりもより小さいダイナミックレンジを有する第３のイメージデータを生成させる実行可能な命令と、なお、前記第２のイメージデータの前記領域に対応する前記第３のイメージデータの領域の輝度値は、前記第２のイメージデータの前記領域内の前記第２のイメージデータの輝度偏差に基づいて、前記局所的に調節されるイメージデータと前記第２のイメージとを合成することによって決定される；
    を備えるコンピュータ可読媒体。
21. 前記局所的に調節されるイメージデータと前記第２のイメージデータとを合成することは、前記領域内で、前記局所的に調節されるイメージデータと前記第２のイメージデータとの重み付けられた和を使用することを含み、前記重み付けられた和の重みは、前記輝度偏差に基づいている、請求項２０に記載のコンピュータ可読媒体。
22. 前記第３のイメージデータの前記領域内の特定ピクセルの輝度値は、前記特定ピクセルに対応する前記第２のイメージデータの第１の値と前記特定ピクセルに対応する前記局所的に調節されるイメージデータの第２の値との重み付けられた和を使用して決定される、請求項２０に記載のコンピュータ可読媒体。
23. デバイスであって、
    イメージの領域内で第１の全体的にマッピングされる輝度値を生成するように構成される全体的マッピングモジュールと；
    前記イメージの前記領域内で第２の局所的にマッピングされる輝度値を生成するように構成される局所的マッピングモジュールと；
    前記第１の全体的にマッピングされる輝度値と前記第２の局所的にマッピングされる輝度値との重み付けられた和を使用して、出力イメージの対応する領域内で輝度値を決定するように構成される合成モジュールと、なお、前記重み付けられた和の重みは、前記イメージの前記領域内の輝度偏差に少なくとも部分的に基づいている；
    を備えているデバイス。
24. 前記イメージの部分に対応するフラットネスマップを生成するように構成される偏差モジュール、をさらに備え、前記フラットネスマップは、前記イメージの前記領域内の前記輝度偏差を示す、請求項２３に記載のデバイス。
25. 前記特定ピクセルに対応する前記フラットネスマップのエントリは、特定ピクセルの近隣内の輝度分散と前記特定ピクセルの前記近隣内の輝度平均との比に比例している、請求項２４に記載のデバイス。

Images