JP7141428B2 - 高ダイナミックレンジ（ｈｄｒ）画素ストリームを生成するための装置、コンピュータプログラムおよび方法 - Google Patents

Description

発明の分野
本発明は、デジタル写真撮影システムに関し、より特定的には、高ダイナミックレンジ画像を生成するためのシステムおよび方法に関する。

背景
旧来のデジタル写真撮影システムは、捕捉中の画像センサのダイナミックレンジによって本質的に制限されている。そのような制限に対する１つの解決策は、高ダイナミックレンジ（high dynamic range:ＨＤＲ）写真撮影の使用である。ＨＤＲ写真撮影は、同じシ
ーンの多重露光を捕捉することを伴い、当該露光の各々は異なって計測され、次いで、当該複数の捕捉を合成してより大きいダイナミックレンジを有する画像を作成することを伴う。

概要
画素ストリームに対して高ダイナミックレンジ混合を実行するためのシステム、方法、およびコンピュータプログラムプロダクトが提供される。

使用時、このシステムは、画像センサの複数の画素のうちの１画素当たり少なくとも２つの露光を含む画素ストリームを受信する。次にシステムは受信した画素ストリームに対して高ダイナミックレンジ（ＨＤＲ）混合を実行することによってＨＤＲ画素ストリームを生成する。最後にシステムはＨＤＲ画素ストリームを出力する。その他のシステム、方法、およびコンピュータプログラムプロダクトも示される。

一実施形態において、装置は回路を含み、この回路は、画像センサの複数の画素のうちの１画素当たり少なくとも２つの露光を含む画素ストリームを受信し、受信した画素ストリームに対して高ダイナミックレンジ（ＨＤＲ）混合を実行することによってＨＤＲ画素ストリームを生成するための回路である。加えて、ＨＤＲ画素ストリームを出力するための回路が提供される。

別の実施形態において、画素ストリームを受信することは、画素の第１の露光と画素の第２の露光とを受信することを含む。別の実施形態において、上記回路はさらに、画素の第１の露光の第１の画素属性を識別し、画素の第２の露光の第２の画素属性を識別し、第１の画素属性および第２の画素属性に基づいてスカラーを識別し、スカラーに基づいて画素の第１の露光と画素の第２の露光とをブレンドするように、動作可能である。

別の実施形態において、第１の画素属性は第１の輝度を含み、第２の画素属性は第２の輝度を含む。別の実施形態において、第１の画素属性は第１の彩度を含み、第２の画素属性は第２の彩度を含む。別の実施形態において、スカラーは生成、選択、および補間のうちの少なくとも１つによって識別される。

一実施形態において、スカラーは複数の多項式を使用することによって識別される。別の実施形態において、複数の多項式のうちの第１の多項式は第１の画素属性の関数であり
、複数の多項式のうちの第２の多項式は第２の画素属性の関数であり、第１の多項式は、第２の多項式との比較において、次数が高い多項式、次数が等しい多項式、および次数が低い多項式のうちの少なくとも１つである。

加えて、別の実施形態において、スカラーは、第１の画素属性および第２の画素属性を入力として受ける混合値関数に基づいて識別され、混合値関数は、入力に関連付けられたしきい値に対応する平坦領域、遷移領域、および飽和領域を含む。別の実施形態において、スカラーは、ｚ＝（１－（１－（１－ｘ）＾Ａ）＾Ｂ）^＊（（１－（１－ｙ）＾Ｃ）＾Ｄ）という形態の多項式またはｚ＝（（１－（１－ｘ）＾Ａ）＾Ｂ）^＊（（１－（１－ｙ）＾Ｃ）＾Ｄ）という形態の多項式に基づいて識別され、多項式中において、ｚはスカラーに対応し、ｘは第２の画素属性に対応し、ｙは第１の画素属性に対応し、Ａ、Ｂ、Ｃ、Ｄは任意の定数に対応する。

別の実施形態において、画素の第１の露光と画素の第２の露光とのブレンドの結果が出力としての高ダイナミックレンジ（ＨＤＲ）画素となる。別の実施形態において、ＨＤＲ画素はＨＤＲ画素ストリームにおいて出力される。別の実施形態において、画素ストリームを受信することは、画素の第１の露光と、画素の第２の露光と、画素の第３の露光とを受信することを含む。

一実施形態において、画素の第１の露光の第１の画素属性を識別し、画素の第２の露光の第２の画素属性を識別し、画素の第３の露光の第３の画素属性を識別し、第１の画素属性および第２の画素属性に基づいて第１のスカラーを識別し、第２の画素属性および第３の画素属性に基づいて第２のスカラーを識別し、第１のスカラーに基づいて画素の第１の露光と画素の第２の露光とをブレンドし、第２のスカラーに基づいて画素の第２の露光と画素の第３の露光とをブレンドし、画素の第１の露光と画素の第２の露光とのブレンドに基づいて第１の結果画素を生成し、画素の第２の露光と画素の第３の露光とのブレンドに基づいて第２の結果画素を生成するための回路が提供される。

別の実施形態において、第１の結果画素と第２の結果画素とが組合わされて組合わせ画素となる。別の実施形態において、組合わせ画素は、ＨＤＲ画素ストリームにおいて出力されるＨＤＲ画素を含む。別の実施形態において、第１の画素属性は第１の値を含み、第３の画素属性は第３の値を含み、第２の画素属性は第１の値と第３の値との間の第２の値を含む。別の実施形態において、ＨＤＲ画素ストリームは複数のＨＤＲ画素を含み、複数のＨＤＲ画素のうちの各ＨＤＲ画素はそれぞれ画像センサの異なる画素に関連付けられ、複数のＨＤＲ画素の各々は、画像センサの関連付けられた画素の少なくとも２つの露光に基づいて生成される。

一実施形態において、非一時的なコンピュータ読取可能な媒体上で具現化されるコンピュータプログラムプロダクトは、画像センサの複数の画素のうちの１画素当たり少なくとも２つの露光を含む画素ストリームを受信することを可能にするためのコードと、受信した画素ストリームに対して高ダイナミックレンジ（ＨＤＲ）混合を実行することによってＨＤＲ画素ストリームを生成することを可能にするためのコードと、ＨＤＲ画素ストリームを受信するためのコードとを含む。

一実施形態において、方法は、画像センサの複数の画素のうちの１画素当たり少なくとも２つの露光を含む画素ストリームを受信するステップと、受信した画素ストリームに対して高ダイナミックレンジ（ＨＤＲ）混合を実行することによってＨＤＲ画素ストリームを生成するステップと、ＨＤＲ画素ストリームを出力するステップとを含む。

ある実施形態に従う高ダイナミックレンジ（ＨＤＲ）画素ストリームを生成するための代表的な方法を示す。 別の実施形態に従うＨＤＲ画素ストリームを生成するためのシステムを示す。 ある実施形態に従うデジタル写真撮影システムを示す。 一実施形態に従うデジタル写真撮影システム内のプロセッサ複合体を示す。 ある実施形態に従うデジタルカメラを示す。 別の実施形態に従うワイヤレスモバイルデバイスを示す。 一実施形態に従う画像をサンプリングするように構成されたカメラモジュールを示す。 別の実施形態に従う画像をサンプリングするように構成されたカメラモジュールを示す。 ある実施形態に従うアプリケーションプロセッサと通信するカメラモジュールを示す。 別の実施形態に従うネットワークサービスシステムを示す。 別の実施形態に従う画素ストリームを受信しＨＤＲ画素ストリームを出力するためのシステムを示す。 別の実施形態に従うＨＤＲ画素を生成するためのシステムを示す。 別の実施形態に従うＨＤＲ画素を生成するための方法を示す。 別の実施形態に従うＨＤＲ画素を生成するためのシステムを示す。 別の実施形態に従うＨＤＲ画素を生成するための方法を示す。 別の実施形態に従うＨＤＲ画素を生成するための方法を示す。 別の実施形態に従う表面図を示す。 別の実施形態に従う表面図を示す。 別の実施形態に従う表面図を示す。 別の実施形態に従う表面図を示す。 別の実施形態に従う画像ブレンド動作を示す。

詳細な説明
用語解説
明画素＝対応する暗画素よりも明るい画素。

暗画素＝対応する明画素よりも暗い画素。
属性＝輝度、彩度、色相、色空間値、明度、ＲＧＢ色、ルミナンス、またはクロミナンスを含む、画素の特徴。

スカラー＝第１の画素属性と第２の画素属性とに基づいて識別された結果。
ブレンド＝２つ以上の画素に基づくプロセスであり、２つ以上の画素点の平均を求めること、各画素点に関連する色属性を合計し正規化すること、次に正規化され得るＲＧＢベクトル長を求めること、または、明画素と暗画素とを各々の属性の関数に基づいて組合わせることを含む。

デジタル写真撮影システム＝モバイルデバイス、カメラ、タブレット、またはデスクトップコンピュータ。

ワイヤレスモバイルデバイス＝デジタルカメラを含むように構成されたスマートフォン、ワイヤレスネットワーク接続性を含むように構成されたデジタルカメラ、現実拡張デバイス、または、デジタルカメラとワイヤレスネットワーク接続性とを含むように構成され
たラップトップコンピュータ。

強さ関数または係数＝２つ以上の画素に対して演算する関数の範囲を制御するための要素。

イベントタイミング誤差＝意図されたイベント発生時間から対応する実際のイベント発生時間までの時間差。

エフェクト機能＝輝度、彩度、色相、色空間値、明度、ＲＧＢ色、ルミナンス、クロミナンス、コントラストレベル関数、曲線関数を変更するための機能、または、フィルタを含む機能であり、フィルタは、パステル画調、水彩画機能、木炭画調、ペン画調、検出されたエッジの輪郭、グレインのもしくはノイズの変更、またはテクスチャの変更を含む。

露光パラメータ＝ＩＳＯ、露光時間、または絞り。
画像スタック＝２つ以上の画像。

レベルマッピング＝伝達関数に基づく輝度レベルの調整。
アナログ画素データ＝各々が連続するアナログ値で表わされる一組の空間的に離散した輝度サンプル。

図１は、可能な一実施形態に従う高ダイナミックレンジ（ＨＤＲ）画素ストリームを生成するための代表的な方法１００を示す。選択肢として、方法１００は図面のうちのいずれの図面の文脈でも実行し得る。しかしながら、当然、方法１００はいずれの所望の環境でも実行し得る。さらに、上述の定義は以下の説明に等しく適用され得る。

示されているように、動作１０２において、画素ストリームを受信する。この画素ストリームは、画像センサの複数の画素のうちの１画素当たり少なくとも２つの露光を含む。一実施形態において、画素ストリームは画像センサから直接受信してもよい。別の実施形態において、画素ストリームはコントローラから受信してもよい。このコントローラは最初に画像センサから画素ストリームを受信する。さらに別の実施形態において、画素ストリームは、画像センサによって生成された画素ストリームを最初に受信し得るカメラモジュールまたは他のハードウェアコンポーネントから受信してもよい。

上記画素ストリームは、画像センサの複数の画素のうちの１画素当たり少なくとも２つの露光を含む。一実施形態において、この画素ストリームは、画像センサの画素に関連付けられたデジタル画素データのシーケンスを含む。デジタル画素データのシーケンスは、画素ごとに、明度、輝度、色等の画素属性を表わす値を含み得る。所与の画素の各露光はそれぞれ、露光各々が固有の属性値を含むように、明度等の所与の属性に関する異なる値に関連付けられていてもよい。たとえば、一実施形態において、所与の画素の第１の露光に関する画素データは第１の属性値を含み得るものであり、この画素の第３の露光に関する画素データは第１の値と異なる第３の属性値を含み得るものであり、この画素の第２の露光に関する画素データは第１の値と第３の値との間の第２の値を含み得るものである。一実施形態において、各値は明度値を含み得る。

さらに、この画素ストリームは、画素ごとに少なくとも２つの単位のデジタル画素データを含み得る。デジタル画素データの各単位はそれぞれ異なる露光に関連付けられている。さらに、ある画素の第１の単位のデジタル画素データは第１の組のデジタル画素データに関連付けられていてもよく、この画素の第２の単位のデジタル画素データは第２の組のデジタル画素データに関連付けられていてもよい。このような実施形態において、各組のデジタル画素データはデジタル画像の少なくとも一部分に関連付けられていてもよい。た
とえば、第１の組のデジタル画素データは第１のデジタル画像に関連付けられていてもよく、第２の組のデジタル画素データは第２のデジタル画像に関連付けられていてもよい。

一実施形態において、各組のデジタル画素データは、画像センサに投影した撮影シーンの光学画像を表わしていてもよい。たとえば、画素ストリームにおける第１の組のデジタル画素データは、画像センサに投影した光学画像の第１の露光を表わしていてもよく、この画素ストリームにおける第２の組のデジタル画素データは、上記画像センサに投影した光学画像の第２の露光を表わしていてもよい。

そのために、画素ストリームは２組のデジタル画素データを含んでいてもよく、各組は、異なる露光における画像センサの所与の画素に関する、対応する１単位のデジタル画素データを含む。この画素ストリームは、同一の撮影シーン画像の２つの異なる露光に関するデジタル画素データを含む。

一実施形態において、画素ストリームは、第２の組のデジタル画素データとインタリーブされた第１の組のデジタル画素データを含み得る。たとえば、画素ストリームは、第１列の画素に関する第１のデジタル画素データを含み、次に、第１列の画素に関する第２のデジタル画素データを含み、次に、第２列の画素に関する第１のデジタル画素データを含み、次に第２列の画素に関する第２のデジタル画素データを含み、以降同様にデジタル画素データを含み得る。当然ながら、画素ストリームは何らかのやり方でインタリーブされた２つ以上の組のデジタル画素データを含み得る。さらに、画素ストリームは、インタリーブされないやり方で組織された２つ以上の組のデジタル画素データを含み得る。

一実施形態において、上記少なくとも２つの露光は同一の撮影シーンの露光であってもよい。たとえば、上記少なくとも２つの露光は、同一の撮影シーンの明露光と暗露光とを含み得る。別の例として、上記少なくとも２つの露光は、同一の撮影シーンの、明露光、暗露光、および中間露光各々を含み得る。中間露光は、暗露光よりも明るいが明露光よりも暗い露光であってもよい。一実施形態において、露光の明るさは、１つ以上の露光時間を用いて制御し得る。別の実施形態において、露光の明るさは１つ以上のゲインまたは１つ以上のＩＳＯ値を用いて制御し得る。当然ながら、各露光の明るさは、技術的に可能であればいずれの技術でも制御し得る。

一実施形態において、画像センサは二次元格子またはアレイに配置された複数の画素を含み得る。さらに、これらの画素は各々１つ以上のセルを含み得る。各セルは１つ以上のフォトダイオードを含む。１つ以上の制御信号によって制御されて、画像センサの各セルは、そのフォトダイオードに投影された入射光の量を測定またはサンプリングしサンプリングした入射光を表わすアナログ値を記憶し得る。一実施形態において、ある画素の１つ以上のセルに記憶されたアナログ値は、アナログ信号として出力されてもよい。このアナログ信号はその後増幅されおよび／または２つ以上のデジタル信号に変換されてもよい。各デジタル信号はそれぞれ異なる有効露光量に関連付けられていてもよい。アナログ画素データは、１つ以上の所定の画素に関連付けられたアナログ信号値であってもよい。

別の実施形態において、画素の各セルは２つ以上のアナログ値を記憶し得る。各アナログ値はそれぞれ異なるサンプリング期間の入射光の露光をサンプリングすることによって得られる。画素の１つ以上のセルに記憶されたアナログ値は２つ以上のアナログ信号として出力されてもよく、これらのアナログ信号はその後増幅されおよび／または２つ以上のデジタル信号に変換されてもよく、各デジタル信号はそれぞれ異なる有効露光量に関連付けられていてもよい。

そのために、１つ以上のデジタル信号は、画像センサの複数の画素からの１画素当たり
少なくとも２つの露光を含む画素ストリームを含み得る。

さらに、動作１０４において、受信した画素ストリームに対してＨＤＲブレンドを実施することにより高ダイナミックレンジ（ＨＤＲ）画素ストリームを生成する。一実施形態において、受信した画素ストリームのＨＤＲブレンドにより、画像センサの複数の画素のうちの画素ごとにＨＤＲ画素を生成してもよく、ＨＤＲ画素は上記画素の少なくとも２つの露光に基づき得る。たとえば、ＨＤＲブレンド動作は、入力として、画像センサの画素の少なくとも２つの露光を受けてもよく、その後、上記画素の少なくとも２つの露光をブレンドすることによりＨＤＲ画素を生成してもよい。特定の実施形態において、上記画素の少なくとも２つの露光のブレンドは、混合動作を含み得る。一実施形態において、所与の画素について生成されたＨＤＲ画素は、ＨＤＲ画素ストリームとして出力されてもよく、このＨＤＲ画素ストリームはまた、所与の画素の近隣画素から受けた露光に基づいて生成されたＨＤＲ画素を含む。

最後に、動作１０６において、ＨＤＲ画素ストリームを出力する。一実施形態において、ＨＤＲ画素ストリームは、個々のＨＤＲ画素のシーケンスとして出力されてもよい。別の実施形態において、ＨＤＲ画素ストリームはアプリケーションプロセッサに出力されてもよい。そうすると、アプリケーションプロセッサは、ＨＤＲ画素ストリームの記憶および／または表示を制御してもよい。さらに別の実施形態において、ＨＤＲ画素ストリームは、ＨＤＲ画素ストリームの生成に使用された画素ストリームに関連付けて記憶されてもよい。画素ストリームをＨＤＲ画素ストリームに関連付けて記憶することにより、その後の画素ストリームを取出し易くすることができる。

図２は、一実施形態に従うＨＤＲ画素ストリームを生成するためのシステム２００を示す。選択肢として、システム２００は図面のうちのいずれの図面の文脈でも実現し得る。しかしながら、当然、システム２００はいずれの所望の環境でも実現し得る。さらに、上述の定義は以下の説明に等しく適用され得る。

図２に示されるように、システム２００は、画素ストリーム２０４を画像センサ２０２から受ける高ダイナミックレンジ（ＨＤＲ）ブレンド回路２０６を含む。さらに、示されているＨＤＲブレンド回路２０６はＨＤＲ画素ストリーム２０８を出力する。

一実施形態において、画像センサ２０２は、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ、または電荷結合素子（ＣＣＤ）画像センサ、または他の技術的に可能な形態の画像センサを含み得る。別の実施形態において、画像センサ２０２は、画像センサ２０２の表面上の二次元アレイまたは平面に配置された複数の画素を含み得る。

別の実施形態において、画像センサ２０２に光学画像が投影された結果、複数のアナログ値がアナログ信号として記憶および出力されてもよい。このアナログ信号は、画像センサの画素ごとに少なくとも１つのアナログ値を含む。このアナログ信号を、２つ以上のゲインを用いて増幅することによって２つ以上の増幅されたアナログ信号を生成してもよい。このような実施形態では、次に、増幅された各アナログ信号に基づいてデジタル信号が生成されることで、２つ以上のデジタル信号が生成されてもよい。さまざまな実施形態において、上記２つ以上のデジタル信号は画素ストリーム２０４を含み得る。

さらに別の実施形態において、第１の組のアナログ値は、画像センサの画素ごとに少なくとも１つのアナログ値を含む第１のアナログ信号として出力されてもよく、第２の組のアナログ値は、画像センサの画素ごとに少なくとも１つのアナログ値を含む第２のアナログ信号として出力されてもよい。このような実施形態において、各アナログ信号はその後処理され１つ以上のデジタル信号に変換され結果として２つ以上のデジタル信号が生成さ
れてもよい。さまざまな実施形態において、上記２つ以上のデジタル信号は画素ストリーム２０４を含み得る。

したがって、一実施形態において、画像センサ２０２によって生成された画素ストリーム２０４は、画像センサ２０２に投影された光学画像の少なくとも２つの電子表現を含み得る。さらに、この光学画像の各電子表現は１つ以上のアナログ信号を用いて生成されたデジタル画素データを含み得る。

一実施形態において、ＨＤＲブレンド回路２０６は、画素ストリームを受け受けた画素ストリームの内容に基づいてＨＤＲ画素ストリームを生成するように動作可能なハードウェアコンポーネントまたは回路を含み得る。先に述べたように、画素ストリームはデジタル画素データの複数のインスタンスを含み得る。たとえば、画素ストリームは、撮影シーンの第１の露光からの第１のデジタル画素データと、この撮影シーンの第２の露光からの第２のデジタル画素データとを含み得る。第１の露光および第２の露光は、露光またはサンプリングタイミング、ゲインの適用もしくは増幅、または、撮影シーンの第１の露光と第１の露光と異なる撮影シーンの第２の露光を得ることができるその他の露光パラメータに基づいて、変化し得る。

加えて、ＨＤＲブレンド回路２０６は、ＨＤＲ画素ストリーム２０８を生成するように機能し得るブレンド動作を画素ストリーム２０４に対して実施し得る。一実施形態において、ＨＤＲブレンド回路２０６のブレンド動作は、画像センサ２０２の画素から受けた２つの露光をブレンドすることを含み得る。別の実施形態において、ＨＤＲブレンド回路２０６のブレンド動作は、画像センサ２０２の画素から受けた３つ以上の露光をブレンドすることを含み得る。

最後に、ＨＤＲ画素ストリーム２０８はＨＤＲブレンド回路２０６から出力される。一実施形態において、ＨＤＲブレンド回路２０６から出力されたＨＤＲ画素ストリーム２０８は１つ以上のＨＤＲ画像の１つ以上のＨＤＲ画素を含むストリームを含み得る。たとえば、ＨＤＲ画素ストリーム２０８は、ＨＤＲ画像の一部分の、ＨＤＲ画像全体の、または、ＨＤＲビデオの複数のフレーム等の２つ以上のＨＤＲ画像のＨＤＲ画素を含み得る。

上述の方法がユーザの希望に従って実行されてもされなくてもよいさまざまな随意のアーキテクチャおよび使用に関して、より例示的な情報が以下に記載される。以下の情報は例示目的で記載されており、如何なる意味でも限定的であると解釈されるべきでないことに強く留意すべきである。以下の特徴はいずれも、説明される他の特徴を除外してまたは除外せずに随意に組込まれ得る。

図３Ａは、一実施形態に従うデジタル写真撮影システム３００を示す。選択肢として、デジタル写真撮影システム３００は本明細書に開示されている図面のうちのいずれの図面の詳細な文脈でも実現し得る。しかしながら、当然、デジタル写真撮影システム３００はいずれの所望の環境でも実現し得る。さらに、上述の定義は以下の説明に等しく適用され得る。

示されるように、デジタル写真撮影システム３００は、配線３３４を介してカメラモジュール３３０に結合されたプロセッサ複合体３１０を含んでいてもよい。一実施形態において、プロセッサ複合体３１０はストロボユニット３３６に結合されている。デジタル写真撮影システム３００はさらに、表示ユニット３１２、１組の入出力デバイス３１４、不揮発性メモリ３１６、揮発性メモリ３１８、ワイヤレスユニット３４０およびセンサデバイス３４２を含み得るがこれらに限定されず、これらの各々はプロセッサ複合体３１０に結合されている。一実施形態において、電力管理サブシステム３２０が、デジタル写真撮
影システム３００内の電気負荷要素の各々に適切な電源電圧を生成するように構成される。電池３２２が、電気エネルギを電力管理サブシステム３２０に供給するように構成されてもよい。電池３２２は、一次電池技術または充電式電池技術を含む任意の技術的に実行可能なエネルギ貯蔵システムを実現し得る。当然、他の実施形態では、より多いもしくは少ない特徴、ユニット、デバイス、センサ、またはサブシステムがシステムに含まれていてもよい。

一実施形態において、ストロボユニット３３６はデジタル写真撮影システム３００に統合され、デジタル写真撮影システム３００が実行する画像サンプルイベント時にストロボ照明３５０を提供するように構成されてもよい。別の実施形態において、ストロボユニット３３６は、デジタル写真撮影システム３００から独立したデバイスとして実現され、デジタル写真撮影システム３００が実行する画像サンプルイベント時にストロボ照明３５０を提供するように構成されてもよい。ストロボユニット３３６は１つ以上のＬＥＤ素子、ガス放電照明器（たとえばキセノンストロボデバイス、キセノンフラッシュランプ等）、またはその他の技術的に実行可能な照明デバイスを含んでいてもよい。特定の実施形態において、２つ以上のストロボユニットが画像のサンプリングと共にストロボ照明を同期して生成するように構成される。一実施形態において、ストロボユニット３３６は、ストロボ照明３５０を発するようにまたはストロボ照明３５０を発しないようにストロボ制御信号３３８を通して制御される。ストロボ制御信号３３８は、任意の技術的に実行可能な信号伝送プロトコルを用いて実現されてもよい。ストロボ制御信号３３８は、ストロボユニット３３６にストロボ照明３５０の指定輝度および／または色を生成するように命じるためのストロボパラメータ（たとえばストロボ輝度、ストロボ色、ストロボ時間等）を指示し得る。ストロボ制御信号３３８は、プロセッサ複合体３１０、カメラモジュール３３０によって、またはその他の技術的に実行可能なそれらの組合わせによって生成されてもよい。一実施形態において、ストロボ制御信号３３８は、プロセッサ複合体３１０内のカメラインターフェイスユニットによって生成され、配線３３４を介してストロボユニット３３６およびカメラモジュール３３０の両方に送信される。別の実施形態において、ストロボ制御信号３３８はカメラモジュール３３０によって生成され、配線３３４を介してストロボユニット３３６に送信される。

撮影シーン内のオブジェクトから反射したストロボ照明３５０の少なくとも一部を含み得る光学シーン情報３５２が、カメラモジュール３３０内の画像センサ３３２上に光学画像として合焦される。画像センサ３３２は光学画像の電子表現を生成する。電子表現は空間色輝度情報を含み、当該情報は異なる色輝度サンプル（たとえば赤色、緑色および青色光等）を含んでいてもよい。他の実施形態では、空間色輝度情報は白色光についてのサンプルをさらに含んでいてもよい。電子表現は、任意の技術的に実行可能な信号伝送プロトコルを実現し得る配線３３４を介してプロセッサ複合体３１０に送信される。

一実施形態において、入出力デバイス３１４は、容量性タッチ入力面、抵抗性タブレット入力面、１つ以上のボタン、１つ以上のノブ、発光素子、光検出素子、音放射素子、音検出素子、またはユーザ入力を受信して当該入力を電気信号に変換する、もしくは電気信号を物理的信号に変換するためのその他の技術的に実行可能な素子を含み得るがこれらに限定されない。一実施形態において、入出力デバイス３１４は、表示ユニット３１２に結合された容量性タッチ入力面を含む。タッチエントリ表示システムが、表示ユニット３１２、およびこれもプロセッサ複合体３１０に結合された容量性タッチ入力面を含んでいてもよい。

また、他の実施形態では、不揮発性（ＮＶ）メモリ３１６は、電力が遮断されるとデータを記憶するように構成される。一実施形態において、ＮＶメモリ３１６は１つ以上のフラッシュメモリデバイス（たとえばＲＯＭ、ＰＣＭ、ＦｅＲＡＭ、ＦＲＡＭ（登録商標）
、ＰＲＡＭ、ＭＲＡＭ、ＮＲＡＭ等）を含む。ＮＶメモリ３１６は非一時的なコンピュータ読取可能媒体を含み、当該媒体は、プロセッサ複合体３１０内の１つ以上の処理装置によって実行されるプログラミング命令を含むように構成されてもよい。プログラミング命令は、オペレーティングシステム（ＯＳ）、ＵＩソフトウェアモジュール、画像処理および記憶ソフトウェアモジュール、プロセッサ複合体３１０に接続された１つ以上の入出力デバイス３１４、カメラモジュール３３０を通して画像スタックをサンプリングするための１つ以上のソフトウェアモジュール、画像スタックまたは画像スタックから生成された１つ以上の合成画像を表示ユニット３１２を通して提示するための１つ以上のソフトウェアモジュールを実現し得るがこれらに限定されない。一例として、一実施形態において、プログラミング命令はさらに、画像スタック内の画像同士もしくは画像の一部同士を併合し、画像スタック内の各画像の少なくとも一部同士を整列させるための、またはそれらの組合わせのための１つ以上のソフトウェアモジュールを実現し得る。別の実施形態において、プロセッサ複合体３１０はプログラミング命令を実行するように構成されてもよく、当該命令は、高ダイナミックレンジ（ＨＤＲ）画像を作成するように動作可能な１つ以上のソフトウェアモジュールを実現し得る。

さらに、一実施形態において、ＮＶメモリ３１６を含む１つ以上のメモリデバイスが、ユーザによってインストールまたは除去されるように構成されたモジュールとしてパッケージ化されてもよい。一実施形態において、揮発性メモリ３１８はダイナミックランダムアクセスメモリ（ＤＲＡＭ）を含み、当該ダイナミックランダムアクセスメモリは、デジタル写真撮影システム３００の通常動作中にアクセスされる、プログラミング命令、画像スタックと関連付けられているデータなどの画像データなどを一時的に記憶するように構成される。当然、揮発性メモリは、任意の態様で、プロセッサ複合体３１０に取付けられたその他の入出力デバイス３１４またはセンサデバイス３４２と関連して用いられてもよい。

一実施形態において、センサデバイス３４２は、動作および／もしくは方向を検出する加速度計、動作および／もしくは方向を検出する電子ジャイロスコープ、方向を検出する磁束検出器、地理的位置を検出する全地球測位システム（ＧＰＳ）モジュール、の１つ以上、またはそれらのいずれかの組合わせを含み得るがこれらに限定されない。当然、動作検出センサ、近接センサ、ＲＧＢ光センサ、ジェスチャセンサ、３Ｄ入力画像センサ、圧力センサ、および屋内位置センサを含むがこれらに限定されない他のセンサがセンサデバイスとして統合されてもよい。一実施形態において、当該センサデバイスは入出力デバイス３１４の一例であり得る。

ワイヤレスユニット３４０は、デジタルデータを送受信するように構成された１つ以上のデジタルラジオを含んでいてもよい。特に、ワイヤレスユニット３４０は無線規格（たとえばＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ等）を実現し得、データ通信のためのデジタルセルラー電話規格（たとえばＣＤＭＡ、３Ｇ、４Ｇ、ＬＴＥ、ＬＴＥアドバンスト等）を実現し得る。当然、任意の無線規格またはデジタルセルラー電話規格が用いられてもよい。

一実施形態において、デジタル写真撮影システム３００は、１つ以上のデジタル写真をワイヤレスユニット３４０を介してネットワークベースの（オンライン）または「クラウドベースの」写真メディアサービスに送信するように構成される。１つ以上のデジタル写真は、ＮＶメモリ３１６もしくは揮発性メモリ３１８のいずれか一方、またはプロセッサ複合体３１０と関連付けられているその他のメモリデバイスの内部に存在し得る。一実施形態において、ユーザは、オンライン写真メディアサービスにアクセスするための、かつ、１つ以上のデジタル写真を送信してオンライン写真メディアサービスに保存する、オンライン写真メディアサービスから取出す、およびオンライン写真メディアサービスによっ
て提示するためのクレデンシャルを所有していてもよい。クレデンシャルは、デジタル写真を送信する前にデジタル写真撮影システム３００内で記憶または生成されてもよい。オンライン写真メディアサービスは、ソーシャルネットワーキングサービス、写真共有サービス、またはデジタル写真の保存、デジタル写真の処理、デジタル写真の送信、デジタル写真の共有、もしくはそれらのいずれかの組合わせを提供するその他のネットワークベースのサービスを含んでいてもよい。特定の実施形態において、１つ以上のデジタル写真が、オンライン写真メディアサービスと関連付けられているサーバに送信される画像データ（たとえば画像スタック、ＨＤＲ画像スタック、画像パッケージ等）に基づいてオンライン写真メディアサービスによって生成される。そのような実施形態では、ユーザはデジタル写真撮影システム３００からの１つ以上のソース画像を、オンライン写真メディアサービスによって処理するためにアップロードしてもよい。

一実施形態において、デジタル写真撮影システム３００はカメラモジュール３３０の少なくとも１つのインスタンスを含む。別の実施形態において、デジタル写真撮影システム３００は複数のカメラモジュール３３０を含む。そのような実施形態はさらに、複数のカメラモジュール３３０によって多数の視野としてサンプリングされた撮影シーンを照明するように構成された少なくとも１つのストロボユニット３３６を含んでいてもよい。複数のカメラモジュール３３０は、広角視野（たとえばカメラ間の４５度のスイープよりも大きい）をサンプリングしてパノラマ写真を生成するように構成されてもよい。一実施形態において、複数のカメラモジュール３３０は、２つ以上の狭角視野（たとえばカメラ間の４５度のスイープよりも小さい）をサンプリングしてステレオ写真を生成するように構成されてもよい。他の実施形態では、複数のカメラモジュール３３０は、表示ユニット３１２もしくはその他の表示デバイス上に示されるような３Ｄ画像を生成するように、またはそうでなければ遠近感（たとえばｚ成分等）を表示するように構成されてもよい。

一実施形態において、表示ユニット３１２は、画素の二次元配列を表示して表示用の画像を形成するように構成されてもよい。表示ユニット３１２は、液晶（ＬＣＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、有機ＬＥＤディスプレイ、またはその他の技術的に実行可能な種類のディスプレイを含んでいてもよい。特定の実施形態において、表示ユニット３１２は、単一のＨＤＲ画像内で、または多重露光もしくはＨＤＲ画像スタックを含む１組の２つ以上の画像にわたって、などで、撮影シーンからサンプリングされた輝度値の完全な範囲よりも狭い画像輝度値のダイナミックレンジを表示することが可能であり得る。一実施形態において、画像スタックを含む画像は、任意の技術的に実行可能なＨＤＲブレンド技術に従って併合されて、表示ユニット３１２のダイナミックレンジ制約内で表示用の合成画像を生成してもよい。一実施形態において、制限されるダイナミックレンジは、対応する色強度の８ビット／カラーチャネルバイナリ表現を指定してもよい。他の実施形態では、制限されるダイナミックレンジは、８ビットよりも多いビット（たとえば１０ビット、１２ビット、または１４ビット等）／カラーチャネルバイナリ表現を指定してもよい。

図３Ｂは、一実施形態に従う図３Ａのデジタル写真撮影システム３００内のプロセッサ複合体３１０を示す。選択肢として、プロセッサ複合体３１０は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかしながら、当然、プロセッサ複合体３１０は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

示されるように、プロセッサ複合体３１０はプロセッササブシステム３６０を含み、メモリサブシステム３６２を含んでいてもよい。一実施形態において、プロセッサ複合体３１０はプロセッササブシステム３６０を実現するシステムオンチップ（system on a chip：ＳｏＣ）デバイスを含んでいてもよく、メモリサブシステム３６２はプロセッササブシ
ステム３６０に結合された１つ以上のＤＲＡＭデバイスを含む。別の実施形態において、プロセッサ複合体３１０は、ＳｏＣデバイスと、メモリサブシステム３６２を含む１つ以上のＤＲＡＭデバイスとをカプセル化するマルチチップモジュール（multi-chip module
：ＭＣＭ）を含んでいてもよい。

プロセッササブシステム３６０は、１つ以上の中央処理装置（ＣＰＵ）コア３７０、メモリインターフェイス３８０、入出力インターフェイスユニット３８４、および表示インターフェイスユニット３８２を含み得るがこれらに限定されず、これらの各々が配線３７４に結合されている。１つ以上のＣＰＵコア３７０は、メモリサブシステム３６２、揮発性メモリ３１８、ＮＶメモリ３１６、またはそれらのいずれかの組合わせの内部に存在している命令を実行するように構成されてもよい。１つ以上のＣＰＵコア３７０の各々は、配線３７４およびメモリインターフェイス３８０を通してデータを取出して記憶するように構成されてもよい。一実施形態において、１つ以上のＣＰＵコア３７０の各々がデータキャッシュおよび命令キャッシュを含んでいてもよい。また、ＣＰＵコア３７０の２つ以上がデータキャッシュ、命令キャッシュ、またはそれらのいずれかの組合わせを共有してもよい。一実施形態において、各ＣＰＵコア３７０にプライベートキャッシュ層および共有キャッシュ層を提供するようにキャッシュ階層が実現される。

いくつかの実施形態において、プロセッササブシステム３６０は１つ以上のグラフィック処理装置（ＧＰＵ）コア３７２を含んでいてもよい。各ＧＰＵコア３７２は、グラフィック加速機能を実現するがこれに限定されないようにプログラミングされ得る複数のマルチスレッド実行ユニットを含んでいてもよい。さまざまな実施形態において、ＧＰＵコア３７２は、周知の規格（たとえばＯｐｅｎＧＬ（商標）、ＷｅｂＧＬ（商標）、ＯｐｅｎＣＬ（商標）、ＣＵＤＡ（商標）等）、および／またはその他のプログラム可能なレンダリンググラフィック規格に従ってマルチスレッドプログラムを実行するように構成されてもよい。特定の実施形態において、少なくとも１つのＧＰＵコア３７２が、周知のＨａｒｒｉｓ検出器または周知のＨｅｓｓｉａｎ－Ｌａｐｌａｃｅ検出器などの動作推定機能の少なくとも一部を実現する。そのような動作推定機能を用いて、画像スタック内の画像同士または画像の一部同士を少なくとも部分的に整列させることができる。たとえば、一実施形態において、ＨＤＲ画像が画像スタックに基づいてコンパイルされてもよく、ＨＤＲ画像をコンパイルする前に２つ以上の画像がまず整列させられる。

示されるように、配線３７４は、メモリインターフェイス３８０、表示インターフェイスユニット３８２、入出力インターフェイスユニット３８４、ＣＰＵコア３７０、およびＧＰＵコア３７２の間でデータを伝送するように構成される。さまざまな実施形態において、配線３７４は、１本以上のバス、１つ以上のリング、クロスバー、メッシュ、またはその他の技術的に実行可能なデータ伝送構造もしくは技術を実現し得る。メモリインターフェイス３８０は、メモリサブシステム３６２を配線３７４に結合するように構成される。メモリインターフェイス３８０はさらに、ＮＶメモリ３１６、揮発性メモリ３１８、またはそれらのいずれかの組合わせを配線３７４に結合してもよい。表示インターフェイスユニット３８２は、表示ユニット３１２を配線３７４に結合するように構成されてもよい。表示インターフェイスユニット３８２は特定のフレームバッファ機能（たとえばフレームリフレッシュ等）を実現し得る。または、別の実施形態において、表示ユニット３１２は特定のフレームバッファ機能（たとえばフレームリフレッシュ等）を実現し得る。入出力インターフェイスユニット３８４は、さまざまな入出力デバイスを配線３７４に結合するように構成されてもよい。

特定の実施形態において、カメラモジュール３３０は、画像スタックと関連付けられている各画像をサンプリングするための露光パラメータを記憶するように構成される。たとえば、一実施形態において、カメラモジュール３３０は、撮影シーンをサンプリングする
ように命じられると、記憶された露光パラメータに従って画像スタックを含む１組の画像をサンプリングし得る。プロセッサ複合体３１０内で実行されるプログラミング命令を含むソフトウェアモジュールが、カメラモジュール３３０に画像スタックをサンプリングするように命じる前に露光パラメータを生成して記憶してもよい。他の実施形態では、カメラモジュール３３０を用いて画像または画像スタックが計測されてもよく、プロセッサ複合体３１０内で実行されるプログラミング命令を含むソフトウェアモジュールは、カメラモジュール３３０に画像を捕捉するように命じる前に計測パラメータを生成して記憶してもよい。当然、カメラモジュール３３０はプロセッサ複合体３１０と組合わされて任意の態様で用いられてもよい。

一実施形態において、画像スタックを含む画像と関連付けられている露光パラメータは、１つ以上の画像についての露光パラメータを含む露光パラメータデータ構造内に記憶されてもよい。別の実施形態において、プロセッサ複合体３１０内のカメラインターフェイスユニット（図３Ｂには図示せず）が、露光パラメータデータ構造から露光パラメータを読出し、撮影シーンのサンプリングに備えて、関連付けられている露光パラメータをカメラモジュール３３０に送信するように構成されてもよい。カメラモジュール３３０が露光パラメータに従って構成された後、カメラインターフェイスはカメラモジュール３３０に撮影シーンをサンプリングするように命じてもよく、カメラモジュール３３０は次いで、対応する画像スタックを生成してもよい。露光パラメータデータ構造は、カメラインターフェイスユニット、プロセッサ複合体３１０内のメモリ回路、揮発性メモリ３１８、ＮＶメモリ３１６、カメラモジュール３３０の内部に、またはその他の技術的に実行可能なメモリ回路の内部に記憶されてもよい。さらに、別の実施形態において、プロセッサ複合体３１０内で実行されるソフトウェアモジュールが露光パラメータデータ構造を生成して記憶してもよい。

図３Ｃは、一実施形態に従うデジタルカメラ３０２を示す。選択肢として、デジタルカメラ３０２は本明細書に開示されている図面のうちのいずれの図面の詳細な文脈でも実現し得る。しかしながら、当然、デジタルカメラ３０２はいずれの所望の環境でも実現し得る。さらに、上述の定義は以下の説明に等しく適用され得る。

一実施形態において、デジタルカメラ３０２は、図３Ａのデジタル写真撮影システム３００などのデジタル写真撮影システムを含むように構成されてもよい。示されるように、デジタルカメラ３０２はカメラモジュール３３０を含み、当該カメラモジュールは、撮影シーンを表す光学シーン情報を画像センサ上に合焦するように構成された光学素子を含んでいてもよく、当該画像センサは、光学シーン情報を撮影シーンの電子表現に変換するように構成されてもよい。

また、デジタルカメラ３０２はストロボユニット３３６を含んでいてもよく、写真撮影サンプルイベントをトリガするためのシャッターリリースボタン３１５を含んでいてもよく、これによってデジタルカメラ３０２は電子表現を含む１つ以上の画像をサンプリングする。他の実施形態では、その他の技術的に実行可能なシャッターリリース機構が写真撮影サンプルイベントをトリガしてもよい（たとえばタイマトリガまたは遠隔制御トリガ等）。

図３Ｄは、一実施形態に従うワイヤレスモバイルデバイス３７６を示す。選択肢として、モバイルデバイス３７６は本明細書に開示されている図面のうちのいずれの図面の詳細な文脈でも実現し得る。しかしながら、当然、モバイルデバイス３７６はいずれの所望の環境でも実現し得る。さらに、上述の定義は以下の説明に等しく適用され得る。

一実施形態において、モバイルデバイス３７６は、撮影シーンをサンプリングするよう
に構成されているデジタル写真撮影システム（たとえば図３Ａのデジタル写真撮影システム３００など）を含むように構成されてもよい。さまざまな実施形態において、カメラモジュール３３０は、撮影シーンを表す光学シーン情報を画像センサ上に合焦するように構成された光学素子を含んでいてもよく、当該画像センサは、光学シーン情報を撮影シーンの電子表現に変換するように構成されてもよい。さらに、表示ユニット３１２を含むタッチエントリ表示システム上のタッチジェスチャによって起動され得る仮想ボタン、または任意の面もしくはモバイルデバイス３７６の表面上に位置し得る物理ボタンなどの、任意の技術的に実行可能なメカニズムによって、シャッターリリースコマンドが生成されてもよい。当然、他の実施形態では、任意の数の他のボタン、外部入出力、またはデジタル入出力がモバイルデバイス３７６上に含まれていてもよく、カメラモジュール３３０と併用されてもよい。

示されるように、一実施形態において、表示ユニット３１２を含むタッチエントリ表示システムがモバイルデバイス３７６のカメラモジュール３３０と反対側に配置されている。特定の実施形態において、モバイルデバイス３７６は、ユーザの方を向くカメラモジュール３３１を含み、ユーザの方を向くストロボユニット（図示せず）を含んでいてもよい。当然、他の実施形態では、モバイルデバイス３７６は、任意の数のユーザの方を向くカメラモジュールまたは後ろ向きのカメラモジュール、および任意の数のユーザの方を向くストロボユニットまたは後ろ向きのストロボユニットを含んでいてもよい。

いくつかの実施形態において、デジタルカメラ３０２およびモバイルデバイス３７６の各々は、カメラモジュール３３０によってサンプリングされた画像スタックに基づいて合成画像を生成して記憶してもよい。画像スタックは、周囲照明条件下でサンプリングされた１つ以上の画像、ストロボユニット３３６からのストロボ照明下でサンプリングされた１つ以上の画像、またはそれらの組合わせを含んでいてもよい。

図３Ｅは、一実施形態に従うカメラモジュール３３０を示す。選択肢として、カメラモジュール３３０は本明細書に開示されている図面のうちのいずれの図面の詳細な文脈でも実現し得る。しかしながら、当然、カメラモジュール３３０はいずれの所望の環境でも実現し得る。さらに、上述の定義は以下の説明に等しく適用され得る。

一実施形態において、カメラモジュール３３０は、ストロボ制御信号３３８を通してストロボユニット３３６を制御するように構成されてもよい。示されるように、レンズ３９０が、光学シーン情報３５２をサンプリングすべき画像センサ３３２上に合焦するように構成される。一実施形態において、画像センサ３３２はストロボ制御信号３３８を通してストロボユニット３３６の詳細なタイミングを有利に制御して、ストロボユニット３３６が有効な状態でサンプリングされた画像とストロボユニット３３６が無効な状態でサンプリングされた画像との間のサンプル間時間を減少させる。たとえば、画像センサ３３２は、画像センサ３３２が周囲画像のサンプリングと関連付けられている露光時間を完了した後であってストロボ画像をサンプリングする前に、ストロボユニット３３６が１マイクロ秒未満（または任意の所望の長さ）にわたってストロボ照明３５０を発することを可能にし得る。

他の実施形態では、ストロボ照明３５０は所望の１つ以上のターゲットポイントに基づいて構成されてもよい。たとえば、一実施形態において、ストロボ照明３５０は前景内のオブジェクトを照らし出してもよく、露光時間の長さに依存して、画像の背景内のオブジェクトも照らし出してもよい。一実施形態において、ストロボユニット３３６が有効になると、画像センサ３３２はその直後にストロボ画像を露光し始めてもよい。ゆえに、画像センサ３３２はサンプリング動作を直接制御することが可能であり得、当該サンプリング動作は、ストロボユニット３３６が無効な状態でサンプリングされた少なくとも１つの画
像、およびストロボユニット３３６が有効または無効な状態でサンプリングされた少なくとも１つの画像を含み得る画像スタックの生成と関連付けられているストロボユニット３３６の有効化および無効化を含む。一実施形態において、画像センサ３３２によってサンプリングされた画像スタックを含むデータが、配線３３４を介してプロセッサ複合体３１０内のカメラインターフェイスユニット３８６に送信される。いくつかの実施形態において、カメラモジュール３３０は画像センサコントローラを含んでいてもよく、当該コントローラは画像センサ３３２の制御動作と共にストロボ制御信号３３８を生成するように構成されてもよい。

図３Ｆは、一実施形態に従うカメラモジュール３３０を示す。選択肢として、カメラモジュール３３０は本明細書に開示されている図面のうちのいずれの図面の詳細な文脈でも実現し得る。しかしながら、当然、カメラモジュール３３０はいずれの所望の環境でも実現し得る。さらに、上述の定義は以下の説明に等しく適用され得る。

一実施形態において、カメラモジュール３３０は、ストロボユニット３３６についての状態情報に基づいて画像をサンプリングするように構成されてもよい。状態情報は、ストロボユニット３３６にストロボ照明３５０の指定輝度および／または色を生成するように命じるための１つ以上のストロボパラメータ（たとえばストロボ輝度、ストロボ色、ストロボ時間等）を含み得るがこれらに限定されない。一実施形態において、ストロボユニット３３６と関連付けられている状態情報を構成するためのコマンドがストロボ制御信号３３８を通して送信されてもよく、当該信号は、ストロボユニット３３６が有効になった時を検出するためにカメラモジュール３３０によって監視され得る。たとえば、一実施形態において、カメラモジュール３３０は、ストロボユニット３３６が有効または無効になってから１マイクロ秒以下内にストロボユニット３３６が有効または無効になった時をストロボ制御信号３３８によって検出し得る。ストロボ照明を必要とする画像をサンプリングするために、カメラインターフェイスユニット３８６は、有効化コマンドをストロボ制御信号３３８を通して送信することによってストロボユニット３３６を有効にしてもよい。一実施形態において、カメラインターフェイスユニット３８６は、図３Ｂのプロセッサ複合体３１０のプロセッササブシステム３６０内の入出力インターフェイス３８４のインターフェイスとして含まれていてもよい。有効化コマンドは、信号レベル遷移、データパケット、レジスタ書込み、またはその他の技術的に実行可能なコマンドの送信を含んでいてもよい。カメラモジュール３３０はストロボユニット３３６が有効であることを検知し、次いで、ストロボユニット３３６が有効である間に、画像センサ３３２にストロボ照明を必要とする１つ以上の画像をサンプリングさせてもよい。そのような実現例では、画像センサ３３２は、ストロボユニット３３６宛ての有効化信号を、新たな露光のサンプリングを開始するトリガ信号として待機するように構成されてもよい。

一実施形態において、カメラインターフェイスユニット３８６は、露光パラメータおよびコマンドを配線３３４を通してカメラモジュール３３０に送信してもよい。特定の実施形態において、カメラインターフェイスユニット３８６は、制御コマンドをストロボ制御信号３３８を通してストロボユニット３３６に送信することによってストロボユニット３３６を直接制御するように構成されてもよい。カメラモジュール３３０およびストロボユニット３３６の両方を直接制御することによって、カメラインターフェイスユニット３８６は、カメラモジュール３３０およびストロボユニット３３６に、正確な時間同期でそれぞれの動作を実行させることができる。一実施形態において、正確な時間同期は５００マイクロ秒未満のイベントタイミングエラーであってもよい。また、イベントタイミングエラーは、意図されたイベント発生から対応する実際のイベント発生の時間までの時間差であってもよい。

別の実施形態において、カメラインターフェイスユニット３８６は、カメラモジュール
３３０から画像データを受信している間に統計を蓄積するよう構成されてもよい。特に、カメラインターフェイスユニット３８６は、配線３３４を通して所与の画像についての画像データを受信している間に当該画像についての露光統計を蓄積してもよい。露光統計は、輝度ヒストグラム、露光過多の画素のカウント、露光不足の画素のカウント、画素輝度の輝度－加重和、の１つ以上、またはそれらのいずれかの組合わせを含み得るがこれらに限定されない。カメラインターフェイスユニット３８６は、プロセッサ複合体３１０内のＣＰＵコア３７０の１つ以上などのプロセッサによって規定される物理または仮想アドレス空間内のメモリマップされた記憶場所として、露光統計を提示してもよい。一実施形態において、露光統計は、メモリマップされたレジスタ空間内にマップされる記憶回路内に存在しており、これは配線３３４を通してアクセス可能である。他の実施形態では、露光統計は、捕捉した画像についての画素データを伝送するのと共に伝送される。たとえば、所与の画像についての露光統計は、捕捉した画像についての画素輝度データの送信に引き続いて、インラインデータとして送信されてもよい。露光統計は、カメラインターフェイスユニット３８６内で計算、記憶、またはキャッシュされてもよい。

一実施形態において、カメラインターフェイスユニット３８６は、シーンホワイトバランスを推定するための色統計を蓄積してもよい。赤色、緑色および青色カラーチャネルを含む異なるカラーチャネルについての輝度の和などの、ホワイトバランスを推定するための任意の技術的に実行可能な色統計が蓄積されてもよい。次いで、カラーチャネル輝度の和を用いて、グレーワールドホワイトバランスモデルなどのホワイトバランスモデルに従って、関連画像に対してホワイトバランス色補正が実行されてもよい。他の実施形態では、画像に対してホワイトバランス補正を実現するために用いられる一次または二次曲線適合のための曲線適合統計が蓄積される。

一実施形態において、カメラインターフェイスユニット３８６は、周囲画像と、ストロボ照明を用いてサンプリングされた１つ以上の画像との間など、画像同士の間でカラーマッチングを実行するための空間色統計を蓄積してもよい。露光統計と同様に、色統計はプロセッサ複合体３１０内のメモリマップされた記憶場所として提示されてもよい。一実施形態において、色統計はメモリマップされたレジスタ空間内にマップされ、これはプロセッササブシステム３６０内で配線３３４を通してアクセス可能である。他の実施形態では、色統計は、捕捉した画像についての画素データを伝送するのと共に伝送されてもよい。たとえば、一実施形態において、所与の画像についての色統計は、当該画像についての画素輝度データの送信に引き続いて、インラインデータとして送信されてもよい。色統計は、カメラインターフェイス３８６内で計算、記憶、またはキャッシュされてもよい。

一実施形態において、カメラモジュール３３０はストロボ制御信号３３８をストロボユニット３３６に送信して、カメラモジュール３３０が画像をサンプリングしている間にストロボユニット３３６が照明を生成することを可能にし得る。別の実施形態において、カメラモジュール３３０は、ストロボユニット３３６が有効であるという指示信号をカメラインターフェイスユニット３８６から受信すると、ストロボユニット３３６が照明している画像をサンプリングしてもよい。さらに別の実施形態において、カメラモジュール３３０は、シーン照明の急激な増加によって撮影シーン内のストロボ照明を検出すると、ストロボユニット３３６が照明している画像をサンプリングしてもよい。一実施形態において、シーン照明の急激な増加は、ストロボユニット３３６を有効にする輝度と一致した輝度の増加率を少なくとも含んでいてもよい。さらに別の実施形態において、カメラモジュール３３０は、１つの画像をサンプリングしている間にストロボユニット３３６を有効にしてストロボ照明を生成し、別の画像をサンプリングしている間にストロボユニット３３６を無効にしてもよい。

図３Ｇは、一実施形態に従うカメラモジュール３３０を示す。選択肢として、カメラモ
ジュール３３０は本明細書に開示されている図面のうちのいずれの図面の詳細な文脈でも実現し得る。しかしながら、当然、カメラモジュール３３０はいずれの所望の環境でも実現し得る。さらに、上述の定義は以下の説明に等しく適用され得る。

一実施形態において、カメラモジュール３３０はアプリケーションプロセッサ３３５と通信していてもよい。カメラモジュール３３０は、コントローラ３３３と通信している画像センサ３３２を含むとして示されている。さらに、コントローラ３３３はアプリケーションプロセッサ３３５と通信しているとして示されている。

一実施形態において、アプリケーションプロセッサ３３５はカメラモジュール３３０の外部に存在していてもよい。示されるように、レンズ３９０は、光学シーン情報をサンプリングすべき画像センサ３３２上に合焦するように構成されてもよい。次いで、画像センサ３３２によってサンプリングされた光学シーン情報は、その後の処理およびアプリケーションプロセッサ３３５への通信の少なくとも一方のために、画像センサ３３２からコントローラ３３３に通信されてもよい。別の実施形態において、コントローラ３３３は、画像センサ３３２によってサンプリングされた光学シーン情報の記憶、または処理された光学シーン情報の記憶を制御してもよい。

別の実施形態において、コントローラ３３３は、画像センサ３３２が周囲画像のサンプリングと関連付けられている露光時間を完了した後に、ストロボユニットが短い期間（たとえば１マイクロ秒未満等）中にストロボ照明を発することを可能にし得る。さらに、コントローラ３３３は、画像センサ３３２の制御動作と共にストロボ制御信号３３８を生成するように構成されてもよい。

一実施形態において、画像センサ３３２は相補型金属酸化膜半導体（ＣＭＯＳ）センサまたは電荷結合素子（ＣＣＤ）センサであってもよい。別の実施形態において、コントローラ３３３および画像センサ３３２は、集積システムまたは集積回路として共にパッケージ化されてもよい。さらに別の実施形態において、コントローラ３３３および画像センサ３３２は別個のパッケージを含んでいてもよい。一実施形態において、コントローラ３３３は、画像センサ３３２からの光学シーン情報の受信、光学シーン情報の処理、さまざまな機能のタイミング、およびアプリケーションプロセッサ３３５と関連付けられているシグナリングのための回路を提供してもよい。さらに、別の実施形態において、コントローラ３３３は、露光、シャッタリング、ホワイトバランス、およびゲイン調整の１つ以上を制御するための回路を提供してもよい。コントローラ３３３の回路による光学シーン情報の処理は、ゲイン適用、増幅、およびアナログ－デジタル変換の１つ以上を含んでいてもよい。光学シーン情報を処理した後、コントローラ３３３は対応するデジタル画素データをアプリケーションプロセッサ３３５などに送信してもよい。

一実施形態において、アプリケーションプロセッサ３３５は、プロセッサ複合体３１０および揮発性メモリ３１８とＮＶメモリ３１６との少なくとも一方、またはその他のメモリデバイスおよび／もしくはシステム上で実現されてもよい。アプリケーションプロセッサ３３５は、カメラモジュール３３０からアプリケーションプロセッサ３３５に通信される受信した光学シーン情報またはデジタル画素データの処理のために予め構成されてもよい。

図４は、一実施形態に従うネットワークサービスシステム４００を示す。選択肢として、ネットワークサービスシステム４００は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかしながら、当然、ネットワークサービスシステム４００は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

一実施形態において、ネットワークサービスシステム４００は、デジタル写真撮影システムを実現するデバイスにネットワークアクセスを提供するように構成されてもよい。示されるように、ネットワークサービスシステム４００は、ワイヤレスモバイルデバイス３７６、無線アクセスポイント４７２、データネットワーク４７４、データセンタ４８０、およびデータセンタ４８１を含む。ワイヤレスモバイルデバイス３７６は、デジタル無線リンク４７１を介して無線アクセスポイント４７２と通信して、デジタル画像と関連付けられているデータを含むデジタルデータを送受信してもよい。ワイヤレスモバイルデバイス３７６および無線アクセスポイント４７２は、本発明の範囲および精神から逸脱することなく、デジタル無線リンク４７１を介してデジタルデータを伝送するための任意の技術的に実行可能な伝送技術を実現し得る。特定の実施形態において、データセンタ４８０，４８１の１つ以上は、所与のデータセンタ４８０，４８１内の各システムおよびサブシステムが、指定されたデータ処理およびネットワークタスクを実行するように構成された仮想マシンを含み得るように、仮想構造を用いて実現されてもよい。他の実現例では、データセンタ４８０，４８１の１つ以上は複数の物理的サイトにわたって物理的に分散していてもよい。

ワイヤレスモバイルデバイス３７６は、デジタルカメラを含むように構成されたスマートフォン、ワイヤレスネットワーク接続性を含むように構成されたデジタルカメラ、現実拡張デバイス、デジタルカメラおよびワイヤレスネットワーク接続性を含むように構成されたラップトップ、またはデジタル写真撮影システムおよびワイヤレスネットワーク接続性を含むように構成されたその他の技術的に実行可能なコンピューティングデバイスを含んでいてもよい。

さまざまな実施形態において、無線アクセスポイント４７２は、デジタル無線リンク４７１を介してワイヤレスモバイルデバイス３７６と通信するように、および、電気、光学、または無線伝送媒体などの任意の技術的に実行可能な伝送媒体を介してデータネットワーク４７４と通信するように構成されてもよい。たとえば、一実施形態において、無線アクセスポイント４７２は、無線アクセスポイント４７２に、およびデータネットワーク４７４内のルータシステムまたはスイッチシステムに結合された光ファイバを通してデータネットワーク４７４と通信してもよい。広域ネットワーク（ＷＡＮ）リンクなどのネットワークリンク４７５がデータネットワーク４７４とデータセンタ４８０との間でデータを伝送するように構成されてもよい。

一実施形態において、データネットワーク４７４は、ルータ、スイッチ、長距離伝送システム、プロビジョニングシステム、認証システム、ならびに、無線アクセスポイント４７２とデータセンタ４８０との間など、ネットワーク終点同士の間でデータを伝達するように構成された通信および動作サブシステムの任意の技術的に実行可能な組合わせを含んでいてもよい。一実現例において、ワイヤレスモバイルデバイス３７６は、データネットワーク４７４に結合された１つ以上の無線アクセスポイントを介してデータセンタ４８０と通信するように構成された複数のワイヤレスモバイルデバイスのうちの１つを含んでいてもよい。

また、さまざまな実施形態において、データセンタ４８０はスイッチ／ルータ４８２および少なくとも１つのデータサービスシステム４８４を含み得るがこれらに限定されない。スイッチ／ルータ４８２は、ネットワークリンク４７５と各データサービスシステム４８４との間でデータトラフィックを転送するように構成されてもよい。スイッチ／ルータ４８２は、イーサネット（登録商標）メディア層伝送、層２スイッチング、層３ルーティングなどの任意の技術的に実行可能な伝送技術を実現し得る。スイッチ／ルータ４８２は、データサービスシステム４８４とデータネットワーク４７４との間でデータを伝送する
ように構成された１つ以上の個別のシステムを含んでいてもよい。

一実施形態において、スイッチ／ルータ４８２は、複数のデータサービスシステム４８４同士の間でセッションレベルのロードバランシングを実現し得る。各データサービスシステム４８４は少なくとも１つの計算システム４８８を含んでいてもよく、さらに１つ以上の記憶システム４８６を含んでいてもよい。各計算システム４８８は、中央処理装置、グラフィック処理装置、またはそれらのいずれかの組合わせなどの、１つ以上の処理装置を含んでいてもよい。所与のデータサービスシステム４８４は、共に動作するように構成された１つ以上の物理的に別個のシステムを含む物理的システムとして実現されてもよい。または、所与のデータサービスシステム４８４は、任意の物理的システム上で実行される１つ以上の仮想システムを含む仮想システムとして実現されてもよい。特定のシナリオでは、データネットワーク４７４は、ネットワークリンク４７６を通すなどしてデータセンタ４８０と別のデータセンタ４８１との間でデータを伝送するように構成されてもよい。

別の実施形態において、ネットワークサービスシステム４００は、本発明の１つ以上の実施形態を実現するように構成された、任意のネットワーク化されたモバイルデバイスを含んでいてもよい。たとえば、いくつかの実施形態において、アドホック無線ネットワークなどのピアツーピアネットワークが２つの異なるワイヤレスモバイルデバイス同士の間に確立されてもよい。そのような実施形態では、デジタル画像データは、当該デジタル画像データをデータセンタ４８０に送信しなくても２つのワイヤレスモバイルデバイス同士の間で伝送され得る。

図５は、ある実施形態に従う画素ストリームを受信しＨＤＲ画素ストリームを出力するためのシステム５００を示す。選択肢として、システム５００は図面のうちのいずれの図面の文脈でも実現し得る。しかしながら、当然、システム５００はいずれの所望の環境でも実現し得る。さらに、上述の定義は以下の説明に等しく適用され得る。

示されているように、システム５００は、画素ストリーム５２０を受信しＨＤＲ画素データ５４５の少なくとも１つのインスタンスをアプリケーションプロセッサ３３５に出力するブレンド回路５０１を含む。示されているブレンド回路５０１は、バッファ５３１とＨＤＲ画素生成器５４１とを含む。一実施形態において、画素ストリーム５２０は、図３Ｇの画像センサ３３２のような画像センサから受信されてもよい。たとえば、画素ストリーム５２０は、画像センサ３３２のインターフェイスから受信されてもよい。別の実施形態において、画素ストリーム５２０は、図３Ｇのコントローラ３３３のようなコントローラから受信されてもよい。たとえば、画素ストリーム５２０は、コントローラ３３３のインターフェイスから受信されてもよい。図５のアプリケーションプロセッサ３３５は図３Ｇのアプリケーションプロセッサ３３５と実質的に同一であってもよい。したがって、ブレンド回路５０１は、画素データ５２０が画像センサからアプリケーションプロセッサ３３５に送信されているときに画素データ５２０を含む信号をインターセプトするように動作してもよい。

図５に示されているように、示されている画素ストリーム５２０はデジタル画素データ単位５２１～５２６を含む。デジタル画素データ単位５２１～５２６は各々、画像センサの１つ以上の画素に関するデジタル画素データを含み得る。一実施形態において、デジタル画素データ単位５２１～５２６は各々、画像センサの１画素で測定またはサンプリングされた光を表わすデジタル画素データを含み得る。別の実施形態において、デジタル画素データ単位５２１～５２６は各々、画像センサの一列の画素等、画像センサの２つ以上の画素に関するデジタル画素データを含み得る。さらに別の実施形態において、デジタル画素データ単位５２１～５２６は各々、画像センサの画素のフレームに関するデジタル画素
データを含み得る。

さまざまな実施形態において、デジタル画素データ単位５２１～５２６は、画像センサの画素、列、またはフレームによってインタリーブされていてもよい。たとえば、一実施形態において、画素ストリーム５２０は、第１の露光におけるあるシーケンス内の複数の画素に関するデジタル画素データを含み次に第２の露光におけるこのシーケンス内の複数の画素に関するデジタル画素データを含むように、出力されてもよい。このシーケンス内の複数の画素は、画像センサの一列の画素のうちの少なくとも一部を含み得る。別の実施形態において、画素ストリーム５２０は、１つの画素の異なる露光のシーケンスを含み次に別の画素の異なる露光のシーケンスを含むように出力されてもよい。

一例として、画像センサの複数の画素のうちの１画素当たり２つの露光を画素ストリーム５２０が含む実施形態において、デジタル画素データ単位５２１は画像センサの第１の画素に関する第１のデジタル画素データを含み得る。デジタル画素データ単位５２２は画像センサの第１の画素に関する第２のデジタル画素データを含み得る。デジタル画素データ単位５２３は画像センサの第２の画素に関する第１のデジタル画素データを含み得る。デジタル画素データ単位５２４は、画像センサの第２の画素に関する第２のデジタル画素データを含み得る。デジタル画素データ単位５２５は画像センサの第３の画素に関する第１のデジタル画素データを含み得る。デジタル画素データ単位５２６は、画像センサの第３の画素に関する第２のデジタル画素データを含み得る。このような例において、デジタル画素データの各組はそれぞれ異なる露光に関連付けられていてもよく、具体的には、第１のデジタル画素データは各々第１の露光に関連付けられ、第２のデジタル画素データは各々第１の露光と異なる第２の露光に関連付けられていてもよい。

別の例として、画素ストリーム５２０が画像センサの複数の画素のうちの１画素当たり３つの露光を含む実施形態において、デジタル画素データ単位５２１は画像センサの第１の画素に関する第１のデジタル画素データを含み得る。デジタル画素データ単位５２２は画像センサの第１の画素に関する第２のデジタル画素データを含み得る。デジタル画素データ単位５２３は画像センサの第１の画素に関する第３のデジタル画素データを含み得る。デジタル画素データ単位５２４は画像センサの第２の画素に関する第１のデジタル画素データを含み得る。デジタル画素データ単位５２５は画像センサの第２の画素に関する第２のデジタル画素データを含み得る。デジタル画素データ単位５２６は画像センサの第２の画素に関する第３のデジタル画素データを含み得る。このような例において、デジタル画素データの各組はそれぞれ異なる露光に関連付けられていてもよく、具体的には、第１のデジタル画素データは各々第１の露光に関連付けられ、第２のデジタル画素データは各々第１の露光と異なる第２の露光に関連付けられ、第３のデジタル画素データは各々第１の露光および第２の露光と異なる第３の露光に関連付けられていてもよい。

さらに別の例として、画素ストリーム５２０が画像センサの複数の画素のうちの１画素当たり２つの露光を含みおよび画素ストリーム５２０が画素のグループによってインタリーブされている実施形態において、デジタル画素データ単位５２１は画像センサの第１の複数の画素に関する第１デジタル画素データを含み得る。デジタル画素データ単位５２２は画像センサの第１の複数の画素に関する第２のデジタル画素データを含み得る。デジタル画素データ単位５２３は画像センサの第２の複数の画素に関する第１のデジタル画素データを含み得る。デジタル画素データ単位５２４は画像センサの第２の複数の画素に関する第２のデジタル画素データを含み得る。デジタル画素データ単位５２５は画像センサの第３の複数の画素に関する第１のデジタル画素データを含み得る。デジタル画素データ単位５２６は画像センサの第３の複数の画素に関する第２のデジタル画素データを含み得る。このような例において、各複数の画素は、以下のように一列の画素を含み得る。すなわち、第１の複数の画素は第１列の画素を含み、第２の複数の画素は第２列の画素を含み、
第３の複数の画素は第３列の画素を含み得る。さらに、デジタル画素データの各組は、以下のようにそれぞれ異なる露光に関連付けられていてもよい。すなわち、各第１のデジタル画素データは第１の露光に関連付けられ、各第２のデジタル画素データは第１の露光と異なる第２の露光に関連付けられていてもよい。

さらに別の例として、画素ストリーム５２０が画像センサの複数の画素のうちの１画素当たり３つの露光を含みおよび画素ストリーム５２０が画素のグループによってインタリーブされている実施形態において、デジタル画素データ単位５２１は、画像センサの第１の複数の画素に関する第１のデジタル画素データを含み得る。デジタル画素データ単位５２２は画像センサの第１の複数の画素に関する第２のデジタル画素データを含み得る。デジタル画素データ単位５２３は画像センサの第１の複数の画素に関する第３のデジタル画素データを含み得る。デジタル画素データ単位５２４は画像センサの第２の複数の画素に関する第１のデジタル画素データを含み得る。デジタル画素データ単位５２５は画像センサの第２の複数の画素に関する第２のデジタル画素データを含み得る。デジタル画素データ単位５２６は画像センサの第２の複数の画素に関する第３のデジタル画素データを含み得る。このような例において、各複数の画素は、以下のように一列の画素を含み得る。すなわち、第１の複数の画素は第１列の画素を含み、第２の複数の画素は第２の列の画素を含み得る。さらに、デジタル画素データの各組は、以下のようにそれぞれ異なる露光に関連付けられていてもよい。すなわち、各第１のデジタル画素データは第１の露光に関連付けられ、各第２のデジタル画素データは第１の露光と異なる第２の露光に関連付けられ、各第３のデジタル画素データは第１の露光および第２の露光と異なる第３の露光に関連付けられていてもよい。

図５に示されるように、ブレンド回路５０１のバッファ５３１は画素ストリーム５２０を受信するように動作する。一実施形態において、バッファ５３１は画素ストリームをデインタリーブするように動作する。別の実施形態において、バッファ５３１は画像センサの特定の画素の各露光を識別するように動作する。たとえば、画像センサの複数の画素のうちの所与の画素について、バッファ５３１はその画素の少なくとも２つの異なる露光を識別し得る。より具体的には、バッファ５３１は、第１の単位のデジタル画素データから画素の第１の露光を識別し第２の単位のデジタル画素データから画素の第２の露光を識別してもよい。同様に、１画素当たり３つの露光を含む実施形態において、バッファ５３１は、第１の単位のデジタル画素データから画素の第１の露光を識別し、第２の単位のデジタル画素データから画素の第２の露光を識別し、第３の単位のデジタル画素データから画素の第３の露光を識別してもよい。そのために、バッファは、画像センサの画素アレイの１つの画素の少なくとも２つの露光を識別し得る。

画素ストリーム５２０において列がインタリーブされている実施形態において、バッファ５３１は、同じ列の２つ以上のデジタル画素データ単位を受信してもよい。この場合、各デジタル画素データ単位はそれぞれその列の異なる露光に関連付けられていてもよい。さらに、バッファ５３１は次にその列の所与の画素の各露光における画素データを識別して選択してもよい。このような実施形態において、所与の画素に関連付けられていない画素データは一時的に記憶されてもよい。さらに、一時的に記憶された画素データは、列の別の所与の画素の複数の露光各々における画素データを識別して選択するために使用されてもよい。この画素データの記憶と画素データの取出しのプロセスは、列の画素ごとに繰返されてもよい。

本明細書で使用される画素に関する画素データは、ＲＧＢ色空間の赤、緑、および青、または、ＣＭＹＫ色空間のシアン、マゼンタ、イエロー、およびブラック等の、色空間の一組の成分を記述し得る。さらに、色成分各々の輝度は、可変であってもよく、成分ごとに１つ以上の値を用いて記述されてもよい。このように、一実施形態において、ある画素
の所与の露光に関する画素データは、所与の露光における画素の色成分に関する１つ以上の値を含み得る。さらに、画素の色成分に関する１つ以上の値を用いて、色に加えて、たとえば、彩度、明度、色相、ルミナンス等の画素のさまざまな属性を計算してもよい。

所与の画素の少なくとも２つの露光を識別した後に、バッファ５３１は、この所与の画素に関する第１の露光画素データ５３３と、この所与の画素に関する第２の露光画素データ５３５と、この所与の画素に関する第３の露光画素データ５３７とを出力してもよい。図５に示されるように、第１の露光画素データ５３３、第２の露光画素データ５３５、および第３の露光画素データ５３７は各々、バッファ５３１からＨＤＲ画素生成器５４１に出力される。当然ながら、その他の実施形態において、バッファ５３１は、この画素の２つの露光のみに関するまたはこの画素の４つ以上の露光に関する画素データをＨＤＲ画素生成器５４１に出力してもよい。

バッファ５３１は、１つの列の所与の画素の２つ以上の露光の画素データを識別する一方で、その列の残りの画素およびその他の列に関する受信したデジタル画素データをその後の処理のために保存する。たとえば、バッファ５３１が所与の列に関する第１の画素データとこの所与の列に関する第２の画素データとこの所与の列に関する第３の画素データとを受信し画素データの単位がそれぞれこの所与の列の異なる露光に対応する場合、バッファ５３１は、受信した画素データ単位各々における第１の画素に関連付けられた画素データの部分を識別するように動作し得る。たとえば、バッファ５３１は、画素の第１の露光とこの画素の第２の露光とこの画素の第３の露光とを識別してもよい。さらにバッファ５３１は、受信した画素データの各単位の未選択の画素データを記憶しその後受信した画素データ単位各々の第２の画素に関連する画素データを識別するように動作してもよい。たとえば、バッファ５３１は、第１の画素に隣接する第２の画素の第１の露光と、第２の画素の第２の露光と、第２の画素の第３の露光とを識別してもよい。そのために、バッファ５３１は、ある列の画素各々の複数の露光のうちの各露光を識別するように動作してもよい。

再び図５を参照して、示されているバッファ５３１は、第１の露光画素データ５３３、第２の露光画素データ５３５、および第３の露光画素データ５３７各々をＨＤＲ画素生成器５４１に出力する。上記のように、第１の露光画素データ５３３、第２の露光画素データ５３５、および第３の露光画素データ５３７はそれぞれ、同一画素の異なる露光に関する画素データを含み得る。

一実施形態において、画素の各露光は露光値（ＥＶ）を有するものとして特徴付けられてもよい。このような実施形態において、画素の露光は露光値０（ＥＶ０）で得られるものとして特徴付けられてもよく、このときのＥＶ０露光は捕捉パラメータの第１の集合を利用して捕捉されるものとして特徴付けられる。このような捕捉パラメータは、ＩＳＯもしくは光感度、絞り、シャッタースピードもしくはサンプリング時間、または、制御もしくは変調し得る画像捕捉に関連付けられたその他のパラメータを含み得る。ＥＶ０で捕捉されたものとして特徴付けられる画素は、特定のＩＳＯと特定のシャッタースピード等の捕捉パラメータの特定の組合わせを用いて捕捉されたものであってもよい。

さらに、画素の別の捕捉またはサンプルの露光は、ＥＶ０画素の捕捉パラメータに基づいて選択されてもよい。より具体的には、画素の他の捕捉またはサンプルは、ＥＶ０画素の露光との比較において増大されたまたは減じられた露光を有するように選択されてもよい。たとえば、画素の他のサンプルのＩＳＯ捕捉パラメータは、ＥＶ０画素の露光よりも露光が増大されるまたは減じられるように選択されてもよい。またさらに、画素の他のサンプルの露光時間という捕捉パラメータは、露光時間がＥＶ０画素の露光時間よりも増大されるまたは減じられるように選択されてもよい。具体例として、画素の他のサンプルは
、ＥＶ０画素との比較においてより速いＩＳＯと同一の露光時間を用いてまたは同一のＩＳＯでより長い露光時間を用いて捕捉されるときには増大された露光で捕捉されてもよい。このような実施形態において、画素の他の捕捉または露光を、ＥＶ＋露光またはＥＶ＋画素と呼ぶことがある。同様に、画素の他のサンプルは、ＥＶ０画素との比較においてより遅いＩＳＯと同一の露光時間を用いてまたは同一のＩＳＯでより短い露光時間を用いて捕捉されるときには減じられた露光で捕捉されてもよい。このような実施形態において、画素の他の捕捉または露光を、ＥＶ－露光またはＥＶ－画素と呼ぶことがある。

いくつかの実施形態において、所与の画素の異なる露光は、捕捉動作中にまたは捕捉動作に続いて、画素に関連付けられたＩＳＯ値に基づいて制御されてもよく、ＩＳＯ値は、捕捉動作中に画像センサから出力されるアナログ信号に適用し得る１つ以上のゲインにマッピングされてもよい。

他の実施形態において、所与の画素の異なる露光は、画素で同時にまたは並行して発生する２つ以上のサンプリング動作の露光時間を制御することによって得られてもよい。

いくつかの実施形態において、第１の露光画素データ５３３は所与の画素のＥＶ－露光に関する画素データを含み得る。第２の露光画素データ５３５はこの画素のＥＶ０露光に関する画素データを含み得る。第３の露光画素データ５３７はこの画素のＥＶ＋露光に関する画素データを含み得る。当然、画素データ５３３～５３７のうちのいずれも画素の露光に関する画素データを含み得る。そのために、示されている同一画素の異なる３つの露光に関する画素データは、図５のバッファ５３１からＨＤＲ画素生成器５４１に与えられる。

他の実施形態において、ＨＤＲ画素生成器５４１は、所与の画素の異なる数の露光を受信し得る。たとえば、一実施形態において、ＨＤＲ画素生成器５４１は、所与の画素の２つの露光に関する画素データを受信し得る。選択肢として、このような実施形態において、ＨＤＲ画素生成器５４１は、所与の画素のＥＶ－露光とＥＶ０露光に関するデータ、または、所与の画素のＥＶ０露光とＥＶ＋露光に関するデータを受信し得る。

第１の露光画素データ５３３、第２の露光画素データ５３５、および第３の露光画素データ５３７各々を受信した後に、ＨＤＲ画素生成器５４１は、画素データのこれら３つのインスタンスに対してブレンド動作を実行してＨＤＲ画素データ５４５を出力してもよい。

そのために、ＨＤＲ画素生成器５４１は、画像センサの所与の画素の複数の露光からの画素データのみを用いてＨＤＲ画素に関するＨＤＲ画素データ５４５を生成するように動作し得る。よって、ＨＤＲ画素生成器５４１は、所与の画素の近隣にある画像センサの他の画素の画素データを必要としない。また、ＨＤＲ画素生成器５４１は、１つの画素の２つ以上の露光のみを用いて動作を実行し得る。さらに、所与の画素の２つ以上の露光は各々、ゼロまたはほぼゼロのインターフレーム時間を用いる態様で生成されてもよいので、画素の２つ以上の露光を用い、アライメントステップを実行することなくＨＤＲ画素を生成し得る。言い換えると、画素ストリーム５２０は本質的に、ブレンド回路５０１がＨＤＲ画素を生成するのに使用し得る予め整列された画素データを含み得る。

そのために、比較的ローパワーのリソースを用いて、ＨＤＲ画素のストリームが画素データの入力ストリームに基づいて急速に生成されて出力されてもよい。たとえば、ＨＤＲ画素のストリームは、画素データのストリームが画像センサから搬送されるときに生成されてもよい。さらに、ＨＤＲ画素のストリームは、グラフィックス処理装置（ＧＰＵ）を用いずに生成されてもよい。そうすると、ＧＰＵの少なくとも一部をディスエーブルする
、または、ＧＰＵを他の処理タスクの実行のために使用することができる。このような処理タスクは、ＨＤＲ画素ストリームに対してヘイズ除去動作またはコントラスト強調を実行することを含み得る。

さらに、ＨＤＲ画素データ５４５を出力することに加えて、ブレンド回路５０１は、第１の受信画素データ５４３および第２の受信画素データ５４７も出力し得る。一実施形態において、第１の受信画素データ５４３は、第１の露光画素データ５３３、第２の露光画素データ５３５、および第３の露光画素データ５３７のうちの１つを含み得る。このような実施形態において、第２の受信画素データ５４７は、第１の露光画素データ５３３、第２の露光画素データ５３５、および第３の露光画素データ５３７のうちの別の１つを含み得る。

たとえば、第１の受信画素データ５４３は第１の露光画素データ５３３を含んでいてもよく、第２の受信画素データ５４７は第３の露光画素データ５３７を含んでいてもよい。先に述べたように、第１の露光画素データ５３３は所与の画素のＥＶ－露光に関する画素データを含んでいてもよく、第３の露光画素データ５３７はこの所与の画素のＥＶ＋露光に関する画素データを含んでいてもよい。よって、このような例では、第１の受信画素データ５４３は所与の画素のＥＶ－露光に関する画素データを含んでいてもよく、第２の受信画素データ５４７はこの所与の画素のＥＶ＋露光に関する画素データを含んでいてもよい。そのために、ＨＤＲ画素データ５４５を出力することに加えて、ブレンド回路５０１はまた、ＨＤＲ画素データ５４５を生成するのに利用される画素データのさまざまなインスタンスを出力し得る。たとえば、ブレンド回路５０１は、ある画素について、その画素のＥＶ＋露光、その画素のＥＶ－露光、およびＨＤＲ画素各々を出力し得る。

当然、他の実施形態において、ブレンド回路５０１は、画素のＥＶ０露光を、次の処理および／または記憶のために画素のＥＶ０露光がＨＤＲ画素とともに出力されるように、第１の受信画素データ５４３または第２の受信画素データ５４７として出力してもよい。一実施形態において、画素のいずれの出力露光も、ＨＤＲ画素とともにフラッシュ記憶装置に格納されてもよい。いくつかの実施形態において、ＨＤＲ画素の生成に使用された画素の１つ以上の露光を保持することが有用であろう。たとえば、ＨＤＲ画素の生成に使用された画素の１つ以上の露光は、次のＨＤＲ処理において非ＨＤＲ画像を生成するためにまたは他の技術的に可能なやり方で使用されてもよい。

またさらに、第１の画素の複数の露光に関する画素データを用いて生成されたＨＤＲ画素データ５４５を出力した後に、ブレンド回路５０１は、第２のＨＤＲ画素に関する第２のＨＤＲ画素データを出力してもよい。この第２のＨＤＲ画素データは、ＨＤＲ画素生成器５４１によって、第２の画素の複数の露光に関する画素データを用いて生成されてもよい。第２の画素データは第１の画素の近隣画素であってもよい。たとえば、第２の画素は、画像センサの画素のある行または列における第１の画素に隣接していてもよい。またさらに、第２のＨＤＲ画素データを出力した後に、ブレンド回路５０１は第３のＨＤＲ画素を出力してもよい。第３のＨＤＲ画素は、ＨＤＲ画素生成器５４１によって、第３の画素の複数の露光に関する画素データを用いて生成されてもよい。第３の画素は第２の画素の近隣画素であってもよい。たとえば、第３の画素は、画像センサの画素のある行または列における第２の画素に隣接していてもよい。またさらに、第２のＨＤＲ画素および第３のＨＤＲ画素各々とともに、ブレンド回路５０１は、第２のＨＤＲ画素および第３のＨＤＲ画素それぞれの生成に用いられた受信画素データを出力してもよい。

ブレンド回路５０１は、ＨＤＲ画像のＨＤＲ画素に関する画素データのストリームを出力するように動作し得る。これらのＨＤＲ画素は各々画像センサのそれぞれの画素に基づいて生成される。またさらに、各出力ＨＤＲ画素とともに、この画素の対応する２つ以上
の露光に関する画素データも出力されてもよい。よって、ＨＤＲ画素は、このＨＤＲ画素の生成に使用された画素データとともに出力されてもよい。

加えて、ブレンド回路５０１は画素ストリーム５２０を受信すると画素ストリーム５２０の画素データを連続的に処理するように動作し得るので、画素ストリーム５２０は複数フレーム／秒という速度で画素データを捕捉し送信する画像センサから受信されてもよい。このような実施形態において、デジタル画素データ単位５２１～５２６は、画像センサから出力されたビデオの１フレームの画素または列に関する画素データを含み得る。そのために、ブレンド回路５０１は、２つ以上の露光におけるビデオのフレームの画素を受信し受信した画素を用いてこのビデオのフレームのＨＤＲ画素を生成するように動作し得る。さらに、ブレンド回路５０１は、２つ以上の露光におけるビデオのフレームの画素を受信し、１つ以上の他のビデオフレームの他のデジタル画素データを画素ストリーム５２０で受信しつつ、フレームのＨＤＲ画素を生成するように動作し得る。一実施形態において、ビデオの第２のフレームの１つ以上の画素は、ＨＤＲ画素生成器５４１がビデオの第１のフレームのＨＤＲ画素を出力しているときに、バッファ５３１によってバッファされてもよい。

図５に示されるように、ブレンド回路５０１は、画像センサとアプリケーションプロセッサ３３５との間の１つ以上の電気的相互配線に沿って存在する離散要素であってもよい。一実施形態において、画素ストリーム５２０は、１つの電気的相互配線上のブレンド回路５０１によって受信されてもよい。他の実施形態において、画素ストリーム５２０は、２つ以上の電気的相互配線に沿うブレンド回路５０１によって受信されてもよい。このような実装例により、ブレンド回路５０１において画素データの複数のインスタンスを同時に受信することができる。一実施形態において、第１の受信画素データ５４３、第２の受信画素データ５４７、およびＨＤＲ画素データ５４５は、１つの電気的相互配線に沿ってアプリケーションプロセッサ３３５に出力されてもよい。他の実施形態において、第１の受信画素データ５４３、第２の受信画素データ５４７、およびＨＤＲ画素データ５４５は、２つ以上の電気的相互配線に沿ってアプリケーションプロセッサ３３５に出力されてもよい。このような実装例により、アプリケーションプロセッサ３３５で画素データの複数のインスタンスを同時に受信することができる。

そのために、ブレンド回路５０１は、２つ以上の露光におけるビデオのフレームの画素を受信し受信した画素を用いてこのビデオのフレームのＨＤＲ画素を生成するように動作し得る。さらに、ブレンド回路５０１は、２つ以上の露光におけるビデオのフレームの画素を受信し、１つ以上の他のビデオフレームの他のデジタル画素データを画素ストリーム５２０で受信しつつ、フレームのＨＤＲ画素を生成するように動作し得る。

上記のように、ブレンド回路５０１は、画素ストリーム５２０を受信すると、ＨＤＲ画素のストリームがブレンド回路５０１から出力されるように、画素ストリーム５２０の画素データを連続的に処理するように動作し得る。このような実施形態において、第１の受信画素データ５４３は第１の露光に関連付けられた画素データのストリームに含まれていてもよく、第２の受信画素データ５４７は第２の露光に関連付けられた画素データのストリームに含まれていてもよい。よって、一実施形態において、ＨＤＲ画素を出力することに加えて、ブレンド回路５０１は、ＨＤＲ画素の生成に使用した画素データの少なくとも１つのストリームを出力し得る。たとえば、ブレンド回路は、ＨＤＲ画素の生成に使用したＥＶ０画素データのストリーム、ＨＤＲ画素の生成に使用したＥＶ－画素データのストリーム、および／またはＨＤＲ画素の生成に使用したＥＶ＋画素データのストリームを出力し得る。

一実施形態において、画素データの複数の組は別々に保存されてもよい。たとえば、Ｅ
Ｖ０画素データのストリームは、ブレンド回路５０１でＨＤＲ画素のストリームを生成するために使用されてもよく、その後、ＥＶ０画素のストリームはＨＤＲ画素のストリームとは別に保存されてもよい。同様に、ＥＶ－またはＥＶ＋画素のストリームはＨＤＲ画素とは別に格納されてもよい。そのために、格納されたＨＤＲ画素のストリームはＨＤＲビデオを含んでいてもよく、格納されたＥＶ０画素のストリームはＥＶ０で捕捉された同じビデオを含んでいてもよく、格納されたＥＶ＋またはＥＶ－画素のストリームはＥＶ＋またはＥＶ－で捕捉された同じビデオを含んでいてもよい。

別の実施形態において、アプリケーションプロセッサ３３５は、受信した２つ以上の画素ストリームを用いて残像を生成してもよい。たとえば、アプリケーションプロセッサ３３５は、ＨＤＲ画素のストリームをブレンド回路５０１から受信するとともに受信画素データの１つ以上のストリームをブレンド回路５０１から受信してもよい。受信画素データの１つ以上のストリームは各々、ＥＶ０、ＥＶ＋、またはＥＶ－画素ストリームを含み得る。アプリケーションプロセッサ３３５は、受信したＨＤＲ画素のストリームをＥＶ０、ＥＶ＋、またはＥＶ－画素ストリームのうちの１つ以上と比較する比較動作を実行することにより残像を生成してもよい。たとえば、アプリケーションプロセッサ３３５は、ＨＤＲ画素ストリーム内の所与の画素をＥＶ０画素ストリーム内の所与の画素と比較することにより、相違またはスケーリング値を生成し、その後、この相違またはスケーリング値を格納してもよい。アプリケーションプロセッサ３３５は、ＨＤＲ画素ストリームとＥＶ０画素ストリームとの間の複数の対応する画素に関する複数の相違値またはスケーリング値を生成してもよい。複数の相違値またはスケーリング値は次に残像として記憶されてもよい。当然、ＥＶ＋、ＥＶ０、およびＥＶ－画素ストリームのうちのいずれかとＨＤＲ画素ストリームとの比較は、相違値またはスケーリング値の生成に等しく有効に機能する。

さらに、生成された１つ以上の残像はその後ＨＤＲ画素ストリームに関連付けて記憶されてもよい。このような実施形態において、ＥＶ０、ＥＶ－、またはＥＶ＋画素ストリームのうちの１つ以上が破棄されてもよい。破棄されたＥＶ０、ＥＶ－、またはＥＶ＋画素ストリームのうちの１つ以上の代わりに残像を記憶すると、使用する記憶空間が少なくなるであろう。たとえば、破棄されたＥＶ－画素ストリームを、その後、関連付けられたＨＤＲ画素ストリーム、関連付けられたＥＶ０画素ストリームおよび／または関連付けられたＥＶ＋画素ストリームと、破棄されたＥＶ－画素ストリームを用いて、先に生成された残像とともに、再構成してもよい。このような実施形態において、残像の記憶は、ＥＶ－画素ストリームの記憶と比較して、必要な記憶容量が実質的に少なくて済むであろう。

別の実施形態において、ブレンド回路はアプリケーションプロセッサ３３５に含まれていてもよい。特定の実施形態において、ブレンド回路は、コントラスト制限付適応ヒストグラム平坦化（contrast-limited adaptive histogram equalization：ＣＬＡＨＥ）等のレベルマッピングを実現するためのヒストグラム累積回路を含む。このような実施形態において、累積回路は、局所レベルマッピングを実行するように機能する累積分布関数（cumulative distribution function：ＣＤＦ）を生成する。そのために、局所コントラスト強調が、たとえば、ＣＤＦに基づいてブレンド回路またはアプリケーションプロセッサ３３５いずれかによって実現されてもよい。

図６は、一実施形態に従うＨＤＲ画素を出力するためのシステム６００を示す。選択肢として、システム６００は図面のうちのいずれの図面の文脈でも実現し得る。しかしながら、当然、システム６００はいずれの所望の環境でも実現し得る。さらに、上述の定義は以下の説明に等しく適用され得る。

示されているように、システム６００は非線形混合機能６３０を含む。一実施形態において、非線形混合機能６３０は、明画素６５０と暗画素６５２とを受けることを含む。一
実施形態において、明画素６５０よび暗画素６５２は、混合機能６６６を介してブレンドされ結果としてＨＤＲ画素６５９が生成されてもよい。

一実施形態において、非線形混合機能６３０は図５のブレンド回路５０１によって実行されてもよい。たとえば、非線形混合機能６３０は図５のＨＤＲ画素生成器５０１によって実行されてもよい。一実施形態において、ＨＤＲ画素生成器５０１は、２つの画素を受け、これら２つの画素各々の属性を識別し、これら２つの画素の属性に基づいてスカラーまたは混合値を選択した後に、選択したスカラーまたは混合値を用いて混合機能を２つの画素に対して実行するように構成されてもよい。このとき、選択されたスカラーまたは混合値を用いて混合機能を２つの画素に対して実行することにより、ＨＤＲ画素が生成される。ＨＤＲ画素はその後ＨＤＲ画素ストリームにおいて出力されてもよい。

図６の文脈で説明したように、所与の画素からの１つ以上の露光に関する画素データを「画素」と呼ぶ場合がある。たとえば、ある画素の第１の露光からの画素データを第１の画素と呼び、この画素の第２の露光からの画素データを第２の画素と呼び、この画素の第３の露光からの画素データを第３の画素と呼ぶ場合がある。さらに第１の露光、第２の露光、および第３の露光からの画素データを各々、画像センサの同一画素からサンプリングされた他の画素データとの比較において、明画素もしくは明露光画素、中間画素もしくは中間露光画素、または暗画素もしくは暗露光画素を呼ぶ場合がある。たとえば、ＥＶ０露光で捕捉された画素データを中間露光画素と呼び、ＥＶ－露光で捕捉された画素データを暗露光画素と呼び、ＥＶ＋露光で捕捉された画素データを明露光画素と呼ぶ場合がある。選択肢として、ＥＶ０露光を、同一画素のその他の露光次第で、明画素または暗画素と呼ぶ場合がある。したがって、図６の文脈では、２つ以上の画素をブレンドまたは混合する動作は、２つ以上の露光でサンプリングされた画像センサの１つの画素から取得された画素データをブレンドまたは混合する動作であることが、理解されるはずである。

一実施形態において、混合機能６６６は、２つの入力値（たとえば、画素など）を組合わせることができる如何なる機能も含み得る。混合機能６６６は、混合値６５８に基づいて、明画素６５０に関連付けられたｖｅｃ３値と、暗画素６５２に関連付けられたｖｅｃ３値とをブレンドすることによって、ＨＤＲ画素６５９に関連付けられたｖｅｃ３値を生成するための線形ブレンド動作を規定し得る。たとえば、混合機能６６６は、周知のＯｐｅｎＧＬ混合機能を実現し得る。他の例において、混合機能は、２つの異なる画素に関する値の加重和を正規化すること；入力画素に関連付けられたベクトル（たとえば、ＲＧＢなど）を合計して正規化すること；２つの入力画素についての加重平均を計算すること；および／または、明画素と暗画素とを何らかの態様で結合し得る他の任意の機能を適用すること；を含み得る。一実施形態においては、混合値６５８は、０～１の範囲であってもよく、混合機能６６６は、混合値６５８に基づいて、暗画素６５２と明画素６５０とを混合する。別の実施形態においては、混合値６５８は、０から任意の大きな値までの範囲であるが、混合機能６６６は、１よりも大きい値を、あたかもこのような値が１に等しいように、混合するように反応するように構成される。さらに、混合値はスカラーであってもよい。

一実施形態において、混合値関数は、２つの多項式の積を含み、強さ係数を含み得る。特定の例においては、混合値関数は、混合値６５８を生成するように作用する混合値表面６６４として実現される。１つの例示的な混合値関数を式１において以下に例示する。

ｚ＝ｐ１（ｘ）^＊ｐ２（ｙ）^＊ｓ （式１）
多項式中において、
ｚは、第１の画素および第２の画素についての結果として得られる混合値であり、
ｐ１はｘにおける第１の多項式であり、ｘは第１の（暗）画素についての画素属性であ
ってもよく、
ｐ２はｙにおける第２の多項式であり、ｙは第２の（明）画素についての画素属性であってもよく、
ｓは強さ係数である（ｓ＝＝０：混合なし、ｓ＝＝１．０：規格の混合、ｓ＞１．０：過度の混合）。

式１においては、強さ係数（ｓ）は、第１の画素と第２の画素との間で、結果として生じる混合値に、混合なし（たとえば、ｓ＝０など）、規格の混合（たとえば、ｓ＝１など）および過度の混合（たとえば、ｓ＞１．０など）を反映させ得る。

別の特定の実施形態においては、混合関数は特有の多項式形態を含み得る。
ｚ＝（１－（１－（１－ｘ）＾Ａ）＾Ｂ）^＊（（１－（１－ｙ）＾Ｃ）＾Ｄ）^＊ｓ
（式２）
図示のとおり、式１のｐ１（ｘ）は、式２において項（１－（１－（１－ｘ）＾Ａ）＾Ｂ）として実現され得るとともに、式２のｐ２（ｙ）は、項（（１－（１－ｙ）＾Ｃ）＾Ｄ）として実現され得る。一実施形態においては、式２は以下の係数を含み得る：Ａ＝８、Ｂ＝２、Ｃ＝８およびＤ＝２。当然ながら、他の実施形態においては、他の係数値は、全体的な混合を最適化するために用いられてもよく、第１の画素と第２の画素とを混合することに関連付けられた主観的な視覚品質を含み得る。特定の実施形態においては、式２を用いて、「ＥＶ０」画素（たとえば、ＥＶ０露光を有する画像からの画素）と、「ＥＶ－」画素（たとえば、ＥＶ－１、ＥＶ－２またはＥＶ－３などの露光を有する画像からの画素）と、「ＥＶ＋」画素（たとえば、ＥＶ＋１、ＥＶ＋２またはＥＶ＋３などの露光を有する画像からの画素）との組合わせを混合してもよい。さらに、別の実施形態においては、式２を用いて、明露光、中間露光および／または暗露光を任意に組合わせたものを有する画像を混合してもよい。

別の実施形態においては、ｚ＝０の場合、暗画素に重み全体が与えられてもよく、ｚ＝１の場合、明画素に重み全体が与えられてもよい。一実施形態においては、式２は、図１０Ａおよび図１０Ｂに示されるような表面図に一致し得る。

別の特定の実施形態においては、混合関数は特定の多項式形態を含み得る。
ｚ＝（（１－（１－ｘ）＾Ａ）＾Ｂ）^＊（（１－（１－ｙ）＾Ｃ）＾Ｄ）^＊ｓ
（式３）
図示のとおり、式１のｐ１（ｘ）は、式３において項（（１－（１－ｘ）＾Ａ）＾Ｂ）として実現され得るとともに、式３のｐ２（ｙ）は、項（（１－（１－ｙ）＾Ｃ）＾Ｄ）として実現され得る。一実施形態においては、式３は以下の係数：Ａ＝８、Ｂ＝２、Ｃ＝２およびＤ＝２を含み得る。当然ながら、他の実施形態においては、他の係数値を用いて混合を最適化してもよい。別の実施形態においては、式３を用いて、「ＥＶ０」画素および「ＥＶ－」画素（たとえばＥＶ－１、ＥＶ－２またはＥＶ－３）画素を混合してもよい。さらに、別の実施形態においては、式３を用いて、明露光、中間露光および／または暗露光を任意に組合わせたものを有する画像を混合してもよい。

別の実施形態においては、ｚ＝０の場合、明画素に重み全体が与えられてもよく、ｚ＝１の場合、暗画素に重み全体が与えられてもよい。一実施形態においては、式３は、図１１Ａおよび図１１Ｂに示されるような表面図に一致し得る。

別の実施形態においては、明画素６５０が画素属性機能６６０によって受取られてもよく、暗画素５５２が画素属性機能６６２によって受取られてもよい。さまざまな実施形態においては、画素属性機能６６０および／または６６２は、入力画素（たとえば、明画素、暗画素など）に関連付けられた属性を決定することができる如何なる機能をも含み得る
。たとえば、さまざまな実施形態においては、画素属性機能６６０および／または６６２は、輝度、彩度、色相、色空間（たとえば、ＥＧＢ、ＹＣｂＣｒ、ＹＵＶなど）、ＲＧＢブレンド、明度、ＲＧＢ色、ルミナンス、クロミナンス、および／または、何らかの態様で画素に関連付けられ得る他の特徴を決定することを含み得る。

画素属性機能６６０に応じて、明画素６５０に関連付けられた画素属性６５５が結果として生じ、混合値表面６６４などの混合値関数に入力される。加えて、画素属性機能６６２に応じて、暗画素６５２に関連付けられた画素属性６５６が結果として生じ、混合値関数に入力される。

一実施形態においては、所与の混合値関数が表面図に関連付けられてもよい。たとえば、一実施形態においては、ｘ値は、第１の画素属性（または複数の画素属性）に関連付けられた多項式に関連付けられてもよく、ｙ値は、第２の画素属性（または複数の画素属性）に関連付けられた多項式に関連付けられてもよい。さらに、別の実施形態においては、強さ関数は、混合値関数によって計算される混合値をスケーリングするために用いられてもよい。一実施形態において、混合値はスカラーを含み得る。

一実施形態においては、混合値関数によって決定された混合値６５８が、表面図を具体化する表から選択されてもよい。別の実施形態においては、第１の多項式に関連付けられた第１の値および第２の多項式に関連付けられた第２の値は各々、表から対応する値を選択するために用いられてもよく、２つ以上の値を用いて混合値を補間してもよい。言いかえれば、混合値関数の少なくとも一部は、ｚの値を決定するために、ｘおよびｙにおいて標識付されている表（たとえばルックアップテーブル）として実現されてもよい。ｚの各々の値は、表においては直接表わされてもよく、または表を含むサンプル点から補間されてもよい。したがって、スカラーは、生成、選択、および補間のうちの少なくとも１つによって識別されてもよい。

図示のとおり、混合値６５８は、混合値表面６６４に起因するものであり、先に述べたように混合機能６６６に入力される。

ＨＤＲ画素６５９は、この明細書中に記載されるさまざまな実施形態に従って、明画素６５０および暗画素６５２に基づいて生成され得る。

図７Ａは、別の実施形態に係る、ＨＤＲ画素とエフェクト機能との組合わせに基づいてＨＤＲ画素を生成するための方法７００を示す。選択肢として、方法７００は、図のいずれかの詳細の文脈において実現され得る。しかしながら、当然、方法７００は所望の如何なる環境においても実行され得る。さらに、上述の定義は、以下の記載に同様に適用され得る。

図７Ａ～図７Ｂの文脈で説明したように、所与の画素からの１つ以上の露光に関する画素データを「画素」と呼ぶ場合がある。たとえば、ある画素の第１の露光からの画素データを第１の画素と呼び、この画素の第２の露光からの画素データを第２の画素と呼び、この画素の第３の露光からの画素データを第３の画素と呼ぶ場合がある。さらに第１の露光、第２の露光、および第３の露光からの画素データを各々、画像センサの同一画素からサンプリングされた他の画素データとの比較において、明画素もしくは明露光画素、中間画素もしくは中間露光画素、または暗画素もしくは暗露光画素を呼ぶ場合がある。たとえば、ＥＶ０露光で捕捉された画素データを中間露光画素と呼び、ＥＶ－露光で捕捉された画素データを暗露光画素と呼び、ＥＶ＋露光で捕捉された画素データを明露光画素と呼ぶ場合がある。選択肢として、ＥＶ０露光を、同一画素のその他の露光次第で、明画素または暗画素と呼ぶ場合がある。したがって、図７Ａ～図７Ｂの文脈では、２つ以上の画素をブ
レンドまたは混合する動作は、２つ以上の露光でサンプリングされた画像センサの１つの画素から取得された画素データをブレンドまたは混合する動作であることが、理解されるはずである。

図示のとおり、一実施形態においては、中間－明ＨＤＲ画素が、中間露光画素および明露光画素に基づいて生成され得る。動作７０２を参照されたい。加えて、中間－暗ＨＤＲ画素は、中間露光画素および暗露光画素に基づいて生成され得る。動作７０４を参照されたい。たとえば、一実施形態においては、中間露光画素はＥＶ０露光を含んでもよく、明露光画素はＥＶ＋１露光を含んでもよく、中間－明ＨＤＲ画素は、ＥＶ０露光画素とＥＶ＋１露光画素とのブレンドであってもよい。当然、明露光画素は、（たとえば、任意の量などが）中間露光値よりも大きい露光を含み得る。

別の実施形態においては、中間露光画素はＥＶ０露光を含んでもよく、暗露光画素はＥＶ－１露光を含んでもよく、中間－暗ＨＤＲ画素は、ＥＶ０露光とＥＶ－１露光との間のブレンドであってもよい。当然、暗露光画素は、（たとえば、任意の量などが）中間露光値よりも小さい露光を含み得る。

図示のとおり、結合されたＨＤＲ画素は、中間－明ＨＤＲ画素および中間－暗ＨＤＲ画素に基づいて生成され得る。動作７０６を参照されたい。別の実施形態においては、結合されたＨＤＲ画素は、複数の中間－明ＨＤＲ画素および複数の中間－暗ＨＤＲ画素に基づいて生成され得る。

別個の実施形態においては、第２の結合されたＨＤＲ画素は、結合されたＨＤＲ画素および中間－明ＨＤＲ画素に基づいていてもよく、または、結合されたＨＤＲ画素および中間－暗ＨＤＲ画素に基づいてもよい。さらなる実施形態においては、第３の結合されたＨＤＲ画素は、第１の結合されたＨＤＲ画素、第２の結合されたＨＤＲ画素、中間－明ＨＤＲ画素、中間－暗ＨＤＲ画素、および／または、そのいずれかの組合わせに基づいてもよい。

さらに、図示のとおり、出力ＨＤＲ画素は結合されたＨＤＲ画素およびエフェクト機能に基づいて生成されてもよい。動作７０８を参照されたい。たとえば、一実施形態においては、エフェクト機能は、輝度、彩度、色相、色空間（たとえば、ＥＧＢ、ＹＣｂＣｒ、ＹＵＶなど）、ＲＧＢブレンド、明度、ＲＧＢ色、ルミナンス、クロミナンス、コントラスト、属性レベル関数および／または属性曲線関数を変更する機能を含み得る。さらに、エフェクト機能は、パステル画調、水彩画機能、木炭画調、ペン画調、検出されたエッジの輪郭、グレインもしくはノイズの変更、テクスチャの変更、および／または、何らかの態様で出力ＨＤＲ画素を変更し得る他の任意の修正などを含むがこれらには限定されないフィルタを含み得る。

図７Ｂは、別の実施形態に係る、ＨＤＲ画素を出力するためのシステム７３０を示す。選択肢として、システム７３０は、図のいずれかの詳細の文脈において実現され得る。しかしながら、当然、システム７３０は所望の如何なる環境においても実行され得る。さらに、上述の定義は、以下の記載に同様に適用され得る。

一実施形態においては、システム７３０は画素ブレンド動作７３１を含み得る。一実施形態においては、画素ブレンド動作７３１は、非線形混合機能７３２において、明露光画素７１０および中間露光画素７１２を受取ることを含み得る。別の実施形態においては、非線形混合機能７３２は、図６の非線形混合機能６３０と一致する態様で動作し得る。別の実施形態においては、画素ブレンド動作７３１は、非線形混合機能７３４において暗露光画素７１４および中間露光画素７１２を受取ることを含み得る。別の実施形態において
は、非線形混合機能７３４は、図６の要素６３０と一致する態様で動作し得る。

一実施形態において、画素ブレンド動作７３１は図５のブレンド回路５０１によって実行されてもよい。たとえば、画素ブレンド動作７３１は図５のＨＤＲ画素生成器５０１によって実行されてもよい。一実施形態において、ＨＤＲ画素生成器５０１は、３つの画素を受け、これら３つの画素各々の属性を識別し、これら３つの画素の属性に基づいて混合値を選択し、選択した混合値を用いて混合機能を実行することにより、２つの画素を取得した後に、得られた画素を組合わせることによってＨＤＲ画素を生成するように構成されてもよい。ＨＤＲ画素はその後ＨＤＲ画素ストリームにおいて出力されてもよい。

さまざまな実施形態においては、非線形混合機能７３２および／または７３４は、それぞれ、明混合限度７２０または暗混合限度７２２から入力を受取り得る。一実施形態においては、明混合限度７２０および／または暗混合限度７２２は、自動設定または手動設定を含み得る。たとえば、いくつかの実施形態においては、混合限度は、予め規定された設定（たとえば、最適化された設定など）によって設定され得る。一実施形態においては、各々の混合限度は、混合機能を最適化するように予め規定されていてもよい。別の実施形態においては、手動設定はユーザ入力を受取ることを含んでもよい。たとえば、一実施形態においては、ユーザ入力はスライドするユーザインターフェイス上のスライダ設定と一致していてもよい。各々の混合限度は、式１～式３に関連付けて上述されたそれぞれの強さ係数に対応し得る。

たとえば、一実施形態においては、混合値関数は、２つの多項式の積を含み得るとともに、強さ係数を含み得る。特定の例においては、混合値関数は、混合値６５８を生成するように作用する混合値表面６６４として実現される。

１つの例示的な混合値関数が式１において以下に例示される。
ｚ＝ｐ１（ｘ）^＊ｐ２（ｙ）^＊ｓ （式１）
多項式中において、
ｚは、第１の画素および第２の画素についての結果として生じる混合値であり、
ｐ１はｘにおける第１の多項式であり、ｘは第１の（暗）画素についての画素属性であってもよく、
ｐ２はｙにおける第２の多項式であり、ｙは第２の（明）画素についての画素属性であってもよく、
ｓは強さ係数である（ｓ＝＝０：混合なし、ｓ＝＝１．０：規格の混合、ｓ＞１．０：過度の混合）。

式１においては、強さ係数（ｓ）は、第１の画素と第２の画素との間で、結果として生じる混合値に、混合なし（たとえば、ｓ＝０など）、規格の混合（たとえば、ｓ＝１など）および過度の混合（たとえば、ｓ＞１．０など）を反映させ得る。

別の特定の実施形態においては、混合関数は特定の多項式形態を含み得る。
ｚ＝（１－（１－（１－ｘ）＾Ａ）＾Ｂ）^＊（（１－（１－ｙ）＾Ｃ）＾Ｄ）^＊ｓ
（式２）
図示のとおり、式１のｐ１（ｘ）は、項（１－（１－（１－ｘ）＾Ａ）＾Ｂ）として式２において実現され得るとともに、式２のｐ２（ｙ）は項（（１－（１－ｙ）＾Ｃ）＾Ｄ）として実現され得る。一実施形態においては、式２は以下の係数：Ａ＝８、Ｂ＝２、Ｃ＝８およびＤ＝２を含み得る。当然ながら、他の実施形態においては、全体的な混合を最適化するために、他の係数値が用いられてもよく、第１の画素と第２の画素とを混合することに関連付けられた主観的な視覚品質を含み得る。特定の実施形態においては、式２を用いて、「ＥＶ０」画素（たとえば、ＥＶ０露光を有する画像からの画素）と、「ＥＶ－
」画素（たとえば、ＥＶ－１、ＥＶ－２またはＥＶ－３などの露光を有する画像からの画素）と、「ＥＶ＋」画素（たとえば、ＥＶ＋１、ＥＶ＋２またはＥＶ＋３などの露光を有する画像からの画素）とを混合してもよい。さらに、別の実施形態においては、式２を用いて、明露光、中間露光および／または暗露光を任意に組合わせたものを有する画像に関連付けられた画素を混合してもよい。

別の実施形態においては、ｚ＝０の場合、暗画素に重み全体が与えられてもよく、ｚ＝１の場合、明画素に重み全体が与えられてもよい。一実施形態においては、式２は、図１０Ａおよび図１０Ｂに示されるような表面図に一致し得る。

別の特定の実施形態においては、混合関数は特定の多項式形態を含み得る。
ｚ＝（（１－（１－ｘ）＾Ａ）＾Ｂ）^＊（（１－（１－ｙ）＾Ｃ）＾Ｄ）^＊ｓ
（式３）
図示のとおり、式１のｐ１（ｘ）は式３において項（（１－（１－ｘ）＾Ａ）＾Ｂ）として実現され得るとともに、式３のｐ２（ｙ）は項（（１－（１－ｙ）＾Ｃ）＾Ｄ）として実現され得る。一実施形態においては、式３は以下の係数：Ａ＝８、Ｂ＝２、Ｃ＝２およびＤ＝２を含み得る。当然ながら、他の実施形態においては、混合を最適化するために他の係数値が用いられてもよい。別の実施形態においては、式３を用いて、「ＥＶ０」画素および「ＥＶ－」画素（たとえばＥＶ－１、ＥＶ－２またはＥＶ－３）画素を混合してもよい。さらに、別の実施形態においては、式３を用いて、明露光、中間露光および／または暗露光を任意に組合わせたものを有する画像に関連付けられた画素を混合してもよい。

別の実施形態においては、ｚ＝０の場合、明画素に重み全体が与えられてもよく、ｚ＝１の場合、暗画素に重み全体が与えられてもよい。一実施形態においては、式３は、図１１Ａおよび図１１Ｂに示されるような表面図に一致し得る。

図示のとおり、一実施形態においては、非線形混合機能７３２は、結果として、中間－明ＨＤＲ画素７４０をもたらす。別の実施形態においては、非線形混合機能７３４は、結果として、中間－暗ＨＤＲ画素７４２をもたらす。一実施形態においては、中間－明ＨＤＲ画素７４０および中間－暗ＨＤＲ画素７４２が、コンバイナ機能７３６に入力される。別の実施形態においては、コンバイナ機能７３６は、中間－明ＨＤＲ画素７４０と中間－暗ＨＤＲ画素７４２とをブレンドする。

さまざまな実施形態においては、コンバイナ機能７３６は、２つ以上の画素値の平均を取ること；各々の画素値に関連付けられた色属性を合計して正規化すること（たとえば、ＲＧＢ色空間における赤成分／緑成分／青成分の合計など）；正規化され得るＲＧＢ（もしくは任意の色空間）ベクトル長さを決定すること；平均画素値を明画素もしくは暗画素と組合わせて用いること；および／または、他の任意の組合わせを用いて、中間－明ＨＤＲ画素７４０と中間－暗ＨＤＲ画素７４２とをブレンドすること；を含み得る。

一実施形態においては、コンバイナ機能７３６は、結果として、結合されたＨＤＲ画素７４４をもたらす。さまざまな実施形態においては、結合されたＨＤＲ画素７４４は、中間－明画素７４０および中間－暗ＨＤＲ画素７４２に関連付けられた如何なるタイプのブレンドをも含み得る。たとえば、いくつかの実施形態においては、結合されたＨＤＲ画素は、ＨＤＲ効果が適用されていない生成画素を含み得るのに対して、他の実施形態においては、任意の量のＨＤＲまたは増幅が適用されて、最終的な結合されたＨＤＲ画素に反映され得る。

さまざまな実施形態においては、結合されたＨＤＲ画素７４４がエフェクト機能７３８
に入力される。一実施形態においては、エフェクト機能７３８は、彩度パラメータ７２４、レベルマッピングパラメータ７２６、および／または、エフェクト機能７３８に何らかの態様で結合ＨＤＲ画素７４４を修正させ得る他の任意の機能パラメータを受取り得る。当然、他の実施形態においては、エフェクト機能７３８は、輝度、色相、色空間（たとえば、ＥＧＢ、ＹＣｂＣｒ、ＹＵＶなど）、ＲＧＢブレンド、明度、ＲＧＢ色、ルミナンス、クロミナンス、コントラスト、および／または、曲線関数を変更する機能を含み得る。さらに、エフェクト機能は、パステル画調、水彩画機能、木炭画調、ペン画調、検出されたエッジの輪郭、グレインのもしくはノイズの変更、テクスチャの変更、および／または、結合されたＨＤＲ画素を何らかの態様で変更し得る他の任意の修正などを含むがこれらに限定されないフィルタを含み得る。いくつかの実施形態においては、出力ＨＤＲ画素７４６は、エフェクト機能７３８によって生成されてもよい。代替的には、エフェクト機能７３８は効果を及ぼさないように構成されてもよく、出力ＨＤＲ画素７４６は結合されたＨＤＲ画素７４４と同等である。

いくつかの実施形態および代替例においては、結合されたＨＤＲ画素７４４には効果が適用されなくてもよい。エフェクト機能７３８を通過した後、出力ＨＤＲ画素７４６が結果として生じる。

図８は、別の実施形態に係る、結合されたＨＤＲ画素とエフェクト機能とに基づいてＨＤＲ画素を生成するための方法８００を示す。選択肢として、方法８００は、図のいずれかの詳細の文脈において実現され得る。しかしながら、当然、方法８００は所望の如何なる環境においても実行され得る。さらに、上述の定義は、以下の記載に同様に適用され得る。

一実施形態においては、中間露光パラメータが中間露光画像のために評価され得る。動作８０２を参照されたい。加えて、暗露光画像について暗露光パラメータが評価され（動作８０４を参照）、明露光画像について明露光パラメータが評価される（動作８０６を参照）。

さまざまな実施形態においては、（たとえば、中間露光、暗露光または明露光などに関連付けられた）露光パラメータは、ＩＳＯ、露光時間、露光値、アパーチャ、および／または、画像取込み時間に影響を与える可能性のある他のパラメータを含み得る。一実施形態においては、取込み時間は、対応するカメラレンズによって示される光学情報に画像センサが晒される時間の量を含み得る。

一実施形態においては、中間露光パラメータ、暗露光パラメータおよび／または明露光パラメータを評価することは、写真撮影シーンに関連付けられた画像を計測することを含み得る。たとえば、さまざまな実施形態においては、レンズの視界内における光の明度が決定され得る。さらに、画像の計測は、スポット計測（たとえば、狭い区域のカバレッジなど）、平均計測（たとえば、全体写真全体にわたる計測など）、マルチパターン計測（たとえば、マトリックス計測、セグメント化された計測など）、および／または、他のタイプの計測システムを含み得る。画像の計測は、画像センサから利用可能となるよりも低い解像度を含む如何なる解像度で実行されてもよく、これにより、結果として、計測のレイテンシがより高速となる可能性がある。

図示のとおり、暗露光画像、中間露光画像および明露光画像が取込まれる。動作８０８を参照されたい。さまざまな実施形態においては、画像（たとえば、暗露光画像、中間露光画像、明露光画像など）を取込むことは、画像プロセッサに（たとえば、対応するカメラレンズなどを通して視認されるような）画像を委託することを含んでもよく、および／または、それ以外の場合には、何らかの態様で一時的に画像を記憶してもよい。当然、他
の実施形態においては、取込みを行う場合、光（たとえば、ＲＧＢ光など）を検出し得るフォトダイオード、（たとえば、光などの輝度を格納するための）バイアス電圧もしくはコンデンサ、および／または、光の輝度を受取って格納するのに必要な他のいずれかの回路を含み得る。他の実施形態においては、フォトダイオードは、（たとえば、露光時間などに関連付けられる）入射光輝度に比例する速度でコンデンサを充電または放電してもよい。

加えて、一実施形態においては、結合されたＨＤＲ画像は、暗露光画像、中間露光画像および明露光画像に基づいて生成されてもよい。動作８１０を参照されたい。さまざまな実施形態においては、結合されたＨＤＲ画像は、図７Ｂにおける結合されたＨＤＲ画素７４４と一致する態様で生成されてもよい。さらに、一実施形態においては、出力ＨＤＲ画像は、結合されたＨＤＲ画素７４４およびエフェクト機能を含む結合されたＨＤＲ画像に基づいて生成されてもよい。動作８１２を参照されたい。さまざまな実施形態においては、出力ＨＤＲ画像は、図７Ｂにおける出力ＨＤＲ画素７４６と一致する態様で生成されてもよい。

図９は、別の実施形態に係る、結合されたＨＤＲ画素およびエフェクト機能に基づいてＨＤＲ画素を生成するための方法９００を示す。選択肢として、方法９００は、図のいずれかの詳細の文脈において実現され得る。しかしながら、当然、方法９００は所望の如何なる環境においても実行され得る。さらに、上述の定義は、以下の記載に同様に適用され得る。

一実施形態においては、中間露光パラメータが中間露光画像のために評価されてもよい。動作９０２を参照されたい。さまざまな実施形態においては、中間露光パラメータは、ＩＳＯ、露光時間、露光値、アパーチャ、および／または、取込み時間に影響を与える可能性のある他の任意のパラメータを含み得る。一実施形態においては、取込み時間は、対応するカメラレンズによって示される光学情報に画像センサが晒される時間の量を含み得る。一実施形態においては、中間露光パラメータを評価することは画像を計測することを含み得る。たとえば、さまざまな実施形態においては、レンズの視界内おける光の明度が決定され得る。さらに、画像の計測は、スポット計測（たとえば、狭い区域のカバレッジなど）、平均計測（たとえば、全体写真全体にわたる計測など）、マルチパターン計測（たとえば、マトリックス計測、セグメント化された計測など）、および／または、他の任意のタイプの計測システムを含み得る。画像の計測は、画像センサから利用可能となるよりも低い解像度を含む如何なる解像度で実行されてもよく、これにより、結果として、計測のレイテンシがより高速となる可能性がある。加えて、一実施形態においては、中間露光画像のための計測には、ＥＶ０における画像が含まれ得る。しかしながら、当然、他の実施形態においては、計測には、如何なるシャッター停止および／または露光値での画像も含まれ得る。

図示のとおり、一実施形態においては、アナログ画像は、中間露光パラメータに基づいて画像センサ内に取込まれてもよい。動作９０４を参照されたい。さまざまな実施形態においては、アナログ画像を取込むことは、画像センサに（たとえば、対応するカメラレンズなどを通して視認されるような）画像を委託することを含んでもよく、および／または、それ以外の場合には、何らかの態様で一時的に画像を記憶してもよい。当然、他の実施形態においては、取込みには、光（たとえば、ＲＧＢ光など）を検出し得るフォトダイオード、（たとえば、光などの輝度を格納するための）バイアス電圧もしくはコンデンサ、および／または、光の輝度を受取って格納するのに必要な他のいずれかの回路を含み得る。他の実施形態においては、フォトダイオードは、（たとえば、露光時間などに関連付けられる）入射光輝度に比例する速度でコンデンサを充電または放電してもよい。

加えて、一実施形態においては、中間露光画像はアナログ画像に基づいて生成されてもよい。動作９０６を参照されたい。加えて、暗露光画像はアナログ画像に基づいて生成されてもよく（動作９０８を参照）、明露光画像はアナログ画像に基づいて生成されてもよい（動作９１０を参照）。さまざまな実施形態においては、露光画像（たとえば、中間、暗、明など）を生成することは、ＩＳＯまたはフィルム速度をアナログ画像に適用することを含み得る。当然、別の実施形態においては、光に対するアナログ画像の感度を変更し得る如何なる機能が適用されてもよい。一実施形態においては、複数の画像（たとえば、中間露光画像、暗露光画像、明露光画像など）を生成するために、同じアナログ画像が繰り返しサンプリングされてもよい。たとえば、一実施形態においては、回路内に蓄えられた電流が複数回読出されてもよい。

加えて、一実施形態においては、結合されたＨＤＲ画像は、暗露光画像、中間露光画像および明露光画像に基づいて生成され得る。動作９１２を参照されたい。さまざまな実施形態においては、結合されたＨＤＲ画像は、図７Ｂにおける結合されたＨＤＲ画素７４４と一致する態様で生成されてもよい。さらに、一実施形態においては、出力ＨＤＲ画像は、結合されたＨＤＲ画像およびエフェクト機能に基づいて生成され得る。動作９１４を参照されたい。さまざまな実施形態においては、出力ＨＤＲ画像は、図７Ｂにおける出力ＨＤＲ画素７４６と一致する態様で生成されてもよい。

図１０Ａは、別の実施形態に係る表面図１０００を示す。選択肢として、表面図１０００は、図のいずれかの詳細の文脈において実現され得る。しかしながら、当然、表面図１０００は所望の如何なる環境においても実行され得る。さらに、上述の定義は、以下の記載に同様に適用され得る。

図１０Ａ～図１０Ｂの文脈で説明したように、所与の画素からの１つ以上の露光に関する画素データを「画素」と呼ぶ場合がある。たとえば、ある画素の第１の露光からの画素データを第１の画素と呼び、この画素の第２の露光からの画素データを第２の画素と呼び、この画素の第３の露光からの画素データを第３の画素と呼ぶ場合がある。さらに第１の露光、第２の露光、および第３の露光からの画素データを各々、画像センサの同一画素からサンプリングされた他の画素データとの比較において、明画素もしくは明露光画素、中間画素もしくは中間露光画素、または暗画素もしくは暗露光画素を呼ぶ場合がある。たとえば、ＥＶ０露光で捕捉された画素データを中間露光画素と呼び、ＥＶ－露光で捕捉された画素データを暗露光画素と呼び、ＥＶ＋露光で捕捉された画素データを明露光画素と呼ぶ場合がある。選択肢として、ＥＶ０露光を、同一画素のその他の露光次第で、明画素または暗画素と呼ぶ場合がある。したがって、図１０Ａ～図１０Ｂの文脈では、２つ以上の画素をブレンドまたは混合する動作は、２つ以上の露光でサンプリングされた画像センサの１つの画素から取得された画素データをブレンドまたは混合する動作であることが、理解されるはずである。

一実施形態においては、表面図１０００は、２つの画素についての２つの画素属性に基づいて、２つの画素についての混合値を決定するために式２に関連付けられた表面を示す。図示のとおり、表面図１０００は、ｘ軸１００２、ｙ軸１００４およびｚ軸１００６を有する単位立方体内に例示される。式２において記載されたように、変数「ｘ」は、第１の（たとえば、暗）画素についての属性に関連付けられ、変数「ｙ」は、第２の（たとえば、明）画素についての属性に関連付けられている。たとえば、各々の属性は、単位立方体のそれぞれのｘ軸およびｙ軸に沿って０～１にわたる範囲の輝度値を表わし得る。第１の画素についての属性が図６の画素属性６５６に対応し得るとともに、第２の画素についての属性が画素属性６５５に対応し得る。式２において記載されたように、変数「ｚ」は、ＨＤＲ画素６５９などのＨＤＲ画素を２つの画素から生成するための混合値６５８などの混合値に関連付けられている。０の混合値（たとえば、ｚ＝０）は、結果として、第１
の画素と実質的に同一のＨＤＲ画素をもたらし得るのに対して、１の混合値（たとえば、ｚ＝１）は、結果として、第２の画素と実質的に同一のＨＤＲ画素をもたらし得る。

図示のとおり、表面図１０００は、平坦領域１０１４、遷移領域１０１０および飽和領域１０１２を含む。遷移領域１０１０は、ｘしきい値未満のｘ値とｙしきい値未満のｙ値とに関連付けられている。遷移領域１０１０は、概して、対応して単調に増大するｘ値およびｙ値のための、単調に増大するｚ値を有するものとして特徴付けられる。平坦領域１０１４は、ｘしきい値よりも大きいｘ値に関連付けられている。平坦領域１０１４は、対応するｘ値およびｙ値とは無関係に実質的に一定のｚ値を有するものとして特徴付けられる。飽和領域１０１２は、ｘしきい値よりも小さくｙしきい値よりも大きいｘ値に関連付けられている。飽和領域１０１２は、対応するｘ値の関数であるとともにｙ値とは比較的無関係であるｚ値を有するものとして特徴付けられる。たとえば、ｘ＝ｘ１であれば、線１０１５は、遷移領域１０１０を通って単調に増加するｚを示し、さらに、飽和領域１０１２内において実質的に一定のままであるｚを示す。一実施形態においては、混合値表面６６４が、表面図１０００を実現する。別の実施形態においては、図７Ｂの非線形混合機能７３２が表面図１０００を実現する。さらに別の実施形態においては、図７Ｂの非線形混合機能７３４が表面図１０００を実現する。

図１０Ｂは別の実施形態に係る表面図１００８を示す。選択肢として、表面図１００８は、図のいずれかの詳細の文脈において実現され得る。しかしながら、当然、表面図１００８は所望の如何なる環境においても実現され得る。さらに、上述の定義は、以下の記載に同様に適用され得る。

一実施形態においては、表面図１００８は、図１０Ａの表面図１０００とは別個の図（たとえば、上から下へ見下ろす図など）を提示する。加えて、図１０Ａに関する説明は、図１０Ｂにも同様に適用され得る。

図１１Ａは別の実施形態に係る表面図１１００を示す。選択肢として、表面図１１００は、図のいずれかの詳細の文脈において実現され得る。しかしながら、当然、表面図１１００は所望の如何なる環境においても実現され得る。さらに、上述の定義は、以下の記載に同様に適用され得る。

一実施形態においては、表面図１１００は、２つの画素についての２つの画素属性に基づいて、２つの画素についての混合値を決定するための式３に関連付けられた表面を示している。式３において記載されたように、変数「ｘ」は、第１の（たとえば、暗）画素についての属性に関連付けられており、変数「ｙ」は、第２の（たとえば、明）画素についての属性に関連付けられている。平坦領域１１１４は、全般的な特徴が図１０Ａの平坦領域１０１４に対応していてもよい。遷移領域１１１０は、全般的な特徴が遷移領域１０１０に対応していてもよい。飽和領域１１１２は、全般的な特徴が飽和領域１０１２に対応していてもよい。表面図１１００の各々の領域は、全般的な特徴が、表面図１０００についての相似領域に対応しているとともに、対応する領域の寸法は、表面図１１００と表面図１０００との間で異なっている可能性がある。たとえば、表面図１１００に関連付けられたｘしきい値は、表面図１０００に関連付けられたｘしきい値よりも大きく、これにより、概してより小さな平坦領域１１１４が得られることとなる。図示のとおり、表面図１１００は、平坦領域１１１４、遷移領域１１１０および飽和領域１１１２を含み得る。

図１１Ｂは別の実施形態に係る表面図１１０２を示す。選択肢として、表面図１１０２は、図のいずれかの詳細の文脈において実現され得る。しかしながら、当然、表面図１１０２は所望の如何なる環境においても実現され得る。さらに、上述の定義は、以下の記載に同様に適用され得る。

一実施形態においては、表面図１１０２は、図１１Ａの表面図１１００とは別個の図（たとえば、上から下へ見下ろす図など）を提示する。加えて、さまざまな実施形態においては、図１１Ａおよび図１０Ａに関する説明は、図１１Ｂにも同様に適用され得る。

図１２は別の実施形態に従う画像合成動作１２００を示す。選択肢として、画像合成動作１２００は図面のうちのいずれの図面の文脈でも実現し得る。しかしながら、当然、画像合成動作１２００はいずれの所望の環境でも実現し得る。さらに、上述の定義は以下の説明に等しく適用され得る。

図示のとおり、画像合成動作１２００を含む画像ブレンド動作１２４０は、本発明の一実施形態に従って、画像スタック１２０２から合成画像１２５０を生成し得る。加えて、さまざまな実施形態においては、画像スタック１２０２は、高明度領域１２２０および低明度領域１２２２を含み得るシーンの画像１２１０、１２１２および１２１４を含み得る。このような実施形態においては、中間露光画像１２１２が全体的なシーン明度に従って露光され、これにより、シーン詳細を概ね取込む。

別の実施形態においては、中間露光画像１２１２はまた、場合によっては、高明度領域１２２０内における何らかの詳細と低明度領域１２２２内における何らかの詳細とを取込み得る。加えて、暗露光画像１２１０は、高明度領域１２２０内における画像詳細を取込むために、露光され得る。一実施形態においては、シーン内における高明度詳細を取込むために、画像１２１０が、中間露光画像１２１２からオフセットされた露光に従って露光され得る。

別個の実施形態においては、暗露光画像１２１０は、シーンにおいて最も明るい領域のうち１つ以上についての局所的な輝度条件に従って露光され得る。このような実施形態においては、暗露光画像１２１０は、全体的な明度がより低いシーンにおける他の領域を除外して、高明度領域１２２０に従って露光され得る。同様に、低明度領域１２２２内における画像詳細を取込むために、明露光画像１２１４が露光される。加えて、一実施形態においては、シーン内における低明度詳細を取込むために、明露光画像１２１４が、中間露光画像１２１２からオフセットされた露光に従って露光され得る。代替的には、明露光画像１２１４は、シーンの最も暗い領域のうち１つ以上の領域についての局所的な輝度条件に従って露光されてもよい。

図示のとおり、一実施形態においては、画像ブレンド動作１２４０は、画像スタック１２０２から合成画像１２５０を生成し得る。加えて、別の実施形態においては、合成画像１２５０は、高明度領域１２２０および低明度領域１２２２からの画像詳細だけでなく、全体的な画像詳細を含み得る。さらに、別の実施形態においては、画像ブレンド動作１２４０は、画像スタックをブレンドするための技術的に実現可能な如何なる動作も実現し得る。たとえば、一実施形態においては、画像ブレンド動作１２４０を実行するために、双方向フィルタリング、グローバルレンジの圧縮およびブレンド、ローカルレンジの圧縮およびブレンド、ならびに／または、１つ以上の画像をブレンドし得る他の任意の技術を含むがこれらに限定されない任意の高ダイナミックレンジ（ＨＤＲ）ブレンド技術が実現され得る。一実施形態においては、画像ブレンド動作１２４０は画素ブレンド動作１２４２を含む。画素ブレンド動作１２４２は、画像１２１０、１２１２および１２１４のうち少なくとも２つの画像から受取られた対応する画素についての値に基づいて、合成画像１２５０内の画素を生成し得る。一実施形態において、画素ブレンド動作１２４２は図７Ｂの画素ブレンド動作７３１を含む。さらに、画素ブレンド動作１２４２は、図５のブレンド回路５０１等のブレンド回路内で実現し得る。たとえば、合成画像１２５０は、画像の２つ以上の露光を含む受信画素ストリームに基づいて生成されたＨＤＲ画素ストリームの複
数のＨＤＲ画素を含み得る。

特定の実施形態において、画像１２１０、１２１２、１２１４のうちの少なくとも２つの画像を１つのアナログ画像から生成することにより、画像１２１０、１２１２、１２１４をブレンドする前に必要な如何なるアライメント処理も実質的に排除する。他の実施形態において、画像１２１０、１２１２、１２１４のうちの少なくとも２つの画像を、同時に捕捉またはサンプリングした２つ以上のアナログ画像から生成することにより、画像１２１０、１２１２、１２１４をブレンドする前に必要な如何なるアライメント処理も実質的に排除する。

さらに、さまざまな実施形態において、本明細書に開示された１つ以上の技術は、さまざまな市場および／または製品に適用することができる。たとえば、これらの技術は、スチール写真撮影に関して開示されているが、テレビ、ビデオ・キャプチャ、ウェブ会議（またはライブストリーミング能力）、セキュリティカメラ（たとえば、特徴を特定するためにコントラストを増加する）、自動車（たとえば、運転手支援システム、車載インフォテインメントシステムなど）、および／またはカメラ入力を含む任意の他の製品であってもよい。

上記でさまざまな実施形態を説明してきたが、これらの実施形態は、限定ではなく、単なる例示として提供されることを理解すべきである。したがって、好ましい実施形態の範囲は、上記の例示的な実施形態のいずれによっても限定されるべきではなく、添付の特許請求の範囲およびそれらの均等物によって規定されるべきである。

Claims (17)

1. 回路を備えた装置であって、前記回路は、
   画像センサの複数の画素のうちの１画素当たり少なくとも２つの露光を含む画素ストリームを受信するための回路であり、前記画素ストリームを受信することは、画素の第１の露光と前記画素の第２の露光とを受信することを含み、
   前記回路は、さらに、
   前記画素の前記第１の露光に固有の第１の画素属性を識別し、
   前記画素の前記第２の露光に固有の第２の画素属性を識別し、
   前記第１の画素属性の関数と前記第２の画素属性の関数との積を含む混合値関数に基づいてスカラーを識別し、
   前記スカラーに基づいて、前記画素の前記第１の露光および前記画素の前記第２の露光に対して高ダイナミックレンジ（ＨＤＲ）混合を実行することによって第１のＨＤＲ画素を生成し、
   少なくとも前記第１のＨＤＲ画素を含むＨＤＲ画素ストリームを生成し、
   前記ＨＤＲ画素ストリームを出力するための、回路である、装置。
2. 前記装置は、前記第１の画素属性が第１の輝度を含み、前記第２の画素属性が第２の輝度を含むように、動作可能である、請求項１に記載の装置。
3. 前記装置は、前記第１の画素属性が第１の彩度を含み、前記第２の画素属性が第２の彩度を含むように、動作可能である、請求項１または２に記載の装置。
4. 前記画素の前記第１の露光を第１の画素ストリームにおいて出力することをさらに含む、請求項１～３のいずれか１項に記載の装置。
5. 前記画素の前記第２の露光を第２の画素ストリームにおいて出力することをさらに含む、請求項１～４のいずれか１項に記載の装置。
6. 前記画素の前記第１の露光および前記画素の前記第２の露光を第３の画素ストリームにおいて出力することをさらに含む、請求項１～５のいずれか１項に記載の装置。
7. 前記画素の前記第１の露光は中間露光画素であり、前記画素の前記第２の露光は暗露光画素である、請求項１～６のいずれか１項に記載の装置。
8. 前記画素の前記第１の露光は中間露光画素であり、前記画素の前記第２の露光は明露光画素である、請求項１～６のいずれか１項に記載の装置。
9. 前記画素の前記第１の露光は暗露光画素であり、前記画素の前記第２の露光は明露光画素でサンプリングされる、請求項１～６のいずれか１項に記載の装置。
10. 前記ＨＤＲ画素ストリームは、エフェクト機能によって修正されて出力ＨＤＲ画像を生成する、請求項１～９のいずれか１項に記載の装置。
11. 前記エフェクト機能は、コントラストの修正、彩度の修正、およびノイズの修正のうちの少なくとも１つを実行する、請求項１０に記載の装置。
12. 前記ＨＤＲ混合は、ローカルレンジの圧縮およびグローバルレンジの圧縮のうちの少なくとも一方を含む、請求項１～１１のいずれか１項に記載の装置。
13. 前記ＨＤＲ混合は、双方向フィルタリングを含む、請求項１～１２のいずれか１項に記載の装置。
14. 前記ＨＤＲ画素ストリームは複数のＨＤＲ画素を含み、前記複数のＨＤＲ画素のうちの各ＨＤＲ画素はそれぞれ前記画像センサの異なる画素に関連付けられ、前記複数のＨＤＲ画素の各々は、前記少なくとも２つの露光に基づいて生成される、請求項１～１３のいずれか１項に記載の装置。
15. 前記画素ストリームおよび前記ＨＤＲ画素ストリームのうちの１つ以上はメモリ回路に格納される、請求項１～１４のいずれか１項に記載の装置。
16. 命令を含むコンピュータプログラムであって、前記命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに以下の動作を実行させ、前記動作は、
    画像センサの複数の画素のうちの１画素当たり少なくとも２つの露光を含む画素ストリームを受信することを含み、前記画素ストリームを受信することは、画素の第１の露光と前記画素の第２の露光とを受信することを含み、
    前記動作は、さらに、
    前記画素の前記第１の露光に固有の第１の画素属性を識別することと、
    前記画素の前記第２の露光に固有の第２の画素属性を識別することと、
    前記第１の画素属性の関数と前記第２の画素属性の関数との積を含む混合値関数に基づいてスカラーを識別することと、
    前記スカラーに基づいて、前記画素の前記第１の露光および前記画素の前記第２の露光に対して高ダイナミックレンジ（ＨＤＲ）混合を実行することによって第１のＨＤＲ画素を生成することと、
    少なくとも前記第１のＨＤＲ画素を含むＨＤＲ画素ストリームを生成することと、
    前記ＨＤＲ画素ストリームを出力することとを含む、コンピュータプログラム。
17. 方法であって、
    画像センサの複数の画素のうちの１画素当たり少なくとも２つの露光を含む画素ストリームを受信するステップを含み、前記画素ストリームを受信するステップは、画素の第１の露光と前記画素の第２の露光とを受信するステップを含み、
    前記方法は、さらに、
    前記画素の前記第１の露光に固有の第１の画素属性を識別するステップと、
    前記画素の前記第２の露光に固有の第２の画素属性を識別するステップと、
    前記第１の画素属性の関数と前記第２の画素属性の関数との積を含む混合値関数に基づいてスカラーを識別するステップと、
    前記スカラーに基づいて、前記画素の前記第１の露光および前記画素の前記第２の露光に対して高ダイナミックレンジ（ＨＤＲ）混合を実行することによって第１のＨＤＲ画素を生成するステップと、
    少なくとも前記第１のＨＤＲ画素を含むＨＤＲ画素ストリームを生成するステップと、
    前記ＨＤＲ画素ストリームを出力するステップとを含む、方法。

Images