JP7779020B2 - 画像処理装置および撮像素子 - Google Patents

Description

本発明は、画像処理装置および撮像素子に関する。

特許文献１には、実世界のシーンをハイダイナミックレンジ画像に再現するためのトーンマッピング技術が記載されている。
［先行技術文献］
［特許文献］
［非特許文献１］ Ｅｒｉｋ Ｒｅｉｎｈａｒｄ， ｅｔ ａｌ．， "Ｐｈｏｔｏｇｒａｐｈｉｃ Ｔｏｎｅ Ｒｅｐｒｏｄｕｃｔｉｏｎ ｆｏｒ Ｄｉｇｉｔａｌ Ｉｍａｇｅｓ"， ＳＩＧＧＲＡＰＨ '０２： Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２９ｔｈ ａｎｎｕａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ ａｎｄ ｉｎｔｅｒａｃｔｉｖｅ ｔｅｃｈｎｉｑｕｅｓ， Ｊｕｌｙ ２００２， ｐｐ． ２６７－２７６， ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．１１４５／５６６５７０．５６６５７５

本発明の第１の態様においては、画像処理装置を提供する。画像処理装置は、画素信号の入力輝度を出力輝度に変換する第１変換関数と、入力輝度を出力輝度と異なる出力輝度に変換する第２変換関数とを含む複数の変換関数を組み合わせた統合変換関数を生成し、統合変換関数を用いて画素信号の輝度を変換する信号処理部を備える。

本発明の第２の態様においては、画像処理装置を提供する。画像処理装置は、画素信号の入力輝度を出力輝度に変換する変換関数を用いて画素信号の輝度を変換する信号処理部を備え、変換関数は、３つ以上の変曲点を有する。

本発明の第３の態様においては、撮像素子を提供する。撮像素子は、入射光に応じて画素信号を出力する複数の画素と、画像処理のために必要な演算処理を画素信号に施す信号処理部とを備え、信号処理部は、入力輝度を出力輝度に変換する第１変換関数と、入力輝度を出力輝度と異なる出力輝度に変換する第２変換関数とを含む複数の変換関数を組み合わせた統合変換関数を生成し、統合変換関数を用いて画素信号の輝度を変換する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る撮像素子１００の断面図である。 撮像チップ１１３の画素配列およびブロック１３１を説明する図である。 撮像チップ１１３のブロック１３１に対応する回路図である。 撮像素子１００の機能的構成を示すブロック図である。 撮像素子１００の機能的構成を示すブロック図である。 本実施形態に係る撮像装置５００の構成を示すブロック図である。 変換関数の例を示す図である。 輝度変換の一例を示すフロー図である。 輝度のヒストグラムから基準輝度および帯域を決定するステップの一例を説明する図である。 従来技術に係る変換関数を用いて輝度が変換された撮影画像の一例を示す図である。 従来技術に係る変換関数を用いて輝度が変換された撮影画像の一例を示す図である。 本実施形態に係る統合変換関数を用いて輝度が変換された撮影画像の一例を示す図である。 特徴点を考慮して輝度が変換された画像の一例を示す図である。 サリエンシーマップの一例を示す図である。 輝度のヒストグラムから基準輝度および帯域を決定するステップの他の例を説明する図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る撮像素子１００の断面図である。撮像素子１００は、入射光に対応した画素信号を出力する撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有する接続部であるバンプ１０９により互いに電気的に接続される。

なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配された複数のＰＤ（フォトダイオード）１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が一つの画素を形成する。

カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。

配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。

配線層１０８の表面には接続部である複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて接合されることにより、撮像チップ１１３と信号処理チップ１１１とが電気的に接続される。

同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、接続部である複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて接合されることにより、信号処理チップ１１１とメモリチップ１１２とが電気的に接続される。

なお撮像素子１００は、撮像チップ１１３、信号処理チップ１１１及びメモリチップ１１２がチップ化される前のウエハの状態で接合を行い、接合されたウエハをダイシングすることにより形成される。

ウエハ同士を接合する際、活性化装置によりウエハの表面にプラズマを照射して、ウエハの接合面を活性化する。表面が活性化されたウエハは、接触により生じる水素結合、ファンデルワールス結合、および、共有結合等により接合され、積層基板を形成する。二つのウエハが相互の接触により水素結合をしている場合は、積層基板を形成した後、アニール炉のような加熱装置に積層基板を搬入して加熱することにより、ウエハ間に共有結合を生じさせる。

尚、活性化とは、ウエハの接合面が他のウエハの接合面と接触した場合に、水素結合、ファンデルワールス結合、共有結合等を生じて、溶融することなく固相で接合される状態にすべく、少なくとも一方の基板の接合面を処理する場合を含む。すなわち、活性化とは、ウエハの表面にダングリングボンド（未結合手）を生じさせることによって、結合を形成しやすくすることを含む。

より具体的には、活性化装置では、例えば減圧雰囲気下において処理ガスである酸素ガスを励起してプラズマ化し、酸素イオンを二つの基板のそれぞれの接合面となる表面に照射する。例えば、ウエハがＳｉ上にＳｉＯ膜を形成した基板である場合には、この酸素イオンの照射によって、積層時に接合面となるウエハ表面におけるＳｉＯの結合が切断され、ＳｉおよびＯのダングリングボンドが形成される。ウエハの表面にこのようなダングリングボンドを形成することを活性化という場合がある。

ダングリングボンドが形成された状態の基板を、例えば大気に晒した場合、空気中の水分がダングリングボンドに結合して、基板表面が水酸基（ＯＨ基）で覆われる。基板の表面は、水分子と結合しやすい状態、すなわち親水化された状態となる。つまり、活性化により、結果として基板の表面が親水化された状態になる。また、固相の接合では、接合界面における、酸化物等の不純物の存在、接合界面の欠陥等が接合強度に影響する。よって、接合面の清浄化を活性化の一部と見做してもよい。

更に、ウエハの活性化は、図示しない装置を用いて、親水化されたウエハの接合面となる表面に純水等を塗布してもよい。これにより、ウエハの表面は、ＯＨ基が付着した状態、すなわちＯＨ基で終端された状態となる。

積層基板を加熱処理することにより、二つのウエハの接合面のそれぞれに設けられたバンプ１０９が互いに一体化されて、ウエハ間で電気的接続が形成される。バンプ１０９を、例えば、インジウム、錫－銀合金のように低温で溶融する材料で形成することにより、２００度以下の低い温度で積層基板をリフロー処理できる。または、バンプ１０９を銅のように導電性を有する金属で形成した場合、加熱処理によって膨張することによりウエハ間のバンプ１０９同士が圧接し、固相拡散により接合される。

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用しても良い。また、バンプ１０９は、例えば後述する一つの画素ブロックに対して一つ程度設ければ良い。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくても良い。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けても良い。

信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられて良い。また、ＴＳＶ１１０は、メモリチップ１１２に設けられた回路と撮像チップ１１３に設けられた回路とを電気的に接続するために用いられてもよい。

このように、撮像チップ１１３および信号処理チップ１１１は、それぞれの対向する面およびバンプ１０９により接合される。また信号処理チップ１１１およびメモリチップ１１２は、それぞれの対向する面で互いに接合されると共に、バンプ１０９および信号処理チップ１１１に設けられたＴＳＶ１１０で互いに接続される。尚、信号処理チップ１１１およびメモリチップ１１２を、それぞれの対向する面で互いに接合すると共に、バンプ１０９およびＴＳＶ１１０の少なくとも一方で互いに接続してもよい。

図２は、撮像チップ１１３の画素配列およびブロック１３１を説明する図である。特に、撮像チップ１１３を裏面側から観察した様子を示す。画素領域には２０００万個以上もの画素がマトリックス状に配列されている。これらの画素は、少なくとも二つの画素を含むブロックに分割される。本実施形態においては、隣接する４画素×４画素の１６画素が一つのブロックを形成する。図の格子線は、隣接する画素が集合的にブロック１３１を形成する概念を示す。

画素領域の部分拡大図に示すように、ブロック１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素は、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。

図３は、撮像チップ１１３のブロック１３１に対応する回路図である。図において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。

上述のように、ブロック１３１は、１６画素から形成される。それぞれの画素に対応する１６個のＰＤ１０４は、それぞれ転送トランジスタ３０２に接続され、各転送トランジスタ３０２の各ゲートには、転送パルスが供給されるＴＸ配線３０７に接続される。本実施形態において、ＴＸ配線３０７は、１６個の転送トランジスタ３０２に対して共通接続される。

各転送トランジスタ３０２のドレインは、対応する各リセットトランジスタ３０３のソースに接続されると共に、転送トランジスタ３０２のドレインとリセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤが増幅トランジスタ３０４のゲートに接続される。リセットトランジスタ３０３のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続され、そのゲートはリセットパルスが供給されるリセット配線３０６に接続される。本実施形態において、リセット配線３０６は、１６個のリセットトランジスタ３０３に対して共通接続される。

各々の増幅トランジスタ３０４のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続される。また、各々の増幅トランジスタ３０４のソースは、対応する各々の選択トランジスタ３０５のドレインに接続される。選択トランジスタの各ゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。本実施形態において、デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けても良いし、信号処理チップ１１１側に設けても良い。

ここで、画素の露光開始から露光終了後の画素信号出力までの流れを説明する。リセット配線３０６を通じてリセットパルスがリセットトランジスタ３０３に印加され、同時にＴＸ配線３０７を通じて転送パルスが転送トランジスタ３０２に印加されると、ＰＤ１０４およびフローティングディフュージョンＦＤの電位はリセットされ、露光を開始する。

ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、露光が終了する。露光終了までに蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から露光終了後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４および選択トランジスタ３０５を介して出力配線３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。

図示するように、本実施形態においては、ブロック１３１を形成する１６画素に対して、リセット配線３０６とＴＸ配線３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、１６画素全てに対して同時に印加される。したがって、ブロック１３１を形成する全ての画素は、同一のタイミングで露光を開始し、同一のタイミングで露光を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５に選択パルスが順次印加されて、選択的に出力配線３０９に出力される。

このようにブロック１３１を基準として回路を構成することにより、ブロック１３１ごとに露光時間を制御することができる。ブロックごとに露光時間を制御できるので、隣接するブロック１３１同士で、異なった露光時間による画素信号をそれぞれ出力させることができる。さらには、全てのブロック１３１について共通の露光時間を設定しておき、あるブロック１３１については、１回分の露光と画素信号出力を実行させ、隣接するブロック１３１については、２回分の露光と画素信号出力を繰り返させるといった制御もできる。後者のような、共通の単位時間による露光および画素信号出力の繰り返し制御を単位時間制御という。なお、単位時間制御を行う場合であって、露光の開始時点および終了時点を、全てのブロック１３１で同期させるのであれば、リセット配線３０６は、撮像チップ１１３上の全てのリセットトランジスタ３０３に対して共通接続されて良い。

図４は、撮像素子１００の機能的構成を示すブロック図である。ここでは特に、画素信号の流れを説明する。

アナログのマルチプレクサ４１１は、ブロック１３１を形成する１６個のＰＤ１０４を順番に選択して、それぞれの画素信号を出力配線３０９へ出力させる。マルチプレクサ４１１は、ＰＤ１０４と共に、撮像チップ１１３に形成される。

マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換は、入力されるアナログ画素信号を、１２ｂｉｔのデジタル画素信号に変換する。Ａ／Ｄ変換された画素信号は、同じく信号処理チップ１１１に形成された、演算回路４１５に引き渡される。演算回路４１５は、受け取った画素信号に、後段の画像処理のために必要な演算処理を施して、デマルチプレクサ４１３へ引き渡す。

デマルチプレクサ４１３は、受け取った画素信号をそれぞれの画素に対応する画素メモリ４１４に格納する。画素メモリ４１４のそれぞれは、演算処理を実行した後の画素信号を格納できる容量を有する。デマルチプレクサ４１３および画素メモリ４１４は、メモリチップ１１２に形成される。

演算回路４１５は、演算処理に用いる画素信号を、デマルチプレクサ４１３を介して画素メモリ４１４から読み出す。あるいは、外部からの引渡要求に従って、デマルチプレクサ４１３を介して画素メモリ４１４から読み出した画素信号を、後段の画像処理部に引き渡す。なお、演算回路４１５は、メモリチップ１１２に設けられても良い。

また、図では１ブロック分の画素信号の流れを示すが、実際にはこれらがブロックごとに存在して、並列で動作する。ただし、演算回路４１５はブロックごとに存在しなくても良く、例えば、一つの演算回路４１５がそれぞれのブロックに対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理しても良い。

図５は、撮像素子１００の機能的構成を示すブロック図である。ここでは主に信号処理チップ１１１の具体的構成と、信号処理チップ１１１に設けられた設定部４６０について説明する。

信号処理チップ１１１は、分担化された制御機能としてのセンサ制御部４４１、同期制御部４４３、信号制御部４４４と、これらの各制御部を統括制御する駆動制御部４２０とを含む。駆動制御部４２０は、撮像装置全体の統合制御を担うシステム制御部５０１からの指示を、各制御部が実行可能な制御信号に変換してそれぞれに引き渡す制御回路である。

センサ制御部４４１は、撮像チップ１１３へ送出する、各画素の電荷蓄積、電荷読み出しに関わる制御パルスの送出制御を担う。具体的には、センサ制御部４４１は、対象画素に対してリセットパルスおよび転送パルスを送出することにより、露光の開始および終了を制御し、読み出し画素に対して選択パルスを送出することにより、画素信号を出力配線３０９へ出力させる。

同期制御部４４３は、同期信号を撮像チップ１１３へ送出する。各パルスは、同期信号に同期して撮像チップ１１３においてアクティブとなる。例えば、同期信号を調整することにより、同一のブロック１３１に属する画素の特定画素のみを制御対象とするランダム制御、間引き制御等を実現する。

信号制御部４４４は、主にＡ／Ｄ変換器４１２ｂに対するタイミング制御を担う。出力配線３０９を介して出力された画素信号は、マルチプレクサ４１１を経てＣＤＳ回路４１２ａおよびＡ／Ｄ変換器４１２ｂに入力される。Ａ／Ｄ変換器４１２ｂは、信号制御部４４４によって制御されて、入力された画素信号をデジタル信号に変換する。デジタル信号に変換された画素信号は、演算回路４１５に引き渡され、演算処理が施される。演算処理が施された画素信号は、メモリチップ１１２のデマルチプレクサ４１３に引き渡され、そしてそれぞれの画素に対応する画素メモリ４１４にデジタルデータの画素値として格納される。

駆動制御部４２０は、ブロック１３１毎の露光条件に従って、センサ制御部４４１に制御信号を送出する。露光条件とは、取得する画像の明るさを変化させる条件で、例えば、露光時間、絞り値、ＩＳＯ感度等である。駆動制御部４２０は、システム制御部５０１から取得したシーンの輝度分布に応じて、ブロック１３１毎に露光条件を設定してもよく、あるいは、システム制御部５０１からブロック１３１毎の露光条件を取得してもよい。

駆動制御部４２０は、システム制御部５０１からの引渡要求に従って、対象画素信号を演算回路４１５およびデマルチプレクサ４１３を介して画素メモリ４１４から読み出し、システム制御部５０１の画像処理部５１１へ引き渡す。画素メモリ４１４には、引渡要求に従って画素信号を伝送するデータ転送インタフェースが設けられている。データ転送インタフェースは、画像処理部５１１と繋がるデータ転送ラインと接続されている。データ転送ラインは例えばバスラインのうちのデータバスによって構成される。この場合、システム制御部５０１から駆動制御部４２０への引渡要求は、アドレスバスを利用したアドレス指定によって実行される。

データ転送インタフェースによる画素信号の伝送は、アドレス指定方式に限らず、さまざまな方式を採用しうる。例えば、データ転送を行うときに、各回路の同期に用いられるクロック信号の立ち上がり・立ち下がりの両方を利用して処理を行うダブルデータレート方式を採用し得る。また、アドレス指定などの手順を一部省略することによってデータを一気に転送し、高速化を図るバースト転送方式を採用し得る。また、制御部、メモリ部、入出力部を並列に接続している回線を用いたバス方式、直列にデータを１ビットずつ転送するシリアル方式などを組み合わせて採用することもできる。

このように構成することにより、画像処理部５１１は、必要な画素信号に限って受け取ることができるので、特に低解像度の画像を形成する場合などにおいて、高速に画像処理を完了させることができる。

信号処理チップ１１１は、ブロック１３１毎に露光条件を設定する設定部４６０を更に含む。設定部４６０は、システム制御部５０１からシーンの輝度分布を取得し、輝度分布に応じて、ブロック１３１毎に露光条件を設定する。露光条件とは、取得する画像の明るさを変化させる条件で、例えば、露光時間、絞り値、ＩＳＯ感度等である。また設定部４６０は、それぞれのブロック１３１の露光時間に応じてシャッタの開閉タイミングを決定する。

設定部４６０が、各制御部を統括制御する駆動制御部４２０と同じ信号処理チップ１１１に設けられることにより、処理の高速化が実現される。また、設定部４６０を駆動制御部４２０と別個に設けるのではなく、駆動制御部４２０が設定部４６０の機能を担ってもよい。

また、設定部４６０は、信号処理チップ１１１ではなくメモリチップ１１２に設けられてもよい。設定部４６０がメモリチップ１１２に設けられた場合、バンプ１０９およびＴＳＶ１１０を介して伝送の高速化を図ることができる一方で、信号処理チップ１１１ではより広いスペースを確保することができる。

図６は、本実施形態に係る撮像装置５００の構成を示すブロック図である。撮像装置５００は、撮像素子１００、撮影レンズ５２０、システム制御部５０１、測光部５０３、ワークメモリ５０４、記録部５０５、および表示部５０６を主に備える。

測光部５０３は、画像データを生成する一連の撮影シーケンスに先立ち、シーンの輝度分布を検出する。測光部５０３は、例えば１００万画素程度のＡＥセンサを含む。

撮影レンズ５２０は、光軸Ｏに沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ５２０は、光学系の一例である。撮影レンズ５２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図６では、撮影レンズ５２０を瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮影レンズ５２０は、撮像装置５００に対して着脱できる交換式レンズであってもよい。

画像処理部５１１は、撮像素子１００の駆動制御部４２０から画素信号を受け取る。画像処理部５１１は、ワークメモリ５０４をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、画像処理部５１１は、撮像された複数の画像から特徴点を検出し、特徴点に基づいて複数の画像を合成して最終的な画像データを生成する。また、画像処理部５１１は、ＪＰＥＧファイル形式の画像データを生成する場合は、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。生成された画像データは、記録部５０５に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部５０６に表示される。なお、画像処理部５１１は、輝度の変換関数を生成する信号処理部の一例であり、システム制御部５０１とは独立したＡＳＩＣとして構成されても良く、メモリチップ１１２に設けられてもよい。

システム制御部５０１は、撮像装置全体の統合制御を担う。システム制御部５０１は、ユーザからの指示を受けて、撮像素子１００へ送信する撮像指示を生成する。また、システム制御部５０１の演算部５１２は、測光部５０３の出力を受けてシーンの領域ごとの輝度を算出する。演算部５１２は、上述した設定部４６０にシーンの輝度分布を出力する。また、演算部５１２は、撮像装置５００を動作させるための各種演算も実行する。

演算部５１２は、上述した設定部４６０の機能を担ってもよい。この場合、演算部５１２は、シーンの輝度分布に応じて、ブロック１３１毎に露光条件を設定する。また、演算部５１２は、それぞれのブロック１３１に設定された露光条件に応じて、シャッタの開閉タイミングを決定する。

図７は、変換関数の例を示す図である。図７を説明する前に、実世界のシーンの輝度を画像用の輝度に変換するトーンマッピング処理において用いられる変換関数について説明する。

変換関数は、基準輝度を基準として、入力輝度をより小さい出力輝度に変換する増加関数である。変換関数Ｇ（ｘ）は、シグモイド関数である。変換関数は、基準輝度と、画素が位置する領域における画素信号の平均輝度と、予め定められた明るさ調整パラメータとに基づいて、入力輝度を出力輝度に変換する。例えば、このような変換関数として、Ｒｅｉｎｈａｒｄの変換関数が知られている。

座標ｘにおける画素の基準輝度Ｌｍ（ｘ）は、上記の式で表される。基準輝度は、入力輝度Ｌｗ（ｘ）をスケーリングした輝度である。ここで、αは明るさ調整パラメータ、Ｌ_{ｗ，Ｇｌｏｂａｌ}は画像全体の平均輝度（全体平均輝度）である。明るさ調整パラメータαは、０＜α＜１の値であり、画像全体の明るさに応じて異なる値を設定することができる。例えば、画像を明るい階調で維持する場合には、明るさ調整パラメータαを０．１８から０．３６、０．７２と変化させ、画像を暗い階調で維持する場合には、明るさ調整パラメータαを０．１８から０．０９、０．０４５と変化させる。

出力輝度Ｌｄ（ｘ）は、以下の式で表される。

ここで、Ｌ_{ｍ，Ｌｏｃａｌ}（ｘ）は、画素が位置する領域における平均輝度（局所平均輝度）である。これらの式をまとめると、入力輝度を出力輝度に変換する変換関数は以下のとおりである。

ここで、Ｇ（ｘ）は変換関数、Ｘ（ｘ）はＲＧＢ値それぞれの入力輝度、Ｘ'（ｘ）はＲＧＢ値それぞれの出力輝度である。なお、変換関数Ｇ（ｘ）についてこれらの式をまとめると、以下のとおりである。

上記の式からわかるように、変換関数Ｇ（ｘ）は、全体平均輝度Ｌ_{ｗ，Ｇｌｏｂａｌ}、局所平均輝度および明るさ調整パラメータαによって決定される。ここで、全体平均輝度Ｌ_{ｗ，Ｇｌｏｂａｌ}および局所平均輝度は既定値であるため、変換結果の輝度帯域を調整するためのパラメータは、明るさ調整パラメータαのみであることがわかる。

次に、図７を参照し、入力輝度Ｌｗを出力輝度Ｌｄに変換する変換関数ｓ１、ｓ２、ｓ３およびｓ１２３を説明する。横軸は入力輝度Ｌｗの輝度、縦軸は出力輝度Ｌｄの輝度を示す。変換関数ｓ１、ｓ２、ｓ３は、それぞれ、１つの基準輝度を基準として用いた関数であり、立ち上がりの前後に２つの変曲点を有するＳ字カーブを描く。変換関数ｓ２は全体平均輝度を基準輝度として用いている。変換関数ｓ１およびｓ３は、それぞれ、全体平均輝度より低い輝度および高い輝度を基準輝度として用いており、全体平均輝度より暗い輝度帯域および明るい輝度帯域を重視している。

いずれの変換関数も、入力輝度Ｌｗが基準輝度を中心とした一定の範囲にある場合は、出力輝度Ｌｄが０～１の間で変化する増加関数として機能しているが、この範囲外では、出力輝度Ｌｄは０または１のいずれかの値に圧縮され、実質的に入力輝度Ｌｗが無視されている。図７に、変換関数ｓ２において入力輝度Ｌｗが無視される範囲を示す。

一方で、変換関数ｓ１２３は、下記の式に従って変換関数ｓ１、ｓ２、ｓ３を組み合わせた統合変換関数である。

Ｌｄ（ｘ）は、Ｎ個の変換関数を組み合わせた統合変換関数によって得られる出力輝度である。Ｌ_ｍ，ｎ（ｘ）はそれぞれの変換関数の基準輝度であり、ｎ＝１，…，Ｎ（ここでは変換関数ｓ１、ｓ２、ｓ３の３つを組み合わせるのでＮ＝３）である。Ｌ_{ｍ，Ｌｏｃａｌ，ｎ}（ｘ）は、それぞれの変換関数の局所平均輝度であり、
である。ｋ_ｎは、変換関数の組み合わせ比率であり、
である。

図７に示すように、変換関数ｓ１２３は、基準輝度の異なる複数の変換関数を組み合わせていることから、３つ以上の変曲点を有する。このような変換関数ｓ１２３によれば、より広い範囲の入力輝度Ｌｗが圧縮されることなく変換され、実世界のシーンの輝度分布をより正確に再現することができる。

図８は、輝度変換の一例を示すフロー図である。なお、図８の説明において、画像処理部５１１が各ステップの動作主体であるものとして説明するが、これに限定されない。他の例では、撮像素子１００の設定部４６０および演算回路４１５が各ステップの動作主体であってもよく、この場合、これらは一体的な機能ブロックとして信号処理部と称されてよい。

ここでは、Ｎ個の変換関数から統合変換関数を生成する例を説明する。ステップＳ１０２において、画像処理部５１１は、シーンの輝度分布に応じて、画像の全体平均輝度および局所平均輝度を算出する。ステップＳ１０４において、画像処理部５１１は、輝度ヒストグラムを取得する。輝度ヒストグラムは、対数ヒストグラムであってよい。

画像処理部５１１は、画素のブロック１３１毎に設定された露光条件に基づいて輝度ヒストグラムを取得してもよい。このように、ブロック１３１毎の露光条件を設定するために生成された輝度ヒストグラムを利用することにより、輝度の対数変換処理を省略することができる。

ステップＳ１０６において、画像処理部５１１は、Ｎ個の変換関数のそれぞれについて、基準輝度および帯域を決定する。Ｎ個の基準輝度は互いに異なり、例えば、輝度のヒストグラムから算出した全体平均輝度、全体平均輝度より高い輝度の平均輝度、全体平均輝度より低い輝度の平均輝度である。画像処理部５１１は、基準輝度の中間値が帯域の境界となるように、それぞれの帯域を決定してよい。

ステップＳ１０８において、画像処理部５１１は、Ｎ個の変換関数の組み合わせ比率を決定する。画像処理部５１１は、それぞれの変換関数の帯域幅に応じて、組み合わせ比率を決定してよい。

画像処理部５１１は、輝度のヒストグラムに応じて、Ｎ個の変換関数の組み合わせ比率を決定してもよい。 例えば、画像処理部５１１は、輝度の頻度に応じて重みづけ係数を算出し、帯域幅に応じて決定した組み合わせ比率に重みづけ係数を乗じて、組み合わせ比率を調整する。

ステップＳ１１０において、画像処理部５１１は、Ｎ個の変換関数を組み合わせて統合変換関数を生成する。統合変換関数を生成する式については図７に関連して説明したとおりであるので、ここでは説明を省略する。

ステップＳ１１２において、演算回路４１５は、画像処理部５１１が生成した統合変換関数を用いて画素信号の輝度を変換する。

図９は、輝度のヒストグラムから基準輝度および帯域を決定するステップの一例を説明する図である。図９は、図８で説明した輝度変換フローのステップＳ１０４～Ｓ１０８に対応しており、３個の変換関数１～３から統合変換関数を生成する例（Ｎ＝３）を説明する。

図９上段は、ステップＳ１０４で取得した輝度ヒストグラムを示す。ステップＳ１０６において、画像処理部５１１は、全体平均輝度、全体平均輝度より低い輝度の平均輝度および全体平均輝度より高い輝度の平均輝度を決定し、それぞれを変換関数１～３の基準輝度Ｌ_{ｗ，ｇｌｏｂａｌ，１}、Ｌ_{ｗ，ｇｌｏｂａｌ，２}およびＬ_{ｗ，ｇｌｏｂａｌ，３}に設定する。

次に、画像処理部５１１は、変換関数１の基準輝度Ｌ_{ｗ，ｇｌｏｂａｌ，１}および変換関数２の基準輝度Ｌ_{ｗ，ｇｌｏｂａｌ，２}の中間値Ｌ_{ｗ，ｍｅｄ１２}、変換関数１の基準輝度Ｌ_{ｗ，ｇｌｏｂａｌ，１}および変換関数３の基準輝度Ｌ_{ｗ，ｇｌｏｂａｌ，３}の中間値Ｌ_{ｗ，ｍｅｄ１３}を決定し、中間値Ｌ_{ｗ，ｍｅｄ１２}から中間値Ｌ_{ｗ，ｍｅｄ１３}の範囲を変換関数１の帯域１、最小入力輝度Ｌ_{ｗ，ｍｉｎ}から中間値Ｌ_{ｗ，ｍｅｄ１２}の範囲を変換関数２の帯域２、中間値Ｌ_{ｗ，ｍｅｄ１３}から最大入力輝度Ｌ_{ｗ，ｍｉｎ}の範囲を変換関数３の帯域３と決定する。

ステップＳ１０８において、画像処理部５１１は、帯域１～３の帯域幅の比率から、変換関数１～３の組み合わせ比率ｋ１～ｋ３を決定する。

図１０Ａおよび図１０Ｂは、従来技術に係る変換関数を用いて輝度が変換された撮影画像の一例を示す図である。図１０Ｃは、本実施形態に係る統合変換関数を用いて輝度が変換された撮影画像の一例を示す図である。いずれも、窓を通して室内から屋外の同じ景色を撮影した画像を示す。

図１０Ａおよび図１０Ｂは、１つの基準輝度を基準として用いた変換関数で輝度が変換された画像を示す。図１０Ａは暗領域重視で基準輝度が設定されており、屋外に対応する画素が白飛びしている。一方、図１０Ｂは明領域重視で基準輝度が設定されており、室内に対応する画素が黒潰れしている。

図１０Ｃは、全体平均輝度、全体平均輝度より低い輝度の平均輝度および全体平均輝度より高い輝度の平均輝度をそれぞれ基準輝度とする３個の変換関数を組み合わせた統合変換関数で輝度が変換された画像を示す。図１０Ｃに示すように、明領域の輝度が落ち、暗領域の輝度が持ち上がることによって、実際のシーンの輝度が局所的に損なわれることなく、画像全体において階調が良好に再現されている。

図１１Ａは、特徴点を考慮して輝度が変換された画像の一例を示す図である。図１１Ａは、夜間に高層ビルを室内から撮影した画像の画像処理結果を示す。人の視覚では、暗領域の中で、高層ビルを被写体の中心として認識する。画像処理部５１１は、画像の中から高層ビルに対応する画素を特徴点として抽出し、特徴点の輝度に応じて、変換関数の組み合わせ比率を決定する。画像処理部５１１は、統合変換関数の基礎となる複数の変換関数に、特徴点の輝度を基準輝度とする変換関数を含めてよい。あるいは、画像処理部５１１は、特徴点の輝度を含む帯域に対応する組み合わせ比率に高い重みづけ係数を乗じて、特徴点の輝度を重視した統合変換関数を生成してもよい。

図１１Ｂは、サリエンシーマップの一例を示す図である。サリエンシーマップは、画像の輝度、色、方位、方向等の特徴量をマッピングしたものであり、画像の中で人の目を引く特徴点を抽出するために用いられる。図１１Ｂは、図１１Ａのシーンに対応するサリエンシーマップを示す。

図１１Ｂでは、被写体の中心である高層ビルの中で照明が点灯している窓および最上階の航空障害灯、ならびに画像に映り込んだ撮影者近傍の窓枠に対応する領域が明るい色で浮かび上がっており、シーンの中で人の目を引く特徴点であることが示されている。このように、輝度以外の要素をさらに考慮することにより、シーンの輝度を自然に再現することができる。

図１２は、輝度のヒストグラムから基準輝度および帯域を決定するステップの他の例を説明する図である。図１２は、図９と同様に、図８で説明した輝度変換フローのステップＳ１０４～Ｓ１０８に対応する。ここでは、図９と共通する部分については説明を省略する。

図１２では、図９と同じ３個の変換関数１～３に加え、特異輝度を基準輝度とする変換関数４を含む４個の変換関数から統合変換関数を生成する（Ｎ＝４）。ステップＳ１０６において、画像処理部５１１は、輝度ヒストグラムから、特異輝度を抽出する。特異輝度は、例えば、輝度分布から逸脱しているが、有意な頻度で検出された輝度である画像処理部５１１は、抽出した特異輝度を変換関数４の基準輝度Ｌ_{ｗ，ｇｌｏｂａｌ，４}に設定する。帯域および組み合わせ比率の決定については説明を省略する。

次に、画像処理部５１１は、変換関数１の基準輝度Ｌ_{ｗ，ｇｌｏｂａｌ，１}および変換関数２の基準輝度Ｌ_{ｗ，ｇｌｏｂａｌ，２}の中間値Ｌ_{ｗ，ｍｅｄ１２}、変換関数１の基準輝度Ｌ_{ｗ，ｇｌｏｂａｌ，１}および変換関数３の基準輝度Ｌ_{ｗ，ｇｌｏｂａｌ，３}の中間値Ｌ_{ｗ，ｍｅｄ１３}を決定し、中間値Ｌ_{ｗ，ｍｅｄ１２}から中間値Ｌ_{ｗ，ｍｅｄ１３}の範囲を変換関数１の帯域１、最小入力輝度Ｌ_{ｗ，ｍｉｎ}から中間値Ｌ_{ｗ，ｍｅｄ１２}の範囲を変換関数２の帯域２、中間値Ｌ_{ｗ，ｍｅｄ１３}から最大入力輝度Ｌ_{ｗ，ｍｉｎ}の範囲を変換関数３の帯域３と決定する。画像処理部５１１は、統合変換関数の基礎となる複数の変換関数に、特異輝度を基準輝度とする変換関数を含む４個の変換関数から統合変換関数を生成する。

このように、例えば、図１１Ａのような高層ビルにおいて、最上階の航空障害灯のように、暗領域中心のシーンに顕著に高い輝度の点が含まれる場合であっても、特異輝度を考慮した統合変換関数を用いて輝度変換を行うことにより、シーンの輝度を正確に再現することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ パッシベーション膜、１０４ ＰＤ、１０５ トランジスタ、１０６ ＰＤ層、１０７ 配線、１０８ 配線層、１０９ バンプ、１１０ ＴＳＶ、１１１ 信号処理チップ、１１２ メモリチップ、１１３ 撮像チップ、１３１ ブロック、３０２ 転送トランジスタ、３０３ リセットトランジスタ、３０４ 増幅トランジスタ、３０５ 選択トランジスタ、３０６ リセット配線、３０７ ＴＸ配線、３０８ デコーダ配線、３０９ 出力配線、３１０ Ｖｄｄ配線、３１１ 負荷電流源、４１１ マルチプレクサ、４１２ 信号処理回路、４１３ デマルチプレクサ、４１４ 画素メモリ、４１５ 演算回路、４２０ 駆動制御部、４４１ センサ制御部、４４３ 同期制御部、４４４ 信号制御部、４６０ 設定部、５００ 撮像装置、５０１ システム制御部、５０３ 測光部、５０４ ワークメモリ、５０５ 記録部、５０６ 表示部、５１１ 画像処理部、５１２ 演算部、５２０ 撮影レンズ

Claims (9)

1. 画素信号の入力輝度を出力輝度に変換する第１変換関数と、前記入力輝度を前記出力輝度と異なる出力輝度に変換する第２変換関数とを含む複数の変換関数を組み合わせた統合変換関数を生成し、前記統合変換関数を用いて前記画素信号の輝度を変換する信号処理部を備え、
   前記第１変換関数は、第１輝度を基準輝度として入力輝度を出力輝度に変換し、
   前記第２変換関数は、前記第１輝度と異なる第２輝度を基準輝度として入力輝度を出力輝度に変換し、
   前記信号処理部は、前記画素信号の輝度分布における、前記第１輝度を含む第１帯域および前記第２輝度を含む第２帯域の帯域幅に応じて、前記複数の変換関数の組み合わせ比率を決定する
   画像処理装置。
2. 前記信号処理部は、前記画素信号の輝度のヒストグラムに応じて、前記複数の変換関数の組み合わせ比率を決定する
   請求項１に記載の画像処理装置。
3. 前記信号処理部は、前記画素信号における特徴点を抽出し、前記特徴点の輝度に応じて、前記複数の変換関数の組み合わせ比率を決定する
   請求項１または２に記載の画像処理装置。
4. 前記信号処理部は、前記画素信号の輝度のヒストグラムから算出した平均輝度を前記第１輝度に設定する
   請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記複数の変換関数は、前記第１輝度および前記第２輝度と異なる第３輝度を基準輝度として入力輝度を出力輝度に変換する第３変換関数をさらに含み、
   前記信号処理部は、前記第１輝度より高い輝度の画素信号の平均輝度を前記第２輝度に設定し、前記第１輝度より低い輝度の画素信号の平均輝度を前記第３輝度に設定する
   請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記信号処理部は、前記画素信号の輝度分布から特異輝度を抽出し、
   前記複数の変換関数は、前記特異輝度を基準輝度とする変換関数をさらに含む
   請求項１から５のいずれか一項に記載の画像処理装置。
7. それぞれの変換関数は増加関数である
   請求項１から６のいずれか一項に記載の画像処理装置。
8. それぞれの変換関数はシグモイド関数である
   請求項７に記載の画像処理装置。
9. それぞれの変換関数は、基準輝度と、撮像領域毎の画素信号の平均輝度と、予め定められた明るさ調整パラメータとに基づいて、入力輝度を出力輝度に変換する
   請求項８に記載の画像処理装置。