JP7714640B2 - 撮像装置及び固定撮像素子 - Google Patents

Description

本発明は、受光素子アレイを備える撮像装置及び固体撮像素子に関するものである。

従来から、デジタルカメラ等の撮像装置に用いられるＣＭＯＳ等の固体撮像素子として、特許文献１（日本国特開２０２２－１６４３８７号公報）に記載の固体撮像素子が知られている。

この固体撮像素子５００は、図１１に示すように、光電変換素子を含む受光素子５０２がアレイ状に２次元配列され、画素駆動配線５０３及び垂直信号線５０４と接続している受光素子アレイ５０１を有すると共に、周辺回路として、列並列信号処理回路５０５、出力回路５０６、タイミング制御回路５０７、水平走査回路５０８、垂直走査回路５０９等を有する。

この固体撮像素子５００では、該固体撮像素子５００を備えた撮像装置（デジタルカメラ等）での撮像時において受光素子アレイ５０１が露光したときに、該受光素子アレイ５０１を構成する複数の受光素子５０２のそれぞれから出力された信号が垂直信号線５０４、列並列信号処理回路５０５、出力回路５０６等を通じて外部に出力される。

近年、固体撮像素子５００や固体撮像素子５００を備えた撮像装置の省電力化が求められているが、この固体撮像素子５００や前記撮像装置では、受光素子アレイ５０１に含まれる複数の受光素子５０２のそれぞれから出力される信号が全て外部に出力される構成（いわゆる全量読み出しの構成）であるため固体撮像素子５００内や外部に出力される信号量が多く、固体撮像素子５００では前記信号量に応じた消費電力が必要になるため、上記の固体撮像素子５００や、この固体撮像素子５００を備えた撮像装置において省電力化が十分ではなかった。

日本国特開２０２２－１６４３８７号公報

そこで、本発明は、消費電力を抑えることができる撮像装置及び固体撮像素子を提供することを課題とする。

本発明に係る撮像装置は、
複数の受光素子をそれぞれ有する複数の受光素子グループを備える受光素子アレイと、
前記受光素子グループの複数の受光素子から出力される信号を圧縮した圧縮信号を受光素子グループ毎にそれぞれ生成する圧縮部と、を備える。

また、前記撮像装置は、
前記受光素子アレイと前記圧縮部とを有する固体撮像素子を備えてもよい。

また、前記撮像装置において、
前記受光素子グループでは、前記受光素子アレイが露光したときに該受光素子グループの少なくとも一つの受光素子の露光量が該受光素子グループの他の受光素子の露光量と異なってもよい。

また、前記撮像装置では、
前記受光素子グループにおいて、前記露光量の違いは、各受光素子の露光時間の違いによって生じてもよい。

また、前記撮像装置では、
前記圧縮信号は、前記受光素子グループの各受光素子から出力される信号に含まれる信号値の重み平均値又は平均値を含んでもよい。

また、前記撮像装置は、
前記圧縮部により生成された前記圧縮信号を、出力画像における該圧縮信号と対応する画素の画素信号に再構築する再構築処理部を備えてもよい。

また、前記撮像装置では、
前記再構築処理部は、前記圧縮信号に含まれている圧縮前の情報に基づいて該圧縮信号を前記画素信号に再構築してもよい。

また、前記撮像装置では、
前記受光素子グループの各受光素子は、光電変換素子をそれぞれ有し、
前記再構築処理部は、前記受光素子アレイが露光したときに前記受光素子グループにおいて前記光電変換素子がオーバーフローした受光素子とオーバーフローしなかった受光素子とがあったときに、前記各受光素子の光電変換素子が前記露光によってオーバーフローしない容量であった場合に取得できる信号値の予想値を演算によって求めることで前記圧縮信号を前記画素信号に再構築してもよい。

また、前記撮像装置では、
前記受光素子グループに含まれる複数の受光素子は、基準となる受光素子である基準受光素子と、前記基準受光素子以外の非基準受光素子と、を有し、
前記圧縮部は、前記基準受光素子から出力される信号に含まれる信号値である基準信号値と、前記非基準受光素子から出力される信号に含まれる信号値である非基準信号値と、の差に基づいて前記圧縮信号を生成してもよい。

また、前記撮像装置において、
前記圧縮部は、前記受光素子グループの前記非基準受光素子から出力される信号に含まれる前記非基準信号値において、
前記基準信号値との差が所定の閾値未満になる非基準信号値しかないときは、該受光素子グループの各受光素子から出力される信号値の重み平均値又は平均値を含む前記圧縮信号を生成し、
前記基準信号値との差が前記所定の閾値未満になる非基準信号値である第一信号値と、前記基準信号値との差が前記所定の閾値以上になる非基準信号値である第二信号値と、があるときは、前記各受光素子から出力される信号のうち前記第二信号値と対応する信号を削除すると共に、前記第一信号値又は前記第二信号値を出力した非基準受光素子の前記基準受光素子に対する位置情報を該基準受光素子が出力する信号に付加することで前記圧縮信号を生成してもよい。

また、前記撮像装置において、
前記圧縮部は、前記受光素子グループの前記非基準受光素子から出力される信号に含まれる前記非基準信号値において、
前記基準信号値との差が所定の閾値未満になる非基準信号値しかないときは、該受光素子グループの各受光素子から出力される信号値の重み平均値又は平均値を含む前記圧縮信号を生成し、
前記基準信号値との差が前記所定の閾値未満になる非基準信号値である第一信号値と、前記基準信号値との差が前記所定の閾値以上になる非基準信号値である第二信号値と、があるときは、前記基準信号値と前記第一信号値との重み平均値又は平均値と、前記第一信号値又は前記第二信号値を出力した非基準受光素子の前記基準受光素子に対する位置情報と、を含む前記圧縮信号を生成してもよい。

また、本発明に係る固体撮像素子は、
複数の受光素子をそれぞれ有する複数の受光素子グループを備える受光素子アレイと、
前記受光素子グループの複数の受光素子から出力される信号を圧縮した圧縮信号を受光素子グループ毎にそれぞれ生成する圧縮部と、を備える。

図１は、第一実施形態に係る撮像装置の機能ブロック図である。 図２は、前記撮像装置が備える固体撮像素子の構成を示す図である。 図３は、前記固体撮像素子が有する受光素子グループの構成を示す図である。 図４は、前記受光素子グループのタイミングチャートである。 図５は、受光素子グループにおいて光電変換素子がオーバーフローした受光素子がないときの圧縮部での処理及び再構築処理部での処理を説明するための図である。 図６は、受光素子グループにおいて光電変換素子がオーバーフローした受光素子があるときの圧縮部での処理及び再構築処理部での処理を説明するための図である。 図７は、第二実施形態に係る固体撮像素子の構成を示す図である。 図８は、受光素子グループにおいて基準受光素子の画素値との差が所定の閾値未満となる画素値の非基準受光素子しかないときの圧縮部での処理及び再構築処理部での処理を説明するための図である。 図９は、受光素子グループにおいて基準受光素子の画素値との差が所定の閾値以上となる画素値の非基準受光素子があるときの圧縮部での処理及び再構築処理部での処理を説明するための図である。 図１０は、複数の受光素子グループを有する受光素子アレイに結像したときの圧縮部での処理及び再構築処理部での処理を示す図である。 図１１は、従来の固体撮像素子の構成を示す図である。

本実施形態に係る撮像装置は、
複数の受光素子をそれぞれ有する複数の受光素子グループを備える受光素子アレイと、
前記受光素子グループの複数の受光素子から出力される信号を圧縮した圧縮信号を受光素子グループ毎にそれぞれ生成する圧縮部と、を備える。

このように、圧縮部が受光素子グループ毎に圧縮信号を生成し、これら圧縮された各圧縮信号（即ち、信号量が抑えられた状態の信号）を出力することで、該圧縮部より下流側の構成において消費電力を抑えることができる。尚、本発明に係る圧縮部での信号の圧縮とは、各受光素子から出力された信号の単純な加算（画素加算等）により生成された信号より信号量がより小さな信号となるような処理である。

前記撮像装置は、
前記受光素子アレイと前記圧縮部とを有する固体撮像素子を備えてもよい。

また、前記撮像装置では、
前記受光素子グループでは、前記受光素子アレイが露光したときに該受光素子グループの少なくとも一つの受光素子の露光量が該受光素子グループの他の受光素子の露光量と異なってもよい。

かかる構成によれば、露光量の異なる受光素子から出力される各信号の情報を含めつつ信号量を抑えることができる。

この場合、
前記受光素子グループにおいて、前記露光量の違いは、各受光素子の露光時間の違いによって生じてもよい。

このように受光素子の露光時間を調整して受光素子グループ内における受光素子の露光量の違いを生じさせる構成とすることで、受光素子の露光量を制御によって変更することが可能となる。

また、前記撮像装置では、
前記圧縮信号は、前記受光素子グループの各受光素子から出力される信号に含まれる信号値の重み平均値又は平均値を含んでもよい。

また、前記撮像装置は、
前記圧縮部により生成された前記圧縮信号を、出力画像における該圧縮信号と対応する画素の画素信号に再構築する再構築処理部を備えてもよい。

かかる構成によれば、圧縮部の下流側において画素信号が再構築され、この画素信号が出力されることで、得られる画像の画質が向上する。

また、前記撮像装置では、
前記再構築処理部は、前記圧縮信号に含まれている圧縮前の情報に基づいて該圧縮信号を前記画素信号に再構築してもよい。

また、前記撮像装置では、
前記受光素子グループの各受光素子は、光電変換素子をそれぞれ有し、
前記再構築処理部は、前記受光素子アレイが露光したときに前記受光素子グループにおいて前記光電変換素子がオーバーフローした受光素子とオーバーフローしなかった受光素子とがあったときに、前記各受光素子の光電変換素子が前記露光によってオーバーフローしない容量であった場合に取得できる信号値の予想値を演算によって求めることで前記圧縮信号を前記画素信号に再構築してもよい。

かかる構成によれば、各受光素子によって規定されるダイナミックレンジより大きなダイナミックレンジの画像を得ることができる、即ち、ハイダイナミックレンジでの撮像が可能となる。

また、前記撮像装置では、
前記受光素子グループに含まれる複数の受光素子は、基準となる受光素子である基準受光素子と、前記基準受光素子以外の非基準受光素子と、を有し、
前記圧縮部は、前記基準受光素子から出力される信号に含まれる信号値である基準信号値と、前記非基準受光素子から出力される信号に含まれる信号値である非基準信号値と、の差に基づいて前記圧縮信号を生成してもよい。

このように、受光素子の位置毎の基準信号値と非基準信号値との差に基づいて信号を圧縮することで、再構築処理部において前記位置毎の信号量の差を再構築することができ、これにより、出力画像において解像度を確保することができる。

具体的には、
前記圧縮部は、前記受光素子グループの前記非基準受光素子から出力される信号に含まれる前記非基準信号値において、
前記基準信号値との差が所定の閾値未満になる非基準信号値しかないときは、該受光素子グループの各受光素子から出力される信号値の重み平均値又は平均値を含む前記圧縮信号を生成し、
前記基準信号値との差が前記所定の閾値未満になる非基準信号値である第一信号値と、前記基準信号値との差が前記所定の閾値以上になる非基準信号値である第二信号値と、があるときは、前記各受光素子から出力される信号のうち前記第二信号値と対応する信号を削除すると共に、前記第一信号値又は前記第二信号値を出力した非基準受光素子の前記基準受光素子に対する位置情報を該基準受光素子が出力する信号に付加することで前記圧縮信号を生成してもよい。

このように、基準受光素子から出力される信号と、これに付加される位置情報とによって圧縮信号を構成することで、受光素子グループの各受光素子から出力される信号を全て下流側の構成に出力する場合に比べて信号量を好適に抑えることができる。

また、前記圧縮部は、前記受光素子グループの前記非基準受光素子から出力される信号に含まれる前記非基準信号値において、
前記基準信号値との差が所定の閾値未満になる非基準信号値しかないときは、該受光素子グループの各受光素子から出力される信号値の重み平均値又は平均値を含む前記圧縮信号を生成し、
前記基準信号値との差が前記所定の閾値未満になる非基準信号値である第一信号値と、前記基準信号値との差が前記所定の閾値以上になる非基準信号値である第二信号値と、があるときは、前記基準信号値と前記第一信号値との重み平均値又は平均値と、前記第一信号値又は前記第二信号値を出力した非基準受光素子の前記基準受光素子に対する位置情報と、を含む前記圧縮信号を生成してもよい。

また、本実施形態に係る固体撮像素子は、
複数の受光素子をそれぞれ有する複数の受光素子グループを備える受光素子アレイと、
前記受光素子グループの複数の受光素子から出力される信号を圧縮した圧縮信号を受光素子グループ毎にそれぞれ生成する圧縮部と、を備える。

このように、圧縮部が受光素子グループ毎に圧縮信号を生成し、これら圧縮された各圧縮信号（即ち、信号量が抑えられた状態の信号）を出力することで、該圧縮部より下流側の構成において消費電力を抑えることができる。

以下、本発明の第一実施形態について、添付図面を参照しつつ説明する。

第一実施形態に係る撮像装置１００は、図１及び図２に示すように、複数の受光素子２１をそれぞれ有する複数の受光素子グループ２０を備える受光素子アレイ２と、受光素子グループ２０が有する複数の受光素子２１から出力される信号Ｓ１を圧縮した圧縮信号Ｓ２を受光素子グループ２０毎にそれぞれ生成する少なくとも一つの圧縮部１０と、を備える。本実施形態の撮像装置１００は、受光素子グループ２０の数と対応する数の圧縮部１０を備え、各圧縮部１０は、対応する受光素子グループ２０が有する複数の受光素子２１から出力される信号Ｓ１を圧縮した圧縮信号Ｓ２を受光素子グループ２０毎に生成する。この撮像装置１００は、デジタルカメラ、スマートフォン、タブレットデバイス等の対象物を撮像可能なものであり、本実施形態の撮像装置１００は、例えば、スマートフォンである。

具体的に、撮像装置１００は、図１に示すように、撮像部１０１と、制御部１０２と、を備える。本実施形態の撮像装置１００は、不揮発性メモリ１０３と、作業用メモリ１０４と、操作部１０５と、表示部１０６と、記録媒体１０７と、接続部１０８と、近距離無線通信部１０９と、公衆網接続部１１０と、マイク１１１と、スピーカ１１２と、も備える。

撮像部１０１は、制御部１０２の制御下において、撮像部１０１が有する光学系によって結像された対象物の像を電気信号に変換した後、ノイズ低減処理等を行い、デジタルデータを出力画像の画像データとして出力する。具体的に、撮像部１０１は、レンズ等の少なくとも一つの光学素子によって構成される光学系と、該光学系を通じて結像した対象物（撮像対象物）の像を電気信号に変換する（即ち、撮像する）固体撮像素子１と、を有する。

固体撮像素子１は、例えば、スマートフォン、デジタルカメラ等に組み込まれ、対象物を撮像するための素子であり、本実施形態の固体撮像素子１は、例えば、ＣＭＯＳイメージセンサーである。

具体的に、この固体撮像素子１は、図２に示すように、受光素子アレイ２と、受光素子アレイ２に接続される第一回路部３及び第二回路部４と、第二回路部４が接続される信号処理部５と、を有する。これら受光素子アレイ２、第一回路部３及び第二回路部４、信号処理部５は、同一の半導体基板上又は電気的に接続された複数の半導体基板上に配置されている。

受光素子アレイ２は、行列状に２次元配置される複数の受光素子グループ２０を有する。また、受光素子アレイ２は、行列状に配置された複数の受光素子グループ２０に対して、行毎に配置され且つそれぞれが行方向（図２における左右方向）に延びる複数の行信号線２５と、列毎に配置され且つそれぞれが列方向（図２における上下方向）に延びる複数の列信号線２６と、を有する。これら複数の行信号線２５のそれぞれは、第一回路部３に接続され、複数の列信号線２６のそれぞれは、第二回路部４に接続されている。

複数の受光素子グループ２０のそれぞれは、図３にも示すように、複数の受光素子（画素）２１を有する。本実施形態の受光素子グループ２０では、複数の受光素子２１は互いに隣接している。具体的に、受光素子グループ２０に含まれる複数の受光素子２１は、行列方向にそれぞれ隣接した状態で配置されている。本実施形態の各受光素子グループ２０は、二行二列に配置された（即ち、２×２配列の）四つの受光素子２１（第一受光素子２１ａ、第二受光素子２１ｂ、第三受光素子２１ｃ、第四受光素子２１ｄ）を有する。また、各受光素子グループ２０は、各受光素子２１ａ、２１ｂ、２１ｃ、２１ｄが接続されるアンプ２２も有する。

尚、図２において、受光素子アレイ２の構成を理解し易いように、行方向に隣り合う受光素子グループ２０同士の間と、列方向に隣り合う受光素子グループ２０同士の間とに、それぞれ間隔を設けた状態で複数の受光素子グループ２０を記載しているが、実際には、受光素子アレイ２において、行方向に隣り合う受光素子グループ２０同士が隣接し且つ列方向に隣り合う受光素子グループ２０同士が隣接した状態で複数の受光素子グループ２０が行列状に配置されている。

また、図３において、受光素子グループ２０の構成を理解し易いように、行方向に隣り合う受光素子２１同士の間と、列方向に隣り合う受光素子２１同士の間とに、それぞれ間隔を設けた状態で各受光素子２１ａ、２１ｂ、２１ｃ、２１ｄを記載しているが、実際には、受光素子グループ２０において、行方向に隣り合う受光素子２１同士が隣接し且つ列方向に隣り合う受光素子２１同士が隣接した状態で複数の受光素子２１が行列状に配置されている。

複数の受光素子２１のそれぞれは、入力した光（入射光）を光電変換して入力光量に応じた量の電荷を内部に蓄積し、この蓄積した電荷を電気信号として出力する。本実施形態の各受光素子２１から出力可能な信号（画素値）Ｓ１の範囲（シグナル・レンジ）は、０～５００である。また、各受光素子２１は、光電変換素子（本実施形態の例では、フォトダイオード）２１１をそれぞれ有している。

複数の行信号線２５のそれぞれは、接続された各受光素子グループ２０に対して、第一回路部３から出力されたリセット信号ＲＥＳ、第一～第四電荷転送信号ＴＸ１～ＴＸ４、及びセレクト信号ＳＥＬをそれぞれ送信する。

ここで、リセット信号ＲＥＳは、各受光素子２１ａ、２１ｂ、２２ｃ、２１ｄの電荷をリセットするための信号であり、第一電荷転送信号ＴＸ１は、第一受光素子２１ａをＯＮ・ＯＦＦするための信号であり、第二電荷転送信号ＴＸ２は、第二受光素子２１ｂをＯＮ・ＯＦＦするための信号であり、第三電荷転送信号ＴＸ３は、第三受光素子２１ｃをＯＮ・ＯＦＦするための信号であり、第四電荷転送信号ＴＸ４は、第四受光素子２１ｄをＯＮ・ＯＦＦするための信号である。

複数の列信号線２６のそれぞれは、対応する列の各受光素子グループ２０にそれぞれ接続され、前記各受光素子グループ２０から出力された圧縮信号Ｓ２を第二回路部４に送信する。

第一回路部３は、各受光素子グループ２０に対してリセット信号ＲＥＳ、第一～第四電荷転送信号ＴＸ１～ＴＸ４、及びセレクト信号ＳＥＬ等を出力することにより、受光素子アレイ２の制御、及び各受光素子２１から出力される信号Ｓ１ａ、Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄを受光素子グループ２０毎に圧縮するための制御等を行う。尚、以下では、受光素子グループ２０の各受光素子２１ａ、２１ｂ、２２ｃ、２１ｄから出力される信号Ｓ１ａ、Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄを単に信号Ｓ１と称することもある。

第二回路部４は、各受光素子グループ２０から圧縮信号Ｓ２の読み出しやノイズ除去、読み出された各圧縮信号Ｓ２のＡ／Ｄ(Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ)変換等の信号処理を行う。

信号処理部５は、第二回路部４から出力された各圧縮信号Ｓ２に対して各種の処理を行う部位であり、本実施形態の信号処理部５は、センサ内ＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）である。

以上のように構成される固体撮像素子１では、第一回路部３から各受光素子グループ２０に図４に示すような信号がそれぞれ送信されることにより、受光素子グループ２０の各受光素子２１ａ、２１ｂ、２１ｃ、２１ｄからそれぞれ出力される信号Ｓ１ａ、Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄを圧縮して圧縮信号Ｓ２を生成する。

具体的には、各受光素子グループ２０において、時刻ｔ１のときに、リセット信号がＯＮになると共にセレクト信号がＯＦＦになる。このとき、第一～第四電荷転送信号ＴＸ１～ＴＸ４がＯＮになり、各受光素子２１ａ、２１ｂ、２１ｃ、２１ｄの電荷がリセットされる。

続いて、時刻ｔ２において、第一電荷転送信号がＯＦＦとなり、所定間隔をあけて時刻ｔ３に第二電荷転送信号がＯＦＦとなり、時刻ｔ４に第三電荷転送信号がＯＦＦとなり、時刻ｔ５に第三電荷転送信号がＯＦＦになる。

このＯＦＦになる時間（露光時間）の違いにより、撮像装置１００における撮影時等において受光素子アレイ２が露光したときに、受光素子グループ２０の少なくとも一つの受光素子２１の露光量が該受光素子グループ２０の他の受光素子２１の露光量と異なった状態となる。本実施形態の撮像装置１００では、受光素子グループ２０における各受光素子２１ａ、２１ｂ、２１ｃ、２１ｄの露光量がそれぞれ異なる。

続いて、時刻ｔ６においてリセット信号がＯＮになると共にセレクト信号がＯＦＦになった後、時刻ｔ９においてリセット信号がＯＦＦになると共にセレクト信号がＯＮになる。

そして、時刻ｔ６から時刻ｔ９の間の時刻ｔ７、時刻ｔ８において、第一～第四電荷転送信号ＴＸ１～ＴＸ４が同時にＯＮ・ＯＦＦする。これにより、各受光素子２１ａ、２１ｂ、２１ｃ、２１ｄがＯＦＦになっている間（詳しくは、第一受光素子２１ａが第一蓄積時間Ｔ１（時刻ｔ２～時刻ｔ７）の間、第二受光素子２１ｂが第二蓄積時間Ｔ２（時刻ｔ３～時刻ｔ７）の間、第三受光素子２１ｃが第三蓄積時間Ｔ３（時刻ｔ４～時刻ｔ７）の間、第四受光素子２１ｄが第四蓄積時間Ｔ４（時刻ｔ５～時刻ｔ７）の間）に蓄積された電荷がこれら各受光素子２１ａ、２１ｂ、２１ｃ、２１ｄを含む受光素子グループ２０に接続されている列信号線２６に電気信号としてそれぞれ同時に出力され、これにより、各受光素子２１ａ、２１ｂ、２１ｃ、２１ｄからそれぞれ出力された信号Ｓ１ａ、Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄが圧縮されて圧縮信号Ｓ２となる。尚、本実施形態の撮像装置１００における各蓄積時間Ｔ１～Ｔ４の関係は、Ｔ２＝（３／４）Ｔ１、Ｔ３＝（２／４）Ｔ１、Ｔ４＝（１／４）Ｔ１である。

この受光素子グループ２０毎にそれぞれ生成される圧縮信号Ｓ２は、受光素子グループ２０の各受光素子２１ａ、２１ｂ、２１ｃ、２１ｄから出力される信号Ｓ１に含まれる画素値（信号値）の平均値を含む。

例えば、一つの受光素子グループ２０Ａに着目したときに、該受光素子グループ２０Ａの各受光素子２１ａ、２１ｂ、２１ｃ、２１ｄの露光量がシグナル・レンジ内の場合は、図５に示すように、第一受光素子２１ａから出力される信号Ｓ１ａに含まれる画素値が４００で、第二受光素子２１ｂから出力される信号Ｓ１ｂに含まれる画素値が３００で、第三受光素子２１ｃから出力される信号Ｓ１ｃに含まれる画素値が２００で、第四受光素子２１ｄから出力される信号Ｓ１ｄに含まれる画素値が１００のときに、当該受光素子グループ２０Ａから出力される圧縮信号Ｓ２に含まれる画素値（平均値）は、
（４００+３００+２００+１００）／４＝２５０
となる。尚、本実施形態において、「信号の平均値」とは、信号の重みなし加算値のことである。

また、受光素子グループ２０Ａの一部の受光素子２１ａ、２１ｂ、２１ｃ、２１ｄの露光量がシグナル・レンジを超えた場合は、例えば図６に示すように、第一受光素子２１ａから出力される信号Ｓ１ａに含まれる画素値が５００で、第二受光素子２１ｂから出力される信号Ｓ１ｂに含まれる画素値が５００で、第三受光素子２１ｃから出力される信号Ｓ１ｃに含まれる画素値が５００で、第四受光素子２１ｄから出力される信号Ｓ１ｄに含まれる画素値が３００のときに、当該受光素子グループ２０Ａから出力される圧縮信号Ｓ２に含まれる画素値（平均値）は、
（５００+５００+５００+３００）／４＝４５０
となる。

以上のように、本実施形態の固体撮像素子１においては、受光素子グループ２０が有する複数の受光素子２１ａ、２１ｂ、２１ｃ、２１ｄから出力される信号Ｓ１ａ、Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄを圧縮した圧縮信号Ｓ２を受光素子グループ２０毎にそれぞれ生成する上述の圧縮部１０は、受光素子グループ２０と該受光素子グループ２０を制御する第一回路部３とによって構成されている。即ち、本実施形態の固体撮像素子１は、複数（受光素子グループ２０の数と対応する数）の圧縮部１０を備えている。

制御部１０２は、入力された信号やプログラムに従って撮像装置１００の各部を制御する。この制御部１０２は、固体撮像素子１から出力された圧縮信号Ｓ２を画素信号Ｓ３に再構築する再構築処理部１０２Ａを有する。尚、制御部１０２が撮像装置１００の全体を制御する構成に限定されない。複数のハードウェアが処理を分担することにより撮像装置１００の全体を制御する構成でもよい。

再構築処理部１０２Ａは、固体撮像素子１から出力される圧縮信号（各受光素子グループ２０に対応する圧縮信号）Ｓ２を、該圧縮信号Ｓ２に含まれている圧縮前の情報に基づいて出力画像における該圧縮信号Ｓ２と対応する画素の画素信号Ｓ３に再構築する。

この再構築処理部１０２Ａを有する制御部１０２では、固体撮像素子１から出力される各圧縮信号Ｓ２が再構築されてそれぞれ画素信号Ｓ３が生成され、これにより、出力画像（画像データ）が生成される。制御部１０２は、この出力画像を表示部１０６を通じて外部に出力（表示等）する。

具体的に、再構築処理部１０２Ａは、受光素子アレイ２が露光したときに受光素子グループ２０の各光電変換素子２１１がオーバーフローしなかったときには、圧縮信号Ｓ２に含まれる画素値と各受光素子２１ａ、２１ｂ、２１ｃ、２１ｄの蓄積時間Ｔ１、Ｔ２、Ｔ３、Ｔ４とに基づいて圧縮信号Ｓ２を画素信号Ｓ３に再構築する。また、再構築処理部１０２Ａは、受光素子アレイ２が露光したときに受光素子グループ２０において光電変換素子２１１がオーバーフローした受光素子２１と光電変換素子２１１がオーバーフローしなかった受光素子２１とがあったときには、各受光素子２１の光電変換素子２１１が露光によってオーバーフローしない容量であった場合に取得できる画素値（信号値）の予想値を含むように圧縮信号Ｓ２を画素信号Ｓ３に再構築する。

より具体的に、再構築処理部１０２Ａは、例えば、図５に示すように、受光素子グループ２０Ａから出力された圧縮信号Ｓ２に含まれる画素値が２５０のときには、画素信号Ｓ３に含まれる画素値をｘとして、Ｔ４＝（１／４）Ｔ１、Ｔ３＝（２／４）Ｔ１、Ｔ２＝（３／４）Ｔ１より、下記の演算を行う。
｛ｘ＋（３／４）ｘ＋（２／４）ｘ＋（１／４）ｘ｝／４＝２５０
ｘ＝４００
そして、再構築処理部１０２Ａは、画素信号Ｓ３に含まれる画素値ｘが４００となるように、圧縮信号Ｓ２から画素信号Ｓ３を再構築する。

また、再構築処理部１０２Ａは、例えば、図６に示すように、受光素子グループ２０Ａから出力された圧縮信号Ｓ２に含まれる画素値が４５０のとき（即ち、受光素子グループ２０において光電変換素子２１１がオーバーフローした受光素子２１と光電変換素子２１１がオーバーフローしなかった受光素子２１とがあったとき）には、第四蓄積時間Ｔ４のときに受光素子２１ｄから得られる信号Ｓ１に含まれる画素値をｘ１として、下記の演算を行う。
（５００＋５００＋５００＋ｘ１）／４＝４５０
ｘ１＝３００
そして、第四蓄積時間Ｔ４のときに受光素子２１ｄから出力される信号Ｓ１ｄに含まれる画素値ｘ１が３００であることから、再構築処理部１０２Ａは、信号Ｓ１ｄ（画素値３００）を第一蓄積時間Ｔ１のときに受光素子２１ａから出力される信号Ｓ１ａ相当に換算する。具体的には、第一蓄積時間Ｔ１が第四蓄積時間Ｔ４の四倍であるため、３００×４＝１２００となり、これにより、画素信号Ｓ３に含まれる画素値（予想値）ｘ２が１２００となるように再構築処理部１０２Ａは画素信号Ｓ３を再構築する。

このように、本実施形態の撮像装置１００の再構築処理部１０２Ａによれば、受光素子グループ２０の各受光素子２１ａ、２１ｂ、２１ｃ、２１ｄがシグナル・レンジより大きな値（画素値）となるような光量の光が入射しても（即ち、受光素子グループ２０において光電変換素子２１１がオーバーフローする受光素子２１が有っても）、白飛びすることなく出力画像が生成される。即ち、本実施形態の撮像装置１００では、シグナル・レンジが０～２０００のＨｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ（ＨＤＲ）撮像が可能である。

不揮発性メモリ１０３は、電気的に消去・記録可能な不揮発性のメモリである。本実施形態の不揮発性メモリ１０３は、制御部１０２が実行する基本的なソフトウェアであるＯＳ（オペレーティングシステム）、及びこのＯＳと協働して応用的な機能を実現するアプリケーションを記録している。また、作業用メモリ１０４は、表示部１０６の画像表示用メモリ、及び制御部１０２の作業領域等として使用される。

操作部１０５は、撮像装置１００に対する指示をユーザ等が入力するために用いられる。本実施形態の操作部１０５は、撮像装置１００の電源のＯＮ／ＯＦＦを指示するための電源ボタン、及び表示部１０６に形成されるタッチパネル等を有する。

表示部１０６は、出力画像（画像データ）の表示、及び操作のための文字表示等を行う。

記録媒体１０７は、撮像部１０１から出力された画像データを記録する。

接続部１０８は、外部機器と接続するためのインターフェイスである。この接続部１０８を介して、撮像装置１００が外部機器とデータのやりとりを行う。

近距離無線通信部１０９は、近距離無線通信を行うための通信ユニットである。近距離無線通信部１０９は、無線通信のためのアンテナと無線信号を処理するための変復調回路や通信コントローラによって構成されている。

公衆網接続部１１０は、公衆無線通信を行うためのインターフェイスである。この公衆網接続部１１０を介して、撮像装置１００は、他の機器と通話のための通信を行う。このとき、制御部１０２は、マイク１１１及びスピーカ１１２を介して音声信号の入出力を行うことで前記通話を実現する。本実施形態の公衆網接続部１１０は、アンテナであり、このアンテナを介して制御部１０２が公衆網に接続する。

以上の撮像装置１００は、複数の受光素子２１をそれぞれ有する複数の受光素子グループ２０を備える受光素子アレイ２と、受光素子グループ２０の複数の受光素子２１から出力される信号Ｓ１を圧縮した圧縮信号Ｓ２を受光素子グループ２０毎にそれぞれ生成する圧縮部１０と、を備えている。このように、圧縮部１０が受光素子グループ２０毎に圧縮信号Ｓ２を生成し、これら圧縮された各圧縮信号（即ち、信号量が抑えられた状態の信号）Ｓ２を出力することで、該圧縮部１０より下流側の構成（本実施形態の例では、制御部１０２等）において消費電力が抑えられる。

また、本実施形態の撮像装置１００は、受光素子アレイ２と圧縮部１０とを有する固体撮像素子１を備えている。かかる構成によれば、固体撮像素子１において圧縮部１０が受光素子グループ２０毎に圧縮信号Ｓ２を生成し、これら圧縮された各圧縮信号（即ち、信号量が抑えられた状態の信号）Ｓ２を出力することで、固体撮像素子１（詳しくは、圧縮部１０）より下流側の構成において消費電力を抑えることができる。

また、本実施形態の撮像装置１００は、圧縮部１０により生成された圧縮信号Ｓ２を、該圧縮信号Ｓ２に含まれている圧縮前の情報に基づいて出力画像における該圧縮信号Ｓ２と対応する画素の画素信号Ｓ３に再構築する再構築処理部１０２Ａを備えている。このため、圧縮部１０の下流側において画素信号Ｓ３が再構築され、この画素信号Ｓ３が表示部１０６等に出力されることで該表示部１０６等に表示される画像（即ち、表示部１０６から得られる画像）の画質が向上する。

また、本実施形態の撮像装置１００において、受光素子グループ２０では、受光素子アレイ２が露光したときに該受光素子グループ２０の少なくとも一つの受光素子２１の露光量が該受光素子グループ２０の他の受光素子２１の露光量と異なる。かかる構成によれば、各圧縮信号Ｓ２において、露光量の異なる受光素子２１ａ、２１ｂ、２１ｃ、２１ｄから出力される各信号Ｓ１ａ、Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄの情報を含めつつ信号量を抑えることができる。

また、本実施形態の撮像装置１００では、受光素子グループ２０において、受光素子２１ａ、２１ｂ、２１ｃ、２１ｄ毎の露光量の違いは、各受光素子２１ａ、２１ｂ、２１ｃ、２１ｄの露光時間（電荷の蓄積時間）の違いによって生じている。このように受光素子２１ａ、２１ｂ、２１ｃ、２１ｄ毎の露光時間を調整して受光素子グループ２０内における受光素子２１ａ、２１ｂ、２１ｃ、２１ｄの露光量の違いを生じさせる構成とすることで、受光素子２１ａ、２１ｂ、２１ｃ、２１ｄの露光量を制御（本実施形態の例では、第一回路部３による制御）によって変更することが可能となる。

また、本実施形態の撮像装置１００では、各圧縮部１０は、受光素子グループ２０の各受光素子２１ａ、２１ｂ、２１ｃ、２１ｄから出力される信号Ｓ１ａ、Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄに含まれる画素値（信号値）の平均値を含む圧縮信号Ｓ２を対応する受光素子グループ２０毎にそれぞれ生成する。前記平均値の代わりに重み平均値が用いられてもよい。

また、本実施形態の撮像装置１００では、受光素子グループ２０の各受光素子２１は、光電変換素子２１１をそれぞれ有する。そして、再構築処理部１０２Ａは、受光素子アレイ２が露光したときに受光素子グループ２０において光電変換素子２１１がオーバーフローした受光素子２１とオーバーフローしなかった受光素子２１とがあったときに、各受光素子２１の光電変換素子２１１が露光によってオーバーフローしない容量であった場合に取得できる信号値の予想値を演算によって求めることで圧縮信号Ｓ２を画素信号Ｓ３に再構築する。これにより、各受光素子２１によって規定されるダイナミックレンジより大きなダイナミックレンジの出力画像（画像データ）を得ることができる、即ち、ハイダイナミックレンジでの撮像が可能となる。

また、本実施形態の撮像装置１００では、受光素子アレイ２がＮ個の受光素子２１を有していても、受光素子グループ２０がｍ個あるため、受光素子アレイ２から読み出される信号Ｓ２の数（又は回数）がＮ／ｍに抑えられる。尚、Ｎ＞ｍである。

これにより、受光素子アレイから各受光素子の信号がそれぞれ読み出される構成に比べ、受光素子アレイ２から読み出されるデータ量が抑えられる。その結果、固体撮像素子１から制御部１０２等へ転送されるデータ量が抑えられ、撮像装置１００において高い画質と低パワー、高フレームレートの両立が可能となる。

また、本実施形態の撮像装置１００では、デュアルコンバージョンゲイン（ＤＣＧ）のような複数回画素を読む動作を省略できるため、高い画質と低パワー、高フレームレートの両立が可能となる。

以上のような本実施形態の撮像装置１００では、受光素子グループ２０内の複数の受光素子２１ａ、２１ｂ、２１ｃ、２１ｄから出力される信号Ｓ１ａ、Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄが圧縮されて圧縮信号Ｓ２となり、この複数の受光素子２１ａ、２１ｂ、２１ｃ、２１ｄの信号Ｓ１ａ、Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄの情報を含む圧縮信号Ｓ２を、再構築処理部１０２Ａが撮像画像における一つの画素に対応する画素信号Ｓ３に再構築することで、撮像画像が生成される。即ち、本実施形態の撮像装置１００は、受光素子グループ２０の数に対応する画素数の出力画像を生成する。

次に、本発明の第二実施形態について、図７～図１０も参照しつつ説明するが、上記第一実施形態と同様の構成には同一符号を用い、第一実施形態と異なる構成について詳細に説明する。

第二実施形態に係る撮像装置１００は、図７に示すように、複数の受光素子２１をそれぞれ有する複数の受光素子グループ２０を備える受光素子アレイ２Ａと、受光素子グループ２０が有する複数の受光素子２１から出力される信号Ｓ１を圧縮した圧縮信号Ｓ２を受光素子グループ２０毎にそれぞれ生成する少なくとも一つの圧縮部１０Ａと、を備える。本実施形態の撮像装置１００は、一つの圧縮部１０Ａを備え、この一つの圧縮部１０Ａが、受光素子グループ２０が有する複数の受光素子２１から出力される信号Ｓ１を圧縮した圧縮信号Ｓ２を受光素子グループ２０毎に生成する。

具体的に、撮像装置１００は、撮像部１０１と、制御部１０２と、を備える。本実施形態の撮像装置１００も、第一実施形態と同様に、不揮発性メモリ１０３と、作業用メモリ１０４と、操作部１０５と、表示部１０６と、記録媒体１０７と、接続部１０８と、近距離無線通信部１０９と、公衆網接続部１１０と、マイク１１１と、スピーカ１１２と、を備える。

撮像部１０１は、少なくとも一つの光学素子によって構成される光学系と、該光学系を通じて結像した対象物（撮像対象物）の像を電気信号に変換する（即ち、撮像する）固体撮像素子１Ａと、を備える。

固体撮像素子１Ａは、複数の受光素子２１が行列状に配置される受光素子アレイ２Ａと、受光素子アレイ２Ａに接続される第一回路部３Ａ及び第二回路部４Ａと、第二回路部４Ａが接続される信号処理部５Ａと、を有する。

本実施形態の受光素子アレイ２Ａでは、複数の行信号線２５Ａが、行列状に配置された受光素子２１に対して行毎に配置され、複数の列信号線２６Ａが、行列状に配置された受光素子２１に対して列毎に配置されている。

第一回路部３Ａは、受光素子アレイ２の制御等を行い、第二回路部４Ａは、各受光素子２１からの信号Ｓ１の読み出しやノイズ除去、読み出された各信号Ｓ１のＡ／Ｄ変換等の信号処理を行う。

信号処理部５Ａは、第二回路部４から出力された圧縮信号Ｓ２に対して各種の処理が行われる部位であり、各受光素子２１から出力される信号Ｓ１を受光素子グループ２０毎に圧縮する信号処理（圧縮処理）等も行う。即ち、本実施形態の撮像装置１００では、信号処理部５Ａの少なくとも一部が圧縮部１０Ａを構成する。

この信号処理部５Ａは、受光素子グループ２０が有する複数の受光素子（本実施形態の例では、第一受光素子２１ａ、第二受光素子２１ｂ、第三受光素子２１ｃ、及び第四受光素子２１ｄ）において第一受光素子２１ａを基準となる基準受光素子とし、第二～第四受光素子２１ｂ～２１ｄを非基準受光素子としたときに（図１０参照）、基準受光素子２１ａから出力される信号Ｓ１ａに含まれる画素値（信号値）である基準信号値Ｓｖ１ａと、非基準受光素子２１ｂ、２１ｃ、２１ｄから出力される信号Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄに含まれる画素値（信号値）である非基準信号値Ｓｖ１ｂ、Ｓｖ１ｃ、Ｓｖ１ｄと、の差に基づいて圧縮信号Ｓ２を生成する。

本実施形態の固体撮像素子１Ａでは、一つの信号処理部５Ａ（圧縮部１０Ａ）が、受光素子アレイ２の有する各受光素子２１からの信号Ｓ１を処理する際に、隣接する複数の受光素子（本実施形態の例では、２×２の行列状に配置された受光素子）２１ａ、２１ｂ、２１ｃ、２１ｄを受光素子グループ２０として受光素子グループ２０毎に信号Ｓ１を処理して圧縮信号Ｓ２を生成し、この受光素子グループ２０毎に生成された圧縮信号Ｓ２を下流側の構成（制御部１０２等）に出力する。

詳しくは、信号処理部５Ａ（圧縮部１０Ａ）は、図８にも示すように、受光素子グループ２０の非基準受光素子２１ｂ、２１ｃ、２１ｄから出力される信号Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄに含まれる非基準信号値（画素値）Ｓｖ１ｂ、Ｓｖ１ｃ、Ｓｖ１ｄにおいて、基準受光素子２１ａから出力される信号Ｓ１ａに含まれる基準信号値（画素値）Ｓｖ１ａとの差が所定の閾値（本実施形態の例では、各受光素子２１のシグナル・レンジが０～５００の場合、画素値の差が２５～７５）未満になる非基準信号値（第一信号値）Ｓｖ１ｂ、Ｓｖ１ｃ、Ｓｖ１ｄしかないときは、該受光素子グループ２０の各受光素子２１ａ、２１ｂ、２１ｃ、２１ｄから出力される信号Ｓ１ａ、Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄに含まれる画素値Ｓｖ１ａ、Ｓｖ１ｂ、Ｓｖ１ｃ、Ｓｖ１ｄの平均値を含む圧縮信号Ｓ２を生成する（第一の圧縮処理）。尚、所定の閾値は、受光素子２１のシグナル・レンジのマックスの値の１０％程度を目安に設定される。また、本実施形態の信号処理部５Ａにおける第一の圧縮処理は、いわゆるビニング（ｂｉｎｎｉｎｇ）である。また、本実施形態の圧縮信号Ｓ２は、画素値Ｓｖ１ａ、Ｓｖ１ｂ、Ｓｖ１ｃ、Ｓｖ１ｄの平均値と、位置情報３ｂ１１１と、を有する。尚、本実施形態の信号処理部５Ａ（圧縮部１０）での第一の圧縮処理によって生成された圧縮信号Ｓ２の位置情報は、固定値（３ｂ１１１）である。

また、信号処理部５Ａ（圧縮部１０Ａ）は、図９にも示すように、基準信号値Ｓｖ１ａとの差が所定の閾値未満になる非基準信号値（第一信号値）Ｓｖ１ｃと、基準信号値Ｓｖ１ａとの差が所定の閾値以上になる非基準信号値（第二信号値）Ｓｖ１ｂ、Ｓｖ１ｄと、があるときは、各受光素子２１ａ、２１ｂ、２１ｃ、２１ｄから出力される信号のうち第二信号値Ｓｖ１ｂ、Ｓｖ１ｄと対応する信号Ｓ１ｂ、Ｓ１ｄを削除すると共に、該基準受光素子２１ａが出力する信号Ｓ１ａに含まれる画素値Ｓｖ１ａを該画素値Ｓｖ１ａと第一信号値Ｓｖ１ｃとの平均値（図９に示す例では、１００）とした上で、第一信号値Ｓｖ１ｃを含む信号Ｓ１ｃを出力した非基準受光素子２１ｃの基準受光素子２１ａに対する位置情報（図９に示す例では、圧縮信号Ｓ２の符号３ｂ０１０）を付加することにより、圧縮信号Ｓ２を生成する（第二の圧縮処理）。

尚、第二の圧縮処理の位置情報（図９における圧縮信号Ｓ２の符号３ｂ０１０）において、実際の位置情報は、３ｂｉｔのデータであり、図９に示す例では「０１０」である。この三桁の数字において一つ目の数字（最も左の数字）が基準受光素子（第一受光素子）２１ａに対する第二受光素子２１ｂの位置を示し、二つ目の数字が基準受光素子２１ａに対する第三受光素子２１ｃの位置を示し、三つ目の数字が基準受光素子２１ａに対する第四受光素子２１ｄの位置を示す。そして、各位置に対応する受光素子２１ｂ、２１ｃ、２１ｄからの信号Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄに含まれる画素値が第一信号値のときに１となり、第二信号値のときに０となる。

制御部１０２は、再構築処理部１０２Ｂを有し、この再構築処理部１０２Ｂは、固体撮像素子１Ａから出力される圧縮信号Ｓ２から、該圧縮信号Ｓ２と対応する受光素子グループ２０の各受光素子２１ａ、２１ｂ、２１ｃ、２１ｄに対応する画素の画素信号Ｓ３ａ、Ｓ３ｂ、Ｓ３ｃ、Ｓ３ｄをそれぞれ再構築する。

具体的に、再構築処理部１０２Ｂは、第一の圧縮処理によって生成された圧縮信号Ｓ２（画素値４、位置情報３ｂ１１１：図８参照）を、例えば、以下のようにして再構築する。

図１０の受光素子アレイ２Ａにおける右上の受光素子グループ２０から出力された圧縮信号Ｓ２に対し、再構築処理部１０２Ｂは、図８にも示すように、基準受光素子２１ａと対応する画素の画素信号Ｓ３ａの画素値を、圧縮信号Ｓ２の画素値４と同じとし、各非基準受光素子２１ｂ、２１ｃ、２１ｄと対応する画素の画素信号Ｓ３ｂ、Ｓ３ｃ、Ｓ３ｄの画素値を、それぞれ基準受光素子２１ａと対応する画素の画素信号Ｓ３ａの画素値４と同じとすることで、圧縮信号Ｓ２を各画素信号Ｓ３ａ、Ｓ３ｂ、Ｓ３ｃ、Ｓ３ｄに再構築する。

また、再構築処理部１０２Ｂは、第二の圧縮処理によって生成された圧縮信号Ｓ２（画素値１００、位置情報３ｂ０１０：図９参照）を、例えば、以下のようにして再構築する。

図１０の受光素子アレイ２における左上の受光素子グループ２０から出力された圧縮信号Ｓ２に対し、再構築処理部１０２Ｂは、図９にも示すように、基準受光素子２１ａと対応する画素の画素信号Ｓ３ａの画素値を、圧縮信号Ｓ２の画素値１００と同じとし、非基準受光素子２１ｂ、２１ｃ、２１ｄと対応する各画素のうち、位置情報（３ｂ０１０）において１となっている画素の画素信号Ｓ３ｃの画素値を、基準受光素子２１ａと対応する画素の画素値１００と同じとし、位置情報（３ｂ０１０）において０となっている画素の画素信号Ｓ３ｂ、Ｓ３ｄの画素値を、行方向に隣り合う画素（図１０に示す例では、右隣りの画素）の画素値４と同じとすることで、圧縮信号Ｓ２を各画素信号Ｓ３ａ、Ｓ３ｂ、Ｓ３ｃ、Ｓ３ｄに再構築する。尚、再構築処理部１０２Ｂは、位置情報（３ｂ０１０）において０となっている画素の画素信号Ｓ３ｂ、Ｓ３ｄの各画素値を、当該圧縮信号Ｓ２の画素値１００と、行方向に隣り合う受光素子グループ２０から出力された圧縮信号Ｓ２の画素値４と、の重み平均値又は平均値としてもよい。

以上の撮像装置１００では、図１０に示すように、露光時において受光素子アレイ２の左端部において縦線状の像（図１０において他の領域に対して白くなっている領域）が結像した場合、信号処理部５Ａ（圧縮部１０Ａ）は、受光素子アレイ２の右側において上下に並ぶ受光素子グループ２０に対して第一の圧縮処理をそれぞれ行い、受光素子アレイ２の左側において上下に並ぶ受光素子グループ２０に対して第二の圧縮処理を行それぞれ行う。このようにして受光素子グループ２０毎に生成された圧縮信号Ｓ２が固体撮像素子１Ａからそれぞれ出力される。

続いて、制御部１０２の再構築処理部１０２Ｂが、第一の圧縮処理によって生成された圧縮信号Ｓ２と、第二の圧縮処理によって生成された圧縮信号Ｓ２とを、それぞれ異なる方法によって再構築し（図８及び図９参照）、これにより、画像データとしてボケの少ない高解像画像が生成される。

本実施形態に係る撮像装置１００は、複数の受光素子２１をそれぞれ有する複数の受光素子グループ２０を備える受光素子アレイ２Ａと、受光素子グループ２０の複数の受光素子２１から出力される信号Ｓ１を圧縮した圧縮信号Ｓ２を受光素子グループ２０毎にそれぞれ生成する信号処理部５Ａ（圧縮部１０Ａ）と、を備える。このように、信号処理部５Ａが受光素子グループ２０毎に圧縮信号Ｓ２を生成し、これら圧縮された各圧縮信号（即ち、信号量が抑えられた状態の信号）Ｓ２を出力することで、該信号処理部５Ａより下流側の構成において消費電力が抑えられる。

また、本実施形態の撮像装置１００では、受光素子グループ２０に含まれる複数の受光素子２１は、基準となる受光素子２１である基準受光素子２１ａと、基準受光素子２１ａ以外の非基準受光素子２１ｂ、２１ｃ、２１ｄと、を有する。そして、信号処理部５Ａ（圧縮部１０Ａ）は、基準受光素子２１ａから出力される信号Ｓ１ａに含まれる画素値（信号値）である基準信号値Ｓｖ１ａと、非基準受光素子２１ｂ、２１ｃ、２１ｄから出力される信号Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄに含まれる画素値（信号値）である非基準信号値Ｓｖ１ｂ、Ｓｖ１ｃ、Ｓｖ１ｄと、の差に基づいて圧縮信号Ｓ２を生成する。

このように、基準受光素子２１ａに対する非基準受光素子２１ｂ、２１ｃ、２１ｄの位置毎の基準信号値（画素値）Ｓｖ１ａと非基準信号値（画素値）Ｓｖ１ｂ、Ｓｖ１ｃ、Ｓｖ１ｄとの差に基づいて各受光素子２１ａ、２１ｂ、２１ｃ、２１ｄから出力される信号Ｓ１ａ、Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄを圧縮することで、再構築処理部１０２Ｂにおいて前記位置毎の信号量の差を再構築することができ、これにより、出力画像において解像度を確保することができる。即ち、ボケの少ない高解像画像が得られる。

また、本実施形態の撮像装置１００では、信号処理部５Ａ（圧縮部１０Ａ）は、受光素子グループ２０の非基準受光素子２１ｂ、２１ｃ、２１ｄから出力される信号Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄに含まれる非基準信号値Ｓｖ１ｂ、Ｓｖ１ｃ、Ｓｖ１ｄにおいて、基準信号値Ｓｖ１ａとの差が所定の閾値未満になる非基準信号値Ｓｖ１ｂ、Ｓｖ１ｃ、Ｓｖ１ｄしかないときは、該受光素子グループ２０の各受光素子２１ａ、２１ｂ、２１ｃ、２１ｄから出力される信号Ｓ１ａ、Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄに含まれる画素値（信号値）Ｓｖ１ａ、Ｓｖ１ｂ、Ｓｖ１ｃ、Ｓｖ１ｄの平均値を含む圧縮信号Ｓ２を生成する。尚、前記平均値の代わりに重み平均値が用いられてもよい。

また、信号処理部５Ａ（圧縮部１０Ａ）は、基準信号値Ｓｖ１ａとの差が所定の閾値未満になる非基準信号値である第一信号値Ｓｖ１ｃと、基準信号値Ｓｖ１ａとの差が所定の閾値以上になる非基準信号値である第二信号値Ｓｖ１ｂ、Ｓｖ１ｄと、があるときは、各受光素子２１ａ、２１ｂ、２１ｃ、２１ｄから出力される信号Ｓ１ａ、Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄのうち第二信号値Ｓｖ１ｂ、Ｓｖ１ｄと対応する信号Ｓ１ｂ、Ｓ１ｄを削除すると共に、第一信号値Ｓｖ１ｃを出力した非基準受光素子２１ｃの基準受光素子２１ａに対する位置情報（本実施形態の例では、３ｂ０１０）を該基準受光素子２１ａが出力する信号Ｓ１ａに付加することで圧縮信号Ｓ２を生成する。

このように、基準受光素子２１ａから出力される信号Ｓ１ａ（詳しくは、信号Ｓ１ａに基づく信号）と、これに付加される位置情報（３ｂ０１０等）とによって圧縮信号Ｓ２を構成することで、受光素子グループ２０の各受光素子２１ａ、２１ｂ、２１ｃ、２１ｄから出力される信号Ｓ１ａ、Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄを全て下流側の構成に出力する場合に比べて信号量が好適に抑えられる。

また、本実施形態の撮像装置１００では、受光素子アレイ２がＮ個の受光素子２１を有していても、受光素子グループ２０がｍ個あるため、固体撮像素子１Ａから出力される信号Ｓ２の数（又は回数）がＮ／ｍに抑えられる。尚、Ｎ＞ｍである。

これにより、受光素子アレイの各受光素子から読み出された信号が固体撮像素子からそれぞれ出力される構成に比べ、固体撮像素子１Ａから出力される信号Ｓ２の信号量（データ量）が抑えられる。また、固体撮像素子１Ａより下流側の構成（再構築処理部１０２Ｂ等）においてｍ画素＋αの情報からＮ画素を再構築することで、撮像装置１００において高い画質と低パワー、高フレームレートの両立が可能となる。

以上のような本実施形態の撮像装置１００では、受光素子グループ２０内の複数の受光素子２１ａ、２１ｂ、２１ｃ、２１ｄから出力される信号Ｓ１ａ、Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄが圧縮されて圧縮信号Ｓ２となり、この圧縮信号Ｓ２を、再構築処理部１０２Ａが撮像画像における各受光素子２１ａ、２１ｂ、２１ｃ、２１ｄと対応する画素の画素信号Ｓ３ａ、Ｓ３ｂ、Ｓ３ｃ、Ｓ３ｄにそれぞれ再構築することで、撮像画像が生成される。即ち、本実施形態の撮像装置１００は、受光素子２１の数に対応する画素数の出力画像を生成する。

尚、本発明の撮像装置１００及び固体撮像素子１、１Ａは、上記第一及び第二実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、ある実施形態の構成に他の実施形態の構成を追加することができ、また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることができる。さらに、ある実施形態の構成の一部を削除することができる。

上記第一実施形態及び第二実施形態の受光素子グループ２０は、２×２配置の四つの受光素子２１ａ、２１ｂ、２１ｃ、２１ｄを有するが、この構成に限定されない。受光素子グループ２０は、複数（二つ以上）の受光素子２１を有していればよい。尚、受光素子グループ２０において、複数の受光素子２１は、２×２配置、３×３配置、４×４配置等のように行方向に並ぶ受光素子２１と列方向に並ぶ受光素子２１とが同じ数となるように（即ち、正方形の行列状に）配置されることが好ましい。

また、上記第二実施形態の受光素子グループ２０では、基準受光素子は、図８及び図９に示す行列状の配置（２×２配置）において１行１列目の位置（図８及び図９の例では左上の位置）に配置されているが、他の位置に配置されていてもよい。

また、上記第一及び第二実施形態の撮像装置１００では、固体撮像素子１、１Ａが圧縮部１０を有し、再構築処理部１０２Ａ、１０２Ｂが、固体撮像素子１、１Ａと異なる位置（制御部１０２）に配置されているが、この構成に限定されない。固体撮像素子１、１Ａが、圧縮部１０と再構築処理部１０２Ａ、１０２Ｂとの両構成を有していてもよい。

また、上記第一及び第二実施形態の各撮像装置１００では、圧縮信号Ｓ２に含まれる画素値（平均値）は、いわゆる単純平均によって導出された値であるが、この構成に限定されない。前記平均値（ｂｉｎｎｉｎｇ）は、重み平均によって導出された値であってもよい。

また、上記第二実施形態では、圧縮信号Ｓ２を生成する第二の圧縮処理での位置情報は、第一信号値を出力する受光素子２１ｂ、２１ｃ、２１ｄの基準受光素子２１ａに対する位置を示す信号であるが、この構成に限定されない。第二の圧縮処理での位置情報を、第二信号値を出力する受光素子２１ｂ、２１ｃ、２１ｄの基準受光素子２１ａに対する位置を示す信号とし、この位置情報から第一信号値を出力する受光素子の２１ｂ、２１ｃ、２１ｄの基準受光素子２１ａに対する位置を特定する構成でもよい。

また、上記第二実施形態では、信号処理部（圧縮部）５Ａは、受光素子グループ２０の非基準受光素子２１ｂ、２１ｃ、２１ｄから出力される信号に含まれる非基準信号値において、第一信号値と第二信号値とがあるときは、各受光素子２１ａ、２１ｂ、２１ｃ、２１ｄから出力される信号のうち第二信号値と対応する信号を削除すると共に、第一信号値又は第二信号値を出力した非基準受光素子２１ｂ、２１ｃ、２１ｄの基準受光素子２１ａに対する位置情報を該基準受光素子２１ａが出力する信号に付加することで圧縮信号Ｓ２を生成するが、この構成に限定されない。例えば、信号処理部（圧縮部）５Ａは、受光素子グループ２０の非基準受光素子２１ｂ、２１ｃ、２１ｄから出力される信号に含まれる非基準信号値において、第一信号値と第二信号値とがあるときは、基準信号値と第一信号値との重み平均値又は平均値と、第一信号値又は第二信号値を出力した非基準受光素子２１ｂ、２１ｃ、２１ｄの基準受光素子２１ａに対する位置情報と、を含む圧縮信号Ｓ２を生成する構成等でもよい。

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更及び／又は改良することは容易に成し得ることであると認識すべきである。従って、当業者が実施する変更形態又は改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態又は当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

１、１Ａ…固体撮像素子、２、２Ａ…受光素子アレイ、２０…受光素子グループ、２１…受光素子、２１ａ…第一受光素子、基準受光素子、２１ｂ…第二受光素子、非基準受光素子、２１ｃ …第三受光素子、非基準受光素子、２１ｄ…第四受光素子、非基準受光素子、２１１…光電変換素子、２２…アンプ、２５、２５Ａ…行信号線、２６、２６Ａ…列信号線、３、３Ａ…第一回路部、４、４Ａ…第二回路部、５…信号処理部、５Ａ…信号処理部（圧縮部）、１０、１０Ａ…圧縮部、１００…撮像装置、１０１…撮像部、１０２…制御部、１０２Ａ、１０２Ｂ…再構築処理部、１０３…不揮発性メモリ、１０４…作業用メモリ、１０５…操作部、１０６…表示部、１０７…記録媒体、１０８…接続部、１０９…近距離無線通信部、１１０…公衆網接続部、１１１…マイク、１１２…スピーカ、５００…固体撮像素子、５０１…受光素子アレイ、５０２…受光素子、５０３…画素駆動配線、５０４…垂直信号線、５０５…列並列信号処理回路、５０６…出力回路、５０７…タイミング制御回路、５０８…水平走査回路、５０９…垂直走査回路、ＲＥＳ…リセット信号、Ｓ１、Ｓ１ａ、Ｓ１ｂ、Ｓ１ｃ、Ｓ１ｄ…信号、Ｓ２…圧縮信号、Ｓ３、Ｓ３ａ、Ｓ３ｂ、Ｓ３ｃ、Ｓ３ｄ…画素信号、ＳＥＬ…セレクト信号、Ｓｖ１ａ…基準信号値、Ｓｖ１ｂ、Ｓｖ１ｄ…非基準信号値、第二信号値、Ｓｖ１ｃ…非基準信号値、第一信号値、ｔ１～ｔ９…時刻、Ｔ１…第一蓄積時間、Ｔ２…第二蓄積時間、Ｔ３…第三蓄積時間、Ｔ４…第四蓄積時間、ＴＸ１…第一電荷転送信号、ＴＸ２…第二電荷転送信号、ＴＸ３…第三電荷転送信号、ＴＸ４…第四電荷転送信号

Claims (12)

1. 複数の受光素子をそれぞれ有する複数の受光素子グループを備える受光素子アレイと、
   前記受光素子グループの複数の受光素子から出力される信号を圧縮した圧縮信号を受光素子グループ毎にそれぞれ生成する圧縮部と、
   前記圧縮部により生成された前記圧縮信号を、出力画像における該圧縮信号と対応する画素の画素信号に再構築する再構築処理部と、を備え、
   前記受光素子グループでは、前記受光素子アレイが露光したときに該受光素子グループの少なくとも一つの受光素子の露光量が該受光素子グループの他の受光素子の露光量と異なり、
   前記圧縮信号は、前記受光素子グループの各受光素子から出力される信号に含まれる信号値の重み平均値又は平均値を含み、
   前記受光素子グループの各受光素子は、光電変換素子をそれぞれ有し、
   前記再構築処理部は、前記受光素子アレイが露光したときに前記受光素子グループにおいて前記光電変換素子がオーバーフローした受光素子とオーバーフローしなかった受光素子とがあったときに、前記各受光素子の光電変換素子が前記露光によってオーバーフローしない容量であった場合に取得できる信号値の予想値を演算によって求めることで前記圧縮信号を前記画素信号に再構築する、撮像装置。
2. 前記受光素子アレイと前記圧縮部とを有する固体撮像素子を備える、請求項１に記載の撮像装置。
3. 前記受光素子グループにおいて、前記露光量の違いは、各受光素子の露光時間の違いによって生じる、請求項１又は２に記載の撮像装置。
4. 前記再構築処理部は、前記圧縮信号に含まれている圧縮前の情報に基づいて該圧縮信号を前記画素信号に再構築する、請求項１又は２に記載の撮像装置。
5. 前記受光素子グループに含まれる複数の受光素子は、基準となる受光素子である基準受光素子と、前記基準受光素子以外の非基準受光素子と、を有し、
   前記圧縮部は、前記基準受光素子から出力される信号に含まれる信号値である基準信号値と、前記非基準受光素子から出力される信号に含まれる信号値である非基準信号値と、の差に基づいて前記圧縮信号を生成し、
   前記圧縮部は、前記受光素子グループの前記非基準受光素子から出力される信号に含まれる前記非基準信号値において、
   前記基準信号値との差が所定の閾値未満になる非基準信号値しかないときは、該受光素子グループの各受光素子から出力される信号値の重み平均値又は平均値を含む前記圧縮信号を生成する第一の圧縮処理と、
   前記基準信号値との差が前記所定の閾値未満になる非基準信号値である第一信号値と、前記基準信号値との差が前記所定の閾値以上になる非基準信号値である第二信号値と、があるときは、前記各受光素子から出力される信号のうち前記第二信号値と対応する信号を削除すると共に、前記第一信号値又は前記第二信号値を出力した非基準受光素子の前記基準受光素子に対する位置情報を該基準受光素子が出力する信号に付加することで前記圧縮信号を生成する第二の圧縮処理と、を行う、請求項１に記載の撮像装置。
6. 前記受光素子グループに含まれる複数の受光素子は、基準となる受光素子である基準受光素子と、前記基準受光素子以外の非基準受光素子と、を有し、
   前記圧縮部は、前記基準受光素子から出力される信号に含まれる信号値である基準信号値と、前記非基準受光素子から出力される信号に含まれる信号値である非基準信号値と、の差に基づいて前記圧縮信号を生成し、
   前記圧縮部は、前記受光素子グループの前記非基準受光素子から出力される信号に含まれる前記非基準信号値において、
   前記基準信号値との差が所定の閾値未満になる非基準信号値しかないときは、該受光素子グループの各受光素子から出力される信号値の重み平均値又は平均値を含む前記圧縮信号を生成する第一の圧縮処理と、
   前記基準信号値との差が前記所定の閾値未満になる非基準信号値である第一信号値と、前記基準信号値との差が前記所定の閾値以上になる非基準信号値である第二信号値と、があるときは、前記基準信号値と前記第一信号値との重み平均値又は平均値と、前記第一信号値又は前記第二信号値を出力した非基準受光素子の前記基準受光素子に対する位置情報と、を含む前記圧縮信号を生成する第二の圧縮処理と、を行う、請求項１に記載の撮像装置。
7. 前記所定の閾値は、前記受光素子グループに含まれる受光素子のシグナル・レンジのマックスの値の１０％を目安に設定される、請求項５又は６に記載の撮像装置。
8. 前記第一の圧縮処理によって生成された前記圧縮信号は、固定値である位置情報をさらに有する、請求項５又は６に記載の撮像装置。
9. 前記再構築処理部は、前記第一の圧縮処理によって生成された前記圧縮信号に対し、
   前記基準受光素子と対応する画素の画素信号の画素値を、前記圧縮信号の画素値と同じとし、各前記非基準受光素子と対応する画素の画素信号の画素値を、それぞれ前記基準受光素子と対応する画素の画素信号の画素値と同じとすることで、前記圧縮信号を前記画素信号に再構築する、請求項５又は６に記載の撮像装置。
10. 前記再構築処理部は、前記第二の圧縮処理によって生成された前記圧縮信号に対し、
    前記基準受光素子と対応する画素の画素信号の画素値を、前記圧縮信号の画素値と同じとし、前記非基準受光素子と対応する各画素のうち、位置情報において１となっている画素の画素信号の画素値を、前記基準受光素子と対応する画素の画素値と同じとし、位置情報において０となっている画素の画素信号の画素値を、該画素と行方向に隣り合う画素の画素値と同じとすることで、前記圧縮信号を前記画素信号に再構築する、請求項５又は６に記載の撮像装置。
11. 前記再構築処理部は、前記第二の圧縮処理によって生成された前記圧縮信号に対し、
    前記基準受光素子と対応する画素の画素信号の画素値を、前記圧縮信号の画素値と同じとし、前記非基準受光素子と対応する各画素のうち、位置情報において１となっている画素の画素信号の画素値を、前記基準受光素子と対応する画素の画素値と同じとし、位置情報において０となっている画素の画素信号の各画素値を、前記圧縮信号の画素値と、該画素と行方向に隣り合う受光素子グループから出力された圧縮信号の画素値と、の重み平均値又は平均値とすることで、前記圧縮信号を前記画素信号に再構築する、請求項５又は６に記載の撮像装置。
12. 複数の受光素子をそれぞれ有する複数の受光素子グループを備える受光素子アレイと、
    前記受光素子グループの複数の受光素子から出力される信号を圧縮した圧縮信号を受光素子グループ毎にそれぞれ生成する圧縮部と、
    前記圧縮部により生成された前記圧縮信号を、出力画像における該圧縮信号と対応する画素の画素信号に再構築する再構築処理部と、を備え、
    前記受光素子グループでは、前記受光素子アレイが露光したときに該受光素子グループの少なくとも一つの受光素子の露光量が該受光素子グループの他の受光素子の露光量と異なり、
    前記圧縮信号は、前記受光素子グループの各受光素子から出力される信号に含まれる信号値の重み平均値又は平均値を含み、
    前記受光素子グループの各受光素子は、光電変換素子をそれぞれ有し、
    前記再構築処理部は、前記受光素子アレイが露光したときに前記受光素子グループにおいて前記光電変換素子がオーバーフローした受光素子とオーバーフローしなかった受光素子とがあったときに、前記各受光素子の光電変換素子が前記露光によってオーバーフローしない容量であった場合に取得できる信号値の予想値を演算によって求めることで前記圧縮信号を前記画素信号に再構築する、固体撮像素子。