JP7669404B2 - 撮像装置、撮像装置の処理方法及びプログラム - Google Patents

Description

本開示は、撮像装置、撮像装置の処理方法及びプログラムに関する。

近年、アバランシェフォトダイオード（ＡＰＤ）に到来する光子の数をデジタル的にカウントし、カウント値を光電変換されたデジタル信号として画素から出力する光電変換装置が知られている。非特許文献１には、ＡＰＤを有する光電変換装置において、アバランシェ発光という現象が生じることが開示されている。

Ｉ．Ｒｅｃｈ ｅｔ ａｌ．，"Ｏｐｔｉｃａｌ ｃｒｏｓｓｔａｌｋ ｉｎ ｓｉｎｇｌｅ ｐｈｏｔｏｎ ａｖａｌａｎｃｈｅ ｄｉｏｄｅ ａｒｒａｙｓ：ａ ｎｅｗ ｃｏｍｐｌｅｔｅ ｍｏｄｅｌ"，ＯｐＥｘ １６（１２），２００８

ＡＰＤを有する光電変換装置において、使用時間の増加により、ＤＣＲが変化し、出力信号が変化してしまう課題がある。ＤＣＲは、ダークカウントレートであり、入射光がない場合のカウント値の平均値である。

本開示の目的は、撮像部の劣化の影響を抑制できるようにすることである。

撮像装置は、アバランシェフォトダイオードを含む撮像部と、前記アバランシェフォトダイオードにおけるアバランシェ発光回数、前記撮像部の露光条件及び前記撮像部の温度に関する情報の少なくとも１つに基づいて、前記撮像部の劣化度合いを示す推定値を算出する推定値算出部と、前記劣化度合いを示す推定値と第１の閾値に基づく画像処理パラメータを基に、前記撮像部の出力信号に対して画像処理を行う画像処理部とを有する。

本開示によれば、撮像部の劣化の影響を抑制することができる。

光電変換素子の構成例を示す図である。 センサ基板の構成例を示す図である。 回路基板の構成例を示す図である。 光電変換素子の画素に対応した信号処理回路の等価回路の図である。 光電変換素子のタイミングチャートである。 撮像システムの構成例を示す図である。 監視カメラの構成例を示す図である。 監視カメラの処理方法を示すフローチャートである。 監視カメラの構成例を示す図である。 監視カメラの処理方法を示すフローチャートである。

以下に、本実施形態について詳細に説明する。なお、以下に説明する実施形態は、一例であり、本実施形態が適用される装置の構成や各種条件によって適宜修正又は調整されるべきものであり、以下の実施形態に限定されるものではない。また、全ての図において、同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。

（第１の実施形態）
＜導入部分＞
図１は、第１の実施形態に係る光電変換素子１００の構成例を示す図である。以下では、光電変換素子１００が、センサ基板１１と、回路基板２１の２枚の基板が積層され、且つ、センサ基板１１と回路基板２１が電気的に接続されることにより構成される、所謂積層構造である光電変換素子を例にとって説明する。しかしながら、光電変換素子１００は、センサ基板１１に含まれる構成と、回路基板２１に含まれる構成が共通の半導体層に配された、所謂非積層構造であってもよい。センサ基板１１は、画素領域１２を有する。回路基板２１は、画素領域１２で生成された信号を処理する回路領域２２を有する。

＜センサ基板＞
図２は、図１のセンサ基板１１の構成例を示す図である。センサ基板１１の画素領域１２は、複数行及び複数列方向に渡って、二次元状に配置された複数の画素１０１を含む。複数の画素１０１の各々は、アバランシェフォトダイオード（以下、ＡＰＤ）を含む光電変換部１０２を備える。光電変換部１０２は、光電変換により、光を電荷に変換する。なお、画素１０１の行数及び列数は、限定されるものではない。

＜回路基板＞
図３は、図１の回路基板２１の構成例を示す図である。回路基板２１は、図２の光電変換部１０２で光電変換された電荷を処理する信号処理回路１０３と、読み出し回路１１２と、制御パルス生成部１１５と、水平走査回路１１１と、信号線１１３と、垂直走査回路１１０と、出力回路１１４を有する。

制御パルス生成部１１５は、垂直走査回路１１０と水平走査回路１１１と読み出し回路１１２に対して、制御パルスを供給する。

垂直走査回路１１０は、制御パルス生成部１１５から供給された制御パルスを受け、複数の信号処理回路１０３の行毎に選択パルスを供給する。垂直走査回路１１０には、シフトレジスタやアドレスデコーダといった論理回路が用いられる。

信号処理回路１０３は、図２の画素１０１の光電変換部１０２から出力された信号を処理する。信号処理回路１０３は、カウンタやメモリなどを有し、メモリにはデジタル値が保持される。信号処理回路１０３は、選択パルスに応じて、行単位で、光電変換部１０２から出力された信号に基づくデジタルの画素信号を、各列の信号線１１３に出力する。

読み出し回路１１２は、制御パルス生成部１１５から供給された制御パルスを受け、各列の信号線１１３の画素信号を保持する。

水平走査回路１１１は、制御パルス生成部１１５から供給された制御パルスを受け、各列を順次選択する制御パルスを読み出し回路１１２に出力する。読み出し回路１１２は、制御パルスに応じて、各列の画素信号を出力回路１１４に順に出力する。出力回路１１４は、画素信号を光電変換素子１００の外部に順に出力する。

＜センサ基板と回路基板の接続＞
図２及び図３に示すように、平面視で複数の画素１０１に重なる領域には、それぞれ、複数の信号処理回路１０３が配される。そして、平面視で、センサ基板１１の端と画素領域１２の端との間の領域に重なるように、垂直走査回路１１０と、水平走査回路１１１と、読み出し回路１１２と、出力回路１１４と、制御パルス生成部１１５が配される。言い換えると、センサ基板１１は、画素領域１２と画素領域１２の周りに配された非画素領域とを有する。そして、平面視で非画素領域に重なる領域に、垂直走査回路１１０と、水平走査回路１１１と、読み出し回路１１２と、出力回路１１４と、制御パルス生成部１１５が配される。

なお、信号線１１３と、読み出し回路１１２と、出力回路１１４の配置は、図３の配置に限定されない。例えば、信号線１１３を行方向に延びて配し、読み出し回路１１２を信号線１１３が延びる先に配してもよい。また、信号処理回路１０３は、必ずしもすべての光電変換部１０２に１つずつ設けられる必要はない。１つの信号処理回路１０３が、複数の光電変換部１０２を共有し、順次信号処理を行う構成となっていてもよい。

＜画素の等価回路＞
図４は、図２及び図３のうち、光電変換部１０２および、光電変換部１０２に対応した信号処理回路１０３の構成例を示す等価回路図である。

光電変換部１０２は、アバランシェフォトダイオード（ＡＰＤ）２０１を有する。ＡＰＤ２０１は、光電変換により入射光に応じた電荷対を生成する。ＡＰＤ２０１の２つのノードのうちの一方のノードは、駆動電圧ＶＬが供給される電源線に接続されている。また、ＡＰＤ２０１の２つのノードのうちの他方のノードは、クエンチ素子２０２を介して、駆動電圧ＶＬよりも高い駆動電圧ＶＨが供給される電源線に接続されている。図４では、ＡＰＤ２０１の一方のノードはアノードであり、ＡＰＤ２０１の他方のノードはカソードである。ＡＰＤ２０１のアノードとカソードには、ＡＰＤ２０１がアバランシェ増倍動作をするような逆バイアス電圧ＶＲが供給される。ここで、電圧ＶＲは、式（１）で求められる。
ＶＲ＝ＶＬ－ＶＨ （１）

ＡＰＤ２０１では、このような電圧ＶＲを供給した状態とすることで、入射光によって生じた電荷がアバランシェ増倍を起こし、アバランシェ電流が発生する。

なお、電圧ＶＲが供給される場合において、ガイガーモードと、リニアモードがある。ガイガーモードは、ＡＰＤ２０１のアノード及びカソードの電圧差が降伏電圧より大きな電圧差で動作させるモードである。リニアモードは、ＡＰＤ２０１のアノード及びカソードの電圧差が降伏電圧近傍、もしくはそれ以下の電圧差で動作させるモードである。ガイガーモードで動作させるＡＰＤ２０１を、単一光子アバランシェダイオード（ＳＰＡＤ）と呼ぶ。ＳＰＡＤの場合、例えば、駆動電圧ＶＬは、－３０Ｖであり、駆動電圧ＶＨは、１Ｖである。

クエンチ素子２０２は、駆動電圧ＶＨが供給される電源線とＡＰＤ２０１のアノード及びカソードのうちの一方のノードに接続される。クエンチ素子２０２は、ＡＰＤ２０１のアバランシェ増倍による信号増倍時に負荷回路（クエンチ回路）として機能し、ＡＰＤ２０１に供給する電圧を抑制して、アバランシェ増倍を抑制する働きを持つ（クエンチ動作）。また、クエンチ素子２０２は、クエンチ動作で電圧降下した分の電流を流すことにより、ＡＰＤ２０１に供給する電圧を駆動電圧ＶＨへと戻す働きを持つ（リチャージ動作）。

信号処理回路１０３は、クエンチ素子２０２と、波形整形部２１０と、カウンタ回路２１１と、選択回路２１２を有する。図４では、信号処理回路１０３は、クエンチ素子２０２と、波形整形部２１０と、カウンタ回路２１１と、選択回路２１２を有する場合を示したが、これに限定されない。信号処理回路１０３は、波形整形部２１０と、カウンタ回路２１１と、選択回路２１２の少なくともいずれか１つを有していればよい。

波形整形部２１０は、光子検出時に得られるＡＰＤ２０１のカソードの信号（電圧）の波形を整形して、パルス信号を出力する。波形整形部２１０としては、例えば、インバータ回路が用いられる。図４では、波形整形部２１０として、インバータを一つ用いた例を示したが、複数のインバータを直列接続した回路を用いてもよいし、波形整形効果があるその他の回路を用いてもよい。

カウンタ回路２１１は、波形整形部２１０から出力されたパルス信号をカウントし、カウント値を保持する。また、カウンタ回路２１１は、駆動線２１３を介して制御パルスＲＥＳが供給されたとき、カウンタ回路２１１に保持された信号をリセットする。

選択回路２１２には、図３の垂直走査回路１１０から、駆動線２１４を介して制御パルスＳＥＬが供給され、カウンタ回路２１１と信号線１１３との電気的な接続／非接続を切り替える。選択回路２１２は、例えば、信号を出力するためのバッファ回路などを含み、カウンタ回路２１１からのカウント値を信号線１１３に出力する。図４では、選択回路２１２により切り替える例を示したが、クエンチ素子２０２とＡＰＤ２０１との間や、光電変換部１０２と信号処理回路１０３との間にトランジスタ等のスイッチを配して、電気的な接続を切り替えてもよい。同様に、光電変換部１０２に供給される駆動電圧ＶＨまたは駆動電圧ＶＬの供給をトランジスタ等のスイッチを用いて、電気的に切り替えてもよい。

＜回路の駆動＞
図５は、図４のＡＰＤ２０１の動作と出力信号の関係を示す図である。図４の波形整形部２１０の入力側をｎｏｄｅＡとし、波形整形部２１０の出力側をｎｏｄｅＢとしている。時刻ｔ０から時刻ｔ１の間において、ＡＰＤ２０１には、ＶＨ－ＶＬの電位差が印加されている。時刻ｔ１において、光子（フォトン）がＡＰＤ２０１に入射すると、ＡＰＤ２０１でアバランシェ増倍が生じ、クエンチ素子２０２にアバランシェ増倍電流が流れ、ｎｏｄｅＡの電圧は降下する。ｎｏｄｅＡの電圧降下量がさらに大きくなり、ＡＰＤ２０１に印加される電位差が小さくなると、時刻ｔ２のように、ＡＰＤ２０１のアバランシェ増倍が停止し、ｎｏｄｅＡの電圧レベルはある一定値以上降下しなくなる。その後、時刻ｔ２から時刻ｔ３の間において、ｎｏｄｅＡには駆動電圧ＶＬから電圧降下分を補う電流が流れ、時刻ｔ３において、ｎｏｄｅＡは元の電位レベルに静定する。このとき、波形整形部２１０は、ｎｏｄｅＡの波形値が波形閾値より低い部分をハイレベルとし、ｎｏｄｅＡの波形値が波形閾値より高い部分をローレベルとするｎｏｄｅＢの信号を出力する。

図６は、本実施形態に係る撮像システム６００の構成例を示す図である。撮像システム６００は、監視カメラ６０１と、ネットワーク６０２と、クライアント装置６０３と、入力装置６０４と、表示装置６０５を有する。監視カメラ６０１は、撮像装置の一例であり、図１の光電変換素子１００を有し、動画像を撮像し、動画像を画像処理する。監視カメラ６０１及びクライアント装置６０３は、ネットワーク６０２を介して、相互に通信可能である。入力装置６０４及び表示装置６０５は、クライアント装置６０３に接続される。クライアント装置６０３は、情報処理装置の一例である。

図７は、図６の監視カメラ６０１の構成例を示す図である。監視カメラ６０１は、光電変換素子１００と、光学系７０１と、ＣＰＵ７０２と、ＲＯＭ７０３と、ＲＡＭ７０４と、撮像系制御部７０５と、制御部７０６を有する。さらに、監視カメラ６０１は、推定値算出部７０７と、カメラ設定取得部７０８と、閾値算出部７０９と、パラメータ設定部７１０と、画像処理実行部７１１と、エンコーダ部７１２と、ネットワークＩ／Ｆ７１３を有する。

光学系７０１は、ズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、及びシャッターを有し、被写体の光情報を集光する。光電変換素子１００は、図１～５で説明したＡＰＤ２０１を有する光電変換素子１００であり、撮像部の一例であり、カラーフィルタなどと組み合わせることで色情報を取得する。光電変換素子１００は、使用時間の増加に応じて、ＤＣＲが変化し、出力するカウント値が変化する。ＤＣＲは、ダークカウントレートであり、入射光がない場合に検知されたカウンタ回路２１１（図４）のカウント値の平均値である。

ＣＰＵ７０２は、各構成要素の処理のすべてに関わり、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７０３や、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７０４に格納されたプログラムを順次に読み込み、解釈し、その結果に従って処理を実行する。

撮像系制御部７０５は、光学系７０１に対して、フォーカスを合わせる、シャッターを開く、絞りを調整するなどのＣＰＵ７０２から指示された制御を行う。制御部７０６は、クライアント装置６０３からの指示によって、制御を行う。

推定値算出部７０７は、ＡＰＤ２０１を有する光電変換素子１００の経年変化の変化度合い推定値を定量的に算出する。ここで、変化度合い推定値は、稼働開始からのアバランシェ発光回数や露光条件（絞り、シャッター、ゲイン）、温度等の情報に基づいて算出される。

カメラ設定取得部７０８は、撮像系制御部７０５や制御部７０６から、各種カメラ機能の設定情報をカメラ設定情報として取得する。閾値算出部７０９は、カメラ設定取得部７０８から得られるカメラ設定情報に基づき、変化度合いを判定するための変化閾値を算出する。ここで、前述のカメラ設定情報は、例えば、後段のエンコーダ部７１２の圧縮処理のコーデック設定や、画像処理実行部７１１に含まれる、階調補正、ノイズ低減処理、キズ画素補正、デモザイキング処理等の設定情報を指す。

パラメータ設定部７１０は、推定値算出部７０７により算出された変化度合い推定値と閾値算出部７０９により算出された変化閾値を比較して、画像処理パラメータを算出し、画像処理パラメータを設定する。ここで、画像処理パラメータは、画像処理実行部７１１で実行される、階調補正処理、ノイズ低減処理、キズ画素補正処理、彩度強調処理、デモザイキング処理等のパラメータを指す。

画像処理実行部７１１は、画像処理部であり、パラメータ設定部７１０により設定された画像処理パラメータに基づき、光電変換素子１００が出力するカウント値に対して、画像処理を実行し、画像データを出力する。画像処理は、例えば、階調補正処理、ノイズ低減処理、キズ画素補正処理、彩度強調処理、デモザイキング処理等である。

エンコーダ部７１２は、画像処理実行部７１１から出力された画像データを、Ｍｏｔｉｏｎ ＪｐｅｇやＨ２６４、Ｈ２６５などのファイルフォーマットに変換処理を行う。ネットワークＩ／Ｆ７１３は、クライアント装置６０３等の外部の装置とのネットワーク６０２を介した通信に利用されるインターフェースである。

ネットワーク６０２は、監視カメラ６０１と、クライアント装置６０３を接続するネットワークである。ネットワークは、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。本実施形態では、ネットワーク６０２は、監視カメラ６０１とクライアント装置６０３との間の通信を行うことができるものであればよく、その通信規格、規模、構成を問わない。例えば、ネットワーク６０２は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により構成されてもよい。

図８は、図７の監視カメラ６０１の処理方法を示すフローチャートである。なお、図８のフローチャートの処理は、ハードウェア又はソフトウェアにより実行されてもよいし、一部がソフトウェア構成で残りがハードウェア構成により実現されてもよい。ソフトウェアにより実行される場合、図８のフローチャートの処理は、例えばＲＯＭ７０３等に記憶されているプログラムをＣＰＵ７０２が実行することにより実現される。これらのことは、後述する図１０のフローチャートにおいても同様とする。

ステップＳ８０１では、推定値算出部７０７は、ＡＰＤ２０１を有する光電変換素子１００の経年変化の変化度合いを推定し、光電変換素子１００の変化度合い推定値を算出する。例えば、光電変換素子１００は、使用時間の増加に応じて、ＤＣＲが変化し、出力するカウント値が変化する。推定値算出部７０７は、稼働開始からのアバランシェ発光回数や、露光条件、温度、又は被写体の輝度情報に基づき、変化度合い推定値を算出する。一例として、推定値算出部７０７は、光電変換素子１００が出力するカウント値を基に、稼働開始からの輝度の累積値を算出し、輝度の累積値を基に、変化度合い推定値を算出する。輝度の累積値が大きくなるほど、変化度合い推定値も大きくなる。変化度合い推定値が大きいほど、変化の程度が大きく、変化度合い推定値が小さいほど、変化の程度が小さい。なお、変化度合いは、劣化度合いを含む。

次に、ステップＳ８０２では、カメラ設定取得部７０８は、撮像系制御部７０５や制御部７０６から、各種カメラ機能の設定情報をカメラ設定情報（配信設定情報）として取得する。カメラ設定情報は、監視カメラ６０１の設定情報である。本実施形態では、カメラ設定情報の一例として、後段のエンコーダ部７１２から得られる圧縮処理のコーデック設定情報を用いた場合の実施形態に関して説明する。具体的には、カメラ設定取得部７０８は、カメラ設定情報として、エンコーダ部７１２のエンコーディング方法とビットレートとＱｐ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ）値のコーデック設定情報を取得する。

以下、本実施形態で取得するコーデック設定情報に関連する処理と課題について説明する。一般的に、図６に示すようなネットワーク６０２を介して映像配信する撮像システム６００において、ネットワークサーバーの容量や配信帯域に制約があるため、ビットレートを抑えた映像配信が求められる。そこで、映像を圧縮するエンコーディング方法として、ＣＢＲ（Ｃｏｎｔｒａｓｔ ｂｉｔｒａｔｅ）エンコーディングやＶＢＲ（Ｖａｒｉａｂｌｅ ｂｉｔｒａｔｅ）エンコーディングと呼ばれる手法が存在する。ＣＢＲエンコーディングは、常に一定のビットレートのデータになるようにエンコードする手法であり、ＶＢＲエンコーディングは、ビットレートの値を変動させてエンコードする手法である。

ＣＢＲエンコーディングは、設定するビットレートに依存して画質が変化する。低ビットレートの設定であると、高周波成分だけでなく、低周波成分も含む広い領域にまたがる周波数が圧縮され、ブロック間で不連続な輝度・色調・エッジの変化が発生してしまう、ブロックノイズと呼ばれる課題がある。

ＶＢＲエンコーディングにおいても、Ｑｐ値の設定に依存して同様の課題が発生することが知られている。一般的に、Ｑｐ値は、値が小さいほど高画質でデータサイズが大きく、値が大きいほど低画質でブロックノイズが発生しやすい。ブロックノイズが発生した映像は、高周波のノイズ・キズ画素ノイズ成分も含めて強力な圧縮処理が実行される。

以上が、本実施形態で取得するコーデック設定情報に関連する処理と課題であり、後述のステップＳ８０３以降のステップで、ブロックノイズの課題を考慮した変化閾値を設定する。

続いて、ステップＳ８０３～Ｓ８０９では、閾値算出部７０９は、前述のカメラ設定情報に基づき、変化度合いを判定するための変化閾値を算出する。まず、ステップＳ８０３では、閾値算出部７０９は、カメラ設定情報のエンコーディング方法の情報に基づき、エンコーディング方法がＶＢＲエンコーディングとＣＢＲエンコーディングのいずれであるのかを判定する。ＣＢＲエンコーディングである場合には、処理はステップＳ８０４に進み、ＶＢＲエンコーディングである場合には、処理はステップＳ８０７に進む。

ステップＳ８０４では、閾値算出部７０９は、カメラ設定情報のビットレートの情報を基に、ＣＢＲエンコーディングのビットレートがビットレート閾値以上であるか否かを判定する。ビットレート閾値は、例えば、８Ｍｂｐｓである。ビットレートがビットレート閾値以上である場合には、処理はステップＳ８０５に進み、ビットレートがビットレート閾値以上でない場合には、処理はステップＳ８０６に進む。

ステップＳ８０５では、閾値算出部７０９は、変化閾値として、小さい第１の値を設定する。閾値算出部７０９は、閾値設定部の一例である。その後、処理はステップＳ８１０に進む。

ステップＳ８０６では、閾値算出部７０９は、変化閾値として、第１の値より大きい第２の値を設定する。その後、処理はステップＳ８１０に進む。

ステップＳ８０７では、閾値算出部７０９は、カメラ設定情報のＱｐ値の情報を基に、ＶＢＲエンコーディングのＱｐ値がＱｐ閾値以下であるか否かを判定する。Ｑｐ閾値は、例えば、１０である。Ｑｐ値がＱｐ閾値以下である場合には、処理はステップＳ８０８に進み、Ｑｐ値がＱｐ閾値以下でない場合には、処理はステップＳ８０９に進む。

ステップＳ８０８では、閾値算出部７０９は、変化閾値として、小さい第３の値を設定する。その後、処理はステップＳ８１０に進む。

ステップＳ８０９では、閾値算出部７０９は、変化閾値として、第３の値より大きい第４の値を設定する。その後、処理はステップＳ８１０に進む。

以上、ステップＳ８０３～Ｓ８０９で設定される変化閾値は、ステップＳ８１０～Ｓ８１２において、変化度合い推定値との比較で使用される。変化閾値が小さい場合には、ビットレートが高い（あるいはＱｐ値が小さい）設定であるため、経年変化によるＤＣＲノイズ（暗電流ノイズ）やキズ画素ノイズの影響が後段の圧縮処理により顕在化する可能性が高い。他方、変化閾値が大きい場合には、ビットレートが低い（あるいはＱｐ値が大きい）設定であるため、経年変化によるＤＣＲノイズやキズ画素ノイズの影響が、後段の強力な圧縮処理により、小さい可能性が高い。前述のような変化閾値と画質の関係を考慮して、ステップＳ８１１又はＳ８１２では、パラメータ設定部７１０は、最適な画像処理パラメータを設定する。

続いて、ステップＳ８１０～Ｓ８１２では、パラメータ設定部７１０は、推定値算出部７０７により算出された変化度合い推定値が閾値算出部７０９により設定された変化閾値以上であるか否かを判定する。変化度合い推定値が変化閾値以上である場合には、処理はステップＳ８１１に進み、変化度合い推定値が変化閾値以上でない場合には、処理はステップＳ８１２に進む。

ステップＳ８１１では、パラメータ設定部７１０は、画像処理パラメータに関して、ノイズやキズ画素ノイズを強く低減するための第１の画像処理パラメータを設定する。その後、処理はステップＳ８１３に進む。

ステップＳ８１２では、パラメータ設定部７１０は、画像処理パラメータに関して、ノイズやキズ画素ノイズをそのまま残すための第２の画像処理パラメータを設定する。ステップＳ８１１の第１の画像処理パラメータは、ステップＳ８１２の第２の画像処理パラメータよりも、ノイズ又はキズ画素ノイズを強く低減する処理を行うためのパラメータである。その後、処理はステップＳ８１３に進む。

最後に、ステップＳ８１３では、画像処理実行部７１１は、パラメータ設定部７１０により設定された第１の画像処理パラメータ又は第２の画像処理パラメータに基づき、光電変換素子１００が出力するカウント値（出力信号）に対して、画像処理を実行する。

以上説明したように、監視カメラ６０１は、エンコーダ部７１２の圧縮処理の効果を考慮して、変化閾値を設定し、変化度合い推定値と変化閾値に応じて、最適な画像処理パラメータを設定する。従って、監視カメラ６０１は、ＡＰＤ２０１を有する光電変換素子１００の経年変化（ＤＣＲノイズやキズ画素ノイズの増加）に対して、前段に位置する画像処理実行部７１１と後段に位置するエンコーダ部７１２のパラメータを最適に設定することが可能になる。エンコーダ部７１２の圧縮処理を考慮しない場合、不必要にノイズやキズ画素ノイズを過補正してしまう課題や、補正が不十分になってしまう課題が生じるが、本実施形態によれば、その課題を解決することが可能になる。本実施形態の監視カメラ６０１は、使用時間の増加により生じた光電変換素子１００の経年変化の影響を抑制することができる。

（第２の実施形態）
第２の実施形態では、領域ごとの変化度合い推定値に基づいて、領域ごとに画像処理パラメータを設定する構成について説明する。

図９は、第２の実施形態に係る監視カメラ６０１の構成例を示す図である。図９の監視カメラ６０１は、図７の監視カメラ６０１に対して、推定値算出部７０７とパラメータ設定部７１０と画像処理実行部７１１の代わりに、領域別推定値算出部９０１と領域別パラメータ設定部９０２と領域別画像処理実行部９０３を設けたものである。監視カメラ６０１は、領域別推定値算出部９０１と、カメラ設定取得部７０８と、閾値算出部７０９と、領域別パラメータ設定部９０２と、領域別画像処理実行部９０３と、エンコーダ部７１２と、ネットワークＩ／Ｆ７１３を有する。

図１０は、第２の実施形態に係る監視カメラ６０１の処理方法を示すフローチャートである。まず、ステップＳ１００１では、領域別推定値算出部９０１は、ＡＰＤ２０１を有する光電変換素子１００の領域ごとの経年変化の変化度合いを推定し、光電変換素子１００の領域ごとの変化度合い推定値を算出する。例えば、光電変換素子１００は、使用時間の増加に応じて、ＤＣＲが変化し、出力するカウント値が変化する。推定値算出部７０７は、稼働開始からのアバランシェ発光回数、露光条件、温度、又は被写体の輝度情報に基づき、領域ごとの変化度合い推定値を算出する。なお、領域の単位は、画素単位でもよいし、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）やＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）等の評価値を取得するために用意された分割領域の単位であってもよい。

次に、ステップＳ１００２では、カメラ設定取得部７０８は、撮像系制御部７０５や制御部７０６から、カメラ設定情報を取得する。カメラ設定情報は、例えば、領域別画像処理実行部９０３で実行される暗部補正機能のオン／オフ情報である。監視カメラ６０１において、低輝度部のガンマを持ち上げることにより、暗被写体の視認性を向上する機能が存在する。領域別画像処理実行部９０３の暗部補正により、暗部の被写体の視認性は向上されるが、一般的に知られているトレードオフとして、ノイズやキズ画素ノイズも目立ってしまう課題がある。本実施形態においては、前述のトレードオフも踏まえて、領域ごとの変化度合い推定値を判定するための変化閾値の算出方法を述べる。

ステップＳ１００３～Ｓ１００５では、閾値算出部７０９は、前述のカメラ設定情報に基づき、領域ごとの変化度合いを判定するための変化閾値を算出する。まず、ステップＳ１００３では、閾値算出部７０９は、カメラ設定情報の暗部補正機能のオン／オフ情報を基に、暗部補正機能がオンとオフのいずれであるのかを判定する。暗部補正機能がオンである場合には、処理はステップＳ１００４に進み、暗部補正機能がオフである場合には、処理はステップＳ１００５に進む。

ステップＳ１００４では、閾値算出部７０９は、変化閾値として、小さい第５の値を設定する。その後、処理はステップＳ１００６に進む。

ステップＳ１００５では、閾値算出部７０９は、変化閾値として、第５の値より大きい第６の値を設定する。その後、処理はステップＳ１００６に進む。

以上、ステップＳ１００３～Ｓ１００５では、暗部補正機能がオンである場合には、変化閾値を小さく設定することで、暗部補正により顕在化しやすいノイズやキズ画素ノイズを補正しやすくする。一方、暗部補正機能がオフである場合には、変化閾値を大きく設定することで、必要以上にキズ画素ノイズやノイズを軽減して被写体のエッジ情報を失わないようにする。

続いて、ステップＳ１００６では、領域別パラメータ設定部９０２は、領域ごとに、領域別推定値算出部９０１により算出された領域ごとの変化度合い推定値が、閾値算出部７０９により設定された変化閾値以上であるか否かを判定する。変化度合い推定値が変化閾値以上である領域については、処理はステップＳ１００７に進む。変化度合い推定値が変化閾値以上でない領域については、処理はステップＳ１００８に進む。

ステップＳ１００７では、領域別パラメータ設定部９０２は、該当する領域の画像処理パラメータに関して、ノイズやキズ画素ノイズを強く低減するための領域ごとの画像処理パラメータを設定する。その後、処理はステップＳ１００９に進む。

ステップＳ１００８では、領域別パラメータ設定部９０２は、該当する領域の画像処理パラメータに関して、ノイズやキズ画素ノイズをそのまま残すための領域ごとの画像処理パラメータを設定する。その後、処理はステップＳ１００９に進む。

最後に、ステップＳ１００９では、領域別画像処理実行部９０３は、パラメータ設定部７１０により設定された領域ごとの画像処理パラメータに基づき、光電変換素子１００が出力するカウント値に対して、領域ごとの画像処理を実行する。

以上のように、監視カメラ６０１は、領域別画像処理実行部９０３の画像処理によって強調されるノイズやキズ画素ノイズの影響を考慮して、変化閾値を算出し、領域ごとの変化度合い推定値と変化閾値に応じて、最適な領域ごとの画像処理パラメータを設定する。従って、監視カメラ６０１は、ＡＰＤ２０１を有する光電変換素子１００に発生する経年変化（ＤＣＲノイズやキズ画素ノイズの増加）に対して、領域別画像処理実行部９０３の画像処理パラメータを領域ごとに最適に設定することが可能になる。

なお、本実施形態では、カメラ設定取得部７０８で取得するカメラ設定情報として、暗部補正処理の設定情報を用いる構成について説明した。しかしながら、カメラ設定情報は、これに限定されるものではない。例えば、カメラ設定情報は、コーデック、階調補正、ノイズ低減処理、キズ画素補正、デモザイキング処理、シャープネス処理、又は彩度強調処理の設定情報でもよい。また、画像処理実行部７１１が行う画像処理は、階調補正、ノイズ低減処理、キズ画素補正、デモザイキング処理、シャープネス処理、彩度強調処理、又は暗部補正等である。

また、前述した実施形態では、撮像装置の一例として監視カメラ６０１に光学系７０１が一体的に形成された、所謂レンズ一体型の撮像装置について説明したが、これに限定されるものではない。例えば、監視カメラ６０１と光学系７０１を備えたレンズユニットとがそれぞれ別々に設けられた、所謂レンズ交換式の撮像装置でもよい。

また、前述した実施形態では、撮像装置の一例として監視カメラ６０１を説明したが、これに限定されるものではない。例えば、デジタルカメラ、デジタルビデオカメラやスマートフォンなどの可搬デバイスやウェアラブル端末など、監視カメラ６０１以外の撮像装置を採用する構成であってもよい。

さらに、前述した実施形態では、情報処理装置であるクライアント装置６０３は、例えば、パーソナルコンピュータ（ＰＣ）などの電子機器であるが、これに限定されるものではない。例えば、クライアント装置６０３は、スマートフォンやタブレット端末など、他の電子機器を採用する構成であってもよい。

（その他の実施形態）
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上述の実施形態は、何れも本開示を実施するにあたっての具体例を示したものに過ぎず、これらによって本開示の技術的範囲が限定的に解釈されない。すなわち、本開示はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

本実施形態の開示は、以下の構成、方法及びプログラムを含む。
（構成１）
アバランシェフォトダイオードを含む撮像部と、
前記撮像部の変化度合い推定値を算出する推定値算出部と、
前記変化度合い推定値と第１の閾値に基づく画像処理パラメータを基に、前記撮像部の出力信号に対して画像処理を行う画像処理部と
を有することを特徴とする撮像装置。
（構成２）
前記撮像部は、
前記アバランシェフォトダイオードと、
前記アバランシェフォトダイオードの信号をカウントするカウンタとを有することを特徴とする構成１に記載の撮像装置。
（構成３）
前記撮像部は、前記アバランシェフォトダイオードの信号の波形を整形する整形部をさらに有し、
前記カウンタは、前記整形部により整形された信号をカウントすることを特徴とする構成２に記載の撮像装置。
（構成４）
前記推定値算出部は、稼働開始からのアバランシェ発光回数や、露光条件、温度、又は被写体の輝度情報に基づき、前記撮像部の変化度合い推定値を算出することを特徴とする構成１～３のいずれか１項に記載の撮像装置。
（構成５）
前記推定値算出部は、前記撮像部の出力信号を基に輝度の累積値を算出し、前記輝度の累積値を基に前記撮像部の変化度合い推定値を算出することを特徴とする構成１～４のいずれか１項に記載の撮像装置。
（構成６）
前記撮像装置の設定情報を基に前記第１の閾値を設定する閾値設定部をさらに有することを特徴とする構成１～５のいずれか１項に記載の撮像装置。
（構成７）
前記撮像装置の設定情報は、コーデック、階調補正、ノイズ低減処理、キズ画素補正、デモザイキング処理、シャープネス処理、彩度強調処理、又は暗部補正の設定情報であることを特徴とする構成１～６のいずれか１項に記載の撮像装置。
（構成８）
前記撮像装置の設定情報は、エンコーダのビットレートを含み、
前記閾値設定部は、前記ビットレートが第２の閾値以上である場合には、前記第１の閾値として第１の値を設定し、前記ビットレートが第２の閾値以上でない場合には、前記第１の閾値として前記第１の値より大きい第２の値を設定することを特徴とする構成６に記載の撮像装置。
（構成９）
前記撮像装置の設定情報は、エンコーダのＱｐ値を含み、
前記閾値設定部は、前記Ｑｐ値が第３の閾値以下である場合には、前記第１の閾値として第３の値を設定し、前記Ｑｐ値が第３の閾値以下でない場合には、前記第１の閾値として前記第３の値より大きい第４の値を設定することを特徴とする構成６に記載の撮像装置。
（構成１０）
前記撮像装置の設定情報は、エンコーダのエンコーディング方法とビットレートとＱｐ値を含み、
前記閾値設定部は、
前記エンコーディング方法がＶＢＲエンコーディングであり、かつ、前記ビットレートが第２の閾値以上である場合には、前記第１の閾値として第１の値を設定し、
前記エンコーディング方法がＶＢＲエンコーディングであり、かつ、前記ビットレートが第２の閾値以上でない場合には、前記第１の閾値として前記第１の値より大きい第２の値を設定し、
前記エンコーディング方法がＣＢＲエンコーディングであり、かつ、前記Ｑｐ値が第３の閾値以下である場合には、前記第１の閾値として第３の値を設定し、
前記エンコーディング方法がＣＢＲエンコーディングであり、かつ、前記Ｑｐ値が第３の閾値以下でない場合には、前記第１の閾値として前記第３の値より大きい第４の値を設定することを特徴とする構成６に記載の撮像装置。
（構成１１）
前記撮像装置の設定情報は、暗部補正機能のオン／オフ情報であり、
前記閾値設定部は、前記暗部補正機能がオンである場合には、前記第１の閾値として第５の値を設定し、前記暗部補正機能がオフである場合には、前記第１の閾値として前記第５の値より大きい第６の値を設定することを特徴とする構成６に記載の撮像装置。
（構成１２）
前記変化度合い推定値が前記第１の閾値以上である場合には、第１の画像処理パラメータを設定し、前記変化度合い推定値が前記第１の閾値以上でない場合には、第２の画像処理パラメータを設定するパラメータ設定部をさらに有し、
前記画像処理部は、前記パラメータ設定部により設定された第１の画像処理パラメータ又は第２の画像処理パラメータを基に、画像処理を行うことを特徴とする構成１～１１のいずれか１項に記載の撮像装置。
（構成１３）
前記第１の画像処理パラメータは、前記第２の画像処理パラメータよりも、ノイズ又はキズ画素ノイズを強く低減する処理を行うためのパラメータであることを特徴とする構成１２に記載の撮像装置。
（構成１４）
前記画像処理部が行う画像処理は、階調補正、ノイズ低減処理、キズ画素補正、デモザイキング処理、シャープネス処理、彩度強調処理、又は暗部補正であることを特徴とする構成１～１３のいずれか１項に記載の撮像装置。
（構成１５）
前記推定値算出部は、前記撮像部の領域ごとの変化度合い推定値を算出し、
前記画像処理部は、前記領域ごとの変化度合い推定値と第１の閾値に基づく領域ごとの画像処理パラメータを基に、前記撮像部の出力信号に対して領域ごとの画像処理を行うことを特徴とする構成１～１４のいずれか１項に記載の撮像装置。
（方法１）
アバランシェフォトダイオードを含む撮像部の変化度合い推定値を算出する推定値算出ステップと、
前記変化度合い推定値と第１の閾値に基づく画像処理パラメータを基に、前記撮像部の出力信号に対して画像処理を行う画像処理ステップと
を有することを特徴とする撮像装置の処理方法。
（プログラム１）
アバランシェフォトダイオードを含む撮像部の変化度合い推定値を算出する推定値算出ステップと、
前記変化度合い推定値と第１の閾値に基づく画像処理パラメータを基に、前記撮像部の出力信号に対して画像処理を行う画像処理ステップと
をコンピュータに実行させるためのプログラム。

１００ 光電変換素子、６０１ 監視カメラ、７０１ 光学系、７０２ ＣＰＵ、７０３ ＲＯＭ、７０４ ＲＡＭ、７０５ 撮像系制御部、７０６ 制御部、７０７ 推定値算出部、７０８ カメラ設定取得部、７０９ 閾値算出部、７１０ パラメータ設定部、７１１ 画像処理実行部、７１２ エンコーダ部、７１３ ネットワークＩ／Ｆ

Claims (17)

1. アバランシェフォトダイオードを含む撮像部と、
   前記アバランシェフォトダイオードにおけるアバランシェ発光回数、前記撮像部の露光条件及び前記撮像部の温度に関する情報の少なくとも１つに基づいて、前記撮像部の劣化度合いを示す推定値を算出する推定値算出部と、
   前記劣化度合いを示す推定値と第１の閾値に基づく画像処理パラメータを基に、前記撮像部の出力信号に対して画像処理を行う画像処理部と
   を有することを特徴とする撮像装置。
2. 前記撮像部は、
   前記アバランシェフォトダイオードと、
   前記アバランシェフォトダイオードの信号をカウントするカウンタとを有することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像部は、前記アバランシェフォトダイオードの信号の波形を整形する整形部をさらに有し、
   前記カウンタは、前記整形部により整形された信号をカウントすることを特徴とする請求項２に記載の撮像装置。
4. 前記推定値算出部は、稼働開始からのアバランシェ発光回数や、露光条件、温度、又は被写体の輝度情報に基づき、前記撮像部の劣化度合いを示す推定値を算出することを特徴とする請求項１に記載の撮像装置。
5. 前記推定値算出部は、前記撮像部の出力信号に基づいて得られる複数の画像の輝度の累積値を算出し、前記輝度の累積値を基に前記撮像部の劣化度合いを示す推定値を算出することを特徴とする請求項１に記載の撮像装置。
6. 前記撮像装置の設定情報を基に前記第１の閾値を設定する閾値設定部をさらに有することを特徴とする請求項１に記載の撮像装置。
7. 前記撮像装置の設定情報は、コーデックの設定情報であることを特徴とする請求項６に記載の撮像装置。
8. 前記撮像装置の設定情報は、エンコーダのビットレートを含み、
   前記閾値設定部は、前記ビットレートが第２の閾値以上である場合には、前記第１の閾値として第１の値を設定し、前記ビットレートが第２の閾値以上でない場合には、前記第１の閾値として前記第１の値より大きい第２の値を設定することを特徴とする請求項６に記載の撮像装置。
9. 前記撮像装置の設定情報は、エンコーダのＱｐ値を含み、
   前記閾値設定部は、前記Ｑｐ値が第３の閾値以下である場合には、前記第１の閾値として第３の値を設定し、前記Ｑｐ値が第３の閾値以下でない場合には、前記第１の閾値として前記第３の値より大きい第４の値を設定することを特徴とする請求項６に記載の撮像装置。
10. 前記撮像装置の設定情報は、エンコーダのエンコーディング方法とビットレートとＱｐ値を含み、
    前記閾値設定部は、
    前記エンコーディング方法がＶＢＲエンコーディングであり、かつ、前記ビットレートが第２の閾値以上である場合には、前記第１の閾値として第１の値を設定し、
    前記エンコーディング方法がＶＢＲエンコーディングであり、かつ、前記ビットレートが第２の閾値以上でない場合には、前記第１の閾値として前記第１の値より大きい第２の値を設定し、
    前記エンコーディング方法がＣＢＲエンコーディングであり、かつ、前記Ｑｐ値が第３の閾値以下である場合には、前記第１の閾値として第３の値を設定し、
    前記エンコーディング方法がＣＢＲエンコーディングであり、かつ、前記Ｑｐ値が第３の閾値以下でない場合には、前記第１の閾値として前記第３の値より大きい第４の値を設定することを特徴とする請求項６に記載の撮像装置。
11. 前記撮像装置の設定情報は、暗部補正機能のオン／オフ情報であり、
    前記閾値設定部は、前記暗部補正機能がオンである場合には、前記第１の閾値として第５の値を設定し、前記暗部補正機能がオフである場合には、前記第１の閾値として前記第５の値より大きい第６の値を設定することを特徴とする請求項６に記載の撮像装置。
12. 前記劣化度合いを示す推定値が前記第１の閾値以上である場合には、第１の画像処理パラメータを設定し、前記劣化度合いを示す推定値が前記第１の閾値以上でない場合には、第２の画像処理パラメータを設定するパラメータ設定部をさらに有し、
    前記画像処理部は、前記パラメータ設定部により設定された第１の画像処理パラメータ又は第２の画像処理パラメータを基に、画像処理を行うことを特徴とする請求項１に記載の撮像装置。
13. 前記第１の画像処理パラメータは、前記第２の画像処理パラメータよりも、ノイズ又はキズ画素ノイズを強く低減する処理を行うためのパラメータであることを特徴とする請求項１２に記載の撮像装置。
14. 前記画像処理部が行う画像処理は、ノイズ低減処理又はキズ画素補正であることを特徴とする請求項１に記載の撮像装置。
15. 前記推定値算出部は、前記撮像部の領域ごとの劣化度合いを示す推定値を算出し、
    前記画像処理部は、前記領域ごとの劣化度合いを示す推定値と第１の閾値に基づく領域ごとの画像処理パラメータを基に、前記撮像部の出力信号に対して領域ごとの画像処理を行うことを特徴とする請求項１に記載の撮像装置。
16. アバランシェフォトダイオードを含む撮像部の劣化度合いを示す推定値を、前記アバランシェフォトダイオードにおけるアバランシェ発光回数、前記撮像部の露光条件及び温度に関する情報の少なくとも１つに基づいて算出する推定値算出ステップと、
    前記劣化度合いを示す推定値と第１の閾値に基づく画像処理パラメータを基に、前記撮像部の出力信号に対して画像処理を行う画像処理ステップと
    を有することを特徴とする撮像装置の処理方法。
17. アバランシェフォトダイオードを含む撮像部の劣化度合いを示す推定値を、前記アバランシェフォトダイオードにおけるアバランシェ発光回数、前記撮像部の露光条件及び温度に関する情報の少なくとも１つに基づいて算出する推定値算出ステップと、
    前記劣化度合いを示す推定値と第１の閾値に基づく画像処理パラメータを基に、前記撮像部の出力信号に対して画像処理を行う画像処理ステップと
    をコンピュータに実行させるためのプログラム。

Images