JP5526014B2 - 撮像装置 - Google Patents

Description

本発明は、画素欠陥を補正する機能を有する撮像装置に関する。

本技術分野の背景技術として、例えば、特開２０１０−２７３３７８号公報（特許文献１）がある。該公報には、「[課題]ノイズリダクションを行う際、暗電流ノイズが発生しても精度の良い欠陥検出を行うこと、また暗電流ノイズの増加による撮像ダイナミックレンジの低下をできるだけ防ぐことが可能な撮像装置、該撮像装置によるノイズ除去方法およびノイズ除去プログラムを提供すること。[解決手段]被写体を撮像するための複数の画素を有する撮像手段と、非遮光状態で得られる明時信号を取得する明時信号取得手段と、遮光状態で得られる暗時信号を取得する暗時信号取得手段と、得られる明時信号または暗時信号を増幅する第１の増幅手段と、取得された明時信号から取得された暗時信号を減算して減算信号を出力する減算手段と、減算された減算信号を増幅する第２の増幅手段と、明時信号を取得する際の撮像条件を取得する撮像条件取得手段と、取得した撮像条件に基づいて、第１の増幅手段及び第２の増幅手段のゲインを変更するゲイン補正手段を備える。」と記載されている（要約参照）。

特開２０１０−２７３３７８号公報

例えば一般的なデジタルカメラやデジタルビデオカメラなどの撮像装置には、入射光を光電変換する撮像素子が使用されている。撮像素子には、出力特性が異なる画素や、異常に高い信号を出力する画素、いわゆる画素欠陥（キズ）が存在する。そのため、撮像素子が出力した信号をそのまま用いると画質に悪影響を及ぼす。近年、高画素に用いられているCMOSセンサは、CCDセンサに比べて、顕著にキズがあらわれる。このキズには、撮像素子に起因するもの、撮像素子の光電変換での信号増幅によるものと発生要因が異なっている。また、宇宙線の被曝、温度など、環境変化によってもキズの数、強度は変化する。デジタルカメラやデジタルビデオカメラの高画質化には、これらのキズを補正する手段が必要となる。

このようなキズを補正する一般的なキズ補正技術としては、以下のようなものがある。まずシャッタを閉じた状態で撮影を行い、暗画像をメモリに保存しておき、次にシャッタを開いた状態で通常の撮影を行って明画像を得る。得られた明画像から暗画像を減算することで、キズ補正を実現する。

特許文献１（特開２０１０−２７３３７８号公報）では、ノイズリダクションを行う際、明時信号及び暗時信号及び明時信号から暗時信号を減算した信号のゲインを温度に応じて変更することで暗電流ノイズが発生しても精度のよい欠陥検出を行う撮像装置を提案している。この手法では、明画像の飽和している画素の補正を精度よく行うことができない上に、撮影のたびに暗画像及び明画像の2枚の画像を撮影しなければならず、動画の撮影には適さない。

一方、あらかじめ画素欠陥画素を検出してその画素位置をメモリに覚えておき、周囲の正常な画素の画素値から平均演算などをもちいてその欠陥画素値を推定して補正する方法も知られている。しかしながら、近年、高画素に用いられているCMOSセンサは、欠陥画素がかなり数多くあり、撮像条件によって欠陥画素の発生位置、その強度が異なるため、欠陥画素位置を保持し補正する方法では、欠陥画素となるもの全てを常に補正することになり、画質の劣化をまねく。

そこで、本発明は、特に動画像において、画質を劣化することなく、発生要因の異なるキズを精度よく補正する撮像装置の提供を目的とする。

上記目的を解決するために、特許請求の範囲に記載の構成を採用する。

本発明によれば、発生要因が異なる、つまりゲイン設定、温度、露光時間などによって出現状態が変化するキズを、画質を著しく劣化することなく、精度よく補正することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明における基本構成の一例を説明する図 第１のキズ補正部１０３がキズを検出する方法の一例を説明する図 第１のキズ補正部１０３がキズを補正する方法の一例を説明する図 第２のキズ補正部１０４の基本構成の一例を説明する図 キズを検出する方法の一例を説明する図

以下、本発明の実施形態を図面を用いて説明する。

本発明における実施例について詳細に説明する。図１は、本発明における基本構成の一例を説明する図である。撮像部１０１はズームレンズ及びフォーカスレンズを含むレンズ群や、アイリスや、シャッタや、CCDまたはCMOSなどの撮像素子から構成され、撮像素子に受講した光学像を光電変換し、信号として出力する。利得制御部１０２は、CDSやAGCや、ADコンバータ等から構成され、撮像部１０１からの出力信号を増幅する。第1のキズ補正部１０３および第２のキズ補正部１０４は、撮像部１０１において発生する撮像素子の画素欠陥もしくは撮像素子の光電変換での信号増幅の欠陥を補正するものであり、補正方法は後述する。なお、本実施形態では一例として２つのキズ補正部で構成されているが、キズの発生要因の数だけ２つ以上のキズ補正部で構成されてよく、さらに画質劣化なく精度よくキズ補正を行うことが可能となる。画像信号処理部１０５は、第２のキズ補正部１０４からの画像信号に所定の処理を行い出力する。なお、所定の処理とは、第２のキズ補正部１０４からの画像信号にノイズ除去、ガンマ補正、輪郭強調、フィルタ処理、ズーム処理、手ぶれ補正、画像認識などの画像信号処理及び、ＴＶやストレージなどの出力機器の信号フォーマットに変換する出力インタフェース処理である。出力インタフェース処理とは、例えば、ＮＴＳＣやＰＡＬのビデオ出力に変換するものであり、例えば、ＨＤＭＩ信号に変換するものであり、例えば、ネットワーク伝送のために所定の信号に変換するものである。温度計測部１０５は、撮像素子周辺の温度を計測する。システム制御部１０６は、必要時に温度計測部１０５から得た情報を用いて、撮像部１０１、利得制御部１０２、第1のキズ補正部１０３、第２のキズ補正部１０４、画像信号処理部１０５を制御する。

図２は、第１のキズ補正部１０３がキズを検出する方法の一例を説明する図である。四角格子は撮像素子の画素配列を示しており、通常２×２毎に異なる色フィルタ配列となっており、水平２画素おき、垂直２ラインおきに同一の色フィルタが配列されている。つまり、図２の対象画素に対して、図２の周辺８画素と比較して、対象画素が欠陥画素かどうかを判定する。この対象画素とこの周辺８画素との差分をそれぞれ実施し、その差分がシステム制御部１０６によって設定される閾値より大きいものが、８画素中ｎ画素あった場合に傷と判定する。ここで、ｎはシステム制御部１０６によって設定される。

図３は、第１のキズ補正部１０３がキズを補正する方法の一例を説明する図である。前述の方法などで検出されたキズの位置が、補正対象位置だけでなく、周辺８画素にも存在するかどうかで次のような補間方法を切り替える。キズの位置が、図３の（ａ）のように上下左右十字方向にある場合は、斜め方向の４つの参照画素を補間参照画素としその４つの平均値でキズ画素を補間する。キズの位置が、図３の（ｂ）のように斜め方向にある場合は、上下左右十時方向の４つの参照画素を補間参照画素としその４つの平均値でキズ画素を補間する。キズの位置が、図３の（ｃ）のように斜め方向にある場合は、上下左右十時方向の４つの参照画素を補間参照画素としその４つの平均値でキズ画素を補間する。

図４は、第２のキズ補正部１０４の基本構成の一例を説明する図である。キズ検出部４０１は、撮像装置への電源供給が開始してから出画されるまでの間にキズ検出を行う。キズを検出するには、アイリスを閉じるなどして遮光する必要があるが、例えばビデオカメラでは、ビデオカメラが一度記録可能な状態になってしまうと、遮光する機会がほとんどなくなるため、カメラ起動時にできるだけ多くのキズを検出することが重要となる。キズ位置保持メモリ４０２は、キズ検出部４０１でキズと検出された画素の位置を格納する。キズ補正部４０２は、キズ位置保持メモリからキズ位置情報を読み出し、キズであると情報のある画素に対して、前述の第１のキズ補正部がキズを補正する方法と同様に、キズ画素を補間する。

図４のキズ検出部４０１について、図５を用いて補足説明する。図５は、キズ検出部４０１がキズを検出する方法の一例を説明する図である。横軸は連続する水平方向の画素を表わし、縦軸は各画素の輝度レベルを表わす。本実施例では、図１のシステム制御部１０６によって設定されるキズ検出用閾値と、各画素の輝度レベルを比較し、輝度レベルが閾値よりも大きい場合に、該画素を欠陥画素であると判定し、キズとして検出する。本手法により、いわゆる白キズを検出することができる。本手法は、キズが連続、隣接して発生していても検出が可能である。なお、前述の第１のキズ補正１０３と同様の手法により検出してもよい。

次に図１におけるシステム制御部１０６の動作について、詳細に説明する。システム制御部１０６は、撮影シーンに応じて、露光状態が最適になるように、撮像部１０１の露光時間や利得制御部１０２の信号利得を制御する。暗いシーンでは、露光時間を長く、信号利得を大きくし、明るいシーンでは露光時間を短く、信号利得を小さくして、出力画像の明るさが一定になるようにする。ここで、信号利得を大きくする、つまり光電変換での信号増幅を大きくすると、信号増幅部分の欠陥により、普段発生していなかった画素欠陥が現れ、ゲインに比例してそのキズ信号の大きさは大きくなる。また、信号利得によるものだけでなく、普段発生していなかった画素欠陥が現れる要因として、温度がある。温度が上昇すると、普段発生していなかった画素欠陥が現れ、温度上昇にそのキズ信号の大きさは大きくなる。そこで、システム制御部１０６は、自身が制御している信号利得と温度計測部１０７から得られる温度に従って、信号利得の大きさおよび温度がある値以上であれば、動的に発生するキズが有ると判断し、信号利得の大きさおよび温度からキズの信号レベルを予測して、第１のキズ補正部の画素欠陥検出閾値を信号利得が高い場合は大きく設定し、また、温度が高い場合も大きく設定し、動的に発生するキズを補正する。

また、システム制御部１０６は、撮像装置の起動時に、撮像部１０１からアイリスを閉じるなど遮光した条件で撮像部から映像データを読み出し、第２のキズ補正部にて、所望の閾値を設定して、光電素子自体の欠陥による固定的なキズを検出する。このとき、撮像部１０１の露光時間を長くする、信号利得を大きくする、温度に応じて閾値を制御するなどして、外部要因により動的に発生するキズも同時に検出してもよい。
以上より、本実施形態では、２つ以上の補正手段を持ち、通常発生している光電素子自体の欠陥によるキズ、および、温度、信号利得によって変化する動的なキズを、それぞれに適した補正手段を併用することで、画質を大きく劣化させることなく、精度よく補正することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０１…撮像部、１０２…利得制御部、１０３…第１のキズ補正部、１０４…第２のキズ補正部、１０５…画像信号処理部、１０６…システム制御部、１０７…温度計測部
４０１…キズ検出部、４０２…キズ位置保持メモリ、４０３…キズ補正部

Claims (2)

1. 被写体からの入射光を光電変換し電気信号として出力する撮像素子を含む撮像手段と、
   前記撮像素子からの出力の信号レベルの大きさを制御する信号利得制御手段と、
   前記信号利得制御手段から出力される信号に対し、対象画素とその周辺の８つの同一色フィルタの参照画素との差分がそれぞれ差分閾値より大きいかどうかを判定し、差分が差分閾値より大きい参照画素の数が所望の個数閾値より大きければ、対象画素が欠陥画素であるとみなし、参照画素から所望の補間信号を生成して対象画素と置き換える第１の欠陥画素補正手段と、
   電源投入時に欠陥画素を検出し、その欠陥画素位置情報を保持するメモリを持ち、欠陥画素位置情報から前記第１の欠陥画素補正手段から出力される信号の欠陥画素を決定し、その欠陥画素の周辺画素から補間信号を生成して欠陥画素と置き換える第２の欠陥画素補正手段と、
   前記第２の欠陥画素補正手段から出力される信号から画像信号を生成する画像信号処理手段と、
   前記撮像素子付近の温度を計測する温度計測手段と、
   前記撮像手段、前記信号利得制御手段、前記第１の欠陥画素補正手段、前記第２の欠陥画素補正手段および前記画像信号処理手段を制御するシステム制御手段と、を有し、
   前記システム制御手段は前記第１の欠陥画素補正手段を動的な要因による欠陥画素を補正し、前記第２の欠陥画素補正手段を静的な要因による欠陥画素を補正するように動作させることを特徴とする撮像装置。
2. 請求項１記載の撮像装置において、
   前記システム制御手段は前記信号利得制御手段の利得または前記温度計測手段の温度に応じて、前記差分閾値または前記個数閾値を制御し、
   前記第１の欠陥画素補正手段は、前記システム制御手段により制御された前記差分閾値または前記個数閾値により、前記撮像手段および前記信号利得制御手段において発生する欠陥画素であって、光電変換における信号増幅または温度または利得を要因として位置または個数または大きさが動的に変化する欠陥画素を補正することを特徴とする撮像装置。

Images