JP5424601B2

JP5424601B2 - 撮像装置、撮像方法、及びプログラム

Info

Publication number: JP5424601B2
Application number: JP2008241285A
Authority: JP
Inventors: 耕司久保田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-09-19
Filing date: 2008-09-19
Publication date: 2014-02-26
Anticipated expiration: 2028-09-19
Also published as: JP2010074648A

Description

本発明は、撮像装置、撮像方法、及びプログラムに関し、特に、固定パターンノイズを補正する撮像装置、撮像方法、及びプログラムに関する。

ＣＭＯＳイメージセンサ等の固体撮像素子を用いた撮像装置は、さらなる多画素化、高速撮像、低ノイズ化が要求され、その研究開発が行われている。多くの画素を高速に処理するために単純に処理周波数を上げると、アナログ回路系においてノイズが発生したり、消費電力が増加する。そのため、行方向及び列方向に固体撮像素子が配されて成る撮像素子アレイから各列同時に撮像信号を並列に読み出したり、水平方向の転送を複数のラインで並列に行うなどして、信号読み出し処理を低速で行う手法が用いられている。しかし、製造プロセスにおけるバラツキなどが原因で、その各々のラインの入出力特性にバラツキが生じ、出力画像に縦線をおびた固定パターンノイズが発生してしまう問題がある。

そこで、図１３のように、遮光領域であるＶＯＢ領域を用いてその固定パターンノイズをデジタル値として記憶し、記憶した値を用いて撮像信号の補正を行うことで縦線ノイズの無い画像を得る技術が提案されている（例えば、特許文献１参照）。

図１３は、従来の撮像装置の内部構成を示すブロック図である。

図１３において、撮像装置１３００は、センサアレイ１３０１、Ａ／Ｄ変換器（ＡＤＣ）１３０２、縦線補正回路１３０３、オートゲインコントロール部（ＡＧＣ）１３０４、及びカメラ信号処理回路１３０５を備える。

センサアレイ１３０１は、入射された光から画像信号を出力する有効画素領域と、垂直方向に配された遮光領域であるＶＯＢ領域とを有する。縦線ノイズを含むセンサアレイ１３０１からの出力信号は、ＡＤＣ１３０２でデジタル信号に変更される。線補正回路１３０３は、ＶＯＢから固定パターンノイズを検出して補正値として記憶し、記憶した値を用いて有効画素領域の撮像信号の縦線ノイズを補正する。
特開２０００−２６１７３０号公報

ところが、特許文献１に記載の撮像装置では、縦線ノイズを除去するために、垂直方向の画像信号の読み出しの度にリアルタイムにＶＯＢ領域を用いて補正値を検出して縦線ノイズの補正を行う。そのため、縦線補正回路１３０３のＲＡＭ等のメモリアクセス頻度が増加し、それに伴い消費電力の増加を招く。

本発明の目的は、固定パターンノイズの補正を高精度に行うと共に消費電力の増加を抑えることができる撮像装置、撮像方法、及びプログラムを提供することにある。

上記目的を達成するために、請求項１記載の撮像装置は、垂直方向に配された遮光領域を備えると共に入射された光から画像信号を得る撮像素子を備える撮像装置において、前記画像信号に関するゲインを制御するゲイン制御手段と、前記遮光領域からの信号に基づいて補正値を検出する検出手段と、前記検出された補正値を記憶する記憶手段と、前記記憶された補正値に基づいて前記画像信号を補正する補正手段と、前記ゲイン制御手段のゲイン制御に応じて前記検出手段の補正値の検出周期を制御する制御手段とを備えることを特徴とする。

請求項２記載の撮像装置は、請求項１に記載の撮像装置において、前記制御手段は、前記ゲイン制御手段によるゲイン制御のレベルが第１のレベルのときは、前記ゲイン制御手段によるゲイン制御のレベルが前記第１のレベルより大きい第２のレベルのときに比べて、前記検出手段の補正値の検出周期が長くなるように制御することを特徴とする。

上記目的を達成するために、請求項３記載の制御方法は、垂直方向に配された遮光領域を備えると共に入射された光から画像信号を得る撮像素子を備える撮像装置の制御方法において、前記画像信号に関するゲインを制御するゲイン制御ステップと、前記遮光領域からの信号に基づいて補正値を検出する検出ステップと、前記検出された補正値を記憶する記憶ステップと、前記記憶された補正値に基づいて前記画像信号を補正する補正ステップと、前記ゲイン制御ステップのゲイン制御に応じて前記検出ステップの補正値の検出周期を制御する制御ステップとを備えることを特徴とする。

請求項４記載の制御方法は、請求項３に記載の制御方法において、前記制御ステップは、前記ゲイン制御ステップでのゲイン制御のレベルが第１のレベルのときは、前記ゲイン制御ステップでのゲイン制御のレベルが前記第１のレベルより大きい第２のレベルのときに比べて、前記検出ステップの補正値の検出周期が長くなるように制御することを特徴とする。

上記目的を達成するために、請求項５記載のプログラムは、垂直方向に配された遮光領域を備えると共に入射された光から画像信号を得る撮像素子を備える撮像装置の制御方法をコンピュータに実行させるプログラムにおいて、前記制御方法は、前記画像信号に関するゲインを制御するゲイン制御ステップと、前記遮光領域からの信号に基づいて補正値を検出する検出ステップと、前記検出された補正値を記憶する記憶ステップと、前記記憶された補正値に基づいて前記画像信号を補正する補正ステップと、前記ゲイン制御ステップのゲイン制御に応じて前記検出ステップの補正値の検出周期を制御する制御ステップとを備えることを特徴とする。

請求項６記載のプログラムは、請求項５に記載のプログラムにおいて、前記制御ステップは、前記ゲイン制御ステップでのゲイン制御のレベルが第１のレベルのときは、前記ゲイン制御ステップでのゲイン制御のレベルが前記第１のレベルより大きい第２のレベルのときに比べて、前記検出ステップの補正値の検出周期が長くなるように制御することを特徴とする。

本発明によれば、固定パターンノイズの補正を高精度に行うと共に消費電力の増加を抑えることができる。

以下、本発明の実施の形態を図面を参照しながら詳述する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る撮像装置の内部構成を示すブロック図である。

図１において、撮像装置１００は、センサアレイ１０１、Ａ／Ｄ変換器（ＡＤＣ）１０２、縦線補正回路１０３、オートゲインコントロール部（ＡＧＣ）１０４、カメラ信号処理回路１０５、及びゲイン制御回路１０６を備える。

センサアレイ１０１には、不図示のレンズ系によって被写体から光が入射される。このセンサアレイ１０１は、例えばＣＭＯＳセンサアレイにより構成される。ここでは、後述する図２に示すように、ＣＭＯＳセンサとして、フォトダイオードが行方向及び列方向に多数配されているものとする。

図２は、図１におけるセンサアレイ１０１の構成を示す図である。

図２において、センサアレイ１０１は、フォトダイオード（ＰＤ）２０１、行選択トランジスタ２０２、列選択トランジスタ２０３、列アンプ回路２０４，水平走査回路２０５、垂直走査回路２０６、及び出力回路２０７を備える。

ＰＤ２０１には、被写体から光が入射される。ＰＤ２０１は、入射された光に応じて信号電荷を出力する。ＰＤ２０１からの信号電荷は、水平走査回路２０５及び垂直走査回路２０６により列並列読み出し方式で順次読み出される。この列並列読み出し方式では、列アンプ回路２０４は各列１個であるため、列アンプ回路２０４のオフセットバラツキにより縦線ノイズが発生する。

図１に戻り、センサアレイ１０１から出力されたアナログ信号は、ＡＤＣ１０２でデジタル信号に変換される。縦線補正回路１０３は、列アンプ回路２０４のオフセットバラツキにより生じた縦線ノイズを補正する。

ＡＧＣ１０４は、ゲイン制御を実行して縦線補正回路１０３から出力された画像信号のレベルを一定に制御する。カメラ信号処理回路１０６は、ＡＧＣ１０４から出力された画像信号に各種画像処理を実行する。ゲイン制御回路１０６は、カメラ信号処理回路１０６から出力された画像信号に基づいて、縦線補正回路１０３及びＡＧＣ１０４を制御する。

図３は、図２における列アンプ回路２０４のオフセットバラツキに起因する縦線ノイズの補正について説明する図である。

図３において、センサアレイ１０１は、有効画素領域３０３、及びフォトダイオードが遮光された遮光領域であるＶＯＢ領域３０１を有する。ＶＯＢ領域３０１は、垂直方向に数ライン配される。

縦線補正回路１０３は、ＶＯＢ領域３０１における画像信号から固定パターンノイズを補正値として検出し、この補正値に基づいて有効画素領域３０３の画像信号を補正することにより、列アンプ回路２０４のオフセットバラツキに起因する縦線ノイズ３０２を補正する。

図４は、図１におけるセンサアレイ１０１のセンサ出力のタイミングを示すタイミングチャートである。

図４において、ＶＤ（垂直同期信号）は、垂直方向の読み出しタイミングを制御する信号である。センサアレイ１０１のセンサ出力は、フレーム上部で遮光領域であるＶＯＢ４０１が出力され、続いて有効画素４０２が出力される。ＶＯＢ＿ＥＮ信号４０３は、縦線補正回路１０３で用いる信号であり、ＶＯＢ４０１が出力されている期間にＨＩを示す。

図５は、図１における縦線補正回路１０３の構成を示すブロック図である。

図５において、縦線補正回路１０３は、ＲＡＭ５０２、及び除算回路５０３を備える。ＶＯＢ＿ＥＮ信号４０３によりＲＡＭ５０２のＷｒｉｔｅ＿ｅｎ信号を制御して、補正値を検出してＲＡＭ５０２のデータを更新する。すなわち、ＶＯＢ４０１の出力期間を示すＶＯＢ＿ＥＮ信号４０３がＨＩを示す期間、ＲＡＭ５０２のデータを更新し、ＶＯＢクランプを実施して縦線ノイズを補正する。除算回路５０３は、フレーム平均、及び１フレーム内のＶＯＢクランプ数で除算することにより所望のクランプレベルを求める。

図６は、図１の撮像装置１００におけるＡＧＣレベルとセンサ出力レベルとの関係を示す図である。

図６に示すように、列アンプ回路２０４のオフセットバラツキによる縦線ノイズ３０２の出力レベル６０１はセンサアレイ１０１の出力レベルによらず一定である。そのため、ＡＧＣ１０４のＡＧＣレベルに応じて列アンプ回路２０４のオフセットバラツキに起因する縦線ノイズ３０２が画像に与える影響に差がある。具体的には、ＡＧＣレベルが上昇しない充分な照度ではセンサ出力レベルが大きいため、縦線ノイズ３０２が画質に与える影響は小さい。一方、ＡＧＣレベルが上昇する低照度ではセンサ出力レベルが小さいため、縦線ノイズ３０２が画質に与える影響は大きい。

そこで、第１の実施の形態では、ＡＧＣレベルに応じて補正データ検出のアクセス頻度を変更することで、ＲＡＭ５０２の消費電力の削減を図る。

図７は、図１の撮像装置１００におけるＡＧＣレベルとＶＯＢ補正値検出頻度との関係を示す図である。

図７に示すように、ＡＧＣ１０４のＡＧＣレベルが大きい時、すなわち、センサアレイ１０１のセンサ出力レベルが小さい時には、縦線ノイズ３０２が画質に与える影響が大きい。そのため、縦線補正回路１０３は、補正値検出精度を高めるため、１フレーム毎に補正値を検出する。

一方、ＡＧＣ１０４のＡＧＣレベルが小さい時、すなわち、センサアレイ１０１のセンサ出力信号が大きい時には、縦線ノイズ３０２が画質に与える影響は小さい。そのため、補正値検出精度は低くてもよいので、縦線補正回路１０３は、ｎフレーム毎に補正値を検出する。

このように、補正値検出の頻度をＡＧＣレベルに応じて制御することで、最終的に画質レベルを劣化させることなく、低消費電力化を実現する。

図８は、図１における縦線補正回路１０３の補正値検出のタイミングを示すタイミングチャートである。

図８において、補正値検出＿ＥＮ信号４０４は、ＡＧＣレベル４０６に応じて制御される信号であり、補正値検出頻度を示す信号である。縦線補正回路１０３は、ＶＯＢ＿ＥＮ信号４０３及び補正値検出＿ＥＮ信号４０４が両方ＨＩとなった期間に補正値検出を実行する。

図８では、ＡＧＣレベルが所定値より小さい時（Ｍｉｎ）４０７は、４ＶＤに一回補正値検出を実行し、ＡＧＣレベルが所定値より大きい時（Ｍａｘ）４０８は、毎ＶＤ補正値検出を実行する例を示している。

図９は、図１における縦線補正回路１０３の構成を示すブロック図である。

図９において、ＶＯＢ＿ＥＮ信号４０３と補正値検出＿ＥＮ信号４０４との論理積５０５をとった信号により、ＲＡＭ５０２のＷｒｉｔｅ＿ｅｎ信号を制御して、補正値を検出してＲＡＭ５０２のデータを更新する。

本実施の形態によれば、補正値検出の頻度をＡＧＣレベルに応じて制御するので、固定パターンノイズの補正を高精度に行うと共に消費電力の増加を抑えることができる。

［第２の実施の形態］
図１０は、本発明の第２の実施の形態に係る撮像装置の内部構成を示すブロック図である。

図１０において、撮像装置１１００は、センサアレイ１１０１、Ａ／Ｄ変換器（ＡＤＣ）１１０２、縦線補正回路１１０３、オートゲインコントロール部（ＡＧＣ）１１０４、カメラ信号処理回路１１０５、及び温度検出回路１１０７を備える。

第１の実施の形態では、補正値検出の頻度をＡＧＣレベルに応じて制御していたが、第２の実施の形態では、温度検出回路１１０７で検出したセンサアレイ１１０１の温度変化に応じて補正値検出の頻度を制御することを特徴とする。補正すべき列アンプ回路のオフセット信号は一般的にＣＭＯＳセンサの温度に依存するため、温度検出回路１１０７で検出したセンサアレイ１１０１の温度に一定の変化があったときのみＶＯＢ補正信号の検出を行う。

図１１は、図１０の撮像装置１１００における補正値検出のタイミングを示すタイミングチャートである。

図１１において、センサアレイ１１０１のセンサ出力は、フレーム上部で遮光領域であるＶＯＢ１４０１が出力され、続いて有効画素１４０２が出力される。ＶＯＢ＿ＥＮ信号１４０３は、縦線補正回路１１０３で用いる信号であり、ＶＯＢ１４０１が出力されている期間にＨＩを示す。

補正値検出＿温度＿ＥＮ信号１４０９は、センサアレイ１１０１の温度変化に応じて制御される信号であり、補正値検出頻度を示す信号である。縦線補正回路１０３は、ＶＯＢ＿ＥＮ信号１４０３及び補正値検出＿温度＿ＥＮ信号１４０９が両方ＨＩとなった期間に補正値検出を実行する。

図１１では、温度検出回路１１０７で検出したセンサアレイ１１０１の温度１４１０に変化がある時は、毎ＶＤ補正値検出を実行し、温度検出回路１１０７で検出したセンサアレイ１１０１の温度１４１０が一定の時は、補正値検出を実行しない例を示している。
図１２は、図１０における縦線補正回路１１０３の構成を示すブロック図である。

図１２において、縦線補正回路１１０３は、ＲＡＭ１５０２、及び除算回路１５０３を備える。ＶＯＢ＿ＥＮ信号１４０３と補正値検出＿ＥＮ信号１４０９との論理積１５０５ｃをとった信号でＲＡＭ１５０２のＷｒｉｔｅ＿ｅｎ信号を制御して、補正値を検出してＲＡＭ１５０２のデータを更新する。

本実施の形態によれば、補正値検出の頻度をセンサアレイの温度変化に応じて制御するので、固定パターンノイズの補正を高精度に行うと共に消費電力の増加を抑えることができる。

また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。

本発明の第１の実施の形態に係る撮像装置の内部構成を示すブロック図である。図１におけるセンサアレイ１０１の構成を示す図である。図２における列アンプ回路２０４のオフセットバラツキに起因する縦線ノイズの補正について説明する図である。図１におけるセンサアレイ１０１のセンサ出力のタイミングを示すタイミングチャートである。図１における縦線補正回路１０３の構成を示すブロック図である。図１の撮像装置１００におけるＡＧＣレベルとセンサ出力レベルとの関係を示す図である。図１の撮像装置１００におけるＡＧＣレベルとＶＯＢ補正値検出頻度との関係を示す図である。図１における縦線補正回路１０３の補正値検出のタイミングを示すタイミングチャートである。図１における縦線補正回路１０３の構成を示すブロック図である。本発明の第２の実施の形態に係る撮像装置の内部構成を示すブロック図である。図１０の撮像装置１１００における補正値検出のタイミングを示すタイミングチャートである。図１０における縦線補正回路１１０３の構成を示すブロック図である。従来の撮像装置の内部構成を示すブロック図である。

符号の説明

１０１センサアレイ
１０２Ａ／Ｄ変換器（ＡＤＣ）
１０３縦線補正回路
１０４オートゲインコントロール部（ＡＧＣ）
１０５カメラ信号処理回路
１０６ゲイン制御回路

Claims

垂直方向に配された遮光領域を備えると共に入射された光から画像信号を得る撮像素子を備える撮像装置において、
前記画像信号に関するゲインを制御するゲイン制御手段と、
前記遮光領域からの信号に基づいて補正値を検出する検出手段と、
前記検出された補正値を記憶する記憶手段と、
前記記憶された補正値に基づいて前記画像信号を補正する補正手段と、
前記ゲイン制御手段のゲイン制御に応じて前記検出手段の補正値の検出周期を制御する制御手段とを備えることを特徴とする撮像装置。
前記制御手段は、前記ゲイン制御手段によるゲイン制御のレベルが第１のレベルのときは、前記ゲイン制御手段によるゲイン制御のレベルが前記第１のレベルより大きい第２のレベルのときに比べて、前記検出手段の補正値の検出周期が長くなるように制御することを特徴とする請求項１に記載の撮像装置。
垂直方向に配された遮光領域を備えると共に入射された光から画像信号を得る撮像素子を備える撮像装置の制御方法において、
前記画像信号に関するゲインを制御するゲイン制御ステップと、
前記遮光領域からの信号に基づいて補正値を検出する検出ステップと、
前記検出された補正値を記憶する記憶ステップと、
前記記憶された補正値に基づいて前記画像信号を補正する補正ステップと、
前記ゲイン制御ステップのゲイン制御に応じて前記検出ステップの補正値の検出周期を制御する制御ステップとを備えることを特徴とする制御方法。
前記制御ステップは、前記ゲイン制御ステップでのゲイン制御のレベルが第１のレベルのときは、前記ゲイン制御ステップでのゲイン制御のレベルが前記第１のレベルより大きい第２のレベルのときに比べて、前記検出ステップの補正値の検出周期が長くなるように制御することを特徴とする請求項３に記載の制御方法。
垂直方向に配された遮光領域を備えると共に入射された光から画像信号を得る撮像素子を備える撮像装置の制御方法をコンピュータに実行させるプログラムにおいて、前記制御方法は、
前記画像信号に関するゲインを制御するゲイン制御ステップと、
前記遮光領域からの信号に基づいて補正値を検出する検出ステップと、
前記検出された補正値を記憶する記憶ステップと、
前記記憶された補正値に基づいて前記画像信号を補正する補正ステップと、
前記ゲイン制御ステップのゲイン制御に応じて前記検出ステップの補正値の検出周期を制御する制御ステップとを備えることを特徴とするプログラム。
前記制御ステップは、前記ゲイン制御ステップでのゲイン制御のレベルが第１のレベルのときは、前記ゲイン制御ステップでのゲイン制御のレベルが前記第１のレベルより大きい第２のレベルのときに比べて、前記検出ステップの補正値の検出周期が長くなるように制御することを特徴とする請求項５に記載のプログラム。