JP5993124B2

JP5993124B2 - 撮像装置

Info

Publication number: JP5993124B2
Application number: JP2011227330A
Authority: JP
Inventors: 直人大原
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2011-10-14
Filing date: 2011-10-14
Publication date: 2016-09-14
Anticipated expiration: 2031-10-14
Also published as: JP2013090066A

Description

本発明は、温度変化に対する画像の劣化を低減化させることが可能な撮像装置に関するものである。

画角の固定された撮影光学系を用いて静止画像または動画像を撮像する監視カメラ、車載カメラ、および画像検査装置などに用いられる撮像装置が知られている。このような撮像装置ではボケの少ない画像の取得と同時に小型化を図ることが求められている。撮像装置全体の中で撮影光学系が占める体積は大きく、撮影光学系の小型化が撮像装置全体の小型化に寄与する。撮影光学系の小型化にはレンズの枚数を減少させることが効果的である。

収差を低減化しながら、撮影光学系を構成するレンズの数を減らすために、非球面レンズを用いることが提案されている。非球面レンズは通常樹脂によって形成される。しかし、樹脂は温度変化がガラスに比べて大きいため、樹脂製のレンズのパワーは温度によって比較的大きく変動する。それゆえ、樹脂製のレンズを含む撮影光学系では、温度変化によって画像にボケが強くなることがあった。特に、上述のような撮像装置は、広い温度範囲で使用されることが想定されるため、温度変化に対する画像のボケの変動を抑えることも望まれている。

そこで、撮影光学系全体の温度に対するパワーの変動を抑えるために、樹脂により形成した凸レンズと凹レンズを組合せることが提案されている（特許文献１参照）。

特開２００９−００８８６７号公報

しかし、凸レンズと凹レンズとの２枚の樹脂性レンズを撮影光学系に必ず含めなければならないため、撮影光学系の設計に大きな制約が生じ、且つレンズの枚数を減らすことが困難となった。

したがって、かかる事情に鑑みてなされた本発明の目的は、レンズの枚数などの撮影光学系の設計の制約を増加させることなく、温度変化に対してボケの増加を抑えた画像を取得することが可能な撮像装置を提供することにある。

上述した諸課題を解決すべく、本発明による撮像装置は、
有効露光領域と非露光領域とを有し、有効露光領域および非露光領域には受光量に応じた画素信号を生成する複数の画素が２次元状に配置され、画素信号は画素の温度に応じたノイズ成分を含み、有効露光領域に配置された複数の画素により有効露光領域上に形成される光学像に対応する画像信号が生成され、非露光領域に配置された前記画素には光が入射しないように構成され、非露光領域に配置された画素からノイズ信号として画素信号が生成される撮像素子と、
撮像素子の近傍に設けられ、有効露光領域上に被写体の光学像を非点収差の発生を抑制するように形成させる撮影光学系と、
ノイズ信号に基づいて撮影光学系の温度を推定し、推定された撮影光学系の温度に応じたボケ低減化フィルタを用いて有効露光領域上に形成される光学像のボケを低減化させるボケ低減化処理を、画像信号に施す画像処理部とを備え、
撮影光学系が所定の温度である場合に有効露光領域上に形成される光学像に含まれるボケを低減化させる基準フィルタのフィルタ要素に、推定された撮影光学系の温度と所定の温度との差分の絶対値である差分温度に単位温度変化に対して変化させるべきフィルタ要素を有する温度調整フィルタを乗じた積を加えて変化させたボケ低減化フィルタがボケ低減化処理に用いられる
ことを特徴とするものである。

上記のように構成された本発明に係る撮像装置によれば、ノイズ信号に基づいて撮影光学系の温度を推定し、推定した温度に応じたボケ低減化フィルタを用いて光学像のボケを低減化させるので、撮影光学系の構成に大きな制約を加えることなく、温度変化に対してボケの増加を抑えた画像を取得することが可能である。

本発明の一実施形態に係る撮像装置の構成を模式的に示すブロック図である。撮影光学系のイメージサークルと撮像素子の全受光領域の重なりを示す図である。ゲインおよび温度に起因するノイズ成分それぞれと、ゲインおよび温度の関係を示すグラフである。基準フィルタの各要素を示す図である。温度調整フィルタの各要素を示す図である。画像処理部により行われるボケ低減化処理を示すフローチャートである。温度変化に伴い非点収差が発生する場合に、温度変化による点像強度分布の変化を示す図である。

以下、本発明を適用した撮像装置の実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係る撮像装置の構成を概略的に示すブロック図である。撮像装置１０は、例えば監視カメラであって、撮影光学系１１、撮像素子１２、ＡＦＥ１３、画像処理部１４、タイミングコントローラ１５、モニタ１６、およびメモリ１７などを含んで構成される。

撮影光学系１１を構成する複数のレンズ１８は固定されており、焦点距離が固定される。また、所定の距離範囲の被写体を合焦させる位置も固定される。観察対象となる被写体の想定され得る位置と撮像装置との距離範囲が、所定の距離範囲に定められる。このように、各レンズ１８の位置が固定された撮影光学系１１は、撮像素子１２に対して実質的に単一の点拡がり関数（ＰＳＦ）を物性として有する。

撮影光学系１１は、水平画角が１８０°以上の円周魚眼レンズとなるように、且つ温度変化に対して非点収差を発生させないように、複数のレンズ１８と絞り１９とによって構成される。さらに、撮影光学系１１には、パワーの符号が非球面において変化しない非球面レンズ１８が含まれ、パワーの符号が非球面において変化する、例えばガルウイングレンズが含まれないように構成される。

撮影光学系１１は撮像素子１２に結合される。なお、所定の距離範囲にある被写体の撮影光学系１１による合焦位置に、撮像素子１２は配置される。

撮影光学系１１は被写体像を結像し、撮像素子１２の受光面上に被写体の光学像を形成する。前述のように、撮影光学系１１は水平画角が１８０°以上の円周魚眼レンズなので、図２に示すように、撮影光学系１１のイメージサークルｉｃの直径が、撮像素子１２の全受光領域ｗａの対角線長より小さい。

イメージサークルｉｃと全受光量域ｗａとが重なる領域が、有効露光領域ｅａに定められる。有効露光領域ｅａには、撮影光学系１１により結像される被写体像が到達する。一方、全受光領域ｗａ内であってイメージサークルｉｃの外部の領域が、非露光領域ｎｅａに定められる。非露光領域ｎｅａには、撮影光学系１１を透過した光は実質的に到達しない。すなわち非露光領域ｎｅａにおいては、受光量は実質的にゼロである。

全受光領域ｗａには、複数の画素が二次元状に配置される。各画素は露光時間中の累積受光量に応じた画素信号を生成する。

画素信号には、画素の温度に応じたノイズ成分が混入する。したがって、受光量がゼロである場合の画素信号は、ノイズ成分に相当する。それゆえ、非露光領域ｎｅａに配置された画素が生成する画素信号は、ノイズ成分に実質的に等しい。

各画素信号は順番に撮像素子１２からＡＦＥ１３に送信される。ＡＦＥ１３は画像信号にＣＤＳ処理、増幅処理、およびＡ／Ｄ変換処理を施す。なお、増幅処理におけるゲインは自動または手動で調整可能である。Ａ／Ｄ変換処理の施された画像信号は画像処理部１４に送信される。

画像処理部１４は、タイミングコントローラ１５から画像処理部１４に送信される同期信号に基づいて、各画素信号を出力した画素が有効露光領域ｅａおよび非露光領域ｎｅａのいずれに配置されているかを認識する。

有効露光領域ｅａに配置された全画素が生成する画素信号によって、１フレームの画像信号は構成される。また、非露光領域ｎｅａに配置された画素が生成する画素信号は、以後の処理においてノイズ信号として用いられる。

画像処理部１４は、黒レベル調整、ホワイトバランス処理、ガンマ補正処理、および後に詳細に説明するボケ低減化処理などの所定の画像処理を画像信号に施す。黒レベル調整およびボケ低減化処理にノイズ信号が用いられる。

所定の画像処理の施された画像信号は、モニタ１６に送信される。モニタ１６は、画像信号に相当する画像を表示する。また、所定の画像処理の施された画像信号は、メモリ１７に送信される。メモリ１７は画像信号を格納する。

次に、画像処理部１４が実行するボケ低減化処理について、以下に詳細に説明する。ボケ低減化処理では、ノイズ信号に基づく撮影光学系１１の温度の推定、温度に応じたボケ低減化フィルタの算出、およびボケ低減化フィルタによるボケの低減化が実行される。

前述のように、ノイズ信号は撮影光学系１１の温度によって変動する。また、画像処理部１４が受信するノイズ信号はＡＦＥ１３によって可変のゲインによって増幅されている。そこでノイズ信号からゲインの要因を除去することにより、画像処理部１４は撮像素子１２の温度を算出する。

本実施携帯では、ゲインに起因するノイズ成分とゲインとの関係式（図３（ａ）参照）が予め算出され、メモリ１７に格納される。画像処理部１４は、ゲインの設定情報を取得し、メモリ１７から関係式を読出す。画像処理部１４は、読み出した関係式および取得した設定情報に基づいて、ゲインに起因するノイズ成分を算出する。

ゲインに起因するノイズ成分を算出すると、画像処理部１４はノイズ信号から算出したノイズ成分を減じることにより、温度に起因するノイズ成分を算出する。

温度に起因するノイズ成分と温度との関係式（図３（ｂ）参照）は予め算出され、メモリ１７に格納される。画像処理部１４はメモリ１７から関係式を読出して、算出された温度に起因するノイズ成分から温度を算出する。

なお、温度は他の方法によって算出されてもよい。例えば、ノイズ信号の信号強度およびゲインに基づく温度の計算式を予め求め、メモリ１７に格納し、画像処理部１４はメモリ１７から計算式を読出し、温度を算出する。または、ノイズ信号の信号強度およびゲインに対する予め作成したルックアップテーブルをメモリ１７に格納し、ノイズ信号およびゲインに基づいて、画像処理部１４がメモリ１７から対応する温度を読出してもよい。

ノイズ信号により算出されるのは、撮像素子１２の温度である。そこで、画像処理部１４は撮像素子１２の温度から撮影光学系１１の温度を推定する。撮像素子１２と撮影光学系１１は同じ空間内で近接しているので、本実施形態では、撮像素子１２の温度を撮影光学系１１の温度であると推定する。なお、撮像素子１２と撮影光学系１１との温度の対応関係を予め測定しておき、その組合せに基づいて撮影光学系１１の温度を推定してもよい。

撮影光学系１１の温度を推定すると、次に、推定した温度に基づいてボケ低減化フィルタを算出する。ボケ低減化フィルタの算出について以下に説明する。

撮像素子１２の受光面に形成される光学像には、撮影光学系１１のＰＳＦに応じたボケが発生する。そこで、ＰＳＦに対応するように予め作成されたボケ低減化フィルタを用いて、画像信号にデコンボリューション処理をボケ低減化処理として施すことにより、ボケを低減化し、元の光学像を復元することが可能である。

前述のように、撮影光学系１１は撮像素子１２に対して単一のＰＳＦを有する。ただし、撮像装置１０の周囲の温度変化により、撮影光学系１１を構成するレンズ１８、特に樹脂製のレンズの厚みおよび／または間隔が変動することがある。このようなレンズの厚みおよび／または間隔の変動により、バックフォーカス、すなわち撮影光学系１１による光学像の合焦位置が変動する。例えば、高温ではバックフォーカスは長く、低温ではバックフォーカスは短い。

合焦位置の変動に対して撮影光学系１１に対する撮像素子１２の位置が固定されているので、撮影光学系１１のＰＳＦが変動する。それゆえ、本実施形態では、温度に応じたボケ低減化フィルタがデコンボリューション処理に用いられる。

本実施形態では、所定の基準温度、例えば２０℃における撮影光学系１１のＰＳＦが予め求められ、基準温度のＰＳＦに対応する基準フィルタが作成される。例えば、図４のように３行３列の各要素を有する行列が基準フィルタとして予め作成される。

また、所定の基準温度から１℃変化させた２１℃における撮影光学系１１のＰＳＦも予め求められ、基準温度から１℃変化させた温度のＰＳＦに対応するフィルタが作成される。このフィルタから基準フィルタを減じることにより、例えば、図５に示す、温度調整フィルタが予め作成される。

基準フィルタ、温度調整フィルタ、および基準温度は予めメモリ１７に格納される。画像処理部１４は、撮影光学系１１の温度を推定すると、基準フィルタ、温度調整フィルタ、および基準温度をメモリ１７から読出し、ボケ低減化フィルタを算出する。ボケ低減化フィルタｈは、推定された温度ｔ_ｇ、基準温度ｔ_ｓ、基準フィルタｈ_ｓ、および温度調整フィルタｈ_ｔを用いて、以下の（１）式によって算出される。

ｈ＝ｈ_ｓ＋｜ｔ_ｇ−ｔ_ｓ｜×ｈ_ｔ（１）

ボケ低減化フィルタが算出されると、画像処理部１４は画像信号を構成する各画素に対してボケ低減化フィルタを用いてデコンボリューション処理を施す。

次に、図６のフローチャートを用いて、画像の撮影時に画像処理部１４が実行するボケ低減化処理について説明する。画像処理は画像処理部１４がＡＦＥ１３から画像信号を受信するときに開始する。

ステップＳ１０１において、画像処理部１４は、ノイズ信号と、設定されているゲインを撮影条件として取得する。ノイズ信号と撮影条件とを取得すると、ステップＳ１０２に進む。

ステップＳ１０２では、画像処理部１４は、メモリ１７から読出したゲインとノイズ成分との関係式およびステップＳ１０１において取得したゲインとに基づいて、ゲインに起因するノイズ成分を算出する。ノイズ成分を算出すると、ステップＳ１０３に進む。

ステップＳ１０３では、画像処理部１４は、ステップＳ１０１において取得したノイズ信号から、ステップＳ１０２で算出したノイズ成分を減じることにより、温度に起因するノイズ成分を算出する。ノイズ成分を算出すると、ステップＳ１０４に進む。

ステップＳ１０４では、画像処理部１４は、メモリ１７から読出した温度とノイズ成分との関係式およびステップＳ１０３において算出した温度に起因するノイズ成分に基づいて、撮像素子１２の温度を算出する。さらに、画像処理部１４は撮像素子２１の温度に基づいて、撮影光学系１１の温度を推定する。撮影光学系１１の温度を推定すると、ステップＳ１０５に進む。

ステップＳ１０５では、画像処理部１４は、メモリ１７から読出した基準フィルタ、温度調整フィルタ、および基準温度と、ステップＳ１０４において推定した撮影光学系１１の温度を用いて、ボケ低減化フィルタを算出する。ボケ低減化フィルタを算出すると、ステップＳ１０６に進む。

ステップＳ１０６では、画像処理部１４は、ステップＳ１０５で算出したボケ低減化フィルタを用いて、画像信号を構成する各画素信号にデコンボリューション処理を施す。デコンボリューション処理の終了時に、ボケ低減化処理を終了する。

以上のような構成の本実施形態の撮像装置によれば、撮影光学系１１を構成するレンズ１８の数を減らすことを可能にしながら、温度変化に対するボケの増加を抑えた画像を作成することが可能である。

さらに、本実施形態では、基準フィルタ、温度調整フィルタ、基準温度、および推定した温度に基づいて、ボケ低減化フィルタを算出している。それゆえ、撮影光学系１１の温度毎のボケ低減化フィルタの作成およびメモリ１７への格納が不要である。

周囲温度によらず、画像のボケを低減化させるためには、撮影光学系１１の温度に応じたボケ低減化フィルタを用いて、デコンボリューション処理を施す必要がある。監視カメラは屋外を含む様々な場所に固定され、長期間に亘って対象領域を撮影するように用いられる。それゆえ、要求される温度範囲は広く、例えば−４０℃〜１２０℃の範囲である。

要求される温度範囲を分割し、分割された分割範囲毎のボケ低減化フィルタを作成し、推定された温度の属するボケ低減化フィルタを用いてデコンボリューション処理を施すことが考えられる。

このような構成では、分割数を多くするほど、温度変化による画像の劣化を高い精度で低減化可能であるが、大きな容量のメモリ１７が必要となる。一方で、分割数を少なくするほど、必要となるメモリ１７の容量は少なくなるが、温度変化による画像劣化の低減化の精度が低下する。しかし、本実施形態の構成によれば、画像劣化の低減化の精度を向上させながら、要求されるメモリ１７の容量を小さくすることが可能である。

なお、本実施形態では基準温度から高温側でも低温側でも温度変化が同じであれば、ＰＳＦの変化は等しい、それゆえ、基準温度からの温度変化値が等しければ、例えば温度が０°と４０℃の場合、ボケ低減化処理の前の画像のボケは同等であり、同じ要素を有するボケ低減化フィルタを用いて同等のボケの低減化が可能である。

また、本実施形態では、撮影光学系１１の被写界深度が深いので、撮像装置１０から被写体の距離によらず、メモリ１７に格納するフィルタの数を減らすことが可能である。

被写界深度が浅い場合には、主要な被写体との距離に応じて点像強度分布が大きく変化する。すなわち、撮影光学系１１は距離に応じたＰＳＦを要する。したがって、被写界深度が浅い場合には、被写体の距離毎および温度毎のボケ低減化フィルタを用いる必要があり、記憶容量の大きなメモリ１７が必要となる。

一方、本実施形態では、撮影光学系１１の画角が広いので被写界深度が深く、距離毎のボケ低減化フィルタの数を減らすことが可能である。特に、本実施形態のように１８０°以上の広角である場合には、点像強度分布は距離変化によっては実質的に変わらないので、何れの距離に対しても、撮影光学系１１は実質的に同一のＰＳＦを有しているとみなせる。それゆえ、温度変化のみに対して要素が変化するボケ低減化フィルタを用いて、画像の劣化を防止することが可能である。

また、本実施形態では、温度変化に対して非点収差を発生しないように撮影光学系１１が形成されるので、メモリ１７に格納するフィルタの数を減らすことが可能である。

温度変化に対して非点収差が発生すると、図７に示すように、低温側と高温側との間で点像強度分布の形状が大きく変動する。したがって、本実施形態のように、基準フィルタと温度調整フィルタとに基づいてボケ低減化フィルタを算出することが出来ないので、温度毎に作成されたボケ低減化フィルタをメモリ１７に格納する必要がある。

さらに、非点収差がある場合には、高温側と低温側とで点像強度分布の形状が異なるので、高温側の温度変化および低温側の温度変化に応じたボケ低減化フィルタを用いる必要がある。それゆえ、単一の基準温度からの温度変化の絶対値に応じた単一のボケ低減化フィルタを高温側と低温側とで共用することは出来ない。

一方、本実施形態では、非点収差がないので、高温側も低温側も点像強度分布の形状が実質的に等しい。それゆえ、基準温度からの温度変化の絶対値に応じた単一のボケ低減化フィルタを、基準温度からの変化が高温側であっても低温側であっても共用することができる。それゆえ、撮影光学系１１の温度領域毎のボケ低減化フィルタを予め作成する構成であっても、メモリ１７に格納するボケ低減化フィルタの数を非点収差がある場合に比べて、略半減させることが可能である。

特に、本実施形態では、ガルウイングレンズのように、非球面におけるパワーの符号が面の場所によって変化するレンズが用いられない。このような構成により、温度変化に伴う非点収差の発生を抑えた撮影光学系１１を構成することが可能である。

また、本実施形態によれば、焦点距離も合焦位置も固定されているので、メモリ１７に格納するフィルタの数を減らすことが可能である。焦点距離および合焦位置が変わる場合には、焦点距離、合焦位置、および撮影光学系１１の温度の組合せに応じたボケ低減化フィルタが必要であり、そのフィルタの数は固定焦点距離および固定合焦位置の場合に比べて極めて多くなる。それゆえ、記憶容量の極めて大きなメモリ１７が必要となる。

また、本実施形態では、ノイズ信号によって撮影光学系１１の温度を推定するので、温度センサなどを別に設けなくてよい。温度センサが不要なので、撮像装置の大型化を防ぐことが可能である。

また、本実施形態では、ゲインに起因するノイズ成分を減じたノイズ信号を用いて撮像素子１２の温度を算出するので、ゲインが変動しても温度の算出精度を高く維持することが可能である。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

例えば、上記実施形態において、撮影光学系１１のイメージサークルｉｃが撮像素子１２の全受光領域ｗａより小さくなるように、撮影光学系１１および撮像素子１２のサイズまたは配置を定めることにより非露光領域ｎｅａを設ける構成である。しかし、他の方法により非露光領域ｎｅａを設けてもよい。例えば、非露光領域ｎｅａの表面をアルミニウムなどの遮光膜で覆うことにより、光が入射しない画素を形成することも可能である。

また、上記実施形態において、画像処理部１４は（１）式によりボケ低減化フィルタを算出する構成であるが、基準温度からの温度変化によって基準フィルタの各要素を変動させる他のいかなる構成によっても、ボケ低減化フィルタを算出することは可能であり、本実施形態と同様の効果を得ることは可能である。

１０撮像装置
１１撮影光学系
１２撮像素子
１３ＡＦＥ
１４画像処理部
１５タイミングコントローラ
１６モニタ
１７メモリ
１８レンズ
ｅａ有効露光領域
ｉｃイメージサークル
ｎｅａ非露光領域
ｗａ全受光領域

Claims

有効露光領域と非露光領域とを有し、前記有効露光領域および非露光領域には受光量に応じた画素信号を生成する複数の画素が２次元状に配置され、前記画素信号は前記画素の温度に応じたノイズ成分を含み、前記有効露光領域に配置された複数の前記画素により有効露光領域上に形成される光学像に対応する画像信号が生成され、前記非露光領域に配置された前記画素には光が入射しないように構成され、前記非露光領域に配置された前記画素からノイズ信号として前記画素信号が生成される撮像素子と、
前記撮像素子の近傍に設けられ、前記有効露光領域上に被写体の光学像を非点収差の発生を抑制するように形成させる撮影光学系と、
前記ノイズ信号に基づいて前記撮影光学系の温度を推定し、推定された前記撮影光学系の温度に応じたボケ低減化フィルタを用いて前記有効露光領域上に形成される光学像のボケを低減化させるボケ低減化処理を、前記画像信号に施す画像処理部とを備え、
前記撮影光学系が所定の温度である場合に前記有効露光領域上に形成される光学像に含まれるボケを低減化させる基準フィルタのフィルタ要素に、前記推定された前記撮影光学系の温度と前記所定の温度との差分の絶対値である差分温度に単位温度変化に対して変化させるべきフィルタ要素を有する温度調整フィルタを乗じた積を加えて変化させた前記ボケ低減化フィルタが前記ボケ低減化処理に用いられる
ことを特徴とする撮像装置。
請求項１に記載の撮像装置であって、前記撮像素子に対する前記撮影光学系の合焦位置が前記撮影光学系の温度に応じて変動することにより、ボケ度合いが変動する前記ボケを低減化させるように、前記ボケ低減化フィルタのフィルタ要素が変えられることを特徴とする撮像装置。
請求項１または請求項２に記載の撮像装置であって、前記撮影光学系を構成する複数のレンズの中で非球面レンズの非球面においてパワーの符号が同じであることを特徴とする撮像装置。
請求項１から請求項３のいずれか１項に記載の撮像装置であって、
前記画像信号および前記ノイズ信号を増幅する増幅率は調節可能であり、
前記画像処理部は、前記ノイズ信号に含まれる前記増幅率に応じたノイズ成分を除去することにより、前記撮影光学系の温度を推定する
ことを特徴とする撮像装置。
請求項１から請求項４のいずれか１項に記載の撮像装置であって、前記撮影光学系のイメージサークルを、前記撮像素子の全受光量域より小さくすることにより、前記撮像素子に前記有効露光領域と前記非露光領域を設けることを特徴とする撮像装置。
請求項１から請求項５のいずれか１項に記載の撮像装置であって、前記撮影光学系は魚眼レンズであることを特徴とする撮像装置。