JP4874864B2

JP4874864B2 - 撮像装置

Info

Publication number: JP4874864B2
Application number: JP2007122685A
Authority: JP
Inventors: 幸広谷添
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2006-05-08
Filing date: 2007-05-07
Publication date: 2012-02-15
Anticipated expiration: 2027-05-07
Also published as: JP2007329905A

Description

本発明は、撮像素子等で発生するランダムノイズを抑圧する機能を有する撮像装置に関する。

撮像素子の一例であるＣＣＤイメージセンサは、マトリクス状に配置された光電変換素子と、光電変換素子から出力される電荷を転送する転送部と、転送部により転送された電荷の電圧を増幅し画像信号を出力するアンプとを備えている。

現在、デジタルスチルカメラやビデオカメラで広く用いられている撮像素子は、小型化、高画素数化が進んだことにより、１つの光電変換素子で蓄積可能な電荷量が減少している。蓄積電荷量が減少すると画像の感度が低下するが、アンプにおける増幅度を上げて感度を上昇させている。しかし、アンプにおける増幅度を上昇させると、光電変換素子から出力される電荷に含まれるノイズ成分も増幅されてしまう。増幅されたノイズ成分は、画像上にランダムノイズとして現れ、画像のＳ／Ｎ比を悪化させてしまう。以下、ランダムノイズを抑圧する技術について説明する。

〔１．２次元フィルタを用いたローパスフィルタ処理〕
ランダムノイズを抑圧する技術としては、既に様々な方法が提案されている。例えば、特許文献１には、２次元フィルタを用いたローパスフィルタ処理を行うことでランダムノイズを抑圧する方法が開示されている。

図１６は、２次元フィルタを用いたランダムノイズ抑圧回路の構成を示す。入力端子４１から画像データが入力されると、同時化部４２は、対象画素とその上下左右斜め方向に隣接する８画素（周辺画素）を同時化する。同時化部４２で同時化された画像データは、減算部４３１〜４３８に出力される。

図１７は、同時化部４２における同時化の概念を示す模式図であり、撮像素子における画素の２次元的配列を、模式的に示している。対象画素をａ_i,jとしたときに、周辺画素ａ_i-1,j-1、ａ_i-1,j、ａ_i-1,j+1、ａ_i,j-1、ａ_i,j+1、ａ_i+1,j-1、ａ_i+1,j、およびａ_i+1,j+1は、対象画素と同時に読み出されるわけではないので、対象画素に対して周辺画素がすべて読み出された後で、これらを同時化して減算部４３１〜４３８に出力する。

図１６において、減算部４３１〜４３８は、対象画素と周辺画素の差分値を計算して、相関検出部４４１〜４４８に出力する。相関検出部４４１〜４４８は、対象画素と周辺画素の相関の有無を検出して計数部４５に出力する。例えば、減算部４３１〜４３８から出力された差分値の絶対値が閾値より小さければ、「相関がある」と判断する。なお、以下の説明において、周辺画素のうち対象画素に対して相関があると判断された画素を「相関画素」と称し、対象画素に対して相関が無いと判断された画素を「非相関画素」と称する。

計数部４５は、相関画素を特定し、特定した相関画素の情報を選択部４６に通知する。また、計数部４５は、相関画素の個数を数値発生部４９に出力する。

選択部４６は、同時化部４２の出力のうち、非相関画素の値を「０」に置き換えて、加算部４７に出力する。

加算部４７は、選択部４６の出力を加算し、除算部４８に出力する。

数値発生部４９は、計数部４５から出力される相関画素の個数に「１」を加算し、加算後の個数を除算部４８に出力する。

除算部４８は、加算部４７の出力を数値発生部４９から出力される個数で除算して出力端子５０に出力する。ここで、数値発生部４９の出力は、加算部４７で加算された画素の数になるので、除算部４８の出力は、対象画素と相関画素との加算平均値となる。

以上の処理により、相関検出部４４１〜４４８で設定されている閾値よりも振幅の小さいランダムノイズが抑圧された出力が得られる。また、被写体のエッジ等が相関検出部４４１〜４４８で設定されている閾値よりも大きければ、２次元フィルタを用いたローパスフィルタ処理がなされないので、画像のエッジ等が暈けることを防止できる。

〔２．画素混合読み出し方法〕
特許文献２には、撮像素子上で画素の値を加算した後に読み出す画素混合読み出し方法が開示されている。

図１８は、各画素が画素混合読み出し方法で読み出される際の画素の組み合せの例を示した模式図である。画素混合読み出し方法は、画素６１〜６６（対象画素）を中心に上下左右斜め方向に２画素離れた画素（全部で８画素）が加算された後に、読み出される。例えば、画素６１を対象画素とした場合、周辺画素６１ａ〜６１ｈの８つの画素が画素６１に加算された後に、画素６１の画素信号として読み出される。画素６２〜６６についても同様に処理されて、画素信号として読み出される。

このような画素混合読み出し方法により、ランダムノイズが抑圧された画像信号を得ることができる。また、撮像素子から、画素が間引かれて読み出されるため、読み出す画素数が減少し、高速に読み出せるという利点がある。

〔３．巡回型ノイズ低減方法〕
特許文献３には、フレームメモリを用いた巡回型ノイズ低減方法が開示されている。

図１９は、フレームメモリを用いた巡回型ノイズ低減回路の例を示すブロック図である。減算器７５は、入力端子７１から入力された画像データと、フレームメモリ７９から読み出された１フレーム前の画像データとの差分値を算出して、減衰部７７に出力する。減衰部７７は、減算器７５から出力される画像データを非線形処理して減衰させる。

図２０は、減衰部７７の入出力特性を示す図である。減衰部７７は、入力端子７１から入力される画像データと１フレーム前の画像データとの差分値の絶対値が閾値Ｔｈより小さい場合は、出力は１／２に減衰される。また、差分値の絶対値が閾値Ｔｈを超えると、減衰部７７の出力はより大きく減衰される。また、差分値の絶対値が閾値Ｔｈ２を超えると、減衰部７７の出力は０になる。

減衰部７７から出力される画像データは、減算器７６に入力される。減算器７６は、入力端子７１に入力される画像データから、減衰部７７から出力される画像データを減算する。減算器７６から出力される画像データは、出力端子７２から出力されるとともに、フレームメモリ７９へ書き込まれる。

即ち、入力端子７１から入力される画像データと１フレーム前の画像データとの差分値の絶対値が小さい場合は、その差分値はランダムノイズであると判断できる。したがって、減衰部７７から出力されるランダムノイズ成分を、減算器７６にて、入力端子７１に入力される画像データから減算することで、入力端子７１から入力される画像データに含まれるランダムノイズを抑圧することができる。

また、入力端子７１から入力される画像データと１フレーム前の画像データとの差分値の絶対値が大きい場合は、被写体に動きが生じていると判断することができる。したがって、入力端子７１に入力される画像データを、そのまま出力端子７２から出力することで、動きが生じている部分における残像の発生を防止している。

以上の処理を複数フレームの入力画像データに対して、繰り返し行うことにより、ランダムノイズが抑圧された画像データを得ることができる。
特開平１１−４１４９１号公報特開２００６−１４０７５号公報特開２００１−４５３３４号公報

しかしながら、特許文献１に開示されているような２次元フィルタを用いたローパスフィルタ処理や、特許文献２に開示されているような画素混合読み出し方法では、解像度が劣化するという課題がある。

また、２次元フィルタを用いたローパスフィルタ処理によるランダムノイズ抑圧効果は、フィルタのタップ数により効果の上限が決まるため、大きな効果を得るためにはタップ数を増やす必要がある。フィルタのタップ数を増やすと、回路規模が増大してしまうという課題がある。

また、特許文献３に開示されているような巡回型ノイズ低減方法では、画素数が多い撮像素子で静止画を撮影した場合、撮像素子から読み出し可能な単位時間当たりのフレーム数が少なくなり、動画の品質を低下させてしまうという課題がある。

本発明の目的は、ランダムノイズを抑圧し、フレームレートが高い動画を得ることができ、高解像度の静止画を得ることができる撮像装置を実現することである。また、そのような撮像装置を簡単な構成で実現することを目的とする。

本発明の撮像装置は、複数の光電変換素子を備え、前記光電変換素子の出力に基づき低解像度の画像を読み出す第１の駆動モード、または少なくとも前記低解像度の画像よりも解像度が高い画像を読み出す第２の駆動モードで動作可能な撮像素子と、前記撮像素子を駆動する駆動部と、前記撮像素子から前記第１の駆動モードで読み出された画像データを格納するフレームメモリと、前記フレームメモリに格納された画像データを拡大処理する画像拡大部と、前記画像拡大部で拡大処理された画像データに基づいて、前記撮像素子から前記第２の駆動モードで読み出された画像データのノイズ低減処理を行うノイズ低減部とを備えたものである。

本発明の撮像装置によれば、ランダムノイズを抑圧し、フレームレートが高い動画を得ることができ、高解像度の静止画を得ることができる。また、そのような撮像装置を簡単な構成で実現することができる。

（実施の形態１）
〔１．撮像装置の構成〕
図１は、実施の形態１にかかる撮像装置の構成を示すブロック図である。撮像装置は、レンズ１、ＣＣＤイメージセンサ２、ＣＣＤ駆動部３、アナログ−デジタル変換部４（以下、Ａ／Ｄ変換部と称する）、レリーズスイッチ１０、マイクロコンピュータ１１（以下、マイコンと称する）、画像メモリ１２、およびノイズ低減回路１４を備えている。

ＣＣＤイメージセンサ２は、マトリクス状に多数の光電変換素子を備え、レンズ１を介して入射する光学的画像を電気的画像に変換して出力する。また、ＣＣＤイメージセンサ２は、画素混合駆動モード（第１の駆動モード）または全画素読み出しモード（第２の駆動モード）で動作することができる。画素混合駆動モードは、水平方向及び垂直方向に配列された複数画素の値を加算して出力するモードであり、実質的に画素を間引いて解像度を低下させて出力するモードである。また、全画素読み出しモードは、光電変換素子から出力される画素信号を間引かずに、全ての光電変換素子から画素信号を出力するモードである。

ＣＣＤ駆動部３は、マイコン１１から出力される制御信号によって、ＣＣＤイメージセンサ２を駆動することができる。具体的には、ＣＣＤイメージセンサ２に対して、画素混合駆動モードまたは全画素読み出しモードで動作するよう制御したり、露光動作を制御したりする。

マイコン１１（制御部）は、ＣＣＤ駆動部３に対して、画素混合駆動モードと全画素読み出しモードとの切り替えを指示する。画素混合駆動モード時は、前述の図１８に示した組み合せで画素信号を混合した後に読み出されるため、全画素読み出しモードと比較して、水平及び垂直方向の画素数が１／３に間引かれた画像信号が読み出される。また、マイコン１１は、画像拡大部８に対して、倍率の指定を行うことができる。また、マイコン１１は、レリーズスイッチ１０から出力される制御信号によって、ＣＣＤ駆動部３及び画像拡大部８の動作を制御する。

ノイズ低減回路１４は、第１の減算器５、第２の減算器６、減衰部７、画像拡大部８、およびフレームメモリ９を備えている。また、ノイズ低減回路１４は、Ａ／Ｄ変換部４から出力される画像データにおけるノイズ成分を低減させるものである。

画像メモリ１２は、ノイズ低減回路１４から出力される画像データを保存するものである。画像メモリ１２に保存された画像データに基づく画像は、撮像装置に搭載されているモニタ（不図示）に表示させることができる。

なお、以下の説明において、画像データの拡大時または縮小時の倍率は、ＣＣＤイメージセンサ２を画素混合駆動モードで動作させた時に出力される画像のサイズを基準（１倍）にしている。

次に、動作について説明する。

ＣＣＤイメージセンサ２から出力される画像信号（アナログ信号）は、Ａ／Ｄ変換部４でデジタル化される。Ａ／Ｄ変換部４から出力される画像データは、第１の減算器５と第２の減算器６に入力される。第１の減算器５は、Ａ／Ｄ変換部４から出力される画像データ（現在の画像）から、画像拡大部８から出力される画像データ（１フレーム前の画像）を減算し、その差分である画像データを減衰部７へ出力する。減衰部７は、例えば図２０に示した特性に基づき非線形処理を行い、画像データを減衰させる。減衰部７から出力される画像データは、第２の減算器６に入力される。第２の減算器６は、Ａ／Ｄ変換部４から出力される画像データから、減衰部７から出力される画像データを減算する。第２の減算器６から出力される画像データは、画像メモリ１２へ書き込まれるとともに、フレームメモリ９へ書き込まれる。

フレームメモリ９に書き込まれた画像データは、１フレーム経過後に読み出され、画像拡大部８へ入力される。画像拡大部８は、マイコン１１の制御により、同一画素の複製処理、または複数画素からの線形内挿処理等が行われ、フレームメモリ９から読み出された画像データの画像サイズを拡大する。画像拡大部８で拡大処理された画像データは、第１の減算器５に入力される。以降、上記と同様に動作する。

なお、画像拡大部８の倍率が１倍に設定されている場合は、フレームメモリ９から読み出された画像データをそのまま出力するので、前述の図１９に示した巡回型ノイズ低減回路と同一の動作になる。また、第１の減算器５、第２の減算器６、および減衰部７は、本発明のノイズ低減部の一例である。

〔２．撮影時の動作〕
図２は、本実施の形態の撮像装置において、モニタに動画を表示させている時（モニタ状態）および静止画を撮影した時の、各部の状態を示す。図２（ａ）は、ＣＣＤイメージセンサ２における画素信号の読み出し状態を示しており、Ｈｉｇｈ期間において画素信号が読み出されている。図２（ｂ）は、ＣＣＤイメージセンサ２の駆動状態である。図２（ｃ）は、画像拡大部８において設定されている倍率である。

まず、図２の期間８１に示すように、マイコン１１は、レリーズスイッチ１０が操作されていない間は、ＣＣＤ駆動部３を制御してＣＣＤイメージセンサ２を画素混合駆動モードで動作させる。また、マイコン１１は、画像拡大部８の倍率を１倍に設定する。

ＣＣＤイメージセンサ２からは、所定周期で１フレーム分の画像信号が出力されている。ＣＣＤイメージセンサ２から出力される画像信号は、Ａ／Ｄ変換部４に入力される。Ａ／Ｄ変換部４は、画像信号をデジタル化し、画像データを出力する。Ａ／Ｄ変換部４から出力される画像データは、第２の減算器６を介して画像メモリ１２に書き込まれる。画像メモリ１２に書き込まれた画像データに基づく画像は、順次、モニタ（不図示）に出力される。これにより、モニタには動画（いわゆる「スルー画像」）が表示される。この時、ＣＣＤイメージセンサ２は、画素混合駆動モードで動作しているため、水平及び垂直方向に画素が間引かれた画像信号（フレーム）を出力している。よって、１フレーム当たりの画像のサイズが小さいため、フレームレートを高くすることができ、滑らかに動く動画をモニタに表示させることができる。

ここで、Ａ／Ｄ変換部４から出力される画像データは、第２の減算器６においてランダムノイズ抑圧処理がなされ、フレームメモリ９に書き込まれる。１フレーム経過後、フレームメモリ９から読み出された画像データは、画像拡大部８を介して、第１の減算器５に入力される。画像拡大部８は、倍率が１倍に設定されているため、フレームメモリ９から読み出された画像データの画像サイズを変更せずに出力する。第１の減算器５は、Ａ／Ｄ変換部４から出力される画像データ（画像サイズは１倍）から、画像拡大部８から出力される画像データ（画像サイズは１倍）を減算処理し、差分の画像データを出力する。第１の減算器５から出力される画像データは、減衰部７に入力される。減衰部７は、図２０に示す特性に基づいて、画像データを減衰処理して出力する。第２の減算器６は、Ａ／Ｄ変換部４から出力される画像データから、減衰部７から出力される画像データを減算処理する。これにより、第２の減算器６からは、ランダムノイズが抑圧された画像データが出力される。

次に、期間８２に示すように、レリーズスイッチ１０が操作されると、マイコン１１は、ＣＣＤ駆動部３を制御して、ＣＣＤイメージセンサ２で露光動作を実行させる。期間８２の終了後、マイコン１１は、ＣＣＤ駆動部３に対してＣＣＤイメージセンサ２の露光動作を停止させるよう制御する。

次に、期間８３に示すように、マイコン１１は、ＣＣＤ駆動部３を制御してＣＣＤイメージセンサ２を全画素読み出しモードで動作させる。ＣＣＤ駆動部３は、ＣＣＤイメージセンサ２を１フレーム期間、全画素読み出しモードで動作させる。また、マイコン１１は、画像拡大部８の倍率を３倍に設定する。

全画素読み出しモードで動作するＣＣＤイメージセンサ２から出力される画像信号は、Ａ／Ｄ変換部４でデジタル化され、画像データが出力される。Ａ／Ｄ変換部４から出力される画像データは、第１の減算器５及び第２の減算器６に入力される。

一方、フレームメモリ９には、露光前の１フレーム分の画像データ（画像サイズは１倍）が書き込まれている。期間８２に示す露光終了後、フレームメモリ９から読み出された画像データは、画像拡大部８において３倍に拡大処理される。画像拡大部８から出力される画像データ（画像サイズは３倍）は、第１の減算器５に入力される。

第１の減算器５は、Ａ／Ｄ変換部４から出力される画像データから、画像拡大部８で拡大処理された画像データを減算処理し、その差分である画像データを出力する。第１の減算器５から出力される画像データは、減衰部７に入力される。なお、画像拡大部８において３倍に拡大処理された画像のサイズは、ＣＣＤイメージセンサ２から全画素読み出しされた画像データの画像サイズと同じサイズであるため、第１の減算器５において適正な差分の画像データを得ることができる。

減衰部７は、図２０に示す特性に基づき、画像データ（差分値）を非線形処理して減衰させる。減衰部７から出力される画像データは、第２の減算器６に入力される。

第２の減算器６は、Ａ／Ｄ変換部４から出力される画像データから、減衰部７から出力される画像データを減算処理する。第２の減算器６から出力される画像データは、画像メモリ１２に書き込まれる。画像メモリ１２に書き込まれた画像データに基づき、表示制御部（不図示）はモニタ（不図示）に静止画を表示させる。

ここで、画像拡大部８の出力とＡ／Ｄ変換部４の出力との差分の画像データ（差分値）において、画像の時間的変化が少ない部分に現れる差分値は、ランダムノイズ成分と考えられる。ランダムノイズ成分の振幅が小さければ、差分値のレベルは図２０に示す−Ｔｈ２からＴｈ２の範囲に入る。よって、第２の減算器６において、Ａ／Ｄ変換部４から出力される画像データからランダムノイズ成分が減算されることになり、ランダムノイズが抑圧された画像データを得ることができる。

一方、減衰部７に入力される差分値の振幅が、図２０に示す閾値Ｔｈ２から−Ｔｈ２の範囲外であれば、減衰部７から出力される差分値のレベルはゼロになる。これは、ノイズ成分ではなく、画像の時間的変化が大きい部分だからである。よって、第２の減算器６からは、Ａ／Ｄ変換部４から入力される画像データがそのまま出力されるため、画像における残像の発生を防止することができる。

ランダムノイズ抑圧処理が完了すると、再び期間８１の状態に戻る。すなわち、モニタに動画を表示している状態になる。

〔３．実施の形態の効果、他〕
本実施の形態によれば、画素混合駆動モードで読み出された画像データに基づき動画を表示するようにしたので、フレームレートが高い動画を得ることができる。

また、画素混合駆動モードにおいて、画像拡大部８で拡大処理した画像に基づいてノイズ低減処理を行うことで、解像度を低下させずにランダムノイズを抑圧することができる。

また、全画素読み出しモードで読み出された画像に対して、ランダムノイズ低減処理を行うことで、解像度を低下させずに高画質な静止画を得ることができる。

また、ＣＣＤイメージセンサ２は、画素混合駆動モードにおいて、複数の光電変換素子から出力される画素信号を混合して出力する構成としたことにより、画素信号を混合しない全画素読み出しモードの時の動作に比べて、よりランダムノイズが抑圧された画像が得られるため、全画素読み出しモードで読み出された画像に対してノイズ低減処理を行う際に、より大きなランダムノイズ抑圧効果が得られる。

なお、本実施の形態において、画像拡大部８の倍率は１倍または３倍としたが、この倍率に限定されるものではない。倍率は、ＣＣＤイメージセンサ２における画素混合動作時に間引かれる画素の数に応じて決定すればよい。

（実施の形態２）
図３は、実施の形態２にかかる撮像装置の構成を示すブロック図である。なお、図３において、図１に示す構成と同様の構成要素については、同一番号を付与して詳細な説明は省略する。図３に示す構成は、図１に示す構成に２次元フィルタ１３を追加した構成である。本実施の形態の撮像装置は、図２に示すタイミングチャートに基づいて動作する。

２次元フィルタ１３（フィルタ部）は、前述の図１６に示した構成を持つフィルタであり、対象画素と周辺画素（８画素）との相関に基づいて、適応的にローパスフィルタ処理を行う。

次に、動作について説明する。

図２の期間８１において、ＣＣＤイメージセンサ２によって画素混合され、水平方向及び垂直方向に画素が１／３に間引かれた画像データが、２次元フィルタ１３に入力される。２次元フィルタ１３は、画像データに対して、対象画素と周辺画素（８画素）との相関に基づいて適応的にローパスフィルタ処理を行う。例えば、図１８における対象画素６１と周辺画素６１ａ〜６１ｈとの相関に基づいて、ローパスフィルタ処理を行う。２次元フィルタ１３から出力される画像データは、第１の減算器５及び第２の減算器６に入力される。以降の動作は、実施の形態１で説明した動作と同様であるため、説明を省略する。

本実施の形態によれば、２次元フィルタ処理を施さない場合に比べて、より大きなランダムノイズ抑圧効果が得られる。特に、ＣＣＤイメージセンサ２を画素混合駆動モードで動作させた場合、２次元フィルタ１３のフィルタのタップ数を増やすことなく、２次元フィルタ処理される光電変換素子の数を増加させることになるため、小回路規模で大きなランダムノイズ抑圧効果を得ることができる。

すなわち、２次元フィルタ１３のみでランダムノイズ抑圧効果を高めようとすると、フィルタのタップ数を増やさねばならず、増やしたタップ数に応じて回路規模が増大する。本実施の形態の撮像装置は、９画素の画素混合と９画素の２次元フィルタ処理により、８１画素を参照したランダムノイズ抑圧効果を、少ない回路規模で実現している。

（実施の形態３）
〔１．撮像装置の構成〕
図４は、実施の形態３にかかる撮像装置の構成を示すブロック図である。なお、図４において、図１に示す構成と同様の構成要素については、同一番号を付与して詳細な説明は省略する。図４に示す構成は、図１に示す構成に間引き部１５を追加し、ＣＣＤイメージセンサ２に代えてＣＣＤイメージセンサ２１を備えた構成である。また、本実施の形態の撮像装置は、図２に示すタイミングチャートに基づいて動作する。但し、本実施の形態では、図２（ｂ）が間引き部１５の動作となる。

ＣＣＤイメージセンサ２１は、実施の形態１のＣＣＤイメージセンサ２と異なり、全画素読み出しモードのみで動作を行う撮像素子で構成されている。

間引き部１５は、画素混合駆動モードと全画素読み出しモードのうちのいずれかで動作する。画素混合駆動モードは、Ａ／Ｄ変換部４から出力される画像データに対して、水平方向及び垂直方向の画素の値を加算することで、実質的に画素を間引いて出力するモードである。このモードにおける処理は、実施の形態１において説明したＣＣＤイメージセンサ２における画素混合駆動モードと同じ処理である。また、全画素読み出しモードは、Ａ／Ｄ変換部４から出力される画像データを、そのまま出力するモードである。間引き部１５におけるモードの切り換えは、マイコン１１によって制御される。

〔２．撮影時の動作〕
まず、図２の期間８１に示すように、レリーズスイッチ１０が操作されていない間は、マイコン１１は、間引き部１５に対して画素混合駆動モードで動作するよう制御している。ＣＣＤイメージセンサ２１から出力される画像信号（全画素読み出しされた画像信号）は、Ａ／Ｄ変換部４でデジタル化されて、画像データが出力される。

間引き部１５は、Ａ／Ｄ変換部４から出力される画像データに対して、画素混合の処理を行う。具体的には、Ａ／Ｄ変換部４から出力される画像データにおいて、水平方向及び垂直方向の画素の値を加算することで、実質的に間引きされた画像データを生成する。つまり、間引き部１５からは、低解像度の画像データが出力される。間引き部１５から出力される画像データは、第１の減算器５及び第２の減算器６に入力される。以降の動作は、実施の形態１と同様であるため省略する。

このように、期間８１において間引き部１５を画素混合駆動モードで動作させることによって、１フレーム当たりの画像サイズを小さくして、フレームレートが高い動画を得ることができる。

次に、期間８２に示すように、レリーズスイッチ１０が操作されると、マイコン１１は、ＣＣＤ駆動部３を制御して、ＣＣＤイメージセンサ２１で露光動作を実行させる。期間８２の終了後、マイコン１１は、ＣＣＤ駆動部３に対してＣＣＤイメージセンサ２１の露光動作を停止させるよう制御する。

次に、期間８３に示すように、ＣＣＤイメージセンサ２１における露光動作が終了すると、マイコン１１は、間引き部１５を全画素読み出しモードで動作するよう制御する。これにより、間引き部１５は、ＣＣＤイメージセンサ２１から出力されＡ／Ｄ変換部４を介して入力される画像データを、そのまま第１の減算器５及び第２の減算器６に出力する。つまり、間引き部１５からは、高解像度の画像データが出力される。以降の動作は、実施の形態１で説明した動作と同様であるため省略する。

〔３．実施の形態の効果、他〕
本実施の形態によれば、間引き部１５を備え、露光前の状態において画像データの間引き処理を実行させることで、フレームレートが高い画像データ（動画）を得ることができるとともに、ランダムノイズを抑圧することができる。また、露光後は間引き処理を実行させないことで、高解像度の画像データ（静止画）を得ることができる。

また、１つの動作モード（本実施の形態では全画素読み出しモード）のみで動作するＣＣＤイメージセンサ２１は、複数の動作モードで選択的に動作可能なＣＣＤイメージセンサに比べて安価であるため、装置全体としてコストダウンをすることができる。

なお、実施の形態においては、画素混合駆動モード時の動作として、図１８に示した画素の組み合わせ（対象画素を中心に、上下左右斜め方向に２画素離れた周辺画素）で、水平方向及び垂直方向に１／３の間引き率としたが、その他の組み合わせ、その他の間引き率であっても、画像拡大部８の倍率を間引き率に応じて変化させることで同様な効果が得られる。

（実施の形態４）
〔１．撮像装置の構成〕
図５は、実施の形態４における撮像装置の構成を示すブロック図である。なお、図５において、図１に示す構成と同様の構成要素については、同一番号を付与して詳細な説明は省略する。図５に示す構成は、図１に示す構成に画像縮小部１６をさらに備えた構成である。

画像縮小部１６は、Ａ／Ｄ変換部４から出力される画像データの画像サイズを縮小する処理を行うことができる。縮小処理の方法は、例えば、画像の水平方向及び垂直方向の画素の値を加算し、実質的に間引き処理を行う方法がある。つまり、画像縮小部１６で縮小処理された画像は、解像度が低くなっている。また、画像縮小部１６は、マイコン１１によって動作制御される。

〔２．撮影時の動作〕
図６は、本実施の形態の撮像装置において、モニタに動画を表示させている時（モニタ状態）および静止画を撮影した時の各部の状態を示す。図６（ａ）は、ＣＣＤイメージセンサ２における画素信号の読み出し状態を示しており、Ｈｉｇｈ期間において画素信号が読み出されている。図６（ｂ）は、ＣＣＤイメージセンサ２の駆動状態である。図６（ｃ）は、画像拡大部８における倍率である。図６（ｄ）は、画像縮小部１６における倍率である。

図６に示すように、マイコン１１は、期間８１においては、ＣＣＤ駆動部３を制御してＣＣＤイメージセンサ２を画素混合駆動モードで動作させる。また、マイコン１１は、画像拡大部８の倍率を１倍に設定し、画像縮小部１６の倍率を１倍に設定する。

ＣＣＤイメージセンサ２は、水平方向及び垂直方向の画素の値を加算し、実質的に間引き処理を行う。つまり、ＣＣＤイメージセンサ２からは、低解像度の画像信号が出力される。ＣＣＤイメージセンサ２からは、所定周期で１フレーム分の画像信号が出力され、Ａ／Ｄ変換部４に入力される。

Ａ／Ｄ変換部４は、ＣＣＤイメージセンサ２から出力される画像信号をデジタル化し、画像データを第２の減算器６及び画像縮小部１６に出力する。

第２の減算器６は、Ａ／Ｄ変換部４から出力される画像データのランダムノイズを抑圧し、画像メモリ１２に書き込む。画像メモリ１２に書き込まれた画像データに基づく画像は、表示制御部（不図示）によって順次、モニタ（不図示）に出力され、モニタには動画が表示される。

一方、画像縮小部１６は、倍率が１倍に設定されているため、入力される画像データの画像サイズを変更せずに出力している。なお、ＣＣＤイメージセンサ２は、画素混合駆動モードで動作しているため、１フレーム当たりの画像サイズが小さく、フレームレートが高い動画を得ることができる。

ここで、Ａ／Ｄ変換部４から出力される画像データは、第２の減算器６においてランダムノイズ抑圧処理がなされ、フレームメモリ９に書き込まれる。１フレーム経過後、フレームメモリ９から読み出された画像データは、第１の減算器５に入力される。

第１の減算器５は、画像縮小部１６から出力される画像データ（画像サイズは１倍）から、フレームメモリ９から出力される画像データ（画像サイズは１倍）を減算処理し、差分の画像データを出力する。

減衰部７は、図２０に示す特性に基づいて、第１の減算器５から出力される画像データを非線形処理して減衰させる。減衰部７から出力される画像データは、画像拡大部８に入力される。

画像拡大部８は、倍率が１倍に設定されているため、減衰部７から出力される画像データの画像サイズを変更せずに出力する。

第２の減算器６は、Ａ／Ｄ変換部４から出力される画像データから、画像拡大部８から出力される画像データを減算処理する。これにより、第２の減算器６からは、ランダムノイズが抑圧された画像データが出力される。

次に、期間８３に示すように、マイコン１１は、ＣＣＤ駆動部３を制御してＣＣＤイメージセンサ２を全画素読み出しモードで動作させる。また、マイコン１１は、画像拡大部８の倍率をＮ倍に設定する。また、マイコン１１は、画像縮小部１６の倍率を１／Ｎ倍に設定する。なお、Ｎは「１」よりも大きい値であればよく、本実施の形態ではＮ＝３とした。

全画素読み出しモードで動作するＣＣＤイメージセンサ２から出力される画像信号（画像サイズはＮ倍）は、Ａ／Ｄ変換部４でデジタル化され、Ａ／Ｄ変換部４からは画像データが出力される。Ａ／Ｄ変換部４から出力される画像データは、第２の減算器６及び画像縮小部１６に入力される。画像縮小部１６は、Ａ／Ｄ変換部４から出力される画像データのサイズを１／Ｎ倍に縮小処理する。すなわち、画像縮小部１６から出力される画像データは、１倍のサイズの画像である。

一方、フレームメモリ９には、露光前の１フレーム分の画像データ（画像サイズは１倍）が書き込まれている。期間８２に示す露光終了後、フレームメモリ９から読み出された画像データは、第１の減算器５に入力される。

第１の減算器５は、画像縮小部１６から出力される画像データ（画像サイズは１倍）から、フレームメモリ９から出力される画像データ（画像サイズは１倍）を減算処理し、その差分の画像データを出力する。第１の減算器５から出力される画像データは、減衰部７に入力される。

減衰部７は、図２０に示す特性に基づき、第１の減算器５から出力される画像データを非線形処理して減衰させる。減衰部７から出力される画像データは、画像拡大部８に入力される。

画像拡大部８は、減衰部７から出力される画像データ（画像サイズは１倍）をＮ倍に拡大処理して出力する。

第２の減算器６は、Ａ／Ｄ変換部４から出力される画像データ（画像サイズはＮ倍）から、画像拡大部８から出力される画像データ（画像サイズはＮ倍）を減算処理する。第２の減算器６から出力される画像データは、画像メモリ１２に書き込まれる。画像メモリ１２に書き込まれた画像データに基づき、表示制御部（不図示）はモニタ（不図示）に静止画を表示させる。

〔３．ランダムノイズ抑圧処理時に生じる副作用〕
拡大処理された画像データと、全画素読み出しモードによりＣＣＤイメージセンサから読み出された画像データとを比較して、差分データを得ようとした場合、画像中のエッジ部分に偽信号が発生する可能性がある。

図７Ａは、ＣＣＤイメージセンサから出力される画像データと拡大処理した画像データとを比較して、差分データを得る時の動作を示すタイミングチャートである。図７Ｂは、本実施の形態の撮像装置で差分データを得る時の動作を示すタイミングチャートである。図７Ａ及び図７Ｂにおいて、ｔ１は画像のエッジ部分、ＴＨは減衰部７における閾値である。なお、以下の説明において、ランダムノイズ成分は無視して説明する。

第１の減算器５において、入力される画像データ（図７Ａ（ａ））から、拡大処理された画像データ（図７Ａ（ｂ））を減算処理すると、図７Ａ（ｃ）に示す画像データが得られる。次に、減衰部７は、図７Ａ（ｃ）に示す画像データを閾値ＴＨを基準にして減衰させて、図７Ａ（ｄ）に示す画像データを出力する。次に、第２の減算器６は、図７Ａ（ａ）に示す画像データから、図７Ａ（ｄ）に示す画像データを減算処理することで、図７Ａ（ｅ）に示す画像データを出力する。上記のように、拡大処理された画像を用いて差分データを得ようとすると、図７Ａ（ｅ）に示すように画像のエッジ近傍に偽信号Ｆが生じる。これは、第１の減算器５において、解像度が異なる２つの画像を減算処理しているからである。

すなわち、図７Ａ（ａ）に示す画像データは、拡大処理などが行われていないため、高解像度である。一方、図７Ａ（ｂ）に示す画像データは、同一画素の複製処理または複数画素からの線形内挿処理等により拡大処理された画像データであるため、画像のサイズは大きくなっているが、解像度は拡大処理する前の状態である（低解像度）。したがって、第１の減算器５では、低解像度の画像と高解像度の画像とで減算処理することになるため、第１の減算器５からは図７Ａ（ｃ）に示すように振幅が大きな差分データが出力される。結果的に、図７Ａ（ｅ）に示すように偽信号Ｆが重畳された画像データが出力されてしまう。

これに対して、本実施の形態の撮像装置においては、第１の減算器５の前段で画像の拡大処理を行っていないため、第１の減算器５では同じ解像度の画像を減算処理することになる。すなわち、図５における第１の減算器５には、画像縮小部１６から出力される画像データ（図７Ｂ（ａ））と、フレームメモリ９から出力される画像データ（図７Ｂ（ｂ））とが入力される。第１の減算器５は、両方の画像データを減算処理して、図７Ｂ（ｃ）に示す画像データを出力する。ここで、第１の減算器５から出力される画像データは、ゼロに近い値となる。次に、図７Ｂ（ｃ）に示す画像データは、減衰部７及び画像拡大部８を介して第２の減算器６に入力される。第２の減算器６は、図７Ｂ（ａ）に示す画像データから図７Ｂ（ｄ）に示す画像データを減算処理し、図７Ｂ（ｅ）に示す画像データを出力する。図７Ｂ（ｅ）に示すように、第２の減算器６から出力される画像データには、図７Ａ（ｅ）に示すような偽信号Ｆが重畳されていない。

本実施の形態では、ＣＣＤイメージセンサ２が全画素読み出しモードで動作している時に、画像縮小部１６は画像データの画像サイズを縮小処理している。画像縮小部１６に入力された画像データは、水平方向及び垂直方向の画素の値を加算して、実質的に間引き処理されるため、解像度が低下する。この時の画像データの解像度は、フレームメモリ９から出力される画像データの解像度と同等である。よって、図７Ｂに示すように、偽信号が重畳されない画像データを得ることができる。画像縮小部１６の縮小処理の方法を、画素混合駆動時のＣＣＤイメージセンサ２における画素混合処理方法と全く同一にすれば、解像度の差による偽信号を最小に抑えることが出来る。

なお、本実施の形態に記載の構成は、ランダムノイズ抑圧時に生じる副作用を解消できる構成の一例である。

〔４．実施の形態の効果、他〕
本実施の形態によれば、ＣＣＤイメージセンサ２が全画素読み出しモードで動作している場合において、Ａ／Ｄ変換部４から出力される画像データの解像度を低下させて画像サイズを縮小する画像縮小部１６を備えたことにより、画像縮小部１６から出力される画像データとフレームメモリ９から出力される画像データの解像度を同等とすることができる。よって、第２の減算器６から出力される画像データにおいて偽信号の発生を防止し、画質を向上させることができる。

また、第１の減算器５において、低い解像度の画像データ同士を減算処理しているため、第１の減算器５における演算量を少なくすることができ、高速に画像データを読み出すことができる。よって、露光前のモニタ状態において、フレームレートが高い動画を得ることができる。

なお、ＣＣＤイメージセンサ２は、全画素読み出しモードのみで駆動可能な撮像素子を用いてもよい。図８は、図５におけるＣＣＤイメージセンサ２に代えて、全画素読み出しモードのみで駆動可能なＣＣＤイメージセンサ２１を備えた構成である。また、画素混合読み出しモードまたは全画素読み出しモードのいずれかで動作可能な間引き部１５をさらに備えた。図８に示す撮像装置は、図６に示すタイミングチャートに基づいて動作する。但し、図６（ｂ）が間引き部１５の動作となる。画素混合駆動モードは、Ａ／Ｄ変換部４から出力される画像データに対して、水平方向及び垂直方向の画素の値を加算することで、低解像度の画像データを出力するモードである。また、全画素読み出しモードは、Ａ／Ｄ変換部４から出力される画像データを、そのまま出力するモードである。間引き部１５におけるモードの切り換えは、マイコン１１によって制御される。

まず、図６の期間８１に示すように、レリーズスイッチ１０が操作されていない間は、マイコン１１は、間引き部１５に対して画素混合駆動モードで動作するよう制御している。ＣＣＤイメージセンサ２１から出力される画像信号（全画素読み出しされた画像信号）は、Ａ／Ｄ変換部４でデジタル化されて、画像データが出力される。

間引き部１５は、Ａ／Ｄ変換部４から出力される画像データに対して、画素混合の処理を行う。具体的には、Ａ／Ｄ変換部４から出力される画像データにおいて、水平方向及び垂直方向の画素の値を加算することで、実質的に間引きされた画像データを生成する。つまり、間引き部１５からは、低解像度の画像データが出力される。間引き部１５から出力される画像データは、画像縮小部１６及び第２の減算器６に入力される。以降の動作は、図５に示す撮像装置の動作と同様であるため省略する。

次に、期間８３に示すように、ＣＣＤイメージセンサ２１における露光動作が終了すると、マイコン１１は、間引き部１５を全画素読み出しモードで動作するよう制御する。これにより、間引き部１５は、ＣＣＤイメージセンサ２１から出力されＡ／Ｄ変換部４を介して入力される画像データを、そのまま画像縮小部１６及び第２の減算器６に出力する。つまり、間引き部１５からは、高解像度の画像データが出力される。以降の動作は、図５に示す撮像装置の動作と同様であるため、説明を省略する。

図８に示す撮像装置によれば、１つの動作モード（本実施の形態では全画素読み出しモード）のみで動作するＣＣＤイメージセンサ２１は、複数の動作モードで選択的に動作可能なＣＣＤイメージセンサに比べて安価であるため、装置全体としてコストダウンをすることができる。

（実施の形態５）
〔１．撮像装置の構成〕
図９は、実施の形態５における撮像装置の構成を示すブロック図である。なお、図９において、図１に示す構成と同様の構成要素については、同一番号を付与して詳細な説明は省略する。図９に示す構成は、図１に示す構成に２次元フィルタ１７をさらに備えた構成である。

２次元フィルタ１７（フィルタ部）は、Ａ／Ｄ変換部４から出力される画像データの高周波成分を除去する。よって、２次元フィルタ１７から出力される画像データに基づく画像は、エッジ部分が暈けている。

〔２．撮影時の動作〕
図１０は、本実施の形態の撮像装置において、モニタに動画を表示させている時（モニタ状態）および静止画を撮影した時の各部の状態を示す。図１０（ａ）は、ＣＣＤイメージセンサ２における画素信号の読み出し状態を示しており、Ｈｉｇｈ期間において画素信号が読み出されている。図１０（ｂ）は、ＣＣＤイメージセンサ２の駆動状態である。図１０（ｃ）は、画像拡大部８における倍率である。図１０（ｄ）は、２次元フィルタ１７の動作状態である。

図１０に示すように、マイコン１１は、期間８１においては、ＣＣＤ駆動部３を制御してＣＣＤイメージセンサ２を画素混合駆動モードで動作させ、画像拡大部８の倍率を１倍に設定し、２次元フィルタ１７の動作をオフにする。

ＣＣＤイメージセンサ２は、水平方向及び垂直方向の画素の値を加算し、実質的に画素を間引く処理を行う。ＣＣＤイメージセンサ２からは、所定周期で１フレーム分の画像信号が出力され、Ａ／Ｄ変換部４に入力される。

Ａ／Ｄ変換部４は、ＣＣＤイメージセンサ２から出力される画像信号をデジタル化し、画像データを第２の減算器６及び２次元フィルタ１７に出力する。

第２の減算器６は、Ａ／Ｄ変換部４から出力される画像データのランダムノイズを抑圧し、画像データを画像メモリ１２に書き込む。画像メモリ１２に書き込まれた画像データに基づく画像は、表示制御部（不図示）によりモニタ（不図示）に出力され、モニタには動画が表示される。

一方、２次元フィルタ１７は、オフ状態であるため、入力される画像データをそのまま出力している。なお、ＣＣＤイメージセンサ２は、画素混合駆動モードで動作しているため、１フレーム当たりの画像サイズが小さく、フレームレートが高い動画を得ることができる。

ここで、Ａ／Ｄ変換部４から出力される画像データは、第２の減算器６においてランダムノイズ抑圧処理がなされ、フレームメモリ９に書き込まれる。１フレーム経過後、フレームメモリ９から読み出された画像データは、画像拡大部８に入力される。

画像拡大部８は、倍率が１倍に設定されているため、フレームメモリ９から出力される画像データをそのまま第１の減算器５に出力する。

第１の減算器５は、２次元フィルタ１７から出力される画像データ（画像サイズは１倍）から。画像拡大部８から出力される画像データ（画像サイズは１倍）を減算処理し、差分の画像データを出力する。第１の減算器５から出力される画像データは、減衰部７に入力される。

減衰部７は、図２０に示す特性に基づいて、第１の減算器５から出力される画像データを非線形処理して減衰させる。減衰部７から出力される画像データは、第２の減算器６に入力される。

第２の減算器６は、Ａ／Ｄ変換部４から出力される画像データから、減衰部７から出力される画像データを減算処理する。これにより、第２の減算器６は、ランダムノイズが抑圧された画像データを出力することができる。

次に、期間８３に示すように、マイコン１１は、ＣＣＤ駆動部３を制御してＣＣＤイメージセンサ２を全画素読み出しモードで動作させる。また、マイコン１１は、画像拡大部８の倍率をＮ倍（本実施の形態ではＮ＝３）に設定する。また、マイコン１１は、２次元フィルタ１７の動作をオンにする。

全画素読み出しモードで動作するＣＣＤイメージセンサ２から出力される画像信号（画像サイズはＮ倍）は、Ａ／Ｄ変換部４でデジタル化され、画像データが出力される。Ａ／Ｄ変換部４から出力される画像データは、第２の減算器６及び２次元フィルタ１７に入力される。

２次元フィルタ１７は、Ａ／Ｄ変換部４から出力される画像データの高周波成分を除去する。これにより、２次元フィルタ１７から出力される画像データは、エッジ部分が暈けた画像となる。

一方、フレームメモリ９には、露光前の１フレーム分の画像データ（画像サイズは１倍）が書き込まれている。期間８２に示す露光終了後、フレームメモリ９から読み出された画像データは、画像拡大部８に入力される。

画像拡大部８は、フレームメモリ９から出力される画像データに対して、同一画素の複製処理または複数画素からの線形内挿処理等により拡大処理を行う。画像拡大部８から出力される画像データは、信号処理によって拡大されたものであるため、高周波成分のレベルが低く、エッジ部分が暈けた画像になっている。画像拡大部８から出力される画像データは、第１の減算器５に入力される。

第１の減算器５は、２次元フィルタ１７から出力される画像データ（画像サイズはＮ倍）から、画像拡大部８から出力される画像データ（画像サイズはＮ倍）を減算処理し、その差分の画像データを出力する。すなわち、第１の減算器５は、高周波成分が除去された画像データ同士を減算処理する。第１の減算器５から出力される画像データは、減衰部７に入力される。

減衰部７は、図２０に示す特性に基づき、第１の減算器５から出力される画像データを非線形処理して減衰させる。減衰部７から出力される画像データは、第２の減算器６に入力される。

〔３．実施の形態の効果、他〕
本実施の形態によれば、第１の減算器５に入力する画像データの高周波成分を除去する２次元フィルタ１７を備えたことにより、第１の減算器５は、２次元フィルタで高周波成分が除去された画像データから、画像拡大部８から出力される高周波成分が低下した画像データを減算処理して、差分データを生成することになる。よって、実施の形態４で説明したような、偽信号の発生を防止することができ、画質を向上させることができる。

すなわち、高周波成分が除去された画像データと、高周波成分が除去されていない画像データとで減算処理すると、図７Ａ（ｃ）に示すように差分値が大きくなってしまう。よって、図７Ａ（ｅ）に示すような偽信号Ｆが発生してしまう。これに対して本実施の形態では、図７Ａ（ｂ）に示すような高周波成分が除去された画像データ同士を減算処理しているため、差分値は低くなる。よって、図７Ｂ（ｅ）に示すように偽信号が発生しない画像データを得ることができる。

なお、ＣＣＤイメージセンサ２は、全画素読み出しモードのみで駆動可能な撮像素子を用いてもよい。図１１は、図９におけるＣＣＤイメージセンサ２に代えて、全画素読み出しモードのみで駆動可能なＣＣＤイメージセンサ２１を備えた構成である。また、画素混合読み出しモードまたは全画素読み出しモードのいずれかで動作可能な間引き部１５をさらに備えた。図１１に示す撮像装置は、図１０に示すタイミングチャートに基づいて動作する。但し、図１０（ｂ）が間引き部１５の動作となる。画素混合駆動モードは、Ａ／Ｄ変換部４から出力される画像データに対して、水平方向及び垂直方向の画素の値を加算することで、低解像度の画像データを出力するモードである。また、全画素読み出しモードは、Ａ／Ｄ変換部４から出力される画像データを、そのまま出力するモードである。間引き部１５におけるモードの切り換えは、マイコン１１によって制御される。

まず、図１０の期間８１に示すように、レリーズスイッチ１０が操作されていない間は、マイコン１１は、間引き部１５に対して画素混合駆動モードで動作するよう制御している。ＣＣＤイメージセンサ２１から出力される画像信号（全画素読み出しされた画像信号）は、Ａ／Ｄ変換部４でデジタル化されて、画像データが出力される。

間引き部１５は、Ａ／Ｄ変換部４から出力される画像データに対して、画素混合の処理を行う。具体的には、Ａ／Ｄ変換部４から出力される画像データにおいて、水平方向及び垂直方向の画素の値を加算することで、実質的に間引きされた画像データを生成する。つまり、間引き部１５からは、低解像度の画像データが出力される。間引き部１５から出力される画像データは、２次元フィルタ１７及び第２の減算器６に入力される。以降の動作は、図９に示す撮像装置の動作と同様であるため省略する。

次に、期間８３に示すように、ＣＣＤイメージセンサ２１における露光動作が終了すると、マイコン１１は、間引き部１５を全画素読み出しモードで動作するよう制御する。これにより、間引き部１５は、ＣＣＤイメージセンサ２１から出力されＡ／Ｄ変換部４を介して入力される画像データを、そのまま２次元フィルタ１７及び第２の減算器６に出力する。つまり、間引き部１５からは、高解像度の画像データが出力される。以降の動作は、図９に示す撮像装置の動作と同様であるため、説明を省略する。

図１１に示す撮像装置によれば、１つの動作モード（本実施の形態では全画素読み出しモード）のみで動作するＣＣＤイメージセンサ２１は、複数の動作モードで選択的に動作可能なＣＣＤイメージセンサに比べて安価であるため、装置全体としてコストダウンをすることができる。

（実施の形態６）
〔１．撮像装置の構成〕
図１２は、実施の形態６における撮像装置の構成を示すブロック図である。なお、図１２において、図５に示す構成と同様の構成要素については、同一番号を付与して詳細な説明は省略する。図１２に示す構成は、図５に示す構成に２次元フィルタ１８、動き検出部１９、および切替部２０をさらに備えた構成である。

２次元フィルタ１８（フィルタ部）は、前述の図１６に示した構成を持つフィルタであり、対象画素と周辺画素（８画素）との相関に基づいて、適応的にローパスフィルタ処理を行う。

動き検出部１９は、画像拡大部８から出力される画像データに基づいて、画像の動きを検出するものである。具体的には、画像拡大部８から出力される画像データ（差分値）の絶対値に応じて、係数Ｋを出力している。図１３は、差分値と係数Ｋとの関係を示す。図１３に示すように、差分値の絶対値がＳ１以下であれば、画像の動きが無いと判断し、係数Ｋ＝０を出力する。また、差分値の絶対値がＳ２以上であれば、係数Ｋ＝１を出力する。また、差分値の絶対値がＳ１〜Ｓ２の範囲であれば、差分値に応じて係数Ｋが０〜１の範囲で変化する。

切替部２０は、Ａ端子に２次元フィルタ１８が接続され、Ｂ端子に第２の減算器６が接続されている。Ａ端子には、２次元フィルタ１８でフィルタ処理（２次元ノイズリダクション処理）された画像データが入力される。Ｂ端子には、ノイズ低減回路１４でランダムノイズ抑圧処理（３次元ノイズリダクション処理）された画像データが入力される。また、切替部２０は、動き検出部１９から出力される係数Ｋによって、２次元フィルタ１８から出力される画像データおよび第２の減算器６から出力される画像データを、所定の割合で加算して出力するものである。本実施の形態では、動き検出部１９から出力される係数Ｋが「１」の場合は、Ａ端子に入力される画像データを画像メモリ１２に出力する。また、係数Ｋが「０」の場合は、Ｂ端子に入力される画像データを画像メモリ１２に出力する。また、０＜Ｋ＜１の場合は、Ａ端子に入力される画像データおよびＢ端子に入力される画像データを所定の割合で加算して、画像メモリ１２に出力する。図１４は切替部２０の具体構成であるが、詳しい動作については後述する。

〔２．撮影時の動作〕
図１２に示すように、マイコン１１は、露光前の状態において、ＣＣＤ駆動部３を制御してＣＣＤイメージセンサ２を画素混合駆動モードで動作させる。また、マイコン１１は、画像拡大部８の倍率を１倍に設定し、画像縮小部１６の倍率を１倍に設定する。

ＣＣＤイメージセンサ２は、水平方向及び垂直方向の画素の値を加算し、実質的に画素を間引く処理を行う。ＣＣＤイメージセンサ２からは、所定周期で１フレーム分の画像信号が出力され、Ａ／Ｄ変換部４に入力される。Ａ／Ｄ変換部４は、ＣＣＤイメージセンサ２から出力される画像信号をデジタル化し、画像データを出力する。Ａ／Ｄ変換部４から出力される画像データは、第２の減算器６、画像縮小部１６、および２次元フィルタ１８に入力される。

第２の減算器６は、Ａ／Ｄ変換部４から出力される画像データのランダムノイズを抑圧し、画像データをフレームメモリ９に書き込む。１フレーム経過後、フレームメモリ９から読み出された画像データは、第１の減算器５に入力される。

また、画像縮小部１６は、倍率が１倍に設定されているため、Ａ／Ｄ変換部４から出力される画像データの画像サイズを変更せずに出力している。画像縮小部１６から出力される画像データは、第１の減算器５に入力される。

第１の減算器５は、画像縮小部１６から出力される画像データ（画像サイズは１倍）から、フレームメモリ９から出力される画像データ（画像サイズは１倍）を減算処理し、差分の画像データを出力する。第１の減算器５から出力される画像データは、画像拡大部８に入力される。

画像拡大部８は、倍率が１倍に設定されているため、第１の減算器５から出力される画像データの画像サイズを変更せずに出力する。画像拡大部８から出力される画像データは、減衰部７と動き検出部１９に入力される。

減衰部７は、図２０に示す特性に基づいて、画像拡大部８から出力される画像データを非線形処理して減衰させる。減衰部７から出力される画像データは、第２の減算器６に入力される。

動き検出部１９は、画像拡大部８から出力される画像データに基づいて、係数Ｋを出力する。具体的には、図１３に示す特性に基づいて、画像データの値（差分値）に応じた係数Ｋを決定し、出力している。撮像装置が露光前の状態（モニタ状態）では、画像の動きが多いため、係数Ｋはほぼ「１」を出力し続ける。出力される係数Ｋは、切替部２０に入力される。

切替部２０は、動き検出部１９から出力される係数Ｋに基づいて、Ａ端子に入力される画像データとＢ端子に入力される画像データとを所定の割合で加算する。撮像装置が露光前の状態では、係数Ｋ＝１が出力され続けるため、切替部２０はＡ端子に入力される画像データを出力する。これにより、Ａ／Ｄ変換部４から出力される画像データは、２次元フィルタ１８においてフィルタ処理され、切替部２０を介して画像メモリ１２に書き込まれる。画像メモリ１２に書き込まれた画像データに基づいて、表示制御部（不図示）はモニタ（不図示）に動画を表示させる。

次に、レリーズスイッチ１０が操作されると、マイコン１１は、ＣＣＤ駆動部３を制御して、ＣＣＤイメージセンサ２において露光動作を実行させる。所定時間経過後、マイコン１１は、ＣＣＤ駆動部３に対してＣＣＤイメージセンサ２の露光動作を停止させるよう制御する。

次に、マイコン１１は、ＣＣＤ駆動部３を制御してＣＣＤイメージセンサ２を全画素読み出しモードで動作させる。また、マイコン１１は、画像拡大部８の倍率をＮ倍に設定する。また、マイコン１１は、画像縮小部１６の倍率を１／Ｎ倍に設定する。本実施の形態では、Ｎ＝３とした。

全画素読み出しモードで動作するＣＣＤイメージセンサ２から出力された画像信号（画像サイズはＮ倍）は、Ａ／Ｄ変換部４でデジタル化され、画像データが出力される。Ａ／Ｄ変換部４から出力される画像データは、第２の減算器６、画像縮小部１６、および２次元フィルタ１８に入力される。画像縮小部１６は、Ａ／Ｄ変換部４から出力される画像データの画像サイズを１／Ｎ倍に縮小処理する。すなわち、画像縮小部１６から出力される画像データは、１倍のサイズの画像である。画像縮小部１６から出力される画像データは、第１の減算器５に入力される。

一方、フレームメモリ９には、露光前の１フレーム分の画像データ（画像サイズは１倍）が書き込まれている。露光終了後、フレームメモリ９から読み出された画像データは、第１の減算器５に入力される。

第１の減算器５は、画像縮小部１６から出力される画像データ（画像サイズは１倍）から、フレームメモリ９から出力される画像データ（画像サイズは１倍）を減算処理し、その差分の画像データを出力する。第１の減算器５から出力される画像データは、画像拡大部８に入力される。

画像拡大部８は、第１の減算器５から出力される画像データをＮ倍に拡大処理して出力する。画像拡大部８から出力される画像データは、減衰部７及び動き検出部１９に入力される。

減衰部７は、図２０に示す特性に基づき、画像拡大部８から出力される画像データを非線形処理して減衰させる。減衰部７から出力される画像データは、第２の減算部６に入力される。

第２の減算器６は、Ａ／Ｄ変換部４から出力される画像データから、減衰部７から出力される画像データを減算処理する。第２の減算器６から出力される画像データは、切替部２０に入力される。

動き検出部１９は、画像拡大部８から出力される画像データ（差分値）に基づいて、係数Ｋを決定し出力する。係数Ｋは、図１３に示す特性に基づいて決定される。すなわち、画像の動きが多ければ、画像データの差分値が大きくなるため、係数Ｋは大きくなる（最大値は「１」）。一方、画像の動きが少なければ、画像データの差分値が小さくなるため、係数Ｋは小さくなる（最小値は「０」）。動き検出部１９から出力される係数Ｋは、切替部２０に入力される。

切替部２０は、動き検出部１９から出力される係数Ｋに基づいて、Ａ端子に入力される画像データとＢ端子に入力される画像データとを所定の割合で加算し、加算処理した画像データを画像メモリ１２に書き込んでいる。画像メモリ１２に書き込まれた画像データに基づき、表示制御部（不図示）はモニタ（不図示）に静止画を表示させる。

ランダムノイズ抑圧処理が完了すると、再び露光前の状態に戻る。すなわち、モニタに動画を表示している状態になる。

図１４は、切替部２０の具体構成である。切替部２０は、Ａ端子２０１、Ｂ端子２０２、Ｋ端子２０３、第１の乗算器２０４、第２の乗算器２０５、基準入力端子２０６、第３の減算器２０７、加算器２０８、および出力端子２０９を備えている。図１４において、Ａ端子２０１は、２次元フィルタ１８に接続されている。Ａ端子２０１に入力される画像データは、第１の乗算器２０４に入力される。Ｂ端子２０２は、第２の減算器６に接続されている。Ｂ端子２０２に入力される画像データは、第２の乗算器２０５に入力される。Ｋ端子２０３に入力される係数Ｋは、第１の乗算器２０４と第３の減算器２０７に入力される。第３の減算器２０７は、係数Ｋと、基準入力端子２０６に入力される基準値（本実施の形態では「１」）とで、減算処理（１−Ｋ）を行う。第３の減算器２０７から出力される値は、第２の乗算器２０５に入力される。第１の乗算器２０４から出力される画像データと第２の乗算器２０５から出力される画像データは、加算器２０８に入力される。加算器２０８から出力される画像データは、出力端子２０９を介して外部へ出力される。

例えば、Ａ端子２０１に２次元フィルタから出力される画像データが入力され、Ｂ端子２０２にノイズ低減回路１４から出力される画像データが入力されている状態で、Ｋ端子２０３に係数Ｋ＝０が入力された場合は、第１の乗算器２０４の出力は「０」になる。また、第３の減算器２０７からは値「１」が出力され、第２の乗算器２０５に入力される。よって、加算器２０８には、第２の乗算器２０５から出力される画像データのみが入力され、出力端子２０９からはＢ端子２０２に入力された画像データが出力される。

また、Ｋ端子２０３に係数Ｋ＝１が入力された場合は、第１の乗算器２０４から出力される画像データが加算器２０８に入力される。また、第３の減算器２０７からは値「０」が出力され、第２の乗算器２０５に入力される。これにより、第２の乗算器２０５の出力は「０」になる。よって、加算器２０８には、第１の乗算器２０４から出力される画像データのみが入力され、出力端子２０９からはＡ端子２０１に入力された画像データが出力される。

また、Ｋ端子２０３に入力される係数Ｋが０〜１の間の所定値であれば、その値に応じて第１の乗算器２０４から出力される画像データと第２の乗算器２０５から出力される画像データとの割合が変化する。例えば、係数Ｋ＝０．８が入力された場合は、第１の乗算器２０４から出力される画像データが８０％、第２の乗算器２０５から出力される画像データが２０％の割合で、加算器２０８に入力される。

〔３．実施の形態の効果、他〕
本実施の形態によれば、動き検出部１９で画像の動きを検出して、動きが多い時は２次元フィルタ１８でフィルタ処理を行い、動きが少ない時はノイズ低減回路１４によりランダムノイズ抑圧処理を行う構成としたことにより、画像の動きが多い時のＳ／Ｎ比の劣化を防ぐことができる。すなわち、画像の動きが多い時にノイズ低減回路１４による処理を行うと、フレーム間の相関が低いため必要以上に補正がかかる、又は動きの大きな部分で全く補正がかからず、画質が劣化してしまう可能性がある。本実施の形態では、画像の動きが多い時は２次元フィルタでフィルタ処理を優先的に動作させるため、画質の劣化を抑えることができる。

なお、本実施の形態では、露光前の状態と露光後の状態の両方において、動き検出部１９による画像の動き検出と、切替部２０における切替動作を行ったが、少なくとも露光後の状態において動き検出部１９及び切替部２０を動作させる構成とすればよい。

また、本実施の形態では、図１３に示すように、動き検出部１９から出力される係数Ｋを０〜１の間で線形変化させているが、「０」及び「１」の２値としてもよい。これにより、切替部２０は、２次元フィルタ１８から出力される画像データか、ノイズ低減回路１４から出力される画像データのうち、いずれか一方のみを選択して出力することができる。

また、本実施の形態では、動き検出は、第１の減算器５から出力される差分データを用いているが、これに限らない。

また、実施の形態６は、実施の形態５に記載の構成と組み合わせているが、実施の形態１〜４に記載の構成のいずれかと組み合わせることもできる。

また、ＣＣＤイメージセンサ２は、全画素読み出しモードのみで駆動可能な撮像素子を用いてもよい。図１５は、図１２におけるＣＣＤイメージセンサ２に代えて、全画素読み出しモードのみで駆動可能なＣＣＤイメージセンサ２１を備えた構成である。また、画素混合読み出しモードまたは全画素読み出しモードのいずれかで動作可能な間引き部１５をさらに備えた。図１５に示す撮像装置は、図２に示すタイミングチャートに基づいて動作する。但し、図２（ｂ）が間引き部１５の動作となる。画素混合駆動モードは、Ａ／Ｄ変換部４から出力される画像データに対して、水平方向及び垂直方向の画素の値を加算することで、低解像度の画像データを出力するモードである。また、全画素読み出しモードは、Ａ／Ｄ変換部４から出力される画像データを、そのまま出力するモードである。間引き部１５におけるモードの切り換えは、マイコン１１によって制御される。

まず、図２の期間８１に示すように、レリーズスイッチ１０が操作されていない間は、マイコン１１は、間引き部１５に対して画素混合駆動モードで動作するよう制御している。ＣＣＤイメージセンサ２１から出力される画像信号（全画素読み出しされた画像信号）は、Ａ／Ｄ変換部４でデジタル化されて、画像データが出力される。

間引き部１５は、Ａ／Ｄ変換部４から出力される画像データに対して、画素混合の処理を行う。具体的には、Ａ／Ｄ変換部４から出力される画像データにおいて、水平方向及び垂直方向の画素の値を加算することで、実質的に間引きされた画像データを生成する。つまり、間引き部１５からは、低解像度の画像データが出力される。間引き部１５から出力される画像データは、２次元フィルタ１８、画像縮小部１６及び第２の減算器６に入力される。以降の動作は、図１２に示す撮像装置の動作と同様であるため省略する。

次に、期間８３に示すように、ＣＣＤイメージセンサ２１における露光動作が終了すると、マイコン１１は、間引き部１５を全画素読み出しモードで動作するよう制御する。これにより、間引き部１５は、ＣＣＤイメージセンサ２１から出力されＡ／Ｄ変換部４を介して入力される画像データを、そのまま２次元フィルタ１８、画像縮小部１６及び第２の減算器６に出力する。つまり、間引き部１５からは、高解像度の画像データが出力される。以降の動作は、図１２に示す撮像装置の動作と同様であるため、説明を省略する。

図１５に示す撮像装置によれば、１つの動作モード（本実施の形態では全画素読み出しモード）のみで動作するＣＣＤイメージセンサ２１は、複数の動作モードで選択的に動作可能なＣＣＤイメージセンサに比べて安価であるため、装置全体としてコストダウンをすることができる。

〔付記１〕
本発明の撮像装置は、複数の光電変換素子を備え、前記光電変換素子の出力に基づき低解像度の画像を読み出す第１の駆動モード、または前記低解像度の画像よりも解像度が高い画像を読み出す第２の駆動モードで動作可能な撮像素子と、前記撮像素子を駆動する駆動部と、前記撮像素子から前記第１の駆動モードで読み出された画像データを格納するフレームメモリと、前記フレームメモリに格納された画像データの画像サイズを拡大する画像拡大部と、前記画像拡大部で拡大された画像データに基づいて、前記撮像素子から前記第２の駆動モードで読み出された画像データのノイズ低減処理を行うノイズ低減部とを備えたものである。

この構成により、第１の駆動モードで読み出された画像をフレームメモリに格納することで高速な読み出しを行い、第２の駆動モードで読み出された画像に対して、フレームメモリに格納された画像を拡大した画像に基づいてノイズ低減処理を行うことで、被写体の動きに強く解像度の劣化も引き起こさずにランダムノイズを抑圧することができる。

なお、ＣＣＤイメージセンサ２は、撮像素子の一例である。ＣＣＤ駆動部３は、駆動部の一例である。画素混合駆動モードは、第１の駆動モードの一例である。全画素読み出しモードは、第２の駆動モードの一例である。

〔付記２〕
本発明の撮像装置は、前記撮像素子は、前記第１の駆動モードにおいて、複数の前記光電変換素子の出力を混合して出力する構成としてもよい。

この構成により、第１の駆動モードにおいて、よりランダムノイズが抑圧された画像が得られるため、第２の駆動モードで読み出された画像に対してノイズ低減処理を行う際に、より大きなランダムノイズ抑圧効果が得られる。

〔付記３〕
本発明の撮像装置は、複数の光電変換素子を備えた撮像素子と、前記撮像素子を駆動する駆動部と、前記撮像素子から出力される画像に基づき低解像度の画像を生成する第１の駆動モード、または前記低解像度の画像よりも解像度が高い画像を生成する第２の駆動モードで動作可能な間引き部と、前記間引き部から第１の駆動モードで出力される画像データを格納するフレームメモリと、前記フレームメモリに格納された画像データの画像サイズを拡大する画像拡大部と、前記画像拡大部で拡大された画像に基づいて、前記撮像素子から読み出された画像のノイズ低減処理を行うノイズ低減部とを備えたものである。

この構成により、第２の駆動モードのみで動作する安価な撮像素子を使用することが出来るので、撮像装置のコストを削減することができる。

〔付記４〕
本発明の撮像装置は、前記間引き部は、前記撮像素子から読み出された複数の前記光電変換素子の出力信号を混合して出力する構成としてもよい。

この構成により、第１の駆動モードにおいて、よりランダムノイズが抑圧された画像が得られるため、撮像素子から読み出された画像データに対してノイズ低減処理を行う際に、より大きなランダムノイズ抑圧効果が得られる。

〔付記５〕
本発明の撮像装置は、前記間引き部から読み出された画像データに２次元フィルタ処理を施すフィルタ部を、さらに備えた構成としてもよい。

この構成により、２次元フィルタ処理を施さない場合に比べて、よりランダムノイズが抑圧された画像が得られるため、撮像素子から読み出された画像データに対してノイズ低減処理を行う際に、より大きなランダムノイズ抑圧効果が得られる。特に、２次元フィルタのタップ数を増やすことなく、２次元フィルタ処理される光電変換素子の数を増加させることになるため、小回路規模で大きなランダムノイズ抑圧効果が得られる。

なお、２次元フィルタ１３は、フィルタ部の一例である。

〔付記６〕
本発明の撮像装置は、複数の光電変換素子を備え、前記光電変換素子の出力に基づき低解像度の画像を読み出す第１の駆動モード、または前記低解像度の画像よりも解像度が高い画像を読み出す第２の駆動モードで動作可能な撮像素子と、前記撮像素子を駆動する駆動部と、前記撮像素子から前記第１の駆動モードで読み出された画像データを格納するフレームメモリと、前記第２の駆動モードにおいて、前記撮像素子から読み出された画像データの画像サイズを縮小する画像縮小部と、前記画像縮小部で縮小された画像データに基づいて、前記撮像素子から前記第２の駆動モードで読み出された画像データのノイズ低減処理を行うノイズ低減部とを備え、前記ノイズ低減部は、前記第２の駆動モードにおいて、前記画像縮小部から出力される画像データから前記フレームメモリから出力される画像データを減算処理し、その差分である画像データを拡大処理し、拡大処理した画像データと前記撮像素子から出力される画像データとで減算処理を行うものである。

この構成により、ランダムノイズ抑圧処理時における偽信号の発生を抑えることができる。よって、画像の画質を向上させることができる。

〔付記７〕
本発明の撮像装置は、複数の光電変換素子を備えた撮像素子と、前記撮像素子を駆動する駆動部と、前記撮像素子から出力される画像に基づき低解像度の画像を生成する第１の駆動モード、または前記低解像度の画像よりも解像度が高い画像を生成する第２の駆動モードで動作可能な間引き部と、前記間引き部から前記第１の駆動モードで出力される画像データを格納するフレームメモリと、前記第２の駆動モードにおいて、前記間引き部から読み出された画像データの画像サイズを縮小処理する画像縮小部と、前記画像縮小部で縮小処理された画像データに基づいて、前記間引き部から前記第２の駆動モードで読み出された画像データのノイズ低減処理を行うノイズ低減部とを備え、前記ノイズ低減部は、前記第２の駆動モードにおいて、前記画像縮小部から出力される画像データから前記フレームメモリから出力される画像データを減算処理し、その差分である画像データを拡大処理し、拡大処理した画像データと前記間引き部から出力される画像データとで減算処理を行うものである。

この構成により、ランダムノイズ抑圧処理時における偽信号の発生を抑えることができる。よって、画像の画質を向上させることができる。また、第２の駆動モードのみで動作する安価な撮像素子を使用することが出来るので、撮像装置のコストを削減することができる。

〔付記８〕
本発明の撮像装置は、複数の光電変換素子を備え、前記光電変換素子の出力に基づき低解像度の画像を読み出す第１の駆動モード、または前記低解像度の画像よりも解像度が高い画像を読み出す第２の駆動モードで動作可能な撮像素子と、前記撮像素子を駆動する駆動部と、前記撮像素子から前記第１の駆動モードで読み出された画像データを格納するフレームメモリと、前記第２の駆動モードにおいて、前記フレームメモリから出力される画像データのサイズを拡大する画像拡大部と、前記撮像素子から前記第２の駆動モードで読み出された画像データに対して、ローパスフィルタ処理を行うフィルタ部と、前記フィルタ部から出力される画像データから前記画像拡大部から出力される画像データを減算処理する第１の減算器と、前記撮像素子から出力される画像データから、前記第１の減算器から出力される画像データを減算処理する第２の減算器とを備えたものである。

なお、２次元フィルタ１７は、フィルタ部の一例である。

〔付記９〕
本発明の撮像装置は、複数の光電変換素子を備えた撮像素子と、前記撮像素子を駆動する駆動部と、前記撮像素子から出力される画像に基づき低解像度の画像を生成する第１の駆動モード、または前記低解像度の画像よりも解像度が高い画像を生成する第２の駆動モードで動作可能な間引き部と、前記間引き部から前記第１の駆動モードで読み出された画像データを格納するフレームメモリと、前記第２の駆動モードにおいて、前記フレームメモリから出力される画像データの画像サイズを拡大処理する画像拡大部と、前記間引き部から前記第２の駆動モードで読み出された画像データに対して、ローパスフィルタ処理を行うフィルタ部と、前記フィルタ部から出力される画像データから前記画像拡大部から出力される画像データを減算処理する第１の減算器と、前記間引き部から出力される画像データから、前記第１の減算器から出力される画像データを減算処理する第２の減算器とを備えたものである。

〔付記１０〕
本発明の撮像装置は、複数の光電変換素子を備え、前記光電変換素子の出力に基づき低解像度の画像を読み出す第１の駆動モード、または前記低解像度の画像よりも解像度が高い画像を読み出す第２の駆動モードで動作可能な撮像素子と、前記撮像素子を駆動する駆動部と、前記撮像素子から読み出された画像データに２次元フィルタ処理を施すフィルタ部と、前記撮像素子から前記第１の駆動モードで読み出された画像データを格納するフレームメモリと、前記第２の駆動モードにおいて、前記撮像素子から出力される画像データの画像サイズを縮小する画像縮小部と、前記画像縮小部から出力される画像データから前記フレームメモリから出力される画像データを減算処理する第１の減算器と、前記第２の駆動モードにおいて、前記第１の減算器から出力される画像データの画像サイズを拡大する画像拡大部と、前記撮像素子から出力される画像データから、前記画像拡大部から出力される画像データを減算処理する第２の減算器と、前記画像拡大部から出力される画像データに基づいて、画像の動きを検出する動き検出部と、前記動き検出部における検出結果に基づいて、前記フィルタ部から出力される画像データと前記第２の減算器から出力される画像データとを、所定の割合で加算して出力する切替部とを備えたものである。

この構成により、画像の動きが多い時はフィルタ部で２次元ノイズリダクション処理を動作させ、画像の動きが少ない時は３次元ノイズリダクション処理を動作させることで、画像の動きが多い時における画像のＳ／Ｎ比の劣化を防ぐことができる。

なお、２次元フィルタ１８は、フィルタ部の一例である。

〔付記１１〕
本発明の撮像装置は、複数の光電変換素子を備えた撮像素子と、前記撮像素子を駆動する駆動部と、前記撮像素子から出力される画像に基づき低解像度の画像を生成する第１の駆動モード、または前記低解像度の画像よりも解像度が高い画像を生成する第２の駆動モードで動作可能な間引き部と、前記間引き部から読み出された画像データに２次元フィルタ処理を施すフィルタ部と、前記間引き部から前記第１の駆動モードで読み出された画像データを格納するフレームメモリと、前記第２の駆動モードにおいて、前記間引き部から出力される画像データの画像サイズを縮小処理する画像縮小部と、前記画像縮小部から出力される画像データから前記フレームメモリから出力される画像データを減算処理する第１の減算器と、前記第２の駆動モードにおいて、前記第１の減算器から出力される画像データの画像サイズを拡大処理する画像拡大部と、前記間引き部から出力される画像データから、前記画像拡大部から出力される画像データを減算処理する第２の減算器と、前記画像拡大部から出力される画像データに基づいて、画像の動きを検出する動き検出部と、前記動き検出部における検出結果に基づいて、前記フィルタ部から出力される画像データと前記第２の減算器から出力される画像データとを、所定の割合で加算して出力する切替部とを備えたものである。

この構成により、画像の動きが多い時はフィルタ部で２次元ノイズリダクション処理を動作させ、画像の動きが少ない時は３次元ノイズリダクション処理を動作させることで、画像の動きが多い時における画像のＳ／Ｎ比の劣化を防ぐことができる。また、第２の駆動モードのみで動作する安価な撮像素子を使用することが出来るので、撮像装置のコストを削減することができる。

本発明は、画像に含まれるランダムノイズを低減出来るので、デジタルスチルカメラ、ビデオカメラ、監視カメラ、カメラ付き携帯電話端末等の撮像装置を備えた電子機器に有用である。

実施の形態１にかかる撮像装置のブロック図実施の形態１、２にかかる撮像装置のタイミングチャート実施の形態２にかかる撮像装置のブロック図実施の形態３にかかる撮像装置のブロック図実施の形態４にかかる撮像装置のブロック図実施の形態４にかかる撮像装置のタイミングチャートランダムノイズ抑圧処理において副作用が生じている様子を示す波形図実施の形態４、５にかかる撮像装置の各部の波形図実施の形態４にかかる撮像装置の他例のブロック図実施の形態５にかかる撮像装置のブロック図実施の形態５にかかる撮像装置のタイミングチャート実施の形態５にかかる撮像装置の他例のブロック図実施の形態６にかかる撮像装置のブロック図実施の形態６にかかる動き検出部において、差分値と係数との関係を示す特性図実施の形態６にかかる切替部の論理回路図実施の形態６にかかる撮像装置の他例のブロック図２次元フィルタ処理部のブロック図２次元フィルタ処理部の同時化の概念を示す模式図撮像装置の画素混合駆動モードの画素の組み合せを示す模式図巡回型ノイズ低減回路の例を示すブロック図減衰部の入出力特性を示す図

符号の説明

２、２１ＣＣＤイメージセンサ
３ＣＣＤ駆動部
５第１の減算器
６第２の減算器
７減衰部
８画像拡大部
９フレームメモリ
１３、１７、１８２次元フィルタ
１４ノイズ低減回路
１５間引き部
１６画像縮小部
１９動き検出部
２０切替部

Claims

複数の光電変換素子を備え、前記光電変換素子の出力に基づき低解像度の画像を読み出す第１の駆動モード、または前記低解像度の画像よりも解像度が高い画像を読み出す第２の駆動モードで動作可能な撮像素子と、
前記撮像素子を駆動する駆動部と、
前記撮像素子から前記第１の駆動モードで読み出された画像データを格納するフレームメモリと、
前記フレームメモリに格納された画像データの画像サイズを拡大処理する画像拡大部と、
前記画像拡大部で拡大処理された画像データに基づいて、前記撮像素子から前記第２の駆動モードで読み出された画像データのノイズ低減処理を行うノイズ低減部とを備えた、撮像装置。
前記撮像素子は、前記第１の駆動モードにおいて、複数の前記光電変換素子の出力を混合して出力する、請求項１に記載の撮像装置。
前記撮像素子から読み出された画像データに２次元フィルタ処理を施すフィルタ部を、さらに備えた、請求項１に記載の撮像装置。
複数の光電変換素子を備えた撮像素子と、
前記撮像素子を駆動する駆動部と、
前記撮像素子から出力される画像に基づき低解像度の画像を生成する第１の駆動モード、または前記低解像度の画像よりも解像度が高い画像を生成する第２の駆動モードで動作可能な間引き部と、
前記間引き部から前記第１の駆動モードで出力される画像データを格納するフレームメモリと、
前記フレームメモリに格納された画像データの画像サイズを拡大処理する画像拡大部と、
前記画像拡大部で拡大処理された画像データに基づいて、前記撮像素子から読み出された画像データのノイズ低減処理を行うノイズ低減部とを備えた撮像装置。
前記間引き部は、前記撮像素子から読み出された複数の前記光電変換素子の出力を混合して出力する、請求項４に記載の撮像装置。
前記間引き部から読み出された画像データに２次元フィルタ処理を施すフィルタ部を、さらに備えた、請求項４に記載の撮像装置。
複数の光電変換素子を備え、前記光電変換素子の出力に基づき低解像度の画像を読み出す第１の駆動モード、または前記低解像度の画像よりも解像度が高い画像を読み出す第２の駆動モードで動作可能な撮像素子と、
前記撮像素子を駆動する駆動部と、
前記撮像素子から前記第１の駆動モードで読み出された画像データを格納するフレームメモリと、
前記第２の駆動モードにおいて、前記撮像素子から読み出された画像データの画像サイズを縮小処理する画像縮小部と、
前記画像縮小部で縮小処理された画像データに基づいて、前記撮像素子から前記第２の駆動モードで読み出された画像データのノイズ低減処理を行うノイズ低減部とを備え、
前記ノイズ低減部は、
前記第２の駆動モードにおいて、前記画像縮小部から出力される画像データから前記フレームメモリから出力される画像データを減算処理し、その差分である画像データを拡大処理し、拡大処理した画像データと前記撮像素子から出力される画像データとで減算処理を行う、撮像装置。
複数の光電変換素子を備えた撮像素子と、
前記撮像素子を駆動する駆動部と、
前記撮像素子から出力される画像に基づき低解像度の画像を生成する第１の駆動モード、または前記低解像度の画像よりも解像度が高い画像を生成する第２の駆動モードで動作可能な間引き部と、
前記間引き部から前記第１の駆動モードで出力される画像データを格納するフレームメモリと、
前記第２の駆動モードにおいて、前記間引き部から読み出された画像データの画像サイズを縮小処理する画像縮小部と、
前記画像縮小部で縮小処理された画像データに基づいて、前記間引き部から前記第２の駆動モードで読み出された画像データのノイズ低減処理を行うノイズ低減部とを備え、
前記ノイズ低減部は、
前記第２の駆動モードにおいて、前記画像縮小部から出力される画像データから前記フレームメモリから出力される画像データを減算処理し、その差分である画像データを拡大処理し、拡大処理した画像データと前記間引き部から出力される画像データとで減算処理を行う、撮像装置。
複数の光電変換素子を備え、前記光電変換素子の出力に基づき低解像度の画像を読み出す第１の駆動モード、または前記低解像度の画像よりも解像度が高い画像を読み出す第２の駆動モードで動作可能な撮像素子と、
前記撮像素子を駆動する駆動部と、
前記撮像素子から前記第１の駆動モードで読み出された画像データを格納するフレームメモリと、
前記第２の駆動モードにおいて、前記フレームメモリから出力される画像データの画像サイズを拡大処理する画像拡大部と、
前記撮像素子から前記第２の駆動モードで読み出された画像データに対して、ローパスフィルタ処理を行うフィルタ部と、
前記フィルタ部から出力される画像データから、前記画像拡大部から出力される画像データを減算処理する第１の減算器と、
前記撮像素子から出力される画像データから、前記第１の減算器から出力される画像データを減算処理する第２の減算器とを備えた、撮像装置。
複数の光電変換素子を備えた撮像素子と、
前記撮像素子を駆動する駆動部と、
前記撮像素子から出力される画像に基づき低解像度の画像を生成する第１の駆動モード、または前記低解像度の画像よりも解像度が高い画像を生成する第２の駆動モードで動作可能な間引き部と、
前記間引き部から前記第１の駆動モードで読み出された画像データを格納するフレームメモリと、
前記第２の駆動モードにおいて、前記フレームメモリから出力される画像データの画像サイズを拡大処理する画像拡大部と、
前記間引き部から前記第２の駆動モードで読み出された画像データに対して、ローパスフィルタ処理を行うフィルタ部と、
前記フィルタ部から出力される画像データから、前記画像拡大部から出力される画像データを減算処理する第１の減算器と、
前記間引き部から出力される画像データから、前記第１の減算器から出力される画像データを減算処理する第２の減算器とを備えた、撮像装置。
複数の光電変換素子を備え、前記光電変換素子の出力に基づき低解像度の画像を読み出す第１の駆動モード、または前記低解像度の画像よりも解像度が高い画像を読み出す第２の駆動モードで動作可能な撮像素子と、
前記撮像素子を駆動する駆動部と、
前記撮像素子から読み出された画像データに２次元フィルタ処理を施すフィルタ部と、
前記撮像素子から前記第１の駆動モードで読み出された画像データを格納するフレームメモリと、
前記第２の駆動モードにおいて、前記撮像素子から出力される画像データの画像サイズを縮小処理する画像縮小部と、
前記画像縮小部から出力される画像データから、前記フレームメモリから出力される画像データを減算処理する第１の減算器と、
前記第２の駆動モードにおいて、前記第１の減算器から出力される画像データの画像サイズを拡大処理する画像拡大部と、
前記撮像素子から出力される画像データから、前記画像拡大部から出力される画像データを減算処理する第２の減算器と、
前記画像拡大部から出力される画像データに基づいて、画像の動きを検出する動き検出部と、
前記動き検出部における検出結果に基づいて、前記フィルタ部から出力される画像データと前記第２の減算器から出力される画像データとを、所定の割合で加算して出力する切替部とを備えた、撮像装置。
複数の光電変換素子を備えた撮像素子と、
前記撮像素子を駆動する駆動部と、
前記撮像素子から出力される画像に基づき低解像度の画像を生成する第１の駆動モード、または前記低解像度の画像よりも解像度が高い画像を生成する第２の駆動モードで動作可能な間引き部と、
前記間引き部から読み出された画像データに２次元フィルタ処理を施すフィルタ部と、
前記間引き部から前記第１の駆動モードで読み出された画像データを格納するフレームメモリと、
前記第２の駆動モードにおいて、前記間引き部から出力される画像データの画像サイズを縮小処理する画像縮小部と、
前記画像縮小部から出力される画像データから、前記フレームメモリから出力される画像データを減算処理する第１の減算器と、
前記第２の駆動モードにおいて、前記第１の減算器から出力される画像データの画像サイズを拡大処理する画像拡大部と、
前記間引き部から出力される画像データから、前記画像拡大部から出力される画像データを減算処理する第２の減算器と、
前記画像拡大部から出力される画像データに基づいて、画像の動きを検出する動き検出部と、
前記動き検出部における検出結果に基づいて、前記フィルタ部から出力される画像データと前記第２の減算器から出力される画像データとを、所定の割合で加算して出力する切替部とを備えた、撮像装置。