JP3943655B2

JP3943655B2 - Imaging device

Info

Publication number: JP3943655B2
Application number: JP15559997A
Authority: JP
Inventors: 明鈴木
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1997-03-31
Filing date: 1997-06-12
Publication date: 2007-07-11
Anticipated expiration: 2017-06-12
Also published as: JPH10336528A

Description

【０００１】
【発明の属する技術分野】
この発明は、総画素数の少ない撮像素子を利用して高解像度の画像を取得する撮像装置に関する。
【０００２】
【従来の技術】
信号理論においては、一般的に、標本化定理が知られている。帯域幅ＢＨｚの有限帯域信号ｘ（ｔ）は１秒当たりのサンプル数がｆ≧２Ｂであるようなサンプリングによって得られる数列ｘ（ｎ／ｆ）によって一意的に決定される。つまりこの命題によると、信号のサンプリングは、その信号に含まれる周波数成分の最大周波数の２倍以上でサンプリングすることを示唆する。逆にサンプリング周波数ｆが与えられたときは、信号にはｆ／２以下の低域通過フィルタを通して、あらかじめ高周波成分をカットしておくべきことを示唆している。
【０００３】
すなわち、信号に含まれる周波数成分の内より高周波な成分を再現させようとすると、より高い周波数でサンプリングする必要が生じる。同様に、固体撮像素子などを用いた撮像装置においては、入力信号である被写体像について空間的に受光素子が配列された撮像素子でサンプリングすることで、画像情報を得ることができる。具体的には、固体撮像素子などを用いた撮像装置においては、高解像な画像を得るために、より多くの受光素子列をもつ画素数の多い撮像素子が必要となる。
【０００４】
しかしながら、現在、一般的な撮像素子に適用されているエリアＣＣＤ撮像素子の高密度化には限界がきている。その対応策として特開昭５８−１５７２６３号公報，同５９−１３４７６号公報などにより画素ずらし技術が提案されている。この技術は、ひとつの被写体像とその被写体像をサンプリングする撮像素子とを利用し、被写体像と撮像素子との相対的位置関係を変位させ、複数の相対的位置関係により得られた被写体像の画像情報を得て、その複数の画像情報によってより高解像な画像を得るものである。
【０００５】
この場合、例えば、水平方向に半画素分だけ相対位置関係を変位させ、その変位により得られた２つの画像情報を得ることで、水平方向の画素ピッチが１／２の撮像素子でサンプリングしたものと同等の画像情報を得ることができる。すなわち、上述の技術を用いれば、水平ｍ（ｍは自然数）画素の撮像素子により２ｍ画素の撮像素子でサンプリングしたものと同等の画像が得られ、これによって、撮像装置の高解像化が可能である。
【０００６】
【発明が解決しようとする課題】
上記公報のように従来例による撮像装置は、単独の画像情報だけでは意味がなく複数の画像情報を合成してはじめて高解像な画像（映像）を得るようにしているので、画像合成後に高解像な画像を得ようとすれば、画像合成前の各画像情報に撮像素子のサンプリングピッチよりも高い周波数成分が含まれているという条件が必要であった。この条件を満たせば、画像合成前の画像情報について単独で画像を形成した場合、前述の標本化定理によりサンプリング周波数よりも高い周波数成分の画像情報が含まれていることから、一般に折り返し現象が発生して正常に画像を再現することができないという問題があった。
【０００８】
この発明は、上述した従来例による問題を解消するため、画像情報を単独で使用しても折り返し現象の発生しない画像を再現することが可能な撮像装置を得ることを第２の目的とする。
【００１３】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、請求項１の発明に係る撮像装置は、光学的に被写体像を入力する光学的入力手段と、前記光学的入力手段により入力された被写体像に対して異なる高周波成分以上を低減して通過させるフィルタ手段と、前記フィルタ手段を通過して出力された被写体像を受光素子ピッチでサンプリングして画像情報を得る撮像素子と、同一被写体像について前記フィルタ手段で任意の異なる高周波成分以上を低減して通過させることで前記撮像素子から複数の画像情報を入力し、前記入力した複数の画像情報を合成することで合成前の前記画像情報に比べて倍のサンプリングでサンプリングした情報と等価である合成情報を取得する合成手段と、を備えたものである。
【００１４】
この請求項１の発明によれば、光学的入力手段により光学的に入力された被写体像に対してフィルタ手段により異なる高周波成分以上を低減して通過させ、撮像素子によりフィルタ手段を通過して出力された被写体像を受光素子ピッチでサンプリングして画像情報を得る場合、同一被写体像についてフィルタ手段で任意の異なる高周波成分以上を低減して通過させることで撮像素子から複数の画像情報を入力し、入力した複数の画像情報を合成することで合成前の画像情報に比べて倍のサンプリングでサンプリングした情報と等価である合成情報を取得するようにしたので、単独サンプリングに比べて高い周波数成分まで画像を再現することができ、しかも単独画像からでも折り返しノイズの無い信号の画像を実現することが可能であるとともに、総画素数の少ない撮像素子でも高い解像度が得られ、しかも高周波成分を低減して得られる画像情報のみを出力しても疑似信号によりモワレの無い画像を再現することが可能である。
【００１５】
また、請求項２の発明に係る撮像装置は、請求項１の発明において、フィルタ手段は、水晶光学フィルタを有し、該水晶光学フィルタを用いて高周波成分以上を低減することを特徴とする。
【００１６】
この請求項２の発明によれば、水晶光学フィルタを用いて高周波成分以上を低減するようにしたので、簡単に高周波成分を低減することができ、しかも水平，垂直に分離，非分離を切り換え、水晶光学フィルタを回転させることで、被写体像と撮像素子との相対的位置関係の変位を安価な構成で得ることが可能である。
【００１７】
また、請求項３の発明に係る撮像装置は、請求項１の発明において、フィルタ手段は、被写体像の露光中に、光学的入力手段により入力された被写体像と撮像素子との相対的位置関係を変位させることを特徴とする。
【００１８】
この請求項３の発明によれば、被写体像の露光中に被写体像と撮像素子との相対的位置関係を変位させるようにしたので、その変位による移動量でフィルタ特性を変化させることが可能である。
【００１９】
また、請求項４の発明に係る撮像装置は、請求項１の発明において、フィルタ手段は、光学的入力手段により入力された被写体像の結像位置を変位させることを特徴とする。
【００２０】
この請求項４の発明によれば、被写体像の結像位置を変位させるようにしたので、被写体像のピントをぼかして高周波成分を低減することになり、これによって、簡単に画像情報を取得することが可能である。
【００２１】
また、請求項５の発明に係る撮像装置は、請求項１〜４のいずれかひとつの発明において、撮像素子は、カラー固体撮像素子であり、フィルタ手段により高周波成分以上を低減された被写体像に基づいて第１画像情報を作成するとともに、フィルタ手段により高周波成分以上を低減されていない被写体像に基づいて第２画像情報を作成し、合成手段は第１画像情報と第２画像情報とを合成することを特徴とする。
【００２２】
この請求項５の発明によれば、カラー固体撮像素子により被写体像に基づいて第１画像情報を作成するとともに高周波成分以上を低減されていない被写体像に基づいて第２画像情報を作成してから合成するようにしたので、疑色の低減が図れ、かつ高周波成分を含んだ高解像度画像を取得することが可能である。
【００２３】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る信号処理装置および撮像装置の好適な実施の形態を詳細に説明する。
【００２４】
まず、原理について説明する。図１はこの発明に係る信号処理装置の原理を示す構成図である。図１に示した信号処理装置は、入力信号について任意の高周波成分以上を低減して通過させる低域通過フィルタ１、この低域通過フィルタ１を通過して出力された信号をあるサンプリング周波数でサンプリングしてサンプリング情報を得るサンプリング手段２、および同一入力信号について低域通過フィルタ１で任意の異なる高周波成分以上を低減して通過させ、サンプリング手段２から複数のサンプリング情報を入力し、複数のサンプリング情報を合成する合成手段３により構成される。
【００２５】
次に、動作について説明する。上記信号処理装置は、低域通過フィルタ１により入力信号について任意の高周波成分以上を低減して通過させ、サンプリング手段２により低域通過フィルタ１を通過して出力された信号をあるサンプリング周波数でサンプリングしてサンプリング情報を得る場合、同一入力信号について低域通過フィルタ１で任意の異なる高周波成分以上を低減して通過させ、サンプリング手段２から複数のサンプリング情報を入力し、複数のサンプリング情報を合成する。これにより、単独サンプリングに比べて高い周波数成分まで信号を再現することができ、しかも単独の入力信号からでも折り返しノイズの無い信号の再生を実現することが可能である。
【００２６】
次に、上述した原理に従って折り返し現象の発生しない信号の取得方法について説明する。図２は折り返しノイズをもつ信号スペクトルをグラフ化して示す図、図３は折り返しノイズをもたない信号スペクトル（一例）をグラフ化して示す図、図４は折り返しノイズをもたない信号スペクトル（もうひとつの例）をグラフ化して示す図そして、図５は信号スペクトルの合成手順をグラフ化して示す図である。
【００２７】
原信号スペクトルの周波数領域が［−ｆｍａｘ，＋ｆｍａｘ］であった場合（図２（ａ）参照）、サンプリング周波数がｆｓであり（図２（ｂ）の標本化信号スペクトルを参照）、標本化定理によりｆｍａｘ＞（１／２）ｆｓのときの折り返しにより、図２（ｃ）に示した如く、標本化された信号が得られる。この標本化された信号には折り返しノイズがのることになる。
【００２８】
また、原信号スペクトルの周波数領域［−ｆｍａｘ，＋ｆｍａｘ］（図３（ａ）参照）をｆｍａｘ≦（１／２）ｆｓでサンプリングした場合（図３（ｂ）の標本化信号スペクトルを参照）、標本化された信号はナイキスト条件を満たしているので、図３（ｃ）に示した如く、折り返しノイズが発生することはなく、原信号を標本化された情報に基づいて再現することができる。
【００２９】
また、原信号スペクトルの［−ｆｍａｘ，＋ｆｍａｘ］であった場合（図４（ａ）参照）、サンプリング周波数がｆｓであり（図４（ｂ）の標本化信号スペクトルを参照）、標本化定理によりｆｍａｘ＞（１／２）ｆｓのとき、（１／２）ｆｓよりも高い周波数をカットした帯域制限信号を低域通過フィルタ１を通過させて形成し、その帯域制限信号をサンプリング手段２によりサンプリング周波数ｆｓでサンプリングすると、図４（ｃ）に示した如く、標本化された情報が得られる。この標本化された信号は、（１／２）ｆｓ以上の高周波成分がカットされているので、折り返しノイズは発生しなくなる。
【００３０】
ここで、原信号を標本化して折り返しノイズののった標本化された信号（図５（ａ）参照、図２（ｃ）と同じ）と、帯域制限した信号が標本化された信号（図５（ｂ）参照、図４（ｄ）と同じ）とを比較すると、図５（ｃ）に示した如く、折り返し成分のみ抽出することができる（図５（ｃ）中、斜線部分）。
【００３１】
この折り返し成分は帯域制限信号を形成するときにカットした高周波成分と同等なので、図５（ｄ）に示したように、合成信号は、図５（ｂ）の標本化された信号と図５（ｃ）の折り返し成分との合成により得られる。
【００３２】
以上説明した原理のように、（１／２）ｆｓ＜ｆｍａｘを含んだ原信号を標本化したときの標本化信号と（１／２）ｆｓ以上の高周波成分をカットした帯域制限信号の標本化信号とを用いることで、図３（ｃ）の標本化された信号と同等の折り返しノイズの無い、原信号と同等の信号を再現可能な合成を行うことができる。なお、上記帯域制限信号の標本化信号は折り返しノイズが含まれない信号である。
【００３３】
次に、具体的な構成を用いて説明する。以下の説明では、撮像装置としてデジタルカメラを例に挙げて説明する。
【００３４】
図６はこの発明の一実施の形態による撮像装置の構成を示すブロック図である。撮像装置は、図６に示したように、レンズ１０１、オートフォーカス等を含むメカ機構１０２、ＣＣＤ１０３Ａ、アクチュエータ１０３Ｂ、ＣＤＳ（相関２重サンプリング）回路１０４、Ａ／Ｄ変換器１０５、信号処理・合成部１０６、ＤＣＴ１０７、コーダー１０８、ＭＣＣ１０９、バッファメモリ１１０、ビデオアンプ１１１、内部メモリ１１２、ＣＰＵ１２１、表示部１２２、操作部１２３、パラメータメモリ１２４、モータドライバ１２５、ＳＧ（制御信号生成）部１２６、ストロボ１２７、ＡＦセンサ１２８、低域通過フィルタ１２９、通信部１３０などを備えている。
【００３５】
レンズユニットは、レンズ１０１、オートフォーカス（ＡＦ）・絞り・フィルタ部を含むメカ機構１０２等からなり、メカ機構１０２のメカニカルシャッターは２つのフィールドの同時露光を行う。ＣＣＤ１０３Ａは、レンズユニットを介して入力した映像を電気信号（アナログ画像データ）に変換する。低域通過フィルタ１２９は、レンズユニット（レンズ１０１）とＣＣＤ１０３Ａとの間に設けられ、レンズ１０１を通りＣＣＤ１０３Ａに受光される光（被写体像）について光学的に高周波成分を低減して通過させる。アクチュエータ１０３Ｂは、ＣＣＤ１０３Ａに取り付けられ、ＣＰＵ１２１の制御に従ってＣＣＤ１０３Ａと被写体との相対的に位置関係を変位させる。
【００３６】
ＣＤＳ回路１０４は、ＣＣＤ型撮像素子に対する低雑音化とともに、前述の原理に従い（１／２）ｆｓ＜ｆｍａｘを含んだ原信号を標本化したときの標本化信号と（１／２）ｆｓ以上の高周波成分をカットした帯域制限信号の標本化信号とを得るための回路である。またＡ／Ｄ変換器１０５は、ＣＤＳ回路１０４を介して入力したＣＣＤ１０３Ａからのアナログ画像データをデジタル画像データに変換する。すなわち、ＣＣＤ１０３Ａの出力信号は、ＣＤＳ回路１０４を通してＡ／Ｄ変換器１０５で最適なサンプリング周波数（例えば、ＮＴＳＣ信号のサブキャリア周波数の整数倍）にてデジタル信号に変換される。
【００３７】
また、信号処理・合成部１０６は、Ａ／Ｄ変換器１０５から入力したデジタル画像データを前述の原理に従い合成処理，色差と輝度に分けて各種処理、補正および画像圧縮／伸長のためのデータ処理を施す。ＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）１０７は、例えばＪＰＥＧ準拠の画像圧縮・伸長の一過程である直交変換を行い、そしてコーダー（ＨｕｆｆｍａｎＥｎｃｏｄｅｒ／ｄｅｃｏｄｅｒ）１０８は、ＪＰＥＧ準拠の画像圧縮・伸長の一過程であるハフマン符号化・復号化等を行う。
【００３８】
またＭＣＣ（ＭｅｍｏｒｙＣａｒｄＣｏｎｔｒｏｌｌｅｒ）１０９は、圧縮処理された画像と図示せぬマイクから取り込まれてデジタル化された音声を一旦蓄え、同時処理して内部メモリ１１２またはメモリカードへの記録・読み出しを行う。ＣＰＵ１２１は、操作部１２３からの指示、或いは図示しないリモコン等の外部動作指示に従い、上記各部の動作を制御する。
【００３９】
表示部１２２は、ＬＣＤ，ＬＥＤ，ＥＬ等で実現されており、ＣＣＤ１０３Ａにおいてサンプリングされた信号を直接表示したり撮影したデジタル画像データや伸長処理された記録画像データに基づく画像を表示すると共に、撮像装置自身の状態等を表示する。操作部１２３は、機能選択、撮影指示、およびその他の各種設定を外部から行うためのボタンを備える。この操作部１２３は、レリーズボタン１２３Ａを有しており、このレリーズボタン１２３Ａの操作によりＣＰＵ１２１へレリーズ信号を出力する。通信部１３０は、外部装置と図示せぬケーブルで接続してＣＣＤ１０３Ａにおいてサンプリングされた信号を直接伝送したり、撮像画像を伝送する。
【００４０】
次に、折り返し現象の発生しない画像情報の取得方法について説明する。図７は画像情報の合成方法を説明する図であり、図８は出力信号の周波数特性を示す図である。
【００４１】
ＣＣＤ１０３Ａにおいて、ａ₀，ａ₁…ａ_n（ｎは自然数）のように水平に受光素子が配列されている場合（図７（ａ）参照）、これら受光素子から得られる第１画像情報（ａ₀，ａ₁…ａ_n）と、アクチュエータ１０３ＢによりＣＣＤ１０３Ａを撮像中に水平もしくは垂直方向に変位させて受光素子から得られると仮定した第２画像情報（ｂ₀，ｂ₁…ｂ_n）とがあるとした場合、（ｂ₀，ｂ₁…ｂ_n）−（ａ₀，ａ₁…ａ_n）＝（ｃ₀，ｃ₁…ｃ_n）となることは自明である。すなわち、第２画像情報（ｂ₀，ｂ₁…ｂ_n）には、第１画像情報（ａ₀，ａ₁…ａ_n）と第３画像情報（ｃ₀，ｃ₁…ｃ_n）との双方の情報が重ね合わさった情報であることに起因する。
【００４２】
したがって、第１画像情報（ａ₀，ａ₁…ａ_n）と算出された第３画像情報（ｃ₀，ｃ₁…ｃ_n）とを同一位置に対応させて並べることで、図７（ｃ）に示した如く、合成情報（ａ₀，ｃ₀，ａ₁，ｃ₁…ａ_n，ｃ_n）が取得される。この合成情報は、第１画像情報（ａ₀，ａ₁…ａ_n）に比べて倍のサンプリングでサンプリングした情報と等価である。
【００４３】
このように、第１画像情報（ａ₀，ａ₁…ａ_n）と第２画像情報（ｂ₀，ｂ₁…ｂ_n）とで、第１画像情報（ａ₀，ａ₁…ａ_n）と第３画像情報（ｃ₀，ｃ₁…ｃ_n）とを合成した合成画像と等価の情報が得られることから、合成画像を形成する技法は、一般に画素ずらしと呼ばれている技術に相当する。しかしながら、本来の画素ずらしとの違いは、撮像中に水平もしくは垂直方向に変位させて受光素子から得られると仮定した第２画像情報（ｂ₀，ｂ₁…ｂ_n）を利用する点にある。
【００４４】
次に、第１画像情報（ａ₀，ａ₁…ａ_n）もしくは第３画像情報（ｃ₀，ｃ₁…ｃ_n）と、第２画像情報（ｂ₀，ｂ₁…ｂ_n）との違いについて述べる。
【００４５】
被写体の入力信号（被写体像）がｓｉｎ（（２π／Ｔ）・ｘ），画素ピッチがＰ，受光巾がＷとすると、下記の数１、数２、数３となり、数４により数５となる。
【００４６】
【数１】

【００４７】
【数２】

【００４８】
【数３】

【００４９】
【数４】

【００５０】
【数５】

【００５１】
以上よりａ_n，ｂ_n，ｃ_nは、入力信号を表すＳｉｎ（（２π／Ｔ）ｎＰ＋Ｔｏ）と、Ｓｉｎ（（２π／Ｔ）（ｎＰ＋（１／４）Ｐ）＋Ｔｏ）と、Ｓｉｎ（（２π／Ｔ）（ｎＰ＋（１／２）Ｐ）＋Ｔｏ）と、その信号の振幅の減衰項であるＳｉｎ（（π／Ｔ）ｗ）／（（π／Ｔ）ｗ）Ｓｉｎ（（２π／Ｔ）ｗ）／（（２π／Ｔ）ｗ）で表せる。このとき、図８のように、Ｓｉｎｃ関数の減衰でｗ＝ｐとすると、ａ_n，ｃ_nは１／Ｔ＝１／Ｐで、振幅は０になる。
【００５２】
それに比べてｂ_nは１／Ｔ＝１／２Ｐで、振幅が０になるので、サンプリングピッチに比べて１／２の周波数で、振幅が０になる。このため、ｂ_nのようなサンプリングを行うとサンプリング周波数の１／２以上をカットするロ−パスフィルタとして働くことになる。
【００５３】
すなわち、ａ_n，ｃ_nでサンプリングした場合、原信号に（１／２）ｆｓ以上の高周波成分があれば、ａ_n，ｃ_n単独で原信号を再現すると、（１／２）ｆｓ〜ｆｓの間の信号が折り返しノイズとして発生する。一方、ｂ_n単独で原信号を再現しても減衰項の様に、（１／２）ｆｓ〜ｆｓの間の信号が抑制されているので、折り返しノイズが抑制される。
【００５４】
以上説明したように、この実施の形態によれば、レンズ１０１により光学的に入力された被写体像に対して低域通過フィルタ１２９により異なる高周波成分以上を低減して通過させ、ＣＣＤ１０３Ａにより低域通過フィルタ１２９を通過して出力された被写体像を受光素子ピッチでサンプリングして画像情報を得る場合、同一被写体像について低域通過フィルタ１２９で任意の異なる高周波成分以上を低減して通過させることでＣＣＤ１０３Ａから複数の画像情報を入力し、入力した複数の画像情報を合成することで合成前の画像情報に比べて倍のサンプリングでサンプリングした情報と等価である合成情報を取得するようにしたので、単独サンプリングに比べて高い周波数成分まで画像を再現することができ、しかも単独画像からでも折り返しノイズの無い信号の画像を実現することが可能であるとともに、総画素数の少ない撮像素子でも高い解像度が得られ、しかも高周波成分を低減して得られる画像情報のみを出力しても疑似信号によりモワレの無い画像を再現することが可能である。
【００５５】
また、低域通過フィルタ１２９を通過して出力された信号を表示もしくは伝送するようにしたので、早い処理段階での表示や伝送ができ、しかも必要に応じて高周波成分を含んだ信号を表示や伝送することで高い周波数までの再現を行うことが可能である。
【００５６】
さて、ａ_n，ｂ_n信号を用いてｃ_n信号を算出して、合成情報｛ａ₀，ｃ₀…ａ_n，ｃ_n｝信号を得るために、ａ₀，ａ₁…ａ_nの様に配列された受光素子列からｂ₀，ｂ₁…ｂ_nの様に配列された受光素子と等価な出力を得るには、ａ₀，ａ₁…ａ_nの受光素子を変位させ、２回の露光を行っても良く、あるいは振動させて露光しても良い。
【００５７】
また、被写体像と撮像素子（ＣＣＤ１０３Ａ）との相対的位置関係を変位させるには撮影光学系（レンズ１０１）により被写体像を変位させても良く、あるいは積層圧電素子等で撮像素子そのものを変位させても良い。
【００５８】
次に、上述した実施の形態の変形例について具体的に説明する。まず、変形例１として水晶光学フィルタ１２９の複屈折や回転を利用した場合について説明する。
【００５９】
図９は変形例１による水晶光学フィルタ構成を示す図であり、同図（ａ）は複屈折の一例を示し、同図（ｂ）は回転の一例を示している。図９（ａ）のように低域通過フィルタ１２９に水晶光学フィルタを適用した場合には、光学的な入力光線は水晶光学フィルタ（低域通過フィルタ１２９）において常光線と異常光線の屈折率の違いより分離する特性がある。
【００６０】
この分離幅を前述の変位量と同じにすれば、第２画像情報｛ｂ₀，ｂ₁…ｂ_n｝の様な出力が得られる。また、入力光線を光学素子（レンズ１０１）で異常光線または常光線をカットするようにすれば、第１画像情報｛ａ₀，ａ₁…ａ_n｝の様な出力が得られる。
【００６１】
さらに、図９（ｂ）のように、水晶光学フィルタ（低域通過フィルタ１２９）を矢印Ｗの方向に回転させて光の分離方向を変えれば、水平方向，垂直方向に分離，非分離に切り換えることができる。
【００６２】
このように、水晶光学フィルタを用いて高周波成分以上を低減するようにしたので、簡単に高周波成分を低減することができ、しかも水平，垂直に分離，非分離を切り換え、水晶光学フィルタを回転させることで、被写体像と撮像素子との相対的位置関係の変位を安価な構成で得ることが可能である。
【００６３】
また、被写体像の露光中に被写体像と撮像素子との相対的位置関係を変位させるようにしたので、その変位による移動量でフィルタ特性を変化させることが可能である。
【００６４】
次に、変形例２として被写体像をぼかす場合について説明する。図１０は変形例２による画像情報の合成方法をグラフ化して示す図である。図１０（ａ）の様な被写体をＣＣＤ１０３Ａでサンプリングした情報を同図（ｂ）とし、撮影光学系のピント位置を変えて被写体像をぼかしてサンプリングした情報を同図（ｃ）とする。
【００６５】
図１０（ｂ）の情報（波形）は、同図（ｄ）の如くピーク値をとり、一方、図１０（ｃ）の情報（波形）は、同図（ｅ）の如くピーク値をとる。そこで、図１０（ｅ）のピーク値を２倍にし、そこから同位置において同図（ｄ）のピーク値を取り除くと、同図（ｆ）の情報が得られる。この図１０（ｆ）の情報と同図（ｄ）の情報とを合成することで、同図（ｇ）に示した情報を得ることが可能である。
【００６６】
すなわち、被写体像の結像位置を変位させるようにしたので、被写体像のピントをぼかして高周波成分を低減することになり、これによって、簡単に画像情報を取得することが可能である。
【００６７】
次に、前述の実施の形態や各変形例による具体的効果について述べる。図１１はカラーフィルタを用いた画像情報の合成方法をグラフ化して示す図であり、図１２は縞模様の被写体における画像パターンを概略的に示す図である。
【００６８】
図１１（ａ）のように受光素子上にカラーフィルタを配置させたカラー配列の撮像素子を適用した場合には、カラーフィルタが空間的に異なる位置に配列されているため、輝度信号と色信号との分離ができなくなる。例えば、撮像素子に緑色（Ｇ）一色の一様光が当たっている場合には、図１１（ｂ）に示したように、Ｇ画素の信号が大きくなり、Ｒ，Ｂの各画素の信号は小さくなる。
【００６９】
また、被写体が図１２に示したように高い周波数の縞（Ｇが明部，ＲおよびＢが暗部の縞模様）をもっている場合には、図１１（ｃ）に示したように、Ｇ画素の信号が高く、Ｒ，Ｂの各画素の信号が小さくなる。その結果、撮像素子に緑色（Ｇ）一色の一様光が当たっている場合に得られる信号（図１１（ｂ））と被写体が縞模様をもつ場合の信号（図１１（ｃ））とは同様信号パターンとなり、見分けがつかなくなる。
【００７０】
そこで、前述の実施の形態（もしくは変形例との組み合わせ）において、被写体の高周波成分を減少させることで緑一色の一様光を受光した場合には、出力に変化はないが、図１１（ｃ）のような縞の被写体から、同図（ｄ）に示した如く出力が得られる。
【００７１】
その結果、図１１（ｃ）と同図（ｄ）のグラフを比較すれば、高周波成分を減衰させた場合の図１１（ｄ）の信号は、各Ｒ，Ｇ，Ｂで一様となり、レベル差がなくなることから、緑一色の一様光か、それとも縞の被写体かの区別が明瞭になる。
【００７２】
すなわち、高周波成分を減衰させた被写体像の情報で低周波成分による画像が作成できることになる。高周波成分を含んだ折り返しノイズのある画像情報について、高周波成分の折り返し部分（通常、疑色と呼ばれている）を正常な高周波成分に変換し、疑色のない高解像のカラー画像を得ることが可能になる。
【００７３】
この合成方法は色々考えられるが、単純な方法としては高周波成分を減衰させた情報で色信号を作成しその色信号に基づいて高周波成分を含んだ情報で輝度情報を作成する方法と、高周波成分を減衰させた情報と高周波成分を含んだ情報と異なる部分のみ抽出して、この発明を使用しても良い。
【００７４】
また、この発明では、説明上、１次元の撮像素子（リニアセンサ）を挙げていたが、エリアセンサを適用できることは自明である。
【００７５】
また、信号処理装置の適用例として撮像装置を挙げていたが、その他にスキャナ，カラー複写機，カラーファクシミリなどへの適用も可能である。
【００７８】
【発明の効果】
以上説明したように、請求項１の発明によれば、光学的入力手段により光学的に入力された被写体像に対してフィルタ手段により異なる高周波成分以上を低減して通過させ、撮像素子によりフィルタ手段を通過して出力された被写体像を受光素子ピッチでサンプリングして画像情報を得る場合、同一被写体像についてフィルタ手段で任意の異なる高周波成分以上を低減して通過させることで撮像素子から複数の画像情報を入力し、入力した複数の画像情報を合成することで合成前の画像情報に比べて倍のサンプリングでサンプリングした情報と等価である合成情報を取得するようにしたので、単独サンプリングに比べて高い周波数成分まで画像を再現することができ、しかも単独画像からでも折り返しノイズの無い信号の画像を実現することが可能であるとともに、総画素数の少ない撮像素子でも高い解像度が得られ、しかも高周波成分を低減して得られる画像情報のみを出力しても疑似信号によりモワレの無い画像を再現することが可能な撮像装置が得られるという効果を奏する。
【００７９】
また、請求項２の発明によれば、請求項１の発明において、水晶光学フィルタを用いて高周波成分以上を低減するようにしたので、簡単に高周波成分を低減することができ、しかも水平，垂直に分離，非分離を切り換え、水晶光学フィルタを回転させることで、被写体像と撮像素子との相対的位置関係の変位を安価な構成で得ることが可能な撮像装置が得られるという効果を奏する。
【００８０】
また、請求項３の発明によれば、請求項１の発明において、被写体像の露光中に被写体像と撮像素子との相対的位置関係を変位させるようにしたので、その変位による移動量でフィルタ特性を変化させることが可能な撮像装置が得られるという効果を奏する。
【００８１】
また、請求項４の発明によれば、請求項１の発明において、被写体像の結像位置を変位させるようにしたので、被写体像のピントをぼかして高周波成分を低減することになり、これによって、簡単に画像情報を取得することが可能な撮像装置が得られるという効果を奏する。
【００８２】
また、請求項５の発明によれば、請求項１〜４のいずれか一つの発明において、カラー固体撮像素子により被写体像に基づいて第１画像情報を作成するとともに高周波成分以上を低減されていない被写体像に基づいて第２画像情報を作成してから合成するようにしたので、疑色の低減が図れ、かつ高周波成分を含んだ高解像度画像を取得することが可能な撮像装置が得られるという効果を奏する。
【図面の簡単な説明】
【図１】この発明に係る信号処理装置の原理を示す構成図である。
【図２】折り返しノイズをもつ信号スペクトルをグラフ化して示す図である。
【図３】折り返しノイズをもたない信号スペクトル（一例）をグラフ化して示す図である。
【図４】折り返しノイズをもたない信号スペクトル（もうひとつの例）をグラフ化して示す図である。
【図５】信号スペクトルの合成手順をグラフ化して示す図である。
【図６】この発明の一実施の形態による撮像装置の構成を示すブロック図である。
【図７】画像情報の合成方法を説明する図である。
【図８】出力信号の周波数特性を示す図である。
【図９】変形例１による水晶光学フィルタ構成を示す図である。
【図１０】変形例２による画像情報の合成方法をグラフ化して示す図である。
【図１１】カラーフィルタを用いた画像情報の合成方法をグラフ化して示す図である。
【図１２】縞模様の被写体における画像パターンを概略的に示す図である。
【符号の説明】
１低域通過フィルタ
２サンプリング手段
３合成手段
１０１レンズ
１０３ＡＣＣＤ
１０３Ｂアクチュエータ
１０４ＣＤＳ回路
１０６信号処理・合成部
１２１ＣＰＵ
１２９低域通過フィルタ
１３０通信部[0001]
BACKGROUND OF THE INVENTION
  This inventionThe totalThe present invention relates to an imaging device that acquires a high-resolution image using an imaging device having a small number of pixels.
[0002]
[Prior art]
In signal theory, the sampling theorem is generally known. A finite band signal x (t) with a bandwidth BHz is uniquely determined by a sequence x (n / f) obtained by sampling such that the number of samples per second is f ≧ 2B. That is, according to this proposition, the sampling of the signal suggests that sampling is performed at twice or more the maximum frequency of the frequency component included in the signal. Conversely, when the sampling frequency f is given, it is suggested that the high-frequency component should be cut in advance through the low-pass filter of f / 2 or less.
[0003]
That is, when trying to reproduce a higher frequency component among the frequency components included in the signal, it is necessary to sample at a higher frequency. Similarly, in an imaging apparatus using a solid-state imaging device or the like, image information can be obtained by sampling a subject image as an input signal with an imaging device in which light receiving elements are spatially arranged. Specifically, in an image pickup apparatus using a solid-state image pickup device or the like, an image pickup device having a larger number of pixels having a larger number of light receiving element rows is required in order to obtain a high-resolution image.
[0004]
However, there is a limit to increasing the density of the area CCD image sensor that is currently applied to a general image sensor. As countermeasures, pixel shifting techniques are proposed in Japanese Patent Application Laid-Open Nos. 58-157263 and 59-13476. This technique uses a single subject image and an image sensor that samples the subject image, displaces the relative positional relationship between the subject image and the image sensor, and extracts the subject images obtained by a plurality of relative positional relationships. Image information is obtained, and a higher resolution image is obtained from the plurality of pieces of image information.
[0005]
In this case, for example, the relative positional relationship is displaced by half a pixel in the horizontal direction, and two pieces of image information obtained by the displacement are obtained, so that the pixel pitch in the horizontal direction is sampled by an image sensor. Can be obtained. In other words, if the above-described technique is used, an image equivalent to that obtained by sampling with an image sensor with 2 m pixels can be obtained by an image sensor with horizontal m (m is a natural number) pixels, thereby enabling high resolution of the image pickup apparatus. It is.
[0006]
[Problems to be solved by the invention]
As described in the above publication, the image pickup apparatus according to the conventional example is meaningless only with single image information and obtains a high resolution image (video) only after combining a plurality of pieces of image information. In order to obtain a resolving image, a condition that each image information before image synthesis includes a frequency component higher than the sampling pitch of the image sensor is necessary. If this condition is met, when an image is formed solely for the image information before image synthesis, image information with a frequency component higher than the sampling frequency is included according to the above-mentioned sampling theorem, which generally causes aliasing. As a result, there is a problem that the image cannot be reproduced normally.
[0008]
A second object of the present invention is to obtain an imaging apparatus capable of reproducing an image in which no aliasing phenomenon occurs even if image information is used alone, in order to solve the problems caused by the above-described conventional example.
[0013]
[Means for Solving the Problems]
  In order to solve the above-mentioned problems and achieve the purpose,Claim1The image pickup apparatus according to the invention includes an optical input unit that optically inputs a subject image, a filter unit that reduces and passes different high frequency components to the subject image input by the optical input unit, and An image sensor that obtains image information by sampling a subject image output through the filter means at a light receiving element pitch, and passes the same subject image with any different high-frequency components reduced by the filter means.ByInput a plurality of image information from the imaging device,I input itCombining multiple pieces of image informationAs a result, composite information equivalent to the information sampled by sampling twice that of the image information before composition is acquired.Combining means.
[0014]
  This claim1According to the invention, the subject image optically input by the optical input means is passed through the filter means while reducing different high-frequency components or more by the filter means, and output through the filter means by the image sensor. When the image information is obtained by sampling the light at the light receiving element pitch, the same subject image is allowed to pass by reducing any different high frequency components by the filter means.ByInput multiple image information from the image sensor,I input itCombining multiple pieces of image informationTo obtain composite information that is equivalent to information sampled by sampling twice as much as the image information before compositionAs a result, an image can be reproduced up to a higher frequency component than single sampling, and an image of a signal without aliasing can be realized from a single image, and imaging with a small total number of pixels is possible. A high resolution can be obtained even with an element, and even if only image information obtained by reducing high-frequency components is output, an image without moire can be reproduced by a pseudo signal.
[0015]
  Claims2An imaging apparatus according to the invention of claim1In the invention, the filter means has a quartz optical filter, and the quartz optical filter is used to reduce a high frequency component or more.
[0016]
  This claim2According to the invention, since the quartz optical filter is used to reduce the high frequency component or more, the high frequency component can be easily reduced, and switching between horizontal and vertical separation and non-separation can be performed. By rotating, the displacement of the relative positional relationship between the subject image and the image sensor can be obtained with an inexpensive configuration.
[0017]
  Claims3An imaging apparatus according to the invention of claim1In the invention, the filter means displaces the relative positional relationship between the subject image input by the optical input means and the image sensor during exposure of the subject image.
[0018]
  This claim3According to this invention, since the relative positional relationship between the subject image and the image sensor is displaced during exposure of the subject image, the filter characteristics can be changed by the amount of movement due to the displacement.
[0019]
  Claims4An imaging apparatus according to the invention of claim1In the invention, the filter means displaces the imaging position of the subject image input by the optical input means.
[0020]
  This claim4According to the invention, since the imaging position of the subject image is displaced, the focus of the subject image is blurred to reduce the high-frequency component, thereby making it possible to easily acquire image information. is there.
[0021]
  Claims5An imaging apparatus according to the invention of claim1~4In any one of the inventions, the image pickup device is a color solid-state image pickup device, and creates the first image information based on the subject image in which the high frequency component or more is reduced by the filter means, and the high frequency component or more by the filter means. The second image information is created based on the subject image that has not been reduced, and the synthesizing means synthesizes the first image information and the second image information.
[0022]
  This claim5According to the invention, the first image information is created based on the subject image by the color solid-state imaging device, and the second image information is created based on the subject image whose high frequency component or more is not reduced, and then synthesized. Therefore, it is possible to reduce the suspicious color and obtain a high resolution image including a high frequency component.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
Exemplary embodiments of a signal processing device and an imaging device according to the present invention will be explained below in detail with reference to the accompanying drawings.
[0024]
First, the principle will be described. FIG. 1 is a block diagram showing the principle of a signal processing apparatus according to the present invention. The signal processing apparatus shown in FIG. 1 samples a low-pass filter 1 that passes an input signal with an arbitrary high-frequency component reduced or passed, and samples a signal output through the low-pass filter 1 at a certain sampling frequency. Sampling means 2 that obtains sampling information, and a low-pass filter 1 that passes the same input signal by reducing any different high-frequency components, and inputs a plurality of sampling information from the sampling means 2 to obtain a plurality of sampling information. It is comprised by the synthetic | combination means 3 which synthesize | combines.
[0025]
Next, the operation will be described. The signal processing device reduces an arbitrary high frequency component of the input signal by passing it through the low-pass filter 1 and samples the signal output through the low-pass filter 1 by the sampling means 2 at a certain sampling frequency. When sampling information is obtained, the same input signal is reduced by the low-pass filter 1 so that any different high-frequency components are reduced, and a plurality of sampling information is input from the sampling means 2 to synthesize a plurality of sampling information. . As a result, it is possible to reproduce a signal up to a frequency component higher than that of single sampling, and to realize reproduction of a signal without aliasing from a single input signal.
[0026]
Next, a method for acquiring a signal that does not cause a folding phenomenon according to the above-described principle will be described. 2 is a graph showing a signal spectrum having aliasing noise, FIG. 3 is a graph showing a signal spectrum having no aliasing noise (an example), and FIG. 4 is a signal spectrum having no aliasing noise (another). FIG. 5 is a diagram showing a signal spectrum synthesis procedure in a graph.
[0027]
When the frequency domain of the original signal spectrum is [−fmax, + fmax] (see FIG. 2A), the sampling frequency is fs (see the sampled signal spectrum in FIG. 2B), and the sampling theorem As a result, the sampled signal is obtained as shown in FIG. 2C by folding when fmax> (1/2) fs. The sampled signal has aliasing noise.
[0028]
Further, when the frequency domain [−fmax, + fmax] (see FIG. 3A) of the original signal spectrum is sampled at fmax ≦ (1/2) fs (see the sampled signal spectrum in FIG. 3B), Since the sampled signal satisfies the Nyquist condition, aliasing noise does not occur as shown in FIG. 3C, and the original signal can be reproduced based on the sampled information.
[0029]
If the original signal spectrum is [−fmax, + fmax] (see FIG. 4A), the sampling frequency is fs (see the sampled signal spectrum in FIG. 4B). When fmax> (1/2) fs, a band-limited signal with a frequency higher than (1/2) fs is formed by passing through the low-pass filter 1, and the band-limited signal is sampled by the sampling means 2 When sampling is performed at the frequency fs, sampled information is obtained as shown in FIG. Since the sampled signal has a high frequency component of (1/2) fs or more cut off, aliasing noise does not occur.
[0030]
Here, the original signal is sampled and a sampled signal with aliasing noise (see FIG. 5A, the same as FIG. 2C), and a band-limited signal sampled signal (see FIG. 5 (b), the same as FIG. 4 (d)), only the aliasing component can be extracted as shown in FIG. 5 (c) (the hatched portion in FIG. 5 (c)).
[0031]
Since this aliasing component is equivalent to the high frequency component that was cut when forming the band limited signal, as shown in FIG. 5D, the synthesized signal is the sampled signal of FIG. It is obtained by synthesis with the folding component of c).
[0032]
As in the principle explained above, the sampling signal when the original signal including (1/2) fs <fmax is sampled and the band-limited signal obtained by cutting a high frequency component of (1/2) fs or more are sampled. By using the signal, it is possible to perform the synthesis capable of reproducing the signal equivalent to the original signal without the aliasing noise equivalent to the sampled signal of FIG. Note that the sampling signal of the band-limited signal is a signal that does not include aliasing noise.
[0033]
Next, a description will be given using a specific configuration. In the following description, a digital camera will be described as an example of the imaging device.
[0034]
FIG. 6 is a block diagram showing the configuration of the image pickup apparatus according to the embodiment of the present invention. As shown in FIG. 6, the imaging apparatus includes a lens 101, a mechanical mechanism 102 including an autofocus, a CCD 103A, an actuator 103B, a CDS (correlated double sampling) circuit 104, an A / D converter 105, a signal processing / combination. Unit 106, DCT 107, coder 108, MCC 109, buffer memory 110, video amplifier 111, internal memory 112, CPU 121, display unit 122, operation unit 123, parameter memory 124, motor driver 125, SG (control signal generation) unit 126, strobe 127, an AF sensor 128, a low-pass filter 129, a communication unit 130, and the like.
[0035]
The lens unit includes a lens 101, a mechanical mechanism 102 including an autofocus (AF) / aperture / filter unit, and the like. A mechanical shutter of the mechanical mechanism 102 performs simultaneous exposure of two fields. The CCD 103A converts an image input via the lens unit into an electric signal (analog image data). The low-pass filter 129 is provided between the lens unit (lens 101) and the CCD 103A, and optically reduces high-frequency components and allows light (subject image) received through the lens 101 and received by the CCD 103A to pass therethrough. The actuator 103B is attached to the CCD 103A and displaces the relative positional relationship between the CCD 103A and the subject under the control of the CPU 121.
[0036]
The CDS circuit 104 reduces the noise with respect to the CCD type image pickup device and samples the original signal including (1/2) fs <fmax in accordance with the above-described principle, and (1/2) fs or more. This is a circuit for obtaining a sampled signal of a band limited signal from which a high frequency component has been cut. The A / D converter 105 converts analog image data from the CCD 103A input via the CDS circuit 104 into digital image data. That is, the output signal of the CCD 103A is converted into a digital signal by the A / D converter 105 through the CDS circuit 104 at an optimum sampling frequency (for example, an integer multiple of the subcarrier frequency of the NTSC signal).
[0037]
In addition, the signal processing / synthesizing unit 106 divides the digital image data input from the A / D converter 105 into synthesis processing according to the above-described principle, data processing for various processing, correction, and image compression / decompression by dividing the color difference and luminance. Apply. A DCT (Discrete Cosine Transform) 107 performs, for example, orthogonal transformation, which is a process of JPEG-compliant image compression / decompression, and a coder (Huffman Encoder / decoder) 108 is a process of JPEG-compliant image compression / decompression. Performs Huffman encoding / decoding.
[0038]
Further, an MCC (Memory Card Controller) 109 temporarily stores the compressed image and the voice captured from a microphone (not shown) and digitized, and simultaneously records and reads it to / from the internal memory 112 or the memory card. . The CPU 121 controls the operation of each unit according to an instruction from the operation unit 123 or an external operation instruction such as a remote controller (not shown).
[0039]
The display unit 122 is realized by an LCD, LED, EL, or the like, and directly displays a signal sampled by the CCD 103A or displays an image based on the captured digital image data or decompressed recorded image data, and also captures an image. Displays the status of the device itself. The operation unit 123 includes buttons for externally performing function selection, shooting instruction, and other various settings. The operation unit 123 has a release button 123A, and outputs a release signal to the CPU 121 by operating the release button 123A. The communication unit 130 is connected to an external device via a cable (not shown) and directly transmits a signal sampled in the CCD 103A or transmits a captured image.
[0040]
Next, a method for acquiring image information that does not cause the aliasing phenomenon will be described. FIG. 7 is a diagram for explaining a method for synthesizing image information, and FIG. 8 is a diagram showing frequency characteristics of an output signal.
[0041]
In the CCD 103A, a₀, A₁... a_nWhen the light receiving elements are arranged horizontally as in (n is a natural number) (see FIG. 7A), the first image information (a₀, A₁... a_n) And second image information (b) assumed to be obtained from the light receiving element by displacing the CCD 103A in the horizontal or vertical direction during imaging by the actuator 103B.₀, B₁... b_n) And (b)₀, B₁... b_n)-(A₀, A₁... a_n) = (C₀, C₁... c_nIt is self-evident. That is, the second image information (b₀, B₁... b_n) Includes first image information (a₀, A₁... a_n) And third image information (c₀, C₁... c_n) And the information on both sides are superimposed.
[0042]
Therefore, the first image information (a₀, A₁... a_n) And the calculated third image information (c₀, C₁... c_n) Are arranged so as to correspond to the same position, as shown in FIG.₀, C₀, A₁, C₁... a_n, C_n) Is acquired. This composite information is the first image information (a₀, A₁... a_nIs equivalent to the information sampled by sampling twice as much as.
[0043]
Thus, the first image information (a₀, A₁... a_n) And second image information (b₀, B₁... b_n) And the first image information (a₀, A₁... a_n) And third image information (c₀, C₁... c_nTherefore, a technique for forming a composite image corresponds to a technique generally called pixel shift. However, the difference from the original pixel shift is the second image information (b) that is assumed to be obtained from the light receiving element by being displaced horizontally or vertically during imaging.₀, B₁... b_n) Is used.
[0044]
Next, the first image information (a₀, A₁... a_n) Or third image information (c₀, C₁... c_n) And second image information (b₀, B₁... b_n) And the difference.
[0045]
Assuming that the input signal (subject image) of the subject is sin ((2π / T) · x), the pixel pitch is P, and the light receiving width is W, the following

equations

1, 2, and 3 are obtained, Become.
[0046]
[Expression 1]

[0047]
[Expression 2]

[0048]
[Equation 3]

[0049]
[Expression 4]

[0050]
[Equation 5]

[0051]
From above_n, B_n, C_nAre Sin ((2π / T) nP + To) representing the input signal, Sin ((2π / T) (nP + (1/4) P) + To), and Sin ((2π / T) (nP + (1/2) ) P) + To) and Sin ((π / T) w) / ((π / T) w) Sin ((2π / T) w) / ((2π / T) which is the attenuation term of the amplitude of the signal w) At this time, as shown in FIG. 8, if w = p due to attenuation of the Sinc function, a_n, C_nIs 1 / T = 1 / P and the amplitude is zero.
[0052]
B_nSince 1 / T = 1 / 2P and the amplitude becomes 0, the amplitude becomes 0 at a frequency half that of the sampling pitch. For this reason, b_nWhen sampling is performed as described above, it functions as a low-pass filter that cuts half or more of the sampling frequency.
[0053]
That is, a_n, C_nIf the original signal has a high frequency component of (1/2) fs or more,_n, C_nWhen the original signal is reproduced alone, a signal between (1/2) fs and fs is generated as aliasing noise. Meanwhile, b_nEven if the original signal is reproduced alone, since the signal between (1/2) fs to fs is suppressed like the attenuation term, aliasing noise is suppressed.
[0054]
  As described above, according to this embodiment, the object image optically input by the lens 101 is passed through the low-pass filter 129 while reducing different high-frequency components or more, and the CCD 103A passes the low-pass signal. When the subject image output through the filter 129 is sampled at the light receiving element pitch to obtain image information, the same subject image is passed through the low-pass filter 129 while reducing any different high-frequency components.ByInput a plurality of image information from the CCD 103A,I input itCombining multiple pieces of image informationTo obtain composite information that is equivalent to information sampled by sampling twice as much as the image information before compositionAs a result, an image can be reproduced up to a higher frequency component than single sampling, and an image of a signal without aliasing can be realized from a single image, and imaging with a small total number of pixels is possible. A high resolution can be obtained even with an element, and even if only image information obtained by reducing high-frequency components is output, an image without moire can be reproduced by a pseudo signal.
[0055]
In addition, since the signal output through the low-pass filter 129 is displayed or transmitted, it can be displayed and transmitted at an early processing stage, and a signal including a high-frequency component can be displayed or transmitted as necessary. By transmitting, it is possible to reproduce up to a high frequency.
[0056]
Now, a_n, B_nC using the signal_nSignal is calculated and the combined information {a₀, C₀... a_n, C_n} To get the signal, a₀, A₁... a_nFrom the light receiving element array arranged as shown in FIG.₀, B₁... b_nIn order to obtain an output equivalent to the light receiving elements arranged as shown in FIG.₀, A₁... a_nThe light receiving element may be displaced and exposure may be performed twice, or may be performed by vibrating.
[0057]
Further, in order to displace the relative positional relationship between the subject image and the image sensor (CCD 103A), the subject image may be displaced by the photographing optical system (lens 101), or the image sensor itself is displaced by a laminated piezoelectric element or the like. May be.
[0058]
Next, a modification of the above-described embodiment will be specifically described. First, a case where the birefringence or rotation of the quartz optical filter 129 is used as Modification 1 will be described.
[0059]
FIGS. 9A and 9B are diagrams showing a configuration of a quartz optical filter according to Modification 1. FIG. 9A shows an example of birefringence, and FIG. 9B shows an example of rotation. When a quartz optical filter is applied to the low-pass filter 129 as shown in FIG. 9A, the optical input light beam has a refractive index of ordinary rays and extraordinary rays in the quartz optical filter (low-pass filter 129). There are characteristics that separate from differences.
[0060]
If the separation width is the same as the above-described displacement amount, the second image information {b₀, B₁... b_n} Is obtained. Further, if the input light beam is cut by the optical element (lens 101), the first image information {a₀, A₁... a_n} Is obtained.
[0061]
Further, as shown in FIG. 9B, if the quartz optical filter (low-pass filter 129) is rotated in the direction of the arrow W to change the light separation direction, it is switched between horizontal and vertical separation and non-separation. be able to.
[0062]
As described above, since the crystal optical filter is used to reduce the high frequency component or more, the high frequency component can be easily reduced, and the crystal optical filter is rotated by switching between horizontal and vertical separation and non-separation. Thus, the displacement of the relative positional relationship between the subject image and the image sensor can be obtained with an inexpensive configuration.
[0063]
Further, since the relative positional relationship between the subject image and the image sensor is displaced during exposure of the subject image, the filter characteristics can be changed by the amount of movement due to the displacement.
[0064]
Next, a case where the subject image is blurred as a second modification will be described. FIG. 10 is a graph showing the image information synthesis method according to the second modification. Information obtained by sampling the subject as shown in FIG. 10A by the CCD 103A is shown in FIG. 10B, and information obtained by sampling the subject image by changing the focus position of the photographing optical system is shown in FIG.
[0065]
The information (waveform) in FIG. 10B has a peak value as shown in FIG. 10D, while the information (waveform) in FIG. 10C has a peak value as shown in FIG. Therefore, when the peak value in FIG. 10E is doubled and the peak value in FIG. 10D is removed from the peak value, the information in FIG. 10F is obtained. The information shown in FIG. 10G can be obtained by synthesizing the information shown in FIG. 10F and the information shown in FIG.
[0066]
That is, since the imaging position of the subject image is displaced, the high-frequency component is reduced by blurring the subject image, thereby making it possible to easily acquire image information.
[0067]
Next, specific effects of the above-described embodiment and each modification will be described. FIG. 11 is a graph showing a method for synthesizing image information using a color filter, and FIG. 12 is a diagram schematically showing an image pattern in a striped subject.
[0068]
When an image sensor having a color array in which color filters are arranged on a light receiving element as shown in FIG. 11A is applied, the color filters are arranged at spatially different positions, so that the luminance signal and the color signal Can no longer be separated. For example, when a uniform light of green (G) is shining on the image sensor, the signal of the G pixel becomes large as shown in FIG. 11B, and the signal of each of the R and B pixels is Get smaller.
[0069]
If the subject has high-frequency stripes (G is a bright part and R and B are dark parts) as shown in FIG. 12, as shown in FIG. The signal is high and the signal of each pixel of R and B is small. As a result, the signal (FIG. 11 (b)) obtained when the image sensor is illuminated with uniform light of one color of green (G) and the signal when the subject has a striped pattern (FIG. 11 (c)) Similarly, the signal pattern becomes indistinguishable.
[0070]
Therefore, in the above-described embodiment (or a combination with the modification), when uniform green light is received by reducing the high-frequency component of the subject, the output does not change, but FIG. ), An output can be obtained as shown in FIG.
[0071]
As a result, if the graph of FIG. 11C is compared with the graph of FIG. 11D, the signal of FIG. 11D when the high frequency component is attenuated becomes uniform for each of R, G, and B. Since the difference disappears, it becomes clear whether the light is a single green light or a striped object.
[0072]
That is, it is possible to create an image with a low-frequency component using information on the subject image with the high-frequency component attenuated. For image information with aliasing noise containing high-frequency components, the aliasing portion of the high-frequency components (usually called suspicious color) is converted to normal high-frequency components to obtain a high-resolution color image without suspicious colors It becomes possible.
[0073]
There are various methods for this synthesis, but as a simple method, a color signal is created with information that attenuates the high-frequency component, and luminance information is created with information including the high-frequency component based on the color signal, and a high-frequency component The present invention may be used by extracting only a portion different from the information that attenuates the information and the information including the high frequency component.
[0074]
In the present invention, a one-dimensional image sensor (linear sensor) has been described for the sake of explanation. However, it is obvious that an area sensor can be applied.
[0075]
In addition, although an image pickup apparatus has been mentioned as an application example of the signal processing apparatus, it can also be applied to a scanner, a color copying machine, a color facsimile, and the like.
[0078]
【The invention's effect】
  As explained above,Claim1According to the invention, the subject image optically input by the optical input means is passed through the filter means while reducing different high-frequency components or more by the filter means, and output through the filter means by the image sensor. When the image information is obtained by sampling the light at the light receiving element pitch, the same subject image is allowed to pass by reducing any different high frequency components by the filter means.ByInput multiple image information from the image sensor,I input itCombining multiple pieces of image informationTo obtain composite information that is equivalent to information sampled by sampling twice as much as the image information before compositionAs a result, an image can be reproduced up to a higher frequency component than single sampling, and an image of a signal without aliasing can be realized from a single image, and imaging with a small total number of pixels is possible. Even if the element has a high resolution, an image pickup apparatus capable of reproducing a moire-free image with a pseudo signal even if only image information obtained by reducing high-frequency components is output can be obtained.
[0079]
  Claims2According to the invention of claim1In the present invention, since the high-frequency component is reduced by using the quartz optical filter, the high-frequency component can be easily reduced, and the quartz optical filter is rotated by switching between separation and non-separation horizontally and vertically. Thus, there is an effect that an imaging apparatus capable of obtaining the displacement of the relative positional relationship between the subject image and the imaging element with an inexpensive configuration is obtained.
[0080]
  Claims3According to the invention of claim1In this invention, since the relative positional relationship between the subject image and the image sensor is displaced during exposure of the subject image, an imaging device capable of changing the filter characteristics by the amount of movement due to the displacement is obtained. There is an effect.
[0081]
  Claims4According to the invention of claim1In this invention, the imaging position of the subject image is displaced, so that the high-frequency component is reduced by blurring the subject image, thereby enabling easy acquisition of image information. The effect that is obtained.
[0082]
  Claims5According to the invention of claim1~4In any one of the inventions, the first image information is created based on the subject image by the color solid-state imaging device, and the second image information is created based on the subject image in which the high frequency component or more is not reduced, and then synthesized. Since it did in this way, there exists an effect that the imaging device which can reduce a suspicious color and can acquire the high-resolution image containing a high frequency component is obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram showing the principle of a signal processing apparatus according to the present invention.
FIG. 2 is a graph showing a signal spectrum having aliasing noise.
FIG. 3 is a graph showing a signal spectrum (an example) having no aliasing noise.
FIG. 4 is a graph showing a signal spectrum (another example) having no aliasing noise.
FIG. 5 is a graph showing a signal spectrum synthesis procedure.
FIG. 6 is a block diagram illustrating a configuration of an imaging apparatus according to an embodiment of the present invention.
FIG. 7 is a diagram illustrating a method for synthesizing image information.
FIG. 8 is a diagram illustrating frequency characteristics of an output signal.
FIG. 9 is a diagram illustrating a configuration of a quartz optical filter according to a first modification.
FIG. 10 is a graph showing a method for synthesizing image information according to a second modification.
FIG. 11 is a graph showing a method for synthesizing image information using a color filter.
FIG. 12 is a diagram schematically showing an image pattern in a striped subject.
[Explanation of symbols]
1 Low-pass filter
2 Sampling means
3 Synthesis means
101 lens
103A CCD
103B Actuator
104 CDS circuit
106 Signal processing / synthesis unit
121 CPU
129 Low-pass filter
130 Communication unit

Claims

Optical input means for optically inputting a subject image;
Filter means for reducing and passing over different high frequency components with respect to the subject image input by the optical input means;
An image sensor that obtains image information by sampling a subject image output through the filter means at a light receiving element pitch; and
Same for the object image by entering any of the different image information from the imaging device in Rukoto passed by reducing the above high-frequency components in said filter means, before combining by combining a plurality of image information the input Synthesis means for obtaining synthesis information equivalent to information sampled by sampling twice as compared with the image information ;
An imaging apparatus comprising:

It said filter means includes a quartz optical filter, the image pickup apparatus according to claim 1, wherein reducing the above high-frequency components using the crystal optical filter.

Said filter means, during exposure of a subject image, an imaging apparatus according to claim 1, wherein displacing the relative positional relationship between the input subject image and the imaging element by the optical input unit.

It said filter means, the imaging apparatus according to claim 1, wherein displacing the imaging position of the object image inputted by said optical input means.

The image sensor is a color solid-state image sensor, and creates first image information based on a subject image whose high frequency component is reduced by the filter means, and a subject whose high frequency component is not reduced by the filter means create a second image information based on image, imaging of the combining means according to any one of claims 1 to 4, wherein the synthesis of the second image information and the first image information apparatus.