JP4385890B2 - 画像処理方法及び周波数成分補償部、当該周波数成分補償部を含む画像処理装置並びに画像処理プログラム - Google Patents

Description

本発明は、特に色補間処理が必要となる単板式のカラー撮像センサを備えた画像処理装置及び当該単板式カラー撮像センサで取り込まれた画像処理方法並びにその画像処理プログラム、並びに半導体装置に関するものである。

一般に、カラー画像を入力するためのカラーカメラには、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像センサを３個使用した３板式と１個だけしか使用しない単板式、また、２個用いる２板式とがある。
この３板式のカラーカメラは、入射光をダイクロイックミラー等で赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三原色に色分解し、色分解した光情報を３個の撮像センサによってそれぞれ赤、緑、青のデジタル画像に変換するようにしたものであり、光学系の構造は複雑になるものの高画質の画像を得ることができることから、主に業務用のカラービデオカメラや高級デジタルスチルカメラ等に利用されている。

これに対し、単板式のカラーカメラは、１個の撮像センサ上に赤、緑、青の各色をブロック状に並べた色フィルタを装着し、各画素について対応する色フィルタを透過してきた光情報をそれぞれデジタル化するようにしたものであり、３板式に比べると画質はやや劣るものの、小型・軽量、低消費電力、低価格であるため、主に民生用のカラービデオカメラやデジタルスチルカメラとして極めて多く利用されている。

ちなみに、最近では民生用カラービデオカメラでも３板式のものを採用したものが製品化されてきている。なお、２板式は前記２つの方式の中間的な特徴をもつ方式であるが、現在ではあまり用いられていない。
そして、単板式のカラーカメラにあっては、その構造上、欠落している色成分を予測補間するといった色補間処理が必要となってくるが、この色補間処理の際には、画像全体に対して、いわゆるローパスフィルタ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ：低域強調フィルタ、以下、適宜「ＬＰＦ」と略す）等をかけた場合と同様な現象が発生するため、高い空間周波数成分（以下、高周波数成分と略す）がカットされて画像の鮮鋭度あるいはＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：解像度）が低下してしまうといった問題がある。

そのため、このような単板式の撮像センサを採用した従来のデジタルカメラ等にあっては、以下の特許文献１等に示すように、色補間処理を行った後、その低下した高周波成分を補償する処理、例えば、色補間処理後の画像データにハイパスフィルタ（Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ：高域強調フィルタ、以下、適宜「ＨＰＦ」と略す）をかけて低下した高周波成分を補償するような処理が行われているのが一般的である。
特開２０００−１５６７８５号公報

ところで、最近ではこのようなデジタルカメラを搭載した携帯電話が登場してきて携帯電話市場を席巻しつつあるが、携帯電話にデジタルカメラを搭載するに際しては、その大きさや携帯性等を犠牲にすることがないように、必然的に撮像センサとして省スペースの単板式のものが採用される。また、カメラレンズに関しても、スペースの問題から小型のものが要求され、さらに、コストの上昇を抑えるために安価なものが採用されている場合が多い。

しかしながら、前記制約のために、携帯電話に使用されているようなカメラレンズは、一眼レフカメラ等に採用される大型で高級のカメラレンズ等に比べて、光量、ＭＴＦ、収差、歪み等といったレンズ特性が大きく劣り、しかもその特性はレンズ中心から周辺にいくにしたがって大きく低下するといった欠点がある。
そのため、このように性能の低いカメラレンズを採用した場合には、前述した色補間処理に加えて、さらにそのカメラレンズを通過することで低下した画像の周波数特性を補償するための処理を行う必要があるが、このような補償回路を新たに設けることは色補間処理との整合性をとるための処理が複雑となるばかりでなく、コストや設置スペースが必要となるため、携帯電話のような限られたスペースやコスト、リソース等の制限が多いカメラ等に適用することは極めて困難である。

そこで、本発明はこのような課題を解決するために案出されたものであり、その目的は、性能の低いカメラレンズによる周波数成分の低下を効果的に補償できる新規な画像処理方法及び周波数成分補償部、当該周波数成分補償部を含む画像処理装置並びに画像処理プログラムを提供するものである。

〔発明１〕 前記課題を解決するために本発明１の画像処理方法は、
レンズを通過して撮像センサで取り込まれた画像に対して色補間処理を実施するようにした画像処理方法であって、前記レンズを通過することで減衰した前記画像中の周波数成分と、前記色補間処理にて失われた前記画像中の周波数成分とを、前記色補間処理後に一括して補償処理することを特徴とするものである。

すなわち、前述したように、従来、ＣＣＤ等の撮像センサで取り込まれた画像は、色補間処理を施されることによってローパスフィルタ等をかけた場合と同様に高周波数成分がカットされて鮮鋭度やＭＴＦ等が低下して画像全体にボケ感が発生してしまうことから、その後に、色補間処理後の画像データにハイパスフィルタ等をかけて低下した高周波成分を補償することで画像本来のくっきり感を与えるような処理が行われている。

一方、性能の低いカメラレンズを使用した場合にも、そのカメラレンズを通過する際に画像中の高周波数成分がカットされる鮮鋭度やＭＴＦ等が低下して同様な現象が発生してしまうことから、その後に、色補間処理後の画像データにハイパスフィルタ等（本発明では高域強調を意味する）をかけて低下した高周波成分を補償するような処理を行う必要がある。

そして、これらの周波数補償処理はそれぞれ異なる周波数補償係数によって行われるため、原則としてそれぞれ別個にシーケンシャルに実施することになるが、前述したように、携帯電話のデジタルカメラ等では、スペースやコスト、リソースの都合上、新たにレンズ補償用の処理手段（回路）を設けることは難しい。
そこで、本発明では、カメラレンズを通過する際に喪失した高周波数成分と、色補間処理にて失われた高周波数成分とを、その色補間処理後に一括して同時に補償処理するようにしたものであり、これによって、レンズ補償用の処理回路を新たに設ける必要がなくなるため、性能の低いカメラレンズによる周波数特性の低下を効果的に補償しつつ、コストやスペースの増加といった問題を確実に回避することが可能となる。

なお、この色補間処理は、主に単板式の撮像センサを採用した際に必要となるが、３板式の撮像センサや２板式の撮像センサの場合でも必要となる場合があることから、本発明はこの撮像センサとして単板式のものに限定するものではない。
また、本発明でいう「レンズ」とは、一般的なカメラレンズのように光を収束する機能を有するものだけでなく、透明の保護板のように撮像センサに入射する光を透過することにより、周波数成分を減衰させてしまうような、いわゆる「光通過媒体」の全てを含むものとする（以下の画像処理方法、画像処理装置、画像処理プログラム、半導体装置においても同じである）。

また、本発明でいう「周波数成分」とは、特に「高周波数成分」のことであり、エッジ部の情報、画像が激しく変化する領域や隣接画素間でデータの変化が激しく現れている画素領域であってナイキスト周波数に近い周波数成分をいうものとする（以下の画像処理方法、画像処理装置、画像処理プログラム、半導体装置においても同じである）。

〔発明２〕 発明２の画像処理方法は、
レンズを通過して撮像センサで取り込まれた画像に対して色補間処理を実施するようにした画像処理方法であって、前記色補間処理後の画像に対して、前記レンズを通過することで失われた周波数成分と、前記色補間処理にて失われた周波数成分とを一括して補償、または一括して補償すべくフィルタリング処理を実施するようにしたことを特徴とするものである。

これによって、発明１と同様にカメラレンズ補償用の処理回路を新たに設ける必要がなくなるため、性能の低いカメラレンズによる周波数特性の低下を効果的に補償しつつ、コストやスペースの増加を回避することができる。

〔発明３〕 発明３の画像処理方法は、
発明１または２に記載の画像処理方法において、前記周波数成分の補償係数は前記レンズの通過位置に応じて変化する値を利用することを特徴とするものである。

すなわち、前述したように性能の低いカメラレンズは、レンズ特性が１つのカメラレンズ内でも一様（均一）でないため、周波数特性の低下もその通過位置によって大きく変わってくる。
従って、本発明はその高周波数成分の補償係数をカメラレンズの通過位置に応じて設定（変化）するようにしたものであり、これによって、性能の低いカメラレンズによる周波数特性の低下を均一に補償することができる。

〔発明４〕 発明４の画像処理方法は、
発明１または２に記載の画像処理方法において、前記周波数成分の補償係数として、前記レンズの中心から周縁部方向への距離に応じて変化する値を利用することを特徴とするものである。
すなわち、前述したように性能の低いカメラレンズは、レンズ特性がカメラレンズの中心から周縁部方向への距離に応じて大きく変化（劣化）するため、周波数特性の低下もその位置によって大きく変わってくる。

従って、本発明はその高周波数成分の補償係数としてカメラレンズの中心から周縁部方向への距離に応じて変化する値を利用するようにしたものであり、これによって、性能の低いカメラレンズによる周波数特性の低下を均一に補償することができる。

〔発明５〕 発明５の画像処理方法は、
発明１または２に記載の画像処理方法において、前記画像を前記レンズの中心から同心円上に複数の領域に分け、前記周波数成分の補償係数をその領域毎に設定することを特徴とするものである。

すなわち、前記発明４のようにカメラレンズの中心から周縁部方向への距離に応じて補償係数を計算した場合、周波数特性の低下の変化は連続的であるため、その高周波数成分の補償係数は無限となってしまう。
そのため、本発明では画像をカメラレンズの中心から同心円上に複数の領域に分け、前記高周波数成分の補償係数をその領域毎に変化させるようにしたものであり、これによって、大量の補償係数を用いる必要がなくなって限定した数の補償係数のみで処理を実現することができる。なお、その領域の分割数は、一般に４〜７程度あれば視覚的に十分な補償画面を得ることができる。

〔発明６〕 発明６の画像処理方法は、
発明１または２に記載の画像処理方法において、前記画像を複数のブロックに分割し、前記高周波数成分の補償係数をそのブロック毎に設定するようにしたことを特徴とするものである。
これによって、補償係数を距離によって逐次計算、または保持する必要がなくなり、限定した数の補償係数のみで処理を実現することができる。

〔発明７〕 発明７の画像処理方法は、
発明１〜６のいずれかに記載の画像処理方法において、前記画像中のエッジ部を判別し、そのエッジ部に対して前記周波数成分の補償処理を実施することを特徴とするものである。
すなわち、前述したように、性能の低いカメラレンズのレンズ特性は、一般に周辺にいくほど劣化することから補償処理も周辺にいくほど強くする必要があるため、画像の平坦部においては撮像センサ等に起因するノイズも増幅されて画像の滑らかさが失われる可能性がある。

そのため、本発明のように、画像中のエッジ部と平坦部とを判別し、そのエッジ部に対してのみ前記高周波数成分の補償処理を実施すれば、画像の滑らかさを失わずに可視的に必要な領域のみに効果的に補償特性を実現することができる。

〔発明８〕 発明８の画像処理方法は、
発明１〜７のいずれかに記載の画像処理方法において、前記色補間処理後の画像の輝度信号に対して前記高周波数成分の補償処理を実施することを特徴とするものである。

すなわち、一般に単板式撮像センサの画像処理では、ＲＧＢ信号を輝度信号（Ｙ）と色差信号（Ｃ_ｂＣ_ｒ）とに分け、輝度信号（Ｙ）に対してＨＰＦをかけ、色差信号（Ｃ_ｂＣ_ｒ）対してＬＰＦをかけて処理することが多いため、このように輝度信号に対して前記高周波数成分の補償処理を実施すれば、ＲＧＢ信号に対して処理を実施するよりも効果的に補償特性を実現することができる。また、輝度信号（Ｙ）にのみ補償処理を実施すれば良いため、処理が簡易になり、視覚的にも十分な結果が得られる。

〔発明９〕 発明９の画像処理方法は、
発明１〜８のいずれかに記載の画像処理方法において、前記周波数成分の補償処理は、前記レンズのサジタル方向とタンジェンタル方向との特性を合成し、中心からの距離から決定する一次元の補償係数を用いて行うことを特徴とするものである。
これによって、レンズ中心からの距離またはｘｙ座標のみで決定する補償係数を用いることができるため、処理を単純にすることができる。また、視覚的にも十分な補償結果を得ることができる。

〔発明１０〕 発明１０の画像処理装置は、
レンズを介して取り込んだ画像に対して所定の画像処理を施して出力する画像処理装置であって、前記レンズを通過してきた画像を取り込む撮像センサと、前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理部と、前記色補間処理後の画像に対して前記レンズを通過することで減衰した周波数成分と前記色補間処理にて失われた周波数成分とを一括して補償すべくフィルタリング処理を実施する周波数成分補償部と、前記周波数成分補償部で補償処理が実施された画像を出力する画像出力部と、を有することを特徴とするものである。

これによって、周波数成分補償部のみで前記カメラレンズで失われた高周波数成分と前記色補間処理で失われた高周波数成分とを同時に補償することができるため、発明１や２等と同様にカメラレンズ補償用の処理回路を新たに設ける必要がなくなり、周波数特性の低下を効果的に補償しつつ、コストやスペースの増加を回避することができる。

〔発明１１〕 発明１１の画像処理装置は、
発明１０に記載の画像処理装置において、前記撮像センサが単板式のカラー撮像センサであることを特徴とするものである。
すなわち、前述したように色補間処理は単板式のカラー撮像センサの場合には原則として必ず要求されるため、この単板式の撮像センサを採用した画像処理装置の場合に発明１０のような効果をより顕著に発揮することができる。

〔発明１２〕 発明１２の画像処理装置は、
発明１０に記載の画像処理装置において、前記周波数成分補償部は、前記周波数成分の補償係数を前記レンズの通過位置に応じて利用するようになっていることを特徴とするものである。
これによって、発明３と同様に、性能の低いカメラレンズによる周波数特性の低下を均一に補償することができる。

〔発明１３〕 発明１２の画像処理装置は、
発明１０に記載の画像処理装置において、前記周波数成分補償部は、前記周波数成分の補償係数として、前記レンズの中心から周縁部方向への距離に応じて変化する値を利用するようになっていることを特徴とするものである。
これによって、発明４と同様に、性能の低いカメラレンズによる周波数特性の低下を均一に補償することができる。

〔発明１４〕 発明１４の画像処理装置は、
発明１０に記載の画像処理装置において、前記周波数成分補償部は、前記画像を前記レンズの中心から同心円上に複数の領域に分け、前記周波数成分の補償係数をその領域毎に設定するようになっていることを特徴とするものである。
これによって、発明５と同様に、大量の補償係数を用いる必要がなくなって限定した数の補償係数のみで処理を実現することができる。

〔発明１５〕 発明１５の画像処理装置は、
発明１０に記載の画像処理装置において、前記周波数成分補償部は、前記画像を複数のブロックに分割し、前記高周波数成分の補償係数をそのブロック毎に設定するになっていることを特徴とするものである。
これによって、発明６と同様に、補償係数を距離によって逐次計算、または保持する必要がなくなり、限定した数の補償係数のみで処理を実現することができる。

〔発明１６〕 発明１６の画像処理装置は、
発明１０〜１５に記載の画像処理装置において、前記周波数成分補償部は、前記画像中のエッジ部を判別し、そのエッジ部に対して前記周波数成分の補償処理を実施するようになっていることを特徴とするものである。
これによって、発明７と同様に、画像の滑らかさを失わずに可視的に必要な領域のみに効果的に補償特性を実現することができる。

〔発明１７〕 発明１７の画像処理装置は、
発明１０〜１５に記載の画像処理装置において、前記周波数成分補償部は、前記色補間処理後の画像の輝度信号に対して前記高周波数成分の補償処理を実施することを特徴とするものである。
これによって、発明８と同様に、輝度信号に対して前記周波数成分の補償処理を実施すれば、ＲＧＢ信号に対して処理を実施するよりも効果的に補償特性を実現することができる。また、輝度信号（Ｙ）にのみ補償処理を実施すれば良いため、処理が簡易になり、視覚的にも十分な結果が得られる。

〔発明１８〕 発明１８の画像処理装置は、
発明１０〜１７のいずれかに記載の画像処理装置において、前記周波数成分補償部による前記周波数成分の補償処理は、前記レンズのサジタル方向とタンジェンタル方向との特性に合成し、中心からの距離から決定する一次元の補償係数を用いて行うようになっていることを特徴とするものである。
これによって、発明９と同様に、レンズ中心からの距離またはｘｙ座標のみで決定する補償係数を用いることができるため、処理を単純にすることができる。また、視覚的にも十分な補償結果を得ることができる。

〔発明１９〕 発明１９の画像処理プログラムは、
レンズを通過して撮像センサで取り込まれた画像に対して色補間処理を実施する画像処理プログラムであって、前記色補間処理後の画像に対して、前記レンズを通過することで減衰した周波数成分と、前記色補間処理にて失われた周波数成分とを一括して補償すべくフィルタリング処理を実施する周波数成分補償機能をコンピュータに実現させることを特徴とするものである。

これによって、発明１や２、１０等と同様な効果が得られるばかりでなく、高域強調フィルタリング処理を実施する周波数成分補償機能をパソコン（ＰＣ）等の汎用のコンピュータシステムを用いてソフトウェア上で実現することができるため、専用のハードウェアを用意して実現する場合に比べて、経済的かつ容易にその機能を実現することができる。

〔発明２０〕 発明２０の半導体装置は、
レンズを介して撮像センサで取り込んだ画像に対して所定の画像処理を施して出力する半導体装置であって、
前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理部と、前記色補間処理後の画像に対して前記レンズを通過することで減衰した周波数成分と前記色補間処理部での色補間処理にて失われた周波数成分とを一括して補償、または一括して補償及びエッジ強調すべくフィルタリング処理を実施する周波数成分補償部と、を有することを特徴とするものである。

これによって、前記発明１などと同様な効果が得られると共に、前記発明１などと同様な画像処理機能を、ＩＣやＬＳＩなどの小型の集積回路として提供することができるため、デジタルカメラやデジタルビデオカメラなどの携帯用の小型カメラにも容易に搭載してその画像処理の一部として活用することができる。
〔発明２１〕 発明２１の画像処理方法は、
レンズを通過して撮像センサで取り込まれた画像に対して色補間処理を実施する画像処理方法であって、前記レンズを通過することで減衰した前記画像中の周波数成分と、前記色補間処理にて失われた前記画像中の周波数成分とを、前記色補間処理後に一括して補償処理するものであり、前記補償処理が、前記画像を前記レンズの中心から同心円上に複数の領域に分け、前記周波数成分の補償係数を前記複数の領域毎に設定するものである、ことを特徴とする。
〔発明２２〕 発明２２の画像処理方法は、
レンズを通過して撮像センサで取り込まれた画像に対して色補間処理を実施する画像処理方法であって、前記色補間処理後の画像に対して、前記レンズを通過することで減衰した周波数成分と、前記色補間処理にて失われた周波数成分とを一括して補償、または一括して補償及びエッジ強調すべくフィルタリング処理を実施するものであり、前記フィルタリング処理が、前記画像を前記レンズの中心から同心円上に複数の領域に分け、前記周波数成分の補償係数を前記複数の領域毎に設定するものである、ことを特徴とする。
〔発明２３〕 発明２３の画像処理方法は、
レンズを通過して撮像センサで取り込まれた画像に対して色補間処理を実施する画像処理方法であって、前記レンズを通過することで減衰した前記画像中の周波数成分と、前記色補間処理にて失われた前記画像中の周波数成分とを、前記色補間処理後に一括して補償処理するものであり、前記補償処理が、前記画像を複数のブロックに分割し、前記周波数成分の補償係数を前記複数の領域毎に設定するものである、ことを特徴とする。
〔発明２４〕 発明２４の画像処理方法は、
レンズを通過して撮像センサで取り込まれた画像に対して色補間処理を実施する画像処理方法であって、前記色補間処理後の画像に対して、前記レンズを通過することで減衰した周波数成分と、前記色補間処理にて失われた周波数成分とを一括して補償、または一括して補償及びエッジ強調すべくフィルタリング処理を実施するものであり、前記フィルタリング処理が、前記画像を複数のブロックに分割し、前記周波数成分の補償係数を前記複数の領域毎に設定するものである、ことを特徴とする。
〔発明２５〕 発明２５の画像処理方法は、
レンズを通過して撮像センサで取り込まれた画像に対して色補間処理を実施する画像処理方法であって、前記レンズを通過することで減衰した前記画像中の周波数成分と、前記色補間処理にて失われた前記画像中の周波数成分とを、前記色補間処理後に一括して補償処理するものであり、前記補償処理が、前記レンズのサジタル方向とタンジェンタル方向との特性を合成し、中心からの距離から決定する一次元の補償係数を用いて行うものである、ことを特徴とする。
〔発明２６〕 発明２６の画像処理方法は、
レンズを通過して撮像センサで取り込まれた画像に対して色補間処理を実施する画像処理方法であって、前記色補間処理後の画像に対して、前記レンズを通過することで減衰した周波数成分と、前記色補間処理にて失われた周波数成分とを一括して補償、または一括して補償及びエッジ強調すべくフィルタリング処理を実施するものであり、前記フィルタリング処理が、前記レンズのサジタル方向とタンジェンタル方向との特性を合成し、中心からの距離から決定する一次元の補償係数を用いて行うものである、ことを特徴とする。
〔発明２７〕 発明２７の画像処理方法は、
発明２１ないし２６のいずれかに記載の画像処理方法において、前記周波数成分の補償係数は、前記レンズの通過位置に応じて変化する値を利用することを特徴とする。
〔発明２８〕 発明２８の画像処理方法は、
発明２１ないし２６のいずれかに記載の画像処理方法において、前記周波数成分の補償係数として、前記レンズの中心から周縁部方向への距離に応じて変化する値を利用することを特徴とする。
〔発明２９〕 発明２９の画像処理方法は、
発明２１ないし２８のいずれかに記載の画像処理方法において、前記画像中のエッジ部を判別し、そのエッジ部に対して前記周波数成分の補償処理を実施することを特徴とする。
〔発明３０〕 発明３０の画像処理方法は、
発明２１ないし２９のいずれかに記載の画像処理方法において、前記色補間処理後の画像の輝度信号に対して前記周波数成分の補償処理を実施することを特徴とする。
〔発明３１〕 発明３１の周波数成分補償部は、
レンズと、撮像センサと、前記レンズを通過して前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理部と、画像出力部と、を含む画像処理装置にさらに含まれる周波数成分補償部であって、前記レンズを通過することで減衰した前記画像中の周波数成分と、前記色補間処理にて失われた前記画像中の周波数成分とを、前記色補間処理後に一括して補償処理するものであり、前記補償処理が、前記画像を前記レンズの中心から同心円上に複数の領域に分け、前記周波数成分の補償係数を前記複数の領域毎に設定するものである、ことを特徴とする。
〔発明３２〕 発明３２の周波数成分補償部は、
レンズと、撮像センサと、前記レンズを通過して前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理部と、画像出力部と、を含む画像処理装置にさらに含まれる周波数成分補償部であって、前記色補間処理後の画像に対して、前記レンズを通過することで減衰した周波数成分と、前記色補間処理にて失われた周波数成分とを一括して補償、または一括して補償及びエッジ強調すべくフィルタリング処理を実施するものであり、前記フィルタリング処理が、前記画像を前記レンズの中心から同心円上に複数の領域に分け、前記周波数成分の補償係数を前記複数の領域毎に設定するものである、ことを特徴とする。
〔発明３３〕 発明３３の周波数成分補償部は、
レンズと、撮像センサと、前記レンズを通過して前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理部と、画像出力部と、を含む画像処理装置にさらに含まれる周波数成分補償部であって、前記レンズを通過することで減衰した前記画像中の周波数成分と、前記色補間処理にて失われた前記画像中の周波数成分とを、前記色補間処理後に一括して補償処理するものであり、前記補償処理が、前記画像を複数のブロックに分割し、前記周波数成分の補償係数を前記複数の領域毎に設定するものである、ことを特徴とする。
〔発明３４〕 発明３４の周波数成分補償部は、
レンズと、撮像センサと、前記レンズを通過して前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理部と、画像出力部と、を含む画像処理装置にさらに含まれる周波数成分補償部であって、前記色補間処理後の画像に対して、前記レンズを通過することで減衰した周波数成分と、前記色補間処理にて失われた周波数成分とを一括して補償、または一括して補償及びエッジ強調すべくフィルタリング処理を実施するものであり、前記フィルタリング処理が、前記画像を複数のブロックに分割し、前記周波数成分の補償係数を前記複数の領域毎に設定するものである、ことを特徴とする。
〔発明３５〕 発明３５の周波数成分補償部は、
レンズと、撮像センサと、前記レンズを通過して前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理部と、画像出力部と、を含む画像処理装置にさらに含まれる周波数成分補償部であって、前記レンズを通過することで減衰した前記画像中の周波数成分と、前記色補間処理にて失われた前記画像中の周波数成分とを、前記色補間処理後に一括して補償処理するものであり、前記補償処理が、前記レンズのサジタル方向とタンジェンタル方向との特性を合成し、中心からの距離から決定する一次元の補償係数を用いて行うものである、ことを特徴とする。
〔発明３６〕 発明３６の周波数成分補償部は、
レンズと、撮像センサと、前記レンズを通過して前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理部と、画像出力部と、を含む画像処理装置にさらに含まれる周波数成分補償部であって、前記色補間処理後の画像に対して、前記レンズを通過することで減衰した周波数成分と、前記色補間処理にて失われた周波数成分とを一括して補償、または一括して補償及びエッジ強調すべくフィルタリング処理を実施するものであり、前記フィルタリング処理が、前記レンズのサジタル方向とタンジェンタル方向との特性を合成し、中心からの距離から決定する一次元の補償係数を用いて行うものである、ことを特徴とする。
〔発明３７〕 発明３７の画像処理装置は、
レンズと、撮像センサと、前記レンズを通過して前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理部と、発明２１ないし２６のいずれかに記載の周波数成分補償部と、画像出力部と、を含むことを特徴とする。
〔発明３８〕 発明３８の画像処理装置は、
発明３７に記載の画像処理装置において、前記撮像センサが単板式のカラー撮像センサであることを特徴とする。
〔発明３９〕 発明３９の画像処理プログラムは、
発明２１ないし３０のいずれかに記載の画像処理方法を実施する周波数成分補償機能をコンピュータに実現させることを特徴とする。

以下、本発明を実施するための最良の形態を添付図面を参照しながら詳述する。
図１は、本発明に係る画像処理装置１００の実施の一形態を示したものである。
図示するように、この画像処理装置１００は、任意の被写体を捉えるためのカメラレンズ（以下、単に「レンズ」と称す）１０と、このレンズ１０を介して通過してきた画像を取り込むための単板式の撮像センサ２０と、この撮像センサ２０で取り込まれた画像に対して色補間処理を実施する色補間処理部３０と、この色補間処理部３０及び前記レンズ１０で失われた高周波数成分とを同時に補償処理するための周波数成分補償部４０と、この周波数成分補償部４０で補償処理が実施された画像を出力する画像出力部５０とから主に構成されている。

ここで、レンズ１０、撮像センサ２０、色補間処理部３０、画像出力部５０は、従来と同様のものをそのまま適用可能となっており、周波数成分補償部４０の部分が特に本発明の特徴部分を構成している。
すなわち、この周波数成分補償部４０は、後に詳述するが、前記色補間処理部３０における色補間処理後の画像に対して前記レンズ１０を通過することで失われた（減衰した）高周波数成分と、前記色補間処理部３０での色補間処理にて失われた高周波数成分とを一括して同時に補償すべく高域強調フィルタリング（ＨＰＦ）処理を実施する機能を提供するものであり、これによって、従来のようにレンズ補償用の処理回路を設ける必要がなくなるため、性能の低いレンズによる周波数特性の低下を効果的に補償しつつ、コストやスペースの増加を確実に回避することが可能となる。

なお、この色補間処理部３０における色補間処理機能及び周波数成分補償部４０における周波数成分補償処理機能は、中央処理装置（ＣＰＵ）や主記憶装置（ＲＡＭ）、ハードディスクドライブ装置（ＨＤＤ）等からなる補助記憶装置、バス（ＢＵＳ）等からなるコンピュータシステムと、ＣＤ−ＲＯＭ等の記録媒体やネットワークを介して供給可能な専用の画像処理プログラムによって、またはそのプログラムが焼き付けられた専用の半導体チップ（半導体ＲＯＭ）等によって実現されるようになっている。また、色補間処理部３０や周波数成分補償部４０などの主要部分をＩＣやＬＳＩなどの小型の集積回路などの半導体装置として実現すれば、デジタルカメラやデジタルビデオカメラなどの携帯用の小型カメラにも容易に搭載してその画像処理の一部として活用することができる。

また、撮像センサ２０は、従来通り、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像センサをそのまま適用したものであり、また、単板式のものについて特に顕著な効果が得られるというものであって、単板式のみならず３板式及び２板式でも適用可能である。

また、画像出力部５０は、直接的には処理前後の画像を視覚的に表示するものであり、ＣＲＴやＬＣＤ等のソフトコピー装置の他、レーザープリンタやインクジェットプリンタ等のハードコピー装置に加え、いわゆるグラフィックアクセラレータやビデオカード等と称される画像出力専用の回路（基板）等も含まれる。
なお、撮像センサを用いた画像処理装置では、他に撮像センサをコントロールするためのブロック（例えば露出制御等）や、色を処理するためのブロック（例えば、オートホワイトバランス）などが必要になることがあるが、本発明にはそれらのブロックは関与するところが少なく、従来の技術などを用いれば構成することができるので、本実施の形態では省略する。

以下、このレンズ１０による周波数低下、及び色補間処理部３０での色補間処理による周波数低下についてそれぞれ具体例を挙げて説明し、その後に本発明のいわゆる周波数一括補償処理方法について詳しく説明する。
先ず、通常一般的なレンズの周波数通過特性は、前述したようにＭＴＦという定数で定義される。このＭＴＦとは一般的にレンズ１０中心からの距離によって変化する係数であり、単位距離内の黒と白のペアの繰り返しラインを撮影し、その黒と白の通過再現特性によって定義される。

以下の表１は、一般的な携帯電話に付設される、ある汎用のデジタルスチルカメラ用レンズのＭＴＦ特性を示したものである。
同表において、左列欄の「２０」、「４０」、「６０」、「８０」は、それぞれ距離１ｍｍ内における黒と白のラインペアの本数で表される周波数（Ｌｐ／ｍｍ）を示したものであり、上行欄の「０」、「０．４７」、〜「２．３５」は、それぞれのレンズ中心から径方向の距離（像高（ｍｍ））を示したものである。また、同表中「Ｓ」は、サジタル方向を意味し、「Ｔ」はタンジェンタル方向を意味するものである。

なお、本発明でいう「サジタル方向」とは、レンズの放射方向の像性能に関係する方向をいい、「タンジェンタル方向」とは、レンズの円周方向の像性能に関係する方向をいう。また、この「タンジェンタル方向」は、文献によっては「メリディオナル方向」という場合もあるがその意味するところは同じである。

表１からもわかるように、レンズの周波数通過特性は、サジタル方向及びタンジェンタル方向のいずれもレンズの中心部分が最も高く、レンズの中心から離れるに従って低下することがわかる。
例えば、４０（Ｌｐ／ｍｍ）の場合、レンズの中心位置でのタンジェンタル方向のＭＴＦは、「８９％」であるが、レンズ中心から０．９４ｍｍ離れた位置にて再現されるタンジェンタル方向のＭＴＦは「６４％」、同じくレンズ中心から１．８８ｍｍ離れた位置にて再現されるタンジェンタル方向のＭＴＦは「４６％」となっている。

すなわち、レンズの中心位置では被写体の白黒のコントラストが「８９％」であるの対し、レンズ中心から０．９４ｍｍ離れた位置ではそのコントラストが「６４％」に低下し、さらにレンズ中心から１．８８ｍｍ離れた位置ではそのコントラストが「４６％」まで低下する。これを言い換えると、４０（Ｌｐ／ｍｍ）に相当する周波数成分の通過特性が「４６％」になると解釈することができる。

そして、このような周波数成分の通過特性の低下は、いずれの周波数でも同様であり、また、その低下率は、このレンズの場合にはサジタル方向よりもタンジェンタル方向のほうが大きいことがわかる。
このように、レンズのＭＴＦはサジタル方向とタンジェンタル方向の２種類があり、同じ像高でもかなりの差があるため、周波数低下の補償処理はそれぞれの方向毎に行うことが必要となってくる。

しかしながら、このようにサジタル方向とタンジェンタル方向のそれぞれについて処理を実現するためには、処理する画素毎にレンズ中心からの位置と方向を判断する必要があり、補償のための処理（係数）も画素毎に逐次変化するので、処理として複雑になり過ぎる。
そこで、本実施の形態ではこのＭＴＦ値として、サジタル・タンジェンタルの２方向の平均値を用いるようにしたものであり、以下の表２は表１で求めたサジタル方向とタンジェンタル方向のＭＴＦの平均を算出した結果である。

このようにサジタル・タンジェンタルの２方向の平均値を用いることにより、レンズ中心からの距離のみで処理を実行することができ、その情報処理等に要する負荷の軽減、及び処理時間の短縮を図ることが可能となる。
図２は、この表２の各数値をグラフ表記したものである。

図示するように、レンズ１０の周波数通過特性は、周波数が大きくなるほど低下する傾向にあり、また、レンズの中心からの距離が長くなるほど低下することが明確にわかる。さらに、この特性低下は、約２ｍｍを越えたあたりからさらに急激に低下することがわかる。
そして、図３はこの図２の周波数通過特性を周波数軸に変換してグラフ化したものであり、Ｌｐ／ｍｍを撮像センサ２０の画素の大きさ５．６μｍとして周波数軸に置き換えて示したものである。画素距離５．６μｍにて再現できる最大周波数をπとして考えると、Ｌｐ／ｍｍの周波数変換式は、
ｆ＝π／６．２５×５．６／８０×（Ｌｐ／ｍｍ）
または、ｆ＝π×５．６×（（Ｌｐ／ｍｍ）／１０００×２）にて定義できる。

ここで、「６．２５」は、８０Ｌｐ／ｍｍにおける解像度であり、６．２５μｍを意味している。
そして、この図３からもわかるように、レンズの周辺にいくほど周波数成分の通過特性が低下し、レンズ端ではかなり低い周波数成分から通過特性が落ちることがわかる。なお、以下の表３は、この図３のオリジナルデータを示したものである。

次に、図４は従来から行われている一般的な色補間の処理フローの典型例を示したものである。
図示するように、通常の色補間処理は、各画素毎に１つの色しかもたない単板式の撮像センサの画像データから各画素ＲＧＢの値をもつデータに変換するために、近傍のセンサ素子出力を用いて各画素がＲＧＢの値をもつように処理し（簡易色変換と呼ぶ）、さらにそのデータを輝度信号（Ｙ）と、色差信号（Ｃ）に分割して処理を行っている。

このうち、輝度信号（Ｙ）に対しては、各画素一つの色しかもたないセンサからの複数の色のデータを用いて合成を行うので空間的に広がりのある複数画素を用いて処理することとなり、その結果、ＬＰＦを施していることと同等になる。この特性を補償するために、ＨＰＦを施すようにしている。一方、色差信号（Ｃ）に対しては、補間により発生するエッジ部の偽色を目立たなくするためにさらにＬＰＦを施すようにしている。

そして、レンズ１０によって発生する周波数特性の劣化の補償は、これらのうち、基本的に輝度信号（Ｙ）を補償すれば視覚的に改善可能であるため、図４の処理フローの１つのＨＰＦ処理のみによって色補間の周波数特性の補償と、レンズ１０による周波数特性の補償を同時に実現できると考えられる。
ただし、前述したようにレンズの特性は、レンズ中心からの像高によって変化するため、ＨＰＦの係数はレンズ中心からの距離によって変化させる必要がある。

このように色補間処理によって低下した周波数特性の補償と、レンズ１０を通過することによって低下した周波数特性の補償を一括して同時に纏めて行うための処理に用いられるフィルタは、基本的には色補間の特性を補償するためのフィルタと、レンズ特性を補償するためのフィルタを算出し、そのフィルタ特性同士を掛け合わせることによって容易に得ることができる。

しかし、色補間による周波数低下とレンズによる周波数低下は、その低下する特性が違いがあるため、それらの周波数低下を掛け合わせて考え、それを１つのＨＰＦにて補償するほうが良い。すなわち、「レンズ＋撮像センサ＋色補間」等の系を一塊りとして考え、これらの塊を経ることで高周波成分が落ちたデータを１つのＨＰＦにて補償するということである。

この色補間処理で用いられる色補間フィルタに、２×２（ＧＲＧＢ）のフィルタが用いられる場合、これをレンズと同様に一次元的に考えると、「ａ＝ａ１×０．５＋ａ２×０．５」というフィルタにて置き換えることができ、この色補間フィルタの周波数特性を示したのが図５である。なお、この図５のグラフの計算式は、以下の数式（１）のとおりであり、ＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｎｓｅ）フィルタの振幅成分のみの関数を用いている。

前述したようにレンズ１０の通過特性の場合は、離散的に求めたＭＴＦの特性を周波数に換算して算出したため、得られる特性も離散値となっているが、色補間フィルタの場合は、図示するようにＦＩＲフィルタの特性から算出するため、連続値となっている。
このようにレンズ特性が離散値の周波数特性であるため、連続値からなる色補間フィルタと合成した周波数特性も離散値で得られることになる。その合成した周波数特性を示したのが図６であり、そのオリジナルデータは、以下の表４に示すとおりである。

次に、本発明の周波数一括補償処理について説明する。
本実施の形態においては、色補間アルゴリズムにて使用するＨＰＦのフィルタサイズは、３×３の大きさとする。一般に範囲の大きいフィルタを用いるほどより適切に周波数補償が可能であるが、使用する係数が増えるほどフィルタの設計が困難となる。また、実際の使用に関して離散値→連続値への近似などが困難になる。

そこで、本発明では、３×３といった小さいフィルタサイズは保持し、その範囲で周波数補償を適切に行える係数を求めることとする。
先ず、前記ではレンズ１０と色補間の特性を１次元的に考えてきたので、本発明に係るＨＰＦの設計も１次元で行い、それを２次元に拡張する。
このときの設計基準としては、以下の２つに基準を採用する。

１．「−ａ １＋２ａ −ａ」といった３係数の単純１次元ＨＰＦとする。
２．レンズ×色補間×設計ＨＰＦの結果、通過特性として１．０以上の値がでないようにする。ただし、実際に設計した結果、「１．０１」程度までの値は許容することにする。また、「２．２４」の位置に関しては高周波部分での有効な補償を実現するため「１．０８」としてある。

図７は、この基準の具体例を示したものであり、「レンズ中心から位置毎の周波数特性×色補間×設計ＨＰＦ」の周波数特性である。なお、この「設計ＨＰＦ」は、以下の表５のとおりである。また、レンズ中心に関してもレンズの周波数特性劣化と色補間による周波数劣化を補間してある。

図示するように、他の位置に関しても極端に周波数の低下がある「２．３５」の位置以外はレンズ中心の周波数補償したレベルにかなり近い特性まで補償が実現できそうなことがわかる。また、レンズ中心からの距離が「２．２４」の場合も若干のリンギングを許容してＨＰＦを設計すると、他の位置と近いレベルまで周波数補償が可能となる。なお、本レンズの設計は２．２４ｍｍまでを想定して行われており、補償のための処理も２．２４ｍｍまでしか用いないので、十分な補償が実現できることがわかる。

次に、このようにして設計した表５のＨＰＦ係数を元に補償処理を行う。ただし、算出したフィルタは、レンズ中心からの距離に対して離散的な位置に対して設計したものしか存在しない。必要な全てのフィルタ係数は、表５では設計できていないので、必要な距離のフィルタ係数は、単純な線形補間で算出する。なお、この図７のオリジナルデータを示したのが以下の表６である。

図８は、設計した「−ａ １＋２ａ −ａ」にて構成される表５のＨＰＦの「−ａ」の値をレンズ中心からの距離によってグラフ化した結果である。存在しない位置のＨＰＦのデータを線形近似にて求めても最適値との誤差は大きくないものと推定できる。なお、中心からの距離の値としては、２．２４ｍｍまでしか用いる必要がないので、「−ａ」の最も大きい値は、「−１．１」となる。

図に示すＨＰＦ係数に従って離散値ａの値を線形補間する。半径ｒ（単位は画素）を用いて「ａ」を以下の式にて決定する。
ｒ≦８４ ａ＝0.28＋0.001428571×ｒ
８４＜ｒ≦１６８ ａ＝0.4
１６８＜ｒ≦２５２ ａ＝0.4 ＋0.00047619×（ｒ−168）
２５２＜ｒ≦３３６ ａ＝0.44＋0.00261904×（ｒ−252） …（２）
なお、１次元で「−ａ １＋２ａ −ａ」のフィルタを３×３の２次元のフィルタに拡張すると、以下のようになる。

ａ^２ −ａ＋２ａ^２ ａ^２
−ａ＋２ａ^２ （１＋２ａ)^２ −ａ＋２ａ^２
ａ^２ −ａ＋２ａ^２ ａ^２ …（３）
そして、このようにして得られた本発明に係る新規フィルタを用いて周波数補償を行った画像を観察した結果、レンズ中心に相当する画像中心部分は従来と同様にクリアな画像が得られ、また、周辺部分は完全にクリアとはいえないものの、ボケた感じの画像をかなり補償できることがわかった。また、後述の実施の形態に示すよう、色補間処理に対する周波数補償とレンズの補償とを別々の補償機能により補正した場合よりも、より高画質な画像を得ることができる。

次に、本発明の他の実施の形態を説明する。
レンズ１０を通過することによってボケた画像は、本来の情報がレンズのＬＰＦ効果によって削られている（なくなっている）ことから、完全に元には修復できない一方で、周辺部はＨＰＦの効果が強いので、画像ノイズ・画素バラツキ等も増幅してしまう欠点がある。その結果、平坦部では、画像の滑らかさが失われる問題が発生している。

このように単に画像全体に対してＨＰＦ処理を加えただけでは、周辺部でのＨＰＦの効果が強いために、滑らかな部分がノイジーになるという場合がある。そこで、画像が平坦部かエッジ部かを判断して平坦部と判断される部分は処理を実施しないようにしたのが図１０に示す本実施の形態である。
従来のエッジ強調フィルタとエッジ判定フィルタは、注目する値の重み「１」を付与するかしないかのみで切り替えることができる。従って、エッチ判定フィルタの出力値を用いてエッジ判定を行い、かつその値を注目画素に加算してエッジ強調係数とできる。なお、図９はＨＰＦとエッジ判定フィルタの例を示したものである。

本実施の形態では、図１０のような処理をＨＰＦの代わりに用いてエッジ判定フィルタの出力を閾値によってエッジか否かを判断する。例えば、エッジ判定フィルタをレンズの補償特性を含めた特性とすれば、エッジと判断された場合は、エッジ判定の結果に注目画素の値を加算して、出力する。エッジと判断されなかった場合は、補間の特性のみを補正するようにレンズ中央の周波数補償を行う出力する。エッジか否かを判定するための閾値は、センサを含むシステムのノイズ特性から、ノイズ量より大きな値と判定された場合にエッジと判定するようにすれば良い。

次に、前述した実施の形態では、ＨＰＦフィルタの値を前記式（２）、（３）にて定義される「ｒ」の値で決定する関数で算出しているため、１画素毎に「ａ」の値を算出し、３×３のフィルタに拡張する必要がある。しかし、前式の計算式は、リアルタイムで実行するには適当ではない。しかも、１画素毎に制御しても視覚的に認識できるかどうかが疑問である（全体にＨＰＦを施す場合、多少のＨＰＦの係数を変化させても、視覚的に区別できないことが多い）。そのため、施すＨＰＦフィルタの数を限定し、限定した数のＨＰＦで処理を行うようにしても良い。

また、距離の分割数（いわゆる距離の量子化）については、レンズ特性により変化するが、４個から７個程度で良いと考える。分割を行うことで、各分割範囲の中心側では過補正、外側では補正不足になる。分割数が少ないと、その補正の不一致が目につくようになる。
また、中心からの距離で分割するのではなく、画像を縦横の格子で区切って、格子毎に強調係数を決定する方法もある。すなわち、中心からの距離ではその距離を算出するために平方根の計算が必要になるが、格子に分割した判断にすると平方根の計算が必要なくなり、計算に要する処理が容易となる。

次に、図１１〜図１３は、色補間の補償とレンズの補償とをそれぞれ別個に行った従来の周波数特性の補償処理の一例を挙げたものである。
図１１は、前述した図３で得られているレンズのそれぞれの位置に対して３×３の補償フィルタを想定して補償した結果である。実際には、１次元を想定して設計してあるので３タップのＦＩＲフィルタを施してある。

以下の表７は設計したフィルタ係数であり、１次元における色補間補償用のフィルタ係数も明記した。設計思想としては、リンギングが発生しない最大の強度を目標に設計している（若干のリンギングは許可している）。

図１２は色補間処理に対する周波数補償結果を、また、図１３は図１１と図１２の色補間とレンズの補償の結果を用いて、全体を別々の補償機能により補正した結果をそれぞれ示したものである。
図７の特性と比較すると、補償の特性が十分に得られていないことがわかる。数値的にいえば、レンズ中央において周波数「２．１１１」の通過特性を比較すると、本発明方法では、０．７４７（７４．７％）の通過特性が得られているのに対し、図１３では０．６６５（６６．５％）の通過特性しか得られない。

すなわち、それぞれ最適化して補償した結果を単純に掛け合わせても、システム総合的に見た場合は、最適化がなされていないといえる。これは、レンズは低周波から高周波へかけて特性が緩やかに低下するのに対して、色補間は高周波になると急激に劣化するからであり、それぞれの周波数特性の劣化特性が異なるためである。
なお、以下の表８は、図１１に関する具体的な数値データを、また、表９は図１３に関する具体的な数値データをそれぞれ示したものである。

本発明に係る画像処理装置の実施の一形態を示すブロック図である。 レンズ中心からの距離と簡略化したＭＴＦとの関係を示すグラフ図である。 レンズ中心からの位置毎の通過特性を示すグラフ図である。 色補間処理の流れを示すブロック図である。 色補間フィルタの周波数特性の例を示すグラフ図である。 レンズ中心からの位置毎の周波数特性と色補間の特性を掛け合わせた周波数特性を示すグラフ図である。 レンズ中心からの位置毎の周波数特性と色補間特性とＨＰＦとを掛け合わせた周波数特性を示すグラフ図である。 レンズ中心からの距離によるＨＰＦ係数の変化を示すグラフ図である。 ＨＰＦとエッジ判定フィルタを示す説明図である。 エッジ判定と補償処理の流れを示すブロック図である。 レンズに対する補償処理結果を示すグラフ図である。 色補間に対する補償処理結果を示すグラフ図である。 トータルの補償処理結果を示すグラフ図である。

符号の説明

１０…カメラレンズ、２０…撮像センサ、３０…色補間処理部、４０…周波数成分補償部、５０…画像出力部、１００…画像処理装置。

Claims (19)

1. レンズを通過して撮像センサで取り込まれた画像に対して色補間処理を実施する画像処理方法であって、
   前記レンズを通過することで減衰した前記画像中の周波数成分と、前記色補間処理にて失われた前記画像中の周波数成分とを、前記色補間処理後に一括して補償処理するものであり、
   前記補償処理が、前記画像を前記レンズの中心から同心円上に複数の領域に分け、前記周波数成分の補償係数を前記複数の領域毎に設定するものである、ことを特徴とする画像処理方法。
2. レンズを通過して撮像センサで取り込まれた画像に対して色補間処理を実施する画像処理方法であって、
   前記色補間処理後の画像に対して、前記レンズを通過することで減衰した周波数成分と、前記色補間処理にて失われた周波数成分とを一括して補償、または一括して補償及びエッジ強調すべくフィルタリング処理を実施するものであり、
   前記フィルタリング処理が、前記画像を前記レンズの中心から同心円上に複数の領域に分け、前記周波数成分の補償係数を前記複数の領域毎に設定するものである、ことを特徴とする画像処理方法。
3. レンズを通過して撮像センサで取り込まれた画像に対して色補間処理を実施する画像処理方法であって、
   前記レンズを通過することで減衰した前記画像中の周波数成分と、前記色補間処理にて失われた前記画像中の周波数成分とを、前記色補間処理後に一括して補償処理するものであり、
   前記補償処理が、前記画像を複数のブロックに分割し、前記周波数成分の補償係数を前記複数の領域毎に設定するものである、ことを特徴とする画像処理方法。
4. レンズを通過して撮像センサで取り込まれた画像に対して色補間処理を実施する画像処理方法であって、
   前記色補間処理後の画像に対して、前記レンズを通過することで減衰した周波数成分と、前記色補間処理にて失われた周波数成分とを一括して補償、または一括して補償及びエッジ強調すべくフィルタリング処理を実施するものであり、
   前記フィルタリング処理が、前記画像を複数のブロックに分割し、前記周波数成分の補償係数を前記複数の領域毎に設定するものである、ことを特徴とする画像処理方法。
5. レンズを通過して撮像センサで取り込まれた画像に対して色補間処理を実施する画像処理方法であって、
   前記レンズを通過することで減衰した前記画像中の周波数成分と、前記色補間処理にて失われた前記画像中の周波数成分とを、前記色補間処理後に一括して補償処理するものであり、
   前記補償処理が、前記レンズのサジタル方向とタンジェンタル方向との特性を合成し、中心からの距離から決定する一次元の補償係数を用いて行うものである、ことを特徴とする画像処理方法。
6. レンズを通過して撮像センサで取り込まれた画像に対して色補間処理を実施する画像処理方法であって、
   前記色補間処理後の画像に対して、前記レンズを通過することで減衰した周波数成分と、前記色補間処理にて失われた周波数成分とを一括して補償、または一括して補償及びエッジ強調すべくフィルタリング処理を実施するものであり、
   前記フィルタリング処理が、前記レンズのサジタル方向とタンジェンタル方向との特性を合成し、中心からの距離から決定する一次元の補償係数を用いて行うものである、ことを特徴とする画像処理方法。
7. 請求項１ないし６のいずれか一項に記載の画像処理方法において、
   前記周波数成分の補償係数は、前記レンズの通過位置に応じて変化する値を利用することを特徴とする画像処理方法。
8. 請求項１ないし６のいずれか一項に記載の画像処理方法において、
   前記周波数成分の補償係数として、前記レンズの中心から周縁部方向への距離に応じて変化する値を利用することを特徴とする画像処理方法。
9. 請求項１ないし８のいずれか一項に記載の画像処理方法において、
   前記画像中のエッジ部を判別し、そのエッジ部に対して前記周波数成分の補償処理を実施することを特徴とする画像処理方法。
10. 請求項１ないし９のいずれか一項に記載の画像処理方法において、
    前記色補間処理後の画像の輝度信号に対して前記周波数成分の補償処理を実施することを特徴とする画像処理方法。
11. レンズと、撮像センサと、前記レンズを通過して前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理部と、画像出力部と、を含む画像処理装置にさらに含まれる周波数成分補償部であって、
    前記レンズを通過することで減衰した前記画像中の周波数成分と、前記色補間処理にて失われた前記画像中の周波数成分とを、前記色補間処理後に一括して補償処理するものであり、前記補償処理が、前記画像を前記レンズの中心から同心円上に複数の領域に分け、前記周波数成分の補償係数を前記複数の領域毎に設定するものである、ことを特徴とする周波数成分補償部。
12. レンズと、撮像センサと、前記レンズを通過して前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理部と、画像出力部と、を含む画像処理装置にさらに含まれる周波数成分補償部であって、
    前記色補間処理後の画像に対して、前記レンズを通過することで減衰した周波数成分と、前記色補間処理にて失われた周波数成分とを一括して補償、または一括して補償及びエッジ強調すべくフィルタリング処理を実施するものであり、前記フィルタリング処理が、前記画像を前記レンズの中心から同心円上に複数の領域に分け、前記周波数成分の補償係数を前記複数の領域毎に設定するものである、ことを特徴とする周波数成分補償部。
13. レンズと、撮像センサと、前記レンズを通過して前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理部と、画像出力部と、を含む画像処理装置にさらに含まれる周波数成分補償部であって、
    前記レンズを通過することで減衰した前記画像中の周波数成分と、前記色補間処理にて失われた前記画像中の周波数成分とを、前記色補間処理後に一括して補償処理するものであり、前記補償処理が、前記画像を複数のブロックに分割し、前記周波数成分の補償係数を前記複数の領域毎に設定するものである、ことを特徴とする周波数成分補償部。
14. レンズと、撮像センサと、前記レンズを通過して前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理部と、画像出力部と、を含む画像処理装置にさらに含まれる周波数成分補償部であって、
    前記色補間処理後の画像に対して、前記レンズを通過することで減衰した周波数成分と、前記色補間処理にて失われた周波数成分とを一括して補償、または一括して補償及びエッジ強調すべくフィルタリング処理を実施するものであり、前記フィルタリング処理が、前記画像を複数のブロックに分割し、前記周波数成分の補償係数を前記複数の領域毎に設定するものである、ことを特徴とする周波数成分補償部。
15. レンズと、撮像センサと、前記レンズを通過して前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理部と、画像出力部と、を含む画像処理装置にさらに含まれる周波数成分補償部であって、
    前記レンズを通過することで減衰した前記画像中の周波数成分と、前記色補間処理にて失われた前記画像中の周波数成分とを、前記色補間処理後に一括して補償処理するものであり、前記補償処理が、前記レンズのサジタル方向とタンジェンタル方向との特性を合成し、中心からの距離から決定する一次元の補償係数を用いて行うものである、ことを特徴とする周波数成分補償部。
16. レンズと、撮像センサと、前記レンズを通過して前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理部と、画像出力部と、を含む画像処理装置にさらに含まれる周波数成分補償部であって、
    前記色補間処理後の画像に対して、前記レンズを通過することで減衰した周波数成分と、前記色補間処理にて失われた周波数成分とを一括して補償、または一括して補償及びエッジ強調すべくフィルタリング処理を実施するものであり、前記フィルタリング処理が、前記レンズのサジタル方向とタンジェンタル方向との特性を合成し、中心からの距離から決定する一次元の補償係数を用いて行うものである、ことを特徴とする周波数成分補償部。
17. レンズと、
    撮像センサと、
    前記レンズを通過して前記撮像センサで取り込まれた画像に対して色補間処理を実施する色補間処理部と、
    請求項１１ないし１６のいずれか一項に記載の周波数成分補償部と、
    画像出力部と、を含む、
    ことを特徴とする画像処理装置。
18. 請求項１７に記載の画像処理装置において、
    前記撮像センサが単板式のカラー撮像センサであることを特徴とする画像処理装置。
19. 請求項１ないし１０のいずれか一項に記載の画像処理方法を実施する周波数成分補償機能をコンピュータに実現させることを特徴とする画像処理プログラム。

Images