JP4097815B2

JP4097815B2 - 画像処理装置および画像処理方法

Info

Publication number: JP4097815B2
Application number: JP33279398A
Authority: JP
Inventors: 禎郎高橋
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1998-11-24
Filing date: 1998-11-24
Publication date: 2008-06-11
Anticipated expiration: 2018-11-24
Also published as: US6744916B1; JP2000165893A

Description

【０００１】
【発明の属する技術分野】
この発明は、画像処理装置および画像処理方法に関し、詳細には、欠落した画素の画像信号の補間を行う画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
例えば、図４に示すようなＲＧＢのカラーフィルタが市松状（水平方向および垂直方向に１画素おきにＲＧＢが配置）に配置された単板カラーＣＣＤを使用した場合には、各画素にはＲＧＢのいずれか一色の信号成分しか存在しないため、欠落した色成分を補間する必要がある。
【０００３】
従来の補間方法は、欠落画素を単純に周囲の画素の平均を用いて補間するものである。具体的には、カラーＣＣＤの各画素を図５に示すように、（ｊ，ｉ）とした場合には以下の（１）〜（４）に示すような演算で補間を行っていた。
【０００４】
（１）Ｇ（ｉ，ｊ）の位置での補間
Ｒ＝（Ｒ（ｉ、ｊ−１）＋Ｒ（ｉ，ｊ＋１））／２
Ｇ＝Ｇ（ｉ，ｊ）
Ｂ＝（Ｂ（ｉ−１、ｊ）＋Ｂ（ｉ＋１、ｊ））／２
【０００５】
（２）Ｂ（ｉ＋１，ｊ）の位置での補間
Ｒ＝（（Ｒ（ｉ、ｊ−１）＋Ｒ（ｉ，ｊ＋１）＋Ｒ（ｉ＋２、ｊ−１）＋Ｒ（ｉ＋２，ｊ＋１））／４
Ｇ＝（（Ｇ（ｉ＋１、ｊ−１）＋Ｇ（ｉ，ｊ）＋Ｇ（ｉ＋２、ｊ）＋Ｇ（ｉ＋１，ｊ＋１））／４
Ｂ＝Ｂ（ｉ＋１，ｊ）
【０００６】
（３）Ｒ（ｉ，ｊ＋１）の位置での補間
Ｒ＝Ｒ（ｉ、ｊ＋１）
Ｇ＝（（Ｇ（ｉ、ｊ）＋Ｇ（ｉ−１，ｊ＋１）＋Ｇ（ｉ＋１、ｊ＋１）＋Ｇ（ｉ＋１，ｊ＋２））／４
Ｂ＝（（Ｂ（ｉ−１、ｊ）＋Ｂ（ｉ＋１，ｊ）＋Ｂ（ｉ−１、ｊ＋２）＋Ｂ（ｉ＋１，ｊ＋２））／４
【０００７】
（４）Ｇ（ｉ＋１，ｊ＋１）の位置での補間
Ｒ＝（Ｒ（ｉ、ｊ＋１）＋Ｒ（ｉ＋２、ｊ＋１））／２
Ｇ＝Ｇ（ｉ＋１、ｊ＋１）
Ｂ＝（（Ｂ（ｉ＋１，ｊ）＋Ｂ（ｉ＋１，ｊ＋２））／２
【０００８】
しかるに、上記の如き欠落画素を単純に周囲の画素の平均を用いて補間する方法では、解像度が低下したり、画像内に密集線が存在する場合にはジッパーエッフェクトと呼ばれるギザギザ模様が生じ画質が劣化するという問題がある。特に、Ｇ信号は輝度成分に最も寄与するため、Ｇ信号の補間の良否が画質（特に解像度）を大きく左右することになる。
【０００９】
上記問題を解決するための技術として、例えば、特開平５−７５８６１号公報「画素補間装置」に開示されたものが知られている。
【００１０】
かかる「画素補間装置」は、多数の画素を格子状に配列することで構成されるディジタル画像の欠落画素を補間する画素補間装置において、上記欠落画素の上下左右に位置する４個の周辺画素データの各々を所定の閾値を基準として２値化する２値化手段と、該２値化された周辺画素データの状況に基づき、該周辺画素データの全ての組み合わせから補間データの算出に用いる２個または４個の周辺画素データを選択する画素選択手段とを備え、上記画素選択手段により選択された周辺画素データの平均値を上記欠落画素の補間データとするものである。すなわち、２値化された周囲４個の画素データのパターンに基づき、２個または４個の画素データの平均を補間データとしている。
【００１１】
【発明が解決しようとする課題】
しかしながら、上記特開平５−７５８６１号公報の「画素補間装置」においては、信号レベルが低い部分ではノイズの影響も大きくなり周囲４画素を用いるだけでは正確な判定ができないという問題がある。また、２値化というプロセスも入るので、過って判定された場合には逆に画像劣化が従来の補間方式よりも大きくなるという問題がある。
【００１２】
本発明は、上記課題に鑑みてなされたものであり、画像信号の補間が必要な場合に、高解像度でかつ輪郭の滑らかな画像を再現することが可能な画像処理装置および画像処理方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記課題を解決するために、本発明は、水平方向および垂直方向に１画素おきに配列された画像信号の欠落した画素を補間する画像処理装置において、被補間画素の上下左右に位置する４個の近傍画素の画像信号の変化の度合および前記被補間画素の画像信号の変化の度合に基づいて、前記被補間画素の補間信号を生成する補間手段を備えたものである。
【００１４】
また、本発明は、水平方向および垂直方向に１画素おきに配列された画像信号の欠落した画素を補間する画像処理装置において、被補間画素の画像信号の変化の度合、ならびに前記被補間画素の上下左右に位置する４個の近傍画素の水平方向および垂直方向の変化の度合の最小値に基づいて、前記被補間画素の補間信号を生成する補間手段を備えたものである。
【００１５】
また、本発明は、前記補間手段は、前記被補間画素の上下左右に位置する４個の近傍画素の画像信号の変化の度合を当該各近傍画素を中心とした３×３画素の領域で判断し、前記被補間画素の画像信号の変化の度合を当該被補間画素を中心とした３×３画素の領域で判断するものである。
【００１６】
また、本発明は、水平方向および垂直方向に１画素おきに配列された画像信号の欠落した画素を補間する画像処理装置において、被補間画素の左右に位置する２個の近傍画素の画像信号の変化の度合、前記被補間画素の画像信号の変化の度合、および前記被補間画素の水平方向に位置する近傍画素の画像信号と当該被補間画素の水平方向に位置する近傍画素の周囲の画素の画像信号との大小関係に基づいて、前記被補間画素の補間信号を生成する補間手段を備えたものである。
【００１７】
また、本発明は、前記補間手段は、前記被補間画素の左右に位置する２個の近傍画素の水平方向の変化の度合の最小値または前記被補間画素の左右に位置する２個の近傍画素の垂直方向の変化の度合の最小値が、所定の閾値より大きい場合に当該各最小値に基づいて、前記被補間画素の補間信号を生成するものである。
【００１８】
また、本発明は、前記補間手段は、前記被補間画素の左右に位置する２個の近傍画素の画像信号の変化の度合を当該各近傍画素を中心とした３×３画素の領域で判断し、前記被補間画素の画像信号の変化の度合を当該被補間画素を中心とした３×３画素の領域で判断するものである。
【００１９】
また、本発明は、前記補間手段は、前記被補間画素の左右に位置する２個の近傍画素の水平方向の変化の度合の最小値または前記被補間画素の左右に位置する２個の近傍画素の垂直方向の変化の度合の最小値が所定の閾値以下の場合には、前記被補間画素の水平方向に位置する近傍画素の画像信号が当該被補間画素の水平方向に位置する近傍画素を中心とした３×３画素の領域で最大または最小であるか否かに応じて、前記被補間画素の補間信号を生成するものである。
【００２０】
また、本発明は、前記補間手段は、前記被補間画素の上下左右に位置する４個の近傍画素を使用して前記被補間画素の補間信号を生成するものである。
【００２１】
また、本発明は、前記補間手段は、前記被補間画素の上下左右に位置する４個の近傍画素のうち水平方向の画素と垂直方向の画素とを重み付け平均して前記被補間画素の補間信号を生成するものである。
【００２２】
また、本発明は、水平方向および垂直方向に１画素おきに配列された画像信号の欠落した画素を補間する画像処理装置において、被補間画素の上下左右に位置する４個の近傍画素の画像信号の水平方向および垂直方向の変化の度合を演算する第１の演算手段と、前記記被補間画素の画像信号の水平方向および垂直方向の変化の度合を算出する第２の演算手段と、前記第１の演算手段により演算された前記被補間画素の上下左右に位置する４個の近傍画素の画像信号の水平方向の変化の度合の最小値を算出する第１の最小値算出手段と、前記第１の演算手段により演算された前記被補間画素の上下左右に位置する４個の近傍画素の画像信号の垂直方向の変化の度合の最小値を算出する第２の最小値算出手段と、前記第２の演算手段の算出結果、ならびに前記第１の最小値算出手段および前記第２の最小値算出手段により算出された最小値に基づき、前記被補間画素の上下左右に位置する４個の近傍画素のうち水平方向の画素と垂直方向の画素とを重み付け平均して前記被補間画素の補間信号を生成する補間信号演算手段とを備えたものである。
【００２３】
また、本発明は、水平方向および垂直方向に１画素おきに配列された画像信号の欠落した画素を補間する画像処理装置において、被補間画素の左右に位置する２個の近傍画素の画像信号の水平方向および垂直方向の変化の度合を算出する第１の演算手段と、前記被補間画素の画像信号の水平方向および垂直方向の変化の度合を算出する第２の演算手段と、前記被補間画素の水平方向に位置する近傍画素の画像信号と当該被補間画素の水平方向に位置する近傍画素の周囲の画素の画像信号との大小関係を判別する大小関係判別手段と、前記第１の演算手段により演算された前記被補間画素の左右に位置する２個の近傍画素の画像信号の水平方向の変化の度合の最小値を算出する第１の最小値算出手段と、前記第１の演算手段により演算された前記被補間画素の左右に位置する２個の近傍画素の画像信号の垂直方向の変化の度合の最小値を算出する第２の最小値算出手段と、前記第１の最小値算出手段により算出された最小値と第１の閾値とを比較する第１の比較手段と、前記第２の最小値算出手段により算出された最小値と前記第１の閾値とを比較する第２の比較手段と、前記第２の演算手段により演算された前記被補間画素の画像信号の水平方向の変化の度合と第２の閾値とを比較する第３の比較手段と、前記第２の演算手段により演算された前記被補間画素の画像信号の垂直方向の変化の度合と前記第２の閾値とを比較する第４の比較手段と、前記第１〜第４の比較手段の比較結果および前記大小関係判別手段の判別結果に基づき、補間演算定数を選択する選択手段と、前記選択手段で選択された補間演算定数に基づき、前記被補間画素の上下左右に位置する４個の近傍画素のうち水平方向の画素と垂直方向の画素とを重み付け平均して前記被補間画素の補間信号を生成する補間信号演算手段とを備えたものである。
【００２４】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る画像処理装置の好適な実施の形態を、［画像処理装置の構成］、［輝度信号用補間部の構成］の順に詳細に説明する。
【００２５】
［画像処理装置の構成］
本実施の形態に係る画像処理装置を図１を参照して説明する。図１は、本実施の形態に係る画像処理装置のブロック図を示す。図１に示す画像処理装置は、撮像部１０１、色差信号用補間部１０２、輝度信号用補間部１０３、ホワイトバランス調整部１０４、γ補正部１０５、色差マトリクス部１０６，輝度マトリクス部１０７、アパーチャ補正部１０８、γ補正部１０９とから構成される。
【００２６】
撮像部１０１は、上記図４に示すような原色フィルタ配列の単板カラーＣＣＤからなり、被写体像を撮像し得られる画像信号をＲＧＢ信号に変換して色差信号用補間部１０２および輝度信号用補間部１０３に出力する。この場合、フィルタ色以外の信号は欠落している。
【００２７】
色差信号用補間部１０２は、ＲＧＢ信号の欠落している信号の補間を行って、補間したＲＧＢ信号をホワイトバランス調整部１０４に、ＲＢ信号を輝度マトリクス部１０７に出力する。具体的には、色差信号用補間部１０２は、ＲＧＢ信号について、上記従来技術で示した補間方法、すなわち被補間画素（欠落画素）を単純に周囲の画素の平均を用いて補間する（図５参照）。ここで、色差信号の解像度は必ずしも必要ではなく、ＲＧＢの周波数特性が揃っていることが重要である。
【００２８】
輝度信号用補間部１０３は、詳細には後述するが、輝度信号生成用のＧ信号の補間処理を行い、補間したＧ信号を輝度マトリクス部１０７に出力する。
【００２９】
ホワイトバランス調整部１０４は、色差信号用補間部１０２から入力されるＲＧＢ信号に対してホワイトバランス調整を施した後、ホワイトバランス調整したＲＧＢ信号をγ補正部１０５に出力する。
【００３０】
γ補正部１０５は、ホワイトバランス部１０４から入力されるＲＧＢ信号をγ変換した後、γ変換したＲＧＢ信号を色差マトリクス部１０６に出力する。
【００３１】
色差マトリクス部１０６は、γ補正部１０５から入力されるＲＧＢ信号を、色差信号Ｒ−Ｙ（Ｃｒ）、Ｂ−Ｙ（Ｃｂ）に変換して出力する。
【００３２】
輝度マトリクス部１０７は、色差信号用補間部１０２で補間されたＲＢ信号と輝度信号用補間部１０３で補間されたＧ信号を使用して輝度信号Ｙを生成して、アパーチャ補正部１０８に出力する。なお、輝度信号Ｙを生成するに際して、Ｇ信号が最も輝度信号に寄与しＲＢ信号は余り寄与しないため、従来の補間方法を用いて補間したＲＢ信号を使用しても問題はない。
【００３３】
アパーチャ補正部１０８は、輝度マトリクス部１０７から入力される輝度信号Ｙの高周波成分を強調して出力する。γ補正部１０９は、アパーチャ補正部１０８から入力される、高周波成分が強調された輝度信号Ｙをγ変換して出力する。
【００３４】
［輝度信号用補間部の構成］
つぎに、上記輝度信号用補間部１０３の具体的な構成例について、（１）構成例１、（２）構成例２の順に詳細に説明する。
【００３５】
（１）構成例１
図２は上記輝度信号用補間部１０３の構成例１を示すブロック図である。図２に示す輝度信号用補間部１０３は、演算部２０１〜２０８、最小値算出部２１１，２１２、演算部２１３を備える。同図において、被補間画素をｘ、Ｇ画素をａ〜ｌとする。
【００３６】
演算部２０１〜２１０は、被補間画素ｘの上下左右に位置する４個の近傍画素ｄ，ｆ，ｇ，ｉの水平方向の変化の度合ｈｕ、ｈｌ、ｈｒ、ｈｄおよび垂直方向の変化の度合ｖｕ、ｖｌ、ｖｒ、ｖｄを下式（１）〜（８）によりそれぞれ演算し、水平方向の変化の度合ｈｕ、ｈｌ、ｈｒ、ｈｄおよび垂直方向の変化の度合ｖｕ、ｖｌ、ｖｒ、ｖｄをそれぞれ最小値算出部２１１，２１２に出力する。
【００３７】
ｈｕ＝｜ａ＋ｆ−ｂ−ｇ｜・・・（１）
ｈｌ＝｜ｃ＋ｈ−ｄ−ｉ｜・・・（２）
ｈｒ＝｜ｄ＋ｉ−ｅ−ｊ｜・・・（３）
ｈｄ＝｜ｆ＋ｋ−ｇ−ｌ｜・・・（４）
ｖｕ＝｜ａ＋ｂ−ｆ−ｇ｜・・・（５）
ｖｌ＝｜ｃ＋ｄ−ｈ−ｉ｜・・・（６）
ｖｒ＝｜ｄ＋ｅ−ｉ−ｊ｜・・・（７）
ｖｄ＝｜ｆ＋ｇ−ｋ−ｌ｜・・・（８）
【００３８】
演算部２０９，２１０は、被補間画素ｘにおける水平方向の変化の度合ｈｘ、垂直方向の変化の度合ｖｘを下式（９）、（１０）によりそれぞれ演算して、演算部２１３に出力する。
【００３９】
ｈｘ＝｜ｆ−ｇ｜・・・（９）
ｖｘ＝｜ｄ−ｉ｜・・・（１０）
【００４０】
最小値算出部２１１、２１２は、被補間画素ｘの４つの近傍画素ｄ，ｆ，ｇ，ｉの水平方向の変化の度合ｈｕ、ｈｌ、ｈｒ、ｈｄの最小値ＨＥ、垂直方向の変化の度合ｖｕ，ｖｌ、ｖｒ、ｖｄの最小値ＶＥを下式（１１）、（１２）によりそれぞれ演算して、演算部２１３に出力する。
【００４１】
ＨＥ＝ｍｉｎ（ｈｕ、ｈｌ、ｈｒ、ｈｄ）・・・（１１）
ＶＥ＝ｍｉｎ（ｖｕ，ｖｌ、ｖｒ、ｖｄ）・・・（１２）
【００４２】
演算部２１３は、被補間画素ｘの水平方向の変化の度合ｈｘおよび垂直方向の変化の度合ｖｘ、ならびに被補間画素ｘの４個の近傍画素ｄ，ｆ，ｇ，ｉの水平方向の変化の度合ｈｕ、ｈｌ、ｈｒ、ｈｄの最小値ＨＥおよび垂直方向の変化の度合ｖｕ，ｖｌ、ｖｒ、ｖｄの最小値ＶＥに応じて、下式（１３）に示すような演算式により、被補間画素ｘの４個の近傍画素ｄ，ｆ，ｇ，ｉのうち垂直方向の画素（ｄ＋ｉ）と水平方向の（ｆ＋ｇ）とを重み付け平均して（混合比を変えて）、被補間画素ｘの補間信号を生成する。
【００４３】
【数１】

【００４４】
これと同様の補間演算を他の欠落画素についても行って補間信号を輝度マトリクス部１０７に出力する。
【００４５】
以上説明したように、構成例１の輝度信号用補間部によれば、被補間画素ｘの上下左右に位置する４個の近傍画素ｄ，ｆ，ｇ，ｉの画像信号の変化の度合ｈｕ、ｈｌ、ｈｒ、ｈｄ、ｖｕ、ｖｌ、ｖｒ、ｖｄおよび被補間画素ｘの画像信号の変化の度合ｈｘ、ｖｘに基づいて、被補間画素ｘの補間信号を生成することとしたので、被補間画素の画素の変化の度合および被補間画素の近傍の画素の変化の度合に応じて画素補間の重みを連続的に変化させることができ、解像度が高くかつ輪郭が滑らかな画像の再現が可能となる。
【００４６】
また、構成例１の輝度信号用補間部においては、被補間画素ｘの上下左右に位置する４個の近傍画素ｄ，ｆ，ｇ，ｉの画像信号の水平方向の変化の度合ｈｕ、ｈｌ、ｈｒ、ｈｄの最小値ＨＥ、被補間画素ｘの上下左右に位置する４個の近傍画素ｄ，ｆ，ｇ，ｉの画像信号の垂直方向の変化の度合ｖｕ、ｖｌ、ｖｒ、ｖｄの最小値ＶＥ、および被補間画素ｘの画像信号の変化の度合ｈｘ、ｖｘに基づいて、被補間画素ｘの補間信号を生成することとしたので、より解像度が高くかつ輪郭が滑らかな画像の再現が可能となる。
【００４７】
また、構成例１の輝度信号用補間部においては、被補間画素ｘの上下左右に位置する４個の近傍画素ｄ，ｆ，ｇ，ｉの画像信号の変化の度合ｈｕ、ｈｌ、ｈｒ、ｈｄ、ｖｕ、ｖｌ、ｖｒ、ｖｄを各近傍画素ｄ，ｆ，ｇ，ｉを中心とした３×３画素の領域で判断し、被補間画素ｘの画像信号の変化の度合ｈｘ、ｖｘを被補間画素ｘを中心とした３×３画素の領域で判断することとしたので、少ない演算量で各変化の度合を算出することが可能となる。
【００４８】
また、構成例１の輝度信号用補間部においては、被補間画素ｘの上下左右に位置する４個の近傍画素ｄ，ｆ，ｇ，ｉを使用して、被補間画素ｘの補間信号を生成することとしたので、少ない演算量で被補間画素ｘの補間信号を生成することが可能となる。
【００４９】
また、構成例１の輝度信号用補間部においては、被補間画素ｘの上下左右に位置する４個の近傍画素ｄ，ｆ，ｇ，ｉのうち水平方向の画素（ｆ＋ｇ）と垂直方向の画素（ｄ＋ｉ）とを上記式（１３）の如く重み付け平均して、被補間画素ｘの補間信号を生成することとしたので、被補間画素ｘの補間信号を算出するに際して水平方向と垂直方向の近傍画素の混合比を最適にすることが可能となる。
【００５０】
（２）構成例２
図３は上記輝度信号用補間部１０３の構成例２を示すブロック図である。図３に示す輝度信号用補間部１０３は、演算部３０１〜３０６、最小値算出部３０７、３０８、比較器３０９〜３１２、演算部３１３，セレクタ３１４、演算部３１５を備える。同図において、被補間画素をｘ、Ｇ画素をｃ〜ｊとする。
【００５１】
演算部３０１〜３０４は、被補間画素ｘの左右に位置する（水平方向）２個の近傍画素ｆ、ｇの水平方向の変化の度合ｈｌ、ｈｒおよび垂直方向の変化の度合ｖｌ、ｖｒをそれぞれ下式（１４）〜（１７）によりそれぞれ演算し、水平方向の変化の度合ｈｌ、ｈｒおよび垂直方向の変化の度合ｖｌ、ｖｒをそれぞれ最小値演算部３０７，３０８に出力する。
【００５２】
ｈｌ＝｜ｃ＋ｈ−ｄ−ｉ｜・・・（１４）
ｈｒ＝｜ｄ＋ｉ−ｅ−ｊ｜・・・（１５）
ｖｌ＝｜ｃ＋ｄ−ｈ−ｉ｜・・・（１６）
ｖｒ＝｜ｄ＋ｅ−ｉ−ｊ｜・・・（１７）
【００５３】
演算部３０５、３０６は、被補間画素ｘにおける水平方向および垂直方向の変化の度合ｈｘ、ｖｘを下式（１８）、（１９）によりそれぞれ演算して、演算結果を比較器３０９，３１０、セレクタ３１４にそれぞれ出力する。
【００５４】
ｈｘ＝｜ｆ−ｇ｜・・・（１８）
ｖｘ＝｜ｄ−ｆ｜・・・（１９）
【００５５】
最小値演算部３０７、３０８は、被補間画素ｘの左右に位置する２個の近傍画素ｆ、ｇの水平方向の変化の度合ｈｌ、ｈｒの最小値ＨＥおよび垂直方向の変化の度合ｖｌ、ｖｒの最小値ＶＥを、それぞれ下式（２０）、（２１）により演算し、演算結果を比較器３１１、３１２、セレクタ３１４にそれぞれ出力する。
【００５６】
ＨＥ＝ｍｉｎ（ｈｌ、ｈｒ）・・・（２０）
ＶＥ＝ｍｉｎ（ｖｌ、ｖｒ）・・・（２１）
【００５７】
比較器３１１は、入力される閾値Ｃ２と、被補間画素ｘの左右に位置する２個の近傍画素ｆ、ｇの水平方向の変化の度合ｈｌ、ｈｒの最小値ＨＥとを比較し比較結果（ＨＥ＞Ｃ２の場合「１」）をセレクタ３１４に出力する。比較器３１２は、入力される閾値Ｃ２と、被補間画素ｘの左右に位置する２個の近傍画素ｆ、ｇの垂直方向の変化の度合ｖｌ、ｖｒの最小値ＶＥとを比較し比較結果（ＶＥ＞Ｃ２の場合「１」）をセレクタ３１４に出力する。
【００５８】
比較器３０９は、入力される閾値Ｃ１と、被補間画素ｘにおける水平方向の変化の度合ｈｘとを比較し比較結果（ｈｘ＞Ｃ１の場合「１」）をセレクタ３１４に出力する。比較器３１０は、入力される閾値Ｃ１と、被補間画素ｘにおける垂直方向の変化の度合ｖｘとを比較し比較結果（ｖｘ＞Ｃ１の場合「１」）をセレクタ３１４に出力する。
【００５９】
また、演算部３１３は、補間画素ｘの水平方向の隣接画素ｆが、その周囲の画素ｃ、ｄ、ｈ，ｉより大きい若しくは小さく、かつ、周囲の各画素ｃ、ｄ、ｈ、ｉとの差の絶対値のいずれかが閾値Ｃ３よりも大きいかを、下式（２２）により演算して演算結果をセレクタ３１４に出力する。
【００６０】
(( ｆ−ｃ) ＞０ and (ｆ−ｄ) ＞０ and (ｆ−ｈ) ＞０ and (ｆ−ｉ) ＞０) or
(( ｆ−ｃ) ＜０ and (ｆ−ｄ) ＜０ and (ｆ−ｈ) ＜０ and (ｆ−ｉ＜０)
and
(｜ｆ−ｃ｜＞Ｃ３ or ｜ｆ−ｄ｜＞Ｃ３ or ｜ｆ−ｈ｜＞Ｃ３ or ｜ｆ−ｉ｜＞Ｃ３）・・・（２２）
【００６１】
セレクタ３１４は、比較器３０９〜３１２と演算部３１３の出力結果に応じて、補間処理に使用する補間演算定数（Ｓ，Ｔ）を選択して、演算部３１５に出力する。
【００６２】
具体的には、セレクタ３１４は、まず、比較器３０９〜３１２のいずれかの出力が「１」である場合、すなわち、下式（２３）を満たす場合には、補間演算定数（Ｓ，Ｔ）として、（ｈｘ＋ＨＥ、ｖｘ＋ＶＥ）を演算部３１５に出力する。
【００６３】
ｈｘ＞Ｃ１ or ｖｘ＞Ｃ１ or ＨＥ＞Ｃ２ or ＶＥ＞Ｃ２
・・・（２３）
【００６４】
また、セレクタ３１４は、上記式（２３）を満たさない場合（「１」とならない場合）には、つぎに、演算部３１３の出力が「１」であるか判断し、「１」である場合、すなわち、上記式（２２）を満たす場合には、補間演算定数（Ｓ，Ｔ）として、（１、３）を演算部３１５に出力する。
【００６５】
また、セレクタ３１４は、比較器３０９〜３１２と演算部３１３の出力結果が「１」とならない場合、すなわち、上記式（２２）、（２３）のいずれも満たさない場合には、補間演算定数（Ｓ，Ｔ）として、（１、１）を演算部３１５に出力する。
【００６６】
演算部３１５は、セレクタ３１４から入力される演算補間定数（Ｓ，Ｔ）に基づき、下式（２４）の演算を行って被補間画素ｘの補間信号を算出する。
【００６７】
【数２】

【００６８】
具体的には、演算部３１５は、セレクタ３１４から補間演算定数（Ｓ，Ｔ）として（ｈｘ＋ＨＥ、ｖｘ＋ＶＥ）が入力された場合、すなわち、上記（２３）式を満たす場合には、下式（２５）に示す演算を行って、被補間画素ｘの補間信号を算出する。この式（２５）は、ｈｘ、ｖｘ、ＨＥ、ＶＥに応じて、被補間画素ｘの垂直方向の画素（ｄ＋ｉ）と垂直方向の画素（ｆ＋ｇ）とを重み付け平均して（混合比を変えて）被補間画素ｘを補間するものである。
【００６９】
【数３】

【００７０】
また、演算器３１５は、セレクタ３１４から被補間演算定数（Ｓ，Ｔ）として（１，３）が入力された場合、すなわち、上記式（２３）を満たさないが、上記式（２２）を満たす場合には、下式（２６）に示す演算を行って被補間画素ｘの補間信号を算出する。この式（２６）は、被補間画素ｘの垂直方向の画素（ｄ＋ｉ）に比して、水平方向の画素（ｆ＋ｇ）の重みを大きくして（混合比を大きくして）被補間画素ｘを補間するものである。
【００７１】
【数４】

【００７２】
また、演算部３１５は、セレクタ３１４から補間演算定数（Ｓ，Ｔ）として（１，１）が入力された場合、すなわち、上記式（２２）、（２３）のいずれも満たさない場合には、下式（２７）に示す演算を行って被補間画素ｘの補間信号を算出する。この式（２７）は、被補間画素ｘの４個の近傍画素ｄ、ｉ、ｆ、ｇを一対一の割合で被補間画素ｘを補間するものである。
【００７３】
【数５】

【００７４】
以上説明したように、構成例２の輝度信号用補間部によれば、被補間画素ｘの左右に位置する２個の近傍画素ｆ、ｇの画像信号の変化の度合ｈｌ、ｖｌ、ｈｒ、ｖｒ、被補間画素ｘの画像信号の変化の度合ｈｘ、ｖｘ、および被補間画素ｘの水平方向の近傍画素ｆの画像信号と当該近傍画素ｆの周囲の画素ｃ，ｄ，ｈ，ｉの画像信号との大小関係に基づいて、被補間画素ｘの補間信号を生成することとしたので、解像度が高くかつ輪郭が滑らかな画像の再現が可能となる。また、構成例２においては、構成例１にと比べて垂直方向に３ラインしか使用していないため、構成例１と比較して２ラインのバッファが削減できる。そして、使用できる垂直方向の画像情報が少なくなるために生ずる水平線の解像度の低下を、上記式（２２）に示す水平線を検出するための判別条件を導入して補っている。
【００７５】
また、構成例２の輝度信号用補間部においては、被補間画素ｘの左右に位置する２個の近傍画素ｆ、ｇの垂直方向の変化の度合ｖｌ、ｖｒの最小値ＨＥまたは当該近傍画素ｆ、ｇの水平方向の変化の度合ｈｌ、ｈｒの最小値ＶＥが所定の閾値Ｃ２より大きい場合には、当該最小値ＨＥ、ＶＥに基づいて、被補間画素の補間信号を生成することとしたので、より解像度が高くかつ輪郭が滑らかな画像の再現が可能となる。
【００７６】
また、構成例２の輝度信号用補間部においては、被補間画素ｘの左右に位置する２個の近傍画素ｆ、ｇの画像信号の変化の度合ｖｌ、ｖｒ、ｈｌ、ｈｒを、各近傍画素ｆ、ｇを中心とした３×３画素の領域で判断し、被補間画素ｘの画像信号の変化の度合を被補間画素ｘを中心とした３×３画素の領域で判断することとしたので、少ない演算量で各変化の度合を算出することが可能となる。
【００７７】
また、構成例２の輝度信号用補間部においては、被補間画素ｘの左右に位置する２個の近傍画素ｆ、ｇの垂直方向の変化の度合ｖｌ、ｖｒの最小値ＶＥおよび当該近傍画素ｆ、ｇの水平方向の変化の度合ｈｌ、ｈｒの最小値ＨＥが所定の閾値Ｃ２以下の場合で、かつ、被補間画素ｘの画像信号の変化の度合ｈｘ、ｖｘが所定の閾値Ｃ１以下である場合には、被補間画素ｘの水平方向の近傍画素ｆが画素ｆを中心とした３×３画素の領域（ｃ，ｄ，ｈ，ｉ）で、最大または最小であるか否かに応じて、被補間画素ｘの補間信号を生成することとしたので、より解像度が高くかつ輪郭が滑らかな画像の再現が可能となる。
【００７８】
なお、本発明は、上記した実施の形態に限定されるものではなく、発明の要旨を変更しない範囲で適宜変更して実施可能である。
【００７９】
また、本発明に係る画像処理装置は、デジタルスチルカメラ、デジタルビデオカメラ等に広く適用可能である。
【００８０】
【発明の効果】
以上説明したように、本発明によれば、被補間画素の上下左右に位置する４個の近傍画素の画像信号の変化の度合および被補間画素の画像信号の変化の度合に基づいて、被補間画素の補間信号を生成することとしたので、被補間画素の画素の変化の度合および被補間画素の近傍の画素の変化の度合に応じて画素補間の重みを連続的に変化させることができ、解像度が高くかつ輪郭が滑らかな画像の再現が可能となる。
【００８１】
また、本発明によれば、被補間画素の画像信号の変化の度合、ならびに被補間画素の上下左右に位置する４個の近傍画素の水平方向および垂直方向の変化の度合の最小値に基づいて、被補間画素の補間信号を生成することとしたので、より解像度が高くかつ輪郭が滑らかな画像の再現が可能となる。
【００８２】
また、本発明によれば、被補間画素の上下左右に位置する４個の近傍画素の画像信号の変化の度合を当該各近傍画素を中心とした３×３画素の領域で判断し、被補間画素の画像信号の変化の度合を当該被補間画素を中心とした３×３画素の領域で判断することとしたので、少ない演算量で各変化の度合を算出することが可能となる。
【００８３】
また、本発明によれば、被補間画素の左右に位置する２個の近傍画素の画像信号の変化の度合、被補間画素の画像信号の変化の度合、および被補間画素の水平方向に位置する近傍画素の画像信号と当該被補間画素の水平方向に位置する近傍画素の周囲の画素の画像信号との大小関係に基づいて、被補間画素の補間信号を生成することとしたので、小規模な低コストの回路構成で、解像度が高くかつ輪郭が滑らかな画像の再現が可能となる。
【００８４】
また、本発明によれば、被補間画素の左右に位置する２個の近傍画素の水平方向の変化の度合の最小値または被補間画素の左右に位置する２個の近傍画素の垂直方向の変化の度合の最小値が、所定の閾値より大きい場合に当該各最小値に基づいて、被補間画素の補間信号を生成することとしたので、より解像度が高くかつ輪郭が滑らかな画像の再現が可能となる。
【００８５】
また、本発明によれば、被補間画素の左右に位置する２個の近傍画素の画像信号の変化の度合を当該各近傍画素を中心とした３×３画素の領域で判断し、被補間画素の画像信号の変化の度合を当該被補間画素を中心とした３×３画素の領域で判断することとしたので、少ない演算量で各変化の度合を算出することが可能となる。
【００８６】
また、本発明によれば、被補間画素の左右に位置する２個の近傍画素の水平方向の変化の度合の最小値または被補間画素の左右に位置する２個の近傍画素の垂直方向の変化の度合の最小値が所定の閾値以下の場合には、被補間画素の水平方向に位置する近傍画素の画像信号が当該被補間画素の水平方向に位置する近傍画素を中心とした３×３画素の領域で最大または最小であるか否かに応じて、被補間画素の補間信号を生成することとしたので、より解像度が高くかつ輪郭が滑らかな画像の再現が可能となる。
【００８７】
また、本発明によれば、被補間画素の上下左右に位置する４個の近傍画素を使用して被補間画素の補間信号を生成することとしたので、少ない演算量で被補間画素の補間信号を生成することが可能となる。
【００８８】
また、本発明によれば、被補間画素の上下左右に位置する４個の近傍画素のうち水平方向の画素と垂直方向の画素とを重み付け平均して被補間画素の補間信号を生成することとしたので、被補間画素の補間信号を算出するに際して水平方向と垂直方向の近傍画素の混合比を最適にすることが可能となる。
【００８９】
また、本発明によれば、第１の演算手段は被補間画素の上下左右に位置する４個の近傍画素の画像信号の水平方向および垂直方向の変化の度合を演算し、第２の演算手段は被補間画素の画像信号の水平方向および垂直方向の変化の度合を算出し、第１の最小値算出手段は第１の演算手段により演算された被補間画素の上下左右に位置する４個の近傍画素の画像信号の水平方向の変化の度合の最小値を算出し、第２の最小値算出手段は第１の演算手段により演算された被補間画素の上下左右に位置する４個の近傍画素の画像信号の垂直方向の変化の度合の最小値を算出し、補間信号演算手段は第２の演算手段の算出結果、ならびに第１の最小値算出手段および第２の最小値算出手段により算出された最小値に基づき、被補間画素の上下左右に位置する４個の近傍画素のうち水平方向の画素と垂直方向の画素とを重み付け平均して被補間画素の補間信号を生成することとしたので、被補間画素の画素の変化の度合および被補間画素の近傍の画素の変化の度合に応じて画素補間の重みを連続的に変化させることができ、解像度が高くかつ輪郭が滑らかな画像の再現が可能となる。
【００９０】
また、本発明によれば、第１の演算手段は被補間画素の左右に位置する２個の近傍画素の画像信号の水平方向および垂直方向の変化の度合を算出し、第２の演算手段は記被補間画素の画像信号の水平方向および垂直方向の変化の度合を算出し、大小関係判別手段は被補間画素の水平方向に位置する近傍画素の画像信号と当該被補間画素の水平方向に位置する近傍画素の周囲の画素の画像信号との大小関係を判別し、第１の最小値算出手段は第１の演算手段により演算された被補間画素の左右に位置する２個の近傍画素の画像信号の水平方向の変化の度合の最小値を算出し、第２の最小値算出手段は第１の演算手段により演算された被補間画素の左右に位置する２個の近傍画素の画像信号の垂直方向の変化の度合の最小値を算出し、第１の比較手段は第１の最小値算出手段により算出された最小値と第１の閾値とを比較し、第２の比較手段は第２の最小値算出手段により算出された最小値と第１の閾値とを比較し、第３の比較手段は第２の演算手段により演算された被補間画素の画像信号の水平方向の変化の度合と第２の閾値とを比較し、第４の比較手段は第２の演算手段により演算された被補間画素の画像信号の垂直方向の変化の度合と第２の閾値とを比較し、選択手段は第１〜第４の比較手段の比較結果および大小関係判別手段の判別結果に基づき、補間演算定数を選択し、補間信号演算手段は選択手段で選択された補間演算定数に基づき、被補間画素の上下左右に位置する４個の近傍画素のうち水平方向の画素と垂直方向の画素とを重み付け平均して被補間画素の補間信号を生成することとしたので、小規模な低コストの回路構成で、解像度が高くかつ輪郭が滑らかな画像の再現が可能となる。
【図面の簡単な説明】
【図１】本実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】図１の輝度信号用補間部の構成例１を示すブロック図である。
【図３】図１の輝度信号用補間部の構成例２を示すブロック図である。
【図４】ＲＧＢのカラーフィルタが市松状に配置された単板カラーＣＣＤを示す図である。
【図５】従来の補間方法を説明するための図である。
【符号の説明】
１０１撮像部
１０２色差信号用補間部
１０３輝度信号用補間部
１０４ホワイトバランス調整部
１０５ γ補正部
１０６色差マトリクス部
１０７輝度マトリクス部
１０８アパーチャ補正部
１０９ γ補正部
２０１〜２１０演算部
２１１、２１２最小値算出部
２１３演算部
３０１〜３０６演算部
３０７，３０８最小値算出部
３０９〜３１２比較器
３１３演算部
３１４セレクタ
３１５演算部

Claims

水平方向および垂直方向に１画素おきに配列された画像信号の欠落した画素を補間する画像処理装置において、
被補間画素の上下左右に位置する４個の各近傍画素の画像信号の水平方向の変化の度合いのうちの最小値と、
前記被補間画素の上下左右に位置する４個の各近傍画素の画像信号の垂直方向の変化の度合いのうちの最小値と、
前記被補間画素の画像信号の水平方向および垂直方向の変化の度合いとに基づいて、
前記被補間画素の上下左右に位置する４個の近傍画素のうち、水平方向の画素の画像信号と垂直方向の画素の画像信号とを重み付け平均して前記被補間画素の補間信号を生成する前記被補間画素の補間信号を生成する補間手段を備えたことを特徴とする画像処理装置。
水平方向および垂直方向に１画素おきに配列された画像信号の欠落した画素を補間する画像処理装置において、
被補間画素の左右に位置する２個の各近傍画素の画像信号の水平方向の変化の度合いのうちの最小値と、
前記被補間画素の左右に位置する２個の近傍画素の画像信号の垂直方向の変化の度合いのうちの最小値と、
前記被補間画素の画像信号の水平方向および垂直方向の変化の度合いと、
前記被補間画素の水平方向に位置する近傍画素と当該被補間画素の水平方向に位置する近傍画素の周囲の画素との大小関係に基づいて、
前記被補間画素の上下左右に位置する４個の近傍の画素のうち、水平方向の画素の画像信号と垂直方向の画素の画像信号とを重み付け平均して前記被補間画素の補間信号を生成する前記被補間画素の補間信号を生成する補間手段を備えたことを特徴とする画像処理装置。
水平方向および垂直方向に１画素おきに配列された画像信号の欠落した画素を補間する画像処理方法において、
被補間画素の上下左右に位置する４個の各近傍画素の画像信号の水平方向の変化の度合いのうちの最小値と、
前記被補間画素の上下左右に位置する４個の近傍画素の画像信号の垂直方向の変化の度合いのうちの最小値と、
前記被補間画素の画像信号の水平方向および垂直方向の変化の度合いとに基づいて、
前記被補間画素の上下左右に位置する４個の近傍の画素のうち、水平方向の画素の画像信号と垂直方向の画素の画像信号とを重み付け平均して前記被補間画素の補間信号を生成する前記被補間画素の補間信号を生成する補間工程を備えたことを特徴とする画像処理方法。
水平方向および垂直方向に１画素おきに配列された画像信号の欠落した画素を補間する画像処理方法において、
被補間画素の左右に位置する２個の各近傍画素の画像信号の水平方向の変化の度合いのうちの最小値と、
前記被補間画素の左右に位置する２個の各近傍画素の画像信号の垂直方向の変化の度合いのうちの最小値と、
前記被補間画素の画像信号の水平方向および垂直方向の変化の度合いと、
並びに前記被補間画素の水平方向に位置する近傍画素と当該被補間画素の水平方向に位置する近傍画素の周囲の画素との大小関係に基づいて、
前記被補間画素の上下左右に位置する４個の画素のうち水平方向の画素と垂直方向の画素とを重み付け平均して前記被補間画素の補間信号を生成する前記被補間画素の補間信号を生成する補間工程を備えたことを特徴とする画像処理方法。
水平方向および垂直方向に１画素おきに配列された画像信号の欠落した画素を補間する画像処理装置において、
被補間画素の上下左右に位置する４個の近傍画素の画像信号の水平方向および垂直方向の変化の度合を演算する第１の演算手段と、
前記被補間画素の画像信号の水平方向および垂直方向の変化の度合を算出する第２の演算手段と、
前記第１の演算手段により演算された前記被補間画素の上下左右に位置する４個の近傍画素の画像信号の水平方向の変化の度合の最小値を算出する第１の最小値算出手段と、
前記第１の演算手段により演算された前記被補間画素の上下左右に位置する４個の近傍画素の画像信号の垂直方向の変化の度合の最小値を算出する第２の最小値算出手段と、
前記第２の演算手段の算出結果、ならびに前記第１の最小値算出手段および前記第２の最小値算出手段により算出された最小値に基づき、前記被補間画素の上下左右に位置する４個の近傍画素のうち水平方向の画素と垂直方向の画素とを重み付け平均して前記被補間画素の補間信号を生成する補間信号演算手段と、
を備えたことを特徴とする画像処理装置。
水平方向および垂直方向に１画素おきに配列された画像信号の欠落
した画素を補間する画像処理装置において、
被補間画素の左右に位置する２個の近傍画素の画像信号の水平方向および垂直方向の変
化の度合を算出する第１の演算手段と、
前記被補間画素の画像信号の水平方向および垂直方向の変化の度合を算出する第２の演算手段と、
前記被補間画素の水平方向に位置する近傍画素の画像信号と当該被補間画素の水平方向に位置する近傍画素の周囲の画素の画像信号との大小関係を判別する大小関係判別手段と、
前記第１の演算手段により演算された前記被補間画素の左右に位置する２個の近傍画素の画像信号の水平方向の変化の度合の最小値を算出する第１の最小値算出手段と、
前記第１の演算手段により演算された前記被補間画素の左右に位置する２個の近傍画素の画像信号の垂直方向の変化の度合の最小値を算出する第２の最小値算出手段と、
前記第１の最小値算出手段により算出された最小値と第１の閾値とを比較する第１の比較手段と、
前記第２の最小値算出手段により算出された最小値と前記第１の閾値とを比較する第２の比較手段と、
前記第２の演算手段により演算された前記被補間画素の画像信号の水平方向の変化の度合と第２の閾値とを比較する第３の比較手段と、
前記第２の演算手段により演算された前記被補間画素の画像信号の垂直方向の変化の度合と前記第２の閾値とを比較する第４の比較手段と、
前記第１〜第４の比較手段の比較結果および前記大小関係判別手段の判別結果に基づき、補間演算定数を選択する選択手段と、
前記選択手段で選択された補間演算定数に基づき、前記被補間画素の上下左右に位置する４個の近傍画素のうち水平方向の画素と垂直方向の画素とを重み付け平均して前記被補間画素の補間信号を生成する補間信号演算手段と、
を備えたことを特徴とする画像処理装置。