JP3663777B2

JP3663777B2 - Color signal interpolation method

Info

Publication number: JP3663777B2
Application number: JP26151296A
Authority: JP
Inventors: 博記八山; 高広岩澤; 繁行立木
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1996-10-02
Filing date: 1996-10-02
Publication date: 2005-06-22
Anticipated expiration: 2016-10-02
Also published as: JPH10108209A

Description

【０００１】
【発明の属する技術分野】
本発明は特定の色フィルタを画素単位で市松状に配置して構成された２次元イメージセンサーの欠落した色信号を補間する、色信号補間方法に関するものである。
【０００２】
【従来の技術】
従来、特定の色フィルタを画素単位で市松状に配置して構成された２次元イメージセンサーの撮像出力において、色フィルタに対応しない画素の欠落した特定の色信号を色フィルタに対応した特定の色信号で補間する場合、画素の欠落した特定の色信号を中心に隣接する複数の色フィルタに対応した特定の色信号の信号量を単純に平均化して色フィルタに対応しない画素の欠落した特定の色信号を補間している。
【０００３】
以下、図面を参照しながら、上述したような従来の画素の信号補間方法について説明を行う。
【０００４】
図５は、従来の信号補間方法を示すためのフィルタ配置の概念図である。図５においてＲ，Ｇ，Ｂはそれぞれ赤、緑、青の色フィルタを示す。また、図６は、図５のフィルタを配したイメージセンサーの撮像出力のうち、Ｇの色信号をフィルタ配置にしたがって２次元状に配列させた概念図である。
【０００５】
図６において、６０はＧの色信号が欠落した箇所Ａ、６１〜６４は、前記６０のＧの色信号が欠落した箇所Ａの上、下、左、右にそれぞれ位置するＧの色信号が存在する箇所（以下Ｇ信号と記す）、６５はＧの色信号が欠落した箇所Ｂである。
【０００６】
図７（ａ）、（ｂ）、（ｃ）は２次元イメージセンサーで撮像した場合の撮像出力値と従来の補間の様子を示している。
【０００７】
図７において、図７（ａ）は撮像した信号量を数値で表現した原図、図７（ｂ）はＧの位置の色信号量を２次元状に配置した状態を示す。図内のすべての数値は信号量を概念的に表現したものである。図６において６０のＧの色信号が欠落した箇所Ａを補間するには周囲の６１、６２、６３、６４のＧ信号が存在する箇所の信号量の平均値をとり、６０のＧの色信号として補間している。図７（ｃ）は従来の補間方法で補間後の信号量を２次元状に配置した状態を示す。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来の補間方法では図７（ａ）の原図に対する補間後図７（ｃ）の信号量の忠実度が低いため、２次元イメージセンサーによる撮像信号出力を映像信号として用いる場合において、解像度が低く、色あるいは輝度の変化点で偽信号が発生しやすくなるという欠点を有していた。
【０００９】
本発明は、上記従来の問題点を改善するもので、２次元イメージセンサーの撮像出力を、高解像度で偽信号の発生を抑制した信号に加工する補間方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
この目的を達成するために、本発明の信号補間方法は、画素の欠落した特定の色信号を中心に、その上下及び左右に色フィルタに対応した特定の色信号が存在するとき、上下の色信号量の差を算出する演算部と、左右の色信号量の差を算出する演算部と、各演算部によって算出された２つの色信号量の差を比較する比較部を構成として備え、比較した色信号量の差の大小関係に従って、上下、及び左右の色信号量のうち平均値を求める色信号量を選択し、選択された色信号量から求めた平均値により色フィルタに対応しない画素の欠落した特定の色信号を補間するものである。
【００１１】
また、さらに、ある一定の基準値を設定する設定部（コアリング値設定部）を構成として備え、この一定の基準値（コアリング値）と、各演算部によって算出された２つの色信号量の差を比較し、その大小関係に従って平均値を求める色信号量を選択し、選択された色信号量から求めた平均値により特定の色信号を補間するものである。
【００１２】
この構成により、２次元イメージセンサーから水平あるいは垂直方向に急峻な信号変化があるような撮像出力がある場合に、急峻な信号変化を検知し、補間に必要な信号を選別して補間信号を生成するため、映像信号の解像感を高め、偽信号の発生を抑制し、高画質の映像信号を提供することができる。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１４】
図１は本発明の第１の実施の形態における信号補間方法の信号の流れを示す機能ブロック図である。図１において、１〜４は、図６に示した６１〜６４のＧ信号の入力部（以下、それぞれ上段値入力部、下段値入力部、左段値入力部、右段値入力部と記す）、５は、１の上段値入力部に入力された６１のＧ信号と２の下段値入力部に入力された６２のＧ信号を加算する演算部（以下、上下加算部と記す）、６は、３の左段値入力部に入力された６３のＧ信号と４の右段値入力部に入力された６４のＧ信号を加算する演算部（以下、左右加算部と記す）、７は、１の上段値入力部に入力された６１のＧ信号と２の下段値入力部に入力された６２のＧ信号を減算しその減算値の絶対値を算出する演算部（以下、上下減算部と記す）、８は、３の左段値入力部に入力された６３のＧ信号と４の右段値入力部に入力された６４のＧ信号を減算しその減算値の絶対値を算出する演算部（以下、左右減算部と記す）、９は、７の上下減算部からの出力と８の左右減算部からの出力を比較し、大小を判別する比較器、１０は、９の比較器の出力をもとに、７の上下減算部からの出力が８の左右減算部からの出力より小さい場合は５の上下加算部の出力を選択し、８の左右減算部からの出力が７の上下減算部からの出力より小さい場合は６の左右加算部の出力を選択するスイッチ部、１１は、１０のスイッチ部の出力を１／２にする演算部（以下、平均化部と記す）、１２は、信号出力部、１３は、５の上下加算部の出力と６の左右加算部の出力を加算する演算部（以下、周辺加算部と記す）、１４は、１３の周辺加算部の出力を１／２にする演算部（以下、割算部と記す）である。
【００１５】
図３は、本発明の第１の実施の形態における信号補間方法による、２次元イメージセンサーで撮像した場合の撮像出力値と補間の様子を示している。図３において、図３（ａ）はＲ，Ｇ，Ｂフィルタの配置と撮像した信号量を数値で表現した原図、図３（ｂ）はＧの位置の色信号量を２次元状に配置した状態、図３（ｃ）は本発明の第１の実施の形態における信号補間方法による補間後の信号量を２次元状に配置した状態を示す。
【００１６】
以上のように構成された本発明の第１の実施の形態の信号補間方法について、以下、その動作を説明する。
【００１７】
図３（ａ）の状態で撮像された２次元イメージセンサーの撮像出力は、次の信号処理の過程でＲとＧとＢの各色成分ごとに振り分けられる。ここでＧ成分だけ抜き出すと図３（ｂ）のようになる。ここで図６の６０の位置に相当する図３（ｂ）の箇所にはＧの信号成分は存在しない。この箇所を本発明の補間方法で補間を行う。
【００１８】
まず、上段値入力部１には図６の６１のＧ信号に相当する０、下段値入力部２には図６の６２のＧ信号に相当する６、左段値入力部３には図６の６３のＧ信号に相当する８、右段値入力部４には図６の６４のＧ信号に相当する８がそれぞれ入力される。すると、５の上下加算部の出力値は０＋６＝６となり、６の左右加算部の出力値は８＋８＝１６となり、７の上下減算部の出力値は０−６の絶対値＝６となり、８の左右減算部の出力値は８−８の絶対値＝０となる。
【００１９】
そこで、９の比較器は、７の上下減算部の出力値の６と８の左右減算部の出力値の０を比較し、８の左右減算部の出力値の方が７の上下減算部より小さいと判断する。つぎに、１０のスイッチ部は９の比較器の情報をもとに６の左右加算部の出力値を選択する。すなわち１１の平均化部には６の左右加算部の出力値８＋８＝１６が入力される。１１の平均化部の出力値は１６／２＝８となり、１２の信号出力部からは８が出力され、図６の６０の位置に相当する図３（ｂ）の箇所にはＧの信号成分８が補間される。
【００２０】
次に、図６の６５の位置に相当する図３（ｂ）の箇所にもＧの信号成分は存在しない。この箇所を本発明の補間方法で補間を行う。この場合、７の上下減算部の出力値と８の左右減算部の出力値がともに４であるため、１１の平均化部には１４の割り算部の出力が選択される。１３の周辺加算部の出力は６＋２＋４＋０＝１２であり、１４の割算部の出力は１２／２＝６となる。１１の平均化部の出力値は６／２＝３となり１２の信号出力部からは３が出力され、図６の６５の位置に相当する図３（ｂ）の箇所にはＧの信号成分３が補間される。
【００２１】
このようにして図３（ｂ）のＧ信号が欠落した部分を補間していくと、図３（ｃ）のようになる。図３（ｃ）の補間結果は、図７（ｃ）の従来の補間結果と比較して、図３（ａ）の原図により忠実であることがわかる。
【００２２】
以上は市松状に配列したＧ信号について記述したが、信号が欠落した箇所を補間するために必要な周囲の４つの信号のうち、いくつかがすでに補間によってできた信号であってもよい。
【００２３】
また、画素の欠落した色信号を中心に、その右上と左下、及び左上と右下に色フィルタの特定の色信号が存在するとき、右上と左下の色信号量の差と、左上と右下の色信号量の差を比較し、その大小関係に従って前記右上、左下、左上、及び右下の色信号量のうち平均値を求める色信号量を選択し、選択された色信号量から求めた平均値により色フィルタに対応しない画素の欠落した特定の色信号を補間してもよい。
【００２４】
以上のように、本発明の第１の実施の形態における構成及び動作によって、各演算部と比較部が上下方向及び左右方向の信号量の急峻な変化を持つ方向を識別し、変化量の少ない方向のみの信号成分を使って信号補間を行うため、従来の補間による輪郭の偽信号を抑えることができる。
【００２５】
図２は、本発明の第２の実施の形態における信号補間方法の信号の流れを示す機能ブロック図である。
【００２６】
図２において、１５〜１８は、図６に示した６１のＧ信号の入力部（以下、それぞれ上段値入力部、下段値入力部、左段値入力部、右段値入力部と記す）、１９は、１５の上段値入力部に入力された６１のＧ信号と１６の下段値入力部に入力された６２のＧ信号を加算する演算部（以下、上下加算部と記す）、２０は、１７の左段値入力部に入力された６３のＧ信号と１８の右段値入力部に入力された６４のＧ信号を加算する演算部（以下、左右加算部と記す）、２１は、１９の上下加算部の出力と２０の左右加算部の出力を加算する演算部（以下、周辺加算部と記す）、２２は、２１の周辺加算部の出力を１／２にする演算部、２３は、１５の上段値入力部に入力された６１のＧ信号と１６の下段値入力部に入力された６２のＧ信号を減算しその減算値の絶対値を算出する演算部（以下、上下減算部と記す）、２４は、１７の左段値入力部に入力された６３のＧ信号と１８の右段値入力部に入力された６４のＧ信号を減算しその減算値の絶対値を算出する演算部（以下、左右減算部と記す）を示し、基本的には図１と同じ構成である。
【００２７】
２５はコアリング値、２６は、２３の上下減算部の出力と２５のコアリング値を比較し、大小を判別する比較器（以下、比較器Ａと記す）、２７は、２４の左右減算部の出力と２５のコアリング値を比較し、大小を判別する比較器（以下、比較器Ｂと記す）、２８は、２６の比較器Ａと２７の比較器Ｂの出力をもとに、２６の比較器Ａが２３の上下減算部の出力が２５のコアリング値より小さいと判断し、２７の比較器Ｂが２４の左右減算部の出力が２５のコアリング値より大きいと判断した場合、１９の上下加算部の出力を選択し、２６の比較器Ａが２３の上下減算部の出力が２５のコアリング値より大きいと判断し、２７の比較器Ｂが２４の左右減算部の出力が２５のコアリング値より小さいと判断した場合、２０の左右加算部の出力を選択し、２６の比較器Ａも２７の比較器Ｂもともに前記コアリング値より大きい、あるいは小さいと判断した場合は２２の割算部の出力を選択するスイッチ部、２９は、２８のスイッチ部の出力を１／２にする演算部（以下、平均化部と記す）、３０は信号出力部である。
【００２８】
図４は、本発明の第２の実施の形態における信号補間方法による、２次元イメージセンサーで撮像した場合の撮像出力値と補間の様子を示している。
【００２９】
図４において、図４（ａ）は、Ｒ，Ｇ，Ｂフィルタの配置と撮像した信号量を数値で表現した原図、図４（ｂ）は、Ｇの位置の色信号量を２次元状に配置した状態、図４（ｃ）は、本発明の第２の実施の形態における信号補間方法による補間後の信号量を２次元状に配置した状態を示す。
【００３０】
以上のように構成された本発明の実施の形態の信号補間方法について、以下、その動作を説明する。
【００３１】
図４（ａ）の状態で撮像された２次元イメージセンサーの撮像出力は、次の信号処理の過程でＲとＧとＢの各色成分ごとに振り分けられる。ここでＧ成分だけ抜き出すと図４（ｂ）のようになる。ここで図６の６０の位置に相当する図４（ｂ）の箇所にはＧの信号成分は存在しない。この箇所を本発明の補間方法で補間を行う。
【００３２】
まず、上段値入力部１５には図６の６１のＧ信号に相当する０、下段値入力部１６には図６の６２のＧ信号に相当する６、左段値入力部１７には図６の６３のＧ信号に相当する８、右段値入力部１８には図６の６４のＧ信号に相当する８がそれぞれ入力される。すると、１９の上下加算部の出力値は０＋６＝６となり、２０の左右加算部の出力値は８＋８＝１６となり、２１の周辺加算部の出力値は６＋１６＝２２となる。したがって、２２の割算部の出力値は２２／２＝１１となる。つぎに、２３の上下減算部の出力値は０−６の絶対値＝６となり、２４の左右減算部の出力値は８−８の絶対値＝０となる。ここで、２５のコアリング値を４とする。
【００３３】
２６の比較器Ａは、２３の上下減算部の出力値の６と２５のコアリング値の４を比較し、２３の上下減算部の出力値が２５のコアリング値より大きいと判断する。２７の比較器Ｂは、２４の左右減算部の出力値の０と２５のコアリング値の４を比較し、２４の左右減算部の出力値が２５のコアリング値より小さいと判断する。つぎに、２８のスイッチ部は２６の比較器Ａと２７の比較器Ｂの出力をもとに、２６の比較器Ａが２３の上下減算部の出力が２５のコアリング値より小さいと判断し、２７の比較器Ｂが２４の左右減算部の出力が２５のコアリング値より大きいと判断した場合、１９の上下加算部の出力を選択し、２６の比較器Ａが２３の上下減算部の出力が２５のコアリング値より大きいと判断し、２７の比較器Ｂが２４の左右減算部の出力が２５のコアリング値より小さいと判断した場合、２０の左右加算部の出力を選択し、２６の比較器Ａも２７の比較器Ｂもともに前記コアリング値より大きい、あるいは小さいと判断した場合は２２の割算部の出力を選択することから、２６の比較器Ａと２７の比較器Ｂの情報をもとに２０の左右加算部の出力値を選択する。すなわち２９の平均化部には２０の左右加算部の出力値８＋８＝１６が入力される。２９の平均化部の出力値は１６／２＝８となり３０の信号出力部からは８が出力され、図６の６０の位置に相当する図４（ｂ）の箇所にはＧの信号成分８が補間される。
【００３４】
次に、図６の６５の位置に相当する図３（ｂ）の箇所にもＧの信号成分は存在しない。この箇所を本発明の補間方法で補間を行う。この場合、２３の上下減算部の出力値と２４の左右減算部の出力値がともに４であるため２９の平均化部には２２の割算部の出力が選択される。２１の周辺加算部の出力は６＋２＋４＋０＝１２であり、２２の割り算部の出力は１２／２＝６となる。２９の平均化部の出力値は６／２＝３となり３０の信号出力部からは３が出力され、図６の６５の位置に相当する図４（ｂ）の箇所にはＧの信号成分３が補間される。
【００３５】
このようにして図４（ｂ）のＧ信号が欠落した部分を補間していくと、図４（ｃ）のようになる。図４（ｃ）の補間結果は、図７（ｃ）の従来の補間結果と比較して図４（ａ）の原図により忠実であることがわかる。
【００３６】
以上は市松状に配列したＧ信号について記述したが、信号が欠落した箇所を補間するために必要な周囲の４つの信号のうち、いくつかがすでに補間によってできた信号であってもよい。
【００３７】
以上のように、本発明の第２の実施の形態における構成及び動作によって、各演算部と比較部が上下方向及び左右方向の信号量の急峻な変化を持つ方向を識別し、変化量の少ない方向の信号成分を使って信号補間を行うため、原画像に極めて近い忠実度の高い信号補間が実現でき、従来の補間によって発生する顕著な特性劣化の原因である輪郭の偽信号を抑えることができるため、高解像感のある映像信号を発生することができる。
【００３８】
【発明の効果】
本発明は、画素の欠落した特定の色信号を中心にその上下及び左右に特定の色信号が存在するとき、上下の色信号量の差と、左右の色信号量の差を比較し、その大小関係に従って上下、及び左右の色信号量のうち平均値を求める色信号量を選択し、選択された色信号量から求めた平均値により前記色フィルタに対応しない画素の欠落した特定の色信号を補間することによって、原画像に極めて近い忠実度の高い信号補間が実現でき、従来の補間によって発生する顕著な特性劣化の原因である輪郭の偽信号を抑えることができるため、高解像感のある映像信号を発生することができる優れた信号補間を実現する方法である。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における信号補間方法の信号の流れを示す機能ブロック図
【図２】本発明の第２の実施の形態における信号補間方法の信号の流れを示す機能ブロック図
【図３】本発明の第１の実施の形態における信号補間方法による、２次元イメージセンサーで撮像した場合の撮像出力値と補間の様子を示す図
【図４】本発明の第２の実施の形態における信号補間方法による、２次元イメージセンサーで撮像した場合の撮像出力値と補間の様子を示す図
【図５】従来の信号補間方法を示すためのフィルタ配置の概念図
【図６】図５のフィルタを配したイメージセンサーの撮像出力のうち、Ｇの色信号をフィルタ配置にしたがって２次元状に配列させた概念図
【図７】２次元イメージセンサーで撮像した場合の撮像出力値と従来の補間の様子を示す図
【符号の説明】
１、１５上段値入力部
２、１６下段値入力部
３、１７左段値入力部
４、１８右段値入力部
５、１９上下加算部
６、２０左右加算部
７、２３上下減算部
８、２４左右減算部
９比較器
１０、２８スイッチ部
１１、２９平均化部
１２、３０信号出力部
１３、２１周辺加算部
１４、２２割算部
２５コアリング値
２６比較器Ａ
２７比較器Ｂ
６０Ｇの色信号が欠落した箇所Ａ
６１、６２、６３、６４Ｇ信号
６５Ｇの色信号が欠落した箇所Ｂ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a color signal interpolation method for interpolating missing color signals of a two-dimensional image sensor configured by arranging specific color filters in a checkered pattern in units of pixels.
[0002]
[Prior art]
Conventionally, in the imaging output of a two-dimensional image sensor configured by arranging specific color filters in a checkered pattern in units of pixels, a specific color signal corresponding to the color filter corresponds to a specific color signal lacking pixels that do not correspond to the color filter. When interpolating with a signal, the signal amount of a specific color signal corresponding to a plurality of adjacent color filters is simply averaged around a specific color signal with missing pixels, and a specific missing signal with pixels that do not correspond to the color filter is simply averaged. Interpolates the color signal.
[0003]
Hereinafter, a conventional pixel signal interpolation method as described above will be described with reference to the drawings.
[0004]
FIG. 5 is a conceptual diagram of a filter arrangement for showing a conventional signal interpolation method. In FIG. 5, R, G, and B indicate red, green, and blue color filters, respectively. FIG. 6 is a conceptual diagram in which G color signals are two-dimensionally arranged in accordance with the filter arrangement in the imaging output of the image sensor provided with the filter of FIG.
[0005]
In FIG. 6, 60 is a location A where the G color signal is missing, and 61 to 64 are G color signals located above, below, left, and right of the location A where the 60 G color signal is missing. An existing location (hereinafter referred to as G signal), 65 is a location B where the G color signal is missing.
[0006]
FIGS. 7A, 7B, and 7C show imaging output values and conventional interpolation when imaging is performed with a two-dimensional image sensor.
[0007]
In FIG. 7, FIG. 7 (a) is an original diagram expressing the picked-up signal amount as a numerical value, and FIG. 7 (b) shows a state in which the color signal amount at the G position is two-dimensionally arranged. All numerical values in the figure are conceptual representations of the signal amount. In FIG. 6, in order to interpolate the portion A where 60 G color signals are missing, the average value of the signal amounts of the surrounding 61, 62, 63, 64 G signals is taken, and the 60 G color signals are obtained. Is interpolated as FIG. 7C shows a state in which the signal amount after interpolation by the conventional interpolation method is two-dimensionally arranged.
[0008]
[Problems to be solved by the invention]
However, in the above conventional interpolation method, the fidelity of the signal amount of FIG. 7C after interpolation with respect to the original drawing of FIG. 7A is low, so that when the image signal output from the two-dimensional image sensor is used as a video signal, the resolution is reduced. Is low, and a false signal is likely to be generated at a change point of color or luminance.
[0009]
An object of the present invention is to improve the above-described conventional problems, and an object of the present invention is to provide an interpolation method for processing an imaging output of a two-dimensional image sensor into a signal with high resolution and suppressed generation of false signals.
[0010]
[Means for Solving the Problems]
In order to achieve this object, the signal interpolation method according to the present invention has a specific color signal corresponding to a color filter at the top, bottom, left and right of a specific color signal with missing pixels. Comparing an arithmetic unit that calculates a difference in signal amount, an arithmetic unit that calculates a difference between left and right color signal amounts, and a comparison unit that compares the difference between two color signal amounts calculated by each arithmetic unit. Pixels that do not correspond to a color filter according to the average value obtained from the selected color signal amount by selecting the color signal amount for obtaining the average value from the upper and lower and left and right color signal amounts according to the magnitude relationship of the difference in the color signal amount This interpolates a specific color signal lacking.
[0011]
In addition, a setting unit (coring value setting unit) for setting a certain reference value is provided as a configuration, and this constant reference value (coring value) and two color signal amounts calculated by the respective calculation units. Are compared, a color signal amount for obtaining an average value is selected according to the magnitude relationship, and a specific color signal is interpolated by the average value obtained from the selected color signal amount.
[0012]
With this configuration, when there is an imaging output that has a steep signal change in the horizontal or vertical direction from a two-dimensional image sensor, a steep signal change is detected, and an interpolation signal is generated by selecting a signal necessary for interpolation. Therefore, the resolution of the video signal can be enhanced, the generation of false signals can be suppressed, and a high-quality video signal can be provided.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0014]
FIG. 1 is a functional block diagram showing a signal flow of the signal interpolation method according to the first embodiment of the present invention. In FIG. 1, 1-4 are G signal input sections 61 to 64 shown in FIG. 6 (hereinafter referred to as an upper value input section, a lower value input section, a left value input section, and a right value input section, respectively). ) 5 is an arithmetic unit for adding 61 G signals input to the upper value input unit 1 and 62 G signals input to the lower value input unit 2 (hereinafter, referred to as an up / down addition unit), 6 Is an arithmetic unit (hereinafter referred to as a left / right addition unit) that adds 63 G signals input to the left value input unit of 3 and 64 G signals input to the right value input unit of 4, 7 An arithmetic unit for calculating the absolute value of the subtracted value by subtracting 61 G signals input to the upper value input unit 1 and 62 G signals input to the lower value input unit 2 8) subtracts 63 G signals input to the left value input unit of 3 and 64 G signals input to the right value input unit of 4 and subtracts them. An arithmetic unit for calculating an absolute value of the value (hereinafter, referred to as a left / right subtracting unit), 9 is a comparator that compares the output from the up / down subtracting unit 7 with the output from the left / right subtracting unit 8 to determine the magnitude. 10 is based on the output of the comparator 9 and if the output from the up / down subtracting unit 7 is smaller than the output from the left / right subtracting unit 8, select the output of the up / down adding unit 5 and When the output from the unit is smaller than the output from the up / down subtracting unit of 7, the switch unit that selects the output of the 6 left / right adding unit, 11 is an arithmetic unit that halves the output of the 10 switch unit (hereinafter, (Referred to as an averaging unit), 12 a signal output unit, 13 an arithmetic unit (hereinafter referred to as a peripheral addition unit) for adding the output of 5 up / down addition units and the output of 6 left / right addition units, 14 13 is an arithmetic unit (hereinafter referred to as a division unit) that halves the output of the 13 peripheral addition units.
[0015]
FIG. 3 shows an imaging output value and a state of interpolation when an image is captured by a two-dimensional image sensor by the signal interpolation method according to the first embodiment of the present invention. In FIG. 3, FIG. 3 (a) is an original drawing in which the arrangement of R, G, B filters and the amount of captured signals are expressed numerically, and FIG. 3 (b) is a two-dimensional arrangement of color signal amounts at the G position. FIG. 3 (c) shows a state in which the signal amount after interpolation by the signal interpolation method according to the first embodiment of the present invention is two-dimensionally arranged.
[0016]
The operation of the signal interpolation method of the first embodiment of the present invention configured as described above will be described below.
[0017]
The imaging output of the two-dimensional image sensor imaged in the state of FIG. 3A is distributed for each color component of R, G, and B in the process of the next signal processing. If only the G component is extracted here, the result is as shown in FIG. Here, the G signal component does not exist at the position in FIG. 3B corresponding to the position 60 in FIG. This part is interpolated by the interpolation method of the present invention.
[0018]
First, 0 corresponds to the G signal 61 in FIG. 6 in the upper value input unit 1, 6 corresponds to the G signal 62 in FIG. 6 in the lower value input unit 2, and 6 in the left value input unit 3. 8 corresponding to 63 G signals, and 8 corresponding to 64 G signals in FIG. Then, the output value of the up / down addition unit of 5 is 0 + 6 = 6, the output value of the left / right addition unit of 6 is 8 + 8 = 16, the output value of the up / down subtraction unit of 7 is absolute value of 0-6 = 6, 8 The output value of the left and right subtracting unit is 8−8 absolute value = 0.
[0019]
Therefore, the comparator 9 compares the output value 6 of the 7 subtractor and the output 0 of the 8 left and right subtractor, and the output value of the 8 left and right subtractor is higher than that of the 7 upper and lower subtractor. Judge that it is small. Next, 10 switch units select the output value of 6 left and right addition units based on the information of 9 comparators. That is, the output value 8 + 8 = 16 of the 6 left and right addition units is input to the 11 averaging units. The output value of the averaging unit of 11 is 16/2 = 8, 8 is output from the 12 signal output unit, and the signal component of G is shown in FIG. 3B corresponding to the position of 60 in FIG. 8 is interpolated.
[0020]
Next, there is no G signal component at the position in FIG. 3B corresponding to the position 65 in FIG. This part is interpolated by the interpolation method of the present invention. In this case, since the output value of the up / down subtracting unit 7 and the output value of the left / right subtracting unit 8 are both 4, the output of 14 division units is selected as the 11 averaging units. The output of 13 peripheral adders is 6 + 2 + 4 + 0 = 12, and the output of 14 dividers is 12/2 = 6. The output value of the averaging unit of 11 is 6/2 = 3, 3 is output from the 12 signal output unit, and the signal component 3 of G is shown in FIG. 3B corresponding to the position 65 of FIG. Is interpolated.
[0021]
When the portion where the G signal in FIG. 3B is missing is interpolated in this way, the result is as shown in FIG. It can be seen that the interpolation result of FIG. 3C is more faithful to the original drawing of FIG. 3A than the conventional interpolation result of FIG.
[0022]
Although the G signals arranged in a checkerboard pattern have been described above, some of the surrounding four signals necessary for interpolating the missing signal may be signals that have already been interpolated.
[0023]
Also, when there is a specific color signal of the color filter centered on the missing color signal of the pixel at the upper right and lower left, and the upper left and lower right, the difference between the upper right and lower left color signal amount, and the upper left and lower right The color signal amounts of the upper right, lower left, upper left, and lower right color signal amounts were selected according to the magnitude relationship, and the color signal amount for obtaining the average value was selected and obtained from the selected color signal amount. A specific color signal lacking pixels that do not correspond to the color filter may be interpolated by the average value.
[0024]
As described above, according to the configuration and operation in the first embodiment of the present invention, each calculation unit and comparison unit identify a direction having a sharp change in the signal amount in the vertical direction and the horizontal direction, and the amount of change is small. Since the signal interpolation is performed using the signal component of only the direction, the false signal of the contour due to the conventional interpolation can be suppressed.
[0025]
FIG. 2 is a functional block diagram showing a signal flow of the signal interpolation method according to the second embodiment of the present invention.
[0026]
In FIG. 2, reference numerals 15 to 18 denote 61 G signal input units shown in FIG. 6 (hereinafter referred to as an upper value input unit, a lower value input unit, a left value input unit, and a right value input unit, respectively), 19 is an arithmetic unit (hereinafter referred to as a vertical addition unit) that adds 61 G signals input to the upper value input unit of 15 and 62 G signals input to the lower value input unit of 16, and 20 is An arithmetic unit (hereinafter referred to as a left / right addition unit) that adds 63 G signals input to the 17 left-stage value input unit and 64 G signals input to the 18 right-stage value input unit, , An arithmetic unit that adds the outputs of the upper and lower adders and the output of the left and right adders (hereinafter referred to as a peripheral adder), 22 is an arithmetic unit that halves the output of 21 peripheral adders, and 23 , Subtract 61 G signal input to 15 upper value input section and 62 G signal input to 16 lower value input section An arithmetic unit (hereinafter referred to as an up-and-down subtractor) for calculating the absolute value of the subtraction value, 24 is input to 63 G signals input to 17 left value input units and 18 right value input units. The calculation unit (hereinafter, referred to as a left / right subtraction unit) that subtracts the 64 G signals and calculates the absolute value of the subtraction value is shown, and basically has the same configuration as FIG.
[0027]
25 is a coring value, 26 is a comparator (hereinafter referred to as comparator A) that compares the output of 23 up-and-down subtracting units with 25 coring value and discriminates the magnitude, and 27 is a left-right subtracting unit of 24 A comparator (hereinafter referred to as comparator B) for comparing the output of 25 and the coring value of 25 to determine the magnitude, 28 is based on the outputs of 26 comparators A and 27 based on the outputs of 26 When the comparator A determines that the output of the 23 subtracting unit is smaller than 25 coring values and the comparator B determines that the output of the 24 left and right subtracting unit is greater than 25 coring values, The output of 19 up / down adders is selected, 26 comparators A determine that the output of 23 up / down subtractors is greater than 25 coring values, and 27 comparator B outputs the output of 24 left / right subtractors. If it is determined that the value is smaller than 25 coring values, the output of 20 left and right addition units is If both the comparator A 26 and the comparator B 27 are determined to be larger or smaller than the coring value, a switch unit for selecting the output of 22 division units, 29 is a switch unit for 28 An arithmetic unit (hereinafter referred to as an averaging unit) that halves the output of, and 30 is a signal output unit.
[0028]
FIG. 4 shows an imaging output value and a state of interpolation when an image is captured by a two-dimensional image sensor by the signal interpolation method according to the second embodiment of the present invention.
[0029]
In FIG. 4, FIG. 4 (a) is an original diagram that numerically represents the arrangement of R, G, and B filters and the amount of imaged signals, and FIG. 4 (b) is a two-dimensional representation of the amount of color signal at the G position. FIG. 4C shows a state in which the signal amount after interpolation by the signal interpolation method according to the second embodiment of the present invention is two-dimensionally arranged.
[0030]
The operation of the signal interpolation method of the embodiment of the present invention configured as described above will be described below.
[0031]
The imaging output of the two-dimensional image sensor imaged in the state of FIG. 4A is distributed for each color component of R, G, and B in the process of the next signal processing. If only the G component is extracted here, the result is as shown in FIG. Here, there is no G signal component at the position in FIG. 4B corresponding to the position 60 in FIG. This part is interpolated by the interpolation method of the present invention.
[0032]
First, 0 corresponds to the G signal 61 in FIG. 6 in the upper value input section 15, 6 corresponds to the G signal 62 in FIG. 6 in the lower value input section 16, and FIG. 8 corresponding to 63 G signals, and 8 corresponding to 64 G signals in FIG. Then, the output value of 19 up-and-down adders is 0 + 6 = 6, the output value of 20 left-right adders is 8 + 8 = 16, and the output value of 21 peripheral adders is 6 + 16 = 22. Therefore, the output value of the division unit of 22 is 22/2 = 11. Next, the output value of the up / down subtracting unit 23 is an absolute value of 0-6 = 6, and the output value of the left / right subtracting unit 24 is an absolute value of 8-8 = 0. Here, the coring value of 25 is assumed to be 4.
[0033]
The comparator 26 of 26 compares the output value 6 of the 23 subtractor and the coring value 4 of 25 and determines that the output of the 23 subtractor is greater than the coring value of 25. The comparator B of 27 compares 0 of the output value of 24 left and right subtracting units with 4 of the coring value of 25, and determines that the output value of 24 left and right subtracting units is smaller than the coring value of 25. Next, based on the outputs of the 26 comparators A and 27 comparators B, the 28 switch units determine that the 26 comparators A output of the 23 up / down subtractors is less than the 25 coring value. , 27 comparator B determines that the output of 24 left and right subtractors is greater than 25 coring values, selects the output of 19 up / down adders, and 26 comparator A selects the output of 23 up / down subtractors. If it is determined that the output is greater than the coring value of 25, and 27 comparators B determine that the output of the 24 left and right subtraction units is less than 25 coring value, the output of the 20 left and right addition units is selected, When both the 26 comparators A and 27 comparators B are determined to be larger or smaller than the coring value, the outputs of 22 division units are selected. Therefore, the 26 comparators A and 27 comparators are selected. Based on the information of B, select the output value of 20 left and right adders To. That is, the output value 8 + 8 = 16 of the 20 left and right addition units is input to the 29 averaging units. The output value of the averaging unit of 29 is 16/2 = 8, and 8 is output from the 30 signal output unit, and the G signal component 8 is present at the position of FIG. 4B corresponding to the position of 60 in FIG. Is interpolated.
[0034]
Next, there is no G signal component at the position in FIG. 3B corresponding to the position 65 in FIG. This part is interpolated by the interpolation method of the present invention. In this case, since the output value of 23 up / down subtraction units and the output value of 24 left / right subtraction units are both 4, the output of 22 division units is selected for 29 averaging units. The output of 21 peripheral adders is 6 + 2 + 4 + 0 = 12, and the output of 22 dividers is 12/2 = 6. The output value of the averaging unit of 29 is 6/2 = 3, 3 is output from the 30 signal output unit, and the G signal component 3 is present at the position of FIG. 4B corresponding to the position of 65 in FIG. Is interpolated.
[0035]
When the portion where the G signal in FIG. 4B is missing is interpolated in this way, the result is as shown in FIG. It can be seen that the interpolation result of FIG. 4 (c) is more faithful to the original drawing of FIG. 4 (a) than the conventional interpolation result of FIG. 7 (c).
[0036]
Although the G signals arranged in a checkerboard pattern have been described above, some of the surrounding four signals necessary for interpolating the missing signal may be signals that have already been interpolated.
[0037]
As described above, according to the configuration and operation in the second embodiment of the present invention, each calculation unit and comparison unit identify a direction having a steep change in the signal amount in the vertical direction and the horizontal direction, and the change amount is small. Since signal interpolation is performed using signal components in the direction, signal interpolation with high fidelity that is very close to the original image can be realized, and the false signal of the contour that is the cause of significant characteristic degradation caused by conventional interpolation can be suppressed. Therefore, it is possible to generate a video signal with high resolution.
[0038]
【The invention's effect】
The present invention compares the difference between the upper and lower color signal amounts with the difference between the left and right color signal amounts when there are specific color signals in the upper and lower and left and right sides of the specific color signal with missing pixels. According to the magnitude relationship, the color signal amount for obtaining an average value is selected from the upper and lower and left and right color signal amounts, and a specific color signal in which pixels that do not correspond to the color filter are missing by the average value obtained from the selected color signal amount By interpolating the image, high-fidelity signal interpolation that is very close to the original image can be achieved, and contour false signals that cause significant characteristic degradation caused by conventional interpolation can be suppressed. This is a method for realizing excellent signal interpolation capable of generating a certain video signal.
[Brief description of the drawings]
FIG. 1 is a functional block diagram showing a signal flow of a signal interpolation method according to a first embodiment of the present invention. FIG. 2 is a function block diagram showing a signal flow of a signal interpolation method according to a second embodiment of the present invention. FIG. 3 is a diagram showing an imaging output value and a state of interpolation when an image is captured by a two-dimensional image sensor by the signal interpolation method according to the first embodiment of the present invention. The figure which shows the imaging output value and the mode of interpolation at the time of imaging with the two-dimensional image sensor by the signal interpolation method in the embodiment. FIG. 5 is a conceptual diagram of a filter arrangement for showing a conventional signal interpolation method. FIG. 7 is a conceptual diagram in which G color signals are two-dimensionally arranged in accordance with the filter arrangement among the imaging outputs of the image sensor provided with the filter of FIG. 5. FIG. Figure Description of the sign] showing how come of interpolation
1, 15 Upper value input unit 2, 16 Lower value input unit 3, 17 Left value input unit 4, 18 Right value input unit 5, 19 Up / down addition unit 6, 20 Left / right addition unit 7, 23 Up / down subtraction unit 8, 24 Left and right subtraction unit 9 Comparator 10, 28 Switch unit 11, 29 Averaging unit 12, 30 Signal output unit 13, 21 Peripheral addition unit 14, 22 Division unit 25 Coring value 26 Comparator A
27 Comparator B
Location A where 60 G color signal is missing
61, 62, 63, 64 G signal 65 Location B where the color signal of G is missing

Claims

A specific color signal corresponding to the color filter is a specific color signal lacking a pixel that does not correspond to the color filter of the imaging output of a two-dimensional image sensor configured by arranging specific color filters in a checkered pattern in units of pixels. In the color signal interpolation method to interpolate in
When the imaging output of the two-dimensional image sensor is arranged two-dimensionally according to a filter arrangement, a specific color signal corresponding to the color filter is vertically and horizontally centered on a specific color signal lacking the pixel. When
The first difference between the upper and lower color signal amounts and the second difference between the left and right color signal amounts are taken, and the first difference and the second difference are set as certain reference values (coring values), respectively. A color signal amount for obtaining an average value is selected from the upper, lower, left and right color signal amounts according to the magnitude relationship, and both the first difference and the second difference are smaller than the coring value. In this case, four color signal amounts are selected from the upper, lower, and left and right color signals, and a color signal for interpolating a specific color signal with missing pixels that do not correspond to the color filter is obtained by an average value obtained from the selected color signal amount. Interpolation method.

When the first difference between the color signal amounts above and below the coring value is small and the second difference between the left and right color signal amounts is greater than the coring value, the pixels that do not correspond to the color filter by averaging the upper and lower color signal amounts The color signal interpolation method according to claim 1, wherein the specific color signal lacking the color is interpolated.

When the first difference between the color signal amounts above and below the coring value is large and the second difference between the left and right color signal amounts is smaller than the coring value, the left and right color signal amounts are averaged and pixels that do not correspond to the color filter The color signal interpolation method according to claim 1, wherein the specific color signal lacking the color is interpolated.