JP6225328B2 - 欠陥画素の補正装置および補正方法 - Google Patents

Description

本技術は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置において、固体撮像素子の画素欠陥に起因して撮像信号に発生した欠陥画素の補正装置および補正方法に関するものである。

近年、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）およびＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等に代表される固体撮像素子（以下、撮像素子という）は、半導体の微細加工技術の進歩により、小型化、多画素化が進んでいる。一方、多画素化に伴い、これらの撮像素子においては、一部の画素が正常な信号レベルを出力しない、いわゆる欠陥画素の数も増加している。

これにより、欠陥画素において、本来得られるべき信号レベルを電気的に補間して出力する欠陥画素の補正処理技術の重要性が増大している。

欠陥画素の補正処理方法として、例えば特許文献１に記載された技術が知られている。特許文献１には、撮像素子として、３個のＣＣＤを用い、各ＣＣＤから赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色の画像信号を出力する、いわゆる３板式の撮像装置に使用する欠陥画素の補正方法が開示されている。

図１は、Ｒチャンネル（Ｒｃｈ）の色信号に欠陥画素が存在する場合の欠陥画素の補正方法を説明するための説明図である。

図１の（ａ）に示すように、撮像画像のＲｃｈの色信号に欠陥画素Ｐ（ｉ）が存在する場合を例にあげて説明する。

まず、欠陥画素Ｐ（ｉ）が存在する同じ色信号において、欠陥画素Ｐｉの前後の正常な画素Ｐ（ｉ−１）、Ｐ（ｉ＋１）の信号値を用いて、図１の（ｂ）に示すように、前記信号値を加算して平均した線形補間値Ｐｘを生成する。その後、図１の（ｃ）に示すように、欠陥画素Ｐ（ｉ）が存在する色信号とは異なる他の色信号（図１の（ｃ）においては、Ｇチャンネル（Ｇｃｈ））に基づき、欠陥画素Ｐ（ｉ）と同じ位置の画素の高周波成分ＧＨを生成する。その後、前記線形補間値Ｐｘに補正値ＧＨを加算することにより、Ｒｃｈの色信号の欠陥画素Ｐ（ｉ）に対する補正処理を行うことができる。

ところで、被写体を撮像する撮像装置は、レンズ等の光学系を介して撮像素子の撮像面に被写体像を結像する。撮像素子は、各画素に入射された光を各々光電変換して電気信号として出力する。一方、光学系のレンズの結像倍率は、倍率色収差により光の波長によって異なるため、例えば無彩色の被写体を撮像した場合であっても、Ｒ、Ｇ、Ｂの光が結像する撮像素子上の画素位置にずれが生じる。その結果、被写体の輪郭部分等に色ずれにより着色する現象が発生する。

このような光学系の倍率色収差が発生している場合の欠陥画素の補正処理方法については、例えば特許文献２に記載されている。特許文献２には、欠陥画素の位置によって欠陥画素の補正方法を選択する方法が開示されている。

特許第３８３０５７４号公報 特開２００６―１６５８９９号公報

本技術はこのような欠陥画素の補正方法および補正装置において、画像信号に倍率色収差の影響がある場合にも、より自然な欠陥画素の補正処理が実現できるようにすることを目的とする。

本技術における欠陥画素補正装置は、撮像部から送られる色信号毎の画像信号に含まれる欠陥画素を特定し、欠陥画素の周辺の画素から線形補間値を求めて欠陥画素に対して線形補間による第１の欠陥画素補正処理を行う第１の欠陥画素補正部と、前記第１の欠陥画素補正処理を行った後に、特定の色の画像信号を基準として収差補正処理を行うと共に、前記第１の欠陥画素補正処理を行った画素に対し、前記第１の欠陥画素補正処理とは異なる第２の欠陥画素補正処理を行う第２の欠陥画素補正部とを備え、第２の欠陥画素補正処理は、第１の欠陥画素補正処理を行った画素、および当該画素を用いた収差補正処理で生成される画素に対し、他の色信号の画像信号から生成した高周波成分を加算する。

このように画像信号に倍率色収差の影響がある場合にも、欠陥画素が発生している色信号のみで第１の欠陥画素補正処理を行い、収差補正処理と同時、または収差補正処理を行った後に、欠陥画素が発生している色信号以外の色信号も利用して第２の欠陥画素補正処理を行うことにより、精度良く欠陥画素を補正することができる。これにより、画像信号に倍率色収差の影響がある場合にも、欠陥画素が拡がることがなく、また欠陥画素の他の色信号との相関性を利用してより自然な欠陥画素補正処理を実現することが可能となる。

Ｒチャンネル（Ｒｃｈ）の色信号に欠陥画素が存在する場合の欠陥画素の補正方法を説明するための説明図である。 本技術の一実施の形態による欠陥画素補正装置を備えた撮像装置の全体構成を示すブロック図である。 欠陥画素特定部の一例を示すブロック図である。 第１の欠陥画素補正部の一例を示すブロック図である。 収差補正部の一例を示すブロック図である。 第２の欠陥画補正部の一例を示すブロック図である。 それぞれの各部における動作を説明するための説明図である。 それぞれの各部における動作を説明するための説明図である。 本技術による効果を説明するための説明図である。

以下、本技術の一実施の形態による欠陥画素の補正方法および補正装置の一例として、撮像装置に使用する欠陥画素の補正方法および補正装置を例示して説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本技術を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

図２は、本技術の一実施の形態による欠陥画素補正装置を備えた撮像装置の全体構成を示すブロック図である。

図２に示すように、撮像部１は、ＣＣＤ等の撮像素子を有し、撮像素子により被写体を撮像して光電変換を行い、Ｒ、Ｇ、Ｂの３原色の色信号毎の画像信号を電気信号として出力する。

欠陥画素補正装置は、欠陥画素特定部２と、第１の欠陥画素補正部３と、収差補正部４と、第２の欠陥画素補正部５とを有している。

欠陥画素特定部２は、撮像部１から入力されるＲ、Ｇ、Ｂの各色信号のチャンネル毎の画像信号における欠陥画素を特定し、欠陥画素の位置を示す欠陥画素フラグの信号を各画像信号と共に、タイミングを合わせて出力する。

第１の欠陥画素補正部３は、Ｒ、Ｇ、Ｂの各チャンネルの画像信号と欠陥画素フラグの信号とが入力される補正部３Ｒ、３Ｇ、３Ｂを有している。各補正部３Ｒ、３Ｇ、３Ｂは、欠陥画素フラグの信号に基づいて、Ｒ、Ｇ、Ｂの各チャンネルの画像信号に含まれる欠陥画素に対し、その欠陥画素の周辺の画素の信号を加算平均して線形補間値を求め、線形補間による第１の欠陥画素補正処理を行う。

収差補正部４は、第１の欠陥画素補正部３の補正部３Ｒ、３Ｂから出力される線形補間値の信号を含む画像信号と、欠陥画素フラグの信号とが入力される補正部４Ｒ、４Ｂを有している。補正部４Ｒ、４Ｂは、Ｒｃｈ、Ｂｃｈとは異なる他の特定の色信号であるＧｃｈの画像信号を基準とし、第１の欠陥画素補正部３により線形補間処理を行ったＲ、Ｂの各チャンネルの信号を含む画像信号に対して、２次元フィルタによる補間処理を行い、Ｇｃｈの各画素位置と同じ位置の画素データを生成して出力する。いわゆる倍率色収差補正処理（以下、収差補正処理という）を行う。

第２の欠陥画素補正部５は、収差補正部４の補正部４Ｒ、４Ｂから出力される収差補正後の画像信号および欠陥画素フラグの信号が入力される補正部５Ｒ、５Ｂと、第１の欠陥画素補正部３の補正部３Ｇから出力される線形補間値の信号を含む画像信号および欠陥画素フラグの信号が入力される補正部５Ｇを有している。第２の欠陥画素補正部５は、第１の欠陥画素補正部３により線形補間処理を行った後、収差補正部４により収差補正処理を行ったＲｃｈ、Ｂｃｈの画像信号、および第１の欠陥画素補正部３により線形補間処理のみを行ったＧｃｈの画像信号に対し、高周波成分ＧＨ、ＢＨ、ＲＨを求めて、第２の欠陥画素補正処理を行う。

補正部５Ｇは、Ｇｃｈの画像信号から高周波成分ＧＨを生成し、補正部５Ｒ、５Ｂは、収差補正部４により収差補正処理を行ったＲｃｈ、Ｂｃｈの画像信号に対し、各チャンネルの欠陥画素フラグの信号に基づいて高周波成分ＧＨを加算することにより、第２の欠陥画素補正処理を行う。これにより、Ｒ、Ｂの各チャンネルの収差補正後の画像信号において、第１の欠陥画素補正部３により線形補間処理を行った画素に対し、欠陥画素位置の画素データにＧｃｈから生成した高周波成分ＧＨが加算される。また、補正部５Ｒ、５Ｂは、Ｒｃｈ、Ｂｃｈの高周波成分ＲＨ、ＢＨを生成し、補正部５Ｇは、第１の欠陥画素補正部３により線形補間処理を行ったＧｃｈの画像信号に対し、Ｇｃｈの欠陥画素フラグの信号に基づいて、高周波成分ＲＨ、ＢＨの少なくとも一方から生成した高周波成分を加算することにより、第２の欠陥画素補正処理を行う。これにより、Ｇｃｈの線形補間値を含む画像信号に対し、欠陥画素位置の画素データにＲｃｈ、Ｂｃｈの高周波成分ＲＨ、ＢＨの少なくとも一方から生成した高周波成分が加算される。

なお、第２の欠陥画素補正部５は、高周波成分の補正処理を行うもので、第１の欠陥画素補正部３、収差補正部４とは異なる欠陥画素の補正処理を行うものである。

このように本技術は、撮像部から送られる色信号毎の画像信号に含まれる欠陥画素を特定し、欠陥画素の周辺の画素から線形補間値を求めて欠陥画素に対して線形補間による第１の欠陥画素補正処理を行う第１の欠陥画素補正ステップと、前記第１の欠陥画素補正処理を行った後に、特定の色の画像信号を基準として収差補正処理を行うと共に、前記第１の欠陥画素補正処理を行った画素に対し、前記第１の欠陥画素補正処理とは異なる第２の欠陥画素補正処理を行う第２の欠陥画素補正ステップとを備えている。

また、前記第２の欠陥画素補正ステップは、特定の色の画像信号を基準として収差補正処理を行う収差補正ステップを有し、前記収差補正ステップによる収差補正処理を行った後に、第２の欠陥画素補正処理を行うものである。前記第２の欠陥画素補正処理は、第１の欠陥画素補正処理を行った画素、および当該画素を用いた収差補正処理で生成される画素に対し、他の色信号の画像信号から生成した高周波成分を加算する補正処理である。

また、撮像部から送られる色信号毎の画像信号における欠陥画素を特定する欠陥画素特定ステップを備え、欠陥画素特定ステップにより特定された欠陥画素に対して、第１の欠陥画素補正処理、および第２の欠陥画素補正処理を行う。

さらに、欠陥画素特定ステップは、欠陥画素の位置を示す欠陥画素フラグの信号を出力し、欠陥画素フラグにより特定された欠陥画素に対して、第１の欠陥画素補正処理、および第２の欠陥画素補正処理を行う。

図３〜図６は、図２に示す欠陥画素補正装置の各部の詳細な構成を示すブロック図である。図７、図８は、それぞれの各部における動作を説明するための説明図である。なお、図７、図８においては、Ｒｃｈの画素に欠陥画素が存在する場合を例示している。

図３は、欠陥画素特定部の一例を示すブロック図である。図３に示すように、欠陥画素特定部２は、欠陥画素検出部２１と、欠陥画素位置格納部２２とを有している。

欠陥画素検出部２１は、撮像部１から入力されるＲ、Ｇ、Ｂの各チャンネル（Ｒｃｈ、Ｇｃｈ、Ｂｃｈ）の画像信号から欠陥画素を検出する。欠陥画素位置格納部２２は、Ｒ、Ｇ、Ｂの各チャンネルの画像信号毎に検出された欠陥画素の位置を表す座標を格納する。欠陥画素位置格納部２２は、欠陥画素特定部２から出力されるＲ、Ｇ、Ｂの各チャンネルの画像信号が欠陥画素となるタイミングで、図７の（ａ）に示すように、「１」となるような欠陥画素フラグの信号を出力する。図７の（ａ）は、Ｒｃｈに欠陥画素Ｐ（ｉ）が存在し、欠陥画素の信号Ｐ（ｉ）が存在するタイミングで、欠陥画素フラグＦＲに「１」の信号が出力されたことを示している。

なお、本実施の形態の欠陥画素特定部２は、欠陥画素検出部２１と欠陥画素位置格納部２２とを有する構成としたが、欠陥画素検出部２１は搭載せず、あらかじめ欠陥画素の位置を検出して、欠陥画素の座標を欠陥画素位置格納部２２に格納する構成としてもよい。また、欠陥画素位置格納部２２は搭載せず、欠陥画素検出部２１で欠陥画素を検出する毎に欠陥画素フラグの信号を出力する構成としてもよい。さらに、欠陥画素位置格納部２２は、欠陥画素の位置を表す座標を格納する例を説明したが、欠陥画素検出部２１が検出した欠陥画素を含む全画素分の欠陥画素フラグの信号を格納するように構成してもよい。

図４は、第１の欠陥画素補正部の一例を示すブロック図である。Ｒｃｈの画像信号を補正する補正部３Ｒを例に説明するが、補正部３Ｇ、３Ｂについても同様な構成である。

第１の欠陥画素補正部３は、Ｒｃｈの画像信号に含まれる欠陥画素に対し、その欠陥画素の周辺の画素の信号を加算平均して線形補間値を求める線形補間部３１と、欠陥画素フラグの信号に基づき、線形補間部３１で求めた線形補間値の信号、または対象画素の信号のいずれかを選択して出力する線形補間画素選択部３２とを有している。

また、線形補間部３１は、対象画素の前後の画素の信号を同時化して出力するＤフリップフロップ３３ａ、３３ｂと、対象画素の前後の画素の信号値を加算平均した線形補間値を求める加算平均部３４を有している。これにより、線形補間部３１は、対象画素の前後の画素の信号値を加算平均した値を線形補間値として生成する。

線形補間画素選択部３２には、Ｄフリップフロップ３３ａを通したＲｃｈの画像信号にタイミングを合わせるために、Ｄフリップフロップ３３ｃを通した欠陥画素フラグＦＲの信号が入力される。

線形補間画素選択部３２は、欠陥画素フラグＦＲの信号が、対象画素が欠陥画素であることを示す場合、図７の（ｂ）の矢印に示すように、線形補間部３１から出力される線形補間値のデータの信号Ｐｘを選択して出力し、欠陥画素でないことを示す場合、対象画素の信号値をそのまま選択して出力する第１の欠陥画素補正処理を行う。

なお、本実施の形態の線形補間部３１は、対象画素の隣接画素を水平方向に同時化するＤフリップフロップ３３ａ、３３ｂのみを搭載し、１次元の補間処理を行う例について説明したが、垂直方向にも同時化するためのディレイラインを設けて、２次元の補間処理を行うように構成してもよい。

図５は、収差補正部の一例を示すブロック図である。Ｒｃｈの画像信号の収差を補正する補正部４Ｒを例に説明するが、補正部４Ｂについても同様な構成である。

図５に示すように、収差補正部４は、欠陥画素フラグ再生部４１と、収差補正データ生成部４２とを有している。

欠陥画素フラグ再生部４１は、欠陥画素フラグＦＲが入力される３個のＤフリップフロップ４３ａ、４３ｂ、４３ｃと高域成分付加判断部４４とを有し、収差補正データ生成時に使用されるＲｃｈの画像信号に欠陥画素が含まれる場合には、欠陥画素フラグＦｒとして、「１」の信号を生成し、欠陥画素が含まれない場合には、欠陥画素フラグＦｒとして、「０」の信号を生成して出力する。欠陥画素フラグ再生部４１で生成される欠陥画素フラグＦｒの信号は、後述する収差補正データとタイミングを合わせて出力する。

収差補正データ生成部４２は、３個のＤフリップフロップ４５ａ、４５ｂ、４５ｃと、乗算部４６ａ、４６ｂ、４６ｃ、４６ｄと、加算部４７を有している。ここで、Ｄフリップフロップ４５ａ、４５ｂ、４５ｃには、Ｒｃｈの画像信号において、Ｇｃｈの画像信号からのずれ量に応じて決定された位置の画像信号が格納される。例えば、Ｒｃｈの画像信号がＧｃｈの画像信号に対して水平方向に２画素ずれている場合、Ｇｃｈのｎ−１番目の画素に対応するＲｃｈの画像信号を生成するタイミングは、Ｇｃｈの画像信号から２画素だけ水平方向にずれた位置、すなわちｎ＋１番目のＲｃｈの画像信号を中心にして、その隣接する画素の信号が格納されることになる。

そして、各Ｄフリップフロップ４５ａ、４５ｂ、４５ｃのＲｃｈの画像信号に、Ｇｃｈの画像信号からのずれ量に応じて決定された所定の係数を乗算部４６ａ、４６ｂ、４６ｃ、４６ｄにより乗算し、乗算部４６ａ、４６ｂ、４６ｃ、４６ｄの出力値を加算部４７により加算することにより、収差補正データを生成する。これにより、Ｇｃｈの画像信号に位相が一致したＲｃｈの画像信号を生成して出力することができる。

図８の（ａ）は、この収差補正処理の様子を説明するための図で、図８の（ａ）に示すように、第１の欠陥画素補正処理を行ったＲｃｈの画像信号に対し、特定の色であるＧｃｈの画像信号を基準として収差補正処理を行う。

なお、欠陥画素フラグ再生部４１は、高域成分付加判断部において、収差補正データ生成時に使用されるＲｃｈの画像信号に少なくとも１個の欠陥画素が含まれる場合には、「１」となる１ビットの欠陥画素フラグＦｒを再生成する例について説明したが、再生成される欠陥画素フラグＦｒを複数ビットで構成し、生成される収差補正データへの寄与度に応じて、例えば対象画素に近い位置の画像信号が欠陥画素である場合や、乗算部の係数が大きい場合により大きな値となるような欠陥画素フラグＦｒを再生成するようにしてもよい。

なお、収差補正データ生成部４２は、収差補正データの生成に使用する画素を水平方向に同時化するフリップフロップのみで構成された１次元の補間処理を行う例について説明したが、垂直方向にも同時化するためにディレイラインも備えて２次元の補間処理を行うようにしても良く、その場合は欠陥画素フラグも画像信号との相対位置関係を保持するために、ディレイラインを用いて画像信号と同じ遅延量だけ遅延させる。

なお、ここではＲｃｈの画像信号の収差補正処理について説明したが、Ｂｃｈの画像信号の収差補正処理についても同様である。また、収差補正処理の基準となるＧｃｈの画像信号については、収差補正処理は行わず、そのまま出力する。

図６は、第２の欠陥画補正部の一例を示すブロック図である。Ｒｃｈの画像信号の補正部５Ｒを例に説明する。

図６に示すように、第２の欠陥画素補正部５は、高域成分生成部５１と、加算部５２と、高域成分加算画素選択部５３とを有している。

高域成分生成部５１は、Ｄフリップフロップ５４ａ、５４ｂと、加算平均部５５と、減算部５６とを有し、Ｇｃｈの画像信号において、対象画素の前後の画素の加算平均値を線形補間画素の信号値とし、対象画素の信号値から減算することで、Ｇｃｈの画像信号における高周波成分ＧＨとして出力する。

加算部５２は、前段の第１の欠陥画素補正部３において線形補間された後、収差補正部４において収差補正されたＲｃｈの画像信号に、欠陥画素フラグＦｒに基づいて、Ｇｃｈの高周波成分ＧＨを加算する。これにより、第２の欠陥画素補正部５により第２の欠陥画素補正処理を施したＲｃｈの画像信号を生成する。

高域成分加算画素選択部５３は、欠陥画素フラグＦＲの信号が入力されるＤフリップフロップ５４ｃの出力に基づき、加算部５２において、高周波成分ＧＨが加算された信号値、または対象画素の画像信号（Ｒｃｈの画像信号）を選択して出力する。

すなわち、図８の（ｂ）の矢印に示すように、欠陥画素フラグＦｒの信号が、対象画素が欠陥画素であることを示す場合には、高域成分生成部５１により生成された高周波成分ＧＨが加算された出力信号を選択して出力し、対象画素が欠陥画素でないことを示す場合には、対象画素の画像信号をそのまま選択して出力する。

なお、本実施の形態による高域成分生成部５１は、対象画素の隣接画素を水平方向に同時化するＤフリップフロップ５４ａ、５４ｂのみで構成された１次元の補間処理を行う例について説明したが、垂直方向にも同時化するためにディレイラインを設けて、２次元の補間処理を行うように構成してもよい。

また、Ｒｃｈの画像信号に対する第２の欠陥画素補正処理を行う場合について説明したが、Ｂｃｈの画像信号についても同様に行えばよい。また、Ｇｃｈの画像信号については、Ｒｃｈ、Ｂｃｈの画像信号から高周波成分ＲＨ、ＢＨを生成し、第１の欠陥画素補正処理を施したＧｃｈの画像信号に高周波成分ＲＨ、ＢＨの少なくとも一方から生成した高周波成分を加算することにより、第２の欠陥画素補正処理を行った画像信号を生成することができる。

なお、上記実施の形態においては、収差補正部４と第２の欠陥画素補正部５とを独立して設け、収差補正部４による収差補正処理の後、第２の欠陥画素補正部５による第２の欠陥画素補正処理を行う例を説明したが、第２の欠陥画素補正部５が収差補正処理を行う収差補正部４を有する構成としてもよい。すなわち、第２の欠陥画素補正部５は、第１の欠陥画素補正部３による補正処理を行った後に、特定の色の画像信号を基準として収差補正処理を行うと共に、第１の欠陥画素補正部３による補正処理を行った画素、および当該画素を用いた収差補正処理で生成される画素に対し、他の色信号の画像信号から生成した高周波成分を加算する第２の欠陥画素補正処理を行う構成としてもよい。

この場合、第２の欠陥画素補正部５の欠陥画素補正ステップは、収差補正部４の収差補正ステップによる収差補正処理と同時、または前記収差補正部４による収差補正処理を行った後に、第２の欠陥画素補正処理を行うものである。

次に、本技術による比較例として、倍率色収差による影響がある場合の別の欠陥画素補正処理について、図９を用いて説明する。図９は、倍率色収差の影響によりＲｃｈの画像信号がＧｃｈの画像信号に対して水平方向に２画素ずれている場合を示している。

図９の（ａ）に示すように、Ｒｃｈの画像信号に欠陥画素Ｐ（ｉ）が存在する。この画像信号に対し、図９の（ｂ）に示すように、Ｇｃｈの画素位置を基準として、Ｒｃｈの画素位置の収差補正処理を行い、Ｒ、Ｇ、Ｂの相対的な位置を実際にＧｃｈが結像している位置に一致させる処理を行う。ところが、この場合、図９の（ｂ）に示すように、欠陥画素に対して収差補正処理を行うことにより、２次元フィルタによる補間処理によって欠陥画素自体が２次元的に拡がりを持ってしまう。

このため、収差補正処理を行った後、図９の（ｃ）に示すように、線形補間処理を行うと、欠陥画素Ｐ（ｉ）を含む点線Ａで示す周辺の他の画素を含めて線形補間処理を行う必要が発生する。また、線形補間処理において、線形補間値を生成する際に参照する正常な画素の位置が欠陥画素から離れた位置の画素となるため、画像信号の相関性が低くなり、補間精度が低下する。

さらに、この後に高周波成分の補正処理を行うと、図９の（ｄ）に示すように、補正処理すべき欠陥画素数が増えてしまうとともに、精度が低下した補正後の画像信号に対して補正を行うこととなる。

本技術による欠陥画素の補正装置は、撮像部から送られる色信号毎の画像信号に含まれる欠陥画素を特定し、欠陥画素の周辺の画素から線形補間値を求めて欠陥画素に対して線形補間による第１の欠陥画素補正処理を行う第１の欠陥画素補正部と、前記第１の欠陥画素補正処理を行った後に、特定の色の画像信号を基準として収差補正処理を行うと共に、前記第１の欠陥画素補正処理を行った画素に対し、前記第１の欠陥画素補正処理とは異なる第２の欠陥画素補正処理を行う第２の欠陥画素補正部とを備えている。

したがって、画像信号に倍率色収差の影響がある場合にも、欠陥画素が発生している色信号のみで第１の欠陥画素補正処理を行い、収差補正処理と同時、または収差補正処理を行った後に、欠陥画素が発生している色信号以外の色信号も利用して第２の欠陥画素補正処理を行うことにより、精度良く欠陥画素を補正することができる。これにより、画像信号に倍率色収差の影響がある場合にも、欠陥画素が拡がることがなく、また欠陥画素の他の色信号との相関性を利用してより自然な欠陥画素補正処理を実現することが可能となる。

また、本技術による補正装置は、撮像部から送られる色信号毎の画像信号における欠陥画素を特定する欠陥画素特定部を備え、欠陥画素特定部は、欠陥画素の位置を示す欠陥画素フラグの信号を出力し、欠陥画素フラグにより特定された欠陥画素に対して、第１の欠陥画素補正処理および第２の欠陥画素補正処理により補正処理を行う構成としている。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

以上のように本技術によれば、画像信号に倍率色収差の影響がある場合にも、より自然な欠陥画素の補正処理が実現でき、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置において、有用な発明である。

１ 撮像部
２ 欠陥画素特定部
３ 第１の欠陥画素補正部
４ 収差補正部
５ 第２の欠陥画素補正部
３Ｒ，３Ｇ，３Ｂ，４Ｒ，４Ｂ，５Ｒ，５Ｇ，５Ｂ 補正部
２１ 欠陥画素検出部
２２ 欠陥画素位置格納部
３１ 線形補間部
３２ 線形補間画素選択部
３３ａ，３３ｂ，３３ｃ，４３ａ，４３ｂ，４３ｃ，４５ａ，４５ｂ，４５ｃ，５４ａ，５４ｂ，５４ｃ，５４ｄ Ｄフリップフロップ
３４ 加算平均部
４１ 欠陥画素フラグ再生部
４２ 収差補正データ生成部
４４ 高域成分付加判断部
４６ａ，４６ｂ，４６ｃ，４６ｄ 乗算部
４７ 加算部
５１ 高域成分生成部
５２ 加算部
５３ 高域成分加算画素選択部
５５ 加算平均部
５６ 減算部

Claims (10)

1. 撮像部から送られる色信号毎の画像信号に含まれる欠陥画素を特定し、欠陥画素の周辺の画素から線形補間値を求めて欠陥画素に対して線形補間による第１の欠陥画素補正処理を行う第１の欠陥画素補正部と、
   前記第１の欠陥画素補正処理を行った後に、特定の色の画像信号を基準として収差補正処理を行うと共に、前記第１の欠陥画素補正処理を行った画素に対し、前記第１の欠陥画素補正処理とは異なる第２の欠陥画素補正処理を行う第２の欠陥画素補正部と、
   を備え、
   前記第２の欠陥画素補正処理は、前記第１の欠陥画素補正処理を行った画素、および当該画素を用いた収差補正処理で生成される画素に対し、他の色信号の画像信号から生成した高周波成分を加算する、
   欠陥画素補正装置。
2. 前記第２の欠陥画素補正部は、特定の色の画像信号を基準として収差補正処理を行う収差補正部を有し、前記収差補正部による収差補正処理と同時、または前記収差補正部による収差補正処理を行った後に、第２の欠陥画素補正処理を行うものである、
   請求項１に記載の欠陥画素補正装置。
3. 前記撮像部から送られる色信号毎の画像信号における欠陥画素を特定する欠陥画素特定部を備え、前記欠陥画素特定部により特定された欠陥画素に対して、第１の欠陥画素補正処理および第２の欠陥画素補正処理を行う、
   請求項１に記載の欠陥画素補正装置。
4. 前記欠陥画素特定部は、欠陥画素の位置を示す欠陥画素フラグの信号を出力し、前記欠陥画素フラグにより特定された欠陥画素に対して、第１の欠陥画素補正処理および第２の欠陥画素補正処理を行う、
   請求項３に記載の欠陥画素補正装置。
5. 前記欠陥画素フラグは、各画像信号と共に出力される、
   請求項４に記載の欠陥画素補正装置。
6. 撮像部から送られる色信号毎の画像信号に含まれる欠陥画素を特定し、欠陥画素の周辺の画素から線形補間値を求めて欠陥画素に対して線形補間による第１の欠陥画素補正処理を行う第１の欠陥画素補正ステップと、
   前記第１の欠陥画素補正処理を行った後に、特定の色の画像信号を基準として収差補正処理を行うと共に、前記第１の欠陥画素補正処理を行った画素に対し、前記第１の欠陥画素補正処理とは異なる第２の欠陥画素補正処理を行う第２の欠陥画素補正ステップと、
   を備え、
   前記第２の欠陥画素補正処理は、第１の欠陥画素補正処理を行った画素、および当該画素を用いた収差補正処理で生成される画素に対し、他の色信号の画像信号から生成した高周波成分を加算する、
   欠陥画素補正方法。
7. 前記第２の欠陥画素補正ステップは、特定の色の画像信号を基準として収差補正処理を行う収差補正ステップを有し、前記収差補正ステップによる収差補正処理と同時、または前記収差補正ステップによる収差補正処理を行った後に、第２の欠陥画素補正処理を行うものである、
   請求項６に記載の欠陥画素補正方法。
8. 前記撮像部から送られる色信号毎の画像信号における欠陥画素を特定する欠陥画素特定ステップを備え、前記欠陥画素特定ステップにより特定された欠陥画素に対して、第１の欠陥画素補正処理および第２の欠陥画素補正処理を行う、
   請求項６に記載の欠陥画素補正方法。
9. 前記欠陥画素特定ステップは、欠陥画素の位置を示す欠陥画素フラグの信号を出力し、前記欠陥画素フラグにより特定された欠陥画素に対して、第１の欠陥画素補正処理および第２の欠陥画素補正処理を行う請求項８に記載の欠陥画素補正方法。
10. 前記欠陥画素フラグは、各画像信号と共に出力される、
    請求項９に記載の欠陥画素補正方法。

Images