JP3601908B2 - 撮像素子の欠陥画素補正処理装置、ｘ線診断装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、Ｘ線診断装置、内視鏡装置に搭載される撮像素子の欠陥画素を補正する撮像素子の欠陥画素補正処理装置、及びこの欠陥画素補正処理装置を備えるＸ線診断装置に関するものである。
【０００２】
【従来の技術】
近年、Ｘ線診断装置、内視鏡装置等では、撮像素子を用いたＴＶカメラを搭載しており、このＴＶカメラによって被検体を撮像している。このＴＶカメラに使われている撮像素子、例えばＣＣＤでは欠陥画素の数が少ないほどその価格は高価となるため、ある程度の欠陥画素を含む素子を使用する必要がある。このため、欠陥画素を補正する欠陥画素補正処理装置が用いられている。
【０００３】
このようなＴＶカメラと欠陥画素補正処理装置を搭載したＸ線診断装置を図１８に示す。
図１８に示すようにＴＶカメラを搭載したＸ線診断装置１００は、Ｘ線を被検体Ｐに対して曝射するＸ線ビーム発生源１０１と、被検体Ｐを通過したＸ線を光学像に変換するイメージインテンシファイア１０３と、イメージインテンシファイア１０３により変換された光学像を撮像して画素毎の画像信号（画素値）を得るＴＶカメラ１０５と、ＴＶカメラ１０５により得られた画像信号をディジタル信号に変換するＡ／Ｄ変換器１０７と、された画像信号の内、欠陥画素の画像信号を補正する欠陥画素補正処理装置１０９と、欠陥画素補正処理装置１０９により補正された画像信号および正常画素の画像信号をアナログ信号に変換するＤ／Ａ変換器１１１と、Ｄ／Ａ変換器１１１によりアナログ信号に変換された画像信号を表示するモニタ１１３と、欠陥画素補正処理装置１０９により欠陥画素の値が補正された画像信号を用いてしきい値処理等の画像処理を行う画像処理装置１１５とを有する。
【０００４】
ここでＴＶカメラ１０５に用いられるＣＣＤに発生する欠陥画素の特性は様々であるため、欠陥画素補正処理装置１０９では、その特性に応じた補正処理方法により補正を行っている。この欠陥画素補正処理方法の代表例を以下に説明する。
【０００５】
画像上で周囲の画素よりもわずかに白っぽく浮き出て見える白色の欠陥画素（白点欠陥、白線欠陥、白点欠陥群等）は、ＣＣＤに発生する暗電流が原因の欠陥である。これは、欠陥画素に発生する暗電流分のレベルだけ周囲の画素より画像信号がわずかに大きくなるために起こる。この暗電流は入射光量に依存せず一定となる特徴を有する。このため、予め所定の入射光量時、具体的にはカメラに光を入射させない状態で撮像したときの暗電流を測定しておき、その値を撮像したＸ線画像信号からリアルタイムで差し引く方法が試みられており、良好な結果が得られている。
【０００６】
また、暗電流が極端に大きく画素が白色に飽和してしまった場合（画素の電荷が飽和した場合）、その画素の情報が完全に失われているため、前記の減算処理による欠陥画素補正の効果は望めず、欠陥画素の周辺画素を利用した画素置換法または補間処理法が行われている。
【０００７】
さらに、周囲の画素に比べて極端に黒く見える黒色の欠陥画素（黒点欠陥、黒点欠陥群）は、ＣＣＤ製造過程において、チップ上にごみ等が付着し、入射光が遮られるために発生する欠陥である。この欠陥画素も前記の飽和した白色の欠陥画素と同様にその画素の情報が含まれていない画素であるため、欠陥画素の周辺画素を利用して画素置換法または補間処理法が試みられている。
【０００８】
画素置換法としては、欠陥画素に隣接する正常画素を欠陥画素に置き換える隣接画素置換法や近隣の画像信号の中間値で置換するメディアンフィルタ処理法が試みられている。
【０００９】
また、欠陥画素を近隣の画素より補間を行う補間処理法としては、共１次内挿法や高次補間処理（スプライン補間、ラグランジェ補間、ＳＩＮＣ関数）等が行われている。
【００１０】
【発明が解決しようとする課題】
しかしながら、前述した補正処理方法では、滑らかな画素分布（淡いコントラスト）を有する領域に対しては有効な処理であるが、画像信号が大きく変化する領域（コントラストが極端に強い領域）では、その補正跡が明瞭に確認される場合がある。例えば、上部消化管検査において、被検体に入れられたバリュウムによる像と背景像との境界、胃のヒダ等の部分では、補正跡が明瞭に見えてしまう。このように補正が良好にできない理由は次のように説明できる。
【００１１】
隣接画素置換法では、図１９（ａ）に示すように１列目の画素列と２列目の画素列でコントラストが急激に変化する場合に、２列目の画素列で欠陥画素があるとき、これを明るい領域の画素（１列目の画素）で補間すると、欠陥画素の画像信号は本来１０と予想されるが、図１９（ｂ）に示すように置換後の画像信号は１００となり、補正跡が明瞭に確認できてしまう。
【００１２】
メディアン処理では、用いる関心領域（ＲＯＩ）内に複数の欠陥画素がある場合等では選択されるメディアン値が欠陥画素である確率が高まり、欠陥画素を欠陥画素で置換するという現象が発生する場合がある。例えば、図２０に示す例で、画像信号９０の画素が欠陥画素である場合、その行の画像信号でメディアン処理を行うと、画像信号１００，９０，５０の内、中間値の画像信号、即ち２番目に大きい値の画像信号がメディアン値となる。この場合、メディアン値は、欠陥画素の画像信号値９０となり、欠陥画素の画像信号がそのままその画素の画像信号となり、全く処理しない場合と同一となる。
【００１３】
共１次内挿法では、水平または垂直方向に伸びる被写体に対応する領域の欠陥画素に対しては、被写体の情報が全く含まれていない画素で欠陥画素を補間することになり、不適切な補間となる。例えば図２１（ａ）に示す例で、被写体が垂直方向に伸びる細長い物体である場合に、この被写体に対応する領域の画像信号値５の画素が欠陥画素のとき、共１次内挿法では図２１（ｂ）に白丸で示す画素の画像信号を用いて補間するため、図２１（ｃ）に示すように欠陥画素の画像信号が被写体の情報と無関係な値１００に補間されてしまう。
【００１４】
その他の手法に関しても、アルゴリズムが複雑で処理回路の規模が大きくなる割には前記の補間処理法と比較して効果が顕著に現れない。この中でＳＩＮＣ関数による高次元補間処理法では、欠陥画素から離れた画素も考慮して補間処理を行うため、欠陥画素から離れた位置に全く異なる画像信号がある場合にはその情報が補間結果に加えられ、不適当な補間になってしまう。例えば図２２に示す例で、×印で示す画素が欠陥画素である場合、では、白丸で示す画素の画像信号を用いて補間する。しかし、補間に用いる画素の領域が広く、その領域に２つ以上の被写体が含まれる可能性があり、×印で示す部分の被写体とは別の被写体の画像信号で欠陥画素の画像信号を補間する可能性がある。
【００１５】
本発明は、上記課題に鑑みてなされたもので、Ｘ線診断装置、内視鏡装置に搭載される撮像素子の欠陥画素を補正する撮像素子の欠陥画素補正処理装置、及びこの欠陥画素補正処理装置を備えるＸ線診断装置を提供することを目的とする。
【００１６】
【課題を解決するための手段】
上述の課題を解決するために、請求項１に記載の発明によれば、複数の画素を有する撮像素子の欠陥画素の画像信号を補正する撮像素子の欠陥画素補正処理装置であって、
欠陥画素を検出する欠陥画素検出手段と、
欠陥画素をハイレベル、正常画素をローレベルとした正常・欠陥ラベル像を作成し、この正常・欠陥ラベル像を基に所定数の画素群毎の欠陥画素のパターンによる分類を行い、この分類に対応させて前記所定数の画素群毎にラベリングを行う欠陥画素分類手段と、
この欠陥画素分類手段によるラベリングに対応させ、前記欠陥画素に隣接する画素の画像信号を用いて該欠陥画素の画像信号を補間する欠陥画素補正処理手段とを有することを特徴とする撮像素子の欠陥画素補正処理装置をもって解決手段とする。
【００１７】
また、請求項２に記載の発明によれば、複数の画素を有する撮像素子の欠陥画素の画像信号を補正する撮像素子の欠陥画素補正処理装置であって、
欠陥画素を検出する欠陥画素検出手段と、
欠陥画素をハイレベル、正常画素をローレベルとした正常・欠陥ラベル像を作成し、この正常・欠陥ラベル像を基に所定数の画素群毎の欠陥画素のパターンによる分類を行い、この分類に対応させて前記所定数の画素群毎にラベリングを行う欠陥画素分類手段と、
前記欠陥分類手段によるラベリングに対応した補正係数を前記所定数の画素群毎に発生する補正係数発生部と、
前記欠陥分類手段によるラベリングに対応させ、前記所定数の画素群毎に欠陥画素を除き欠陥画素と隣接した画素の画像信号と、前記補正係数発生部により発生された補正係数とを用いて欠陥画素の画像信号を補間する欠陥画素補正処理手段とを有することを特徴とする撮像素子の欠陥画素補正処理装置をもって解決手段とする。
【００１８】
また、請求項３に記載の発明によれば、被検体に対してＸ線を曝射するＸ線源と、
被検体を透過したＸ線を検出し画像信号を出力する複数の画素を有する撮像手段と、
この撮像手段における欠陥画素を検出する欠陥画素検出手段と、
欠陥画素をハイレベル、正常画素をローレベルとした正常・欠陥ラベル像を作成し、この正常・欠陥ラベル像を基に所定数の画素群毎の欠陥画素のパターンによる分類を行い、この分類に対応させて前記所定数の画素群毎にラベリングを行う欠陥画素分類手段と、
この欠陥画素分類手段によるラベリングに対応させ、前記欠陥画素に隣接する画素の画像信号を用いて該欠陥画素の画像信号を補間する欠陥画素補正処理手段と、
この欠陥画素補正処理手段にて補正された画像信号を表示する表示手段とを有することを特徴とするＸ線診断装置をもって解決手段とする。
【００１９】
また、請求項４に記載の発明によれば、被検体に対してＸ線を曝射するＸ線源と、
被検体を透過したＸ線を検出し画像信号を出力する複数の画素を有する撮像手段と、
この撮像手段における欠陥画素を検出する欠陥画素検出手段と、
欠陥画素をハイレベル、正常画素をローレベルとした正常・欠陥ラベル像を作成し、この正常・欠陥ラベル像を基に所定数の画素群毎の欠陥画素のパターンによる分類を行い、この分類に対応させて前記所定数の画素群毎にラベリングを行う欠陥画素分類手段と、
前記欠陥分類手段によるラベリングに対応した補正係数を前記所定数の画素群毎に発生する補正係数発生部と、
前記欠陥分類手段によるラベリングに対応させ、前記所定数の画素群毎に欠陥画素を除き欠陥画素と隣接した画素の画像信号と、前記補正係数発生部により発生された補正係数とを用いて欠陥画素の画像信号を補間する欠陥画素補正処理手段と、
この欠陥画素補正処理手段にて補正された画像信号を表示する表示手段とを有することを特徴とするＸ線診断装置をもって解決手段とする。
【００２０】
【発明の実施の形態】
以下、本発明に係る実施の形態を図面を参照して説明する。本実施形態の撮像素子の欠陥画素補正処理装置は、従来と同様、例えば図１８に示すようにＸ線診断装置１００内に設けられ、被検体Ｐを通過したＸ線を基に変換された光学像をＴＶカメラ１０５により撮像して得られた画像信号の内、欠陥画素の画像信号を補間する。
【００２１】
特に、本実施形態では、ＴＶカメラ１０５に使用されるＣＣＤの欠陥画素を検出し、この検出結果を基に欠陥画素と正常画素とに分けた正常・欠陥ラベル像を作成し、さらに正常・欠陥ラベル像を基に欠陥画素をそのパターンにより分類したラベリング像を作成する。そして、このラベリング像を基に、欠陥画素を除き、欠陥画素と隣接した画素の画像信号（画素値）を用いて欠陥画素の画像信号を補間するようにしている。
【００２２】
図１は本発明に係る撮像素子の欠陥画素補正処理装置の一実施形態を示したブロック図である。
図１に示すように、本実施形態の撮像素子の欠陥画素補正処理装置１０は、スイッチ１１と、欠陥画素検出手段と欠陥画素分類手段としての欠陥画素検出部１３と、補正データＲＯＭ１５と、補正係数発生部１７と、バッファメモリ１９と、欠陥画素補正処理手段としての欠陥画素補正処理部２１とを有している。
【００２３】
スイッチ１１は、図１８に示すＡ／Ｄ変換器１０７によりディジタル信号に変換された画像信号の供給先を欠陥画素検出部１３側（端子Ｂ）もしくはバッファメモリ１９側（端子Ａ）に切り換える。尚、この切り換えは図示しない制御手段により行われる。
【００２４】
欠陥画素検出部１３は、図２に示すように、フレーム加算処理器２３と、ローパスフィルタ処理器（ＬＰＦ処理器）２５と、減算器２７と、正常／欠陥画素の分離器２９と、欠陥画素の分類器３１とを有し、欠陥画素を検出してその分類を行う。
【００２５】
フレーム加算処理器２３は、Ａ／Ｄ変換器１０７からスイッチ１１を介して供給される任意の数フレームの画像信号を加算することにより、画像信号中のノイズ成分を除去する。
【００２６】
ＬＰＦ処理器２５は、フレーム加算器２３によりノイズ成分の除去された画像信号中の空間的な高周波成分、即ち欠陥画素により生じる急峻な変化をローパスフィルタ処理することにより除去して空間的に低周波成分のみにする。
【００２７】
減算器２７は、フレーム加算器２３によりノイズ成分の除去された画像信号とＬＰＦ処理器２５により空間的に低周波成分のみにされた画像信号との差分を求めて欠陥画素のみを抽出する。
【００２８】
正常／欠陥画素の分離器２９は、減算器２７により抽出された欠陥画素を「１」それ以外の正常画素を「０」とした正常・欠陥ラベル像を作成する。例えば、減算器２７により、図３（ａ）に示す×印の画素が欠陥画素として抽出された場合、正常／欠陥画素の分離器２９は、×印の欠陥画素を「１」、それ以外を「０」とした図３（ｂ）に示すような正常・欠陥ラベル像を作成する。
【００２９】
欠陥画素の分類器３１は、正常／欠陥画素の分離器２９により作成された正常・欠陥ラベル像を基に、欠陥画素をさらに種類分けし、その種類に対応させてさらにラベリングを行う。
【００３０】
このラベリングの方法としては、所定のＲＯＩ、例えば図４に示すように３×３の画素群毎に欠陥画素に隣接する画素を調べ、図４（ａ）に示すように「１」の数が０個の場合は孤立点欠陥、図４（ｂ）に示すように「１」の数が１個の場合は２連続点欠陥、図４（ｃ）に示すように「１」の数が２個の場合はライン欠陥または点欠陥群、図４（ｄ）に示すように「１」の数が３個以上の場合は点欠陥群と分類し、これらの種類に対応させてラベリングするというものである。
【００３１】
この具体的方法として、前記ＲＯＩの欠陥画素に隣接する各画素の名称を図５に示すように１行１列目から順にＩ１１，Ｉ１２，Ｉ１３，Ｉ２１，Ｉ２３，Ｉ３１，Ｉ３２，１３３とすると、隣接画素の合計値ＳＵＭ（＝Ｉ１１＋Ｉ１２＋Ｉ１３＋Ｉ２１＋Ｉ２３＋Ｉ３１＋Ｉ３２＋１３３）を求め、ＳＵＭ＝０の場合は孤立点欠陥、ＳＵＭ＝１の場合は２連続点欠陥、ＳＵＭ＝２の場合はライン欠陥または点欠陥群、ＳＵＭ≧３の場合は点欠陥群と分類する。
【００３２】
さらに、２連続点欠陥（ＳＵＭ＝２）の場合は、図６（ａ）〜（ｈ）に示すように８種類の型（ｔｙｐｅ）に分類できる。この分類法は、特定画素を除く隣接画素の合計を調べて次のように分類する。
【００３３】
【数１】

また、ＳＵＭ≧２の場合はほとんどが図６（ｉ），（ｊ）に示すライン欠陥（ＣＣＤ内で電荷を水平または垂直方向に転送する際に起きる転送不良の欠陥）であり、それ以外の欠陥パターンは他の欠陥パターンと比較して発生する確率が非常に低く、これを補正する回路を設けることは無駄である。言い換えれば、点欠陥群があるＣＣＤは品質としては低い製品であるため、ＴＶカメラ１０５用のＣＣＤとして使用することができないと考えて良い。
【００３４】
ライン欠陥の分類法は、２連続点欠陥の場合と同様に特定画素を除く隣接画素の合計を調べて次のように分類する。
【００３５】
【数２】

また、前述の分類法は正常・欠陥ラベル像を用いて欠陥画素に隣接する画素のラベルの合計より分類したが、隣接画素をＩ１１，Ｉ１２，Ｉ１３，…の順に調べ、「１」の個数をカウントする方法でも可能である。
【００３６】
そして、前述のように分類された欠陥画素に対し、ラベリングを行い、それらを合わせることにより欠陥画素のラベリング像を作成する。例えば図７（ａ）に示すように孤立点欠陥は２、図７（ｂ）に示すように２連続点欠陥のｔｙｐｅ１は３、図７（ｃ）に示すように２連続点欠陥のｔｙｐｅ２は４、図７（ｄ）に示すように２連続点欠陥のｔｙｐｅ３は５、図７（ｅ）に示すように２連続点欠陥のｔｙｐｅ４は６、図７（ｆ）に示すように２連続点欠陥のｔｙｐｅ５は７、図７（ｇ）に示すように２連続点欠陥のｔｙｐｅ６は８、図７（ｈ）に示すように２連続点欠陥のｔｙｐｅ７は９、図７（ｉ）に示すように２連続点欠陥のｔｙｐｅ８は１０、図７（ｊ）に示すようにライン欠陥のｔｙｐｅ９は１１、図７（ｋ）に示すようにライン欠陥のｔｙｐｅ１０は１２、図７（ｌ）に示すように点欠陥群は１３とする。
【００３７】
補正データＲＯＭ１５は、欠陥画素の分類器３１により作成されたラベリング像を記憶する。また、補正データＲＯＭ１５は、通常のＸ線撮影またはＸ線透視の場合に欠陥画素を補間する際、前記記憶したラベリング像を補正係数発生部１７に対して出力する。
【００３８】
補正係数発生部１７は、補正データＲＯＭ１５から出力されるラベリング像に対応させ、欠陥画素補正処理部２１により欠陥画素を補間する際の重みを補正係数として発生する。ここで、最も簡単な方法としては補間に用いる画素全てに同じ重みを付ける、即ち、隣接する正常画素の平均値で欠陥画素を補間させる。
【００３９】
例えば、図８（ａ）に示すように孤立点欠陥の場合、隣接する正常画素全てについて重み０．１２５とし、図８（ｂ）〜（ｉ）に示すように２連続点欠陥の場合、隣接する正常画素全てについて重み０．１４２８５７とし、図８（ｊ），（ｋ）に示すようにライン欠陥の場合、隣接する正常画素全てについて重み０．１６６６６７とする。
【００４０】
また、欠陥画素の上下左右隣までの距離と斜め４隅の画素までの距離とでは前者の方が小さく、欠陥画素の特性により近いという考えから、重みの値を距離に反比例（逆比）する大きさとしても良い。この場合、例えば図９（ａ）に示すように孤立点欠陥の場合、上下左右の隣接画素は０．１０３５５３、斜め方向の隣接画素は重み０．１４６４４５とし、図９（ｂ），（ｄ），（ｆ），（ｈ）に示すように２連続点欠陥のｔｙｐｅ１，３，５，７の場合、上下左右の隣接画素は重み０．１６３３６３、斜め方向の隣接画素は重み０．１１５５１５とし、図９（ｃ），（ｅ），（ｇ），（ｉ）に示すように２連続点欠陥のｔｙｐｅ２，４，６，８の場合、上下左右の隣接画素は重み０．１７１５７３、斜め方向の隣接画素は重み０．１２１３２とし、図９（ｊ），（ｋ）に示すようにライン欠陥の場合、上下左右の隣接画素は重み０．２０７１０７、斜め方向の隣接画素は重み０．１４６４４７とする。また、図８、９において、太枠内の画素は欠陥画素を表し、その中の＊印のある画素は補間対象となる画素である。補間対象外の欠陥画素の補間係数は０とする。
【００４１】
バッファメモリ１９は、垂直方向のタイミングを合わせる目的で用いられ、画像信号を２ライン以上保存できる容量を有し、かつ、複数ラインの画像信号を同時に出力できる構造になっている。例えば、３ライン同時に出力する場合、図１０に示すように、１ライン毎に画像信号を書き込む４つのラインメモリＬＭ１〜ＬＭ４と３ライン同時に読み出すためのマルチプレクサＭＰとから成る。
【００４２】
ここで、３ライン同時に出力する場合の動作例を図１１のタイミングチャートを用いて説明する。ライン番号１，２，３のライン画像信号はラインメモリＬＭ１，ＬＭ２，ＬＭ３の順に書き込まれる（タイミングチャートＷ１，Ｗ２，Ｗ３）。次いでライン番号４のライン画像信号がラインメモリＬＭ４に書き込まれると同時に（タイミングチャートＷ４）、ラインメモリＬＭ１，ＬＭ２，ＬＭ３からライン番号１，２，３のライン画像信号が同時に出力される（タイミングチャートＲ１，Ｒ２，Ｒ３）。次いで、ライン番号５のライン画像信号がラインメモリＬＭ１に書き込まれると同時に（タイミングチャートＷ５）、ラインメモリＬＭ２，ＬＭ３，ＬＭ４からライン番号２，３，４のライン画像信号が同時に出力される（タイミングチャートＲ２，Ｒ３，Ｒ４）。以降、同様にして動作する。
【００４３】
欠陥画素補正処理部２１は、図１２に示すようにバッファメモリ１９から出力されたライン画像信号と補正係数発生部１７から発生された補正係数との乗算を行う乗算器３３−１１ ，３３−１２ ，…，３３−ｎｍ と、乗算器３３−１１ ，３３−１２ ，…，３３−ｎｍ と、乗算器３３−１１ ，３３−１２ ，…，３３−ｎｍ と、乗算器３３−１１ ，３３−１２ ，…，３３−ｎｍ により乗算された結果を所定の画素数（前記ＲＯＩ内の正常画素の数）分だけ加算し、欠陥画素の画像信号として出力する水平・垂直加算処理部３５とを有する。
【００４４】
例えば、３×３のＲＯＩ内の画素を使って欠陥画素の補間処理を行う場合、欠陥画素補正処理部２１は、図１３に示すように９つの乗算器３３−１１ ，３３−１２ ，３３−１３ ，３３−２１ ，３３−２２ ，３３−２３ ，３３−３１ ，３３−３２ ，３３−３３ と、水平方向と垂直方向野タイミングを合わせるための３つのラッチ３７−１，３７−２３７−３と、各ライン毎に３つのデータを加算するための各ライン２つ（合計６つ）の加算器３９−１，４１−１，３９−２，４１−２，３９−３，４１−３と、１ライン目と２ライン目の加算データを加算する加算器４３と、１ライン目と２ライン目の加算データを加算器４３により加算している間、３ライン目の加算データをラッチするラッチ４５と、加算器４３により加算されたデータに３ライン目の加算データをさらに加算する加算器４７とを有する。このラッチ３７−１，３７−２，３７−３と、加算器３７−１，３９−１，３７−２，３９−２，３７−３，３９−３と、加算器４３と、ラッチ４５と、加算器４７とにより水平・垂直加算処理部３５を構成する。
【００４５】
ここで、３×３のＲＯＩ内の画素を使って欠陥画素の補間処理を行う場合の欠陥画素補正処理部２１の動作例を図１４に示すタイミングチャートを用いて説明する。尚、このとき図１５に示すように１番目（１行目）の１ライン目の画像信号をＰ１１、１番目の２ライン目の画像信号をＰ１２、…として説明する。また、欠陥画素補正処理部２１は、図示しない制御手段から送信されるクロックに対応して動作する。
【００４６】
まず、クロックＣ１で最初のＲＯＩの１番目の画像信号Ｐ１１，Ｐ２１，Ｐ３１が各ラインの乗算器３３−１１ ，３３−２１ ，３３−３１ に入力される。
次いでクロックＣ２で最初のＲＯＩの２番目の画像信号Ｐ１２，Ｐ２２，Ｐ３２が各ラインの乗算器３３−１２ ，３３−２２ ，３３−３２ に入力される。この時、乗算器３３−１１ ，３３−２１ ，３３−３１ には最初のＲＯＩの１番目の画像信号が入力されている。
【００４７】
次いでロックＣ３で最初のＲＯＩの３番目の画像信号Ｐ１３，Ｐ２３，Ｐ３３が各ラインの乗算器３３−１３ ，３３−２３ ，３３−３３ に入力される。この時、乗算器３３−１１ ，３３−２１ ，３３−３１ には最初のＲＯＩの１番目の画像信号が入力され、乗算器３３−１２ ，３３−２２ ，３３−３２ には最初のＲＯＩの２番目の画像信号が入力されている。
【００４８】
次いでクロックＣ４で１番目の補正係数が各ライン毎に補正係数発生部１７から入力されると共に乗算器３３−１１ ，３３−２１ ，３３−３１ に次のＲＯＩの１番目の画像信号Ｐ１４，Ｐ２４，Ｐ３４が入力される。この時、乗算器３３−１２ ，３３−２２ ，３３−３２ には最初のＲＯＩの２番目の画像信号が入力され、乗算器３３−１３ ，３３−２３ ，３３−３３ には最初のＲＯＩの３番目の画像信号が入力されている。
【００４９】
次いでクロックＣ５で２番目の補正係数が各ライン毎に補正係数発生部１７から入力されると共に乗算器３３−１２ ，３３−２２ ，３３−３２ に次のＲＯＩの２番目の画像信号Ｐ１５，Ｐ２５，Ｐ３５が入力される。この時、乗算器３３−１１ ，３３−２１ ，３３−３１ には次のＲＯＩの１番目の画像信号が入力され、乗算器３３−１３ ，３３−２３ ，３３−３３ には最初のＲＯＩの３番目の画像信号が入力されている。
【００５０】
次いでクロックＣ６で３番目の補正係数が各ライン毎に補正係数発生部１７から入力されると共に乗算器３３−１３ ，３３−２３ ，３３−３３ に次のＲＯＩの３番目の画像信号Ｐ１６，Ｐ２６，Ｐ３６が入力される。この時、乗算器３３−１１ ，３３−２１ ，３３−３１ には次のＲＯＩの１番目の画像信号が入力され、乗算器３３−１２ ，３３−２２ ，３３−３２ には次のＲＯＩの２番目の画像信号が入力されている。
【００５１】
そしてクロックＣ７で最初のＲＯＩの水平・垂直加算処理の結果Ｄ１が出力される。以降、同様にして動作する。
【００５２】
尚、撮像素子の欠陥画素補正処理装置１０の回路規模が制限されている場合等の理由で乗算器３３−１１ ，３３−１２ ，３３−１３ ，３３−２１ ，３３−２２ ，３３−２３ ，３３−３１ ，３３−３２ ，３３−３３ を使うことができない場合には、図１６に示すように乗算器３３−１１ ，３３−１２ ，３３−１３ ，３３−２１ ，３３−２２ ，３３−２３ ，３３−３１ ，３３−３２ ，３３−３３ の代わりに、画像信号と補正係数を入力し、これらの値に対応する乗算結果を出力するＲＯＭ、即ちルックアップテーブル（ＬＵＴ）４９−１，４９−２，…，４９−ｎ（ｎ＝ライン数）を設置するようにしても良い。
【００５３】
次に、本実施形態の撮像素子の欠陥画素補正処理装置１０の動作を説明する。まず、ＴＶカメラ１０５に使用されているＣＣＤの欠陥画素を検出するため、スイッチ１１を端子Ｂ側に切り換えた後、被検体の無い状態でＴＶカメラ１０５により撮像して画像信号を得る。このＴＶカメラ１０５により得られた画像信号はＡ／Ｄ変換器１０７によりディジタル信号に変換され、スイッチ１１を介して欠陥画素検出部１３に供給される。
【００５４】
ディジタル信号に変換された画像信号が供給されると欠陥画素検出部１３では、フレーム加算処理器２３により任意の数フレームの画像信号が加算されてノイズ成分が除去され、ＬＰＦ処理器２５により空間的に低周波成分のみにされる。そして、フレーム加算器２３によりノイズ成分の除去された画像信号とＬＰＦ処理器２５により空間的に低周波成分のみにされた画像信号との差分が減算器２７により求められて欠陥画素が抽出される。
【００５５】
そして、抽出された欠陥画素を「１」それ以外の正常画素を「０」とした正常・欠陥ラベル像が欠陥画素の分離器２９により作成され、さらに、この正常・欠陥ラベル像を基に欠陥画素がＲＯＩ（例えば３×３の画素群）毎に種類分けされ、その種類に対応させたラベリングが欠陥画素の検出器３１により行われる。そしてこのラベリングによりえら得たラベリング像は一端補正データＲＯＭ１５に記憶される。以降、この補正データＲＯＭ１５に記憶されているラベリング像を基に欠陥画素の補正処理が欠陥画素補正処理部２１により行われる。尚、この欠陥画素の検出動作は撮像素子の欠陥画素補正処理装置１０を製造する際にまず行われ、以降、ＣＣＤの経年変化による劣化のため、新たに発生した欠陥画素を補間する目的で補正データＲＯＭ１５を書き換える場合等に行われる。
【００５６】
この状態で、スイッチ１１を図示しない制御手段により端子Ａ側に切り換えさせて通常のＸ線撮影またはＸ線透視を行う。
通常のＸ線撮影またはＸ線透視が行われると、補正データＲＯＭ１５により記憶されているラベリング像が補正係数発生部１７に供給され、このラベリング像に対応する補正係数が補正係数発生部１７から欠陥画素補正処理部２１に対して出力される。
【００５７】
欠陥画素補正処理部２１では補正係数発生部１７から出力される補正係数とそれに対応する画像信号を乗算し、その結果をＲＯＩ内の画素数分加算したものを欠陥画素の値とする。この動作をラベリング像に対応する欠陥画素を有するＲＯＩ全てについて行い、欠陥画素の画像信号を補間する。
【００５８】
この補間された画像信号はＤ／Ａ変換器１１１によりアナログ信号に変換されて正常画素の画像信号と共にモニタ１１３に表示される。また、しきい値処理等の画像処理を行う場合は画像処理装置１１５に前記補間された画像信号が供給される。
【００５９】
このように、本実施形態の撮像素子の欠陥画素補正処理装置１０は、ＣＣＤの欠陥画素を検出し、この検出結果を基に欠陥画素と正常画素とに分けた正常・欠陥ラベル像を作成し、さらに正常・欠陥ラベル像を基に欠陥画素をそのパターンにより分類したラベリング像を作成し、そして、このラベリング像を基に、欠陥画素を除き、欠陥画素と隣接した画素の画像信号を用いて欠陥画素の画像信号を補間するようにしているので、欠陥画素の画像信号を適切に補正することができる。
【００６０】
また、本実施形態の撮像素子の欠陥画素補正処理装置１０は、欠陥画素と隣接する正常画素のみで補間するので、他の欠陥画素の影響および遠方の画素の影響を小さくすることができ、補間跡が目立たなくなる。
さらに、本実施形態の撮像素子の欠陥画素補正処理装置１０は、検出された欠陥画素から正常・欠陥ラベル像を作成し、これを基に欠陥画素を分類してラベリングするようにしているので、ラベリングが効果的に行える。
【００６１】
尚、本実施形態の撮像素子の欠陥画素補正処理装置１０では、フレーム加算処理器２３と、ＬＰＦ処理器２５と、減算器２７と、正常／欠陥画素の分離器２９と、欠陥画素の分類器３１とから欠陥画素検出部１３が構成されているが、回路規模が制限されている場合等は、欠陥画素検出部１３と同等の機能を有するソフトウェアまたはハードウェアを用いるようにしても良い。この場合、図１に示す撮像素子の欠陥画素補正処理装置１０から図１７に示すように欠陥画素検出部１３を除いた構成とし、前記ソフトウェアまたはハードウェアから直接ラベリング像を補正データＲＯＭ１５に記憶させるようにする。
【００６２】
また、本実施形態の撮像素子の欠陥画素補正処理装置１０では、ＴＶカメラ１０５に使用されているＣＣＤの欠陥画素を補間する場合を例にして説明したが、本発明はこれに限定されることなく、他の撮像素子、例えばＭＯＳ型撮像素子の欠陥画素を補間する場合にも適用することができる。
【００６３】
さらに、本実施形態の撮像素子の欠陥画素補正処理装置１０では、３×３の画素群のＲＯＩを用いて補間処理等を行っているが、本発明はこれに限定されることなく、他の画素群のＲＯＩを用いても良い。
【００６４】
さらに、本実施形態の撮像素子の欠陥画素補正処理装置１０では、Ｘ線診断装置１００に搭載されるＴＶカメラ１０５のＣＣＤの欠陥画素を補間する場合を例にして説明したが、本発明はこれに限定されることなく、内視鏡装置に使用され撮像素子の欠陥画素を補間する場合等、いずれの装置に使用される撮像素子についても適用することができる。
【００６５】
【発明の効果】
以上説明したように本発明によれば、欠陥画素を検出した結果に基づき欠陥画素の分類を行い、この分類結果に応じて欠陥画素に隣接した画素の画素信号を用いて欠陥画素の画素信号を補間するようにしているので、欠陥画素の画素信号を適切に補正することができる。
【図面の簡単な説明】
【図１】本発明に係る撮像素子の欠陥画素補正処理装置の一実施形態を示したブロック図である。
【図２】図１に示した撮像素子の欠陥画素補正処理装置の欠陥画素検出部を示したブロック図である。
【図３】正常／欠陥画素の分離器により抽出された欠陥画素と正常／欠陥ラベル像を示した図である。
【図４】所定のＲＯＩ（３×３画素）内での欠陥画素の分類例を示した図である。
【図５】ラベリングを説明する際に用いるＲＯＩ（３×３画素）内の画素の名称を示した図である。
【図６】所定のＲＯＩ（３×３画素）内での欠陥画素を１０のｔｙｐｅに分けた分類例を示した図である。
【図７】図６に示した欠陥画素のｔｙｐｅ別にラベリングした場合の例を示した図である。
【図８】図６に示した欠陥画素のｔｙｐｅ別に補正係数（単純平均）を示した図である。
【図９】図６に示した欠陥画素のｔｙｐｅ別に補正係数（距離の逆比）を示した図である。
【図１０】図１に示した撮像素子の欠陥画素補正処理装置のバッファメモリを示したブロック図である。
【図１１】バッファメモリの３ライン同時に出力する場合の動作タイミング示したタイミングチャートである。
【図１２】図１に示した撮像素子の欠陥画素補正処理装置の欠陥画素補正処理部を示したブロック図である。
【図１３】３×３のＲＯＩ内の画素を使って欠陥画素の補正処理を行う場合、欠陥画素補正処理部を示したブロック図である。
【図１４】３×３のＲＯＩ内の画素を使って欠陥画素の補正処理を行う場合の欠陥画素補正処理部の動作タイミングを示すブロック図である。
【図１５】図１４に示す動作タイミングを説明するために用いる画素の名称を示す図である。
【図１６】欠陥画素補正処理部の他の構成を示す図である。
【図１７】欠陥画素検出部をハードウェアもしくはソフトウェアに置き換えた場合の本発明に係る撮像素子の欠陥画素補正処理装置を示したブロック図である。
【図１８】ＴＶカメラと欠陥画素補正処理装置を搭載したＸ線診断装置の概略の構成を示すブロック図である。
【図１９】隣接画素置換法による置換前後の画像信号値を示す図である。
【図２０】メディアン処理による置換前後の画像信号値を示す図である。
【図２１】共１次内挿法による補間前の画像信号値を示す図と、共１次内挿法で用いる画素を示す図と、共１次内挿法による補間後の画像信号値を示す図である。
【図２２】ＳＩＮＣ関数による高次元補間処理に用いる画素を示す図である。
【符号の説明】
１０ 撮像素子の欠陥画素補正処理装置
１１ スイッチ
１３ 欠陥画素検出部
１５ 補正データＲＯＭ
１７ 補正係数発生部
１９ バッファメモリ
２１ 欠陥画素補正処理部
２３ フレーム加算処理器
２５ ＬＰＦ処理器
２７ 減算器
２９ 正常／欠陥画素の分離器
３１ 欠陥画素の分類器
３３−１１ ，３３−１２ ，３３−１３ ，３３−２１ ，３３−２２ ，３３−２３ ，３３−３１ ，３３−３２ ，３３−３３ ３３ 減算器
３５ 水平・垂直加算処理部
３７−１，３７−２３７−３，４５ ラッチ
３９−１，４１−１，３９−２，４１−２，３９−３，４１−３，４３，４７ 加算器
ＬＭ ラインメモリ
ＭＰ マルチプレクサ
Ｐ 被検体

Claims (4)

1. 複数の画素を有する撮像素子の欠陥画素の画像信号を補正する撮像素子の欠陥画素補正処理装置であって、
   欠陥画素を検出する欠陥画素検出手段と、
   欠陥画素をハイレベル、正常画素をローレベルとした正常・欠陥ラベル像を作成し、この正常・欠陥ラベル像を基に所定数の画素群毎の欠陥画素のパターンによる分類を行い、この分類に対応させて前記所定数の画素群毎にラベリングを行う欠陥画素分類手段と、
   この欠陥画素分類手段によるラベリングに対応させ、前記欠陥画素に隣接する画素の画像信号を用いて該欠陥画素の画像信号を補間する欠陥画素補正処理手段とを有することを特徴とする撮像素子の欠陥画素補正処理装置。
2. 複数の画素を有する撮像素子の欠陥画素の画像信号を補正する撮像素子の欠陥画素補正処理装置であって、
   欠陥画素を検出する欠陥画素検出手段と、
   欠陥画素をハイレベル、正常画素をローレベルとした正常・欠陥ラベル像を作成し、この正常・欠陥ラベル像を基に所定数の画素群毎の欠陥画素のパターンによる分類を行い、この分類に対応させて前記所定数の画素群毎にラベリングを行う欠陥画素分類手段と、
   前記欠陥分類手段によるラベリングに対応した補正係数を前記所定数の画素群毎に発生する補正係数発生部と、
   前記欠陥分類手段によるラベリングに対応させ、前記所定数の画素群毎に欠陥画素を除き欠陥画素と隣接した画素の画像信号と、前記補正係数発生部により発生された補正係数とを用いて欠陥画素の画像信号を補間する欠陥画素補正処理手段とを有することを特徴とする撮像素子の欠陥画素補正処理装置。
3. 被検体に対してＸ線を曝射するＸ線源と、
   被検体を透過したＸ線を検出し画像信号を出力する複数の画素を有する撮像手段と、
   この撮像手段における欠陥画素を検出する欠陥画素検出手段と、
   欠陥画素をハイレベル、正常画素をローレベルとした正常・欠陥ラベル像を作成し、この正常・欠陥ラベル像を基に所定数の画素群毎の欠陥画素のパターンによる分類を行い、この分類に対応させて前記所定数の画素群毎にラベリングを行う欠陥画素分類手段と、
   この欠陥画素分類手段によるラベリングに対応させ、前記欠陥画素に隣接する画素の画像信号を用いて該欠陥画素の画像信号を補間する欠陥画素補正処理手段と、
   この欠陥画素補正処理手段にて補正された画像信号を表示する表示手段とを有することを特徴とするＸ線診断装置。
4. 被検体に対してＸ線を曝射するＸ線源と、
   被検体を透過したＸ線を検出し画像信号を出力する複数の画素を有する撮像手段と、
   この撮像手段における欠陥画素を検出する欠陥画素検出手段と、
   欠陥画素をハイレベル、正常画素をローレベルとした正常・欠陥ラベル像を作成し、この正常・欠陥ラベル像を基に所定数の画素群毎の欠陥画素のパターンによる分類を行い、この分類に対応させて前記所定数の画素群毎にラベリングを行う欠陥画素分類手段と、
   前記欠陥分類手段によるラベリングに対応した補正係数を前記所定数の画素群毎に発生する補正係数発生部と、
   前記欠陥分類手段によるラベリングに対応させ、前記所定数の画素群毎に欠陥画素を除き欠陥画素と隣接した画素の画像信号と、前記補正係数発生部により発生された補正係数とを用いて欠陥画素の画像信号を補間する欠陥画素補正処理手段と、
   この欠陥画素補正処理手段にて補正された画像信号を表示する表示手段とを有することを特徴とするＸ線診断装置。

Images