JP3865821B2 - ディジタル画像のシーケンスの画像内のノイズの時間的フィルタリングの方法及び装置 - Google Patents
ディジタル画像のシーケンスの画像内のノイズの時間的フィルタリングの方法及び装置 Download PDFInfo
- Publication number
- JP3865821B2 JP3865821B2 JP17146796A JP17146796A JP3865821B2 JP 3865821 B2 JP3865821 B2 JP 3865821B2 JP 17146796 A JP17146796 A JP 17146796A JP 17146796 A JP17146796 A JP 17146796A JP 3865821 B2 JP3865821 B2 JP 3865821B2
- Authority
- JP
- Japan
- Prior art keywords
- causal
- sample
- noisy
- current
- filtered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- JVIFKZMSJPIYJV-UHFFFAOYSA-N C[O](CC1)C1N Chemical compound C[O](CC1)C1N JVIFKZMSJPIYJV-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
- G06T2207/10121—Fluoroscopy
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Picture Signal Circuits (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、ディジタル画像のシーケンスの画像内のノイズの時間的フィルタリングの方法と、その方法を実行する装置とに関する。
本発明は、特に、X線ビームが低い明暗度を有し、ディテールを劣化することなく画像からノイズを除去するためにフィルタリングされるべきノイズ性の低コントラスト画像を生成するシステムを用いて、X線蛍光透視モードで形成された医用画像を処理する際に使用可能である。
【0002】
時間的フィルタリングは、一次元の時間の関数として、所謂、シーケンスの画像内に所定の場所を有する画素の明暗度の値によって形成された時間的信号を平滑化することにより行なわれる。
【0003】
【従来の技術】
時間的フィルタリング方法は、アール イー カルマン(R.E. Kalman) による論文:“線形フィルタリング及び予測問題の新しいアプローチ(A new approach to linear filtering and prediction problems)”、“アメリカ機械学会論文誌”、基礎工学ジャーナル、シリーズ82D、33−45ページ、1960年によって周知である。
【0004】
カルマンフィルタは、アプリオリに作成された仮説の関数、シーケンスの中の前の画像内の同じ場所の画素の明暗度の関数、及び、カルマン利得と呼ばれる係数の関数として、シーケンスの画像の瞬時的な画素のフィルタリングされた明暗度を生成する帰納的な式によって定義される。
上記式は二つの帰納的なアルゴリズムを生成する。二つの画像の間に僅かな動きが生じると即座に、上記動きによって、平滑化されるべき時間的な信号の曲線に現れ、明暗度不連続点と呼ばれる立ち上がり又は立ち下がりエッジが発生するという問題が存在する。
【0005】
第1のアルゴリズムの場合、カルマン利得は完全に一定であるよう選択され;これは、動きによって誘起された明暗度の不連続点に影響を与える指数関数的な縞(ストリーキング)を発生させる。かくして、明暗度信号に段差を生じさせるノイズ性の元画像内の小さい対象物、例えば、素早く移動させ得るカテーテルは、段差の側面がフィルタリングによって変形されるので、フィルタリングされた画像から消える可能性がある。上記アルゴリズムは小さい対象物を消去する。
【0006】
第2のアルゴリズムの場合、カルマン利得は、所定の時点で所定の場所を占める画素に対し観察されたノイズ性の明暗度と、前の時点でフィルタリングされた明暗度との差の関数である。その結果として、時間的信号は、不連続点の前で平滑化されるが、しかし、明暗度の不連続点の後でフィルタリングされることがないので、残留ノイズが明暗度の不連続点のエッジの後ろに存在する。
【0007】
【発明が解決しようとする課題】
従って、周知の時間的フィルタリング方法は、動いている小さい対象物を表わす非常にノイズの多い画像の系列に効果的に適用できないという欠点がある。
かくして、周知の時間的フィルタリング法は、例えば、カテーテルのような非常に小さい径の器具が観察される領域内で挿入又は移動されている間に医学的な手術を実時間で追跡するため実行されたX線蛍光透視モードで得られた画像のシーケンスに、時間的フィルタリング法が適用されたとき生じる幾つかの主要な問題を解決しない。
【0008】
第1の問題は、蛍光透視法のX線ビームの非常に低い明暗度に起因して、シーケンスの画像は非常に多くのノイズを含み、屡々、ノイズのピークを含むことである。
第2の問題は、シーケンスの各画像が短い時間的ギャップによって次の画像から分離されているので、カテーテルのような小さい器具の移動のような重要な事象が、画像と別の画像の間に生じ得ることである。小さい対象物の動きが出現する画像のフィルタリング対象物を歪め、又は、消すことは許されない。
【0009】
本発明の目的は、
− 厳密に実時間的に実行され、即ち、観察された瞬時的な画像の出現の直後に、画像遅延を伴うことなく、かつ、シーケンス内の画像レートとは無関係にフィルタリングされた瞬時的な画像を出力し、
− 時間的明暗度信号の不連続性エッジの後で、不連続性エッジを弱めることなく残留ノイズを低減し、
− ノイズピークを低減することが可能であり、
− 動いている小さい対象物を消去又は歪めることなく、
ディジタル化された画像のシーケンスの連続する画像内のノイズを低減する時間的フィルタリング方法を提供することである。
【0010】
【課題を解決するための手段】
上記目的は、ディジタル化されたサンプルと呼ばれるノイズ性の明暗度の値を有する画素の2次元マトリックスの形で画像のシーケンスの一部を形成する現在の画像と呼ばれる画像内のノイズの時間的フィルタリング方法であって:
上記現在の画像の所定の場所の画素に対応するノイズ性のサンプルを再生するため、重み付けされたノイズ性の因果的なサンプルと呼ばれる上記シーケンス内の現在のノイズ性サンプルと前のサンプルの線形結合によって、現在のフィルタリングされた因果的なサンプルと呼ばれるフィルタリングされたサンプルを評価する段階からなり、
上記重みは、上記重みが割り当てられた該ノイズ性の因果的なサンプルと、値1を有する重みが割り当てられた上記現在のノイズ性のサンプルの間で、0から1まで変わる明暗度の連続性の確率の係数である方法によって解決される。
【0011】
上記フィルタリング方法を実行する装置は:
− ノイズ性の現在のサンプルと呼ばれ、現時点に得られる画素のマトリックスの形で画像に所定の場所を有する画素のノイズ性のディジタル化された明暗度を供給する画像処理装置と、
− 入力が現在のノイズ性のサンプルを受け、現在の画素よりも前の画素のノイズ性又はフィルタリングされた因果的サンプルと呼ばれ、前の画像のマトリックス内の同一場所にあるディジタル化された明暗度を供給するメモリと;因果的な利得倍率を供給するメモリと;因果的な積分式を評価し、上記ノイズ性の現在のサンプルを再生するためフィルタリングされた場合に、現在のフィルタリングされた因果的なサンプルの値を出力に発生する計算手段とからなる因果的なサブ組立体と呼ばれるサブ組立体とにより構成されている。
【0012】
上記装置は、容易に作動させることができ、画像のディテールを劣化させることなく、ノイズの効果的、厳密かつ正確な実時間の時間的フィルタリングを提供する利点が得られる。
【0013】
【発明の実施の形態】
以下、添付図面を参照して本発明を詳細に説明する。
(1)X線装置
図1には、X線源1と、患者のための移動台2と、マイクロプロセッサからなるディジタル画像処理装置5にデータを提供する撮像管4に接続された画像増倍器3とにより構成されたディジタルX線透視図システムが示されている。ディジタル画像処理装置5は、複数の出力を有し、その中の一つの出力6は、X線透視画像又は明暗度画像のシーケンスを表示するモニター7に接続されている。
【0014】
ディジタル化されたX線透視画像は、8ビット又は10ビットで符号化された512×512画素又は1024×1024画素によって構成可能である。各画素は、従って、256又は1024明暗度レベルの中の一つのレベルを有する。例えば、画像の暗い領域は低い明暗度レベルを有し、明るい領域は高い明暗度レベルを有する。
【0015】
ディジタル化された画像は蛍光透視モードで得られる。本発明は、特に、血管造影画像のフィルタリングに使用することが可能である。
いずれにしても、本発明は、ディジタル画像のシーケンスを取得するため使用される方法、或いは、画像の中に表わされた対象物の性質を考慮していないが、ノイズを除去するためシーケンス内の画像をフィルタリングすることだけに関係している。
【0016】
(2)時間的ノイズフィルタリング方法
本発明は、ノイズ性のディジタル画像のシーケンスの各画像内で連続的にノイズの時間的フィルタリングを行う方法を提案する。上記方法は、最後の観察されたノイズ性画像内でフィルタリング演算を行う。従って、上記方法は厳密に実時間で行われる。
【0017】
上記方法はシーケンス内の画像に記録された対象物の動きを検出することが可能である。これは、適応的な反復フィルタリングステップに基づいている。
図2を参照すると、ノイズの時間的フィルタリング方法は、最初に、所定のレートで形成されたノイズ性画像のシーケンスの取得及びディジタル化を行う。
時間的に最も離れた時点から最も近い時点までの間で、上記シーケンスは:
− k0 がシーケンス内の画像の数よりも1だけ小さい整数に一致し、tがフィルタリングされる画像の到達の時点を表わすとき、最初の時点j=t−k0 から時点j=t−1までの間に形成され、Jj C で示され、“因果的な画像”と呼ばれる多数の過去の明暗度画像と、
− 時点j=tに到達し、現在の画像と呼ばれるフィルタリングされる画像Jt P とにより構成される。
【0018】
jが画像の時点に対応するインデックスであるとき、ノイズ性のディジタル化された各画像Jj は、画素の2次元マトリックスAj (x,y)からなり、各画素は、マトリックス内の座標x,yと、明暗度レベルのスケール上の明暗度レベルIj (x,y)とにより表わされる。
所謂ノイズ性のディジタル化された画像は、図3の(A)及び(B)に示されているように、時間τの関数として、画素Aj (x,y)の種々の明暗度レベルIj (x,y)により形成され、同図において、明暗度Iが縦軸にプロットされ、時間τが横軸にプロットされている。本発明による時間的なフィルタリング方法は、図4の(A)及び(C)に表わされているように、フィルタリングされた時間的信号P(τ)を得るため、時間的信号I(τ)に影響を与えるノイズをフィルタリング又は平滑化することを目的としている。以下、時間的信号I(τ)を構成する明暗度を“サンプル”と呼ぶ。過去又は因果的な明暗度はIj C と呼ばれ、現在の明暗度はIt P と呼ばれる。
【0019】
本発明による方法は、画像シーケンスに発生した主な動きが、例えば、並進補正法のような従来技術によって周知の動き補償法によって既に補償されている場合に関係している。しかし、大量の計算時間を必要とする動き評価法は避けるべきである。本発明は厳密に実時間的な方法の提供を目的としているので、このようなタイプの方法は避ける必要がある。
【0020】
たとえ、動き補償法が画像のシーケンスに適用されるとしても、動き補償法は完璧ではないので、全ての動きが現実的に本当に補償されることが保証された訳ではないことに注意すべきである。
この事実を考慮に入れるため、現在の方法は、画像シーケンス内の対象物の小さい残留又は補償不可能な局部的な動きを取り扱うことによって、時間的信号I(τ)のノイズ上のフィルタリング演算を実行する。
【0021】
上記方法は、現時点tで得られたノイズ性サンプルIt P 上でフィルタリング演算を実行し、現時点tのノイズ性サンプルIt P と、時点t−k0からt−1の間に観察されたノイズ性因果サンプルIt-k0 C ,...,It-3 C ,It-2 C ,It-1 C と呼ばれる前のサンプルとを利用することにより、フィルタリングされたサンプルPt C を生成する。
【0022】
時間的フィルタリングは、好ましくは、2次元マトリックスの種々のx,y座標の各画素Aj (x,y)に対し別個に行なわれる。
図3の(A)には、例えば、小さい局部的な動きに起因したIt-3 C とIt-4 C の間の明暗度の不連続点Dからなるノイズ性時間的信号I(τ)が表わされている。上記小さい局部的な動きは、時点t−4と時点t−3の間で時間的信号I(τ)の立ち上がりエッジと、時点t−3とtの間の大きい信号“安定状態”と、時点t−4より前の時点の“抑圧状態”として表わされる。
【0023】
本発明による時間的フィルタリングは、Dのような明暗度の不連続点に適応する。かくして、図4の(A)及び(C)は、本発明による方法の種々の変形例によって平滑化された時間的信号P(τ)を表わしている。
上記時間的信号は、ノイズに起因して、シーケンスの画像内で同一の座標(x,y)を有する画素の明暗度レベルが絶えず変化するため、時点t−8とt−4の間に小さい鋸波を更に有し、これにより、降雪のような斑な局面が現れる。フィルタリングは、時間的信号I(τ)を所定の画素に関して一定の平均値に平滑化することにより、かかる局面を抑圧する。
【0024】
更に、図3には、例えば、時点t−4とt−2の間、即ち、時点t−3に現れたノイズのピークD’を有するノイズ性の時間的信号I(τ)が表わされている。かかるノイズのピークD’は、実際の空間的な動きの現象に対応していない点で、図3の(A)のDのような明暗度の不連続点とは区別される。かかるノイズのピークは、本発明によって提案された方法を用いてフィルタリングすることができる。
【0025】
現在のノイズ性サンプルIt P に対応しているフィルタリングされたサンプルPt C は、以下の式:
【0026】
【数1】
【0027】
のように表現される。フィルタリングされたサンプルPt C 、又は、時点tでフィルタリングされた時間的信号は、因果的な時点j=t−k0 からj=t−1で観察されたノイズ性サンプル及び時点tで観察されたノイズ性サンプルの線形結合である。
上記フィルタリングされた信号Pt C の式(1)において、重みbj C が因果的なサンプルIt-1 C 、It-2 C 等に割り当てられる。
【0028】
上記(1)式の分母は正規化係数であり、その正規化係数の存在は、フィルタリングされた信号Pt C の平均値がノイズ性信号It P の平均値と一致することを保証するため、種々のサンプルに付けられた重みの合計は1に一致すべきであるという事実に基づいている。
時間的フィルタリング方法は、因果的なサンプルの現在のサンプルとの線形結合に基づいている。上記方法において、因果的なサンプルに付けられた重みbj C は特定の形式を有し、現在のサンプルに付けられた重みは1である。
【0029】
所定の因果的なサンプルに付けられた重みは、所定の因果的なサンプルと現在のサンプルの間の明暗度の連続性の確率である。
一般的に言うと、因果的なサンプルIt-k C に割り当てられるべき因果的な重みbt-k C の式は、次式(2):
【0030】
【数2】
【0031】
によって与えられ、式中、αj C は、It-k C からIt P までの連続した因果的なサンプルの間の明暗度の連続性の確率である。上記関係式(2)によれば、因果的なサンプルIt-k C に関係する重みbt-k C は、因果的な時点j=t−k+1から現在の時点tまでの明暗度の連続性の全確率αj C の積に一致する。
従って、式(1)に従って所定の因果的なサンプルに付けられた重みの決定は、現在のサンプルから大きく離れ過ぎることがなく、同一の対象物に関係することを示しているならば、上記所定のサンプルが確保され、線形結合に考慮されるという仮説に基づいている。
【0032】
上記仮説に従って、例えば、因果的なサンプルIt-1 C に関係する因果的な重みbt-1 C は、bt-1 C が、現時点のサンプルIt P と前の時点のサンプルIt-1 C の差の絶対値の関数であることを記述することにより定式化される。
好ましくは、因果的な重みbt-1 C は、以下の差:
ΔC =|It P −Pt-1 C | (6C )
の関数であり、式中、Pt-1 C は、前の時点t−1で既にフィルタリングされたサンプルであるので、フィルタリングの結果としてIt-1 C よりノイズが少ないと考えられる。サンプルIt P とPt-1 C の差が小さい場合、1に近い“大きい”値が対応する重みbt-1 C に割り当てられる。上記の差が大きい場合、ゼロに近い値が重みbt-1 C に割り当てられる。その場合、サンプルIt-1 C は、実際上、考慮されない。
【0033】
次いで、上記例の場合、第2の因果的な重みbt-2 C は、時点tのサンプルと、時点t−1のサンプルの間の差の関数だけではなく、時点t−1のサンプルと時点t−2のサンプルの間の関数である。かくして、現在のサンプルIt P に関し、ノイズに起因したサンプル以外の修正されていないサンプルだけが考慮されるならば、即ち、サンプルの間の差は小さくなければならないという条件が課されるならば、重みbt-2 C は1に近い大きい値を有する。これより、時間的信号に現れる明暗度差の関数の積として因果的な重みbj C の式が得られ、即ち、フィルタリングされるべき現在のサンプルに先行するサンプルの間で明暗度の連続性の積として上記重みの式が得られる。
【0034】
従って、サンプルIt-1 C に関係する因果的な重みの式は:
bt-1 C =αt C (2a)
であり、式中、αt C は、現在のサンプルIt P とフィルタリングされたサンプルPt-1 C の間の明暗度の連続性の確率である。時点tのサンプルと、前の時点t−1のサンプルとの間の明暗度の連続性は、高い連続性の確率αt C として表わされる。サンプルの間の明暗度の不連続点の確率は、0に近いαt C として表わされる。
【0035】
サンプルIt-2 C に関係する因果的な重みの式は:
bt-2 C =αt C ×αt-1 C (2b)
であり、式中、αt-1 C は、時点t−1のサンプルと、時点t−2のサンプルの間の明暗度の連続性の確率である。
時点tと時点t−2の間のサンプルの明暗度の連続性は、時点tとt−1の間の明暗度の連続性と、時点t−1とt−2の間の明暗度の連続性とを意味し、時点tとt−1の間の明暗度の連続性の確率が高く、同様に時点t−1とt−2の間の明暗度の連続性の確率が高い確率(2b)の積として表わされる。
【0036】
サンプルIt-3 C 等に関係する因果的な重みの式は:
bt-3 C =αt-2 C ×αt-1 C ×αt C (2c)
等によって与えられる。
従って、図3の(A)の例の場合、連続性の確率αt-3 C は、サンプルIt-4 C とIt-3 C の間の明暗度の不連続点Dのため、非常にゼロに近い。確率αt-3 C を含む確率の積として得られる重みbt-4 C は、同様にゼロに近づく傾向がある。重みbt-5 C は、その式が上記ゼロに近い確率を含む積であるため、同様にゼロに近づく傾向がある。重みbj C を与える確率の積の中にゼロに近い確率が現れると直ぐに、上記確率の存在によって、上記積と、ゼロに近い上記確率が現れた時点より前の時点に対応する全ての積とが打ち消される。その結果として、上記前の時点に対応する因果的なサンプルの重みbj C は同様にゼロに近くなる。図3の(A)の具体的な例の場合、因果的な重みは:
bt-1 C ≒1;bt-2 C ≒1;bt-3 C ≒1;bt-4 C ≒0;bt-5 C ≒0
によって表わされる。
【0037】
因果的な係数bj C の具体的な式(2)の結果として、計算が非常に複雑な式(1)は、所望の時間的フィルタリングを実行する三つの簡単な関係式からなる一つのグループに変換される。
因果的な重みが特定の形式(2)を有する線形性の式(1)により、以下の帰納的な式:
Pt C =Pt-1 C +Kt C ×(It P −Pt-1 C ) (3C )
が定式化される。
【0038】
積分式と呼ばれる上記式(3C )は、時点t−1でフィルタリングされた因果的なサンプルPt-1 C を含み、この因果的なサンプルPt-1 C は、時点t−1でフィルタリングされたサンプルPt-1 C と現時点tで観察されたノイズ性サンプルIt P の差によって形成された因果的な更新項と呼ばれる項によって修正されている。上記因果の更新項は、0と1の間を変わる因果の利得Kt C と呼ばれる項で乗算される。上記式(3C )は、所望のフィルタリングされたサンプルであるフィルタリングされた値Pt C を生成する。
【0039】
上記因果的な利得Kt C は、カルマンの利得ではないが、以下の反復式(4C ):
【0040】
【数3】
【0041】
によって与えられる全く別の利得倍率である。
式(1)及び(2)と、式(3C )及び(4C )の間の推移に対し、因果的な利得は、因果的な重みの逆数:
【0042】
【数4】
【0043】
であり、更に、上記の如く:
αt C =bt-1 C (2a)
のように表わされ、式中、αt C は、現在のサンプルIt P よりも前の因果的なサンプルIt-1 C の重みを表わし、その確率を以下連続性の因果係数と呼ぶ。
式(1)+(2)と、式(3C )の間の推移は、以下の因果式:
積分式 Pt C =Pt-1 C +Kt C ×(It P −Pt-1 C ) (3C )
と、因果的な利得倍率である
【0044】
【数5】
【0045】
と、因果的な連続性の係数(5C )である
【0046】
【数6】
【0047】
からなるシステムに基づき、ここで、St C は正規化係数を表わし、FC は以下で定義されている関数である。
時間的にt−k0 で始まる式(3C )の反復により、上記定式化されたように式(1)が厳密に得られる。
積分式の定式化(3C )は、かくして、連続したサンプルの間の明暗度の連続性の関数であり、現在のサンプルに至るまで重みを計算された連続するサンプルの間の連続性の確率の積(2)によって定められた特定の重みと関係したサンプルの線形結合(1)に直接対応する。
【0048】
・因果的な不連続性の係数αt C の定式化
因果的な不連続性の係数αt C は、差:
ΔC =|It P −Pt-1 C | (6C )
の関数として定義される。
上記差ΔC が、図3の(A)のDのような不連続点に関係しているか、或いは、ノイズだけに関係しているかどうかを判定することにより利点が得られる。
【0049】
ノイズの関与を判定するため、上記差ΔC は、上記不連続性ΔC の各サンプルに関するノイズの分散を考慮した係数St C によって正規化される。σB と呼ばれ、各サンプルに対する明暗度レベルで測定されたノイズの標準偏差は、あらゆる周知の方法を用いて評価し、或いは、アプリオリに評価することが可能である。
【0050】
ノイズの分散σB 2 は、画像内で想定された領域のノイズの平方の平均偏差であり、ノイズに起因した明暗度の偏差は、平均局部明暗度に関して測定されている点に注意する必要がある。
標準ノイズ偏差の判定は、図1に示したシステムにおいて、信号のディジタル化の前に、低明暗度レベル及び高明暗度レベルの圧縮の規則に従って画像の変換が導入されることによって複雑化するので、ノイズは、非常に暗い領域又は非常に明るい領域の場合、中間の明暗度の領域よりも見えにくくなるということを考慮する。標準ノイズ偏差σB は、全ての画素の全ての時点における明暗度の関数である。
【0051】
従って、標準ノイズ偏差の判定は、対応する領域の平均明暗度の関数として、画像の各画素上で局部的に実行する必要がある。かくして、画像自体又は信号に起因したノイズの分離が行なわれるように、ノイズの分散及び観察された信号の平均値が局部的に計算されるので、ノイズは空間的に表わされている。
図5の(A)を参照して一例として提案された方法に従って、画像Jj 内で、典型的に、各画素Aj (x,y)の周囲の5×5又は3×3画素の区域からなる小さいウィンドウWj が定義される。上記各小さいウィンドウWj (x,y)において、ノイズの分散及び観察された平均明暗度が判定される。
【0052】
このため、nが小さいウィンドウWj (x,y)の画素数を表わす場合に、画素Aj (x,y)の周辺に中心が置かれた小さいウィンドウの各位置に対し、以下の如く:
− インデックスk及びlが、画像Jj 内の矩形状の座標X及びYに関してウィンドウ内にあると考えられる画素の座標を表わす場合に、小さいウィンドウWj (x,y)の各画素の明暗度Ij (k,l)と、
− この位置で、関係式:
【0053】
【数7】
【0054】
によって与えられるウィンドウ内の平均明暗度mW (x,y)と、
− 上記ウィンドウ内で、総和の記号Σの後ろでウィンドウの各画素の明暗度と平均値mW (x,y)の差の平方が与えられ、(ウィンドウ内の画素数n)分の(上記総和)である平均値が与えられる以下の関係式:
【0055】
【数8】
【0056】
によって与えられるノイズの分散σBW(x,y)の平方とが定められる。
図5の(B)を参照すると、次いで、2次元のヒストグラムが形成され、同図において、例えば、10グレイレベル×10グレイレベルの所定の精度で、明暗度の平均値mW (x,y)が水平軸上にプロットされ、一方、分散の平均値が垂直軸上にプロットされている。水平軸上にプロットされた平均明暗度mW (x,y)の各間隔には、分散の頻度、又は、所定の分散が上記平均明暗度の間隔に生じた回数の平均が記載されている。説明の簡単化のため図5の(B)には、一例として10と20の間の平均値mW (x,y)の値が以下のように示されている:
値1を有する分散の頻度N01は0;
値4を有する分散の頻度N11は10;
値9を有する分散の頻度N21は20;
値16を有する分散の頻度N31は35;
値25を有する分散の頻度N41は25;以下同様である。
【0057】
提案された方法は、分散σ2 BW(x,y)の関数として垂直軸上にプロットされた分散の出現頻度Nの曲線が、想定された平均明暗度mW (x,y)のあらゆる間隔に対し描かれている図5の(C)を参照して続けられる。分散の関数として、分散の可能な値を与えながら最大値を通過して延在する頻度Nの曲線は、平均明暗度の各間隔に対し定められる必要がある。
【0058】
かくして、ノイズ分散が、各画素Aj (x,y)に属する平均明暗度の値の関数として得られる。この方法によって、画像自体から抽出されるべきノイズに関する情報が得られる。
次いで、標準ノイズ偏差σB が、ノイズ分散の平方根:
【0059】
【数9】
【0060】
の計算により求められる。
差ΔC に加わるノイズ寄与の分散は、安定状態の場合、次式:
【0061】
【数10】
【0062】
のように定式化され、この値は、ΔC の正規化の近似として使用される。差ΔC の正規化係数は、以下の関係式:
【0063】
【数11】
【0064】
によって与えられる。
式(5C )において、連続性の係数αt C は、差ΔC がノイズによる影響を受けるということを考慮するため、関係式(6C )によって与えられ、標準ノイズ偏差σB の近似St C によって正規化された差ΔC の関数である。このため、係数αt C の計算は、時間的信号の曲線I(τ)の各点に対し、平均値に関して標準ノイズ偏差σB を判定することからなる。
【0065】
本発明に従って提案され、関係式(4C )及び(5C )に従う因果的な積分関数(3C )の計算に基づくフィルタリング方法の利点は、特に、表現αt C が提案されたように正規化される点にある。この正規化は、現在のサンプルIt P の分散だけではなく、フィルタリングされたサンプルPt-1 C のノイズの分散を考慮するので、利得倍率を与える式(5C )によって、フィルタリングされた各サンプルに対する残留ノイズの評価が得られる。
【0066】
帰納的な積分式(3C )は、式(4C )によって与えられた利得倍率Kt C だけに依存しているので、容易に計算することができる。利得倍率Kt C 自体は、過去に既に計算された利得倍率Kt-1 C と、連続性係数αt C とだけに依存している。連続性係数αt C は、既に計算された利得倍率Kt-1 C に依存しているので、連続性係数αt C を最初に計算する必要があり、その後、連続性係数αt C を用いて利得式Kt C が簡単に計算され、フィルタリングされたサンプルPt C が関係式(3C )を用いて容易に計算される。
【0067】
・関数FC の定義
αt C を与える式(5C )の計算のため、関数FC が以下のように定義される。
関数FC の引数は、以下のZC :
【0068】
【数12】
【0069】
によって表わされる。
関数FC (ZC )は、例えば、図6の(A)乃至(D)において、縦軸に関数の値をプロットし、横軸にZC をプロットすることにより、描かれている。
最初に、関数FC (ZC )は、0≦ZC ≦1のとき、一定値FC maxを取り;次いで、関数FC (ZC )は、1<ZC の場合に、値FC minまで減少する。値FC maxは、FC max≦1を満たすような値である。値FC minは、0≦FC minを満たすような値である。このような関数FC (ZC )の例を以下に説明する。
【0070】
・例1:図6の(A)に示された例
関数FC (ZC )は一定であり、0≦ZC ≦1のとき、値FC max=1に一致し;次いで、関数FC (ZC )は、1≦ZC の場合に、値FC min=0まで減少するよう選択される。関数FC (ZC )は、好ましくは、上記領域で、正規化倍率によって加えられるようなガウシアン形状を有するので:
【0071】
【数13】
【0072】
のように表わされる。
・例2:図6の(B)に示された例
関数FC (ZC )は一定であり、0≦ZC <1のとき、1よりも小さい値FC max、例えば、FC max=0.85に一致し;次いで、関数FC (ZC )は、1≦ZC の場合に減少する。関数FC (ZC )は、例えば、0.10よりも減少することがない。関数FC (ZC )は、この例の場合、シフトしたガウシアン曲線である。
【0073】
・例3:図6の(C)に示された例
関数FC (ZC )は一定であり、0≦ZC ≦1のとき、1よりも小さいが1に近い値FC max、従って、FC max=0.85に一致する。次いで、関数FC (ZC )は、1≦ZC の場合に減少する。関数FC (ZC )は、0に近い値FC min、例えば、FC min=0.10まで直線的に減少し;例えば、ZC =2で、その値に達する。次いで、関数FC (ZC )は、2<ZC の場合に、直線的に一定であり、FC min=0.10に一致する。
【0074】
・例4:図6の(D)に示された例
関数FC (ZC )は、例1の関数又は例2の関数を近似する折れ線関数である。
関数FC (ZC )は、当業者に周知の定義を有する他の適当な形式から選択してもよい。
【0075】
関数FC (ZC )は、フィルタリング出力を制御する。FC max=1のとき、フィルタリング出力は最大になる。FC maxが1よりも小さい場合、フィルタリング出力は僅かに制限される。FC minが0よりも大きい場合、フィルタリング出力は決して0にならない。
・例1の関数FC による本発明の実施例
図4の(A)及び(C)は、共に、図3の(A)に示された動きに起因して、少なくとも一つの明暗度の不連続点Dを含むノイズ性の時間的信号I(τ)に基づいて得られたフィルタリングされた時間的信号P(τ)を表わしている。
【0076】
上記フィルタリング演算は、関数FC (ZC )が図6の(A)に示された例1の関数と類似した関数であるという状況で、フィルタリングシステム(3C )、(4C )及び(5C )を用いて実行される。
図4の(A)を参照すると、因果的なフィルタリングは、不連続点Dの左側で、t−4からt−k0 の方向に時間的信号の平滑化を行い;次いで、不連続点DのためサンプルIt-4 C 、It-5 C 等によって形成された過去が記憶されていないので、因果的なフィルタリングは、時点t−3でノイズ性サンプルIt-3 C のフィルタリングを実行できない。因果的なフィルタリングは、時間的信号の曲線のIt-4 C と、そのサンプルの左側で非常に効果的であり、その後、信号はt−3のノイズ性信号It-3 C のままである。その理由は、因果的なフィルタリングが、時点t−3で過去のデータによって修正されることなく観察されたノイズ性明暗度だけを生成するからである。次いで、因果的なフィルタリングは、時点t−2において時間的信号の次の点から始めて、サンプルIt-3 C の右側で非常に良好に平滑化された信号をもう一度生成し、時点t−3とt−2の間に明暗度の不連続点が存在しないので、時点t−3のサンプルが考慮に入れられる。
【0077】
従って、図4の(A)に示されたような因果的なフィルタリングの後、t−3とt−4の間の明暗度の差が大きいとき、時点t−4の信号に割り当てられた係数bt-4 C はゼロであるため、It-3 C の最初のノイズ歯状突起が時点t−3で残る。
一方、図3の(B)を参照すると、ノイズ性時間的信号I(τ)は、例えば、時点t−3で出現するノイズピークD’からなる。因果的なフィルタリングは、図3の(B)のノイズ性時間的信号によって誘起された不連続点D’を、図3の(A)のノイズ性時間的信号において動きによって誘起された不連続点Dと区別できない。従って、関数FC (ZC )が図6の(A)によって示された例1の関数に選択されたならば、反−因果的なフィルタリングは、図3の(B)に示されたようなノイズピークD’の適当なフィルタリングを作動可能にしない。
【0078】
・例2の関数FC による本発明の実施例
本発明によれば、上記例において、時間的信号の明暗度の不連続点Dの右側で発生した残留ノイズ性明暗度のピークをできる限り低減し、一方、上記時間的信号の平滑化をできる限り完璧に維持するため、フィルタリング出力は、FC min及びFC maxの値を変えることにより変更可能である。
【0079】
従って、本発明によれば、過去は、“ある程度まで”しか忘れられないので、因果的なフィルタリングは、It-3 C で完全にはゼロになり得ない。
図3の(A)の信号のフィルタリング結果を表わし、図6の(B)に示されたようにFC max=0.85及びFC min=0.10の場合に関数FC (ZC )を利用する図4の(C)を参照すると、上記例の場合、関数FC (ZC )は、少なくとも0.10に一致するため決してゼロにはならないので、It-3 C の第1のノイズ歯状突起が、不連続点Dの後で低減されることが分かる。従って、時点t−4のデータが常に考慮され、明暗度の不連続点Dの後、時点t−3の信号のフィルタリングをある程度まで行なうことができる。
【0080】
更に、上記の通り、図3の(B)に示されたようにノイズピークD’のフィルタリングのため値FC min及びFC maxを変えることにより、フィルタリング出力を意のままに変更可能である。
かくして、図3の(B)の信号のフィルタリングの結果を表わし、図6の(B)に示されたようにFC max=0.85及びFC min=0.10の場合に関数FC (ZC )を利用する図4の(B)を想定することにより、時点t−4のデータが常に考慮され、かつ、ノイズピークD’の信号のフィルタリングが時点t−3で少なくともある程度まで行なえるため、関数FC (ZC )が決してゼロではないので、ノイズピークD’が低減される。
【0081】
瞬時的な画像のフィルタリングに利用可能な前の画像のデータを有することが必要とされるので、第1のフィルタリングされた画像は、実際的にシーケンスに得られた第2の画像であることに注意する必要がある。シーケンスの第1の画像のデータは、その実際の表示のためにフィルタリングされることなく、第2の画像として得られた画像のフィルタリングを実行するためフィルタリングされることはない。実際のフィルタリングは第2の画像から始まる。
【0082】
(3)本発明の方法を実行する装置
図7には、上記フィルタリング方法を実行する装置が機能ブロックの形で表わされている。
時点tの現在の画像に対し、位置x,yを有する画素のノイズ性明暗度It P が装置の入力100に供給される。
【0083】
ノイズ性明暗度It P は、二つの経路を辿る。
一方の経路において、ノイズ性明暗度It P が、ノイズ性信号It P の標準ノイズ偏差σB を提供するルックアップテーブル11内で表にされた関数σB に与えられる。標準ノイズ偏差σB は、テーブル11の出力で得られる。利得Kはメモリ17に記憶される。メモリ17は、所定の位置x,yを有する画素に対する前の時点の利得Kt-1 C を供給する出力と、現在の時点tに対し計算された利得Kt C を受ける入力とからなる。
【0084】
上記装置は、ルックアップテーブル11からの値σB と、メモリ17からの利得Kt-1 C の値とが入力されると即座に、値:
【0085】
【数14】
【0086】
を直接的に供給するため表にされた値を含むルックアップテーブル13を更に有する。値St C は、連続性係数αt C の計算を行なう式(5C )の分母を構成する。分母の値St C は、ルックアップテーブル13の出力で得られ、ルックアップテーブル14に入力される。
上記装置は、処理されている画素に対し最後にフィルタリングされた明暗度を記憶するメモリ10を更に有する。
【0087】
フィルタリングされた明暗度Pt C が計算されるべき現時点tに、メモリ10は、前の時点に対応するフィルタリングされた明暗度Pt-1 C を既に含んでいるので、明暗度Pt-1 C をその出力に発生する。
前の時点にフィルタリングされた明暗度Pt-1 C は、時点tで観察されたノイズ性明暗度It P と同時に加算器12に供給される。加算器12は、It P と呼ばれる時点tのノイズ性明暗度と、Pt-1 C と呼ばれる前の時点t−1にフィルタリングされた別の明暗度とからなる二つの明暗度の間の差を出力する。
【0088】
ルックアップテーブル14は、加算器12によって与えられた差の絶対値をとり、更に、分母St C を受ける。ルックアップテーブル14は、次に、関数FC (ZC )の引数ZC :
【0089】
【数15】
【0090】
を出力する。
ルックアップテーブル15は、表にされた形で選択された関数FC (ZC )を含んでいる。ルックアップテーブル15の入力は、引数ZC を受け、ルックアップテーブル15は、連続性係数αt C :
【0091】
【数16】
【0092】
を出力する。
ルックアップテーブル16は、メモリ17から得られた前の時点の利得と、ルックアップテーブル15から得られた連続性係数αt C とに基づいて、時点tの利得を供給する表にされた式を含む。上記利得:
【0093】
【数17】
【0094】
は、ルックアップテーブル16を介して与えられ、一方で、前の時点の利得Kt-1 C の値を置き換えるためメモリ17に供給され、他方で、乗算器19に供給される。
次いで、積分関数(3C )が計算される。
加算器18は、最初に、時点tで観察され、第2のチャンネルを介して入力100から得られたIt P と呼ばれるノイズ性信号と、前の時点t−1にフィルタリングされ、メモリ10の出力から発生したフィルタリングされた信号Pt-1 C とを受け、差It P −Pt-1 C を出力する。
【0095】
この差は、ルックアップテーブル16からの利得Kt C と同時に加算器18から乗算器19に供給される。乗算器19は積:
Kt C ×(It P −Pt-1 C )
を形成し、その結果を出力する。
加算器20は、一方で、乗算器19からの積を受け、他方で、前の時点に既にフィルタリングされ、メモリ10から発生されたPt-1 C と呼ばれる信号を受ける。加算器20は、時点tにフィルタリングされた明暗度の値をフィルタの汎用出力200に供給する。メモリ10において、以下の積分式:
Pt C =Pt-1 C +Kt C ×(It P −Pt-1 C ) (3C )
に従って、メモリ21の入力120を介して入力されたフィルタリングされた値Pt C が、時点t−1にフィルタリングされた明暗度を置換する。
【0096】
上記装置は、時間的フィルタリング方法を実行するため、フィルタリングされたサンプルPt-1 C 及び前の時点の利得Kt-1 C の記憶だけを必要とし、更に、現時点のノイズ性明暗度It P の値しか要求しない点に注意が必要である。入力100で得られた明暗度を記憶することは必ずしも必要ではない。
現在の画像の種々の画素のフィルタリング後、この画像は、例えば、図1に示された表示装置のモニター7に表示される。かくして、シーケンスの種々の画像を夫々の処理の後に表示させることが可能である。
【図面の簡単な説明】
【図1】X線画像化装置の構成図である。
【図2】ディジタル画像のシーケンスを表わす図である。
【図3】(A)は動きに起因する不連続点を有する座標x,yにある画素Aに対応するノイズ性の時間的な信号を表わし、(B)はノイズのピークを有する別のノイズ性の時間的な信号を表わす図である。
【図4】(A)は図3の(A)のノイズ性信号に対応するフィルタリングされた時間的な信号を表わし、(B)は図3の(B)のノイズ性信号に対応するフィルタリングされた時間的な信号を表わし、(C)は本発明の他の実施例において図3の(A)のノイズ性の時間的な信号に対応するフィルタリングされた時間的な信号を表わす図である。
【図5】(A)乃至(C)は平均ノイズmB に関するノイズの標準偏差σB の決定法の説明図である。
【図6】(A)乃至(D)は関数FC (ZC )の種々の実現可能な例を表わす図である。
【図7】時間的なフィルタリング方法を実行する装置を機能的なブロックの形で表わした図である。
【符号の説明】
1 X線源
2 移動台
3 画像増倍器
4 撮像管
5 ディジタル画像処理装置
6 出力
7 モニター
10,17 メモリ
11,13,14,15,16 ルックアップテーブル
12,18,20 加算器
19 乗算器
100 入力
200 出力
【発明の属する技術分野】
本発明は、ディジタル画像のシーケンスの画像内のノイズの時間的フィルタリングの方法と、その方法を実行する装置とに関する。
本発明は、特に、X線ビームが低い明暗度を有し、ディテールを劣化することなく画像からノイズを除去するためにフィルタリングされるべきノイズ性の低コントラスト画像を生成するシステムを用いて、X線蛍光透視モードで形成された医用画像を処理する際に使用可能である。
【0002】
時間的フィルタリングは、一次元の時間の関数として、所謂、シーケンスの画像内に所定の場所を有する画素の明暗度の値によって形成された時間的信号を平滑化することにより行なわれる。
【0003】
【従来の技術】
時間的フィルタリング方法は、アール イー カルマン(R.E. Kalman) による論文:“線形フィルタリング及び予測問題の新しいアプローチ(A new approach to linear filtering and prediction problems)”、“アメリカ機械学会論文誌”、基礎工学ジャーナル、シリーズ82D、33−45ページ、1960年によって周知である。
【0004】
カルマンフィルタは、アプリオリに作成された仮説の関数、シーケンスの中の前の画像内の同じ場所の画素の明暗度の関数、及び、カルマン利得と呼ばれる係数の関数として、シーケンスの画像の瞬時的な画素のフィルタリングされた明暗度を生成する帰納的な式によって定義される。
上記式は二つの帰納的なアルゴリズムを生成する。二つの画像の間に僅かな動きが生じると即座に、上記動きによって、平滑化されるべき時間的な信号の曲線に現れ、明暗度不連続点と呼ばれる立ち上がり又は立ち下がりエッジが発生するという問題が存在する。
【0005】
第1のアルゴリズムの場合、カルマン利得は完全に一定であるよう選択され;これは、動きによって誘起された明暗度の不連続点に影響を与える指数関数的な縞(ストリーキング)を発生させる。かくして、明暗度信号に段差を生じさせるノイズ性の元画像内の小さい対象物、例えば、素早く移動させ得るカテーテルは、段差の側面がフィルタリングによって変形されるので、フィルタリングされた画像から消える可能性がある。上記アルゴリズムは小さい対象物を消去する。
【0006】
第2のアルゴリズムの場合、カルマン利得は、所定の時点で所定の場所を占める画素に対し観察されたノイズ性の明暗度と、前の時点でフィルタリングされた明暗度との差の関数である。その結果として、時間的信号は、不連続点の前で平滑化されるが、しかし、明暗度の不連続点の後でフィルタリングされることがないので、残留ノイズが明暗度の不連続点のエッジの後ろに存在する。
【0007】
【発明が解決しようとする課題】
従って、周知の時間的フィルタリング方法は、動いている小さい対象物を表わす非常にノイズの多い画像の系列に効果的に適用できないという欠点がある。
かくして、周知の時間的フィルタリング法は、例えば、カテーテルのような非常に小さい径の器具が観察される領域内で挿入又は移動されている間に医学的な手術を実時間で追跡するため実行されたX線蛍光透視モードで得られた画像のシーケンスに、時間的フィルタリング法が適用されたとき生じる幾つかの主要な問題を解決しない。
【0008】
第1の問題は、蛍光透視法のX線ビームの非常に低い明暗度に起因して、シーケンスの画像は非常に多くのノイズを含み、屡々、ノイズのピークを含むことである。
第2の問題は、シーケンスの各画像が短い時間的ギャップによって次の画像から分離されているので、カテーテルのような小さい器具の移動のような重要な事象が、画像と別の画像の間に生じ得ることである。小さい対象物の動きが出現する画像のフィルタリング対象物を歪め、又は、消すことは許されない。
【0009】
本発明の目的は、
− 厳密に実時間的に実行され、即ち、観察された瞬時的な画像の出現の直後に、画像遅延を伴うことなく、かつ、シーケンス内の画像レートとは無関係にフィルタリングされた瞬時的な画像を出力し、
− 時間的明暗度信号の不連続性エッジの後で、不連続性エッジを弱めることなく残留ノイズを低減し、
− ノイズピークを低減することが可能であり、
− 動いている小さい対象物を消去又は歪めることなく、
ディジタル化された画像のシーケンスの連続する画像内のノイズを低減する時間的フィルタリング方法を提供することである。
【0010】
【課題を解決するための手段】
上記目的は、ディジタル化されたサンプルと呼ばれるノイズ性の明暗度の値を有する画素の2次元マトリックスの形で画像のシーケンスの一部を形成する現在の画像と呼ばれる画像内のノイズの時間的フィルタリング方法であって:
上記現在の画像の所定の場所の画素に対応するノイズ性のサンプルを再生するため、重み付けされたノイズ性の因果的なサンプルと呼ばれる上記シーケンス内の現在のノイズ性サンプルと前のサンプルの線形結合によって、現在のフィルタリングされた因果的なサンプルと呼ばれるフィルタリングされたサンプルを評価する段階からなり、
上記重みは、上記重みが割り当てられた該ノイズ性の因果的なサンプルと、値1を有する重みが割り当てられた上記現在のノイズ性のサンプルの間で、0から1まで変わる明暗度の連続性の確率の係数である方法によって解決される。
【0011】
上記フィルタリング方法を実行する装置は:
− ノイズ性の現在のサンプルと呼ばれ、現時点に得られる画素のマトリックスの形で画像に所定の場所を有する画素のノイズ性のディジタル化された明暗度を供給する画像処理装置と、
− 入力が現在のノイズ性のサンプルを受け、現在の画素よりも前の画素のノイズ性又はフィルタリングされた因果的サンプルと呼ばれ、前の画像のマトリックス内の同一場所にあるディジタル化された明暗度を供給するメモリと;因果的な利得倍率を供給するメモリと;因果的な積分式を評価し、上記ノイズ性の現在のサンプルを再生するためフィルタリングされた場合に、現在のフィルタリングされた因果的なサンプルの値を出力に発生する計算手段とからなる因果的なサブ組立体と呼ばれるサブ組立体とにより構成されている。
【0012】
上記装置は、容易に作動させることができ、画像のディテールを劣化させることなく、ノイズの効果的、厳密かつ正確な実時間の時間的フィルタリングを提供する利点が得られる。
【0013】
【発明の実施の形態】
以下、添付図面を参照して本発明を詳細に説明する。
(1)X線装置
図1には、X線源1と、患者のための移動台2と、マイクロプロセッサからなるディジタル画像処理装置5にデータを提供する撮像管4に接続された画像増倍器3とにより構成されたディジタルX線透視図システムが示されている。ディジタル画像処理装置5は、複数の出力を有し、その中の一つの出力6は、X線透視画像又は明暗度画像のシーケンスを表示するモニター7に接続されている。
【0014】
ディジタル化されたX線透視画像は、8ビット又は10ビットで符号化された512×512画素又は1024×1024画素によって構成可能である。各画素は、従って、256又は1024明暗度レベルの中の一つのレベルを有する。例えば、画像の暗い領域は低い明暗度レベルを有し、明るい領域は高い明暗度レベルを有する。
【0015】
ディジタル化された画像は蛍光透視モードで得られる。本発明は、特に、血管造影画像のフィルタリングに使用することが可能である。
いずれにしても、本発明は、ディジタル画像のシーケンスを取得するため使用される方法、或いは、画像の中に表わされた対象物の性質を考慮していないが、ノイズを除去するためシーケンス内の画像をフィルタリングすることだけに関係している。
【0016】
(2)時間的ノイズフィルタリング方法
本発明は、ノイズ性のディジタル画像のシーケンスの各画像内で連続的にノイズの時間的フィルタリングを行う方法を提案する。上記方法は、最後の観察されたノイズ性画像内でフィルタリング演算を行う。従って、上記方法は厳密に実時間で行われる。
【0017】
上記方法はシーケンス内の画像に記録された対象物の動きを検出することが可能である。これは、適応的な反復フィルタリングステップに基づいている。
図2を参照すると、ノイズの時間的フィルタリング方法は、最初に、所定のレートで形成されたノイズ性画像のシーケンスの取得及びディジタル化を行う。
時間的に最も離れた時点から最も近い時点までの間で、上記シーケンスは:
− k0 がシーケンス内の画像の数よりも1だけ小さい整数に一致し、tがフィルタリングされる画像の到達の時点を表わすとき、最初の時点j=t−k0 から時点j=t−1までの間に形成され、Jj C で示され、“因果的な画像”と呼ばれる多数の過去の明暗度画像と、
− 時点j=tに到達し、現在の画像と呼ばれるフィルタリングされる画像Jt P とにより構成される。
【0018】
jが画像の時点に対応するインデックスであるとき、ノイズ性のディジタル化された各画像Jj は、画素の2次元マトリックスAj (x,y)からなり、各画素は、マトリックス内の座標x,yと、明暗度レベルのスケール上の明暗度レベルIj (x,y)とにより表わされる。
所謂ノイズ性のディジタル化された画像は、図3の(A)及び(B)に示されているように、時間τの関数として、画素Aj (x,y)の種々の明暗度レベルIj (x,y)により形成され、同図において、明暗度Iが縦軸にプロットされ、時間τが横軸にプロットされている。本発明による時間的なフィルタリング方法は、図4の(A)及び(C)に表わされているように、フィルタリングされた時間的信号P(τ)を得るため、時間的信号I(τ)に影響を与えるノイズをフィルタリング又は平滑化することを目的としている。以下、時間的信号I(τ)を構成する明暗度を“サンプル”と呼ぶ。過去又は因果的な明暗度はIj C と呼ばれ、現在の明暗度はIt P と呼ばれる。
【0019】
本発明による方法は、画像シーケンスに発生した主な動きが、例えば、並進補正法のような従来技術によって周知の動き補償法によって既に補償されている場合に関係している。しかし、大量の計算時間を必要とする動き評価法は避けるべきである。本発明は厳密に実時間的な方法の提供を目的としているので、このようなタイプの方法は避ける必要がある。
【0020】
たとえ、動き補償法が画像のシーケンスに適用されるとしても、動き補償法は完璧ではないので、全ての動きが現実的に本当に補償されることが保証された訳ではないことに注意すべきである。
この事実を考慮に入れるため、現在の方法は、画像シーケンス内の対象物の小さい残留又は補償不可能な局部的な動きを取り扱うことによって、時間的信号I(τ)のノイズ上のフィルタリング演算を実行する。
【0021】
上記方法は、現時点tで得られたノイズ性サンプルIt P 上でフィルタリング演算を実行し、現時点tのノイズ性サンプルIt P と、時点t−k0からt−1の間に観察されたノイズ性因果サンプルIt-k0 C ,...,It-3 C ,It-2 C ,It-1 C と呼ばれる前のサンプルとを利用することにより、フィルタリングされたサンプルPt C を生成する。
【0022】
時間的フィルタリングは、好ましくは、2次元マトリックスの種々のx,y座標の各画素Aj (x,y)に対し別個に行なわれる。
図3の(A)には、例えば、小さい局部的な動きに起因したIt-3 C とIt-4 C の間の明暗度の不連続点Dからなるノイズ性時間的信号I(τ)が表わされている。上記小さい局部的な動きは、時点t−4と時点t−3の間で時間的信号I(τ)の立ち上がりエッジと、時点t−3とtの間の大きい信号“安定状態”と、時点t−4より前の時点の“抑圧状態”として表わされる。
【0023】
本発明による時間的フィルタリングは、Dのような明暗度の不連続点に適応する。かくして、図4の(A)及び(C)は、本発明による方法の種々の変形例によって平滑化された時間的信号P(τ)を表わしている。
上記時間的信号は、ノイズに起因して、シーケンスの画像内で同一の座標(x,y)を有する画素の明暗度レベルが絶えず変化するため、時点t−8とt−4の間に小さい鋸波を更に有し、これにより、降雪のような斑な局面が現れる。フィルタリングは、時間的信号I(τ)を所定の画素に関して一定の平均値に平滑化することにより、かかる局面を抑圧する。
【0024】
更に、図3には、例えば、時点t−4とt−2の間、即ち、時点t−3に現れたノイズのピークD’を有するノイズ性の時間的信号I(τ)が表わされている。かかるノイズのピークD’は、実際の空間的な動きの現象に対応していない点で、図3の(A)のDのような明暗度の不連続点とは区別される。かかるノイズのピークは、本発明によって提案された方法を用いてフィルタリングすることができる。
【0025】
現在のノイズ性サンプルIt P に対応しているフィルタリングされたサンプルPt C は、以下の式:
【0026】
【数1】
【0027】
のように表現される。フィルタリングされたサンプルPt C 、又は、時点tでフィルタリングされた時間的信号は、因果的な時点j=t−k0 からj=t−1で観察されたノイズ性サンプル及び時点tで観察されたノイズ性サンプルの線形結合である。
上記フィルタリングされた信号Pt C の式(1)において、重みbj C が因果的なサンプルIt-1 C 、It-2 C 等に割り当てられる。
【0028】
上記(1)式の分母は正規化係数であり、その正規化係数の存在は、フィルタリングされた信号Pt C の平均値がノイズ性信号It P の平均値と一致することを保証するため、種々のサンプルに付けられた重みの合計は1に一致すべきであるという事実に基づいている。
時間的フィルタリング方法は、因果的なサンプルの現在のサンプルとの線形結合に基づいている。上記方法において、因果的なサンプルに付けられた重みbj C は特定の形式を有し、現在のサンプルに付けられた重みは1である。
【0029】
所定の因果的なサンプルに付けられた重みは、所定の因果的なサンプルと現在のサンプルの間の明暗度の連続性の確率である。
一般的に言うと、因果的なサンプルIt-k C に割り当てられるべき因果的な重みbt-k C の式は、次式(2):
【0030】
【数2】
【0031】
によって与えられ、式中、αj C は、It-k C からIt P までの連続した因果的なサンプルの間の明暗度の連続性の確率である。上記関係式(2)によれば、因果的なサンプルIt-k C に関係する重みbt-k C は、因果的な時点j=t−k+1から現在の時点tまでの明暗度の連続性の全確率αj C の積に一致する。
従って、式(1)に従って所定の因果的なサンプルに付けられた重みの決定は、現在のサンプルから大きく離れ過ぎることがなく、同一の対象物に関係することを示しているならば、上記所定のサンプルが確保され、線形結合に考慮されるという仮説に基づいている。
【0032】
上記仮説に従って、例えば、因果的なサンプルIt-1 C に関係する因果的な重みbt-1 C は、bt-1 C が、現時点のサンプルIt P と前の時点のサンプルIt-1 C の差の絶対値の関数であることを記述することにより定式化される。
好ましくは、因果的な重みbt-1 C は、以下の差:
ΔC =|It P −Pt-1 C | (6C )
の関数であり、式中、Pt-1 C は、前の時点t−1で既にフィルタリングされたサンプルであるので、フィルタリングの結果としてIt-1 C よりノイズが少ないと考えられる。サンプルIt P とPt-1 C の差が小さい場合、1に近い“大きい”値が対応する重みbt-1 C に割り当てられる。上記の差が大きい場合、ゼロに近い値が重みbt-1 C に割り当てられる。その場合、サンプルIt-1 C は、実際上、考慮されない。
【0033】
次いで、上記例の場合、第2の因果的な重みbt-2 C は、時点tのサンプルと、時点t−1のサンプルの間の差の関数だけではなく、時点t−1のサンプルと時点t−2のサンプルの間の関数である。かくして、現在のサンプルIt P に関し、ノイズに起因したサンプル以外の修正されていないサンプルだけが考慮されるならば、即ち、サンプルの間の差は小さくなければならないという条件が課されるならば、重みbt-2 C は1に近い大きい値を有する。これより、時間的信号に現れる明暗度差の関数の積として因果的な重みbj C の式が得られ、即ち、フィルタリングされるべき現在のサンプルに先行するサンプルの間で明暗度の連続性の積として上記重みの式が得られる。
【0034】
従って、サンプルIt-1 C に関係する因果的な重みの式は:
bt-1 C =αt C (2a)
であり、式中、αt C は、現在のサンプルIt P とフィルタリングされたサンプルPt-1 C の間の明暗度の連続性の確率である。時点tのサンプルと、前の時点t−1のサンプルとの間の明暗度の連続性は、高い連続性の確率αt C として表わされる。サンプルの間の明暗度の不連続点の確率は、0に近いαt C として表わされる。
【0035】
サンプルIt-2 C に関係する因果的な重みの式は:
bt-2 C =αt C ×αt-1 C (2b)
であり、式中、αt-1 C は、時点t−1のサンプルと、時点t−2のサンプルの間の明暗度の連続性の確率である。
時点tと時点t−2の間のサンプルの明暗度の連続性は、時点tとt−1の間の明暗度の連続性と、時点t−1とt−2の間の明暗度の連続性とを意味し、時点tとt−1の間の明暗度の連続性の確率が高く、同様に時点t−1とt−2の間の明暗度の連続性の確率が高い確率(2b)の積として表わされる。
【0036】
サンプルIt-3 C 等に関係する因果的な重みの式は:
bt-3 C =αt-2 C ×αt-1 C ×αt C (2c)
等によって与えられる。
従って、図3の(A)の例の場合、連続性の確率αt-3 C は、サンプルIt-4 C とIt-3 C の間の明暗度の不連続点Dのため、非常にゼロに近い。確率αt-3 C を含む確率の積として得られる重みbt-4 C は、同様にゼロに近づく傾向がある。重みbt-5 C は、その式が上記ゼロに近い確率を含む積であるため、同様にゼロに近づく傾向がある。重みbj C を与える確率の積の中にゼロに近い確率が現れると直ぐに、上記確率の存在によって、上記積と、ゼロに近い上記確率が現れた時点より前の時点に対応する全ての積とが打ち消される。その結果として、上記前の時点に対応する因果的なサンプルの重みbj C は同様にゼロに近くなる。図3の(A)の具体的な例の場合、因果的な重みは:
bt-1 C ≒1;bt-2 C ≒1;bt-3 C ≒1;bt-4 C ≒0;bt-5 C ≒0
によって表わされる。
【0037】
因果的な係数bj C の具体的な式(2)の結果として、計算が非常に複雑な式(1)は、所望の時間的フィルタリングを実行する三つの簡単な関係式からなる一つのグループに変換される。
因果的な重みが特定の形式(2)を有する線形性の式(1)により、以下の帰納的な式:
Pt C =Pt-1 C +Kt C ×(It P −Pt-1 C ) (3C )
が定式化される。
【0038】
積分式と呼ばれる上記式(3C )は、時点t−1でフィルタリングされた因果的なサンプルPt-1 C を含み、この因果的なサンプルPt-1 C は、時点t−1でフィルタリングされたサンプルPt-1 C と現時点tで観察されたノイズ性サンプルIt P の差によって形成された因果的な更新項と呼ばれる項によって修正されている。上記因果の更新項は、0と1の間を変わる因果の利得Kt C と呼ばれる項で乗算される。上記式(3C )は、所望のフィルタリングされたサンプルであるフィルタリングされた値Pt C を生成する。
【0039】
上記因果的な利得Kt C は、カルマンの利得ではないが、以下の反復式(4C ):
【0040】
【数3】
【0041】
によって与えられる全く別の利得倍率である。
式(1)及び(2)と、式(3C )及び(4C )の間の推移に対し、因果的な利得は、因果的な重みの逆数:
【0042】
【数4】
【0043】
であり、更に、上記の如く:
αt C =bt-1 C (2a)
のように表わされ、式中、αt C は、現在のサンプルIt P よりも前の因果的なサンプルIt-1 C の重みを表わし、その確率を以下連続性の因果係数と呼ぶ。
式(1)+(2)と、式(3C )の間の推移は、以下の因果式:
積分式 Pt C =Pt-1 C +Kt C ×(It P −Pt-1 C ) (3C )
と、因果的な利得倍率である
【0044】
【数5】
【0045】
と、因果的な連続性の係数(5C )である
【0046】
【数6】
【0047】
からなるシステムに基づき、ここで、St C は正規化係数を表わし、FC は以下で定義されている関数である。
時間的にt−k0 で始まる式(3C )の反復により、上記定式化されたように式(1)が厳密に得られる。
積分式の定式化(3C )は、かくして、連続したサンプルの間の明暗度の連続性の関数であり、現在のサンプルに至るまで重みを計算された連続するサンプルの間の連続性の確率の積(2)によって定められた特定の重みと関係したサンプルの線形結合(1)に直接対応する。
【0048】
・因果的な不連続性の係数αt C の定式化
因果的な不連続性の係数αt C は、差:
ΔC =|It P −Pt-1 C | (6C )
の関数として定義される。
上記差ΔC が、図3の(A)のDのような不連続点に関係しているか、或いは、ノイズだけに関係しているかどうかを判定することにより利点が得られる。
【0049】
ノイズの関与を判定するため、上記差ΔC は、上記不連続性ΔC の各サンプルに関するノイズの分散を考慮した係数St C によって正規化される。σB と呼ばれ、各サンプルに対する明暗度レベルで測定されたノイズの標準偏差は、あらゆる周知の方法を用いて評価し、或いは、アプリオリに評価することが可能である。
【0050】
ノイズの分散σB 2 は、画像内で想定された領域のノイズの平方の平均偏差であり、ノイズに起因した明暗度の偏差は、平均局部明暗度に関して測定されている点に注意する必要がある。
標準ノイズ偏差の判定は、図1に示したシステムにおいて、信号のディジタル化の前に、低明暗度レベル及び高明暗度レベルの圧縮の規則に従って画像の変換が導入されることによって複雑化するので、ノイズは、非常に暗い領域又は非常に明るい領域の場合、中間の明暗度の領域よりも見えにくくなるということを考慮する。標準ノイズ偏差σB は、全ての画素の全ての時点における明暗度の関数である。
【0051】
従って、標準ノイズ偏差の判定は、対応する領域の平均明暗度の関数として、画像の各画素上で局部的に実行する必要がある。かくして、画像自体又は信号に起因したノイズの分離が行なわれるように、ノイズの分散及び観察された信号の平均値が局部的に計算されるので、ノイズは空間的に表わされている。
図5の(A)を参照して一例として提案された方法に従って、画像Jj 内で、典型的に、各画素Aj (x,y)の周囲の5×5又は3×3画素の区域からなる小さいウィンドウWj が定義される。上記各小さいウィンドウWj (x,y)において、ノイズの分散及び観察された平均明暗度が判定される。
【0052】
このため、nが小さいウィンドウWj (x,y)の画素数を表わす場合に、画素Aj (x,y)の周辺に中心が置かれた小さいウィンドウの各位置に対し、以下の如く:
− インデックスk及びlが、画像Jj 内の矩形状の座標X及びYに関してウィンドウ内にあると考えられる画素の座標を表わす場合に、小さいウィンドウWj (x,y)の各画素の明暗度Ij (k,l)と、
− この位置で、関係式:
【0053】
【数7】
【0054】
によって与えられるウィンドウ内の平均明暗度mW (x,y)と、
− 上記ウィンドウ内で、総和の記号Σの後ろでウィンドウの各画素の明暗度と平均値mW (x,y)の差の平方が与えられ、(ウィンドウ内の画素数n)分の(上記総和)である平均値が与えられる以下の関係式:
【0055】
【数8】
【0056】
によって与えられるノイズの分散σBW(x,y)の平方とが定められる。
図5の(B)を参照すると、次いで、2次元のヒストグラムが形成され、同図において、例えば、10グレイレベル×10グレイレベルの所定の精度で、明暗度の平均値mW (x,y)が水平軸上にプロットされ、一方、分散の平均値が垂直軸上にプロットされている。水平軸上にプロットされた平均明暗度mW (x,y)の各間隔には、分散の頻度、又は、所定の分散が上記平均明暗度の間隔に生じた回数の平均が記載されている。説明の簡単化のため図5の(B)には、一例として10と20の間の平均値mW (x,y)の値が以下のように示されている:
値1を有する分散の頻度N01は0;
値4を有する分散の頻度N11は10;
値9を有する分散の頻度N21は20;
値16を有する分散の頻度N31は35;
値25を有する分散の頻度N41は25;以下同様である。
【0057】
提案された方法は、分散σ2 BW(x,y)の関数として垂直軸上にプロットされた分散の出現頻度Nの曲線が、想定された平均明暗度mW (x,y)のあらゆる間隔に対し描かれている図5の(C)を参照して続けられる。分散の関数として、分散の可能な値を与えながら最大値を通過して延在する頻度Nの曲線は、平均明暗度の各間隔に対し定められる必要がある。
【0058】
かくして、ノイズ分散が、各画素Aj (x,y)に属する平均明暗度の値の関数として得られる。この方法によって、画像自体から抽出されるべきノイズに関する情報が得られる。
次いで、標準ノイズ偏差σB が、ノイズ分散の平方根:
【0059】
【数9】
【0060】
の計算により求められる。
差ΔC に加わるノイズ寄与の分散は、安定状態の場合、次式:
【0061】
【数10】
【0062】
のように定式化され、この値は、ΔC の正規化の近似として使用される。差ΔC の正規化係数は、以下の関係式:
【0063】
【数11】
【0064】
によって与えられる。
式(5C )において、連続性の係数αt C は、差ΔC がノイズによる影響を受けるということを考慮するため、関係式(6C )によって与えられ、標準ノイズ偏差σB の近似St C によって正規化された差ΔC の関数である。このため、係数αt C の計算は、時間的信号の曲線I(τ)の各点に対し、平均値に関して標準ノイズ偏差σB を判定することからなる。
【0065】
本発明に従って提案され、関係式(4C )及び(5C )に従う因果的な積分関数(3C )の計算に基づくフィルタリング方法の利点は、特に、表現αt C が提案されたように正規化される点にある。この正規化は、現在のサンプルIt P の分散だけではなく、フィルタリングされたサンプルPt-1 C のノイズの分散を考慮するので、利得倍率を与える式(5C )によって、フィルタリングされた各サンプルに対する残留ノイズの評価が得られる。
【0066】
帰納的な積分式(3C )は、式(4C )によって与えられた利得倍率Kt C だけに依存しているので、容易に計算することができる。利得倍率Kt C 自体は、過去に既に計算された利得倍率Kt-1 C と、連続性係数αt C とだけに依存している。連続性係数αt C は、既に計算された利得倍率Kt-1 C に依存しているので、連続性係数αt C を最初に計算する必要があり、その後、連続性係数αt C を用いて利得式Kt C が簡単に計算され、フィルタリングされたサンプルPt C が関係式(3C )を用いて容易に計算される。
【0067】
・関数FC の定義
αt C を与える式(5C )の計算のため、関数FC が以下のように定義される。
関数FC の引数は、以下のZC :
【0068】
【数12】
【0069】
によって表わされる。
関数FC (ZC )は、例えば、図6の(A)乃至(D)において、縦軸に関数の値をプロットし、横軸にZC をプロットすることにより、描かれている。
最初に、関数FC (ZC )は、0≦ZC ≦1のとき、一定値FC maxを取り;次いで、関数FC (ZC )は、1<ZC の場合に、値FC minまで減少する。値FC maxは、FC max≦1を満たすような値である。値FC minは、0≦FC minを満たすような値である。このような関数FC (ZC )の例を以下に説明する。
【0070】
・例1:図6の(A)に示された例
関数FC (ZC )は一定であり、0≦ZC ≦1のとき、値FC max=1に一致し;次いで、関数FC (ZC )は、1≦ZC の場合に、値FC min=0まで減少するよう選択される。関数FC (ZC )は、好ましくは、上記領域で、正規化倍率によって加えられるようなガウシアン形状を有するので:
【0071】
【数13】
【0072】
のように表わされる。
・例2:図6の(B)に示された例
関数FC (ZC )は一定であり、0≦ZC <1のとき、1よりも小さい値FC max、例えば、FC max=0.85に一致し;次いで、関数FC (ZC )は、1≦ZC の場合に減少する。関数FC (ZC )は、例えば、0.10よりも減少することがない。関数FC (ZC )は、この例の場合、シフトしたガウシアン曲線である。
【0073】
・例3:図6の(C)に示された例
関数FC (ZC )は一定であり、0≦ZC ≦1のとき、1よりも小さいが1に近い値FC max、従って、FC max=0.85に一致する。次いで、関数FC (ZC )は、1≦ZC の場合に減少する。関数FC (ZC )は、0に近い値FC min、例えば、FC min=0.10まで直線的に減少し;例えば、ZC =2で、その値に達する。次いで、関数FC (ZC )は、2<ZC の場合に、直線的に一定であり、FC min=0.10に一致する。
【0074】
・例4:図6の(D)に示された例
関数FC (ZC )は、例1の関数又は例2の関数を近似する折れ線関数である。
関数FC (ZC )は、当業者に周知の定義を有する他の適当な形式から選択してもよい。
【0075】
関数FC (ZC )は、フィルタリング出力を制御する。FC max=1のとき、フィルタリング出力は最大になる。FC maxが1よりも小さい場合、フィルタリング出力は僅かに制限される。FC minが0よりも大きい場合、フィルタリング出力は決して0にならない。
・例1の関数FC による本発明の実施例
図4の(A)及び(C)は、共に、図3の(A)に示された動きに起因して、少なくとも一つの明暗度の不連続点Dを含むノイズ性の時間的信号I(τ)に基づいて得られたフィルタリングされた時間的信号P(τ)を表わしている。
【0076】
上記フィルタリング演算は、関数FC (ZC )が図6の(A)に示された例1の関数と類似した関数であるという状況で、フィルタリングシステム(3C )、(4C )及び(5C )を用いて実行される。
図4の(A)を参照すると、因果的なフィルタリングは、不連続点Dの左側で、t−4からt−k0 の方向に時間的信号の平滑化を行い;次いで、不連続点DのためサンプルIt-4 C 、It-5 C 等によって形成された過去が記憶されていないので、因果的なフィルタリングは、時点t−3でノイズ性サンプルIt-3 C のフィルタリングを実行できない。因果的なフィルタリングは、時間的信号の曲線のIt-4 C と、そのサンプルの左側で非常に効果的であり、その後、信号はt−3のノイズ性信号It-3 C のままである。その理由は、因果的なフィルタリングが、時点t−3で過去のデータによって修正されることなく観察されたノイズ性明暗度だけを生成するからである。次いで、因果的なフィルタリングは、時点t−2において時間的信号の次の点から始めて、サンプルIt-3 C の右側で非常に良好に平滑化された信号をもう一度生成し、時点t−3とt−2の間に明暗度の不連続点が存在しないので、時点t−3のサンプルが考慮に入れられる。
【0077】
従って、図4の(A)に示されたような因果的なフィルタリングの後、t−3とt−4の間の明暗度の差が大きいとき、時点t−4の信号に割り当てられた係数bt-4 C はゼロであるため、It-3 C の最初のノイズ歯状突起が時点t−3で残る。
一方、図3の(B)を参照すると、ノイズ性時間的信号I(τ)は、例えば、時点t−3で出現するノイズピークD’からなる。因果的なフィルタリングは、図3の(B)のノイズ性時間的信号によって誘起された不連続点D’を、図3の(A)のノイズ性時間的信号において動きによって誘起された不連続点Dと区別できない。従って、関数FC (ZC )が図6の(A)によって示された例1の関数に選択されたならば、反−因果的なフィルタリングは、図3の(B)に示されたようなノイズピークD’の適当なフィルタリングを作動可能にしない。
【0078】
・例2の関数FC による本発明の実施例
本発明によれば、上記例において、時間的信号の明暗度の不連続点Dの右側で発生した残留ノイズ性明暗度のピークをできる限り低減し、一方、上記時間的信号の平滑化をできる限り完璧に維持するため、フィルタリング出力は、FC min及びFC maxの値を変えることにより変更可能である。
【0079】
従って、本発明によれば、過去は、“ある程度まで”しか忘れられないので、因果的なフィルタリングは、It-3 C で完全にはゼロになり得ない。
図3の(A)の信号のフィルタリング結果を表わし、図6の(B)に示されたようにFC max=0.85及びFC min=0.10の場合に関数FC (ZC )を利用する図4の(C)を参照すると、上記例の場合、関数FC (ZC )は、少なくとも0.10に一致するため決してゼロにはならないので、It-3 C の第1のノイズ歯状突起が、不連続点Dの後で低減されることが分かる。従って、時点t−4のデータが常に考慮され、明暗度の不連続点Dの後、時点t−3の信号のフィルタリングをある程度まで行なうことができる。
【0080】
更に、上記の通り、図3の(B)に示されたようにノイズピークD’のフィルタリングのため値FC min及びFC maxを変えることにより、フィルタリング出力を意のままに変更可能である。
かくして、図3の(B)の信号のフィルタリングの結果を表わし、図6の(B)に示されたようにFC max=0.85及びFC min=0.10の場合に関数FC (ZC )を利用する図4の(B)を想定することにより、時点t−4のデータが常に考慮され、かつ、ノイズピークD’の信号のフィルタリングが時点t−3で少なくともある程度まで行なえるため、関数FC (ZC )が決してゼロではないので、ノイズピークD’が低減される。
【0081】
瞬時的な画像のフィルタリングに利用可能な前の画像のデータを有することが必要とされるので、第1のフィルタリングされた画像は、実際的にシーケンスに得られた第2の画像であることに注意する必要がある。シーケンスの第1の画像のデータは、その実際の表示のためにフィルタリングされることなく、第2の画像として得られた画像のフィルタリングを実行するためフィルタリングされることはない。実際のフィルタリングは第2の画像から始まる。
【0082】
(3)本発明の方法を実行する装置
図7には、上記フィルタリング方法を実行する装置が機能ブロックの形で表わされている。
時点tの現在の画像に対し、位置x,yを有する画素のノイズ性明暗度It P が装置の入力100に供給される。
【0083】
ノイズ性明暗度It P は、二つの経路を辿る。
一方の経路において、ノイズ性明暗度It P が、ノイズ性信号It P の標準ノイズ偏差σB を提供するルックアップテーブル11内で表にされた関数σB に与えられる。標準ノイズ偏差σB は、テーブル11の出力で得られる。利得Kはメモリ17に記憶される。メモリ17は、所定の位置x,yを有する画素に対する前の時点の利得Kt-1 C を供給する出力と、現在の時点tに対し計算された利得Kt C を受ける入力とからなる。
【0084】
上記装置は、ルックアップテーブル11からの値σB と、メモリ17からの利得Kt-1 C の値とが入力されると即座に、値:
【0085】
【数14】
【0086】
を直接的に供給するため表にされた値を含むルックアップテーブル13を更に有する。値St C は、連続性係数αt C の計算を行なう式(5C )の分母を構成する。分母の値St C は、ルックアップテーブル13の出力で得られ、ルックアップテーブル14に入力される。
上記装置は、処理されている画素に対し最後にフィルタリングされた明暗度を記憶するメモリ10を更に有する。
【0087】
フィルタリングされた明暗度Pt C が計算されるべき現時点tに、メモリ10は、前の時点に対応するフィルタリングされた明暗度Pt-1 C を既に含んでいるので、明暗度Pt-1 C をその出力に発生する。
前の時点にフィルタリングされた明暗度Pt-1 C は、時点tで観察されたノイズ性明暗度It P と同時に加算器12に供給される。加算器12は、It P と呼ばれる時点tのノイズ性明暗度と、Pt-1 C と呼ばれる前の時点t−1にフィルタリングされた別の明暗度とからなる二つの明暗度の間の差を出力する。
【0088】
ルックアップテーブル14は、加算器12によって与えられた差の絶対値をとり、更に、分母St C を受ける。ルックアップテーブル14は、次に、関数FC (ZC )の引数ZC :
【0089】
【数15】
【0090】
を出力する。
ルックアップテーブル15は、表にされた形で選択された関数FC (ZC )を含んでいる。ルックアップテーブル15の入力は、引数ZC を受け、ルックアップテーブル15は、連続性係数αt C :
【0091】
【数16】
【0092】
を出力する。
ルックアップテーブル16は、メモリ17から得られた前の時点の利得と、ルックアップテーブル15から得られた連続性係数αt C とに基づいて、時点tの利得を供給する表にされた式を含む。上記利得:
【0093】
【数17】
【0094】
は、ルックアップテーブル16を介して与えられ、一方で、前の時点の利得Kt-1 C の値を置き換えるためメモリ17に供給され、他方で、乗算器19に供給される。
次いで、積分関数(3C )が計算される。
加算器18は、最初に、時点tで観察され、第2のチャンネルを介して入力100から得られたIt P と呼ばれるノイズ性信号と、前の時点t−1にフィルタリングされ、メモリ10の出力から発生したフィルタリングされた信号Pt-1 C とを受け、差It P −Pt-1 C を出力する。
【0095】
この差は、ルックアップテーブル16からの利得Kt C と同時に加算器18から乗算器19に供給される。乗算器19は積:
Kt C ×(It P −Pt-1 C )
を形成し、その結果を出力する。
加算器20は、一方で、乗算器19からの積を受け、他方で、前の時点に既にフィルタリングされ、メモリ10から発生されたPt-1 C と呼ばれる信号を受ける。加算器20は、時点tにフィルタリングされた明暗度の値をフィルタの汎用出力200に供給する。メモリ10において、以下の積分式:
Pt C =Pt-1 C +Kt C ×(It P −Pt-1 C ) (3C )
に従って、メモリ21の入力120を介して入力されたフィルタリングされた値Pt C が、時点t−1にフィルタリングされた明暗度を置換する。
【0096】
上記装置は、時間的フィルタリング方法を実行するため、フィルタリングされたサンプルPt-1 C 及び前の時点の利得Kt-1 C の記憶だけを必要とし、更に、現時点のノイズ性明暗度It P の値しか要求しない点に注意が必要である。入力100で得られた明暗度を記憶することは必ずしも必要ではない。
現在の画像の種々の画素のフィルタリング後、この画像は、例えば、図1に示された表示装置のモニター7に表示される。かくして、シーケンスの種々の画像を夫々の処理の後に表示させることが可能である。
【図面の簡単な説明】
【図1】X線画像化装置の構成図である。
【図2】ディジタル画像のシーケンスを表わす図である。
【図3】(A)は動きに起因する不連続点を有する座標x,yにある画素Aに対応するノイズ性の時間的な信号を表わし、(B)はノイズのピークを有する別のノイズ性の時間的な信号を表わす図である。
【図4】(A)は図3の(A)のノイズ性信号に対応するフィルタリングされた時間的な信号を表わし、(B)は図3の(B)のノイズ性信号に対応するフィルタリングされた時間的な信号を表わし、(C)は本発明の他の実施例において図3の(A)のノイズ性の時間的な信号に対応するフィルタリングされた時間的な信号を表わす図である。
【図5】(A)乃至(C)は平均ノイズmB に関するノイズの標準偏差σB の決定法の説明図である。
【図6】(A)乃至(D)は関数FC (ZC )の種々の実現可能な例を表わす図である。
【図7】時間的なフィルタリング方法を実行する装置を機能的なブロックの形で表わした図である。
【符号の説明】
1 X線源
2 移動台
3 画像増倍器
4 撮像管
5 ディジタル画像処理装置
6 出力
7 モニター
10,17 メモリ
11,13,14,15,16 ルックアップテーブル
12,18,20 加算器
19 乗算器
100 入力
200 出力
Claims (12)
- ディジタル化されたノイズ性の明暗度の値を有し、サンプルIj (x,y)と呼ばれる画素の2次元マトリックスの形で画像のシーケンスの一部を形成する現在の画像と呼ばれる画像(Jt P )内のノイズの時間的フィルタリング方法であって、
上記現在の画像の所定の場所(x,y)の画素に対応するノイズ性のサンプル(It P )を再生するため、重み(bj C )付けされたノイズ性の因果的なサンプル(Ij C )と呼ばれる上記シーケンス内の現在のノイズ性サンプル(It P )と前のサンプルの線形結合によって、現在のフィルタリングされた因果的なサンプルと呼ばれるフィルタリングされたサンプル(Pt C )を評価する段階からなり、
上記重みは、上記重みが割り当てられた該ノイズ性の因果的なサンプルと、値1を有する重みが割り当てられた上記現在のノイズ性のサンプルの間で、0から1まで変わる明暗度の連続性の確率の係数である、方法。 - 所定の因果的なノイズ性のサンプルに付けられた上記重みは、上記所定の因果的なノイズ性のサンプルから上記現在のノイズ性のサンプルまでの連続するノイズ性の因果的なサンプルの間の連続性の確率の係数の積であり、
上記因果的なノイズ性のサンプルと現在のサンプルの線形結合は、該サンプルに関係する重みの合計によって正規化されている、請求項1記載の方法。 - 現時点(t)の上記フィルタリングされた因果的なサンプル(Pt C )に対し、上記線形結合は因果的な積分関係と呼ばれる帰納的な関係を評価することにより形成され、
前の時点(t−1)の上記フィルタリングされた因果的なサンプル(Pt-1 C )と、因果的な利得倍率(Kt C )と呼ばれる倍率と上記現在のノイズ性のサンプル(It P )と前の時点の上記フィルタリングされた因果的なサンプル(Pt- 1 C )との差の積との合計(Pt-1 C +Kt C ×(It P −Pt-1 C ))を判定する段階を有する請求項2記載の方法。 - 現時点(t)の該因果的な利得倍率(Kt C )は、上記前の時点(t−1)の因果的な利得倍率(Kt-1 C )の該前の時点の因果的な利得倍率(Kt-1 C )と所謂因果的な連続性の係数(αt C )との合計に対する比によって帰納的な方法で評価される請求項3記載の方法。
- 該因果的な利得倍率(Kt C )は、上記線形結合の因果的なサンプルに付けられた重みの合計の逆数であり、上記因果的な連続性の係数(αt C )は、現在のサンプル(It P )よりも前の因果的なサンプル(It-1 C )の重みである、請求項4記載の方法。
- 上記因果的な積分関係の評価は:
− 上記現時点(t)のノイズ性のサンプル(It P )と、上記前の時点のフィルタリングされた因果的なサンプル(Pt-1 C )との間の所謂因果的な差の絶対値(ΔC )を判定する段階と、
− 上記因果的な連続性の係数(αt C )を、該因果的な差(ΔC )の減少関数(FC )として判定する段階とからなる、請求項4又は5記載の方法。 - 上記因果的な連続性の係数(αt C )の判定のため、上記減少関数は、引数(ZC )が上記因果的な差(ΔC )によって与えられ、平均ノイズに関し上記各サンプルのノイズの差の分散の累積の平方根と一致する倍率(St C )によって正規化された所謂因果的な関数(FC )である請求項6記載の方法。
- 上記因果的な減少関数(FC )は、上記引数(ZC )が0と1の間にあるとき、1以下の一定の最大値を有し、上記引数が1より大きいとき、0以上の最小値まで減少する、請求項7記載の方法。
- 上記フィルタリングの出力は、ノイズのピークを平滑化し、かつ、空間的な動きに起因する不連続点に続くノイズの歯状突起を平滑化するべく選択された上記減少関数(FC )の上記最大値及び最小値によって制御される、請求項8記載の方法。
- − ノイズ性の現在のサンプルと呼ばれ、現時点(t)に得られる画素のマトリックスの形で画像(Jt P )に所定の場所(x,y)を有する画素At (x,y)のノイズ性のディジタル化された明暗度(It P )を供給する画像処理装置(5)と、
− 入力(100)が現在のノイズ性のサンプル(It P )を受け、
現在の画素よりも前の画素のノイズ性又はフィルタリングされた因果的サンプル(It-1 C ;Pt-1 C )と呼ばれ、前の画像のマトリックス内の同一場所(x,y)にあるディジタル化された明暗度を供給するメモリ(10)と;
因果的な利得倍率(Kt-1 C )を供給するメモリ(17)と;
因果的な積分式を評価し、上記ノイズ性の現在のサンプル(It P )を再生するためフィルタリングされた場合に、現在のフィルタリングされた因果的なサンプル(Pt C )の値を出力(200)に発生する計算手段とからなる因果的なサブ組立体と呼ばれるサブ組立体とにより構成された請求項1乃至9のうちいずれか1項記載のフィルタリング方法を実行する装置。 - 上記因果的な積分式を評価し、上記フィルタリングされた因果的なサンプル(Pt C )を発生する計算手段は:
− 現時点tの上記ノイズ性のサンプル(It P )と、前の時点(t−1)の上記記憶されたフィルタリングされた因果的なサンプル(Pt-1 C )の間の所謂因果的な差の絶対値(ΔC )を判定する加算器(12)と、ノイズの分散(σB )の倍率(St C )によって正規化された上記因果的な差(ΔC )の減少関数(FC )として、因果的な連続性の係数(αt C )を判定するルックアップテーブル(13,14,15)と、
− 記憶された前の時点(t−1)の因果的な利得倍率(Kt-1 C )と、該因果的な利得倍率(Kt-1 C )と因果的な不連続性の係数(αt C )の合計との比率に一致する現在(t)の因果的な利得倍率と呼ばれる倍率(Kt C )を判定するルックアップテーブル(16)と、
− 前の時点(t−1)の上記フィルタリングされた因果的なサンプル(Pt-1 C )と、上記ノイズ性の現在のサンプル(It P )と前の時点の上記フィルタリングされた因果的なサンプル(Pt-1 C )の間の差の該因果的な利得倍率(Kt C )との積との合計(Pt-1 C +Kt C ×(It P −Pt-1 C ))を判定する加算器(18,20)及び乗算器(19)とからなる、請求項10記載の装置。 - − 画像のデータをディジタル化された明暗度の値を有する画素の2次元マトリックスの形で供給するシステムと、
− 上記画像を表示する表示システムと、
− 上記画像のデータ及び上記表示システムへのアクセスを有する画像処理システムとからなり、上記画像処理システムは請求項10又は11記載の装置を含む医用画像の検査装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR9507888 | 1995-06-30 | ||
| FR9507888A FR2736181A1 (fr) | 1995-06-30 | 1995-06-30 | Procede de traitement d'images pour la reduction du bruit dans une image d'une sequence d'images numeriques et dispositif mettant en oeuvre ce procede |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09147103A JPH09147103A (ja) | 1997-06-06 |
| JP3865821B2 true JP3865821B2 (ja) | 2007-01-10 |
Family
ID=9480554
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17146796A Expired - Fee Related JP3865821B2 (ja) | 1995-06-30 | 1996-07-01 | ディジタル画像のシーケンスの画像内のノイズの時間的フィルタリングの方法及び装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5909515A (ja) |
| EP (1) | EP0751482B1 (ja) |
| JP (1) | JP3865821B2 (ja) |
| DE (1) | DE69627755T2 (ja) |
| FR (1) | FR2736181A1 (ja) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2765012B1 (fr) * | 1997-06-24 | 1999-09-24 | Ge Medical Syst Sa | Procede de traitement d'une sequence d'images angiocardiographiques |
| FR2772225A1 (fr) * | 1997-12-09 | 1999-06-04 | Philips Electronics Nv | Procede de traitement d'une image ou le bruit depend du signal |
| EP0926626A1 (fr) * | 1997-12-23 | 1999-06-30 | Koninklijke Philips Electronics N.V. | Procédé de traitement d'image pour réduire le bruit dans une image d'une séquence de trois images temporelles et appareil d'imagerie médicale mettant en oeuvre un tel procédé |
| DE69918877T2 (de) * | 1998-02-17 | 2005-07-28 | Koninklijke Philips Electronics N.V. | Bildbearbeitungsverfahren zur Bewegungsschätzung in einer Bildsequenz |
| WO2000042772A1 (en) * | 1999-01-15 | 2000-07-20 | Koninklijke Philips Electronics N.V. | Coding and noise filtering an image sequence |
| FR2790123B1 (fr) * | 1999-02-18 | 2001-04-27 | Ge Medical Syst Sa | Procede de traitement d'une sequence d'images fluoroscopiques d'un corps, de facon a ameliorer la qualite des images visualisees |
| JP2003513376A (ja) | 1999-10-26 | 2003-04-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像処理方法、システム及び糸状構造を表わす画像シーケンス内の雑音低減装置 |
| EP1126729A1 (en) * | 2000-02-18 | 2001-08-22 | STMicroelectronics S.r.l. | A process for estimating the noise level in sequences of images and a device therefor |
| JP4723767B2 (ja) * | 2001-09-13 | 2011-07-13 | 株式会社東芝 | X線画像診断装置 |
| DE10306555A1 (de) * | 2002-03-06 | 2003-09-18 | Siemens Ag | Verfahren zur Bearbeitung einer mit einem dynamischen Bildwandler, insbesondere einem Festkörperbilddetektor aufgenommenen Strahlungsbildsequenz bestehend aus mehreren nacheinander aufgenommenen Strahlungsbildern eines Untersuchungsobjekts |
| FR2855638B1 (fr) * | 2003-05-27 | 2005-11-11 | Ge Med Sys Global Tech Co Llc | Procede de rehaussement du contraste dans des imgages acquises par un appareil fluoroscopique |
| US7295616B2 (en) * | 2003-11-17 | 2007-11-13 | Eastman Kodak Company | Method and system for video filtering with joint motion and noise estimation |
| KR100555852B1 (ko) * | 2004-06-15 | 2006-03-03 | 삼성전자주식회사 | 영상신호의 노이즈 측정장치 및 방법 |
| US7382825B1 (en) * | 2004-08-31 | 2008-06-03 | Synopsys, Inc. | Method and apparatus for integrated channel characterization |
| US7508968B2 (en) | 2004-09-22 | 2009-03-24 | Siemens Medical Solutions Usa, Inc. | Image compounding based on independent noise constraint |
| WO2006086845A1 (en) * | 2005-02-16 | 2006-08-24 | Apollo Medical Imaging Technology Pty Ltd | Method and system of motion artefact compensation in a subject |
| US7535517B2 (en) * | 2005-04-14 | 2009-05-19 | Samsung Electronics Co., Ltd. | Method of motion compensated temporal noise reduction |
| US20070014484A1 (en) * | 2005-07-18 | 2007-01-18 | Alexander Maclnnis | Method and system for adaptive film grain noise processing |
| ES2537153B2 (es) * | 2014-09-05 | 2015-10-08 | Universitat Politècnica De València | Método y sistema de generación de imágenes nosológicas multiparamétricas |
| EP3571997B1 (de) * | 2018-05-23 | 2022-11-23 | Siemens Healthcare GmbH | Verfahren und vorrichtung zum bestimmen eines patientenge-wichts und/oder eines body-mass-index |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4367490A (en) * | 1981-04-24 | 1983-01-04 | General Electric Company | Noise reduction in digital fluoroscopy systems |
| DE3426830A1 (de) * | 1984-03-12 | 1985-09-12 | Siemens AG, 1000 Berlin und 8000 München | Roentgendiagnostikeinrichtung |
| US4639784A (en) * | 1985-02-19 | 1987-01-27 | Rca Corporation | Video signal recursive filter adaptively controlled responsive to the history of image motion |
| JPH02275588A (ja) * | 1989-04-18 | 1990-11-09 | Toshiba Corp | リカーシブフィルタおよびこれを用いた画像表示装置 |
| JP3159465B2 (ja) * | 1991-05-17 | 2001-04-23 | 株式会社東芝 | 画像表示装置 |
| ATE190161T1 (de) * | 1991-06-14 | 2000-03-15 | David Guissin | Geraet und verfahren zur glaettung von bildern |
| US5309237A (en) * | 1992-03-31 | 1994-05-03 | Siemens Corporate Research, Inc. | Apparatus and method of compensating image-sequences for motion |
| DE69322444T2 (de) * | 1992-07-10 | 1999-06-24 | Koninklijke Philips Electronics N.V., Eindhoven | Röntgendurchleuchtungsgerät mit Mitteln zur Rauschreduktion |
| DE4417628C1 (de) * | 1994-05-19 | 1995-09-28 | Siemens Ag | Verfahren zur adaptiven Rauschverminderung für digitale Bildsequenzen |
-
1995
- 1995-06-30 FR FR9507888A patent/FR2736181A1/fr not_active Withdrawn
-
1996
- 1996-06-26 EP EP96201774A patent/EP0751482B1/fr not_active Expired - Lifetime
- 1996-06-26 DE DE69627755T patent/DE69627755T2/de not_active Expired - Fee Related
- 1996-07-01 US US08/673,995 patent/US5909515A/en not_active Expired - Fee Related
- 1996-07-01 JP JP17146796A patent/JP3865821B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US5909515A (en) | 1999-06-01 |
| FR2736181A1 (fr) | 1997-01-03 |
| DE69627755D1 (de) | 2003-06-05 |
| DE69627755T2 (de) | 2004-03-11 |
| JPH09147103A (ja) | 1997-06-06 |
| EP0751482B1 (fr) | 2003-05-02 |
| EP0751482A1 (fr) | 1997-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3865821B2 (ja) | ディジタル画像のシーケンスの画像内のノイズの時間的フィルタリングの方法及び装置 | |
| JP3877015B2 (ja) | ディジタル画像のシーケンスの画像内のノイズの時間的フィルタリングの方法及び装置 | |
| EP2261853B1 (en) | Image processing apparatus, medium, and method | |
| US6760401B2 (en) | Apparatus and method for processing of digital images | |
| US9245323B2 (en) | Medical diagnostic device and method of improving image quality of medical diagnostic device | |
| US9633480B2 (en) | Radiographic image analyzing device, method, and recording medium | |
| US7689055B2 (en) | Method and apparatus for enhancing image acquired by radiographic system | |
| US20100329533A1 (en) | Image processing method and image processing apparatus | |
| JPH0614193A (ja) | ディジタル放射線画像における自動階調スケール生成方法 | |
| KR20130038794A (ko) | 디지털 엑스레이 프레임들 시리즈에서의 잡음 감소의 방법 | |
| JPH1063836A (ja) | 画像の強調処理方法および装置 | |
| KR102156533B1 (ko) | 화상 처리장치, 화상 처리방법, 및 기억매체 | |
| JP2018129738A (ja) | 画像処理装置、方法およびプログラム | |
| JPH1125267A (ja) | 一連のノイズの多い画像を処理するシステム及びそのようなシステムを含む医療用検査装置 | |
| JPH04341245A (ja) | 画像表示装置 | |
| JP5918200B2 (ja) | 超音波診断装置 | |
| US6204891B1 (en) | Method for the temporal filtering of the noise in an image of a sequence of digital images, and device for carrying out this method | |
| JP2002541696A (ja) | 線状移動物体を表す画像系列のノイズ圧縮用画像処理方法、システム及び装置 | |
| US7706625B2 (en) | Trilateral filter for medical diagnostic imaging | |
| JP6002324B2 (ja) | 放射線画像生成装置及び画像処理方法 | |
| US20070071296A1 (en) | Radiographic image processing apparatus for processing radiographic image taken with radiation, method of radiographic image processing, and computer program product therefor | |
| US20100061656A1 (en) | Noise reduction of an image signal | |
| JP3793039B2 (ja) | 画像処理方法、画像処理装置、放射線画像処理装置、画像処理システム及びプログラム | |
| JP4146958B2 (ja) | 画像処理方法、画像処理装置及び記憶媒体 | |
| Close et al. | Accuracy assessment of layer decomposition using simulated angiographic image sequences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060901 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060905 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061004 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |