JP4640845B2 - 画像処理装置およびそのプログラム - Google Patents

Description

本発明は、医用画像中の異常陰影を検出する画像処理装置およびそのプログラムに関するものである。

近年、医療分野においては、画像診断における医師等の読影者への負荷を軽減するとともに診断精度を向上させるために、デジタル医用画像（以下、単に医用画像という）を、コンピュータを用いて画像解析して診断するコンピュータ診断支援（ＣＡＤ：Computer Aided Diagnosis）が用いられている。

このようなＣＡＤとして、例えば、医用画像中の病変の大きさ等の画像に基づいて、腫瘍の悪性度を自動的に解析するものが知られている。医療診断のためには、このような腫瘍の存在する場所の画像情報に基づいて胸部ＣＴ画像から腫瘍領域または腫瘍領域の輪郭を正確に検出することが必要となる。

特許文献１においては、腫瘍の輪郭を放射線専門医などが手作業で設定し、輪郭から得られた腫瘍の特徴量、例えば腫瘍の大きさ、腫瘍内部のＣＴ値分布等に基づいて人工ニューラルネットワーク（ＡＮＮ）手法により悪性腫瘍の尤度を自動解析する方法が提案されている。

また、非特許文献１では、ロバスト性に優れた腫瘍の検出方法として、腫瘍領域の輝度分布がガウス分布であると仮定し、異方性ガウス分布（Anisotropic Gaussian）の平均および分散を算出して、腫瘍領域の輝度分布にもっとも一致するガウス分布を求め、そのガウス分布の中央値の位置を中心とした楕円状の輪郭を取得する方法が提案されている。このとき、腫瘍領域内に存在する点をユーザに指示させ、その点の位置を徐々に変えながら、これら点を中心としたガウス分布に近似した輝度分布をもつ輪郭を探索して最適な輪郭を求めている。
特表２００２−５３０１３３公報 K. Okada, D. Comaniciu, A. Krishnan, "Robust Anisotropic Gaussian Fitting for Volumetric Caracterization of Pulmonary Nodules in Multislice CT", IEEE Trans. Medical Imaging, Vol. 24, NO. 3, pp.409-423, 2005提案されている。

しかしながら、上述の各手法では、いずれも腫瘍の大凡の位置をユーザが指定しているが、同じ被写体の腫瘍の経時変化を観察するために撮影を行った場合には、同じ位置に腫瘍が現れる場合が多く、毎回、腫瘍の位置を指定するのはユーザにとって煩わしい。

本願発明は、上記事情に鑑み、ユーザの煩わしさを軽減し、かつ、腫瘍などの異常陰影の検出性能を向上させる画像処理装置および方法ならびにプログラムを提供することを目的とするものである。

本発明の画像処理装置は、被写体を撮影して得られた異常陰影が現れた過去画像を記憶する過去画像記憶手段と、
前記過去画像を撮影した時よりも後に前記被写体を撮影した診断対象となる診断対象画像を記憶する診断対象画像記憶手段と、
前記過去画像と前記診断対象画像との間で被写体の位置合せをする位置合せ手段と、
該位置合せ手段により得られた位置合せ情報を記憶する位置合せ情報記憶手段と、
前記過去画像の被写体上に現れた異常陰影の位置情報を記憶する異常陰影位置情報記憶手段と、
前記異常陰影の位置情報と前記位置合せ情報とに基づいて、前記過去画像の被写体上に現れた異常陰影の位置に対応する前記診断対象画像の被写体上の対応位置を算出する対応位置算出手段と、
前記対応位置を用いて、前記診断対象画像より前記対応位置の近傍に存在する異常陰影を検出する診断対象画像異常陰影検出手段とを備えたことを特徴とするものである。

また、本願発明のプログラムは、コンピュータを、
被写体を撮影して得られた異常陰影が現れた過去画像を記憶する過去画像記憶手段と、
前記過去画像を撮影した時よりも後に前記被写体を撮影した診断対象となる診断対象画像を記憶する診断対象画像記憶手段と、
前記過去画像と前記診断対象画像との間で被写体の位置合せをする位置合せ手段と、
該位置合せ手段により得られた位置合せ情報を記憶する位置合せ情報記憶手段と、
前記過去画像の被写体上に現れた異常陰影の位置情報を記憶する異常陰影位置情報記憶手段と、
前記異常陰影の位置情報と前記位置合せ情報とに基づいて、前記過去画像の被写体上に現れた異常陰影の位置に対応する前記診断対象画像の被写体上の対応位置を算出する対応位置算出手段と、
前記対応位置を用いて、前記診断対象画像より前記対応位置の近傍に存在する異常陰影を検出する診断対象画像異常陰影検出手段として機能させることを特徴とするものである。

「異常陰影」とは、腫瘍など正常組織とは異なる組織を撮影した陰影をいい、異常陰影であるか否かが明らかでない異常陰影らしい陰影を含むものである。

また、前記過去画像上の異常陰影の大きさと、前記診断対象画像から検出された異常陰影の大きさと、前記過去画像が撮影された時から前記診断対象画像が撮影された時まで期間とに基づいて、前記過去画像の異常陰影の大きさが所定の大きさに変化する期間を算出する期間算出手段を備えたものであってもよい。

さらに、前記過去画像上の異常陰影の大きさと、前記診断対象画像から検出された異常陰影の大きさとに基づいて、該異常陰影の大きさが大きくなったか小さくなったかを表す大きさ変化情報を表示する変化表示手段を備えたものであってもよい。

本発明によれば、診断対象画像上の異常陰影を、過去画像の被写体上に現れた異常陰影の位置を基準にして、その近傍から検出することにより、異常陰影の検出精度を向上させることができる。また、過去画像上に現れていた異常陰影の変化が観察しやすくなる。

さらに、異常陰影の大きさが変化する期間を算出することにより、異常陰影の大きさがどのくらいの速さで大きくなっているかを知ることができ、診断に役立てることができる。

さらに、大きさの変化を表す情報を表示することで、即座に大きさの変化を認識することができ、診断に役立てることができる。

以下、図面を参照して本発明の第１の実施の形態について説明する。

図１は、画像処理装置１の構成を示すものである。なお、図１のような画像処理装置１の構成は、補助記憶装置に読み込まれた画像処理プログラムがコンピュータ（例えばワークステーション等）上で実行されることにより実現される。このとき、コンピュータには、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶された画像処理プログラムがインストールされる。あるいは、インターネット等のネットワークを介して画像処理プログラムが配布されて、コンピュータにインストールされる。

画像処理装置１は、過去に被写体を撮影して得られた異常陰影が現れた過去画像１１を記憶する過去画像記憶手段１０と、過去画像を撮影した時よりも後に同一の被写体を撮影した診断対象となる診断対象画像２１を記憶する診断対象画像記憶手段２０と、２つの医用画像（ここでは、過去画像と診断対象画像）の被写体の位置合せを行う位置合せ手段３０と、過去画像１１と診断対象画像２１との間で位置合せをして得られた位置合せ情報を記憶する位置合せ情報記憶手段４０と、所定の位置の近傍より異常陰影を検出する異常陰影検出手段５０と、過去画像１１の被写体上に現れた異常陰影の位置を表す位置情報を記憶する異常陰影位置情報記憶手段６０と、過去画像１１の異常陰影の位置情報と位置合せ情報に基づいて、過去画像１１の被写体上に現れた異常陰影の位置に対応する診断対象画像２１の被写体上の対応位置を算出する対応位置算出手段７０と、異常陰影検出手段５０を用いて、診断対象画像２１から対応位置の近傍に存在する異常陰影を検出する診断対象画像異常陰影検出手段８０とを備える。

以下、本実施の形態では、医用画像（過去画像および診断対象画像）が被写体をＣＴ撮影装置などの断層撮影装置で撮影した複数の断層画像のである場合について具体的に説明する。

放射線科などに設置されたＣＴ撮影装置などで撮影された医用画像は、ネットワークを介して画像サーバ（不図示）に保管される。画像サーバには、撮影した被写体の患者情報、撮影日、撮影したモダリティの情報などとともにDICOMに準拠した形式で医用画像が保存される。また、医用画像に付帯された種々の情報を用いて必要な画像を検索することが可能なように、画像サーバにはデータベースの機能を備えるように構成する。

画像処理装置１はネットワークを介して画像サーバに接続し、診断対象画像記憶手段２０に、画像サーバに保管された画像の中から診断対象となる被写体の医用画像が診断対象画像２１として読み込んで記憶する。また、過去画像記憶手段１０には、画像サーバから診断対象となる被写体を過去に撮影した医用画像を検索して過去画像１１として読み込んで記憶する。

ＣＴ画像の撮影を行う際には被写体の被爆量が大きいため、医師が詳しく観察したいと思う部位に限って撮影が行われるため、同じ被写体の同じ部位を診断する場合であっても、撮影された時期や撮影した技師によって撮影をした部位が前回の撮影とずれた部位を撮影する場合がある。

そこで、位置合せ手段３０は、人体全体の解剖学的な構造物が標準的な濃度（輝度値）を持ち標準的な位置にある濃淡画像、つまり、全体基準画像３１を用いて、この全体基準画像３１の濃淡と過去画像１１や診断対象画像２１の濃淡が一致するように位置合せした後に、過去画像１１と診断対象画像２１とを位置合せすることにより、ずれて撮影された断層画像同士の位置合せを正確に行なう。

全体基準画像３１は、多数の人体をＣＴ撮影装置で撮影した断層画像から各臓器や骨などの解剖学的な構造物の濃度値や位置の平均値を求めて、被写体全体の解剖学的な構造物が標準的な濃度と位置を持った濃淡画像を用いる。また、全体基準画像３１と一緒に、濃淡画像上の肩や胸郭上の点、肺尖、気管支の分岐点や肺葉の輪郭（具体的には、例えば「電子情報通信学会論文誌 D-II Vol.J87-D-II No.1 pp.357-360 2004年１月」に記載されている気管支の抽出や肺葉の輪郭の抽出などを用いることができる）などの位置合せの基準となる特徴点の位置の情報を予め記憶しておく。

まず、過去画像記憶手段１０に記憶されている過去画像１１の解剖学的構造物を全体基準画像３１上の対応する部位の解剖学的構造物に位置合わせする。

例えば、被写体の胸部を撮影した断層画像を位置合せする場合には、過去画像１１より肩や胸郭上にある特徴点を自動抽出して、全体基準画像３１上の特徴点と対応させて大局的な位置合わせを行う。さらに、骨や臓器はそれぞれ画像上に特有の濃度値を持って現れるので、全体基準画像３１と過去画像の濃淡情報を比較することにより、対応する構造物の位置を詳細に位置合せする。

ここでは、胸部画像を位置合せする場合について、便宜上、図２、図３に示すような、２次元画像を用いて説明する。図２に示すように、過去画像１１に撮影された胸部画像（図２（ａ）参照）を，全体基準画像３１中の胸部の位置に大局的に位置合わせし（図２（ｂ）には、全体基準画像に含まれる部位のうち胸部のみ図示する。）、その後、大局的位置合わせした画像を分割して得られた多数の局所領域について、それぞれ位置合わせを行う。過去画像１１には、通常、撮影部位の情報が画像に付帯して記録されているので、その部位に関する情報から過去画像１１が胸部画像であることがわかるので、過去画像１１から胸郭を検出して胸郭の特徴を表す特徴点を抽出する。抽出された特徴点と全体基準画像３１に記憶されている特徴点に基づいて、過去画像１１に対して回転、平行移動および拡大・縮小等のアフィン変換を施して全体基準画像３１に大雑把に大局的な位置合わせする。続いて、全体基準画像３１を多数の矩形小領域Ｒ２に分割して、過去画像１１の対応する位置に前記矩形小領域よりも大きい探索領域Ｒ１を設定して、探索領域Ｒ１の中から矩形小領域Ｒ２の濃淡情報と探索領域Ｒ１内の濃淡情報とが最も一致するところを探索する。全体基準画像３１の各矩形小領域Ｒ２が一致する場所を探索して、過去画像１１と全体基準画像３１の対応位置を探索する。

同様にして、診断対象画像２１と全体基準画像３１の対応位置を探索する。さらに、過去画像１１と全体基準画像３１の対応位置と、診断対象画像２１と全体基準画像３１の対応位置とを用いて、過去画像１１と診断対象画像２１の対応位置を求めて位置合せ情報として位置合せ情報記憶手段４０に記憶する。具体的には、例えば、過去画像１１と診断対象画像２１間の対応する位置をシフトベクトルで表したデータを記憶するようにすればよい。

上述では２次元で位置合せをする場合について説明したが、ＣＴ撮影装置などで胸部を撮影したときに得られた複数枚の断層画像から構成される３次元画像の場合であっても、３次元の過去画像１１や診断対象画像２１から胸郭などの３次元上の特徴点を検出して、過去画像１１や診断対象画像２１の胸郭をアフィン変換などにより全体基準画像３１に大局的に位置合せした後、全体基準画像３１を小領域（例えば、立方体形状の領域）に区分けし、全体基準画像３１の小領域内の濃淡情報と、過去画像１１や診断対象画像２１に設定した探索領域（小領域より広い領域）内の濃淡情報が最も一致する場所を探索することにより対応位置を求めることができる。この過去画像１１と診断対象画像２１間の対応位置のシフトベクトルを位置合せ情報として求めて位置合せ情報記憶手段４０に記憶する。

上述では、胸部について具体的に説明したが腹部など他の部位についても同様に位置合せすることができる。

次に、異常陰影検出手段５０で、ＣＴ撮影装置などの断層撮影装置を用いてに取得された医用画像（過去画像１１や診断対象画像２１）の各断層画像Ｐに現れた腫瘍を撮影した異常陰影の輪郭を、所定の位置の近傍から検出する場合について説明する。本実施の形態では、予め輪郭が既知である異常陰影の領域を含んだ複数の断層画像のサンプル画像における各画素の特徴量を予め学習することにより、検出対象の画像に含まれる各画素が輪郭を示す画素であるかどうかを評価する評価関数を用いて輪郭を決定する方法について具体的に説明する。

図４に示すように、異常陰影検出手段５０は、断層画像Ｐ上の所定の位置を入力する位置入力手段５１と、入力された位置の近傍に存在する異常陰影の領域を検出する領域検出手段５２からなる。以下、異常陰影の領域を腫瘍領域として説明する。

また、領域検出手段５２は、図５に示すように、入力された点Ｃの近傍から腫瘍領域を含む充分な大きさの判別領域ＴＴを決定する判定領域決定手段５３と、決定した判別領域ＴＴの画像を設定した点Ｃを基準とする極座標の画像ＰＰに変換する座標変換手段５４と、座標変換された画像ＰＰを多重解像度化する多重解像度画像取得手段５５と、取得した複数の多重解像度画像ＲＰの各々に対して、腫瘍の輪郭Ｂを取得する輪郭取得手段５６と、多重解像度画像各々に対して取得された輪郭Ｂから最適な輪郭ＢＢを選択する最適輪郭選択手段５７と、選択された最適輪郭ＢＢの情報を含む極座標の画像を、設定した点Ｃに関する直交座標の画像に逆変換する逆座標変換手段５８を備えている。

位置入力手段５１には、図６に示すように、ＣＴ撮影装置等により取得された断層画像Ｐを表示装置上に表示して、表示された断層画像Ｐ上に現れた腫瘍領域内における点（×印）を、ユーザがキーボードやポインティングデバイス等を用いて設定し、設定した点Ｃの位置が入力される。

あるいは、診断対象画像２１に腫瘍が存在する場所には過去画像１１上の対応する位置にも腫瘍が存在していた場合も多いため、過去画像１１から検出された腫瘍を基準に、その近傍に存在する腫瘍を検出するようにしてもよい。そこで、位置入力部５１には、過去画像の腫瘍領域から得られた腫瘍の中心点Ｃの位置が入力されるようにしてもよい（図示せず）。これらの入力される点Ｃは、該腫瘍の輪郭を示す画素でなければどこにあってもよく、腫瘍の中心から外れた画素であってもよい。

判定領域決定手段５３は、図７の（ａ）に示すように、位置入力手段５１において入力された点Ｃを中心とした、腫瘍領域を充分に含む一定半径の領域を判別領域ＴＴとして決定するものであり、全体画像Ｐから注目する領域の範囲を限定することにより、以降の処理を高速化することができる。

座標変換手段５４は、判定領域決定手段５３において決定された判別領域ＴＴの画像を、中心点Ｃからの距離と、中心点Ｃを通る所定の直線とのなす角度θで表す極座標平面上に展開した判別画像ＰＰに変換する機能を有する。例えば、図７（ａ）画像の半径方向線分ＣＤを基準とした時計方向を角度θとして得られた図７（ｂ）の極座標画像を用いて、平行移動という簡単な探索処理で、容易に判別領域内の各画素に対して処理を行なうことが可能となる。

多重解像度画像取得手段５５は、図８に示すように、座標変換された判別画像ＰＰを多重解像度化して解像度の異なる複数の画像ＲＰ_１〜ＲＰ_Ｋ−１、ＲＰ_Ｋを生成する機能を有している。対象腫瘍の画像の解像度を変えることにより画像の大きさを変えることができ、大きさの違う腫瘍を同じ評価関数Ｆを用いて評価を行なうことができる。つまり、評価関数が所定の範囲の大きさの腫瘍を評価するように生成された場合、評価関数が想定している腫瘍の大きさの範囲内にない腫瘍を評価す場合には、低解像度または高解像度を用いることで腫瘍の大きさを評価関数Ｆが想定している大きさの範囲内に収めることが可能となり、さまざまな大きさの腫瘍領域に対して輪郭の検出を確実に行うことができる。

なお、本実施の形態では、判別画像の多重解像度画像に対して、設定された一定の大きさの腫瘍を評価する評価関数Ｆを用いる場合について例示しているが、単一の判別画像に対して、異なる大きさの腫瘍を評価する評価関数を用意し、異なる大きさの腫瘍領域に対して輪郭を検出するようにすることもできる。

また、輪郭取得手段５６は、図５に示すように、判別領域ＴＴ内の各画素から特徴量Ｌを抽出する特徴量抽出手段５６１と、抽出した特徴量Ｌに基づいて、各画素が輪郭を示す画素であるかどうかの評価値Ｓを、評価関数Ｆを用いて算出する評価値算出手段５６２と、算出した評価値Ｓに基づいて輪郭Ｂを決定する輪郭決定手段５６３とを有している。

ここで、検出対象となる断層画像に含まれている各画素が輪郭を示す画素であるかどうかを評価する評価関数Ｆの取得方法について説明する。例えば、アダブースティングアルゴリズム（Adaboosting Algorithm）を用いて、輪郭が既知である腫瘍領域を含む複数のサンプル画像（ここでは、断層画像）における各画素の特徴量を予め機械学習することにより、断層画像内の各画素が輪郭を示す画素であるかどうかを評価する評価関数Ｆを取得することができる。

具体的には、まず、腫瘍領域が撮影されている断層画像より、予め腫瘍領域の輪郭がわかっている断層画像Ｐから、ポジティブサンプルとネガティブサンプルにラベリングされている多数の学習サンプル（ｘ１，ｙ１），・・・，（ｘＮ，ｙＮ）を用意する。ここで、ｘｉは学習サンプルのデータ、すなわち、本実施の形態では１次元輝度プロファイルを示す。また、ｙｉは学習サンプルのラベルであり、ｙｉ＝１は、学習サンプルがポジティブサンプルとしてラベリングされている場合を示し、ｙｉ＝−１は、学習サンプルがネガティブサンプルとしてラベリングされていることを示すものとする。

例えば図９に示すような、腫瘍を横切るように設定し、腫瘍の輪郭部を含む所定の長さの線上（例えば、図９（ａ）（ｃ）のA-A’の線）に存在する画素の輝度の変化を表す１次元輝度プロファイル（図９（ｂ）（ｄ））内に、輪郭部の輝度を２箇所含む１次元輝度プロファイルをポジティブサンプルとして抽出する。一方、輪郭部の輝度を１箇所しか含まない１次元輝度プロファイルや、腫瘍内部の線または背景組織に輪郭部を含まないように設定された線上の画素から得られた１次元輝度プロファイルをネガティブサンプルとして抽出する。また、一次元輝度プロファイルが同じ長さになるように、線の長さを規格化（例えば、３２画素）して一次元輝度プロファイルを抽出したものが好ましい。

さらに、抽出された１次元輝度プロファイルにおいてコントラストを一定のレベルに揃えるように正規化を施す。例えば、図１０（ａ）に示すように１次元輝度プロファイルの輝度値の大きさが小さい側に偏って分布している場合には、図１０（ｂ）に示すように、輝度値の大きさが０〜２５５の全領域に亘って現れるように正規化する。

なお、情報量を少なくして高速に処理することができるように、図１０（ｃ）に示すように、１次元輝度プロファイルのヒストグラムにおける分布範囲を例えば５分割し、５分割された頻度分布が図１０（ｄ）に示すように、０〜２５５の値を５分割した各区間に現れる頻度で表すように正規化することが好ましい。

アダブーストにおいて、取得される評価関数Ｆは、図１１に示すように、複数の弱判別器ｆ_１〜ｆ_Ｍ（Ｍ：弱判別器の個数）から構成されており、各弱判別器ｆ_１〜ｆ_Ｍはそれぞれ上述した学習サンプルのデータ、すなわち、１次元輝度プロファイル内の輝度情報に基づく特徴量Ｌを用いて各学習サンプルがポジティブサンプルであるか否かの判別を行う。

各弱判別器ｆ_１〜ｆ_Ｍは図１２に示すようなヒストグラムを有しており、このヒストグラムに基づいて１次元輝度プロファイル内の輝度情報に基づく特徴量Ｌの値に応じた判別結果を出力する。

本実施の形態では、正規化処理を施した１次元輝度プロファイル内における３つの画素の輝度値の組み合わせから得られた特徴量Ｌを用いる。また、各弱判別器ｆ_１〜ｆ_Ｍの特徴量は、１次元輝度プロファイル内における画素から、各弱判別器ｆ_１〜ｆ_Ｍごとに異なる組み合わせの３つの画素から得た特徴量を用いる。例えば、弱判別器ｆ_１では１次元輝度プロファイルの左端から三つの画素の輝度値を組み合わせた特徴量Ｌを用い、弱判別器ｆ_２では１次元輝度プロファイルの左端から１画素おきに位置する３つの画素の輝度値を組み合わせた特徴量Ｌを用いるようにすることができる。

なお、各弱判別器ｆ_１〜ｆ_Ｍがそれぞれ異なる複数の画素の輝度値の組み合わせを特徴量として用いる場合について例示しているが、輝度値の差分、コントラスト、エッジ等の他の画像から得られる情報を用いる弱判別器を用いてもよい。

次に、アダブーストのアルゴリズムに従って複数の弱判別器ｆ_ｍを逐次生成し、評価関数Ｆを構成する方法について説明する。

最終評価関数Ｆ_Ｍは、全ての弱判別器の判別結果の総和の符号、すなわち下記式（１）に示す評価関数Ｆ_Ｍが正か負かを判断することで、ポジティブサンプル、すなわち、輪郭部を２箇所含む１次元輝度プロファイルであるかどうかを評価することができる。

なお、ここでは、評価関数１０がアダブースティングアルゴリズムを用いて評価関数Ｆを取得する場合について例示しているが、それに代えてニューラルネットワーク等他の機械学習の手法を用いることもできる。

徴量抽出手段５６１は、判別画像ＲＰの各画素に対して特徴量を抽出するものであり、図７（ａ）（ｂ）（同図（ｂ）は同図（ａ）を極座標変換した図である）に示すように、中心点Ｃと座標（ｘ、ｙ）を結ぶ直線上の画素の１次元輝度プロファイル（図１３（ａ）参照）と、その直線の方向と異なる方向を持つ中心点Ｃと座標（ｉ、ｊ）を通る直線上の画素の１次元輝度プロファイルとを組み合わせた１次元輝度プロファイル（図１３（ｂ）参照）を、座標（ｘ、ｙ）、（i、ｊ）の画素における１次元輝度プロファイルＰ（（ｘ、ｙ）、（ｉ、ｊ））（図１３（ｃ）参照）として取得する。

取得した１次元輝度プロファイルの長さを評価関数Ｆが対応するように画素数を調節し、さらに、正規化および５値化処理を行なうようになっている。また、評価関数Ｆを構成する各弱判別器ｆ_１〜ｆ_Ｍに用いられる、正規化された１次元輝度プロファイル内のそれぞれ異なる３つの画素における輝度値の組み合わせを、座標（ｘ、ｙ）の画素における特徴量Ｌとして抽出する。

評価値算出手段５６２は、判別領域内の各画素（ｘ、ｙ）における１次元輝度プロファイル内の輝度情報から抽出される特徴量Ｌに基づいて、判別領域内の各画素（ｘ、ｙ）が輪郭を表す画素であるかどうかの評価値Ｓを算出する機能を有している。具体的には、下記式（２）に示すように、１次元輝度プロファイルＰ（（ｘ、ｙ）、（ｉ、ｊ））内の異なる３つの画素における輝度値の組み合わせからなる特徴量Ｌに基づいて得られた、各弱判別器ｆ_１〜ｆ_Ｍ での判別結果の和Σ_ｍ=1 ^Ｍｆ_ｍが設定しきい値（ゼロ）以上であるか否かによって、しきい値以上である場合は得られた判別結果の和を ＡｄａＳとし、しきい値以下である場合は０とする。ここで、座標（ｘ、ｙ）および任意の座標（ｉ、ｊ）が腫瘍の輪郭部に相当する画素である可能性が高いほど、ＡｄａＳの値は大きくなる。ＡｄａＳを、座標（ｘ、ｙ）と判別画像ＲＰ内の各座標（ｉ、ｊ）に対して求め、下記式（３）により、座標（ｘ、ｙ）の評価値Ｓを算出する。図７（ｃ）は、画像の各画素の特徴量に基づいて算出された評価値Ｓの結果を各画素の輝度値として表した画像であり、白く現れているところが評価値が高く輪郭である可能性が高い画素である。

輪郭決定手段５６３は、評価値算出手段５６２において算出された各画素の評価値Ｓに基づいて、動的計画法による最適輪郭経路を求め、腫瘍の輪郭Ｂとして決定する機能を有する。下記式（４）に示すように、ある程度の連続性を確保できるように輪郭上の一つの画素に連なる次の画素を探索する探索範囲を、一つの画素から２画素離れたところまでとして最適輪郭経路を求める。具体的には、動的計画法などを用いて、輪郭の最適経路を探索範囲内の候補画素の中から探索した最適点（合計が最大となる画素）を次の輪郭点とすることを繰り返して最適解を求めることにより、ある程度の連続性を確保できるように最適輪郭Ｂを決める。図７（ｃ）と（ｄ）は画像の各画素の評価値Ｓに基づいて輪郭決定手段５６３により決定した輪郭の一例を示す画像である。

さらに、最適輪郭選択手段５７は、多重解像度化された複数の画像の各々に対して取得された、腫瘍の輪郭Ｂ_１〜Ｂ_Ｋ毎に輪郭上の評価値Ｓの合計を求め、最も大きい値となる輪郭を最適な輪郭ＢＢとして選択するものである。

逆座標変換手段５８は、座標変換手段５４による変換の逆変換として、中心点Ｃを関する極座標の画像を、中心点Ｃを関する直交座標の画像に逆変換する機能を有するものであり、最適輪郭選択手段５７において選択された輪郭情報を含む極座標の画像を、中心点Ｃを関する直交座標の画像に逆変換することにより、図７（ｅ）に示すように、判別領域ＴＴの画像等の医用画像上に輪郭Ｂを表示することができる。

上記実施の形態によれば、輪郭が既知である腫瘍領域を含む複数のサンプル画像における各画素の特徴量を予め機械学習することにより、各画素が輪郭を示す画素であるかどうかを評価する評価関数Ｆを特徴量に対応させて求め、医用画像中の腫瘍領域内に設定した任意の点Ｃから決定される判別領域ＴＴの画像を多重解像度化し、多重解像度化された複数の画像の各々に対して特徴量Ｌを抽出し、各画素が輪郭を示す画素であるかどうかの評価値Ｓを上記評価関数Ｆから算出し、その評価値Ｓに基づいて輪郭Ｂを決定することにより、複雑な濃度分布を有し、さまざまな大きさおよび形状を有する腫瘍領域に対しても精度よく輪郭を決定することができる。

異常陰影位置情報記憶手段６０は、過去画像１１上に現れた異常陰影の位置情報を記憶する。この異常陰影の位置情報は、上述の異常陰影検出手段５０を用いて検出した異常陰影の位置を記憶したものでもよいが、ポインティングデバイスなどの入力装置を用いて、マニュアルで過去画像１１の異常陰影を囲んで異常陰影の位置を入力したものを記憶してもよい。

対応位置算出手段７０は、位置合せ情報記憶手段４０に記憶されている診断対象画像２１と過去画像１１間で対応する位置のシフトベクトルと、異常陰影位置情報記憶手段６０に記憶されている過去画像１１上の異常陰影の位置とから、診断対象画像２１の被写体上の異常陰影の対応位置を求める。

診断対象画像２１に腫瘍などの異常陰影が存在する場所には過去画像１１上の対応する位置にも同じ異常陰影が現れていた場合が多い。そこで、診断対象画像異常陰影検出手段８０は、対応位置算出手段７０で求められた診断対象画像２１上の異常陰影の対応位置の近傍に現れる異常陰影を、異常陰影検出手段５０を用いて検出する。具体的には、異常陰影が現れている過去画像１１の断層画像に対応する診断対象画像２１の断層画像を探して、さらに、その診断対象画像２１の断層画像上で過去画像上に現れていた異常陰影の対応位置を求め、その対応位置の近傍の存在する異常陰影を上述の異常陰影検出手段５０を用いて検出する
以下、図１４、図１５のフローチャートを用いて、画像処理装置１を用いて過去画像から検出された異常陰影の位置情報を用いて、診断対象画像の異常陰影を検出する処理の流れについて説明する。

まず、図１４に示すように、被写体を撮影した過去画像１１を観察して診断するための正確な情報を得るために、過去画像１１から異常陰影検出手段５０を用いて異常陰影の検出を行なう。そこで、図６に示すように、ＣＴ撮影装置等により取得された過去画像の断層画像Ｐを表示装置上に表示して、ユーザに表示された断層画像Ｐ上に現れた腫瘍領域内の点（×印）を指示させる。位置入力手段５１には指示した点Ｃの位置が入力される（Ｓ１００）。入力された点Ｃの近傍から領域検出手段５２を用いて異常陰影の領域を検出し（Ｓ１０１）、検出した異常陰影の位置情報を過去画像１１と対応付けて画像サーバに一旦記憶する（Ｓ１０２）。

次に、図１５に示すように、過去画像１１と同じ被写体を撮影した診断対象画像２１の診断を行うために、過去画像１１から検出された異常陰影の位置情報を用いて、診断対象画像２１の異常陰影を検出する。まず、画像サーバから診断対象画像２１を取り出して診断対象画像記憶手段２０に記憶する（Ｓ１０３）。さらに、画像サーバから過去画像１１を取り出して過去画像記憶手段１０に記憶し、過去画像の異常陰影の位置情報を異常陰影位置情報記憶手段６０に記憶する（Ｓ１０４）。

位置合せ手段３０を用いて、過去画像１１と診断対象画像２１との位置合せを行って得られた位置合せ情報を位置合せ情報記憶手段４０に記憶する（Ｓ１０５）。異常陰影位置情報記憶手段６０に記憶されている異常陰影の位置情報と位置合せ情報記憶手段４０の位置合せ情報とを用いて、対応位置算出手段７０で、過去画像１１の被写体上に現れた異常陰影の位置に対応する診断対象画像２１の被写体上の対応位置を算出する（Ｓ１０６）。

そこで、診断対象画像２１上の対応位置から異常陰影の略中心にある点Ｃを求めて、位置入力部５１に点Ｃの位置を入力する（Ｓ１０７）。診断対象画像２１の点Ｃの近傍から領域検出手段５２を用いて異常陰影の領域を検出する（Ｓ１０８）。

上述では、異常陰影検出手段を用いて過去画像から異常陰影の存在する位置を検出する場合について説明したが、ユーザがポインティングデバイスなどの入力装置を用いて、マニュアルで異常陰影の位置を入力し、この異常陰影の位置情報を用いて診断対象画像から異常陰影を検出するようにしてもよい。

以上、詳細に説明したように、過去画像で検出異常陰影の位置の近傍から診断対象となる画像の異常陰影を検出することによって、効率よく異常陰影を検出することが可能になる。

次に、第２の実施の形態について説明する。第２の実施の形態では、第１の実施の形態とほぼ同じ構成のものについては詳細な説明を省略し、相違するものについてのみ詳細な説明を行う。

図１６に示すように、本実施の形態の画像処理装置１ａは、過去に被写体を撮影して得られた異常陰影が現れた過去画像１１を記憶する過去画像記憶手段１０と、過去画像を撮影した時よりも後に前記被写体を撮影し、診断対象となる診断対象画像２１を記憶する診断対象画像記憶手段２０と、２つの医用画像（ここでは、過去画像と診断対象画像）の位置合せを行う位置合せ手段３０と、過去画像１１と診断対象画像２１との間で位置合せをして得られた位置合せ情報を記憶する位置合せ情報記憶手段４０と、所定の位置の近傍より異常陰影を検出する異常陰影検出手段５０と、過去画像１１の被写体上に現れた異常陰影の位置を表す位置情報を記憶する異常陰影位置情報記憶手段６０と、過去画像１１の被写体上に現れた異常陰影の大きさを表す大きさ情報を記憶する異常陰影大きさ情報記憶手段６１と、過去画像１１の異常陰影の位置情報と位置合せ情報に基づいて、過去画像１１の被写体上に現れた異常陰影の位置に対応する診断対象画像２１の被写体上の対応位置を算出する対応位置算出手段７０と、異常陰影検出手段５０を用いて診断対象画像２１より対応位置の近傍に存在する異常陰影を検出する診断対象画像異常陰影検出手段８０と、過去画像１１上の異常陰影の大きさと、診断対象画像２１から検出された異常陰影の大きさと、過去画像１１が撮影された時から診断対象画像２１が撮影された時まで期間とに基づいて、過去画像１１の異常陰影の大きさが所定の大きさに変化する期間を算出する期間算出手段９０とを備える。

異常陰影大きさ情報記憶手段６１は、上述の異常陰影検出手段５０を用いて過去画像１１から検出した異常陰影の現れた領域からその大きさを求めたものを記憶したものでもよいが、ポインティングデバイスなどの入力装置を用いて、マニュアルで過去画像１１上の異常陰影を囲んだものから大きさを求めてもよい。また、この過去画像１１上の異常陰影の大きさは、異常陰影位置情報記憶手段６０に記憶されている異常陰影の位置に存在する異常陰影の大きさである。

期間算出手段９０は、画像サーバに記憶された過去画像１１に付帯されて記憶されている撮影日時と、診断対象画像２１に付帯して記憶されている撮影日時とから、２つの画像を撮影した間隔を算出し、異常陰影位置情報記憶手段６０に記憶されている異常陰影の位置を用いて診断対象画像異常陰影検出手段８０で得られた診断対象画像２１の異常陰影の大きさと、異常陰影大きさ情報記憶手段６１に記憶されている過去画像１１の異常陰影の大きさとから、過去画像１１の異常陰影が、例えば、２倍の大きさになる期間を算出する。

以下、図１７、図１８のフローチャートを用いて、本実施の形態の画像処理装置１を用いて過去画像から検出された異常陰影の位置を用いて、診断対象画像の異常陰影を検出する処理の流れについて説明する。

まず、図１７に示すように、被写体を撮影した過去画像１１を観察して診断するための正確な情報を得るために、過去画像１１から異常陰影検出手段５０を用いて異常陰影の検出を行なう。そこで、図６に示すように、ＣＴ撮影装置等により取得された過去画像の断層画像Ｐを表示装置上に表示して、ユーザに表示された断層画像Ｐ上に現れた腫瘍領域内の点（×印）を指示させる。位置入力手段５１には指示した点Ｃの位置が入力される（Ｓ２００）。入力された点Ｃの近傍から領域検出手段５２を用いて異常陰影の領域を検出し（Ｓ２０１）、検出した異常陰影の位置情報を過去画像１１と対応付けて画像サーバに一旦記憶する。このとき、さらに、異常陰影の領域の大きさを算出して、大きさの情報を過去画像１１と対応付けて画像サーバに一旦記憶する（Ｓ２０２）。

次に、図１８に示すように、過去画像１１と同じ被写体を撮影した診断対象画像２１の診断を行うために、過去画像１１から検出された異常陰影の位置情報を用いて、診断対象画像２１の異常陰影を検出する。まず、画像サーバから診断対象画像２１を取り出して診断対象画像記憶手段２０に記憶する（Ｓ２０３）。さらに、画像サーバから過去画像１１を取り出して過去画像記憶手段１０に記憶し、過去画像の異常陰影の位置情報を異常陰影位置情報記憶手段６０に、異常陰影の大きさの情報を異常陰影大きさ情報記憶手段６１に記憶する（Ｓ２０４）。

位置合せ手段３０を用いて、過去画像１１と診断対象画像２１との位置合せを行って得られた位置合せ情報を位置合せ情報記憶手段４０に記憶する（Ｓ２０５）。異常陰影位置情報記憶手段６０に記憶されている異常陰影の位置情報と位置合せ情報記憶手段４０の位置合せ情報とを用いて、対応位置算出手段７０で、過去画像１１の被写体上に現れた異常陰影の位置に対応する診断対象画像２１の被写体上の対応位置を算出する（Ｓ２０６）。

そこで、診断対象画像２１上の対応位置から異常陰影の略中心にある点Ｃを求めて、位置入力部５１に点Ｃの位置を入力する（Ｓ２０７）。診断対象画像２１の点Ｃの近傍から領域検出手段５２を用いて異常陰影の領域を検出する（Ｓ２０８）。

さらに、期間算出手段９０で診断対象画像２１から検出された異常陰影の領域の大きさを求め、画像サーバの過去画像１１に付帯されて記憶されている撮影日時と、診断対象画像２１に付帯して記憶されている撮影日時とから、２つの画像を撮影した間隔を算出し、異常陰影大きさ情報記憶手段６１に記憶されている過去画像１１の異常陰影の大きさと、診断対象画像２１の異常陰影の大きさと、過去画像を撮影した日時と診断対象画像を撮影した日時とから、過去画像と診断対象画像で同じ位置に存在する異常陰影が、例えば、２倍の大きさになる期間（ダブリングタイム）を求める（Ｓ２０９）。

以上、詳細に説明したように、異常陰影が２倍の大きさになる時間を求めることで、異常陰影の進行の早さなどを算出して、診断に役立てることが可能になる。

上述では、前回撮影した過去画像についてのみ説明したが、前々回の過去画像など多くの過去画像で異常陰影の大きさを求めて、大きさの変化をグラフにして表示するようにしてもよい。

さらに、図１９に示す第３の実施の形態の画像処理装置１ｂのように、第２の実施の形態の画像処理装置１ａに加えて、過去画像上の異常陰影の大きさと診断対象画像から検出された異常陰影の大きさとに基づいて、２つの画像間で異常陰影の大きさが大きくなったか小さくなったかを表す大きさ変化情報を表示する変化表示手段９１を備えるようにしてもよい。

具体的には、表示装置上に、異常陰影の大きさの変化に応じて「増大」「縮小」などと表示したり、大きさの変化量を数値で表示したり、過去画像の異常陰影と診断対象画像に異常陰影の輪郭を重ねて変化がわかるように表示するようにしてもよい。

このように大きさの変化がわかるようにすることで、異常陰影を観察して診断する際に参考にすることが出来る。

上述の各実施の形態では、ＣＴ画像について具体的に説明をしたがＭＲＩ画像などでも同様に行うことが可能である。

また、上述では、過去画像と診断対象画像の位置合せを標準の濃度値で表わした標準画像を用いて行う場合について説明したが、特開平８−１３１４０３に開示されているように、２つの３次元画像データ各々から少なくとも３つずつ特徴点を抽出して位置合せを行う手法や、特開平１０−１３７２３１に開示されているように、解剖学的な形態情報に基づいて選択した複数画像情報の相対的な位置関係を算出して位置合せを行う手法や、特開２０００−１８５０３６に開示されているように、臓器などの特定の部位を抽出して位置合せを行う手法や、特開平８−２９４４８５に開示されているように、三次元画像の中から解剖学的断層位置が略同一の断層を探すようにして位置合せを行う手法や、特開２００５−１２４８９５に開示されているように、気管や気管支などの特徴ある部位を抽出して、複数枚の断層画像の位置合せする手法などを用いることができる。

第１の実施の形態の画像処理装置の概略構成図。 過去画像と全体基準画像の一例 過去画像と全体基準画像の詳細な位置合せを説明するための図 異常陰影検出手段の構成図 領域検出手段の概略構成図 異常陰影の領域（腫瘍領域）の検出を開始する位置を指定した図 本発明の腫瘍領域の検出方法を説明するための図 多重解像度化画像の一例を示す図 腫瘍を通る直線上の１次元輝度プロファイルを表す図 １次元輝度プロファイルの正規化を説明するための図 評価関数の構成を表した一例 弱判別器が用いるヒストグラムの一例 １次元輝度プロファイルを生成する方法を説明するための図 第１の実施の形態の画像処理装置を用いて過去画像から検出された異常陰影の位置を用いて診断対象画像の異常陰影を検出する処理の流れを表すフローチャート（その１） 第１の実施の形態の画像処理装置を用いて過去画像から検出された異常陰影の位置を用いて診断対象画像の異常陰影を検出する処理の流れを表すフローチャート（その２） 第２の実施の形態の画像処理装置の概略構成図 第１の実施の形態の画像処理装置を用いて過去画像から検出された異常陰影の位置を用いて診断対象画像の異常陰影を検出する処理の流れを表すフローチャート（その１） 第１の実施の形態の画像処理装置を用いて過去画像から検出された異常陰影の位置を用いて診断対象画像の異常陰影を検出する処理の流れを表すフローチャート（その２） 第３の実施の形態の画像処理装置の概略構成図

符号の説明

１、１ａ 画像処理装置
１０ 過去画像記憶手段
１１ 過去画像
２０ 診断対象画像記憶手段
２１ 診断対象画像
３０ 位置合せ手段
４０ 位置合せ情報記憶手段
５０ 異常陰影検出手段
５１ 位置入力手段
５２ 領域検出手段
５３ 判定領域決定手段
５４ 座標変換手段
５５ 多重解像度画像取得手段
５６ 輪郭取得手段
５７ 最適輪郭選択手段
５８ 逆座標変換手段
６０ 異常陰影位置情報記憶手段
７０ 対応位置算出手段
８０ 診断対象画像異常陰影検出手段
９０ 期間算出手段
９１ 変化表示手段

Claims (4)

1. 被写体を撮影して得られた異常陰影が現れた過去画像を記憶する過去画像記憶手段と、
   前記過去画像を撮影した時よりも後に前記被写体を撮影した診断対象となる診断対象画像を記憶する診断対象画像記憶手段と、
   前記過去画像と前記診断対象画像との間で被写体の位置合せをする位置合せ手段と、
   該位置合せ手段により得られた位置合せ情報を記憶する位置合せ情報記憶手段と、
   前記過去画像の被写体上に現れた異常陰影の位置情報を記憶する異常陰影位置情報記憶手段と、
   前記異常陰影の位置情報と前記位置合せ情報とに基づいて、前記過去画像の被写体上に現れた異常陰影の位置に対応する前記診断対象画像の被写体上の対応位置を算出する対応位置算出手段と、
   前記診断対象画像より前記対応位置内の１点を含み、かつ、異常陰影を十分に含む所定の範囲を判別領域とし、該判別領域のみを異常陰影の検出の対象領域として異常陰影を検出する診断対象画像異常陰影検出手段とを備え、
   前記診断対象画像異常陰影検出手段が、前記対応位置内の１点と前記判別領域内の他の点とを結ぶ線上で異常陰影の輪郭を探索することにより異常陰影を検出するものであることを特徴とする画像処理装置。
2. 前記過去画像上の異常陰影の大きさと、前記診断対象画像から検出された異常陰影の大きさと、前記過去画像が撮影された時から前記診断対象画像が撮影された時までの期間とに基づいて、前記過去画像の異常陰影の大きさが所定の大きさに変化する期間を算出する期間算出手段を備えた請求項１記載の画像処理装置。
3. 前記過去画像上の異常陰影の大きさと、前記診断対象画像から検出された異常陰影の大きさとに基づいて、該異常陰影の大きさが大きくなったか小さくなったかを表す大きさ変化情報を表示する変化表示手段を備えた請求項１または２記載の画像処理装置。
4. コンピュータを、
   被写体を撮影して得られた異常陰影が現れた過去画像を記憶する過去画像記憶手段と、
   前記過去画像を撮影した時よりも後に前記被写体を撮影した診断対象となる診断対象画像を記憶する診断対象画像記憶手段と、
   前記過去画像と前記診断対象画像との間で被写体の位置合せをする位置合せ手段と、
   該位置合せ手段により得られた位置合せ情報を記憶する位置合せ情報記憶手段と、
   前記過去画像の被写体上に現れた異常陰影の位置情報を記憶する異常陰影位置情報記憶手段と、
   前記異常陰影の位置情報と前記位置合せ情報とに基づいて、前記過去画像の被写体上に現れた異常陰影の位置に対応する前記診断対象画像の被写体上の対応位置を算出する対応位置算出手段と、
   前記診断対象画像より前記対応位置内の１点を含み、かつ、異常陰影を十分に含む所定の範囲を判別領域とし、該判別領域のみを異常陰影の検出の対象領域として異常陰影を検出する診断対象画像異常陰影検出手段として機能させるプログラムであって、
   前記診断対象画像異常陰影検出手段が、前記対応位置内の１点と前記判別領域内の他の点とを結ぶ線上で異常陰影の輪郭を探索することにより異常陰影を検出するものであることを特徴とするプログラム。