JP4895204B2 - 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム - Google Patents

Description

本発明は、入力医用画像に表された被写体中の所定の構造物の正常な構造を表す画像を生成する技術、および、医用画像中の異常成分を分離する技術に関するものである。

医用画像中の異常成分を分離する技術としては、画像中の異常陰影候補を自動的に検出し、検出された異常陰影候補の強調表示等を行うコンピュータ支援画像診断システム（CAD: Computer Aided Diagnosis）が知られている。

例えば、微小石灰化陰影の形状に応じたモフォロジフィルタなどの第１の形状依存性フィルタを用いて微細構造画像を生成し、この微細構造画像に対して撮影条件などが適合する第２の形状依存性フィルタを用いて強調処理済画像を生成する手法が知られている（例えば特許文献１）。

また、ＡＡＭ（Active Appearance Models）という手法によって得られた、被写体の正常な構造の形状やテキスチャが表現されたモデルを、入力画像に適用して正常構造画像を生成し、入力画像と正常構造画像の差分を求めることによって異常陰影を検出する手法が知られている（例えば特許文献２）。
特開２００２-０９９８９６号公報 特開２００４−０４１６９４号公報

しかしながら、特許文献１記載の画像認識手法を用いたとしても、石灰化を伴う異常組織には定まった形状がないため、認識精度の面で改善の余地があった。

また、特許文献２記載の入力画像と正常構造画像の差分から異常成分を分離する手法を用いれば、異常組織の形状に依存せずに異常成分を分離することが可能になるが、正常構造画像の生成精度の面で改善の余地があった。

本発明は上記の事情に鑑みてなされたものであり、入力医用画像中の所定の構造物の正常な構造を表す正常画像をより高い精度で生成する装置、方法、およびプログラム、ならびに、入力医用画像中の異常成分をより高い精度で分離することができる装置、方法およびプログラムを提供することを目的とするものである。

本発明の正常画像生成装置は、被写体中の所定の構造物を表す入力医用画像を、その画像中の被写体と同種の被写体中の前記構造物と同一の構造物を表す複数のトレーニング用画像であって異常成分を含むものの各々に対して、トレーニング用画像中の被写体と同一の被写体の前記構造物の正常な構造を表す教師用画像を教師として学習させることによって得られる教師学習済フィルタに入力することによって、正常画像を生成する手段を設けたことを特徴とする。

本発明の正常画像生成方法は、コンピュータが、被写体中の所定の構造物を表す入力医用画像を、その画像中の被写体と同種の被写体中の前記構造物と同一の構造物を表す複数のトレーニング用画像であって異常成分を含むものの各々に対して、トレーニング用画像中の被写体と同一の被写体の前記構造物の正常な構造を表す教師用画像を教師として学習させることによって得られる教師学習済フィルタに入力することによって、正常画像を生成する。

本発明の正常画像生成プログラムは、コンピュータに上記の正常画像生成方法を実行させることを特徴とする。

本発明の画像成分分離装置は、上記正常画像生成装置を用いて、入力医用画像中の異常成分を分離するものである。すなわち、被写体中の所定の構造物を表す入力医用画像から、その被写体中のその構造物の正常な構造を表す正常画像を生成する正常画像生成手段と、入力医用画像と正常画像の差分を求めることによって、入力医用画像中の異常成分を分離する異常成分分離手段とを有する画像成分分離装置において、正常画像生成手段が、入力医用画像中の被写体と同種の被写体中の前記構造物と同一の構造物を表す複数のトレーニング用画像であって異常成分を含むものの各々に対して、トレーニング用画像中の被写体と同一の被写体の前記構造物の正常な構造を表す教師用画像を教師として学習させることによって得られる教師学習済フィルタに、入力医用画像を入力することによって、正常画像を生成するようにしたことを特徴とする。

本発明の画像成分分離方法は、コンピュータによって行われる、被写体中の所定の構造物を表す入力医用画像から、その被写体中のその構造物の正常な構造を表す正常画像を生成する第１ステップと、入力医用画像と正常画像の差分を求めることによって、入力医用画像中の異常成分を分離する第２ステップとからなり、第１ステップにおいて、入力医用画像中の被写体と同種の被写体中の前記構造物と同一の構造物を表す複数のトレーニング用画像であって異常成分を含むものの各々に対して、トレーニング用画像中の被写体と同一の被写体の前記構造物の正常な構造を表す教師用画像を教師として学習させることによって得られる教師学習済フィルタに、入力医用画像を入力することによって、正常画像を生成するようにしたことを特徴とする。

本発明の画像成分分離プログラムは、コンピュータに上記の画像成分分離方法を実行させることを特徴とする。

以下、本発明の詳細について説明する。

「被写体」とは、ここでは個体を区別する概念である。すなわち、「同一の被写体」とは同一個体を表し、「同種の被写体」とは、個体レベルでは異なっていても、大きさ、形状、構造、および各部位の放射線吸収特性が略等しい被写体（個体）、例えば、成人男性、乳児等を表す。

「所定の構造物」の具体例としては、人体の胸部等の撮影部位レベルであってもよいし、胸部の中の骨部等のより細かいレベルのものであってもよい。

所定の構造物を骨部とする場合、前記入力医用画像、トレーニング用画像、および、教師用画像は、被写体を透過した放射線によって形成される、エネルギー分布の異なる２パターンの放射線の各々の該被写体中の透過の程度を表す２つの放射線画像を入力とし、それら２つの放射線画像の相対応する画素毎に所定の重みづけ係数を用いた重みづけ総和を求めることによって得られたもの、すわなち、公知のエネルギーサブトラクション技術（具体的手法は特開2002-152593号公報等参照）によって得られたものとすることができる。また、この手法によって骨部を表す入力医用画像を生成する手段・処理ステップを本発明に付加してもよい。

ここで、「被写体を透過した放射線によって形成される、エネルギー分布の異なる２パターンの放射線の各々の該被写体中の透過の程度を表す２つの放射線画像」は、エネルギー分布の異なる２パターンの放射線を用いて撮影を２回行う２ショット法で得られたものであってもよいし、エネルギー分離フィルタ等の付加フィルタを介して重ねられた２枚の蓄積性蛍光体シート（それらは互いに接していても、離れていてもよい）に放射線を１度曝射することによって、上記２枚のシートで互いにエネルギー分布の異なる放射線が検出されるようにした１ショット法で得られたものであってもよい。ここで、蓄積性蛍光体シートに記録された、放射線の被写体中の透過の程度を表すアナログ画像は、シートをレーザ光等の励起光で走査して輝尽発光光を生ぜしめ、得られた輝尽発光光を光電的に読み取ることによってデジタル画像化される。なお、放射線を検出する手段には、上記の蓄積性蛍光体シートの他、ＣＭＯＳ等を用いたフラットパネルディテクタ(FPD)等を撮影方法に応じて適宜選択して採用してもよい。また、「エネルギー分布」は、管電圧、放射線のスペクトル分布上の最大値・ピーク値・平均値、エネルギー分離フィルタ等の付加フィルタの有無やフィルタの厚さ等によって表される。

「２つの放射線画像の相対応する画素」とは、各放射線画像中の所定の構造物（観察対象部位やマーカー等）を基準として位置的に対応する画素を意味する。したがって、各画像間で所定の構造物の画像中での位置がずれないような撮影方法で得られた画像の場合には、各画像の座標系における座標が一致する画素とすることができるが、位置ずれが生じる撮影方法で得られた画像の場合には、拡大・縮小・平行移動・回転等による線形的な位置合わせや歪変換等による非線形の位置合わせ、これらを組み合わせた位置合わせを行うことが好ましい。なお、この画像間の位置合わせには、特開2002-032764号公報等に記載されている方法の他、本発明の実施時点において公知の方法を用いてもよい。

「所定の重みづけ係数」は、入力となる２つの放射線画像の各々に対応するエネルギー分布や分離対象の成分に応じて決定される。通常２つのうち１つの係数は負の値を持つ。すなわち、上記の「重みづけ総和」は、通常、重みづけ減算となる。

「教師学習済フィルタ」は教師ありの機械学習によって取得されたものであり、より具体的には、回帰学習によって取得されたものが挙げられる。その「学習」の手法の具体例としては、サポートベクターマシン（SVM）、適合ベクターマシン（Relevance Vector Machine; RVM）、人工ニューラルネットワーク（ANN）等が挙げられる。

「トレーニング用画像」と「教師用画像」は、同一の被写体の同一の構造物の少なくとも異常成分を含むものをトレーニング用画像、正常な構造を表すものを教師用画像とするが、実際の医用画像を模して人工的に生成したものであってもよい。より具体的には、まず正常な構造を表す画像を用意しておき、これに異常成分を人工的に加えてトレーニング用画像を用意することができる。例えば胸部正面画像の場合、軟部がさまざまなパターンを有していることから、正常な骨部画像に異常成分として軟部を付加してトレーニング用画像とすることができる。なお、「トレーニング用画像」には、前記構造物の正常な成分および異常な成分以外に、ノイズや他の構造物（例えば、前記構造物を骨部とする場合における軟部）等が含まれていてもよい。

また、教師学習済フィルタを、異なる複数の空間周波数帯域毎の前記学習によって得られるそれら複数の空間周波数帯域毎のフィルタとし、入力医用画像からそれら複数の空間周波数帯域毎の成分を表す複数の帯域制限画像を生成し、帯域制限画像の各々を、各帯域制限画像における空間周波数帯域と一致する空間周波数帯域のフィルタに入力するようにしてもよい。ここで、入力医用画像や、トレーニング用画像、教師用画像から帯域制限画像を生成する手法としては、ラプラシアンピラミッド分解やウェーブレット変換等の他、本発明の実施時点における公知の手法を用いることができる。

本発明によって分離された異常成分を表す異常成分画像と、入力医用画像と同一被写体かつ同一撮影部位かつ同一観察方向の合成対象画像の相対応する画素毎に所定の重みづけ係数を用いた重みづけ総和を求めることによって、両画像を合成するようにしてもよい。

ここで、「合成対象画像」は、入力医用画像そのものであってもよいし、入力医用画像と同一被写体の軟部を表す、同一撮影部位かつ同一観察方向の軟部画像でもよいし、入力医用画像を骨部が抽出された画像とした場合、骨部が抽出される前の原画像であってもよい。また、合成対象画像を生成するモダリティは、入力医用画像と同一であってもよいし、異なっていてもよい。なお、合成対象画像によって、必要に応じて、前述の画像間での位置合わせを行うことが好ましい。

合成対象画像を軟部画像とする場合、軟部画像は、被写体を透過した放射線によって形成される、エネルギー分布の異なる２パターンの放射線の各々の該被写体中の透過の程度を表す２つの放射線画像を入力とし、それら２つの放射線画像の相対応する画素毎に所定の重みづけ係数を用いた重みづけ総和を求めることによって得られたもの、すなわち上記の公知のエネルギーサブトラクション技術によって得られたものとすることができる。また、この手法によって軟部画像を生成する手段・処理ステップを本発明に付加してもよい。なお、「軟部」とは、生体の骨組織（骨成分）を除く結合組織であり、線維組織、脂肪組織、血管、横紋筋、平滑筋、末梢神経組織（神経節と神経線維）等が含まれる。

合成の際、異常成分画像に表された異常成分を、合成対象画像とは異なる色に変換し、変換後の異常成分画像と合成対象画像とを合成するようにしてもよい。

また、各成分は被写体全体に分布しているので、異常成分画像中の各画素の画素値は0ではないところがほとんどである。したがって、上記の合成により得られた画像は、ほとんどの画素において異常成分画像の影響を受けることになり、例えば、上記の色の変換を行って合成を行った場合であれば、合成によって得られた画像の全体が、その成分の色の影響を受けたものとなってしまう。そこで、異常成分画像中の画素値が所定の閾値より小さい画素の画素値が0となるように階調変換を行い、変換後の異常成分画像と合成対象画像とを合成するようにしてもよい。

本発明によれば、被写体（個体）毎に、所定の構造物の正常な構造を表す教師用画像と異常な成分を含むトレーニング用画像を用意し、これらの画像を用いた学習によって得られる教師学習済フィルタに入力医用画像を入力することによって正常画像を生成するので、入力医用画像中の前記構造物の正常な構造の認識率が高く、より高い精度で正常画像を生成することができる。

また、入力医用画像と正常画像の差分を求めることによって、入力医用画像中の異常成分を分離するようにすれば、異常組織の形状に依存せずに異常成分を分離することが可能であるとともに、より高い精度で生成された正常画像との差分によって生成される異常成分画像は、ノイズやアーチファクトが少ないものとなり、画像診断の精度や効率の向上に資する。

さらに、入力医用画像を被写体の骨部を表すものとすれば、正常な骨部構造は、個人差が少なく、被写体（個体）によらず比較的定まった構造となっているので、より高い精度で正常な構造を認識することが可能になる。

上記処理で分離された異常成分画像を、入力医用画像と同一被写体かつ同一撮影部位かつ同一観察方向の合成対象画像と合成するようにすれば、合成によって得られる画像は、異常成分が自然に強調された違和感の少ないものとなり、画像診断上、より好ましいものとなる。

また、入力医用画像を骨部画像とすれば、石灰化を伴う異常組織を表す異常成分画像が分離され、さらに、合成対象画像を軟部画像とすると、合成によって得られる画像は、正常な軟部組織と、軟部の石灰化による異常組織の両方が１つの画像で表されたものとなり、１つの合成画像を参照するだけで軟部の石灰化の診断が可能になるので、診断効率の向上に資する。

また、合成の際に、分離された異常成分を合成対象画像とは異なる色に変換するようにすれば、異常成分の視認性がさらに向上する。

また、合成の際に、異常成分画像中の画素値が所定の閾値より小さい画素の画素値が0となるように階調変換を行い、変換後の異常成分画像と合成対象画像とを合成するようにすれば、異常成分画像に表された異常成分の比率が高い領域のみが強調された画像が得られ、異常成分の視認性がさらに向上する。

以下、図面を参照しつつ、本発明の実施の形態について説明する。

図１に、本発明の実施形態となる画像成分分離装置が導入された医療情報システムの概略構成を示す。図に示すように、このシステムは、医用画像の撮影装置（モダリティ）１、画像品質チェック用ワークステーション（ＱＡ−ＷＳ）２、読影ワークステーション３（３ａ、３ｂ）、画像情報管理サーバ４、画像情報データベース５が、ネットワーク１９を介して互いに通信可能な状態で接続されて構成されている。各種データベースを除く各機器は、ＣＤ−ＲＯＭ等の記録媒体からインストールされたプログラムによって制御される。また、プログラムは、インターネット等のネットワーク経由で接続されたサーバからダウンロードされた後にインストールされたものであってもよい。

モダリティ１には、被検体の検査対象部位を撮影することにより、その部位を表した画像の画像データを生成し、その画像データにＤＩＣＯＭ規格で規定された付帯情報を付加して、画像情報として出力する装置が含まれる。付帯情報は、そのモダリティ等のメーカー独自の規格のものであってもよい。本実施形態では、Ｘ線撮影装置で撮影され、ＣＲ装置でデジタル画像データ化された画像情報が用いられる。Ｘ線撮影装置は、被検体の放射線画像情報を、シート状の蓄積性蛍光体層を備えてなる蓄積性蛍光体シートＩＰに記録するものであり、ＣＲ装置は、Ｘ線撮影装置によって記録された蓄積性蛍光体シートＩＰにレーザ光等の励起光を走査して輝尽発光光を生じさせ、得られた輝尽発光光を光電的に読み取ってアナログ画像信号を取得し、このアナログ画像信号を対数変換後、デジタル化してデジタル画像データを生成するものである。モダリティの他の具体例としては、ＣＴ（Computed Tomography）、ＭＲＩ（Magnetic Resonance Imaging）、ＰＥＴ（Positron Emission Tomography）、超音波撮影装置などが挙げられる。なお、以下では、被写体を表す画像データと画像データの付帯情報の組を「画像情報」と称することとする。すなわち「画像情報」の中には画像に係るテキスト情報も含まれる。

ＱＡ−ＷＳ２は、汎用の処理装置（コンピュータ）と１台または２台の高精細ディスプレイとキーボード・マウスなどの入力機器により構成される。処理装置には、検査技師の作業を支援するためのソフトウェアが組み込まれている。ＱＡ−ＷＳ２は、そのソフトウェアプログラムの実行によって実現される機能により、モダリティ１からＤＩＣＯＭに準拠した画像情報を受信し、規格化処理（ＥＤＲ処理）や画像の品質を調整するための処理を行い、処理後の画像情報に含まれる画像データと付帯情報の内容を画面に表示することで検査技師に確認を促す。そして、検査技師による確認が済んだ画像情報を、ネットワーク１９を介して画像情報管理サーバ４に転送し、その画像情報の画像情報データベース５への登録を要求する。

読影ワークステーション３は、このシステムのユーザ、例えば、画像診断医が画像の読影や読影レポートの作成に利用する装置であり、処理装置と１台または２台の高精細ディスプレイとキーボード・マウスなどの入力機器により構成される。この装置では、画像情報管理サーバ４に対する画像の閲覧要求や、画像情報管理サーバ４から受信した画像に対する各種画像処理、画像の表示、画像中の異常成分の分離、病変らしき部分の自動検出・強調表示、読影レポートの作成の支援、読影レポートサーバ（図示なし）に対する読影レポートの登録要求や閲覧要求、読影レポートサーバから受信した読影レポートの表示等が行われる。本発明の画像成分分離装置は、この読影ワークステーション３に実装されている。なお、本発明の画像成分分離処理や、その他の各種画像処理や病変候補の自動検出・強調処理等の画質・視認性改善処理や画像解析処理を読影ワークステーション３で行わず、別途画像処理サーバ（図示なし）をネットワーク１９に接続しておき、読影ワークステーション３からの当該処理の要求に応じて、画像処理サーバが行うようにしてもよい。

画像情報管理サーバ４は、汎用の比較的処理能力の高いコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムを組み込んだものである。画像情報管理サーバ４は画像情報データベース５が構成される大容量ストレージを備えている。このストレージは、画像情報管理サーバ４とデータバスによって接続された大容量のハードディスク装置であってもよいし、ネットワーク１９に接続されているＮＡＳ（Network Attached Storage）やＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。

画像情報データベース５には、被写体画像を表す画像データと付帯情報とが登録される。付帯情報には、例えば、個々の画像を識別するための画像ＩＤ、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、画像情報ごとに割り振られるユニークなＩＤ（ＵＩＤ）、その画像情報が生成された検査日、検査時刻、その画像情報を取得するための検査で使用されたモダリティの種類、患者氏名、年齢、性別などの患者情報、検査部位（撮影部位）、撮影情報（管電圧・蓄積性蛍光体シートと付加フィルタの構成等の撮影条件、撮影プロトコル、撮影シーケンス、撮像手法、造影剤の使用有無や注入後の経過時間／使用された色素、放射線核種、放射線量など）、１回の検査で複数の画像を取得したときのシリーズ番号あるいは採取番号などの情報が含まれうる。画像情報は、例えばＸＭＬやＳＧＭＬデータとして管理されうる。

画像情報管理サーバ４は、ＱＡ−ＷＳ２からの画像情報の登録要求を受け付けると、その画像情報をデータベース用のフォーマットに整えて画像情報データベース５に登録する。

また、画像管理サーバ４は、読影ワークステーション３からの閲覧要求をネットワーク１９経由で受信すると、上記画像情報データベース５に登録されている画像情報を検索し、抽出された画像情報を要求元の読影ワークステーション３に送信する。

読影ワークステーション３は、画像診断医等のユーザによって読影対象画像の閲覧を要求する操作が行われると、画像管理サーバ８に対して閲覧要求を送信し、読影に必要な画像情報を取得する。そして、その画像情報をモニタ画面に表示し、画像診断医からの要求に応じて異常成分の分離処理や病変の自動検出処理などを実行する。

ネットワーク１９は病院内の各種装置を接続するローカルエリアネットワークである。但し、読影ワークステーション３が他の病院あるいは診療所にも設置されている場合には、ネットワーク１９は、各病院のローカルエリアネットワーク同士をインターネットもしくは専用回線で接続した構成としてもよい。いずれの場合にも、ネットワーク９は光ネットワークなど画像情報の高速転送を実現できるものとすることが望ましい。

以下、本発明の実施形態となる画像成分分離装置の機能およびその周辺機能の詳細について説明する。図２は、この装置の構成とデータの流れを模式的に示したブロック図である。図に示したように、この装置は、教師学習済フィルタ処理部２１と差分処理部２２とから構成される。

教師学習済フィルタ処理部２１は、入力された画像データに対して所定の教師学習済フィルタによる処理を行い、フィルタ処理済みの画像データを出力する。本実施形態では、胸部正面を表す放射線画像Ｗ₀の入力に対して、胸部正面の正常な状態を表す正常画像Ｗ_Nを出力する正常画像生成フィルタが用いられる。

図３は、教師学習済フィルタ処理部２１の詳細な構成を模式的に示したブロック図である。図に示したように、教師学習済フィルタ処理部２１は、入力放射線画像Ｗ₀に対して多重解像度変換を行い、複数の空間周波数帯域毎の画像、ここでは、高周波帯域入力画像Ｗ₀-H、中周波帯域入力画像Ｗ₀-M、低周波帯域入力画像Ｗ₀-Lを出力する多重解像度分解処理部３１と、空間周波数帯域毎の正常画像生成フィルタ３２（高周波帯域用フィルタ３２Ｈ、中周波帯域用フィルタ３２Ｍ、低周波帯域用フィルタ３２Ｌ）と、上記の空間周波数帯域毎の画像の各々を、対応する空間周波数帯域の正常画像生成フィルタ３２Ｈ、３２Ｍ、３２Ｌに入力することによって得られた、空間周波数帯域毎の正常画像、ここでは、高周波帯域正常画像Ｗ_N-H、中周波帯域正常画像Ｗ_N-M、低周波帯域正常画像Ｗ_N-Lを入力として、多重解像度再構成処理を行い、正常画像Ｗ_Nを生成する多重解像度再構成処理部３３とから構成される。

図４は、多重解像度分解処理部３１の詳細な処理内容を模式的に示したブロック図である。図に示したように、多重解像度分解処理部３１は、入力画像Ｗ₀とこの入力画像Ｗ₀をダウンサンプリングして得られた中解像度画像Ｗ₀-1とのアップサンプリングを行って、高周波帯域画像Ｗ₀-Hを得る。また、中解像度画像Ｗ₀-1とこの中解像度画像Ｗ₀-1をダウンサンプリングして得られた低解像度画像Ｗ₀-2とのアップサンプリングを行って、中周波帯域画像Ｗ₀-Mを得る。さらに、低解像度画像Ｗ₀-2とこの低解像度画像Ｗ₀-2をダウンサンプリングして得られた極低解像度画像Ｗ₀-3とのアップサンプリングを行って、低周波帯域画像Ｗ₀-Lを得る。なお、上記ダウンサンプリングは、σ＝１のガウシアンローパスフィルタと入力画像の１/２間引きとを行うものであり、上記アップサンプリングは３次Ｂスプライン補間を利用して行うものである。

一方、図５は、多重解像度再構成処理部３３の詳細な処理内容を模式的に示したブロック図である。図に示したように、多重解像度再構成処理部３３は、低周波帯域正常画像Ｗ_N-Lをアップサンプリングして得られた画像と中周波帯域正常画像Ｗ_N-Mとを加算し画像を得、その画像をアップサンプリングして得られた画像と高周波帯域正常画像Ｗ_N-Hとを加算して正常画像Ｗ_Nを得る。

なお、多重解像度分解・再構成処理の方法は、本発明の実施時点において公知の他の方法であってもよい。

正常画像生成フィルタ３２は、教師あり機械学習によって生成されたフィルタであり、高・中・低周波帯域用の各フィルタ３２Ｈ、３２Ｍ、３２Ｌから構成される。空間周波数帯域毎のフィルタ３２Ｈ／３２Ｍ／３２Ｌの各々は、入力された被検体の胸部正面を表す各空間周波数帯域の画像Ｗ₀-H／Ｗ₀-M／Ｗ₀-L中から、その空間周波数帯域における被検体の胸部正面の正常な状態を推定し、その推定結果を表す空間周波数帯域毎の正常画像Ｗ_N-H／Ｗ_N-M／Ｗ_N-Lを生成する。具体的には、各フィルタ３２Ｈ／３２Ｍ／３２Ｌは、入力された被検体の胸部正面を表す各空間周波数帯域の画像Ｗ₀-H／Ｗ₀-M／Ｗ₀-L中に５画素×５画素（合計２５画素）の矩形領域からなるサブウィンドウＳｗを複数設定し、サブウィンドウＳｗ毎にサブウィンドウＳｗ中の２５画素に基づいて得られる特徴量を求め、求められたサブウィンドウＳｗ毎の特徴量に応じて、対応する正常画像Ｗ_N-H／Ｗ_N-M／Ｗ_N-L中の各サブウィンドウＳｗの中心の画素の画素値を推定する非線形フィルタとして機能する。

この正常画像生成フィルタ３２（高周波帯域用フィルタ３２Ｈ、中周波帯域用フィルタ３２Ｍ、低周波帯域用フィルタ３２Ｌ）は、サポートベクターマシンの手法に基づいて、空間周波数帯域毎に、トレーニング用の各空間周波数帯域の画像中の所定の特徴量を説明変数とし、それに対応する教師用の空間周波数帯域毎の画像中の所定の画素の画素値を目的変数とする回帰学習を行うことによって、生成されたものである。

図６は、正常画像生成フィルタ３２を生成するための学習を行う装置の構成と学習の際に用いられる画像データを模式的に表したブロック図である。図に示したように、この装置は、複数のトレーニング用画像Ｗ_Tn（ｎ＝1、2、3、・・・）とこれらに対応する複数の教師用画像Ｗ_Snの各々を高・中・低周波帯域の各々を表す画像に分解する多重解像度分解処理部３１と、前記空間周波数帯域毎の正常画像生成フィルタ３２´（高周波帯域用フィルタ３２Ｈ´、中周波帯域用フィルタ３２Ｍ´、低周波帯域用フィルタ３２Ｌ´）とから構成される。ここで、多重解像度分解処理部３１が行う処理の内容は上記と同様である。また、教師用画像Ｗ_Snは胸部正面の正常な状態を表すものであり、トレーニング用画像Ｗ_Tnは胸部正面の画像であって、ノイズや異常成分等を含むものであり、添え字ｎの値が同じ画像は、同じ被検体（個体）の胸部を表すものである。なお、学習段階での正常画像生成フィルタは「´」を付した符号で表し、図３に示した学習済の正常画像生成フィルタとは区別している。

この装置では、まず、多重解像度分解処理部３１が、トレーニング用画像Ｗ_Tnを多重解像度変換して、高周波帯域トレーニング用画像Ｗ_Tn-H、中周波帯域トレーニング用画像Ｗ_Tn-M、低周波帯域トレーニング用画像Ｗ_Tn-Lを生成するとともに、教師用画像Ｗ_Snを多重解像度変換して、高周波帯域教師用画像Ｗ_Sn-H、中周波帯域教師用画像Ｗ_Sn-M、低周波帯域教師用画像Ｗ_Sn-Lを生成する。

以下、高周波帯域トレーニング用画像Ｗ_Tn-Hおよび高周波帯域教師用画像Ｗ_Sn-Hを用いた高周波帯域用フィルタ３２Ｈ´の学習の場合を例にすると（以降「高周波帯域」は省略して表記する）、被検体（個体）が同一のトレーニング用画像Ｗ_Tn-Hおよび教師用画像Ｗ_Sn-Hの各々について互いに対応する小領域部分である５画素×５画素（合計２５画素）の矩形領域からなるサブウィンドウＳｗを設定し、トレーニング用画像Ｗ_Tn-HのサブウィンドウＳｗを構成するそれぞれ２５画素に基づいて得られる特徴量を算出する。この特徴量は、そのサブウィンドウＳｗの各画素値そのものであってもよいし、特別なフィルタ処理によって得られたものでもよい。例えば、図７に示すような、１つのサブウィンドウＳｗ中の縦方向あるいは横方向に互に隣り合う３画素からなる領域Ｕ１あるいは領域Ｕ２の各画素値の平均値を新たな特徴量としてもよい。またウェーブレット変換を行い、ウェーブレット係数を特徴量に用いてもよい。また複数の周波数帯域に渡る画素を特徴量に用いてもよい。また、あらかじめ骨領域と非骨領域を判別し、その判別結果を特徴量として用いてもよい。

次に、トレーニング用画像Ｗ_Tn-Hに設定されたサブウィンドウＳｗについて算出された特徴量に対し、教師用画像Ｗ_Sn-H中のサブウィンドウＳｗの中心画素の値を目標値とする学習用サンプルを取り出す。そして、これをサブウィンドウＳｗを移動させながら繰り返すことにより、複数の学習用サンプルを抽出する。さらに、複数のトレーニング用画像Ｗ_Tn-Hと教師用画像Ｗ_Sn-Hの組合せの各々についても同様にして複数の学習用サンプルの抽出を行う。

そして、抽出された学習用サンプルを用いて、トレーニング用画像Ｗ_Tn-Hの各サブウィンドウＳｗにおける上記特徴量を正常画像生成フィルタ３２Ｈ´に入力した場合の出力画像Ｗ_Rn-Hと、対応する教師画像Ｗ_Sn-Hとの差が小さくなるように回帰学習を行い、正常画像生成フィルタ３２Ｈを得る。具体的には、サポートベクター回帰（サポートベクターマシンによる回帰(SVR)）による回帰学習を行う。

例えば、d次元の入力ベクトルxに対応する実数値yを近似する関数を学習する問題について、まず近似関数ｆ(x)が次式（１）のように線形である場合を考える（図８参照）。

Vapnikの提案するε-SVRアルゴリズムでは次式（２）の損失関数を最小化するfを求める（詳細については、Nello Cristianini（著）、John Shawe-Taylor（著）、大北剛（訳）、「サポートベクターマシン入門」、共立出版、２００５年３月２５日発行、Ｐ．１４９からＰ．１５６等を参照）。

上記<w・w>はデータを近似するモデルの複雑さを表す項であり、Remp[f]は次式（３）のように表現される。

ここで|y-f(x)|ε=max{0、|y-f(x)|-ε}であり、εより小さい誤差は無視することを表す。ξ、ξ*はそれぞれ正方向、負方向にεを超える誤差を許容する緩和変数である。また、Cはモデルの複雑さと制約条件の緩和との間のトレードオフを設定するパラメータである。

上の主問題は次式（４）の双対問題を解くことと等価であり、凸2次計画問題の特性から必ず大域解を求めることができる。

この双対問題を解いて得られる回帰モデルは次式（５）で表現される。

この関数は線形関数であるが、非線形に拡張するには入力Xを高次の特徴空間Φ(X)に写像し、その特徴空間でのベクトルΦ(X)をこれまでの入力Xとみなせばよい（X→Φ(X)）。通常、高次元空間への写像は計算量の大幅な増加を伴うが、最適化すべき式に現れる内積の項をK(x、y)=<Φ(x)、Φ(y)>の関係を満たすカーネル関数で置き換えると、入力次元の計算で高次元に写像してから計算したものと同じ結果を求めることができる。カーネル関数には、RBFカーネル、多項式カーネル、シグモイドカーネルなどが利用できる。特にRBFカーネルを利用して非線形な回帰学習を行うことが好ましく、学習時のパラメータε、C、およびRBFカーネルのパラメータσはクロスバリデーションを行うことにより実験的に最適な値を選ぶとよい。

本実施形態では、トレーニング用画像Ｗ_Tn-Hに設定したサブウィンドウＳｗの各画素（５画素×５画素）の画素値が説明変数（入力ベクトルx）となり、これに対応する教師用画像Ｗ_Sn-Hの画素値が目的変数（実数値y）となる。学習すべきデータは、トレーニング用画像Ｗ_Tn-Hのさまざまな位置にサブウィンドウＳｗを設定して取り出した複数（例えば約１万）の学習サンプルである。そして上記双対問題を解いて得られる回帰モデルが教師学習済フィルタ３２Ｈとなり、入力医用画像Ｗ₀-Hの局所的なパターンに応じてその正常構造Ｗ_N-Hを出力する機能を持つ。したがって、正常構造を推定する処理においては、入力医用画像Ｗ₀の周波数帯域画像の一画素毎に教師学習済フィルタ３２を適用、走査することにより、その正常構造を表す正常構造画像Ｗ_Nを生成する。

なお、上記特徴量を算出する前に各サブウィンドウＳｗにおいて、コントラスト正規化を行うようにしてもよい。具体的には、各サブウィンドウＳｗにおいて、そのサブウィンドウＳｗに含まれる各画素の画素値の標準偏差sdを算出する。そして、次式（６）によって、そのサブウィンドウＳｗにおける標準偏差sdが所定の目標値Ｃ_SDに一致するように各画素の画素値Ｉを正規化して、正規化後の画素値Ｉ'を算出する。

I' = I ×(Ｃ_SD／sd) ・・・（６）
上記正規化の結果、各空間周波数帯域毎の画像成分の振幅の大きさ（コントラスト）が揃う。これにより、正常画像生成フィルタ３２へ入力される各空間周波数帯域毎の放射線画像における画像パターンのバリエーションが減るので、正常画像の推定精度を向上させる効果が得られる。

なお、学習段階でコントラストの正規化を行った場合には、教師学習済フィルタ処理部２１において入力画像Ｗ₀から正常画像Ｗ_Nを生成する際にも、正常画像生成フィルタ３２において、多重解像度分解処理部３１によって処理済の各空間周波数帯域の入力画像Ｗ₀-H／Ｗ₀-M／Ｗ₀-Lに対して上記のコントラスト正規化を前処理として行い、正規化済みの各空間周波数帯域毎の画像を各フィルタ３２Ｈ／３２Ｍ／３２Ｌに入力する。また、各フィルタ３２Ｈ／３２Ｍ／３２Ｌからの出力画像に対して、サブウィンドウＳｗ毎に、上記正規化したときに用いた係数の逆数（sd／Ｃ_SD)を乗算した後、多重解像度再構成処理部３３による処理を行う。

中周波帯域トレーニング用画像Ｗ_Tn-Mおよび中周波帯域教師用画像Ｗ_Sn-Mを用いた中周波帯域フィルタ３２Ｍ´の学習の場合や、低周波帯域トレーニング用画像Ｗ_Tn-Lおよび低周波帯域教師用画像Ｗ_Sn-Lを用いた低周波帯域用フィルタ３２Ｌ´の学習の場合についても、上記高周波帯域フィルタ３２Ｈ´の学習と同様であり、上記説明における周波数帯域を適宜読み替えればよい。

差分処理部２２は、入力された２つの画像の相対応する画素毎に画素値の差を算出し、両画像の差分を表す差分画像を出力する。このとき、公知の肺野認識処理（例えば特開2003-006661号公報参照）によって肺野領域を抽出し、肺野内のみで差分処理して異常成分を抽出するとより好ましい。

次に、図９のフローチャート、および、図２のブロック図を用いて、本発明の画像成分分離処理を利用した画像読影のワークフローとその際のデータの流れについて説明する。

まず、画像診断医は、この医療情報システムへのアクセスのためのユーザＩＤ・パスワード、指紋等の生体情報等によるユーザ認証を読影ワークステーション３で行う(#1)。

ユーザ認証に成功すると、オーダリングシステムによって発行された画像診断オーダに基づく検査（読影）対象画像リストがディスプレイに表示される。画像診断医は、マウス等の入力機器を用いて検査対象画像リストから読影対象の画像Ｗ₀を含む検査（画像診断）を選択する。読影ワークステーション３は、選択された画像Ｗ₀の画像ＩＤを検索キーとする画像情報管理サーバ４への閲覧要求を行い、この要求を受信した画像情報管理サーバ４が画像情報データベース５に対する検索を行って、読影対象画像Ｗ₀の画像ファイル（便宜上、画像と同じ符号Ｗ₀で表す）を取得し、要求を送信した読影ワークステーション３にそれらの画像ファイルＷ₀を送信する。読影ワークステーション３は、それらの画像ファイルＷ₀を受信し、ディスプレイに表示させる(#2)。

画像診断医は、ディスプレイに表示された画像Ｗ₀を観察し、画像中の異常成分が分離された画像を観察したいと判断した場合、ディスプレイに表示されているユーザインターフェースから、マウス操作等によるメニュー選択を行い、「異常成分分離処理」を選択すると、読影ワークステーション３において、メニュー中の「異常成分分離処理」項目に対する選択イベントが検出され(#3)、読影ワークステーション３を図２に示された異常成分分離装置として機能させるプログラムが起動される。なお、起動時のパラメータとして、処理対象の画像Ｗ₀を特定する情報（ファイル名等）が教師学習済フィルタ処理部２１に引き渡される。

まず、教師学習済フィルタ処理部２１において、多重解像度分解処理部３１が、入力放射線画像Ｗ₀に対して多重解像度変換を行い、高周波帯域入力画像Ｗ₀-H、中周波帯域入力画像Ｗ₀-M、低周波帯域入力画像Ｗ₀-Lを出力し、次に、正常画像生成フィルタ３２の空間周波数帯域毎の各フィルタ３２Ｈ／３２Ｍ／３２Ｌが、各々に対応する空間周波数帯域の入力画像Ｗ₀-H／Ｗ₀-M／Ｗ₀-Lを入力として、その空間周波数帯域における被検体の胸部正面の正常な状態を推定し、その推定結果を表す空間周波数帯域毎の正常画像Ｗ_N-H／Ｗ_N-M／Ｗ_N-Lを生成し、多重解像度再構成処理部３３が、生成された空間周波数帯域毎の正常画像Ｗ_N-H／Ｗ_N-M／Ｗ_N-Lを再構成して正常画像Ｗ_Nを生成する(#4)。ここで、入力画像Ｗ₀と正常画像Ｗ_Nを特定する情報が差分処理部２２に引き渡される。

差分処理部２２は、入力画像Ｗ₀と正常画像Ｗ_Nの相対応する画素毎に画素値の差を算出し、両画像の差分を表す差分画像を出力する(#5)。この差分画像が入力画像Ｗ₀中の異常成分を表す異常成分画像Ｗ_Aである。

生成された異常成分画像Ｗ_Aは、読影ワークステーション３のディスプレイに表示され、画像診断医の読影に供される(#6)。

図１０は、上記の処理によって生成される画像を模式的に表したものである。図に示したように、異常成分（例えば軟部の石灰化成分）が含まれる入力画像Ｗ₀に対して、正常画像生成フィルタ３２による非線形フィルタリングを行うことによって、入力画像Ｗ₀中の正常な構造部分を表す正常画像Ｗ_Nが生成され、差分処理部２２が入力画像Ｗ₀と正常画像Ｗ_Nの差分を算出することによって、入力画像Ｗ₀中の正常部分が除去された画像、すなわち、入力画像Ｗ₀中の異常成分を表す異常画像Ｗ_Aが生成される。

このように、本発明の第１の実施形態となる画像成分分離装置を含む医療情報システムでは、教師学習済フィルタ処理部２１が、被写体（個体）毎の、胸部（正面）の正常な構造を表す教師用画像Ｗ_SNと異常な成分を含むトレーニング用画像Ｗ_TNを用いた学習によって得られる正常画像生成フィルタ３２に入力医用画像Ｗ₀を入力することによって正常画像Ｗ_Nを生成するので、入力医用画像Ｗ₀中の胸部の正常な構造の認識率が高く、より高い精度で正常画像Ｗ_Nを生成することができる。

また、差分処理部２２が、入力医用画像Ｗ₀と正常画像Ｗ_Nの差分を求めることによって、入力医用画像中Ｗ₀の異常成分が分離された画像Ｗ_Aを生成するので、異常組織の形状に依存せずに異常成分を分離することが可能であるとともに、より高い精度で生成された正常画像Ｗ_Nとの差分によって生成される異常成分画像Ｗ_Aは、ノイズやアーチファクトが少ないものとなり、画像診断の精度や効率の向上に資する。

上記の実施形態では、胸部正面の骨部成分と軟部成分からなる構造物すべてを対象とした正常画像生成フィルタ３２を用いて、入力画像Ｗ₀全体に対応する正常画像Ｗ_Nを生成しているため、学習段階においても、フィルタ処理段階においても、入力画像に含まれる情報量が多く、正常な構造を推定する精度の点で改善の余地がある。

そこで、本発明の第２の実施形態では、学習・フィルタ処理対象をより限定した形態を説明する。図１１は、本実施形態における画像成分分離装置の機能構成とデータの流れを模式的に示したブロック図である。図に示すように、第１の実施形態（図２）にエネルギーサブトラクション処理部２３が付加された構成となっている。

エネルギーサブトラクション処理部２３は、画像の形成の際の放射線のエネルギー分布が異なる２つの画像を入力として、各画像のエネルギー分布を表す情報（ここでは管電圧）および分離対象の成分（ここでは軟部・骨部）に応じた重みづけ係数を用いて、両画像の相対応する画素毎に重みづけ総和を算出することによって、入力された画像中の骨部を表す骨部画像と軟部を表す軟部画像を生成して出力する。なお、本実施形態では、入力となる放射線画像は、管電圧の異なる２パターンの放射線を用いて撮影を２回行う２ショット法で得られた胸部正面画像とし、エネルギー分布情報は管電圧であるものとする。

ここで、エネルギー分布情報は、入力された放射線画像の画像データの付帯情報を解析することによって得られるものであり、入力された各画像に対する重みづけ係数は、入力された２画像の各々のエネルギー分布情報毎・分離対象の成分（骨部・軟部）毎の、入力された各画像に対する重みづけ係数を定義／出力する参照テーブル／関数によって得られる。なお、照射される放射線のエネルギー分布が、被写体中の各成分の厚さに依存して変化するビームハードニングという現象による各成分の分離性の低下を軽減するために、各成分の厚さと所定の関係を有するパラメータ（両画像の各画素における画素値（放射線量の対数値）の差等）を用いて、画素毎に重みづけ係数を決定するようにしてもよい（特開2002-152593号公報等参照）。また、両画像間の相対応する画素については、各画像中のマーカーや胸郭等の構造物を検出し、検出された構造物を基準とする公知の線形・非線形の変換によって画像間の位置合わせを行うことによって特定してもよいし、例えば、被検者の呼吸のタイミングを指示する指示部を有するＸ線撮影装置（例えば、特開2005-012248号公報参照）を用いて撮影を行い、２つの画像における呼吸相を一致させることによって画像間の位置合わせを不要にし、単純に座標が一致する画素としてもよい。

また、教師学習済フィルタ処理部２１では、胸部正面の骨部を表す骨部画像Ｂ₀の入力に対して骨部の正常な構造を表す正常骨部画像Ｂ_Nを出力する正常骨部画像生成フィルタが用いられる。この正常骨部画像生成フィルタは、空間周波数帯域毎のフィルタ３２Ｈ／３２Ｍ／３２Ｌの各々は、入力された被検体の骨部を表す各空間周波数帯域の３つの画像中から、その空間周波数帯域における被検体の骨部の正常な構造を推定し、その推定結果を表す空間周波数帯域毎の３つの正常骨部画像を生成する非線形フィルタであり、サポートベクターマシンの手法に基づいて、空間周波数帯域毎に、骨部以外の成分（軟部、石灰化等の病変、ノイズ等）を含むトレーニング用の各空間周波数帯域の画像中の所定の特徴量を説明変数とし、それに対応する、骨部の正常な構造のみを含む教師用の空間周波数帯域毎の画像中の所定の画素の画素値を目的変数とする回帰学習を行うことによって、生成されたものである。正常骨部画像生成フィルタを用いた教師学習済フィルタ処理部２１の機能や、正常骨部画像生成フィルタの生成（学習）方法の詳細については、第１の実施形態と同様であり、第１の実施形態の説明における胸部正面画像を骨部画像に読み替えればよい。

本実施形態における画像成分分離処理を利用した画像読影のワークフローでは、図９のフローチャートのステップ#2において、胸部正面を表す、管電圧の異なる放射線による撮影で得られた放射線画像Ｗ_E1、Ｗ_E2を受信した後、読影ワークステーション３が、画像診断オーダの内容を解析し、受信した画像Ｗ_E1、Ｗ_E2がエネルギー分布の異なる放射線による撮影で得られた画像であると判断し、読影ワークステーション３をエネルギーサブトラクション処理部２３として機能させるプログラムを起動する。ここで、起動時のパラメータとして、処理対象の画像Ｗ_E1、Ｗ_E2を特定する情報（ファイル名等）がエネルギーサブトラクション処理部２３に引き渡される。起動されたエネルギーサブトラクション処理部２３は、画像Ｗ_E1、Ｗ_E2を入力として、上記のエネルギーサブトラクション処理を行い、軟部画像Ｓ₀、骨部画像Ｂ₀を生成し、読影ワークステーション３は、生成された軟部画像Ｓ₀、骨部画像Ｂ₀をディスプレイに表示させる。

そして、画像診断医が「異常成分分離処理」を選択すると(#3)、処理対象の画像を骨部画像Ｂ₀として、教師学習済フィルタ処理部２１が起動され、前述の多重解像度変換処理、正常骨部画像生成フィルタによる処理、多重解像度再構成処理を経て、正常骨部画像Ｂ_Nが生成され(#4)、骨部画像Ｂ₀と正常骨部画像Ｂ_Nを特定する情報が差分処理部２２に引き渡される。

差分処理部２２では、骨部画像Ｂ₀と正常骨部画像Ｂ_Nの相対応する画素毎に画素値の差を算出することによって、両画像の差分を表す差分画像、すなわち、骨部画像Ｂ₀中の異常成分を表す異常骨部画像Ｂ _Aが出力され(#5)、読影ワークステーション３のディスプレイに表示され、画像診断医の読影に供される(#6)。

図１２は、上記の処理によって生成される画像を模式的に表したものである。図に示したように、エネルギーサブトラクション処理部２３が、入力画像Ｗ_E1とＷ_E2の相対応する画素毎に、ｓ₁・Ｗ_E1＋ｓ₂・Ｗ_E2で表される重みづけ総和を算出することによって、軟部画像Ｓ₀が生成される。同様に、ｂ₁・Ｗ_E1＋ｂ₂・Ｗ_E2で表される重みづけ総和を算出することによって、骨部画像Ｂ₀が生成される。次に、教師学習済フィルタ処理部２２が、骨部画像Ｂ₀に対して、正常骨部画像生成フィルタによる非線形フィルタリングを行うことによって、骨部画像Ｂ₀中の正常な骨部の構造を表す正常骨部画像Ｂ_Nが生成される。さらに、差分処理部２２が骨部画像Ｂ₀と正常骨部画像Ｂ _Nの差分を算出することによって、骨部画像Ｂ₀中の正常骨部部分が除去された画像、すなわち、骨部画像Ｂ₀中の異常成分を表す異常骨部画像Ｂ_Aが生成される。この異常骨部画像Ｂ_Aには、軟部の石灰化等の病変と疑われる成分が含まれる。

このように、本発明の第２の実施形態となる画像成分分離装置を含む医療情報システムでは、教師学習済フィルタ処理部２１が、被写体（個体）毎に、胸部（正面）骨部の正常な構造を表す教師用画像と異常な成分を含むトレーニング用画像を用いた学習によって得られる正常骨部画像生成フィルタに骨部画像Ｂ₀を入力することによって正常骨部画像Ｂ_Nを生成するので、正常な骨部構造は、個人差が少なく、被写体（個体）によらず比較的定まった構造となっていることから、第１の実施形態よりもさらに高い精度で正常な構造を認識することが可能になり、高い精度の正常骨部画像Ｂ_Nを生成することができる。

また、差分処理部２２が、骨部画像Ｂ₀と正常骨部画像Ｂ_Nの差分を求めることによって、骨部画像Ｂ₀中の異常成分が分離された異常骨部画像Ｂ_Aを生成するので、形状が一定しない石灰化を伴う異常組織を表す異常成分をより高い精度で分離できるようになり、画像診断の精度や効率の向上に資する。

さらに、エネルギーサブトラクション処理部２３が骨部画像Ｂ₀だけでなく、軟部画像Ｓ₀も生成するので、画像診断医は異常骨部画像Ｂ_Aと軟部画像Ｓ₀の比較観察を行うことが可能になり、例えば軟部の石灰化の状態の観察が行いやすくなる。

なお、上記の実施形態では、軟部・骨部の両方の成分画像を生成するようにしていたが、軟部画像の生成の要否を選択するユーザーインターフェースを設け、エネルギーサブトラクション処理部２３は、画像診断医によって軟部画像の生成する旨の選択がされた場合のみ軟部画像を生成するようにしてもよい。

上記の２つの実施形態では、画像診断医は生成された複数の画像を比較観察することになるが、複数の画像の観察は画像診断医の負担が大きく、その負担軽減による診断効率の向上の点で改善の余地がある。

そこで、本発明の第３の実施形態では、上記２つの実施形態のいずれかの装置に、画像診断医によって選択された画像を合成して合成画像を生成する機能を付加した形態を説明する。図１３は、本実施形態における画像成分分離装置の機能構成とデータの流れを模式的に示したブロック図である。図に示したように、ここでは第２の実施形態の画像成分分離装置に合成処理部２４が付加された構成となっている。

合成処理部２４は、異常骨部画像Ｂ_Aと合成される合成対象画像の選択を受け付けるユーザインターフェースと、そのユーザインターフェースで受け付けられた合成対象画像と異常骨部画像Ｂ_Aの相対応する画素毎に所定の重みづけ係数を用いた重みづけ総和を算出することによって両画像が合成された合成画像を生成する合成画像生成部とからなる。なお、画像間の位置合わせによる相対応する画素の特定方法については前述のエネルギーサブトラクション処理部２３と同様である。また、所定の重みづけ係数については、合成対象の画像の組み合わせに応じた適切な係数をこのシステムの初期設定ファイルに設定しておき、合成画像生成部がこの初期設定ファイルから読み込んで取得するようにしてよいし、上記のユーザインターフェースに重みづけ係数の設定を受け付けるインターフェースを付加しておき、合成画像生成部がこのユーザインターフェースで設定された重みづけ係数を用いるようにしてもよい。

図１４は、本実施形態における画像分離処理を含む画像読影のワークフローを表すフローチャートである。図に示したように、図９のフローチャートのステップ#6の後に合成画像を生成する処理ステップが付加されている。

第２の実施形態と同様にして、差分処理部２２によって異常骨部画像Ｂ_Aが生成され、読影ワークステーション３のディスプレイに表示された後、画像診断医がマウス等の操作によってディスプレイに表示されるメニューから「画像合成処理」を選択すると(#7)、それに応じて、合成処理部２４は、合成対象画像の選択を促す画面をディスプレイに表示する。この画面によるユーザインターフェースの具体例としては、合成対象画像として、入力画像Ｗ_E2（管電圧の高い方の画像であることが好ましい）、軟部画像Ｓ₀、他の胸部正面画像Ｗ₀をチェックボックス付きでリスト表示したり、サムネイル表示したりしておき、画像診断医が合成したい画像のチェックボックスをクリックしてチェックを入れることによって、合成対象画像の選択を受け付けるようにすることが考えられる。

画像診断医による合成対象画像の選択が行われると(#8)、合成処理部２４の合成画像生成部は、選択された画像と異常骨部画像Ｂ_Aの相対応する画素毎に所定の重みづけ係数を用いた重みづけ総和を算出することによって両画像が合成された合成画像Ｃ_xを生成する(#9)。生成された合成画像Ｃ_xは、読影ワークステーション３のディスプレイに表示され、画像診断医の読影に供される(#10)。

図１５は、入力画像Ｗ_E2が合成対象画像として選択された場合に生成される画像を模式的に表したものである。まず、第２の実施形態（図１２）と同様に、エネルギーサブトラクション処理部２３が、入力画像Ｗ_E1とＷ_E2の相対応する画素毎に、ｓ₁・Ｗ_E1＋ｓ₂・Ｗ_E2で表される重みづけ総和を算出することによって、軟部画像Ｓ₀が生成されるとともに、ｂ₁・Ｗ_E1＋ｂ₂・Ｗ_E2で表される重みづけ総和を算出することによって、骨部画像Ｂ₀が生成され、教師学習済フィルタ処理部２２が、骨部画像Ｂ₀に対して、正常骨部画像生成フィルタによる非線形フィルタリングを行うことによって、骨部画像Ｂ₀中の正常な骨部の構造を表す正常骨部画像Ｂ_Nが生成され、差分処理部２２が骨部画像Ｂ₀と正常骨部画像Ｂ _Nの差分を算出することによって、骨部画像Ｂ₀中の異常成分を表す異常骨部画像Ｂ_Aが生成される。本実施形態では、さらに、合成処理部２４が、所定の重みづけ係数ｗ₁、ｗ₂を用いて、入力画像Ｗ_E2と異常骨部画像Ｂ_Aの相対応する画素毎にｗ₁・Ｗ_E2＋ｗ₂・Ｂ_Aで表される重みづけ総和を算出することによって、入力画像Ｗ_E2と異常骨部画像Ｂ_Aとが合成された合成画像Ｃ_x1が生成される。

図１６は、軟部画像Ｓ₀が合成対象画像として選択された場合に生成される画像を模式的に表したものである。まず、図１５と同様にして、エネルギーサブトラクション処理部２３によって軟部画像Ｓ₀と骨部画像Ｂ₀が生成され、教師学習済フィルタ処理部２２によって正常骨部画像Ｂ_Nが生成され、差分処理部２２によって異常骨部画像Ｂ_Aが生成される。次に、合成処理部２４が、所定の重みづけ係数ｗ₃、ｗ₄を用いて、軟部画像Ｓ₀と異常骨部画像Ｂ_Aの相対応する画素毎にｗ₃・Ｓ₀＋ｗ₄・Ｂ_Aで表される重みづけ総和を算出することによって、軟部画像Ｓ₀と異常骨部画像Ｂ_Aとが合成された合成画像Ｃ_x2が生成される。

また、合成対象画像として入力画像Ｗ_E1、Ｗ_E2と同じ被写体の同一部位を撮影した放射線画像Ｗ₀が選択された場合も図１５、１６と同様にして、軟部画像Ｓ₀、骨部画像Ｂ₀、正常骨部画像Ｂ_N、異常骨部画像Ｂ_Aが生成された後、合成処理部２４が、所定の重みづけ係数を用いて、放射線画像Ｗ₀と異常骨部画像Ｂ_Aの相対応する画素毎に重みづけ総和を算出することによって、放射線画像Ｗ₀と異常骨部画像Ｂ_Aとが合成された合成画像が生成される。

以上のように、本発明の第３の実施形態となる画像成分分離装置を含む医療情報システムでは、差分処理部２２によって分離された異常骨部画像Ｂ_Aと同一の被写体を表す他の画像を合成対象画像として、合成処理部２４が、両画像の相対応する画素毎に所定の重みづけ係数を用いた重みづけ総和を求めることによって、両画像を合成した合成画像を生成するので、合成によって得られる画像は、異常成分が自然に強調された違和感の少ないものとなり、画像診断上、より好ましいものとなる。

また、合成対象画像を軟部画像Ｓ₀とすると、合成によって得られる画像Ｃ_x2は、正常な軟部組織と、軟部の石灰化による異常組織の両方が１つの画像で表されたものとなり、１つの合成画像を観察するだけで軟部の石灰化の診断が可能になるので、診断効率の向上に資する。

上記の実施形態において、図１７に例示したように、異常骨部画像Ｂ_Aを合成対象画像とは異なる色に変換して合成を行うようにしてもよい。図１７では、図１５、１６と同様にして差分処理部２２で生成された異常骨部画像Ｂ_Aが生成された後、合成処理部２４が、異常骨部画像Ｂ_AをＹＣｒＣｂ色空間における色差成分Ｃｒに割り当てる変換を行い、入力画像Ｗ_E2と色変換後の画像Ｂ_A´の相対応する画素毎にｗ₅・Ｗ_E2＋ｗ₆・Ｂ_A´で表される重みづけ総和を算出することによって、入力画像Ｗ_E2と異常骨部画像Ｂ_Aとが合成された合成画像Ｃ_x3が生成される。あるいは、ＹＣｒＣｂ色空間において、入力画像Ｗ_E2の画素値を輝度成分Ｙに割り当て、異常骨部画像Ｂ_Aの画素値を色差成分Ｃｒに割り当てる変換を行うことによって、合成画像Ｃ_x3を生成してもよい。

このように合成処理部２４が異常骨部画像Ｂ_Aを合成対象画像とは異なる色に変換して合成を行えば、異常成分の視認性がさらに向上する。

また、異常骨部画像Ｂ_A中に画素値が0でない画素が多いと、合成画像全体が異常骨部画像Ｂ_Aの画素値の影響を受け、合成画像が白黒の濃淡画像であれば、全体がグレーがかったものとなってしまい、視認性が低下してしまうことがある。そこで、図１８（ａ）のように、異常骨部画像Ｂ_A中の画素値が所定の閾値以下の場合には出力値が0になるように階調変換を行ってから合成対象画像との合成を行うようにしてもよい。図１９は、この場合に生成される画像を模式的に表したものである。まず、図１５、１６、１７と同様にして差分処理部２２で生成された異常骨部画像Ｂ_Aが生成された後、合成処理部２４が、異常骨部画像Ｂ_Aに対して上記の階調変換を行い、入力画像Ｗ_E2と変換後の異常骨部画像Ｂ_A″の相対応する画素毎にｗ₇・Ｗ_E2＋ｗ₈・Ｂ_A″で表される重みづけ総和を算出することによって、入力画像Ｗ_E2と異常骨部画像Ｂ_Aとが合成された合成画像Ｃ_x4が生成される。これにより、異常骨部画像Ｂ_A中の異常成分の比率が高い領域のみが強調された合成画像が得られ、その成分の視認性がさらに向上する。

同様に、上記の色変換後に合成して得られた合成画像中の色差成分において、その値が0でない画素が多いと、合成画像がその色差成分による色に着色されたような画像となり、視認性が低下してしまうことがある。また、色差成分がプラスとマイナスの両方の値を持つ場合には、合成画像中には反対色も表示されてしまい、さらに視認性が低下してしまうことがある。そこで、前者では図１８（ａ）、後者では図１８（ｂ）のように、異常骨部画像Ｂ_Aの色差成分の値が所定の閾値以下の場合には出力値が0になるように階調変換を行ってから合成対象画像との合成を行うようにすれば、異常骨部画像Ｂ_A中の異常成分の比率が高い領域のみが強調された合成画像が得られ、その成分の視認性がさらに向上する。

なお、上記の実施形態において、エネルギーサブトラクション処理部２３による処理を読影ワークステーション３で行わず、撮影時にモダリティ１で行って、軟部画像Ｓ₀や骨部画像Ｂ₀を生成しておき、読影ワークステーション３の本発明の画像成分分離装置側では、モダリティ１で生成された軟部画像Ｓ₀や骨部画像Ｂ₀を、モダリティ１や画像情報データベース５から取得するようにしてもよい。

また、上記の実施形態において、合成対象画像を画像診断医が選択できるようにせずに、合成処理部２４が固定的に合成対象画像を決定する場合や、画像診断医による選択の他にデフォルトの画像合成モードとしてシステムに予め設定された種類の合成対象画像を用いて画像の合成を行う場合には、合成処理部２４に含まれる前記のユーザインターフェースは不要である。

上記の説明の他、各実施形態におけるシステム構成、処理フロー、テーブル構成、ユーザインターフェース等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。また、上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。

本発明の実施形態における画像成分分離装置が導入された医療情報システムの概略構成図 本発明の第１の実施形態における画像成分分離装置とその周辺の構成を模式的に示したブロック図 本発明の実施形態における教師学習済フィルタ処理部の詳細な構成を模式的に表したブロック図 多重解像度分解処理部で行われる処理を模式的に表した図 多重解像度再構成処理部で行われる処理を模式的に表した図 教師学習済フィルタを生成する装置の構成を模式的に表したブロック図 トレーニング用画像中の各サブウィンドウにおける特徴量を構成する領域を示す図 サポートベクター回帰により近似関数を求める様子を示す図 本発明の第１、第２の実施形態における画像成分分離処理等の流れを示すフローチャート 本発明の第１の実施形態において、一連の画像成分分離処理によって生成される画像を模式的に表した図 本発明の第２の実施形態における画像成分分離装置とその周辺の構成を模式的に示したブロック図 本発明の第２の実施形態において、一連の画像成分分離処理によって生成される画像を模式的に表した図 本発明の第３の実施形態における画像成分分離装置とその周辺の構成を模式的に示したブロック図 本発明の第３の実施形態における画像成分分離処理等の流れを示すフローチャート 本発明の第３の実施形態において、入力画像と異常骨部画像が合成される場合に、一連の画像成分分離処理によって生成される画像を模式的に表した図 本発明の第３の実施形態において、軟部画像と異常骨部画像が合成される場合に、一連の画像成分分離処理によって生成される画像を模式的に表した図 本発明の第３の実施形態の変形例において、入力画像と色変換後の異常骨部画像が合成される場合に、一連の画像成分分離処理によって生成される画像を模式的に表した図 本発明の第３の実施形態の変形例において用いられる階調変換を表した図 本発明の第３の実施形態の変形例において、入力画像と階調変換後の異常骨部画像が合成される場合に、一連の画像成分分離処理によって生成される画像を模式的に表した図

符号の説明

１ モダリティ
２ 画像品質チェック用ワークステーション（ＱＡ−ＷＳ）
３、３ａ、３ｂ 読影ワークステーション
４ 画像情報管理サーバ
５ 画像情報データベース
１９ ネットワーク
２１ 教師学習済フィルタ処理部
２２ 差分処理部
２３ エネルギーサブトラクション処理部
２４ 合成処理部
３１ 多重解像度分解処理部
３２ 正常画像生成フィルタ（学習済）
３２Ｈ 高周波帯域用正常画像生成フィルタ（学習済）
３２Ｍ 中周波帯域用正常画像生成フィルタ（学習済）
３２Ｌ 低周波帯域用正常画像生成フィルタ（学習済）
３２´ 正常画像生成フィルタ（学習段階）
３２Ｈ´ 高周波帯域用正常画像生成フィルタ（学習段階）
３２Ｍ´ 中周波帯域用正常画像生成フィルタ（学習段階）
３２Ｌ´ 低周波帯域用正常画像生成フィルタ（学習段階）
３３ 多重解像度再構成処理部

Claims (17)

1. 被写体中の所定の構造物を表す入力医用画像から、該被写体中の該構造物の正常な構造を表す正常画像を生成する正常画像生成手段と、
   前記入力医用画像と前記正常画像の差分を求めることによって、前記入力医用画像中の異常成分を分離する異常成分分離手段とを備えた画像成分分離装置において、
   前記正常画像生成手段が、
   前記被写体と同種の被写体中の前記構造物と同一の構造物を表す複数のトレーニング用画像であって異常成分を含むものの各々に対して、該トレーニング用画像中の前記被写体と同一の被写体の前記構造物の正常な構造を表す教師用画像を教師として回帰学習させることによって得られる教師学習済フィルタを有し、
   該教師学習済フィルタが、前記入力医用画像の入力を受け付け、該受け付けた入力医用画像に対してフィルタ処理を施すことによって該入力医用画像に含まれる前記構造物の正常な構造を表す前記正常画像を生成するものであることを特徴とする画像成分分離装置。
2. 前記教師学習済フィルタが、異なる複数の空間周波数帯域毎の前記回帰学習によって得られた前記複数の空間周波数帯域毎のフィルタであり、
   前記正常画像生成手段が、前記入力医用画像から前記複数の空間周波数帯域毎の成分を表す複数の帯域制限画像を生成し、該帯域制限画像の各々を、該帯域制限画像における空間周波数帯域と一致する空間周波数帯域の前記教師学習済みフィルタに入力し、入力によって得られる前記空間周波数帯域毎の出力画像を加算することによって、前記正常画像を生成するものであることを特徴とする請求項１記載の画像成分分離装置。
3. 前記所定の構造物が、被写体の骨部であることを特徴とする請求項１または２記載の画像成分分離装置。
4. 前記入力医用画像、前記トレーニング用画像、および、前記教師用画像が、被写体を透過した放射線によって形成される、エネルギー分布の異なる２パターンの放射線の各々の該被写体中の透過の程度を表す２つの放射線画像を入力とし、該２つの放射線画像の相対応する画素毎に所定の重みづけ係数を用いた重みづけ総和を求めることによって得られたものであることとを特徴とする請求項３記載の画像成分分離装置。
5. 被写体を透過した放射線によって形成される、エネルギー分布の異なる２パターンの放射線の各々の該被写体中の透過の程度を表す２つの放射線画像を入力とし、該２つの放射線画像の相対応する画素毎に所定の重みづけ係数を用いた重みづけ総和を求めることによって前記入力医用画像を生成する入力画像生成手段をさらに備えたこととを特徴とする請求項４記載の画像成分分離装置。
6. 前記異常成分分離手段によって分離された前記異常成分を表す異常成分画像と、前記入力医用画像と同一被写体かつ同一撮影部位かつ同一観察方向の合成対象画像の相対応する画素毎に所定の重みづけ係数を用いた重みづけ総和を求めることによって、前記両画像を合成する画像合成手段をさらに備えたことを特徴とする請求項１または２記載の画像成分分離装置。
7. 前記異常成分分離手段によって分離された前記異常成分を表す異常成分画像と、前記入力医用画像中と同一被写体の軟部を表す、同一撮影部位かつ同一観察方向の軟部画像の相対応する画素毎に所定の重みづけ係数を用いた重みづけ総和を求めることによって、前記両画像を合成する画像合成手段をさらに備えたことを特徴とする請求項３から５のいずれか１項に記載の画像成分分離装置。
8. 前記軟部画像が、被写体を透過した放射線によって形成される、エネルギー分布の異なる２パターンの放射線の各々の該被写体中の透過の程度を表す２つの放射線画像を入力とし、該２つの放射線画像の相対応する画素毎に所定の重みづけ係数を用いた重みづけ総和を求めることによって得られたものであることを特徴とする請求項７記載の画像成分分離装置。
9. 被写体を透過した放射線によって形成される、エネルギー分布の異なる２パターンの放射線の各々の該被写体中の透過の程度を表す２つの放射線画像を入力とし、該２つの放射線画像の相対応する画素毎に所定の重みづけ係数を用いた重みづけ総和を求めることによって前記軟部画像を生成する軟部画像生成手段をさらに備えたことを特徴とする請求項８記載の画像成分分離装置。
10. 前記画像合成手段が、前記異常成分画像に表された前記異常成分を、該異常成分画像と合成される画像とは異なる色に変換し、変換後の前記異常成分画像と他方の画像とを合成するものであることを特徴とする請求項６から９のいずれか１項に記載の画像成分分離装置。
11. 前記画像合成手段が、前記異常成分画像中の画素値が所定の閾値より小さい画素の画素値が0となるように階調変換を行い、変換後の前記異常成分画像と他方の画像とを合成するものであることを特徴とする請求項６から１０のいずれか１項に記載の画像成分分離装置。
12. 被写体中の所定の構造物を表す入力医用画像から、該被写体中の該構造物の正常な構造を表す正常画像を生成する正常画像生成装置であって、
    前記被写体と同種の被写体中の前記構造物と同一の構造物を表す複数のトレーニング用画像であって異常成分を含むものの各々に対して、該トレーニング用画像中の前記被写体と同一の被写体の前記構造物の正常な構造を表す教師用画像を教師として回帰学習させることによって得られる教師学習済フィルタを有し、
    該教師学習済フィルタが、前記入力医用画像の入力を受け付け、該受け付けた入力医用画像に対してフィルタ処理を施すことによって該入力医用画像に含まれる前記構造物の正常な構造を表す前記正常画像を生成するものであることを特徴とする正常画像生成装置。
13. 前記教師学習済フィルタが、異なる複数の空間周波数帯域毎の前記回帰学習によって得られた前記複数の空間周波数帯域毎のフィルタであり、
    前記入力医用画像から前記複数の空間周波数帯域毎の成分を表す複数の帯域制限画像を生成する帯域制限画像生成部と、
    該帯域制限画像生成部によって生成された帯域制限画像の各々を、該帯域制限画像における空間周波数帯域と一致する空間周波数帯域の前記教師学習済みフィルタに入力し、該入力によって得られる前記空間周波数帯域毎の出力画像を加算して、前記正常画像を生成する正常画像生成部とを備えたものであることを特徴とする請求項１２記載の正常画像生成装置。
14. 被写体中の所定の構造物を表す入力医用画像から、該被写体中の該構造物の正常な構造を表す正常画像を生成する第１ステップと、
    前記入力医用画像と前記正常画像の差分を求めることによって、前記入力医用画像中の異常成分を分離する第２ステップからなる画像成分分離方法において、
    前記第１ステップが、前記被写体と同種の被写体中の前記構造物と同一の構造物を表す複数のトレーニング用画像であって異常成分を含むものの各々に対して、該トレーニング用画像中の前記被写体と同一の被写体の前記構造物の正常な構造を表す教師用画像を教師として回帰学習させることによって得られる教師学習済フィルタに前記入力医用画像を入力し、
    該教師学習済フィルタにおいて前記入力医用画像に対してフィルタ処理を施すことによって前記正常画像を生成する処理を含むことを特徴とする画像成分分離方法。
15. 被写体中の所定の構造物を表す入力医用画像から、該被写体中の該構造物の正常な構造を表す正常画像を生成する正常画像生成方法であって、
    前記被写体と同種の被写体中の前記構造物と同一の構造物を表す複数のトレーニング用画像であって異常成分を含むものの各々に対して、該トレーニング用画像中の前記被写体と同一の被写体の前記構造物の正常な構造を表す教師用画像を教師として回帰学習させることによって得られる教師学習済フィルタに前記入力医用画像を入力し、
    教師学習済フィルタにおいて前記入力された入力医用画像に対してフィルタ処理を施すことによって前記正常画像を生成することを特徴とする正常画像生成方法。
16. コンピュータに、
    被写体中の所定の構造物を表す入力医用画像から、該被写体中の該構造物の正常な構造を表す正常画像を生成する第１処理と、
    前記入力医用画像と前記正常画像の差分を求めることによって、前記入力医用画像中の異常成分を分離する第２処理とを実行させる画像成分分離プログラムにおいて、
    前記第１処理が、前記被写体と同種の被写体中の前記構造物と同一の構造物を表す複数のトレーニング用画像であって異常成分を含むものの各々に対して、該トレーニング用画像中の前記被写体と同一の被写体の前記構造物の正常な構造を表す教師用画像を教師として回帰学習させることによって得られる教師学習済フィルタに前記入力医用画像を入力し、
    該教師学習済フィルタにおいて前記入力された入力医用画像に対してフィルタ処理を施すことによって前記正常画像を生成する処理を含むことを特徴とする画像成分分離プログラム。
17. コンピュータに、
    被写体中の所定の構造物を表す入力医用画像から、該被写体中の該構造物の正常な構造を表す正常画像を生成する処理を実行させる正常画像生成プログラムであって、
    前記処理が、前記被写体と同種の被写体中の前記構造物と同一の構造物を表す複数のトレーニング用画像であって異常成分を含むものの各々に対して、該トレーニング用画像中の前記被写体と同一の被写体の前記構造物の正常な構造を表す教師用画像を教師として回帰学習させることによって得られる教師学習済フィルタに前記入力医用画像を入力し、
    該教師学習済フィルタにおいて前記入力された入力医用画像に対してフィルタ処理を施すことによって前記正常画像を生成する処理を含むことを特徴とする正常画像生成プログラム。

Images