JP6109512B2 - 画像処理装置、ｘ線診断装置及びプログラム - Google Patents

Description

本発明の実施形態は、画像処理装置、Ｘ線診断装置及びプログラムに関する。

従来、心不全治療のひとつとして心臓再同期医療法(Cardiac Resynchronization Therapy, ＣＲＴ)が知られている。この方法は、例えば、刺激伝導系の異常により、心室を取り巻く心筋へのタイミングが異常になってしまい、左右の心壁が同時に動かず、心室がタイミングよく収縮できず、血液の拍出が不十分になってしまう疾患などの治療に用いられる。

ＣＲＴは、心臓が同期して収縮するようにするために、心臓の動きが悪い部位（非同期部位：Latest Activation）に電極を留置する治療法である。具体的には、ＣＲＴは、超音波診断装置によるストレイン解析により非同期部位を特定し、Ｘ線診断装置によって撮影されたＸ線画像を参照しながら非同期部位に最も近い静脈に電極が留置される。

このように留置された電極が、タイミングよく刺激電位を流すことにより、心筋がタイミングよく収縮して、心室の動きをコントロールする。しかしながら、上述した従来技術においては、Ｘ線画像と超音波画像の重畳画像において、視認性の高い画像を表示することが困難となる場合があった。

特開２００９−０３９４２９号公報

本発明が解決しようとする課題は、Ｘ線画像と超音波画像の重畳画像において、視認性の高い画像を表示することを可能にする画像処理装置、Ｘ線診断装置及びプログラムを提供することである。

一実施形態の画像処理装置は、決定部と、表示制御部とを備える。決定部は、システムの状況ごとに予め設定された第１の画像であるＸ線画像及び第２の画像の表示方法に基づいて、前記システムの状況ごとに、前記Ｘ線画像及び前記第２の画像を動画像又は静止画像のいずれで表示させるかをそれぞれ決定する。表示制御部は、前記決定部による決定に基づいて、前記Ｘ線画像及び前記第２の画像を、静止画像と静止画像との組み合わせ、動画像と動画像との組み合わせ、動画像と静止画像との組み合わせ、又は静止画像と動画像との組み合わせのいずれかで重畳させた重畳画像を表示部にて表示させるように制御する。

図１は、第１の実施形態に係る画像処理システムの構成の一例を示す図である。 図２は、第１の実施形態に係るＸ線診断装置の構成の一例を示す図である。 図３は、第１の実施形態に係る超音波診断装置の構成の一例を示す図である。 図４は、第１の実施形態に係るボリュームデータ処理部による処理結果の一例を示す図である。 図５Ａは、第１の実施形態に係るボリュームデータ処理部による処理の一例を説明するための図である。 図５Ｂは、第１の実施形態に係るボリュームデータ処理部によって生成される画像の一例を示す図である。 図６は、第１の実施形態に係る画像処理装置の構成の一例を示す図である。 図７は、第１の実施形態に係るフュージョン画像の表示状況の一例を説明するための図である。 図８は、第１の実施形態に係る位置合わせ部１５１による処理の一例を説明するための図である。 図９は、第１の実施形態に係る決定部によって決定されるフュージョン画像の組み合わせの一例を示す図である。 図１０Ａは、第１の実施形態に係る表示制御部によって用いられる超音波画像を説明するための図である。 図１０Ｂは、第１の実施形態に係る表示制御部によるリアルタイム表示に用いられるＸ線画像を説明するための図である。 図１０Ｃは、第１の実施形態に係る表示制御部によって用いられる超音波画像を説明するための図である。 図１１は、第１の実施形態に係る表示制御部による表示制御処理の一例を示す図である。 図１２は、第１の実施形態に係る画像処理装置による処理の手順を示すフローチャートである。 図１３は、第１の実施形態に係る画像処理装置による同期処理の手順を示すフローチャートである。 図１４Ａは、第２の実施形態に係る表示制御部による表示制御処理の一例を示す図である。 図１４Ｂは、第２の実施形態に係る表示制御部による表示制御処理の一例を示す図である。

（第１の実施形態）
以下、本願に係る画像処理装置の詳細について説明する。なお、第１の実施形態では、本願に係る画像処理装置を含む画像処理システムを一例に挙げて説明する。図１は、第１の実施形態に係る画像処理システムの構成の一例を示す図である。

図１に示すように、第１の実施形態に係る画像処理システム１は、画像処理装置１００と、Ｘ線診断装置２００と、超音波診断装置３００と、画像保管装置４００とを有する。図１に例示する各装置は、例えば、病院内に設置された院内ＬＡＮ（Local Area Network）により、直接的、又は間接的に相互に通信可能な状態となっている。例えば、画像処理システム１にＰＡＣＳ（Picture Archiving and Communication System）が導入されている場合、各装置は、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格に則って、医用画像等を相互に送受信する。

かかる画像処理システム１においては、Ｘ線診断装置２００及び超音波診断装置３００が、それぞれの技師の操作に応じてＸ線画像及び超音波画像を収集する。そして、画像処理装置１００が、Ｘ線画像に位置合わせされた超音波画像を表示することで、医師は、ＣＲＴにおいて、超音波診断装置で計画した留置位置に正確に電極をおくことが可能となる。

画像保管装置４００は、医用画像を保管するデータベースである。具体的には、第１の実施形態に係る画像保管装置４００は、Ｘ線診断装置２００から送信されたＸ線画像や、超音波診断装置３００から送信された超音波画像などを記憶部に格納し、これを保管する。すなわち、第１の実施形態に係る画像処理装置１００は、Ｘ線診断装置２００及び超音波診断装置３００から直接画像データを受信する場合でもよく、或いは、画像保管装置４００に一旦保管された画像を取得する場合でもよい。

まず、第１の実施形態に係るＸ線診断装置２００の構成について説明する。図２は、第１の実施形態に係るＸ線診断装置２００の構成の一例を示す図である。図２に示すように、第１の実施形態に係るＸ線診断装置２００は、Ｘ線高電圧装置２１１と、Ｘ線管２１２と、Ｘ線絞り装置２１３と、天板２１４と、Ｃアーム２１５と、Ｘ線検出器２１６とを備える。また、第１の実施形態に係るＸ線診断装置２００は、Ｃアーム回転・移動機構２１７と、天板移動機構２１８と、Ｃアーム・天板機構制御部２１９と、絞り制御部２２０と、システム制御部２２１と、入力部２２２と、表示部２２３とを備える。また、第１の実施形態に係るＸ線診断装置２００は、画像データ生成部２２４と、画像データ記憶部２２５と、画像処理部２２６と、心電計２２７とを備える。

Ｘ線高電圧装置２１１は、システム制御部２２１による制御の下、高電圧を発生し、発生した高電圧をＸ線管２１２に供給する。Ｘ線管２１２は、Ｘ線高電圧装置２１１から供給される高電圧を用いて、Ｘ線を発生する。

Ｘ線絞り装置２１３は、絞り制御部２２０による制御の下、Ｘ線管２１２が発生したＸ線を、被検体Ｐの関心領域に対して選択的に照射されるように絞り込む。例えば、Ｘ線絞り装置２１３は、スライド可能な４枚の絞り羽根を有する。Ｘ線絞り装置２１３は、絞り制御部２２０による制御の下、これらの絞り羽根をスライドさせることで、Ｘ線管２１２が発生したＸ線を絞り込んで被検体Ｐに照射させる。天板２１４は、被検体Ｐを載せるベッドであり、図示しない寝台の上に配置される。なお、被検体Ｐは、Ｘ線診断装置２００に含まれない。

Ｘ線検出器２１６は、被検体Ｐを透過したＸ線を検出する。例えば、Ｘ線検出器２１６は、マトリックス状に配列された検出素子を有する。各検出素子は、被検体Ｐを透過したＸ線を電気信号に変換して蓄積し、蓄積した電気信号を画像データ生成部２２４に送信する。

Ｃアーム２１５は、Ｘ線管２１２、Ｘ線絞り装置２１３及びＸ線検出器２１６を保持する。Ｘ線管２１２及びＸ線絞り装置２１３とＸ線検出器２１６とは、Ｃアーム２１５により被検体Ｐを挟んで対向するように配置される。

Ｃアーム回転・移動機構２１７は、Ｃアーム２１５を回転及び移動させるための機構であり、天板移動機構２１８は、天板２１４を移動させるための機構である。Ｃアーム・天板機構制御部２１９は、システム制御部２２１による制御の下、Ｃアーム回転・移動機構２１７及び天板移動機構２１８を制御することで、Ｃアーム２１５の回転や移動、天板２１４の移動を調整する。絞り制御部２２０は、システム制御部２２１による制御の下、Ｘ線絞り装置２１３が有する絞り羽根の開度を調整することで、被検体Ｐに対して照射されるＸ線の照射範囲を制御する。

心電計２２７は、図示しない端子が取り付けられた被検体Ｐの心電波形（ＥＣＧ：Electrocardiogram）を取得し、取得した心電波形を、時間情報とともに、画像データ生成部２２４および画像処理部２２６に送信する。

画像データ生成部２２４は、Ｘ線検出器２１６によってＸ線から変換された電気信号を用いてＸ線画像を生成し、生成したＸ線画像を画像データ記憶部２２５に格納する。例えば、画像データ生成部２２４は、Ｘ線検出器２１６から受信した電気信号に対して、電流・電圧変換やＡ（Analog）／Ｄ（Digital）変換、パラレル・シリアル変換を行い、Ｘ線画像を生成する。

ここで、画像データ生成部２２４は、造影剤が注入された被検体Ｐの心臓を時系列に沿って撮影した複数のＸ線画像を生成する。そして、画像データ生成部２２４は、生成したＸ線画像を画像データ記憶部２２５に格納するが、本実施例における画像データ生成部２２４は、生成した各Ｘ線画像に、心電計２２７から受信した心電波形および時間情報を対応付けて、画像データ記憶部２２５に格納する。

画像データ記憶部２２５は、画像データ生成部２２４によって生成されたＸ線画像を記憶する。例えば、画像データ記憶部２２５は、画像データ生成部２２４によって生成されたＸ線画像を、撮影時間および撮影時間における心電波形に対応付けて記憶する。画像処理部２２６は、画像データ記憶部２２５が記憶する画像データに対して各種画像処理を行う。例えば、画像処理部２２６は、画像データ記憶部２２５が記憶する時系列に沿った複数のＸ線画像を処理することにより、動画像を生成する。

入力部２２２は、Ｘ線診断装置２００を操作する医師や技師などの操作者から各種指示を受け付ける。例えば、入力部２２２は、マウス、キーボード、ボタン、トラックボール、ジョイスティックなどを有する。入力部２２２は、操作者から受け付けた指示を、システム制御部２２１に転送する。例えば、入力部２２２は、Ｘ線診断装置２００の電源をＯＮの状態にするための指示を受付ける。

表示部２２３は、操作者の指示を受け付けるためのＧＵＩ（Graphical User Interface）や、画像データ記憶部２２５が記憶する画像データなどを表示する。例えば、表示部２２３は、モニタを有する。なお、表示部２２３は、複数のモニタを有してもよい。

システム制御部２２１は、Ｘ線診断装置２００全体の動作を制御する。例えば、システム制御部２２１は、入力部２２２から転送された操作者の指示に従ってＸ線高電圧装置２１１を制御し、Ｘ線管２１２に供給する電圧を調整することで、被検体Ｐに対して照射されるＸ線量やＯＮ／ＯＦＦを制御する。また、例えば、システム制御部２２１は、操作者の指示に従ってＣアーム・天板機構制御部２１９を制御し、Ｃアーム２１５の回転や移動、天板２１４の移動を調整する。また、例えば、システム制御部２２１は、操作者の指示に従って絞り制御部２２０を制御し、Ｘ線絞り装置２１３が有する絞り羽根の開度を調整することで、被検体Ｐに対して照射されるＸ線の照射範囲を制御する。

また、システム制御部２２１は、操作者の指示に従って、画像データ生成部２２４による画像データ生成処理や、画像処理部２２６による画像処理、あるいは解析処理などを制御する。また、システム制御部２２１は、操作者の指示を受け付けるためのＧＵＩや画像データ記憶部２２５が記憶する画像などを、表示部２２３のモニタに表示するように制御する。

次に、第１の実施形態に係る超音波診断装置の構成について、図３を用いて説明する。図３は、第１の実施形態に係る超音波診断装置３００の構成を説明するための図である。図３に示すように、第１の実施形態に係る超音波診断装置３００は、装置本体３１０と、超音波プローブ３２０と、入力装置３３０と、モニタ３４０と、トランスミッター３５１と、位置センサー３５２と、制御装置３５３と、心電計３６０とを有する。

超音波プローブ３２０は、複数の圧電振動子を有し、これら複数の圧電振動子は、後述する装置本体３１０が有する送受信部３１１から供給される駆動信号に基づき超音波を発生し、さらに、被検体Ｐからの反射波を受信して電気信号に変換する。また、超音波プローブ３２０は、圧電振動子に設けられる整合層と、圧電振動子から後方への超音波の伝播を防止するバッキング材などを有する。例えば、超音波プローブ３２０は、セクタ型、リニア型又はコンベックス型などの超音波プローブである。

超音波プローブ３２０から被検体Ｐに超音波が送信されると、送信された超音波は、被検体Ｐの体内組織における音響インピーダンスの不連続面で次々と反射され、反射波信号として超音波プローブ３２０が有する複数の圧電振動子にて受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが移動している血流や心臓壁などの表面で反射された場合の反射波信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して、周波数偏移を受ける。

なお、本実施形態は、１次元超音波プローブの複数の圧電振動子を機械的に揺動する超音波プローブ３２０や複数の圧電振動子が格子状に２次元で配置された２次元超音波プローブである超音波プローブ３２０により、被検体Ｐを３次元でスキャンする。

入力装置３３０は、トラックボール、スイッチ、ボタン、タッチコマンドスクリーンなどを有し、超音波診断装置３００の操作者からの各種設定要求を受け付け、装置本体３１０に対して受け付けた各種設定要求を転送する。例えば、入力装置３３０は、超音波画像と、Ｘ線画像などとの位置合わせに係る各種操作を受付ける。

モニタ３４０は、超音波診断装置３００の操作者が入力装置３３０を用いて各種設定要求を入力するためのＧＵＩ（Graphical User Interface）を表示したり、装置本体３１０において生成された超音波画像とＸ線ＣＴ画像などとを並列表示したりする。

トランスミッター３５１は、基準信号を送信する。具体的には、トランスミッター３５１は、任意の位置に配置され、自装置を中心として外側に向かって磁場を形成する。位置センサー３５２は、基準信号を受信することにより、３次元空間上の位置情報を取得する。具体的には、位置センサー３５２は、超音波プローブ３２０の表面に装着され、トランスミッター３５１によって形成された３次元の磁場を検出して、検出した磁場の情報を信号に変換して、制御装置３５３に出力する。

制御装置３５３は、位置センサー３５２から受信した信号に基づいて、トランスミッター３５１を原点とする空間における位置センサー３５２の座標及び向きを算出し、算出した座標及び向きを後述する装置本体３１０の制御部３１６に出力する。なお、被検体Ｐの診断は、超音波プローブ３２０に装着された位置センサー３５２が、トランスミッター３５１の磁場を正確に検出することが可能な磁場エリア内で行われる。なお、本実施形態においては、位置情報を取得するセンサーとして磁気センサーを用いる場合について説明するが、実施形態はこれに限定されるものではない。例えば、磁気センサーの代わりに、赤外線センサーや、光学センサー、カメラなどを用いる場合であってもよい。

心電計３６０は、装置本体３１０と接続され、超音波走査が行なわれる被検体Ｐの心電波形（ＥＣＧ： Electrocardiogram）を取得する。心電計３６０は、取得した心電波形及び時間情報を装置本体３１０に送信する。

装置本体３１０は、超音波プローブ３２０が受信した反射波に基づいて超音波画像を生成する装置であり、図３に示すように、送受信部３１１と、Ｂモード処理部３１２と、ドプラ処理部３１３と、画像生成部３１４と、画像メモリ３１５と、制御部３１６と、内部記憶部３１７と、インターフェース部３１８と、ボリュームデータ処理部３１９とを有する。

送受信部３１１は、トリガ発生回路、遅延回路およびパルサ回路などを有し、超音波プローブ３２０に駆動信号を供給する。パルサ回路は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。また、遅延回路は、超音波プローブ３２０から発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、パルサ回路が発生する各レートパルスに対し与える。また、トリガ発生回路は、レートパルスに基づくタイミングで、超音波プローブ３２０に駆動信号（駆動パルス）を印加する。すなわち、遅延回路は、各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面からの送信方向を任意に調整する。

また、送受信部３１１は、アンプ回路、Ａ／Ｄ変換器、加算器などを有し、超音波プローブ３２０が受信した反射波信号に対して各種処理を行なって反射波データを生成する。アンプ回路は、反射波信号をチャンネルごとに増幅してゲイン補正処理を行ない、Ａ／Ｄ変換器は、ゲイン補正された反射波信号をＡ／Ｄ変換して受信指向性を決定するのに必要な遅延時間を与え、加算器は、Ａ／Ｄ変換器によって処理された反射波信号の加算処理を行なって反射波データを生成する。加算器の加算処理により、反射波信号の受信指向性に応じた方向からの反射成分が強調される。

このように、送受信部３１１は、超音波の送受信における送信指向性と受信指向性とを制御する。なお、送受信部３１１は、後述する制御部３１６の制御により、遅延情報、送信周波数、送信駆動電圧、開口素子数などを瞬時に変更可能な機能を有している。特に、送信駆動電圧の変更においては、瞬時に値を切り替えることが可能であるリニアアンプ型の発振回路、又は、複数の電源ユニットを電気的に切り替える機構によって実現される。また、送受信部３１１は、１フレームもしくはレートごとに、異なる波形を送信して受信することも可能である。

Ｂモード処理部３１２は、送受信部３１１からゲイン補正処理、Ａ／Ｄ変換処理および加算処理が行なわれた処理済み反射波信号である反射波データを受信し、対数増幅、包絡線検波処理などを行なって、信号強度が輝度の明るさで表現されるデータ（Ｂモードデータ）を生成する。

ドプラ処理部３１３は、送受信部３１１から受信した反射波データから速度情報を周波数解析し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、平均速度、分散、パワーなどの移動体情報を多点について抽出したデータ（ドプラデータ）を生成する。

画像生成部３１４は、Ｂモード処理部３１２が生成したＢモードデータや、ドプラ処理部３１３が生成したドプラデータから、超音波画像を生成する。具体的には、画像生成部３１４は、超音波スキャンの走査線信号列を、テレビなどに代表されるビデオフォーマットの走査線信号列に変換（スキャンコンバート）することで、Ｂモードデータやドプラデータから表示用の超音波画像（Ｂモード画像やドプラ画像）を生成する。ここで、画像生成部３１４は、生成した各超音波画像に、心電計３６０から受信した心電波形および時間情報を対応付けて、画像メモリ３１５に格納する。

画像メモリ３１５は、画像生成部３１４によって生成された造影像や組織像などの画像データを記憶する。また、画像メモリ３１５は、送受信部３１１を経た直後の出力信号（ＲＦ：Radio Frequency）や画像の輝度信号、種々の生データ、ネットワークを介して取得した画像データなどを必要に応じて記憶する。画像メモリ３１５が記憶する画像データのデータ形式は、後述する制御部３１６によりモニタ３４０に表示されるビデオフォーマット変換後のデータ形式であっても、Ｂモード処理部３１２及びドプラ処理部３１３によって生成されたＲａｗデータである座標変換前のデータ形式でもよい。

制御部３１６は、超音波診断装置３００における処理全体を制御する。具体的には、制御部３１６は、入力装置３３０を介して操作者から入力された各種設定要求や、内部記憶部３１７から読込んだ各種制御プログラムおよび各種設定情報に基づき、送受信部３１１、Ｂモード処理部３１２、ドプラ処理部３１３および画像生成部３１４の処理を制御したり、画像メモリ３１５が記憶する超音波画像などをモニタ３４０にて表示するように制御したりする。また、制御部３１６は、例えば、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格に則って、他のモダリティ（例えば、Ｘ線ＣＴ装置、ＭＲＩ装置など）の３次元画像データ（ボリュームデータ）を、ネットワークを介して送受信する。

内部記憶部３１７は、超音波送受信、画像処理および表示処理を行なうための制御プログラムや、診断情報（例えば、患者ＩＤ、医師の所見など）や、診断プロトコルなどの各種データを記憶する。さらに、内部記憶部３１７は、必要に応じて、画像メモリ３１５が記憶する画像の保管などにも使用される。

インターフェース部３１８は、入力装置３３０、制御装置３５３と装置本体３１０との間での各種情報のやり取りを制御するインターフェースである。例えは、インターフェース部３１８は、制御部３１６に対する制御装置３５３が取得した位置情報の転送を制御する。

ボリュームデータ処理部３１９は、ストレイン解析に係る各種処理を実行する。具体的には、３Ｄ Ｗａｌｌ Ｍｏｔｉｏｎ Ｔｒａｃｋｉｎｇにより、心臓における興奮伝播の様相が描出された画像を生成する。ここで、第１の実施形態に係る超音波診断装置３００は、まず、被検体Ｐの心臓のボリュームデータを生成する。一例を挙げると、第１の実施形態に係る超音波診断装置３００は、被検体Ｐの心臓の左心室（ＬＶ：Left Ventricular）を１心拍以上の期間にわたり時系列に沿って撮影した複数のボリュームデータ（ボリュームデータ群）を生成する。

ボリュームデータ処理部３１９は、被検体Ｐの心臓を超音波で３次元走査することで生成された時系列に沿ったボリュームデータ群それぞれから、心壁の運動に関する運動情報を生成する。具体的には、ボリュームデータ処理部３１９は、ボリュームデータ間のパターンマッチングにより、運動情報を生成する。より具体的には、ボリュームデータ処理部３１９は、各ボリュームデータに描出された心筋組織に設定された追跡点をスペックルパターンに基づいて追跡することで、各追跡点の移動ベクトルを算出する。そして、ボリュームデータ処理部３１９は、各追跡点の移動ベクトルを用いて、局所的な心筋の動きを示す運動情報を生成する。換言すると、ボリュームデータ処理部３１９は、３次元のスペックルトラッキングを行なって、運動情報を生成する。一例を挙げると、ボリュームデータ処理部３１９は、運動情報として、心臓組織の局所的な面積の変化率を生成する。

図４は、第１の実施形態に係るボリュームデータ処理部３１９による処理結果の一例を示す図である。例えば、ボリュームデータ処理部３１９は、図４の左側に示すように、Polar-map像に対して、特異領域を「時相保持型の表示方法」により重畳させた重畳画像を生成することができる。なお、図４に示す「ant-sept」は、前壁中隔であり、「ant」は、前壁であり、「lat」は、側壁であり、「post」は、後壁であり、「inf」は、下壁であり、「sept」は、中隔である。

また、ボリュームデータ処理部３１９は、図４の下側に示すように、時相保持型の重畳画像とともに、心電波形と、１６分画ごとの平均運動情報（平均面積変化率）の時間変化曲線のグラフとを合成することもできる。図４では、１６分画それぞれの平均面積変化率の時間変化曲線を実線で示している。ただし、実際には、ボリュームデータ処理部３１９は、各平均運動情報の時間変化曲線がどの分画に対応するものであるか判別可能なように、１６分画それぞれの平均運動情報の時間変化曲線を分画ごとに割り当てられた色調で着色する。

また、ボリュームデータ処理部３１９は、ボリュームデータから、短軸断面や、長軸断面の複数のＭＰＲ画像を生成する。図４に示す一例では、ボリュームデータ処理部３１９は、領域Ａにおいて、心尖部四腔像の左心室心壁上に、特異領域を時相保持型で重畳させた画像を配置した合成画像を生成している。また、図４に示す一例では、ボリュームデータ処理部３１９は、領域Ｂにおいて、心尖部二腔像の左心室心壁上に、特異領域を時相保持型で重畳させた画像を配置した合成画像を生成している。

また、図４に示す一例では、ボリュームデータ処理部３１９は、領域Ｃ３において、心尖部に近い短軸断面画像の左心室心壁上に、特異領域を時相保持型で重畳させた画像を配置した合成画像を生成している。また、図４に示す一例では、ボリュームデータ処理部３１９は、領域Ｃ５において、心尖部に近い短軸断面画像の左心室心壁上に、特異領域を時相保持型で重畳させた画像を配置した合成画像を生成している。また、図４に示す一例では、ボリュームデータ処理部３１９は、領域Ｃ７において、心尖部と心基部との中間に位置する短軸断面画像の左心室心壁上に、特異領域を時相保持型で重畳させた画像を配置した合成画像を生成している。また、図４に示す一例では、ボリュームデータ処理部３１９は、領域Ｃ７において、心基部に近い短軸断面画像の左心室心壁上に、特異領域を時相保持型で重畳させた画像を配置した合成画像を生成している。

なお、図４に示す一例では、カラーバー及び心電波形とともに、各種の運動情報の値がテーブルとして表示されている。図４に示すＥＤＶは、拡張末期（ＥＤ: end diastole）時相での心内腔の体積である。図４に示す一例では、ＥＤＶが「１５６．０１ｍＬ」であり、拡張末期（基準時相）の時間が「０ｍｓｅｃ」であることが示されている。また、図４に示すＥＳＶは、収縮末期（ＥＳ：end systole）時相での心内腔の体積である。図４に示す一例では、ＥＳＶが「１０９．２０ｍＬ」であり、収縮末期の時間が「４２２ｍｓｅｃ」であることが示されている。

また、図４に示すＥＦは、ＥＤＶ及びＥＳＶから定義される駆出率である。図４に示す一例では、ＥＦが「３０．０１％」であることが示されている。また、図４に示す「１．０５×ＭＶ」は、心筋の体積（ＭＶ）に平均的な心筋密度値である「１．０５ｇ／ｍＬ」を乗算することで求められる「心筋重量（ｇ）」である。図４に示す一例では、「１．０５×ＭＶ」が「１４０．６６ｇ」であることが示されている。また、図４に示す一例では、「１４０．６６ｇ」が左心室の心筋の体積から推定されたものであることを表す「ｅｓｔ．ＬＶ ＭＡＳＳ」が示されている。

ボリュームデータ処理部３１９は、運動情報として、局所的な面積の変化率（Area change）の時間変化率（Area change rate）を算出しても良い。すなわち、ボリュームデータ処理部３１９は、局所的な面積の変化率の時間微分値を推定することで、面積変化率の時間変化率を算出しても良い。かかる場合には、ボリュームデータ処理部３１９は、図５Ａに示すように、所定の値を閾値として、閾値に到達した時刻ごとに色を割り当てるように重畳画像の色調を変化させる。なお、図５Ａは、第１の実施形態に係るボリュームデータ処理部３１９による処理の一例を説明するための図である。

図５Ｂは、第１の実施形態に係るボリュームデータ処理部３１９によって生成される画像の一例を示す図である。ここで、図５Ｂにおいては、心臓における興奮伝播の様相が描出された画像を示す。具体的には、図５Ｂにおいては、ＮＯＭＡＬ（健常）及びＣＬＢＢＢ（完全左脚ブロック）について、サーフェスレンダリング画像に色調を重畳した重畳画像と、Polar-map像に対して色調を重畳させた重畳画像とを示す。ここで、ＣＬＢＢＢにおいて、非同期部位（Ｌａｔｅｓｔ Ｓｉｔｅ）が示されている。

ＣＲＴにおいては、図５Ｂに示す重畳画像から非同期部位を特定し、造影剤を用いたＸ線画像を参照して、非同期部位に最も近い静脈に電極（ペーシングリード：Pacing Lead）が留置される。このとき、Ｘ線画像においては、非同期部位の正確な位置が示されているわけではないため、医師は、勘を頼りに手技を行う場合もあり、誤った位置に電極を留置してしまう場合もある。そこで、Ｘ線画像における非同期部位に超音波の重畳画像をさらに重畳して表示させることで、電極を正確に留置させる。このとき、重畳させるＸ線画像及び超音波画像は、それぞれ動画像或いは静止画像である。

本実施形態に係る画像処理装置１００は、表示状況に応じて、重畳させるＸ線画像及び超音波画像を動画像と動画像との組み合わせ、動画像と静止画像との組み合わせ、或いは静止画像と動画像との組み合わせで重畳させることで、Ｘ線画像と超音波画像の重畳画像において、視認性の高い画像を表示することを可能にする。なお、以下、Ｘ線画像と超音波画像の重畳画像をフュージョン（Fusion）画像と記す。

図６は、第１の実施形態に係る画像処理装置１００の構成の一例を示す図である。図６に示すように、画像処理装置１００は、入力部１１０と、表示部１２０と、通信部１３０と、記憶部１４０と、制御部１５０とを有する。例えば、画像処理装置１００は、ワークステーションや、任意のパーソナルコンピュータなどであり、Ｘ線診断装置２００や、超音波診断装置３００、画像保管装置４００などとネットワークを介して接続される。

入力部１１０は、マウス、キーボード、トラックボール等であり、画像処理装置１００に対する各種操作の入力を操作者（例えば、読影医など）から受け付ける。具体的には、入力部１１０は、Ｘ線画像や、超音波画像を取得するための情報の入力などを受け付ける。

表示部１２０は、モニタとしての液晶パネル等であり、各種情報を表示する。具体的には、表示部１２０は、操作者から各種操作を受け付けるためのＧＵＩ（Graphical User Interface）や、後述する制御部１５０による処理結果となるＸ線画像と超音波画像との重畳画像を表示する。通信部１３０は、ＮＩＣ（Network Interface Card）等であり、他の装置との間で通信を行う。

記憶部１４０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置などであり、Ｘ線画像や、超音波画像などを記憶する。

制御部１５０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の電子回路、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路であり、画像処理装置１００の全体制御を行なう。

また、制御部１５０は、図６に示すように、例えば、位置合わせ部１５１と、決定部１５２と、表示制御部１５３とを有し、表示状況に応じてフュージョン画像の組み合わせを変えることで、視認性の高いフュージョン画像を表示する。ここで、まず、第１の実施形態に係る表示状況の一例について説明する。図７は、第１の実施形態に係るフュージョン画像の表示状況の一例を説明するための図である。ここで、図７においては、ＣＲＴの手技のワークフローについて示す。

例えば、ＣＲＴでは、図７に示すように、超音波診断装置３００において、心臓の超音波画像が取得され、診断及び治療計画が立てられる。ここで、第１の実施形態に係るＣＲＴでは、正確な位置で重畳するための位置合わせ（Registration）が実行される。このときのフュージョン画像は、例えば、図７に示すように、静止画のＸ線画像に静止画の超音波画像が重畳されたものである。

そして、ＣＲＴにおいては、例えば、位置合わせが正しいか否かが確認される（Registrationの確認）。かかる場合、フュージョン画像は、例えば、図７に示すように、超音波画像とＸ線画像の組み合わせが動画と動画、静止画と動画、或いは、動画と静止画で生成される。これは、超音波画像を静止画のままＸ線画像を動かしたり、Ｘ線画像を静止画のまま超音波画像を動かしたり、両方動かしたりすることで、医師などの観察者によって位置合わせが正しいか否かが確認される。

そして、次に、医師がフュージョン画像を見ながら非同期部位に最も近い血管に電極を運び（Navigation）、電極が留置される。ここで、Navigationにおけるフュージョン画像は、Ｘ線画像は動画であり、超音波画像は動画或いは静止画である。そののち、治療効果の確認が行われ、かかる場合のフュージョン画像は、超音波画像が動画であり、Ｘ線画像は静止画である。

第１の実施形態に係る制御部１５０は、例えば、図７に示す各表示状況に応じて、フュージョン画像の組み合わせを決定して、決定した組み合わせのフュージョン画像を表示部１２０にて表示させる。ここで、図７に示す表示状況はあくまでも一例である。すなわち、実施形態はＣＲＴの手技にかかるフュージョン画像を表示する場合に限られるものではない。また、図７に示すフュージョン画像の組み合わせも一例であり、これに限定されるものではない。例えば、治療効果の確認において、動画のＸ線画像に動画の超音波画像を重畳させたフュージョン画像が用いられてもよい。これらの表示状況及びフュージョン画像の組み合わせは、医師などの観察者によって任意に決定することができる。

図６に戻って、位置合わせ部１５１は、Ｘ線画像と超音波画像とを重畳させる際の位置合わせを実行する。具体的には、位置合わせ部１５１は、Ｘ線画像が撮影される空間における座標であるＸ線座標系と、超音波画像が撮影される空間における座標である超音波座標系との相対的な位置関係から各座標系を関連付ける。図８は、第１の実施形態に係る位置合わせ部１５１による処理の一例を説明するための図である。

例えば、位置合わせ部１５１は、図８に示すように、Ｘ線座標系における超音波座標系の位置を特定する。すなわち、位置合わせ部１５１は、超音波画像が収集された座標空間がＸ線座標系のどこに相当するかを特定する。ここで、位置合わせ部１５１による位置合わせの方法としては、例えば、以下の３つの方法が挙げられる。

まず、第１の方法としては、位置センサーを用いる方法である。例えば、位置センサー３５２を取り付けた超音波プローブ３２０をＸ線診断装置２００によって撮影される。位置合わせ部１５１は、撮影されたＸ線画像に含まれる超音波プローブ３２０の位置からＸ線座標系における超音波プローブ３２０の座標を算出する。さらに、位置合わせ部１５１は、Ｘ線画像が撮影された際の位置センサー３５２の位置情報を超音波診断装置３００から取得する。すなわち、位置合わせ部１５１は、Ｘ線画像が撮影された際の超音波座標系における超音波プローブ３２０の座標を取得する。

位置合わせ部１５１は、Ｘ線座標系における超音波プローブ３２０の座標と、Ｘ線画像が撮影された際の超音波座標系における超音波プローブ３２０の座標とを関連付けることで、Ｘ線座標系における超音波座標系の位置を特定する。これにより、位置合わせ部１５１は、超音波画像において特定された治療箇所のＸ線座標系における座標を算出することができる。

また、第２の方法としては、ランドマークを用いる方法である。例えば、観察者が、Ｘ線画像にて確認可能な部分を超音波画像上でランドマークとして設定する。位置合わせ部１５１は、超音波画像に設定されたランドマークと、Ｘ線画像上のランドマークに相当する位置とを用いて、超音波画像とＸ線画像とを位置合わせする。一例を挙げると、超音波画像における心室の壁をランドマークとして設定させる。位置合わせ部１５１は、造影されたＸ線画像とランドマークが設定された超音波画像とを用いて、Ｘ線座標系と超音波座標系とを位置合わせする。

また、第３の方法としては、ＣＴ画像を用いる方法である。例えば、位置合わせ部１５１は、超音波画像とＣＴ画像とを位置合わせすることで、ＣＴ座標系における超音波座標系の位置を特定する。また、位置合わせ部１５１は、Ｘ線画像とＣＴ画像とを位置合わせすることで、ＣＴ座標系におけるＸ線座標系の位置を特定する。そして、位置合わせ部１５１は、ＣＴ座標系における超音波座標系の位置と、ＣＴ座標系におけるＸ線座標系の位置とから、Ｘ線座標系における超音波座標系の位置を特定する。

上述したように、位置合わせ部１５１は、Ｘ線座標系における超音波座標系の位置を特定することで、超音波画像で特定された治療箇所がＸ線画像においてどこに相当するのかを正確に算出することができ、正確な位置で重畳されたフュージョン画像を生成することを可能にする。なお、上述した位置合わせの方法はあくまでも一例であり、実施形態はこれに限定されるものではない。すなわち、Ｘ線座標系における超音波座標系の位置を特定することができる方法であれば、どのような方法が用いられてもよい。

図６に戻って、決定部１５２は、表示状況に基づいて、Ｘ線画像及び超音波画像を動画像又は静止画像のいずれで表示させるかをそれぞれ決定する。例えば、決定部１５２は、図７に示すワークフローに沿ってフュージョン画像の組み合わせを決定する。

ここで、決定部１５２は、フュージョン画像の組み合わせとして、動画と静止画との組み合わせに加えて、さらに詳細な組み合わせを決定することも可能である。図９は、第１の実施形態に係る決定部１５２によって決定されるフュージョン画像の組み合わせの一例を示す図である。

例えば、決定部１５２は、図９に示すように、超音波画像とＸ線画像との組み合わせとして、静止画（＋コマ送り）と静止画（造影像）とを決定する。かかる組み合わせは、主に位置合わせ時に用いられるように設定される。Ｘ線画像は、血管が造影された静止画であり、超音波画像はランドマークなどの位置合わせ情報が表現された静止画である。ここで、超音波画像はコマ送り可能な画像であってもよい。

また、決定部１５２は、図９に示すように、超音波画像とＸ線画像との組み合わせとして、動画と静止画（造影像）とを決定する。かかる組み合わせは、主に位置合わせの確認時に用いられるように設定される。Ｘ線画像は、血管が造影された静止画であり、超音波画像はランドマークなどの位置合わせ情報が表現された動画である。

また、決定部１５２は、図９に示すように、超音波画像とＸ線画像との組み合わせとして、静止画（ＡＩ：Activation Imaging）と動画（透視orＲＭ：Road Map）とを決定する。かかる組み合わせは、例えば、電極を運ぶ際に用いられるように設定される。Ｘ線画像は、電極を動かしているのがリアルタイムでガイドできる透視動画であり、超音波画像は電極留置計画位置が明示された静止画である。Ｘ線画像は、血管がマスク像となっているロードマップ像でも可能である。かかるロードマップ像での血管マスク像は静止画でもよく、或いは動画でもよい。

また、決定部１５２は、図９に示すように、超音波画像とＸ線画像との組み合わせとして、動画（心拍運動、電気伝導）と動画（透視orＲＭ）とを決定する。かかる組み合わせは、例えば、電極を運ぶ際に用いられるように設定される。Ｘ線画像は、電極を動かしているのがリアルタイムでガイドできる透視動画であり、超音波画像は電極留置計画位置が明示され、かつ心臓の動き及び電気伝導が表現されている動画（カラーマップされた動きのある動画）である。Ｘ線画像は、血管がマスク像となっているロードマップ像でも可能である。かかるロードマップ像での血管マスク像は静止画でもよく、或いは動画でもよい。

また、決定部１５２は、図９に示すように、超音波画像とＸ線画像との組み合わせとして、動画（心拍運動のみ）と動画（透視orＲＭ）とを決定する。かかる組み合わせは、例えば、電極を運ぶ際に用いられるように設定される。Ｘ線画像は、電極を動かしているのがリアルタイムでガイドできる透視動画であり、超音波画像は電極留置計画位置が明示され、かつ心臓の動きが表現されている動画である。Ｘ線画像は、血管がマスク像となっているロードマップ像でも可能である。かかるロードマップ像での血管マスク像は静止画でもよく、或いは動画でもよい。

また、決定部１５２は、図９に示すように、超音波画像とＸ線画像との組み合わせとして、動画（電気伝導のみ）と動画（透視orＲＭ）とを決定する。かかる組み合わせは、例えば、電極を運ぶ際に用いられるように設定される。Ｘ線画像は、電極を動かしているのがリアルタイムでガイドできる透視動画であり、超音波画像は電極留置計画位置が明示され、かつ電気伝導のみが表現されている動画である。すなわち、超音波画像は、心拍運動による変形はせずに、カラーマップのみが変化する。これにより、心拍運動がＸ線画像のみで表現されることとなり、視認性が高い画像を表示することが可能になる。Ｘ線画像は、血管がマスク像となっているロードマップ像でも可能である。かかるロードマップ像での血管マスク像は静止画でもよく、或いは動画でもよい。

また、決定部１５２は、図９に示すように、超音波画像とＸ線画像との組み合わせとして、動画（別Ｗｉｎｄｏｗ）と動画（透視orＲＭ）とを決定する。かかる組み合わせは、例えば、電極を運ぶ際に用いられるように設定される。Ｘ線画像は、電極を動かしているのがリアルタイムでガイドできる透視動画であり、電極留置計画位置が明示された静止画の超音波画像が重畳される。ここで、この組合せでは、別Ｗｉｎｄｏｗに電気伝導が表現されている動画を表示する。かかる場合、例えば、Polar Map像などの異なるフォーマットの画像を表示してもよいし、或いは、２Ｄ超音波画像を動画表示してもよい。

図６に戻って、表示制御部１５３は、決定部１５２による決定に基づいて、Ｘ線画像及び超音波画像を、動画像と動画像との組み合わせ、動画像と静止画像との組み合わせ、又は静止画像と動画像との組み合わせのいずれかで重畳させた重畳画像及び前記組み合わせのいずれかで並列させた並列画像のうち少なくとも一方を表示部１２０にて表示させるように制御する。具体的には、表示制御部１５３は、決定部１５２によって決定された組み合わせのフュージョン画像を表示部１２０にて表示させる。なお、表示制御部１５３は、位置合わせ部１５１によって位置合わせされた状態のフュージョン画像を表示部１２０に表示させる。

ここで、表示制御部１５３は、重畳画像に動画像が含まれる場合に、Ｘ線画像及び超音波画像の位相を同期させて重畳させる。より具体的には、表示制御部１５３は、動画像を含む重畳画像にリアルタイムで収集されるＸ線画像を用いる場合、被検体の心電図信号において直前のＲ波から現時点までの時間を算出し、超音波画像においてＲ波から算出した時間が経過した位相の超音波画像フレームを、現時点のＸ線画像フレームに重畳させる。

以下、Ｘ線画像をリアルタイムで表示させ、当該Ｘ線画像に超音波画像を重畳させるフュージョン画像を表示させる場合について、図１０Ａ及び図１０Ｂを用いて説明する。図１０Ａは、第１の実施形態に係る表示制御部１５３によって用いられる超音波画像を説明するための図である。また、図１０Ｂは、第１の実施形態に係る表示制御部１５３によるリアルタイム表示に用いられるＸ線画像を説明するための図である。

例えば、表示制御部１５３は、図１０Ａに示すように、ＥＣＧ波形のＲＲ間隔内で収集された超音波画像のフレームの中から、現時点のＸ線画像の位相と略同一の位相のフレームを抽出して、Ｘ線画像に重畳させる。ここで、表示制御部１５３は、図１０Ｂに示すように、リアルタイムで撮影されているＸ線画像の現時点のフレームに対応する位相をＥＣＧ波形から取得する。すなわち、表示制御部１５３は、図１０Ｂに示すように、現時点から直前のＲ波までの時間「ｔ ｓｅｃ」を算出する。

そして、表示制御部１５３は、超音波画像のフレームにおいて、Ｒ波から「ｔ ｓｅｃ」経過した時点の位相を、Ｘ線画像の現時点の位相と略同一の位相として決定する。そして、表示制御部１５３は、超音波画像のフレームの中から決定した位相に相当するフレームを抽出して、Ｘ線画像のフレームにおける現時点のフレームに抽出した超音波画像のフレームを重畳させたフュージョン画像を表示部にて表示させる。なお、表示制御部１５３は、位置合わせ部１５１によって位置合わせされた状態でフュージョン画像を表示させる。また、表示制御部１５３は、リアルタイムにＸ線画像を撮影している際、ＥＣＧ波形にＲ波が出現するごとに、現時点の位相と略同一となる超音波画像のフレームの位相を決定する。

また、表示制御部１５３は、被検体の心電図信号のＲＲ間隔におけるＸ線画像フレームの位相を算出し、算出した位相と略同一の位相の超音波画像フレームを抽出し、抽出した超音波画像フレームをＸ線画像フレームに重畳させる。図１０Ｃは、第１の実施形態に係る表示制御部１５３によって用いられる超音波画像を説明するための図である。なお、図１０Ｃにおいては、Ｘ線画像の撮影が終了したのちの表示に用いられるＸ線画像を説明するための図である。

例えば、表示制御部１５３は、図１０Ｃに示すように、Ｘ線画像のフレームにおいて動画開始時点のフレームがＲＲ間隔のどこに位置するかを算出して、算出した位置と略同一となる位置の超音波画像のフレームを抽出して、フュージョン画像を表示する。一例を挙げると、表示制御部１５３は、図１０Ｃに示すように、ＲＲ間隔において、動画開始時点から直前のＲ波までと、動画開始時点から直後のＲまでとの比「ａ：ｂ」を算出する。そして、表示制御部１５３は、超音波画像におけるＲＲ間隔で「ａ：ｂ」となる位相のフレームを抽出する。そして、表示制御部１５３は、抽出した超音波画像のフレームを動画開始時点のＸ線画像のフレームに重畳させたフュージョン画像を表示部１２０にて表示させる。

また、表示制御部１５３は、超音波画像に付与されたランドマークと、Ｘ線画像において、当該ランドマークに相当するに領域に基づいて、略同一の位相となるＸ線画像フレーム及び超音波画像フレームを抽出し、抽出したＸ線画像フレーム及び超音波画像フレームを重畳させる。具体的には、表示制御部１５３は、位置合わせ部１５１によってランドマークによる位置合わせが実行された場合に、当該ランドマークを用いて位相を同期させる。例えば、表示制御部１５３は、ランドマークの位置や形状に基づいて、動画開始時点のフレームの位相と略同一の位相のフレームを超音波画像のフレームから抽出する。そして、表示制御部１５３は、抽出した超音波画像のフレームを動画開始時点のＸ線画像のフレームに重畳させたフュージョン画像を表示部１２０にて表示させる。

図１１は、第１の実施形態に係る表示制御部１５３による表示制御処理の一例を示す図である。例えば、表示制御部１５３は、図１１に示すように、Ｘ線画像１０に超音波画像２０（サーフェスレンダリング画像に色調を重畳した重畳画像）を重畳させたフュージョン画像を表示部１２０にて表示させる。ここで、表示制御部１５３は、各画像を動画或いは静止画で表示させ、動画の場合には、各画像における位相を同期させたフュージョン画像を表示させる。

次に、第１の実施形態に係る画像処理装置１００の処理の手順について、図１２及び図１３を用いて説明する。図１２は、第１の実施形態に係る画像処理装置１００による処理の手順を示すフローチャートである。また、図１３は、第１の実施形態に係る画像処理装置１００による同期処理の手順を示すフローチャートである。なお、図１２においては、位置合わせ部１５１による位置合わせの処理が終了した後の処理を示す。また、図１３においては、図１２のステップＳ１０３の処理の詳細について示す。

図１２に示すように、第１に実施形態に係る画像表示装置１００においては、決定部１５２が、表示状況を取得して（ステップＳ１０１）、表示状況に基づいて動画を重畳させるか否かを判定する（ステップＳ１０２）。ここで、動画を重畳させる場合には（ステップＳ１０２肯定）、表示制御部１５３は、位相を同期させ（ステップＳ１０３）、Ｘ線画像に超音波画像を重畳させる（ステップＳ１０４）。

一方、ステップＳ１０２において、動画を重畳しない場合には（ステップＳ１０２否定）、表示制御部１５３は、Ｘ線画像に超音波画像を重畳させる（ステップＳ１０４）。そして、表示制御部１５３は、Ｘ線画像に超音波画像を重畳させたフュージョン画像を表示部１２０にて表示させて（ステップＳ１０５）、処理を終了する。

次に、ステップＳ１０３における位相同期処理の詳細について説明する。図１３に示すように、位相を同期させる場合には、表示制御部１５３は、リアルタイム表示か否かを判定する（ステップＳ２０１）。ここで、リアルタイム表示の場合には（ステップＳ２０１肯定）、表示制御部１５３は、現時点の直前のＲ波から現時点までの時間を算出して（ステップＳ２０２）、算出した時間に相当する位相の超音波画像のフレームを抽出する（ステップＳ２０３）。

一方、ステップＳ２０１において、リアルタイム表示ではない場合には（ステップＳ２０１否定）、表示制御部１５３は、心電図を用いるか否かを判定する（ステップＳ２０４）。ここで、心電図を用いる場合には（ステップＳ２０４肯定）、表示制御部１５３は、ＲＲ間隔におけるＸ線画像のフレームの位相を算出し、算出した位相と略同一位相の超音波画像のフレームを抽出する（ステップＳ２０５）。

一方、ステップＳ２０４において、心電図を用いない場合には（ステップＳ２０４否定）、表示制御部１５３は、Ｘ線画像のフレームのランドマークの位置及び形状と略同一のランドマークが含まれる超音波画像のフレームを抽出する（ステップＳ２０６）。

上述したように、第１の実施形態によれば、決定部１５２は、表示状況に基づいて、Ｘ線画像及び超音波画像を動画像又は静止画像のいずれで表示させるかをそれぞれ決定する。そして、表示制御部１５３は、決定部１５２による決定に基づいて、Ｘ線画像及び超音波画像を、動画像と動画像との組み合わせ、動画像と静止画像との組み合わせ、又は静止画像と動画像との組み合わせのいずれかで重畳させたフュージョン画像を表示部１２０にて表示させるように制御する。従って、第１の実施形態に係る画像処理装置１００は、表示状況に応じたフュージョン画像を表示させることができ、Ｘ線画像と超音波画像の重畳画像において、視認性の高い画像を表示することを可能にする。

また、第１の実施形態によれば、表示制御部１５３は、フュージョン画像に動画像が含まれる場合に、Ｘ線画像及び超音波画像の位相を同期させて重畳させる。従って、第１の実施形態に係る画像処理装置１００は、動画を用いた手技においても、視認性の高い画像を表示させることを可能にする。

また、第１の実施形態によれば、表示制御部１５３は、動画像を含むフュージョン画像にリアルタイムで収集されるＸ線画像を用いる場合、被検体の心電図信号において直前のＲ波から現時点までの時間を算出し、超音波画像においてＲ波から算出した時間が経過した位相の超音波画像フレームを、現時点のＸ線画像フレームに重畳させる。従って、第１の実施形態に係る画像処理装置１００は、単純な心電同期では同期が困難となる不整脈患者の位相同期を行うことを可能にする。

また、第１の実施形態によれば、表示制御部１５３は、被検体の心電図信号のＲＲ間隔におけるＸ線画像フレームの位相を算出し、算出した位相と略同一の位相の超音波画像フレームを抽出し、抽出した超音波画像フレームをＸ線画像フレームに重畳させる。従って、第１の実施形態に係る画像処理装置１００は、位相の同期を容易に行うことを可能にする。

また、第１の実施形態によれば、表示制御部１５３は、超音波画像に付与されたランドマークと、Ｘ線画像において、当該ランドマークに相当するに領域に基づいて、略同一の位相となるＸ線画像フレーム及び超音波画像フレームを抽出し、抽出したＸ線画像フレーム及び超音波画像フレームを重畳させる。従って、第１の実施形態に係る画像処理装置１００は、心電波形を取得することなく、位相を同期させることを可能にする。

また、第１の実施形態によれば、表示制御部１５３は、超音波画像がカラーマップされている場合に、フュージョン画像において、カラー変化のみを反映させる。従って、第１の実施形態に係る画像処理装置１００は、動画が重畳されることによる視認性の低下を抑止することを可能にする。

（第２の実施形態）
これまで第１の実施形態について説明したが、上述した第１の実施形態以外にも、種々の異なる形態にて実施されてよいものである。

上述した第１の実施形態では、Ｘ線画像に超音波画像を重畳させたフュージョン画像のみを表示する場合について説明したが、上述したように、本願に係る画像処理装置１００は、Ｘ線画像及び超音波画像を並列に表示させたり、フュージョン画像と超音波画像とを並列表示させたりすることが可能である。図１４Ａ及び図１４Ｂは、第２の実施形態に係る表示制御部による表示制御処理の一例を示す図である。

ここで、図１４Ａは、Ｘ線画像と超音波画像との並列画像の一例を示す。また、図１４Ｂは、フュージョン画像と超音波画像との並列画像の一例を示す。例えば、第２の実施形態に係る表示制御部１５３は、図１４Ａに示すように、動画のＸ線画像１０と、特異領域を時相保持型で重畳させたPolar Map像（動画の超音波画像）とを別ウィンドウで並列して表示させる。ここで、表示制御部１５３は、２つの動画の位相を同期させて表示させる。すなわち、表示制御部１５３は、上述した同期方法と同様に、例えば、ＥＣＧ波形を用いて、２つの動画の位相を同期させて表示する。

また、例えば、表示制御部１５３は、図１４Ｂに示すように、動画のＸ線画像１０に超音波画像２０（サーフェスレンダリング画像に色調を重畳した重畳画像）を重畳させたフュージョン画像と、特異領域を時相保持型で重畳させたPolar Map像（動画の超音波画像）とを別ウィンドウで並列して表示させる。ここで、表示制御部１５３は、フュージョン画像とPolar Map像との位相を同期させて表示させる。

上述したように、本願に係る画像処理装置１００は、Ｘ線画像と超音波画像とを別ウィンドウで並列して表示させることができ、フュージョン画像に加えて、Polar Map像などの付加的な情報を観察者にさらに提供することを可能にする。

上述した実施形態では、画像処理装置１００が、Ｘ線画像上の非同期部位を特定して、特定した位置に超音波画像を重畳させる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、上述した画像処理装置１００をＸ線診断装置２００が有する場合であってもよい。すなわち、Ｘ線診断装置２００のシステム制御部２２１が、上述した位置合わせ部１５１、決定部１５２、表示制御部１５３を備え、上述した処理を実行するようにしてもよい。

以上述べた少なくともひとつの実施形態の画像処理装置によれば、Ｘ線画像と超音波画像の重畳画像において、視認性の高い画像を表示することを可能となる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１００ 画像処理装置
１１０ 入力部
１２０ 表示部
１５０ 制御部
１５１ 位置合わせ部
１５２ 決定部
１５３ 表示制御部
２００ Ｘ線診断装置
３００ 超音波診断装置

Claims (9)

1. システムの状況ごとに予め設定された第１の画像であるＸ線画像及び第２の画像の表示方法に基づいて、前記システムの状況ごとに、前記Ｘ線画像及び前記第２の画像を動画像又は静止画像のいずれで表示させるかをそれぞれ決定する決定部と、
   前記決定部による決定に基づいて、前記Ｘ線画像及び前記第２の画像を、静止画像と静止画像との組み合わせ、動画像と動画像との組み合わせ、動画像と静止画像との組み合わせ、又は静止画像と動画像との組み合わせのいずれかで重畳させた重畳画像を表示部にて表示させるように制御する表示制御部と、
   を備える、画像処理装置。
2. 前記第２の画像が超音波画像、ＣＴ画像、ＭＲ画像、ＰＥＴ画像、ＩＶＵＳ画像、ＩＣＥ画像及びＥＭ画像のうち少なくとも１つを含む、請求項１に記載の画像処理装置。
3. 前記表示制御部は、前記重畳画像に動画像が含まれる場合に、前記Ｘ線画像及び前記第２の画像の位相を同期させて重畳させる、請求項１又は２に記載の画像処理装置。
4. 前記表示制御部は、前記動画像を含む重畳画像にリアルタイムで収集されるＸ線画像を用いる場合、被検体の心電図信号において直前のＲ波から現時点までの時間を算出し、前記第２の画像においてＲ波から前記算出した時間が経過した位相の第２の画像フレームを、前記現時点のＸ線画像フレームに重畳させる、請求項３に記載の画像処理装置。
5. 前記表示制御部は、被検体の心電図信号のＲＲ間隔におけるＸ線画像フレームの位相を算出し、算出した位相と略同一の位相の第２の画像フレームを抽出し、抽出した第２の画像フレームを前記Ｘ線画像フレームに重畳させる、請求項３に記載の画像処理装置。
6. 前記表示制御部は、前記第２の画像に付与されたランドマークと、前記Ｘ線画像において、当該ランドマークに相当する領域に基づいて、略同一の位相となるＸ線画像フレーム及び第２の画像フレームを抽出し、抽出したＸ線画像フレーム及び第２の画像フレームを重畳させる、請求項３に記載の画像処理装置。
7. 前記表示制御部は、前記Ｘ線画像が動画像であり、前記第２の画像がカラーマップされている場合に、前記重畳画像において、カラー変化のみを反映させる、請求項２〜６のいずれか一つに記載の画像処理装置。
8. システムの状況ごとに予め設定された第１の画像であるＸ線画像及び第２の画像の表示方法に基づいて、前記システムの状況ごとに、前記Ｘ線画像及び前記第２の画像を動画像又は静止画像のいずれで表示させるかをそれぞれ決定する決定部と、
   前記決定部による決定に基づいて、前記Ｘ線画像及び前記第２の画像を、静止画像と静止画像との組み合わせ、動画像と動画像との組み合わせ、動画像と静止画像との組み合わせ、又は静止画像と動画像との組み合わせのいずれかで重畳させた重畳画像を表示部にて表示させるように制御する表示制御部と、
   を備える、Ｘ線診断装置。
9. システムの状況ごとに予め設定された第１の画像であるＸ線画像及び第２の画像の表示方法に基づいて、前記システムの状況ごとに、前記Ｘ線画像及び前記第２の画像を動画像又は静止画像のいずれで表示させるかをそれぞれ決定する決定手順と、
   前記決定手順による決定に基づいて、前記Ｘ線画像及び前記第２の画像を、静止画像と静止画像との組み合わせ、動画像と動画像との組み合わせ、動画像と静止画像との組み合わせ、又は静止画像と動画像との組み合わせのいずれかで重畳させた重畳画像を表示部にて表示させるように制御する表示制御手順と、
   をコンピュータに実行させることを特徴とするプログラム。