JP7745389B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関するものである。

特許文献１には、医療の分野において、種々のモダリティで撮像して得られる３次元の画像間の差分画像をユーザに提示することにより、病変等の変化を可視化する技術が開示されている。

特開２０１８－３３６９８号公報

特許文献１に開示された病変等の変化を可視化する技術では、３次元の画像間の差分画像に含まれる変化を見落としてしまう場合が生じ得る。

本発明は、上記の課題に鑑みてなされたものであり、３次元の画像間における差分画像の視認性を向上させることが可能な画像処理技術の提供を目的とする。

本発明の一態様による画像処理装置は以下の構成を備える。すなわち、画像処理装置は、３次元の画像の所定の断面を含み、前記断面に交差する軸方向に沿った厚さをスラブ厚として有するスラブ内において、前記スラブ内の前記軸方向の画素の画素値の最大値と最小値との合成によって求めた画素値を、前記３次元の画像の前記軸方向の画素値を前記断面に投影したスラブ画像の画素値とすることで前記スラブ画像を生成する制御手段を有する画像処理装置であって、
前記制御手段は、前記最大値を与える画素の前記断面からの第１の距離および前記最小値を与える画素の前記断面からの第２の距離を用いた重みを設定し、前記重みに基づいて前記最大値と前記最小値とを合成する。
本発明の他の態様による画像処理装置は以下の構成を備える。すなわち、画像処理装置は、３次元の画像の所定の断面を含み、前記断面に交差する軸方向に沿った厚さをスラブ厚として有するスラブ内において、前記スラブ内の前記軸方向の画素の画素値の最大値と最小値との合成処理によって求めた画素値を、前記断面に投影したスラブ画像の画素値とすることで、前記スラブ画像を生成する制御手段を有する画像処理装置であって、
前記制御手段は、前記最大値を与える画素の前記断面からの第１の距離と、前記最小値を与える画素の前記断面からの第２の距離とを比較して、
前記最大値および前記最小値のうち前記断面に近い方の値を前記スラブ画像の画素の画素値として選択する処理を前記合成処理として行う。
本発明の他の態様による画像処理方法は、３次元の画像の所定の断面を含み、前記断面に交差する軸方向に沿った厚さをスラブ厚として有するスラブ内において、前記スラブ内の前記軸方向の画素の画素値の最大値と最小値との合成によって求めた画素値を、前記３次元の画像の前記軸方向の画素値を前記断面に投影したスラブ画像の画素値とすることで前記スラブ画像を生成する制御工程を有する画像処理装置の画像処理方法であって、
前記制御工程では、前記最大値を与える画素の前記断面からの第１の距離および前記最小値を与える画素の前記断面からの第２の距離を用いた重みを設定し、前記重みに基づいて前記最大値と前記最小値とを合成する。
本発明の他の態様による画像処理方法は、３次元の画像の所定の断面を含み、前記断面に交差する軸方向に沿った厚さをスラブ厚として有するスラブ内において、前記スラブ内の前記軸方向の画素の画素値の最大値と最小値との合成処理によって求めた画素値を、前記３次元の画像の前記軸方向の画素値を前記断面に投影したスラブ画像の画素値とすることで前記スラブ画像を生成する制御工程を有する画像処理装置の画像処理方法であって、
前記制御工程では、前記最大値を与える画素の前記断面からの第１の距離と、前記最小値を与える画素の前記断面からの第２の距離とを比較して、
前記最大値および前記最小値のうち前記断面に近い方の値を前記スラブ画像の画素の画素値として選択する処理を前記合成処理として行う。

本発明によれば、３次元の画像間における差分画像の視認性を向上することができる。

第１の実施形態に係る画像処理装置を含む画像処理システムの構成を示す図。 画像処理装置の制御部の機能的な構成を示す図。 画像処理装置の処理手順の例を示すフローチャート。 スラブ画像を模式的に例示する図。 スラブ画像及び各スライス内の画素値を模式的に説明する図。 差分スラブ画像を模式的に説明する図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
本実施形態に係る画像処理装置は、２つの３次元画像（３次元医用画像）間の差分画像を生成し、生成した差分画像を表示部に表示する表示制御を行う装置である。以下、図１を用いて本実施形態の構成及び処理を説明する。

図１は、第１の実施形態に係る画像処理装置１００を含む画像処理システム１０の構成を示す図である。画像処理システム１０は、その機能的な構成として、画像処理装置１００、ネットワーク１２０、及びデータサーバ１３０を備える。画像処理装置１００は、ネットワーク１２０を介してデータサーバ１３０に通信可能に接続されている。ネットワーク１２０は、例えば、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）を含む。

データサーバ１３０は、医用画像や医用画像に関連付けられた情報を保持し、管理する画像保存通信システム（ＰＡＣＳ：Picture Archiving and Communication Systems）である。画像処理装置１００は、ネットワーク１２０を介してデータサーバ１３０で保持されている医用画像を取得することが可能である。データサーバ１３０は、医用画像撮影装置（モダリティ）により撮影された画像を受信して保存し、ネットワーク１２０に接続された装置の要求に応じて画像を各装置に送信する。また、受信した画像とともに、その画像に関連付けられた各種データを保存可能なデータベースを備える。

以下の説明では、データサーバ１３０には、複数の３次元画像として、異なる条件（異なるモダリティ、撮影モード、日時、体位等）で被検体を予め撮像して取得された複数の３次画像（医用画像）が保持されているとする。本実施形態では、複数の３次画像は、Ｘ線ＣＴ装置で撮像された画像を例として説明するが、３次元画像を撮像するのは他のモダリティであってもよい。モダリティには、Ｘ線ＣＴ装置の他、例えば、ＭＲＩ装置、ＳＰＥＣＴ装置、ＰＥＴ装置などが含まれ、本実施形態に係る画像処理装置１００は、各種モダリティにより取得された複数の３次画像（医用画像）に対して適用可能である。

また、画像処理装置１００が２つの３次元画像間の差分画像を生成する際、処理対象の２つの３次元画像は、いかなる画像の組み合わせであってもよい。例えば、異なるモダリティや異なる撮影モードで同時期に撮像されたものであってもよい。また、経過観察のために、同一被検者を同一モダリティ、同一体位で異なる日時に撮像した画像であってもよい。

画像処理装置１００は、実施形態に係る画像処理を行なう装置である。画像処理装置１００は、２つの３次元画像間の差分画像を生成して表示部１５０に表示させる装置であり、医師等のユーザが操作する読影用の端末装置として機能する。画像処理装置１００は、通信ＩＦ（Interface）１１１（通信部）、ＲＯＭ（Read Only Memory）１１２、ＲＡＭ（Random Access Memory）１１３、記憶部１１４、及び制御部１１５を備える。画像処理装置１００は、指示部１４０及び表示部１５０と接続している。

通信ＩＦ１１１（通信部）は、ＬＡＮカードなどにより構成され、外部装置（例えば、データサーバ１３０など）と画像処理装置１００との通信を実現する。ＲＯＭ１１２は、不揮発性のメモリなどにより構成され、各種プログラムを記憶する。ＲＡＭ１１３は、揮発性のメモリなどにより構成され、各種情報をデータとして一時的に記憶する。記憶部１１４は、ＨＤＤ（Hard Disk Drive）などにより構成され、各種情報をデータとして記憶する。

指示部１４０は、キーボードやマウス、タッチパネルなどのＧＵＩ（Graphical User Interface）により構成され、ユーザ（例えば、医師）からの指示を画像処理装置１００に入力する。処理対象とする画像は、指示部１４０を操作するユーザの指示に応じて、画像処理装置１００に入力される。なお、画像の選択はユーザの指示に基づかなくてもよく、例えば、所定のルールに基づいて、処理対象とする画像を画像処理装置１００の制御部１１５が自動選択する構成でもよい。

図２は、制御部１１５の機能的な構成を示す図である。制御部１１５は、ＣＰＵ（Central Processing Unit）などにより構成され、画像処理装置１００における処理を統括制御する。制御部１１５は、その機能的な構成として、入力画像取得部１０１、差分画像取得部１０３、及び表示制御部１０５を備える。

入力画像取得部１０１は、通信ＩＦ１１１（通信部）及びネットワーク１２０を介して、データサーバ１３０から、処理対象とする画像として、参照画像と浮動画像を取得する。なお、以下の説明では、位置合わせの基準となる医用画像データを基準画像（以下、参照画像）といい、参照画像に向かって位置合わせを行う医用画像データを比較画像（以下、浮動画像）という。そして、差分画像取得部１０３は、処理対象の画像として、参照画像と浮動画像との差分画像を生成する。表示制御部１０５は、表示部１５０に表示する画像の生成及び生成した画像の表示制御を行う。

表示部１５０は、ＬＣＤやＣＲＴ等の任意の機器により構成され、画像等および各種情報をユーザに表示する。具体的には、画像処理装置１００から取得した参照画像と浮動画像の表示を行う。また、画像処理装置１００が生成した差分画像の表示を行う。

上記の画像処理装置１００の各構成要素は、コンピュータプログラムに従って機能する。例えば、制御部１１５（ＣＰＵ）がＲＡＭ１１３をワーク領域としてＲＯＭ１１２又は記憶部１１４などに記憶されたコンピュータプログラムを読み込み、実行することで、各構成要素の機能が実現される。なお、画像処理装置１００の構成要素の一部又は全ての機能が専用の回路を用いることで実現されてもよい。また、制御部１１５の構成要素の一部の機能が、クラウドコンピュータを用いることで実現されてもよい。

例えば、画像処理装置１００とは異なる場所にある演算装置がネットワーク１２０を介して画像処理装置１００に通信可能に接続され、画像処理装置１００と演算装置がデータの送受信を行うことで、画像処理装置１００又は制御部１１５の構成要素の機能が実現されてもよい。

次に、図３を用いて、図１の画像処理装置１００の処理の例について説明する。図３は、画像処理装置１００の処理手順の例を示すフローチャートである。本実施形態では被検体を写したＣＴ画像を例に、２つの３次元画像における差分画像を求める処理を説明するが、本実施形態はその他のモダリティによって得られる画像にも適用可能である。

（Ｓ１０１０：入力画像の取得）
ステップＳ１０１０において、ユーザが指示部１４０を介して、２つの画像（第１の画像と第２の画像）の取得を指示すると、入力画像取得部１０１は、データサーバ１３０から、ユーザが指定した複数の画像（画像データ）として参照画像と浮動画像を取得する。そして、取得した参照画像と浮動画像を、差分画像取得部１０３および表示制御部１０５へと出力する。

（Ｓ１０２０：差分画像の取得）
ステップＳ１０２０において、差分画像取得部１０３は、ステップＳ１０１０で取得した参照画像と浮動画像の差分画像を生成する。まず、差分画像取得部１０３は、入力画像取得部１０１から取得した２つの画像（参照画像、浮動画像）のうち、一方（参照画像）に向けて、他方（浮動画像）の変形位置合わせを行う。変形位置合わせには、例えば、ＦＦＤ（Free－Form Deformation）手法やＬＤＤＭＭ（Large Deformation Diffeomorphic Metric Mapping）手法のような既知の変形位置合わせ処理を適用することが可能である。このような変形位置合わせは、いずれも、医用画像データ内の対象部位の構造を保つものとする。

差分画像取得部１０３は、変形位置合わせ処理により、参照画像上の各画素に対応する浮動画像上の画素位置を算出する（画像間の対応画素位置を示す変形情報（変形情報）を取得する）ことができる。参照画像を構成する各画素に対応する浮動画像中の画素の画素位置を対応画素位置情報とする。

差分画像取得部１０３は、参照画像と浮動画像の間の変形情報に基づいて、参照画像の各位置の画素値から、その位置と対応付けられた浮動画像上の位置の画素値を減算することにより差分画像を取得することができる。

なお、データサーバ１３０に差分画像が予め保存されている場合には、変形位置合わせによる変形情報に基づいた差分画像の生成処理をスキップし、データサーバ１３０に保存されている差分画像を読み込み、取得する構成でもよい。また、画像処理装置１００は、差分画像の生成機能を必ずしも備える必要はなく、差分画像取得部１０３は、データサーバ１３０に保存されている差分画像を取得する構成であってもよい。この場合、ステップ１０１０で行う入力画像取得部１０１の処理は、必ずしも必要ではない。すなわち、差分画像のみを観察する目的においては、参照画像と浮動画像の何れも入力する必要はない。また、参照画像と差分画像を対比して観察する目的においては、浮動画像を入力する必要はない。

（Ｓ１０３０：表示画像の生成及び表示制御）
ステップＳ１０３０において、表示制御部１０５は、入力画像取得部１０１及び差分画像取得部１０３から３次元の表示対象画像（参照画像、浮動画像、差分画像）を取得し、取得した表示対象画像を表示部１５０に表示する制御を行う。また、表示制御部１０５は、入力画像取得部１０１及び差分画像取得部１０３から取得した画像に基づいて、表示部１５０に表示する画像を生成し、生成した画像を表示部１５０に表示する制御を行う。３次元の表示対象画像には、位置合わせの基準となる基準画像（参照画像）と、基準画像に向かって位置合わせを行う比較画像（浮動画像）との差分を示す差分画像が含まれる。

ここで、表示制御部１０５は、一般的な医用画像ビューアが備える機能を備えており、指示部１４０を介したユーザの指示に応じて、参照画像や浮動画像における任意の２次元断層画像であるスライス画像（注目断面）を取得し（切り出し）、取得したスライス画像を表示部１５０に表示させる機能（スライス表示機能）を備える。

また、表示制御部１０５は、参照画像の注目断面に対応する（注目断面と同じ断面位置の）差分画像のスライス画像（差分スライス画像）を差分画像から取得し（切り出し）し、取得した差分スライス画像を表示部１５０に表示させる機能を備える。

このとき、参照画像の注目断面と差分画像の対応断面（差分スライス画像）とを並べて表示部１５０に表示させる連動表示モードを備えるようにしてもよい。なお、注目断面の指定は、指示部１４０を介したユーザの指示に応じて任意の断面を指定することが可能であり、例えば、Ｘ線ＣＴ像における横断面（Axial断面）、冠状断面（Coronal断面）、矢状断面（Sagittal断面）であってもよいし、それ以外の任意断面であってもよい。

また、表示制御部１０５は、ユーザの指示に応じて、参照画像、浮動画像、差分画像の夫々について、後述するスラブ画像を生成して表示部１５０に表示（スラブ表示）させる機能（スラブ表示機能）を備える。前述した参照画像の注目断面と差分画像の注目断面を並べて表示部１５０に表示する連動表示モードにおいて、表示制御部１０５は、参照画像の注目断面をスラブ表示する際に、差分画像の対応断面を同じスラブ厚でスラブ表示するように表示制御を行う。表示制御部１０５は、基準画像（参照画像）から切り出した注目断面を含むスラブのスラブ画像を表示する際に、注目断面に対応する差分画像の対応断面を含むスラブのスラブ画像を同一のスラブ厚で表示するように表示制御を行う。

ここで、スラブ画像とは、画像空間中の注目断面に所定の厚み（スラブ厚）を持たせた「スラブ」を設定し、当該スラブ内の画素を注目断面に投影することで生成される画像である。換言すると、スラブ画像は、注目断面の前後数スライスの画像において対応する位置にある各画素の画素値を注目断面に集約（投影）した画像である。

図４はスラブ画像を模式的に説明する図であり、注目断面をＳ_ｚ０（ｚ＝ｚ０断面）とし、注目断面Ｓ_ｚ０に対して＋Ｚ方向にｎスライス（Ｓ_ｚ１、Ｓ_ｚ２・・・Ｓ_ｚｎ－１、Ｓ_ｚｎ）が設定され、注目断面Ｓ_ｚ０に対して－Ｚ方向にｎスライス（Ｓ_ｚ－１、Ｓ_ｚ－２・・・Ｓ_{ｚ－（ｎ－１）}、Ｓ_ｚ－ｎ）が設定された例を示している。図４に示すように、注目断面Ｓ_ｚ０に対して前後ｎスライスを考えたとき、スラブ厚は、注目断面Ｓ_ｚ０と、注目断面に対する前後ｎスライス（＝２ｎ）とを合わせた１＋２ｎスライスとなる。

図５はスラブ画像及び各スライス内の画素値を模式的に説明する図である。注目断面をＳ_ｚ０（ｚ＝ｚ０断面）とし、注目断面Ｓ_ｚ０に対して＋Ｚ方向に２スライス（Ｓ_ｚ１、Ｓ_ｚ２）が設定され、注目断面Ｓ_ｚ０に対して－Ｚ方向に２スライス（Ｓ_ｚ－１、Ｓ_ｚ－２）が設定された例を示している。

図５において、Ｐ_０は注目断面Ｓ_ｚ０上における画素を示し、Ｐ_０（ｘ、ｙ）は座標（ｘ、ｙ、ｚ０）の画素値を示している。＋Ｚ方向のスライスＳ_ｚ１において、注目断面Ｓ_ｚ０の画素Ｐ_０に対応する位置の画素値をＰ_１（ｘ、ｙ）と示し、スライスＳ_ｚ２において、注目断面Ｓ_ｚ０の画素Ｐ_０に対応する位置の画素値をＰ_２（ｘ、ｙ）と示している。－Ｚ方向も同様であり、スライスＳ_ｚ－１において、注目断面Ｓ_ｚ０の画素Ｐ_０に対応する位置の画素値をＰ_－１（ｘ、ｙ）と示し、スライスＳ_ｚ－２において、注目断面Ｓ_ｚ０の画素Ｐ_０に対応する位置の画素値をＰ_－２（ｘ、ｙ）と示している。

図５に示すように、注目断面と、注目断面に対して前後２スライス（＝２×２）が指定された場合のスラブは、スラブ厚５スライスのスラブとなる。そして、スラブ画像の各画素値は、複数のスライス画像内において対応する位置にある各画素の画素値を注目断面に集約（投影）することで取得できる。例えば、図５の例では、スラブ画像の各画素値は、注目断面Ｓ_ｚ０の前後２スライスの画像内において対応する位置にある各画素（Ｐ_－２、Ｐ_－１、Ｐ_０、Ｐ_１、Ｐ_２）の画素値を注目断面Ｓ_ｚ０に集約（投影）することで取得できる。

なお、スラブ厚は、指示部１４０を介してユーザが任意に設定することが可能である。また、図４及び図５に示したように、注目断面Ｓ_ｚ０をスラブの中心に設定するのは一例にすぎず、スラブの上端部（例えば、図４及び図５における＋Ｚ方向のスラブの端部）や下端部（例えば、図４及び図５における－Ｚ方向のスラブの端部）に設定してもよい。

表示制御部１０５は、３次元の表示対象画像の所定の断面（注目断面）を含み、当該断面に交差する軸方向（例えば、図４、図５の例ではＺ軸）に沿った厚さをスラブ厚として有するスラブ内において、表示対象画像の軸方向の画素値を断面に投影したスラブ画像を生成する。表示制御部１０５は、参照画像や浮動画像のスラブ画像を種々の画像処理を用いて生成することが可能である。例えば、表示制御部１０５は、複数のスライス画像内の対応する位置にある各画素値の集約（投影）方法として、画素値の平均値の計算、中央値の計算、最大値の取得、最小値の取得などを用いることができる。

複数のスライス画像の各画素値の最大値の取得によりスラブ画像の各画素値を取得する方法は、最大値投影法（ＭＩＰ：Maximum Intensity Projection）と呼ばれている。同様に、複数のスライス画像の各画素値の最小値の取得によりスラブ画像の各画素値を取得する方法は、最小値投影法（ＭｉｎＩＰ：Minimum Intensity Projection）と呼ばれている。表示制御部１０５は、最大値投影法（ＭＩＰ）や最小値投影法（ＭｉｎＩＰ）を用いてスラブ画像を生成することが可能である。また、表示制御部１０５は、その他の演算方法を用いてスラブ画像を作成することも可能である。

（スラブ画像の生成）
表示制御部１０５は、差分画像のスラブ画像（差分スラブ画像）を、以下の処理によって生成する。すなわち、表示制御部１０５は、以下の式（１）の演算処理によって差分スラブ画像Ｓｌａｂ_Ｚ＝Ｚ０（ｘ、ｙ）を生成する。

ここで、差分画像取得部１０３は、処理対象の画像として、参照画像と浮動画像との差分画像を生成する際に、表示対象画像の画像種別を判定するための判定情報を生成する。そして、スラブ画像を生成する際に、表示制御部１０５は、表示対象画像（参照画像、浮動画像、差分画像）の画像種別を判定情報の有無により判定する。表示制御部１０５は、判定情報が無い場合に、表示対象画像の画像種別は参照画像または浮動画像と判定し、先に説明した処理によってスラブ画像を生成する。一方、表示制御部１０５は、判定情報が有る場合に、表示対象画像の画像種別は差分画像であると判定し、以下の式（１）の演算処理によって差分スラブ画像Ｓｌａｂ_Ｚ＝Ｚ０（ｘ、ｙ）を生成する。

式（１）の演算処理において、表示制御部１０５は、差分スラブ画像上の各画素の画素値を算出する。ここで、I_ｓｕｂは差分画像を表す。また、I_ｓｕｂ（ｘ、ｙ、ｚ'）は差分画像上における座標（ｘ、ｙ、ｚ'）の画素値を表す。また、Ｓｌａｂ_Ｚ＝Ｚ０は、ｚ＝ｚ０断面を注目断面として、差分スラブ画像を生成することを表す。また、ｎはスラブ厚を定義するパラメータである。

図６は、差分スラブ画像を模式的に説明する図である。注目断面をＩ_{ｓｕｂｚ０}（ｚ＝ｚ０断面）とし、注目断面Ｉ_{ｓｕｂｚ０}に対して＋Ｚ方向にｎスライス（Ｉ_{ｓｕｂｚ１}、Ｉ_{ｓｕｂｚ２}・・・Ｉ_{ｓｕｂｚｎ－１}、Ｉ_{ｓｕｂｚｎ}）が設定され、注目断面Ｉ_{ｓｕｂｚ０}に対して－Ｚ方向にｎスライス（Ｉ_{ｓｕｂｚ－１}、Ｉ_{ｓｕｂｚ－２}・・・Ｉ_{ｓｕｂｚ－（ｎ－１）}、Ｉ_{ｓｕｂｚ－ｎ}）が設定された例を示している。

式（１）の演算処理において、ｍａｘは最大値関数を表し、ｍｉｎは最小値関数を表し、探索範囲内（投影範囲内）における各画素の画素値の最大値と最小値を夫々取得することを表す。

ただし、最大値関数ｍａｘは、最大値が０以上であることを制約条件として有している。すなわち、最大値が０以下の場合は最大値を０とする。同様に、最小値関数ｍｉｎは、最小値が０以下であることを制約条件として有している。すなわち、最小値が０以上の場合は最小値を０とする。この処理は、正の値の最大値と負の値の最小値を求める処理と等価である。

表示制御部１０５は、このようにして求めた画素値の最大値と最小値に基づいて、差分スラブ画像の画素値を算出する。すなわち、表示制御部１０５は、スラブ画像（差分スラブ画像）の各画素の画素値を、当該各画素に対応するスラブ内の軸方向（スラブ厚の方向）の各画素の画素値の最大値と最小値との合成により求める。

なお、第１の実施形態において、画素値の最大値と最小値との合成には、式（１）で説明したような画素値の最大値と最小値との和（加算）の他に、画素値の最大値と最小値との平均値や、重みづけをした画素値の最大値と最小値とを用いた加重和による演算処理が含まれ得る。

例えば、図６に示したように、注目断面（Ｉ_{ｓｕｂｚ０}）から前後ｎスライス（＋Ｚ方向に設定されたｎスライス、－Ｚ方向に設定されたｎスライス）をスラブとした場合に、表示制御部１０５は、スラブ画像（差分スラブ画像）の各画素を、当該各画素に対応するスラブ内の軸方向（スラブ厚の方向）の各画素の画素値の最大値と最小値とを用いた演算により差分スラブ画像の各画素の画素値を求める。

より具体的には、式（１）の演算処理において、表示制御部１０５は、ｚ＝ｚ０断面を中心として、ｚ０－ｎ≦ｚ'≦ｚ０＋ｎを探索範囲とする。そして、表示制御部１０５は、探索範囲内（投影範囲内）における複数のスライスをスラブとした場合に、差分スラブ画像の各画素に対応する位置にあるスラブ内の軸方向（スラブ厚の方向）の各画素の画素値の最大値と最小値とを夫々取得する。そして、表示制御部１０５は、取得した画素値の最大値と最小値とを用いた演算により差分スラブ画像の各画素の画素値を求める。表示制御部１０５は、最大値と最小値との加算によって最大値と最小値とを合成してスラブ画像の各画素の画素値を求める。

なお、表示制御部１０５は、式（１）の演算処理を変形して、取得した画素値の最大値と最小値の平均値を差分スラブ画像の画素値として生成することも可能である。

（最大値と最小値の加重和）
また、表示制御部１０５は、以下の式（２）の演算処理によって差分スラブ画像Ｓｌａｂ_Ｚ＝Ｚ０（ｘ、ｙ）を生成することも可能である。すなわち、表示制御部１０５は、以下の式（２）によって、[0]取得した画素値の最大値と最小値との合成により得られた値を差分スラブ画像の画素値として生成することも可能である。

式（２）の演算処理は、式（１）で説明した最大値と最小値の加重和に相当する。表示制御部１０５は、最大値および最小値に対して重みを用いた加重和を求めることにより、スラブ画像の各画素の画素値を求める。式（２）の演算処理では、式（１）の演算処理と同様に、I_ｓｕｂは差分画像を表す。また、I_ｓｕｂ（ｘ、ｙ、ｚ）は差分画像上における座標（ｘ、ｙ、ｚ）の画素値を表す。また、Ｓｌａｂ_Ｚ＝Ｚ０は、ｚ＝ｚ０断面を注目断面として、差分スラブ画像を生成することを表す。また、ｎはスラブ厚を定義するパラメータであり、注目断面（すなわち、ｚ＝ｚ０断面断面）から前後ｎスライスをスラブとした差分スラブ画像を生成することを表す。

表示制御部１０５は、最大値を与える画素の断面（注目断面）からの第１の距離および最小値を与える画素の断面（注目断面）からの第２の距離を用いた重みを設定する。表示制御部１０５は、第１の距離または第２の距離が断面（注目断面）に近づくに従い重みが大きくなるように設定し、第１の距離または第２の距離が断面（注目断面）から遠ざかるに従い重みが小さくなるように設定する。

数（２）式の演算処理において、加重和に用いる重み（ｗ_ｍａｘとｗ_ｍｉｎ）は、以下のようにして求めることができる。すなわち、最大値関数において最大値を与える画素の注目断面からの第１の距離（以下、ｄ_ｍａｘと記す）と、最小値関数において最小値を与える画素の注目断面からの第２の距離（以下、ｄ_ｍｉｎと記す）の関係に基づいて、重みを決定する。表示制御部１０５は、加重和の重みを、例えば、注目断面からの距離が近い方の画素の重みが大きくなるように設定し、注目断面からの距離が遠い方の画素の重みが小さくなるように設定する。第１の距離（ｄ_ｍａｘ）や第２の距離（ｄ_ｍｉｎ）が注目断面に近づくほど（０に近づくほど）、重みが大きくなるように設定される。第１の距離（ｄ_ｍａｘ）や第２の距離（ｄ_ｍｉｎ）が注目断面から遠ざかるほど重みは小さく設定される。

式（３）は、最大値の重みの計算式であり、式（４）は最小値の重みの計算式である。

ｗ_ｍａｘ＝ ２＊ｄ_ｍｉｎ／（ｄ_ｍａｘ＋ｄ_ｍｉｎ）・・・(３)
ｗ_ｍｉｎ＝ ２＊ｄ_ｍａｘ／（ｄ_ｍａｘ＋ｄ_ｍｉｎ）・・・(４)
なお、重みの設定方法は、上記の制約に沿って重みが設定される方法であれば何れの方法であってもよい。例えば、距離（ｄ_ｍａｘ、ｄ_ｍｉｎ）の組み合わせに応じた重みのテーブルを予め用意することでも実現できる。表示制御部１０５は、最大値関数において最大値を与える画素の注目断面からの第１の距離（ｄ_ｍａｘ）と、最小値関数において最小値を与える画素の注目断面からの第２の距離（ｄ_ｍｉｎ）とを取得して、取得した距離（ｄ_ｍａｘ、ｄ_ｍｉｎ）の組み合わせに応じた重みをテーブルの参照により取得することができる。表示制御部１０５は、第１の距離および第２の距離の組み合わせに応じた重みを予め記憶したテーブルの参照により、重みを設定する。

なお、式（２）の演算処理による最大値と最小値の加重和を求める方法は、注目断面からの距離に基づいて最大値と最小値を合成する方法の一例にすぎない。例えば、最大値関数において最大値を与える画素の注目断面からの第１の距離（ｄ_ｍａｘ）と最小値関数において最小値を与える画素の注目断面からの第２の距離（ｄ_ｍｉｎ）とを比較して、注目断面に近い方の値（最大値または最小値）を差分スラブ画像の画素値として選択してもよい。

なお、注目断面からの距離に基づいて重みづけをした画素値の最大値と最小値とを合成する場合において、最大値または最小値のいずれか一方が０の場合は、その値は存在しないと解釈し、他方の値を採用すればよい。

差分画像は正の値と負の値の夫々が重要な意味を有しているため、以上で説明した処理によって、スラブ内の最大値と最小値を求めてそれを合成することで、差分画像に適したスラブ画像を生成することができる。スラブ画像の各画素値を最大値投影法により取得した画素値（画素値の最大値）のみに基づいて求めた場合には、最小値投影法により取得し得る画素値（負の値）の特徴がスラブ画像の画素値に反映されないことになる。また、スラブ画像の各画素値を最小値投影法により取得した画素値（画素値の最小値）のみに基づいて求めた場合には、最大値投影法により取得し得る画素値（正の値）の特徴がスラブ画像の画素値に反映されないことになる。

本実施形態によれば、最大値投影法により取得した画素値（画素値の最大値）および最小値投影法により取得した画素値（画素値の最小値）を用いた画像処理により、３次元の画像間における差分画像の視認性を向上させることができる。

以上説明したように、表示制御部１０５は、表示する画像の画像種別に基づいて、スラブ画像の生成方法を変更するようにできる。なお、スラブ画像の生成方法は、画像種別に基づく自動選択が必須ではなく、指示部１４０のＵＩを介してユーザが生成方法を指定する構成であってもよい。

なお、表示制御部１０５は、ステップＳ１０３０の処理において、生成した差分スラブ画像を画像処理装置１００の記憶部１１４やネットワーク１２０を介してデータサーバ１３０に保存してもよい。これにより、他の任意の医用画像ビューアで差分スラブ画像を表示するようにできる。この場合、ステップＳ１０３０の画像表示は、必ずしも行わなくてもよい。

本実施形態によれば、差分画像に適したスラブ画像の生成により、３次元の画像間における差分画像の視認性を向上させることができる。

＜第２の実施形態＞
第１の実施形態では、差分画像を表示部に表示させる構成について説明したが、本実施形態では、差分画像の情報を把握しやすくする画像として、参照画像上に差分画像の差分値を色情報として重畳させた重畳画像を表示部１５０に表示させる構成について説明する。

本実施形態に係る画像処理システム１０の構成は第１の実施形態と同様である。ただし、第２の実施形態では、表示制御部１０５が行う処理は第１の実施形態の処理と一部異なっている。以下の説明では、相違部分の構成のみを説明する。

また、本実施形態における画像処理装置１００が行う全体の処理手順を示すフローチャートは第１の実施形態と同様であり。ただし、Ｓ１０３０で表示制御部１０５が行う処理の一部が異なっているため、第１の実施形態との相違部分についてのみ説明する。

（Ｓ１０３０：表示画像の生成及び表示制御）
ステップＳ１０３０において、表示制御部１０５は、第１の実施形態と同様に、入力画像取得部１０１及び差分画像取得部１０３から３次元の表示対象画像（参照画像、浮動画像、差分画像）を取得し、取得した表示対象画像を表示部１５０に表示する制御を行う。また、表示制御部１０５は、入力画像取得部１０１及び差分画像取得部１０３から取得した画像に基づいて、表示部１５０に表示する画像を生成し、生成した画像を表示部１５０に表示する制御を行う。本実施形態では、表示制御部１０５は、さらに、参照画像に差分画像を重畳した重畳画像を生成して表示部１５０に表示する制御を行う。

ここで、重畳画像は、最大値の画素値および最小値の画素値に基づいて各画素を色付けした差分画像を参照画像に重畳させた画像である。重畳画像をスライス表示させる場合（すなわち、重畳画像の一部の断面を切り出したスライス画像を表示させる場合）には、表示制御部１０５は、参照画像のスライス画像に対して、対応する差分画像において差分値が正の画素に第１の色（例えば青）を設定し、差分値が負の画素に第２の色（例えば赤）を設定する。そして、表示制御部１０５は、差分値の絶対値の大きさに応じた（差分値の絶対値が大きいほど不透明になるような）透明度での色を参照画像のスライス画像に重畳した画像を表示部１５０に表示する制御を行う。

一方、重畳画像をスラブ表示させる場合（すなわち、重畳画像のスラブ画像を表示させる場合）には、表示制御部１０５は、注目断面における参照画像のスラブ画像を生成するとともに、対応断面における差分画像のＭＩＰスラブ画像とＭｉｎＩＰスラブ画像を夫々生成する。ここで、ＭＩＰスラブ画像とは、先に説明した最大値投影法により取得した画素値に基づいたスラブ画像であり、ＭｉｎＩＰスラブ画像とは、最小値投影法により取得した画素値に基づいたスラブ画像である。

第２の実施形態において、画素値の最大値と最小値との合成には、第１の実施形態で説明した合成の他に、画素値の最大値と最小値とに異なる表示色を設定し、画素値の最大値に設定した表示色と、画素値の最小値に設定した表示色との混色を求める処理が含まれ得る。

表示制御部１０５は、ＭＩＰスラブ画像における各画素の表示色として、第１の色（例えば、青）を設定し、ＭｉｎＩＰスラブ画像における各画素の表示色として、第２の色（例えば、赤）を設定する。表示制御部１０５は、各画素の画素値（絶対値）の大きさに応じて表示色の濃淡を変えることも可能である。そして、表示制御部１０５は、ＭＩＰスラブ画像とＭｉｎＩＰスラブ画像との画像間において対応画素位置の対応画素の画素値に基づいて、第１の色（青）と第２の色（赤）の混色（例えば、紫）を求める。表示制御部１０５は、第１の色（青）と第２の色（赤）との混色を参照画像のスラブ画像に重畳した重畳画像を生成し、重畳画像を表示部１５０に表示する制御を行う。

本実施形態によれば、スラブ画像の各画素の画素値を、画素値の最大値および画素値の最小値にそれぞれ設定した異なる色（第１の色、第２の色）の混色を可視化することで、視認性を向上させることが可能になる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１：入力画像取得部、１０３：差分画像取得部、１０５：表示制御部

Claims (28)

1. ３次元の画像の所定の断面を含み、前記断面に交差する軸方向に沿った厚さをスラブ厚として有するスラブ内において、前記スラブ内の前記軸方向の画素の画素値の最大値と最小値との合成によって求めた画素値を、前記３次元の画像の前記軸方向の画素値を前記断面に投影したスラブ画像の画素値とすることで前記スラブ画像を生成する制御手段を有する画像処理装置であって、
   前記制御手段は、前記最大値を与える画素の前記断面からの第１の距離および前記最小値を与える画素の前記断面からの第２の距離を用いた重みを設定し、前記重みに基づいて前記最大値と前記最小値とを合成する画像処理装置。
2. 前記制御手段は、前記最大値と前記最小値との加算によって前記最大値と前記最小値とを合成して前記スラブ画像の画素の画素値を求める請求項１に記載の画像処理装置。
3. 前記制御手段は、前記第１の距離または前記第２の距離が０に近づくに従い前記重みが大きくなるように設定し、前記第１の距離または前記第２の距離が増大するに従い前記重みが小さくなるように設定する請求項１に記載の画像処理装置。
4. 前記制御手段は、前記第１の距離および前記第２の距離の組み合わせに応じた重みを予め記憶したテーブルの参照により、前記重みを設定する請求項１または３に記載の画像処理装置。
5. 前記制御手段は、前記最大値および前記最小値に対して前記重みを用いた加重和を求めることにより、前記スラブ画像の画素の画素値を求める請求項１乃至４のいずれか１項に記載の画像処理装置。
6. ３次元の画像の所定の断面を含み、前記断面に交差する軸方向に沿った厚さをスラブ厚として有するスラブ内において、前記スラブ内の前記軸方向の画素の画素値の最大値と最小値との合成処理によって求めた画素値を、前記断面に投影したスラブ画像の画素値とすることで、前記スラブ画像を生成する制御手段を有する画像処理装置であって、
   前記制御手段は、前記最大値を与える画素の前記断面からの第１の距離と、前記最小値を与える画素の前記断面からの第２の距離とを比較して、
   前記最大値および前記最小値のうち前記断面に近い方の値を前記スラブ画像の画素の画素値として選択する処理を前記合成処理として行う画像処理装置。
7. 前記スラブ画像を表示する表示部と接続される請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記３次元の画像は、前記表示部に表示するための表示対象画像を含む請求項７に記載の画像処理装置。
9. 前記制御手段は、前記表示対象画像を前記表示部に表示する制御を行う請求項８に記載の画像処理装置。
10. 前記制御手段は、前記表示対象画像を前記表示部に表示する制御を行う表示制御部を備える請求項８に記載の画像処理装置。
11. 処理対象となる前記３次元の画像の指定を受け付ける指示部と接続されている請求項１乃至６のいずれか１項に記載の画像処理装置。
12. 前記指示部は、前記所定の断面の指定、前記スラブ厚の指定、および、前記スラブ画像の生成方法の指定、の少なくともいずれかの指示を受け付けるように構成されている請求項１１に記載の画像処理装置。
13. 前記制御手段は、前記指示部により前記処理対象となる前記３次元の画像として指定された基準画像および比較画像が入力される請求項１１または１２に記載の画像処理装置。
14. 前記制御手段は、前記指示部により前記処理対象となる前記３次元の画像として指定された基準画像および比較画像が入力される入力画像取得部を備える請求項１１または１２に記載の画像処理装置。
15. 前記制御手段は、前記基準画像と前記比較画像との差分画像を生成する差分画像生成部を備える請求項１３または１４に記載の画像処理装置。
16. 前記差分画像生成部は、前記基準画像を基準として、前記基準画像に向かって前記比較画像の位置合わせ処理を行う請求項１５に記載の画像処理装置。
17. 前記３次元の画像は、前記基準画像、前記比較画像、前記差分画像の少なくともいずれかを含む請求項１５または１６に記載の画像処理装置。
18. 前記制御手段は、前記差分画像に基づいて前記スラブ画像の生成を行う請求項１５乃至１７のいずれか１項に記載の画像処理装置。
19. 前記制御手段は、前記基準画像から切り出した注目断面を含むスラブのスラブ画像を表示する際に、前記注目断面に対応する前記差分画像の対応断面を含むスラブのスラブ画像を同一のスラブ厚で表示するように表示制御を行う請求項１５乃至１８のいずれか１項に記載の画像処理装置。
20. 前記制御手段は、前記最大値の画素値および前記最小値の画素値に基づいて画素を色付けした前記差分画像を前記基準画像に重畳させた重畳画像を生成する請求項１５乃至１９のいずれか１項に記載の画像処理装置。
21. 前記制御手段は、前記最大値の画素値の表示色として、第１の色を設定し、前記最小値の画素値の表示色として、第２の色を設定し、
    前記第１の色と前記第２の色との混色を前記基準画像の前記スラブ画像に重畳した重畳画像を生成する請求項２０に記載の画像処理装置。
22. 前記制御手段は、３次元の表示対象画像の所定の断面を含み、前記断面に交差する軸方向に沿った厚さをスラブ厚として有するスラブ内において、前記表示対象画像の前記軸方向の画素値を前記断面に投影したスラブ画像を生成する請求項１乃至２１のいずれか１項に記載の画像処理装置。
23. 前記制御手段は、前記スラブ画像の画素の画素値を、前記画素に対応する前記スラブ内の前記軸方向の画素の画素値の最大値と最小値との合成によって求める請求項２２に記載の画像処理装置。
24. ３次元の画像の所定の断面を含み、前記断面に交差する軸方向に沿った厚さをスラブ厚として有するスラブ内において、前記スラブ内の前記軸方向の画素の画素値の最大値と最小値との合成によって求めた画素値を、前記３次元の画像の前記軸方向の画素値を前記断面に投影したスラブ画像の画素値とすることで前記スラブ画像を生成する制御工程を有する画像処理装置の画像処理方法であって、
    前記制御工程では、前記最大値を与える画素の前記断面からの第１の距離および前記最小値を与える画素の前記断面からの第２の距離を用いた重みを設定し、前記重みに基づいて前記最大値と前記最小値とを合成する画像処理方法。
25. ３次元の画像の所定の断面を含み、前記断面に交差する軸方向に沿った厚さをスラブ厚として有するスラブ内において、前記スラブ内の前記軸方向の画素の画素値の最大値と最小値との合成処理によって求めた画素値を、前記３次元の画像の前記軸方向の画素値を前記断面に投影したスラブ画像の画素値とすることで前記スラブ画像を生成する制御工程を有する画像処理装置の画像処理方法であって、
    前記制御工程では、前記最大値を与える画素の前記断面からの第１の距離と、前記最小値を与える画素の前記断面からの第２の距離とを比較して、
    前記最大値および前記最小値のうち前記断面に近い方の値を前記スラブ画像の画素の画素値として選択する処理を前記合成処理として行う画像処理方法。
26. 前記制御工程は、３次元の表示対象画像の所定の断面を含み、前記断面に交差する軸方向に沿った厚さをスラブ厚として有するスラブ内において、前記表示対象画像の前記軸方向の画素値を前記断面に投影したスラブ画像を生成する請求項２４または２５に記載の画像処理方法。
27. 前記制御工程は、前記スラブ画像の画素の画素値を、前記画素に対応する前記スラブ内の前記軸方向の画素の画素値の最大値と最小値との合成によって求める請求項２６に記載の画像処理方法。
28. コンピュータ上で、請求項２４乃至２７のいずれか１項に記載された画像処理方法の工程を実行させるプログラム。