JP7680728B2 - 医用画像処理装置、医用画像処理方法および医用画像処理プログラム - Google Patents

Description

本発明は、医用画像処理装置、医用画像処理方法および医用画像処理プログラムに関し、特には、被検者の患部画像を医用光学撮像デバイスで撮像しながら手術を行う際にその患部画像に３Ｄ解剖学的モデルを合成して表示可能な構成において、表示されている対象物を操作する際の操作性を向上させた医用画像処理装置、医用画像処理方法および医用画像処理プログラムに関する。

腹腔鏡手術は、例えば被検者の臍部周囲から内視鏡を腹腔内に挿入し、モニタに映し出された画像に基づいて腹腔内で手術を行う術式である。具体的には、皮膚を小さく切開して鉗子類を腹腔内に挿入し、手術が行なわれる。

特許文献１には、立体視内視鏡を用いて患部画像を３Ｄモニタに表示しつつ、被検者の腹部内に鉗子等を挿入して処置を行う術式の例が開示されている。３Ｄモニタとしては１つでも複数でもよく、観察者は３Ｄ観賞用メガネを装着してモニタの観察を行う。また、特許文献２には、仮想的な解剖学的モデルのボリュームに、超音波画像のような他の医用画像が重畳表示される技術が開示されている。

ＷＯ２０１５／０５３０４３号 特表２０１９－５１７２９１号

近年、術中に被検者の３Ｄ解剖学的モデルを参照しながら手術を行うことも実用化されてきており、立体的な患部画像と一緒に３Ｄ解剖学的モデルをモニタ上に写し出して手術を行うことも行われている。

このように３Ｄ解剖学的モデルを実際の被検者の患部画像と対比しながら術中に確認できることは高信頼な手術の提供等の観点から望ましいが、術中に３Ｄ解剖学的モデルを操作する際の操作性や使い易さの点で改善の余地が残されている。

そこで本発明の目的は、被検者の患部を医用光学撮像デバイスで撮像しながら手術を行う際にその患部画像に３Ｄ解剖学的モデルを合成して表示可能な構成において、表示されている対象物を操作する際の操作性を向上させた医用画像処理装置、医用画像処理方法および医用画像処理プログラムを提供することにある。

上記課題を解決するための本発明の一形態の医用画像処理装置は次のとおりである：
画像表示制御部を備える医用画像処理装置であって、
上記画像表示制御部は、
被検者の解剖学的構造体を立体的に表した３Ｄ解剖学的モデルを読み込む処理と、
上記３Ｄ解剖学的モデルの像の位置（結像位置：一例で三次元空間内の奥行方向における位置）が変更された場合に、変更後の位置に合わせて、当該３Ｄ解剖学的モデルの回転軸の位置も変更する処理を行うように構成されている、
医用画像処理装置。

（用語の説明）
・「医用光学撮像デバイス」とは、例えば腹腔鏡手術で使用される内視鏡装置や、開頭手術で使用される、高精細カメラを有する撮像システム等のことをいう。
・「制御部」とは、例えば、演算処理を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とメモリとインターフェース等を有し、メモリ内に格納されたコンピュータプログラムを実行することで様々な機能を実現するコンピュータユニットであってもよい。一例で、コンピュータユニットは、ＣＰＵ、ＲＯＭ、ＲＡＭ、およびＩ／Ｆ等のハードウェアを有しプログラムが実装されたいわゆるワンチップマイコンであってもよい。
・「コンピュータプログラム」に関し、その実施主体は単数であってもよいし複数であってもよい。コンピュータプログラムは、コンピュータ読み取り可能な記録媒体に記憶させてもよい。コンピュータプログラムを記憶した記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は特に限定されず、例えば、メモリーカード、ＣＤ－ＲＯＭ等の記録媒体であってもよい。記録媒体に記憶されたコンピュータプログラムは、適宜のリーダーを介してコンピュータユニットに実装することができる。適宜のリーダーとは、例えば、記録媒体がメモリーカードである場合はカードリーダ、記録媒体がＣＤ－ＲＯＭである場合はＣＤドライブ、などが挙げられる。
・「部（「セクション」、「ユニット」または「モジュール」等としても表現できる）」に関し、本明細書で例えば「（機能の名称）」＋「部」で表わされるものは、コンピュータの機能として実現可能なものである。このような「部」は、システムにおけるいずれの機器に備わっていてもよい。また、必ずしも１つの機器内に備わっている必要はなく、相当する機能が２つ以上の機器に分散して備えられていてもよい。さらに、通信ネットワーク（例えばインターネット）を介して、所定の１つまたは複数の「部」のみが外部の機器に備えられていてもよい。このような「部」は、コンピュータが論理的に有する各種の機能であってもよい。

本発明によれば、被検者の患部画像を医用光学撮像デバイスで撮像しながら手術を行う際にその患部画像に３Ｄ解剖学的モデルを合成して表示可能な構成において、表示されている対象物を操作する際の操作性を向上させた医用画像処理装置等を提供することができる。

本発明の一形態の医用画像処理装置の構成を模式的に示すブロック図である。 ３Ｄ解剖学的モデルのオブジェクトの関係を示す模式図である。 本発明の一形態の医用画像処理装置を含むシステム構成の一例である。 本発明の一形態の医用画像処理装置を含むシステム構成の別の例である。 内視鏡画像と３Ｄ解剖学的モデルとを合成表示した画像の例である。 医用光学撮像デバイスの特性に応じて３Ｄ解剖学的モデルの表示態様を調整するためのフローチャートである。 テストチャートを内視鏡で撮像している状態を示す模式図である。 内視鏡画像と３Ｄ解剖学的モデルの結像位置との関係を示す模式図である。 ３Ｄ解剖学的モデルの結像位置とモデルの回転軸との関係を説明するための図である。 グラフィカルユーザインターフェースの一例である。 本発明の一形態の医用画像処理装置が出力する画像フォーマットの一例を示す図である。

以下、図面を参照しながら本発明の実施の形態について説明する。

図１に示すように、本実施形態の医用画像処理システム１は、画像表示制御部１１と、データ格納部１２と、表示デバイス１３と、入力デバイス１４とを備えている。また、データ入出力インターフェース１５、医用情報管理装置２１、薬液注入装置２２、および、撮像装置２３をさらに有していてもよい。本発明の一形態において、図１の符号１０で示した範囲が医用画像処理装置として構成されていてもよく、医用画像処理装置１０は、画像表示制御部１１、データ格納部１２、表示デバイス１３、入力デバイス１４およびデータ入出力インターフェース１５を有するコンピュータ装置であってもよい。より具体的には、それらを１つの筐体に収め、表示デバイス１３および入力デバイス１４としてタッチパネルを備えた可搬型の端末（例えばタブレット端末）であってもよい。

なお、この例では医用画像処理装置１０が医用情報管理装置２１等に対して接続された構成となっているが、後述するように内視鏡装置等と接続する構成であってもよい。

画像表示制御部１１は、医療用の三次元画像（「３Ｄ解剖学的モデル」、「３Ｄモデル」などとも言う）をはじめとする種々の画像表示に関する制御を行うものであり、データ格納部１２は各種データを保存する部分である。表示デバイス１３は、液晶ディスプレイまたは有機ＥＬディスプレイなど、画像表示制御部１１で作成された画像を表示できる任意のディスプレイであってよい。なお、本実施形態では、１つの医用画像処理装置１０の機能としてその表示デバイス１３に３Ｄ解剖学的モデル等の画像が表示される例について説明するが、本発明は必ずしもそれに限定されるものはなく、次のようなものであってもよい。すなわち、医用画像処理装置１０は単に所定の画像処理を行ったり画像データを出力したりするのみであり、他の機器（例えばミキサー（詳細後述））が画像の合成を行う構成としてもよい。

入力デバイス１４は、例えば、キーボードやマウス（３Ｄマウスを含む）など、操作者による入力操作を受け付け、画像表示制御部１１にデータを入力できる任意のデバイスであってよい。ディスプレイとタッチスクリーンとを組み合わせたタッチパネルを表示デバイス１３および入力デバイス１４として用いることもできる。

入力デバイス１４としては、さらに、非接触で入力を行うことのできる非接触入力ユニットを組み合わせることもできる。非接触入力ユニットは、ジェスチャ認識技術を利用したものと音声認識技術を利用したものに分けることができる。ジェスチャ認識技術を利用した非接触入力ユニットの一例として、「Ｌｅａｐセンサ」（Ｌｅａｐ Ｍｏｔｉｏｎ社製）が挙げられる。「Ｌｅａｐセンサ」は、操作者の指の動き等を非接触で認識できる入力デバイスであり、赤外線照射部と、赤外線カメラ等を有する。同センサは、赤外線照射部から照射された赤外線が操作者の手に当たったときの反射光を赤外線カメラで撮影し、画像解析を行う機能を有する。これにより、三次元空間内での操作者の手および指の位置、動作および形状等をリアルタイムで検出することが可能となっている。ジェスチャ認識技術を利用した非接触入力ユニットの他の例として、「リアルセンス」（インテル社製）が挙げられる。「リアルセンス」は、ＲＧＢカメラおよび赤外線カメラから構成された３Ｄカメラ、赤外線センサ等をモジュール化したものである。色情報の他に奥行情報を取得でき、操作者の指等の動作を三次元で認識可能である。本形態では、Ｌｅａｐセンサおよびリアルセンスのいずれも利用可能である。いずれにおいても、入力のための操作者の動作は、タッチパネル上での操作者の動作（例えば、タップ、ダブルタップ、スワイプ、フリック、ピンチイン、ピンチアウトなど）と同じ動作に加え、奥行方向の動作も利用可能である。

音声認識技術を利用した非接触入力ユニットの例として、音声認識ユニットを挙げることができる。音声認識ユニットは、操作者が発生した音声を取得するマイクロフォンと、マイクロフォンが取得した音声を認識して操作用信号に変換する音声認識装置とを有するものであってもよい。音声認識装置の設置場所は任意であってよいが、マイクロフォンは操作者の近くに設置することが好ましい。

なお、本出願において、機器への任意の入力は、本発明の趣旨を逸脱しない範囲において上述したような各種の入力手段を用いることができる。

データ格納部１２は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）および各種メモリの少なくとも一種を含むことができる。データ格納部１２には、被検者の体を撮像して得たデータに基づいて作成された３Ｄ解剖学的モデルのデータ等が格納される。データ格納部１２には、他に、画像表示制御部１１が行う処理に必要な少なくとも１つのプログラム、グラフィカルユーザインターフェースのデータ、テーブル等が格納されていてもよい。データ格納部１２に格納されるデータの一部は、データ入出力インターフェース１５を通じて医用情報管理装置２１から取得することもできる。

医用情報管理装置２１としては、ＰＡＣＳ（ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ ＣｏｍｍｕｎｉｃａｔｉｏｎＳｙｓｔｅｍｓ）、ＲＩＳ（Ｒａｄｉｏｌｏｇｙ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）およびＨＩＳ（Ｈｏｓｐｉｔａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）等の１つまたは複数が挙げられる。医用情報管理装置２１は、一例で、薬液注入装置２２によって薬液（例えば造影剤）が注入され、撮像装置２３によって撮像された被検者の医用画像データを管理する。

薬液注入装置２２としては、シリンジや薬液バッグ等に充填された造影剤等の薬液を、予め設定された注入条件に従って自動的に被検者に注入する任意の注入装置を用いることができる。一例として、１本または複数本のシリンジを装着可能な注入ヘッドとそれに電気的に接続されたコンソールとを備える薬液注入装置であってもよい。

撮像装置２３は、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置、ＭＲＩ（ＭａｇａｎｅｔｉｃＲｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置、アンギオグラフィ装置（血管造影装置）、ＰＥＴ（Ｐｏｓｉｔｏｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ）装置、超音波診断装置等、画像データで構成された医用画像を撮像することのできる任意の装置であってよい。データ格納部１２に格納されるデータは、撮像装置２３から直接取得することもできる。

解剖学的構造体のボリュームデータに関し、このデータは、撮像装置２３によって被検者に対して特定の方向（例えば、体軸方向、左右方向、前後方向、これらの少なくとも１つに対して傾斜した方向など）に一定の間隔（例えば１ｍｍ間隔）で連続的に撮影された複数（例えば３００）のスライス画像データを体軸方向に配列して得られるデータセットに基づくものであってもよい。ボリュームデータは複数のボクセルを含み、各ボクセルのボクセル値に基づく所定の処理により、複数の解剖学的構造を抽出することができる。各ボクセルに対して、抽出した解剖学的構造ごとに透過率や色相が設定されてもよく、そのために、各ボクセルは、座標情報、透過率情報および色相情報を含んでいてもよい。ボリュームデータにレンダリング処理を行うことによって、視認可能な３Ｄ解剖学的モデルを作成することができる。

３Ｄ解剖学的モデルは、図２に簡略的に例示すように、複数の独立したオブジェクト（解剖学的構造）１８ａ～１８ｃを含むデータであってもよい。ここでは一例として、臓器のオブジェクト１８ａ、血管のオブジェクト１８ｂ、腫瘍部分のオブジェクト１８ｃが含まれている。各オブジェクトをどのような形状で、どのように抽出（セグメンテーション化）するかに関しては、従来公知の手法を用いることができる。オブジェクトに関する色の設定や透過率の設定に関しても従来公知の手法を用いることができる。

なお、医用画像処理装置１０は、表示デバイス１３および入力デバイス１４の一部が画像表示制御部１１と別体のユニットで構成されたシステムとして構成されていてもよい。表示デバイスが複数設けられた例については別の図面を参照して後述するものとする。

画像表示制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を備えたプロセッサユニットで構成することができる。画像表示制御部１１は、入力デバイス１４によって受け付けられた入力に従って表示デバイス１３への画像の表示を制御する種々の処理を実行する。画像表示制御部１１で行われる処理は、コンピュータプログラムで実現してもよいし、論理回路によるハードウェアで実現してもよいし、それらの組合せであってもよい。

画像表示制御部１１は、具体的には次のような処理を行うものであってもよい：
（ａ）入力判定処理
画像表示制御部１１は、入力デバイス１４を介して受け付けた入力を、入力を受け付けた入力デバイス１４の種類、入力された信号の変化などに基づき認識する。
（ｂ）表示処理
画像表示制御部１１は、表示デバイス１３等に表示される画面の表示領域についての処理および画像表示についての処理を行う。３Ｄ解剖学的モデルを表示デバイス１３等に表示させる処理や、表示された画像の移動、拡大・縮小、回転等を行う処理がこの表示処理に含まれる。また、３Ｄ解剖学的モデルと内視鏡等によって撮像される患部画像との合成処理や、３Ｄ解剖学的モデルの結像位置の変更処理等を行う。もっとも、表示デバイス１３に実際に表示させるところまでは必須ではなく、上述のような所定の処理が施された画像データを出力するのみの態様であってもよい。
（ｃ）自動チューニング処理
画像表示制御部１１は、後述するように、内視鏡などの医用光学撮像デバイスの光学特性データを取得する処理、および、それに基づいて画像表示のパラメータ（視野角、深度、拡大率等）を自動設定する処理等を行う。

〔動作の一例〕
Ｉ．テストチャートを用いた自動チューニング
本発明の一形態においては、医用画像処理装置１０は図３Ａに例示するような構成でシステム化され、内視鏡画像と３Ｄ解剖学的モデルとを合成表示させる機能を備えていてもよい。図３Ａは、外部ディスプレイ１３Ａが医用画像処理装置１０に接続されており、ここに医用画像が表示される例であるが、他にも、医用画像処理装置１０に一体化された表示デバイスに表示する態様や、または、図３Ｂのように２つ以上の外部ディスプレイ１３Ａ、１３Ｂに表示する態様としてもよい。図３Ｂの構成では、一方のディスプレイ１３Ａに立体視用のＬ側画像を表示し他方のディスプレイ１３ＢにＲ側画像を表示するようにしてもよい。

内視鏡装置１３０としては、特に限定されるものではないが、この例では、内視鏡１３１と、そこからの検出信号に基づき内視鏡画像を生成するコントローラ１３２とを備えている。具体的には、検査領域を立体的に観察可能な画像を生成可能な立体視内視鏡装置であってもよい。内視鏡１３１は、検査領域に向けて照明光を出射する照明光学系と、検査領域を撮像するための撮像光学系とを有している。内視鏡１３１の先端部には、具体的には、撮像光学系としてＣＣＤイメージセンサやＣＭＯＳイメージセンサといった撮像素子が設けられている。また、撮像素子の前面側には対物レンズユニットが配置されている。内視鏡１３１においてはその被写界深度や画角は内視鏡先端部に設けられた対物レンズユニット等の特性に依存することとなる。立体視内視鏡装置では、撮像光学系はＬ側とＲ側との独立した光学系で構成されており、視差を有するＬ側画像とＲ側画像を生成する。

本実施形態の医用画像処理装置１０は、内視鏡装置１３０に接続され同装置からの内視鏡画像を読み込んでディスプレイ１３Ａおよび／またはディスプレイ１３Ｂに表示することができるように構成されている。以下では、説明の簡単のため、ディスプレイ１３Ａに表示される態様を例として説明する。医用画像処理装置１０において画像の合成・重畳等を行うのではなく、ミキサー等を利用して画像の合成・重畳を行う例については他の図面を参照して後述するものとする。

図４は、ディスプレイ１３Ａに表示される画像の一例である。図４に示すように、本実施形態では、内視鏡１３１で撮像されたリアルタイムの内視鏡画像（患部画像）２０１と、３Ｄ解剖学的モデル２１１（下記において血管モデル２１１と表現することもある）とが１つの画面中に合成して表示されている。図４の画像には、また、被検者の腹部に挿入された鉗子２０５も写し出されている。

血管モデル２１１は、ＣＴ装置、ＭＲＩ装置または血管造影装置といった撮像装置を用いて事前に被検者を撮像して得た断層画像データに基づいて作成されたものである。撮像に関し、被検者に造影剤を注入して撮像が行われるものであってもよく、駆動機構を制御して所定の注入条件に従った注入を実施可能な薬液注入装置を用いた造影剤注入であれば、被検者の撮像対象領域を造影して良好な撮像画像を得ることができる点で好ましい。

図４のように内視鏡画像２０１と３Ｄ解剖学的モデル２１１とを合成表示できる構成によれば、術者は、例えば内視鏡画像２０１中の実際の解剖学的構造体（一例として血管）と仮想の解剖学的構造体（一例として血管）とを比較して、その形状や走行状態を確認することが可能となる。

内視鏡画像と３Ｄ解剖学的モデルとの合成表示に関しては、目的に応じて幾つか表示機能が備わっていてもよく、必ずしも内視鏡画像と３Ｄ解剖学的モデルとが重畳するように位置合せされて表示される態様に限定されるものではない。詳細は後述するが、３Ｄ解剖学的モデルを内視鏡画像における患部画像よりも手前側に見えるように結像させてもよい。

ところで、内視鏡画像（患部画像）に対して３Ｄ解剖学的モデルの形状、サイズ等を対応させて適切に重畳ないし合成するためには、使用する内視鏡装置１３０の内視鏡画像の特性に応じて、３Ｄ解剖学的モデルの形状等を変形させ微調整できるように構成されていることが好ましい。

そこで、本実施形態では、使用する内視鏡装置１３０の特性（光学的特性）に対応できるように、次のような自動チューニング機能を備えている。図５および図６を参照しながら以下説明する。

（自動チューニング機能）
まず、ステップＳ１においてテストチャート１３６を内視鏡１３１の先端部に対向するように配置し、ステップＳ２において内視鏡１３１でそのテストチャート１３６を撮像してテストチャート画像を生成する。テストチャート１３６としては、特定のものに限定されないが、例えば、格子状のパターン、ドット状のパターン、円状のパターンまたはそれらの適宜組合せなど、所定の幾何形状パターンを有するものであってもよい。

そして、ステップＳ３において、上記で取得された内視鏡画像の解析（例えば歪み度合いに基づく解析など）を行って当該内視鏡１３１の特性データを取得する。特性データとしては、内視鏡１３１の視野角、深度、拡大率、収差（歪曲収差等）等に関するデータであってもよい。

次いで、ステップＳ４において、その特性データに基づき３Ｄ解剖学的モデル２１１の調整を行う。例えば、３Ｄ解剖学的モデルが内視鏡画像として映し出されている患部画像の中の解剖学構造体と形状および／またはサイズが対応するように調整が行われるものであってもよい。Ｌ側画像とＲ側画像のそれぞれについて上記のような調整が行われてもよい。調整された３Ｄ解剖学的モデルの画像は、内視鏡画像におけるある解剖学的構造体に自動的に位置合わせされてもよいが、当該機能は必須ではない。

以上のような構成によれば、使用する内視鏡装置１３０の特性に応じて、３Ｄ解剖学的モデル２１１の形状やサイズ等を調整することができるため、内視鏡画像に対する重畳や合成を良好に行うことができる。

なお、使用する医用光学撮像デバイスの情報がプリセットされており、使用するデバイスが１つ選ばれると、それに関連付けられた特性データが自動的に選択されるように構成されていてもよい。デバイスの選択は操作者によるものであってもよいし、所定のセンサや機器によって若しくは所定のデータ通信によって、使用するデバイスが認識され自動的に特性データの選択が行われるものであってもよい。

上記では内視鏡装置とともに医用画像処理装置が使用される例について説明したが、内視鏡装置以外にも、例えば脳外科の開頭手術において術野を所定の撮像システムで撮影して患部画像をモニタで映しそれを見ながら手術を行う術式において、当該撮像システムと接続して使用されるものであってもよい。

ＩＩ．３Ｄ解剖学的モデルの移動態様
内視鏡画像と３Ｄ解剖学的モデルとの重畳の場合には、基本的には、図７（ａ）に示すように内視鏡画像（患部画像）の位置と３Ｄ解剖学的モデルの像の位置とが一致していればよい。他方、本実施形態の医用画像処理装置１０においては、３Ｄ解剖学的モデルの像の位置を前後方向（手前奥方向）に変更できるように構成されており、図７（ｂ）は３Ｄ解剖学的モデルの結像位置を手前側に移動させた状態を模式的に示している。図７（ｂ）の状態では、術者は、３Ｄ解剖学的モデルが被検者の患部画像よりも手前側に浮き上がったような感覚で画像を視認することができる。

このような構成によれば、例えば、３Ｄ解剖学的モデルの所定の細部を確認したいようなケースにおいて、患部画像よりも手前側の位置で３Ｄ解剖学的モデルを回転および／または拡大縮小させて細部の確認を行うことができるという利点がある。

なお、３Ｄ解剖学的モデルの像を内視鏡画像よりも奥側へと移動させることができる構成となっていてもよい。また、３Ｄ解剖学的モデルの結像位置は、当然ながら、前後方向（手前奥方向）に限らず、三次元空間内の任意の方向に移動可能であってもよい。

医用画像処理装置１０は、一例として、３Ｄ解剖学的モデルと患部画像とが重畳表示されるオーバレイモード、３Ｄ解剖学的モデルを患部画像の手前側に表示させる３Ｄ観察モード、３Ｄ解剖学的モデルを画面中に小さくサムネイル表示して患部画像をメインに表示する３Ｄ参照モード等の複数のモードが切替え可能に構成されていてもよい。この切替えは画面上の所定の画像ボタンを操作することで行われてもよいし、音声入力により行われてもよいし、操作者のジェスチャを検知して行われるものであってもよい。

本実施形態では上記のように３Ｄ解剖学的モデルの結像位置を自由に調整できるようになっているが、ここで、３Ｄ解剖学的モデルの回転軸の位置との関連で次のような問題が生じうる。これについて図８の模式図を参照しつつ説明する。

医用画像処理装置１０によって生成された３Ｄ解剖学的モデル２１１は、図８に模式的に示すように立体的な仮想空間内で結像位置を移動させることができる。ここで、例えば３Ｄ解剖学的モデル２１１を符号２１１から符号２１１′の位置まで移動させることを考える。３Ｄ解剖学的モデル２１１は、通常、ある決まった位置に所定の回転軸が設定されており（符号Ａｘ１参照）、３Ｄ解剖学的モデル２１１を回転させる場合にはこの回転軸周りにボリュームが回転させられることとなる。

他方、図８の符号２１１′の位置まで３Ｄ解剖学的モデル２１１の結像位置を移動させた場合であっても回転軸は通常元の位置のままである。したがって、移動先の位置で３Ｄ解剖学的モデル２１１′を回転させようとすると、初期設定の回転軸を中心としてボリュームが大きくに動くこととなり、こうした表示態様は操作が行い難く、また３Ｄ解剖学的モデル２１１′が画面の可視範囲から外れるおそれもある。

そこで、本実施形態では、３Ｄ解剖学的モデル２１１の結像位置を変更した場合に、それに合わせて回転軸の位置も追従して変更されるように構成されている。具体的には、図８の例で言えば、３Ｄ解剖学的モデルの像を符号２１１から符号２１１′の位置に移動させた場合にそれに対応させて、回転軸もＡｘ１からＡｘ２へと変更される。回転軸Ａｘ２は、３Ｄ解剖学的モデル２１１′の近傍に位置しているため、３Ｄ解剖学的モデル２１１′を回転操作した場合であっても、回転軸Ａｘ２を中心として３Ｄ解剖学的モデルが回転することとなり、結果として、操作が行いやすくまた回転後の３Ｄ解剖学的モデルの確認も行い易いものとなる。

なお、結像位置の変更に伴い３Ｄ解剖学的モデルの表示サイズが変わらないように、結像位置が変更された際にはそれに合わせて表示倍率が自動調整されるように構成されていてもよい。また、図８における３Ｄ解剖学的モデルの結像位置の移動（符号２１１→符号２１１′）に関し、移動の方向は前後方向（手前奥方向）に限らず、三次元空間内の任意の方向であってもよく、例えば符号２１１の位置から符号２１１′′へ移動させられるものであってもよい。この場合、回転軸Ａｘ３も３Ｄ解剖学的モデル２１１′′に追従するように構成されている（換言すれば、３Ｄ解剖学的モデルと回転軸との相対位置関係が変化せず、一定に保たれるように構成されている）。

上記に説明したような、画像を操作するためのユーザーインターフェースとしては特に限定されるものではないが、具体的な一例として図９のようなグラフィカルスライダを有するＧＵＩであってもよい。この例では、３Ｄ解剖学的モデルの結像位置を手前奥方向に移動させるためのスライダ表示部６１１と、３Ｄ解剖学的モデルの視差を調整するためのスライダ表示部６１２と、３Ｄ解剖学的モデルの表示視野角を調整するためのスライダ表示部６１３とが表示されている。これは全てが本発明において必須ということではなく、１つまたは２つのみが表示されていてもよい。なお、スライダ表示部６１１～６１３の全てまたは一部は物品または画像の意匠として保護され得るものであり、本出願は意匠法の保護対象をも開示するものである点に留意されたい。

スライダ表示部６１１は、直線のラインに沿ってスライド移動するポインタ６１１aを含んでおり、このポインタ６１１ａの位置を操作者が動かすことにより、３Ｄ解剖学的モデルの結像位置が変更されるようになっている。スライド表示部６１２も同様に、直線のラインに沿ってスライド移動するポインタ６１２ａを含んでおり、このポインタ６１２ａの位置を操作者が動かすことにより、３Ｄ解剖学的モデルの視差が変更されるようになっている。

スライダ表示部６１３も同様に、直線のラインに沿ってスライド移動するポインタ６１３aを含んでいる。さらに、この例では、そのポインタ６１３ａの両端部とポインタ可動範囲の端部とを接続するような態様で等辺部６１３ｂが表示されており、全体として略二等辺三角形状の表示となっている。ポインタ６１３ａを動かすことにより、３Ｄ解剖学的モデルの表示視野角も変更されるが、その際、ポインタ６１３ａの位置に対応して略二等辺三角形の形状が変わるようになっているので、操作者は、表示視野角の変更を直感的に視覚的に把握することができる。

以上、本発明の実施の形態について図面を参照しながら説明したが、本発明は上記の具体的な態様に限定されるものではなく本発明の趣旨を逸脱しない範囲で適宜変更可能である。また、開示された技術的特徴は、本発明の趣旨を逸脱しない範囲で適宜組み合わせて利用することができる。また、本明細書は、例えば装置の発明として開示した内容を方法の発明、コンピュータプログラムの発明、およびプログラム媒体のカテゴリーで表現したものをも開示する。

（他の実施態様）
本発明の一形態に係る医用画像処理装置は図１０に示すようなシステムにおいて使用されてもよい。この医用画像処理装置１０Ａは、内視鏡装置１３０Ａから出力される画像フォーマットに対応した画像フォーマットのデータ（３Ｄ解剖学的モデル等のデータ）を出力する。内視鏡装置１３０Ａからの出力データと医用画処理装置１０Ａからの出力データとは、ミキサー１２１に入力されそこで合成され、表示装置１２２で表示される。ミキサー１２１としては、複数の画像データを合成できるものであればよく、例えば従来公知の機器であってもよい。表示装置１２２は、１つまたは複数のディスプレイ等であってもよい。ここで言及しない医用画像処理装置の構成および機能については、上述した実施形態と同様であってもよい。

画像フォーマットとしては、左右のチャンネル（ＬＲ）のデータが出力されるもの、または、左右の区別のないデータが出力されるもの等、任意のフォーマットであってもよい。医用画像処理装置１０Ａとしては、内視鏡装置１３０Ａの画像フォーマットを自動検出するものであってもよいし、操作者がフォーマットを選択するためのユーザーインターフェースを提供するものであってもよい。

このようなシステム構成においても、医用画層処理装置１０Ａが例えば３Ｄ解剖学的モデルの回転軸位置変更機能（Ａｘ１→Ａｘ２）を有している場合、上述した実施形態と同様の作用効果を得ることができる。また、医用画層処理装置１０Ａがテストチャート画像を解析して得た特性データに基づく表示態様調整機能を有している場合、やはり上述した実施形態と同様の作用効果を得ることができる。

（付記１）
本明細書は、以下の発明を開示する。下記の発明は例えば図１０の構成に対応するものである：
Ａ１．画像表示制御部を備える医用画像処理装置（１０Ａ）であって、
上記画像表示制御部は、
被検者の解剖学的構造体を立体的に表した３Ｄ解剖学的モデル（２１１）を読み込む処理と、
上記３Ｄ解剖学的モデルの結像位置（一例で三次元空間内の奥行方向における位置）が変更された場合に、変更後の位置（２１１′）に合わせて、当該３Ｄ解剖学的モデルの回転軸の位置も変更する（Ａｘ１→Ａｘ２）処理を行うように構成されている、
医用画像処理装置。

Ａ２．上記画像表示制御部は、上記３Ｄ解剖学的モデルの表示に関連する操作を受け付けるためのグラフィカルユーザインターフェースを有し、上記グラフィカルユーザインターフェースは、上記３Ｄ解剖学的モデルの結像位置を移動させるためのグラフィカルスライダ（６１３）を含む、上記記載の医用画像処理装置。

Ａ３．上記３Ｄ解剖学的モデルは、医用光学撮像デバイス（１３０）で撮像された被検者の患部画像（２０１）と合成して表示されるものであって、
上記患部画像は、視差のある複数の画像からなる立体視画像である、上記記載の医用画像処理装置。

Ａ４．上記医用光学撮像デバイスが、内視鏡装置である、上記記載の医用画像処理装置。

Ａ５．上記医用光学撮像デバイスが、外科手術において被検者の検査領域を撮像する撮像デバイスである、上記記載の医用画像処理装置。

被検者の解剖学的構造体を立体的に表した３Ｄ解剖学的モデル（２１１）を読み込む処理と、
上記３Ｄ解剖学的モデルの結像位置（一例で三次元空間内の奥行方向における位置）が変更された場合に、変更後の位置（２１１′）に合わせて、当該３Ｄ解剖学的モデルの回転軸の位置も変更する（Ａｘ１→Ａｘ２）処理と、
を含み、上記処理は１つまたは複数の制御部によって実施される、医用画像処理方法。１つまたは複数のコンピュータに当該方法を実施させるためのコンピュータプログラム。

Ａ６．画像表示制御部を備える医用画像処理装置（１０Ａ）であって、
上記画像表示制御部（１１）は、
被検者の解剖学的構造体を立体的に表した３Ｄ解剖学的モデル（２１１）を読み込んで出力する処理を行うように構成され、さらに、
ｅ１：医用光学撮像デバイスでテストチャートを撮像してそのテストチャート画像を取得する処理と、
ｅ２：上記テストチャート画像を解析して上記医用光学撮像デバイスの光学特性データを取得する処理と、
ｅ３：上記光学特性データに基づき、上記３Ｄ解剖学的モデル（２１１）の態様を調整する処理と、
を行う、医用画像処理装置。

被検者の解剖学的構造体を立体的に表した３Ｄ解剖学的モデル（２１１）を読み込んで出力する処理を行う医用画像処理方法であって、さらに、
ｅ１：医用光学撮像デバイスでテストチャートを撮像してそのテストチャート画像を取得する処理と、
ｅ２：上記テストチャート画像を解析して上記医用光学撮像デバイスの光学特性データを取得する処理と、
ｅ３：上記光学特性データに基づき、上記３Ｄ解剖学的モデル（２１１）の態様を調整する処理と、
を含み、上記処理は１つまたは複数の制御部によって実施される、医用画像処理方法。１つまたは複数のコンピュータに当該方法を実施させるためのコンピュータプログラム。

（付記２）
本明細書は、また以下の発明も開示する：
Ｂ１．画像表示制御部（１１）を備える医用画像処理装置（１０）であって、
上記画像表示制御部（１１）は、
ａ：医用光学撮像デバイス（１３０）で撮像された被検者の患部画像（２０１）を読み込む処理と、
ｂ：被検者の解剖学的構造体を立体的に表した３Ｄ解剖学的モデル（２１１）を読み込む処理と、
ｃ：上記患部画像（２０１）と上記３Ｄ解剖学的モデルとを合成して表示する処理と、
を行うように構成され、さらに、
ｄ：上記３Ｄ解剖学的モデルの結像位置が変更された場合に、変更後の位置に合わせて、当該３Ｄ解剖学的モデルの回転軸（Ａｘ）の位置も変更する処理を行うように構成されている、
医用画像処理装置。
ここで、「回転軸（Ａｘ）の位置も変更する」とは、具体的には、回転軸の位置が３Ｄ解剖学的モデルの位置に追従するように変更が行われること、言い換えれば、回転軸と３Ｄ解剖学的モデルとの相対位置関係が変化しないように変更が行われることをいう。

１つまたは複数の処理部（コンピュータ）に、
ａ：医用光学撮像デバイスで撮像された被検者の患部画像を読み込む処理と、
ｂ：被検者の解剖学的構造体を立体的に表した３Ｄ解剖学的モデルを読み込む処理と、
ｃ：上記患部画像と上記３Ｄ解剖学的モデルとを合成して表示する処理と、
ｄ：上記３Ｄ解剖学的モデルの結像位置が変更された場合に、変更後の位置に合わせて、当該３Ｄ解剖学的モデルの回転軸の位置も変更する処理と、
を行わせる医用画像処理プログラム。

ａ：医用光学撮像デバイスで撮像された被検者の患部画像を読み込む処理と、
ｂ：被検者の解剖学的構造体を立体的に表した３Ｄ解剖学的モデルを読み込む処理と、
ｃ：上記患部画像と上記３Ｄ解剖学的モデルとを合成して表示する処理と、
ｄ：上記３Ｄ解剖学的モデルの結像位置が変更された場合に、変更後の位置に合わせて、当該３Ｄ解剖学的モデルの回転軸の位置も変更する処理と、
を行う医用画像処理方法。

Ｂ２．画像表示制御部（１１）を備える医用画像処理装置（１０）であって、
上記画像表示制御部（１１）は、
ａ：医用光学撮像デバイス（１３０）で撮像された被検者の患部画像（２０１）を読み込む処理と、
ｂ：被検者の解剖学的構造体を立体的に表した３Ｄ解剖学的モデル（２１１）を読み込む処理と、
ｃ：上記患部画像（２０１）と上記３Ｄ解剖学的モデルとを合成して表示する処理と、
を行うように構成され、さらに、
ｅ１：上記医用光学撮像デバイスでテストチャートを撮像してそのテストチャート画像を取得する処理と、
ｅ２：上記テストチャート画像を解析して上記医用光学撮像デバイスの光学特性データを取得する処理と、
ｅ３：上記光学特性データに基づき、上記３Ｄ解剖学的モデル（２１１）の表示態様を調整する処理と、
を行う、医用画像処理装置。

１つまたは複数の処理部（コンピュータ）に、
ａ：医用光学撮像デバイス（１３０）で撮像された被検者の患部画像（２０１）を読み込む処理と、
ｂ：被検者の解剖学的構造体を立体的に表した３Ｄ解剖学的モデル（２１１）を読み込む処理と、
ｃ：上記患部画像（２０１）と上記３Ｄ解剖学的モデルとを合成して表示する処理と、
を行うように構成され、さらに、
ｅ１：上記医用光学撮像デバイスでテストチャートを撮像してそのテストチャート画像を取得する処理と、
ｅ２：上記テストチャート画像を解析して上記医用光学撮像デバイスの光学特性データを取得する処理と、
ｅ３：上記光学特性データに基づき、上記３Ｄ解剖学的モデル（２１１）の表示態様を調整する処理と、
を行わせる医用画像処理プログラム。

ａ：医用光学撮像デバイス（１３０）で撮像された被検者の患部画像（２０１）を読み込む処理と、
ｂ：被検者の解剖学的構造体を立体的に表した３Ｄ解剖学的モデル（２１１）を読み込む処理と、
ｃ：上記患部画像（２０１）と上記３Ｄ解剖学的モデルとを合成して表示する処理と、
を行うように構成され、さらに、
ｅ１：上記医用光学撮像デバイスでテストチャートを撮像してそのテストチャート画像を取得する処理と、
ｅ２：上記テストチャート画像を解析して上記医用光学撮像デバイスの光学特性データを取得する処理と、
ｅ３：上記光学特性データに基づき、上記３Ｄ解剖学的モデル（２１１）の表示態様を調整する処理と、
を行う医用画像処理方法。

１ 医用画像処理システム
１０、１０Ａ 医用画像処理装置
１１ 画像表示制御部
１２ データ格納部
１３ 表示デバイス
１３Ａ、１３Ｂ ディスプレイ
１４ 入力デバイス
１５ データ入出力インターフェース
１８ａ～１８ｃ オブジェクト
２１ 医用情報管理装置
２２ 薬液注入装置
２３ 撮像装置
１２１ ミキサー
１２２ 表示装置
１３０ 内視鏡装置
１３１ 内視鏡
１３２ コントローラ
１３６ テストチャート
２０１ 内視鏡画像（患部画像）
２０５ 鉗子
２１１、２１１′ ３Ｄ解剖学的モデル（血管モデル）
６１１～６１３ スライダ表示部
６１１ａ～６１３ａ ポインタ
６１３ｂ 等辺部

Claims (5)

1. 画像表示制御部を備える医用画像処理装置であって、
   前記画像表示制御部は、
   被検者の解剖学的構造体を立体的に表した３Ｄ解剖学的モデルを読み込む処理と、
   前記３Ｄ解剖学的モデルを立体的な仮想空間内で任意に移動可能および回転軸周りに回転可能に結像させる処理と、
   前記３Ｄ解剖学的モデルの結像位置が変更された場合に、変更後の前記３Ｄ解剖学的モデルと前記回転軸との相対位置関係が変化せず一定に保たれるように、前記回転軸の位置も変更する処理を行うように構成されている、
   医用画像処理装置。
2. 前記画像表示制御部は、
   前記３Ｄ解剖学的モデルの表示に関連する操作を受け付けるためのグラフィカルユーザインターフェースを有し、前記グラフィカルユーザインターフェースは、前記３Ｄ解剖学的モデルの結像位置を移動させるためのグラフィカルスライダを含む、
   請求項１に記載の医用画像処理装置。
3. 前記３Ｄ解剖学的モデルは、医用光学撮像デバイスで撮像された被検者の患部画像と合成して表示されるものであって、
   前記患部画像は、視差のある複数の画像からなる立体視画像である、
   請求項１または２に記載の医用画像処理装置。
4. 前記医用光学撮像デバイスが、内視鏡装置である、請求項３に記載の医用画像処理装置。
5. 前記医用光学撮像デバイスが、外科手術において被検者の検査領域を撮像する撮像デバイスである、請求項３に記載の医用画像処理装置。