JP6080249B2

JP6080249B2 - ３次元画像表示装置および方法並びにプログラム

Info

Publication number: JP6080249B2
Application number: JP2012201581A
Authority: JP
Inventors: 潤桝本
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2012-09-13
Filing date: 2012-09-13
Publication date: 2017-02-15
Anticipated expiration: 2032-09-13
Also published as: JP2014054428A; AU2013317201A1; CN104619258A; EP2896368A1; US9495794B2; EP2896368A4; CA2884679A1; BR112015005240A2; IN2015DN02504A; WO2014041791A1; US20150187118A1

Description

本発明は、物体を断層撮影することにより取得した複数の断層画像からなる３次元画像をボリュームレンダリング表示するための３次元画像表示装置および方法並びに３次元画像表示方法をコンピュータに実行させるためのプログラムに関するものである。

近年、医療機器（例えば多検出器型ＣＴ等）の進歩により質の高い３次元画像が画像診断に用いられるようになってきている。また、このような３次元画像を解析することにより、体内に存在する様々な臓器の３次元形状の把握が容易となり、さらには臓器の中に存在する動脈、静脈、腫瘍といった各組織の相対的な位置関係や立体構造の把握までもが可能になってきている。この際、各種画像処理アルゴリズムを用いて、特定臓器および臓器内の特定の構造物を抽出し、ボリュームレンダリング（ＶＲ）等の表示手法を用いて、３次元形状を２次元平面に投影してその立体構造を把握することも行われている。

ここで、３次元画像をＶＲ表示する場合、注目する臓器、組織および構造等の構造物を抽出し、抽出した構造物の３次元画像の各画素位置の信号値（ＣＴ画像の場合はＣＴ値）に応じて、各画素の信号値に色（Ｒ，Ｇ，Ｂ）および不透明度（オパシティ）が設定される。この場合、注目する部位に応じて色および不透明度を設定したカラーテンプレートを用意しておくことにより、部位に応じて所望のカラーテンプレートを選択すれば、ボリュームレンダリング画像（ＶＲ画像）において、注目する部位を可視化することができる。

一方、３次元画像に含まれる各構造物の名称等の文字列、および腫瘍の有無等を表す矢印等を、対応する構造物の位置にラベルとして付与することも行われている。また、脊椎を抽出し、抽出した脊椎に自動でラベルを付与する手法、あるいは気管支を抽出し、抽出した気管支に解剖学的な医学名称をラベルとして付与する手法も提案されてきている。

このようにラベルを付与した３次元画像を表示する際に、ラベルにそのラベルが付与される位置における、セグメント化された解剖学的構造の名前、説明、あるいは異常を文字列として記載しておき、ラベルが付与されている位置をポイントすることにより、文字列を表示する手法が提案されている（特許文献１参照）。また、３次元画像を用いて医師の所見を作成し、内視鏡を用いて被写体の検査を行う際に、内視鏡が所見を付与した位置に近づいたときに、表示中の内視鏡画像に所見が記載されたラベルを表示する手法も提案されている（特許文献２参照）。

特表２０１０−５０００８９号公報特開２０１１−２０６１６８号公報

３次元画像に含まれる構造物が少ない場合には、全てのラベルが表示されても、ラベルの数も少ないため、問題なくラベルを表示することができる。しかしながら、人体の胸部あるいは胸腹部というような広範囲を対象とする３次元画像に含まれる各種構造物の全てにラベルを付与した場合、３次元画像を表示すると表示画面上に全てのラベルを表示できなくなる場合がある。また、全てのラベルを表示した場合、臓器の外観のみが可視化され、臓器の内部が見えていない状態で臓器内の構造物に付与されたラベルを表示しても、そのラベルがいずれの構造物に付与されたものであるかが分からないため、そのラベルを表示する意味がない。この場合、３次元画像において可視化されている構造物に応じて、ラベルの表示および非表示を手動にて変更することが考えられるが、３次元画像に含まれる構造物が多い場合、ラベル数も多いため、その作業は非常に面倒である。

本発明は上記事情に鑑みなされたものであり、ユーザに負担をかけることなく、３次元画像に付与されたラベルの表示を制御できるようにすることを目的とする。

本発明による３次元画像表示装置は、複数の構造物からなる物体の３次元画像であって、物体に含まれる複数の構造物のそれぞれにラベルが付与されてなる３次元画像を表示する３次元画像表示装置であって、
３次元画像をボリュームレンダリング表示する画像表示制御手段と、
ボリュームレンダリング表示される３次元画像の不透明度に基づいて、複数のラベルのうち、表示するラベルを決定するラベル表示決定手段と、
表示すると決定されたラベルを対応する構造物に付与して、ボリュームレンダリング表示される３次元画像とともに表示するラベル表示制御手段とを備えたことを特徴とするものである。

構造物とは、３次元画像により表される物体に含まれる各種構造物を意味し、例えば人体の３次元画像の場合、人体内部の腫瘍および各種臓器（肺、肝臓、心臓、脾臓、膵臓等）等の特定の領域を構成する構造物のみならず、腫瘍の中心位置、血管分岐点および各種臓器の中心点等の特定の位置をも構造物として含むものとする。

なお、本発明による３次元画像表示装置においては、ラベル表示決定手段を、３次元画像において、不透明度によって不透明となる位置と、ラベルが付与された構造物との距離が特定の値以下の場合に、特定の値以下となる構造物に付与されたラベルを表示すると決定する手段としてもよい。

また、本発明による３次元画像表示装置においては、ラベル表示制御手段を、表示すると決定されたラベルが複数の構造物に付与されたものである場合、構造物毎にラベルを表示する位置を制御する手段としてもよい。

また、本発明による３次元画像表示装置においては、ラベル表示制御手段を、同一のラベルを表示する構造物が複数の部分に分断されて、ボリュームレンダリング表示される３次元画像に存在する場合、特定面積以上となる部分にのみラベルを付与して表示する手段としてもよい。

また、本発明による３次元画像表示装置においては、ラベル表示制御手段を、同一のラベルを表示する構造物が複数の部分に分断されて、ボリュームレンダリング表示される３次元画像に存在する場合、最大面積となる部分にのみラベルを付与して表示する手段としてもよい。

また、本発明による３次元画像表示装置においては、３次元画像にラベルを付与するラベル付与手段をさらに備えるものとしてもよい。

本発明による３次元画像表示方法は、複数の構造物からなる物体の３次元画像であって、物体に含まれる複数の構造物のそれぞれにラベルが付与されてなる３次元画像を表示する３次元画像表示方法であって、
３次元画像をボリュームレンダリング表示し、
ボリュームレンダリング表示される３次元画像の不透明度に基づいて、複数のラベルのうち、表示するラベルを決定し、
表示すると決定されたラベルを対応する構造物に付与して、ボリュームレンダリング表示される３次元画像とともに表示することを特徴とするものである。

なお、本発明による３次元画像表示方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、３次元画像をボリュームレンダリング表示するに際し、ボリュームレンダリング表示される３次元画像の不透明度に基づいて、複数のラベルのうちの表示するラベルが決定され、表示すると決定されたラベルが対応する構造物に付与されて、３次元画像とともに表示される。このため、ユーザは何ら作業を行わなくても、３次元画像に付与されたラベルの表示を制御することができ、これにより、ラベル表示に際してのユーザの負担を軽減することができる。

本発明の実施形態による３次元画像表示装置の構成を示す概略ブロック図表示するラベルの決定の処理を説明するための図本実施形態において行われる処理を示すフローチャートＶＲ画像にラベルが表示された状態を示す図図４に示すＶＲ画像において体表の不透明度を変更した状態を示す図図５に示すＶＲ画像において右上葉の不透明度を変更した状態を示す図図６に示すＶＲ画像において視線を変更した状態を示す図図７に示すＶＲ画像において視線を変更した状態を示す図

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による３次元画像表示装置の構成を示す概略ブロック図である。なお、図１に示す３次元画像表示装置１の構成は、補助記憶装置に読み込まれた３次元画像表示プログラムをコンピュータ上で実行することにより実現される。このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされる。

本実施形態による３次元画像表示装置１は、画像取得部１０、記憶部１２、構造物抽出部１４、ラベル付与部１６、画像表示制御部１８、ラベル表示決定部２０、ラベル表示制御部２２、入力部２４および表示部２６を備える。

画像取得部１０は、マルチスライスＣＴ装置またはＭＲＩ装置等のモダリティ２において、被写体の胸部を撮影して得られた３次元画像Ｖ０を取得する、通信インターフェースの機能を有する。なお、本実施形態においては、モダリティ２はマルチスライスＣＴ装置であるものとする。３次元画像群Ｖ０はＬＡＮ経由でモダリティ２から送信される。

ここで、３次元画像Ｖ０は、診断対象となる胸部を断層面に垂直な方向に沿って順に得られる２次元の断層画像を積層することによって取得されるものであり、本実施形態においては、モダリティ２において撮影された複数の断層画像を重ね合わせることにより生成される。なお、ＣＴ装置を用いて取得した３次元画像は、３次元空間上での格子点を構成するボクセル（すなわち画素位置）毎にＸ線の吸収量を蓄えたデータとなり、各画素位置に対して１つの信号値（ＣＴ装置で撮影した場合は、Ｘ線の吸収量を示す値）が与えられたデータとなる。

なお、３次元画像Ｖ０には、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で規定された付帯情報が付加される。付帯情報は、例えば、３次元画像を識別するための画像ＩＤ、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、画像情報毎に割り振られるユニークなＩＤ（ＵＩＤ）、その画像情報が生成された検査日、検査時刻、その画像情報を取得するための検査で使用されたモダリティの種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位、本実施形態においては胸部）、撮影条件（造影剤の使用有無や、放射線量等）、１回の検査で複数の画像を取得したときのシリーズ番号あるいは採取番号等の情報が含まれうる。

記憶部１２は、ハードディスク等の大容量の記憶装置であり、３次元画像Ｖ０が記憶される。

構造物抽出部１４は、胸部の３次元画像Ｖ０から、人体の体表領域、肺領域、気管支および肺結節を構造部として抽出する。体表領域については、３次元画像Ｖ０の各画素位置の信号値（すなわちＣＴ値）に対して、体表と見なせる信号値の範囲を推定し、この値を用いてしきい値処理を行うことにより抽出する。肺領域については、肺野は空気が存在する領域であるため、３次元画像Ｖ０の各画素位置の信号値をヒストグラム化し、肺領域をしきい値処理することにより抽出する方法、肺領域を表すシード点に基づく領域拡張法等、任意の手法を用いることができる。そして、肺領域の抽出後、肺領域を右上葉、右中葉、右下葉、左上葉および左下葉の５葉に分離する。この分離は、抽出された肺野を表示部２６に表示し、ユーザが入力部２４から手動で葉間膜をトレースすることにより行ってもよく、「胸部Ｘ線ＣＴ画像における葉間裂抽出とその重粒子線治療評価への応用, 佐藤善隆他,MEDICAL IMAGING TECHNOLOGY Vol.22 No.5 November 2004」等に記載された、自動で葉間膜を抽出する手法を用いてもよい。なお、肺領域を分離する手法はこの手法に限定されるものではなく、任意の手法を用いることができる。

気管支を抽出する手法としては、領域拡張法により気管支領域内の画素の集合を抽出し、抽出された気管支領域に対して細線化処理を行い、得られた気管支を表す細線の連結関係に基づいて細線上の各画素を端点、エッジ（辺）および分岐点に分類することによって、気管支を表す木構造データを得る手法を用いることができる。また、「マルチスライスＣＴ画像を用いた気管支抽出アルゴリズム, 河村奈美他, 電子情報通信学会技術研究報告. MBE, MEとバイオサイバネティックス 105(221), 11-14, 2005-07-22」等に記載されたように、自動で気管支を抽出する手法を用いてもよい。

また、本実施形態においては、抽出した気管支における分岐毎に解剖学的命名を行う。この場合、ユーザが手動で命名を行ってもよく、「A method for automated nomenclature of bronchial branches extracted from CT images, Kensaku Mori et. al., Volume 1281, May 2005, Pages 86-91, CARS 2005」等に記載されたように、自動で命名する手法を用いてもよい。これにより、気管支には、左右の気管支のそれぞれに対して、肺尖枝（Ｂ１）、後上葉枝（Ｂ２）、前上葉枝（Ｂ３）… 後肺底枝（Ｂ１０）の命名がなされる。

肺結節を抽出する手法としては、「Interactive Segmentation of Lung Nodules using AdaBoost and Graph Cuts, Yuanzhong Li et. al., P125, Fourth International Workshop on Pulmonary Image Analysis.」および「Automated lung nodule detection and segmentation, Christian Schneider et. al., Medical Imaging 2009, Proc. of SPIE Vol. 7260」等に記載された手法を用いてもよく、ユーザが入力部２４を用いて手動で肺結節を抽出してもよい。

ラベル付与部１６は、ユーザの入力部２４からの入力により、抽出した構造物に対してラベルを付与する。ラベルの内容としては、解剖学的な名称の他、腫瘍等の場合にはそれに対する所見であってもよい。また、腫瘍等の場所を示す矢印であってもよい。具体的には、体表領域に対しては「皮膚」という文字列のラベルを、肺領域の５葉の領域にはそれぞれ「右上葉」、「右中葉」、「右下葉」、「左上葉」および「左下葉」の文字列のラベルを、気管支の領域には「気管支」という文字列のラベルを付与する。また、本実施形態においては、気管支の解剖学的命名がなされているため、気管支には「Ｂ１」〜「Ｂ１０」の解剖学的名称のラベルを付与する。肺結節の領域には、例えば「１０ｍｍ大のソリッド陰影」というように所見のラベルを付与する。

なお、ラベルの付与とは、３次元画像Ｖ０における抽出した構造物に属する複数の画素とラベルの文字列とを対応づけることを意味する。これにより、抽出した構造物に含まれるいずれかの画素を指定すればそのラベルを参照でき、逆にラベルを指定すればそのラベルが付与された構造物を参照できることとなる。ラベルが付与された３次元画像Ｖ０は、記憶部１２に記憶される。

画像表示制御部１８は、３次元画像Ｖ０をボリュームレンダリング法を用いてボリュームレンダリング（ＶＲ）表示する。すなわち、３次元画像Ｖ０に対して投影面から仮想的な光線を照射し、３次元画像Ｖ０の各信号値に対応した色（Ｒ，Ｇ，Ｂ）および不透明度（オパシティ）に基づいて、物体内部からの仮想的な反射光による３次元画像を作成し、この３次元画像から投影面に物体内部の３次元構造を透視する投影画像を生成して、これをＶＲ画像として表示する。なお、色および不透明度は所定のカラーテンプレートに定義されており、３次元画像Ｖ０の各画素位置の信号値は、所定のカラーテンプレートに応じて設定された色および不透明度に基づいて、アルファブレンディング法により、投影画像の画素値に変換される。なお、ボリュームレンダリング（ＶＲ）表示中において、ユーザによるカラーテンプレートの変更の指示、あるいは体表から内部へ向かって不透明度を変更して胸部の内部の構造物を徐々に表示する指示がなされると、画像表示制御部１８は、カラーテンプレートにより設定される色および不透明度、あるいは指定された不透明度に基づいて、３次元画像Ｖ０のＶＲ表示の態様を変更する。

ラベル表示決定部２０は、ＶＲ表示される３次元画像Ｖ０の不透明度に基づいて、３次元画像Ｖ０に付与された複数のラベルのうち、ＶＲ表示される３次元画像（以下ＶＲ画像とする）とともに表示するラベルを決定する。以下、表示するラベルの決定の処理について説明する。

本実施形態においては、ＶＲ表示を行うに際し、アルファブレンディング法により、そのＶＲ画像の各画素の色が決定される。すなわち、投影面上の画素に対して、光線により表される光線ベクトル上に存在する３次元画像Ｖ０内の信号値と、その信号値に対応する不透明度の値をアルファブレンディングしながら、その光線の光が減衰して０になる位置、すなわち、何らかの物体の表面まで光線が進められる。ラベル表示決定部２０は、３次元画像Ｖ０上における物体の表面となる画素をＰｉｊとし、３次元画像Ｖ０の光線ベクトル上において、ある画素Ｐｉｊとラベルが付与されている全ての構造物内の画素Ｌｉとの距離を算出する。そして、構造物毎に、構造物内において画素Ｐｉｊとの距離が最小となる画素Ｌｉ＿ｍｉｎを求め、この最小となる点Ｌｉ＿ｍｉｎについて、算出した画素Ｐｉｊとの距離Ｄｍｉｎをしきい値Ｔｈ１（例えば１ｃｍ）と比較する。そして、距離Ｄｍｉｎがしきい値Ｔｈ１以下の場合、その構造物Ｌｉに対してラベルを表示することとする。

図２は表示するラベルの決定の処理を説明するための図である。なお、図２においては説明のために画像を２次元にて示している。図２に示すように物体の表面の点Ｐｉｊを通る光線ベクトルＶｅ上に、ラベルが付与された構造物Ｌ１，Ｌ２がこの順序で存在するものとする。そして、光線ベクトルＶｅ上において、表面の画素Ｐｉｊから構造物Ｌ１までの距離がしきい値Ｔｈ１以下であり、構造物Ｌ２までの距離がしきい値Ｔｈ１を超える場合、構造物Ｌ１に付与されたラベルを表示するラベルに決定する。

上記の処理を投影面上における物体の表面となる全ての画素（ｘ，ｙ）に対して行うことにより、投影面上にラベルを表示するか否かを定義したラベルマップを作成する。このラベルマップは、投影面上の画素（ｘ，ｙ）のそれぞれに対して、ラベルを表示する場合は１、そうでない場合は０を示すものとすることが好ましい。そしてラベルマップにおいて、１の値を示す画素に対して連結成分処理を行い、１の値を示す画素からなる連結成分を生成する。そして個々の連結成分毎に画素数をカウントし、画素数がしきい値Ｔｈ２（例えば１００個）以上の場合に、その連結成分からなる領域に、その連結成分に対応する構造物に付与されたラベルを表示することに決定する。

ラベル表示制御部２２は、ラベルを表示すると決定した連結成分に対して、その連結成分に対応する構造物に付与されたラベルを、表示中のＶＲ画像に重ね合わせて表示する。ラベルの表示位置は、そのラベルを表示する連結成分の領域のいずれの位置であってもよいが、その連結成分の重心位置がその連結成分内に存在する場合にはその位置に、重心位置がその連結成分内に存在しない場合には、その重心位置に最も近い連結成分の領域内の位置にラベルを表示する。ラベルは、表示位置にそのまま表示してもよいが、表示位置から参照線を引いて表示することが好ましい。また、複数のラベルを表示することとなる場合、ＶＲ画像の中心（すなわち投影面の中心）から放射状に広がる範囲において表示することが好ましい。

なお、複数のラベルを表示する場合、ラベルの表示位置が重なる場合がある。この場合、連結成分の面積が大きい方の表示位置を、ラベルが重ならない位置まで移動させることにより、全てのラベルが同時に確認できるようにラベルの表示を制御する。

入力部２４は、キーボードおよびマウス等の公知の入力装置からなる。

表示部２６は、液晶、ＣＲＴ等の公知の表示装置からなる。

次いで、本実施形態において行われる処理について説明する。図３は本実施形態において行われる処理を示すフローチャートである。なお、３次元画像Ｖ０は、画像取得部１０により取得され、ラベル付与部１６によりラベルが付与された後に、記憶部１２に記憶されているものとする。また、ここではまず体表を表示した後に、体表の不透明度を変更して、順次体表の内部の構造物をＶＲ表示する場合について説明する。ユーザが入力部２４を操作することにより、画像表示制御部１８が、３次元画像Ｖ０について、ユーザが指定した構造物が投影されたＶＲ画像を表示部２６に表示する（ステップＳＴ１）。そして、ラベル表示決定部２０が、上述したようにラベルマップを生成し、さらに連結成分処理を行うことにより表示するラベルを決定し（ステップＳＴ２）、ラベル表示制御部２２がＶＲ画像にラベルを表示する（ステップＳＴ３）。

図４はＶＲ画像にラベルが表示された状態を示す図である。まず、最初の段階においては、体表が不透明とされてＶＲ画像が表示されるため、図４に示すように、体表の重心位置から引き出し線が引き出されて「皮膚」のラベルが表示される。この際、体表はＶＲ画像の略全面に投影されることから、ＶＲ画像の略中心位置から引き出し線が引き出されてラベルが表示される。なお、体表が不透明とされている場合、内部の臓器は可視化されない。

この状態において、不透明度または視線の変更の指示がなされたか否かが判定され（ステップＳＴ４）、ステップＳＴ４が肯定されると、ステップＳＴ２の処理に戻り、ステップＳＴ２、ステップＳＴ３の処理を繰り返す。ここで、図２に示す状態から、体表の不透明度を徐々に下げる指示がユーザによりなされたとすると、ＶＲ画像において体表が半透明から徐々に透明となり、投影面上の光線が体表を通過し、肺領域および気管支の表面に進むため、肺領域および気管支が投影面上に投影されたＶＲ画像が表示される。また、本実施形態においては、肺領域の５葉のそれぞれ、および気管支にラベルが付与されており、肺領域および気管支の表面がＶＲ画像として表示されることから、図５に示すように、肺領域を構成する５葉のそれぞれおよび気管支にラベルが付与される。なお、ラベルは、５葉のそれぞれおよび気管支の重心位置から、ＶＲ画像の中心を基準として放射状に引き出し線が引き出されて表示されることとなる。

さらに、ユーザからの指示により、右上葉の不透明度を透明にする指示がなされると、右上葉については表示される部分が無くなることから、右上葉により隠れていた気管支の分岐を含むＶＲ画像が表示される。この場合、図６に示すように、右上葉についてはラベルは表示されず、ＶＲ表示されることとなった気管支に付与された解剖学的命名Ｂ１〜Ｂ３のラベルおよび気管支に見つかった肺結節に付与された所見のラベルが表示される。

図６に示す状態から、視線を変更することにより投影面を回転させて、肺領域のやや上方から肺領域を観察するようなＶＲ画像を表示すると、左下葉が気管支により２つの領域に分割される。この場合、ラベルマップにおいて、左下葉に対応する連結成分（１の値を有する）の大きさを比較し、大きい方の領域には、その重心位置にラベルを付与し、小さい方の領域には、その重心位置に半透明のラベルを付与する。この状態を図７に示す。図７においては、半透明となるラベルについてはその周囲を破線にて示している。なお、小さい方の領域にラベルを付与せず、大きい方の領域にのみラベルを付与するようにしてもよい。

さらに図７に示す状態から視線を変更した状態を図８に示す。図８においては、右中葉の領域が含まれないものとなっている。このため、右中葉のラベルは表示されないこととなる。

フローチャートに戻り、ステップＳＴ４が否定されると、終了指示がなされたか否かが判定され（ステップＳＴ５）、ステップＳＴ５が否定されるとステップＳＴ４の処理に戻る。ステップＳＴ５が肯定されると処理を終了する。

このように、本実施形態においては、３次元画像Ｖ０をＶＲ表示するに際し、不透明度に基づいて、複数のラベルのうちの表示するラベルを決定し、表示すると決定されたラベルを対応する構造物に付与して３次元画像Ｖ０とともにＶＲ表示するようにしたものである。このため、ユーザは何ら作業を行わなくても、３次元画像Ｖ０に付与されたラベルの表示を制御することができ、これにより、ラベル表示に際してのユーザの負担を軽減することができる。

なお、上記実施形態において、さらに肺動脈、肺静脈、肋骨および脊椎等を抽出し、これらにラベルを付与するようにしてもよい。この場合においても上記と同様に表示するラベルを決定してＶＲ画像に重畳させて表示すればよい。

また、上記実施形態においては、肺領域のＶＲ画像を表示する場合の処理について説明しているが、心臓を抽出して心臓領域のＶＲ画像を表示する場合にも本発明を適用することができることはもちろんである。また、腹部の３次元画像Ｖ０のＶＲ画像を表示する場合においても、本発明を適用することができる。腹部の場合、例えば、対象を肝臓領域とし、３次元画像Ｖ０から肝臓領域、肝動脈、肝静脈、門脈および腫瘍を抽出し、それぞれにラベルを付与し、ＶＲ画像の表示時に、表示される構造物の不透明度に基づいて表示するラベルを決定すればよい。

ここで、心臓領域は、３次元画像Ｖ０における心臓が存在する信号値の範囲を推定し、その値を用いてしきい値処理を行を行うことにより抽出すればよい。

また、肝臓領域の抽出には、３次元画像Ｖ０における肝臓が存在するＣＴ値の範囲を推定し、その値を用いてしきい値処理を行い、これにより抽出された領域に、モフォロジーフィルタを適用する手法、「“非剛体レジストレーションを適用した多時相腹部造影ＣＴ画像からの肝臓領域自動抽出法“、コンピュータ支援画像診断学会論文誌、Vol.7, No.4-1, Jun. 2003.」に記載されたように、時系列で撮影された複数の肝臓フェーズ画像を用いて、肝臓領域の造影パターンを検出し、それを用いて肝臓領域を抽出する手法、「“A Liver Level Set (LLS) Algorithm for Extracting Liver’s Volume Containing Disconnected Regions Automatically”, IJCSNS International Journal of Computer Science and Network Security, VOL.8 No.12, December 2008」および「”Level set methodを用いた肝臓領域抽出方法の開発と評価”、コンピュータ支援診断学会論文誌、Vol.7, No.4-2, Jun. 2003」に記載されたレベルセット法等を用いることができる。なお、肝臓領域を抽出する手法は、これらの手法に限定されるものではなく、任意の手法を用いることができる。

肝動脈、肝静脈および門脈（以下、単に血管と称する場合があるものとする）を抽出する手法としては、例えば特開２０１０−２２０７４２号公報に記載された、線状構造からなる対象組織を表す複数の候補点の位置情報と主軸方向を算出し、算出された位置情報および主軸方向に基づいた変数とするコスト関数を用いて、複数の候補点が接続されるように再構築する手法、特開２０１１−２１２３１４号公報に記載された、自動で血管を区別して抽出する手法を用いることができる。

また、血管を抽出する手法として、第１および第２の線状構造物のそれぞれ１つの起始部から分岐を繰り返しながら離れる方向に広がって延びるという特徴に基づいて、各ノード毎に、各ノードに接続可能な複数のノード間を結ぶ複数のエッジについて接続しやすさを表すコストを重みづけするコスト関数により、第１の木構造の根ノードに対応する第１の根ノードおよび第２の木構造の根ノードに対応する第２の根ノードのそれぞれから各ノードを接続して木構造を作成する手法を用いることができる。この手法において、第１および第２の線状構造物を、肝臓内の肝動脈および肝静脈とすることにより、肝動脈および肝静脈を区別して抽出できる。また、この手法において、第１および第２の線状構造物を門脈および肝動脈または肝静脈とすることにより、門脈および肝動脈または肝静脈を区別して抽出できる。なお、この手法において、起始部は、任意の方法により特定したものであってもよく、起始部に基づいて周知の方法により起始部に対応する根ノードを特定してよい。例えば、表示された画像上でマウス等の入力装置により起始部を指定してもよく、起始部が既知である所定の構造物を表す複数の教師データを機械学習することにより、起始部を検出する起始部検出部をさらに備えるものとし、この起始部検出部により検出してもよい。なお、教師データを機械学習して根ノードを抽出する周知の種々の方法を用いることができ、例えば、アダブースト(Adaboost)法により教師データにおいて既知である起始部の特徴量に基づいて起始部を検出することが考えられる。

また、腫瘍については、「“Liver tumors segmentation from CTA images using voxels classification and affinity constraint propagation”, Int J CARS, 2010」に記載された、Voxel Classificationを利用した手法等を用いることができる。なお、肝動脈、肝静脈、門脈および腫瘍を抽出する手法は、これらの手法に限定されるものではなく、任意の手法を用いることができる。

また、上記実施形態においては、文字列を含むラベルを表示しているが、腫瘍の位置を示す矢印のみをラベルとして表示するようにしてもよい。

また、上記実施形態においては、人体の３次元画像にラベルを付与した場合のラベルの表示について説明しているが、地質学の地形データの３次元画像にラベルを付与した場合、気象データにおける雲の３次元画像にラベルを付与した場合、非破壊検査における各種部品の３次元画像にラベルを付与した場合等にも本発明を適用できることはもちろんである。

１３次元画像表示装置
２モダリティ
１０画像取得部
１２記憶部
１４構造物抽出部
１６ラベル付与決定部
１８画像表示制御部
２０ラベル表示決定部
２２ラベル表示制御部
２４入力部
２６表示部

Claims

複数の構造物からなる物体の３次元画像であって、該物体に含まれる複数の構造物のそれぞれにラベルが付与されてなる３次元画像を表示する３次元画像表示装置であって、
前記３次元画像をボリュームレンダリング表示する画像表示制御手段と、
前記ボリュームレンダリング表示される前記３次元画像の不透明度に基づいて、前記複数のラベルのうち、表示するラベルを決定するラベル表示決定手段であって、前記３次元画像における視線方向において、前記不透明度によって不透明となる前記３次元画像上の位置と、前記ラベルが付与された前記構造物との距離が特定の値以下の場合に、該特定の値以下となる構造物に付与されたラベルを表示すると決定するラベル表示決定手段と、
前記表示すると決定されたラベルを対応する構造物に付与して、前記ボリュームレンダリング表示される３次元画像とともに表示するラベル表示制御手段とを備えたことを特徴とする３次元画像表示装置。
複数の構造物からなる物体の３次元画像であって、該物体に含まれる複数の構造物のそれぞれにラベルが付与されてなる３次元画像を表示する３次元画像表示装置であって、
前記３次元画像をボリュームレンダリング表示する画像表示制御手段と、
前記ボリュームレンダリング表示される前記３次元画像の不透明度に基づいて、前記複数のラベルのうち、表示するラベルを決定するラベル表示決定手段と、
前記表示すると決定されたラベルを対応する構造物に付与して、前記ボリュームレンダリング表示される３次元画像とともに表示するラベル表示制御手段であって、同一のラベルを表示する前記構造物が複数の部分に分断されて、前記ボリュームレンダリング表示される前記３次元画像に存在する場合、特定面積以上となる部分にのみ前記ラベルを付与して表示するラベル表示制御手段とを備えたことを特徴とする３次元画像表示装置。
複数の構造物からなる物体の３次元画像であって、該物体に含まれる複数の構造物のそれぞれにラベルが付与されてなる３次元画像を表示する３次元画像表示装置であって、
前記３次元画像をボリュームレンダリング表示する画像表示制御手段と、
前記ボリュームレンダリング表示される前記３次元画像の不透明度に基づいて、前記複数のラベルのうち、表示するラベルを決定するラベル表示決定手段と、
前記表示すると決定されたラベルを対応する構造物に付与して、前記ボリュームレンダリング表示される３次元画像とともに表示するラベル表示制御手段であって、同一のラベルを表示する前記構造物が複数の部分に分断されて、前記ボリュームレンダリング表示される前記３次元画像に存在する場合、最大面積となる部分にのみ前記ラベルを付与して表示するラベル表示制御手段とを備えたことを特徴とする３次元画像表示装置。
前記ラベル表示決定手段は、前記３次元画像において、前記不透明度によって不透明となる位置と、前記ラベルが付与された前記構造物との距離が特定の値以下の場合に、該特定の値以下となる構造物に付与されたラベルを表示すると決定する手段であることを特徴とする請求項２または３記載の３次元画像表示装置。
前記ラベル表示制御手段は、前記表示すると決定されたラベルが複数の前記構造物に付与されたものである場合、前記構造物毎に前記ラベルを表示する位置を制御する手段であることを特徴とする請求項１から４のいずれか１項記載の３次元画像表示装置。
前記３次元画像にラベルを付与するラベル付与手段をさらに備えたことを特徴とする請求項１から５のいずれか１項記載の３次元画像表示装置。
複数の構造物からなる物体の３次元画像であって、該物体に含まれる複数の構造物のそれぞれにラベルが付与されてなる３次元画像を表示する３次元画像表示方法であって、
前記３次元画像をボリュームレンダリング表示し、
前記ボリュームレンダリング表示される前記３次元画像の不透明度に基づいて、前記複数のラベルのうち、表示するラベルを決定するに際し、前記３次元画像における視線方向において、前記不透明度によって不透明となる前記３次元画像上の位置と、前記ラベルが付与された前記構造物との距離が特定の値以下の場合に、該特定の値以下となる構造物に付与されたラベルを表示すると決定し、
前記表示すると決定されたラベルを対応する構造物に付与して、前記ボリュームレンダリング表示される３次元画像とともに表示することを特徴とする３次元画像表示方法。
複数の構造物からなる物体の３次元画像であって、該物体に含まれる複数の構造物のそれぞれにラベルが付与されてなる３次元画像を表示する３次元画像表示方法であって、
前記３次元画像をボリュームレンダリング表示し、
前記ボリュームレンダリング表示される前記３次元画像の不透明度に基づいて、前記複数のラベルのうち、表示するラベルを決定し、
前記表示すると決定されたラベルを対応する構造物に付与して、前記ボリュームレンダリング表示される３次元画像とともに表示するに際し、同一のラベルを表示する前記構造物が複数の部分に分断されて、前記ボリュームレンダリング表示される前記３次元画像に存在する場合、特定面積以上となる部分にのみ前記ラベルを付与して表示することを特徴とする３次元画像表示方法。
複数の構造物からなる物体の３次元画像であって、該物体に含まれる複数の構造物のそれぞれにラベルが付与されてなる３次元画像を表示する３次元画像表示方法であって、
前記３次元画像をボリュームレンダリング表示し、
前記ボリュームレンダリング表示される前記３次元画像の不透明度に基づいて、前記複数のラベルのうち、表示するラベルを決定し、
前記表示すると決定されたラベルを対応する構造物に付与して、前記ボリュームレンダリング表示される３次元画像とともに表示するに際し、同一のラベルを表示する前記構造物が複数の部分に分断されて、前記ボリュームレンダリング表示される前記３次元画像に存在する場合、最大面積となる部分にのみ前記ラベルを付与して表示することを特徴とする３次元画像表示方法。
複数の構造物からなる物体の３次元画像であって、該物体に含まれる複数の構造物のそれぞれにラベルが付与されてなる３次元画像を表示する３次元画像表示方法をコンピュータに実行させるためのプログラムであって、
前記３次元画像をボリュームレンダリング表示する手順と、
前記ボリュームレンダリング表示される前記３次元画像の不透明度に基づいて、前記複数のラベルのうち、表示するラベルを決定するに際し、前記３次元画像における視線方向において、前記不透明度によって不透明となる前記３次元画像上の位置と、前記ラベルが付与された前記構造物との距離が特定の値以下の場合に、該特定の値以下となる構造物に付与されたラベルを表示すると決定する手順と、
前記表示すると決定されたラベルを対応する構造物に付与して、前記ボリュームレンダリング表示される３次元画像とともに表示する手順とをコンピュータに実行させることを特徴とするプログラム。
複数の構造物からなる物体の３次元画像であって、該物体に含まれる複数の構造物のそれぞれにラベルが付与されてなる３次元画像を表示する３次元画像表示方法をコンピュータに実行させるためのプログラムであって、
前記３次元画像をボリュームレンダリング表示する手順と、
前記ボリュームレンダリング表示される前記３次元画像の不透明度に基づいて、前記複数のラベルのうち、表示するラベルを決定する手順と、
前記表示すると決定されたラベルを対応する構造物に付与して、前記ボリュームレンダリング表示される３次元画像とともに表示するに際し、同一のラベルを表示する前記構造物が複数の部分に分断されて、前記ボリュームレンダリング表示される前記３次元画像に存在する場合、特定面積以上となる部分にのみ前記ラベルを付与して表示する手順とをコンピュータに実行させることを特徴とするプログラム。
複数の構造物からなる物体の３次元画像であって、該物体に含まれる複数の構造物のそれぞれにラベルが付与されてなる３次元画像を表示する３次元画像表示方法をコンピュータに実行させるためのプログラムであって、
前記３次元画像をボリュームレンダリング表示する手順と、
前記ボリュームレンダリング表示される前記３次元画像の不透明度に基づいて、前記複数のラベルのうち、表示するラベルを決定する手順と、
前記表示すると決定されたラベルを対応する構造物に付与して、前記ボリュームレンダリング表示される３次元画像とともに表示するに際し、同一のラベルを表示する前記構造物が複数の部分に分断されて、前記ボリュームレンダリング表示される前記３次元画像に存在する場合、最大面積となる部分にのみ前記ラベルを付与して表示する手順とをコンピュータに実行させることを特徴とするプログラム。