JP6204891B2 - 画像表示装置、方法、及びプログラム - Google Patents

Description

本発明は、表示画面に３次元画像の互いに交差する複数の断層画像を表示させる画像表示装置、方法、及びプログラムに関する。

近年、患者の検査対象部位が撮影された３次元画像を、その部位が撮影された位置において互いに交差する３次元画像の複数の断層画像、たとえばアキシャル画像、コロナル画像及びサジタル画像（以下、「直交３軸画像」という）の表示を用いて確認したり修正したりすることが行われている。

特許文献１には、３次元画像の直交３軸画像を表示する際に、断層画像同士が交差する３次元画像上の３次元位置に対応する断層画像上の位置にカーソルを表示させ、ユーザ入力によりカーソルが移動される度に、移動後のカーソル位置に対応する３次元画像上の位置で互いに交差する直交３軸画像に表示を変更することにより、ユーザが、断層画像のスライス位置を適宜変化させながら注目する部分を確認および修正できるようにする手法が提案されている。

特許文献２には、表示画面に表示された複数の画像間でカーソルを行き来させながら修正等の作業を行う際に、アクティブとなる画像を切り替えるキー操作に応じて、アクティブとなる画像上の予め定められた位置（中央位置等）にカーソルを移動させることにより、マウスの使用量を少なくして、ユーザの作業負担を軽減させる手法が提案されている。

特開２０１１−２１７９４７号公報 特開２０１０−２４４２２４号公報

たとえば、図９に示すように、４つの表示領域Ｄ１〜Ｄ４から構成される表示画面において、表示領域Ｄ１〜Ｄ３に腎臓領域が撮影された３次元画像の直交３軸画像である３つの断層画像Ｔ１１〜Ｔ１３を表示させ、表示領域Ｄ４に３次元画像から生成した腎臓のボリュームレンダリング画像Ｖを表示させ、さらに、各断層画像Ｔ１１〜Ｔ１３上に画像解析処理等によって求められた腎臓領域の範囲Ｅを表示させ、断層画像Ｔ１１〜Ｔ１３上でカーソルＣが移動される度に、移動後のカーソル位置に対応する３次元画像上の位置で互いに交差する直交３軸画像が表示領域Ｄ１〜Ｄ３に表示されるように表示を変更することによって、ユーザが、マウス操作等によりカーソルＣを移動させ、断層画像のスライス位置を適宜変化させながら腎臓領域の範囲Ｅを確認しさらに必要に応じて追加または削除の修正を行えるようにした場合を考える。ここでは、さらに、腎臓領域の範囲Ｅに対する修正を効率的に行えるようにするために、各断層画像上に、腎臓領域の範囲Ｅに対する修正の指示があった場合にその修正が適用される範囲Ｓを表示させ、追加または削除の修正を指示するユーザ入力に応じて、腎臓領域の範囲Ｅに対して適用範囲Ｓの領域を追加または削除する修正を行えるようにしているものとする。

具体的には、ユーザが、図９に示す表示画面上の断層画像Ｔ１２上で、腎臓領域の範囲Ｅには含まれていない、腎臓が写っている部分に適用範囲Ｓを合せて追加の修正を指示する入力を行うと、腎臓領域の範囲Ｅに適用範囲Ｓの領域が追加され、図１０に示すように、各断層画像Ｔ１１〜Ｔ１３上に追加処理後の腎臓領域の範囲Ｅが表示されることとなる。しかし、図１０に示すように、断層画像Ｔ１１において、上記追加処理で追加された腎臓領域の範囲Ｅの一部が腎臓の写っている領域からはみ出してしまっているので、引き続き、断層画像Ｔ１１上で、そのはみ出している部分を腎臓領域の範囲Ｅから削除するための作業を行う必要がある。

そこで、ユーザが、たとえば図１４に示すように、マウスを動かして表示領域Ｄ２内に存在するカーソルＣを表示領域Ｄ１に向けて直接移動させると、そのカーソルＣの移動に連動して表示領域Ｄ１、Ｄ３に表示される各断層画像のスライス位置が変化してしまうので、ユーザは、カーソルＣを表示領域Ｄ１に移動させた後、さらに、スライス位置が変化する前の断層画像Ｔ１１を見つけ出して表示させた上で、断層画像Ｔ１１上でカーソルＣを現位置から修正作業に必要な位置にまで移動させるという煩雑な作業が必要となり、作業性が悪いという問題がある。なお、図１４では、断層画像Ｔ１２（ｘ＝ｘ１）上でカーソルＣが座標Ｐ１（ｙ１、ｚ１）から座標Ｐ２（ｙ２、ｚ２）へ移動したことによって、表示領域Ｄ１に表示される画像が断層画像Ｔ１１（ｚ＝ｚ１）から断層画像Ｔ２１（ｚ＝ｚ２）に切り替わり、表示領域Ｄ３に表示される画像が断層画像Ｔ１３（ｙ＝ｙ１）から断層画像Ｔ２３（ｙ＝ｙ２）に切り替わっている様子を示している。

また、マウスを動かしてカーソルＣを直接移動させることに代えて、特許文献２に記載の方法により、キー操作に応じて、カーソルＣを断層画像Ｔ１２から断層画像Ｔ１１上の予め定められた位置（中央位置等）に移動させる場合も、ユーザは、キー操作によってカーソルＣを断層画像Ｔ１１上へ移動させた後、さらに、断層画像Ｔ１１上でカーソルＣを現位置から修正作業に必要な位置にまで移動させる作業が必要となり、作業性が悪いという問題がある。

本発明は、上記事情に鑑み、表示画面に表示された３次元画像の互いに交差する複数の断層画像間でカーソルを行き来させながら３次元画像を確認したり修正したりする作業をより効率良く行えるようにすることができる画像表示装置、方法、及びプログラムを提供することを目的とするものである。

本発明の画像表示装置は、表示画面に３次元画像の第１の断層画像を表示させ、かつ、表示された第１の断層画像上にユーザにより操作されるカーソルを表示させ、かつ、カーソルが指し示す第１の断層画像上の２次元位置に対応する３次元画像上の３次元位置で第１の断層画像と交差する１つ以上の第２の断層画像を表示させる表示制御部と、カーソルの移動を指示するボタン操作によるユーザ入力を受け付ける操作受付部と、操作受付部によりボタン操作を受け付けたことに応じて、カーソルが指し示す第１の断層画像上の２次元位置に対応する３次元画像上の３次元位置に対応する、いずれかの第２の断層画像上の２次元位置へカーソルを移動させるカーソル制御部を備えたことを特徴とするものである。

ここで、「断層画像上の２次元位置に対応する３次元画像上の３次元位置」とは、断層画像上の２次元位置における画素（ピクセル）により表される３次元画像上の画素（ボクセル）の３次元位置を意味する。

また、「ボタン操作」の具体例としては、マウスの左ボタンまたは右ボタンのボタン操作、キーボードのボタン（キー）操作、マウスの中央ボタン（ホイールボタン）を前後に動かす操作等が挙げられる。

本発明の画像表示装置は、編集処理を指示するユーザ入力に応じて、カーソルが表示されている第１の断層画像またはいずれかの第２の断層画像上の、カーソルが指し示す２次元位置に対応する３次元画像上の３次元位置を含む３次元画像の部分領域の画像情報、または部分領域の各画素に対応づけられた画像情報以外の情報に対して変更を加える編集処理部を備えたものであってもよい。

ここで、「カーソルが指し示す２次元位置に対応する３次元画像上の３次元位置を含む３次元画像の部分領域」の具体例としては、カーソルが指し示す２次元位置に対応する３次元画像上の３次元位置を中心とした、所定半径の球体領域、所定大きさの直方体または多面体領域等が挙げられる。

本発明の画像表示装置において、表示制御部は、３次元画像に関心領域が設定されている場合、表示画面に表示された第１の断層画像および１つ以上の第２の断層画像上に、設定された関心領域の範囲を視覚的に認識可能に表示させるものであり、編集処理部は、編集処理を指示するユーザ入力に応じて、部分領域の各画素に対応づけられたその画素が関心領域に含まれるか否かを表す情報に対して変更を加えるものであってもよい。

このとき、編集処理部は、たとえば、部分領域の各画素に対応づけられたその画素が関心領域に含まれるか否かを表す情報を全て関心領域に含まれることを表す情報に変更するものであってもよいし、部分領域の各画素に対応づけられたその画素が関心領域に含まれるか否かを表す情報を全て関心領域に含まれないことを表す情報に変更するものであってもよい。

また、「関心領域の範囲を視覚的に認識可能に表示させる」態様の具体例としては、関心領域を他の領域とは異なる色で表示させる態様、関心領域を囲む線を表示させる態様等が挙げられる。

本発明の画像表示装置において、表示制御部は、複数の第２の断層画像を表示させるものであり、操作受付部は、２以上の異なるボタン操作を受け付けるものであり、カーソル制御部は、２以上の異なるボタン操作のうちどのボタン操作がなされたかに応じて、複数の第２の断層画像のうちどの第２の断層画像上へカーソルを移動させるかを決定するものであってもよい。

たとえば、操作受付部は、キーボードの２以上の異なる矢印キーの操作を受け付けるものであり、カーソル制御部は、現在カーソルが位置する第１の断層画像の、操作された矢印キーの方向側に位置する第２の断層画像上へカーソルを移動させるものであってもよい。このとき、操作された矢印キーの方向側に位置する第２の断層画像が２以上存在する場合は、予め定められたルールに従って選択したいずれか一つの第２の断層画像上へカーソルを移動させるようにすればよい。

本発明の画像表示方法は、表示画面に３次元画像の第１の断層画像を表示させ、かつ、表示された第１の断層画像上にユーザにより操作されるカーソルを表示させ、かつ、カーソルが指し示す第１の断層画像上の２次元位置に対応する３次元画像上の３次元位置で第１の断層画像と交差する１つ以上の第２の断層画像を表示させるステップと、カーソルの移動を指示するボタン操作によるユーザ入力を受け付けるステップと、ボタン操作を受け付けたことに応じて、カーソルが指し示す第１の断層画像上の２次元位置に対応する３次元画像上の３次元位置に対応する、いずれかの第２の断層画像上の２次元位置へカーソルを移動させるステップを備えたことを特徴とする。

本発明の画像表示方法は、編集処理を指示するユーザ入力に応じて、カーソルが表示されている第１の断層画像またはいずれかの第２の断層画像上の、カーソルが指し示す２次元位置に対応する３次元画像上の３次元位置を含む３次元画像の部分領域の画像情報、または部分領域の各画素に対応づけられた画像情報以外の情報に対して変更を加えるステップと、表示画面に、画像情報または画像情報以外の情報に変更が加えられてなる３次元画像の、カーソルが指し示す２次元位置に対応する３次元画像上の３次元位置で互いに交差する複数の断層画像を表示させるステップをさらに備えたものであってあってもよい。

本発明の画像表示プログラムは、コンピュータを、表示画面に３次元画像の第１の断層画像を表示させ、かつ、表示された第１の断層画像上にユーザにより操作されるカーソルを表示させ、かつ、カーソルが指し示す第１の断層画像上の２次元位置に対応する３次元画像上の３次元位置で第１の断層画像と交差する１つ以上の第２の断層画像を表示させる表示制御部と、カーソルの移動を指示するボタン操作によるユーザ入力を受け付ける操作受付部と、操作受付部によりボタン操作を受け付けたことに応じて、カーソルが指し示す第１の断層画像上の２次元位置に対応する３次元画像上の３次元位置に対応する、いずれかの第２の断層画像上の２次元位置へカーソルを移動させるカーソル制御部として機能させるためのものである。

本発明の画像表示プログラムは、コンピュータを、編集処理を指示するユーザ入力に応じて、カーソルが表示されている第１の断層画像またはいずれかの第２の断層画像上の、カーソルが指し示す２次元位置に対応する３次元画像上の３次元位置を含む３次元画像の部分領域の画像情報、または部分領域の各画素に対応づけられた画像情報以外の情報に対して変更を加える編集処理部としてさらに機能させるためのものであってもよい。

また、本発明の画像表示プログラムは、通常、複数のプログラムモジュールからなり、上記各部の機能は、それぞれ、一または複数のプログラムモジュールにより実現される。これらのプログラムモジュール群は、ＣＤ−ＲＯＭ，ＤＶＤなどの記録メディアに記録され、またはサーバコンピュータに付属するストレージやネットワークストレージにダウンロード可能な状態で記録されて、ユーザに提供される。

本発明の画像表示装置、方法、及びプログラムによれば、表示画面に３次元画像の第１の断層画像を表示させ、かつ、表示された第１の断層画像上にユーザにより操作されるカーソルを表示させ、かつ、カーソルが指し示す第１の断層画像上の２次元位置に対応する３次元画像上の３次元位置で第１の断層画像と交差する１つ以上の第２の断層画像を表示させ、カーソルの移動を指示するボタン操作によるユーザ入力を受け付け、カーソルが指し示す第１の断層画像上の２次元位置に対応する３次元画像上の３次元位置に対応する、いずれかの第２の断層画像上の２次元位置へ簡単なボタン操作のみでカーソルを移動させるようにしているので、別の断層画像上で続けて確認、修正等の作業を行うことができ、３次元画像の互いに交差する複数の断層画像間でカーソルを行き来させながら３次元画像を確認したり修正したりする作業をより効率良く行えるようにすることができる。

本発明の第１の実施形態を備えた画像処理システムの概略構成を示す図 図１の画像表示装置に実装された機能を示すブロック図 表示制御部により表示される表示画面の一例を示す図 ボタン操作によるカーソルの移動を説明するための図（その１） ボタン操作によるカーソルの移動を説明するための図（その２） 画像表示装置により行われる処理の流れを示すフローチャート 本発明の第２の実施形態を備えた画像処理システムの概略構成を示す図 図７の画像表示装置に実装された機能を示すブロック図 表示制御部により表示される表示画面の一例を示す図 表示制御部により表示される編集処理後の表示画面の一例を示す図 ボタン操作によるカーソルの移動を説明するための図（その１） ボタン操作によるカーソルの移動を説明するための図（その２） 画像表示装置により行われる編集に関する処理の流れを示すフローチャート 発明が解決しようとする課題を説明するための図

以下、図面を参照して、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態を備えた画像処理システムの概略構成を示すブロック図である。図１に示すように、このシステムでは、撮影装置１と、画像保管サーバ２と、本発明の第１の実施形態に係る画像表示装置３とが、ネットワーク９を経由して通信可能な状態で接続されている。

撮影装置１は、患者の検査対象部位を撮影し、撮影で得られた情報に基づいてその部位を表す３次元の画像データ（３次元画像）を生成し、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）規格のファイルとして保存・出力する装置であり、具体的には、ＣＴ（Computed Tomography、コンピュータ断層撮影）装置、ＭＳＣＴ（Multi Slice CT、マルチスライスCT）装置、ＭＲＩ（Magnetic Resonance Imaging、磁気共鳴撮影）装置、ＰＥＴ（positron emission tomography、陽電子放射断層撮影）装置、およびＵＳ（Ultrasonograph、超音波検査）装置等である。

画像保管サーバ２は、撮影装置１により取得された画像をデータベースに保存および管理し、画像表示装置３からの画像の閲覧要求に応じて、データベースを検索し、抽出された画像を画像表示装置３に送信するコンピュータであり、データベースが構成される記憶装置やデータベース管理ソフトウェアを備えている。

画像表示装置３は、ユーザからの要求に応じて、撮影装置１や画像保管サーバ２から画像を取得し表示させるコンピュータであり、ＣＰＵ等が格納される装置本体４と、ディスプレイ等の表示装置５と、マウス、キーボード等の入力装置６とで構成されている。

入力装置６は、本発明の操作受付部に相当し、カーソルの移動等を指示するユーザ入力を受け付ける。本実施形態では、入力装置６は、マウスとキーボードの両方を備え、マウスそのものを動かすユーザ入力を、マウスの移動方向および移動量に応じたカーソルの移動を指示するユーザ入力として受け付け、かつ、キーボードの矢印キー（ボタン部）操作を、現在カーソルが位置する表示画像の、操作された矢印キーの方向側に位置する他の表示画像上へのカーソルの移動を指示するユーザ入力として受け付けるものであるとする。

装置本体４は、ＣＰＵ（Central Processing Unit）４ａ、メモリ４ｂ、およびＨＤＤ（Hard Disk Drive）４ｃで構成されている。そして、ＣＰＵ４ａ、メモリ４ｂ、およびＨＤＤ４ｃは互いにバスラインで接続されている。ＨＤＤ４ｃには、本発明の画像表示プログラムを含む各種プログラムとそのプログラムが参照するデータが記憶されている。ＣＰＵ４ａは、ＨＤＤ４ｃに記憶されているプログラムに従い、メモリ４ｂを一次記憶領域として、各種制御処理、および演算処理を実行する。

図２は、画像表示装置３の機能を示す機能ブロック図である。図２に示すように、画像表示装置３の装置本体４は、ＨＤＤ４ｃに記憶されているプログラムによる情報処理をＣＰＵ４ａが実行することで、画像取得部４１、表示制御部４３およびカーソル制御部４４として機能する。また、メモリ４ｂおよびＨＤＤ４ｃは記憶部４２として機能する。

画像取得部４１は、ユーザからの要求に応じて、撮影装置１や画像保管サーバ２から画像を取得する。たとえば３次元画像を特定して表示を指示するユーザ入力を受けて、撮影装置１や画像保管サーバ２からその特定された３次元画像を取得する。画像取得手段４１により取得された画像は記憶部４２に記憶される。

表示制御部４３は、表示を指示された３次元画像を記憶部４２から読み出して、その３次元画像の互いに交差する複数の断層画像を表示装置５の表示画面に表示させる。たとえば、表示制御部４３は、表示を指示された腎臓領域が撮影された３次元画像を記憶部４２から読み出して、図３に示すように、４つの表示領域Ｄ１〜Ｄ４から構成される表示画面において、表示領域Ｄ１〜Ｄ３に３次元画像の直交３軸画像である３つの断層画像Ｔ１１〜Ｔ１３を表示させ、表示領域Ｄ４に３次元画像から生成した腎臓のボリュームレンダリング画像Ｖを表示させる。

また、表示制御部４３は、断層画像Ｔ１１〜Ｔ１３のいずれか１つの断層画像上の、３つの断層画像Ｔ１１〜Ｔ１３が互いに交差する３次元画像上の３次元位置に対応する位置にカーソルＣを表示させる。また、表示制御部４３は、各断層画像Ｔ１１〜Ｔ１３上およびボリュームレンダリング画像Ｖ上に、３つの断層画像Ｔ１１〜Ｔ１３が互いに交差する３次元画像上の３次元位置を表す十字マークＭを表示させる。

そして、入力装置６がマウスそのものを動かすユーザ入力を受け付けたことに応じて、カーソル制御部４４がマウスの移動方向および移動量に応じてカーソルＣを移動させると、表示制御部４３は、表示領域Ｄ１〜Ｄ３に、移動後のカーソル位置に対応する３次元画像上の３次元位置で互いに交差する直交３軸画像を表示させる。この場合、表示領域Ｄ１〜Ｄ３の少なくとも１つにおいて、断層画像の表示がスライス位置の異なる別の断層画像に変更されることとなる。

カーソル制御部４４は、入力装置６がカーソルＣの移動を指示するユーザ入力を受け付けたことに応じて、そのユーザ入力による指示に従ってカーソルＣを移動させる。上述のように、カーソル制御部４４は、入力装置６がマウスそのものを動かすユーザ入力を受け付けたことに応じて、マウスの移動方向および移動量に応じてカーソルＣを移動させる。また、カーソル制御部４４は、入力装置６がキーボードの矢印キー（ボタン部）操作を受け付けたことに応じて、現在カーソルＣが位置する断層画像の、操作された矢印キーの方向側に位置する他の断層画像上へカーソルＣを移動させる。このとき、カーソル制御部４４は、移動前の断層画像上でカーソルＣが指し示していた２次元位置に対応する３次元画像上の３次元位置に対応する、移動後の断層画像上の２次元位置へカーソルＣを移動させる。この場合、カーソル位置に対応する３次元画像上の３次元位置には変化が無いため、表示領域Ｄ１〜Ｄ３のいずれにおいても、断層画像の表示がスライス位置の異なる別の断層画像に変更されることはない。

例えば、図３に示すように、断層画像Ｔ１２上にカーソルＣが位置している状態で、キーボードの左方向の矢印キーが操作された場合、カーソル制御部４４は、図４に示すように、断層画像Ｔ１２の左側に位置する断層画像Ｔ１１上の、移動前の断層画像Ｔ１２上でカーソルＣが指し示していた２次元位置に対応する３次元画像上の３次元位置に対応する２次元位置（断層画像Ｔ１１上の十字マークＭが表示されている位置）へカーソルＣを移動させる。その後、キーボードの下方向の矢印キーがさらに操作された場合、カーソル制御部４４は、図５に示すように、断層画像Ｔ１１の下側に位置する断層画像Ｔ１３上の、移動前の断層画像Ｔ１１上でカーソルＣが指し示していた２次元位置に対応する３次元画像上の３次元位置に対応する２次元位置（断層画像Ｔ１３上の十字マークＭが表示されている位置）へカーソルＣを移動させる。

次に、画像表示装置３により行われる処理の流れを、図６に示すフローチャートを参照して説明する。まず、３次元画像を特定して表示を指示するユーザ入力を受けて、画像取得部４１が、撮影装置１や画像保管サーバ２からその特定された３次元画像を取得し、表示制御部４３が、表示を指示された３次元画像の互いに交差する複数の断層画像を表示装置５の表示画面に表示させる（Ｓ１１）。次いで、入力装置６において、カーソルの移動を指示するユーザ入力の有無を判断し（Ｓ１２）、カーソルＣの移動を指示するユーザ入力が無いと判断された場合は（Ｓ１２：ＮＯ）、さらに表示終了の指示の有無を判断し（Ｓ１６）、表示終了の指示があったと判断された場合は（Ｓ１６：ＹＥＳ）、処理を終了する。一方、表示終了の指示が無いと判断された場合は（Ｓ１６；ＮＯ）、ステップＳ１２に戻る。

一方、ステップＳ１２において、カーソルＣの移動を指示するユーザ入力があったと判断された場合は（Ｓ１２：ＹＥＳ）、カーソル制御部４４が、ユーザ入力による指示に従ってカーソルＣを移動させる（Ｓ１３）。このとき、カーソル制御部４４は、ステップＳ１２にて受け付けたユーザ入力がマウスそのものを動かすユーザ入力であった場合には、マウスの移動方向および移動量に応じてカーソルＣを移動させ、ステップＳ１２にて受け付けたユーザ入力がキーボードの矢印キー操作によるユーザ入力であった場合には、現在カーソルＣが位置する断層画像の、操作された矢印キーの方向側に位置する他の断層画像上へカーソルＣを移動させる。特に、矢印キー操作によるユーザ入力に応じてカーソルＣを移動させる場合には、移動前の断層画像上でカーソルＣが指し示していた２次元位置に対応する３次元画像上の３次元位置に対応する、移動後の断層画像上の２次元位置へカーソルＣを移動させる。

次いで、表示制御部４３が、カーソル移動の前後で、カーソル位置に対応する３次元画像上の３次元位置に変化があったか否かを判断し（Ｓ１４）、変化が無いと判断された場合は（Ｓ１４：ＮＯ）、ステップＳ１６に進む。一方、ステップＳ１４において変化があったと判断された場合は（Ｓ１４：ＹＥＳ）、表示制御部４３が、移動後のカーソル位置に対応する３次元画像上の３次元位置で互いに交差する複数の断層画像を表示装置５の表示画面に表示させる（Ｓ１５）。この場合、表示画面に表示された少なくとも１つの断層画像がスライス位置の異なる別の断層画像に変更されることとなる。次いで、ステップＳ１６に進み、表示終了の指示の有無を判断する（Ｓ１６）。そして、上述のように、表示終了の指示が無いと判断された場合は（Ｓ１６；ＮＯ）、ステップＳ１２に戻り、表示終了の指示があったと判断された場合は（Ｓ１６：ＹＥＳ）、処理を終了する。

上記構成により、本実施形態の画像表示装置３によれば、表示制御部４３が、表示画面に３次元画像の第１の断層画像（断層画像上Ｔ１２）を表示させ、かつ、表示された第１の断層画像（断層画像上Ｔ１２）上にユーザにより操作されるカーソルＣを表示させ、かつ、カーソルＣが指し示す第１の断層画像（断層画像上Ｔ１２）上の２次元位置に対応する３次元画像上の３次元位置で第１の断層画像（断層画像上Ｔ１２）と交差する１つ以上の第２の断層画像（断層画像Ｔ１１およびＴ１３）を表示させ、入力装置６（操作受付部）が、カーソルＣの移動を指示するボタン操作（キーボードの矢印キー操作）によるユーザ入力を受け付けて、カーソル制御部４４が、カーソルＣが指し示す第１の断層画像（断層画像Ｔ１２）上の２次元位置に対応する３次元画像上の３次元位置に対応する、いずれかの第２の断層画像（断層画像Ｔ１１またはＴ１３）上の２次元位置へ簡単なボタン操作のみでカーソルＣを移動させるようにしているので、別の断層画像上で続けて確認、修正等の作業を行うことができ、３次元画像の互いに交差する複数の断層画像間でカーソルＣを行き来させながら３次元画像を確認したり修正したりする作業をより効率良く行えるようにすることができる。

なお、上記実施の形態では、表示制御部４３が、各断層画像Ｔ１１〜Ｔ１３上およびボリュームレンダリング画像Ｖ上に、３つの断層画像Ｔ１１〜Ｔ１３が互いに交差する３次元画像上の３次元位置を表す十字マークＭを表示させる機能を有するものである場合について説明したが、この機能は必ずしも必要ではなく、必要に応じて備えるようにするとよい。

以下、図面を参照して、本発明の第２の実施形態について説明する。図７は、本発明の第２の実施形態を備えた画像処理システムの概略構成を示すブロック図であり、図８は、本発明の第２の実施形態に係る画像表示装置１０３の機能を示す機能ブロック図である。この実施形態は、上述した第１の実施形態とは、３次元画像の画像情報、または３次元画像の各画素に対応づけられた画像情報以外の情報（たとえば、その画素が関心領域に含まれるか否かを表す情報等）に対して変更を加える編集処理を行うための構成をさらに備えている点でのみ相違する。そこで、以下の説明では、その相違点を中心に説明し、第１の実施形態と同一の構成については、同一の番号を付し、説明を省略する。

入力装置１０６は、本発明の操作受付部に相当し、カーソルＣの移動や編集処理の実行等を指示するユーザ入力を受け付ける。本実施形態では、入力装置１０６は、マウスとキーボードの両方を備え、マウスそのものを動かすユーザ入力を、マウスの移動方向および移動量に応じたカーソルＣの移動を指示するユーザ入力として受け付け、かつ、キーボードの矢印キー（ボタン部）操作を、現在カーソルＣが位置する表示画像の、操作された矢印キーの方向側に位置する他の表示画像上へのカーソルＣの移動を指示するユーザ入力として受け付けるものであるとする。また、マウスのクリック操作を、３次元画像に設定された関心領域に対して所定の部分領域を追加することを指示するユーザ入力として受け付け、かつ、キーボードのコントロールキーを押しながらマウスをクリックする操作を、関心領域から所定の部分領域を削除することを指示するユーザ入力として受け付けるものであるとする。

表示制御部１４３は、表示を指示された３次元画像を記憶部４２から読み出して、その３次元画像の互いに交差する複数の断層画像を表示装置５の表示画面に表示させる。また、表示制御部１４３は、３次元画像に関心領域が設定されており、その設定された関心領域の範囲をさらに表示することを指示するユーザ入力があった場合は、表示画面に表示された複数の断層画像上に、関心領域の範囲を視覚的に認識可能に表示させる。

以下、表示制御部１４３が、表示を指示された腎臓領域が撮影された３次元画像を記憶部４２から読み出して、図９に示すように、４つの表示領域Ｄ１〜Ｄ４から構成される表示画面において、表示領域Ｄ１〜Ｄ３に３次元画像の直交３軸画像である３つの断層画像Ｔ１１〜Ｔ１３を表示させ、表示領域Ｄ４に３次元画像から生成した腎臓のボリュームレンダリング画像Ｖを表示させ、さらに、画像解析処理等によって予め求められた３次元画像中の腎臓領域の範囲Ｅ（関心領域）の情報に基づいて、各断層画像Ｔ１１〜Ｔ１３上に腎臓領域の範囲Ｅを他の領域とは異なる色で表示させる場合を考える。ユーザは、この表示を受けて、腎臓領域の範囲Ｅを確認しさらに必要に応じて追加または削除の編集処理を指示することができる。

表示制御部１４３は、断層画像Ｔ１１〜Ｔ１３のいずれか１つの断層画像上の、３つの断層画像Ｔ１１〜Ｔ１３が互いに交差する３次元画像上の３次元位置に対応する位置にカーソルＣを表示させる。また、表示制御部４３は、各断層画像Ｔ１１〜Ｔ１３上およびボリュームレンダリング画像Ｖ上に、編集処理の適用範囲Ｓを表示させる。編集処理の適用範囲Ｓは、編集処理を指示するユーザ入力に応じて、腎臓領域の範囲Ｅに対して追加または削除される３次元画像の部分領域の範囲を意味する。ここでは、編集処理の適用範囲Ｓは、カーソル位置に対応する３次元画像上の位置を中心とした所定半径の球体領域であるとする。

そして、入力装置１０６がマウスそのものを動かすユーザ入力を受け付けたことに応じて、カーソル制御部４４がマウスの移動方向および移動量に応じてカーソルＣを移動させると、表示制御部１４３は、表示領域Ｄ１〜Ｄ３に、移動後のカーソル位置に対応する３次元画像上の３次元位置で互いに交差する直交３軸画像を表示させる。この場合、表示領域Ｄ１〜Ｄ３の少なくとも１つにおいて、断層画像の表示がスライス位置の異なる別の断層画像に変更されることとなる。

また、入力装置１０６がマウスのクリック操作を受け付けたことに応じて、編集処理部１４５が腎臓領域の範囲Ｅに適用範囲Ｓの領域を追加すると、表示制御部１４３は、各断層画像Ｔ１１〜Ｔ１３上に、追加処理後の腎臓領域の範囲Ｅを表示させる。たとえば、図９に示す状態において、ユーザがマウスのクリック操作を行い、腎臓領域の範囲Ｅに適用範囲Ｓの領域が追加されると、表示制御部１４３は、図１０に示すように、各断層画像Ｔ１１〜Ｔ１３上に、追加処理によって広がった腎臓領域の範囲Ｅを表示させる。

また、入力装置１０６がキーボードのコントロールキーを押しながらマウスをクリックする操作を受け付けたことに応じて、編集処理部１４５が腎臓領域の範囲Ｅから編集処理の適用範囲Ｓの領域を削除すると、表示制御部１４３は、各断層画像Ｔ１１〜Ｔ１３上に、削除処理後の腎臓領域の範囲Ｅを表示させる。

編集処理部１４５は、編集処理を指示するユーザ入力に応じて、３次元画像の画像情報、または３次元画像の各画素に対応づけられた画像情報以外の情報（たとえば、その画素が関心領域に含まれるか否かを表す情報等）に対して変更を加える。たとえば、編集処理部１４５は、図９に示す状態において、入力装置１０６がマウスのクリック操作を受け付けたことに応じて、編集処理の適用範囲Ｓ内の各画素に対応づけられたその画素が腎臓領域に含まれるか否かを表す情報が、全て腎臓領域に含まれることを表す情報となるように、編集処理の適用範囲Ｓ内の少なくとも一部の画素について、その画素が腎臓領域に含まれるか否かを表す情報に変更を加える。この情報の変更により、図１０に示すように、腎臓領域の範囲Ｅに適用範囲Ｓの領域が追加される。

また、編集処理部１４５は、入力装置１０６がキーボードのコントロールキーを押しながらマウスをクリックする操作を受け付けたことに応じて、編集処理の適用範囲Ｓ内の各画素に対応づけられたその画素が腎臓領域に含まれるか否かを表す情報が、全て腎臓領域に含まれないことを表す情報となるように、編集処理の適用範囲Ｓ内の少なくとも一部の画素について、その画素が腎臓領域に含まれるか否かを表す情報に変更を加える。この情報の変更により、３次元画像に設定された腎臓領域の範囲Ｅから適用範囲Ｓの領域が削除される。

カーソル制御部４４は、入力装置１０６がカーソルＣの移動を指示するユーザ入力を受け付けたことに応じて、そのユーザ入力による指示に従ってカーソルＣを移動させる。上述のように、カーソル制御部４４は、入力装置１０６がマウスそのものを動かすユーザ入力を受け付けたことに応じて、マウスの移動方向および移動量に応じてカーソルＣを移動させる。また、カーソル制御部４４は、入力装置１０６がキーボードの矢印キー（ボタン部）操作を受け付けたことに応じて、現在カーソルＣが位置する断層画像の、操作された矢印キーの方向側に位置する他の断層画像上へカーソルＣを移動させる。このとき、カーソル制御部４４は、移動前の断層画像上でカーソルＣが指し示していた２次元位置に対応する３次元画像上の３次元位置に対応する、移動後の断層画像上の２次元位置へカーソルＣを移動させる。この場合、カーソル位置に対応する３次元画像上の３次元位置には変化が無いため、表示領域Ｄ１〜Ｄ３のいずれにおいても、断層画像の表示がスライス位置の異なる別の断層画像に変更されることはない。

例えば、図１０に示すように、断層画像Ｔ１２上にカーソルＣが位置している状態で、キーボードの左方向の矢印キーが操作された場合、カーソル制御部４４は、図１１に示すように、断層画像Ｔ１２の左側に位置する断層画像Ｔ１１上の、移動前の断層画像Ｔ１２上でカーソルＣが指し示していた２次元位置に対応する３次元画像上の３次元位置に対応する２次元位置へカーソルＣを移動させる。その後、キーボードの下方向の矢印キーがさらに操作された場合、カーソル制御部４４は、図１２に示すように、断層画像Ｔ１１の下側に位置する断層画像Ｔ１３上の、移動前の断層画像Ｔ１１上でカーソルＣが指し示していた２次元位置に対応する３次元画像上の３次元位置に対応する２次元位置へカーソルＣを移動させる。

次に、画像表示装置１０３により行われる処理の流れについて説明する。図６は、画像表示の開始から終了までのカーソルＣの移動に関する処理の流れを示すフローチャートであり、図１３は、画像表示の開始から終了までの編集に関する処理の一例を示すフローチャートであり、画像表示装置１０３では、図６，１３の両方のフローチャートにおける、表示の開始から（Ｓ１１，Ｓ２１）、表示終了の指示があったと判断されるまで（Ｓ１６，Ｓ２５：ＹＥＳ）の処理が、同時にまたは順次実行されることとなる。以下、図１３に示すフローチャートを参照して、本実施形態に特有の編集に関する処理の流れについて説明する。

図１３に示すように、まず、３次元画像を特定して表示を指示するユーザ入力を受けて、画像取得部４１が、撮影装置１や画像保管サーバ２からその特定された３次元画像を取得し、表示制御部１０３が、表示を指示された３次元画像の互いに交差する複数の断層画像を表示装置５の表示画面に表示させる（Ｓ２１）。次いで、入力装置１０６において、編集処理を指示するユーザ入力の有無を判断し（Ｓ２２）、編集処理を指示するユーザ入力が無いと判断された場合は（Ｓ２２：ＮＯ）、さらに表示終了の指示の有無を判断し（Ｓ２５）、表示終了の指示があったと判断された場合は（Ｓ２５：ＹＥＳ）、処理を終了する。一方、表示終了の指示が無いと判断された場合は（Ｓ２５；ＮＯ）、ステップＳ２２に戻る。

一方、ステップＳ２２において、編集処理を指示するユーザ入力があったと判断された場合は（Ｓ２２：ＹＥＳ）、編集処理部１４５が、その指示に従って、３次元画像の画像情報、または３次元画像の各画素に対応づけられた画像情報以外の情報（たとえば、その画素が関心領域に含まれるか否かを表す情報等）に対して変更を加える。たとえば、編集処理部１４５は、ステップＳ２２にて受け付けたユーザ入力がマウスのクリック操作であった場合には、３次元画像に設定された関心領域に対して所定の部分領域を追加し、キーボードのコントロールキーを押しながらマウスをクリックする操作であった場合には、３次元画像に設定された関心領域から所定の部分領域を削除する。具体的には、追加または削除される所定の部分領域内の少なくとも一部の画素について、その画素が関心領域に含まれるか否かを表す情報に変更を加える。

次いで、表示制御部１４３が、複数の各断層画像上に編集処理後の関心領域を表示させ（Ｓ２４）、ステップＳ２５に進み、表示終了の指示の有無を判断する（Ｓ２５）。そして、上述のように、表示終了の指示が無いと判断された場合は（Ｓ２５；ＮＯ）、ステップＳ１２に戻り、表示終了の指示があったと判断された場合は（Ｓ２５：ＹＥＳ）、処理を終了する。

上記構成により、本実施形態の画像表示装置１０３によれば、表示制御部１４３が、表示画面に３次元画像の第１の断層画像（断層画像上Ｔ１２）を表示させ、かつ、表示された第１の断層画像（断層画像上Ｔ１２）上にユーザにより操作されるカーソルＣを表示させ、かつ、カーソルＣが指し示す第１の断層画像（断層画像上Ｔ１２）上の２次元位置に対応する３次元画像上の３次元位置で第１の断層画像（断層画像上Ｔ１２）と交差する１つ以上の第２の断層画像（断層画像Ｔ１１およびＴ１３）を表示させ、入力装置１０６（操作受付部）が、カーソルＣの移動を指示するボタン操作（キーボードの矢印キー操作）によるユーザ入力を受け付けて、カーソル制御部４４が、カーソルＣが指し示す第１の断層画像（断層画像Ｔ１２）上の２次元位置に対応する３次元画像上の３次元位置に対応する、いずれかの第２の断層画像（断層画像Ｔ１１またはＴ１３）上の２次元位置へ簡単なボタン操作のみでカーソルＣを移動させるようにしているので、別の断層画像上で続けて確認、修正等の作業を行うことができ、３次元画像の互いに交差する複数の断層画像間でカーソルＣを行き来させながら３次元画像を確認したり修正したりする作業をより効率良く行えるようにすることができる。

また、本実施形態の画像表示装置１０３によれば、３次元画像の画像情報、または３次元画像の各画素に対応づけられた画像情報以外の情報に対して変更を加える編集処理を行うための構成として編集処理部１４５を備えているので、編集処理を指示するユーザ入力に応じて、編集処理部１４５により、カーソルＣが表示されている第１の断層画像またはいずれかの第２の断層画像（図９では、断層画像上Ｔ１２）上の、カーソルＣが指し示す２次元位置に対応する３次元画像上の３次元位置を含む３次元画像の部分領域（編集処理の適用範囲Ｓの領域）の画像情報、またはその部分領域の各画素に対応づけられた画像情報以外の情報に対して変更を加えることができる。

なお、上記実施の形態では、編集処理の適用範囲Ｓが、カーソル位置に対応する３次元画像上の位置を中心とした所定半径の球体領域である場合を例示して説明したが、編集処理の適用範囲Ｓは、カーソルＣが指し示す３次元画像上の３次元位置を中心とした所定大きさの直方体または多面体領域であってもよい。

また、上記実施の形態では、３次元画像に設定された関心領域を視覚的に認識可能に表示させる態様として、関心領域を他の領域とは異なる色で表示させる場合を例示して説明したが、関心領域を囲む線を表示させる等の他の表示態様にて関心領域を視覚的に認識可能に表示させるようにしてもよい。

また、上記実施の形態では、入力装置１０６が、マウスのクリック操作を、関心領域に対して所定の部分領域を追加することを指示するユーザ入力として受け付け、キーボードのコントロールキーを押しながらマウスをクリックする操作を、関心領域から所定の部分領域を削除することを指示するユーザ入力として受け付けるものである場合について説明したが、これに限定されない。入力装置１０６は、カーソルＣの移動を指示する入力操作を除いた、２つの異なる任意の他の入力操作を、関心領域に対して所定の部分領域を追加することを指示するユーザ入力と関心領域から所定の部分領域を削除することを指示するユーザ入力に割り当てて用いることができる。

また、上記第１および第２の実施の形態では、入力装置６，１０６が、キーボードの矢印キー（ボタン部）操作を、現在カーソルＣが位置する表示画像の、操作された矢印キーの方向側に位置する他の表示画像上へのカーソルＣの移動を指示するユーザ入力として受け付けるものである場合について説明したが、これに限定されない。入力装置１０６は、マウスの左ボタンまたは右ボタンのボタン操作、キーボードのボタン（キー）操作、マウスの中央ボタン（ホイールボタン）を前後に動かす操作等の他の任意のボタン操作を、カーソルＣを他の表示画像上の３次元的に対応する位置へ移動させるためのユーザ入力（カーソルの移動を指示するボタン操作）として用いることができる。

また、上記第１および第２の実施の形態では、入力装置６，１０６が、マウスそのものを動かすユーザ入力を、マウスの移動方向および移動量に応じたカーソルＣの移動を指示するユーザ入力として受け付けるものである場合について説明したが、これに限定されない。入力装置１０６は、マウスそのものを動かすユーザ入力に代えて、たとえばキーボードの上下左右のキー操作、トラックボールマウスのボールを手で回転させる操作等の、上記「カーソルの移動を指示するボタン操作」を除いた他の任意の入力操作を、カーソルＣを所定の方向に所定の量だけ移動させるためのユーザ入力として用いることができる。

また、上記第１および第２の実施の形態では、表示制御部４３，１４３が、直交３軸画像を表示させる場合を例示して説明したが、表示制御部４３，１４３は、３次元画像の互いに交差する２以上の断層画像を表示するものであればよく、その２以上の断層画像は互いに直交したものであることを要件としない。

１ 撮影装置
２ 画像保管サーバ
３ 画像表示装置
４ 装置本体
５ 表示装置
６ 入力装置
４１ 画像取得部
４２ 記憶部
４３ 表示制御部
４４ カーソル制御部
１０３ 画像表示装置
１０４ 装置本体
１０６ 入力装置
１４３ 表示制御部
１４５ 編集処理部
Ｃ カーソル
Ｅ 腎臓領域の範囲（関心領域）
Ｓ 編集領域の適用範囲

Claims (8)

1. 表示画面に３次元画像の第１の断層画像を表示させ、かつ、該表示された第１の断層画像上にユーザにより操作されるカーソルを表示させ、かつ、前記カーソルが指し示す前記第１の断層画像上の２次元位置に対応する前記３次元画像上の３次元位置で前記第１の断層画像と交差する１つ以上の第２の断層画像を表示させ、かつ、前記カーソルの前記３次元位置に対応する前記第２の断層画面上の２次元位置にマークを表示させる表示制御部と、
   前記第１の断層画像から前記第２の断層画像のいずれかへの前記カーソルの移動を指示するボタン操作によるユーザ入力を受け付ける操作受付部と、
   該操作受付部により前記ボタン操作を受け付けたことに応じて、前記第１の断層画像から前記いずれかの第２の断層画像の前記マークが表示された位置に前記カーソルを移動させるカーソル制御部と
   を備えたことを特徴とする画像表示装置。
2. 編集処理を指示するユーザ入力に応じて、前記カーソルが表示されている前記第１の断層画像または前記いずれかの第２の断層画像上の、前記カーソルが指し示す２次元位置に対応する前記３次元画像上の３次元位置を含む前記３次元画像の部分領域の画像情報、または前記部分領域の各画素に対応づけられた画像情報以外の情報に対して変更を加える編集処理部を備えた請求項１記載の画像表示装置。
3. 前記表示制御部は、前記３次元画像に関心領域が設定されている場合、前記表示画面に表示された前記第１の断層画像および前記１つ以上の第２の断層画像上に、前記設定された関心領域の範囲を視覚的に認識可能に表示させるものであり、
   前記編集処理部が、前記編集処理を指示するユーザ入力に応じて、前記部分領域の各画素に対応づけられた当該画素が関心領域に含まれるか否かを表す情報に対して変更を加えるものである請求項２記載の画像表示装置。
4. 前記表示制御部が、複数の前記第２の断層画像を表示させるものであり、
   前記操作受付部が、２以上の異なるボタン操作を受け付けるものであり、
   前記カーソル制御部が、前記２以上の異なるボタン操作のうちどのボタン操作がなされたかに応じて、前記複数の第２の断層画像のうちどの第２の断層画像上へ前記カーソルを移動させるかを決定するものである請求項１から３のいずれか１項記載の画像表示装置。
5. 表示画面に３次元画像の第１の断層画像を表示させ、かつ、該表示された第１の断層画像上にユーザにより操作されるカーソルを表示させ、かつ、前記カーソルが指し示す前記第１の断層画像上の２次元位置に対応する前記３次元画像上の３次元位置で前記第１の断層画像と交差する１つ以上の第２の断層画像を表示させ、かつ、前記カーソルの前記３次元位置に対応する前記第２の断層画面上の２次元位置にマークを表示させるステップと、
   前記第１の断層画像から前記第２の断層画像のいずれかへの前記カーソルの移動を指示するボタン操作によるユーザ入力を受け付けるステップと、
   前記ボタン操作を受け付けたことに応じて、前記第１の断層画像から前記いずれかの第２の断層画像の前記マークが表示された位置に前記カーソルを移動させるステップと
   を備えたことを特徴とする画像表示方法。
6. 編集処理を指示するユーザ入力に応じて、前記カーソルが表示されている前記第１の断層画像または前記いずれかの第２の断層画像上の、前記カーソルが指し示す２次元位置に対応する前記３次元画像上の３次元位置を含む前記３次元画像の部分領域の画像情報、または前記部分領域の各画素に対応づけられた画像情報以外の情報に対して変更を加えるステップと、
   前記表示画面に、前記いずれかの情報に変更が加えられてなる３次元画像の、前記カーソルが指し示す２次元位置に対応する前記３次元画像上の３次元位置で互いに交差する複数の断層画像を表示させるステップと
   を備えた請求項５記載の画像表示方法。
7. コンピュータを、
   表示画面に３次元画像の第１の断層画像を表示させ、かつ、該表示された第１の断層画像上にユーザにより操作されるカーソルを表示させ、かつ、前記カーソルが指し示す前記第１の断層画像上の２次元位置に対応する前記３次元画像上の３次元位置で前記第１の断層画像と交差する１つ以上の第２の断層画像を表示させ、かつ、前記カーソルの前記３次元位置に対応する前記第２の断層画面上の２次元位置にマークを表示させる表示制御部と、
   前記第１の断層画像から前記第２の断層画像のいずれかへの前記カーソルの移動を指示するボタン操作によるユーザ入力を受け付ける操作受付部と、
   該操作受付部により前記ボタン操作を受け付けたことに応じて、前記第１の断層画像から前記いずれかの第２の断層画像の前記マークが表示された位置に前記カーソルを移動させるカーソル制御部として機能させるための画像表示プログラム。
8. コンピュータを、
   編集処理を指示するユーザ入力に応じて、前記カーソルが表示されている前記第１の断層画像または前記いずれかの第２の断層画像上の、前記カーソルが指し示す２次元位置に対応する前記３次元画像上の３次元位置を含む前記３次元画像の部分領域の画像情報、または前記部分領域の各画素に対応づけられた画像情報以外の情報に対して変更を加える編集処理部としてさらに機能させるための請求項７記載の画像表示プログラム。