JP5866177B2

JP5866177B2 - 画像処理装置および画像処理方法

Info

Publication number: JP5866177B2
Application number: JP2011246279A
Authority: JP
Inventors: 岡　正昭; 正昭岡; 悟世古; 岡本　好喜; 好喜岡本; 原　雅明; 雅明原
Original assignee: Sony Interactive Entertainment Inc; Sony Corp; Sony Computer Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc; Sony Corp
Priority date: 2011-11-10
Filing date: 2011-11-10
Publication date: 2016-02-17
Anticipated expiration: 2031-11-10
Also published as: EP2779109B1; EP2779109A4; CN103918013A; EP2779109A1; WO2013069215A1; CN103918013B; US9466146B2; JP2013105188A; US20140306952A1

Description

本発明は、対象物に係る情報を画像として可視化する画像処理装置、および当該装置で用いる画像処理方法に関する。

電子線、Ｘ線、磁場などを利用して対象物の断面形状や内容物の情報を取得する技術は、透過電子顕微鏡、ＣＴ（Computed Tomography）、ＭＲＩ(Magnatic Resonance Image）などで実用化されている。この技術では対象物の断面ごとの情報を、断面と垂直な軸方向に取得していくことにより、対象物全体の積層画像情報として保持することができる。積層画像情報は、上記のような比較的大規模な装置によって得られるものに限らず、可視光やレーザーなどを利用した断面形状計測装置などによっても得られる。

上記のような技術において得られる情報は、断面を構成する２次元平面と、それに垂直な軸とからなる３次元空間における情報となるため、それを一般的な２次元の画像として、容易に理解できるように可視化することは難しい。最も単純には、断面の２次元の情報を軸方向の位置を変化させながら表示することが考えられるが、この場合、軸方向における対象物の大きさや位置の把握が困難となる。またボクセルごとにデータを取得しボリュームレンダリングを行う手法も実用化されているが、データの取得、格納、画像描画に必要なリソースや処理の負荷が増大するとともに、データの加工や操作に対する自由度が低い、といった問題がある。

本発明はこのような課題に鑑みてなされたものであり、その目的は、積層画像情報を容易に可視化する画像処理技術を提供することにある。

本発明のある態様は画像処理装置に関する。この画像処理装置は、所定の軸上の異なる位置において同じ角度で交差する複数のスライス面上に得られた値の分布情報を取得するデータ取得部と、スライス面上の各位置における値に基づきアルファ値を含む画素値を決定することにより分布情報を画像として表すスライス画像をスライス面ごとに生成するスライス画像生成部と、スライス画像を軸上の対応する位置に配列させ、入力された視点の位置に応じてアルファブレンディング描画することにより、複数のスライス面によって構成される３次元空間を３次元オブジェクトとして表示する画像描画部と、を備えたことを特徴とする。

ここで「スライス面上に得られた値」はセンサなどによって実際に計測された値や当該計測値に何らかの演算を施した値でもよいし、ＣＡＤ（Computer Aided Design)やゲームなどによって算出された計算値でもよい。したがって「スライス面」は実空間における平面または曲面、あるいは仮想空間における平面または曲線のいずれでもよい。

本発明の別の態様も画像処理装置に関する。この画像処理装置は、所定の軸上の異なる位置において同じ角度で交差する複数のスライス面上に得られた値の分布情報について、スライス面上の各位置における値に基づきアルファ値を含む画素値を決定することにより生成された、分布情報を画像として表すスライス画像のデータを格納したスライス画像記憶部と、入力された視点の位置に応じてスライス画像のデータをスライス画像記憶部から描画用メモリにロードするスライス画像管理部と、スライス画像管理部によるロード処理と並行して、描画用メモリにロードされた順に、スライス画像を軸上の対応する位置に配列させアルファブレンディング描画することにより、複数のスライス面によって構成される３次元空間を３次元オブジェクトとして表示する画像描画部と、を備えたことを特徴とする。

本発明のさらに別の態様は画像処理方法に関する。この画像処理方法は、画像処理装置において所定の軸上の異なる位置において同じ角度で交差する複数のスライス面上に得られた値の分布情報を取得するステップと、スライス面上の各位置における値に基づきアルファ値を含む画素値を決定することにより分布情報を画像として表すスライス画像のデータをスライス面ごとに生成するステップと、各スライス画像を軸上の対応する位置に配列させ、入力装置から入力された視点の位置に応じてアルファブレンディング描画することにより、複数のスライス面によって構成される３次元空間を３次元オブジェクトとして表示装置に表示するステップと、を含むことを特徴とする。

本発明のさらに別の態様は画像ファイルのデータ構造に関する。この画像ファイルのデータ構造は、所定の軸上の異なる位置において同じ角度で交差する複数のスライス面上に得られた値の分布情報について、スライス面上の各位置における値に基づきアルファ値を含む画素値を決定することにより生成された、分布情報を画像として表すスライス画像のデータと、軸の方向および軸上の位置と、を対応づけた画像ファイルのデータ構造であって、画像処理装置において、スライス画像を軸上の対応する位置に配列させ、入力された視点の位置に応じてアルファブレンディング描画することにより、複数のスライス面によって構成される３次元空間を３次元オブジェクトとして表示装置に表示するためにメモリにロードされることを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によると、積層画像情報を容易かつ低いリソースコストで、ユーザが望む形態に可視化することができる。

本実施の形態の画像処理技術を適用できる画像処理システムの構成例を示す図である。本実施の形態においてセンサ群が計測した結果、画像処理装置が取得する情報の形態を模式的に示す図である。本実施の形態において画像処理装置が生成し表示装置に表示される画像の例を示す図である。本実施の形態における画像処理装置の構成を詳細に示す図である。本実施の形態における画像データ生成部がスライス画像のデータを生成する処理手順を示すフローチャートである。図５のＳ１２においてスライス画像のアルファ値を決定する手法の例を示す図である。図５のＳ１２においてスライス画像のアルファ値を決定する手法の別の例を示す図である。本実施の形態のアルファ値の設定においてノイズの発生を抑える手法を説明するための図である。本実施の形態において表示処理部が３次元オブジェクトの表示処理を行う処理手順を示すフローチャートである。図９のＳ４０において、画像描画部がアルファブレンディング描画を行う様子を模式的に示す図である。本実施の形態においてスクリーン上の点におけるＲＧＢの値を求める処理手順を示すフローチャートである。図９のＳ３４において、スライス画像管理部が視点に応じて必要なスライス画像のデータを決定する処理を説明するための図である。本実施の形態においてスライス画像を切り替える境界線の角度を決定する手法の例を説明するための図である。本実施の形態において３次元オブジェクトを描画する別の手法を説明するための図である。本実施の形態において先に付加オブジェクトを描画してから３次元オブジェクトを描画する処理手順を模式的に示す図である。本実施の形態において付加オブジェクトを描画する別の手法の処理手順を模式的に示す図である。本実施の形態において３次元オブジェクトを動画として表示する際のスライス画像データの読み出し手順を模式的に示す図である。本実施の形態において部分円筒状の曲面あるいは部分球面に対する分布を計測する場合のスライス画像の形状を模式的に示す図である。

図１は本実施の形態の画像処理技術を適用できる画像処理システムの構成例を示す。画像処理システム１０は、それぞれが所定の計測を行うセンサ１２＿１、１２＿２、・・・１２＿ＮからなるＮ個のセンサ群１２、各センサから計測結果を取得し可視化する画像処理装置２０、ユーザが画像処理装置２０への指示入力を行うための入力装置１５、画像処理装置２０が生成した画像を表示する表示装置１４を含む。

画像処理装置２０と、センサ群１２、表示装置１４とは、有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。センサ群１２、画像処理装置２０、表示装置１４のうちいずれか２つ、または全てが組み合わされて一体的に装備されていてもよい。

また後述するように画像処理装置２０が行う処理には、計測結果から基本となる２次元画像データを生成する段階と、２次元画像データから表示画像を生成する段階があり、それぞれを独立に行えるため、画像処理装置２０、センサ群１２、表示装置１４の全てが同時に接続されていなくてもよい。表示装置１４は、液晶ディスプレイやプラズマディスプレイなど単体で画像を表示する装置でもよいし、画像を投影するプロジェクターとスクリーンとの組み合わせなどでもよい。

Ｎ個のセンサ１２＿１、１２＿２、・・・、１２＿Ｎはそれぞれ所定の物理量を、対象物１６を横切る平面１８など、所定の位置および向きの複数の平面における分布として取得する。ここで所定の物理量とは、色、温度、含有水分、硬度など、一般的なセンシング技術により可視光、Ｘ線、磁気、電気、超音波などを利用して求められる情報であればその種類は限定されない。また図中、センサ１２＿１、１２＿２、・・・、１２＿Ｎの配置や形状はあくまで例示であり、用いるセンシング技術によって様々な態様が考えられることは当業者には理解されるところである。

画像処理装置２０は、センサ群１２が計測した複数の平面における物理量の分布を統合し、当該平面が積層した計測空間を３次元のオブジェクトとして可視化する。当該オブジェクトは、入力装置１５を介して受け付けたユーザからの視点移動要求に応じて任意の方向から見ることを可能にする。画像処理装置２０はその他、センサ群１２が物理量を取得する対象となる平面を制御したり、表示装置１４における表示を制御したりするなど、画像処理システム１０全体を統括的に制御する。

なおセンサ群１２を含み、センサによる計測処理や積層画像情報の出力を制御する機構を有するセンシング装置を、画像処理装置２０とは個別に導入してもよい。そしてセンサが計測した物理量の分布を当該センシング装置が内部で画像化し、画像処理装置２０はその画像データを取得するようにしてもよい。この場合、センサが計測した物理量に代わり、ＲＧＢなどの画素値の分布が得られることになるが、以後の説明ではそのような画素値も「物理量」として同様に扱う。

表示装置１４は、画像処理装置２０が物理量の分布を可視化した結果として生成した３次元オブジェクトを含む画像を表示する。入力装置１５は、上述のように、表示装置１４に表示された３次元オブジェクトに対する視点移動要求のほか、センサ群１２による物理量の計測開始、計測結果の取得開始、画像やデータの加工、表示装置１４によるオブジェクト表示の開始などの要求をユーザより受け付け、画像処理装置２０へ通知する。入力装置１５は図示するマウスの他、キーボード、コントローラ、ジョイスティックなど一般的な入力装置のいずれかでよく、表示装置１４の画面に搭載したタッチパネルなどでもよい。

図２はセンサ群１２が計測した結果、画像処理装置２０が取得する情報の形態を模式的に示している。センサ群１２に含まれる各センサは、同図に示すように所定の軸（ｚ軸）と垂直な複数の平面１９ａ、１９ｂ、・・・、１９ｎに対して所定の物理量の分布を取得する。平面１９ａ、１９ｂ、・・・、１９ｎはｚ軸に対し異なる位置にあり、それに垂直なｘｙ平面に対して同じ範囲にあるとする。

以後、同図のｚ軸のように、センサ群１２によって物理量の分布を取得する平面を移動させる方向を「センサ軸」と呼び、当該平面を「スライス平面」と呼ぶ。センサ群１２を、センサ軸が複数設定できるように設けてもよい。この場合、複数のスライス平面群が各センサ軸に対し設定され、それぞれの平面に対して物理量の分布が得られる。なお図２においてスライス平面はセンサ軸に垂直であったが、計測する物理量やセンサの構造などによって必ずしも垂直である必要はない。

「分布」はそのような各スライス平面上の位置座標に対する値として得られるため、図１に示すようにセンサ群１２がＮ個のセンサ１２＿１、１２＿２、・・・、１２＿Ｎからなるとすると、あるスライス平面上のある位置に対する値がＮ個得られることになる。結果として画像処理装置２０が取得する情報は、各スライス平面１９ａ、１９ｂ、・・・、１９ｎに対して設定した複数の位置Ｐ１、Ｐ２、・・・ごとに、その位置座標（ｘ，ｙ）と、Ｎ個の値からなるベクトル値（Ｖ＿１，Ｖ＿２，・・・，Ｖ＿Ｎ）を対応づけた情報となる。

なお位置Ｐ１、Ｐ２、・・・は、実際には一般的な画素程度の間隔で設定してよく、センサの分解能などによっては適宜、計測値の補間や間引きを行うことにより、各位置Ｐ１、Ｐ２、・・・に対して同じ次元数のベクトル値が得られるようにする。センサ群１２が所定の時間間隔で計測を繰り返し、画像処理装置２０は図２で示した情報を各時刻で取得してもよい。この場合、最終的に表示される３次元オブジェクトは時間経過とともに変化する動画となる。

図３は画像処理装置２０が生成し表示装置１４に表示される画像の例を示している。画像例４は、図２で示した計測情報を可視化したものであり、計測空間を示す３次元オブジェクト６の内部に対象物１６が内在した状態で表示される。ユーザは入力装置１５を操作することにより仮想的な視点を移動させ、３次元オブジェクト６を所望の角度に回転させることができるため、対象物の裏側や側面を確認することができる。

また３次元オブジェクト６中、対象物１６以外の領域、対象物１６の領域、など所望の領域の透過率をユーザの操作により変化させ、透明または半透明とすることができる。これにより対象物が複数ある場合もそれらの位置関係や大きさを所望の方向から観察できる。３次元オブジェクトの対象物以外の領域を透明になるように表示した場合などは、３次元オブジェクトは目視できず、対象物だけが目視できる状態となる。以後の説明ではこのような透明な領域も含め「３次元オブジェクト」としている。３次元オブジェクト６を動画とした場合、対象物の動きや新たな対象物の生成なども観測できる。また、矢印形状のカーソル８など、計測結果とは別のオブジェクトを３次元オブジェクト６の内部に入り込んだ形で表示させることもできる。

図４は画像処理装置２０の構成を詳細に示している。図４において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Porcessing Unit)、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、画像処理を行うプログラムなどによって実現される。

したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。また画像処理装置２０は上述のとおり、画像処理システム１０内の他の装置とのデータの送受信制御などを行うが、このような処理には一般的な技術を適用できるためここでは図示を省略している。

画像処理装置２０はセンサからの出力情報を取得し、表示に用いる２次元画像データを生成する画像データ生成部３０、および当該２次元画像データを利用して３次元オブジェクトを描画する表示処理部３２を含む。なお上述のとおり、画像データ生成部３０が行う処理と表示処理部３２が行う処理は独立して実施可能であるため、同じ装置内に双方を設けず、それぞれの機能を有する個別の装置としてもよい。

画像データ生成部３０は、センサ群１２からの出力データを取得するセンサ出力データ取得部４２、分布を取得したスライス平面ごとに２次元画像のデータを生成するスライス画像生成部４４、センサ軸と異なる軸と所定の角度を有する複数の平面に対し同様の２次元画像のデータを生成する画像軸変換部５０、センサ出力データ取得部４２が生成したデータを格納するベクトル値情報記憶部４６、スライス画像生成部４４および画像軸変換部５０が生成したデータを格納するスライス画像記憶部４８を含む。

センサ出力データ取得部４２は、センサ群１２からスライス平面ごとに物理量の分布情報を取得し、図２で示したような、位置座標とベクトル値とを対応づけたベクトル値情報を生成する。ベクトル値情報はスライス平面の識別情報に対応づけてベクトル値情報記憶部４６に一旦格納し、その旨をスライス画像生成部４４および画像軸変換部５０に通知する。ここでスライス平面の識別情報は、センサ軸の向きと当該センサ軸上の位置などによって構成する。

スライス画像生成部４４は、ベクトル値情報記憶部４６に格納されたベクトル値情報に基づき、スライス平面ごとに、３次元オブジェクトの元となる２次元画像のデータを生成する。以後、このような２次元画像を「スライス画像」と呼ぶ。スライス画像は画素ごとに、色空間の情報のほか、透過率を表すアルファ値を保持する。画像表示段階でスライス画像をセンサ軸方向に配列し、アルファブレンディング描画することにより、３次元オブジェクトの内部が透けて見えるように表現する。色空間情報およびアルファ値の設定手法については後に詳述する。生成したスライス画像のデータは、スライス平面の識別情報に対応づけてスライス画像記憶部４８に格納する。また、アルファ値をスライス画像の画素値から計算する方法もあり、この場合、描画部でアルファ値を計算しつつブレンディングに使えばアルファ値をスライス画像記憶部に格納する必要がなくなる。

画像軸変換部５０は、センサ軸とは異なる所定の軸、例えば図２のようにｚ軸をセンサ軸としたとき、それと直交するｘ軸およびｙ軸のそれぞれに対し、それと所定の角度を有する複数の平面を発生させ、各平面に対し、図２で示したのと同様のベクトル値情報を生成する。すなわちセンサ群１２が計測したスライス平面上の物理値から、向きの異なる平面上の各位置に対応する値を拾っていくことにより、当該平面に対する分布としてデータを再構築する。

そしてスライス画像生成部４４と同様の処理によって、各平面に対応する２次元画像のデータを生成する。以後、この２次元画像も「スライス画像」と呼ぶが、このときの平面に対する軸を「画像軸」として「センサ軸」と区別する。画像軸変換部５０が生成したスライス画像のデータも、画像軸の向きと当該軸上の位置に対応づけてスライス画像記憶部４８に格納する。

表示処理部３２は、視点の位置などに応じて描画に用いるスライス画像を管理するスライス画像管理部５２、描画に必要な画像のデータを逐次格納する描画用メモリ５６、カーソルなど付加的に表示するオブジェクトの画像データを格納する付加オブジェクト画像記憶部５８、スライス画像のデータを用いて３次元オブジェクトを描画する画像描画部５４を含む。

スライス画像管理部５２は、視点の移動によって描画に用いるスライス画像の軸を切り替え、スライス画像記憶部４８から必要なスライス画像のデータを描画用メモリ５６に読み出す。なお画像データ生成部３０が生成したスライス画像から即時にオブジェクトを生成する場合などは、スライス画像記憶部４８が描画用メモリ５６を兼ねていてもよい。一方、二次記憶装置などで実装されるスライス画像記憶部４８にスライス画像のデータを全て格納してしまい、表示段階として別の機会に描画用メモリ５６にロードする態様においては、描画に必要な順にデータを徐々にロードしながら描画処理を行う。

３次元オブジェクトを描画する際は基本的に、視点から遠い順にスライス画像をアルファブレンディング処理により重ねていく。従って描画用メモリ５６へのスライス画像データのロードも基本的にはその順で行う。これにより視点移動などによって別のスライス画像が必要となっても表示までのレイテンシを抑えることができる。このロード処理は、スライス画像管理部５２が制御するメモリコントローラなどによって行ってよい。

スライス画像管理部５２はさらに、視点と３次元オブジェクトとの距離の減少に応じて、スライス画像間の補間を行う。スライス画像はセンサ軸または画像軸上の離散的な位置に対して生成されており、視点がオブジェクトに近づくとその不連続性が視認されやすくなる。そこで、隣り合うスライス画像の画素値を軸上の位置に対して補間する画素値を有する新たなスライス画像を生成する。生成したスライス画像を元のスライス画像間に挿入し、スライス画像の間隔を狭くすることにより不連続性を目立たなくさせる。挿入するスライス画像の枚数は、視点までの距離に反比例するように徐々に増加させてもよいし、距離としきい値との比較によって段階的に増加させてもよい。

画像描画部５４は、必要なスライス画像のデータが描画用メモリ５６にロードされた旨の通知をスライス画像管理部５２から取得すると、当該データを用い、３次元オブジェクトを描画する。基本的には、各スライス画像を軸上のそれぞれの位置に配列させ、視点から遠いスライス画像から順にスクリーン座標へ投影することで重ね合わせを行う。このようにして表される計測空間の３次元オブジェクトは、アルファ値の設定によって、例えば対象物のない空間などは透明、あるいは半透明の状態となる。そこで画像描画部５４はさらに、このような空間にカーソルなどの付加オブジェクトを描画する。

付加オブジェクトはユーザが入力装置１５を介して動かせるようにしたり、対象物に追随して動かしたり発生させたりする。そのため画像描画部５４は、それらのモードに応じて付加オブジェクトの表示位置を計算したうえ、画像のデータを描画用メモリ５６に読み出し、描画する。さらに画像描画部５４は、複数の視点について同様の３次元オブジェクト描画処理を行うことにより立体視を実現してもよい。この場合の視点の相対位置などは導入する立体視の方式に応じて適宜決定できる。

次に、上記のような構成によって実現できる画像処理装置２０の動作について説明する。図５は画像データ生成部３０がスライス画像のデータを生成する処理手順を示すフローチャートである。まずセンサ出力データ取得部４２は、入力装置１５を介したユーザの指示などに応じて、センサ軸の複数のスライス平面に対するＮ個の物理量の分布をセンサ群１２から取得し、各平面上の位置と、物理量のセットからなるベクトル値とを対応づけたベクトル値情報を生成する（Ｓ１０）。

この処理においてベクトル値情報に含まれるベクトル値は、センサ群１２から送信されたＮ個の物理量そのものでなくてもよい。例えば最終的に表示させたい情報などに鑑み必要のない物理量を要素から除外してもよいし、異なる物理量同士で演算を行った結果得られた値をベクトル値の新たな要素として追加してもよい。また、ある物理量がしきい値を超えたら別の物理量を０とするなど、しきい値判定によるマスキングを行ってもよい。例えばある温度以下の対象物のみを表示する場合などはこの手法が有効である。

このように計測値を操作して得られるベクトル値情報を複数パターン生成するようにし、表示時の操作によって表示対象を切り替えてもよい。物理量の具体的な加工規則は、ユーザが決定するなどして付加データとして図示しないメモリなどに記憶させておき、センサ出力データ取得部４２がベクトル値情報作成時に参照する。

次にスライス画像生成部４４は、各スライス平面に設定した２次元配列の画素ごとに、ベクトル値に基づきアルファ値を決定する（Ｓ１２）。アルファ値の具体的な決定手法は後述する。さらにスライス画像生成部４４は、ベクトル値に基づき当該画素ごとに色情報を決定することで、画素値として色情報およびアルファ値を保持するスライス画像のデータを生成し、スライス画像記憶部４８に格納する（Ｓ１４）。ＲＧＢ、ＹＣｂＣｒなど、色情報の表色系は限定されない。また上述したように、画像描画部５４における描画時にスライス画像からアルファ値を生成する場合、スライス画像生成部４４ではアルファ値を設定する必要がないためスライス画像記憶部４８にはアルファ値が格納されない。

色情報は、物理量の種類や表示目的などに応じてあらかじめ設定した規則に従い決定する。例えば３つのセンサ１２＿１、１２＿２、１２＿３が計測した値をそれぞれ、赤色の輝度、緑色の輝度、青色の輝度としてＲＧＢを表してもよい。この場合、最終的に表示される３次元オブジェクトにおいて、センサ１２＿１が計測する物理量が大きくなる物質は赤色、１２＿２が計測する物理量が大きくなる物質は緑色、１２＿３が計測する物理量が大きくなる物質は青色が強く表れ、物質によって色分けができる。

あるいは、あるセンサ１２＿１が計測したひとつの値をＲ、Ｇ、Ｂの全てに代入し、白色の輝度によって物理量の大小を表すなどでもよい。アルファ値や色情報の決定規則は、ユーザが表示内容や表示目的などに応じて適宜決定し、図示しないモリなどに記憶させておく。または実際の表示を確認しながら、入力装置１５を介してその場で設定していくようにしてもよい。

センサ軸に対する全てのスライス画像を生成するまで、Ｓ１２とＳ１４の処理を繰り返す（Ｓ１６のＮ、Ｓ１２、Ｓ１４）。全てのスライス画像が生成されたら、画像軸変換部５０は、所定の画像軸に対するスライス平面を、物理量が得られている位置で複数準備し、各平面上の位置と、物理量のセットからなるベクトル値とを対応づけたベクトル値情報を、画像軸ごとに生成する（Ｓ１６のＹ、Ｓ１８のＮ、Ｓ２０、Ｓ１０）。あとは上記と同様、各平面上に設定した画素に対しアルファ値と色情報を決定しスライス画像を生成、格納する処理を、各軸に対する全スライス画像が生成されるまで繰り返す（Ｓ１２、Ｓ１４、Ｓ１６のＮ）。

全ての画像軸に対し全てのスライス画像が生成されたら（Ｓ１８のＹ）、別のセンサ軸によって物理量が取得できる環境であればＳ１０からＳ２０の処理を繰り返す（Ｓ２２のＮ）。全てのセンサ軸でスライス画像が生成されたら処理を終了する（Ｓ２２のＹ）。本実施の形態において最終的に表示する３次元オブジェクトを好適に描画するためには、３つの軸に対するスライス画像を準備することが望ましい。最も単純には互いに直交するｘ軸、ｙ軸、ｚ軸に対してスライス画像を生成する。これらの３方向の軸のいずれを画像軸としてもよいし、画像軸が含まれなくてもよい。

つまり当該３方向の軸をセンサ軸として計測可能であれば画像軸変換部５０は処理を行わなくてもよい。一方、センサ軸が一方向のみの場合、その他の画像軸に対するスライス画像は画像軸変換部５０が生成し、Ｓ２２の分岐はなくなる。センサ軸が２方向のときは残りの１方向を画像軸として画像軸変換部５０がスライス画像を生成するなど、センサ軸として設定できる方向やその数に応じて画像軸の設定は適宜変化させてよい。

図６は図５のＳ１２においてスライス画像のアルファ値を決定する手法の例を示している。同図上側が、あるスライス平面１９ｉにおけるベクトル値情報を、下側が、対応するスライス画像１００ａにおいて設定するアルファ値を、それぞれ模式的に表している。スライス平面１９ｉにおいて、例えば対象物が存在する領域１０２とそれ以外の領域１０４とでは、そのベクトル値の少なくともいずれかが大きく変化する。同図ではその差を２種類の網掛けで表している。

この差を反映したアルファ値を設定するため、次のような条件分岐を行う。
if max(V_1, V_2, ・・・, V_N) < Th
A = 0;
else A = 1;

ここでＴｈはあらかじめ定めたしきい値、Ａは各画素に与えるアルファ値である。つまりベクトル値(V_1, V_2, ・・・, V_N)のうち最大値がしきい値Ｔｈより小さければアルファ値は０、しきい値Ｔｈ以上であればアルファ値は１とする。図６のスライス画像１００ａにおいて、領域１０２はアルファ値が１、領域１０４はアルファ値が０であることを、それぞれ白色、黒色で示している。ベクトル値情報のスライス平面においてベクトル値を保持する位置と、スライス画像において画素を定義する位置は異なっていてもよく、その場合は前者の位置においてアルファ値を決定し、それを適宜補間することによって画素ごとの値を決定する。

上記のような条件を用いる場合、ベクトル値を構成する物理量の種類が異なるときは、スケールをそろえるために全ての値を正規化しておく。また分岐判断の対象とする物理量を選択してから条件分岐させてもよい。対象物の範囲で値が高くなる物理量をベクトル値に含めたうえこのような条件分岐によりアルファ値を与えると、対象物のない領域は透明に、対象物のある領域は不透明になる。結果としてαブレンディング描画した際、対象物のない領域のみその向こう側が見渡せるような表示となる。

図７はスライス画像のアルファ値を決定する手法の別の例を示している。図の表し方は図６と同様である。この場合の条件分岐は次のように設定している。
if max(V_1, V_2, ・・・, V_N) < Th
A = 0;
else A = max(V_1, V_2, ・・・, V_N);

ベクトル値(V_1, V_2, ・・・, V_N)のうち最大値がしきい値Ｔｈより小さければアルファ値を０とする点は図６と同じであるが、最大値がしきい値Ｔｈ以上のときは、この最大値自身をアルファ値とする。ここでベクトル値を構成する各物理量は正規化されているものとする。同図のスライス画像１００ｂでは、領域１０２のアルファ値がＴｈ≦Ａ≦１の範囲で変化していることをグラデーションで表している。

このような条件分岐によれば、例えば対象物の内部における物理量の変化を色の透過率によって表すことができる。また図６に示した例に比べ、対象物の輪郭付近でのアルファ値を緩やかに変化させることができるため、輪郭にジャギーやノイズが発生しても目立ちにくい。

ベクトル値からアルファ値を決定するための条件はこの他にも様々考えられる。例えば図７の場合と逆に、次のような条件分岐を設定してもよい。
if max(V_1, V_2, ・・・, V_N) < Th
A = max(V_1, V_2, ・・・, V_N);
else A = 1;

この設定によれば、対象物のない領域などにおいて、ベクトル値を構成する物理量の大きさに応じてアルファ値を変化させることができる。例えば対象物の周辺温度や周囲の湿度などを色の透過率によって表すことができる。

さらに、ベクトル値を構成する物理量のうち１つの物理量Ｖ＿ｉにのみ着目することにより、次のような条件分岐も考えられる。
if V_i < Th
A = 0;
else A = 1;
または
if V_i < Th
A = 0;
else A = V_i;

上記の２つの条件分岐は１つの物理量Ｖ＿ｉを分岐判断の対象とする以外は、図６および図７に示したのと同様である。例えば物質によって異なる物理量が高くなる場合、対象とする物理量Ｖ＿ｉを切り替えることにより、対象物として表示する物質を切り替えることができる。

さらにしきい値をＴｈ１、Ｔｈ２（Ｔｈ１＜Ｔｈ２）の２つ設け、以下の条件分岐を設定してもよい。
if max(V_1, V_2, ・・・, V_N) < Th2 || min(V_1, V_2, ・・・, V_N) > Th1
A = 0;
else A = 1;

つまりベクトル値(V_1, V_2, ・・・, V_N)のうち最大値が大きい方のしきい値Ｔｈ２より小さいか、最小値が小さい方のしきい値Ｔｈ１より大きい場合、すなわちベクトル値が所定の中間的な範囲に収まっている場合に、アルファ値を０として透明化する。この例は、対象物の領域で、あるセンサが取得する物理量は小さくなり、別のセンサが取得する物理量は大きくなるような状況において、どちらかのセンサが反応すればそれらを全て対象物として表示させたい場合に適用できる。

図６、図７に示すようにしきい値Ｔｈとベクトル値の最大値との大小関係によってアルファ値の設定を分岐させる場合、対象物の輪郭付近など最大値がしきい値Ｔｈの近傍となる部分は、わずかなベクトル値の変化でアルファ値の設定が大きく変化するため、表示時にノイズが生じやすい。図８は、アルファ値の設定においてそのようなノイズの発生を抑える手法を説明するための図である。

まず左上のグラフは、ベクトル値のうち最大値を横軸に、図７を参照して示した条件分岐で決定したアルファ値Ａを縦軸に示している。この手法では、条件分岐で決定したアルファ値を所定の規則で変換することにより最終的なアルファ値Ａを決定する。したがって同グラフのアルファ値は同図に示すように暫定値とする。グラフに示すように、ベクトル値の最大値がしきい値Ｔｈより小さいとき、アルファ値Ａの暫定値は０である。当該最大値がしきい値Ｔｈと等しくなると、アルファ値Ａの暫定値はその最大値Ｔｈとなる。

このような急激なアルファ値の変化を抑制するため、同図右上に示すような関数ｆ（Ａ）を作用させて最終的なアルファ値Ａを算出する。関数ｆ（Ａ）は例えば、しきい値Ｔｈより所定の幅ΔＡだけ小さいアルファ値の暫定値において０から緩やかに立ち上がり、さらに暫定値がしきい値Ｔｈより所定の幅ΔＡだけ大きくなる間に１に達するような関数である。このような関数から得られる値をアルファ値Ａの暫定値に乗算すると、同図下に示すグラフのようになる。

すなわち、横軸に示した、ベクトル値の最大値がしきい値Ｔｈより小さいときは、暫定値同様、アルファ値Ａは０である。当該最大値がしきい値Ｔｈと等しくなると、ｆ（Ｔｈ）を暫定値Ｔｈに乗算した結果、アルファ値Ａはその暫定値より小さく抑えられる。結果としてベクトル値の最大値のわずかな変化でアルファ値が急激に変化することがなくなる。関数ｆ（Ａ）は実際の表示画像におけるノイズの発生率などに応じて最適化しておく。なおアルファ値Ａの暫定値を関数ｆに代入して出力される値をアルファ値Ａとしてもよい。

これまでのアルファ値の設定手法は条件分岐に基づく比較的シンプルなものであった。より複雑なスキームでアルファ値を設定したい場合は、例えばベクトル値を構成するＮ個の物理量からなるＮ次元空間における位置座標に対しアルファ値をあらかじめ準備しておいてもよい。例えばベクトル値を構成する物理量ごとに異なるしきい値でアルファ値を設定する場合、条件分岐が複雑になることが考えられる。

そこで、全ての条件に対するアルファ値を、Ｎ次元空間における位置座標、すなわちＮ個の値の組み合わせに対応づけたテーブルを前もって作成しておく。このようにすると条件分岐処理などを経ず、当該テーブルを参照するのみで、ベクトル値から直接アルファ値を引いてくることができる。

またベクトル値を構成する物理量のいずれかまたは組み合わせを変数として所定の関数を計算し、その結果を用いてアルファ値を決定する場合なども同様に、ベクトル値のＮ個の値の全ての組み合わせに対してアルファ値を先に計算しておき、テーブルとして準備しておく。これにより複雑なスキームでアルファ値を求める場合でも、処理の負荷や決定までの所要時間を抑えることができる。

図９は表示処理部３２が３次元オブジェクトの表示処理を行う処理手順を示すフローチャートである。まずユーザが入力装置１５を介して表示開始の指示を入力すると（Ｓ３０）、スライス画像管理部５２は、３次元オブジェクトの初期画像を表示させるためにあらかじめ定めた視点座標を初期視点として設定し、当該視点から３次元オブジェクトを描画するために必要なスライス画像のデータを描画用メモリ５６にロードする（Ｓ３２、Ｓ３４）。実際には上述のとおり必要なスライス画像から順にロードすることで、以後のオブジェクトの描画処理と並行させることができる。

次にスライス画像管理部５２は、視点と３次元オブジェクトとの距離に応じて、スライス画像の量を調整する（Ｓ３６）。新たに補間用のスライス画像を生成した場合は、それを描画用メモリ５６に格納する。このとき挿入先の位置が識別できるように、画像データそのものを前後のスライス画像のデータ間に挿入するか、軸上の位置と対応づけておく。

次に画像描画部５４は、入力装置１５を介したユーザからの指示入力などに応じて、３次元オブジェクトの内部に表すべき付加オブジェクトを描画する（Ｓ３８）。付加オブジェクトは上述のとおり、ユーザの操作によって移動するカーソル、対象物に接して表示されるマーカ、対象物の軌跡を表す線などであり、ユーザが選択できるようにする。画像描画部５４は、ユーザによる指定や、エッジ抽出処理によって求めた対象物の輪郭線などに基づき付加オブジェクトを表示させる位置を決定したうえ、描画用メモリ５６にロードした画像データを用いて付加オブジェクトを描画する。

次に画像描画部５４は、描画用メモリ５６にロードしたスライス画像を視点から遠い順にアルファブレンディングにより重ね合わせていくことにより、計測空間を表す３次元オブジェクトを描画する（Ｓ４０）。なお後述するように、Ｓ３８の付加オブジェクトの描画処理は、Ｓ４０のアルファブレンディング描画と同時に行ってもよい。

ユーザが入力装置１５を用いて視点を移動させる操作を行ったら（Ｓ４４のＹ）、Ｓ３４からＳ４０の処理を、視点の変化に対応させて繰り返す。視点移動や表示停止の操作がなされない間はその時点の表示を継続し（Ｓ４４のＮ、Ｓ４６のＮ）、表示停止の操作がなされたら処理を終了する（Ｓ４６のＹ）。

図１０は図９のＳ４０において、画像描画部５４がアルファブレンディング描画を行う様子を模式的に示している。視点１１４に近い方から、スクリーン１１６、オブジェクトに対応するスライス画像１１０ａ、１１０ｂ、・・・、１１０ｎ、背景１１８が位置する。このときスクリーン１１６のある点１１５に投影される像は、視点１１４と点１１５を通る視線１１９と、スライス画像１１０ａ、１１０ｂ、・・・、１１０ｎおよび背景１１８との交点１１２ａ、１１２ｂ、・・・、１１２ｎ、１１７の像を視点１１４から遠い方から重ね合わせたものとなる。同図の場合、交点１１７、１１２ｎ、・・・、１１２ｂ、１１２ａ、の順となる。

図１１は、図１０で示したスクリーン上の点１１５におけるＲＧＢの値を求める処理手順を示すフローチャートである。まず変数Ｒｉ、Ｇｉ、Ｂｉ（ｉは−１以上の整数）を準備し、Ｒ_−１、Ｇ_−１、Ｂ_−１に、背景１１８の交点１１７におけるＲＧＢ値、Ｒｂ、Ｇｂ、Ｂｂをそれぞれ代入する（Ｓ５０）。視点から最も遠いスライス画像１１０ｎ上の交点１１２ｎのＲＧＢ値およびアルファ値を（Ｒ_０，Ｇ_０，Ｂ_０，Ａ_０）とすると、背景１１８の交点１１７とスライス画像１１０ｎ上の交点１１２ｎとを重ね合わせたときＲＧＢ値は以下のようになる（Ｓ５２、Ｓ５４、Ｓ５６、Ｓ５８）。

Ｒ＝Ｋｒ×Ａ_０×Ｒ_０＋（１−Ｋｒ×Ａ_０）×Ｒ_−１
Ｇ＝Ｋｇ×Ａ_０×Ｇ_０＋（１−Ｋｇ×Ａ_０）×Ｇ_−１
Ｂ＝Ｋｂ×Ａ_０×Ｂ_０＋（１−Ｋｂ×Ａ_０）×Ｂ_−１
・・・（式１）

ここでＫｒ、Ｋｇ、Ｋｂは、スライス画像が保持するアルファ値を色によって調整する場合に、赤、緑、青それぞれにかかるアルファ値の係数であり必要に応じて０＜Ｋ＜１の範囲で設定する。色による調整が必要ない場合はＫｒ＝Ｋｇ＝Ｋｂ＝１とする。上式のＲ、Ｇ、Ｂを新たなＲ_０、Ｇ_０、Ｂ_０としてｉをインクリメントしながら最後のスライス画像（ｉ＝ｎｓｌｉｃｅ−１）の交点まで、視点に近づく方向に順に行うことにより（Ｓ６０のＹ、Ｓ６２）、透明、半透明の状態を許容しながらｎｓｌｉｃｅ枚のスライス画像の交点を全て重ね合わせたＲＧＢ値が得られる（Ｓ６０のＮ）。

ただし描画の処理手順はこれに限定されない。例えば以下のようにしてＲＧＢ値を求めることも考えられる。すなわち、式１を、ｋ＋１番目のスライス画像（ｉ＝ｋ）まで重ね合わせたときのＲＧＢ値として一般化すると次のようになる。
Ｒ’_ｋ＝Ｋｒ×Ａ_ｋ×Ｒ_ｋ＋（１−Ｋｒ×Ａ_ｋ）×Ｒ’_ｋ−１
Ｇ’_ｋ＝Ｋｇ×Ａ_ｋ×Ｇ_ｋ＋（１−Ｋｇ×Ａ_ｋ）×Ｇ’_ｋ−１
Ｂ’_ｋ＝Ｋｂ×Ａ_ｋ×Ｂ_ｋ＋（１−Ｋｂ×Ａ_ｋ）×Ｂ’_ｋ−１
・・・（式２）

式２において、重ね合わせ後のＲＧＢ値を（Ｒ’_ｋ，Ｇ’_ｋ，Ｂ’_ｋ）として、ｋ＋１番目のスライス画像のみのＲＧＢ値（Ｒ_ｋ，Ｇ_ｋ，Ｂ_ｋ）と区別している。式２の関係を利用し、最後のスライス画像（ｉ＝ｎｓｌｉｃｅ−１）まで重ね合わせたときの最終的なＲＧＢ値を背景のＲＧＢ値まで遡及させて展開すると、当該最終的なＲＧＢ値（Ｒ’_{ｎｓｌｉｃｅ−１}，Ｇ’_{ｎｓｌｉｃｅ−１}，Ｂ’_{ｎｓｌｉｃｅ−１}）は次のようにスライス画像ごとのＲＧＢ値の線形結合で表すことができる。

ここで（Ｂｒ_ｉ，Ｂｇ_ｉ，Ｂｂ_ｉ）はｉ＋１番目のスライス画像のＲＧＢ値（Ｒ_ｉ，Ｇ_ｉ，Ｂ_ｉ）の係数であり、スライス画像のアルファ値から算出される。したがって描画前に全てのスライス画像のアルファ値を決定しておく態様においては、係数（Ｂｒ_ｉ，Ｂｇ_ｉ，Ｂｂ_ｉ）を視点に応じて先に求めたうえで式３を用いて最終的なＲＧＢ値を算出してもよい。

図１２は図９のＳ３４において、スライス画像管理部５２が視点に応じて必要なスライス画像のデータを決定する処理を説明するための図である。上述のようにスライス画像は所定の軸に対して離散的な位置における物理量の分布を画像化したものである。センサ軸が同図縦方向のｚ軸であった場合、基本的に生成されるスライス画像はスライス画像群１２０のようにｘｙ平面を構成する平行な複数の面となる。このスライス画像群１２０を用いて同図上側または下側から見た３次元オブジェクト１２６を表示する場合、図１０で説明したような重ね合わせを行うことにより違和感のない画像を描画できる。

一方、同図横方向のｘ軸や、奥行き方向のｙ軸に近い位置に視点を置くと、スライス画像の間の空間が見えてしまうことになる。そこで上述のとおり、センサ軸と異なる画像軸に対してスライス画像を生成したり、複数のセンサ軸について物理量を計測したりして複数の軸に対してスライス画像群を生成しておき、視点の移動によって用いるスライス画像群を切り替える。同図の例では、ｘ軸を画像軸としたスライス画像群１２２とｙ軸を画像軸としたスライス画像群１２４を準備している。

そして表示すべき３次元オブジェクト１２６の周囲の３次元空間を区分けして、どの区分内に視点が位置しているかによって、描画に用いるスライス画像群を切り替える。例えば同図の点線に示すように、３次元オブジェクト１２６の各頂点から、当該頂点を形成する３次元オブジェクト１２６の３つの辺と所定の角度をなす境界線を設定する。そしてそれらの境界線を側面の辺とし３次元オブジェクトの各面を上面とするおよそ台形の空間を１つの区分とする。

例えば同図において３次元オブジェクト１２６の上面または下面にある区分内に視点があるときは、視線がｚ軸に最も近いため、ｚ軸を軸とするスライス画像群１２０を描画に用いる。同様に、３次元オブジェクト１２６の左面または右面にある区分内に視点があるときは、視線がｘ軸に最も近いため、ｘ軸を軸とするスライス画像群１２２を描画に用いる。３次元オブジェクト１２６の手前の面または奥の面にある区分内に視点があるときは、視線がｙ軸に最も近いため、ｙ軸を軸とするスライス画像群１２４を描画に用いる。

図１３は境界線の角度を決定する手法の例を説明するための図である。まず直交する２方向、図１２の例ではｘ軸、ｙ軸を軸とするスライス画像群を考える。同図は同じｘｙ平面にｘ軸を軸とするスライス画像群１２２（点線）とｙ軸を軸とするスライス画像群１２４（実線）を配列させ、ｚ軸方向から見た様子を示している。図中、左上から３次元オブジェクトを見た場合、視点の位置によって、頂点ｖを通る視線は矢印１２８、１２９、１３０のように変化する。

各視線との交点を有するスライス画像群の枚数は、ｘ軸を軸とするスライス画像群１２２／ｙ軸を軸とするスライス画像群１２４の順に次のようになる。
矢印１２８の視線：４枚／６枚
矢印１２９の視線：６枚／６枚
矢印１３０の視線：７枚／６枚

すなわち矢印１２９の視線において、どちらのスライス画像群のデータを用いても同じ回数のアルファブレンディング処理がなされるため、同じ表示画像が得られることになる。したがって矢印１２９の方向を境界線とすることで、切り替え前後の表示画像が連続的につながる。ｘ軸を軸とするスライス画像群１２２の画像の間隔をＷｘ、ｙ軸を軸とするスライス画像群１２４の画像の間隔をＷｙとすると、矢印１２９の角度θは｜ｔａｎθ｜＝Ｗｙ／Ｗｘを満たすため、次の条件でスライス画像群を切り替える。

｜ｔａｎθ｜≧Ｗｙ／Ｗｘのときｙ軸を軸とするスライス画像群
｜ｔａｎθ｜＜Ｗｙ／Ｗｘのときｘ軸を軸とするスライス画像群

上記を３次元に拡張し、視線ベクトルを（Ｘ，Ｙ，Ｚ）、ｚ軸、ｘ軸、ｙ軸を軸とするスライス画像群をそれぞれＳｚ、Ｓｘ、Ｓｙと表記すると、次の切り替え条件となる。
｜Ｚ／Ｘ｜≧Ｗｚ／Ｗｘかつ｜Ｚ／Ｙ｜≧Ｗｚ／ＷｙのときＳｚ
｜Ｚ／Ｘ｜＜Ｗｚ／Ｗｘかつ｜Ｘ／Ｙ｜≧Ｗｘ／ＷｙのときＳｘ
｜Ｚ／Ｙ｜＜Ｗｚ／Ｗｙかつ｜Ｘ／Ｙ｜＜Ｗｘ／ＷｙのときＳｙ

上記条件の境界となる視線ベクトルが図１２の点線で示した境界線に対応する。これにより、視点の変化によって表示に用いるスライス画像群を切り替えても、切り替え前後をシームレスにつなげることができる。なお図１２、１３の例はセンサ軸または画像軸がスライス画像と垂直であったが、上述のとおり本実施の形態はそれに限定されない。例えばスライス画像がセンサ軸と垂直でない計測系の場合は、当該計測値を再構築して画像軸変換部５０が生成するスライス画像もまた、画像軸と垂直でなくてよい。センサ軸と画像軸も直交していなくてよい。これらの場合も上記と同様の理論により境界線を設定することができ、視点に応じたスライス画像の切り替えおよびアルファブレンディング描画の処理も同様となる。

図１４は３次元オブジェクトを描画する別の手法を説明するための図である。同図の場合、ｘ軸、ｙ軸、ｚ軸に対するスライス画像群を３方向のテクスチャ画像として同時に使用する。各面にテクスチャを貼り付けた３次元オブジェクト１３６を視点１３２の位置に応じて描画する手法は一般的なコンピュータグラフィックスの描画処理を応用できる。一方、本実施の形態の場合は上述のとおり各方向のスライス画像がアルファチャンネルを有するため、視点１３２から遠い画素からの重ね合わせが必要となる。

しかし３方向のスライス画像を同時に用いる場合、視点から遠い順にスライス画像の組み合わせを特定するのは困難である。そこで同図に示すように、３次元オブジェクト１３６を、３方向のスライス画像群で格子状に区分けする。図中、３次元オブジェクト１３６中に表した互いに交差する直線は、各スライス画像の縁を表す。このような区分けによって得られる小さい直方体の３次元配列を対象とすれば、視点１３２から遠い順番を容易に特定できる。

同図の矢印１３８はそのような順番を模式的に示している。そしてこの矢印１３８の順序で、各直方体の面を構成するスライス画像の画素値を用いてスクリーン上に重ね合わせていくことにより、３次元オブジェクト１３６を透明、半透明の状態を可能として表現できる。この態様の場合、スライス画像管理部５２は視点の位置によらず３方向のスライス画像群のデータをロードする。

次に図９のＳ３８において、画像描画部５４が付加オブジェクトを描画する手法を説明する。３次元オブジェクトの半透明の空間に浮いたような状態で付加オブジェクトを描画するためには、３次元オブジェクトのアルファブレンディング描画との描画順を考慮する必要がある。図１５はその一つの方法として、先に付加オブジェクトを描画してから３次元オブジェクトを描画する処理手順を模式的に示している。

まず視点の位置に応じて、最終的に３次元オブジェクトが描画される仮想の直方体１４２を準備し、当該直方体１４２の内部の必要な位置に付加オブジェクト１４０を一般的な手法で描画する（Ｓ７０）。同図の例では付加オブジェクト１４０は矢印状のカーソル図形である。次に上述の方法でスライス画像を用いて３次元オブジェクトを描画していく（Ｓ７２）。付加オブジェクト１４０を先に描画しておくことで、アルファ値が０に近い透過率の高い領域では、そのまま付加オブジェクト１４０が残った状態となる。

そして視点に最も近いスライス画像まで重ね合わせが完了すると、３次元オブジェクト１４６内に付加オブジェクト１４０としてカーソルが浮いた状態を描画できる（Ｓ７４）。例えばカーソルを、３次元オブジェクト１４６内に存在する対象物１４８を指すようにすることで、表示を用いたプレゼンテーションなどを好適に行える。対象物が時間とともに移動する様を動画として表示する場合は対象物の軌跡を表示してもよい。また観測されたデータから予測される位置に、人工的に別の対象物（生成物）を表してもよい。この場合、生成物の位置の計算は別途行い、ユーザが入力値として入力するようにしてもよい。

図１６は付加オブジェクトを描画する別の手法の処理手順を模式的に示している。この例は、スライス画像を用いた３次元オブジェクトの描画と付加オブジェクトの描画を並行に進める手法である。まず付加オブジェクトを描画する位置までスライス画像を用いたアルファブレンディング描画を進める（Ｓ８０）。そして、この時点で最も上にあるスライス画像１５０ａから次のスライス画像までの空間にあるべき付加オブジェクトの部分１５２ａを描画する（Ｓ８２）。

続いてスライス画像１５０ａの次に位置するスライス画像１５０ｂを重ね合わせる（Ｓ８４）。そして当該スライス画像１５０ｂから次のスライス画像までの空間にあるべき付加オブジェクトの部分１５２ｂを描画する（Ｓ８６）。同図の場合、この段階で付加オブジェクト全体が描画されている。その後は残りのスライス画像を重ね合わせていくことにより、図１５と同様、３次元オブジェクト１４６内に付加オブジェクト１４０としてカーソルが浮いた状態を描画できる（Ｓ８８）。

図１７はセンサ群１２が所定のレートで計測を行った結果を３次元オブジェクトの動画として表示する際のスライス画像データの読み出し手順を模式的に示している。この場合、スライス画像記憶部４８には各計測時刻ｔ＝０、１、・・・、Ｔのそれぞれに対しスライス画像群が生成される。実際には各時刻に対し３方向のスライス画像群が生成されるがここでは図示を省略している。

このようなスライス画像を用いて動画を表示する場合は特に、視点および時間双方のパラメータの変化に追随させて新たなスライス画像データをロードし、描画する必要があるため、各処理の効率化が求められる。動画とせずに視点の移動のみで表示を変化させる場合も同様である。スライス画像記憶部４８を２次記憶装置として構成した場合、描画用メモリ５６へのデータ転送処理は描画遅延の原因となりやすい。

そこでスライス画像管理部５２は、描画に必要なスライス画像の順に描画メモリ５６にロードするようにする。例えば視点の位置から最も遠いスライス画像を特定し、当該スライス画像のデータから順にロードしていく。このとき転送経路となるバスの帯域幅などによって複数のスライス画像からなるロード単位を形成し、当該ロード単位でロードしてもよい。同図の例では太枠で示した３枚のスライス画像のデータをロード単位として同時にロードしている。

最初のスライス画像データがロードされた直後から、画像描画部５４はスライス画像データを描画用メモリ５６から順に読み出し、アルファブレンディング描画を実行していく。この描画処理と並行して、スライス画像管理部５２は以降のスライス画像のデータをロード単位でロードしていく。ｔ＝０のスライス画像群のロードが完了したら、ｔ＝１のスライス画像群を同様にロードしていく。本実施の形態ではスライス画像を順に重ね合わせて３次元オブジェクトを描画するため、このような並行処理が可能であり、ひいては視点移動要求に対する応答性を向上させたり、動画の円滑な表示が実現できる。

以上述べた本実施の形態によれば、対象物の断面情報を平行な複数の平面で取得した積層画像情報からアルファチャンネルを有するスライス画像を作成し、アルファブレンディング描画することで、計測空間を３次元オブジェクトで表現する。これにより一般的な画像処理機能を用い、処理の負荷や必要なリソースを増大させることなく、対象物やその周囲の状態を、直感的に理解可能な形態で可視化することが容易にできる。

スライス画像を生成する段階で、アルファ値や色情報の決定規則を様々変化させることができるため、画像を作成するユーザ自身が、表示内容や表示目的に適した加工を行うことが容易である。また最初に取得した積層画像情報が一つの軸に対するものであっても、あらかじめ複数の軸に対するスライス画像を生成しておき、３次元オブジェクト表示時には視点の位置に応じて用いるスライス画像を切り替える。さらに視点の近さに応じてスライス画像の量を調整する。これらの構成により、ソースデータが離散的な２次元画像であっても、３次元オブジェクトを全方位から違和感なく表示させることができる。また複数の軸に対するスライス画像は描画に必要になったとき生成することもできる。このようにすればスライス画像を格納するメモリの容量を削減できる。

さらに、３次元オブジェクト内に透明、半透明の空間を生成させることができるため、カーソルなどの付加オブジェクトを３次元オブジェクト内に表示できる。結果として、対象物を指し示したり、対象物に追随するマーカーをつけたり軌跡を可視化したり、といったことが容易にでき、プレゼンテーションなどにおいて好適な表示を実現できる。

さらに３次元オブジェクトを表示する際は、視点の位置に応じて用いるスライス画像の順序を確定できるため、二次記憶装置からメモリへのデータのロードをその順で行えば、ロード処理と描画処理を並行させることができる。これにより、視点を移動させたり３次元オブジェクトを動画にしたりして、スライス画像のデータのロード頻度が高くなる状況においても表示までのレイテンシを抑えられる。結果として、メモリ容量を増大させることなく円滑な表示変化を実現できる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば本実施の形態のスライス平面は、センサ軸や画像軸と所定の角度を有する平面であったが、平面に限らず球面やゆらぎのある曲面などの曲面であってもよい。図１８は部分円筒状の曲面あるいは部分球面に対する分布を計測する場合のスライス画像の形状を模式的に示している。同図においてセンサ群２０８は対象物２１６の存在する計測空間を測定するが、このときの計測値の分布は、同図縦方向のｚ軸をセンサ軸とし、それを中心とする平行な複数の曲面２１０ａ、２１０ｂ、・・・、２１０ｎに対するものである。同図ではこれらの曲面を、センサ軸を通る断面における扇形の曲線で示している。

このようなスライス曲面２１０ａ、２１０ｂ、・・・、２１０ｎに対し、スライス画像生成部４４は、実施の形態で述べたのと同様にスライス画像を生成するが、このとき生成されるスライス画像はスライス曲面と同じ曲面状となる。スライス画像をテクスチャとして扱うことにより、その形状が平面か曲面かに関わらず同様の処理が可能となる。また画像軸変換部５０は、スライス曲面２１０ａ、２１０ｂ、・・・、２１０ｎを所定の角度で横切る平面あるいは曲面を複数準備し、当該面上の計測値を抽出することでスライス曲面２１０ａ、２１０ｂ、・・・、２１０ｎとは向きの異なるスライス画像群を生成する。

同図の例では、スライス曲面２１０ａ、２１０ｂ、・・・、２１０ｎを垂直に横切る、図面に対し垂直な平面２１２ａ、２１２ｂ、・・・、２１２ｎについてスライス画像群を生成している。さらに同図の奥行き方向に並ぶスライス画像群も生成する。このようにして生成した３方向のスライス画像群を用いて描画を行うことにより、部分円筒または部分球形状の３次元オブジェクトを表示できる。この場合は、各方向のスライス画像群で区分けされた小さい立体ごとに、図１４で示したのと同様の順序で描画していく。

上述したように本実施の形態では、スライス画像の形状によらず画像をテクスチャとして扱うことにより、一般的なコンピュータグラフィックス技術によって３次元オブジェクトを描画することができる。したがって、その形状や交差する角度がどのようなものであっても、それらが既知であれば同様かつ容易に計測結果を可視化することができる。

１０画像処理システム、１２センサ群、１４表示装置、１５入力装置、２０画像処理装置、３０画像データ生成部、３２表示処理部、４２センサ出力データ取得部、４４スライス画像生成部、４６ベクトル値情報記憶部、４８スライス画像記憶部、５０画像軸変換部、５２スライス画像管理部、５４画像描画部、５６描画用メモリ、５８付加オブジェクト画像記憶部。

Claims

所定の軸上の異なる位置において同じ角度で交差する複数のスライス面上に得られた複数種類の値の分布情報を取得するデータ取得部と、
前記スライス面上の各位置において、当該位置に対応する前記複数種類の値のセットに基づき所定の規則でアルファ値を含む画素値を決定することにより、前記分布情報を画像として表すスライス画像を前記スライス面ごとに生成するスライス画像生成部と、
前記スライス画像を前記軸上の対応する位置に配列させ、入力された視点の位置に応じてアルファブレンディング描画することにより、前記複数のスライス面によって構成される３次元空間を３次元オブジェクトとして表示する画像描画部と、
を備え、
前記スライス画像生成部は、前記複数種類の値のセットのうち所定の基準で選択された値と所定のしきい値との大小関係に基づき定められた規則に従った値、または、前記複数種類の値のセットに対してあらかじめ設定された値を、当該位置におけるアルファ値として決定することを特徴とする画像処理装置。
前記スライス画像生成部は、前記所定の軸と方向の異なる軸に対し所定の角度をなし位置の異なる複数の面上の各位置における値を前記分布情報から抽出することにより、当該面ごとに前記スライス画像をさらに生成し、
前記画像描画部は、視点の位置に応じて用いるスライス画像の軸を切り替えることを特徴とする請求項１に記載の画像処理装置。
視点と前記３次元オブジェクトとの距離の減少に応じて、前記配列において隣り合う前記スライス画像の対応する画素の画素値を補間し新たなスライス画像を生成することによりスライス画像間を補間するスライス画像管理部をさらに備えたことを特徴とする請求項１または２に記載の画像処理装置。
前記画像描画部は、所定の角度で交差する３方向の軸に対する前記スライス画像を同時に配列させ、各スライス画像の面によって区切られる立体単位で視点から遠い順にアルファブレンディング描画することにより前記３次元オブジェクトを表示することを特徴とする請求項１に記載の画像処理装置。
前記画像描画部は、視点の位置に応じて定まる前記３次元オブジェクト内部の空間に、あらかじめ準備した付加的なオブジェクトを描画した後、アルファブレンディング描画により前記３次元オブジェクトを描画することを特徴とする請求項１から４のいずれかに記載の画像処理装置。
前記画像描画部は、あらかじめ準備した付加的なオブジェクトのモデルを、配列させたスライス画像の面によって分割することにより当該付加的なオブジェクトの描画単位を生成し、一つの描画単位を挟むスライス画像のうち一方を描画したあと、当該描画単位を描画してから他方のスライス画像を描画することにより、前記３次元オブジェクトの内部に前記付加的なオブジェクトを描画することを特徴とする請求項１から４のいずれかに記載の画像処理装置。
前記画像描画部は、所定の位置関係を有する複数の視点に対する複数の前記３次元オブジェクトを描画し同時または順次に表示することにより当該３次元オブジェクトを立体視させることを特徴とする請求項１から６のいずれかに記載の画像処理装置。
前記データ取得部は、複数の軸に対応する複数の前記分布情報を取得し、
前記スライス画像生成部は、当該複数の軸に対する前記複数のスライス面ごとにスライス画像を生成し、
前記画像描画部は、視点の位置に応じて用いるスライス画像の軸を切り替えることを特徴とする請求項１に記載の画像処理装置。
所定の軸上の異なる位置において同じ角度で交差する複数のスライス面上に得られた複数種類の値の分布情報を取得するデータ取得部と、
前記スライス面上の各位置において、当該位置に対応する前記複数種類の値のセットに基づき所定の規則でアルファ値を含む画素値を決定することにより、前記分布情報を画像として表すスライス画像を前記スライス面ごとに生成するスライス画像生成部と、
前記スライス画像を前記軸上の対応する位置に配列させ、入力された視点の位置に応じてアルファブレンディング描画することにより、前記複数のスライス面によって構成される３次元空間を３次元オブジェクトとして表示する画像描画部と、
を備え、
前記画像描画部は、所定の角度で交差する３方向の軸に対する前記スライス画像を同時に配列させ、各スライス画像の面によって区切られる立体単位で視点から遠い順にアルファブレンディング描画することにより前記３次元オブジェクトを表示することを特徴とする画像処理装置。
所定の軸上の異なる位置において同じ角度で交差する複数のスライス面上に得られた複数種類の値の分布情報を取得するデータ取得部と、
前記スライス面上の各位置において、当該位置に対応する前記複数種類の値のセットに基づき所定の規則でアルファ値を含む画素値を決定することにより、前記分布情報を画像として表すスライス画像を前記スライス面ごとに生成するスライス画像生成部と、
前記スライス画像を前記軸上の対応する位置に配列させ、入力された視点の位置に応じてアルファブレンディング描画することにより、前記複数のスライス面によって構成される３次元空間を３次元オブジェクトとして表示する画像描画部と、
を備え、
前記画像描画部は、視点の位置に応じて定まる前記３次元オブジェクト内部の空間に、あらかじめ準備した付加的なオブジェクトを描画した後、アルファブレンディング描画により前記３次元オブジェクトを描画することを特徴とする画像処理装置。
画像処理装置において所定の軸上の異なる位置において同じ角度で交差する複数のスライス面上に得られた複数種類の値の分布情報を取得するステップと、
前記スライス面上の各位置において、当該位置に対応する前記複数種類の値のセットに基づき所定の規則でアルファ値を含む画素値を決定することにより、前記分布情報を画像として表すスライス画像のデータを前記スライス面ごとに生成するステップと、
各スライス画像を前記軸上の対応する位置に配列させ、入力装置から入力された視点の位置に応じてアルファブレンディング描画することにより、前記複数のスライス面によって構成される３次元空間を３次元オブジェクトとして表示装置に表示するステップと、
を含み、
前記生成するステップは、前記複数種類の値のセットのうち所定の基準で選択された値と所定のしきい値との大小関係に基づき定められた規則に従った値、または、前記複数種類の値のセットに対してあらかじめ設定された値を、当該位置におけるアルファ値として決定することを特徴とする画像処理方法。
所定の軸上の異なる位置において同じ角度で交差する複数のスライス面上に得られた複数種類の値の分布情報を取得する機能と、
前記スライス面上の各位置において、当該位置に対応する前記複数種類の値のセットに基づき所定の規則でアルファ値を含む画素値を決定することにより、前記分布情報を画像として表すスライス画像を前記スライス面ごとに生成する機能と、
前記スライス画像を前記軸上の対応する位置に配列させ、入力された視点の位置に応じてアルファブレンディング描画することにより、前記複数のスライス面によって構成される３次元空間を３次元オブジェクトとして表示装置に表示する機能と、
をコンピュータに実現させ、
前記生成する機能は、前記複数種類の値のセットのうち所定の基準で選択された値と所定のしきい値との大小関係に基づき定められた規則に従った値、または、前記複数種類の値のセットに対してあらかじめ設定された値を、当該位置におけるアルファ値として決定することを特徴とするコンピュータプログラム。
所定の軸上の異なる位置において同じ角度で交差する複数のスライス面上に得られた複数種類の値の分布情報を取得する機能と、
前記スライス面上の各位置において、当該位置に対応する前記複数種類の値のセットに基づき所定の規則でアルファ値を含む画素値を決定することにより、前記分布情報を画像として表すスライス画像を前記スライス面ごとに生成する機能と、
前記スライス画像を前記軸上の対応する位置に配列させ、入力された視点の位置に応じてアルファブレンディング描画することにより、前記複数のスライス面によって構成される３次元空間を３次元オブジェクトとして表示装置に表示する機能と、
をコンピュータに実現させ、
前記生成する機能は、前記複数種類の値のセットのうち所定の基準で選択された値と所定のしきい値との大小関係に基づき定められた規則に従った値、または、前記複数種類の値のセットに対してあらかじめ設定された値を、当該位置におけるアルファ値として決定するコンピュータプログラムを記録したことを特徴とするコンピュータにて読み取り可能な記録媒体。