JP5793243B2

JP5793243B2 - 画像処理方法および画像処理装置

Info

Publication number: JP5793243B2
Application number: JP2014517374A
Authority: JP
Inventors: 及川　道雄; 道雄及川; 英恵吉田; 永尾　朋洋; 朋洋永尾; コウトウコウ; エイジェカン; コウトウセイ
Original assignee: Hitachi Medical Corp
Current assignee: Hitachi Healthcare Manufacturing Ltd
Priority date: 2011-06-28
Filing date: 2011-06-28
Publication date: 2015-10-14
Anticipated expiration: 2031-06-28
Also published as: CN103608849B; WO2013000120A1; US9491443B2; CN103608849A; US20140176685A1; JP2014521133A

Description

本発明は三次元画像表示分野に関し、さらに具体的には、立体最大輝度投影に存在する立体キューイングコンフリクト問題を解決し、ユーザが興味のある物体の最大輝度投影を選択して重点的にレンダリングすることができるようにして、立体表示を実現する三次元データの立体表示方法および装置に関する。

可視化技術は、情報をより良く理解するとともに速やかに決断できるように、対話型のコンピュータグラフィックス技術を利用して膨大な基礎データから有意義な情報を抽出してユーザに展開する。ここで、我々は科学計算の可視化、特に医学、地質調査、分子モデル学、数値流体力学などに幅広く応用されている三次元データ可視化技術に注目する。例えば、コンピュータによってコンピュータトモグラフィ（ＣＴ）データおよび核磁気共鳴（ＭＲＩ）データから取得した三次元医学データをレンダリングすることにより、三次元データ可視化技術は、放射線医師の作業効率を大幅に向上することができ、病巣の位置をより迅速に決めて診断を行なうことに役立つ。また、この技術を基にデータに対してインタラクション操作を行なうことで、整形手術、放射治療などのコンピュータシミュレーション手術および計画も実現できる。

ボリュームレンダリング技術は科学計算の可視化において最も重要な三次元表示技術の一つであり、優れた表示精度を有し、医学画像表示分野に幅広く応用されている。最大輝度投影はボリュームレンダリングのうちの一種であり、医学分野において最も重要な技術の一つで、投影方向において輝度値が最大の物体の表示に利用される。このような表示方法は、場合によっては非常に重要な意味を持つ。例えば、ＣＴ血管造影図において、血管データは他の軟部組織よりも高いグレースケールを有し、最大輝度投影技術によって血管がはっきりと表示され、その他の軟部組織は背景に表示される。

立体表示技術の発展と成熟に伴い、商業用立体表示装置が既に市販されており、その勢いはさらに増加の一途を辿っている。立体表示技術は従来の三次元表示技術に比べて大きく異なり、立体表示技術がより人間の視覚システムに近く、人間の視覚システムに対する近似シミュレーションであり、よりリアルな、臨場感のある三次元効果を提供することができる。表示精度に対して要求が非常に高い医学可視化のような専門分野において、立体表示方法はユーザの複雑な三次元データに対する理解を向上し、医師によるより正確な位置決めと病巣の観察に役立ち、より正確な診断結果を提供することができる。

従来の三次元表示技術はコンピュータによりデジタル化された三次元シーンを投影技術によって従来の表示装置に表示可能な二次元画像に変換する。典型的な投影技術シミュレーション光線と三次元データとのインタラクションは通常、物体間の位置関係を考慮し、物体表面法線と光線と視線の角度などは、主にシェーディングとブロッキングの関係を利用して二次元画像に特定視覚の三次元シーンを再現する。三次元シーンの再現に役立つ情報を通常三次元キューと称する。立体表示方法は従来の三次元表示技術を基にさらに多くの三次元情報を追加したものである。すなわちより多くの三次元キューを有する。立体表示方法は一つの視点を追加して人間の視覚システムをシミュレーションするため、立体表示システムにおいては通常二つの視点で人間の左右の目をシミュレーションし、コンピュータにおいては従来の三次元表示技術を利用して左右の視点の画像をそれぞれレンダリングする。その後二枚の二次元画像は立体表示装置によって人間の左右の目にそれぞれ伝送され、人間の視覚システムのように観察者が左右の異なる二枚の画面を同期に受信できる。人間の視覚システムは左右の目の画面を自動的に処理し、これにより、より多くの三次元空間情報とよりリアルな三次元効果を得る。

立体表示方法は非常に重要な三次元キュー、すなわち視差を提供する。簡単に言えば、視差は三次元シーンにおける同一物体の左右の目の投影画面における位置の差そのものである。このような視差は二つの視点までの物体の距離を反映し、視差が大きいほど遠く離れたことを示し、視差が小さいほど近いことを示す。人間の大脳は左右の目の画面からこれらの情報を自動的に取得することができるため、三次元デジタルデータの三次元空間情報をより正確に、よりリアルに再現することができる。

従来のボリュームレンダリング技術は立体ボリュームレンダリング技術に容易に拡張でき、一つの視点を追加してそれぞれ左右の目の画面をレンダリングするとともに立体表示装置によって表示するだけでよい。しかし、最大輝度投影は立体表示技術において立体キューイングコンフリクトの内在的な問題点が存在する。簡単に言えば、立体キューイングコンフリクトとは、異なる立体キューが伝達する情報の間に不一致性が存在することであり、このような不一致性によって大脳がこれらの立体キューを解析する際にコンフリクトが生じて、人間の正常な視覚システムに影響を与え、その結果人間が不快に感じ、長時間の観察には適しない。

最大輝度投影にこのような問題点が存在する原因は自身のレンダリング原理である、視線上において輝度が最大の物体を表示することに関係する。最大輝度投影原理は物体間の空間関係を考慮していない。すなわち、最大輝度投影原理は如何なる意味のある空間キューも生成できない。逆に、その結果、無意識に一つの重要な立体キューイングであるブロッキング関係に反している。典型的な三次元シーンには人によって区別可能な物体が少なくとも一つ以上存在することがよくあり、同時に我々はそれらの形状と位置に対して如何なる仮定をすることもできない。レンダリングの過程においても視点の位置は通常ランダムである。投影結果において最大輝度を有する物体は、視点に対する位置が輝度の小さい物体の前にあるかそれとも後ろにあるかに関わらず、常にその他の輝度の小さい物体を隠してしまう。また、観察者は二次元投影画面からデジタル三次元データに関する空間情報を取得するしかできず、最大輝度投影において、観察者は常に最大輝度の物体が輝度の比較的小さい物体よりも観察者に近いと思うが、これは実際のシーンにおいて最大輝度の物体が実際に一部の輝度が小さい物体よりも視点から離れている状況と一致しない。このような不一致性は、従来の三次元表示方法においては問題にならなかったが、三次元立体表示方法においては他の非常に重要な三次元キューである視差と矛盾する。視差は常に物体のリアルな空間位置に基づいて算出されるため、視差は最初の三次元デジタルデータと一致性を保持すると考えることができる。したがって、立体表示方法において最大輝度投影は立体キューイングコンフリクト問題にぶつかることになる。

最大輝度投影がより多くの空間情報を提供するように、幾つかの改善されたアルゴリズムが提案されており、そのうち、最も典型的なものは、例えばデプスキューイング（ｄｅｐｔｈｃｕｅｉｎｇ）或いは奥行き重み（ｄｅｐｔｈｗｅｉｇｈｔ）などのような奥行き情報を加えたものである。Ｗ．Ｈｅｉｄｒｉｃｈ、Ｍ．ＭｃＣｏｏｌおよびＪ．Ｓｔｅｅｎｓは非特許文献１においてデプスキューイング（ｄｅｐｔｈｃｕｅｉｎｇ）方法を提案し、最大のサンプリングポイントと比較する前に、サンプリングポイントに対して視点との距離に基づいて重み付け計算を行わない、距離が大きいほど、重み付け値を小さくすることで、遠方の物体を弱化させることができる。距離の重み付け係数を調整して特定距離における物体に焦点を当てることができるが、問題を完全に解決することはできない。これは重み付け計算が行われた最大のサンプリングポイントが相変わらず最初の最大のサンプリングポイントである可能性があり、最大値比較方法は離散的性質であり、このような離散性は多くの有意義な空間情報を失ってしまうからである。

ＳａｔｏＹ．、ＳｈｉｒａｇａＮ．、ＮａｋａｊｉｍａＳ．、ＴａｍｕｒａＳ．およびＫｉｋｉｎｉｓＲ．は非特許文献２において極大輝度投影（ＬＭＩＰ）の概念、すなわち視線方向における最初の極大輝度点、つまり視線に当る最初の物体のみをレンダリングすることを提案した。そのうち、ＬＭＩＰにはさらに一つの閾値が用いられ、該閾値より小さい物体は背景であると見なされる。極大輝度投影（ＬＭＩＰ）はデプスキューイング（ｄｅｐｔｈｃｕｅｉｎｇ）方法における近所の低輝度物体が遠方の高輝度物体にブロッキングされる確率を低減させることには役立つが、相変わらずこの問題を完全に解決することはできない。

Ｗ．Ｈｅｉｄｒｉｃｈ、Ｍ．ＭｃＣｏｏｌ、Ｊ．Ｓｔｅｅｎｓ、"ＩｎｔｅｒａｃｔｉｖｅＭａｘｉｍｕｍＰｒｏｊｅｃｔｉｏｎＶｏｌｕｍｅＲｅｎｄｅｒｉｎｇ"（ＩｎＰｒｏｃｅｅｄｉｎｇｓｖｉｓｕａｌｉｚａｔｉｏｎ，１９９５）ＳａｔｏＹ．、ＳｈｉｒａｇａＮ．、ＮａｋａｊｉｍａＳ．、ＴａｍｕｒａＳ．およびＫｉｋｉｎｉｓＲ．、"ＬｏｃａｌＭａｘｉｍｕｍＩｎｔｅｎｓｉｔｙＰｒｏｊｅｃｔｉｏｎ（ＬＭＩＰ）：ＡＮｅｗＲｅｎｄｅｒｉｎｇＭｅｔｈｏｄｆｏｒＶａｓｃｕｌａｒＶｉｓｕａｌｉｚａｔｉｏｎ"、（ＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＡｓｓｉｓｔｅｄＴｏｍｏｇｒａｐｈｙ，Ｖｏｌ．２２，Ｎｏ．６，ｐｐ．９１２９１７，１９９８）

上述の技術課題に基づいて、本発明は立体表示方法における最大輝度投影の三次元キューイングコンフリクト問題を解決する方法を提供した。

本発明は立体表示方法における最大輝度投影の三次元キューイングコンフリクト問題を解決する画像表示方法および画像表示装置を提供する。本発明によれば、視点から等距離離れた三次元曲面を一つの基準面としてすべての極大輝度点から基準面までの距離を算出し、該距離に基づいて、所定の重み関数によって各極大輝度点の重みを算出し、さらに算出された重みに基づいて極大輝度点の値を調整し、最後に調整後のすべての極大輝度値に対して合成を行ない、最終的な最大輝度投影を生成する。

本発明の第一の技術案は、極大輝度点確定ユニットと、極大輝度点重み付けユニットと、極大輝度点合成ユニットと、を含み、第１視点の投影画像における各画素に対して、前記極大輝度点確定ユニットは、第１視点と各画素とによって確定された視線に沿って、三次元データからすべての極大輝度点を探し出し、前記極大輝度点重み付けユニットは、各極大輝度点に対して、該極大輝度点から基準面までの距離を算出し、算出された距離に基づいて、距離重み関数によって、該極大輝度点の輝度値に対して重み付けを行ない、該極大輝度点の重み付け後の輝度値を取得し、前記極大輝度点合成ユニットは、すべての極大輝度点の重み付け後の輝度値から最大値を選択して第１視点の投影画像における該画素のデータとする画像処理装置を提供する。

好ましくは、前記基準面は第１視点から等距離離れた点により構成された等距離面である。

好ましくは、第２視点の投影画像における各画素に対して、前記極大輝度点確定ユニットは、第２視点と各画素とによって確定された視線に沿って、三次元データからすべての極大輝度点を探し出し、前記極大輝度点重み付けユニットは、各極大輝度点に対して、該極大輝度点から基準面までの距離を算出し、算出された距離に基づいて、距離重み関数によって、該極大輝度点の輝度値に対して重み付けを行ない、該極大輝度点の重み付け後の輝度値を取得し、前記極大輝度点合成ユニットは、すべての極大輝度点の重み付け後の輝度値から最大値を選択して第２視点の投影画像における該画素のデータとする。

好ましくは、前記画像処理装置は、第１視点の投影画像と第２視点の投影画像とを交替または同時に表示する表示ユニットをさらに含む。

好ましくは、前記基準面は第１視点と第２視点との間の中心点から等距離離れた点により構成された等距離面である。

好ましくは、前記距離重み関数は基準面に近い極大輝度点により大きい重み付け係数を付与する。さらに好ましくは、前記距離重み関数は距離を独立変数とし、重み付け係数を従属変数とするガウス関数、余弦関数、或いは三角関数である。

好ましくは、すべての極大輝度点の重み付け後の輝度値から最大輝度を代わりに選択して、第１視点の投影画像／第２視点の投影画像における該画素のデータとし、前記極大輝度点合成ユニットは、合成関数によって、すべての極大輝度点の重み付け後の輝度値に対して合成を行ない、第１視点の投影画像／第２視点の投影画像における該画素のデータを取得する。

さらに好ましくは、前記合成関数は加算関数であり、すなわちすべての極大輝度点の重み付け後の輝度値を加算し、加算した結果を第１視点の投影画像／第２視点の投影画像における該画素のデータとする。

さらに好ましくは、前記合成関数は透明度混合関数であり、すなわち前から後ろへ透明度に応じて混合する方法を採用し、すべての極大輝度点の重み付け後の輝度値を合成し、合成後の結果を第１視点の投影画像／第２視点の投影画像における該画素のデータとする。

本発明の第二の技術案は、第１視点の投影画像における各画素に対して、第１視点と各画素とによって確定された視線に沿って、三次元データからすべての極大輝度点を探し出すことと、各極大輝度点に対して、該極大輝度点から基準面までの距離を算出し、算出された距離に基づいて、距離重み関数によって、該極大輝度点の輝度値に対して重み付けを行ない、該極大輝度点の重み付け後の輝度値を取得することと、すべての極大輝度点の重み付け後の輝度値から最大値を選択して第１視点の投影画像における該画素のデータとすることと、を含む画像処理方法を提供する。

好ましくは、前記画像処理方法は、第２視点の投影画像における各画素に対して、第２視点と各画素とによって確定された視線に沿って、三次元データからすべての極大輝度点を探し出すことと、各極大輝度点に対して、該極大輝度点から基準面までの距離を算出し、算出された距離に基づいて、距離重み関数によって、該極大輝度点の輝度値に対して重み付けを行ない、該極大輝度点の重み付け後の輝度値を取得することと、すべての極大輝度点の重み付け後の輝度値から最大値を選択して第２視点の投影画像における該画素のデータとすることと、をさらに含む。

好ましくは、第１視点の投影画像と第２視点の投影画像とを交替または同時に表示する。

好ましくは、すべての極大輝度点の重み付け後の輝度値から最大輝度を代わりに選択して、第１視点の投影画像／第２視点の投影画像における該画素のデータとし、合成関数によって、すべての極大輝度点の重み付け後の輝度値に対して合成を行ない、第１視点の投影画像／第２視点の投影画像における該画素のデータを取得する。

以下、図面に基づいて本発明の最適な実施例について説明することにより、本発明の上述およびその他の目的、特徴と利点をさらに明確にする。
人体頭頸部の三次元ＣＴ造影データの簡素化モデル図であり、頸椎と頸動脈の二種類の人体の主な組織を示す。立体最大輝度投影を説明するための原理図である。立体投影は人体視覚システムに対するコンピュータシミュレーションであり、一つの視点を有する従来の三次元レンダリングシステムに対して、立体投影システムは左右二つの視点を有し、三次元データの左右の目の二つの画面をレンダリングするとともに立体表示装置を介して人間の左右の目にそれぞれ伝送することで、よりリアルな、臨場感のある立体効果を実感することができる。ここでは、立体レンダリングにおいて利用される一つの重要な三次元キューである視差について重点を置いて説明する。極大輝度点の概念およびその役割について説明する略図であり、極大輝度点は立体最大輝度投影に存在する三次元データキューイングコンフリクト問題の解消に役立つ。如何に極大輝度値を利用して立体最大輝度投影を実現するかまたは如何にして三次元キューイングコンフリクト問題を回避するかについて説明する略図である。極大輝度値を調整するための、極大輝度点と等距離面の距離を独立変数とする重み関数の例示図である。極大輝度値を調整するための、極大輝度点と等距離面の距離を独立変数とする重み関数の例示図である。極大輝度値を調整するための、極大輝度点と等距離面の距離を独立変数とする重み関数の例示図である。如何にメインレンダリング面と直交する、三次元データ内に位置する断面情報を利用して等距離面（基準面）の位置を選択して調整するかについて説明する略図である。本発明の立体最大輝度投影システムのユーザインターフェース図である。本発明の立体最大輝度投影システムの操作フローチャートである。片目画面（左目画面或いは右目画面）レンダリングの具体的な操作フローチャートである。本発明の立体最大輝度投影システムのハードウェア構成図である。本発明の立体最大輝度投影システムのより具体的なハードウェア構成図である。

以下、図面に基づいて本発明の最適な実施形態について具体的に説明する。説明の過程において、本発明の理解について混乱が生じないように、本発明に対して必要のない細かい点と機能を省略する。

本発明は、立体最大輝度投影に存在する立体キューイングコンフリクト問題を解決し、ユーザが興味のある物体の最大輝度投影を選択して重点的にレンダリングすることができるようにして、立体表示を実現する三次元データの立体表示方法および装置を提供する。

図１は人体頭頸部の三次元ＣＴ造影データの簡素化モデルである。

図１において、頸椎１０４と頸動脈１０３の二種類の主な人体組織を示し、視線１０６は視点１０１から放射された三次元ボリュームデータ１０５を透過した視線である。医学データは通常輝度で複雑な人体組織を表示する。画像の観点から言うと、輝度は特定のグレースケール値に対応するため、ここでは輝度が視覚的に見たグレースケールと等しい。骨組織は高い輝度を有するため、ＣＴ造影データでは骨組織のグレースケールが非常に高く、造影後の血管輝度が僅かに小さく、その他の軟部組織は輝度がさらに小さいため、該簡素化モデルではその他の軟部組織を背景に分類する。従来の最大輝度投影アルゴリズムは視線上に最大輝度を有するサンプリングポイントを選択し、その輝度値を対応投影面における画素点に付与するため、最終的な最大輝度投影画面１０２において、視線に近い血管の一部領域が遠く離れた頸椎にブロッキングされる。したがって、従来の最大輝度投影に基づいてブロッキング関係によって組織の空間関係、すなわち視線方向における奥行き情報を判断できない。

図２は立体最大輝度投影を説明するための原理図である。

立体三次元投影と従来の三次元投影方法との最大な区別は立体三次元投影に一つの視点を追加し、二つの視点によって新しい三次元キューイングである視差を追加したことである。単視点２０３は従来の三次元投影モデルにおける視点（例えば、図１の視点１０１）の位置であり、単視点２０３の両側に左視点２０１と右視点２０２が対称分布されており、この二つの視点２０１と２０２での投影結果が立体三次元レンダリングにおける左右二つの画面を形成する。立体投影モデルにおいて、三次元データにおける各空間点は投影面２０４上にそれぞれ左右二つの視点２０１と２０２に対応する二つの投影点を有する。この二つの投影点の距離を視差と称する。例えば、血管２０７上の点２０７_１の投影面２０４における視差はカバー範囲２０５によって表され、カバー範囲２０６は頸椎２０８上の点２０８_１の投影面２０４における視差を表す。視差の大きさは三次元空間点と視点２０３および投影面２０４との間の距離によって決められ、投影面２０４が固定された状態で、物体が視点２０３から離れるほど、視差が大きくなり、物体が視点２０３に近いほど視差が小さくなるため、視差の大きさは物体の視点２０３からの距離の遠近を間接的に反映する。人間の視覚システムは自動的に左右の両画面からこれらの情報を取得し、これにより、異なる物体の遠近を感知する。視差は立体三次元レンダリング技術における一つの三次元キューであり、もう一つの重要な三次元キューは物体のブロッキング関係である。これらの三次元キューがレンダリング結果において一致している場合は、それらの間は互いに強化されて、よりリアルな立体三次元効果が得られるが、それらの間にコンフリクトが発生した場合は、三次元効果は弱まり、人間の視覚システムに影響を及ぼす場合もある。本発明はブロッキング関係キューを弱めるかまたは除去することで、立体最大輝度投影に存在する三次元キューイングコンフリクト問題をできる限り解消することを提案する。

図３は極大輝度値を説明するための略図である。

極大輝度値は全域最大輝度値に対するものであり、全域最大輝度値とは視線が透過する三次元データ全範囲内のすべてのサンプリングポイントにおける最大輝度値のことであり、極大輝度値とは視線が透過する単一組織範囲内のサンプリングポイントにおける最大輝度値のことである。図３において、視線３０１は血管３０２と頸椎３０３を透過し、二次元座標系で該視線２０１上の各サンプリングポイントの輝度変化を表示し、横軸は視線方向を示し、縦軸はサンプリングポイントの輝度値を示し、曲線３０６は視線方向上のサンプリングポイントの輝度でレンダリングしてなり、そのうち、最大輝度値３０４は血管３０２の該視線３０１上の最大輝度点を示す。同様に、極大輝度点３０５は頸椎３０３の該視線３０１上での最大輝度点を示す。全域最大輝度値に対して、極大輝度投影値は単一組織に関するより多くの情報を提供することができ、人間の目が視線方向において極大輝度値によって異なる組織を区別するようにし、立体最大輝度投影のために必要な条件を提供する。

図４は如何に極大輝度値を利用して立体最大輝度投影を実現するかについて説明する。

極大輝度点４０５と４０７は視点４０１から放射した一本の視線上の二つの極大輝度点である。本発明において、一つの面が存在すると仮定した場合、該面上のすべての点から視点までの距離は等しく、これを等距離面（球面）と称する。図４に示すように、等距離面４０３は視点４０１までの距離が等しいすべての点により構成された球面であり、そのうち、距離４０２は、等距離面４０３と視点４０１との間の距離である。極大輝度点４０５の輝度値が極大輝度点４０７の輝度値より小さいため、従来の最大輝度投影において、極大輝度点４０７の輝度値が最終的な投影結果として、極大輝度点４０５をブロッキングする。できる限りこのような状況が発生しないようにするために、奥行き情報に基づいて算出された重みを各極大輝度値に付与して、視点に近い極大輝度値がより高い重みを有するようにし、これにより、より高い輝度を有する後ろの物体にブロッキングされないようにする。一つの最も簡単な方法は、極大輝度値から視点までの距離を直接利用して重みを算出するが、このような方法の問題点は、ユーザが興味を持つ物体に対して好都合な選択を行なうことができない。伝達関数法で奥行きを特定の重み付け値にマッピングすることができるが、伝達関数の設定が難しくなる可能性があり、これはユーザが興味を持つ物体を速やかに探し出すことにも不利である。本発明において、等距離面を基準面とし、極大輝度点から等距離面までの距離（図４の４０４と４０６）を選択して重みを算出し、距離が小さい極大輝度点に大きい重み付け値が付与される。ユーザが等距離面（基準面）の位置を好都合に変えることができるため、等距離面（基準面）近傍の物体に焦点を当てることができる。また、好ましくは、重み付け後のすべての極大輝度点の輝度値に対して所定の合成関数によって合成を行ない、全域（重み付け後の）最大輝度値を簡単に選択して最終的な投影結果とする代わりに、合成結果を最終的な投影結果とし、より多くの空間情報を提供する。本明細書において、等距離面を基準面としているが、本発明はこれに限定されず、その他の適切な平面或いは曲面を選択して基準面としてもよい。

図５Ａ、図５Ｂおよび図５Ｃは極大輝度値を調整するための重み関数を例示し、二次元座標の横軸は極大輝度点と等距離面の距離ｘを示し、縦座標は距離ｘに対する重みｆ（ｘ）を示す。

図５Ａはガウス関数（数式１）を表し、式において、パラメータａとｃは０より大きく、実際の需要に応じて設定することができ、それぞれガウス関数の高さと半高幅を決める。ガウス関数は自然で滑らかであるため、重み付け後の結果が等距離面近傍の物体に焦点を当てると同時に、距離が遠い極大輝度点についても配慮する。

図５Ｂは余弦関数（数式２）を表し、式において、パラメータａとｃは０より大きく、実際の需要に応じて設定することができ、それぞれ余弦関数の高さと幅を決定する。

図５Ｃは三角形関数を表し、式において、パラメータａとｃは０より大きく、実際の需要に応じて設定することができ、それぞれ三角関数の高さと幅を決定する。

各極大輝度点の輝度値に対して重み付けを行なった後に、重み付け後の全域の最大輝度値を簡単に選択して最終的な投影結果としてもよく、或いは、最適な実施例に基づいて、すべての重み付け後の極大輝度値を簡単に加算し（簡単な加算合成）、加算した結果を最終的な投影結果としてもよく、或いは、前から後ろへ透明度に応じて混合する方法を採用して、すべての重み付け後の極大輝度値に対して合成を行ない、合成後の結果を最終的な投影結果としてもよい。

図６は如何に等距離面６０４の位置を選択して調整するかについて説明する略図である。

図４に定義されたように、等距離面は三次元データ空間において視点までの距離が等しい三次元曲面である。厳格的に言うと、等距離面は視点６０１を中心とし、距離６０３を半径とする球面６０４である。ユーザに視線方向上の興味のある物体を速やかに選択させるために、本発明は視線に平行な、すなわち最大輝度投影面６０２に直交する断面６０７を提供し、該断面６０７は視線方向と平行な三次元データ情報、すなわち三次元空間データの奥行き情報を示し、ユーザが奥行き方向上の人体組織および等距離面６０４の空間分布を直観的に見ることができる。これにより、ユーザは等距離面６０４の位置（例えば、６０４から６０４’への移動）を好都合に修正することができ、したがって、興味のある物体（例えば、頸動脈６０５と頸椎６０６中の頸動脈６０５）のためにより大きい重みを設定することができる。

図７は本発明の立体最大輝度投影システムのユーザインターフェースを示す。

正面図７０１は立体最大輝度投影の主投影面であり、補助図７０５は投影面７０１と直交する三次元データの断面図である。立体最大輝度投影面７０１において、標識７０４は断面図７０５を位置決めする二次元座標系であり、標識７０３は二次元位置決め座標系７０４の原点を中心とする線分で、最大輝度投影面７０１と断面図７０５の交線であり、これを断面選択線７０３と称する。ユーザは二次元位置決め座標７０４と断面選択線７０３を移動することで断面図７０５の位置を調整することができる。断面図７０５において、標識７０７は等距離面と断面図７０５の交線であり、これを等距離線７０７と称する。標識７０６は視点を表し、ユーザは断面図７０５内部で等距離線７０７の位置を移動して同距離面の三次元空間における位置を修正することができる。システムは等距離面の位置に基づいてすべての極大輝度点（例えば、頸動脈７０８および頸椎７０９と視点との交点）と等距離面との間の距離を算出し、この距離に基づいて各極大点の重み付け値を算出し、最後に合成関数によって最後の投影画面７０２を生成する。投影画面７０２において、血管（頸動脈７０８）と骨格（頸椎７０９）との間に混合効果が表れ、双方の間にはブロッキング関係が存在しない。ウィンドウ７１０は重み関数の選択と調整に用いられ、重み関数において、距離は独立変数で、重みは従属変数である。ウィンドウ７１０おいて、距離と重みとの間の変更因子（例えば、図５Ａ、５Ｂおよび５Ｃにおけるパラメータａとｃ）を調整することができる。立体最大輝度投影表示システムは左右の目の画面を交替してレンダリングし、正面図７０１内に表示して視差情報を生成する（人の目の遅延特徴を利用してユーザは立体表示画像を見ることができる）。頸動脈７０８と頸椎７０９との間のブロッキング関係が既に弱化されたかまたは解消されたため、潜在的な三次元キューイングコンフリクト問題を回避することができる。

図８Ａは本発明の立体最大輝度投影システムの操作フローチャートである。

先ず、ステップＳ８０１において、三次元データ、例えば、規則的な三次元ＣＴスキャンデータを取得する。

そして、ステップＳ８０２において、立体三次元投影に用いられる二つの視点の三次元モデルにおける位置を初期化し、同時に断面図と等距離面の位置および距離重み関数を初期化して、その後の立体最大輝度投影のために一枚目の画面のレンダリングに備える。

続いて、ステップＳ８０３において、左視点を選択して左目の画面をレンダリングする。ステップＳ８０４において、右視点を選択して右目の画面をレンダリングする。ステップＳ８０３とステップＳ８０４は交換可能であり、或いは並行して行なってもよい。

最後にＳ８０５において、二つの画像（左目の画面と右目の画面）を立体表示設備によって交替または同時にユーザに表示し、立体表示を実現する。

ユーザが目に入った立体表示に基づいて画面位置を調整したり、興味のある物体を探し出したりすることを望む場合、ステップＳ８０６に進んで、主投影ウィンドウ（例えば、図７のウィンドウ７０１）における断面選択線（例えば、図７の座標系７０４と線分７０３）を利用して視点（例えば、図７の視点７０６）と断面（例えば、図７のウィンドウ７０５）の三次元データにおける位置を調整することができる。さらに、断面ウィンドウ（例えば、図７のウィンドウ７０５）において同距離面の位置を修正してユーザが興味を持つ物体により大きな重み付け値を付与し、これにより興味のある物体に対して速やかに位置決めを行なうことができる。視点、断面選択線および等距離面のうちのいずれかの一つまたは二つを単独で調整してもよく、すべてを調整してもよい。

図８Ｂは片目の画面（左目画面或いは右目画面）レンダリングの具体的な操作フローチャートである。

投影面上の各画素に対して、以下の操作を行なって、片目の画面全体を取得する。

ステップＳ８Ａ１において、視点と該画素によって確定された視線に沿って、三次元データから等間隔でサンプリングを行なう。

ステップＳ８Ａ２において、取得したサンプリングポイントからすべての極大輝度点を探し出す。

ステップＳ８Ａ３において、各極大輝度点に対して、該極大輝度点から等距離面までの距離を算出する。

ステップＳ８Ａ４において、各極大輝度点から等距離面までの距離に基づいて、距離重み関数によって、各極大輝度点の重み付けを算出する。

ステップＳ８Ａ５において、各極大輝度点の重みに基づいて該極大輝度の輝度値を調整して各極大輝度点の重み付け後の輝度値を取得する。

ステップＳ８Ａ６において、合成関数によって、すべての極大輝度点の重み付け後の輝度値に対して合成を行ない、最終的な投影結果を取得して投影面における該画素のデータとする。

図９は本発明の立体最大輝度投影システムのハードウェア構成図である。

コンピュータ９０２は汎用コンピュータであり、主にプロセッサユニット９０３、メモリユニット９０４およびデータ記憶装置９０５を含む。ユーザ入力装置９０１と立体表示装置９０６は、共同でユーザとコンピュータ９０２の間のインタラクションを実現する。立体表示装置９０６の主な機能は二つの左右の視点の画面を交替または同時に表示し、ユーザの左右の目が別々に左右の視点の画面を受け取ることを確保する。プロセッサユニット９０３とメモリユニット９０４はユーザのインタラクションによってユーザが必要とするデータの処理を完成する。

図１０は本発明の立体最大輝度投影システムのより具体的なハードウェア構成図である。

データ取得ユニット１００１は三次元データ、例えば規則的な三次元ＣＴスキャンデータなどを取得する。初期化ユニット１００２は立体三次元投影に用いられる二つの視点の三次元モデルにおける位置、断面図と等距離面の位置、および距離重み関数を初期化して、その後の立体最大輝度投影のために一枚目の画面のレンダリングに備える。立体レンダリングユニット１００３は立体レンダリング操作の完成、すなわち、二つの視点の位置、等距離面の位置および距離重み関数に基づいて、それぞれ左目の画面と右目の画面における各画素のデータの取得に用いられる。立体レンダリングユニット１００３は極大輝度点確定ユニット３００１、極大輝度点重み付けユニット３００２および極大輝度点合成ユニット３００３を含む。片目の画面（左目の画面と右目の画面のうちの一つ）における各画素に対して、極大輝度点確定ユニット３００１は視点と該画素とによって確定された視線に沿って、三次元データから等間隔でサンプリングを行ない、取得されたサンプリングポイントからすべての極大輝度点を探し出し、極大輝度点重み付けユニット３００２は各極大輝度点に対して、該極大輝度点から等距離面までの距離を算出し、該算出された距離に基づいて、距離重み関数によって、該極大輝度の輝度値に対して重み付けを行ない、該極大輝度点の重み付け後の輝度値を取得し、極大輝度点合成ユニット３００３は合成関数によって、すべての極大輝度点の重み付け後の輝度値に対して合成を行ない、最終的な投影結果を取得して片目の画面における該画素のデータとする。表示ユニット１００４は立体レンダリングユニット１００３によってレンダリングされた二つの画面（例えば、図７のウィンドウ７０１）を交替または同時に表示する。また、表示ウィンドウ１００４はさらに断面ウィンドウ（例えば、図７のウィンドウ７０５）と重み関数ウィンドウ（例えば、図７のウィンドウ７１０）に対する表示を提供する。ユーザインタラクションユニット１００５は、視点、断面選択線および等距離面のうちのいずれか一つ、二つまたは三つすべての選択と調整を含むユーザインタラクションの処理を提供する。

上述の説明において、それぞれのステップに対して複数の実例を列挙し、発明者は相互関連する実例をできる限り明示したが、これらの実例が必ずしも対応する記号に応じて対応関係が存在することを意味するものではない。選択された実例の与えた条件が矛盾しなければ、異なるステップにおいて、選択記号が対応しない実例で対応する技術案を構成してよく、このような技術案も本発明の範囲内に含まれていると見なすべきである。

注意すべき点は、以上の説明においては、例示の方法のみで本発明の技術案を示したが、本発明は上述のステップとユニット構造に限定されることを意味するものではない。可能であれば、需要に応じてステップとユニット構造に対して調整と取捨を行なってもよい。したがって、幾つかのステップとユニットは決して本発明を実施する発明趣旨全体に必須な要素ではない。したがって、本発明に必須な技術特徴は本発明を実現可能な発明趣旨全体の最低要求のみに限定されるものであり、上述の具体的な例示には限定されない。

ここに公開された本発明の実施例のその他の配置は、先に概略に記述し後で詳細に説明した方法実施例のステップと操作を実行するソフトウェアプログラムを含む。さらに具体的には、コンピュータプログラム製品は以下のような実施例である。コンピュータ読取可能媒体を有し、コンピュータ読取可能媒体にはコンピュータプログラムロジックが符号化され、コンピュータ装置で実行する際に、コンピュータプログラムロジックが関連操作を提供し、これにより上述の三次元データ立体表示手段を提供する。コンピュータシステムの少なくとも一つのプロセッサにおいて実行する際に、コンピュータプログラムロジックはプロセッサに本発明の実施例に説明した操作（方法）を実行させる。本発明のこのような配置は典型的に、例えば、光媒体（例えば、ＣＤ−ＲＯＭ）、フロッピディスクまたはハードディスクなどのコンピュータ読取可能媒体上のソフトウェア、コードと／或いはその他のデータ構造、或いは例えば一つまたは複数のＲＯＭ或いはＲＡＭ或いはＰＲＯＭチップ上のファームウェア或いはマイクロコードなどその他の媒体、或いは専用集積回路（ＡＳＩＣ）、或いは一つまたは複数のモジュールに設置またはエンコードされたダウンロード可能なソフトウェア画像、共有データベース等として提供される。コンピュータ装置のうちの一つのまたは複数のプロセッサが本発明の実施例に説明した技術を実行するために、ソフトウェアまたはファームウェアまたはこのようなものをコンピュータ装置にインストールしてよい。例えば一組のデータ通信装置またはその他の実体におけるコンピュータと組み合わせて操作を行なうソフトウェア実行も本発明によるシステムを提供することができる。本発明によるシステムは複数のデータ通信装置における複数のソフトウェアプロセスに、或いは一組の小型専用コンピュータ上に実行されるすべてのソフトウェアプロセスに、或いは一つのコンピュータ上に実行されるすべてのソフトウェアプロセスの間に分布することもできる。

厳格に言うと、本発明の実施例はデータ通信装置上のソフトウェアプログラム、ソフトウェアとハードウェア、或いは独立したソフトウェアと／或いは独立した回路として実現することができる。

以上、最適な実施例に基づいて本発明について説明したが、本分野の技術者が本発明の趣旨と範囲以内において様々なその他の変更、入れ替えと追加を行なうことができることと理解すべきである。したがって、本発明の範囲は上述の特定な実施例に限定されず、添付した請求項によって限定されるべきである。

Claims

極大輝度点確定ユニットと、極大輝度点重み付けユニットと、極大輝度点合成ユニットと、を含み、
第１視点の投影画像における各画素に対して、
前記極大輝度点確定ユニットは、第１視点と各画素とによって確定された視線に沿って、三次元データからすべての極大輝度点を探し出し、
前記極大輝度点重み付けユニットは、各極大輝度点に対して、該極大輝度点から基準面までの距離を算出し、算出された距離に基づいて、距離重み関数によって、該極大輝度点の輝度値に対して重み付けを行ない、該極大輝度点の重み付け後の輝度値を取得し、
前記極大輝度点合成ユニットは、すべての極大輝度点の重み付け後の輝度値から最大値を選択して第１視点の投影画像における該画素のデータとし、
前記基準面は、第１視点から等距離離れた点により構成された等距離面である
ことを特徴とする画像処理装置。
極大輝度点確定ユニットと、極大輝度点重み付けユニットと、極大輝度点合成ユニットと、を含み、
第１視点の投影画像における各画素に対して、
前記極大輝度点確定ユニットは、第１視点と各画素とによって確定された視線に沿って、三次元データからすべての極大輝度点を探し出し、
前記極大輝度点重み付けユニットは、各極大輝度点に対して、該極大輝度点から基準面までの距離を算出し、算出された距離に基づいて、距離重み関数によって、該極大輝度点の輝度値に対して重み付けを行ない、該極大輝度点の重み付け後の輝度値を取得し、
前記極大輝度点合成ユニットは、すべての極大輝度点の重み付け後の輝度値から最大値を選択して第１視点の投影画像における該画素のデータとし、
第２視点の投影画像における各画素に対して、
前記極大輝度点確定ユニットは、第２視点と各画素とによって確定された視線に沿って、三次元データからすべての極大輝度点を探し出し、
前記極大輝度点重み付けユニットは、各極大輝度点に対して、該極大輝度点から基準面までの距離を算出し、算出された距離に基づいて、距離重み関数によって、該極大輝度点の輝度値に対して重み付けを行ない、該極大輝度点の重み付け後の輝度値を取得し、
前記極大輝度点合成ユニットは、すべての極大輝度点の重み付け後の輝度値から最大値を選択して第２視点の投影画像における該画素のデータとし、
前記基準面は、第１視点と第２視点との間の中心点から等距離離れた点により構成された等距離面である
ことを特徴とする画像処理装置。
請求項２に記載の画像処理装置において、
第１視点の投影画像と第２視点の投影画像とを交替または同時に表示する表示ユニットをさらに含む
ことを特徴とする画像処理装置。
請求項１〜３のいずれかに記載の画像処理装置において、
前記距離重み関数は、基準面に近い極大輝度点により大きい重み付け係数を付与することを特徴とする画像処理装置。
請求項４に記載の画像処理装置において、
前記距離重み関数は、距離を独立変数とし、重み付け係数を従属変数とするガウス関数、余弦関数、或いは三角関数であることを特徴とする画像処理装置。
請求項１〜５のいずれかに記載の画像処理装置において、
すべての極大輝度点の重み付け後の輝度値から最大値を選択して、第１視点の投影画像／第２視点の投影画像における該画素のデータとし、
前記極大輝度点合成ユニットは、合成関数によって、すべての極大輝度点の重み付け後の輝度値に対して合成を行ない、第１視点の投影画像／第２視点の投影画像における該画素のデータを取得することを特徴とする画像処理装置。
請求項６に記載の画像処理装置において、
前記合成関数は加算関数であり、すなわちすべての極大輝度点の重み付け後の輝度値を加算し、加算した結果を第１視点の投影画像／第２視点の投影画像における該画素のデータとすることを特徴とする画像処理装置。
請求項６に記載の画像処理装置において、
前記合成関数は透明度混合関数であり、すなわち前から後ろへ透明度に応じて混合する方法を採用して、すべての極大輝度点の重み付け後の輝度値を合成し、合成後の結果を第１視点の投影画像／第２視点の投影画像における該画素のデータとすることを特徴とする画像処理装置。
第１視点の投影画像における各画素に対して、
第１視点と各画素とによって確定された視線に沿って、三次元データからすべての極大輝度点を探し出すことと、
各極大輝度点に対して、該極大輝度点から基準面までの距離を算出し、算出された距離に基づいて、距離重み関数によって、該極大輝度点の輝度値に対して重み付けを行ない、該極大輝度点の重み付け後の輝度値を取得することと、
すべての極大輝度点の重み付け後の輝度値から最大値を選択して第１視点の投影画像における該画素のデータとすることと、を含み、
前記基準面は、第１視点から等距離離れた点により構成された等距離面である
ことを特徴とする画像処理方法。
第１視点の投影画像における各画素に対して、
第１視点と各画素とによって確定された視線に沿って、三次元データからすべての極大輝度点を探し出すことと、
各極大輝度点に対して、該極大輝度点から基準面までの距離を算出し、算出された距離に基づいて、距離重み関数によって、該極大輝度点の輝度値に対して重み付けを行ない、該極大輝度点の重み付け後の輝度値を取得することと、
すべての極大輝度点の重み付け後の輝度値から最大値を選択して第１視点の投影画像における該画素のデータとすることと、
第２視点の投影画像における各画素に対して、
第２視点と各画素とによって確定された視線に沿って、三次元データからすべての極大輝度点を探し出すことと、
各極大輝度点に対して、該極大輝度点から基準面までの距離を算出し、算出された距離に基づいて、距離重み関数によって、該極大輝度点の輝度値に対して重み付けを行ない、該極大輝度点の重み付け後の輝度値を取得することと、
すべての極大輝度点の重み付け後の輝度値から最大値を選択して第２視点の投影画像における該画素のデータとすることと、
を含み、
前記基準面は、第１視点と第２視点との間の中心点から等距離離れた点により構成された等距離面である
ことを特徴とする画像処理方法。
請求項１０に記載の画像処理方法において、
第１視点の投影画像と第２視点の投影画像とを交替または同時に表示する
ことを特徴とする画像処理方法。
請求項９〜１１のいずれかに記載の画像処理方法において、
前記距離重み関数は、基準面に近い極大輝度点により大きい重み付け係数を付与することを特徴とする画像処理方法。
請求項１２に記載の画像処理方法において、
前記距離重み関数は、距離を独立変数とし、重み付け係数を従属変数とするガウス関数、余弦関数、或いは三角関数であることを特徴とする画像処理方法。
請求項９〜１３のいずれかに記載の画像処理方法において、
すべての極大輝度点の重み付け後の輝度値から最大輝度を選択して、第１視点の投影画像／第２視点の投影画像における該画素のデータとし、
合成関数によって、すべての極大輝度点の重み付け後の輝度値に対して合成を行ない、第１視点の投影画像／第２視点の投影画像における該画素のデータを取得することを特徴とする画像処理方法。
請求項１４に記載の画像処理方法において、
前記合成関数は加算関数であり、すなわちすべての極大輝度点の重み付け後の輝度値を加算し、加算した結果を第１視点の投影画像／第２視点の投影画像における該画素のデータとすることを特徴とする画像処理方法。
請求項１４に記載の画像処理方法において、
前記合成関数は透明度混合関数であり、すなわち前から後ろへ透明度に応じて混合する方法を採用し、すべての極大輝度点の重み付け後の輝度値を合成し、合成後の結果を第１視点の投影画像／第２視点の投影画像における該画素のデータとすることを特徴とする画像処理方法。