Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4337987B2 - 情報処理装置およびプログラム - Google Patents
[go: Go Back, main page]

JP4337987B2 - 情報処理装置およびプログラム - Google Patents

情報処理装置およびプログラム Download PDF

Info

Publication number
JP4337987B2
JP4337987B2 JP2006531455A JP2006531455A JP4337987B2 JP 4337987 B2 JP4337987 B2 JP 4337987B2 JP 2006531455 A JP2006531455 A JP 2006531455A JP 2006531455 A JP2006531455 A JP 2006531455A JP 4337987 B2 JP4337987 B2 JP 4337987B2
Authority
JP
Japan
Prior art keywords
information
slice information
slice
information group
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006531455A
Other languages
English (en)
Other versions
JPWO2006013813A1 (ja
Inventor
恵 中尾
知宏 黒田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyoto University NUC
Original Assignee
Kyoto University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyoto University NUC filed Critical Kyoto University NUC
Publication of JPWO2006013813A1 publication Critical patent/JPWO2006013813A1/ja
Application granted granted Critical
Publication of JP4337987B2 publication Critical patent/JP4337987B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three-dimensional [3D] modelling for computer graphics
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00Three-dimensional [3D] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/20Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S715/00Data processing: presentation processing of document, operator interface processing, and screen saver display processing
    • Y10S715/961Operator interface with visual structure or function dictated by intended use
    • Y10S715/964CAD or CAM, e.g. interactive design tools

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、三次元の物体を表示する情報処理装置およびそのプログラム等に関するものである。
近年、機械工学や材料・物質分野、医学・医療分野におけるCAD(Computer Aided Design)や生体機能解析、手術トレーニングシステムなどの中で、様々な力学的・生理学的シミュレーションが行われている(非特許文献1、非特許文献2、非特許文献3参照)。この際、シミュレーションに用いられるのは主に大規模な三次元データであり、解析結果の可視化のためにボリュームレンダリング(非特許文献4、非特許文献5参照)をはじめとする様々な可視化手法が利用されている。
一方、機械部品や弾性材料、人体臓器などの力学特性の解析を行う場合、前処理としてCT・MRIなどの断層画像集合から領域抽出・表面生成などを経て三次元メッシュが用意される。構築されたメッシュに対して力学計算ソルバによる変位の導出がなされ、表面ポリゴンの描画やセルプロジェクション(非特許文献6、非特許文献7参照)によって解析結果が描出される。
シミュレーションの後にメッシュ形式から再びボクセル化を行い、ボリュームレンダリングを行うアプローチもある(非特許文献8、非特許文献9参照)。ボクセル化の際に、元画像のボクセル濃淡値を参照しながら、変形後のボリュームテクスチャを毎回新たに生成する。
I. Fujishiro, L. Chen, Y. Takeshima, H. Nakamura and Y. Suzuki, "Parallel Visuzalization of Gigabyte Datasets in GeoFEM", Concurrency and Computation: Practice and Experience, Vol. 14, No. 6-7, pp. 521-530, 2002 B. Wunsche, "The Visualization and Measurement of Left Ventricular Deformation", Proc. the First Asia-Pacific bioinformatics conference on Bioinformatics, pp. 119-128, 2003. B. Pflesser, U. Tiede, K.H. Hohne and R. R. Leuwer, "Volume Based Planning and Rehearsal of Surgical Intervention", Proc. Computer Assisted Radiology and Surgery (CARS), pp.607-612, 2000 R. A. Drebin, L. Carpenter and P. Hanrahan, "Volume Rendering", Computer Graphics (Proc. ACM SIGGRAPH), Vol. 22, No. 4, pp. 65-74, 1988. F. Dachille, K. Kreeger, B. Chen, I. Bitter and A. Kaufman, "High-quality Volume Rendering Using Texture Mapping Hardware", Proc. The ACM SIGGRAPH /EUROGRAPHICS workshop on Graphics hardware, p. 69, 1998. M. Weiler, M. Kraus, M. Merz and T. Ertl, "Hardware-Based Ray Casting for Tetrahedral Meshes", Proc. IEEE Visualization, pp. 333-340, 2003. M. Weiler, M. Kraus and T. Ertl, "Hardware-Based View-Independent Cell Projection", Proc. the IEEE Symposium on Volume Visualization and Graphics, pp. 13-22, 2002. A. E. Kaufman, S. W. Wang, "Volume Sampled Voxelization of Geometric Primitives", Proc. IEEE Visualization, pp. 78-84, 1993. J. Huang, R. Yagel,V. Filippov and Y. Kurzion "An Accurate Method for Voxelizing Polygon Meshes", ACM Symposium on Volume Visualization, pp. 119-126, 1998.
しかしながら、非特許文献1から非特許文献5における高度なシミュレータでは、三次元形状モデル上での解析結果を表面や内部構造を含め、高精細かつ高速に描画することが求められるが、かかる要求に対応できていない。例えば、構造物に変形や破壊を加えた際の内部構造の変化の可視化や、拍動心臓などの臓器モデルに対する圧俳や把持の際の内腔の変化の描出などである。特に、手術シミュレータをはじめとする体験型のVRシミュレーションでは、解析結果をなめらかなアニメーションとして実時間提示することが必要不可欠である。
また、非特許文献6、非特許文献7のアプローチでは、メッシュ生成の際に1000万以上の要素数からなるボクセルデータの詳細度を踏襲することは難しく、元画像の濃淡値情報の多くが欠落する。このため、形状の変化は描出できるものの、変形結果に色情報や濃淡値を反映させることができない。
また、非特許文献8、非特許文献9の方法では、変形後の色情報が再現されるが、CPU上でのボクセル化には時間を要し、汎用のPCでは実時間性の達成が困難である。また、フレームごとに更新された大規模なボリュームテクスチャをグラフィックカードへ転送する必要が生じ、実時間処理には大きなボトルネックとなる。
本第一の発明の情報処理装置は、三次元の物体の三次元メッシュの情報である第一メッシュ情報と、前記三次元の物体のボリュームテクスチャである3Dボクセル情報を格納している物体情報格納部と、前記三次元の物体の変形を指示する変形指示を受け付ける指示受付部と、前記変形指示に基づいて、前記第一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得する第二メッシュ情報取得部と、前記第二メッシュ情報に基づいて、色情報を有しない複数のスライス情報である第一スライス情報群を取得する第一スライス情報群取得部と、前記第一スライス情報群を構成する複数のスライス情報の各点であり、前記3Dボクセル情報の点に対応する各点の色情報を決定する色情報決定部と、前記色情報決定部が決定した各点の色情報に基づいて、前記第一スライス情報群取得部が取得した第一スライス情報群の各点に新たな色情報を設定し、第二スライス情報群を取得する第二スライス情報群取得部と、前記第二スライス情報群を出力する変形物体出力部を具備する情報処理装置である。
かかる構成により、三次元物体の形状の変化を、表面及び内部の色情報を伴って、実時間で描出することができる。
また、本第二の発明の情報処理装置は、三次元の物体の三次元メッシュの情報である第一メッシュ情報と、前記三次元の物体のボリュームテクスチャである3Dボクセル情報を格納している物体情報格納部と、前記三次元の物体の変形を指示する変形指示を受け付ける指示受付部と、前記指示受付部が変形指示を受け付けた場合に、前記3Dボクセル情報に基づいて、複数のスライス情報である第一スライス情報群を取得する第一スライス情報群取得部と、前記変形指示に基づいて、前記第一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得する第二メッシュ情報取得部と、前記第二メッシュ情報に基づいて、前記複数のスライス情報を変形し、新たな複数のスライス情報である第二スライス情報群を取得する第二スライス情報群取得部と、前記第一スライス情報群を構成する複数のスライス情報の中の点であり、前記第二スライス情報群を構成する新たな複数のスライス情報の各点に対応する点の色情報を取得し、当該取得した各点の色情報に基づいて、前記第二スライス情報群を構成する新たな複数のスライス情報の各点の色情報を決定する色情報決定部と、前記色情報決定部が決定した各点の色情報に基づいて、前記第二スライス情報群取得部が取得した第二スライス情報群の各点に新たな色情報を設定し、第三スライス情報群を取得する第三スライス情報群取得部と、前記第三スライス情報群を出力する変形物体出力部を具備する情報処理装置である。
かかる構成により、三次元物体の形状の変化を、表面及び内部の色情報を伴って、実時間で描出することができる。
また、本第三の発明の情報処理装置は、三次元の物体の三次元メッシュの情報である第一メッシュ情報と、前記三次元の物体のボリュームテクスチャをスライスした複数のスライス情報である第一スライス情報群を格納している物体情報格納部と、前記三次元の物体の変形を指示する変形指示を受け付ける指示受付部と、前記変形指示に基づいて、前記第一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得する第二メッシュ情報取得部と、前記第二メッシュ情報に基づいて、前記複数のスライス情報を変形し、新たな複数のスライス情報である第二スライス情報群を取得する第二スライス情報群取得部と、前記第一スライス情報群を構成する複数のスライス情報の中の点であり、前記第二スライス情報群を構成する新たな複数のスライス情報の各点に対応する点の色情報を取得し、当該取得した各点の色情報に基づいて、前記第二スライス情報群を構成する新たな複数のスライス情報の各点の色情報を決定する色情報決定部と、前記色情報決定部が決定した各点の色情報に基づいて、前記第二スライス情報群取得部が取得した第二スライス情報群の各点に新たな色情報を設定し、第三スライス情報群を取得する第三スライス情報群取得部と、前記第三スライス情報群を出力する変形物体出力部を具備する情報処理装置である。
かかる構成により、三次元物体の形状の変化を、表面及び内部の色情報を伴って、実時間で描出することができ、かつ予め保持するデータ量が少なくて良い。
また、本第四の発明の情報処理装置は、第一、第二の情報処理装置において、指示受付部は、変形指示と、視線方向を示す情報である視線ベクトルの入力を受け付け、第一スライス情報群取得部は、指示受付部が変形指示を受け付けた場合に、3Dボクセル情報に基づいて、視線ベクトルに対して垂直となる複数のスライス情報である第一スライス情報群を取得する。
かかる構成により、視線ベクトルが示す方向から、三次元物体の高品質な表示を実現することができる。
また、本第五の発明の情報処理装置は、上記の情報処理装置において、第一スライス情報群を構成する複数のスライス情報間の間隔は一定である。
かかる構成により、高速かつ高品質に、三次元物体の形状の変化を表示することができる。
また、本第六の発明の情報処理装置は、上記の情報処理装置において、変形物体出力部は、前記第三スライス情報群を構成する複数のスライスの中で、ディスプレイの奥行きの深い方のスライスから順に出力する。
かかる構成により、三次元物体の形状の変化を、高い品質で表示することができる。
本発明は、三次元物体の変形等の処理を実時間で行える情報処理装置を提供できる。
以下、情報処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
(実施の形態1)
図1は、本実施の形態における情報処理装置のブロック図である。情報処理装置は、物体情報格納部101、指示受付部102、第二メッシュ情報取得部103、第一スライス情報群取得部104、色情報決定部105、第二スライス情報群取得部106、変形物体出力部107を具備する。色情報決定部105は、対応点決定手段1051、色情報決定手段1052を具備する。
物体情報格納部101は、三次元の物体の三次元メッシュの情報である第一メッシュ情報と、三次元の物体のボリュームテクスチャである3Dボクセル情報を格納している。三次元メッシュの情報は、三次元物体を構成する点の情報の集合である。三次元メッシュの情報は、間隔が空いている点の情報の集合である。点の情報は、通常、(x,y,z)という座標情報である。3Dボクセル情報は、例えば、(x,y,z,col)で構成される点の情報である。(x,y,z,col)の(x,y,z)は、座標情報である。「col」は、色情報である。3Dボクセル情報は、点の間隔がなく、詰まっている点の情報でも、離散的な点の情報でも良い。3Dボクセル情報は、例えば、CTやMRIやPETなどの医用機器で取得した画像群である。物体情報格納部101は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
指示受付部102は、三次元の物体の変形を指示する変形指示と、視線方向を示す情報である視線ベクトルの入力を受け付ける。変形指示や視線ベクトルの入力方法は問わない。変形指示と視線ベクトルの入力手段は、異なっても良い。変形指示や視線ベクトルの入力手段は、テンキーやキーボードやマウス(3Dマウスを含む)やメニュー画面によるものや視線入力等、何でも良い。指示受付部102は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
第二メッシュ情報取得部103は、変形指示に基づいて、物体情報格納部101に格納されている第一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得する。例えば、第一メッシュ情報の所定の点をマウスで指示され、ドラッグしながら引き延ばされた場合、第二メッシュ情報取得部103は、例えば、当該所定の点が、引き延ばされた方向、距離の分、第一メッシュ情報を変形し、第二メッシュ情報を得る。第二メッシュ情報のデータ構造は、通常、第一メッシュ情報と同じである。第二メッシュ情報取得部103は、通常、MPUやメモリ等から実現され得る。第二メッシュ情報取得部103の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
第一スライス情報群取得部104は、第二メッシュ情報取得部103が取得した第二メッシュ情報に基づいて、色情報を有しない複数のスライス情報である第一スライス情報群を取得する。第一スライス情報群取得部104は、第一メッシュ情報に対して変形したメッシュ情報である第二メッシュ情報から構成される三次元物体をスライスして取得できる情報であるスライス情報を複数取得する。かかるスライス情報間の間隔は一定であることが好適である。また、複数のスライス情報は、視線ベクトルに対して垂直であることが好適である。スライス情報は、平面を構成する点の情報の集合であり、点間の間隔がなく、詰まっている。第一スライス情報群取得部104は、通常、MPUやメモリ等から実現され得る。第一スライス情報群取得部104の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
色情報決定部105は、第一スライス情報群を構成する複数のスライス情報の各点であり、物体情報格納部101に格納されている3Dボクセル情報の点に対応する各点の色情報を決定する。3Dボクセル情報の点に対応する各点は、3Dボクセル情報中の点であり、変形前の点である。色情報決定部105は、通常、MPUやメモリ等から実現され得る。色情報決定部105の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
対応点決定手段1051は、第一スライス情報群を構成する複数のスライス情報の各点に対応する、3Dボクセル情報の中の各点を決定する。なお、この3Dボクセル情報の中の各点は、変形前の各点である。対応点決定手段1051は、通常、MPUやメモリ等から実現され得る。対応点決定手段1051の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
色情報決定手段1052は、対応点決定手段1051が決定した3Dボクセル情報の中の各点の色情報を取得する。色情報決定手段1052は、通常、MPUやメモリ等から実現され得る。色情報決定手段1052の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
第二スライス情報群取得部106は、色情報決定部105が決定した各点の色情報に基づいて、第一スライス情報群取得部104が取得した第一スライス情報群の各点に新たな色情報を設定し、第二スライス情報群を取得する。つまり、第二スライス情報群取得部106は、第一スライス情報群取得部104が取得した第一スライス情報群の各点に新たな色情報として、色情報決定部105が決定した各点の色情報を設定する。かかる色情報を設定した複数のスライス情報が第二スライス情報群である。第二スライス情報群取得部106は、通常、MPUやメモリ等から実現され得る。第二スライス情報群取得部106の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
変形物体出力部107は、第二スライス情報群を出力する。出力とは、ディスプレイへの表示、プリンタへの印字、外部の装置(例えば、表示装置を具備する装置)への送信、記録媒体への蓄積等を含む概念である。表示は、ディスプレイやプロジェクターなどへの出力を言う。第二スライス情報群の表示態様は問わない。変形物体表示部107は、第二スライス情報群を構成する複数のスライスの中で、ディスプレイの奥行きの深い方のスライスから順に表示することが好適である。変形物体表示部107は、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。変形物体表示部107は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
以下、情報処理装置の動作について図2のフローチャートを用いて説明する。
(ステップS201)指示受付部102は、変形指示と視線ベクトルの入力を受け付けたか否かを判断する。入力を受け付ければステップS202に行き、入力を受け付けなければステップS201に戻る。
(ステップS202)第一スライス情報群取得部104は、ステップS201で受け付けた視線ベクトルを取得する。
(ステップS203)第二メッシュ情報取得部103は、ステップS201で受け付けた変形指示を取得する。なお、取得した変形指示は、例えば、変形ベクトル(向きと大きさを有する)である。
(ステップS204)第二メッシュ情報取得部103は、物体情報格納部101から第一メッシュ情報を読み出す。
(ステップS205)第二メッシュ情報取得部103は、ステップS203で取得した変形指示に基づいて、ステップS204で読み出した第一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得する。変形指示に基づいてメッシュ情報を変形する処理は、公知技術(有限要素法の技術)であるので、詳細な説明は省略する。
(ステップS206)第一スライス情報群取得部104は、ステップS205で取得した第二メッシュ情報に基づいて、複数のスライス情報である第一スライス情報群を取得する。第二メッシュ情報が構成する三次元物体をスライスし、複数の平面の情報を得る。かかる平面の情報がスライス情報である。スライス情報は、座標情報(x,y,z)で示される点の集合であり、色情報は有さない。かかる場合、第一スライス情報群取得部104は、視線ベクトルに対して垂直となり、所定の間隔で、複数のスライス情報である第一スライス情報群を取得する。ここで、第一スライス情報群を構成するスライス情報は、色情報を有しない。
(ステップS207)第二スライス情報群取得部106は、第二スライス情報群を取得する。かかる処理の詳細については、図3のフローチャートを用いて説明する。
(ステップS208)変形物体出力部107は、ステップS207で取得した第二スライス情報群を出力する。ステップS201に戻る。
なお、図2のフローチャートにおいて、連続的に変形指示と視線ベクトルの入力を受け付け、リアルタイムに三次元物体の変形を表示した。しかし、視線ベクトルの入力は、一度だけでも良いし、視線ベクトルは予め格納されており、入力されなくても良い。
また、図2のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
次に、情報処理装置における第二スライス情報群取得の動作(上記ステップS207の動作)について、図3のフローチャートを用いて説明する。
(ステップS301)第二スライス情報群取得部106は、カウンタiに1を代入する。
(ステップS302)第二スライス情報群取得部106は、i番目のスライス情報(未処理のスライス情報)が、第一スライス情報群の中に存在するか否かを判断する。i番目のスライス情報が存在すればステップS303に行き、i番目のスライス情報が存在しなければ上位関数にリターンする。
(ステップS303)第二スライス情報群取得部106は、カウンタjに1を代入する。
(ステップS304)第二スライス情報群取得部106は、i番目のスライス情報の中に未処理のj番目の点があるかどうか判断する。j番目の点が存在すればステップS305に行き、j番目の点が存在しなければステップS309に飛ぶ。なお、「未処理」とは、色情報を設定していないことを言う。
(ステップS305)対応点決定手段1051は、i番目のスライス情報の中のj番目の点に対応する点であり、3Dボクセル情報中の点を決定する。3Dボクセル情報中の点とは、変形前の点である。なお、j番目の点は、変形後の点である。3Dボクセル情報中の点を決定するアルゴリズムの例の詳細は、後述する。
(ステップS306)色情報決定手段1052は、ステップS305で決定した3Dボクセル情報中の点の色情報を取得する。
(ステップS307)色情報決定手段1052は、ステップS306で取得した色情報を、i番目のスライス情報の中のj番目の点の色情報に設定する。
(ステップS308)第二スライス情報群取得部106は、カウンタjを1、インクリメントする。ステップS304に戻る。
(ステップS309)第二スライス情報群取得部106は、カウンタiを1、インクリメントする。ステップS302に戻る。
以下、本実施の形態における情報処理装置の具体的な動作について説明する。本情報処理装置において、例えば、三次元物体は、心臓や肺などの臓器である。かかる三次元物体は、4面体の集合で近似できる。したがって、ここでは、説明の簡単化のために、図4(a)に示す4面体を変形させた場合について説明する。図4(a)において、A,B,C,Oの4点を有する。点Pは、4面体の内部のある点である。
物体情報格納部101は、例えば、図5に示す第一メッシュ情報と、図6に示す3Dボクセル情報を格納している。第一メッシュ情報は、例えば、4面体の外側および内側の点の情報(点の間は間隔があいている)の集合である。3Dボクセル情報は、図4(a)に示す4面体を構成する全ての点の情報である点情報の集合である。点情報は、位置情報(x,y,z)と色情報(図6において、「col」など)を、少なくとも有する。
ここで、ユーザは、変形指示と視線ベクトルを入力した、とする。ここでは、変形指示は、例えば、情報処理装置が具備するマウスで入力する。マウスでの入力は、例えば、図4(a)に示す4面体の点Oを左横に所定の力でドラッグする入力である。かかる入力により、図4(a)に示す4面体は、図4(b)に示すような4面体になる。そして、かかる変形指示に基づいて、第二メッシュ情報取得部103は、図5の第一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得する。第二メッシュ情報を図7に示す。つまり、第二メッシュ情報は、図4(b)の4面体を示す情報である。なお、第一メッシュ情報を変形し、第二メッシュ情報を取得する処理は、有限要素法による公知技術であるので詳細な説明は省略する。
次に、第一スライス情報群取得部104は、第二メッシュ情報取得部103が取得した第二メッシュ情報に基づいて、色情報を有しない複数のスライス情報である第一スライス情報群を取得する。第一スライス情報群取得部104は、図8に示すように、視線ベクトルに対して垂直となり、所定の間隔で、複数のスライス情報である第一スライス情報群を取得する。第一スライス情報群取得部104は、表示対象の三次元物体の位置「minD」と「maxD」を求め、所定の間隔「D」でスライスし、複数のスライス情報を取得する。スライス情報は、点の情報の集合である。また、スライス情報を構成する点間の間隔はない。つまり、スライス情報により示される平面は、点の情報により詰まっている。ここでの点の情報は、位置情報(x,y,z)を有し、色情報を有さない。その結果、第一スライス情報群取得部104は、図9に示す第一スライス情報群を取得する。第一スライス情報群は、スライス情報S,スライス情報S,スライス情報Sなどを有する。なお、視線ベクトルに対して垂直にスライス情報を取得するのは、ユーザがスライス情報の集合を見た場合に、間引いたスライス情報でも、立体的に見えるようにするためである。また、所定の間隔で、間引いたスライス情報を取得するのは、表示処理の高速化のためである。また、一定の間隔でスライス情報を取得するのは、高品質な三次元物体を表示するためである。
次に、色情報の取得処理について説明する。図4(a),(b)にあるように、メッシュ要素内部のある点Pが、変形指示の入力によってP'に変位したとき、P'の色情報には3Dボクセル情報内のPの位置にある色情報を割り当てる必要がある。変形前後においてメッシュ内部の任意点の各頂点からの相対位置が変化しないとすれば、変形前後の内部点P,P'の位置は共通のパラメータs,t,uを用いて、次のように各エッジの線形結合として表すことができる。
OP=sOA+tOB+uOC 式(1)
O'P'=sO'A'+tO'B'+uO'C' 式(2)
ここで、対応点決定手段1051は、式(2)を解いて、変形後のメッシュから内部の点P'を定義するパラメータs,t,uを求め、式(1)から変形前の位置Pを得る。そして、位置Pに対応する色情報を、図6に示す3Dボクセル情報から取得する。そして、色情報決定手段1052は、対応点決定手段1051が決定した第一スライス情報群を構成する複数のスライス情報の中の各点の色情報を取得し、設定する。その結果、図9の変形後の各スライス情報を構成する各点は、色情報を有することとなる。
以上の処理において、メッシュ情報を構成するノード(点)に変位が生じたり、メッシュ情報の再構成が行われたりした場合でも、シミュレーション前後において、要素内の点の各ノードからの相対位置が求められる限り、内部の任意点における色情報が再現可能である。
次に、変形物体出力部107は、第二スライス情報群を表示する。かかる処理により、変形指示を受け付けた後の三次元物体がリアルタイムに表示される。変形指示の受け付けと変形後の三次元物体の表示を繰り返すことで、例えば、医療分野における生体機能解析やリアルタイムの手術シミュレーション等が可能となる。
以上、本実施の形態によれば、メッシュに生じた変形や破壊を、表面及び内部の色情報を伴って実時間で描出することができる。具体的には、3Dボクセル情報から取得したスライス情報群と、メッシュ情報を用いて、リアルタイムの三次元物体の変形をシミュレーションできる。つまり、元画像のボクセルデータ(3Dボクセル情報)と対象領域のメッシュデータ(メッシュ情報)の両方を使用し、変形後のメッシュ要素をテクスチャマップされた断面の重なりによって表現することによって、物体表面・内部構造の高精細な描画を行える。また、本実施の形態によれば、有限要素法を代表とする力学計算アルゴリズムに対応し、専用のグラフィクスカードを必要とせずに、汎用PC上で、例えば、256×256×256 voxelからなるボリュームデータに対して、なめらかな変形アニメーションを生成することができる。
なお、本実施の形態における情報処理装置の処理について評価を行った。描画に要する計算時間を検証するために、4パターンの同形状で詳細度の異なるメッシュ(図10(a)の立方体、メッシュ数Eは589,1104,4463,8468)と対応する256×256×256と128×128×128の2パターンのボリュームテクスチャを用意した。それぞれに対し、スライス間隔Dが1.0と2.0の場合を考え、計16通りに対して1秒間における描画フレーム数を測定した。それぞれの場合でのフレーム数を図11に示す。なお、図10の各画像データは、色情報も含むことは言うまでもない。
要素数が多くなると生成されるベースポリゴンが増加し、フレーム数は減少する。フレーム数はスライス間隔Dにはほぼ比例し、256×256×256voxelのボリュームテクスチャを用いた場合、スライス間隔Dを2とすれば要素数が2000程度までのメッシュで10Hz以上のフレーム数を達成できており、物体に対する操作に対して対話的になめらかなアニメーションを提示することができた。
また、本実施の形態における情報処理装置は、CTやMRIによって取得される人体臓器などの三次元物体形状に対し、変形シミュレーションを行った際の表面・内部構造の可視化に有用である。ここで、人体臓器などの三次元物体の形状に対し適用した結果を、以下に示す。例えば、図12(a)はCTによって取得された二次元画像集合から抽出された心筋部位のボリュームレンダリング結果である。同形状の四面体メッシュモデルを作成し、変形シミュレーションを行った結果を図12(b)に示す。濃淡値が反映されるため、変形後の冠動脈などの微細組織や物体表面の性状が高精細に描出される。また、α値を変化させることによって内部構造(心内腔)の変形も観察できる。かかることは、他の実施の形態においても同様である。なお、図12の各画像データは、色情報も含むことは言うまでもない。
また、本実施の形態における情報処理装置は、臓器等の三次元物体の変形のシミュレーションだけではなく、エンターテイメント向けのアニメーション生成など、コンピュータグラフィクスに関連した幅広い用途に有用であり、ボリュームビジュアライゼーションの適用範囲を大きく拡大できる。かかることも、他の実施の形態においても同様である。
また、本実施の形態における情報処理装置において、第一スライス情報群の取得や、第二スライス情報群の取得の処理を並列化すれば、さらに高速処理できることは言うまでもない。かかることも、他の実施の形態においても同様である。
また、本実施の形態における情報処理装置の物体情報格納部に格納されているデータのデータ構造は、三次元物体の三次元メッシュの情報であるメッシュ情報と、前記三次元の物体のボリュームテクスチャである3Dボクセル情報の全部または一部を対応付けて有する三次元物体のデータ構造である。かかるデータ構造を有するデータに対して、上記のような処理を行うことにより、三次元物体の変形や破壊を、表面及び内部の色情報を伴って実時間で描出することができる。かかることも、他の実施の形態においても同様である。
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD−ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、三次元の物体の変形を指示する変形指示を、入力手段等から受け付ける指示受付ステップと、前記変形指示に基づいて、記録媒体に格納している第一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得する第二メッシュ情報取得ステップと、前記第二メッシュ情報に基づいて、色情報を有しない複数のスライス情報である第一スライス情報群を取得する第一スライス情報群取得ステップと、前記第一スライス情報群を構成する複数のスライス情報の各点であり、前記3Dボクセル情報の点に対応する各点の色情報を決定する色情報決定ステップと、前記色情報決定ステップで決定した各点の色情報に基づいて、前記第一スライス情報群取得ステップで取得した第一スライス情報群の各点に新たな色情報を設定し、第二スライス情報群を取得する第二スライス情報群取得ステップと、前記第二スライス情報群を、出力装置等に出力する変形物体出力ステップを実行させるためのプログラム、である。
(実施の形態2)
実施の形態2において、情報処理装置は、変形前の3Dボクセル情報から、色情報を有するスライス情報群を取得し、当該スライス情報群と変形後のメッシュ情報から、変形後の三次元物体の表示を得る方法について説明する。実施の形態2における情報処理装置と、実施の形態1における情報処理装置は、スライス情報群とメッシュ情報を適切に組み合わせて、三次元物体の変形を高速に実現することは同じであるが、変形後の三次元物体を得るアルゴリズムが異なる。
図13は、本実施の形態における情報処理装置のブロック図である。情報処理装置は、物体情報格納部101、指示受付部102、第一スライス情報群取得部1303、第二メッシュ情報取得部1304、第二スライス情報群取得部1305、色情報決定部1306、第三スライス情報群取得部1307、変形物体出力部1308を具備する。色情報決定部1306は、対応点決定手段13061、色情報決定手段13062を具備する。
第一スライス情報群取得部1303は、指示受付部102が変形指示を受け付けた場合に、物体情報格納部101の3Dボクセル情報に基づいて、複数のスライス情報である第一スライス情報群を取得する。具体的には、第一スライス情報群取得部1303は、3Dボクセル情報で表される三次元物体を、所定の間隔でスライスした複数のスライスを示す情報である複数のスライス情報を得る。第一スライス情報群を構成する複数のスライス情報間の間隔は一定であることが好適である。また、第一スライス情報群取得部1303は、指示受付部102が変形指示を受け付けた場合に、3Dボクセル情報に基づいて、視線ベクトルに対して垂直となる複数のスライス情報である第一スライス情報群を取得することが好適である。第一スライス情報群を構成するスライス情報の各点の情報は、色情報を有する。第一スライス情報群取得部1303は、通常、MPUやメモリ等から実現され得る。第一スライス情報群取得部1303の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
第二メッシュ情報取得部1304は、指示受付部102が変形指示を受け付けた場合に、当該変形指示に基づいて、第一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得する。第二メッシュ情報取得部1304は、通常、MPUやメモリ等から実現され得る。第二メッシュ情報取得部1304の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
第二スライス情報群取得部1305は、第二メッシュ情報に基づいて、複数のスライス情報を変形し、新たな複数のスライス情報である第二スライス情報群を取得する。第二スライス情報群を構成するスライス情報の各点は、色情報を有さなくても良い。第二スライス情報群取得部1305は、通常、MPUやメモリ等から実現され得る。第二スライス情報群取得部1305の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
色情報決定部1306は、第一スライス情報群を構成する複数のスライス情報の中の点であり、第二スライス情報群を構成する新たな複数のスライス情報の各点に対応する点の色情報を取得し、当該取得した各点の色情報に基づいて、第二スライス情報群を構成する新たな複数のスライス情報の各点の色情報を決定する。
対応点決定手段13061は、第二スライス情報群を構成する新たな複数のスライス情報の各点に対応する、第一スライス情報群を構成する複数のスライス情報の中の各点を決定する。対応点決定手段13061は、通常、MPUやメモリ等から実現され得る。対応点決定手段13061の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
色情報決定手段13062は、対応点決定手段13061が決定した第一スライス情報群を構成する複数のスライス情報の中の各点の色情報を取得する。色情報決定手段13062は、通常、MPUやメモリ等から実現され得る。色情報決定手段13062の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
第三スライス情報群取得部1307は、色情報決定部1306が決定した各点の色情報に基づいて、第二スライス情報群取得部1305が取得した第二スライス情報群の各点に新たな色情報を設定し、第三スライス情報群を取得する。第三スライス情報群は、第二スライス情報群の各点に色情報を設定した情報群である。第三スライス情報群取得部1307は、通常、MPUやメモリ等から実現され得る。第三スライス情報群取得部1307の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
変形物体出力部1308は、第三スライス情報群を出力する。出力とは、ディスプレイへの表示、プリンタへの印字、外部の装置(例えば、表示装置を具備する装置)への送信、記録媒体への蓄積等を含む概念である。表示は、ディスプレイやプロジェクターなどへの出力を言う。第三スライス情報群の表示態様は問わない。変形物体出力部1308は、第三スライス情報群を構成する複数のスライスの中で、ディスプレイの奥行きの深い方のスライスから順に出力することが好適である。変形物体出力部1308は、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。変形物体出力部1308は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
以下、本情報処理装置の動作について図14のフローチャートを用いて説明する。
(ステップS1401)指示受付部102は、変形指示と視線ベクトルの入力を受け付けたか否かを判断する。入力を受け付ければステップS1402に行き、入力を受け付けなければステップS1401に戻る。
(ステップS1402)第一スライス情報群取得部1303は、ステップS1401で受け付けた視線ベクトルを取得する。
(ステップS1403)第二メッシュ情報取得部1304は、ステップS1401で受け付けた変形指示を取得する。なお、変形指示は、例えば、変形ベクトル(向きと大きさを有する)である。
(ステップS1404)第二メッシュ情報取得部1304は、物体情報格納部101から第一メッシュ情報を読み出す。
(ステップS1405)第二メッシュ情報取得部1304は、ステップS1403で取得した変形指示に基づいて、ステップS1404で読み出した第一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得する。
(ステップS1406)第一スライス情報群取得部1303は、物体情報格納部101から3Dボクセル情報を読み出し、当該3Dボクセル情報から複数のスライス情報である第一スライス情報群を取得する。かかる場合、第一スライス情報群取得部1303は、視線ベクトルに対して垂直となり、所定の間隔で、複数のスライス情報である第一スライス情報群を取得する。なお、第一スライス情報群を構成するスライス情報の各点は、色情報を有する。各点の色情報は、3Dボクセル情報が有する点で、対応する各点の色情報である。
(ステップS1407)第二スライス情報群取得部1305は、ステップS1405で取得した第二メッシュ情報に基づいて、ステップS1406で取得した第一スライス情報群が有する複数のスライス情報を変形し、新たな複数のスライス情報である第二スライス情報群を取得する。
(ステップS1408)第三スライス情報群取得部1307は、第三スライス情報群を取得する。かかる処理の詳細については、図15のフローチャートを用いて説明する。
(ステップS1409)変形物体出力部1308は、ステップS1408で取得した第三スライス情報群を出力する。ステップS1401に戻る。
なお、図14のフローチャートにおいて、連続的に変形指示と視線ベクトルの入力を受け付け、リアルタイムに三次元物体の変形を表示した。しかし、視線ベクトルの入力は、一度だけでも良いし、視線ベクトルは予め格納されており、入力されなくても良い。
また、図14のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
次に、情報処理装置における第三スライス情報群取得の動作(上記ステップS1408の動作)について、図15のフローチャートを用いて説明する。
(ステップS1501)第三スライス情報群取得部1307は、カウンタiに1を代入する。
(ステップS1502)第三スライス情報群取得部1307は、i番目のスライス情報(未処理のスライス情報)が、第二スライス情報群の中に存在するか否かを判断する。i番目のスライス情報が存在すればステップS1503に行き、i番目のスライス情報が存在しなければ上位関数にリターンする。
(ステップS1503)第三スライス情報群取得部1307は、カウンタjに1を代入する。
(ステップS1504)第三スライス情報群取得部1307は、i番目のスライス情報の中に未処理のj番目の点があるかどうか判断する。j番目の点が存在すればステップS1505に行き、j番目の点が存在しなければステップS1509に飛ぶ。
(ステップS1505)対応点決定手段13061は、i番目のスライス情報の中のj番目の点に対応する点であり、第一スライス情報群を構成する複数のスライス情報の中の点(変形前の点)を決定する。
(ステップS1506)色情報決定手段13062は、ステップS1505で決定した点の色情報を取得する。なお、第一スライス情報群を構成する複数のスライス情報の各点は、色情報を有する。
(ステップS1507)色情報決定手段13062は、ステップS1506で取得した色情報を、i番目のスライス情報の中のj番目の点の色情報に設定する。
(ステップS1508)第三スライス情報群取得部1307は、カウンタjを1、インクリメントする。ステップS1504に戻る。
(ステップS1509)第三スライス情報群取得部1307は、カウンタiを1、インクリメントする。ステップS1502に戻る。
以下、本実施の形態における情報処理装置の具体的な動作について説明する。本情報処理装置において、実施の形態1と同様に、図4(a)に示す4面体を変形させた場合について説明する。
物体情報格納部101は、物体情報格納部101は、例えば、図5に示す第一メッシュ情報と、図6に示す3Dボクセル情報を格納している。
ここで、ユーザは、変形指示と視線ベクトルを入力した、とする。かかる入力により、図4(a)に示す4面体は、図4(b)に示すような4面体になる。そして、かかる変形指示に基づいて、第二メッシュ情報取得部1304は、図5の第一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得する。第二メッシュ情報を図6に示す。
次に、第一スライス情報群取得部1303は、3Dボクセル情報から、視線ベクトルに対して垂直となる複数のスライス情報である第一スライス情報群を取得する。第一スライス情報群を図16に示す。第一スライス情報群は、スライス情報S161、スライス情報S162、スライス情報S163等を有する。ここでのスライス情報S161等は、色情報も有する。つまり、スライス情報S161等を構成する各点の情報の構造例は、「(x,y,z,col)」である。なお、3Dボクセル情報からスライス情報を切出す処理は、公知技術であるので、ここでの詳細な説明は省略する。また、3Dボクセル情報からスライス情報を切出す処理は、実施の形態1で述べた処理と概ね同様である。
次に、第二メッシュ情報取得部1304は、指示受付部102が受け付けた変形指示に基づいて、第一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得する。第二メッシュ情報は、例えば、図7に示すような情報である。
次に、第二スライス情報群取得部1305は、第二メッシュ情報に基づいて、複数のスライス情報(第一スライス情報群)を変形し、新たな複数のスライス情報である第二スライス情報群を取得する。かかる変形時には、色情報は考慮しない。つまり、第二スライス情報群取得部1305は、例えば、第一スライス情報群を構成するスライス情報の位置情報のみを利用し、第二スライス情報群を得る。第二スライス情報群を構成するスライス情報は、色情報を有しない。かかるスライス情報の各点の情報の構造例は、「(x,y,z,−1)」である。色情報の「−1」は、ここでは、色情報を有しないことを意味する。
次に、色情報決定部1306は、第一スライス情報群を構成する複数のスライス情報の中の点であり、第二スライス情報群を構成する新たな複数のスライス情報の各点に対応する点の色情報を取得し、当該取得した各点の色情報に基づいて、第二スライス情報群を構成する新たな複数のスライス情報の各点の色情報を決定する。そして、第三スライス情報群取得部1307は、上記の色情報「−1」を、決定した色情報に書き換える。かかる処理により、第三スライス情報群取得部1307は、第三スライス情報群を取得する。
そして、変形物体出力部1308は、第三スライス情報群を出力する。
以上、本実施の形態によれば、メッシュに生じた変形や破壊を、表面及び内部の色情報を伴って、概ね実時間で描出することができる。
なお、本実施の形態において、実施の形態1と同様に、スライス情報群を構成する複数のスライス情報間の間隔は一定であることが好適である。また、変形物体出力部は、スライス情報群を構成する複数のスライスの中で、ディスプレイの奥行きの深い方のスライスから順に出力することが好適である。かかることは、他の実施の形態において同様である。
さらに、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、三次元の物体の変形を指示する変形指示を、入力手段等から受け付ける指示受付ステップと、前記指示受付ステップで変形指示を受け付けた場合に、記録媒体に格納している3Dボクセル情報に基づいて、複数のスライス情報である第一スライス情報群を取得する第一スライス情報群取得ステップと、前記変形指示に基づいて、前記第一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得する第二メッシュ情報取得ステップと、前記第二メッシュ情報に基づいて、前記複数のスライス情報を変形し、新たな複数のスライス情報である第二スライス情報群を取得する第二スライス情報群取得ステップと、前記第一スライス情報群を構成する複数のスライス情報の中の点であり、前記第二スライス情報群を構成する新たな複数のスライス情報の各点に対応する点の色情報を取得し、当該取得した各点の色情報に基づいて、前記第二スライス情報群を構成する新たな複数のスライス情報の各点の色情報を決定する色情報決定ステップと、前記色情報決定ステップで決定した各点の色情報に基づいて、前記第二スライス情報群取得部が取得した第二スライス情報群の各点に新たな色情報を設定し、第三スライス情報群を取得する第三スライス情報群取得ステップと、前記第三スライス情報群を、出力装置等に出力する変形物体出力ステップを実行するためのプログラム、である。
(実施の形態3)
本実施の形態において、予め3Dボクセル情報ではなく、スライス情報が用意されている例を説明する。
図17は、本実施の形態における情報処理装置のブロック図である。情報処理装置は、物体情報格納部1701、指示受付部1702、第二メッシュ情報取得部1304、第二スライス情報群取得部1305、色情報決定部1306、第三スライス情報群取得部1307、変形物体出力部1308を具備する。
物体情報格納部1701は、三次元の物体の三次元メッシュの情報である第一メッシュ情報と、三次元の物体のボリュームテクスチャをスライスした複数のスライス情報である第一スライス情報群を格納している。物体情報格納部1701は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。なお、三次元の物体のボリュームテクスチャ、またはスライス情報は、例えば、CT、MRI、PETなどの医用機器で撮影したデータである。
指示受付部1702は、三次元の物体の変形を指示する変形指示を受け付ける。変形指示や視線ベクトルの入力手段は、テンキーやキーボードやマウス(3Dマウスを含む)やメニュー画面によるものや視線入力等、何でも良い。指示受付部1702は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
以下、本情報処理装置の動作について図18のフローチャートを用いて説明する。
(ステップS1801)指示受付部1702は、変形指示の入力を受け付けたか否かを判断する。入力を受け付ければステップS1802に行き、入力を受け付けなければステップS1801に戻る。
(ステップS1803)第二メッシュ情報取得部1304は、ステップS1801で受け付けた変形指示を取得する。なお、変形指示は、例えば、変形ベクトル(向きと大きさを有する)である。
(ステップS1804)第二メッシュ情報取得部1304は、物体情報格納部1701から第一メッシュ情報を読み出す。
(ステップS1805)第二メッシュ情報取得部1304は、ステップS1803で取得した変形指示に基づいて、ステップS1804で読み出した第一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得する。
(ステップS1806)第二スライス情報群取得部1305は、ステップS1805で取得した第二メッシュ情報に基づいて、格納されている第一スライス情報群が有する複数のスライス情報を変形し、新たな複数のスライス情報である第二スライス情報群を取得する。
(ステップS1807)第三スライス情報群取得部1307は、第三スライス情報群を取得する。ステップS1807の処理は、ステップS1408の処理と同様である。かかる処理の詳細については、図15のフローチャートを用いて説明した。
(ステップS1808)変形物体表示部1308は、ステップS1807で取得した第三スライス情報群を出力する。
以下、本実施の形態における情報処理装置の具体的な動作について説明する。本情報処理装置において、物体情報格納部1701は、例えば、図5に示す第一メッシュ情報と、図16に示す第一スライド情報群を保持している。そして、受け付けた変形指示に基づいて、実施の形態2と、概ね同様の処理により、第三スライス情報群を取得する。そして、変形物体出力部1308は、第三スライス情報群を表示する。
以上、本実施の形態によれば、メッシュに生じた変形や破壊を、表面及び内部の色情報を伴って、概ね実時間で描出することができる。また、本実施の形態において、予め第一スライド情報群を保持しているので、3D物体の変形が高速にシミュレーションできる。さらに、3Dボクセル情報を保持する必要がないので、情報処理装置は少ない記憶容量でシミュレーションが可能である。
さらに、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、三次元の物体の変形を指示する変形指示を、入力手段等から受け付ける指示受付ステップと、前記変形指示に基づいて、記録媒体に格納している第一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得する第二メッシュ情報取得ステップと、前記第二メッシュ情報に基づいて、記録媒体に格納している第一スライス情報群を変形し、新たな複数のスライス情報である第二スライス情報群を取得する第二スライス情報群取得ステップと、前記第一スライス情報群を構成する複数のスライス情報の中の点であり、前記第二スライス情報群を構成する新たな複数のスライス情報の各点に対応する点の色情報を取得し、当該取得した各点の色情報に基づいて、前記第二スライス情報群を構成する新たな複数のスライス情報の各点の色情報を決定する色情報決定ステップと、前記色情報決定ステップで決定した各点の色情報に基づいて、前記第二スライス情報群取得ステップで取得した第二スライス情報群の各点に新たな色情報を設定し、第三スライス情報群を取得する第三スライス情報群取得ステップと、前記第三スライス情報群を、出力装置等に出力する変形物体出力ステップを実行するためのプログラム、である。
また、上記各実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
また、上記に記載したプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
つまり、本発明における三次元物体のデータ構造は、三次元物体の三次元メッシュの情報であるメッシュ情報と、前記三次元の物体のボリュームテクスチャである3Dボクセル情報の全部または一部を対応付けて有する。かかる三次元物体のデータ構造の特徴を用いて、高速に三次元物体のシミュレーションを行える。メッシュ情報と3Dボクセル情報の対応付けの方法は種々ある。例えば、リンクを張っても良い。また、所定の記録媒体にそれぞれ格納されているだけでも良い。情報処理装置が上述した処理により、一の三次元物体のメッシュ情報と3Dボクセル情報を共に利用できる状況にあれば、2種類のデータは対応付けられているといえる。具体的には、本発明における情報処理装置は、三次元の物体の三次元メッシュの情報である第一メッシュ情報と、前記三次元の物体のボリュームテクスチャである3Dボクセル情報の全部または一部を格納している物体情報格納部と、前記三次元の物体の変形を指示する変形指示を受け付ける指示受付部と、前記変形指示に基づいて、前記第一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得する第二メッシュ情報取得部と、前記第二メッシュ情報と前記3Dボクセル情報の全部または一部に基づいて、第二スライス情報群を取得する第二スライス情報群取得部と、前記第二スライス情報群を出力する変形物体出力部を具備する情報処理装置である。
以上のように、本発明にかかる情報処理装置は、メッシュに生じた変形等を、表面及び内部の色情報を伴って実時間で描出することができるという効果を有し、三次元物体のシミュレーション装置等として有用である。
実施の形態1における情報処理装置のブロック図 同情報処理装置の動作を説明するフローチャート 同スライス情報群取得処理の詳細について説明するフローチャート 同変形対象の三次元物体を構成する4面体を示す図 同第一メッシュ情報を示す図 同3Dボクセル情報を示す図 同第二メッシュ情報を示す図 同第一スライス情報群を取得する際のイメージを示す図 同第一スライス情報群を示す図 同変形対象の三次元物体を示す図 同計算時間の検証データを示す図 同変形対象の心筋部位を示す図 実施の形態2における情報処理装置のブロック図 同情報処理装置の動作を説明するフローチャート 同スライス情報群取得処理の詳細について説明するフローチャート 同第一スライス情報群を示す図 実施の形態3における情報処理装置のブロック図 同情報処理装置の動作を説明するフローチャート

Claims (14)

  1. 三次元の物体の三次元メッシュの情報である第一メッシュ情報と、前記三次元の物体のボリュームテクスチャである3Dボクセル情報を格納している物体情報格納部と、
    前記三次元の物体の変形を指示する変形指示を受け付ける指示受付部と、
    前記指示受付部が変形指示を受け付けた場合に、前記3Dボクセル情報に基づいて、複数のスライス情報である第一スライス情報群を取得する第一スライス情報群取得部と、
    前記変形指示に基づいて、前記第一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得する第二メッシュ情報取得部と、
    前記第二メッシュ情報に基づいて、前記複数のスライス情報を変形し、新たな複数のスライス情報である第二スライス情報群を取得する第二スライス情報群取得部と、
    前記第一スライス情報群を構成する複数のスライス情報の中の点であり、前記第二スライス情報群を構成する新たな複数のスライス情報の各点に対応する点の色情報を取得し、当該取得した各点の色情報に基づいて、前記第二スライス情報群を構成する新たな複数のスライス情報の各点の色情報を決定する色情報決定部と、
    前記色情報決定部が決定した各点の色情報に基づいて、前記第二スライス情報群取得部が取得した第二スライス情報群の各点に新たな色情報を設定し、第三スライス情報群を取得する第三スライス情報群取得部と、
    前記第三スライス情報群を出力する変形物体出力部を具備する情報処理装置。
  2. 三次元の物体の三次元メッシュの情報である第一メッシュ情報と、前記三次元の物体のボリュームテクスチャをスライスした複数のスライス情報である第一スライス情報群を格納している物体情報格納部と、
    前記三次元の物体の変形を指示する変形指示を受け付ける指示受付部と、
    前記変形指示に基づいて、前記第一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得する第二メッシュ情報取得部と、
    前記第二メッシュ情報に基づいて、前記複数のスライス情報を変形し、新たな複数のスライス情報である第二スライス情報群を取得する第二スライス情報群取得部と、
    前記第一スライス情報群を構成する複数のスライス情報の中の点であり、前記第二スライス情報群を構成する新たな複数のスライス情報の各点に対応する点の色情報を取得し、当該取得した各点の色情報に基づいて、前記第二スライス情報群を構成する新たな複数のスライス情報の各点の色情報を決定する色情報決定部と、
    前記色情報決定部が決定した各点の色情報に基づいて、前記第二スライス情報群取得部が取得した第二スライス情報群の各点に新たな色情報を設定し、第三スライス情報群を取得する第三スライス情報群取得部と、
    前記第三スライス情報群を出力する変形物体出力部を具備する情報処理装置。
  3. 前記指示受付部は、
    前記変形指示と、視線方向を示す情報である視線ベクトルの入力を受け付け、
    前記第一スライス情報群取得部は、
    前記指示受付部が変形指示を受け付けた場合に、前記3Dボクセル情報に基づいて、前記視線ベクトルに対して垂直となる複数のスライス情報である第一スライス情報群を取得する請求項1記載の情報処理装置。
  4. 前記第一スライス情報群を構成する複数のスライス情報間の間隔は一定である請求項1から請求項3いずれか記載の情報処理装置。
  5. 前記変形物体出力部は、
    前記第三スライス情報群を構成する複数のスライスの中で、ディスプレイの奥行きの深い方のスライスから順に出力する請求項1から請求項4いずれか記載の情報処理装置。
  6. 前記指示受付部は、
    複数の変形指示を順次受け付け、
    三次元の物体の変化を出力するシミュレーションを行う請求項1から請求項5いずれか記載の情報処理装置。
  7. コンピュータに、
    三次元の物体の変形を指示する変形指示を受け付ける指示受付ステップと、
    前記指示受付ステップで変形指示を受け付けた場合に、格納している3Dボクセル情報に基づいて、複数のスライス情報である第一スライス情報群を取得する第一スライス情報群取得ステップと、
    前記変形指示に基づいて、前記第一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得する第二メッシュ情報取得ステップと、
    前記第二メッシュ情報に基づいて、前記複数のスライス情報を変形し、新たな複数のスライス情報である第二スライス情報群を取得する第二スライス情報群取得ステップと、
    前記第一スライス情報群を構成する複数のスライス情報の中の点であり、前記第二スライス情報群を構成する新たな複数のスライス情報の各点に対応する点の色情報を取得し、当該取得した各点の色情報に基づいて、前記第二スライス情報群を構成する新たな複数のスライス情報の各点の色情報を決定する色情報決定ステップと、
    前記色情報決定ステップで決定した各点の色情報に基づいて、前記第二スライス情報群取得部が取得した第二スライス情報群の各点に新たな色情報を設定し、第三スライス情報群を取得する第三スライス情報群取得ステップと、
    前記第三スライス情報群を出力する変形物体出力ステップを
    実行するためのプログラム。
  8. コンピュータに、
    三次元の物体の変形を指示する変形指示を受け付ける指示受付ステップと、
    前記変形指示に基づいて、格納している第一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得する第二メッシュ情報取得ステップと、
    前記第二メッシュ情報に基づいて、格納している第一スライス情報群を変形し、新たな複数のスライス情報である第二スライス情報群を取得する第二スライス情報群取得ステップと、
    前記第一スライス情報群を構成する複数のスライス情報の中の点であり、前記第二スライス情報群を構成する新たな複数のスライス情報の各点に対応する点の色情報を取得し、当該取得した各点の色情報に基づいて、前記第二スライス情報群を構成する新たな複数のスライス情報の各点の色情報を決定する色情報決定ステップと、
    前記色情報決定ステップで決定した各点の色情報に基づいて、前記第二スライス情報群取得ステップで取得した第二スライス情報群の各点に新たな色情報を設定し、第三スライス情報群を取得する第三スライス情報群取得ステップと、
    前記第三スライス情報群を出力する変形物体出力ステップを
    実行するためのプログラム。
  9. 前記指示受付ステップにおいて、
    前記変形指示と、視線方向を示す情報である視線ベクトルの入力を受け付け、
    前記第一スライス情報群取得ステップにおいて、
    前記指示受付ステップで変形指示を受け付けた場合に、前記3Dボクセル情報に基づいて、前記視線ベクトルに対して垂直となる複数のスライス情報である第一スライス情報群を取得する請求項7記載のプログラム。
  10. 前記第一スライス情報群を構成する複数のスライス情報間の間隔は一定である請求項7から請求項9いずれか記載のプログラム。
  11. 前記変形物体出力ステップにおいて、
    前記第三スライス情報群を構成する複数のスライスの中で、ディスプレイの奥行きの深い方のスライスから順に出力する請求項7から請求項10いずれか記載のプログラム。
  12. 前記指示受付ステップにおいて、
    複数の変形指示を順次受け付け、
    三次元の物体の変化を出力するシミュレーションを行う請求項7から請求項11いずれか記載のプログラム。
  13. 記憶媒体に、
    三次元の物体の三次元メッシュの情報である第一メッシュ情報と、前記三次元の物体のボリュームテクスチャである3Dボクセル情報を格納しており、
    指示受付部、第一スライス情報群取得部、第二メッシュ情報取得部、第二スライス情報群取得部、色情報決定部、第三スライス情報群取得部、および変形物体出力部により実現される情報処理方法であって、
    前記指示受付部により、三次元の物体の変形を指示する変形指示を受け付ける指示受付ステップと、
    前記第一スライス情報群取得部により、前記指示受付ステップで変形指示を受け付けた場合に、前記3Dボクセル情報に基づいて、複数のスライス情報である第一スライス情報群を取得する第一スライス情報群取得ステップと、
    前記第二メッシュ情報取得部により、前記変形指示に基づいて、前記記憶媒体に格納されている第一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得する第二メッシュ情報取得ステップと、
    前記第二スライス情報群取得部により、前記第二メッシュ情報に基づいて、前記複数のスライス情報を変形し、新たな複数のスライス情報である第二スライス情報群を取得する第二スライス情報群取得ステップと、
    前記色情報決定部により、前記第一スライス情報群を構成する複数のスライス情報の中の点であり、前記第二スライス情報群を構成する新たな複数のスライス情報の各点に対応する点の色情報を取得し、当該取得した各点の色情報に基づいて、前記第二スライス情報群を構成する新たな複数のスライス情報の各点の色情報を決定する色情報決定ステップと、
    前記第三スライス情報群取得部により、前記色情報決定ステップで決定された各点の色情報に基づいて、前記第二スライス情報群取得ステップで取得された第二スライス情報群の各点に新たな色情報を設定し、第三スライス情報群を取得する第三スライス情報群取得ステップと、
    前記変形物体出力部により、前記第スライス情報群を出力する変形物体出力ステップを具備する情報処理方法。
  14. 三次元物体の三次元メッシュの情報である第一メッシュ情報と、前記三次元の物体のボリュームテクスチャである3Dボクセル情報の全部または一部を対応付けて有する三次元物体のデータ構造であり、
    前記三次元物体の変形を指示する変形指示を受け付ける指示受付ステップと、
    前記指示受付ステップで変形指示を受け付けた場合に、前記3Dボクセル情報に基づいて、複数のスライス情報である第一スライス情報群を取得する第一スライス情報群取得ステップと、
    前記変形指示に基づいて、前記第一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得する第二メッシュ情報取得ステップと、
    前記第二メッシュ情報に基づいて、前記複数のスライス情報を変形し、新たな複数のスライス情報である第二スライス情報群を取得する第二スライス情報群取得ステップと、
    前記第一スライス情報群を構成する複数のスライス情報の中の点であり、前記第二スライス情報群を構成する新たな複数のスライス情報の各点に対応する点の色情報を取得し、当該取得した各点の色情報に基づいて、前記第二スライス情報群を構成する新たな複数のスライス情報の各点の色情報を決定する色情報決定ステップと、
    前記色情報決定ステップで決定した各点の色情報に基づいて、前記第二スライス情報群取得部が取得した第二スライス情報群の各点に新たな色情報を設定し、第三スライス情報群を取得する第三スライス情報群取得ステップと、
    前記第三スライス情報群を出力する変形物体出力ステップとを実行するためのプログラムにより利用される三次元物体のデータ構造
JP2006531455A 2004-08-02 2005-08-01 情報処理装置およびプログラム Expired - Fee Related JP4337987B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004225388 2004-08-02
JP2004225388 2004-08-02
PCT/JP2005/014024 WO2006013813A1 (ja) 2004-08-02 2005-08-01 情報処理装置およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2006013813A1 JPWO2006013813A1 (ja) 2008-05-01
JP4337987B2 true JP4337987B2 (ja) 2009-09-30

Family

ID=35787098

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006531455A Expired - Fee Related JP4337987B2 (ja) 2004-08-02 2005-08-01 情報処理装置およびプログラム

Country Status (4)

Country Link
US (1) US8149237B2 (ja)
EP (1) EP1775685B1 (ja)
JP (1) JP4337987B2 (ja)
WO (1) WO2006013813A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5130529B2 (ja) * 2005-08-01 2013-01-30 国立大学法人 奈良先端科学技術大学院大学 情報処理装置およびプログラム
JP5567502B2 (ja) * 2008-02-25 2014-08-06 インベンティブ メディカル リミテッド 医療用訓練方法及び装置
JP5241357B2 (ja) * 2008-07-11 2013-07-17 三菱プレシジョン株式会社 生体データモデル作成方法及びその装置
JP5131790B2 (ja) * 2008-08-22 2013-01-30 国立大学法人 奈良先端科学技術大学院大学 手術シミュレーション装置、手術シミュレーション方法およびプログラム
JP5215828B2 (ja) * 2008-12-02 2013-06-19 三菱プレシジョン株式会社 術前シミュレーションのためのモデル生成方法
JP5493178B2 (ja) * 2009-03-31 2014-05-14 国立大学法人 奈良先端科学技術大学院大学 情報処理装置、情報処理方法、およびプログラム
JP5907502B2 (ja) * 2012-06-08 2016-04-26 富士通株式会社 表示プログラム、表示方法、および表示装置
JP6645681B2 (ja) * 2015-03-11 2020-02-14 キヤノン株式会社 3dデータ管理装置
CN105741348B (zh) * 2016-01-28 2018-06-12 北京航空航天大学 一种结构自适应的三维模型编辑方法
US11803674B2 (en) * 2019-11-18 2023-10-31 Autodesk, Inc. Dual mode post processing
KR102571744B1 (ko) * 2021-05-06 2023-08-29 한국전자통신연구원 3차원 콘텐츠 생성 방법 및 장치
US20240208067A1 (en) * 2022-12-27 2024-06-27 Intrinsic Innovation Llc Sensor-based adaptation for manipulation of deformable workpieces
EP4693202A1 (en) * 2023-03-29 2026-02-11 FUJIFILM Corporation Image processing device, method, and program

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6069634A (en) * 1997-01-08 2000-05-30 Mitsubishi Electric Information Technology Center America, Inl System for rapidly deforming a graphical object
US6498607B1 (en) 1999-01-29 2002-12-24 Mitsubishi Electric Research Laboratories, Inc. Method for generating graphical object represented as surface elements
DE10111661A1 (de) * 2001-03-09 2002-09-12 Philips Corp Intellectual Pty Verfahren zum Segmentieren einer in einem Objekt enthaltenen dreidimensionalen Struktur, insbesondere für die medizinische Bildanalyse
JP2003044869A (ja) 2001-05-24 2003-02-14 Mitsubishi Electric Corp ボリュームポリゴン統合表示装置
US7079996B2 (en) * 2001-05-30 2006-07-18 Ford Global Technologies, Llc System and method for design of experiments using direct surface manipulation of a mesh model
US6873718B2 (en) * 2001-10-12 2005-03-29 Siemens Corporate Research, Inc. System and method for 3D statistical shape model for the left ventricle of the heart
JP4165695B2 (ja) 2002-10-08 2008-10-15 独立行政法人理化学研究所 非多様体の陰関数表現方法のコンピュータプログラム
US8805073B2 (en) * 2003-02-18 2014-08-12 Koninklijke Philips N.V. Image segmentation by assigning classes to adaptive mesh primitives
US7505037B2 (en) * 2004-10-02 2009-03-17 Accuray, Inc. Direct volume rendering of 4D deformable volume images
US7633503B2 (en) * 2005-03-22 2009-12-15 Microsoft Corporation Local, deformable precomputed radiance transfer
US7515954B2 (en) * 2006-06-13 2009-04-07 Rhythmia Medical, Inc. Non-contact cardiac mapping, including moving catheter and multi-beat integration

Also Published As

Publication number Publication date
US20090079736A1 (en) 2009-03-26
EP1775685A4 (en) 2010-01-06
JPWO2006013813A1 (ja) 2008-05-01
US8149237B2 (en) 2012-04-03
WO2006013813A1 (ja) 2006-02-09
EP1775685A1 (en) 2007-04-18
EP1775685B1 (en) 2019-07-17

Similar Documents

Publication Publication Date Title
US8149236B2 (en) Information processing apparatus and program
JP5241357B2 (ja) 生体データモデル作成方法及びその装置
JP4337987B2 (ja) 情報処理装置およびプログラム
CN102930602B (zh) 一种基于断层图像的面皮三维表面模型重建方法
JP5800039B2 (ja) 生体データモデル作成方法及びその装置
JP4885042B2 (ja) 画像処理方法および装置ならびにプログラム
JP5487264B2 (ja) 生体データモデル作成方法及びその装置
JPWO2018159709A1 (ja) 3次元画像処理装置および方法並びにプログラム
JP6009598B2 (ja) 生体データモデル作成方法及びその装置
JP2003518302A (ja) 多角形表面上の2点間の最短経路の繰り返し法による決定
Selmi et al. 3D interactive ultrasound image deformation for realistic prostate biopsy simulation
Petkov et al. Interactive visibility retargeting in vr using conformal visualization
JP6081001B2 (ja) 生体データモデル作成方法及びその装置
JP6243948B2 (ja) 生体データモデルの作成方法及び生体データモデルのデータ格納装置
JP5105584B2 (ja) 対象領域表示装置およびプログラム
JP6131361B2 (ja) 三次元データモデルの負荷分散方法及びその装置
JP6080999B2 (ja) 生体データモデル作成方法及びその装置
JP6081000B2 (ja) 生体データモデル作成方法及びその装置
Nesme et al. Accurate interactive animation of deformable models at arbitrary resolution
Kohout et al. Fast realistic modelling of muscle fibres
JP2007144056A (ja) モデリング装置、領域抽出装置、モデリング方法及びプログラム
Henriques et al. An investigation of meshless deformation for fast soft tissue simulation in virtual surgery applications
Liu et al. A Haptic System for Drilling into Volume Data with Polygonal Tools.
Drakopoulos et al. Tetrahedral image-to-mesh conversion for anatomical modeling and surgical simulations
Williams et al. Interactive 3D haptic carving using combined voxels and mesh

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090616

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090623

R150 Certificate of patent or registration of utility model

Ref document number: 4337987

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120710

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120710

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120710

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130710

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140710

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees