Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4549093B2 - 画像処理装置及びその方法、プログラム - Google Patents
[go: Go Back, main page]

JP4549093B2 - 画像処理装置及びその方法、プログラム - Google Patents

画像処理装置及びその方法、プログラム Download PDF

Info

Publication number
JP4549093B2
JP4549093B2 JP2004117058A JP2004117058A JP4549093B2 JP 4549093 B2 JP4549093 B2 JP 4549093B2 JP 2004117058 A JP2004117058 A JP 2004117058A JP 2004117058 A JP2004117058 A JP 2004117058A JP 4549093 B2 JP4549093 B2 JP 4549093B2
Authority
JP
Japan
Prior art keywords
image
cross
section
sectional image
shadow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004117058A
Other languages
English (en)
Other versions
JP2005296348A5 (ja
JP2005296348A (ja
Inventor
修 辻井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2004117058A priority Critical patent/JP4549093B2/ja
Priority to US11/102,661 priority patent/US7564998B2/en
Publication of JP2005296348A publication Critical patent/JP2005296348A/ja
Publication of JP2005296348A5 publication Critical patent/JP2005296348A5/ja
Application granted granted Critical
Publication of JP4549093B2 publication Critical patent/JP4549093B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G01N23/046Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/40Imaging
    • G01N2223/419Imaging computed tomograph
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/60Specific applications or type of materials
    • G01N2223/612Specific applications or type of materials biological material
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Pulmonology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Immunology (AREA)
  • Quality & Reliability (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、放射線を利用して得られる被検体の放射線画像を処理して、診断用画像を出力する画像処理装置及びその方法、プログラムに関するものである。
従来、被検体に対してX線を曝射し、該被検体を透過或いは被検体で散乱したX線をX線検出器で検出し、このX線検出出力(X線のフォトン数)に基づいて被検体の透視画像、断層像或いは三次元画像を撮像するX線CT装置が知られている。
このX線CT装置として、コーンビームCT装置が開発されている。通常のX線CT装置では、X線ビームはZ方向に薄く切り出されており、ファンビームと呼ばれるが、コーンビームCT(CBCT)では、Z方向にも広がったX線ビームを用い、このX線ビームはコーンビームと呼ばれる。
ところで、マルチスライスCTやCBCTでは、その撮影結果として、大量の画像が発生するので、その大量の画像から診断用に適した画像を選別して提示するための、医師に対する診断支援装置が重要になっている。特には、比較的、病理を見つけやすい胸部CT画像から石灰化(ノジュール)を見つけることが、CTを検診目的に使用する場合の要求にかなっている。従来より、アキシャル画像中のノジュールの検出を行うことが良く行われている。
例えば、まず、2次元画像(アキシャル)情報から腫瘍か否かを判定すべき特定の領域(陰影)抽出し、当該領域の面積Sを算出し、この抽出した領域の重心を算出する。次に、抽出領域と同一面積を有する円の半径r(以下、抽出領域の等価半径と称する)を次式により算出する。
r=(S/π)1/2 (1)
続いて、抽出領域の円形度を算出する。円形度は、算出した重心を中心として、算出した等価半径rの円に含まれる抽出領域の面積の割合により、次式のように定義する。
円形度=円に含まれる抽出領域の面積/S (2)
そして、得られる等価半径rと円形度とで決まる特徴空間において、抽出領域の等価半径rと円形度が一定の範囲内に含まれているときは、抽出領域が腫瘍であるとみなす。
特許文献1では、更に、1枚の画像のみならず、3次元的に分布する多数枚の2次元画像情報に基づいて、それぞれの2次元画像内で領域を抽出し、抽出領域の等価半径と円形度を算出して、それによって各画像毎に腫瘍を検出する装置が提案されている。
特許文献2には、再構成して得た断層像の濃度データ値を、濃度データ値の低い所望の第1閾値を以て切り出し、注目画像として得る第1処理機能と、切り出した注目画像についてその形状等の特徴量から陰影か否かを判定する第1判定機能と、断層像の濃度データ値を、濃度データ値の高い所望の第2閾値を以て切り出し、注目画像として得る第2処理機能と、この切り出した注目画像についてその形状等の特徴量から陰影の候補となるか否かを判定する候補判定機能と、候補と判定された注目画像について、投影データからズーミングにより再構成して所定の倍率の拡大断層像を取得し、これを第1閾値を以て切り出し、注目画像として得る第2処理機能と、この第2処理機能により切り出した注目画像についてその形状等の特徴量から陰影か否かを判定する第2判定機能とを有する診断支援システムが提案されている。
特許文献3には、被検者の3次元領域を投影して得られた投影データから複数の断層像を算出し、この複数の断層像に基づいて当該被検者の診断を支援するための情報を出力デバイスを介して提供する医用診断支援システムにおいて、複数の断層像から病変部の疑いのある断層像を注目画像として決定する断層像解析手段と、注目画像に対応する3次元領域の複数の第1の2次元画像を残りの3次元領域の複数の第2の2次元画像から強調して出力デバイスに表示させる表示制御手段とを備える医用診断支援システムが提案されている。
特許文献4には、マルチスライスの第1の断層画像と、第1の断層画像と同じ被検者の同じ部位に関し、且つ第1の断層画像と撮影時期の異なるマルチスライスの第2の断層画像との各々から特定臓器の領域を抽出する領域抽出部と、第1の断層画像から抽出した特定臓器の領域と第2の断層画像から抽出した特定臓器の領域とのサイズ及び形態に関わるインデックスに基づいて、第1の断層画像と第2の断層画像との間で体軸方向に関する解剖学的な位置を揃えるスライスマッチング部とを備えるコンピュータ支援診断システムが提案されている。
特許文献5には、3次元デジタル画像データの診断支援のための計算機支援診断方法において、3次元デジタル画像データ内の3次元対象物を識別するステップを有し、1つの所定の3次元対象物に対して、所定の対象物に対してローカル回転平面を求めるステップを有し、ローカル回転平面は、所定対象物のセントロイド及びローカル回転軸にセンタリングされており、ローカル回転平面を、360°のうちの少なくとも部分的な角度にわたり回転させるステップを有し、前もって規定された回転のインクリメントにおいて所定対象物の観察画像を生成することによって、所定の対象物の複数の観察画像を得るステップを有する、3次元デジタル画像データの診断支援のための計算機支援診断方法が提案されている。
以上の特許文献1〜5は、処理対象画像が、全て、アキシャル画像をベースにした技術である。従来、アキシャル画像をベースに概略円形の陰影を検出する一次検出を行い、隣接する他のアキシャル画像での候補の連結性をもとに判定される。
アキシャル画像以外のコロナル画像を使用する診断支援技術としては、例えば、特許文献6として、複数のアキシャル断層像を利用する診断支援装置において、複数のアキシャル断層像の少なくとも1枚から関心領域を抽出する手段と、複数のアキシャル断層像のうちの抽出手段により抽出された関心領域内の画像を断面変換して複数のコロナル断層像を作成する手段を具備し、複数のコロナル断層像が診断に用いられることを特徴とする診断支援装置が提案されている。
この特許文献6によれば、アキシャル断層像を関心領域のみ断面変換してコロナル断層像を算出し、コロナル断層像により診断が行なわれることにより、アキシャル断層像を読影する場合に比べて医師が読影する画像枚数を少なくすることができる診断支援装置を提案している。
特開平07−236634号公報 特開平08−066392号公報 特開平08−166995号公報 特開2001−137230号公報 特開2002−078706号公報 特開平7−265300号公報
ところで、従来、アキシャル画像をベースにCAD処理が行われているのは、スパイラルCT以前は体軸方向の連続性が保証されていなかったからで、断面変換を行うと体軸方向に接続不良による偽像が発生するからである。
近年のMDスパイラルCTにおいては、概略等方性の画像が構成可能になったが、スパイラルを行っている関係で完全ではない。これに対して、肺野などの器官を一回転でスキャンするCBCTにおいては、完全な等方性が保証されるので完全なコロナル画像が作成できる。
他方、肺野における血管枝の走行が上下方向に多いことを考えると、概略円形な陰影をアキシャル画像から検出することは血管と誤り易く利益がない。
本発明は上記課題を解決するために、被写体の放射線データから、診断対象となる診断部位を含む診断用画像を精度良く、かつ高速に判定することを目的とする。
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
放射線投影データの再構成により得られた三次元画像を第一の断面で横断する第一の断面画像を設定する第一の断面画像設定手段と、
前記第一の断面画像内の陰影部を検出する検出手段と、
前記陰影部を横断する前記第一の断面画像の断面と異なる第二の断面を設定する断面設定手段と、
前記三次元画像を前記第二の断面で横断する第二の断面画像を設定する第二の断面画像設定手段と、
前記第二の断面画像から得られた情報から、前記陰影部が診断対象であるか否かを判定する判定手段と
を有する。
本発明によれば、被写体の放射線データから、診断対象となる診断部位を含む診断用画像を精度良く、かつ高速に判定することができる。
以下、本発明の実施の形態について図面を用いて詳細に説明する。
本発明は、例えば、X線等の放射線を利用して画像撮影を行うX線CT装置等の放射線一般を使用して被検体内の放射線特性分布を画像化する放射線撮像技術に関するものである。特には、コーンビームCT装置において、コンピュータ診断支援機能を有するもの、あるいはコーンビームCT画像からのコンピュータ支援診断処理機能を有する画像処理技術に関するものである。
図1は本発明の画像処理システムの全体像を説明するための概念図である。
例えば、CBCT撮影装置(不図示)から得られる被写体の360度(あるいは180度+ファン角)からの複数の2次元投影データ1に、逆ラドン変換2を施すことにより、被検体の3次元画像である3次元ボクセル3を再構成する。
尚、図1では、CBCT装置からの画像を処理対象としているが、これに限定されず、完全な等方性が保証される画素(等方性画素)で構成される画像を出力可能なCT装置であれば、これに限定されるものではない。
次に、3次元ボクセル3から断面変換によりコロナル画像4を作成する。コロナル画像4は、一枚だけでなく被検体の背中から正面、あるいは正面から背中へと複数枚のコロナル画像を順次作成する。ここで、コロナル画像4を作成する際の厚みは、検出する陰影の大きさに依存するように予め設定される。
次に、コロナル画像4に対して、陰影検出処理5を適用する。陰影検出処理5で検出した陰影候補を含むアキシャル画像を3次元ボクセル3から切り出すために、切出位置指定6を実行する。切出処理7によって、指定された切出位置で3次元ボクセル3から切り出されたアキシャル画像8に対して、対応する陰影の特徴量を算出し、その算出結果に基づいて、陰影が診断対象部位(例えば、病気、腫瘍等)であるか否かの真偽判定9を行う。
次に、本実施形態の画像処理システムの構成例について、図2を用いて説明する。
図2は本発明の実施形態の画像処理システムの構成例を示す図である。
尚、図2(a)は、画像処理システム構成のトップビュー(上面図)であり、図2(b)は、画像処理システム構成のサイドビュー(側面図)である。
X線発生部(X線焦点)11から発射されたX線は、被検体(この場合、人体)16を透過し、胸当て板13及び散乱線除去グリッド(不図示)を通過した後に2次元検出器12に到達する。
2次元検出器12は、半導体センサから構成され、1画素が、例えば、250x250μm、センサ外形が43x43cmである。また、画素数は、例えば、1720x1720画素である。2次元検出器12で取得されたデータ(被検体16の3次元領域を投影して得られた投影データ)は、再構成部14に転送されて画像再構成が実行される。ここで、X線発生部11と2次元検出器12の幾何学的配置によりファン角φ、コーン角が決定される。
尚、本実施形態では、検出面が正方形の2次元検出器を使用しているので、ファン角とコーン角は同じである。
次に、本実施形態の画像処理システムの詳細構成について、図3を用いて説明する。
図3は本発明の実施形態の画像処理システムの詳細構成を示すブロック図である。
システム全体は、コンピュータシステムにより構成される。BUS24は、コンピュータの内部バスと考えることができ、このBUS24を介して制御信号やデータの送受信が行われる。
制御部18は、コンピュータのCPUである。メモリ25は、例えば、ROM、RAM、大容量記憶装置(例えば、ハードディスク等)で構成される。ROMには、当該システムの各種処理を実行するためのプログラムや設定データが記憶されている。RAMは、データの作業領域や一時退避領域として機能する。大容量記憶装置は、投影データや画像データ等の各種データを記憶する。
インタフェース部21は、入力部と出力部から構成されており、入力部は、例えば、キーボードやポインティングデバイス(マウスや入力ペン)であり、出力部は、例えば、CRTやLCD等のディスプレイである。このインタフェース部21の入力部を介して、撮影開始指示が入力される。
撮影開始指示が入力されると、制御部18からの指示により、被検体16が固定された回転テーブル15が回転を開始する。制御部18は、回転テーブル15から発生されるエンコーダ信号(不図示)を監視し、所定の一定速度及び角度に到達したか否かを確認する。所定の一定速度及び角度に到達した時点で、X線発生部11にイネーブル信号を送信し、X線曝射を開始する。尚、このエンコーダ信号は、データの積分タイミング決定にも使用される。
例えば、テーブル一回転あたり25000パルスを発生させるエンコーダを使用し、一回転に対して1000ビューの投影データを収集する場合、エンコーダ信号25パルス毎に2次元検出器12から投影データが収集されることになる。制御部18では、このエンコーダ信号のパルスをカウントして、25パルス毎に積分信号を発生させて、2次元検出器12に到達したX線量をカウントする。
尚、本実施形態においては、X線は連続に発生されることを想定しているが、これに限定されるものでなく、エンコーダ信号をもとに2次元検出器12の積分区間に合わせてパルス状のX線を発生させてもよい。2次元検出器12からの投影データは、BUS24を介して逐次的に再構成部14に転送される。データの転送は、回転テーブル15が所定の回転角度を回転し、所定のビュー(画像)数が収集されるまで継続する。X線曝射が完了した直後に、最後の投影データが収集される。
収集された投影データは、再構成部14に転送され、3次元ボクセルの再構成が実行される。再構成部14は、前処理、フィルタ処理、逆投影処理から構成される。前処理は、例えば、オフセット処理、LOG変換、ゲイン補正、欠陥補正から構成される。
フィルタ処理では、ラマチャンドラン関数あるいはシェップローガン関数が一般的であり、本実施形態でもこれらを使用する。フィルタ処理されたデータは、逆投影処理によって逆投影される。これらフィルタ処理から逆投影処理までのアルゴリズムは、例えば、フェルドカンプのアルゴリズムを使用している。逆投影処理が完了して、被検体の断面画像が再構成されると、その断面画像は、画像表示部19に表示される。
尚、再構成部14で実行する処理アルゴリズムは、フェルドカンプのアルゴリズムを使用するが、これに限定されるものではない。このフェルドカンプのアルゴリズムに関する参考文献には、フェルドカンプ(Feldkamp)とデイビス(Davis)およびクレス(Kress)が記載した方法(「実用コーンビームアルゴリズム」(「Practical Cone−Beam Algorithm」),J.Opt.Soc.Am.A1,612〜619,1984がある。
再構成された3次元ボクセルは、3次元ボクセル保存部20に保存される。この3次元ボクセル保存部20は、例えば、ハードディスク等の大容量記憶装置で実現される。断面変換部22は、制御部18に指示により、3次元ボクセル保存部20に保存された3次元ボクセルから、所定枚数のコロナル画像を作成して、陰影検出部17に転送する。
陰影検出部17は、コロナル画像中から陰影候補を検出する。陰影候補は複数の場合もある。また、陰影検出部17は、3次元ボクセルから陰影候補を含むアキシャル画像を切り出すために、その切出位置を算出する。断面変換部22は、3次元ボクセル保存部20に保存されている3次元ボクセルから、算出された切出位置でアキシャル画像を切り出して、真偽判定部23に転送する。
真偽判定部23は、当該陰影候補を含むアキシャル画像上での特徴量をもとに、陰影が診断用画像であるか否かの真偽判定を行う。診断用画像と判定された陰影は、体積をもって3次元ボクセル保存部20上へ記録され、画像表示部19上に表示される。
尚、図3では、X線発生部11と2次元検出器12とで、被検体画像を撮像する撮像部として機能することになるが、この撮像部が別体で構成されたシステムであっても良い。この場合、この撮像部から得られる2次元投影データを用いて、再構成部14が3次元ボクセルを再構成することになる。
次に、本実施形態の画像処理システムが実行する処理について、図4を用いて説明する。
図4は本発明の実施形態の画像処理システムが実行する処理を示すフローチャートである。
インタフェース部21の入力を介して、撮影開始指示を入力する(ステップS101)。撮影開始指示が入力されると、インタフェース部21の出力部に、撮影準備完了画面(不図示)が表示される。制御部18からの指示により、回転テーブル15が回転を開始する(ステップS102)。
制御部18は、回転テーブル15から発生されるエンコーダ信号(不図示)を監視し、所定の一定速度及び角度に到達したか否かを確認する。所定の一定速度及び角度に到達した時点で、X線発生部11にイネーブル信号を送信し、X線曝射を開始するとともに、2次元検出器12で投影データを検出する。回転テーブル15が所定の回転角度回転し、所定のビュー数(プロジェクション数)に達すれば、制御部18はX線発生部11に指令して、X線の曝射を停止する。その後、回転テーブル15を減速させながら停止まで制御する(ステップS103)。
収集されたデータは再構成部14に転送されて、再構成部14によって、3次元ボクセルを再構成する(ステップS104)。そして、再構成された3次元ボクセルを3次元ボクセル保存部20に保存する。
次に、3次元ボクセル保存部20に保存された3次元ボクセルから、診断支援処理対象のコロナル画像として、所定枚数のコロナル画像の陰影検出が終了したか否かを判定する(ステップS105)。所定枚数のコロナル画像の陰影検出が終了していない場合(ステップS105でNO)、ステップS106に進む。一方、所定枚数のコロナル画像の陰影検出が終了した場合(ステップS105でYES)、ステップS109に進む。
尚、コロナル画像の作成方法は、インタフェース部21の入力部により設定される、コロナル画像のスライス厚及びスライスピッチに従って決定される。また、スライス厚及びスライスピッチは、メモリ25に予め記憶されていても良い。
ステップS105において、所定枚数のコロナル画像の陰影検出が終了していない場合、指定されたスライス厚及びスライスピッチにより、コロナル画像を作成する(ステップS106)。
次に、陰影検出部17によって、コロナル画像に対して陰影検出を実行する(ステップS107)。
陰影検出方法には、種々の方法が提案されているが、本実施形態では、例えば、図5に示すDISKフィルタ30とRINGフィルタ31を用いた陰影検出方法(非特許文献1:肺がん検診用CT(LSCT)の診断支援システム、コンピュータ支援画像診断学会論文誌VOL2、NO3、July1998)を使用する。
ここで、DISKフィルタ30とRINGフィルタ31を用いた陰影検出処理の詳細にについて、図6を用いて説明する。
図6は本発明の実施形態の陰影検出処理の詳細を示すフローチャートである。
まず、処理対象のコロナル画像に対して、DISKフィルタ30とRINGフィルタ31を適用したDilation画像(ステップS201及びステップS202)を作成し、差分処理(ステップS203)を実行すると、RINGフィルタ31の半径Rを持つ概略円形の陰影が強調される。
尚、Dilation画像とは、モフォロジカル処理の一種である(非特許文献2:Fundamentals Of Digital Image Processing、Anil K. Jain著、Prentice Hall社、1989、384ページ)。
DISKフィルタ30とRINGフィルタ31を使用するメリットは、コロナル画像中の上下方向に走行する血管画像を効率的に排除できる点である。従来は、非特許文献1で示されるように、DISKフィルタとRINGフィルタをアキシャル画像に適用しているが、アキシャル画像中の血管は陰影と同じく概略円形をしており、上記フィルタ処理では血管の殆どを検出してしまう欠点があった。
DISKフィルタ30とRINGフィルタ31を適用したDilation画像の差分画像に対し、2値化処理(ステップS204)を実行する。そして、得られる2値化画像に対して、ラベリング処理(ステップS205)を実行して、2値化画像中の小信号(ノイズ)を削除する。
ここで、ラベリング処理後の画像中にも血管画像に依存するノイズ、及び胸郭の輪郭画像から発生するノイズが含まれる。そこで、これらのノイズを削除するために、連結性判定処理(ステップS206)を実行する。
連結性判定処理は、隣り合うコロナル画像間での陰影面積と陰影重心の変動率で、腫瘍となる陰影の連結性を判定する。陰影面積と陰影重心の変動率が所定閾値よりも大きい場合は、概略円形でないものを検出している蓋然性が高いので陰影候補から除外する。
図4の説明に戻る。
図6のステップS206の連結性判定処理の結果、腫瘍となる陰影の可能性が高いと判定される陰影を陰影候補として、メモリ25に保存する(ステップS108)。その後、ステップS105に戻る。
ステップS105において、所定枚数のコロナル画像からの陰影候補の検出が終了した場合(ステップS105でYES)、陰影候補全てに対応するアキシャル画像を3次元ボクセルから切り出し、そのアキシャル画像を用いて、陰影候補が診断部位画像であるか否かの真偽判定を行うことになる。
そして、すべての陰影候補の真偽判定が終了したか否かを判定する(ステップS109)。すべての陰影候補の真偽判定が終了した場合(ステップS109でYES)、ステップS113に進む。一方、すべての陰影候補の真偽判定が終了していない場合(ステップS109でNO)、ステップS110に進む。
アキシャル画像の作成時にも、コロナル画像作成時のスライス厚及びスライスピッチが使用される。陰影候補の立体的形状は、複数のコロナル画像間での形状から把握されているので、ひとつの陰影形状を含むようにアキシャル画像を作成する(ステップS110)。尚、ここで作成するアキシャル画像は、被検体のアキシャル断面の全面に相当するアキシャル画像である必要はなく、陰影候補を含む部分アキシャル画像であればよい。
次に、アキシャル画像中の陰影候補の特徴量を算出して、その算出結果に基づいて、陰影候補が診断用画像であるか否かの真偽判定を行う。
ここで、アキシャル画像中の陰影候補の真偽判定処理の詳細について、図7を用いて説明する。
図7は本発明の実施形態の真偽判定処理の詳細を示すフローチャートである。
まず、アキシャル画像中の陰影候補の特徴量を算出する(ステップS207)。本実施形態では、アキシャル画像中の陰影候補の特徴量には、例えば、円形度を使用するが、これに限定されない。
但し、図6のステップS201からステップS206の処理において、陰影画像と血管画像を誤って検出する条件は、血管が肺野正面から背面に向かって走行する場合である。このような状況の場合、アキシャル画像では、血管に相当する画像は、線状の陰影として検出されるので、円形度を特徴量として採用すると良好な真偽判定を実現することができる。尚、円形度は、従来例の欄で説明したように、式(1)と式(2)で計算できる。
そして、算出した円形度が所定値よりも小さい場合は、腫瘍の陰影の蓋然性が低い。また、隣接するアキシャル画像間で円形度の変動率を計算することによって、変動率が所定値よりも大きい場合は、腫瘍の陰影の蓋然性が低い。このような判定方法で、ひとつの陰影候補に対する真偽判定処理(ステップS211)を実行し、真偽結果をメモリ25に保存する。
図4の説明に戻る。
真偽判定処理を実行したら、その判定結果(真偽結果)をメモリ25に保存する。そして、陰影候補の全てに対して、ステップS110からステップS112の処理を実行した場合、つまり、すべての陰影候補の真偽判定が終了した場合(ステップS109でYES)、メモリ25に記憶されている真偽結果を画像表示部19に表示する(ステップS113)。
ここで、真偽結果は、ステップS108で保存した各陰影候補に対して、それぞれの陰影が腫瘍となる診断用画像であるか否かを示す真偽属性を付加したものである。真と判定された陰影領域は、3次元ボクセル上で特殊な値に置換すると、断面変換を実行した際に腫瘍に相当する画像を自動的に表示できるので、診断用画像に適している。
以上説明したように本発明によれば、コロナル画像は、アキシャル画像に比較して略円形状の陰影が少ないので、処理対象画像の陰影検出を行うための処理時間を短縮することができ、また、病理(腫瘍)に対する疑陽性の数を低減することができる。
尚、上記実施形態では、陰影検出対象の画像として、コロナル画像を用いる例を挙げて説明したが、これ以外にも、サジタル画像、オブリーク画像、それらのRAYSUM画像(3次元上の一点からの厚みをもった投影画像であり、同時に医師が診断する場合に適している)等の、3次元ボクセルから得られる他の断面画像を用いることが可能である。但し、アキシャル画像は、陰影検出には利用しない。これは、上述のように、腫瘍と血管との判定が誤り易いためであり、そして、このアキシャル画像以外の他の断面画像を陰影検出に利用する点が、本願発明の特徴の1つとなっている。
つまり、本願発明では、陰影検出には、アキシャル画像(被検体の体軸に直交する断面画像)以外の断面画像(第1断面画像)を用いて陰影検出を行い、その陰影検出によって検出した陰影の真偽判定には、第1断面画像とは異なる第2断面画像を用いる。
この第1断面画像と第2断面画像の組み合わせは、種々の組み合わせが考えられるが、より実用的な組み合わせとしては、以下のものが考えられる。
第1断面画像 : 第2断面画像
コロナル画像 : アキシャル画像あるいはサジタル画像
サジタル画像 : アキシャル画像あるいはコロナル画像
この組み合わせは、陰影の形状を3次元的に判定することができる組み合わせとなっており、この組み合わせを用いることで、より精度の高い陰影検出及び真偽判定を実現することができる。
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム(実施形態では図に示すフローチャートに対応したプログラム)を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
プログラムを供給するための記録媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などがある。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
本発明の画像処理システムの全体像を説明するための概念図である。 本発明の実施形態の画像処理システムの構成例を示す図である。 本発明の実施形態の画像処理システムの詳細構成を示すブロック図である。 本発明の実施形態の画像処理システムが実行する処理を示すフローチャートである。 本発明の実施形態のDISKフィルタとRINGフィルタの一例を示す図である。 本発明の実施形態の陰影検出処理の詳細を示すフローチャートである。 本発明の実施形態の真偽判定処理の詳細を示すフローチャートである。
符号の説明
11 X線発生部
12 2次元堅検出器
13 胸当て板
14 再構成部
15 回転テーブル
16 人体
17 陰影検出部
18 制御部
19 画像表示部
21 インタフェース部
23 真偽判定部
24 BUS
30 DISKフィルタ
31 RINGフィルタ

Claims (9)

  1. 放射線投影データの再構成により得られた三次元画像を第一の断面で横断する、アキシャル画像以外の第一の断面画像を設定する第一の断面画像設定手段と、
    前記第一の断面画像内における円形形状部を陰影部として検出する検出手段と、
    前記陰影部を横断する前記第一の断面画像の断面と異なる第二の断面を設定する断面設定手段と、
    前記三次元画像を前記第二の断面で横断する第二の断面画像を設定する第二の断面画像設定手段と、
    前記第二の断面画像内における前記陰影部の円形度に基づき、前記陰影部が診断対象であるか否かを判定する判定手段とを有することを特徴とする画像処理装置。
  2. 前記第一の断面は、被検体の所定の血管流に平行な断面である
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記第一の断面画像は、被検体のコロナル画像、サジタル画像及びそれらのRAYSUM画像のいずれかである
    ことを特徴とする請求項1に記載の画像処理装置。
  4. 前記第二の断面画像は、被検体のアキシャル画像である
    ことを特徴とする請求項1に記載の画像処理装置。
  5. 前記第一の断面画像は、被検体のコロナル画像であり、前記第二の断面画像は、前記被検体のアキシャル画像あるいはサジタル画像である
    ことを特徴とする請求項1に記載の画像処理装置。
  6. 前記三次元画像は、等方性画素で構成されている
    ことを特徴とする請求項1に記載の画像処理装置。
  7. 放射線を被検体に照射して、該被検体の放射線画像を撮像して出力する撮像手段を更に備える
    ことを特徴とする請求項1に記載の画像処理装置。
  8. 第一の断面画像設定手段が、放射線投影データの再構成により得られた三次元画像を第一の断面で横断する、アキシャル画像以外の第一の断面画像を設定する第一の断面画像設定工程と、
    検出手段が、前記第一の断面画像内における円形形状部を陰影部として検出する検出工程と、
    断面設定手段が、前記陰影部を横断する前記第一の断面画像の断面と異なる第二の断面を設定する断面設定工程と、
    第二の断面画像設定手段が、前記三次元画像を前記第二の断面で横断する第二の断面画像を設定する第二の断面画像設定工程と、
    判定手段が、前記第二の断面画像における前記陰影部の円形度に基づき、前記陰影部が診断対象であるか否かを判定する判定工程と
    を有することを特徴とする画像処理方法。
  9. コンピュータを、
    放射線投影データの再構成により得られた三次元画像を第一の断面で横断する、アキシャル画像以外の第一の断面画像を設定する第一の断面画像設定手段と、
    前記第一の断面画像内における円形形状部を陰影部として検出する検出手段と、
    前記陰影部を横断する前記第一の断面画像の断面と異なる第二の断面を設定する断面設定手段と、
    前記三次元画像を前記第二の断面で横断する第二の断面画像を設定する第二の断面画像設定手段と、
    前記第二の断面画像における前記陰影部の円形度に基づき、前記陰影部が診断対象であるか否かを判定する判定手段として機能させるためのコンピュータプログラム。
JP2004117058A 2004-04-12 2004-04-12 画像処理装置及びその方法、プログラム Expired - Fee Related JP4549093B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004117058A JP4549093B2 (ja) 2004-04-12 2004-04-12 画像処理装置及びその方法、プログラム
US11/102,661 US7564998B2 (en) 2004-04-12 2005-04-11 Image processing apparatus and method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004117058A JP4549093B2 (ja) 2004-04-12 2004-04-12 画像処理装置及びその方法、プログラム

Publications (3)

Publication Number Publication Date
JP2005296348A JP2005296348A (ja) 2005-10-27
JP2005296348A5 JP2005296348A5 (ja) 2007-06-07
JP4549093B2 true JP4549093B2 (ja) 2010-09-22

Family

ID=35060610

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004117058A Expired - Fee Related JP4549093B2 (ja) 2004-04-12 2004-04-12 画像処理装置及びその方法、プログラム

Country Status (2)

Country Link
US (1) US7564998B2 (ja)
JP (1) JP4549093B2 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4497997B2 (ja) * 2004-04-21 2010-07-07 キヤノン株式会社 放射線画像撮影装置及びその制御方法
US7801348B2 (en) * 2005-07-18 2010-09-21 Analogic Corporation Method of and system for classifying objects using local distributions of multi-energy computed tomography images
JP4878311B2 (ja) 2006-03-03 2012-02-15 キヤノン株式会社 マルチx線発生装置
JP5019220B2 (ja) * 2007-10-05 2012-09-05 株式会社東芝 医用画像表示装置及び医用画像表示プログラム
JP5294653B2 (ja) 2008-02-28 2013-09-18 キヤノン株式会社 マルチx線発生装置及びx線撮影装置
JP5179902B2 (ja) * 2008-02-29 2013-04-10 株式会社東芝 医用画像読影支援装置
US8542896B2 (en) * 2008-10-20 2013-09-24 Hitachi Medical Corporation Medical image processing device and medical image processing method
JP5361336B2 (ja) * 2008-11-06 2013-12-04 キヤノン株式会社 X線乳房撮影装置
JP5366577B2 (ja) * 2009-02-04 2013-12-11 株式会社東芝 医用画像処理装置
JP5599572B2 (ja) * 2009-03-12 2014-10-01 富士フイルム株式会社 症例画像検索装置、方法およびプログラム
JP5576631B2 (ja) * 2009-09-09 2014-08-20 キヤノン株式会社 放射線撮影装置、放射線撮影方法、及びプログラム
CN103582455B (zh) * 2011-02-14 2016-12-28 罗切斯特大学 基于锥形束乳房ct图像的计算机辅助检测和诊断的方法和装置
JP5956727B2 (ja) 2011-06-29 2016-07-27 キヤノン株式会社 X線撮影装置
JP2013128661A (ja) 2011-12-21 2013-07-04 Canon Inc ステレオx線撮影装置、ステレオx線撮影方法
JP5988598B2 (ja) 2012-01-31 2016-09-07 キヤノン株式会社 被検体情報取得装置および被検体情報取得方法
JP6108671B2 (ja) 2012-03-13 2017-04-05 キヤノン株式会社 放射線撮影装置
US9995922B2 (en) 2013-03-08 2018-06-12 Shimadzu Corporation Analysis target region setting apparatus
KR102096410B1 (ko) * 2014-05-02 2020-04-03 삼성전자주식회사 의료 영상 장치 및 그 제어 방법
US9652871B2 (en) * 2015-01-28 2017-05-16 Impac Medical Systems, Inc. Three dimensional localization of a moving target for adaptive radiation therapy
JP7156361B2 (ja) * 2018-03-08 2022-10-19 コニカミノルタ株式会社 画像処理方法、画像処理装置及びプログラム
EP3933760A4 (en) * 2019-06-07 2022-12-07 Mayekawa Mfg. Co., Ltd. IMAGE PROCESSING DEVICE, IMAGE PROCESSING PROGRAM AND IMAGE PROCESSING METHOD

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3425207B2 (ja) 1994-02-28 2003-07-14 東芝医用システムエンジニアリング株式会社 診断支援装置
JPH07265300A (ja) 1994-03-29 1995-10-17 Toshiba Corp 診断支援装置
JP3488515B2 (ja) 1994-08-31 2004-01-19 東芝医用システムエンジニアリング株式会社 診断支援システムおよび診断支援方法
JPH08166995A (ja) 1994-12-13 1996-06-25 Toshiba Corp 医用診断支援システム
JPH08320923A (ja) * 1995-05-26 1996-12-03 Toshiba Medical Eng Co Ltd 異常陰影自動検出システム
US5825908A (en) * 1995-12-29 1998-10-20 Medical Media Systems Anatomical visualization and measurement system
US5832134A (en) * 1996-11-27 1998-11-03 General Electric Company Data visualization enhancement through removal of dominating structures
JP4702971B2 (ja) 1999-11-10 2011-06-15 株式会社東芝 コンピュータ支援診断システム
US6983063B1 (en) 2000-06-29 2006-01-03 Siemens Corporate Research, Inc. Computer-aided diagnosis method for aiding diagnosis of three dimensional digital image data
JP4393016B2 (ja) * 2000-06-30 2010-01-06 株式会社日立メディコ 画像診断支援装置
US6466813B1 (en) * 2000-07-22 2002-10-15 Koninklijke Philips Electronics N.V. Method and apparatus for MR-based volumetric frameless 3-D interactive localization, virtual simulation, and dosimetric radiation therapy planning
US20020028008A1 (en) * 2000-09-07 2002-03-07 Li Fan Automatic detection of lung nodules from high resolution CT images
JP2002291733A (ja) * 2001-04-03 2002-10-08 Hitachi Medical Corp 画像診断支援方法及びそのシステム
JP4091318B2 (ja) * 2002-03-04 2008-05-28 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー X線ct装置
JP3639826B2 (ja) * 2002-04-03 2005-04-20 キヤノン株式会社 放射線撮影装置、プログラム、コンピュータ可読記憶媒体、及び放射線撮影システム
US6609021B1 (en) * 2002-05-20 2003-08-19 Siemens Corporate Research, Inc. Pulmonary nodule detection using cartwheel projection analysis
JP2004135867A (ja) * 2002-10-17 2004-05-13 Fuji Photo Film Co Ltd 異常陰影候補検出方法及び異常陰影候補検出装置
JP4439882B2 (ja) * 2003-11-14 2010-03-24 キヤノン株式会社 放射線画像処理装置及び処理方法

Also Published As

Publication number Publication date
US20050226486A1 (en) 2005-10-13
JP2005296348A (ja) 2005-10-27
US7564998B2 (en) 2009-07-21

Similar Documents

Publication Publication Date Title
JP4549093B2 (ja) 画像処理装置及びその方法、プログラム
US7072435B2 (en) Methods and apparatus for anomaly detection
Wiemker et al. Aspects of computer-aided detection (CAD) and volumetry of pulmonary nodules using multislice CT
JP5438267B2 (ja) 画像内の領域を識別する方法及びシステム
JP2004174232A (ja) 画像セットのコンピュータ支援診断
US8855385B2 (en) Apparatus and method for multi-energy tissue quantification
US9349199B2 (en) System and method for generating image window view settings
JP2004105728A (ja) コンピュータを利用した医療用画像の収集
CN111415356B (zh) 肺炎征象的分割方法、装置、介质及电子设备
JP2004105731A (ja) コンピュータを利用した医療用画像の処理
JP6301277B2 (ja) 診断補助画像生成装置および診断補助画像生成方法、並びに、診断補助画像生成プログラム
JP2004174253A (ja) 軟組織空間の視覚化の方法及び装置
JP6134986B2 (ja) 医用画像計測装置およびその作動方法並びに医用画像計測プログラム
JP2004174264A (ja) 計算機式断層写真法(ct)スカウト画像を形成する方法及び装置
JP7242622B2 (ja) コンピュータ断層撮影のためのセグメント化された光子計数検出器を使用するコヒーレント散乱撮像のためのシステムおよび方法
JP2020535924A (ja) 診断撮像における画像特徴のアノテーション
US8788012B2 (en) Methods and apparatus for automatically registering lesions between examinations
US9361711B2 (en) Lesion-type specific reconstruction and display of digital breast tomosynthesis volumes
Saba et al. Computer-aided detection of pulmonary nodules in computed tomography: analysis and review of the literature
Puggelli et al. Accuracy assessment of CT-based 3D bone surface reconstruction
JP2007135858A (ja) 画像処理装置
EP3176609B1 (en) Nuclear medical image analysis technique
JP3488515B2 (ja) 診断支援システムおよび診断支援方法
CN115410692A (zh) 确定组织边界的装置和方法
CN110547821B (zh) 追踪目标介入物的ct系统、方法及相关计算机可读介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070411

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100702

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100706

R150 Certificate of patent or registration of utility model

Ref document number: 4549093

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130716

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees