JP4648535B2 - Electronic endoscope device - Google Patents
Electronic endoscope device Download PDFInfo
- Publication number
- JP4648535B2 JP4648535B2 JP2000343591A JP2000343591A JP4648535B2 JP 4648535 B2 JP4648535 B2 JP 4648535B2 JP 2000343591 A JP2000343591 A JP 2000343591A JP 2000343591 A JP2000343591 A JP 2000343591A JP 4648535 B2 JP4648535 B2 JP 4648535B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- light
- image
- fluorescence
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Studio Devices (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Closed-Circuit Television Systems (AREA)
- Color Television Image Signal Generators (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、生体から発せられる自家蛍光による蛍光観察が可能な電子内視鏡装置に、関する。
【0002】
【従来の技術】
従来、被検体としての生体に紫外光等の励起光を照射した場合にこの生体から発せられる蛍光(自家蛍光)を撮像することにより、生体の観察に供する電子内視鏡装置が、利用されている。なお、病変の生じた生体組織から発せられる自家蛍光の強度は、健康な生体組織から発せられる自家蛍光の強度よりも小さいことが知られている。従って、術者は、この自家蛍光による被検体の蛍光画像を観察することにより、その蛍光強度の小さい領域に、病変が生じている可能性が高いと、認識することができる。
【0003】
この電子内視鏡装置は、白色光と励起光とを交互に切り換えて射出する光源ユニット,射出された白色光及び励起光を導く照明光学系,及び,照明光により照明された被検体を撮像するCCDを、備えている。
【0004】
そして、照明光学系から射出された白色光が被検体を照明している間に、CCDは、その被検体の像を取得し、参照画像信号として出力する。一方、照明光学系から射出された励起光が被検体を照射すると、この被検体は、自家蛍光を発する。すると、CCDは、この自家蛍光による被検体像を撮像して、蛍光画像信号として出力する。
【0005】
これら参照画像信号及び蛍光画像信号に基づいて、被検体の診断用画像信号が生成される。即ち、参照画像信号における特定の色成分に対応した部分から、蛍光画像信号が減算されることにより、診断用画像信号が生成される。この診断用画像信号は、モニタに診断用画像として表示される。
【0006】
この診断用画像は、被検体における自家蛍光の発せられていない部分については、モノクロ画像と同様に表示される。しかし、この診断用画像は、被検体における自家蛍光が発せられている部分については、その自家蛍光の強度に応じて着色された状態で、表示される。従って、術者は、この診断用画像を観察することにより、被検体の形状を把握するとともに、当該被検体における自家蛍光の強度を認識して、診断を行うことができる。
【0007】
【発明が解決しようとする課題】
なお、被検体から発せられる自家蛍光は、極めて微弱である。このため、参照画像信号及び蛍光画像信号に基づいて診断用画像信号が生成されるためには、この蛍光画像信号は大幅に増幅されなければならない。
【0008】
また、この自家蛍光の強度は、生体内の部位によって異なる。さらに、この自家蛍光の強度には、個体差がある。即ち、蛍光画像信号に対する増幅の度合いは、被検体に応じて設定されることが望ましい。しかしながら、実際には、被検体に応じて増幅の度合いを調節することは、困難であった。
【0009】
そこで、様々な被検体に対応させて、蛍光画像信号の増幅の度合いを最適に調節することが可能な電子内視鏡装置を提供することを、本発明の課題とする。
【0010】
【課題を解決するための手段】
本発明による電子内視鏡装置は、上記課題を解決するために、以下のような構成を採用した。
【0011】
即ち、この電子内視鏡装置は、被検体を照明する照明光学系と、可視光,及び,生体組織自体からの蛍光を励起する励起光を発し、これら可視光と励起光とを交互に切り換えて繰り返し前記照明光学系へ導く光源ユニットと、前記被検体表面からの光のうちの励起光以外の成分を収束させて、この被検体表面の像を形成する対物光学系と、前記対物光学系によって形成された被検体表面の像を撮像して画像信号に変換する撮像素子と、前記撮像素子により取得された画像信号のうち、前記照明光学系に可視光が導かれている期間に対応する部分に基づいて参照画像信号を生成し、前記照明光学系に励起光が導かれている期間に対応する部分に基づいて蛍光画像信号を生成し、各画素すべての蛍光画像信号における所定の処理単位中の強度の最大値が所定の上限値よりも小さい場合には、この蛍光画像信号を、その強度が前記上限値を超えない範囲内で前記処理単位毎に増幅するプロセッサとを、備えたことを特徴とする。
【0012】
このように構成されると、蛍光画像信号は、常に最適な強度になるように、調節される。即ち、蛍光画像信号の強度が比較的小さい場合には、その増幅の度合いは大きく調節され、蛍光画像信号の強度が比較的大きい場合には、その増幅の度合いは小さく調節される。この調節は動的になされるので、常に、最適な強度の蛍光画像信号が得られる。同様に、参照画像信号も、その強度が動的に調節されてもよい。この参照画像信号から蛍光画像信号が減算されることにより、診断用画像信号が得られてもよい。
【0013】
また、前記プロセッサは、前記参照画像信号及び蛍光画像信号における互いに対応した所定の処理単位の部分を取得して、前記参照画像信号のうちの当該処理単位の部分における信号の最大値である参照ピーク値を取得するとともに、前記蛍光画像信号のうちの当該処理単位の部分における信号の最大値である蛍光ピーク値を取得するピーク値検出部と、前記参照ピーク値に基づいて参照係数値を取得するとともに、前記蛍光ピーク値に基づいて蛍光係数値を取得する係数値取得部と、前記参照画像信号のうちの前記処理単位の部分における信号を、その強度に当該処理単位の部分に対応する参照係数値を乗じた強度になるよう増幅するとともに、前記蛍光画像信号のうちの前記処理単位の部分における信号を、その強度に当該処理単位の部分に対応する蛍光係数値を乗じた強度になるよう増幅する信号調整部とを、備えていてもよい。
【0014】
このように構成されると、ピーク値検出部は、参照画像信号及び蛍光画像信号を、所定の処理単位(例えば1フレーム)毎に処理して、参照ピーク値及び蛍光ピーク値を取得する。そして、係数値取得部は、参照ピーク値及び蛍光ピーク値を所定の換算式に代入することにより、参照係数値及び蛍光係数値を夫々取得する。なお、ピーク値をxとし、係数値をyとした場合に、この換算式y=f(x)は、xの減少関数である。このf(x)は、解析学的に下に凸な関数であってもよい。例えば、yは、xに対して反比例していてもよい。
【0015】
【発明の実施の形態】
以下、図面に基づいて本発明の一実施形態による電子内視鏡装置について、説明する。
【0016】
<電子内視鏡装置の全体構成>
図1は、この電子内視鏡装置の構成図である。この図1に示されるように、電子内視鏡装置は、電子内視鏡1,及び,外部装置(光源・プロセッサ装置)2を、備えている。
【0017】
まず、電子内視鏡(以下、内視鏡と略記)1について説明する。この内視鏡1は、図1にはその形状が示されていないが、生体内に挿入される可撓管状の挿入部,この挿入部の基端側に対して一体に連結された操作部,及び,この操作部と外部装置2とを連結するライトガイド可撓管を、備えている。
【0018】
内視鏡1の挿入部の先端は、硬質部材製の図示せぬ先端部により封止されている。また、この挿入部の先端近傍の所定領域には、図示せぬ湾曲機構が組み込まれており、当該領域を湾曲させることができる。操作部には、湾曲機構を湾曲操作するためのダイヤル,及び各種操作スイッチが、設けられている。
【0019】
この内視鏡1の先端部には、少なくとも3つの開口が開けられており、これら3つの開口のうちの2つは、配光レンズ11,及び,対物レンズ12により、夫々封止されている。なお、他の開口の1つは、鉗子孔として利用される。
【0020】
さらに、内視鏡1は、ライトガイド13を有している。このライトガイド13は、光ファイバが多数束ねられてなるファイババンドルから構成されている。そして、このライトガイド13は、その先端面(出射面)を配光レンズ11に対向させるとともに、挿入部,操作部及びライトガイド可撓管内を引き通され、その基端側が外部装置2内に引き込まれている。なお、これらライトガイド13及び配光レンズ11は、照明光学系に相当する。
【0021】
また、内視鏡1は、撮像素子としてのCCD(charge-coupled device)エリアセンサ14を備えている。このCCDエリアセンサ(以下CCDと略記)14の撮像面は、内視鏡1の先端部が被検体に対向配置された状態において、対物レンズ12が当該被検体の像を結ぶ位置に、配置されている。なお、これら対物レンズ12及びCCD14間の光路中には、図示せぬ励起光カットフィルタが、挿入配置されている。この励起光カットフィルタは、生体の自家蛍光を励起する励起光を遮断するとともに、可視光を透過させる。これら対物レンズ12及び励起光カットフィルタは、対物光学系に相当する。
【0022】
なお、図1における符号15は、内視鏡1の操作部に設けられた複数の操作スイッチのうちの1つを、模式的に示したものである。この操作スイッチ15は、後述する通常観察状態と蛍光観察状態とを切り換えるために、用いられる。
【0023】
次に、外部装置2について説明する。この外部装置2は、光源ユニット20,並びに,タイミングコントローラT1,画像信号処理回路T2及びシステムコントローラT3を有するプロセッサTを、備えている。
【0024】
この外部装置2における光源ユニット20は、白色光源21及び励起光源22を、備えている。一方の白色光源21は、図示せぬキセノンランプ及びリフレクタを、有している。そして、この白色光源21は、そのキセノンランプが発した白色光(可視光)を、リフレクタで反射させることにより、平行光として射出する。他方の励起光源22は、図示せぬUVランプ及びリフレクタを、有している。なお、この励起光源22のUVランプは、生体の自家蛍光を励起する紫外帯域の励起光を、発する。そして、この励起光源22は、そのUVランプが発した励起光を、リフレクタで反射させることにより、平行光として射出する。
【0025】
白色光源21から発せられた白色光の光路上には、集光レンズ23が、配置されている。この集光レンズ23は、入射した平行光を、ライトガイド13の基端面(入射面)に収束させる。
【0026】
この集光レンズ23から射出された収束光の光路上におけるライトガイド13以前の所定位置には、RGBホイール24が挿入される。このRGBホイール24は、図2の(A)に示されるように、円板状に形成され、その外周に沿ったリング状の部分に、互いに同形状の3つの開口が等間隔で開けられている。これら各開口には、青色光(B光)のみを透過させるBフィルタ241,緑色光(G光)のみを透過させるGフィルタ242,及び,赤色光(R光)のみを透過させるRフィルタ243が、夫々填め込まれている。
【0027】
なお、図2の(A)に示された例では、これら各フィルタ241〜243は、同形状であるが、当該ホイール24の周方向に沿った長さが互いに異なっていてもよい。即ち、ホイール24の周方向に沿った長さが長いものから順に、Bフィルタ241,Gフィルタ242,Rフィルタ243となっていてもよい。
【0028】
図1に示されるように、このRGBホイール24は、モータ24Mに連結されている。そして、RGBホイール24は、モータ24Mに駆動されて回転し、そのBフィルタ241,Gフィルタ242,及びRフィルタ243を、順次繰り返して光路中に挿入する。なお、このモータ24Mは、移動機構24Sに取り付けられている。そして、この移動機構24Sは、モータ24M及びRGBホイール24を、図1の上下方向へ移動させる。即ち、この移動機構24Sは、RGBホイール24を、その各フィルタ241〜243を光路中に挿入可能となる挿入位置,又は,光路から退避した退避位置へ、移動させる。
【0029】
なお、図1のRGBホイール24は、退避位置にある。そして、このRGBホイール24は、図1の状態から図1の上下方向における上向きへ移動することにより、挿入位置をとる。このRGBホイール24に連結されたモータ24M,及び移動機構24Sは、ホイール駆動機構に相当する。
【0030】
また、白色光源21から発せられた白色光の光路上における当該白色光源21の直後には、第1のロータリーシャッタ25が、挿入される。このロータリーシャッタ25は、図2の(B)に示されるように、円板状に形成され、その外周に沿ったリング状の部分に、1つの開口が開けられている。この開口には、透明な平行平板状の光学部材が填め込まれている。この光学部材が、白色光を透過させる透過部251になっている。
【0031】
図1に示されるように、このロータリーシャッタ25は、モータ25Mに連結されている。そして、このロータリーシャッタ25は、モータ25Mに駆動されて回転し、その透過部251を、間欠的に光路中に挿入する。なお、このモータ25Mは、移動機構25Sに取り付けられている。そして、この移動機構25Sは、モータ25M及びロータリーシャッタ25を、図1の上下方向へ移動させる。即ち、この移動機構25Sは、ロータリーシャッタ25を、その開口部251を光路中に挿入可能となる挿入位置,又は,光路から退避した退避位置へ、移動させる。なお、図1のロータリーシャッタ25は、挿入位置にある。そして、このロータリーシャッタ25は、図1の状態から図1の上下方向における上向きへ移動することにより、退避位置をとる。
【0032】
なお、このロータリーシャッタ25及び集光レンズ23間の所定位置において、白色光の光路と励起光の光路とは、直交している。即ち、励起光源22は、発した励起光が、白色光源21から発せられた白色光の光路上における上記所定位置で、当該白色光の光路と直交するように、配置されている。これら白色光及び励起光の光路同士が直交する位置には、ハーフミラー26が、挿入される。このハーフミラー26は、該ハーフミラー26を透過した白色光の光路と同じ光路上を励起光が進むように、この励起光を反射させる。
【0033】
また、励起光源22から発せられた励起光の光路上におけるハーフミラー26以前の位置には、第2のロータリーシャッタ27が、挿入される。このロータリーシャッタ27は、図2の(C)に示されるように、円板状に形成され、その外周に沿ったリング状の部分に、1つの開口が開けられている。この開口には、透明な平行平板状の光学部材が填め込まれている。この光学部材が、励起光を透過させる透過部271になっている。
【0034】
図1に示されるように、このロータリーシャッタ27は、モータ27Mに連結されている。そして、このロータリーシャッタ27は、モータ27Mに駆動されて回転し、その透過部271を、間欠的に光路中に挿入する。
【0035】
これらハーフミラー26及びモータ27Mは、ステージ28に対して固定されている。このステージ28は、ステージ移動機構29に連結されている。このステージ移動機構29は、ステージ28を移動させることにより、ハーフミラー26,並びに,モータ27M及びロータリーシャッタ27を、図1の上下方向へ移動させる。即ち、ステージ移動機構29は、ステージ28を、ハーフミラー26が白色光の光路中に挿入された挿入位置,又は,ハーフミラー26が白色光の光路から退避した退避位置へ、移動させる。なお、図1のステージ28は、挿入位置にある。そして、このステージ28は、図1に示された状態から図1の上下方向における下向きへ移動することにより、退避位置をとる。
【0036】
また、プロセッサTにおけるタイミングコントローラT1,画像信号処理回路T2,及びシステムコントローラT3は、相互に接続されている。このプロセッサTのタイミングコントローラT1は、各モータ24M,25M,27Mに夫々接続されている。そして、このタイミングコントローラT1は、これら各モータ24M,25M,27Mを夫々同期させて、等速回転させる。
【0037】
このプロセッサTのシステムコントローラT3は、各移動機構24S,25S,及びステージ移動機構29と、夫々接続されている。そして、このシステムコントローラT3は、移動機構24Sを制御することにより、RGBホイール24を挿入位置へ移動させるとともに、移動機構25S及びステージ移動機構29を夫々制御することにより、第1のロータリーシャッタ25及びステージ28を退避位置へ移動させることができる。この状態において、光源ユニット20が、通常観察状態にあると称される。
【0038】
一方、図1に示されるように、システムコントローラT3が、移動機構24Sを制御することにより、RGBホイール24を退避位置へ移動させるとともに、移動機構25S及びステージ移動機構29を夫々制御することにより、第1のロータリーシャッタ25及びステージ28を挿入位置へ移動させることができる。この状態において、光源ユニット20が、蛍光観察状態にあると称される。
【0039】
なお、システムコントローラT3は、操作スイッチ15の状態に応じて、光源ユニット20を通常観察状態又は蛍光観察状態に切り換える。即ち、術者は、操作スイッチ15を切り換えることにより、光源ユニット20を通常観察状態又は蛍光観察状態に切り換える。
【0040】
この光源ユニット20が通常観察状態にある場合に、白色光源21から発せられた白色光は、集光レンズ23へ入射する。一方、ステージ28は、退避位置にあるので、励起光源22から発せられた励起光は、集光レンズ23へは入射しない。また、第1のロータリーシャッタ25も、退避位置にある。従って、光源ユニット20が通常観察状態にある場合には、集光レンズ23には、常時、白色光のみが入射する。
【0041】
この集光レンズ23を透過した白色光は、RGBホイール24の各フィルタ241〜243により、B光,G光,及びR光に順次変換される。これらB光,G光,及びR光は、ライトガイド13の基端面(入射面)に収束する。そして、これらB光,G光,及びR光は、このライトガイド13により導かれて、配光レンズ11へ向かう。すると、配光レンズ11からは、これらB光,G光,及びR光が、順次、繰り返し射出される。
【0042】
この配光レンズ11から射出されたB光,G光,及びR光が、順次、被検体を照射している際に、内視鏡1の対物レンズ12は、CCD14の撮像面近傍に被検体像を形成する。この被検体像は、CCD14により画像信号に変換される。なお、CCD14は、プロセッサTのタイミングコントローラT1に接続されており、このタイミングコントローラT1から送信された駆動信号に従って、画像信号を出力する。また、プロセッサTの画像信号処理回路T2は、CCD14に接続されており、このCCD14から出力された画像信号を取得する。
【0043】
図3は、本実施形態の照明及び画像取得のタイミングチャートである。なお、この図3の(A)は、光源ユニット20が通常観察状態にある場合に、タイミングコントローラT1から出力されたCCD14への駆動信号を示している。また、この図3の(B)は、光源ユニット20が通常観察状態にある場合に、配光レンズ11から被検体へ向けて射出されたB光,G光,及びR光の照射期間を示している。
【0044】
この図3の(A)及び(B)に示されるように、配光レンズ11からB光が射出される「B照射」期間が、CCD14の「B蓄積」期間に相当する。即ち、被検体にB光が照射された状態において、CCD14の各画素には、B光による被検体像に対応した電荷が蓄積される。このように蓄積された電荷は、直後の「B転送」期間中に、B画像信号として画像信号処理回路T2へ送信される。
【0045】
この「B転送」期間の直後の「G蓄積」期間は、配光レンズ11からG光が射出される「G照射」期間に対応している。この「G蓄積」期間において、CCD14の各画素には、G光による被検体像に対応した電荷が蓄積される。このように蓄積された電荷は、直後の「G転送」期間中に、G画像信号として画像信号処理回路T2へ送信される。
【0046】
この「G転送」期間の直後の「R蓄積」期間は、配光レンズ11からR光が射出される「R照射」期間に対応している。この「R蓄積」期間において、CCD14の各画素には、R光による被検体像に対応した電荷が蓄積される。このように蓄積された電荷は、直後の「R転送」期間中に、R画像信号として画像信号処理回路T2へ送信される。
【0047】
そして、画像信号処理回路T2は、後述の如く、これらB画像信号,G画像信号,及びR画像信号に基づき、被検体のカラー画像を示すカラー画像信号を生成する。なお、画像信号処理回路T2は、モニタ3に接続されている。そして、この画像信号処理回路T2は、生成したカラー画像信号に基づいて、被検体のカラー画像をモニタ3に表示させる。
【0048】
次に、光源ユニット20が蛍光観察状態にある場合について、説明する。この場合に、白色光源21から発せられた白色光は、第1のロータリーシャッタ25の透過部251が光路中に挿入されている期間中にのみ、ハーフミラー26へ向けて射出される。一方、励起光源22から射出された励起光は、第2のロータリーシャッタ27の透過部271が光路中に挿入されている期間中にのみ、ハーフミラー26へ向けて射出される。
【0049】
なお、タイミングコントローラT1は、第1のロータリーシャッタ25の透過部251が光路中に挿入されていない期間中に、第2のロータリーシャッタ27の透過部271が光路中に挿入されるように、かつ、第2のロータリーシャッタ27の透過部271が光路中に挿入されていない期間中に、第1のロータリーシャッタ25の透過部251が光路中に挿入されるように、各モータ25M,27Mを夫々等速回転させている。
【0050】
このため、ハーフミラー26へは、白色光と励起光とが、交互に繰り返し入射する。このハーフミラー26を透過した白色光は、集光レンズ23によりライトガイド13の入射面に収束される。一方、このハーフミラー26により反射された励起光は、集光レンズ23によりライトガイド13の入射面に収束される。そして、これら白色光及び励起光は、交互に、ライトガイド13により導かれて、配光レンズ11へ向かう。すると、配光レンズ11からは、これら白色光及び励起光が、交互に繰り返し射出される。
【0051】
そして、被検体が白色光に照明されている期間中には、この被検体表面において反射された光は、対物レンズ12により収束されて、CCD14の撮像面近傍に被検体像を形成する。この被検体像は、CCD14により画像信号に変換される。
【0052】
一方、この被検体に対して励起光が照射されている期間中には、この被検体は、自家蛍光を発する。このため、対物レンズ12へは、この被検体から発せられた自家蛍光,及び,この被検体表面において反射された励起光が、入射する。但し、励起光は、図示せぬ励起光カットフィルタにより遮断されるので、CCD14の撮像面近傍には、被検体の自家蛍光のみによる被検体像が形成される。
【0053】
なお、CCD14は、タイミングコントローラT1から送信された駆動信号に従って、画像信号を出力する。また、プロセッサTの画像信号処理回路T2は、CCD14から出力された画像信号を取得する。図3の(C)は、光源ユニット20が蛍光観察状態にある場合に、タイミングコントローラT1から出力されたCCD14の駆動信号を示している。また、この図3の(D)は、光源ユニット20が蛍光観察状態にある場合に、配光レンズ11から被検体へ向けて射出された励起光(UV光),及び白色光(W光)の照射期間を示している。
【0054】
この図3の(C)及び(D)に示されるように、配光レンズ11からW光が射出される「W照射」期間が、CCD14の「W蓄積」期間に相当する。即ち、被検体にW光が照射された状態において、CCD14の各画素には、W光による被検体像に対応した電荷が蓄積される。このように蓄積された電荷は、直後の「W転送」期間中に、W画像信号(参照画像信号)として画像信号処理回路T2へ送信される。
【0055】
一方、配光レンズ11からUV光が射出される「UV照射」期間が、CCD14の「F蓄積」期間に相当する。即ち、被検体にUV光が照射された状態において、CCD14の各画素には、自家蛍光(F光)による被検体像に対応した電荷が蓄積される。このように蓄積された電荷は、直後の「F転送」期間中に、F画像信号(蛍光画像信号)として画像信号処理回路T2へ送信される。
【0056】
<画像信号処理回路の構成>
この画像信号処理回路T2は、これらW画像信号,及びF画像信号を取得して処理し、モニタ3に画像表示させる回路である。図4は、画像信号処理回路T2を示すブロック図である。この図4に示されるように、画像信号処理回路T2は、タイミングコントローラT1に夫々接続されたCCDプロセス回路T21,A/DコンバータT22,フレームメモリT23,3つのメモリT24〜T26,ピーク値検出回路T27,演算回路T28,及び,ビデオプロセス回路T29を、備えている。
【0057】
CCDプロセス回路T21は、CCD14に接続されている。そして、このCCDプロセス回路T21は、CCD14から出力された画像信号を取得して、ホワイトバランスの調整,及びγ補正等の処理を施した後に、出力する。A/DコンバータT22は、CCDプロセス回路T21から出力された画像信号をA/D変換して、デジタルの画像信号(画像データ)として出力する。
【0058】
フレームメモリT23は、CCD14の画素毎に10ビットのデータを記憶可能な記憶領域を有する。そして、A/DコンバータT22から出力された画像データは、一旦、このフレームメモリT23内に格納される。そして、このフレームメモリT23内に格納された信号は、入力のときとは異なる所定のタイミングで、出力される。
【0059】
3つのメモリT24〜T26は、いずれも、CCD14の画素毎に10ビットのデータを記憶可能な記憶領域を、有する。これら各メモリT24〜T26,及び,ピーク値検出回路T27は、フレームメモリT23に夫々接続されている。そして、これら各メモリT24〜T26,及び,ピーク値検出回路T27には、フレームメモリT23から出力された信号が、入力される。但し、各メモリT24〜T26には、タイミングコントローラT1により夫々指定された期間中にフレームメモリT23から出力された画像データのみが、格納される。
【0060】
図5は、演算回路T28のブロック図である。この演算回路T28は、一対の係数器MF,MW,減算器,及び,一対のスイッチSW1,SW2を、有している。第1の係数器MFは、第1のメモリT24に接続されている。一方、第2の係数器MWは、第2のメモリT25に接続されている。また、これら両係数器MF,MWは、夫々、ピーク値検出回路T27に接続されている。
【0061】
そして、これら両係数器MF,MWは、各メモリT24、T25から夫々読み出されたデータに対して、レベル調整のための係数値を乗ずる信号調整部として機能する。なお、これら両係数器MF,MWに設定される係数値は、ピーク値検出回路T27により算出される。このピーク値検出回路T27については、図8乃至図12を用いて後述する。
【0062】
図5に示された第1のスイッチSW1,及び第2のスイッチSW2は、夫々、図示せぬ信号線によりシステムコントローラT3と接続されている。そして、システムコントローラT3は、これら両スイッチSW1,SW2を、夫々切り換えて、各メモリT24,T25,T26から読み出された画像データを、3つの出力端子P1〜P3へ出力させる。
【0063】
なお、図4に示されるように、演算回路T28は、ビデオプロセス回路T29に接続されている。さらに、このビデオプロセス回路T29は、モニタ3に接続されている。そして、図5に示された演算回路T28の各出力端子P1,P2,P3から出力されたデータは、夫々、カラー画像のB成分,G成分,R成分として、ビデオプロセス回路T29に入力する。
【0064】
このビデオプロセス回路T29は、B成分,G成分,及びR成分に夫々対応したデータを、D/A変換することにより、アナログのB画像信号,G画像信号,及びR画像信号を、取得する。さらに、このビデオプロセス回路T29は、これらB画像信号,G画像信号,及びR画像信号とともに動画表示用の所定の仕様に基づく同期信号を、モニタ3へ出力する。そして、モニタ3は、これらB画像信号,G画像信号,及びR画像信号,並びに,同期信号に基づいて、カラー画像をその画面に動画表示する。
【0065】
図5に示された演算回路T28における第1のスイッチSW1は、第1の出力端子P1への出力を選択するためのものである。即ち、第1のスイッチSW1は、第1の出力端子P1へ、第1のメモリT24から読み出された画像データを出力する通常観察状態,又は,第2の係数器MWから出力されたデータと第1の係数器MFから出力されたデータとの差分データを出力する蛍光観察状態に、切り換えられる。但し、図5における第1のスイッチSW1は、蛍光観察状態になっている。
【0066】
この演算回路T28における第2のスイッチSW2は、第3の出力端子P3への出力を選択するためのものである。即ち、第2のスイッチSW2は、第3の出力端子P3へ、第3のメモリT26から読み出された画像データを出力する通常観察状態,又は,第2のメモリT25から読み出された画像データを出力する蛍光観察状態に、切り換えられる。但し、図5における第2のスイッチSW2は、蛍光観察状態になっている。
【0067】
なお、第1の出力端子P1,及び第3の出力端子P3へ夫々出力される画像データは、各スイッチSW1,SW2によって切り換えられるのに対し、第2の出力端子P2へは、常に、第2のメモリT25から読み出された画像データが、出力される。
【0068】
そして、システムコントローラT3は、光源ユニット20を通常観察状態に設定するとともに演算回路T28の各スイッチSW1,SW2を夫々通常観察状態に切り換えることにより、この演算回路T28に、被検体のカラー画像を示すデータをビデオプロセス回路T29へ送信させることができる。図6は、通常観察状態における処理の説明図である。
【0069】
一方、システムコントローラT3は、光源ユニット20を蛍光観察状態に設定するとともに演算回路T28の各スイッチSW1,SW2を夫々蛍光観察状態に切り換えることにより、この演算回路T28に、両係数器MW,MFから出力されたデータの差分データを、ビデオプロセス回路T29へ送信させることができる。図7は、蛍光観察状態における処理の説明図である。
【0070】
なお、システムコントローラT3は、操作スイッチ15の状態に応じて、光源ユニット20とともに各スイッチSW1,SW2を通常観察状態又は蛍光観察状態に切り換える。即ち、術者は、操作スイッチ15を切り換えることにより、光源ユニット20及び各スイッチSW1,SW2を、通常観察状態又は蛍光観察状態に切り換える。
【0071】
まず、図4乃至図6を参照して、光源ユニット20及び各スイッチSW1,SW2が、通常観察状態に設定された場合の処理について説明する。この場合には、CCD14からB画像信号,G画像信号,及びR画像信号が、順次繰り返して出力される。これらB画像信号,G画像信号,及びR画像信号は、夫々、CCDプロセス回路T21及びA/DコンバータT22により処理されることにより、B画像データ,G画像データ,及びR画像データに変換される。これらB画像データ,G画像データ,及びR画像データは、一旦、フレームメモリT23内に格納された後に、このフレームメモリT23から読み出される。
【0072】
そして、フレームメモリT23から読み出されたB画像データは、第1のメモリT24内に格納される。次に、フレームメモリT23から読み出されたG画像データは、第2のメモリT25内に格納される。次に、フレームメモリT23から読み出されたR画像データは、第3のメモリT26内に格納される。
【0073】
これらB画像データ,G画像データ,及びR画像データは、夫々、各メモリT24〜T26から所定のタイミングで読み出され、演算回路T28へ出力される。そして、各スイッチSW1,SW2が通常観察状態にあるので、各出力端子P1〜P3へは、夫々、B画像データ,G画像データ,及びR画像データが、出力される。即ち、図6に示されるように、各メモリT24〜T26から夫々読み出されたB画像データ,G画像データ,及びR画像データは、各出力端子P1,P2,及びP3へ出力される。
【0074】
ビデオプロセス回路T29は、これらB画像データ,G画像データ,及びR画像データを、D/A変換することにより、アナログのB画像信号,G画像信号,及びR画像信号を取得し、同期信号とともに、通常画像信号としてモニタ3へ送信する。すると、モニタ3には、被検体のカラー画像が動画表示される。
【0075】
次に、図4,図5及び図7を参照して、光源ユニット20及び各スイッチSW1,SW2が、蛍光観察状態に設定された場合の処理について説明する。この場合には、CCD14からF画像信号,及びW画像信号が、交互に繰り返して出力される。これらF画像信号,及びW画像信号は、夫々、CCDプロセス回路T21及びA/DコンバータT22により処理されることにより、F画像データ,及びW画像データに変換される。即ち、A/DコンバータT22からは、これらF画像データ,及びW画像データが、交互に出力される。これらF画像データ,及びW画像データは、一旦、フレームメモリT23内に格納された後に、このフレームメモリT23から読み出される。
【0076】
そして、フレームメモリT23からF画像データが読み出されている期間中に、このF画像データは、第1のメモリT24内に格納される。次に、フレームメモリT23からW画像データが読み出されている期間中に、このW画像データは、第2のメモリT25内に格納される。
【0077】
これらF画像データ,及びW画像データは、夫々、各メモリT24,T25から所定のタイミングで読み出される。そして、各スイッチSW1,SW2が蛍光観察状態にあるので、図7に示されるように、第2の出力端子P2,及び第3の出力端子P3へは、W画像データが出力される。但し、第1の出力端子P1へは、両係数器MW,MFから出力されたデータの差分データが、出力される。即ち、第2のメモリT25から読み出されてレベル調整されたW画像データと、第1のメモリT24から読み出されてレベル調整されたF画像データとの差分データが、第1の出力端子P1へ出力される。
【0078】
ビデオプロセス回路T29は、これら各出力端子P1〜P3から出力された画像データを、D/A変換し、同期信号とともに診断用画像信号としてモニタ3へ送信する。すると、モニタ3には、被検体の画像(診断用画像)が動画表示される。
【0079】
仮に、各出力端子P1〜P3へW画像データのみが出力されるならば、モニタ3には、白色光が照射された状態における被検体のモノクロ画像が、表示されることになる。しかし、実際には、上記のように第1の出力端子P1へは、W画像データからF画像データが減算された差分データが出力される。このため、モニタ3に表示された診断用画像において、被検体の自家蛍光が発せられていない部分に対応する領域は、当該部分のモノクロ画像と同等もしくは青色になっている。一方、モニタ3に表示された画像において、被検体の自家蛍光が発せられている部分に対応する領域は、その自家蛍光の強度に応じて着色された状態になっている。
【0080】
<ピーク値検出回路の詳細構成>
上記の両係数器MF,MWに用いられる係数値は、ピーク値検出回路T27により算出される。なお、第1の係数器MFに設定される係数値が蛍光係数値と称される。一方、第2の係数器MWに設定される係数値が参照係数値と称される。以下、図8を参照してピーク値検出回路T27の構成について、説明する。この図8に示されるように、ピーク値検出回路T27は、比較器D,3つのスイッチSW3,SW4,SW5,一対のレジスタEF,EW,及び,一対の正規化回路NF,NWを、備えている。なお、これら比較器D,各スイッチSW3〜SW5,両レジスタEF,EWは、ピーク値検出部に相当し、両正規化回路NF,NWは、係数値取得部に相当する。
【0081】
これらのうち、両レジスタEF,EWは、CCD14の1画素分に相当する10ビットのデータを、夫々格納可能である。スイッチSW3は、フレームメモリT23から読み出されたデータを出力する状態,又は,何も出力しない状態に、切り換えられる。このスイッチSW3は、比較器Dに接続されており、この比較器Dの状態に応じて切り換えられる。
【0082】
また、両スイッチSW4,SW5は、夫々、図示せぬ信号線によりタイミングコントローラT1と接続されている。一方のスイッチSW4は、スイッチSW3から出力されたデータを、第1のレジスタEFへ出力するF選択状態,又は,第2のレジスタEWへ出力するW選択状態に、切り換えられる。他方のスイッチSW5は、第1のレジスタEFから読み出されたデータを出力するF選択状態,又は,第2のレジスタEWから読み出されたデータを出力するW選択状態に、切り換えられる。
【0083】
そして、タイミングコントローラT1は、フレームメモリT23からF画像データが読み出されている期間中に、これら両スイッチSW4,SW5を夫々F選択状態に切り換え、フレームメモリT23からW画像データが読み出されている期間中に、これら両スイッチSW4,SW5を夫々W選択状態に切り換える。なお、図8における両スイッチSW4,SW5は、いずれもF選択状態になっている。
【0084】
比較器Dは、0又は1に設定されるフラグを、有している。そして、比較器Dは、フレームメモリT23から読み出されたデータと、スイッチSW5から出力されたデータとを比較して、そのフラグを設定する。即ち、フレームメモリT23から出力されたデータが、スイッチSW5から出力されたデータよりも大きい場合には、フラグは1に設定され、それ以外の場合には、フラグは0に設定される。
【0085】
そして、スイッチSW3は、比較器Dのフラグが1の場合には、フレームメモリT23から読み出されたデータを出力する状態に設定され、比較器Dのフラグが0の場合には、何も出力しない状態に設定される。
【0086】
このピーク値検出回路T27は、光源ユニット20及び演算回路T28の各スイッチSW1,SW2が、蛍光観察状態に設定された場合に、フレームメモリT23から出力されたF画像データ及びW画像データを、所定の処理単位である1フレームずつ繰り返し処理する。
【0087】
まず、F画像データ(1フレーム)の処理について、図9乃至図11を参照して説明する。この処理の開始時に、両スイッチSW4,SW5は、夫々、F選択状態に設定される。従って、F画像データの処理の際には、レジスタEFが利用され、レジスタEWは利用されない。なお、この処理の開始時に、レジスタEFは、ゼロクリアされる。即ち、図9に示されるように、レジスタEF内の値は0に設定される。
【0088】
そして、比較器Dは、フレームメモリT23から読み出されたF画像データのうちの最初の1画素のデータP1を取得するとともに、スイッチSW5を介して、レジスタEFから読み出された0を取得する。なお、フレームメモリT23からのP1がP1>0であるとすると、比較器Dは、そのフラグを1に設定する。すると、スイッチSW3は、フレームメモリT23からのデータを出力する状態に設定されるので、このスイッチSW3からは、P1が出力される。そして、このスイッチSW3から出力されたP1は、スイッチSW4を介してレジスタEFへ出力される。このため、レジスタEF内には、P1が格納される。
【0089】
次に、図10に示されるように、比較器Dは、フレームメモリT23から読み出されたF画像データのうちの2番目の画素のデータP2を取得するとともに、スイッチSW5を介して、レジスタEFから読み出されたP1を取得する。なお、フレームメモリT23からのP2がP2≦P1であるとすると、比較器Dは、そのフラグを0に切り換える。すると、スイッチSW3は、データを出力しない状態に設定される。このため、レジスタEFは、P1を格納した状態を保つ。
【0090】
次に、図11に示されるように、比較器Dは、フレームメモリT23から読み出されたF画像データのうちの3番目の画素のデータP3を取得するとともに、スイッチSW5を介して、レジスタEFから読み出されたP1を取得する。なお、フレームメモリT23からのP3がP3≦P1であると、比較器Dは、そのフラグを0に保つ。すると、スイッチSW3は、データを出力しない状態に設定される。このため、レジスタEFは、P1を格納した状態を保つ。
【0091】
さらに、ピーク値検出回路T27は、フレームメモリT23から読み出されたF画像データ(1フレーム)における残りの全ての画素について、同様に処理する。この全ての画素についての処理後、レジスタEF内には、1フレーム分のF画像データにおける各画素の輝度のうちの最大値(蛍光ピーク値)が、格納されている。
【0092】
そして、正規化回路NFは、このレジスタEFから蛍光ピーク値を読み出して、蛍光係数値を算出する。この蛍光係数値をyとし、レジスタEFから読み出される蛍光ピーク値をxとすると、当該蛍光係数値yは、(1)式、
y=1023/x …(1)
に基づいて、算出される。図12は、この(1)式のグラフである。なお、F画像データは、CCD14の各画素の輝度を10ビット(0〜1023)で表現している。このため、レジスタEFから読み出される値は、1023(上限値)を越えることがない。これら(1)式及び図12のグラフに示されるように、蛍光ピーク値xがx=1023のときに、蛍光係数値yは、y=1.0になる。この蛍光ピーク値xが小さくなるにつれて、蛍光係数値yは大きくなってゆく。つまり、この蛍光係数値yは、蛍光ピーク値xに対して反比例している。このため、蛍光ピーク値xと蛍光係数値yとの積は、常に、一定になる(x・y=1023)。
【0093】
そして、正規化回路NFは、算出した蛍光係数値を、係数器MFへ送信することにより、この係数器MFに、蛍光係数値を設定する。
【0094】
次に、ピーク値検出回路T27は、W画像データ(1フレーム)を処理する。この処理の開始時に、両スイッチSW4,SW5は、夫々、W選択状態に設定される。従って、W画像データの処理の際には、レジスタEWが利用され、レジスタEFは利用されない。なお、この処理の開始時に、レジスタEWは、ゼロクリアされる。
【0095】
そして、上記のF画像データの処理の場合と同様に、W画像データが1フレーム分処理された後には、レジスタEW内には、1フレーム分のW画像データにおける各画素の輝度値のうちの最大値(参照ピーク値)が、格納されている。この参照ピーク値は、正規化回路NWに読み出されて参照係数値の算出に用いられる。なお、この正規化回路NWにおける処理は、上記の正規化回路NFの場合と同様である。そして、係数器MWには、正規化回路NWにより算出された参照係数値が、設定される。
【0096】
上述のように、フレームメモリT23からF画像データ及びW画像データが順に1フレームずつ読み出されると、両係数器MF,MWには、蛍光係数値及び参照係数値が夫々設定され、メモリT24内には、F画像データが1フレーム分格納されるとともに、メモリT25内には、W画像データが1フレーム分格納される。
【0097】
そして、図5に示された演算回路T28は、メモリT25からW画像データを読み出して各出力端子P2,P3へ出力する。同時に、演算回路T28の係数器MWは、このW画像データに参照係数値を乗じてレベル調整し、係数器MFは、メモリT24から読み出されたF画像データに蛍光係数値を乗じてレベル調整する。このレベル調整により、F画像データ及びW画像データにおける各画素の輝度値の最大値は、夫々、1023に設定される。そして、出力端子P1へは、レベル調整されたW画像データからレベル調整されたF画像データが差し引かれた差分データが、出力される。
【0098】
これら各出力端子P1〜P3から出力された画像データは、ビデオプロセス回路T29によりD/A変換され、同期信号とともに診断用画像信号としてモニタ3へ送信される。そして、上記の処理が繰り返されることにより、モニタ3には、被検体の診断用画像が動画表示される。
【0099】
<実施形態の作用>
上記のように、光源ユニット20,及び演算回路T28の各スイッチSW1,SW2が夫々蛍光観察状態に設定された場合に、画像信号処理回路T2のフレームメモリT23内には、F画像データ及びW画像データが1フレームずつ順次格納されてゆく。
【0100】
そして、画像信号処理回路T2は、そのフレームメモリT23内に格納したF画像信号及びW画像信号を、1フレームずつ繰り返し読み出すとともに、各フレーム毎に、当該フレーム中のデータの増幅のゲインを調節している。このため、出力端子P1へ出力される差分データは、常に、最適にレベル調整されている。即ち、モニタ3上の診断用画像におけるB成分は、被検体の状態に関らず、常に最適に調節されている。このため、生体内の部位や被験者の個人差に関らず、常に、最適に調節された診断用画像が得られる。従って、術者は、この診断用画像を観察することにより、正確な診断を行うことができる。
【0101】
【発明の効果】
以上のように構成された本発明の電子内視鏡装置は、蛍光画像信号を、その強度が常に最適になるように増幅している。従って、多様な被検体に対して当該被検体の状態を正確に示す蛍光画像信号が取得される。さらに、この蛍光画像信号に基づいて診断用画像が得られると、術者は、この診断用画像を観察することにより、常に、被検体の状態を正確に知ることができる。
【図面の簡単な説明】
【図1】 本発明の一実施形態の電子内視鏡装置を示す構成図
【図2】 本発明の一実施形態のホイール及びロータリーシャッタを示す図
【図3】 本発明の一実施形態の照明及び画像取得のタイミングチャート
【図4】 本発明の一実施形態の画像信号処理回路を示すブロック図
【図5】 本発明の一実施形態の演算回路を示すブロック図
【図6】 通常観察状態における処理の説明図
【図7】 蛍光観察状態における処理の説明図
【図8】 本発明の一実施形態のピーク値検出回路を示すブロック図
【図9】 ピーク値検出処理の説明図
【図10】 ピーク値検出処理の説明図
【図11】 ピーク値検出処理の説明図
【図12】 正規化回路における係数値決定用のグラフ
【符号の説明】
1 電子内視鏡
11 配光レンズ
12 対物レンズ
13 ライトガイド
14 CCDエリアセンサ
2 外部装置(光源・プロセッサ装置)
20 光源ユニット
24 ホイール
24S 移動機構
24M モータ
T プロセッサ
T1 タイミングコントローラ
T2 画像信号処理回路
T27 ピーク値検出回路
NF,NW 正規化回路
T28 演算回路
MF,MW 係数器
T3 システムコントローラ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an electronic endoscope apparatus capable of observing fluorescence by autofluorescence emitted from a living body.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, an electronic endoscope apparatus for observation of a living body has been used by imaging fluorescence (autofluorescence) emitted from the living body when the living body as an object is irradiated with excitation light such as ultraviolet light. Yes. It is known that the intensity of autofluorescence emitted from a biological tissue in which a lesion has occurred is smaller than the intensity of autofluorescence emitted from a healthy biological tissue. Therefore, the surgeon can recognize that there is a high possibility that a lesion has occurred in a region having a low fluorescence intensity by observing the fluorescence image of the subject by the autofluorescence.
[0003]
This electronic endoscope apparatus images a subject illuminated by illumination light, a light source unit that alternately emits white light and excitation light, and an illumination optical system that guides the emitted white light and excitation light. A CCD is provided.
[0004]
Then, while the white light emitted from the illumination optical system illuminates the subject, the CCD acquires an image of the subject and outputs it as a reference image signal. On the other hand, when the excitation light emitted from the illumination optical system irradiates the subject, the subject emits autofluorescence. Then, the CCD captures the subject image by the autofluorescence and outputs it as a fluorescence image signal.
[0005]
A diagnostic image signal of the subject is generated based on the reference image signal and the fluorescence image signal. That is, the diagnostic image signal is generated by subtracting the fluorescence image signal from the portion corresponding to the specific color component in the reference image signal. This diagnostic image signal is displayed on the monitor as a diagnostic image.
[0006]
This diagnostic image is displayed in the same manner as a monochrome image for a portion of the subject where no autofluorescence is emitted. However, this diagnostic image is displayed in a state in which the portion of the subject where the autofluorescence is emitted is colored according to the intensity of the autofluorescence. Therefore, the operator can make a diagnosis by observing the diagnostic image, grasping the shape of the subject, and recognizing the intensity of autofluorescence in the subject.
[0007]
[Problems to be solved by the invention]
Note that autofluorescence emitted from the subject is extremely weak. For this reason, in order to generate a diagnostic image signal based on the reference image signal and the fluorescence image signal, the fluorescence image signal must be greatly amplified.
[0008]
Further, the intensity of this autofluorescence varies depending on the part in the living body. Furthermore, there are individual differences in the intensity of this autofluorescence. In other words, the degree of amplification with respect to the fluorescence image signal is desirably set according to the subject. However, in practice, it has been difficult to adjust the degree of amplification according to the subject.
[0009]
Accordingly, an object of the present invention is to provide an electronic endoscope apparatus that can optimally adjust the degree of amplification of a fluorescent image signal in correspondence with various subjects.
[0010]
[Means for Solving the Problems]
The electronic endoscope apparatus according to the present invention employs the following configuration in order to solve the above problems.
[0011]
That is, the electronic endoscope apparatus emits excitation light that excites the illumination optical system that illuminates the subject, visible light, and fluorescence from the living tissue itself, and alternately switches between the visible light and the excitation light. A light source unit that repeatedly leads to the illumination optical system, an objective optical system that converges components other than excitation light in the light from the subject surface, and forms an image of the subject surface, and the objective optical system Corresponding to a period in which visible light is guided to the illumination optical system among the image sensor that captures an image of the surface of the subject formed by the image sensor and converts the image into an image signal, and the image signal acquired by the image sensor A reference image signal is generated based on the portion, and a fluorescence image signal is generated based on a portion corresponding to a period in which excitation light is guided to the illumination optical system. , Each pixel all In a predetermined processing unit in the fluorescence image signal Strong A processor that amplifies the fluorescence image signal for each processing unit within a range in which the intensity does not exceed the upper limit value when the maximum value is smaller than a predetermined upper limit value. .
[0012]
If comprised in this way, a fluorescence image signal will be adjusted so that it may become always optimal intensity | strength. That is, when the intensity of the fluorescent image signal is relatively small, the degree of amplification is adjusted to be large, and when the intensity of the fluorescent image signal is relatively large, the degree of amplification is adjusted to be small. Since this adjustment is made dynamically, a fluorescent image signal having an optimum intensity is always obtained. Similarly, the intensity of the reference image signal may be adjusted dynamically. A diagnostic image signal may be obtained by subtracting the fluorescence image signal from the reference image signal.
[0013]
Further, the processor acquires a predetermined processing unit portion corresponding to each other in the reference image signal and the fluorescence image signal, and a reference peak which is a maximum value of a signal in the processing unit portion of the reference image signal. A value is acquired, and a peak value detector that acquires a fluorescence peak value that is the maximum value of the signal in the portion of the processing unit of the fluorescence image signal, and a reference coefficient value is acquired based on the reference peak value And a coefficient value acquisition unit that acquires a fluorescence coefficient value based on the fluorescence peak value, and a reference unit corresponding to the intensity of the signal in the processing unit portion of the reference image signal. Amplifies the intensity by multiplying by a numerical value, and the signal in the processing unit portion of the fluorescence image signal is multiplied by the intensity of the processing unit. And a signal adjusting unit for amplifying so that the strength obtained by multiplying the fluorescent coefficient values corresponding to, may be provided.
[0014]
If comprised in this way, a peak value detection part will process a reference image signal and a fluorescence image signal for every predetermined processing unit (for example, 1 frame), and will acquire a reference peak value and a fluorescence peak value. Then, the coefficient value acquisition unit acquires the reference coefficient value and the fluorescence coefficient value by substituting the reference peak value and the fluorescence peak value into a predetermined conversion formula, respectively. When the peak value is x and the coefficient value is y, the conversion formula y = f (x) is a decreasing function of x. This f (x) may be an analytically convex function. For example, y may be inversely proportional to x.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an electronic endoscope apparatus according to an embodiment of the present invention will be described with reference to the drawings.
[0016]
<Overall configuration of electronic endoscope apparatus>
FIG. 1 is a configuration diagram of the electronic endoscope apparatus. As shown in FIG. 1, the electronic endoscope apparatus includes an electronic endoscope 1 and an external device (light source / processor device) 2.
[0017]
First, an electronic endoscope (hereinafter abbreviated as an endoscope) 1 will be described. Although the shape of the endoscope 1 is not shown in FIG. 1, a flexible tubular insertion portion to be inserted into a living body, and an operation portion integrally connected to the proximal end side of the insertion portion , And a light guide flexible tube for connecting the operation unit and the
[0018]
The distal end of the insertion portion of the endoscope 1 is sealed by a distal end portion (not shown) made of a hard member. Further, a bending mechanism (not shown) is incorporated in a predetermined region near the distal end of the insertion portion, and the region can be bent. The operation unit is provided with a dial for bending the bending mechanism and various operation switches.
[0019]
At least three openings are opened at the distal end portion of the endoscope 1, and two of the three openings are sealed by the
[0020]
Furthermore, the endoscope 1 has a
[0021]
The endoscope 1 includes a CCD (charge-coupled device)
[0022]
In addition, the code |
[0023]
Next, the
[0024]
The
[0025]
A
[0026]
An
[0027]
In the example shown in FIG. 2A, these
[0028]
As shown in FIG. 1, the
[0029]
Note that the
[0030]
Further, the
[0031]
As shown in FIG. 1, the
[0032]
Note that, at a predetermined position between the
[0033]
A
[0034]
As shown in FIG. 1, the
[0035]
The
[0036]
In addition, the timing controller T1, the image signal processing circuit T2, and the system controller T3 in the processor T are connected to each other. The timing controller T1 of the processor T is connected to each of the
[0037]
The system controller T3 of the processor T is connected to the moving
[0038]
On the other hand, as shown in FIG. 1, the system controller T3 moves the
[0039]
The system controller T3 switches the
[0040]
When the
[0041]
The white light transmitted through the
[0042]
When the B light, G light, and R light emitted from the
[0043]
FIG. 3 is a timing chart of illumination and image acquisition according to this embodiment. 3A shows a drive signal to the
[0044]
As shown in FIGS. 3A and 3B, the “B irradiation” period in which the B light is emitted from the
[0045]
The “G accumulation” period immediately after the “B transfer” period corresponds to the “G irradiation” period in which the G light is emitted from the
[0046]
The “R accumulation” period immediately after the “G transfer” period corresponds to the “R irradiation” period in which the R light is emitted from the
[0047]
The image signal processing circuit T2 generates a color image signal indicating a color image of the subject based on the B image signal, the G image signal, and the R image signal, as will be described later. The image signal processing circuit T2 is connected to the monitor 3. Then, the image signal processing circuit T2 displays a color image of the subject on the monitor 3 based on the generated color image signal.
[0048]
Next, the case where the
[0049]
Note that the timing controller T1 is configured so that the
[0050]
For this reason, white light and excitation light are alternately and repeatedly incident on the
[0051]
During the period in which the subject is illuminated with white light, the light reflected on the subject surface is converged by the
[0052]
On the other hand, during the period in which the subject is irradiated with excitation light, the subject emits autofluorescence. For this reason, autofluorescence emitted from the subject and excitation light reflected on the subject surface are incident on the
[0053]
The
[0054]
As shown in FIGS. 3C and 3D, the “W irradiation” period in which W light is emitted from the
[0055]
On the other hand, the “UV irradiation” period in which the UV light is emitted from the
[0056]
<Configuration of image signal processing circuit>
The image signal processing circuit T2 is a circuit that acquires and processes the W image signal and the F image signal, and causes the monitor 3 to display an image. FIG. 4 is a block diagram showing the image signal processing circuit T2. As shown in FIG. 4, the image signal processing circuit T2 includes a CCD process circuit T21, an A / D converter T22, a frame memory T23, three memories T24 to T26, and a peak value detection circuit connected to the timing controller T1. T27, an arithmetic circuit T28, and a video process circuit T29 are provided.
[0057]
The CCD process circuit T21 is connected to the
[0058]
The frame memory T23 has a storage area capable of storing 10-bit data for each pixel of the
[0059]
Each of the three memories T24 to T26 has a storage area capable of storing 10-bit data for each pixel of the
[0060]
FIG. 5 is a block diagram of the arithmetic circuit T28. The arithmetic circuit T28 includes a pair of coefficient units MF and MW, a subtracter, and a pair of switches SW1 and SW2. The first coefficient multiplier MF is connected to the first memory T24. On the other hand, the second coefficient multiplier MW is connected to the second memory T25. Further, both the coefficient units MF and MW are respectively connected to the peak value detection circuit T27.
[0061]
Both coefficient units MF and MW function as a signal adjustment unit that multiplies the data read from the memories T24 and T25 by a coefficient value for level adjustment. The coefficient values set in both coefficient units MF and MW are calculated by the peak value detection circuit T27. The peak value detection circuit T27 will be described later with reference to FIGS.
[0062]
The first switch SW1 and the second switch SW2 shown in FIG. 5 are each connected to the system controller T3 by a signal line (not shown). Then, the system controller T3 switches both the switches SW1 and SW2 to output the image data read from the memories T24, T25 and T26 to the three output terminals P1 to P3.
[0063]
As shown in FIG. 4, the arithmetic circuit T28 is connected to the video process circuit T29. Further, the video process circuit T29 is connected to the monitor 3. The data output from the output terminals P1, P2, P3 of the arithmetic circuit T28 shown in FIG. 5 is input to the video process circuit T29 as the B component, G component, and R component of the color image, respectively.
[0064]
The video process circuit T29 acquires analog B image signals, G image signals, and R image signals by performing D / A conversion on the data corresponding to the B component, the G component, and the R component, respectively. Further, the video process circuit T29 outputs a synchronization signal based on a predetermined specification for moving image display to the monitor 3 together with the B image signal, the G image signal, and the R image signal. The monitor 3 displays a color image as a moving image on the screen based on the B image signal, the G image signal, the R image signal, and the synchronization signal.
[0065]
The first switch SW1 in the arithmetic circuit T28 shown in FIG. 5 is for selecting an output to the first output terminal P1. That is, the first switch SW1 is in a normal observation state in which the image data read from the first memory T24 is output to the first output terminal P1, or the data output from the second coefficient unit MW. The state is switched to the fluorescence observation state in which the difference data from the data output from the first coefficient unit MF is output. However, the first switch SW1 in FIG. 5 is in the fluorescence observation state.
[0066]
The second switch SW2 in the arithmetic circuit T28 is for selecting an output to the third output terminal P3. That is, the second switch SW2 outputs the image data read from the third memory T26 to the third output terminal P3, or the image data read from the second memory T25. Is switched to the fluorescence observation state. However, the second switch SW2 in FIG. 5 is in the fluorescence observation state.
[0067]
The image data output to the first output terminal P1 and the third output terminal P3 are switched by the switches SW1 and SW2, respectively, whereas the second output terminal P2 is always the second data. The image data read from the memory T25 is output.
[0068]
Then, the system controller T3 sets the
[0069]
On the other hand, the system controller T3 sets the
[0070]
The system controller T3 switches the switches SW1 and SW2 together with the
[0071]
First, the processing when the
[0072]
The B image data read from the frame memory T23 is stored in the first memory T24. Next, the G image data read from the frame memory T23 is stored in the second memory T25. Next, the R image data read from the frame memory T23 is stored in the third memory T26.
[0073]
These B image data, G image data, and R image data are respectively read from the memories T24 to T26 at a predetermined timing and output to the arithmetic circuit T28. Since the switches SW1 and SW2 are in the normal observation state, B image data, G image data, and R image data are output to the output terminals P1 to P3, respectively. That is, as shown in FIG. 6, the B image data, G image data, and R image data read from the memories T24 to T26 are output to the output terminals P1, P2, and P3.
[0074]
The video process circuit T29 obtains analog B image signals, G image signals, and R image signals by performing D / A conversion on these B image data, G image data, and R image data, together with a synchronization signal. Then, it is transmitted to the monitor 3 as a normal image signal. Then, a moving image of the color image of the subject is displayed on the monitor 3.
[0075]
Next, processing when the
[0076]
The F image data is stored in the first memory T24 while the F image data is being read from the frame memory T23. Next, during the period when the W image data is read from the frame memory T23, the W image data is stored in the second memory T25.
[0077]
These F image data and W image data are read out from the memories T24 and T25, respectively, at a predetermined timing. Since the switches SW1 and SW2 are in the fluorescence observation state, as shown in FIG. 7, W image data is output to the second output terminal P2 and the third output terminal P3. However, differential data of the data output from both coefficient multipliers MW and MF is output to the first output terminal P1. That is, the difference data between the W image data read from the second memory T25 and level-adjusted and the F image data read from the first memory T24 and level-adjusted is the first output terminal P1. Is output.
[0078]
The video process circuit T29 performs D / A conversion on the image data output from each of the output terminals P1 to P3, and transmits it to the monitor 3 as a diagnostic image signal together with a synchronization signal. Then, an image of the subject (diagnosis image) is displayed on the monitor 3 as a moving image.
[0079]
If only the W image data is output to the output terminals P1 to P3, the monitor 3 displays a monochrome image of the subject in a state where white light is irradiated. However, actually, the difference data obtained by subtracting the F image data from the W image data is output to the first output terminal P1 as described above. For this reason, in the diagnostic image displayed on the monitor 3, the region corresponding to the portion of the subject where no autofluorescence is emitted is equivalent to or blue in the monochrome image of the portion. On the other hand, in the image displayed on the monitor 3, the region corresponding to the portion of the subject where the autofluorescence is emitted is colored according to the intensity of the autofluorescence.
[0080]
<Detailed configuration of peak value detection circuit>
The coefficient values used for both coefficient units MF and MW are calculated by the peak value detection circuit T27. A coefficient value set in the first coefficient unit MF is referred to as a fluorescence coefficient value. On the other hand, the coefficient value set in the second coefficient unit MW is referred to as a reference coefficient value. Hereinafter, the configuration of the peak value detection circuit T27 will be described with reference to FIG. As shown in FIG. 8, the peak value detection circuit T27 includes a comparator D, three switches SW3, SW4, SW5, a pair of registers EF, EW, and a pair of normalization circuits NF, NW. Yes. The comparator D, the switches SW3 to SW5, and the two registers EF and EW correspond to a peak value detection unit, and the two normalization circuits NF and NW correspond to a coefficient value acquisition unit.
[0081]
Of these, the registers EF and EW can each store 10-bit data corresponding to one pixel of the
[0082]
Both switches SW4 and SW5 are connected to the timing controller T1 by signal lines (not shown). One switch SW4 is switched to an F selection state in which the data output from the switch SW3 is output to the first register EF or a W selection state in which the data is output to the second register EW. The other switch SW5 is switched to the F selection state in which the data read from the first register EF is output or the W selection state in which the data read from the second register EW is output.
[0083]
Then, the timing controller T1 switches both the switches SW4 and SW5 to the F selection state during the period when the F image data is read from the frame memory T23, and the W image data is read from the frame memory T23. During this period, both the switches SW4 and SW5 are switched to the W selection state. Note that both switches SW4 and SW5 in FIG. 8 are in the F selection state.
[0084]
The comparator D has a flag set to 0 or 1. The comparator D compares the data read from the frame memory T23 with the data output from the switch SW5, and sets the flag. That is, if the data output from the frame memory T23 is larger than the data output from the switch SW5, the flag is set to 1, otherwise the flag is set to 0.
[0085]
The switch SW3 is set to output data read from the frame memory T23 when the flag of the comparator D is 1, and outputs nothing when the flag of the comparator D is 0. It is set to the state that does not.
[0086]
The peak value detection circuit T27 receives F image data and W image data output from the frame memory T23 when the switches SW1 and SW2 of the
[0087]
First, processing of F image data (one frame) will be described with reference to FIGS. At the start of this process, both switches SW4 and SW5 are set to the F selection state, respectively. Accordingly, when processing the F image data, the register EF is used and the register EW is not used. At the start of this process, the register EF is cleared to zero. That is, as shown in FIG. 9, the value in the register EF is set to zero.
[0088]
The comparator D acquires the first pixel data P1 of the F image data read from the frame memory T23, and acquires 0 read from the register EF via the switch SW5. . If P1 from the frame memory T23 is P1> 0, the comparator D sets its flag to 1. Then, the switch SW3 is set to output data from the frame memory T23, so that P1 is output from the switch SW3. Then, P1 output from the switch SW3 is output to the register EF via the switch SW4. Therefore, P1 is stored in the register EF.
[0089]
Next, as shown in FIG. 10, the comparator D obtains the data P2 of the second pixel of the F image data read from the frame memory T23, and registers the register EF via the switch SW5. P1 read from is acquired. If P2 from the frame memory T23 is P2 ≦ P1, the comparator D switches its flag to 0. Then, the switch SW3 is set to a state where no data is output. Therefore, the register EF keeps the state where P1 is stored.
[0090]
Next, as shown in FIG. 11, the comparator D acquires the data P3 of the third pixel of the F image data read from the frame memory T23, and also registers the register EF via the switch SW5. P1 read from is acquired. If P3 from the frame memory T23 is P3 ≦ P1, the comparator D keeps its flag at 0. Then, the switch SW3 is set to a state where no data is output. Therefore, the register EF keeps the state where P1 is stored.
[0091]
Further, the peak value detection circuit T27 performs the same processing on all remaining pixels in the F image data (one frame) read from the frame memory T23. After processing for all the pixels, the register EF stores the maximum value (fluorescence peak value) of the luminance of each pixel in the F image data for one frame.
[0092]
Then, the normalization circuit NF reads the fluorescence peak value from the register EF and calculates the fluorescence coefficient value. When the fluorescence coefficient value is y and the fluorescence peak value read from the register EF is x, the fluorescence coefficient value y is expressed by the following equation (1):
y = 1023 / x (1)
Is calculated based on FIG. 12 is a graph of the equation (1). The F image data expresses the luminance of each pixel of the
[0093]
The normalization circuit NF sets the fluorescence coefficient value in the coefficient unit MF by transmitting the calculated fluorescence coefficient value to the coefficient unit MF.
[0094]
Next, the peak value detection circuit T27 processes the W image data (one frame). At the start of this process, both switches SW4 and SW5 are set to the W selection state, respectively. Therefore, when processing W image data, the register EW is used and the register EF is not used. At the start of this process, the register EW is cleared to zero.
[0095]
As in the case of the F image data processing, after the W image data is processed for one frame, the register EW stores the luminance value of each pixel in the W image data for one frame. The maximum value (reference peak value) is stored. This reference peak value is read by the normalization circuit NW and used for calculating the reference coefficient value. The processing in the normalization circuit NW is the same as that in the normalization circuit NF. The coefficient coefficient MW is set with the reference coefficient value calculated by the normalization circuit NW.
[0096]
As described above, when the F image data and the W image data are sequentially read out from the frame memory T23 one frame at a time, the fluorescence coefficient value and the reference coefficient value are set in both coefficient units MF and MW, respectively, and are stored in the memory T24. The F image data is stored for one frame, and the W image data is stored for one frame in the memory T25.
[0097]
Then, the arithmetic circuit T28 shown in FIG. 5 reads the W image data from the memory T25 and outputs it to the output terminals P2 and P3. At the same time, the coefficient unit MW of the arithmetic circuit T28 multiplies the W image data by the reference coefficient value to adjust the level, and the coefficient unit MF multiplies the F image data read from the memory T24 by the fluorescence coefficient value to adjust the level. To do. By this level adjustment, the maximum value of the luminance value of each pixel in the F image data and the W image data is set to 1023, respectively. Then, differential data obtained by subtracting the level-adjusted F image data from the level-adjusted W image data is output to the output terminal P1.
[0098]
The image data output from each of the output terminals P1 to P3 is D / A converted by the video process circuit T29 and transmitted to the monitor 3 as a diagnostic image signal together with the synchronization signal. Then, by repeating the above process, a diagnostic image of the subject is displayed as a moving image on the monitor 3.
[0099]
<Operation of Embodiment>
As described above, when the switches SW1 and SW2 of the
[0100]
Then, the image signal processing circuit T2 repeatedly reads out the F image signal and the W image signal stored in the frame memory T23 frame by frame, and adjusts the gain of amplification of data in the frame for each frame. ing. For this reason, the differential data output to the output terminal P1 is always optimally adjusted in level. That is, the B component in the diagnostic image on the monitor 3 is always optimally adjusted regardless of the state of the subject. For this reason, an optimally adjusted diagnostic image is always obtained regardless of the in-vivo region and individual differences among subjects. Therefore, the surgeon can make an accurate diagnosis by observing the diagnostic image.
[0101]
【The invention's effect】
The electronic endoscope apparatus of the present invention configured as described above amplifies the fluorescence image signal so that its intensity is always optimum. Accordingly, fluorescent image signals that accurately indicate the state of the subject are acquired for various subjects. Furthermore, when a diagnostic image is obtained based on the fluorescent image signal, the operator can always know the state of the subject accurately by observing the diagnostic image.
[Brief description of the drawings]
FIG. 1 is a configuration diagram showing an electronic endoscope apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram showing a wheel and a rotary shutter according to an embodiment of the present invention.
FIG. 3 is a timing chart of illumination and image acquisition according to an embodiment of the present invention.
FIG. 4 is a block diagram showing an image signal processing circuit according to an embodiment of the present invention.
FIG. 5 is a block diagram showing an arithmetic circuit according to an embodiment of the present invention.
FIG. 6 is an explanatory diagram of processing in a normal observation state
FIG. 7 is an explanatory diagram of processing in a fluorescence observation state.
FIG. 8 is a block diagram showing a peak value detection circuit according to an embodiment of the present invention.
FIG. 9 is an explanatory diagram of peak value detection processing.
FIG. 10 is an explanatory diagram of peak value detection processing.
FIG. 11 is an explanatory diagram of peak value detection processing.
FIG. 12 is a graph for determining coefficient values in a normalization circuit.
[Explanation of symbols]
1 Electronic endoscope
11 Light distribution lens
12 Objective lens
13 Light guide
14 CCD area sensor
2 External device (light source / processor device)
20 Light source unit
24 wheel
24S moving mechanism
24M motor
T processor
T1 timing controller
T2 Image signal processing circuit
T27 Peak value detection circuit
NF, NW normalization circuit
T28 arithmetic circuit
MF, MW coefficient unit
T3 system controller
Claims (7)
可視光,及び,生体組織自体からの蛍光を励起する励起光を発し、これら可視光と励起光とを交互に切り換えて繰り返し前記照明光学系へ導く光源ユニットと、
前記被検体表面からの光のうちの励起光以外の成分を収束させて、この被検体表面の像を形成する対物光学系と、
前記対物光学系によって形成された被検体表面の像を撮像して画像信号に変換する撮像素子と、
前記撮像素子により取得された画像信号のうち、前記照明光学系に可視光が導かれている期間に対応する部分に基づいて参照画像信号を生成し、前記照明光学系に励起光が導かれている期間に対応する部分に基づいて蛍光画像信号を生成し、各画素すべての蛍光画像信号における所定の処理単位中の強度の最大値が所定の上限値よりも小さい場合には、この蛍光画像信号を、その強度が前記上限値を超えない範囲内で前記処理単位毎に増幅するプロセッサと
を備えたことを特徴とする電子内視鏡装置。An illumination optical system for illuminating the subject;
A light source unit that emits visible light and excitation light that excites fluorescence from the living tissue itself, and alternately switches the visible light and the excitation light to the illumination optical system repeatedly;
An objective optical system that converges components other than excitation light in the light from the subject surface to form an image of the subject surface;
An image sensor that captures an image of the surface of the subject formed by the objective optical system and converts the image into an image signal;
A reference image signal is generated based on a portion corresponding to a period in which visible light is guided to the illumination optical system among image signals acquired by the imaging device, and excitation light is guided to the illumination optical system. A fluorescent image signal is generated based on a portion corresponding to a certain period, and when the maximum value of intensity in a predetermined processing unit in the fluorescent image signal of all the pixels is smaller than a predetermined upper limit value, the fluorescent image signal And a processor that amplifies the signal for each processing unit within a range in which the intensity does not exceed the upper limit value.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000343591A JP4648535B2 (en) | 2000-11-10 | 2000-11-10 | Electronic endoscope device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000343591A JP4648535B2 (en) | 2000-11-10 | 2000-11-10 | Electronic endoscope device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002143080A JP2002143080A (en) | 2002-05-21 |
| JP4648535B2 true JP4648535B2 (en) | 2011-03-09 |
Family
ID=18817937
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000343591A Expired - Lifetime JP4648535B2 (en) | 2000-11-10 | 2000-11-10 | Electronic endoscope device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4648535B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20240422428A1 (en) * | 2023-06-15 | 2024-12-19 | Sony Olympus Medical Solutions Inc. | Medical image processing device and medical image processing system |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4394395B2 (en) * | 2003-08-19 | 2010-01-06 | Hoya株式会社 | Endoscope system |
| JP2005319116A (en) * | 2004-05-10 | 2005-11-17 | Pentax Corp | Fluorescence observation endoscope device |
| US7596253B2 (en) | 2005-10-31 | 2009-09-29 | Carestream Health, Inc. | Method and apparatus for detection of caries |
| US7702139B2 (en) * | 2006-10-13 | 2010-04-20 | Carestream Health, Inc. | Apparatus for caries detection |
| JP5145119B2 (en) * | 2008-05-26 | 2013-02-13 | Hoya株式会社 | Endoscope light source device |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002102147A (en) * | 2000-09-29 | 2002-04-09 | Fuji Photo Film Co Ltd | Fluorescent image acquisition device |
-
2000
- 2000-11-10 JP JP2000343591A patent/JP4648535B2/en not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20240422428A1 (en) * | 2023-06-15 | 2024-12-19 | Sony Olympus Medical Solutions Inc. | Medical image processing device and medical image processing system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002143080A (en) | 2002-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6663561B2 (en) | Video endoscope system | |
| US8643710B2 (en) | Image pickup apparatus | |
| JP5485190B2 (en) | Endoscope device | |
| US20170020377A1 (en) | Fluorescence observation endoscope system | |
| CN101420901B (en) | Biological observation system | |
| JPH0785135B2 (en) | Endoscope device | |
| JP5669997B1 (en) | Imaging device | |
| US20140104403A1 (en) | Imaging system | |
| JP2002085342A (en) | Endoscope instrument | |
| JP3665554B2 (en) | Electronic endoscope device | |
| JP3884265B2 (en) | Endoscope device | |
| JP4648535B2 (en) | Electronic endoscope device | |
| JP5747362B2 (en) | Endoscope device | |
| JP3809058B2 (en) | Electronic endoscope device | |
| JP3776561B2 (en) | 3D measuring endoscope device | |
| JP6137892B2 (en) | Imaging system | |
| JP4520014B2 (en) | Electronic endoscope device | |
| JP3771790B2 (en) | Electronic endoscope device | |
| JP4679013B2 (en) | Endoscope image processing device | |
| JP2012085917A (en) | Electronic endoscope system, processor device of the same, and method of supersensitizing fluoroscopic image | |
| JPH01136629A (en) | Endoscopic apparatus for fluorescent observation | |
| JP4526322B2 (en) | Endoscope device | |
| CN109310272B (en) | Processing device, setting method, and storage medium | |
| JP4531347B2 (en) | Electronic endoscope device | |
| JP4520016B2 (en) | Electronic endoscope device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071016 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080428 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100817 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101015 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20101015 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20101105 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20101105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101124 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101210 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131217 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4648535 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |