Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4043559B2 - Automatic dimming device for electronic endoscope system - Google Patents
[go: Go Back, main page]

JP4043559B2 - Automatic dimming device for electronic endoscope system - Google Patents

Automatic dimming device for electronic endoscope system Download PDF

Info

Publication number
JP4043559B2
JP4043559B2 JP25416597A JP25416597A JP4043559B2 JP 4043559 B2 JP4043559 B2 JP 4043559B2 JP 25416597 A JP25416597 A JP 25416597A JP 25416597 A JP25416597 A JP 25416597A JP 4043559 B2 JP4043559 B2 JP 4043559B2
Authority
JP
Japan
Prior art keywords
luminance signal
signal value
luminance
value
step motor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP25416597A
Other languages
Japanese (ja)
Other versions
JPH1176157A (en
Inventor
正 高橋
Original Assignee
ペンタックス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ペンタックス株式会社 filed Critical ペンタックス株式会社
Priority to JP25416597A priority Critical patent/JP4043559B2/en
Publication of JPH1176157A publication Critical patent/JPH1176157A/en
Application granted granted Critical
Publication of JP4043559B2 publication Critical patent/JP4043559B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、光源ランプと内視鏡のライトガイド入射端面との間において照明光路を任意量遮ることができる可動絞りを、ステップモータによって駆動するようにした内視鏡用光源装置の絞り制御装置に関する。
【0002】
【従来の技術】
従来より、内視鏡のライトガイドに入射させる照明光の光量を自動調整するために、光源ランプとライトガイド入射端面との間に設けた可動絞りをステップモータによって駆動するようにしたものが知られている。
【0003】
そのような内視鏡用光源装置の絞り制御装置においては、マイクロコンピュータによる制御処理によって、内視鏡観察画面の明るさを示す輝度信号を短いサイクルで繰り返し検知し、輝度検出毎に、その輝度信号値と目標となる輝度を表す参照値との差に基づいて駆動パルスをステップモータに与えて可動絞りを駆動し、輝度信号値を目標値に近づけるようにしている。
【0004】
特開平8−50250号には、そのような内視鏡用光源装置の絞り制御装置において、一回の輝度信号検出毎にステップモータに与えられる駆動パルス数を、検出された輝度と目標値との差に応じて変更することにより、輝度が速やかに目標値に収束する構成が開示されている。
【0005】
【発明が解決しようとする課題】
上記のような絞り制御装置においては、検出輝度値と目標値との差のみに基づいて絞り制御が行われるため、画像がハレーション状態であるにもかかわらず目標値の設定が高いために絞りが速やかに絞られず、応答が悪いと感じられる場合があった。
【0006】
そこで本発明は、ハレーションが発生している場合には、より速く絞りを駆動して、利用者に応答遅れを感じさせないような内視鏡用光源装置の絞り制御装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
上記の目的を達成するため、本発明の内視鏡用光源装置の絞り制御装置は、光源ランプと内視鏡のライトガイド入射端面との間において照明光路を任意量遮ることができる可動絞りをステップモータによって駆動する電子内視鏡システムの自動調光装置であって、内視鏡の観察画面の明るさを繰り返し検出し輝度信号値として出力する輝度検出手段と、前記輝度信号値の出力時に、前記観察画面の明るさを参照値に近づけるための駆動パルスを前記ステップモータに与える制御手段と、を有し、前記制御手段は、前記輝度検出手段により出力された輝度信号値と参照値との差を算出し、該算出された差と該出力された輝度信号値の大きさに基づいて、それらに対応する駆動パルス数を前記テーブルから取得して前記ステップモータに出力し、該輝度信号値が第一の閾値以下又は第二の閾値以上のときにはその状態が速やかに解消されるよう、該輝度信号値が該第一の閾値よりも高くかつ該第二の閾値よりも低いときよりも多数の駆動パルスを出力することを特徴としている。
【0008】
この構成により、単に輝度信号と参照値との差だけでなく、輝度信号値自体にも基づいて駆動信号を設定するため、極端に輝度信号値が大きい場合(あるいは小さい場合)に速やかにその状態を解消するような駆動制御を行うことができる。
【0009】
なお、前記輝度検出手段は所定のサイクルで前記輝度を検出し、前記制御手段は前記輝度信号値の出力毎に、前記駆動信号を前記モータに与える構成とすることができる。この様な構成により、定期的に輝度の検出が行われるため、輝度の変化に対して応答を速くすることができる。
【0010】
なお、前記モータとしてステップモータを用いることができる。この場合、前記制御手段は前記駆動信号として駆動パルスを出力し、前記輝度信号値の大きさと、前記輝度信号値と前記参照値との差とに応じて前記駆動パルスのパルス数を変更する構成とすることができる。
【0011】
また、例えば前記第一の閾値以下の輝度信号値は、前記観察画面が暗い又はほぼ真っ暗な低輝度状態に相当する値であり、前記第二の閾値以上の輝度信号値は、前記観察画面がハレーション又は白い高輝度状態に相当する値である。この場合、前記制御手段は、前記テーブルを読み込み、前記輝度検出手段が出力した輝度信号値が低又は高輝度状態に相当する値であるとき、該低又は高輝度状態が速やかに解消されるよう、当該低又は高輝度状態でない通常状態のときよりも多数の駆動パルスを出力する。
【0012】
前記制御手段は、さらに前記輝度信号値と前記参照値のいずれが大きいかに応じて前記駆動パルス数を設定することができる。すなわち、絞りを開く場合と絞りを絞り込む場合とで異なる制御を行うことができ、ハンチングの防止に効果がある。
【0013】
なお、前記制御手段は、前記輝度信号値と前記参照値との差が所定の許容値より小さい場合には前記ステップモータを駆動しない。
【0014】
前記制御手段は、前記輝度信号値の大きさ、前記輝度信号値と前記参照値との差、および前記駆動パルス数の関係を規定するテーブルを格納する記憶手段を有する構成とすることができる。
【0015】
また、別の観点からは、本発明の電子内視鏡システムの自動調光装置は、光源ランプと内視鏡のライトガイド入射端面との間において照明光路を任意量遮ることができる可動絞りをモータによって駆動する電子内視鏡システムの自動調光装置であって、内視鏡の観察画面の明るさを繰り返し検出し輝度信号値として出力する輝度検出手段と、前記輝度信号値の出力時に、前記観察画面の明るさを参照値に近づけるための駆動信号を前記モータに与える制御手段と、を有し、前記制御手段は、前記可動絞りを絞り込むか、開くかにより異なる駆動信号を前記モータに与えることを特徴としている。すなわち、絞りを開く場合と絞りを絞り込む場合とで異なる制御を行うことができ、ハンチングの防止に効果がある。
【0016】
なお、前記モータとしてステップモータを用いることができる。この場合、前記制御手段は前記駆動信号として駆動パルスを出力し、前記輝度信号値の大きさと、前記輝度信号値と前記参照値との差とに応じて前記駆動パルスのパルス数を変更する構成とすることができる。
【0017】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。図1は本発明の実施の形態である電子内視鏡システム100のシステム構成を示すブロック図である。電子内視鏡システム100は、内視鏡1と光源装置兼ビデオプロセッサ20を有している。
【0018】
電子式内視鏡1の挿入部の先端には、対物レンズ2による被写体の結像位置に、例えば電荷結合素子(CCD)からなる固体撮像素子3が配置されている。内視鏡1の観察範囲(すなわち固体撮像素子3の撮像範囲)を照明するための照明用ライトガイドファイババンドル4の射出端に面して、照明光の配光角を広げて被写体に照射するための照明レンズ5も内視鏡1の挿入部先端に配置されている。
【0019】
光源装置兼ビデオプロセッサ(以下光源装置と略す)20に着脱自在に接続される内視鏡1のコネクタ部6には、固体撮像素子3に入出力される信号を伝達する信号線を光源装置20に接続するためのコネクタ7や、ライトガイドファイババンドル4の入射端などが配置されている。
【0020】
光源装置20内には、固体撮像素子3から送られてくる映像信号を処理するための映像信号処理部21の他、ライトガイドファイババンドル4に供給する照明光を発生するための光源ランプ22などが設けられている。映像信号処理部21の出力端にはTVモニタ49が接続され、内視鏡観察像(すなわち固体撮像素子3にて撮像された像)がこのTVモニタ49に表示される。
【0021】
ライトガイドファイババンドル4の照明光入射端4aと光源ランプ22との間には、光源ランプ22から放射された照明光をライトガイドファイババンドル4の入射端面に収束させるための集光レンズ24が配置されている。
【0022】
また、光源ランプ22と集光レンズ24との間には、その間の照明光路を任意量遮ってライトガイドファイババンドル4に入射する照明光線の光量を変えることができるように可動絞り25が配置されている。可動絞り25は後述するステップモータ253によって駆動される。
【0023】
23は、内視鏡1の種別など内視鏡1固有のデータを格納したROMである。
【0024】
光源ランプ22を駆動するランプ制御回路27、可動絞り25を駆動する絞り駆動回路28などは、光源装置20内に設けられたマイクロコンピュータ制御部30によって動作が制御される。 また、光源装置20に内視鏡1が接続された状態で制御部30と内視鏡1内部のROM23とが接続され、制御部30は接続された内視鏡1のデータをROM23から読み出す。
【0025】
図2は可動絞り25の外形を示す斜視図である。可動絞りは薄板をU字状の断面に折り曲げて、その底面中央に連結した回転軸251を照明光軸に対して垂直に配置し、ステップモータ253により回転駆動されるようになっている。
【0026】
図3は、可動絞り25を照明光軸方向から見た状態を示している。図3に示されるように、可動絞り25の板面が照明光軸と平行になっている時は照明光路Lはほとんど遮られない。
【0027】
この状態から、ステップモータ253により駆動される可動絞り25の回転角に対応して照明光路Lが次第に遮られて、ライトガイドファイババンドル4に入射する照明光線束が減らされる。
【0028】
図4は絞り駆動回路28を示すブロック図である。絞り駆動回路28は、パルス制御回路部281とモータ駆動回路部282とを含んでいる。パルス制御回路部281は、後述する入出力ポート41を介して制御部30から、可動絞り25を閉じるための逆転又は開くための正転のいずれかを指示する方向指示信号と、回転量に対応する駆動パルス信号とを受けて、ステップモータ253に与える駆動パルスを設定する。そしてモータ駆動回路部282は、パルス制御回路部281から入力されるパルス信号に従って、ステップモータ253を駆動するための駆動パルスを出力する。
【0029】
本実施の形態においては、可動絞り25が図3に示される状態の時にステップモータ253に逆転パルス240パルスを与えることにより、可動絞り25を全閉状態とすることができる。ステップモータ253を正転すると、可動絞り25はライトガイドファイババンドル4に入射する光量を増やす方向に回転する。
【0030】
図5は、制御部30とその周辺を示すブロック図である。制御部30では、演算処理を行うための中央演算装置(CPU)31に接続されたシステムバス32に、プログラムなどを格納した読み出し専用メモリ(ROM)33、ランダムアクセスメモリ(RAM)34などが接続されている。
【0031】
また、システムバス32に接続されたCRTコントーラ(CRTC)37を通して、ビデオ用ランダムアクセスメモリ(ビデオRAM)36に格納された表示用文字データと、映像信号処理部21から出力される映像データとが合成されてTVモニタ49に出力される。
【0032】
光源装置20のパネルスイッチ201、光源ランプ22を制御するためのランプ制御回路27及び外部のキーボード202は、各々入出力ポート38,39及び40を介してシステムバス32に接続されている。
【0033】
パネルスイッチ201には、可動絞り25を動作させることによって行われる観察画面の明るさ調節を、自動または手動のいずれで行うかを選択する自/手切り換えスイッチや、観察画面の明るさを調整するための輝度調整スイッチなどが配置されている。
【0034】
絞り駆動回路28への信号出力は入出力ポート41を介して行われ、映像信号処理部21から取り出された観察画面の明るさを示す輝度信号Yが、アナログデジタル変換器42において0〜255の範囲の値(輝度信号値)を有するデジタル信号に変換されて制御部30に入力される。なお、映像信号処理部21および制御部30が輝度検出手段を構成している。なお、輝度としては基本的に観察画面の平均輝度値を算出するようになっているが、キーボード202などにより、観察画面内の特定の領域での輝度のみを検出するようにすることも可能である。
【0035】
なお、輝度信号値が0〜20の時、画像はほぼ真っ暗な状態、21〜50の時、暗い状態、51〜180で通常の観察状態、181〜220でハレーション状態、そして、輝度信号値が221〜255では画面はほぼ真っ白な状態となる。
【0036】
上述の輝度調整スイッチにより設定される明るさの目標値となる参照値の値は、明るさ指数により入力するようになっている。明るさ指数と参照値との関係は図10に示すようになっている。自動調光装置は、従って、選択された参照値に上記輝度信号値が近づくように可動絞り25を回転させる。
【0037】
また、内視鏡1のコネクタ部6を光源装置20に接続することにより、内視鏡1内に配置されているROM23が入出力ポート43を介してマイコン制御部30に接続される。ROM23には、前述のように、その内視鏡1の種類や、その内視鏡固有のデータが格納されている。
【0038】
図6は、マイコン制御部30のROM33に格納されたメインプログラムの内容を示している。図において、Sは処理ステップを示す。メインプログラムでは、各回路の初期設定、各変数、絞り位置の初期設定、など各種の初期設定を行ったあと(S1)、パネルスイッチ201の状態に対応した処理、例えばポンプのオン・オフなどの処理が実行される(S2)。次に、キーボード202からの入力に対応した処理、例えば、キーボード202から入力された文字をモニタに表示するなどの処理が行われ(S3)、ランプ制御回路27関連の処理、たとえば、パネルスイッチ201の走査によるランプのオン・オフや点灯中のランプの状態の監視などを行う(S4)。次に、内視鏡1側に関連する処理(S5)が実行される。ここでは、例えば、内視鏡が光源装置に接続されたとき、内視鏡のROMの内容を読み出して内視鏡名などをモニタに表示するなどの処理が行われる。次に、日付及び時刻等をモニタ49に表示するための処理(S6)、そして、その他の処理、例えば、光源装置20に接続された周辺装置(VCR(ビデオカセットレコーダ)やビデオプリンタなど)の制御など、種々の処理が実行される(S7)。
【0039】
図7は、内視鏡観察画面の明るさを、設定された明るさ指数に対応した明るさに自動調整するために、図6のメインプログラム実行中に実行される割り込み処理を示すフローチャートである。すなわち、図7に示す処理は、撮像開始後一定の間隔、例えば33ms(ミリ秒)、で定期的に実行されて、ステップモータ253の動作を制御する処理である。
【0040】
図7において、まず映像信号処理部21から輝度信号を入力する(S11)。輝度信号値と参照値との差が許容範囲(たとえば4)以内であれば(S12:NO)ステップモータ253の駆動は行わず、割り込み処理を終了する。両者の差が許容範囲を越えていれば(S12:YES)、輝度信号値が参照値に近づくよう、以下の処理を実行してステップモータ253を駆動する。まず、参照値と輝度信号値との大小を比較する(S13)。参照値より輝度信号値の方が大きい場合(S13:YES)にはステップモータ253に逆転信号を送り(S14)、さらにテーブル1に従ってパルスをステップモータ253に送る(S15)。輝度信号値が参照値以下の場合(S13:NO)にはステップモータ253に正転信号を送り(S16)、テーブル2に従ってパルスをステップモータ253に送る(S17)。
【0041】
図8は、テーブル1の内容を示す図である。テーブル1においては、輝度信号値が181〜220の時、すなわち画面がハレーション状態の時、および、輝度信号値が221以上の、画面が真っ白な状態の時には、輝度信号値と参照値との差が比較的小さい場合にも、ステップモータ253に多数のパルスを送るようにして、ハレーション状態、画面が白い状態を速やかに解消するようにしている。
【0042】
例えば、参照値が128で、輝度信号値が198の時には、両者の差は70となる。この時、テーブル1に従い、40パルスをステップモータ253に送る。
【0043】
図9はテーブル2の内容を示す図である。テーブル2においては、輝度信号値が20以下の、画面がほぼ真っ暗な状態の時、および画面が比較的暗い、輝度信号値21〜50の時には、多数のパルスをステップモータ253に送り、画面が暗い状態を速やかに解消するようにしている。なおテーブル1およびテーブル2はROM33に格納されている。
【0044】
なお、本実施の形態においては、絞りを開く時と絞る時とで異なるテーブルを用いている。
もしも単一のテーブルによりステップモータ253の駆動量を制御すると、次のような状態が発生しうる。例えば、ある参照値が設定されているとき、輝度信号値がそれより所定量大きいとする。すると、輝度信号値が減少するようステップモータ253が駆動される。この結果減少した輝度信号値がもしも参照値より前記所定量だけ小さくなったとすると、今度は、輝度信号値が増加するようにステップモータ253が駆動されることになる。この時、単一のテーブルに基づいて制御する構成であると、輝度信号値を減少させるためにステップモータ253に送ったパルス数と同数のパルス数を輝度信号値を増加させるために送ることになる可能性が高くなる。すると、参照値を中心として、輝度信号値が所定量大きい値と所定量小さい値とを交互に取り続ける、ハンチング状態となる。
【0045】
しかし、本実施の形態においては、絞りを開くときと絞る時とで異なるテーブルを用いているため、ハンチング状態となることなく、輝度信号値を確実に参照値に収束させることが可能となる。
【0046】
なお、上記の実施の形態においては、2つのテーブルのみを示した。しかし、検出された輝度信号値および、輝度信号値と参照値との差が同一でも、内視鏡の種類によっては、可動絞りの駆動量を変えた方がよい場合がある。内視鏡1の種類は、ROM23より取得することができるため、あらかじめ種々の内視鏡に対応したテーブル1およびテーブル2を光源装置20のROM33に格納しておけば、CPU31が取得した、接続されている内視鏡1に対応したテーブル1およびテーブル2を用いることで、より応答速度の速い自動絞り調整装置を実現することができる。また、利用者が、複数のテーブルからテーブル1、テーブル2を選択できる構成として、自動調光装置の特性を自由に設定できるようにしても良い。また、内視鏡1固有のテーブル1、テーブル2を当該内視鏡1のROM23に格納しておくようにしても良い。
【0047】
なお、本実施の形態においては、特にハレーション防止に重点を置き、絞りを絞るときの方が絞りを開くときより多数のパルスを送るように設定されている。しかし、画面が暗い状態の防止に重点を置くなら、絞りを開く時により多くのパルスを送るようにすればよい。
【0048】
本実施の形態においては、可動絞り25の形状はU字型の絞りを用い、ステップモータにより可動絞りを回転させて光量の調整を行っているが、本発明はこの構成に限らず、様々な構造の絞りに適用することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態の電子内視鏡システムの構成を示すブロック図である。
【図2】実施の形態の可動絞りの斜視図である。
【図3】実施の形態の可動絞りの正面図である。
【図4】実施の形態の絞り駆動回路のブロック図である。
【図5】実施の形態の制御回路のブロック図である。
【図6】実施の形態のメインプログラムの内容を示すフローチャートである。
【図7】実施の形態の駆動パルス制御のための割り込み処理の内容を示すフローチャートである。
【図8】可動絞りを絞り込む時に参照されるテーブル1である。
【図9】可動絞りを開く時に参照されるテーブル2である。
【図10】明るさ指数と参照値との関係を示すテーブルである。
【符号の説明】
100 電子内視鏡システム
1 内視鏡
20 光源装置
21 映像信号処理部
27 ランプ制御回路
25 可動絞り
28 絞り駆動回路
30 制御部
33 ROM
253 ステップモータ
281 パルス制御回路部
282 モータ駆動回路部
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an aperture control device for an endoscope light source device in which a movable aperture capable of blocking an arbitrary amount of an illumination optical path between a light source lamp and an endoscope light guide incident end surface is driven by a step motor. About.
[0002]
[Prior art]
Conventionally, in order to automatically adjust the amount of illumination light incident on an endoscope light guide, a movable diaphragm provided between the light source lamp and the light guide incident end face is driven by a step motor. It has been.
[0003]
In such a diaphragm control device for an endoscope light source device, a luminance signal indicating the brightness of the endoscope observation screen is repeatedly detected in a short cycle by a control process by a microcomputer, and the luminance is detected every time the luminance is detected. Based on the difference between the signal value and the reference value representing the target luminance, a driving pulse is applied to the step motor to drive the movable diaphragm so that the luminance signal value approaches the target value.
[0004]
In Japanese Patent Laid-Open No. 8-50250, in such a diaphragm control device for an endoscope light source device, the number of drive pulses given to a step motor every time a luminance signal is detected, and the detected luminance and target value are determined. A configuration is disclosed in which the luminance quickly converges to the target value by changing the difference according to the difference.
[0005]
[Problems to be solved by the invention]
In the diaphragm control device as described above, the diaphragm control is performed based only on the difference between the detected luminance value and the target value. There was a case where it was felt that the response was poor without being quickly squeezed.
[0006]
SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide an aperture control device for an endoscope light source device that, when halation occurs, drives the aperture faster so that the user does not feel a response delay. To do.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, the diaphragm control device for an endoscope light source device according to the present invention has a movable diaphragm capable of blocking an arbitrary amount of an illumination light path between a light source lamp and a light guide incident end surface of an endoscope. An automatic dimming device for an electronic endoscope system driven by a step motor, wherein brightness detecting means for repeatedly detecting the brightness of an observation screen of the endoscope and outputting it as a brightness signal value, and at the time of outputting the brightness signal value Control means for providing a driving pulse for bringing the brightness of the observation screen close to a reference value to the step motor, and the control means includes the luminance signal value and the reference value output by the luminance detection means. the difference was calculated, and based on the magnitude of the calculated issued difference and the output luminance signal value, and outputs the number of drive pulses corresponding to them to the step motor is obtained from the table, When the luminance signal value is higher than the first threshold value and lower than the second threshold value so that the state is quickly cleared when the luminance signal value is lower than the first threshold value or higher than the second threshold value. It is characterized by outputting a larger number of drive pulses .
[0008]
With this configuration, the drive signal is set not only based on the difference between the luminance signal and the reference value but also based on the luminance signal value itself, so that the state is promptly detected when the luminance signal value is extremely large (or small). It is possible to perform drive control that eliminates the above.
[0009]
Note that the luminance detection unit may detect the luminance in a predetermined cycle, and the control unit may supply the drive signal to the motor for each output of the luminance signal value. With such a configuration, since the luminance is periodically detected, it is possible to speed up the response to the luminance change.
[0010]
A step motor can be used as the motor. In this case, the control means outputs a driving pulse as the driving signal, and changes the number of the driving pulses according to the magnitude of the luminance signal value and the difference between the luminance signal value and the reference value. It can be.
[0011]
Further, for example, the luminance signal value below the first threshold is a value corresponding to a low luminance state in which the observation screen is dark or substantially dark, and the luminance signal value above the second threshold is the value on the observation screen. It is a value corresponding to halation or a white high brightness state. In this case, the control unit reads the table, and when the luminance signal value output from the luminance detection unit is a value corresponding to a low or high luminance state, the low or high luminance state is quickly resolved. More drive pulses are output than in the normal state that is not the low or high luminance state.
[0012]
The control means can further set the number of drive pulses according to which of the luminance signal value and the reference value is larger. That is, different control can be performed depending on whether the aperture is opened or narrowed, which is effective in preventing hunting.
[0013]
The control means does not drive the step motor when the difference between the luminance signal value and the reference value is smaller than a predetermined allowable value.
[0014]
The control unit may include a storage unit that stores a table that defines the relationship between the magnitude of the luminance signal value, the difference between the luminance signal value and the reference value, and the number of drive pulses.
[0015]
From another viewpoint, the automatic light control device of the electronic endoscope system according to the present invention includes a movable diaphragm capable of blocking an arbitrary amount of the illumination light path between the light source lamp and the light guide incident end surface of the endoscope. An automatic dimming device of an electronic endoscope system driven by a motor, wherein brightness detection means for repeatedly detecting the brightness of an observation screen of an endoscope and outputting it as a brightness signal value, and when outputting the brightness signal value, Control means for giving the motor a drive signal for bringing the brightness of the observation screen close to a reference value, and the control means sends a different drive signal to the motor depending on whether the movable diaphragm is narrowed or opened. It is characterized by giving. That is, different control can be performed depending on whether the aperture is opened or narrowed, which is effective in preventing hunting.
[0016]
A step motor can be used as the motor. In this case, the control means outputs a driving pulse as the driving signal, and changes the number of the driving pulses according to the magnitude of the luminance signal value and the difference between the luminance signal value and the reference value. It can be.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a system configuration of an electronic endoscope system 100 according to an embodiment of the present invention. The electronic endoscope system 100 includes an endoscope 1 and a light source device / video processor 20.
[0018]
At the distal end of the insertion portion of the electronic endoscope 1, a solid-state imaging device 3 made of, for example, a charge coupled device (CCD) is disposed at a subject imaging position by the objective lens 2. Facing the exit end of the illumination light guide fiber bundle 4 for illuminating the observation range of the endoscope 1 (i.e., the imaging range of the solid-state imaging device 3), the light distribution angle of the illumination light is widened and the subject is irradiated. An illumination lens 5 for this purpose is also disposed at the distal end of the insertion portion of the endoscope 1.
[0019]
The connector 6 of the endoscope 1 that is detachably connected to a light source / video processor (hereinafter abbreviated as “light source device”) 20 is connected to a signal line for transmitting a signal input / output to / from the solid-state imaging device 3. A connector 7 for connecting to the light guide, an incident end of the light guide fiber bundle 4 and the like are disposed.
[0020]
In the light source device 20, a video signal processing unit 21 for processing a video signal sent from the solid-state imaging device 3, a light source lamp 22 for generating illumination light to be supplied to the light guide fiber bundle 4, etc. Is provided. A TV monitor 49 is connected to the output end of the video signal processing unit 21, and an endoscopic observation image (that is, an image captured by the solid-state imaging device 3) is displayed on the TV monitor 49.
[0021]
Between the illumination light incident end 4 a of the light guide fiber bundle 4 and the light source lamp 22, a condenser lens 24 for converging the illumination light emitted from the light source lamp 22 on the incident end surface of the light guide fiber bundle 4 is disposed. Has been.
[0022]
In addition, a movable diaphragm 25 is disposed between the light source lamp 22 and the condenser lens 24 so as to change the amount of illumination light incident on the light guide fiber bundle 4 by blocking an arbitrary amount of illumination light path therebetween. ing. The movable diaphragm 25 is driven by a step motor 253 described later.
[0023]
A ROM 23 stores data unique to the endoscope 1 such as the type of the endoscope 1.
[0024]
The operation of the lamp control circuit 27 that drives the light source lamp 22, the diaphragm drive circuit 28 that drives the movable diaphragm 25, and the like is controlled by a microcomputer control unit 30 provided in the light source device 20. In addition, the control unit 30 and the ROM 23 inside the endoscope 1 are connected in a state where the endoscope 1 is connected to the light source device 20, and the control unit 30 reads data of the connected endoscope 1 from the ROM 23.
[0025]
FIG. 2 is a perspective view showing the outer shape of the movable diaphragm 25. The movable diaphragm is configured such that a thin plate is bent into a U-shaped cross section, a rotation shaft 251 connected to the center of the bottom surface is arranged perpendicular to the illumination optical axis, and is rotated by a step motor 253.
[0026]
FIG. 3 shows a state in which the movable diaphragm 25 is viewed from the illumination optical axis direction. As shown in FIG. 3, when the plate surface of the movable diaphragm 25 is parallel to the illumination optical axis, the illumination optical path L is hardly blocked.
[0027]
From this state, the illumination light path L is gradually interrupted corresponding to the rotation angle of the movable diaphragm 25 driven by the step motor 253, and the illumination beam bundle incident on the light guide fiber bundle 4 is reduced.
[0028]
FIG. 4 is a block diagram showing the aperture driving circuit 28. As shown in FIG. The aperture drive circuit 28 includes a pulse control circuit unit 281 and a motor drive circuit unit 282. The pulse control circuit unit 281 responds to the direction indication signal for instructing either the reverse rotation for closing the movable diaphragm 25 or the normal rotation for opening from the control unit 30 via the input / output port 41 described later, and the rotation amount. In response to the drive pulse signal to be transmitted, a drive pulse to be given to the step motor 253 is set. The motor drive circuit unit 282 outputs a drive pulse for driving the step motor 253 in accordance with the pulse signal input from the pulse control circuit unit 281.
[0029]
In the present embodiment, when the movable diaphragm 25 is in the state shown in FIG. 3, the movable diaphragm 25 can be fully closed by applying a reverse pulse 240 pulse to the step motor 253. When the step motor 253 is rotated forward, the movable diaphragm 25 rotates in a direction to increase the amount of light incident on the light guide fiber bundle 4.
[0030]
FIG. 5 is a block diagram showing the control unit 30 and its surroundings. In the control unit 30, a read-only memory (ROM) 33 storing a program and the like, a random access memory (RAM) 34, and the like are connected to a system bus 32 connected to a central processing unit (CPU) 31 for performing arithmetic processing. Has been.
[0031]
The display character data stored in the video random access memory (video RAM) 36 and the video data output from the video signal processing unit 21 are passed through a CRT controller (CRTC) 37 connected to the system bus 32. It is synthesized and output to the TV monitor 49.
[0032]
The panel switch 201 of the light source device 20, the lamp control circuit 27 for controlling the light source lamp 22, and the external keyboard 202 are connected to the system bus 32 via input / output ports 38, 39 and 40, respectively.
[0033]
The panel switch 201 adjusts the brightness of the observation screen or a self / hand switch for selecting whether to automatically or manually adjust the brightness of the observation screen by operating the movable aperture 25. For example, a brightness adjustment switch is provided.
[0034]
Signal output to the aperture drive circuit 28 is performed via the input / output port 41, and the luminance signal Y indicating the brightness of the observation screen taken out from the video signal processing unit 21 is 0 to 255 in the analog / digital converter 42. It is converted into a digital signal having a range value (luminance signal value) and input to the control unit 30. Note that the video signal processing unit 21 and the control unit 30 constitute luminance detecting means. Note that the average luminance value of the observation screen is basically calculated as the luminance, but it is also possible to detect only the luminance in a specific area in the observation screen using the keyboard 202 or the like. is there.
[0035]
When the luminance signal value is 0 to 20 , the image is almost dark, when 21 to 50 is dark, 51 to 180 is a normal observation state, 181 to 220 is a halation state, and the luminance signal value is In 221 to 255 , the screen is almost white.
[0036]
The value of the reference value that is the target value of brightness set by the above-described brightness adjustment switch is input by the brightness index. The relationship between the brightness index and the reference value is as shown in FIG. Therefore, the automatic light control device rotates the movable diaphragm 25 so that the luminance signal value approaches the selected reference value.
[0037]
Further, by connecting the connector unit 6 of the endoscope 1 to the light source device 20, the ROM 23 arranged in the endoscope 1 is connected to the microcomputer control unit 30 via the input / output port 43. As described above, the ROM 23 stores the type of the endoscope 1 and data unique to the endoscope.
[0038]
FIG. 6 shows the contents of the main program stored in the ROM 33 of the microcomputer control unit 30. In FIG. 6 , S indicates a processing step. In the main program, after performing various initial settings such as initial setting of each circuit, initial setting of each variable and aperture position (S1), processing corresponding to the state of the panel switch 201, such as pump on / off, etc. Processing is executed (S2). Next, processing corresponding to the input from the keyboard 202, for example, processing such as displaying characters input from the keyboard 202 on the monitor is performed (S3), and processing related to the lamp control circuit 27, for example, the panel switch 201 is performed. The lamp is turned on / off by scanning and monitoring the state of the lamp being lit (S4). Next, a process (S5) related to the endoscope 1 side is executed. Here, for example, when the endoscope is connected to the light source device, processing such as reading the contents of the ROM of the endoscope and displaying the endoscope name on the monitor is performed. Next, processing for displaying the date and time on the monitor 49 (S6), and other processing, for example, peripheral devices (VCR (video cassette recorder) , video printer, etc.) connected to the light source device 20 Various processes such as control are executed (S7).
[0039]
FIG. 7 is a flowchart showing interrupt processing executed during execution of the main program of FIG. 6 in order to automatically adjust the brightness of the endoscope observation screen to the brightness corresponding to the set brightness index. . That is, the process shown in FIG. 7 is a process for controlling the operation of the step motor 253 periodically executed at regular intervals after the start of imaging, for example, 33 ms (milliseconds).
[0040]
In FIG. 7, first, a luminance signal is input from the video signal processing unit 21 (S11). If the difference between the luminance signal value and the reference value is within an allowable range (for example, 4) (S12: NO), the stepping motor 253 is not driven and the interruption process is terminated. If the difference between the two exceeds the allowable range (S12: YES), the following processing is executed to drive the step motor 253 so that the luminance signal value approaches the reference value. First, the reference value is compared with the luminance signal value (S13). When the luminance signal value is larger than the reference value (S13: YES), a reverse rotation signal is sent to the step motor 253 (S14), and a pulse is sent to the step motor 253 according to Table 1 (S15). When the luminance signal value is less than or equal to the reference value (S13: NO), a forward rotation signal is sent to the step motor 253 (S16), and a pulse is sent to the step motor 253 according to Table 2 (S17).
[0041]
FIG. 8 is a diagram showing the contents of the table 1. In Table 1, when the luminance signal value is 181 to 220, that is, when the screen is in a halation state, and when the luminance signal value is 221 or more and the screen is in a pure white state, the difference between the luminance signal value and the reference value is Is relatively small, a large number of pulses are sent to the step motor 253 so that the halation state and the white screen state can be quickly resolved.
[0042]
For example, when the reference value is 128 and the luminance signal value is 198, the difference between the two is 70. At this time, according to Table 1, 40 pulses are sent to the step motor 253.
[0043]
FIG. 9 is a diagram showing the contents of the table 2. In Table 2, when the luminance signal value is 20 or less and the screen is almost dark, and when the screen is relatively dark and the luminance signal value is 21 to 50, a large number of pulses are sent to the step motor 253, and the screen is The dark state is quickly resolved. Tables 1 and 2 are stored in the ROM 33.
[0044]
In the present embodiment, different tables are used for opening and closing the aperture.
If the driving amount of the step motor 253 is controlled by a single table, the following state may occur. For example, assume that when a reference value is set, the luminance signal value is larger by a predetermined amount. Then, the step motor 253 is driven so that the luminance signal value decreases. As a result, if the decreased luminance signal value becomes smaller than the reference value by the predetermined amount, the step motor 253 is driven so that the luminance signal value increases. At this time, if the control is based on a single table, the same number of pulses as the number of pulses sent to the step motor 253 to decrease the luminance signal value are sent to increase the luminance signal value. Is likely to be. Then, a hunting state in which the luminance signal value continues to alternately take a value that is larger by a predetermined amount and a value that is smaller by a predetermined amount, with the reference value as the center.
[0045]
However, in the present embodiment, since different tables are used for opening and closing the aperture, it is possible to reliably converge the luminance signal value to the reference value without entering the hunting state.
[0046]
In the above embodiment, only two tables are shown. However, even if the detected luminance signal value and the difference between the luminance signal value and the reference value are the same, it may be better to change the driving amount of the movable diaphragm depending on the type of endoscope. Since the type of the endoscope 1 can be acquired from the ROM 23, if the table 1 and the table 2 corresponding to various endoscopes are stored in the ROM 33 of the light source device 20 in advance, the connection acquired by the CPU 31 is obtained. By using the table 1 and the table 2 corresponding to the endoscope 1 that has been used, it is possible to realize an automatic aperture adjustment device with a faster response speed. Further, as a configuration in which the user can select Table 1 and Table 2 from a plurality of tables, the characteristics of the automatic light control device may be set freely. Further, the table 1 and the table 2 unique to the endoscope 1 may be stored in the ROM 23 of the endoscope 1.
[0047]
In the present embodiment, the emphasis is particularly on the prevention of halation, and it is set so that a larger number of pulses are sent when the aperture is reduced than when the aperture is opened. However, if the emphasis is on preventing dark screens, more pulses may be sent when the aperture is opened.
[0048]
In the present embodiment, the shape of the movable diaphragm 25 is a U-shaped diaphragm, and the amount of light is adjusted by rotating the movable diaphragm by a step motor. However, the present invention is not limited to this configuration, It can be applied to the structure aperture.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an electronic endoscope system according to an embodiment of the present invention.
FIG. 2 is a perspective view of a movable diaphragm according to the embodiment.
FIG. 3 is a front view of the movable diaphragm according to the embodiment.
FIG. 4 is a block diagram of an aperture driving circuit according to the embodiment.
FIG. 5 is a block diagram of a control circuit according to the embodiment.
FIG. 6 is a flowchart showing the contents of a main program according to the embodiment.
FIG. 7 is a flowchart showing the contents of interrupt processing for drive pulse control according to the embodiment;
FIG. 8 is a table 1 that is referred to when the movable aperture is narrowed down.
FIG. 9 is a table 2 referred to when the movable diaphragm is opened.
FIG. 10 is a table showing a relationship between a brightness index and a reference value.
[Explanation of symbols]
100 Electronic Endoscope System 1 Endoscope 20 Light Source Device 21 Video Signal Processing Unit 27 Lamp Control Circuit 25 Movable Aperture 28 Aperture Drive Circuit 30 Control Unit 33 ROM
253 Step motor 281 Pulse control circuit unit 282 Motor drive circuit unit

Claims (6)

光源ランプと内視鏡のライトガイド入射端面との間において照明光路を任意量遮ることができる可動絞りをステップモータによって駆動する電子内視鏡システムの自動調光装置であって、
内視鏡の観察画面の明るさを繰り返し検出し輝度信号値として出力する輝度検出手段と、
前記輝度信号値の検出時に、前記観察画面の明るさを参照値に近づけるための駆動パルスを前記ステップモータに与える制御手段と、
前記輝度信号値の大きさ、前記輝度信号値と前記参照値との差、および前記駆動パルス数の関係を規定するテーブルを格納する記憶手段と、を有し、
前記制御手段は、前記輝度検出手段により出力された輝度信号値と参照値との差を算出し、該算出された差と該出力された輝度信号値の大きさに基づいて、それらに対応する駆動パルス数を前記テーブルから取得して前記ステップモータに出力し、該輝度信号値が第一の閾値以下又は第二の閾値以上のときにはその状態が速やかに解消されるよう、該輝度信号値が該第一の閾値よりも高くかつ該第二の閾値よりも低いときよりも多数の駆動パルスを出力することを特徴とする電子内視鏡システムの自動調光装置。
An automatic dimming device for an electronic endoscope system in which a movable diaphragm capable of blocking an arbitrary amount of an illumination light path between a light source lamp and a light guide incident end surface of an endoscope is driven by a step motor,
Luminance detection means for repeatedly detecting the brightness of the observation screen of the endoscope and outputting it as a luminance signal value;
Control means for providing the step motor with a driving pulse for bringing the brightness of the observation screen close to a reference value when detecting the luminance signal value;
Storage means for storing a table that defines the relationship between the magnitude of the luminance signal value, the difference between the luminance signal value and the reference value, and the number of drive pulses,
The control unit calculates a difference between the luminance signal value output by the luminance detection unit and a reference value, and responds to the difference based on the calculated difference and the magnitude of the output luminance signal value. The number of drive pulses is acquired from the table and output to the step motor. When the luminance signal value is equal to or lower than the first threshold value or equal to or higher than the second threshold value, the luminance signal value is An automatic dimming device for an electronic endoscope system, characterized in that a larger number of drive pulses are output than when the first threshold is higher and the second threshold is lower .
前記輝度検出手段は所定のサイクルで前記輝度を検出し、前記制御手段は前記輝度信号値の出力毎に、前記駆動パルスを前記ステップモータに与えることを特徴とする請求項1に記載の電子内視鏡システムの自動調光装置。  2. The electronic internal device according to claim 1, wherein the luminance detecting unit detects the luminance in a predetermined cycle, and the control unit supplies the driving pulse to the step motor every time the luminance signal value is output. Automatic dimmer for endoscope system. 前記第一の閾値以下の輝度信号値は、前記観察画面が暗い又はほぼ真っ暗な低輝度状態に相当する値であり、
前記第二の閾値以上の輝度信号値は、前記観察画面がハレーション又は白い高輝度状態に相当する値であり、
前記制御手段は、前記テーブルを読み込み、前記輝度検出手段が出力した輝度信号値が低又は高輝度状態に相当する値であるとき、該低又は高輝度状態が速やかに解消されるよう、当該低又は高輝度状態でない通常状態のときよりも多数の駆動パルスを出力することを特徴とする請求項1又は請求項2の何れかに記載の電子内視鏡システムの自動調光装置。
The luminance signal value below the first threshold is a value corresponding to a low luminance state in which the observation screen is dark or almost completely dark,
The luminance signal value equal to or higher than the second threshold is a value corresponding to a high luminance state where the observation screen is halation or white,
The control unit reads the table, and when the luminance signal value output from the luminance detection unit is a value corresponding to a low or high luminance state, the low or high luminance state is quickly reduced. 3. The automatic light control device for an electronic endoscope system according to claim 1, wherein a larger number of drive pulses are output than in a normal state that is not a high luminance state .
前記テーブルはそれぞれ異なる第一および第二のテーブルを含み、前記制御手段は、前記輝度信号値が前記参照値よりも大きい場合には前記第一のテーブルを用いて前記駆動パルス数を設定し、前記参照値が前記輝度信号値よりも大きい場合には前記第二のテーブルを用いて前記駆動パルス数を設定することを特徴とする請求項1から請求項3の何れかに記載の電子内視鏡システムの自動調光装置。  The tables include different first and second tables, and the control means sets the number of drive pulses using the first table when the luminance signal value is larger than the reference value, 4. The electronic endoscope according to claim 1, wherein when the reference value is larger than the luminance signal value, the number of driving pulses is set using the second table. 5. Automatic dimmer for mirror system. 前記テーブルはそれぞれ異なる第一および第二のテーブルを含み、前記制御手段は、前記可動絞りを絞り込む場合には前記第一のテーブルを用いて前記駆動パルス数を設定し、前記可動絞りを開く場合には前記第二のテーブルを用いて前記駆動パルス数を設定することを特徴とする請求項1から請求項3の何れかに記載の電子内視鏡システムの自動調光装置。  The table includes different first and second tables, and the control means sets the number of drive pulses using the first table when narrowing the movable diaphragm, and opens the movable diaphragm. 4. The automatic light control device for an electronic endoscope system according to claim 1, wherein the number of drive pulses is set using the second table. 5. 前記制御手段は、前記輝度信号値と前記参照値との差が所定の許容値より小さい場合には前記ステップモータを駆動しないことを特徴とする請求項1から請求項5の何れかに記載の電子内視鏡システムの自動調光装置。  The said control means does not drive the said step motor, when the difference of the said brightness | luminance signal value and the said reference value is smaller than predetermined | prescribed allowable value, The said motor is any one of Claim 1-5 Automatic dimming device for electronic endoscope system.
JP25416597A 1997-09-03 1997-09-03 Automatic dimming device for electronic endoscope system Expired - Lifetime JP4043559B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25416597A JP4043559B2 (en) 1997-09-03 1997-09-03 Automatic dimming device for electronic endoscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25416597A JP4043559B2 (en) 1997-09-03 1997-09-03 Automatic dimming device for electronic endoscope system

Publications (2)

Publication Number Publication Date
JPH1176157A JPH1176157A (en) 1999-03-23
JP4043559B2 true JP4043559B2 (en) 2008-02-06

Family

ID=17261143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25416597A Expired - Lifetime JP4043559B2 (en) 1997-09-03 1997-09-03 Automatic dimming device for electronic endoscope system

Country Status (1)

Country Link
JP (1) JP4043559B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4668460B2 (en) * 2000-06-06 2011-04-13 Hoya株式会社 Electronic endoscope device with automatic light control function
JP6937150B2 (en) * 2017-03-30 2021-09-22 Hoya株式会社 Endoscope control device, electronic endoscope device and control program
JP6636208B2 (en) 2017-06-21 2020-01-29 オリンパス株式会社 Endoscope system
CN116528056B (en) * 2023-01-09 2026-01-02 之江实验室 Endoscopic light source brightness adjustment method, device, electronic device and storage medium

Also Published As

Publication number Publication date
JPH1176157A (en) 1999-03-23

Similar Documents

Publication Publication Date Title
US7136098B1 (en) Image illumination optimizing
JP4043559B2 (en) Automatic dimming device for electronic endoscope system
JP3260192B2 (en) Light source device for endoscope
JP3964507B2 (en) Aperture control device for electronic endoscope system
JP4694051B2 (en) Electronic endoscope
JP4459506B2 (en) Automatic dimming device for endoscope and electronic endoscope device
JP3431297B2 (en) Aperture control device for endoscope light source device
JP4390331B2 (en) Endoscope device
JP3756598B2 (en) Endoscope device
JP4101933B2 (en) Electronic endoscope device
JP4131007B2 (en) Automatic dimming device for endoscope and electronic endoscope device
JP2002282207A (en) Electronic endoscopic apparatus
JP3517283B2 (en) Aperture control device of light source device for endoscope
JP2002085345A (en) Electronic endoscope
JP3431294B2 (en) Aperture control device for endoscope light source device
JP3335204B2 (en) Light source device for endoscope
JP3431295B2 (en) Aperture control device for endoscope light source device
JP3548238B2 (en) Light source device for endoscope
JP4668460B2 (en) Electronic endoscope device with automatic light control function
JPH0850250A (en) Aperture control device for light source device for endoscope
JP3431293B2 (en) Aperture control device for endoscope light source device
JP3340569B2 (en) Aperture control device of light source device for endoscope
JPH11344673A (en) Revolver interlocked illumination controller
JP3306219B2 (en) Light source device for endoscope
JP2000253307A (en) Endoscope diaphragm control device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040514

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070118

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070529

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071114

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111122

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111122

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121122

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121122

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131122

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term