Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4648576B2 - 電子内視鏡装置 - Google Patents
[go: Go Back, main page]

JP4648576B2 - 電子内視鏡装置 - Google Patents

電子内視鏡装置 Download PDF

Info

Publication number
JP4648576B2
JP4648576B2 JP2001181074A JP2001181074A JP4648576B2 JP 4648576 B2 JP4648576 B2 JP 4648576B2 JP 2001181074 A JP2001181074 A JP 2001181074A JP 2001181074 A JP2001181074 A JP 2001181074A JP 4648576 B2 JP4648576 B2 JP 4648576B2
Authority
JP
Japan
Prior art keywords
zooming
filter coefficient
video signal
contour
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001181074A
Other languages
English (en)
Other versions
JP2002369794A (ja
Inventor
昭博 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2001181074A priority Critical patent/JP4648576B2/ja
Publication of JP2002369794A publication Critical patent/JP2002369794A/ja
Application granted granted Critical
Publication of JP4648576B2 publication Critical patent/JP4648576B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、スコープの可撓管先端部から被写体像に対応するビデオ信号を得、プロセッサにより映像信号処理を行い、モニタ装置によりビデオ信号に基づいて被写体像を再現する電子内視鏡装置に関する。
【0002】
【従来の技術】
このような電子内視鏡装置においては、スコープの先端にCCDイメージセンサが設けられ、このCCDイメージセンサは対物レンズ系と組み合わせられる。
またスコープ内には光ファイバー束からなるライトガイドが挿通させられており、スコープの基端側に接続されたプロセッサ内の光源ランプから、このライトガイドを介してスコープ先端に照明光が供給される。患者の体腔内へスコープが挿入された時、対物レンズ系の前方がライトガイドの先端側端面から射出する照明光によって照明され、光学像がCCDイメージセンサの受光面に結像され、そこで光電変換されて撮像信号として出力される。撮像信号はプロセッサの映像信号処理回路へ送られ、この撮像信号に基づいてビデオ信号が生成される。さらにビデオ信号はモニタ装置に対して出力され、そこで被写体像がモニタ画面上に再現される。
【0003】
最近では、病巣の早期発見を目的として患部を拡大表示する電子内視鏡装置、例えばスコープの対物レンズ系を可変焦点レンズにより構成し、ズーム機能およびオートフォーカス機能を設けた電子内視鏡装置も考えられている。
【0004】
一般に、消化器官等の円筒状部位の内部を進みながら撮影するときには中央が暗く周囲が明るいというコントラストの強い映像が得られる。このため、暗部に対応する出力信号はAGCゲインを大きくすることにより信号レベルが上げられる。しかし、このとき撮像信号に含まれる様々なノイズ成分も一緒に増幅されるため、結果的に暗部に対応する画像ではノイズが目立つという欠点を有する。
【0005】
一般に電子内視鏡装置のプロセッサには輪郭強調回路が設けられており、この輪郭強調回路は輝度信号にフィルタ係数を乗算して輝度の極端に異なる部分の輝度差をさらに大きくすることにより、輪郭強調を行っている。特にズーミングを行って消化器官等の内壁等を拡大表示する場合には、病巣の早期発見のために輪郭強調の度合いは強いほうが好ましい。
【0006】
しかし、輪郭を強く強調するとノイズ成分も強調されてしまうため、暗部でのノイズがさらに目立ち易くなるという問題があった。
【0007】
【発明が解決しようとする課題】
本発明は上記問題点に鑑みてなされたものであり、ズーミングを行った場合には輪郭の明確な画像が得られると共に、ズーミングを行わない場合にはノイズの目立たない高精度の画像を自動的に得ることを目的とする。
【0008】
【課題を解決するための手段】
本発明の電子内視鏡装置は、固体撮像素子と、焦点距離が可変な撮影光学系とを有するスコープと、撮影光学系の焦点距離を制御するズーム手段と、固体撮像素子から出力された撮像信号にフィルタ係数を乗算して輪郭を強調させる輪郭強調回路と、ズーミングを検出する検出手段と、検出手段による検出結果に応じて輪郭強調回路のフィルタ係数を制御する係数制御手段と、輪郭強調された撮像信号に基づいてビデオ信号を生成するビデオ信号生成手段とを有するプロセッサと、プロセッサにより出力されたビデオ信号に基づいて、画面に被写体像を再現するモニタ装置とを備えることを特徴とする。
【0009】
電子内視鏡装置において、検出手段によってズーミングが検出された場合には、係数制御手段によってフィルタ係数は輪郭強調の度合いが相対的に強くなるように設定され、検出手段によってズーミングが検出されない場合には、係数制御手段によってフィルタ係数は輪郭強調の度合いが相対的に弱くなるように設定される。
【0010】
電子内視鏡装置には、輪郭強調回路による輪郭強調機能の設定および設定解除を指示するための指示手段を設けてもよい。
【0011】
また、本発明による電子内視鏡装置のプロセッサは、固体撮像素子と、焦点距離が可変な撮影光学系とを有するスコープが接続される電子内視鏡装置のプロセッサであって、撮影光学系の焦点距離を制御するズーム手段と、固体撮像素子から出力された撮像信号にフィルタ係数を乗算して輪郭を強調させる輪郭強調回路と、ズーミングを検出する検出手段と、検出手段による検出結果に応じて輪郭強調回路のフィルタ係数を制御する係数制御手段と、輪郭強調された撮像信号に基づいてビデオ信号を生成するビデオ信号生成手段とを有することを特徴とする。
【0012】
【発明の実施の形態】
以下、本発明の実施形態について添付図面を参照して説明する。
【0013】
図1は本発明による電子内視鏡装置の実施形態を示すブロック図である。電子内視鏡装置は、可撓管を有するスコープ10と、スコープ10に着脱自在なプロセッサ100と、プロセッサ100に接続されるモニタ装置200とを備える。スコープ10には光ファイバ束から成る光ガイド部材12がスコープ先端部10aにまで挿通しており、光ガイド部材12の基端側はスコープ10のプロセッサ100への装着時にプロセッサ100に設けられた光源102に光学的に接続される。これにより、光源102からの照明光は光ガイド部材12によってスコープ先端部10aへ導かれ、前方の被写体、例えば内臓器官Xが照明される。
【0014】
スコープ先端部10aには固体撮像素子例えばCCDから成る撮像センサ14が設けられ、この撮像センサ14にはCCDと組み合わされた対物レンズ系16が包含される。スコープ10はズーム機能およびオートフォーカス機能を備える。具体的には、対物レンズ系16は複数のレンズから成り、その中に含まれる可動レンズがプロセッサ100のズーム/フォーカス制御回路114により駆動されて光軸方向における相対位置を変化させ、これにより焦点位置および像倍率が変更される。スコープ10にはズーミングを行うためのズームダイヤル18が設けられ、ズームダイヤル18はズーム/フォーカス制御回路114に電気的に接続される。
【0015】
本実施形態ではカラー画像を再現するために同時方式が採用され、白色照明光により照明された被写体の光学像が対物レンズ系16によりCCDの受光面に結像させられる。CCDに結像された光学的被写体像は、撮像センサ14により1フレーム分のアナログ撮像信号に光電変換され、スコープ10のコネクタ部20に内蔵されたドライブ/プロセス回路22によって撮像センサ14から順次読み出される。
【0016】
撮像センサ14から読み出されたアナログ撮像信号は、ドライブ/プロセス回路22において、撮像センサ14の特性やスコープ10の光学特性に応じた処理、例えばクランプ処理やサンプルホールド処理、ガンマ補正処理、ホワイトバランス補正処理および増幅処理等が施され、輝度信号および色差信号からなるコンポーネントデジタル信号に変換されて、プロセッサ100の映像信号処理回路104に順次出力される。
【0017】
コネクタ部20に設けられた読出し専用メモリ(ROM)26にはスコープ10の固有の光学的特性に関する情報が格納される。スコープ10は高精密部品から構成されるので、僅かな機械的誤差であっても個々のスコープ10の光学的特性に大きく影響する。このため、スコープ10側にデータを持たせ、スコープ10の交換の際にプロセッサ100側で各スコープ10の光学的特性に応じた調整作業を行う必要がないように構成している。
【0018】
プロセッサ100の映像信号処理回路104においては、輝度信号成分に後述する輪郭強調処理が施され、輪郭強調された輝度信号、色差信号および復号同期信号を多重したNTSC方式のコンポジットビデオ信号などのアナログカラービデオ信号が生成される。
【0019】
アナログカラービデオ信号はプロセッサ100からモニタ装置200やVCRなどの記録装置300に出力される。モニタ装置200ではアナログカラービデオ信号に基づいて画面上に被写体像が再現され、また記録装置300では静止画または動画としてアナログカラービデオ信号が記録される。プロセッサ100にはキーボード400が接続され、このキーボード400から入力された患者名や図示しないタイマ回路から得られる診察日時等の文字情報はシステムコントロール回路106により文字パターン信号に変換されて映像信号処理回路104に出力され、ここでコンポーネントデジタル信号に付加される。これにより、モニタ装置200の画面上には光学的被写体像の再現画像と共に文字情報が表示される。
【0020】
システムコントロール回路106はプロセッサ100の全動作を制御するマイクロコンピュータであり、CPU、種々のルーチンを実行するためのプログラムやパラメータを格納するROMや、データ等を一時的に格納するRAMを備える。
【0021】
プロセッサ100は自動調光機能を備える。詳述すると、プロセッサ100は、映像信号処理回路104から出力された1フレーム分の撮像信号の平均輝度レベルを算出し、この平均輝度レベルに基づいて、光源102と光ガイド部材12の入射端面との間には設けられた絞り112の開度を適正なものに調整する。これにより光量は自動的に調節される。
【0022】
また、プロセッサ100にはコントラスト方式のオートフォーカス機能が設けられる。具体的には、ズーム/フォーカス制御回路114により可動レンズを動かし、フォーカス検出回路108により映像信号処理回路104から出力された撮像信号から特定周波数成分の振幅の変化量を検出する。システムコントロール回路106は、フォーカス検出回路108の検出結果に基づいて信号振幅が最大値を取るときに合焦であると判定する。
【0023】
オートフォーカス機能や自動調光機能などは、プロセッサ100の表面に設けられたパネルスイッチ110により設定または解除される。
【0024】
図2は、映像信号処理回路104の詳細を示すブロック図である。スコープ10から入力された1フレーム分のデジタル輝度信号は、輪郭強調回路120により輪郭が強調された後、輝度信号用メモリ(Yメモリ)140に格納される。対応する1フレーム分のデジタル色差信号は色差信号用メモリ(R−Y/B−Yメモリ)142に格納される。両メモリ140および142に格納された輝度信号および色差信号は同時にエンコーダ144に読み出され、ここで同期信号が付加されてNTSCコンポジットビデオ信号に変換される。
【0025】
輪郭強調回路120は2次元デジタルフィルタであり、例えば次に示す(1)式のように所定の画素の輝度値X(i,j)とその周囲の8画素の輝度値とにそれぞれ、絶対値が1未満のフィルタ係数C(n,m)(但しn=0〜2,m=0〜2)を乗算し、その総和を中心画素の輝度値Y(i,j)として出力する。フィルタ係数C(n,m)は係数制御回路132によって定められ、この係数が変わると輪郭強調の度合いが変化する。なお、各フィルタ係数の具体的な数値については様々なものが知られており、ここでは述べない。
【0026】
【数1】
Figure 0004648576
【0027】
上記輪郭強調機能は手動で設定および設定解除することができる。パネルスイッチ110(図1)には輪郭強調設定スイッチ110aが設けられており、この輪郭強調設定スイッチ110aを押下することにより設定および設定解除が切り替えられる。具体的には、輪郭強調設定スイッチ110aを押下して輪郭強調機能を設定すると、システムコントロール回路106から係数選択信号が係数制御回路132に対して出力され、9つのフィルタ係数C(n,m)がそれぞれ所定の値に設定され、これらフィルタ係数Cの値に応じた度合いで輪郭が強調される。一方、設定解除が指示されたときにはシステムコントロール回路106から係数選択信号が係数制御回路132に対して出力され、中央画素のフィルタ係数の値が1、その他は0に設定される。即ち、輪郭強調回路120は実質的に作動せず、輪郭は強調されない。
【0028】
一般に、スコープ10の先端部10aを消化器官などの円筒状内壁内を進退する場合にはズーミングは行わず、モニタ装置200の画面には中央が暗く周囲が明るい映像が表示される。このとき中央の暗い部分にはノイズが目立つため、上記輪郭強調機能は好ましくなく、輪郭強調を相対的に弱くすることが好ましい。一方、所望の観察部位に先端部10aが到達し、病巣等を探す場合にはズーミングを行って拡大観察するが、このとき輪郭強調は強い方が好ましい。
【0029】
このようなスコープ10の使用状態を鑑み、ズームダイヤル18が操作されて拡大ズーミングが行われていることがシステムコントロール回路106において検出されると、システムコントロール回路106は係数選択信号を係数制御回路132に送出し、フィルタ係数C(n,m)の値を輪郭強調を強くするような値に設定させる。一方、拡大ズーミングが行われていないことが検出されると輪郭強調を弱くすべく係数選択信号を係数制御回路132に送出する。従って、拡大ズーミングが行われているときには、自動的に輪郭強調の度合いが強められて高精度の映像をモニタ装置200に表示させることができる。
【0030】
なお、輝度信号は輪郭強調回路120の前段からフォーカス検出回路108に入力され、ここでは輪郭強調する前の輝度信号に基づいて合焦状態が検出され、システムコントロール回路106に検出結果が出力される。
【0031】
図3は、プロセッサ100のシステムコントロール回路106において実行される輪郭強調処理ルーチンを示すフローチャートである。
【0032】
ステップS102ではパネルスイッチ100においてズーム機能およびオートフォーカス機能が設定され、かつズームダイヤル18により拡大画像を表示すべくズーミングが指示されているか否かが判定され、拡大表示が設定されていなければステップS112に進み、輪郭強調が相対的に弱くなるようなフィルタ係数を変更させる係数選択信号が出力される。そしてステップS112が終了するとステップS114において標準倍率の画像をモニタ装置200に表示させるべく映像信号処理回路104を駆動制御し、その後ステップS102に戻る。
【0033】
ステップS102においてズーミングによる拡大表示が設定されたと判定されると、ステップS104ではズーム/フォーカス制御回路114によるズーミングおよびオートフォーカス動作を開始させるとともに、フォーカス検出回路108によって合焦状態を検出させる。ステップS106では合焦状態であるか否かが判定され、合焦状態でなければステップS102からS106が繰り返し実行され、合焦状態であると判定されるとステップS108に進む。
【0034】
ステップS108では輪郭強調を相対的に強くするようなフィルタ係数の値を設定するための係数選択信号が出力され、ステップS110において拡大した画像をモニタ装置200に表示させるべく映像信号処理回路104を駆動制御し、その後ステップS102に戻る。
【0035】
このように、本実施形態の電子内視鏡装置によると、拡大ズーミングを行った場合には輪郭の明確な画像が得られると共に、拡大ズーミングを行わない場合にはノイズの目立たない高精度の画像を自動的に得ることができる。
【0036】
【発明の効果】
以上説明したように本発明の電子内視鏡装置は、ズーミングを行った際に高精度の画像を自動的に得ることを目的とする。
【図面の簡単な説明】
【図1】本発明による電子内視鏡システムの概略ブロック図である。
【図2】図1に示す映像信号処理回路の詳細を示すブロック図である。
【図3】プロセッサのシステムコントロール回路において実行される輪郭強調処理ルーチンを示すフローチャートである。
【符号の説明】
10 スコープ
14 撮像センサ
100 プロセッサ
104 映像信号処理回路
120 輪郭強調回路
200 モニタ装置

Claims (3)

  1. 固体撮像素子と、焦点距離が可変な撮影光学系とを有するスコープと、
    前記撮影光学系の焦点距離を制御するズーム手段と、前記固体撮像素子から出力された撮像信号にフィルタ係数を乗算して輪郭を強調させる輪郭強調回路と、ズーミングを検出する検出手段と、前記検出手段による検出結果に応じて前記輪郭強調回路のフィルタ係数を制御する係数制御手段と、輪郭強調された前記撮像信号に基づいてビデオ信号を生成するビデオ信号生成手段とを有するプロセッサと、
    前記プロセッサにより出力された前記ビデオ信号に基づいて、画面に前記被写体像を再現するモニタ装置とを備える電子内視鏡装置において、
    前記検出手段によってズーミングが検出された場合には、前記係数制御手段によって前記フィルタ係数は輪郭強調の度合いが相対的に強くなるように設定され、前記検出手段によってズーミングが検出されない場合には、前記係数制御手段によって前記フィルタ係数は輪郭強調の度合いが相対的に弱くなるように設定されることを特徴とする電子内視鏡装置。
  2. 前記輪郭強調回路による輪郭強調機能の設定および設定解除を指示するための指示手段を備えることを特徴とする請求項1に記載の電子内視鏡装置。
  3. 固体撮像素子と、焦点距離が可変な撮影光学系とを有するスコープが接続される電子内視鏡装置のプロセッサであって、
    前記撮影光学系の焦点距離を制御するズーム手段と、前記固体撮像素子から出力された撮像信号にフィルタ係数を乗算して輪郭を強調させる輪郭強調回路と、ズーミングを検出する検出手段と、前記検出手段による検出結果に応じて前記輪郭強調回路のフィルタ係数を制御する係数制御手段と、輪郭強調された前記撮像信号に基づいてビデオ信号を生成するビデオ信号生成手段とを有し、
    前記検出手段によってズーミングが検出された場合には、前記係数制御手段によって前記フィルタ係数は輪郭強調の度合いが相対的に強くなるように設定され、前記検出手段によってズーミングが検出されない場合には、前記係数制御手段によって前記フィルタ係数は輪郭強調の度合いが相対的に弱くなるように設定されることを特徴とする電子内視鏡装置のプロセッサ。
JP2001181074A 2001-06-15 2001-06-15 電子内視鏡装置 Expired - Fee Related JP4648576B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001181074A JP4648576B2 (ja) 2001-06-15 2001-06-15 電子内視鏡装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001181074A JP4648576B2 (ja) 2001-06-15 2001-06-15 電子内視鏡装置

Publications (2)

Publication Number Publication Date
JP2002369794A JP2002369794A (ja) 2002-12-24
JP4648576B2 true JP4648576B2 (ja) 2011-03-09

Family

ID=19021397

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001181074A Expired - Fee Related JP4648576B2 (ja) 2001-06-15 2001-06-15 電子内視鏡装置

Country Status (1)

Country Link
JP (1) JP4648576B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4694306B2 (ja) 2005-08-17 2011-06-08 Hoya株式会社 輪郭強調処理ユニット
CN102984989B (zh) 2010-08-30 2015-08-19 奥林巴斯医疗株式会社 内窥镜装置
JPWO2012042966A1 (ja) * 2010-09-28 2014-02-06 オリンパスメディカルシステムズ株式会社 画像表示装置、画像表示方法および画像表示プログラム
US10341588B2 (en) * 2013-03-15 2019-07-02 DePuy Synthes Products, Inc. Noise aware edge enhancement

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0811111B2 (ja) * 1988-04-22 1996-02-07 オリンパス光学工業株式会社 電子式内視鏡装置
JPH0444473A (ja) * 1990-06-11 1992-02-14 Mitsubishi Electric Corp 撮像装置の信号処理装置
JP2872833B2 (ja) * 1991-09-05 1999-03-24 三菱電機株式会社 ビデオカメラ
JPH06261238A (ja) * 1993-03-05 1994-09-16 Canon Inc 撮像装置
JPH07148111A (ja) * 1993-11-30 1995-06-13 Toshiba Corp 電子内視鏡装置
JPH0851634A (ja) * 1994-08-05 1996-02-20 Hitachi Denshi Ltd テレビジョンカメラ装置
JPH08163551A (ja) * 1994-12-06 1996-06-21 Olympus Optical Co Ltd 電子内視鏡装置
JPH10151107A (ja) * 1996-09-30 1998-06-09 Olympus Optical Co Ltd 内視鏡装置
JPH11239294A (ja) * 1998-02-24 1999-08-31 Sony Corp ビデオカメラ
JP4281929B2 (ja) * 1998-11-18 2009-06-17 カシオ計算機株式会社 エッジ強調装置及びエッジ強調方法
JP3396190B2 (ja) * 1998-11-26 2003-04-14 オリンパス光学工業株式会社 画像処理装置
JP2000287202A (ja) * 1999-03-30 2000-10-13 Fuji Photo Optical Co Ltd 電子内視鏡装置
JP2001008097A (ja) * 1999-06-22 2001-01-12 Fuji Photo Optical Co Ltd 電子内視鏡装置

Also Published As

Publication number Publication date
JP2002369794A (ja) 2002-12-24

Similar Documents

Publication Publication Date Title
JP4360777B2 (ja) 電子内視鏡装置の増幅度自動調整装置
EP2926718B1 (en) Endoscope system
JP4175711B2 (ja) 撮像装置
JPS63294826A (ja) 内視鏡装置
WO2012033200A1 (ja) 撮像装置
JP2008043742A (ja) 電子内視鏡システム
JP4648576B2 (ja) 電子内視鏡装置
JP3607816B2 (ja) 電子内視鏡装置
JP2001154085A (ja) 内視鏡装置
JP2010099171A (ja) 画像取得方法および内視鏡装置
JP2000197604A (ja) 内視鏡装置
JP4648577B2 (ja) 電子内視鏡装置
JP3140548B2 (ja) 内視鏡像の明るさ制御装置
JP2007215907A (ja) 内視鏡プロセッサ、内視鏡システム、及びブラックバランス調整プログラム
JPH08278442A (ja) フォーカシング方法及び装置
JP2002369797A (ja) 電子内視鏡装置
JP4217501B2 (ja) 自動焦点調節装置
JPH10165363A (ja) 内視鏡用撮像信号処理装置
JP2002291690A (ja) 電子内視鏡装置および電子内視鏡システム
JP2002369795A (ja) 電子内視鏡装置
JP2003325444A (ja) 電子内視鏡装置および映像信号処理装置
JP2821196B2 (ja) 電子内視鏡用ビデオプロセッサ
JP2823561B2 (ja) 内視鏡用自動調光制御装置
JPH05285102A (ja) 内視鏡システム
JPH03151930A (ja) 電子内視鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080313

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080430

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101210

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4648576

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees