JP2872030B2 - Ultrasound diagnostic equipment - Google Patents
Ultrasound diagnostic equipmentInfo
- Publication number
- JP2872030B2 JP2872030B2 JP5350565A JP35056593A JP2872030B2 JP 2872030 B2 JP2872030 B2 JP 2872030B2 JP 5350565 A JP5350565 A JP 5350565A JP 35056593 A JP35056593 A JP 35056593A JP 2872030 B2 JP2872030 B2 JP 2872030B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- signal
- screen
- ultrasonic
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000002604 ultrasonography Methods 0.000 title description 3
- 238000003745 diagnosis Methods 0.000 claims description 9
- 239000002131 composite material Substances 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 20
- 238000000926 separation method Methods 0.000 description 8
- 238000003780 insertion Methods 0.000 description 7
- 230000037431 insertion Effects 0.000 description 7
- 238000000034 method Methods 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 102100031584 Cell division cycle-associated 7-like protein Human genes 0.000 description 1
- 238000012327 Endoscopic diagnosis Methods 0.000 description 1
- 101000777638 Homo sapiens Cell division cycle-associated 7-like protein Proteins 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Description
【0001】[0001]
【産業上の利用分野】本発明は、超音波を体内組織に照
射し、超音波の持つ組織の音響インピーダンスの境界面
で反射する特性を利用し、体内の組織断層画像を得る超
音波診断装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an ultrasonic diagnostic apparatus for irradiating an ultrasonic wave to a tissue in a body and obtaining a tomographic image of a tissue in the body by utilizing the characteristic of the ultrasonic wave reflected at the boundary of the acoustic impedance of the tissue. About.
【0002】[0002]
【従来の技術】近年、超音波を体内組織に照射し、超音
波の持つ組織の音響インピーダンスの境界面で反射する
特性を利用し、体内の組織断層画像を得る超音波診断に
おいては、公知の細径超音波プローブを公知の内視鏡の
鉗子チャネルより挿入して超音波診断をするといった手
技が広まりつつある。2. Description of the Related Art In recent years, in ultrasonic diagnostics for obtaining a tissue tomographic image of a body by irradiating an ultrasonic wave to a tissue in the body and utilizing a characteristic of the ultrasonic wave reflected at a boundary of acoustic impedance of the tissue, the ultrasonic wave is known. Techniques such as inserting a small-diameter ultrasonic probe from a known forceps channel of an endoscope and performing ultrasonic diagnosis are becoming widespread.
【0003】従来は、超音波診断する際に観察部位の内
視鏡像を見る場合、超音波画像用のモニタと内視鏡用の
モニタの2つの表示手段を設けたり、また、2つの画像
を1つのモニタで観察するためには、民生品のモニタで
は公知のモニタ画面内に他の画像を子画面表示可能なモ
ニタ(以降PIPモニタ)を使用するか、または、高価
な放送用機器を用いていた。Conventionally, when viewing an endoscopic image of an observation site at the time of ultrasonic diagnosis, two display means, a monitor for an ultrasonic image and a monitor for an endoscope, are provided, or two images are displayed. In order to observe on a single monitor, a consumer monitor uses a monitor (hereinafter referred to as a PIP monitor) that can display another image in a small screen on a known monitor screen, or uses an expensive broadcast device. I was
【0004】[0004]
【発明が解決しようとする課題】しかしながら、民生用
のPIPモニタは、図13に示すように、例えば胃31
の検査で、親画面32に超音波像、子画面33に内視鏡
像といった親子画面表示を行ったとき、子画面33を表
示する位置が変更できないことによって場合によって
は、超音波像の関心領域ROI34が子画面33によっ
て見えなくなってしまうといった不具合がでてしまう。However, a PIP monitor for consumer use, as shown in FIG.
In the inspection of the above, when a parent-child screen such as an ultrasonic image is displayed on the parent screen 32 and an endoscopic image is displayed on the child screen 33, the position where the child screen 33 is displayed cannot be changed. There is a problem that the ROI 34 cannot be seen by the child screen 33.
【0005】また、高価な放送用機器を使用すれば、子
画面33の表示位置は変更可能であるが、術者が内視鏡
および超音波プローブを操作しながら、なお放送用機器
を操作するといったことは術者への負担を増加させ、そ
の結果診断時間が増加するといった不具合が発生してし
まう。[0005] In addition, if expensive broadcasting equipment is used, the display position of the small screen 33 can be changed, but the operator still operates the broadcasting equipment while operating the endoscope and the ultrasonic probe. This increases the burden on the operator, and as a result, a problem such as an increase in diagnosis time occurs.
【0006】本発明は上記事情に鑑みてなされたもので
あり、超音波画像と他の画像とを親子画像として表示す
ると共に、簡単な構成により、子画像による親画像のケ
ラレを防止することのできる超音波診断装置を提供する
ことを目的とする。SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances, and displays an ultrasonic image and another image as a parent-child image, and prevents the vignetting of the parent image due to the child image by a simple configuration. It is an object of the present invention to provide an ultrasonic diagnostic apparatus capable of performing the above.
【0007】[0007]
【課題を解決するための手段および作用】本発明による
超音波診断装置は、超音波を送受して得られた超音波断
層像の画像情報で構成される第1の診断画像と、前記第
1の診断画像とは異なる画像情報から構成される第2の
診断画像とを表示手段の同一画面上に表示する機能を有
する超音波診断装置において、前記第1の診断画像を生
成する第1の映像信号に基づき、前記第1の診断画像を
複数に分割したときの各領域における各々の輝度情報を
演算する輝度情報演算手段と、前記輝度情報演算手段で
演算された各領域の輝度情報に基づき、前記第1の診断
画像における関心領域を判定する判定手段と、前記判定
手段の判定結果に基づき、前記第1の診断画像の非関心
領域に前記第2の診断画像を挿入するように、前記第1
の診断画像を生成する第1の映像信号と前記第2の診断
画像を生成する第2の映像信号とを合成する映像信号合
成手段と、前記映像信号合成手段で合成された映像信号
を前記表示手段に出力する合成映像信号出力手段とを備
えたことを特徴とする。 According to the present invention , there are provided:
Ultrasound diagnostic equipment transmits and receives ultrasonic waves.
A first diagnostic image composed of image information of a layer image;
A second diagnostic image composed of image information different from the first diagnostic image
A function to display diagnostic images on the same screen of the display means
Generating the first diagnostic image.
The first diagnostic image is generated based on the first video signal to be generated.
Each brightness information in each area when divided into multiple
Brightness information calculating means for calculating, and the brightness information calculating means
The first diagnosis is performed based on the calculated luminance information of each area.
Determining means for determining a region of interest in an image;
Non-interest of the first diagnostic image based on the determination result of the means
Inserting the second diagnostic image into the region,
A first video signal for generating a diagnostic image of the second diagnostic image
A video signal combination for synthesizing with a second video signal for generating an image
And a video signal synthesized by the video signal synthesizing means.
Output means for outputting to the display means.
It is characterized by .
【0008】[0008]
【実施例】図1乃至図6は第1実施例に係わり、図1は
信号処理装置構成を示す構成図、図2は図1の信号処理
装置より生成される画像の概念構成を示す概念図、図3
は図1の信号処理装置を備えた超音波診断装置の外観を
示す外観図、図4は図1のRAMに取り込まれる映像信
号を説明する説明図、図5は図1の信号処理装置により
生成される親子画像での子画像の挿入位置を説明する説
明図、図6は図1による具体的な画像の表示例を説明す
る説明図である。1 to 6 relate to the first embodiment. FIG. 1 is a block diagram showing a configuration of a signal processing device, and FIG. 2 is a conceptual diagram showing a conceptual configuration of an image generated by the signal processing device of FIG. , FIG.
FIG. 4 is an external view showing the appearance of an ultrasonic diagnostic apparatus provided with the signal processing device of FIG. 1, FIG. 4 is an explanatory diagram for explaining video signals taken into the RAM of FIG. 1, and FIG. 5 is generated by the signal processing device of FIG. FIG. 6 is an explanatory diagram for explaining the insertion position of a child image in a parent-child image to be performed, and FIG. 6 is an explanatory diagram for explaining a specific image display example shown in FIG.
【0009】本実施例では、図2に示すように、親画面
を4つの領域、すなわち第1領域1a,第2領域1b,
第3領域1c,第4領域1dに分割し、内視鏡画像2を
子画面とし、内視鏡画像2を第1領域1a,第2領域1
b,第3領域1c,第4領域1dのいずれかの領域に表
示させることのできる超音波診断装置である(図2の場
合は第4領域に内視鏡画像2を表示させている)。In this embodiment, as shown in FIG. 2, the parent screen is divided into four areas, that is, a first area 1a, a second area 1b,
The image is divided into a third region 1c and a fourth region 1d, and the endoscope image 2 is used as a child screen, and the endoscope image 2 is divided into the first region 1a and the second region 1
b, an ultrasonic diagnostic apparatus that can be displayed in any of the third area 1c and the fourth area 1d (in FIG. 2, the endoscope image 2 is displayed in the fourth area).
【0010】具体的な本実施例の超音波診断装置の構成
は、図3に示すように、図示しない内視鏡及び超音波プ
ローブが接続され、内視鏡像の映像信号及び超音波像の
映像信号を信号処理する信号処理装置11と、信号処理
装置11により信号処理された超音波画像及び内視鏡画
像を表示するモニタ装置12とから構成され、信号処理
装置11の操作パネル11aには、後述する処理を指示
するための回転スイッチ13、キースイッチ14及びジ
ョイスティック15が設けられ、さらにはフットスイッ
チ16が接続されている。As shown in FIG. 3, a specific configuration of the ultrasonic diagnostic apparatus according to the present embodiment is such that an endoscope and an ultrasonic probe (not shown) are connected, and an image signal of an endoscope image and an image of an ultrasonic image. The signal processing device 11 is configured to include a signal processing device 11 that processes signals, and a monitor device 12 that displays an ultrasonic image and an endoscope image processed by the signal processing device 11. An operation panel 11 a of the signal processing device 11 includes: A rotary switch 13, a key switch 14, and a joystick 15 for instructing processing to be described later are provided, and a foot switch 16 is connected.
【0011】前記信号処理装置11では、図1に示すよ
うに、例えば内視鏡像を子画像とした子画面映像信号
(例えばY,R−Y,B−Y信号)が、A/Dコンバー
タ21と同期分離回路22に入力される。そして、A/
Dコンバータ21の出力データは、RAM23(例えば
デュアルポートDRAM)に出力される。RAM23の
制御端子には、メモリコントローラ25の制御信号が出
力されるようになっており、このメモリコントローラ2
5の制御信号に基づき、RAM23ではA/Dコンバー
タ21の出力であるデジタル画像データを圧縮画像とし
て記憶する。そして、メモリコントローラ25の制御信
号に基づき、RAM23に記憶された圧縮子画面画像デ
ータが、D/Aコンバータ24でアナログ信号に変換さ
れ、親/子画面切り換えスイッチ26(例えば公知のビ
デオSW)に出力されるようになっている。In the signal processing device 11, as shown in FIG. 1, for example, a small-screen video signal (for example, a Y, RY, BY signal) having an endoscope image as a small image is converted into an A / D converter 21. Is input to the synchronization separation circuit 22. And A /
The output data of the D converter 21 is output to the RAM 23 (for example, a dual port DRAM). A control signal of the memory controller 25 is output to a control terminal of the RAM 23.
Based on the control signal of No. 5, the RAM 23 stores digital image data output from the A / D converter 21 as a compressed image. Then, based on the control signal of the memory controller 25, the compressed small-screen image data stored in the RAM 23 is converted into an analog signal by the D / A converter 24, and is converted to a parent / small-screen switch 26 (for example, a known video SW). It is output.
【0012】同期分離回路22では、入力された子画面
映像信号より垂直同期信号KV及び水平同期信号KHを
分離しメモリコントローラ25に出力する。[0012] Synchronous The separation circuit 22 separates a vertical sync signal K V and the horizontal synchronization signal K H from the input sub-screen video signal outputted to the memory controller 25.
【0013】一方、例えば超音波像を親画像とした親画
面映像信号(例えばY,R−Y,B−Y信号)は、同期
分離回路27及び親/子画面切り換えスイッチ26に出
力され、同期分離回路27では、入力された親画面映像
信号より垂直同期信号OV及び水平同期信号OHを分離
しメモリコントローラ25に出力する。Meanwhile, for example, a parent picture ultrasound image and the parent image
Plane video signal (e.g. Y, R-Y, B- Y signal) is output to the synchronous separation circuit 27 and a parent / child screen changeover switch 26, the synchronous separation circuit 27, vertical from the main screen video signal input sync separating the signal O V and the horizontal synchronization signal O H is output to the memory controller 25.
【0014】この同期分離回路22、27からの垂直同
期信号KV,OV、水平同期信号KH,OHは、メモリ
コントローラ25に入力される。[0014] The vertical same from the sync separation circuit 22, 27
Period signal K V, O V, the horizontal sync signal K H, O H is input to the memory controller 25.
【0015】また子画面表示位置を切り換える子画面表
示位置切り換え信号が、上記の回転スイッチ13、キー
スイッチ14及びジョイスティック15あるいはフット
スイッチ16(図3参照)からメモリコントローラ25
に入力され、メモリコントローラ25からは親子画面切
り換え信号が親/子画面切り換えスイッチ26に入力さ
れるようになっている。The sub-screen display position switching signal for switching the sub-screen display position is transmitted from the rotary switch 13, key switch 14, joystick 15 or foot switch 16 (see FIG. 3) to the memory controller 25.
It is input to, so that the parent-child screen switching signals are input to the parent / child screen changeover switch 26 from the memory controller 25.
【0016】このように構成された超音波診断装置の作
用について説明する。The operation of the thus constructed ultrasonic diagnostic apparatus will be described.
【0017】子画面映像信号は、同期分離回路22によ
って水平同期信号KH、垂直同期信号KVが子画面映像
信号の輝度信号(Y信号)から分離される。同時に子画
面の輝度、色差信号は、A/Dコンバータ21でアナロ
グ/デジタル変換され、RAM23に入力される。この
際、RAM23に取り込まれる映像信号の範囲は、図4
の斜線の範囲であり、この取り込み範囲の制御は、メモ
リコントローラ25に入力されるKH,KV信号を基に
A/Dコンバータ21を動作させているクロックをカウ
ントすることで取り込みを実施している。In the small picture signal, the horizontal synchronizing signal KH and the vertical synchronizing signal KV are separated from the luminance signal (Y signal) of the small picture signal by the sync separation circuit 22. At the same time, the luminance and color difference signals of the child screen are converted from analog to digital by the A / D converter 21 and input to the RAM 23. At this time, the range of the video signal taken into the RAM 23 is as shown in FIG.
The capture range is controlled by counting clocks for operating the A / D converter 21 based on the KH and KV signals input to the memory controller 25. .
【0018】図4の例では、子画面取り込み範囲をKH
の立ち下がりから例えば88CLK カウントした領域から
を水平方向の取り込み始点とし、512CLK をRAM2
3に格納し、KVの立ち下がりから3Hカウントした領
域を取り込み始点とし、240Hを3Hおきに間びいて
RAM23に格納することで、3Hに1ラインの間隔で
メモリに書き込んでいく(なお、例えば、1CLK =64
0fH 1fH=15.74kHz 1H=63.5μSEC で
ある)。In the example shown in FIG.
For example, from the falling edge of 88CLK, the region from which 88 CLK has been counted is taken as the starting point in the horizontal direction, and 512CLKs are stored in RAM2.
3 and the area counted 3H from the fall of KV is taken as a starting point, and 240H is stored in the RAM 23 at intervals of 3H, so that data is written to the memory at an interval of one line at 3H (for example, for example, , 1CLK = 64
0fH 1fH = 15.74 kHz 1H = 63.5 μSEC).
【0019】このようなタイミングで、書き込んだデー
タを例えば、垂直方向で3Hおきにデータを書き込み、
連続して読み出すと、RAM23から出力されるデータ
は、子画面映像信号としてモニタ表示される画像の、垂
直に1/3に圧縮された画面になる。At such timing, the written data is written, for example, every 3H in the vertical direction.
When read continuously, the data output from the RAM 23 becomes a screen vertically compressed to 1/3 of the image displayed on the monitor as the small-screen video signal.
【0020】なお、水平方向は、読み出しにおいて約1
/3の間隔(240fH)をクロックとして読み出しを実
施することで水平方向の圧縮を実施している。Note that the horizontal direction is about 1
The compression in the horizontal direction is performed by performing reading using an interval of 3 (240 fH) as a clock.
【0021】この圧縮され記憶された子画像データをD
/Aコンバータ24で、輝度、色差信号にアナログ信号
に戻し、親/子画面切り換えスイッチ26に出力され
る。The compressed and stored child image data is represented by D
The A / A converter 24 returns the luminance and color difference signals to analog signals, which are output to the parent / child screen switch 26.
【0022】一方、同期分離回路27では、親画面映像
信号の水平同期信号OH、垂直同期信号OVが分離され
ており、その結果、メモリコントローラ25には、K
H,KV,OH,OVの各親子映像信号の水平、垂直同
期信号は入力される。On the other hand, in the synchronization separation circuit 27, the horizontal synchronization signal OH and the vertical synchronization signal OV of the main screen video signal are separated.
The horizontal and vertical synchronizing signals of the H, KV, OH, and OV parent and child video signals are input.
【0023】メモリコントローラ25は、この各同期信
号を内部に具備された図示しない公知のPLL回路とル
ープフィルタを用い、位相をロックさせ、RAM23の
データ読み出しおよび書き込み制御と、親/子画面切り
換えスイッチ26のスイッチ切り換えを行う。The memory controller 25 uses the well-known PLL circuit and loop filter (not shown) provided therein to lock the phases, controls the data reading and writing of the RAM 23, and switches the parent / child screen switch. 26 are switched.
【0024】そして、子画面の表示位置は、上記操作に
よりRAM23の読み出しを制御するだけで、親画面の
任意の位置に移動可能となり、例えば図5に示すよう
に、4つの領域に子画面が表示される。この領域の選択
は、メモリコントローラ25に入力される子画面表示位
置切り換え信号で実施される。各領域中に出力される画
面は、図5に示すクロックと走査線の番号の位置に表示
される。The display position of the child screen can be moved to an arbitrary position on the main screen only by controlling the reading of the RAM 23 by the above operation. For example, as shown in FIG. Is displayed. The selection of this area is performed by a small screen display position switching signal input to the memory controller 25. The screen output in each area is displayed at the clock and scanning line number positions shown in FIG.
【0025】具体的な親子画像を図6に示す。図6は、
例えば胃31の超音波画像を親画面32、そのときの内
視鏡画像を子画面33とした、親子画面表示像の子画面
を第4領域(図4参照)に移動した例である。FIG. 6 shows a specific parent-child image. FIG.
For example, this is an example in which a child screen of a parent-child screen display image is moved to a fourth area (see FIG. 4), where an ultrasonic image of the stomach 31 is a parent screen 32 and an endoscope image at that time is a child screen 33.
【0026】図6に示すように、子画面を第4領域に移
動することによって、親画面32である超音波画面の関
心領域(ROI)34の表示を子画面33が妨げること
を防いでいる。As shown in FIG. 6, moving the child screen to the fourth area prevents the child screen 33 from obstructing the display of the region of interest (ROI) 34 of the ultrasonic screen, which is the parent screen 32. .
【0027】従って、本実施例の超音波診断装置によれ
ば、回転スイッチ13、キースイッチ14及びジョイス
ティック15あるいはフットスイッチ16等からの子画
面表示位置切り換え信号を入力し、信号処理回路11が
子画像の表示位置を簡単に移動させることで、子画面の
表示位置を子画像による親画像のケラレを防止すること
ができ、親画像の関心領域が子画像により邪魔されない
ので、確実な診断が可能となる。Therefore, according to the ultrasonic diagnostic apparatus of the present embodiment, a small screen display position switching signal from the rotary switch 13, the key switch 14, the joystick 15, the foot switch 16 or the like is input, and the signal processing circuit 11 By easily moving the display position of the image, the display position of the child screen can be prevented from vignetting of the parent image due to the child image, and the area of interest of the parent image is not disturbed by the child image, so reliable diagnosis is possible Becomes
【0028】なお、第1実施例では、親画像を超音波画
像とし子画像を内視鏡画像としたが、これに限らず、親
画像内視鏡画像とし子画像超音波画像としてもよく、さ
らには内視鏡画像を用いずに、例えば過去に撮影した同
一患者の超音波画像を録画したビデオ画像を用いてもよ
く、関心領域の時間的変化が把握でき、診断が容易にな
るといった効果が期待できる。In the first embodiment, the parent image is an ultrasonic image and the child image is an endoscopic image. However, the present invention is not limited to this. The parent image may be an endoscopic image and the child image may be an ultrasonic image. Instead of using an endoscopic image, for example, a video image of an ultrasonic image of the same patient taken in the past may be used, and it is expected that the temporal change of the region of interest can be grasped and the diagnosis can be easily performed. it can.
【0029】次に第2実施例について説明する。図7乃
至図12は第2実施例に係わり、図7は領域判定回路の
構成を示す構成図、図8は図7の領域輝度判定回路の構
成を示す回路図、図9は図7の領域判定回路で処理され
る親画像としての内視鏡画像を説明する説明図、図10
は図7の領域判定回路で処理される親画像としての超音
波画像を説明する説明図、図11は図8の領域輝度判定
回路の各信号のタイミングを示すタイミング図、図12
は図8の判定回路の処理の流れを示すフローチャートで
ある。Next, a second embodiment will be described. 7 to 12 relate to the second embodiment, FIG. 7 is a configuration diagram showing a configuration of an area determination circuit, FIG. 8 is a circuit diagram showing a configuration of an area luminance determination circuit of FIG. 7, and FIG. FIG. 10 is an explanatory diagram illustrating an endoscope image as a parent image processed by the determination circuit, FIG.
FIG. 11 is an explanatory diagram illustrating an ultrasonic image as a parent image processed by the region determination circuit in FIG. 7; FIG. 11 is a timing diagram illustrating timings of signals of the region luminance determination circuit in FIG.
9 is a flowchart showing the flow of the processing of the determination circuit of FIG.
【0030】第2実施例は、第1実施例が子画面表示位
置を回転スイッチ13、キースイッチ14及びジョイス
ティック15あるいはフットスイッチ16等により術者
が指示するのに対して子画像の表示位置を自動的に判定
する領域判定手段を設けた点が第1実施例と異なるだけ
であるので、異なる構成のみ説明し、第1実施例と同一
な構成には同じ符号を付け説明は省略する。The second embodiment is different from the first embodiment in that the operator instructs the display position of the child screen by using the rotary switch 13, key switch 14, joystick 15 or foot switch 16, while the display position of the child image is changed. The only difference from the first embodiment lies in the provision of an area determination means for automatically determining. Therefore, only different configurations will be described.
【0031】第2実施例の超音波診断装置では、図7に
示すような領域判定回路を備えており、この領域判定回
路では、図示しない超音波プローブからのECHO信号
は、検波回路41に入力される。検波回路41で復調さ
れたECHO信号は、LOGAMP42で対数圧縮さ
れ、A/Dコンバータ43に入力されデジタルデータに
変換され(本実施例では8ビットデータ)、変換された
デジタルデータはVRAM44に入力される。VRAM
44の書き込み・読み出しアドレスは、アドレス発生回
路45で発生される。The ultrasonic diagnostic apparatus according to the second embodiment has an area determination circuit as shown in FIG. 7. In this area determination circuit, an ECHO signal from an ultrasonic probe (not shown) is input to a detection circuit 41. Is done. The ECHO signal demodulated by the detection circuit 41 is logarithmically compressed by the LOGAMP 42, input to the A / D converter 43 and converted into digital data (8-bit data in this embodiment), and the converted digital data is input to the VRAM 44. You. VRAM
The write / read address 44 is generated by an address generation circuit 45.
【0032】アドレス発生回路45には、図示しない公
知の超音波内視鏡に具備されたエンコーダからの回転基
準信号(ラジアル走査の場合通常Z相)と、回転角度信
号(ラジアル走査の場合通常A相)と、テレビ信号発生
回路46からの水平同期信号HDと、垂直同期信号VD
と入力される。The address generating circuit 45 includes a rotation reference signal (usually Z-phase in the case of radial scanning) from a encoder provided in a known ultrasonic endoscope (not shown) and a rotation angle signal (usually A in the case of radial scanning). Phase), the horizontal synchronization signal HD from the television signal generation circuit 46, and the vertical synchronization signal VD
Is entered.
【0033】VRAM44の出力(本実施例では8ビッ
トデータ)には、D/Aコンバータ47が接続され、D
/Aコンバータ47の出力(本実施例ではアナログの復
合映像後)は、モニタ12に接続される。A D / A converter 47 is connected to the output (8-bit data in this embodiment) of the VRAM 44,
The output of the A / A converter 47 (after the analog decoded video in this embodiment) is connected to the monitor 12.
【0034】VRAM44の出力(本実施例では8ビッ
トデータ)は、画面の各領域の任意の輝度より高い画素
数を計数し、子画面の挿入領域を判定する領域輝度判定
回路48に出力される。この領域輝度判定回路48は、
キーボードまたは超音波診断装置に具備された指示スイ
ッチからの親子画面切り換え指示信号(O/K信号)を
入力すると共に、制御回路50から子画面の表示領域を
判定するためのRANGE信号、計数値をクリアするC
LR信号および計数値をラッチするLatch信号を入
力し、子画面の挿入領域を判定する。判定された領域
は、DET信号として図示はしないが第1実施例のメモ
リコントローラ25に出力される。The output of the VRAM 44 (8-bit data in this embodiment) is output to an area luminance judgment circuit 48 which counts the number of pixels higher than an arbitrary luminance in each area of the screen and determines the insertion area of the child screen. . This area luminance judgment circuit 48
A parent / child screen switching instruction signal (O / K signal) is input from a keyboard or an instruction switch provided in the ultrasonic diagnostic apparatus, and a RANGE signal and a count value for determining a display area of the child screen are sent from the control circuit 50. C to clear
An LR signal and a Latch signal for latching a count value are input, and the insertion area of the child screen is determined. The determined area is output to the memory controller 25 of the first embodiment, though not shown, as a DET signal.
【0035】メモリコントローラ25では、第1実施例
の子画面表示位置切り換え信号の代わりとしてDET信
号を入力し、DET信号する。そして、メモリコントロ
ーラ25は、DET信号により判定された領域に子画像
を挿入し、その後は第1実施例と同様に、親/子画像切
り換えスイッチ26を介して親子画像をモニタ12に表
示する(図1参照)。The memory controller 25 inputs a DET signal instead of the small screen display position switching signal of the first embodiment, and outputs the DET signal. Then, the memory controller 25 inserts the child image into the area determined by the DET signal, and thereafter displays the parent / child image on the monitor 12 via the parent / child image switch 26 as in the first embodiment ( (See FIG. 1).
【0036】領域輝度判定回路48は、図8に示すよう
に、計数すべきある任意の輝度以上の画素を選択するし
きい値回路61(本実施例では、上位読み出された8ビ
ットの画素データ中、上位4ビットを抽出しORする構
成を記載しているが、公知のコンバレータ回路等、しき
い値を決定できる回路ならば何でもよい)と、しきい値
を越える画素のカウントをする各領域用に割り振られた
カウンタ62,63,64,65と、各カウンタ62〜
65が各領域でカウントして得られたデータをLatc
h信号をもとに記憶するレジスタ66,67,68,6
9と、各レジスタ66〜69の記憶データを判定し、親
子の切り換え信号を受けて、親画面としている画像の種
類(超音波像OR内視鏡画像)を判定し、後述する処理
に沿って子画面の挿入する領域を判定する判定回路70
(公知のマグニチュードコンバレータとPLDの組み合
わせやマイクロコンピュータ等どのような構成でもよ
い)が接続されている。As shown in FIG. 8, the area luminance judging circuit 48 selects a pixel having a luminance equal to or higher than a certain arbitrary luminance to be counted. The configuration in which the upper 4 bits are extracted and ORed in the data is described. However, any circuit that can determine the threshold, such as a well-known converter circuit, may be used. The counters 62, 63, 64, and 65 allocated for the area,
65 is the data obtained by counting in each region
Registers 66, 67, 68, 6 that store based on the h signal
9 and the data stored in each of the registers 66 to 69 are determined, and the type of image as the parent screen (ultrasonic image OR endoscopic image) is determined in response to the parent-child switching signal, and the processing is performed in accordance with the processing described later. Judgment circuit 70 for judging an area to insert a small screen
(A known combination of a magnitude converter and a PLD or a microcomputer may be used.)
【0037】このように構成された第2実施例の作用に
ついて説明する。The operation of the second embodiment configured as described above will be described.
【0038】本実施例は、親画面に挿入する子画面の位
置設定を超音波観測装置本体が、自動的に行い、術者の
操作を必要としない例である。The present embodiment is an example in which the ultrasonic observation apparatus body automatically sets the position of the child screen to be inserted into the main screen, and does not require the operation of the operator.
【0039】術者が親画面に内視鏡像を設定した場合、
内視鏡画像は図9に示すように、画面の右部分に内視鏡
像80が映し出され、残りの部分は患者ID、名前、時
間等の情報が映し出されるデータ表示部81となってい
るのが一般的である。患者ID等は、診断時における情
報としては術者にとって関心の薄い情報であり、内視鏡
診断中の術者の関心は、一般的に画面右部分の内視鏡像
80に集中する。When the operator sets an endoscope image on the main screen,
As shown in FIG. 9, the endoscope image has an endoscope image 80 displayed on the right portion of the screen, and the remaining portion is a data display section 81 on which information such as the patient ID, name, and time is displayed. Is common. The patient ID and the like are information of little interest to the operator as information at the time of diagnosis, and the interest of the operator during endoscopic diagnosis generally concentrates on the endoscope image 80 in the right part of the screen.
【0040】仮に、内視鏡像80の関心領域ROIが画
面の左の部分に表示されても、内視鏡の図示しないアン
グルを操作するだけで、関心領域ROIを右の部分に移
動して表示する。Even if the region of interest ROI of the endoscope image 80 is displayed on the left part of the screen, the region of interest ROI is moved to the right part and displayed by simply operating an unillustrated angle of the endoscope. I do.
【0041】一方、術者が親画面に超音波像を設定した
場合、通常内視鏡に比べて超音波内視鏡は、その操作が
難しく一旦表示された関心領域ROIを画面上の任意の
位置に移動させることは容易ではない。また一般的に、
超音波診断においては、粘膜面のある限られた部分の層
構造を観察する等超音波像の関心領域ROIは画面のあ
る限られた領域に限定されることが多い。On the other hand, when the operator sets an ultrasonic image on the parent screen, the operation of the ultrasonic endoscope is difficult compared to the normal endoscope, and the once displayed region of interest ROI is displayed on the screen. Moving to a position is not easy. Also, in general,
In ultrasonic diagnosis, the region of interest ROI of an ultrasonic image is often limited to a limited area on the screen, such as observing a layer structure of a limited part of a mucosal surface.
【0042】すなわち、超音波画面に内視鏡像を子画面
表示する場合、現在表示されている超音波画面のどの部
分が関心領域ROIであるか判断して、子画面挿入位置
を決定すると親画面の関心領域ROIが子画面の表示で
見えなくなるといった不具合の解消になると考えられ
る。That is, when an endoscopic image is displayed as a sub-screen on the ultrasonic screen, it is determined which part of the currently displayed ultrasonic screen is the region of interest ROI, and when the sub-screen insertion position is determined, the main screen is displayed. It is considered that the problem that the region of interest ROI becomes invisible on the display of the child screen is solved.
【0043】そこで、超音波画像の輝度の高い部分が集
合している場合、その領域に関心領域ROIが存在する
確率が高い、裏を返せば子画面挿入に最も適した領域
は、高い輝度の分布が最も低い領域であることを利用し
て子画面の、親画面への挿入を術者の操作がなく自動で
行う。Therefore, when the high-luminance portions of the ultrasonic image are aggregated, there is a high probability that the region of interest ROI exists in that region. Utilizing that the distribution is the lowest area, the child screen is automatically inserted into the parent screen without the operation of the operator.
【0044】つまり、超音波の断層像はモニタ一杯に表
示されるのではなく、図10に示すようなフォーマット
で映し出される。In other words, the tomographic image of the ultrasonic wave is not displayed on the full monitor, but is displayed in a format as shown in FIG.
【0045】そこで、超音波の断層像を、図10に示さ
れるように、4つの領域に分割して(RANGE1〜
4)、その各領域の任意のしきい値レベルを越える画素
の数をカウントする。Therefore, as shown in FIG. 10, the ultrasonic tomographic image is divided into four regions (RANGE1 to RANGE1).
4) Count the number of pixels exceeding an arbitrary threshold level in each area.
【0046】図7及び図8において、VRAM44から
領域輝度判定回路48に画素の輝度レベルデータ(本実
施例では8ビット)の上位の4ビットデータが入力され
る。上位の4ビットデータは、領域輝度判定回路48の
しきい値回路61(本実施例では4入力ORで構成され
る)でしきい値を越えるデータが入力されたとき、HI
GHのデータが入力される。In FIG. 7 and FIG. 8, upper 4 bits of pixel luminance level data (8 bits in this embodiment) are inputted from the VRAM 44 to the area luminance judging circuit 48. The upper 4-bit data is set to HI when data exceeding the threshold is input by the threshold circuit 61 (constituted by a 4-input OR in this embodiment) of the area luminance judgment circuit 48.
GH data is input.
【0047】同時に制御回路50は、水平同期信号OH
垂直同期信号OVを基準とし、上記4ビットデータがど
の領域のデータであるか判定し、領域輝度判定回路48
の後段のカウンタ62〜65のET信号を操作し、各カ
ウンタを切り換える信号RANGE1〜4がカウンタ6
2〜65に入力される。なお、各信号のタイミングを図
11に示す。At the same time, the control circuit 50 controls the horizontal synchronizing signal OH
Based on the vertical synchronizing signal OV, it is determined which area the 4-bit data belongs to.
The ET signals of the counters 62 to 65 at the subsequent stage are operated, and the signals RANGE1 to RANGE4 for switching the respective counters are
2 to 65 are input. FIG. 11 shows the timing of each signal.
【0048】各領域において、カウンタ62〜65で画
素のカウントが実施され、最終的に制御回路50から入
力される垂直同期信号OVの立ち上がりに同期したLA
TCH信号で、カウンタ62〜65のカウンタの最終カ
ウント値を、レジスタ66〜69に蓄える。記憶された
データ(DATA1〜4)はその後、親と子の切り換え
信号により、使用している親画面が超音波画像であるこ
とを確認し、判定回路70から最もレジスタに蓄えられ
たデータの小さい領域を判定する。判定された領域はD
ET信号として、第1実施例のメモリコントローラ25
に入力され、子画面の挿入領域が自動的に切り換えられ
る。In each area, the pixels are counted by the counters 62 to 65, and the LA synchronized with the rising edge of the vertical synchronizing signal OV finally input from the control circuit 50.
With the TCH signal, the final count values of the counters 62 to 65 are stored in the registers 66 to 69. The stored data (DATA1 to 4) is then used to confirm that the parent screen being used is an ultrasonic image by a parent / child switching signal, and the determination circuit 70 stores the smallest data stored in the register. Determine the area. The determined area is D
As the ET signal, the memory controller 25 of the first embodiment is used.
And the insertion area of the child screen is automatically switched.
【0049】判定回路70による具体的な処理の流れ
は、図12に示すように、ステップS1で親子画面切り
換え指示信号により親画像が超音波画像であるか内視鏡
画像であるかを判断し、超音波画像ならばステップS2
に、内視鏡画像ならばステップS3に進む。As shown in FIG. 12, the flow of the specific processing by the determination circuit 70 is to determine whether the parent image is an ultrasonic image or an endoscope image in step S1 by a parent-child screen switching instruction signal. If it is an ultrasonic image, step S2
If the image is an endoscope image, the process proceeds to step S3.
【0050】ステップS3では、内視鏡を親画面にした
場合、第1または第4の領域に子画面(例えば超音波
像)を挿入するDET信号をメモリコントローラ25に
出力し処理を終了する。In step S3, when the endoscope is set as the parent screen, a DET signal for inserting a child screen (for example, an ultrasonic image) in the first or fourth area is output to the memory controller 25, and the processing is terminated.
【0051】ステップS2では、親画像である超音波画
像の各領域の輝度を積算し、ステップS4で最も輝度の
低い領域を判定し、ステップS5で最も輝度の低い領域
に子画面(例えば内視鏡像)を挿入するDET信号をメ
モリコントローラ25に出力し処理を終了する。In step S2, the luminance of each region of the ultrasonic image as the parent image is integrated, the region with the lowest luminance is determined in step S4, and the sub-screen (for example, endoscope) is placed in the region with the lowest luminance in step S5. A DET signal for inserting a mirror image is output to the memory controller 25, and the process is terminated.
【0052】このように第2実施例によれば、第1実施
例の効果に加え、術者が子画面の表示位置を設定するこ
となく最適な位置に子画面を自動的に表示することがで
きるので、特別な操作を必要とせずに、常に子画面の表
示位置を子画像による親画像のケラレを防止することが
できる。As described above, according to the second embodiment, in addition to the effects of the first embodiment, it is possible to automatically display a child screen at an optimum position without setting the display position of the child screen. Therefore, the display position of the child screen can always be prevented from vignetting of the parent image due to the child image without requiring any special operation.
【0053】[0053]
【発明の効果】以上説明したように本発明の超音波診断
装置によれば、設定手段で合成画像の縮小画像の挿入位
置を設定して前記表示手段に合成画像を表示するか、ま
たは、術者が子画面の表示位置を設定することなく最適
な位置に子画面を自動的に表示するので、簡単な構成に
より、子画像による親画像のケラレを防止することがで
きるという効果がある。According to the ultrasonic diagnostic apparatus of the present invention as described in the foregoing, to display the composite image on the display means by setting the insertion position of the reduced image of the composite image setting means, or
Or, it is optimal without the operator setting the display position of the child screen
Since the child screen is automatically displayed at an appropriate position, it is possible to prevent the vignetting of the parent image by the child image with a simple configuration.
【図1】第1実施例に係る信号処理装置構成を示す構成
図FIG. 1 is a configuration diagram illustrating a configuration of a signal processing device according to a first embodiment.
【図2】図1の信号処理装置より生成される画像の概念
構成を示す概念図FIG. 2 is a conceptual diagram showing a conceptual configuration of an image generated by the signal processing device of FIG.
【図3】図1の信号処理装置を備えた超音波診断装置の
外観を示す外観図FIG. 3 is an external view showing an external appearance of an ultrasonic diagnostic apparatus including the signal processing device of FIG. 1;
【図4】図1のRAMに取り込まれる映像信号を説明す
る説明図FIG. 4 is an explanatory diagram illustrating a video signal taken into a RAM of FIG. 1;
【図5】図1の信号処理装置により生成される親子画像
での子画像の挿入位置を説明する説明図FIG. 5 is an explanatory diagram for explaining an insertion position of a child image in a parent-child image generated by the signal processing device of FIG. 1;
【図6】図1による具体的な画像の表示例を説明する説
明図FIG. 6 is an explanatory diagram illustrating a specific example of display of an image according to FIG. 1;
【図7】第2実施例に係る領域判定回路の構成を示す構
成図FIG. 7 is a configuration diagram showing a configuration of an area determination circuit according to a second embodiment.
【図8】図7の領域輝度判定回路の構成を示す回路図FIG. 8 is a circuit diagram showing a configuration of an area luminance determination circuit in FIG. 7;
【図9】図7の領域判定回路で処理される親画像として
の内視鏡画像を説明する説明図FIG. 9 is an explanatory diagram illustrating an endoscope image as a parent image processed by the area determination circuit in FIG. 7;
【図10】図7の領域判定回路で処理される親画像とし
ての超音波画像を説明する説明図FIG. 10 is an explanatory diagram illustrating an ultrasonic image as a parent image processed by the area determination circuit in FIG. 7;
【図11】図8の領域輝度判定回路の各信号のタイミン
グを示すタイミング図FIG. 11 is a timing chart showing the timing of each signal of the area luminance determination circuit of FIG. 8;
【図12】図8の判定回路の処理の流れを示すフローチ
ャートFIG. 12 is a flowchart showing the flow of processing of the determination circuit of FIG. 8;
【図13】従来の超音波診断装置による親子画像を説明
する説明図FIG. 13 is an explanatory diagram illustrating parent-child images by a conventional ultrasonic diagnostic apparatus.
11…信号処理装置 11a…操作パネル 12…モニタ装置 13…回転スイッチ 14…キースイッチ 15…ジョイスティック 21…A/Dコンバータ 22…同期分離回路 23…RAM 24…D/Aコンバータ 25…メモリコントローラ 26…親/子画面切り換えスイッチ DESCRIPTION OF SYMBOLS 11 ... Signal processing apparatus 11a ... Operation panel 12 ... Monitor apparatus 13 ... Rotation switch 14 ... Key switch 15 ... Joy stick 21 ... A / D converter 22 ... Synchronization separation circuit 23 ... RAM 24 ... D / A converter 25 ... Memory controller 26 ... Parent / child screen switch
Claims (1)
の画像情報で構成される第1の診断画像と、前記第1の
診断画像とは異なる画像情報から構成される第2の診断
画像とを表示手段の同一画面上に表示する機能を有する
超音波診断装置において、前記第1の診断画像を生成する第1の映像信号に基づ
き、前記第1の診断画像を複数に分割したときの各領域
における各々の輝度情報を演算する輝度情報演算手段
と 、前記輝度情報演算手段で演算された各領域の輝度情報に
基づき、前記第1の診断画像における関心領域を判定す
る判定手段と 、前記判定手段の判定結果に基づき、前記第1の診断画像
の非関心領域に前記第2の診断画像を挿入するように、
前記第1の診断画像を生成する第1の映像信号と前記第
2の診断画像を生成する第2の映像信号とを合成する映
像信号合成手段と 、前記映像信号合成手段で合成された映像信号を前記表示
手段に出力する合成映像信号出力手段と 、 を備えたことを特徴とする超音波診断装置。An ultrasonic tomographic image obtained by transmitting and receiving an ultrasonic wave
A first diagnostic image composed of image information of
Second diagnosis composed of image information different from the diagnostic image
It has the function of displaying images on the same screen of the display means
In the ultrasonic diagnostic apparatus, based on a first video signal for generating the first diagnostic image,
Each area when the first diagnostic image is divided into a plurality
Brightness information calculating means for calculating each brightness information in
And the brightness information of each area calculated by the brightness information calculating means.
A region of interest in the first diagnostic image is determined based on the
And that the determination unit, based on the determination result of said determining means, said first diagnostic image
To insert the second diagnostic image into the non-interest area of
A first video signal for generating the first diagnostic image and the first video signal;
A second image signal for generating a second diagnostic image;
Image signal synthesizing means, and displaying the video signal synthesized by the video signal synthesizing means.
An ultrasonic diagnostic apparatus comprising: a composite video signal output unit that outputs the composite video signal to a unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5350565A JP2872030B2 (en) | 1993-12-29 | 1993-12-29 | Ultrasound diagnostic equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5350565A JP2872030B2 (en) | 1993-12-29 | 1993-12-29 | Ultrasound diagnostic equipment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07194596A JPH07194596A (en) | 1995-08-01 |
| JP2872030B2 true JP2872030B2 (en) | 1999-03-17 |
Family
ID=18411361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5350565A Expired - Fee Related JP2872030B2 (en) | 1993-12-29 | 1993-12-29 | Ultrasound diagnostic equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2872030B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6031566A (en) * | 1996-12-27 | 2000-02-29 | Olympus America Inc. | Method and device for providing a multiple source display and a remote visual inspection system specially adapted for use with the device |
| EP1690497B1 (en) * | 2003-12-02 | 2017-02-22 | Olympus Corporation | Ultrasonographic device |
| JP4615893B2 (en) * | 2004-05-17 | 2011-01-19 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | Ultrasonic imaging device |
| JP4936816B2 (en) * | 2006-08-02 | 2012-05-23 | 三洋電機株式会社 | Imaging apparatus and simultaneous display control method |
| JP5230331B2 (en) * | 2008-09-30 | 2013-07-10 | 富士フイルム株式会社 | Video signal switching device |
| CN102481138B (en) | 2009-07-29 | 2014-05-14 | 柯尼卡美能达株式会社 | Ultrasonic Diagnostic Device |
| JP7191787B2 (en) * | 2019-07-16 | 2022-12-19 | 富士フイルム株式会社 | Display control device, ultrasonic endoscope device, display control method, display control program, and display control system |
-
1993
- 1993-12-29 JP JP5350565A patent/JP2872030B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07194596A (en) | 1995-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1779766A1 (en) | Signal processing device for endoscope | |
| EP0870401A1 (en) | Television system with provisions for displaying an auxiliary image of variable size | |
| JPS62142476A (en) | television receiver | |
| JP2872030B2 (en) | Ultrasound diagnostic equipment | |
| JP3034747B2 (en) | Ultrasound diagnostic equipment | |
| JPH11206769A (en) | Ultrasound diagnostic equipment | |
| JP2001070241A (en) | Image processing device | |
| JP3098974B2 (en) | Image synthesis display device | |
| JPH10262921A (en) | Electronic endoscope equipment | |
| JPH09322894A (en) | Ultrasound diagnostic equipment | |
| JP3892969B2 (en) | Ultrasonic diagnostic equipment | |
| JPH07322164A (en) | Television receiver | |
| JP3967060B2 (en) | Electronic endoscope device | |
| JP2000308643A (en) | Ultrasonic diagnostic equipment | |
| JP2000138908A (en) | Television receiver and display method | |
| JPH10164433A (en) | Screen switching method and device | |
| JPH08154217A (en) | Television receiver | |
| JP3690628B2 (en) | Panorama image display device | |
| JPH0630335A (en) | Picture display device | |
| US20050190297A1 (en) | Video signal processor and video display device | |
| JP3496645B2 (en) | Television receiver | |
| JP2000092408A (en) | Image display device and image display method | |
| JPH0134061B2 (en) | ||
| KR100462448B1 (en) | Television system with provisions for displaying an auxiliary image of variable size | |
| JPH10320165A (en) | Multi display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19981201 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080108 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090108 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090108 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100108 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110108 Year of fee payment: 12 |
|
| LAPS | Cancellation because of no payment of annual fees |