JP4794992B2

JP4794992B2 - Insertion monitoring device

Info

Publication number: JP4794992B2
Application number: JP2005332009A
Authority: JP
Inventors: 秀樹田中
Original assignee: Olympus Medical Systems Corp
Current assignee: Olympus Medical Systems Corp
Priority date: 2005-11-16
Filing date: 2005-11-16
Publication date: 2011-10-19
Anticipated expiration: 2025-11-16
Also published as: JP2007135783A

Description

本発明は、大腸内等の体腔内に挿入され、内視鏡検査を補助若しくは支援するために挿入部の挿入状態をモニタする挿入モニタリング装置に関する。 The present invention relates to an insertion monitoring device that is inserted into a body cavity such as the large intestine and monitors the insertion state of an insertion portion in order to assist or support endoscopy.

先端に撮像素子が設けられた電子内視鏡の挿入部を患者の体腔内に挿入して、撮像素子により撮像された画像をモニタに表示する内視鏡装置は、医療分野において広く用いられるようになっている。
体腔内、例えば大腸や小腸等のように曲がった管腔内に電子内視鏡の挿入部を挿入して内視鏡検査などを行う際、挿入部が管腔内のどの位置まで挿入されているか、あるいは挿入部がどのような形状になっているかを把握できると、内視鏡検査或いは処置を行う際の操作性が向上する。 An endoscope apparatus that inserts an insertion portion of an electronic endoscope having an imaging element at the tip into a body cavity of a patient and displays an image captured by the imaging element on a monitor is widely used in the medical field. It has become.
When inserting the insertion part of an electronic endoscope into a body cavity, such as a large lumen such as the large intestine or small intestine, and performing endoscopy, the insertion part is inserted to any position in the lumen. If the shape of the insertion portion or the shape of the insertion portion can be grasped, the operability when performing endoscopy or treatment is improved.

このため挿入部が管腔内に挿入された位置や、挿入形状等を検出して表示することができる内視鏡挿入形状検出装置が実用化されている。
また、挿入形状等の他に、実際に挿入部の手元側で挿入操作をした場合に、その挿入操作に適切に応答しているか否かの情報を挿入補助情報として把握できるとより便利である。
例えば、特開２００４−３５８０９５号公報の従来例は、挿入部がループ形状になったか否かを定期的に解析して、ループ形状になった場合にはその情報を表示するようにしている。また、挿入部の先端側が停止状態である事などの解析も行う。
特開２００４−３５８０９５号公報 For this reason, an endoscope insertion shape detection device capable of detecting and displaying the position where the insertion portion is inserted into the lumen, the insertion shape, and the like has been put into practical use.
In addition to the insertion shape and the like, it is more convenient if the insertion operation information can be grasped as information about whether or not the insertion operation is appropriately responded when the insertion operation is actually performed on the hand side of the insertion portion. .
For example, the conventional example of Japanese Patent Application Laid-Open No. 2004-358095 periodically analyzes whether or not the insertion portion has a loop shape, and displays the information when the insertion portion has a loop shape. In addition, an analysis is made that the distal end side of the insertion portion is in a stopped state.
JP 2004-358095 A

しかし、上記従来例では、ループ形状になった場合を解析して表示を行っているタイミングに、その情報を観察すればその情報を把握できるが、その表示は定期的に更新されてしまうため、ループ形状と解析された付近のタイミングを逃がして観察した場合にはその情報を見落とす欠点があった。 However, in the above conventional example, the information can be grasped by observing the information at the timing when analyzing and displaying the case of the loop shape, but the display is regularly updated. There was a defect that the information was overlooked when observing the timing near the analyzed loop shape.

（発明の目的）
本発明は上述した点に鑑みてなされたもので、挿入操作等に対する挿入部の所定の応答動作状態に対応する挿入補助情報をより確実に確認できるようにした挿入モニタリング装置を提供することを目的とする。 (Object of invention)
The present invention has been made in view of the above-described points, and an object thereof is to provide an insertion monitoring apparatus that can more surely confirm insertion auxiliary information corresponding to a predetermined response operation state of an insertion portion with respect to an insertion operation or the like. And

本発明の挿入モニタリング装置は、体腔内に挿入される内視鏡の挿入部の形状を検出する形状検出手段が生成する形状検出情報を基にして、挿入操作等の内視鏡操作に対する挿入部の応答動作状態の解析を行う解析手段と、
前記解析手段により解析された所定の応答動作状態に対応する挿入補助情報を生成する挿入補助情報生成手段と、
前記挿入補助情報生成手段により表示手段に出力され、該表示手段に前記挿入補助情報が表示される際の表示特性を、前記挿入補助情報が生成された時刻近傍からの経過時間情報により制御する表示制御手段と、
を具備したことを特徴とする。
上記構成により、所定の応答動作状態に対応する挿入補助情報の表示を、その応答動作状態に至った時刻付近からの経過時間の情報により、挿入補助情報の表示特性を制御して、より確実に確認することができるようにしている。 The insertion monitoring apparatus of the present invention is an insertion unit for an endoscope operation such as an insertion operation based on shape detection information generated by a shape detection means for detecting the shape of an insertion portion of an endoscope inserted into a body cavity. Analysis means for analyzing the response operation state of
Insertion auxiliary information generating means for generating insertion auxiliary information corresponding to the predetermined response operation state analyzed by the analyzing means;
Display that is output to the display means by the insertion auxiliary information generation means, and that controls the display characteristics when the insertion auxiliary information is displayed on the display means by the elapsed time information from the vicinity of the time when the insertion auxiliary information was generated Control means;
It is characterized by comprising.
With the above configuration, the display of insertion auxiliary information corresponding to a predetermined response operation state is more reliably controlled by controlling the display characteristics of the insertion auxiliary information based on information about the elapsed time from the time when the response operation state was reached. So that you can check.

本発明によれば、挿入補助情報を、より確実に確認することができる。 According to the present invention, it is possible to confirm insertion auxiliary information more reliably.

以下、図面を参照して本発明の実施例を説明する。 Embodiments of the present invention will be described below with reference to the drawings.

図１ないし図７は本発明の実施例１に係り、図１は本発明の実施例１を備えた体内挿入モニタリングシステムの全体構成を示し、図２は内視鏡挿入形状観測装置で検出される挿入部内に設けられたソースコイルの座標を示し、図３は内視鏡挿入形状観測装置により生成される挿入形状データを示す。
図４は画像処理装置の処理プログラムにより実現される機能ブロックの構成等を示し、図５は図４に示した解析処理ブロック等によるデータの流れや処理フロー等を示し、図６は挿入補助情報の更新タイミングと現在の時刻との差分値により挿入補助情報の表示持続を制御する動作を示し、図７は挿入補助情報の表示に関する変形例を示す。 1 to 7 relate to a first embodiment of the present invention, FIG. 1 shows an overall configuration of an in-vivo insertion monitoring system including the first embodiment of the present invention, and FIG. 2 is detected by an endoscope insertion shape observation apparatus. FIG. 3 shows the insertion shape data generated by the endoscope insertion shape observation device.
4 shows the configuration of functional blocks realized by the processing program of the image processing apparatus, FIG. 5 shows the data flow and processing flow by the analysis processing block shown in FIG. 4, and FIG. 6 shows the auxiliary insertion information. FIG. 7 shows a modification example related to the display of the insertion auxiliary information.

図１に示すように本発明の実施例１を備えた体内挿入モニタリングシステム１は、内視鏡検査を行う内視鏡装置２と、内視鏡挿入形状を観測するための内視鏡挿入形状観測装置３と、内視鏡挿入形状観測装置３により生成された内視鏡挿入形状データ（挿入形状データと略記）を解析して、内視鏡検査を補助若しくは支援する挿入モニタリング装置の実施例１を構成する画像処理装置４とから構成される。
内視鏡装置２は、大腸等の体腔内に挿入される電子内視鏡６と、この電子内視鏡６に照明光を供給する光源装置７と、電子内視鏡６に内蔵されたＣＣＤ等の撮像素子１６に対する信号処理を行う信号処理装置としてのビデオプロセッサ８と、このビデオプロセッサ８により生成された映像信号が入力されることにより撮像素子１６で撮像された体腔内の画像を内視鏡画像として表示する観察モニタ９とを有する。 As shown in FIG. 1, the in-vivo insertion monitoring system 1 including the first embodiment of the present invention includes an endoscope apparatus 2 that performs endoscopy and an endoscope insertion shape for observing the endoscope insertion shape. Example of an insertion monitoring apparatus that assists or supports endoscopy by analyzing the observation apparatus 3 and endoscope insertion shape data (abbreviated as insertion shape data) generated by the endoscope insertion shape observation apparatus 3 1 and an image processing apparatus 4 constituting one.
The endoscope apparatus 2 includes an electronic endoscope 6 that is inserted into a body cavity such as the large intestine, a light source device 7 that supplies illumination light to the electronic endoscope 6, and a CCD that is built in the electronic endoscope 6. A video processor 8 as a signal processing device for performing signal processing on the image sensor 16 and the like, and an image in the body cavity imaged by the image sensor 16 by inputting a video signal generated by the video processor 8 And an observation monitor 9 for displaying as a mirror image.

電子内視鏡６は、患者の体腔内に挿入される細長の挿入部１１と、この挿入部１１の後端に設けられた操作部１２とを有する。挿入部１１内には、照明光を伝送するライトガイド１３が挿通されている。このライトガイド１３の後端は光源装置７に接続され、光源装置７から供給される照明光を伝送し、挿入部１１の先端部１４に設けられた照明窓から（伝送した照明光を）出射する。
なお、挿入部１１には、先端部１４の後端に湾曲自在の湾曲部が設けてあり、操作部１２に設けられた図示しない湾曲操作ノブ等を操作することにより、湾曲部を湾曲することができる。
上記先端部１４には、照明窓に隣接して設けられた観察窓に対物レンズ１５が取り付けてある。この対物レンズ１５により、その結像位置に配置された電荷結合素子（ＣＣＤと略記）等の撮像素子１６の撮像面に光学像を結像する。 The electronic endoscope 6 includes an elongated insertion portion 11 that is inserted into a body cavity of a patient, and an operation portion 12 that is provided at the rear end of the insertion portion 11. A light guide 13 that transmits illumination light is inserted into the insertion portion 11. The rear end of the light guide 13 is connected to the light source device 7, transmits illumination light supplied from the light source device 7, and exits (transmitted illumination light) from an illumination window provided at the distal end portion 14 of the insertion portion 11. To do.
The insertion portion 11 has a bendable bending portion at the rear end of the distal end portion 14, and the bending portion is bent by operating a bending operation knob (not shown) provided on the operation portion 12. Can do.
At the tip portion 14, an objective lens 15 is attached to an observation window provided adjacent to the illumination window. The objective lens 15 forms an optical image on the imaging surface of an imaging device 16 such as a charge coupled device (abbreviated as CCD) disposed at the imaging position.

この撮像素子１６は、信号線を介してビデオプロセッサ８と接続されており、光学像を光電変換した撮像信号をビデオプロセッサ８に出力する。
ビデオプロセッサ８は、撮像素子１６から出力される撮像信号に対して、映像信号を生成する信号処理を行う。そして、ビデオプロセッサ８は、生成した映像信号、例えばＲＧＢ信号を観察モニタ９に出力する。そして、観察モニタ９の表示面には、撮像素子１６で撮像された画像が表示される。
なお、光源装置７は、Ｒ，Ｇ，Ｂの照明光で面順次照明を行う場合には、各照明期間に同期した同期信号をビデオプロセッサ８に出力し、ビデオプロセッサ８はその同期信号に同期して信号処理を行う。
更に、電子内視鏡６の操作部１２には、レリーズ指示等を行う図示しないスイツチが設けてあり、スイッチを操作してビデオプロセッサ８の動作を制御することができる。 The image pickup device 16 is connected to the video processor 8 via a signal line, and outputs an image pickup signal obtained by photoelectrically converting the optical image to the video processor 8.
The video processor 8 performs signal processing for generating a video signal on the imaging signal output from the imaging device 16. Then, the video processor 8 outputs the generated video signal, for example, an RGB signal, to the observation monitor 9. Then, an image captured by the image sensor 16 is displayed on the display surface of the observation monitor 9.
The light source device 7 outputs a synchronization signal synchronized with each illumination period to the video processor 8 when performing frame sequential illumination with R, G, B illumination light, and the video processor 8 synchronizes with the synchronization signal. Signal processing.
Further, the operation unit 12 of the electronic endoscope 6 is provided with a switch (not shown) for giving a release instruction or the like, and the operation of the video processor 8 can be controlled by operating the switch.

また、本実施例においては、体腔内に挿入される挿入部１１の挿入位置や挿入形状を検出するための検出機能が設けられている。具体的には、電子内視鏡６における挿入部１１内にはその長手方向に、所定の間隔で複数のソースコイルＣｏ、Ｃ_１、…、Ｃ_Ｍ−１（Ｃｏ〜Ｃ_Ｍ−１と略記）が配置されており、これらソースコイルＣｏ〜Ｃ_Ｍ−１は駆動信号が印加されることにより、その周囲に磁界を発生する。
そして、ソースコイルＣｏ〜Ｃ_Ｍ−１による磁界を、内視鏡挿入形状観測装置３に設けられた複数のセンスコイルを内蔵したセンスコイルユニット１９により検出する構成にしている。
つまり、内視鏡挿入形状観測装置３は、電子内視鏡６に設けられたソースコイルＣｏ〜Ｃ_Ｍ−１による磁界を検出するセンスコイルユニット１９と、このセンスコイルユニット１９によって検出された磁界の検出信号に基づいて挿入部１１の形状（挿入形状という）を推定する形状処理装置２１と、この形状処理装置２１によって推定された挿入形状を表示するディスプレイ２２とを有する。 In the present embodiment, a detection function for detecting the insertion position and the insertion shape of the insertion portion 11 inserted into the body cavity is provided. Specifically, abbreviations in the insertion portion 11 in the electronic endoscope 6 in the longitudinal direction, a plurality of source coils _Co at predetermined intervals, C _{1, ...,} and _{C M-1 (Co~C M-} 1 The source coils Co to CM _-1 generate a magnetic field around the source coil when a drive signal is applied.
And it is set as the structure which detects the magnetic field by source coil Co _- CM _-1 with the sense coil unit 19 incorporating the some sense coil provided in the endoscope insertion shape observation apparatus 3. FIG.
That is, the endoscope insertion shape observation device 3 includes a sense coil unit 19 that detects a magnetic field generated by the source coils Co to CM _-1 provided in the electronic endoscope 6 and a magnetic field detected by the sense coil unit 19. The shape processing device 21 that estimates the shape of the insertion portion 11 (referred to as an insertion shape) based on the detected signal and the display 22 that displays the insertion shape estimated by the shape processing device 21 are provided.

上記センスコイルユニット１９は、患者が横たわる検査ベッドの周辺部などに配置され、ソースコイルＣｏ〜Ｃ_Ｍ−１による磁界を検出して、検出した検出信号を形状処理装置２１に出力する。
形状処理装置２１は、検出信号に基づいて、ソースコイルＣｏ〜Ｃ_Ｍ−１の各位置座標データの算出や、その算出された位置座標データから挿入部１１の挿入形状を推定する。形状処理装置２１は、推定した挿入部１１の挿入形状の映像信号を生成し、生成した映像信号、例えばＲＧＢ信号をディスプレイ２２に出力する。そして、このディスプレイ２２の表示画面には、挿入形状が表示される。術者は、この挿入形状を観察することにより、挿入操作等をより円滑に行い易くなる。 The sense coil unit 19 is disposed in the periphery of the examination bed on which the patient lies, detects a magnetic field generated by the source coils Co to CM _-1 , and outputs the detected detection signal to the shape processing device 21.
Based on the detection signal, the shape processing device 21 calculates each position coordinate data of the source coils Co to C _M-1 and estimates the insertion shape of the insertion unit 11 from the calculated position coordinate data. The shape processing device 21 generates a video signal of the estimated insertion shape of the insertion unit 11 and outputs the generated video signal, for example, an RGB signal, to the display 22. The insertion shape is displayed on the display screen of the display 22. By observing this insertion shape, the operator can easily perform an insertion operation and the like more smoothly.

また、この形状処理装置２１は、内視鏡検査中、挿入形状を示す３次元座標情報、及び形状表示属性等の挿入形状データを連続的に生成し、通信ポート２１ａを介して画像処理装置４に出力する。この形状処理装置２１は、レリーズスイツチの操作時の挿入形状データのみを画像処理装置４に出力することもできる。
なお、この内視鏡挿入形状観測装置３は、形状処理装置２１による形状検出処理により生成されてディスプレイ２２に表示される挿入形状の画像の回転角、拡大縮小率等の形状表示属性を、図示していない操作パネル等から指示入力することにより、変更可能となっている。
なお、ビデオプロセッサ８には、図示していないが、内視鏡検査に関する検査情報を入力する機能を有し、このビデオプロセッサ８に入力された検査情報は、通信ポート８ａを介して画像処理装置４にも送信される。 Further, during the endoscopic examination, the shape processing device 21 continuously generates insertion shape data such as three-dimensional coordinate information indicating the insertion shape and a shape display attribute, and the image processing device 4 via the communication port 21a. Output to. The shape processing device 21 can output only the insertion shape data at the time of operating the release switch to the image processing device 4.
The endoscope insertion shape observation device 3 is configured to display shape display attributes such as a rotation angle and an enlargement / reduction rate of an insertion shape image generated by shape detection processing by the shape processing device 21 and displayed on the display 22. It can be changed by inputting an instruction from an operation panel or the like not shown.
Although not shown, the video processor 8 has a function of inputting examination information relating to endoscopic examination. The examination information input to the video processor 8 is transmitted to the image processing apparatus via the communication port 8a. 4 is also transmitted.

画像処理装置４は、入力される挿入形状データに対して、挿入操作等の内視鏡操作に対して実際に体腔内に挿入された挿入部１１の応答動作状態を解析処理し、術者に知らせるべき所定の応答動作状態になっているか否かを判定し、所定の応答動作状態になっている場合には挿入補助情報を生成する。
このため、画像処理装置４は、術者を補助ないしは支援する挿入補助情報を生成するための解析処理を行うパーソナルコンピュータ（以下、単にＰＣと称する）２５と、このＰＣ２５に各種指示入力するためのマウス２６とキーボード２７と、ＰＣ２５により解析処理により生成された挿入補助情報等を再生若しくは表示する表示装置としてのディスプレイ２８とを有する。 The image processing apparatus 4 analyzes the response operation state of the insertion unit 11 that is actually inserted into the body cavity with respect to the input insertion shape data, in response to an endoscope operation such as an insertion operation, and It is determined whether or not a predetermined response operation state to be notified is determined. When the predetermined response operation state is set, insertion auxiliary information is generated.
For this reason, the image processing apparatus 4 has a personal computer (hereinafter simply referred to as a PC) 25 that performs an analysis process for generating auxiliary insertion information for assisting or supporting the operator, and for inputting various instructions to the PC 25. It has a mouse 26, a keyboard 27, and a display 28 as a display device that reproduces or displays auxiliary insertion information and the like generated by the analysis processing by the PC 25.

ＰＣ２５には、前記内視鏡挿入形状観測装置３の形状処理装置２１の通信ポート２１ａから出力される挿入形状データを取り込む通信ポート２５ａ、前記内視鏡装置２のビデオプロセッサ８の通信ポート８ａから出力される内視鏡検査情報を取り込む通信ポート２５ｂと、前記電子内視鏡６の撮像素子１６で撮像され、ビデオプロセッサ８で生成された動画像の映像信号を所定の圧縮画像データに変換する動画像入力ボード２５ｃと、画像処理を行うＣＰＵ３１と、このＣＰＵ３１により画像処理を行う処理プログラムを格納した処理プログラム格納部３２と、ＣＰＵ３１により処理するデータ等を一時的に格納するメモリ３３と、処理された画像データ等を記憶する記録装置としてのハードディスク（ＨＤＤ）３４とを有する。ＣＰＵ３１等は、互いにバスにより接続されている。 The PC 25 has a communication port 25a for fetching insertion shape data output from the communication port 21a of the shape processing device 21 of the endoscope insertion shape observation device 3, and a communication port 8a of the video processor 8 of the endoscope device 2. The video signal of the moving image captured by the communication port 25b for capturing the output endoscopic examination information and the image sensor 16 of the electronic endoscope 6 and generated by the video processor 8 is converted into predetermined compressed image data. A moving image input board 25c, a CPU 31 that performs image processing, a processing program storage unit 32 that stores a processing program that performs image processing by the CPU 31, a memory 33 that temporarily stores data to be processed by the CPU 31, and a processing And a hard disk (HDD) 34 as a recording device for storing the image data and the like. The CPU 31 and the like are connected to each other by a bus.

画像処理装置４の動画像入力ボード２５ｃには、ビデオプロセッサ８で生成された動画像の映像信号、例えばＹ／Ｃ信号が入力され、動画像入力ボード２５ｃは、その動画像の映像信号を所定の圧縮された動画像の映像信号データ、例えば、ＭＪＰＥＧ形式の圧縮画像データに変換して、ＰＣ２５内の例えばハードディスク３４等に保存する。
なお、内視鏡検査開始前に、ビデオプロセッサ８から、内視鏡検査に関連する検査情報が入力され、その入力された検査情報データを基に観察モニタ９に文字や数字の形式で表示されると共に、その検査情報データは、通信ポート８ａから画像処理装置４内の通信ポート２５ｂを経て、ＰＣ２５に送信記録することができる。
なお、検査情報とは、例えば、患者の氏名、生年月日、性別、年齢、患者コード、及び検査日時などである。 The moving image input board 25c of the image processing apparatus 4 receives a moving image video signal generated by the video processor 8, for example, a Y / C signal. The moving image input board 25c receives the moving image video signal as a predetermined signal. Video signal data of a compressed moving image, for example, compressed image data in MJPEG format, and stored in the hard disk 34 or the like in the PC 25, for example.
Before the start of the endoscopic examination, examination information related to the endoscopic examination is input from the video processor 8 and is displayed on the observation monitor 9 in the form of letters and numbers based on the inputted examination information data. In addition, the inspection information data can be transmitted and recorded in the PC 25 from the communication port 8a via the communication port 25b in the image processing apparatus 4.
The examination information includes, for example, the patient's name, date of birth, sex, age, patient code, and examination date.

つまり、画像処理装置４側は、必要に応じてビデオプロセッサ８と接続して、ビデオプロセッサ８からの各種情報データを受信して保存するようになっている。
このような構成の体内挿入モニタリングシステム１における内視鏡挿入形状観測装置３による挿入形状データの生成について図２と図３を用いて説明する。
内視鏡挿入形状観測装置３の形状処理装置２１は、電子内視鏡６の撮像素子１６で撮像される撮像信号の１フレーム毎に電子内視鏡６の挿入部１１に内蔵されたＭ個のソースコイルＣｏ〜Ｃ_Ｍ−１の３次元座標を含む挿入形状データを生成する。また、この形状処理装置２１は、挿入形状データを基に挿入形状の画像を生成して、ディスプレイ２２に表示すると共に、その挿入形状データを画像処理装置４に出力する。 In other words, the image processing apparatus 4 is connected to the video processor 8 as necessary, and receives and stores various information data from the video processor 8.
Generation of insertion shape data by the endoscope insertion shape observation device 3 in the in-body insertion monitoring system 1 having such a configuration will be described with reference to FIGS. 2 and 3.
The shape processing device 21 of the endoscope insertion shape observation device 3 includes M pieces of built-in units 11 in the insertion unit 11 of the electronic endoscope 6 for each frame of the imaging signal imaged by the imaging device 16 of the electronic endoscope 6. The insertion shape data including the three-dimensional coordinates of the source coils Co to CM _-1 are generated. The shape processing device 21 generates an insertion shape image based on the insertion shape data, displays the image on the display 22, and outputs the insertion shape data to the image processing device 4.

この内視鏡挿入形状観測装置３で検出されるソースコイルＣｏ〜Ｃ_Ｍ−１の座標系は、例えば第ｊ−１フレームの場合（但し、ｊは図３に示すように最初のフレームを第０フレームとしている）で示すと図２に示すようになる。
図２に示すように、挿入部１１の先端側からｉ−１番目（ただし、ｉ＝０、１、…、Ｍ−１）のソースコイルＣｉの３次元座標は、（Ｘ^ｊ _ｉ，Ｙ^ｊ _ｉ，Ｚ^ｊ _ｉ）により表示される。
この内視鏡挿入形状観測装置３で検出されたソースコイルＣｏ〜Ｃ_Ｍ−１の座標系のデータを含む挿入形状データの構造は、図３に示すように、撮像されたフレーム順に、各フレームに関係するフレームデータ（つまり、第０フレームデータ、第１フレームデータ、…）として１つのパケットとして画像処理装置４に順次送信される。パケットで送信される各フレームデータ内には、挿入形状データの作成時刻、表示属性、付属情報、（ソース）コイル座標等のデータからなる。 The coordinate system of the source coils Co to CM _-1 detected by the endoscope insertion shape observation device 3 is, for example, in the case of the j-1th frame (where j is the first frame as shown in FIG. 2), the result is as shown in FIG.
As shown in FIG. 2, the three-dimensional coordinates of the ( _i −1) -th source coil Ci from the distal end side of the insertion portion 11 (where i = 0, 1,..., M−1) are (X ^j _i , Y ^j _i , Z ^j _i ).
The structure of the insertion shape data including the coordinate system data of the source coils Co to CM _-1 detected by the endoscope insertion shape observation device 3 is shown in FIG. Are sequentially transmitted to the image processing apparatus 4 as one packet as frame data (that is, 0th frame data, 1st frame data,...). Each frame data transmitted in a packet includes data such as the creation time of the insertion shape data, display attributes, attached information, and (source) coil coordinates.

また、コイル座標データは、図２に示したようにソースコイルＣｏ〜Ｃ_Ｍ−１が挿入部１１の先端からその基端（手元側）の操作部１２側に順次配置されたものの３次元座標をそれぞれ表すものとなっている。尚、内視鏡挿入形状観測装置３により検出範囲外のソースコイルの座標は、検出範囲外と分かるように例えば所定の定数に設定されるようになっているものとする。
次に、画像処理装置４における内視鏡装置２のビデオプロセッサ８の検査情報と内視鏡画像及び前記内視鏡挿入形状観測装置３の形状処理装置２１からの挿入形状データの取得から挿入補助情報の生成、並びに例えば大腸内に挿入して大腸内の内視鏡検査のモニタリングの作用等を、図４から図６を用いて説明する。
画像処理装置４は、内視鏡検査が開始すると、ＰＣ２５を構成するＣＰＵ３１が処理プログラム格納部３２に格納されている処理プログラムに従って処理を開始する。 The coil coordinate data includes three-dimensional coordinates of the source coils Co to C _M-1 sequentially arranged from the distal end of the insertion portion 11 to the proximal end (hand side) operation portion 12 side as shown in FIG. Each one is represented. It is assumed that the coordinates of the source coil outside the detection range are set to a predetermined constant, for example, so that the endoscope insertion shape observation device 3 can find out the detection range.
Next, in the image processing apparatus 4, the examination information of the video processor 8 of the endoscope apparatus 2, the endoscope image, and the insertion shape data from the shape processing apparatus 21 of the endoscope insertion shape observation apparatus 3 are acquired to assist the insertion. The generation of information and, for example, the operation of monitoring the endoscopic examination in the large intestine after being inserted into the large intestine will be described with reference to FIGS.
In the image processing device 4, when the endoscopic examination is started, the CPU 31 configuring the PC 25 starts processing according to the processing program stored in the processing program storage unit 32.

ＣＰＵ３１により実行される処理機能ブロックは、図４に示すようにフレームデータを取得してメモリ３３に格納するフレームデータ取得ブロック４１と、メモリ３３に格納されたフレームデータに対する解析処理を行い、解析データ３３ｂと生成した挿入補助情報３３ｃをメモリ３３に格納する解析処理ブロック４２と、解析結果の表示を行うと共に挿入補助情報３３ｃの表示（若しくは表示特性）を制御する解析結果表示制御ブロック４３とからなる。
図４に示すように、フレームデータ取得ブロック４１と、解析処理ブロック４２とはループ状に処理を繰り返し行う。解析処理ブロック４２による解析結果として、所定の応答動作状態に対応する条件判定の処理を行い、これに該当する場合には挿入補助情報を生成する。また、解析結果表示制御ブロック４３は、予め設定された経過時間情報に従って、挿入補助情報３３ｃの表示及び表示停止（消去）の表示制御を行う。 The processing function block executed by the CPU 31 performs analysis processing on the frame data acquisition block 41 that acquires frame data and stores it in the memory 33 as shown in FIG. 33b and an analysis processing block 42 for storing the generated insertion auxiliary information 33c in the memory 33, and an analysis result display control block 43 for displaying the analysis result and controlling the display (or display characteristics) of the insertion auxiliary information 33c. .
As shown in FIG. 4, the frame data acquisition block 41 and the analysis processing block 42 repeatedly perform processing in a loop. As a result of the analysis by the analysis processing block 42, a condition determination process corresponding to a predetermined response operation state is performed. If this is the case, insertion auxiliary information is generated. Further, the analysis result display control block 43 performs display control of display of the auxiliary insertion information 33c and display stop (erase) in accordance with preset elapsed time information.

フレームデータ取得ブロック４１は、内視鏡挿入形状観測装置３から送信されるフレームデータを図４に示すようにメモリ３３上に記憶すると共に、図１に示すようにハードディスク３４に保存する。
解析処理ブロック４２は、メモリ３３上のフレームデータ３３ａを使用して、各ソースコイル位置において挿入部１１の向いている方向や、１フレーム前におけるソースコイルの移動量など、挿入部１１の（挿入操作に対する）応答動作状態を調べるためのデータの算出を行う。そして、この解析処理ブロック４２は、算出したデータを解析データ３３ｂとしてメモリ３３上に格納する。
また、解析処理ブロック４２は、メモリ３３上のフレームデータ３３ａから解析データ３３ｂを生成すると共に、体腔内に挿入される挿入部１１が、術者による挿入操作に対して、順調に或いは適切に挿入されていない応答動作状態に関する情報を挿入補助情報として表示するために、フレームデータ３３ａ（及び必要に応じて解析データ３３ｂ）を用いて挿入補助情報３３ｃを生成するための解析処理を行う。 The frame data acquisition block 41 stores the frame data transmitted from the endoscope insertion shape observation device 3 on the memory 33 as shown in FIG. 4 and saves it in the hard disk 34 as shown in FIG.
The analysis processing block 42 uses the frame data 33a on the memory 33 to determine the insertion direction of the insertion unit 11 such as the direction in which the insertion unit 11 faces at each source coil position and the movement amount of the source coil one frame before. Data for examining the response operation state (in response to the operation) is calculated. The analysis processing block 42 stores the calculated data on the memory 33 as analysis data 33b.
The analysis processing block 42 generates the analysis data 33b from the frame data 33a on the memory 33, and the insertion unit 11 inserted into the body cavity inserts smoothly or appropriately with respect to the insertion operation by the operator. In order to display information regarding the response operation state that has not been performed as the auxiliary insertion information, an analysis process for generating the auxiliary insertion information 33c is performed using the frame data 33a (and analysis data 33b as necessary).

この場合、解析データ３３ｂが所定の条件、具体的には術者が挿入部１１をその基端側で押し込む操作を行った場合に、挿入部１１の先端側が殆ど移動しないような条件、つまり挿入部１１の挿入が円滑にできなくなるような条件を満たす応答動作状態の場合には挿入補助情報３３ｃを生成して、メモリ３３上に格納する。この場合、メモリ３３上に以前に挿入補助情報３３ｃが格納されている場合にはその内容を更新する。
ここで、挿入補助情報３３ｃに関する所定の条件について補足説明する。
挿入部１１の最先端位置におけるソースコイルＣｏの挿入部１１の軸方向に対する移動量Ｍｏと、挿入部１１の手元側位置にある例えばソースコイルＣ_Ｍ−１との、挿入部１１の軸方向に対する移動量Ｍｎとの比Ｍｏ／Ｍｎが、閾値（ここでは０．１）未満である条件を満たす場合（つまりＭｏ／Ｍｎ＜０．１）に挿入補助情報３３ｃを生成する。 In this case, the analysis data 33b is a predetermined condition, specifically, a condition that the distal end side of the insertion portion 11 hardly moves when the operator performs an operation of pushing the insertion portion 11 on the proximal end side, that is, insertion. In the response operation state that satisfies the condition that the insertion of the unit 11 cannot be smoothly performed, the auxiliary insertion information 33 c is generated and stored in the memory 33. In this case, if the insertion auxiliary information 33c has been previously stored in the memory 33, the contents are updated.
Here, a supplementary description will be given of the predetermined condition regarding the insertion auxiliary information 33c.
The amount Mo of movement of the source coil Co in the axial direction of the insertion portion 11 at the foremost position of the insertion portion 11 and the source coil C _{M-1 at the} proximal side of the insertion portion 11 with respect to the axial direction of the insertion portion 11. The insertion auxiliary information 33c is generated when the ratio Mo / Mn to the movement amount Mn satisfies the condition that the ratio Mo / Mn is less than the threshold (here, 0.1) (that is, Mo / Mn <0.1).

上記条件を満たすときに生成される挿入補助情報３３ｃは、本実施例では文字列情報”先端停止”と、条件判定に使用したフレームデータの挿入形状データ作成時刻Ｔｏと、からなる。
なお、上記条件を満たす場合は、挿入部１１の手元側において、術者が挿入操作を行っているにもかかわらず、挿入部１１の先端部１４が殆ど停止していることを示しており、これ以上挿入部手元側を押込んでも先端部１４は、進まない状況であることを表している。
一方、解析結果表示制御ブロック４３は、上記のフレームデータ取得ブロック４１と解析処理ブロック４２とのループ処理とは独立に、一定時間間隔で実行される処理ブロックである。 In the present embodiment, the auxiliary insertion information 33c generated when the above conditions are satisfied includes character string information “tip stop” and insertion shape data creation time To of frame data used for condition determination.
In addition, when the above conditions are satisfied, it is shown that the distal end portion 14 of the insertion portion 11 is almost stopped on the proximal side of the insertion portion 11 even though the operator is performing an insertion operation. This indicates that the distal end portion 14 does not advance even if the insertion portion proximal side is pushed further.
On the other hand, the analysis result display control block 43 is a processing block that is executed at regular time intervals independently of the loop processing of the frame data acquisition block 41 and the analysis processing block 42 described above.

この解析結果表示制御ブロックは、メモリ３３上の挿入補助情報を取得し、現在の時刻Ｔｎと、挿入補助情報３３ｃの生成に対応する挿入形状データ作成時刻Ｔｏとの差分が、予め設定される所定の閾値Ｔｔよりも小さい（Ｔｎ−Ｔｏ＜Ｔｔ）場合に、挿入補助情報３３ｃの文字列情報の文字列情報を画像処理装置４のディスプレイ２８上に、例えば先端停止と表示する。つまり、解析結果表示制御ブロックは、挿入補助情報３３ｃの生成に使用された挿入形状データ作成時刻Ｔｏからの経過時間が所定の時間としての閾値Ｔｔより小さい時間においては、挿入補助情報３３ｃの文字列情報の表示を持続する。
なお、この場合の閾値Ｔｔの値は、予めデフォルトの値が設定されているが、術者等のユーザは、例えばキーボード２７からそのユーザがより適切と思う値に変更設定できるようにしている。また、ユーザのＩＤ情報と関連付けて閾値Ｔｔを変更設定できるようにして、ユーザ毎に異なる値に設定できるようにしても良い。 This analysis result display control block acquires insertion auxiliary information on the memory 33, and a difference between the current time Tn and the insertion shape data creation time To corresponding to the generation of the insertion auxiliary information 33c is set in advance. Is smaller than the threshold value Tt (Tn-To <Tt), the character string information of the character string information of the auxiliary insertion information 33c is displayed on the display 28 of the image processing apparatus 4, for example, as a tip stop. That is, the analysis result display control block determines that the character string of the insertion auxiliary information 33c is less than the threshold value Tt as the predetermined time since the insertion shape data creation time To used for generating the insertion auxiliary information 33c. Persist information display.
Note that a default value is set in advance as the value of the threshold value Tt in this case, but a user such as a surgeon can change and set to a value that the user thinks is more appropriate from the keyboard 27, for example. Further, the threshold value Tt may be changed and set in association with the user ID information, and may be set to a different value for each user.

つまり、内視鏡検査を行う術者が挿入補助情報が表示されるディスプレイ２８を観察する概略の時間間隔等は、術者毎に異なる状況があり得るため、各術者毎に閾値Ｔｔを設定できるようにして、各術者が挿入補助情報３３ｃ（の文字列情報）の表示をより適切に確認できるようにしても良い。
また、Ｔｎ−Ｔｏ＞Ｔｔとなる時間の場合には、画像処理装置４のディスプレイ２８上に表示されている文字列情報を消去する。
このように本実施例では、挿入部１１の基端側での挿入操作に対して、挿入部１１の先端側の相対的な移動量が十分に小さく、先端側が殆ど移動しない応答動作状態に対応する条件を満たすと判定した場合には、挿入補助情報３３ｃを生成する。そして、その挿入補助情報３３ｃの生成に使用したその挿入形状データ作成時刻Ｔｏから術者がその挿入補助情報３３ｃの表示を確認し易くなる時間までその表示を持続するようにしている。 That is, the approximate time interval at which the operator performing endoscopy observes the display 28 on which the insertion auxiliary information is displayed may vary depending on the operator, and thus the threshold value Tt is set for each operator. It is possible to make it possible for each surgeon to more appropriately confirm the display of the auxiliary insertion information 33c (character string information).
In the case of time when Tn−To> Tt, the character string information displayed on the display 28 of the image processing apparatus 4 is deleted.
As described above, in this embodiment, the relative movement amount on the distal end side of the insertion portion 11 is sufficiently small with respect to the insertion operation on the proximal end side of the insertion portion 11, and the response operation state in which the distal end side hardly moves is supported. If it is determined that the condition to be satisfied is satisfied, the insertion auxiliary information 33c is generated. The display is continued from the insertion shape data creation time To used for generating the insertion auxiliary information 33c to a time when it is easy for the operator to confirm the display of the insertion auxiliary information 33c.

次にフレームデータ取得ブロック４１及び解析処理ブロック４２で処理するデータの流れと、解析結果表示制御ブロック４３の処理フローを、図５を用いて説明する。
術者は、体腔内、例えば大腸内を内視鏡検査する場合には、図１に示す電子内視鏡６の挿入部１１を患者の肛門から大腸内に挿入する。この場合、術者は、挿入部１１の基端側を把持して挿入部１１をその先端部１４側から順次大腸内の深部側に挿入する。
電子内視鏡６の挿入部１１の先端部１４内に設けられた撮像素子１６により撮像された撮像信号は、ビデオプロセッサ８により信号処理され、映像信号が生成され、観察モニタ９に内視鏡画像が表示される。
また、挿入部１１の長手方向に配置されたソースコイルＣｏ〜Ｃ_Ｍ−１の各位置は、センスコイルユニット１９による検出信号により形状処理装置２１により検出され、内視鏡挿入形状観測装置３のディスプレイ２２により挿入形状が表示される。 Next, the flow of data processed by the frame data acquisition block 41 and the analysis processing block 42 and the processing flow of the analysis result display control block 43 will be described with reference to FIG.
When performing an endoscopic examination in a body cavity, for example, the large intestine, the surgeon inserts the insertion portion 11 of the electronic endoscope 6 shown in FIG. 1 into the large intestine from the patient's anus. In this case, the surgeon grasps the proximal end side of the insertion portion 11 and sequentially inserts the insertion portion 11 from the distal end portion 14 side into the deep portion in the large intestine.
An imaging signal picked up by the image pickup device 16 provided in the distal end portion 14 of the insertion portion 11 of the electronic endoscope 6 is processed by the video processor 8 to generate a video signal. An image is displayed.
Each position of the source coils Co to CM _-1 arranged in the longitudinal direction of the insertion portion 11 is detected by the shape processing device 21 based on a detection signal from the sense coil unit 19, and the position of the endoscope insertion shape observation device 3 is detected. The insertion shape is displayed on the display 22.

また、各（ソース）コイルの位置情報を含むフレームデータは、形状処理装置２１から画像処理装置４のＰＣ２５に送られる。そして、図４に示すように（ＰＣ２５内の）ＣＰＵ３１におけるフレームデータ取得ブロック４１により、メモリ３３上にフレームデータ３３ａが格納される。
また、図５に示すように（メモリ３３上に格納された）フレームデータ３３ａに対して、解析処理ブロック４２は、解析処理を行い、フレームデータ３３ａから解析データ３３ｂを生成して、メモリ３３に格納する。
また、図５に示すように解析処理ブロック４２は、この解析データ３３ｂに対して、所定の条件（本実施例ではＭｏ／Ｍｎ＜０．１）を満たすか否かの判定処理を行い、その条件を満たす場合には挿入補助情報３３ｃを生成して、メモリ３３上に格納（オーバライト）する。この場合、すでにメモリ３３上に古い挿入補助情報３３ｃがある場合にはそれを更新する。以上の処理を繰り返し実行する。 Further, frame data including position information of each (source) coil is sent from the shape processing device 21 to the PC 25 of the image processing device 4. Then, as shown in FIG. 4, the frame data 33 a is stored in the memory 33 by the frame data acquisition block 41 in the CPU 31 (in the PC 25).
Further, as shown in FIG. 5, the analysis processing block 42 performs analysis processing on the frame data 33a (stored on the memory 33), generates analysis data 33b from the frame data 33a, and stores it in the memory 33. Store.
Further, as shown in FIG. 5, the analysis processing block 42 performs a determination process on whether or not a predetermined condition (Mo / Mn <0.1 in this embodiment) is satisfied with respect to the analysis data 33b. If the condition is satisfied, the auxiliary insertion information 33c is generated and stored (overwritten) on the memory 33. In this case, if there is already old insertion auxiliary information 33c on the memory 33, it is updated. The above process is repeated.

また、図５に示すように解析結果表示制御ブロック４３は、一定の時間間隔でメモリ３３上の挿入補助情報３３ｃを取得する処理（ステップＳ１）を行うとともに、現在の時刻Ｔｎを取得する。
また、解析結果表示制御ブロック４３は、次のステップＳ２において現在の時刻Ｔｎと、挿入補助情報の挿入形状データ作成時刻Ｔｏとの差分が、所定の閾値Ｔｔよりも小さい（Ｔｎ−Ｔｏ＜Ｔｔ）か否かの判定処理を行う。
そして、ステップＳ３に示すように解析結果表示制御ブロック４３は、Ｔｎ−Ｔｏ＜Ｔｔと判定した場合には、挿入補助情報３３ｃの文字列情報を画像処理装置４のディスプレイ２８上に表示する。そして、次の挿入補助情報３３ｃの取得処理に備える。 Further, as shown in FIG. 5, the analysis result display control block 43 performs a process (step S1) of acquiring the insertion auxiliary information 33c on the memory 33 at regular time intervals, and acquires the current time Tn.
Further, in the next step S2, the analysis result display control block 43 has a difference between the current time Tn and the insertion shape data creation time To of the insertion auxiliary information smaller than a predetermined threshold Tt (Tn-To <Tt). Whether to determine whether or not.
If the analysis result display control block 43 determines that Tn−To <Tt as shown in step S <b> 3, the analysis result display control block 43 displays the character string information of the auxiliary insertion information 33 c on the display 28 of the image processing device 4. And it prepares for acquisition processing of the next insertion auxiliary information 33c.

一方、ステップＳ２の判定処理において、現在の時刻Ｔｎと、挿入補助情報３３ｃの挿入形状データ作成時刻Ｔ０との差分が、所定の閾値Ｔｔ以上（Ｔｎ−Ｔｏ≧Ｔｔ）と判定した場合には、ステップＳ４に示すように解析結果表示制御ブロック４３は、画像処理装置４のディスプレイ２８上に表示されている挿入補助情報３３ｃの文字列情報を消去する。そして、次の挿入補助情報３３ｃの取得処理に備える。
術者は、画像処理装置４のディスプレイ２８上に表示される挿入補助情報３３ｃの文字列情報を観察することにより、この観察のタイミングが挿入補助情報３３ｃが生成されたタイミング以降の場合でも、術者にとって知りたい所定の応答動作状態になっているか否かを確認できる。
このようにして、解析結果表示制御ブロック４３は、一定の時間間隔でステップＳ１〜Ｓ４の処理を繰り返す。 On the other hand, in the determination process of step S2, if it is determined that the difference between the current time Tn and the insertion shape data creation time T0 of the auxiliary insertion information 33c is equal to or greater than a predetermined threshold Tt (Tn−To ≧ Tt), As shown in step S4, the analysis result display control block 43 erases the character string information of the auxiliary insertion information 33c displayed on the display 28 of the image processing apparatus 4. And it prepares for acquisition processing of the next insertion auxiliary information 33c.
The surgeon observes the character string information of the insertion assisting information 33c displayed on the display 28 of the image processing device 4, so that the operation is performed even when the timing of this observation is after the timing when the insertion assisting information 33c is generated. It is possible to confirm whether or not a predetermined response operation state desired for the user is known.
In this way, the analysis result display control block 43 repeats the processes of steps S1 to S4 at regular time intervals.

以上の作用による、解析処理ブロック４２が挿入補助情報更新を行うタイミングと、解析結果表示制御ブロック４３が挿入補助情報３３ｃの取得を行うタイミングと、画像処理装置４のディスプレイ２８上に表示される挿入補助情報３３ｃの文字列情報の表示内容との関係を、図６に示す。
図６に示すように、解析処理ブロック４２により挿入補助情報３３ｃの更新が行われる。解析結果表示制御ブロック４３は、一定の時間間隔で、挿入補助情報３３ｃを取得し、その際にＴｎ−Ｔｏ＜Ｔｔか否かの経過時間の条件判定の処理を行う。そして、Ｔｎ−Ｔｏが所定の時間Ｔｔ内にある間は挿入補助情報３３ｃの文字列情報の表示を持続する。ここでは、”先端停止”の表示を持続する。
このため、術者が画像処理装置４のディスプレイ２８の表示面の観察をし遅れても、所定の時間（としての閾値Ｔｔ）以内であれば挿入補助情報３３ｃをより確実に知る（確認する）ことができる。 With the above operation, the analysis processing block 42 updates the insertion auxiliary information, the analysis result display control block 43 acquires the insertion auxiliary information 33c, and the insertion displayed on the display 28 of the image processing apparatus 4. FIG. 6 shows the relationship between the display information of the character string information of the auxiliary information 33c.
As shown in FIG. 6, the insertion auxiliary information 33 c is updated by the analysis processing block 42. The analysis result display control block 43 acquires the auxiliary insertion information 33c at regular time intervals, and at that time, performs processing for determining an elapsed time condition whether Tn−To <Tt. The display of the character string information of the auxiliary insertion information 33c is continued while Tn-To is within the predetermined time Tt. Here, the display of “tip stop” is continued.
For this reason, even if the surgeon observes the display surface of the display 28 of the image processing apparatus 4 and is delayed, the insertion auxiliary information 33c is known (confirmed) more reliably within a predetermined time (as the threshold value Tt). be able to.

なお、上述の説明では、表示を持続するか否かの判定に用いる時刻として挿入補助情報３３ｃに対応する挿入形状データ作成時刻Ｔｏを用いているが、これに近い時刻であれば良く、例えば挿入補助情報３３ｃを生成若しくは更新した時刻を用いても良い。
このように挿入補助情報３３ｃが生成された時刻近傍から所定の時間以内であれば”先端停止”の表示内容を持続するが、所定時間よりも時間が経過した後は”先端停止”の表示を行わないで、表示内容を適切に更新する。
このように本実施例によれば、術者が挿入補助情報３３ｃを見落とすことを有効に防止ないしは軽減し、挿入補助情報３３ｃをより確実に確認することができる。従って、内視鏡検査時における挿入操作に対する操作性を向上することができる。 In the above description, the insertion shape data creation time To corresponding to the insertion auxiliary information 33c is used as the time used to determine whether or not to continue the display. The time when the auxiliary information 33c is generated or updated may be used.
In this way, if the insertion auxiliary information 33c is within a predetermined time from the time when the auxiliary insertion information 33c is generated, the "tip stop" display content is maintained, but after the predetermined time has elapsed, the display of "tip stop" is displayed. Do not do this, update the display content appropriately.
Thus, according to the present embodiment, it is possible to effectively prevent or reduce the surgeon from overlooking the insertion assistance information 33c, and to confirm the insertion assistance information 33c more reliably. Therefore, the operability with respect to the insertion operation at the time of endoscopy can be improved.

なお、本実施例においては、挿入補助情報３３ｃが生成された時刻近傍からの経過時間によって挿入補助情報３３ｃの表示／消去（非表示）を制御したが、図７に示すように経過時間に応じて表示色、表示位置、表示サイズを変更するように構成してもよい。
つまり、斜線で示すように所定の経過時間内では赤色等の表示色で先端停止の表示を行い、所定の経過時間を超えた場合には表示を停止（先端停止の表示を消去）するようにしても良い。
また、所定の経過時間内では先端停止の表示を行い、例えば所定の経過時間付近から先端停止の表示を（その表示範囲から）スクロール移動するようにして、さらに時間が経過した場合には表示されないようにしても良い。 In the present embodiment, the display / erase (non-display) of the auxiliary insertion information 33c is controlled by the elapsed time from the vicinity of the time when the auxiliary insertion information 33c is generated. However, according to the elapsed time as shown in FIG. The display color, display position, and display size may be changed.
In other words, as indicated by diagonal lines, the tip stop is displayed in a display color such as red within a predetermined elapsed time, and the display is stopped (the tip stop display is erased) when the predetermined elapsed time is exceeded. May be.
Further, the tip stop is displayed within a predetermined elapsed time. For example, the tip stop display is scrolled from the vicinity of the predetermined elapsed time (from the display range), and is not displayed when the time further elapses. You may do it.

また、所定の経過時間内では先端停止の表示を行い、例えば所定の経過時間付近から先端停止の表示を行う文字列のサイズを小さくして、さらに時間が経過した場合には表示されないようにしても良い。或いはこれらを組み合わせるようにしても良い。このような場合にもほほ同様の効果がある。
また、本実施例においては、解析処理ブロック４２は、挿入部１１の挿入操作に対して、挿入形状データから先端側が殆ど停止した応答動作状態に対応する挿入補助情報３３ｃを生成するように解析処理を行っているが、電子内視鏡６の抜去操作、湾曲操作（アングル操作）、捻り操作といった、術者による内視鏡操作に対して、挿入形状データから挿入部１１の応答動作状態を解析し、それらが実際に行われているか否かの判定処理を行って、その判定結果を挿入補助情報３３ｃに含めるようにしても良い。 In addition, the tip stop is displayed within a predetermined elapsed time, for example, the size of the character string for displaying the tip stop is reduced from the vicinity of the predetermined elapsed time so that it is not displayed when more time passes. Also good. Or you may make it combine these. In such a case, there is a similar effect.
Further, in the present embodiment, the analysis processing block 42 performs the analysis processing so as to generate the insertion auxiliary information 33c corresponding to the response operation state in which the distal end side is almost stopped from the insertion shape data with respect to the insertion operation of the insertion unit 11. However, the response operation state of the insertion portion 11 is analyzed from the insertion shape data in response to the endoscope operation such as the extraction operation, bending operation (angle operation), and twisting operation of the electronic endoscope 6. Then, it may be determined whether or not they are actually performed, and the determination result is included in the insertion auxiliary information 33c.

例えば挿入部１１の手元側の移動量と、挿入部１１の先端側の移動量の挿入部１１の軸方向における移動方向も判定することにより、抜去操作に対する応答動作状態を判定することができる。
また、例えば湾曲部の基端付近からこれよりも先端側部分のみが大きく挿入形状が変化しているか否かの判定処理を行うことにより湾曲操作に対する応答動作状態を判定することができる。
また、上述した挿入補助情報の表示は、”先端停止”であり、これ以上挿入部１１の手元側を押し込んでも先端部１４は進まない状況であることを術者に示して挿入補助を行うようにしているが、他の内視鏡操作の場合にもその内視鏡操作に対応した挿入補助情報３３ｃを表示するようにしても良い。 For example, by determining the movement amount on the proximal side of the insertion portion 11 and the movement direction in the axial direction of the insertion portion 11 of the movement amount on the distal end side of the insertion portion 11, the response operation state with respect to the removal operation can be determined.
In addition, for example, by performing a process of determining whether or not the insertion shape has changed only from the vicinity of the proximal end of the bending portion to the distal end portion, it is possible to determine the response operation state with respect to the bending operation.
In addition, the above-described insertion assistance information is displayed as “tip stop”, so that even if the proximal side of the insertion portion 11 is pushed further, the distal end portion 14 does not advance, and the insertion assistance is performed. However, the insertion auxiliary information 33c corresponding to the endoscope operation may be displayed also in the case of another endoscope operation.

この場合、挿入補助情報として表示する内容に応じて、表示を持続する際の経過時間を適切に制御するようにすれば良い。
このように、解析結果表示制御ブロック４３は、電子内視鏡６の抜去操作、湾曲操作、捻り操作といった、術者による内視鏡操作を判定した場合には、少なくとも”先端停止”の文字列情報の表示を止める。そして、必要に応じて判定された内視鏡操作に対する挿入補助情報３３ｃの文字列情報を表示する。これにより、術者は内視鏡の抜去操作、アングル操作、捻り操作に対して、挿入部１１の応答動作が円滑に行われている状態か否かを確認することができ、挿入操作を含む内視鏡操作に対する操作性を向上することができるようになる。 In this case, the elapsed time when the display is maintained may be appropriately controlled according to the content displayed as the insertion auxiliary information.
As described above, when the analysis result display control block 43 determines an endoscope operation by the operator, such as an extraction operation, a bending operation, or a twisting operation of the electronic endoscope 6, at least a character string of “tip stop” is determined. Stop displaying information. Then, the character string information of the auxiliary insertion information 33c for the endoscope operation determined as necessary is displayed. Thereby, the surgeon can confirm whether or not the response operation of the insertion portion 11 is smoothly performed with respect to the endoscope extraction operation, the angle operation, and the twist operation, and includes the insertion operation. The operability with respect to the endoscope operation can be improved.

次に図８から図１０を参照して本発明の実施例２を説明する。実施例２を備えた体内挿入モニタリングシステムの構成は図１に示したものと同様である。本実施例は、図１における画像処理装置４におけるプログラム格納部３２に格納されている処理プログラムとは一部異なる処理プログラムを用いている。
この処理プログラムによりＣＰＵ３１によりソフトウェア的に実現される機能ブロックを図８に示す。図８に示す処理プログラムは、フレームデータ取得ブロック４１と、解析処理ブロック５１と、解析結果表示制御ブロック４３とから構成される。
ここで、フレームデータ取得ブロック４１と、解析結果表示制御ブロック４３とは図４に示したのもと同様の処理を行う。これに対して本実施例における解析処理ブロック５１は、メモリ３３に格納される処理スクリプト３３ｄの解釈を行うスクリプト解釈ブロック５１ａと、挿入補助情報生成処理を含む表示特性変更処理を行う表示特性変更処理ブロック５１ｂとからなる。 Next, Embodiment 2 of the present invention will be described with reference to FIGS. The configuration of the in-vivo insertion monitoring system including Example 2 is the same as that shown in FIG. In this embodiment, a processing program that is partially different from the processing program stored in the program storage unit 32 in the image processing apparatus 4 in FIG. 1 is used.
FIG. 8 shows functional blocks that are realized by the CPU 31 in terms of software using this processing program. The processing program shown in FIG. 8 includes a frame data acquisition block 41, an analysis processing block 51, and an analysis result display control block 43.
Here, the frame data acquisition block 41 and the analysis result display control block 43 perform the same processing as shown in FIG. On the other hand, the analysis processing block 51 in this embodiment includes a script interpretation block 51a that interprets the processing script 33d stored in the memory 33, and a display characteristic change process that performs a display characteristic change process including an insertion auxiliary information generation process. It consists of block 51b.

このように解析処理ブロック５１は、実施例１における挿入補助情報３３ｃを生成する解析処理を行う他に、例えば条件設定の内容の変更設定により、複数種類に対応した挿入補助情報３３ｃ′の生成を可能にして、その挿入補助情報３３ｃ′に対応した表示特性を変更可能にしている。
また、メモリ３３には、図４の場合と同様にフレームデータ３３ａ、解析データ３３ｂ、及び挿入補助情報３３ｃ′が格納される。さらに本実施例では、処理プログラム格納部３２に格納される処理プログラムとして、条件設定の変更等を含む表示特性の処理手順を記述した処理スクリプトファイルを含み、起動時にＣＰＵ３１（図１参照）は、それを読み出して、メモリ３３上に処理スクリプト３３ｄとして格納する。
なお、処理スクリプト３３ｄは、所定のプログラミング言語として例えばＪａｖａ（登録商標）Ｓｃｒｉｐｔの文法に則って、解析処理ブロック５１における挿入補助情報の生成処理を含む処理内容を記述している。この処理スクリプト３３ｄの具体例を、例えば図１０に示す。実施例１の場合においては解析処理ブロック４２は、図４に示すように（”先端停止”に相当する）Ｍｏ／Ｍｎ＜０．１か否かの条件を満たすか否かを判断して、この条件を満たす場合に挿入補助情報を生成してメモリ３３に書き込むようにしていた。 As described above, the analysis processing block 51 performs the analysis processing for generating the insertion auxiliary information 33c in the first embodiment, and generates the insertion auxiliary information 33c ′ corresponding to a plurality of types by changing the setting of the condition setting, for example. The display characteristics corresponding to the insertion auxiliary information 33c ′ can be changed.
Further, the memory 33 stores frame data 33a, analysis data 33b, and insertion auxiliary information 33c ′ as in the case of FIG. Further, in the present embodiment, the processing program stored in the processing program storage unit 32 includes a processing script file describing a processing procedure of display characteristics including change of condition setting and the like. It is read out and stored in the memory 33 as a processing script 33d.
The processing script 33d describes processing contents including insertion auxiliary information generation processing in the analysis processing block 51 in accordance with, for example, the grammar of Java (registered trademark) Script as a predetermined programming language. A specific example of the processing script 33d is shown in FIG. In the case of the first embodiment, the analysis processing block 42 determines whether or not the condition of Mo / Mn <0.1 (corresponding to “tip stop”) is satisfied as shown in FIG. When this condition is satisfied, auxiliary insertion information is generated and written in the memory 33.

これに対して本実施例では、図１０に示す処理スクリプト３３ｄでは、”先端停止”以外にも”先端逆進”の挿入補助情報３３ｃ′の文字列情報を生成できるように、解析データに対する処理内容（if部分の条件内容）を変更している。この場合、図１０では、手元側コイルの推進量の符号（正負）を調べて、抜去の操作を判断できるようにしている。
実施例１においては、図４に示したフレームデータ取得ブロック４１等の処理機能は、プログラミング言語がコンパイルされた実行形式の言語に変換されたものがＣＰＵ３１により高速に実行される。
これに対して本実施例においては、解析処理ブロック５１におけるスクリプト解釈ブロック５１ａは、処理スクリプト３３ｄに記述されているプログラミング言語の内容を順次、実行形式の言語に解釈（インタープリト）する。そして解釈された処理を、表示特性変更処理ブロック５１ｂが順次行うようにしている。 On the other hand, in this embodiment, the processing script 33d shown in FIG. 10 performs processing on the analysis data so that the character string information of the insertion auxiliary information 33c ′ for “reverse distal end” can be generated in addition to “stop distal end”. The contents (condition contents of if part) are changed. In this case, in FIG. 10, the sign (positive / negative) of the propulsion amount of the proximal coil is examined so that the removal operation can be determined.
In the first embodiment, the processing functions of the frame data acquisition block 41 and the like shown in FIG. 4 are executed at high speed by the CPU 31 after the programming language is converted into a compiled language.
On the other hand, in the present embodiment, the script interpretation block 51a in the analysis processing block 51 sequentially interprets (interprets) the contents of the programming language described in the processing script 33d into an executable language. The interpreted processing is sequentially performed by the display characteristic change processing block 51b.

この場合、表示特性変更処理ブロック５１ｂは、メモリ３３上の解析データ３３ｂの取得、条件判定、ループ制御、挿入補助情報の生成と更新等の処理を実行する。
このように本実施例における解析処理ブロック５１は、処理スクリプト３３ｄに記述されている解析内容を逐次、解釈してインタープリタ的に実行する。このため、システムを停止させることなく、動作中（検査中）において、例えば上記挿入補助情報設定部分のパラメータ値の変更等を行い、変更した値でそれぞれ実行させて、最も適切となる場合の値に変更設定することも行い易い。
このように、処理スクリプト３３ｄの記述内容を変更することにより、表示特性等の処理内容を簡単に変更できるようにしている。例えば、上記したように処理スクリプトにおける条件内容を変更することにより、挿入補助情報の（表示特性に含まれる）表示内容を容易に変更できる。 In this case, the display characteristic change processing block 51b executes processing such as acquisition of analysis data 33b on the memory 33, condition determination, loop control, and generation and update of insertion auxiliary information.
As described above, the analysis processing block 51 in the present embodiment sequentially interprets the analysis contents described in the processing script 33d and executes them in an interpreter manner. For this reason, during operation (inspection) without stopping the system, for example, the parameter value of the insertion auxiliary information setting part is changed, and each value is executed with the changed value. It is easy to change and set.
In this way, the processing content such as display characteristics can be easily changed by changing the description content of the processing script 33d. For example, by changing the condition contents in the processing script as described above, the display contents (included in the display characteristics) of the insertion auxiliary information can be easily changed.

これに対して、実施例１ではコンパイルされた後のものを実行するため、小さな変更を行う場合においても、システムを停止させて、処理プログラムの内容を変更し、変更した内容でコンパイルして実行形式のファイルを生成する必要がある。また、実行形式のファイルに変換した後でないと、解析処理させることができないため、上記のように単にパラメータ値を適切な値に設定する作業の場合にも手間がかかる。なお、本実施例は、解析処理ブロック５１のみをインタープリタで実行させるようにしている。
このような構成による本実施例の動作を図９を参照して説明する。なお、図９はフレームデータ取得ブロック４１及び解析処理ブロック５１のデータの流れと、解析結果表示制御ブロック４３の処理フローを示す。
図９に示す処理データの流れの概要は、図５と比較すれば容易にわかるように、図５における解析処理ブロック４２では、（”先端停止”に相当する）Ｍｏ／Ｍｎ＜０．１か否かの条件判定を行っていたのを、処理スクリプトにより記述された内容の条件判定を行うことになる。以下、より詳細に説明する。 On the other hand, in the first embodiment, since the compiled program is executed, even when a small change is made, the system is stopped, the contents of the processing program are changed, and the compiled contents are compiled and executed. It is necessary to generate a file of the format. In addition, since the analysis process can be performed only after the file is converted into an executable format file, it takes time and effort to simply set the parameter value to an appropriate value as described above. In the present embodiment, only the analysis processing block 51 is executed by an interpreter.
The operation of this embodiment having such a configuration will be described with reference to FIG. FIG. 9 shows the data flow of the frame data acquisition block 41 and the analysis processing block 51 and the processing flow of the analysis result display control block 43.
As can be easily understood by comparing the flow of the processing data shown in FIG. 9 with FIG. 5, in the analysis processing block 42 in FIG. 5, Mo / Mn <0.1 (corresponding to “tip stop”) is satisfied. The condition determination of the content described by the processing script is performed after the condition determination of whether or not. This will be described in more detail below.

フレームデータ取得ブロック４１は、メモリ３３上にフレームデータ３３ａを記録する。
続いて解析処理ブロック５１は、フレームデータ３３ａの解析処理を行った後、メモリ３３から処理スクリプト３３ｄを取得する。処理スクリプト３３ｄは、例えば図１０に示す内容が記述されている。続いて、スクリプト解釈ブロック５１ａは、処理スクリプト３３ｄを解釈する。そして、解釈された処理手順に基づき、表示特性変更処理ブロック５１ｂにて処理を行う。
図９に示すように解析処理ブロック５１（における表示特性変更処理ブロック５１ｂ）は、解釈された解析データ３３ｂを取得し、条件判定を行って、条件判定に該当しない場合には、次のフレームデータに対して条件判定を行う準備をする。一方、この条件に該当する場合には、その条件判定に該当して生成された挿入補助情報３３ｃ′を更新してメモリ３３に書き込む。具体的には、実施例１の場合における”先端停止”と、この他に”先端逆進”の文字列情報をメモリ３３に書き込む。このような処理を繰り返す。 The frame data acquisition block 41 records frame data 33 a on the memory 33.
Subsequently, the analysis processing block 51 acquires the processing script 33d from the memory 33 after performing analysis processing of the frame data 33a. The processing script 33d describes, for example, the contents shown in FIG. Subsequently, the script interpretation block 51a interprets the processing script 33d. Then, based on the interpreted processing procedure, processing is performed in the display characteristic change processing block 51b.
As shown in FIG. 9, the analysis processing block 51 (the display characteristic change processing block 51b) acquires the interpreted analysis data 33b, performs condition determination, and if the condition determination does not apply, the next frame data Prepare to make a condition judgment for. On the other hand, if this condition is met, the auxiliary insertion information 33c ′ generated corresponding to the condition determination is updated and written in the memory 33. Specifically, the character string information of “tip stop” and “tip reverse” in the case of the first embodiment is written in the memory 33. Such a process is repeated.

一方、解析結果表示制御ブロック４３は、実施例１の場合と同様に一定の時間間隔でメモリ３３上の挿入補助情報３３ｃ′を取得する（ステップＳ１）とともに、現在の時刻Ｔｎを取得し、現在の時刻Ｔｎと、挿入補助情報３３ｃ′の挿入形状データ作成時刻Ｔ０との差分が所定の閾値Ｔｔよりも小さい（Ｔｎ−Ｔｏ＜Ｔｔ）か否かの判定を行う（ステップＳ２）。
そして、Ｔｎ−Ｔｏ＜Ｔｔの条件を満たす時には、挿入補助情報３３ｃ′の文字列情報を画像処理装置４のディスプレイ２８上に表示する（ステップＳ３）。本実施例では、”先端停止”と、”先端逆進”の文字列情報を表示することとなる。
また、現在の時刻Ｔｎと、挿入補助情報３３ｃ′の挿入形状データ作成時刻Ｔｏとの差分が、所定の閾値Ｔｔ以上（Ｔｎ−Ｔｏ≧Ｔｔ）のときには、画像処理装置４のディスプレイ２８上に表示されている文字列情報を消去する（ステップＳ４）。 On the other hand, the analysis result display control block 43 acquires the insertion auxiliary information 33c ′ on the memory 33 at regular time intervals as in the case of the first embodiment (step S1), acquires the current time Tn, It is determined whether or not the difference between the time Tn and the insertion shape data creation time T0 of the auxiliary insertion information 33c ′ is smaller than a predetermined threshold Tt (Tn−To <Tt) (step S2).
When the condition of Tn−To <Tt is satisfied, the character string information of the auxiliary insertion information 33c ′ is displayed on the display 28 of the image processing device 4 (step S3). In the present embodiment, the character string information of “tip stop” and “tip reverse” is displayed.
Further, when the difference between the current time Tn and the insertion shape data creation time To of the insertion auxiliary information 33c ′ is equal to or greater than a predetermined threshold Tt (Tn−To ≧ Tt), it is displayed on the display 28 of the image processing device 4. The set character string information is deleted (step S4).

このように、処理スクリプト３３ｄに記述されている内容にしたがって体内挿入モニタリングシステム１を動作させるため、処理プログラムを新たに作成する必要がなく、動作内容の詳細なカスタマイズ等が行い易くなる。
なお、本体内挿入モニタリングシステム１において、処理スクリプトを任意のタイミングで読み込む機能を追加することにより、体内挿入モニタリングシステム１の動作を終了させることなく、修正または選択した処理スクリプトを術者の指示により読み込ませる構成にしてもよい。
従って、本実施例は以下の効果を有する。
体内挿入モニタリングシステムの処理プログラムを新たに作り直さなくても、詳細なカスタマイズが簡単に行える。 Thus, since the in-body insertion monitoring system 1 is operated according to the contents described in the processing script 33d, it is not necessary to create a new processing program, and detailed customization of the operation contents is facilitated.
In addition, in the in-body insertion monitoring system 1, by adding a function of reading the processing script at an arbitrary timing, the modified or selected processing script can be specified by an operator's instruction without ending the operation of the in-body insertion monitoring system 1. You may make it the structure read.
Therefore, this embodiment has the following effects.
Detailed customization can be easily performed without re-creating a new processing program for the in-vivo insertion monitoring system.

また、設定調整時や検査時に体内挿入モニタリングシステムを停止させずにカスタマイズが行えるため、カスタマイズ結果を即時確認し易くできると共に、検査中にその挿入補助情報の生成方法を修正／選択しながら、連続的（円滑）に挿入補助情報を提示することが可能となる。そして、術者にとってより操作性を向上できる各種の挿入補助情報をより適切に表示することができる。その他、実施例１と同様の効果がある。
なお、図１０に示した処理スクリプトの内容を変更することにより、湾曲操作などの内視鏡操作に対する挿入部１１の応答動作状態を解析して、所定の応答動作状態の場合に挿入補助情報として表示することもできる。 In addition, customization can be performed without stopping the in-vivo insertion monitoring system at the time of setting adjustment or examination, so it is easy to immediately confirm the customization result, and it is possible to continuously change the method of generating auxiliary insertion information during the examination while correcting / selecting the method. The insertion auxiliary information can be presented smoothly (smoothly). And various insertion auxiliary information which can improve operativity more for an operator can be displayed more appropriately. In addition, there are the same effects as in the first embodiment.
Note that by changing the content of the processing script shown in FIG. 10, the response operation state of the insertion unit 11 with respect to an endoscope operation such as a bending operation is analyzed, and is used as insertion auxiliary information in a predetermined response operation state. It can also be displayed.

なお、挿入補助情報を表示する場合、画像処理装置４のディスプレイ２８に表示する場合に限定されるものでなく、例えば内視鏡挿入形状観測装置３のディスプレイ２２や内視鏡装置２の観察モニタ９に表示するようにしても良いし、表示する表示装置を選択設定できるようにしても良い。また、挿入補助情報を表示する場合、文字列情報で表示する場合に限定されるものでなく、例えば内視鏡挿入形状観測装置３のディスプレイ２２上に表示される挿入形状の背景部分の表示色を変更することにより、例えば”先端停止”の挿入補助情報を術者に知らせるようにしても良い。
なお、上述した各実施例等を部分的に組み合わせる等して構成される実施例等も本発明に属する。 Note that the display of the auxiliary insertion information is not limited to the display on the display 28 of the image processing device 4. For example, the display 22 of the endoscope insertion shape observation device 3 or the observation monitor of the endoscope device 2 is used. 9 may be displayed, or a display device to be displayed may be selected and set. In addition, the display of the auxiliary insertion information is not limited to the case of displaying the character string information. For example, the display color of the background portion of the insertion shape displayed on the display 22 of the endoscope insertion shape observation device 3 For example, it may be possible to notify the surgeon of insertion auxiliary information of “tip stop”, for example.
It should be noted that embodiments configured by partially combining the above-described embodiments and the like also belong to the present invention.

［付記］
１．体腔内に挿入される内視鏡と、
前記内視鏡の挿入部の形状を検出する形状検出手段と、
前記形状検出手段の形状検出情報を基にして、挿入操作等の内視鏡操作に対する挿入部の応答動作状態の解析を行う解析手段と、
前記解析手段により解析された所定の応答動作状態の情報を挿入補助情報として表示手段に出力する挿入補助情報出力手段と、
前記表示手段により前記挿入補助情報を表示する際の表示特性を、前記挿入補助情報に対応する形状検出情報が作成された時刻からの経過時間情報により制御する表示制御手段と、
を具備したことを特徴とする挿入モニタリングシステム。 [Appendix]
1. An endoscope inserted into the body cavity;
Shape detecting means for detecting the shape of the insertion portion of the endoscope;
Based on the shape detection information of the shape detection means, analysis means for analyzing the response operation state of the insertion portion with respect to an endoscope operation such as an insertion operation,
Insertion auxiliary information output means for outputting information on the predetermined response operation state analyzed by the analysis means to the display means as insertion auxiliary information;
Display control means for controlling display characteristics when displaying the insertion auxiliary information by the display means, based on elapsed time information from the time when the shape detection information corresponding to the insertion auxiliary information is created;
An insertion monitoring system comprising:

体腔内に挿入された挿入部の挿入形状を検出して表示装置に表示すると共に、挿入形状データから挿入操作等の内視鏡操作に対する挿入部の応答動作状態を解析して、所定の応答動作状態に対応する情報を挿入補助情報として表示すると共に、その表示時間等を制御することにより、術者が常時観察していなくても、その情報をより確実に認識できるようにして操作性を向上した。 The insertion shape of the insertion portion inserted into the body cavity is detected and displayed on the display device, and the response operation state of the insertion portion with respect to an endoscope operation such as an insertion operation is analyzed from the insertion shape data, and a predetermined response operation is performed By displaying the information corresponding to the state as auxiliary insertion information and controlling the display time, etc., even if the operator is not constantly observing, the information can be recognized more reliably and the operability is improved. did.

本発明の実施例１を備えた体内挿入モニタリングシステムの全体構成図。BRIEF DESCRIPTION OF THE DRAWINGS The whole block diagram of the in-body insertion monitoring system provided with Example 1 of this invention. 内視鏡挿入形状観測装置で検出される挿入部内に設けられたソースコイルの座標を示す図。The figure which shows the coordinate of the source coil provided in the insertion part detected with an endoscope insertion shape observation apparatus. 内視鏡挿入形状観測装置により生成される挿入形状データを示す説明図。Explanatory drawing which shows the insertion shape data produced | generated by the endoscope insertion shape observation apparatus. 画像処理装置により実現される機能ブロックの構成等を示す図。The figure which shows the structure etc. of the functional block implement | achieved by the image processing apparatus. 図４に示した解析処理ブロック等によるデータの流れや処理フロー等を示す説明図。Explanatory drawing which shows the flow of data, a processing flow, etc. by the analysis processing block etc. which were shown in FIG. 挿入補助情報の更新タイミングと現在の時刻との差分値により挿入補助情報の表示持続を制御する動作を示す説明図。Explanatory drawing which shows the operation | movement which controls the display continuation of insertion auxiliary information with the difference value of the update timing of insertion auxiliary information, and the present time. 挿入補助情報の表示特性に関する変形例を示す図。The figure which shows the modification regarding the display characteristic of insertion auxiliary information. 本発明の実施例２における画像処理装置により実現される機能ブロックの構成等を示す図。FIG. 6 is a diagram illustrating a configuration of functional blocks realized by an image processing apparatus according to a second embodiment of the present invention. 図８に示した解析処理ブロック等によるデータの流れや処理フロー等を示す説明図。Explanatory drawing which shows the data flow by the analysis process block etc. which were shown in FIG. 8, a processing flow, etc. FIG. 処理スクリプトの処理内容のプログラミングの具体例。Specific example of programming of processing contents of processing script.

Explanation of symbols

１…体内挿入モニタリングシステム
２…内視鏡装置
３…内視鏡挿入形状観測装置
４…画像処理装置
６…電子内視鏡
８…ビデオプロセッサ
１１…挿入部
１４…先端部
１６…撮像素子
１９…センスコイルユニット
２１…形状処理装置
２５…ＰＣ
３１…ＣＰＵ
３３…メモリ
４１…フレームデータ取得ブロック
４２…解析処理ブロック
４３…解析結果表示制御ブロック DESCRIPTION OF SYMBOLS 1 ... In-body insertion monitoring system 2 ... Endoscope apparatus 3 ... Endoscope insertion shape observation apparatus 4 ... Image processing apparatus 6 ... Electronic endoscope 8 ... Video processor 11 ... Insertion part 14 ... Tip part 16 ... Imaging element 19 ... Sense coil unit 21 ... Shape processing device 25 ... PC
31 ... CPU
33 ... Memory 41 ... Frame data acquisition block 42 ... Analysis processing block 43 ... Analysis result display control block

Claims

Based on the shape detection information generated by the shape detection means for detecting the shape of the insertion portion of the endoscope inserted into the body cavity, the response operation state of the insertion portion with respect to the endoscope operation such as the insertion operation is analyzed. Analysis means;
Insertion auxiliary information generating means for generating insertion auxiliary information corresponding to the predetermined response operation state analyzed by the analyzing means;
Display that is output to the display means by the insertion auxiliary information generation means, and that controls the display characteristics when the insertion auxiliary information is displayed on the display means by the elapsed time information from the vicinity of the time when the insertion auxiliary information was generated Control means;
An insertion monitoring device comprising:

The analysis means includes an insertion operation for inserting the insertion portion as the endoscope operation, an extraction operation for removing the insertion portion, a bending operation for bending the bending portion provided in the insertion portion, and a twisting operation for twisting the insertion portion. The insertion monitoring apparatus according to claim 1, wherein a response operation state of the insertion portion with respect to at least one is analyzed.

When analyzing the response operation state of the insertion portion with respect to the insertion operation or the removal operation, the determination is made based on the relative movement amount on the distal end side of the insertion portion with respect to the insertion movement amount on the proximal side of the insertion portion. The insertion monitoring apparatus according to claim 2.

The display control means is a display sustaining characteristic for sustaining display of the insertion auxiliary information according to an elapsed time from a time when the shape detection information corresponding to the insertion auxiliary information is created to a predetermined time set in advance, 4. The insertion monitoring apparatus according to claim 1, wherein at least one of a display color of the insertion auxiliary information, a display position of the insertion auxiliary information, and a display size of the insertion auxiliary information is controlled. .

The analysis means obtains a script whose processing content is described in a predetermined programming language, and interprets the processing content and processing order of the script into an execution language, and is interpreted by the script interpretation means. The insertion monitoring apparatus according to any one of claims 1 to 4, further comprising processing means for sequentially executing the processing contents and processing order.