JP4590189B2

JP4590189B2 - Virtual image display device

Info

Publication number: JP4590189B2
Application number: JP2004024832A
Authority: JP
Inventors: 明伸内久保; 孝史尾崎; 浩一田代; 剛明中村
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2004-01-30
Filing date: 2004-01-30
Publication date: 2010-12-01
Anticipated expiration: 2024-01-30
Also published as: JP2005211533A

Description

本発明は、内視鏡等を含む内視鏡システムを用いて手術をする際に、被検体に関する３次元画像データ（以下、バーチャル画像データと称す）を得、このバーチャル画像データに基づく画像を表示することにより術者を支援するためのバーチャル画像表示装置に関する。 The present invention obtains three-dimensional image data (hereinafter referred to as virtual image data) related to a subject when performing an operation using an endoscope system including an endoscope or the like, and an image based on the virtual image data is obtained. The present invention relates to a virtual image display device for assisting a surgeon by displaying.

近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（ＣｏｍｐｕｔｅｄＴｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内の３次元的なバーチャル画像データを得、このバーチャル画像データを用いて患部の診断が行われるようになってきた。 In recent years, diagnosis based on images has been widely performed. For example, three-dimensional virtual image data in a subject is obtained by capturing a tomographic image of the subject using an X-ray CT (Computed Tomography) apparatus or the like. Diagnosis of an affected area has been performed using this virtual image data.

ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元的なバーチャル画像を作成することが行われる。 In the CT apparatus, by continuously feeding the subject in the body axis direction while continuously rotating the X-ray irradiation / detection, a helical continuous scan (helical scan) is performed on the three-dimensional region of the subject. A three-dimensional virtual image is created from tomographic images of successive slices of a three-dimensional region.

そのような３次元画像の１つに、肺の気管支の３次元像がある。気管支の３次元像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプル（ｓａｍｐｌｅ）を採取することが行われる。 One such 3D image is a 3D image of the lung bronchi. The three-dimensional image of the bronchus is used to three-dimensionally grasp the position of an abnormal part suspected of lung cancer, for example. In order to confirm the abnormal portion by biopsy, a bronchoscope is inserted and a biopsy needle, biopsy forceps, or the like is taken out from the distal end portion and a tissue sample is taken.

気管支のような多段階の分岐を有する体内の管路では、異常部の所在が分岐の末梢に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば特開２０００−１３５２１５号公報等では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像（以下、バーチャル画像と称す）を前記画像データに基づいて作成し、前記バーチャル画像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。 In a duct in the body having a multi-stage branch such as the bronchi, when the location of the abnormal part is close to the periphery of the branch, it is difficult to correctly reach the target site in a short time, for example, In Japanese Patent Application Laid-Open No. 2000-135215, etc., a three-dimensional image of a pipeline in the subject is created based on image data of a three-dimensional region of the subject, and a target along the pipeline is created on the three-dimensional image. By obtaining a route to a point, creating a virtual endoscopic image (hereinafter referred to as a virtual image) of the duct along the route based on the image data, and displaying the virtual image, An apparatus for navigating an endoscope to a target site has been proposed.

また、腹部領域の体内の臓器を被検体とする診断においては、従来より、上記同様に主に腹部領域内の被検体の３次元的なバーチャル画像を作成し、これを表示しながら診断するための画像解析ソフトが実用化されている。
この種の画像解析ソフトを用いた画像システムは、医師が術前に予め患者の腹部領域内等の被検体の病変部の変化をそのバーチャル画像を見ながら把握するための診断に用いられており、通常、カンファレンス室等の手術室外で行われているが一般的である。
特開２０００−１３５２１５号公報 Further, in diagnosis using an internal organ in the abdominal region as a subject, conventionally, a three-dimensional virtual image of the subject in the abdominal region is created in the same manner as described above, and the diagnosis is performed while displaying this. Image analysis software has been put to practical use.
An image system using this kind of image analysis software is used for diagnosis by doctors to grasp changes in the lesion of a subject in the patient's abdominal region, etc. in advance while viewing the virtual image before surgery. Usually, it is performed outside an operating room such as a conference room.
JP 2000-135215 A

従来より、内視鏡観察下で腹部領域の体内の被検体に対する手術等を行う場合にも、内視鏡観察画像の観察領域の被検体の生体画像情報（臓器等により見えない動脈、静脈の配置の画像情報や、関心部位の位置の画像情報等）を、必要に応じて術者に対して迅速に提供することが望まれている。
しかしながら、上述した画像解析ソフトを用いた画像システムは、あくまでも腹部領域の被検体のバーチャル画像を見ながら診断を行うといった術前に使用するものであり、実際の内視鏡システムと併用して実際の手術に使用することはできず、術者に対して必要な被検体の生体画像情報を提供することはできない。 Conventionally, even when performing an operation on an in-vivo subject in the abdominal region under endoscopic observation, biological image information of the subject in the observation region of the endoscopic observation image (arteries and veins that cannot be seen by the organ, etc.) It is desired that image information on the arrangement, image information on the position of the region of interest, etc.) be quickly provided to the surgeon as necessary.
However, the image system using the above-described image analysis software is used before surgery such as making a diagnosis while looking at a virtual image of a subject in the abdominal region, and is actually used in combination with an actual endoscope system. Therefore, it is impossible to provide necessary biological image information of the subject to the surgeon.

また、例えば実際に手術を行う内視鏡システムと、画像システムとを用いてシステムを構築することも考えられるが、手術中の術者に対して必要に応じて被検体の３次元画像を迅速に提供し、あるいは術者の要求に応じて必要な被検体の情報のみを提供しようとするシステムはなく、実際にこのようなシステムを構築しようとすると、３次元画像を作成するのに必要な情報を得るためのセンサの内視鏡への装着によって内視鏡の操作部自体が重くなり、内視鏡の操作性に影響を及ぼしたり、また、煩雑な構成であるためにシステムが大型化になってしまい、システム全体のコストも高価となってしまう。 Further, for example, it is conceivable to construct a system by using an endoscope system that actually performs an operation and an image system. However, a 3D image of a subject can be quickly acquired as necessary for an operator during an operation. There is no system that provides only the necessary subject information according to the operator's request, and when actually trying to construct such a system, it is necessary to create a three-dimensional image. Mounting the sensor to obtain information on the endoscope makes the operation section of the endoscope itself heavy, affecting the operability of the endoscope, and increasing the size of the system due to its complicated structure As a result, the cost of the entire system becomes expensive.

また、前記従来の特開２０００−１３５２１５号公報に記載のナビゲーション装置は、内視鏡視野方向が限定される気管支などの体内の管路への内視鏡挿入時のナビゲーションには使い勝手が良いが、腹部領域の被検体の手術を行う腹腔鏡などの内視鏡観察下においては、内視鏡観察画像の観察領域の被検体の生体画像情報を得ることができないといった不都合があった。 In addition, the conventional navigation device described in Japanese Patent Laid-Open No. 2000-135215 is convenient for navigation when an endoscope is inserted into a body duct such as a bronchus where the endoscope visual field direction is limited. Under the endoscopic observation such as a laparoscope for performing an operation on the subject in the abdominal region, there is a disadvantage that the biological image information of the subject in the observation region of the endoscopic observation image cannot be obtained.

本発明は、上記事情に鑑みてなされたものであり、簡単な構成で且つ低コストで、内視鏡観察下において、内視鏡観察画像の観察領域の被検体の生体画像情報を得ることのできるバーチャル画像表示装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and can obtain biological image information of a subject in an observation region of an endoscopic observation image under an endoscopic observation with a simple configuration and low cost. An object of the present invention is to provide a virtual image display device that can be used.

上記目的を達成するために本発明の第１のバーチャル画像表示装置は、内視鏡を挿通するトラカールの基端側に配設され、当該内視鏡の挿入部の観察方向を示す情報を検出する検出手段と、被検体に関するバーチャル画像データを記憶するバーチャル画像データ記憶手段と、前記検出手段により検出された情報に基づき前記バーチャル画像データ記憶手段に記憶されたバーチャル画像データを処理するバーチャル画像データ処理手段と、前記バーチャル画像データに基づくバーチャル画像及び前記内視鏡による内視鏡観察画像を表示可能なバーチャル画像表示手段の表示制御を行うバーチャル画像表示制御手段と、を具備したことを特徴とする。 In order to achieve the above object, a first virtual image display device of the present invention is disposed on the proximal end side of a trocar that passes through an endoscope, and detects information indicating an observation direction of an insertion portion of the endoscope. Virtual image data for processing virtual image data stored in the virtual image data storage means based on information detected by the detection means, virtual image data storage means for storing virtual image data relating to the subject, and information detected by the detection means And a virtual image display control means for performing display control of a virtual image display means capable of displaying a virtual image based on the virtual image data and an endoscopic observation image by the endoscope. To do.

本発明の第２のバーチャル画像表示装置は、内視鏡の挿入部の観察方向を示す情報を検出する検出手段と、被検体に関するバーチャル画像データを記憶するバーチャル画像データ記憶手段と、前記検出手段により検出された情報に基づき前記バーチャル画像データ記憶手段に記憶されたバーチャル画像データを処理するバーチャル画像データ処理手段と、前記バーチャル画像データに基づくバーチャル画像及び前記内視鏡による内視鏡観察画像を表示可能なバーチャル画像表示手段の表示制御を行うバーチャル画像表示制御手段と、を具備し、前記内視鏡の挿入部の軸上に前記検出手段の装着が可能な取付手段を有し、この取付け手段は、前記内視鏡を用いる術者の腕部に前記検出手段を貼り付けて装着することを特徴とする。 The second virtual image display device of the present invention includes a detecting means for detecting information indicating the observation direction of the insertion portion of the endoscope, a virtual image data storing means for storing virtual image data relating to the subject, and the detecting means. Virtual image data processing means for processing virtual image data stored in the virtual image data storage means based on information detected by the virtual image data, and a virtual image based on the virtual image data and an endoscope observation image by the endoscope Virtual image display control means for performing display control of the displayable virtual image display means, and has an attachment means capable of mounting the detection means on the axis of the insertion portion of the endoscope. The means is characterized in that the detection means is attached to an arm portion of an operator who uses the endoscope.

本発明のバーチャル画像表示装置は、簡単な構成で且つ低コストで、内視鏡観察下において、内視鏡観察画像の観察領域の被検体の生体画像情報を得ることができるといった利点がある。 The virtual image display device of the present invention has an advantage that it can obtain biological image information of a subject in an observation region of an endoscopic observation image under endoscopic observation with a simple configuration and low cost.

以下、図面を参照して本発明の実施例を説明する。 Embodiments of the present invention will be described below with reference to the drawings.

図１乃至図９は本発明のバーチャル画像表示装置の第１実施例を示し、図１はバーチャル画像表示装置を備えた内視鏡システムの全体構成を示す概略構成図、図２は図１の内視鏡システムの全体構成を示すブロック図、図３は図１の内視鏡の外観構成を示す斜視図、図４は取付対象部が術者の腕部の場合の構成例を示す斜視図、図５はセンサを装着する取付対象部であるトラカールの外観構成を示す斜視図、図６は取付対象部の第１変形例を示す構成斜視図、図７は取付対象部の第２変形例を示す構成斜視図である。また、図８及び図９は本実施例のバーチャル画像表示装置の表示動作を説明するもので、図８は図１に示す術者用モニタの表示例を示し、図９はバーチャル画像生成部のＣＰＵによるメイン制御処理を示すフローチャートをそれぞれ示している。 1 to 9 show a first embodiment of a virtual image display device according to the present invention, FIG. 1 is a schematic configuration diagram showing an overall configuration of an endoscope system including the virtual image display device, and FIG. 2 is a diagram of FIG. FIG. 3 is a perspective view showing the external configuration of the endoscope shown in FIG. 1, and FIG. 4 is a perspective view showing an example of the configuration when the attachment target portion is an operator's arm portion. 5 is a perspective view showing an external configuration of a trocar, which is an attachment target portion to which the sensor is attached, FIG. 6 is a perspective view showing a first modification of the attachment target portion, and FIG. 7 is a second modification of the attachment target portion. FIG. 8 and 9 illustrate the display operation of the virtual image display apparatus of the present embodiment. FIG. 8 shows a display example of the surgeon monitor shown in FIG. 1, and FIG. The flowchart which shows the main control processing by CPU is shown, respectively.

図１に示すように、本実施例のバーチャル画像表示装置１は、内視鏡システムと組み合わせて構成され、具体的には、観察手段としての内視鏡２、センサ３ａ、センサ３ａを内視鏡２装着するための取付対象部３Ａ（例えばトラカール３７）、ＣＣＵ（カメラコントロールユニット）４、光源装置５、電気メス装置６、気腹器７、超音波駆動電源８、ＶＴＲ９、システムコントローラ１０、バーチャル画像生成部１１、リモコン１２Ａ、音声入力マイク１２Ｂ、内視鏡ライブ画像表示用の参照用モニタ１３、マウス１５、キーボード１６、バーチャル画像表示用のモニタ１７及び、手術室に配された術者用モニタ３２を有している。 As shown in FIG. 1, the virtual image display device 1 of the present embodiment is configured in combination with an endoscope system. Specifically, an endoscope 2, a sensor 3a, and a sensor 3a as observation means are endoscopes. Attachment target portion 3A (for example, trocar 37) for mounting the mirror 2, CCU (camera control unit) 4, light source device 5, electric scalpel device 6, insufflator 7, ultrasonic drive power supply 8, VTR 9, system controller 10, A virtual image generator 11, a remote controller 12A, a voice input microphone 12B, a reference monitor 13 for displaying an endoscope live image, a mouse 15, a keyboard 16, a monitor 17 for displaying a virtual image, and an operator disposed in the operating room Monitor 32 is provided.

内視鏡２は、図３及び図４に示すような腹腔鏡を用いている。この腹腔鏡は、被検体の体腔内に挿入するための挿入部３７Ａと、挿入部３７Ａの基端側に設けられた把持部３７Ｂと、この把持部３７Ｂに設けられた接眼部３７Ｃとから構成される。また、挿入部３７Ａの内部には、照明光学系及び観察光学系が設けられており、被検体の腹腔内の観察部位を照明し、被検体の腹腔内の観察像を得ることが可能である。把持部３７Ｂには、ライトガイドコネクタ２ａが設けられている。このライトガイドコネクタ２ａには、一端を光源装置に接続されたライトガイドケーブルの他端に設けられたコネクタが接続される。これにより、照明光学系を介して光源装置５からの照明光により観察部位を照明する。 As the endoscope 2, a laparoscope as shown in FIGS. 3 and 4 is used. The laparoscope includes an insertion portion 37A for insertion into a body cavity of a subject, a gripping portion 37B provided on the proximal end side of the insertion portion 37A, and an eyepiece portion 37C provided on the gripping portion 37B. Composed. Further, an illumination optical system and an observation optical system are provided inside the insertion portion 37A, and it is possible to illuminate an observation site in the abdominal cavity of the subject and obtain an observation image in the abdominal cavity of the subject. . The light guide connector 2a is provided in the grip portion 37B. A connector provided at the other end of the light guide cable having one end connected to the light source device is connected to the light guide connector 2a. Thus, the observation site is illuminated with illumination light from the light source device 5 via the illumination optical system.

接眼部３７Ｃには、図４に示すようにＣＣＤを内蔵したカメラヘッド２Ａが接続される。このカメラヘッド２Ａには観察像のズームイン／アウトなどの操作を行うためのリモートスイッチ２Ｂが設けられている。このカメラヘッド２Ａの後端側にカメラケーブルが延設されている。また、カメラケーブルの他端には、ＣＣＵ４に電気的に接続するための接続コネクタが設けられている。 As shown in FIG. 4, a camera head 2A incorporating a CCD is connected to the eyepiece 37C. The camera head 2A is provided with a remote switch 2B for performing operations such as zooming in / out of the observation image. A camera cable extends from the rear end side of the camera head 2A. Further, a connection connector for electrically connecting to the CCU 4 is provided at the other end of the camera cable.

このような内視鏡（腹腔鏡）２は、手術時、後述するセンサ３ａを装着するための取付対象部であるトラカール３７（図５参照）に挿通されて用いられるようになっている。
このトラカール３７は、図５に示すように、被検体の体腔内に挿入するための挿入部３７Ａ１と、挿入部３７Ａ１の基端側に設けられた本体部３７Ｂ１と、この本体部３７Ｂ１の外周上に延設された延設部３７ｂとを有しており、この延設部３７ｂ上に前記センサ３ａが装着されている。本体部３７Ｂ１には、送気用コネクタ７ａが設けられている。この送気用コネクタ７ａには、一端を気腹器７に接続された送気用チューブの他端に設けられたコネクタが接続される。これにより、気腹器７からの送気により腹腔内を膨らませて内視鏡２の視野や処置のための空間領域を確保する。 Such an endoscope (laparoscope) 2 is used by being inserted into a trocar 37 (see FIG. 5) which is an attachment target part for mounting a sensor 3a described later at the time of surgery.
As shown in FIG. 5, the trocar 37 includes an insertion portion 37A1 for insertion into the body cavity of the subject, a main body portion 37B1 provided on the proximal end side of the insertion portion 37A1, and an outer periphery of the main body portion 37B1. The sensor 3a is mounted on the extended portion 37b. The main body portion 37B1 is provided with an air supply connector 7a. A connector provided at the other end of the air supply tube having one end connected to the insufflator 7 is connected to the air supply connector 7a. As a result, the abdominal cavity is inflated by insufflation from the insufflator 7 to secure a field of view of the endoscope 2 and a space area for treatment.

内視鏡２は、上記構成のトラカール３７に挿通された状態のまま、このトラカール３７によって患者体内の腹部に保持されながら前記挿入部３７Ａを腹部領域に挿入して、観察光学系を介して得られた腹腔内の観察像をカメラヘッド２Ａを介してＣＣＵ４に供給する。 The endoscope 2 is obtained through the observation optical system by inserting the insertion portion 37A into the abdominal region while being held by the abdomen in the patient's body while being inserted through the trocar 37 having the above-described configuration. The obtained observation image in the abdominal cavity is supplied to the CCU 4 via the camera head 2A.

ＣＣＵ４は、図２に示すように、内視鏡２からの撮像信号に信号処理を施し、撮像信号に基づく画像データ（例えば内視鏡ライブ画像データ）を、手術室内に配されたシステムコントローラ１０及びＶＴＲ９に供給する。なお、この場合、システムコントローラ１０からの制御により、内視鏡のライブ画像の静止画あるいは動画に基づく画像データがＣＣＵ４から選択出力されることになる。また、前記システムコントローラ１０の詳細な構成ついては後述する。 As shown in FIG. 2, the CCU 4 performs signal processing on the imaging signal from the endoscope 2, and image data based on the imaging signal (for example, endoscope live image data) is disposed in the operating room 10. And supplied to the VTR 9. In this case, image data based on a still image or a moving image of the live image of the endoscope is selectively output from the CCU 4 under the control of the system controller 10. The detailed configuration of the system controller 10 will be described later.

ＶＴＲ９は、システムコントローラ１０の制御により、前記ＣＣＵ４からの内視鏡ライブ画像データを記録し、あるいは再生可能である。再生時の場合には、再生された内視鏡ライブ画像データをシステムコントローラ１０に出力する。 The VTR 9 can record or reproduce the endoscope live image data from the CCU 4 under the control of the system controller 10. In the case of reproduction, the reproduced endoscope live image data is output to the system controller 10.

光源装置５は、ライトガイドケーブル内のライトガイドを介して内視鏡２に設けられた照明光学系に対して照明光を供給するための光源装置である。
電気メス装置６は、例えば患者の腹部領域内の異常部を電気熱を用いて切断したりする手術処置具と、その処置具に対して高周波電流を出力する高周波出力装置である。超音波駆動電源８は、超音波プローブや鉗子等で前記異常部を切断あるいは採取したりする手術処置具と、その処置具に対して高周波電流を出力する高周波出力装置である。
また気腹器７は、図示はしないが送気、吸気手段を備え、接続される前記トラカール３７を介して患者体内の例えば腹部領域に空気を送気するものである。 The light source device 5 is a light source device for supplying illumination light to an illumination optical system provided in the endoscope 2 via a light guide in a light guide cable.
The electric scalpel device 6 is a surgical treatment tool that cuts an abnormal part in a patient's abdominal region using electric heat, for example, and a high-frequency output device that outputs a high-frequency current to the treatment tool. The ultrasonic drive power supply 8 is a surgical treatment instrument that cuts or collects the abnormal part with an ultrasonic probe or forceps, and a high-frequency output device that outputs a high-frequency current to the treatment instrument.
The insufflator 7 includes an air supply / intake unit (not shown), and supplies air to, for example, an abdominal region in the patient body via the connected trocar 37.

これらの光源装置５，電気メス装置６，気腹器７及び超音波駆動電源８は、前記システムコントローラ１０と電気的に接続されており、このシステムコントローラ１０によってその駆動が制御されるようになっている。 The light source device 5, the electric knife device 6, the insufflator 7 and the ultrasonic drive power source 8 are electrically connected to the system controller 10, and the drive of the system controller 10 is controlled. ing.

また、手術室内には、上述した各種機器の他にシステムコントローラ１０及び術者用モニタ３２が配されている。
本実施例では、例えば患者３０の腹部内にトラカール３７を介して挿入部を挿入して被検体を撮像する術者３１が、図１に示すような位置で処置を行うものとすると、この術者３１の位置に対応した見やすい位置（視野方向）に、前記術者用モニタ３２が設置されるようになっている。
術者用モニタ３２は、内視鏡画像用モニタ１３ａとこれに並設されるバーチャル画像用モニタ１７ａとを有している。 In addition to the various devices described above, a system controller 10 and an operator monitor 32 are arranged in the operating room.
In this embodiment, for example, when an operator 31 who images an object by inserting an insertion portion into the abdomen of a patient 30 via a trocar 37 performs treatment at a position as shown in FIG. The operator monitor 32 is installed at an easy-to-see position (viewing direction) corresponding to the position of the operator 31.
The surgeon monitor 32 has an endoscopic image monitor 13a and a virtual image monitor 17a arranged in parallel therewith.

また、本実施例では、内視鏡２の視野方向に基づくバーチャル画像を生成し表示するために、術者３１の腕部や、内視鏡２を挿通するトラカール３７等の取付対象部３Ａにセンサ３ａが装着されている。このセンサ３ａは、例えばジャイロセンサ等のセンサがユニットに収容されており、トラカール３７などの取付対象部３Ａの腹部領域への挿入角度等の情報を検出し、接続線１１ａを介して後述するバーチャル画像生成部１１に供給する。なお、センサ３ａは、接続線１１ａを介して前記バーチャル画像生成部１１に電気的に接続されるが、無線にてデータ通信可能に前記バーチャル画像生成部１１に接続するように構成しても良い。また、前記取付対象部３Ａの具体的な構成については後述する。 Further, in this embodiment, in order to generate and display a virtual image based on the visual field direction of the endoscope 2, the arm portion of the operator 31 or the attachment target portion 3 </ b> A such as the trocar 37 inserted through the endoscope 2 is used. A sensor 3a is attached. The sensor 3a has a sensor such as a gyro sensor accommodated in the unit, detects information such as an insertion angle of the attachment target portion 3A such as the trocar 37 into the abdominal region, and is described later via a connection line 11a. The image is supplied to the image generation unit 11. The sensor 3a is electrically connected to the virtual image generation unit 11 via a connection line 11a. However, the sensor 3a may be configured to be connected to the virtual image generation unit 11 so that data communication can be performed wirelessly. . A specific configuration of the attachment target portion 3A will be described later.

システムコントローラ１０は、内視鏡システム全体の各種動作（例えば表示制御や調光制御等）を制御するもので、図２に示すように、通信インターフェイス（以下、通信Ｉ／Ｆと称す）１８、メモリ１９、制御部としてのＣＰＵ２０及び表示インターフェイス（以下、表示Ｉ／Ｆと称す）２１とを有している。 The system controller 10 controls various operations (for example, display control and dimming control) of the entire endoscope system. As shown in FIG. 2, a communication interface (hereinafter referred to as communication I / F) 18, A memory 19, a CPU 20 as a control unit, and a display interface (hereinafter referred to as a display I / F) 21 are included.

通信Ｉ／Ｆ１８は、ＣＣＵ４、光源装置５、電気メス装置６、気腹器７、超音波駆動電源８、ＶＴＲ９及び後述するバーチャル画像生成部１１に電気的に接続されており、これらの駆動制御信号の送受信、または内視鏡画像データの送受信をＣＰＵ２０によって制御される。なお、この通信Ｉ／Ｆ１８には、遠隔操作手段としての術者用のリモコン１２Ａ及び音声入力マイク１２Ｂが電気的に接続されており、リモコン１２Ａの操作指示信号あるいは音声入力マイク１２Ｂの音声指示信号を取り込み、前記ＣＰＵ２０に供給するようになっている。 The communication I / F 18 is electrically connected to the CCU 4, the light source device 5, the electric knife device 6, the insufflator 7, the ultrasonic drive power supply 8, the VTR 9, and a virtual image generation unit 11 described later, and drive control thereof. The CPU 20 controls transmission / reception of signals or transmission / reception of endoscope image data. The communication I / F 18 is electrically connected to an operator remote control 12A and a voice input microphone 12B as remote control means, and an operation instruction signal of the remote control 12A or a voice instruction signal of the voice input microphone 12B. And is supplied to the CPU 20.

このリモコン１２Ａは、図示はしないが例えば内視鏡ライブ画像用の参照用モニタ１３やバーチャル画像表示用のモニタ１７、あるいは術者用モニタ３２に表示される表示画像に対応したホワイトバランスボタン、気腹器７を実行するための気腹ボタンと、気腹実行の際の圧力を上下に調整するための圧力ボタン、ＶＴＲ９に内視鏡ライブ画像を録画実行するための録画ボタン、その録画実行の際のフリーズボタン及びレリーズボタン、内視鏡ライブ画像あるいはバーチャル画像表示を実行するための表示ボタン、バーチャルエンドスコピー画像を表示する際に２次元表示（２Ｄ表示）を実行するための操作ボタン（各種２Ｄ表示モードに応じたアキシャルボタン、コロナルボタン、サジタルボタン等）、バーチャル画像を表示する際に３次元表示（３Ｄ表示）を実行するための操作ボタンで、各種３Ｄ表示モードを実行した際のバーチャル画像の視野方向を示す挿入点ボタン（内視鏡２の腹部領域に対する挿入情報で、例えば内視鏡２を挿入する腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値を表示するためのボタン）、注目点ボタン（注目する腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値を表示するためのボタン）、３Ｄ表示する際の表示倍率変更を指示するためのボタン（表示倍率を縮小する縮小ボタン、表示倍率を拡大する拡大ボタン等）、表示色を変更するための表示色ボタン、トラッキングを実行するためのトラッキングボタン、各ボタンの押下により決定した操作設定モードに対して設定入力情報の切換や決定等を行う操作ボタンや数値等を入力するためのテンキー等を有している。 Although not shown, the remote controller 12A includes, for example, a white balance button corresponding to a display image displayed on the reference monitor 13 for endoscope live image, the monitor 17 for virtual image display, or the monitor 32 for the operator, An insufflation button for executing the abdominal organ 7, a pressure button for adjusting the pressure during the insufflation execution up and down, a recording button for recording an endoscope live image on the VTR 9, and the recording execution Freeze button and release button at the time, display button for executing endoscope live image or virtual image display, operation button for executing two-dimensional display (2D display) when displaying virtual endoscopy image (various (Axial button, coronal button, sagittal button, etc. according to 2D display mode), tertiary when displaying virtual image An operation button for executing display (3D display), and an insertion point button (insertion information for the abdominal region of the endoscope 2 that indicates the visual field direction of the virtual image when various 3D display modes are executed. 2) buttons for displaying the numerical values in the X direction, Y direction, and Z direction of the abdominal region to insert 2), the point of interest button (buttons for displaying the numerical values in the X direction, Y direction, and Z direction of the abdominal region of interest) ) Buttons for instructing display magnification change in 3D display (a reduction button for reducing the display magnification, an enlargement button for expanding the display magnification, etc.), a display color button for changing the display color, and tracking. Tracking buttons for operation, operation buttons for switching and determining setting input information for the operation setting mode determined by pressing each button, numeric keys for inputting numerical values, etc. To have.

なお、本実施例では、前記センサ３ａを有するユニットに例えば押下式のスイッチを設け、このスイッチを押下操作することにより、前記リモコン１２Ａの各ボタンによる機能の実行が可能となるように構成しても良い。
したがって、これらの各ボタンを備えたリモコン１２Ａ（またはスイッチ）を用いることによって、術者は所望する情報が迅速に得られるように操作することが可能である。 In the present embodiment, for example, a push-down switch is provided in the unit having the sensor 3a, and by pressing this switch, a function can be executed by each button of the remote controller 12A. Also good.
Therefore, by using the remote controller 12A (or switch) provided with these buttons, the operator can operate so that desired information can be quickly obtained.

メモリ１９は、例えば内視鏡静止画像の画像データや機器設定情報等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２０によって制御がなされるようになっている。 The memory 19 stores data such as image data of endoscope still images and device setting information, for example, and the storage and reading of these data are controlled by the CPU 20.

表示Ｉ／Ｆ２１は、前記ＣＣＵ４、ＶＴＲ９及び参照用モニタ１３に電気的に接続されており、ＣＣＵ４からの内視鏡ライブ画像データあるいはＶＴＲ９の再生された内視鏡画像データを送受信し、例えば受信した内視鏡ライブ画像データを切替部２１Ａを介して参照用モニタ１３及び後述する内視鏡画像用モニタ１３ａに出力する。これにより、参照用モニタ１３及び内視鏡画像用モニタ１３ａは供給された内視鏡ライブ画像データに基づく内視鏡ライブ画像を表示する。この場合、前記切替部２１Ａは、ＣＰＵ２０による切替え制御によって、内視鏡ライブ画像データの出力を切替えて、前記参照用モニタ１３、内視鏡画像用モニタ１３ａに対し出力することが可能である。
また、前記参照用モニタ１３及び内視鏡画像用モニタ１３ａは、内視鏡ライブ画像の表示の他に、該ＣＰＵ２０の表示制御により、該内視鏡システムの各種機器設定状態やパラメータ等の設定情報を表示することも可能である。 The display I / F 21 is electrically connected to the CCU 4, the VTR 9, and the reference monitor 13, and transmits / receives endoscope live image data from the CCU 4 or endoscope image data reproduced from the VTR 9, for example, reception The live endoscope image data is output to the reference monitor 13 and an endoscope image monitor 13a described later via the switching unit 21A. Accordingly, the reference monitor 13 and the endoscope image monitor 13a display an endoscope live image based on the supplied endoscope live image data. In this case, the switching unit 21A can switch the output of the endoscopic live image data by the switching control by the CPU 20 and output it to the reference monitor 13 and the endoscopic image monitor 13a.
The reference monitor 13 and the endoscope image monitor 13a set various apparatus setting states, parameters, and the like of the endoscope system by display control of the CPU 20 in addition to displaying an endoscope live image. It is also possible to display information.

ＣＰＵ２０は、システムコントローラ１０内の各種動作、すなわち、通信Ｉ／Ｆ１８、表示Ｉ／Ｆ２４による各種信号の送受信制御、メモリ１９の画像データの書き込みや読み出し制御、参照用モニタ１３及び内視鏡画像用モニタ１３ａの表示制御、さらにはリモコン１２Ａ（またはスイッチ）の操作信号に基づく各種動作制御等を行う。 The CPU 20 performs various operations in the system controller 10, that is, transmission / reception control of various signals by the communication I / F 18 and the display I / F 24, image data writing / reading control of the memory 19, the reference monitor 13 and the endoscope image. Display control of the monitor 13a and various operation control based on an operation signal of the remote controller 12A (or switch) are performed.

一方、前記システムコントローラ１０には、バーチャル画像生成部１１が電気的に接続されている。
バーチャル画像生成部１１は、図２に示すように、ＣＴ画像ＤＢ部２３、メモリ２４、ＣＰＵ２５、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７、切替え部２７Ａを有している。 On the other hand, a virtual image generation unit 11 is electrically connected to the system controller 10.
As shown in FIG. 2, the virtual image generation unit 11 includes a CT image DB unit 23, a memory 24, a CPU 25, a communication I / F 26, a display I / F 27, and a switching unit 27A.

ＣＴ画像ＤＢ部２３は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌｄｉｓｋ）装置やＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）装置等、可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部（図示せず）を備え、取り込んだ３次元画像データ（ＣＴ画像データ）を格納するものである。この３次元画像データの読み出しや書き込みは、ＣＰＵ２５によって制御される。 The CT image DB unit 23 uses, for example, an MO (Magneto-Optical disk) device, a DVD (Digital Versatile Disc) device, or the like as three-dimensional image data generated by a known CT device (not shown) that captures an X-ray tomographic image of a patient. A CT image data capturing unit (not shown) for capturing via a portable storage medium is provided to store the captured three-dimensional image data (CT image data). Reading and writing of the three-dimensional image data is controlled by the CPU 25.

メモリ２４は、例えば前記３次元画像データやＣＰＵ２５によりこの３次元画像データに基づき生成されたバーチャル画像データ等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２５によって制御がなされるようになっている。 The memory 24 stores, for example, the three-dimensional image data and data such as virtual image data generated by the CPU 25 based on the three-dimensional image data. The storage and reading of these data are controlled by the CPU 25. It has become so.

通信Ｉ／Ｆ２６は、前記システムコントローラ１０の通信Ｉ／Ｆ１８、取付対象部３Ａに設けられたセンサ３ａに接続されており、バーチャル画像生成部１１と前記システムコントローラ１０とが連動して各種動作するのに必要な制御信号の送受信や、前記センサ３ａからの検出信号の受信を行うもので、ＣＰＵ２５によって制御され、ＣＰＵ２５内に取り込まれるようになっている。 The communication I / F 26 is connected to the communication I / F 18 of the system controller 10 and the sensor 3a provided in the attachment target portion 3A, and the virtual image generation unit 11 and the system controller 10 perform various operations in conjunction with each other. The control signal necessary for the transmission / reception and the detection signal from the sensor 3a are received. The control signal is controlled by the CPU 25 and taken into the CPU 25.

表示Ｉ／Ｆ２７は、前記ＣＰＵ２５の制御により生成されたバーチャル画像を切替部２７Ａを介してバーチャル画像用のモニタ１７，１７ａに出力する。これにより、バーチャル画像用モニタ１７，１７ａは供給されたバーチャル画像を表示する。この場合、前記切替部２７Ａは、ＣＰＵ２５による切替え制御によって、バーチャル画像の出力を切替えて、指定されたバーチャル画像用モニタ１７，１７ａに対し出力することが可能である。なお、バーチャル画像の表示を切替える必要がない場合には、前記切替部２７Ａを設けなくても良く、前記バーチャル画像用モニタ１７，１７ａの双方に同じバーチャル画像を表示させても良い。 The display I / F 27 outputs the virtual image generated by the control of the CPU 25 to the virtual image monitors 17 and 17a via the switching unit 27A. As a result, the virtual image monitors 17 and 17a display the supplied virtual image. In this case, the switching unit 27A can switch the output of the virtual image by the switching control by the CPU 25 and output it to the designated virtual image monitors 17 and 17a. If there is no need to switch the display of the virtual image, the switching unit 27A may not be provided, and the same virtual image may be displayed on both the virtual image monitors 17 and 17a.

前記ＣＰＵ２５には、マウス１５及びキーボード１６が電気的に接続されている。これらマウス１５及びキーボード１６は、このバーチャル画像表示装置によるバーチャル画像表示動作を実行するのに必要な各種設定情報等を入力したり設定したりするための操作手段である。 A mouse 15 and a keyboard 16 are electrically connected to the CPU 25. The mouse 15 and the keyboard 16 are operation means for inputting and setting various setting information necessary for executing the virtual image display operation by the virtual image display device.

ＣＰＵ２５は、前記バーチャル画像生成部１１内の各種動作、すなわち、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７による各種信号の送受信制御、メモリ２４の画像データの書き込みや読み出し制御、モニタ１７、１７ａの表示制御、切替部２７Ａの切替え制御、さらにはマウス１５やキーボード１６の操作信号に基づく各種動作制御等を行う。 The CPU 25 performs various operations in the virtual image generation unit 11, that is, transmission / reception control of various signals by the communication I / F 26 and the display I / F 27, writing / reading control of image data in the memory 24, and display control of the monitors 17 and 17a. Further, switching control of the switching unit 27A and various operation control based on operation signals of the mouse 15 and the keyboard 16 are performed.

また、ＣＰＵ２５には、図示はしないがＣＴ画像ＤＢ部２３から読み込んだ３次元画像データ（ＣＴ画像データ）を用いて、前記術者３１に設けられたセンサ３ａからの検出結果に基づき、バーチャル画像を生成する画像処理手段を備えている。ＣＰＵ２５は、この画像処理手段を用いて生成された、検出結果に応じたバーチャル画像、すなわち、内視鏡リアル画像に対応したバーチャル画像を、切替部２７Ａにより切替えて指定したモニタ１７、１７ａに表示させる表示制御を行う。 Further, the CPU 25 uses a three-dimensional image data (CT image data) read from the CT image DB unit 23 (not shown), based on the detection result from the sensor 3a provided in the operator 31, based on the virtual image. Is provided. The CPU 25 displays a virtual image corresponding to the detection result generated by using this image processing means, that is, a virtual image corresponding to the endoscope real image, on the designated monitors 17 and 17a by switching by the switching unit 27A. Display control is performed.

なお、本実施例では、前記バーチャル画像生成部１１を、例えば遠隔地に配されたバーチャル画像生成部に通信手段を介して接続するように構成すれば遠隔手術支援システムとして構築することも可能である。 In this embodiment, if the virtual image generation unit 11 is configured to be connected to a virtual image generation unit disposed in a remote place, for example, via a communication means, it can be constructed as a remote operation support system. is there.

次に、前記取付対象部３Ａによるセンサの装着方法について図５を参照しながら説明する。
本実施例では、センサ３ａは、図５に示すように、術者３１により用いられる取付対象部３Ａとしてのトラカール３７に設けられている。
このトラカール３７は、上述したように本体部３７Ｂ１の外周上に延設された延設部３７ｂを有し、この延設部３７ｂ上に前記センサ３ａが装着されている。なお、このセンサ３ａは、図中に示す波線のように前記本体部３７Ｂ１の外周上に装着しても良く、あるいは図示はしないが本体部３７Ｂ１の外周に着脱自在に嵌合する延設部を設け、この延設部に装着するように構成しても良い。 Next, a sensor mounting method using the mounting target portion 3A will be described with reference to FIG.
In the present embodiment, the sensor 3a is provided on a trocar 37 as an attachment target portion 3A used by the operator 31, as shown in FIG.
As described above, the trocar 37 has the extending portion 37b extending on the outer periphery of the main body portion 37B1, and the sensor 3a is mounted on the extending portion 37b. The sensor 3a may be mounted on the outer periphery of the main body portion 37B1 as shown by a wavy line in the drawing, or although not shown, an extension portion that is detachably fitted to the outer periphery of the main body portion 37B1. It may be configured to be provided and attached to the extended portion.

したがって、このようにセンサ３ａをトラカール３７に装着することにより、このトラカール３７に挿通される内視鏡２の挿入方向がトラカール３７の挿入方向と略一致することになるので、センサ３ａによって内視鏡２の挿入角度等の情報を検出することが可能となる。 Therefore, by attaching the sensor 3a to the trocar 37 in this way, the insertion direction of the endoscope 2 inserted through the trocar 37 substantially coincides with the insertion direction of the trocar 37. Information such as the insertion angle of the mirror 2 can be detected.

また、本実施例では、前記取付対象部３Ａは、前記トラカール３７に替えて、図１及び図４に示すように、術者３１の腕部とし、この腕部にセンサ３ａを装着しても良い。この場合、センサ３ａは、袋状に形成された滅菌処理済みのテープ部材３Ｂに収容されて術者３１の腕部に貼着されるようになっている。したがって、この場合も術者３１の腕部の方向は、トラカール３７に挿通される内視鏡２のスコープ方向（挿入方向）と類似するものであることから、上記同様に一致させることが可能となり、センサ３ａによって内視鏡２の挿入角度等の情報を検出することが可能となる。 In this embodiment, the attachment target portion 3A is an arm portion of an operator 31 as shown in FIGS. 1 and 4 instead of the trocar 37, and the sensor 3a is attached to the arm portion. good. In this case, the sensor 3 a is accommodated in a sterilized tape member 3 </ b> B formed in a bag shape and attached to the arm portion of the operator 31. Accordingly, in this case as well, since the direction of the arm portion of the operator 31 is similar to the scope direction (insertion direction) of the endoscope 2 inserted through the trocar 37, it is possible to match the same as described above. Information such as the insertion angle of the endoscope 2 can be detected by the sensor 3a.

なお、本実施例では、前記取付対象部３Ａとして、例えば、図６の第１変形例に示すように、滅菌処理可能なワンタッチ式のアームバンド４０を設け、このアームバンド４０の内周面にテープ部材３Ｂに収容したセンサ３ａを取付けても良い。また、アームバンド４０自体が滅菌処理済みの袋状に形成されたものである場合には、テープ部材３Ｂに収容せずにセンサ３ａをその袋状のアームバンド４０に収容して動かないように固定すれば良い。
第１変形例では、このようなアームバンド４０には、両端側に着脱自在なマジックテープ状の凸部４０ａ、凹部４０ｂが設けられているので、術者３１によるセンサ３ａの装着が容易となる。 In this embodiment, as the attachment target portion 3A, for example, as shown in the first modified example of FIG. 6, a one-touch type arm band 40 that can be sterilized is provided, and the arm band 40 has an inner peripheral surface. You may attach the sensor 3a accommodated in the tape member 3B. Further, when the arm band 40 itself is formed in a sterilized bag shape, the sensor 3a is not housed in the tape member 3B but is accommodated in the bag arm arm 40 so as not to move. Fix it.
In the first modified example, such an arm band 40 is provided with detachable magic tape-like convex portions 40a and concave portions 40b on both end sides, so that the operator 31 can easily attach the sensor 3a. .

また、本実施例では、前記取付対象部３Ａとして、例えば、図７の第２変形例に示すように、内視鏡（腹腔鏡）２を手術台４１に保持するとともに、自在に移動可能なスコープホルダ４２を用いても良い。
このスコープホルダ４２は、例えば図７に示すように、手術台４１に固定する固定部４３と、この固定部４３に固定される支持部４４と、この支持部４４に第１の腕部４６を上下方向に移動可能に支持する第１の接続部４５と、前記第１の接続部４５とは反対側に設けられ、スライド支持部４７Ａが回転自在に接続された第２の接続部４７と、前記スライド支持部４７Ａ上をスライド可能なスライド部４８を有し、このスライド部４８に伸縮可能に設けられた第２の腕部４９と、前記スライド部４８とは反対側に設けられ、内視鏡２を保持するための第３の接続部５０とを有している。この第３の接続部５０は、内視鏡２の把持部３７Ｂ（具体的には内視鏡２の挿入部３７Ａと把持部３７Ｂの境付近）を保持固定するための保持部５０Ａを有し、この保持部５０Ａにより内視鏡２を回転自在に保持している。 Further, in the present embodiment, as the attachment target portion 3A, for example, as shown in the second modified example of FIG. 7, the endoscope (laparoscope) 2 is held on the operating table 41 and is freely movable. A scope holder 42 may be used.
For example, as shown in FIG. 7, the scope holder 42 includes a fixing portion 43 that is fixed to the operating table 41, a support portion 44 that is fixed to the fixing portion 43, and a first arm portion 46 that is attached to the support portion 44. A first connection part 45 that is supported so as to be movable in the vertical direction; a second connection part 47 that is provided on the opposite side of the first connection part 45 and in which a slide support part 47A is rotatably connected; The slide support portion 47A has a slide portion 48 that is slidable. The second arm portion 49 is provided on the slide portion 48 so as to be extendable and retractable. And a third connecting part 50 for holding the mirror 2. The third connecting portion 50 includes a holding portion 50A for holding and fixing the grip portion 37B of the endoscope 2 (specifically, near the boundary between the insertion portion 37A and the grip portion 37B of the endoscope 2). The endoscope 2 is rotatably held by the holding portion 50A.

第２変形例のスコープホルダ４２では、前記第３の接続部５０の例えば側面側にテープ部材３Ｂに収容したセンサ３ａを取付けることにより、上述した図５に示すトラカール３７の構成例と同様に、保持部５０Ａにより保持される内視鏡２の挿入方向が第３の接続部の移動方向と略一致することになるので、センサ３ａによって内視鏡２の挿入角度等の情報を検出することが可能となる。 In the scope holder 42 of the second modified example, by attaching the sensor 3a accommodated in the tape member 3B to, for example, the side surface of the third connecting portion 50, the configuration example of the trocar 37 shown in FIG. Since the insertion direction of the endoscope 2 held by the holding unit 50A substantially coincides with the moving direction of the third connection portion, information such as the insertion angle of the endoscope 2 can be detected by the sensor 3a. It becomes possible.

なお、本実施例では、前記センサ３ａをトラカール３７、あるいは術者３１の腕部、あるいはスコープホルダ４２の第３の接続部５０に装着した場合について説明したが、これに限定されることはなく、例えば、術者３１の帽子や、スリッパ等に装着しても良い。 In the present embodiment, the case where the sensor 3a is attached to the trocar 37, the arm portion of the operator 31, or the third connection portion 50 of the scope holder 42 is described, but the present invention is not limited to this. For example, it may be attached to the hat or slippers of the surgeon 31.

次に、本実施例のバーチャル画像表示装置の制御例を図８及び図９を参照しながら説明する。
図１に示すバーチャル画像表示装置１を有する内視鏡システムを用いて、患者の腹部領域内の被検体の手術を行うものとする。このとき、該内視鏡システムの電源が投入されているものとすると、バーチャル画像生成部１１のＣＰＵ２５は、オペレータがマウス１５またはキーボード１６を用いてバーチャル画像表示の指示を受け付けると、図示しない記録部に記録されているバーチャル画像表示用プログラムを起動する。すると、ＣＰＵ２５は、バーチャル画像を表示するのに必要な画面をモニタ１７表示させる。 Next, a control example of the virtual image display apparatus according to the present embodiment will be described with reference to FIGS.
It is assumed that the subject in the abdominal region of the patient is operated using the endoscope system having the virtual image display device 1 shown in FIG. At this time, assuming that the power of the endoscope system is turned on, the CPU 25 of the virtual image generation unit 11 performs a recording (not shown) when the operator accepts a virtual image display instruction using the mouse 15 or the keyboard 16. The virtual image display program recorded in the section is started. Then, the CPU 25 causes the monitor 17 to display a screen necessary for displaying the virtual image.

そして、オペレータは、このモニタ１７上に表示された画面を見ながら、例えば患者の腹部領域のどの位置に内視鏡２を挿入するかの情報（腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値（挿入点））を、マウス１５あるいはキーボード１６を用いて入力し、その後、同様に、内視鏡２を腹部領域に挿入した際の内視鏡２の軸方向（注目点）の数値を入力する。 Then, while viewing the screen displayed on the monitor 17, the operator, for example, information on which position in the abdominal region of the patient the endoscope 2 is inserted (X direction, Y direction, Z direction of the abdominal region) Numerical value (insertion point)) is input using the mouse 15 or the keyboard 16, and thereafter, the numerical value in the axial direction (attention point) of the endoscope 2 when the endoscope 2 is inserted into the abdominal region in the same manner. input.

図示しない画像処理手段は、入力された情報に基づき、内視鏡２の挿入点及び注目点に対応するバーチャル画像を生成する。ＣＰＵ２５は、生成されたバーチャル画像データをバーチャル画像用モニタ１７、及び術者用モニタ３２に表示する。 An image processing unit (not shown) generates a virtual image corresponding to the insertion point and the point of interest of the endoscope 2 based on the input information. The CPU 25 displays the generated virtual image data on the virtual image monitor 17 and the surgeon monitor 32.

このとき、手術を行っている術者側の術者用モニタ３２内の内視鏡画像用モニタ１３ａには、システムコントローラ１０のＣＰＵ２０の表示制御により、内視鏡ライブ画像が表示され、この表示を見ながら術者３１は手術を行うことになる。この場合、内視鏡２は、図５に示すようなトラカール３７にセンサ３ａがセットされた状態にて使用されている。 At this time, an endoscopic live image is displayed on the endoscope image monitor 13a in the surgeon monitor 32 on the side of the surgeon performing the operation by the display control of the CPU 20 of the system controller 10, and this display is performed. The surgeon 31 performs an operation while watching the above. In this case, the endoscope 2 is used in a state where the sensor 3a is set on the trocar 37 as shown in FIG.

手術を行っている場合、本実施例では、バーチャル画像生成部１１のＣＰＵ２５は、図９に示す検出プログラムを起動する。この検出プログラムは、センサ３ａによってトラカール３７や術者３１の腕部の挿入方向（センサ３ａが術者３１の帽子やスリッパ等に装着されている場合には術者の視点方向）を検出し、この検出結果に基づくバーチャル画像を表示するためのプログラムである。 In the case of performing an operation, in this embodiment, the CPU 25 of the virtual image generation unit 11 activates the detection program shown in FIG. This detection program detects the insertion direction of the arm portion of the trocar 37 and the operator 31 by the sensor 3a (when the sensor 3a is attached to the cap, slipper, etc. of the operator 31), It is a program for displaying a virtual image based on this detection result.

例えば、いま、手術中に、術者３１によって内視鏡２の挿入部の腹部領域に対する傾きが生じたものとする。この場合、参照用モニタ１３及び内視鏡画像用モニタ１３ａ（図８参照）に内視鏡２の傾きに応じた内視鏡ライブ画像が表示されているとすると、本実施例では、ＣＰＵ２５による制御によって、内視鏡２の傾きがセンサ３ａによって常に検出され（ステップＳ１）、この検出結果に基づくバーチャル画像をＣＰＵ２５内の画像処理手段によって生成し(ステップＳ２）、生成した画像をモニタ１７及び術者用モニタ３２のバーチャル画像用モニタ１７ａ（図８参照）に表示させる（ステップＳ３）。 For example, it is assumed that an inclination of the insertion portion of the endoscope 2 with respect to the abdominal region occurs by the operator 31 during the operation. In this case, assuming that an endoscope live image corresponding to the inclination of the endoscope 2 is displayed on the reference monitor 13 and the endoscope image monitor 13a (see FIG. 8), in this embodiment, the CPU 25 By the control, the tilt of the endoscope 2 is always detected by the sensor 3a (step S1), a virtual image based on the detection result is generated by the image processing means in the CPU 25 (step S2), and the generated image is displayed on the monitor 17 and The image is displayed on the virtual image monitor 17a (see FIG. 8) of the operator monitor 32 (step S3).

これにより、内視鏡２の挿入部が傾いたときの内視鏡ライブ画像に対応するバーチャル画像を、バーチャル画像用モニタ１７ａに表示させることができるので、内視鏡観察下において、内視鏡観察画像の観察領域の被検体の生体画像情報（バーチャル画像）を得ることが可能となる。 Thereby, since the virtual image corresponding to the endoscope live image when the insertion portion of the endoscope 2 is tilted can be displayed on the virtual image monitor 17a, the endoscope can be viewed under the endoscope observation. The biological image information (virtual image) of the subject in the observation area of the observation image can be obtained.

したがって、本実施例によれば、センサ３ａをトラカール３７あるいは術者３１の腕部に装着するだけで、内視鏡２の挿入角度に対応するバーチャル画像を自動的に内視鏡ライブ画像とともに表示することができるので、術者は、手術をしながらも内視鏡観察画像の観察領域の被検体の生体画像情報（バーチャル画像）を確実に得られて手術を円滑に行うことが可能となり、使い勝手が良く、しかも簡単な構成で且つ低コストでバーチャル表示装置を実現できる。 Therefore, according to the present embodiment, the virtual image corresponding to the insertion angle of the endoscope 2 is automatically displayed together with the endoscope live image only by attaching the sensor 3a to the trocar 37 or the arm of the operator 31. Therefore, the surgeon can obtain the biological image information (virtual image) of the subject in the observation region of the endoscopic observation image without fail while performing the operation, and can perform the operation smoothly. It is easy to use, and a virtual display device can be realized with a simple configuration and low cost.

また、本実施例では、内視鏡２を挿通するトラカール３７，あるいは術者３１の腕部にセンサ３ａが設けられているので、内視鏡２の操作部の軽量化を図ることができるため、内視鏡２の操作性を向上させることも可能である。 Further, in this embodiment, since the sensor 3a is provided on the trocar 37 through which the endoscope 2 is inserted or the arm portion of the operator 31, the weight of the operation portion of the endoscope 2 can be reduced. It is also possible to improve the operability of the endoscope 2.

さらに、本実施例では、前記センサ３ａを術者３１の帽子や、スリッパ等に装着した場合には、術者３１が見たい方向に頭や足を移動させることにより、センサ３ａによって術者の向き（視点方向）を検出することができるので、ＣＰＵ２５による制御によって術者のその向き（視点方向）に応じたバーチャル画像を表示させることができる。すなわち、術者３１は、見たい方向からへ体を動かすだけで、その見たい方向からのバーチャル画像の表示が可能であるため、術者３１は内視鏡画像に表示されている観察部位の後ろに配された血管等の立体的な位置関係を容易に把握することができ、処置を確実に行うことが可能となる。 Furthermore, in this embodiment, when the sensor 3a is mounted on the operator's 31 hat, slippers, or the like, the sensor 3a moves the head or foot in the direction that the operator 31 wants to see, so that the sensor 3a Since the direction (viewpoint direction) can be detected, a virtual image corresponding to the direction (viewpoint direction) of the surgeon can be displayed under the control of the CPU 25. That is, the surgeon 31 can display a virtual image from the desired direction only by moving the body from the desired direction, so that the surgeon 31 can view the observation site displayed in the endoscopic image. It is possible to easily grasp the three-dimensional positional relationship of blood vessels and the like arranged behind, and it is possible to reliably perform the treatment.

なお、本実施例では、内視鏡２を挿通するトラカール３７のみにセンサ３ａを設けた場合について説明したが、例えば内視鏡２を操作する術者、処置具を用い手鉗子処置を行う術者及び助手の術者で手術を行う場合には、内視鏡２を挿通するトラカール３７以外にも各処置具を挿通するそれぞれのトラカール３７にセンサ３ａをそれぞれ設けるとともに、各術者に対応する術者用モニタを設けてそれぞれのセンサ３ａの検出結果に基づくバーチャル画像を表示させるように構成しても良い。 In the present embodiment, the case where the sensor 3a is provided only on the trocar 37 through which the endoscope 2 is inserted has been described. However, for example, an operator who operates the endoscope 2 and a technique of performing manual forceps treatment using a treatment tool. When the surgeon and assistant surgeon perform the operation, in addition to the trocar 37 through which the endoscope 2 is inserted, each trocar 37 through which each treatment instrument is inserted is provided with a sensor 3a, and each operator is supported. A surgeon monitor may be provided to display a virtual image based on the detection result of each sensor 3a.

また、本実施例では、前記内視鏡２は、挿入部の先端部が自在に湾曲可能な湾曲部を有する内視鏡であっても良い。この場合、前記センサ３ａに前記湾曲部の湾曲角度を検出する機能を設ければ、この湾曲部の湾曲角度に応じたバーチャル画像の表示が可能となる。また、センサ３ａを収容するユニットに磁気センサを設けるとともに、この磁気センサに磁気を照射する手段を設ければ、ＣＰＵ２５による演算処理によって内視鏡２の挿入量も検出することができ、すなわち、内視鏡２の挿入量に基づくバーチャル画像を表示することも可能である。この場合、磁気センサではなく、ロータリーエンコーダを用いて内視鏡２の挿入量を検出するように構成しても良い。 In the present embodiment, the endoscope 2 may be an endoscope having a bending portion that can be freely bent at the distal end portion of the insertion portion. In this case, if the sensor 3a has a function of detecting the bending angle of the bending portion, a virtual image corresponding to the bending angle of the bending portion can be displayed. Further, if a magnetic sensor is provided in the unit that accommodates the sensor 3a and a means for irradiating magnetism to the magnetic sensor is provided, the insertion amount of the endoscope 2 can also be detected by arithmetic processing by the CPU 25. It is also possible to display a virtual image based on the insertion amount of the endoscope 2. In this case, you may comprise so that the insertion amount of the endoscope 2 may be detected using a rotary encoder instead of a magnetic sensor.

本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。 The present invention is not limited to the above-described embodiments, and various changes and modifications can be made without departing from the scope of the present invention.

［付記］
（１）内視鏡の挿入部の観察方向を示す情報を検出する検出手段と、
被検体に関するバーチャル画像データを記憶するバーチャル画像データ記憶手段と
前記検出手段により検出された情報に基づき前記バーチャル画像データ記憶手段に記憶されたバーチャル画像データを処理するバーチャル画像データ処理手段と、
前記バーチャル画像データに基づくバーチャル画像及び前記内視鏡による内視鏡観察画像を表示可能なバーチャル画像表示手段の表示制御を行うバーチャル画像表示制御手段と、
を具備したことを特徴とするバーチャル画像表示装置。 [Appendix]
(1) detection means for detecting information indicating an observation direction of the insertion portion of the endoscope;
Virtual image data storage means for storing virtual image data relating to a subject; virtual image data processing means for processing virtual image data stored in the virtual image data storage means based on information detected by the detection means;
Virtual image display control means for performing display control of a virtual image display means capable of displaying a virtual image based on the virtual image data and an endoscope observation image by the endoscope;
A virtual image display device comprising:

（２）前記検出手段は、前記内視鏡を挿通するトラカールの基端側に設けたことを特徴とする付記（１）に記載のバーチャル画像表示装置。 (2) The virtual image display device according to (1), wherein the detection unit is provided on a proximal end side of a trocar through which the endoscope is inserted.

（３）前記内視鏡の挿入部の軸上に前記検出手段の装着が可能な取付手段を有し、この取付け手段は、前記内視鏡を用いる術者の腕部に前記検出手段を貼り付けて装着することを特徴とする付記（３）に記載のバーチャル画像表示装置。 (3) There is an attachment means on which the detection means can be mounted on the axis of the insertion portion of the endoscope, and the attachment means attaches the detection means to an arm portion of an operator who uses the endoscope. The virtual image display device according to appendix (3), wherein the virtual image display device is attached.

（４）前記検出手段は、ジャイロセンサを有するセンサユニットで構成されたものであることを特徴とする付記（２）に記載のバーチャル画像表示装置。 (4) The virtual image display device according to appendix (2), wherein the detection means is configured by a sensor unit having a gyro sensor.

（５）前記センサユニットは、滅菌処理済みの袋状のテープ部に収容されたもので、このテープ部は、前記内視鏡を操作する術者の腕部に貼着されたことを特徴とする付記（４）に記載のバーチャル画像表示装置。 (5) The sensor unit is housed in a sterilized bag-like tape portion, and the tape portion is attached to an arm portion of an operator who operates the endoscope. The virtual image display device according to appendix (4).

（６）前記内視鏡を、術者の操作により上下左右方向に移動可能に保持するスコープホルダを備え、このスコープホルダと前記内視鏡との接続部分に前記センサユニットを設けたことを特徴とする付記（４）に記載のバーチャル画像表示装置。 (6) A scope holder for holding the endoscope movably in the vertical and horizontal directions by an operator's operation is provided, and the sensor unit is provided at a connection portion between the scope holder and the endoscope. The virtual image display device according to (4).

（７）前記センサユニットは、術者の帽子、あるいはスリッパに装着したことを特徴とする付記（４）に記載のバーチャル画像表示装置。 (7) The virtual image display device according to (4), wherein the sensor unit is attached to an operator's hat or slipper.

本発明のバーチャル画像表示装置は、簡単な構成で且つ低コストで、内視鏡観察下において、内視鏡観察画像の観察領域の被検体の生体画像情報を得ることができるので、内視鏡観察画像では得られない被検体の生体画像情報がさらに必要な症例等の手術を行う場合には特に有効である。 The virtual image display device of the present invention has a simple configuration and low cost, and can obtain biological image information of a subject in an observation region of an endoscopic observation image under endoscopic observation. This is particularly effective when performing surgery on a case or the like that requires further biological image information of a subject that cannot be obtained with an observation image.

本発明のバーチャル画像表示装置の第１実施例を示し、装置を備えた内視鏡システムの全体構成を示す概略構成図。BRIEF DESCRIPTION OF THE DRAWINGS The schematic structure figure which shows 1st Example of the virtual image display apparatus of this invention, and shows the whole structure of the endoscope system provided with the apparatus. 図１の内視鏡システムの全体構成を示すブロック図。The block diagram which shows the whole structure of the endoscope system of FIG. 図１の内視鏡の外観構成を示す斜視図。The perspective view which shows the external appearance structure of the endoscope of FIG. 取付対象部が術者の腕部の場合の構成例を示す斜視図。The perspective view which shows the structural example in case an attachment object part is an operator's arm part. センサを装着する取付対象部であるトラカールの外観構成を示す斜視図The perspective view which shows the external appearance structure of the trocar which is an attachment object part which mounts a sensor 取付対象部の第１変形例を示す構成斜視図。The composition perspective view showing the 1st modification of an attachment object part. 取付対象部の第２変形例を示す構成斜視図。The composition perspective view showing the 2nd modification of an attachment object part. 本実施例の表示動作を説明するもので、図１に示す術者用モニタの表示例を示す図。The figure which shows the display operation of a present Example, and shows the example of a display of the monitor for surgeons shown in FIG. 本実施例の表示動作を説明するもので、バーチャル画像生成部のＣＰＵによるメイン制御処理を示すフローチャート。7 is a flowchart illustrating a main control process performed by a CPU of a virtual image generation unit, illustrating a display operation according to the present exemplary embodiment.

Explanation of symbols

１…バーチャル画像表示装置、
２…内視鏡、
２Ａ…カメラヘッド、
２Ｂ…リモートスイッチ、
２ａ…ライトガイドコネクタ、
３Ａ…取付対象部、
３Ｃ…テープ部材、
３ａ…センサ、
４…ＣＣＵ、
５…光源装置、
６…電気メス装置、
７…気腹器、
８…超音波駆動電源、
９…ＶＴＲ、
１０…システムコントローラ、
１１…バーチャル画像生成部、
１１ａ…接続線、
１２Ａ…リモコン、
１２Ｂ…音声入力マイク
１３…参照用モニタ、
１３ａ…内視鏡画像用モニタ、
１５…マウス、
１６…キーボード、
１７…モニタ、
１７ａ…バーチャル画像用モニタ、
２４…メモリ、
２４、２５…ＣＰＵ、
３０…患者、
３１…術者、
３２…術者用モニタ、
３７…トラカール、
３７Ａ…挿入部、
３７Ｂ…把持部、
３７Ｃ…接眼部、
３７Ａ１…挿入部、
３７Ｂ１…本体部、
３７ｂ…延設部、
４０…アームバンド、
４１…手術台、
４２…スコープホルダ、
５０Ａ…保持部。

代理人弁理士伊藤進 1 ... Virtual image display device,
2. Endoscope,
2A ... Camera head,
2B ... Remote switch,
2a: Light guide connector,
3A ... installation target part,
3C ... tape member,
3a ... sensor,
4 ... CCU,
5 ... Light source device,
6 ... Electric knife device,
7 ... pneumoconiosis,
8 ... Ultrasonic drive power supply,
9 ... VTR,
10 ... System controller,
11 ... Virtual image generation unit,
11a ... connecting line,
12A ... remote control,
12B ... Voice input microphone 13 ... Monitor for reference,
13a ... Endoscopic image monitor,
15 ... mouse,
16 ... Keyboard,
17 ... Monitor,
17a ... Virtual image monitor,
24 ... Memory,
24, 25 ... CPU,
30 ... Patient,
31 ... Surgeon,
32 ... Surgery monitor
37 ... trocar,
37A ... insertion part,
37B ... gripping part,
37C ... eyepiece,
37A1 ... insertion part,
37B1 ... main body,
37b ... Extension part,
40 ... armband,
41 ... Operating table,
42 ... scope holder,
50A ... Holding part.

Attorney Susumu Ito

Claims

A detecting means that is disposed on a proximal end side of the trocar through which the endoscope is inserted and detects information indicating an observation direction of the insertion portion of the endoscope;
Virtual image data storage means for storing virtual image data relating to the subject;
Virtual image data processing means for processing virtual image data stored in the virtual image data storage means based on information detected by the detection means;
Virtual image display control means for performing display control of a virtual image display means capable of displaying a virtual image based on the virtual image data and an endoscope observation image by the endoscope;
A virtual image display device comprising:

Detecting means for detecting information indicating an observation direction of the insertion portion of the endoscope;
Virtual image data storage means for storing virtual image data relating to the subject;
Virtual image data processing means for processing virtual image data stored in the virtual image data storage means based on information detected by the detection means;
Virtual image display control means for performing display control of a virtual image display means capable of displaying a virtual image based on the virtual image data and an endoscope observation image by the endoscope;
Comprising
There is an attachment means that can attach the detection means on the axis of the insertion portion of the endoscope, and this attachment means is attached by attaching the detection means to an arm portion of an operator who uses the endoscope. A virtual image display device.