JP6765787B2

JP6765787B2 - Switching control method between endoscopic image and camera image in endoscopic system and endoscopic system

Info

Publication number: JP6765787B2
Application number: JP2015109052A
Authority: JP
Inventors: 健児沼田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2015-05-28
Filing date: 2015-05-28
Publication date: 2020-10-07
Anticipated expiration: 2035-05-28
Also published as: JP2016220839A

Description

本発明は、内視鏡システム及び内視鏡システムにおける内視鏡画像とカメラ画像との切替制御方法に関する。 The present invention relates to an endoscope system and a method for controlling switching between an endoscope image and a camera image in the endoscope system.

従来、内視鏡が工業分野及び医療分野で広く利用されている。内視鏡は、先端部に観察窓が設けられた細長の挿入部を有しており、検査者は、挿入部を被検体内に挿入して、被検体の内部を観察することができる。 Conventionally, endoscopes have been widely used in the industrial and medical fields. The endoscope has an elongated insertion portion provided with an observation window at the tip portion thereof, and the examiner can insert the insertion portion into the subject and observe the inside of the subject.

また、近年は、特開２０１４−１５５２０７号公報に開示のように、カメラ付きのスマートグラスが提案されている。スマートグラスは、所謂ウェアラブルデバイスであり、眼鏡のように、ユーザの頭部に装着されるカメラ付き頭部装着型表示装置である。よって、例えば、スマートグラスを利用することにより、ユーザが実際に見ている光景に、情報を重畳して表示させることができる。
内視鏡検査にこのようなスマートグラスを利用して、検査者であるユーザがスマートグラスを装着し、スマートグラスに内視鏡画像、検査マニュアルなどの検査時に見る必要のあるものを表示させるようにすれば、検査者は、視線を移動させないで、内視鏡画像などを見ることができるので便利であると、想定することができる。 Further, in recent years, as disclosed in Japanese Patent Application Laid-Open No. 2014-155207, smart glasses with a camera have been proposed. The smart glass is a so-called wearable device, and is a head-mounted display device with a camera that is worn on the user's head like glasses. Therefore, for example, by using smart glasses, information can be superimposed and displayed on the scene actually seen by the user.
Using such smart glasses for endoscopy, the user who is the inspector wears the smart glasses so that the smart glasses can display endoscopic images, examination manuals, and other items that need to be seen during the examination. If this is done, the inspector can assume that it is convenient because he / she can see an endoscopic image or the like without moving his / her line of sight.

特開２０１４−１５５２０７号公報Japanese Unexamined Patent Publication No. 2014-155207

しかし、スマートグラスに所望の画像を表示させるためには、ユーザは、所定の指示をスマートグラスに与えなければならず、表示されている画像の表示をさせないようにする場合にも、ユーザは、その画像の表示を消すための所定の指示をスマートグラスに与えなければならない。 However, in order for the smart glasses to display the desired image, the user must give a predetermined instruction to the smart glasses, and even when the displayed image is not displayed, the user can display the displayed image. The smart glasses must be given certain instructions to turn off the display of the image.

よって、上述したようにスマートグラスを内視鏡検査に利用することができるが、検査者は、状況に応じて、所望の画像の表示及び非表示の切り替え指示をスマートグラスへ与えるための操作をしなければならず、内視鏡検査において繁雑な操作が必要となる。 Therefore, as described above, the smart glasses can be used for endoscopy, but the inspector performs an operation for giving the smart glasses an instruction to switch between displaying and hiding a desired image depending on the situation. This requires complicated operations in endoscopy.

そこで、本発明は、カメラ付き頭部装着型表示装置の表示部に表示する画像の表示切り替えのための操作を不要とする内視鏡システム及び内視鏡システムにおける内視鏡画像とカメラ画像との表示切替制御方法を提供することを目的とする。 Therefore, the present invention includes an endoscope image and a camera image in an endoscope system and an endoscope system that do not require an operation for switching the display of an image displayed on the display unit of a head-mounted display device with a camera. It is an object of the present invention to provide a display switching control method of.

本発明の一態様による内視鏡システムは、第１無線通信部及び挿入部を有し、検査対象内の内視鏡画像を取得する内視鏡と、第２無線通信部、カメラ部及び表示部を有する頭部装着型の表示装置と、前記カメラ部において取得されたカメラ画像に基づいて、前記表示装置の前記表示部に表示される前記内視鏡画像と前記カメラ画像との切替表示制御を行う表示制御部と、を有し、前記表示制御部は、前記カメラ画像中における前記挿入部の先端部の検出処理を行い、前記検出処理の結果、前記カメラ画像中に前記挿入部の先端部の画像があると判定されると、それまで前記挿入部が検査対象内に挿入されていたかを判定し、挿入されていたと判定されると、前記内視鏡画像から前記カメラ画像への表示切替処理を行い、前記カメラ画像中に前記挿入部の先端部があると判定されないと、それまで前記挿入部が前記検査対象内に挿入されていたかを判定し、挿入されていなかったと判定されると、前記カメラ画像から前記内視鏡画像への切替処理を行う。
本発明の一態様による内視鏡システムにおける内視鏡画像とカメラ画像との切替制御方法は、第１無線通信部及び挿入部を有し、検査対象内の内視鏡画像を取得する内視鏡と、第２無線通信部、カメラ部及び表示部を有する頭部装着型の表示装置と、前記カメラ部において取得されたカメラ画像に基づいて、前記表示装置の前記表示部に表示される前記内視鏡画像と前記カメラ画像との切替表示制御を行う表示制御部と、を有する内視鏡システムにおける内視鏡画像とカメラ画像との切替制御方法であって、前記表示制御部は、前記カメラ画像中における前記挿入部の先端部の検出処理を行い、前記検出処理の結果、前記カメラ画像中に前記挿入部の先端部の画像があると判定されると、それまで前記挿入部が検査対象内に挿入されていたかを判定し、挿入されていたと判定されると、前記内視鏡画像から前記カメラ画像への表示切替処理を行い、前記カメラ画像中に前記挿入部の先端部があると判定されないと、それまで前記挿入部が前記検査対象内に挿入されていたかを判定し、挿入されていなかったと判定されると、前記カメラ画像から前記内視鏡画像への切替処理を行う。 The endoscope system according to one aspect of the present invention has a first wireless communication unit and an insertion unit, and has an endoscope for acquiring an endoscopic image in the inspection target, a second wireless communication unit, a camera unit, and a display. Switching display control between the endoscopic image and the camera image displayed on the display unit of the display device based on the head-mounted display device having the unit and the camera image acquired by the camera unit. The display control unit has a display control unit that performs detection processing of the tip end portion of the insertion portion in the camera image, and as a result of the detection processing, the tip end portion of the insertion portion in the camera image. When it is determined that there is an image of the part , it is determined whether or not the insertion part has been inserted in the inspection target, and when it is determined that the insertion part has been inserted, the display from the endoscopic image to the camera image is performed. If the switching process is performed and it is not determined that the tip of the insertion portion is in the camera image, it is determined whether the insertion portion has been inserted into the inspection target until then, and it is determined that the insertion portion has not been inserted. Then, the switching process from the camera image to the endoscopic image is performed .
The method of switching between an endoscopic image and a camera image in an endoscopy system according to one aspect of the present invention has a first wireless communication unit and an insertion unit, and obtains an endoscopic image in an examination target. A head-mounted display device having a mirror, a second wireless communication unit, a camera unit, and a display unit, and the display unit displayed on the display unit of the display device based on a camera image acquired by the camera unit. A display control unit that controls switching between an endoscopic image and the camera image, and a display control unit for switching between the endoscopic image and the camera image in an endoscopic system. The display control unit is the display control unit. The tip of the insertion portion is detected in the camera image, and as a result of the detection processing , if it is determined that there is an image of the tip of the insertion portion in the camera image, the insertion portion is inspected until then. It is determined whether or not the image has been inserted into the target, and if it is determined that the image has been inserted, the display switching process from the endoscopic image to the camera image is performed, and the tip of the insertion portion is present in the camera image. If it is not determined, it is determined whether the insertion portion has been inserted into the inspection target until then, and if it is determined that the insertion portion has not been inserted, the switching process from the camera image to the endoscopic image is performed .

本発明によれば、カメラ付き頭部装着型表示装置の表示部に表示する画像の表示切り替えのための操作を不要とする内視鏡システム及び内視鏡システムにおける内視鏡画像とカメラ画像の表示切替制御方法を提供することができる。 According to the present invention, an endoscope image and a camera image in an endoscope system and an endoscope system that do not require an operation for switching the display of an image displayed on the display unit of a head-mounted display device with a camera . A display switching control method can be provided.

本発明の実施の形態に係わる内視鏡システムの構成を示す構成図である。It is a block diagram which shows the structure of the endoscope system which concerns on embodiment of this invention. 本発明の実施の形態に係わる、スマートフォン１２のCPU部４２によるスマートグラス１３の表示制御処理の流れの例を示すフローチャートである。It is a flowchart which shows the example of the flow of the display control processing of smart glasses 13 by the CPU unit 42 of the smartphone 12 which concerns on embodiment of this invention. 本発明の実施の形態に係わる、検査対象内に挿入部１１ａを挿入する前のスマートグラス画像６１の例を示す図である。It is a figure which shows the example of the smart glass image 61 before inserting the insertion part 11a into the inspection target, which concerns on embodiment of this invention. 本発明の実施の形態に係わる、検査対象内に挿入部１１ａを挿入した状態のスマートグラス画像の例を示す図である。It is a figure which shows the example of the smart glass image in the state which the insertion part 11a is inserted in the inspection target, which concerns on embodiment of this invention. 本発明の実施の形態に係わる、時間経過に伴う、メモリ部４５に記録される画像の変化を示す図である。It is a figure which shows the change of the image recorded in the memory part 45 with the lapse of time which concerns on embodiment of this invention.

以下、図面を参照して本発明の実施の形態を説明する。
（システム構成）
図１は、本実施の形態に係わる内視鏡システムの構成を示す構成図である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(System configuration)
FIG. 1 is a configuration diagram showing a configuration of an endoscope system according to the present embodiment.

内視鏡システム１は、内視鏡１１と、スマートフォン１２と、スマートグラス１３と、サーバ１４とを含んで構成される。
内視鏡１１は、被検体の内部を観察するための内視鏡装置である。スマートフォン１２は、無線によるデータ通信が可能な携帯端末である。スマートグラス１３は、ユーザが眼鏡をかけるように頭部に装着可能なカメラ付き頭部装着型表示装置である。 The endoscope system 1 includes an endoscope 11, a smartphone 12, smart glasses 13, and a server 14.
The endoscope 11 is an endoscope device for observing the inside of a subject. The smartphone 12 is a mobile terminal capable of wireless data communication. The smart glasses 13 is a head-mounted display device with a camera that can be worn on the head so that the user wears glasses.

内視鏡１１、スマートフォン１２及びスマートグラス１３の各々は、無線通信機能を有し、バッテリで駆動される機器であり、互いに画像データも含めて各種データを送受信することができる。
（内視鏡の構成）
内視鏡１１は、細長の挿入部１１ａと本体部１１ｂとを有する。挿入部１１ａは、例えば外径が４〜６ｍｍで、先端側から、先端硬性部１１ａ１、湾曲部１１ａ２及び可撓管部１１ａ３が順に連接されている。 Each of the endoscope 11, the smartphone 12, and the smart glass 13 has a wireless communication function and is a battery-powered device, and can transmit and receive various data including image data to and from each other.
(Endoscope configuration)
The endoscope 11 has an elongated insertion portion 11a and a main body portion 11b. The insertion portion 11a has, for example, an outer diameter of 4 to 6 mm, and the tip rigid portion 11a1, the curved portion 11a2, and the flexible tube portion 11a3 are connected in this order from the tip side.

挿入部１１ａの先端部には、光学アダプタ１０が装着されている。光学アダプタ１０は、挿入部１１ａの先端部に着脱自在に装着することができる。光学アダプタ１０は、対物レンズ部１０ａと、照明レンズ部１０ｂとを有している。光学アダプタ１０には、対物レンズ部１０ａの光学特性及び観察方向（直視又は側視）が異なる複数種類のアダプタがある。検査者であるユーザは、必要であれば、検査対象及び検査内容に応じた光学アダプタ１０を選択して、挿入部１１ａの先端部に装着する。 An optical adapter 10 is attached to the tip of the insertion portion 11a. The optical adapter 10 can be detachably attached to the tip of the insertion portion 11a. The optical adapter 10 has an objective lens unit 10a and an illumination lens unit 10b. The optical adapter 10 includes a plurality of types of adapters having different optical characteristics and observation directions (direct view or side view) of the objective lens unit 10a. If necessary, the user who is the inspector selects the optical adapter 10 according to the inspection target and the inspection content and attaches it to the tip end portion of the insertion portion 11a.

よって、光学アダプタ１０が挿入部１１ａの先端部に装着されているときは、挿入部１１ａは、先端側から、光学アダプタ１０、先端硬性部１１ａ１、湾曲部１１ａ２及び可撓管部１１ａ３が順に連接されて構成される。 Therefore, when the optical adapter 10 is attached to the tip of the insertion portion 11a, the optical adapter 10, the tip rigid portion 11a1, the curved portion 11a2, and the flexible tube portion 11a3 are connected in this order from the tip side of the insertion portion 11a. Is composed of.

挿入部１１ａの先端硬性部１１ａ１には、図示しない観察窓に配置された対物レンズ部２１と、対物レンズ部２１の焦点位置に設けられた撮像素子２２と、図示しない照明窓に配置された照明部２３とが設けられている。 The tip rigid portion 11a1 of the insertion portion 11a includes an objective lens portion 21 arranged in an observation window (not shown), an image sensor 22 provided at the focal position of the objective lens portion 21, and illumination arranged in an illumination window (not shown). A unit 23 is provided.

撮像素子２２は、例えばCCDイメージセンサ、CMOSイメージセンサである固体撮像装置である。撮像素子２２の撮像面に、対物レンズ部２１を透過した光が集光し、撮像素子２２は、光電変換して生成した撮像信号を出力する。 The image sensor 22 is, for example, a solid-state image sensor such as a CCD image sensor or a CMOS image sensor. The light transmitted through the objective lens unit 21 is focused on the image pickup surface of the image pickup element 22, and the image pickup element 22 outputs an image pickup signal generated by photoelectric conversion.

照明部２３は、例えば発光ダイオード（LED）である発光素子を有する。照明部２３は、発光素子の出射する光を照明光として、照明窓を通して出射する。
挿入部１１ａの先端部に光学アダプタ１０が装着されている場合は、対物レンズ部１０ａと２１を透過した光を光電変換して生成された撮像信号が、撮像素子２２から出力される。また、挿入部１１ａの先端部に光学アダプタ１０が装着されている場合は、照明部２３からの照明光は、照明レンズ部１０ｂを透過して被写体に照射される。 The illumination unit 23 has a light emitting element which is, for example, a light emitting diode (LED). The illumination unit 23 uses the light emitted by the light emitting element as illumination light and emits it through the illumination window.
When the optical adapter 10 is attached to the tip of the insertion portion 11a, the image pickup signal generated by photoelectric conversion of the light transmitted through the objective lens portions 10a and 21 is output from the image pickup element 22. When the optical adapter 10 is attached to the tip of the insertion portion 11a, the illumination light from the illumination portion 23 passes through the illumination lens portion 10b and irradiates the subject.

挿入部１１ａの先端部の湾曲部１１ａ２には、湾曲機構２４が設けられている。湾曲機構２４は、複数の湾曲駒を含み、所定の湾曲駒に先端が固定された湾曲ワイヤの牽引と弛緩により、挿入部１１ａの先端部は、上下左右方向に湾曲可能となっている。 A bending mechanism 24 is provided on the curved portion 11a2 at the tip of the insertion portion 11a. The bending mechanism 24 includes a plurality of bending pieces, and the tip portion of the insertion portion 11a can be bent in the vertical and horizontal directions by pulling and loosening the bending wire whose tip is fixed to the predetermined bending piece.

挿入部１１ａの可撓管部１１ａ３は、細長くかつ可撓性を有する。可撓管部１１ａ３の基端部は、本体部１１ｂに接続されている。
本体部１１ｂは、撮像素子駆動部２５と、撮像信号処理部２６と、制御部２７と、入力部２８と、照明駆動部２９と、湾曲操作部３０と、無線部３１と、バッテリ制御部３２と、バッテリ部３３とを含む。 The flexible tube portion 11a3 of the insertion portion 11a is elongated and flexible. The base end portion of the flexible tube portion 11a3 is connected to the main body portion 11b.
The main body 11b includes an image sensor drive unit 25, an image sensor processing unit 26, a control unit 27, an input unit 28, a lighting drive unit 29, a bending operation unit 30, a wireless unit 31, and a battery control unit 32. And the battery unit 33.

撮像素子駆動部２５は、撮像素子２２を駆動する駆動回路である。
撮像信号処理部２６は、制御部２７により制御され、撮像素子駆動部２５を制御すると共に、撮像素子駆動部２５からの各種信号に基づいて、撮像素子２２からの撮像信号を受信して画像信号を生成する回路である。 The image sensor drive unit 25 is a drive circuit that drives the image sensor 22.
The image pickup signal processing unit 26 is controlled by the control unit 27 to control the image sensor drive unit 25, and receives an image pickup signal from the image pickup element 22 based on various signals from the image pickup element drive unit 25 to receive an image signal. Is a circuit that generates.

制御部２７は、中央処理装置（以下、CPUという）と、ROM、RAM、書き換え可能な不揮発性メモリを含む回路であり、内視鏡１１内の各回路の制御を行う。ROMには、各種機能に応じた各種プログラムが格納されている。CPUは、ROMに記憶されたプログラムを読み出して実行することにより、各機能に応じた処理を実行する。また、制御部２７は、撮像信号処理部２６からの画像信号を不揮発性メモリに記録することができる。
なお、不揮発性メモリは、メモリカードなどの内視鏡１１に対して脱着可能な記憶装置でもよい。 The control unit 27 is a circuit including a central processing unit (hereinafter referred to as a CPU), ROM, RAM, and a rewritable non-volatile memory, and controls each circuit in the endoscope 11. Various programs corresponding to various functions are stored in the ROM. The CPU executes the processing according to each function by reading and executing the program stored in the ROM. Further, the control unit 27 can record the image signal from the image pickup signal processing unit 26 in the non-volatile memory.
The non-volatile memory may be a storage device such as a memory card that can be attached to and detached from the endoscope 11.

入力部２８は、ユーザが操作する操作ボタンなどの入力操作部材を有する。入力部２８に対するユーザの操作に応じた操作信号は、入力部２８から制御部２７へ供給される。操作信号は、例えば、静止画取得、画像記録、照明部２３の光量、撮像信号処理部２６のゲイン、等の操作信号である。制御部２７は、操作信号に応じて、撮像信号処理部２６、照明駆動部２９、無線部３１及びバッテリ制御部３２へ、各種制御信号を出力する。
照明駆動部２９は、制御部２７からの照明制御信号に応じて、照明部２３への駆動信号を出力する。 The input unit 28 has an input operation member such as an operation button operated by the user. The operation signal corresponding to the user's operation on the input unit 28 is supplied from the input unit 28 to the control unit 27. The operation signal is, for example, an operation signal such as still image acquisition, image recording, the amount of light of the illumination unit 23, the gain of the image pickup signal processing unit 26, and the like. The control unit 27 outputs various control signals to the image pickup signal processing unit 26, the lighting drive unit 29, the radio unit 31, and the battery control unit 32 in response to the operation signal.
The lighting drive unit 29 outputs a drive signal to the lighting unit 23 in response to the lighting control signal from the control unit 27.

湾曲操作部３０は、例えばジョイスティックなどの湾曲操作部材であり、ユーザが湾曲操作部３０を操作することにより、各湾曲ワイヤなどの牽引と弛緩が行われて、挿入部１１ａの先端部の湾曲部１１ａ２が湾曲する。
なお、湾曲制御は、電動モータなどを用いて電気的制御で行ってもよく、その場合は、スマートフォン１２からの湾曲操作指示によっても、湾曲部１１ａ２の湾曲制御が可能となる。 The bending operation unit 30 is a bending operation member such as a joystick, and when the user operates the bending operation unit 30, each of the bending wires and the like is pulled and relaxed, and the bending portion at the tip of the insertion portion 11a is bent. 11a2 is curved.
The bending control may be performed by electrical control using an electric motor or the like, and in that case, the bending control of the bending portion 11a2 can be performed by the bending operation instruction from the smartphone 12.

無線通信部である無線部３１は、無線LAN等により無線通信を行うための回路である。内視鏡１１は、無線部３１を利用して、スマートフォン１２、スマートグラス１３及びサーバ１４との無線通信を行うことができる。 The wireless unit 31 which is a wireless communication unit is a circuit for performing wireless communication by a wireless LAN or the like. The endoscope 11 can perform wireless communication with the smartphone 12, the smart glasses 13, and the server 14 by using the wireless unit 31.

また、無線部３１は、制御部２７の制御の下、撮像素子２２で撮像して得られた画像情報、入力部２８に入力された操作指示についての操作信号、バッテリ制御部３２の保有するバッテリ部３３のバッテリ残量やバッテリ温度、等の情報を、スマートフォン１２あるいはサーバ１４へ送信可能である。 Further, the radio unit 31 has image information obtained by imaging with the image sensor 22 under the control of the control unit 27, an operation signal for an operation instruction input to the input unit 28, and a battery possessed by the battery control unit 32. Information such as the remaining battery level and the battery temperature of the unit 33 can be transmitted to the smartphone 12 or the server 14.

無線部３１は、スマートフォン１２からの照明制御コマンドを受信すると、照明駆動部２９へ出力する。すなわち、照明部２３は、スマートフォン１２からの指示に応じて制御可能となっている。 When the wireless unit 31 receives the lighting control command from the smartphone 12, it outputs it to the lighting driving unit 29. That is, the lighting unit 23 can be controlled in response to an instruction from the smartphone 12.

バッテリ制御部３２は、バッテリ部３３の放電及び充電を制御すると共に、バッテリ部３３のバッテリの残量及びバッテリ部３３の温度（すなわちバッテリ温度）の情報を収集し記憶する回路である。 The battery control unit 32 is a circuit that controls the discharge and charge of the battery unit 33 and collects and stores information on the remaining amount of the battery in the battery unit 33 and the temperature of the battery unit 33 (that is, the battery temperature).

さらに、バッテリ制御部３２は、バッテリ部３３の使用中における、単位時間当たり消費される標準的な電力（以下、標準消費電力という）の情報も有している。
以上のように、内視鏡１１は、無線通信部である無線部３１及び挿入部１１ａを有し、検査対象内の内視鏡画像を取得し、内視鏡画像をスマートグラス１３などに送信することができる。
（スマートフォンの構成）
スマートフォン１２は、無線部４１と、CPU部４２と、タッチパネル部４３と、表示部４４と、メモリ部４５と、カメラ部４６と、バッテリ制御部４７と、バッテリ部４８とを有する。 Further, the battery control unit 32 also has information on standard power consumption (hereinafter, referred to as standard power consumption) per unit time during use of the battery unit 33.
As described above, the endoscope 11 has a wireless unit 31 and an insertion unit 11a which are wireless communication units, acquires an endoscope image in the inspection target, and transmits the endoscope image to a smart glass 13 or the like. can do.
(Smartphone configuration)
The smartphone 12 includes a wireless unit 41, a CPU unit 42, a touch panel unit 43, a display unit 44, a memory unit 45, a camera unit 46, a battery control unit 47, and a battery unit 48.

無線通信部である無線部４１は、無線LAN等により無線通信を行うための回路である。スマートフォン１２は、無線部４１を利用して、内視鏡１１、スマートグラス１３及びサーバ１４との、無線通信を行うことができる。
すなわち、スマートフォン１２は、内視鏡１１及びスマートグラス１３及びサーバ１４と無線通信可能な端末装置である。 The wireless unit 41, which is a wireless communication unit, is a circuit for performing wireless communication by wireless LAN or the like. The smartphone 12 can perform wireless communication with the endoscope 11, the smart glasses 13, and the server 14 by using the wireless unit 41.
That is, the smartphone 12 is a terminal device capable of wireless communication with the endoscope 11, the smart glasses 13, and the server 14.

CPU部４２は、CPUを含む回路である。CPU部４２は、カメラ部４６で撮像して得られた画像データ、内視鏡１１からの内視鏡画像データ及びスマートグラス１３からの画像データに対して所定の画像処理を行うと共に、メニュー表示などのグラフィック画像データを生成して、内視鏡画像などに重畳した画像を生成して、表示部４４に出力する回路である。 The CPU unit 42 is a circuit including a CPU. The CPU unit 42 performs predetermined image processing on the image data obtained by imaging with the camera unit 46, the endoscopic image data from the endoscope 11, and the image data from the smart glass 13, and displays a menu. This is a circuit that generates graphic image data such as the above, generates an image superimposed on an endoscopic image, and outputs the image to the display unit 44.

CPU部４２は、カメラ部４６の動作を制御すると共に、カメラ部４６からの画像データを取得する。
CPU部４２において実行される画像処理は、例えば、表示部４４の仕様に応じた色空間変換、インターレース／プログレッシブ変換、ガンマ補正、等の処理である。 The CPU unit 42 controls the operation of the camera unit 46 and acquires image data from the camera unit 46.
The image processing executed by the CPU unit 42 is, for example, processing such as color space conversion, interlaced / progressive conversion, and gamma correction according to the specifications of the display unit 44.

また、CPU部４２は、カメラ部４６で取得された画像中の人の顔を認識する顔認識機能も有し、そのための顔認識処理プログラムも実行可能である。
また、CPU部４２は、ユーザからの指示に応じて、各種処理を実行するが、特に、内視鏡１１へのコマンド、例えば、照明制御、撮像素子制御、等の制御データを生成して、無線部４１を介して内視鏡１１へ送信する処理も行うことができる。 Further, the CPU unit 42 also has a face recognition function for recognizing a human face in an image acquired by the camera unit 46, and a face recognition processing program for that purpose can also be executed.
Further, the CPU unit 42 executes various processes in response to an instruction from the user, and in particular, generates control data such as commands to the endoscope 11, such as lighting control and image sensor control. It is also possible to perform a process of transmitting data to the endoscope 11 via the radio unit 41.

さらに、CPU部４２は、スマートグラス１３への各種コマンド等の制御データを生成して、無線部４１を介してスマートグラス１３へ送信すると共に、内視鏡１１で得られた内視鏡画像データ、カメラ部４６で得られた画像データ、メニュー画面などの画像データなどをスマートグラス１３へ送信する処理も行うことができる。 Further, the CPU unit 42 generates control data such as various commands to the smart glass 13 and transmits the control data to the smart glass 13 via the wireless unit 41, and the endoscope image data obtained by the endoscope 11. It is also possible to perform a process of transmitting the image data obtained by the camera unit 46, the image data of the menu screen, and the like to the smart glass 13.

タッチパネル部４３は、表示部４４の表示画面上に配置され、ユーザがタッチして各種操作を行うための装置である。タッチパネル部４３に入力された各種操作指示、例えば照明操作、撮像操作などの操作指示信号、は、無線部４１を介して、内視鏡１１あるいはスマートグラス１３へも送信可能である。
表示部４４は、液晶表示パネルのような表示器であり、内視鏡画像、メニュー画像などを表示する。 The touch panel unit 43 is a device that is arranged on the display screen of the display unit 44 and allows the user to touch and perform various operations. Various operation instructions input to the touch panel unit 43, for example, operation instruction signals such as lighting operation and imaging operation, can be transmitted to the endoscope 11 or the smart glasses 13 via the wireless unit 41.
The display unit 44 is a display such as a liquid crystal display panel, and displays an endoscope image, a menu image, and the like.

表示部４４の表示面上に表示されたコマンドボタンの部分を、ユーザが指などで触れると、タッチパネル部４３のタッチされた領域の位置座標が検出されて、CPU部４２は、検出された位置座標から、表示されているボタンのいずれがタッチされたのかを判定することができる。 When the user touches the part of the command button displayed on the display surface of the display unit 44 with a finger or the like, the position coordinates of the touched area of the touch panel unit 43 are detected, and the CPU unit 42 detects the detected position. From the coordinates, it is possible to determine which of the displayed buttons has been touched.

メモリ部４５は、ROM、RAM、書き換え可能な不揮発性メモリを含み、ROMには、CPU部４２の動作する各種処理プログラムが格納されおり、RAMは、実行中のワークエリアとして利用される。メモリ部４５には、後述する表示制御プログラムも格納されている。不揮発性メモリには、内視鏡画像などを記録することもできる。
カメラ部４６は、CCDイメージセンサ、CMOSイメージセンサ等の撮像素子を含み、CPU部４２の制御の下で動作が制御される。カメラ部４６は、撮像して得られた画像データを、CPU部４２へ出力する。 The memory unit 45 includes a ROM, RAM, and a rewritable non-volatile memory. The ROM stores various processing programs in which the CPU unit 42 operates, and the RAM is used as a work area during execution. A display control program described later is also stored in the memory unit 45. An endoscopic image or the like can also be recorded in the non-volatile memory.
The camera unit 46 includes an image sensor such as a CCD image sensor and a CMOS image sensor, and its operation is controlled under the control of the CPU unit 42. The camera unit 46 outputs the image data obtained by imaging to the CPU unit 42.

バッテリ制御部４７は、バッテリ部４８の放電及び充電を制御すると共に、バッテリ部４８のバッテリの残量及びバッテリ部４８の温度（すなわちバッテリ温度）の情報を収集し記憶する回路である。 The battery control unit 47 is a circuit that controls the discharge and charge of the battery unit 48, and collects and stores information on the remaining amount of the battery in the battery unit 48 and the temperature of the battery unit 48 (that is, the battery temperature).

さらに、バッテリ制御部４７は、バッテリ部４８のバッテリの残量及び温度のデータを、CPU部４２へ出力する。
（スマートグラスの構成）
スマートグラス１３は、無線部５１と、CPU部５２と、表示部５３と、メモリ部５４と、カメラ部５５と、バッテリ制御部５６と、バッテリ部５７とを有する。 Further, the battery control unit 47 outputs the data of the remaining battery level and the temperature of the battery unit 48 to the CPU unit 42.
(Structure of smart glasses)
The smart glasses 13 include a wireless unit 51, a CPU unit 52, a display unit 53, a memory unit 54, a camera unit 55, a battery control unit 56, and a battery unit 57.

無線通信部である無線部５１は、無線LAN等により無線通信を行うための回路である。スマートグラス１３は、無線部５１を利用して、内視鏡１１、スマートフォン１２及びサーバ１４との無線通信を行うことができる。 The wireless unit 51, which is a wireless communication unit, is a circuit for performing wireless communication by wireless LAN or the like. The smart glasses 13 can perform wireless communication with the endoscope 11, the smartphone 12, and the server 14 by using the wireless unit 51.

CPU部５２は、CPUを含む回路である。CPU部５２は、カメラ部５５で撮像して得られた画像データ、及びスマートフォン１２からの画像データに対して所定の画像処理を行い、表示部５３に表示する画像データを生成し、生成した画像データを、表示部５３に出力する回路である。 The CPU unit 52 is a circuit including a CPU. The CPU unit 52 performs predetermined image processing on the image data obtained by imaging with the camera unit 55 and the image data from the smartphone 12, generates the image data to be displayed on the display unit 53, and the generated image. This is a circuit that outputs data to the display unit 53.

CPU部５２は、カメラ部５５の動作を制御すると共に、カメラ部５５からの画像データを取得する。そして、CPU部５２は、カメラ部５５で得られた画像データを、無線部５１を介して、スマートフォン１２へ送信することができる。
CPU部５２において実行される画像処理は、例えば、表示部５３の仕様に応じた色空間変換、インターレース／プログレッシブ変換、ガンマ補正、等の処理である。 The CPU unit 52 controls the operation of the camera unit 55 and acquires image data from the camera unit 55. Then, the CPU unit 52 can transmit the image data obtained by the camera unit 55 to the smartphone 12 via the wireless unit 51.
The image processing executed by the CPU unit 52 is, for example, processing such as color space conversion, interlaced / progressive conversion, and gamma correction according to the specifications of the display unit 53.

また、CPU部５２は、ユーザからの指示に応じて、各種処理を実行する。ユーザからの指示は、例えば、カメラ部５５による画像処理により、ユーザの指の動きに応じたコマンドを検出する方法、スマートグラス１３に設けられたボタン（図示せず）への操作を検出する方法、等により、行うことができる。CPU部５２は、ユーザからの指示、すなわちコマンド、に応じた処理を実行する。 In addition, the CPU unit 52 executes various processes in response to an instruction from the user. The instructions from the user include, for example, a method of detecting a command corresponding to the movement of the user's finger by image processing by the camera unit 55, and a method of detecting an operation on a button (not shown) provided on the smart glasses 13. , Etc., can be performed. The CPU unit 52 executes processing according to an instruction from the user, that is, a command.

同様に、CPU部５２は、スマートフォン１２への各種コマンド等の制御データを生成して、無線部５１を介してスマートフォン１２へ送信する処理も行う。
表示部５３は、液晶表示パネルのような表示器であり、内視鏡画像、メニュー画像などを表示する。表示部５３に表示された画像は、スマートグラス１３を装着したユーザが見ることができる。
メモリ部５４は、ROM、RAM、書き換え可能な不揮発性メモリを含み、ROMには、CPU部５２の動作する各種処理プログラムが格納されおり、RAMは、実行中のワークエリアとして利用される。不揮発性メモリには、内視鏡画像などを記録することができる。 Similarly, the CPU unit 52 also performs a process of generating control data such as various commands to the smartphone 12 and transmitting the control data to the smartphone 12 via the wireless unit 51.
The display unit 53 is a display such as a liquid crystal display panel, and displays an endoscope image, a menu image, and the like. The image displayed on the display unit 53 can be viewed by a user wearing the smart glasses 13.
The memory unit 54 includes a ROM, RAM, and a rewritable non-volatile memory. The ROM stores various processing programs in which the CPU unit 52 operates, and the RAM is used as a work area during execution. An endoscopic image or the like can be recorded in the non-volatile memory.

カメラ部５５は、CCDイメージセンサ、CMOSイメージセンサ等の撮像素子を含み、CPU部５２の制御の下で動作が制御される。カメラ部５５は、撮像して得られた画像データを、CPU部５２へ出力する。 The camera unit 55 includes an image sensor such as a CCD image sensor and a CMOS image sensor, and its operation is controlled under the control of the CPU unit 52. The camera unit 55 outputs the image data obtained by imaging to the CPU unit 52.

バッテリ制御部５６は、バッテリ部５７の放電及び充電を制御すると共に、バッテリ部５７のバッテリの残量及びバッテリ部５７の温度（すなわちバッテリ温度）の情報を収集し記憶する回路である。バッテリ制御部５６は、バッテリ部５７のバッテリの残量及び温度のデータを、CPU部５２へ出力する。 The battery control unit 56 is a circuit that controls the discharge and charge of the battery unit 57, and collects and stores information on the remaining amount of the battery in the battery unit 57 and the temperature of the battery unit 57 (that is, the battery temperature). The battery control unit 56 outputs data on the remaining battery level and temperature of the battery unit 57 to the CPU unit 52.

スマートグラス１３の表示部５３に表示される画像は、カメラ部５５により取得された画像であるが、スマートフォン１２からの指示により、変更可能である。
具体的には、スマートグラス１３の表示部５３の表示変更は、スマートフォン１２からの表示制御信号によっても行うことができ、後述するように、スマートフォン１２からの表示制御信号により、スマートグラス１３の表示部５３には、スマートグラス１３のカメラ部５５において取得された画像、又は内視鏡１１の撮像素子２２で撮像して得られた内視鏡画像が、表示可能である。
以上のように、スマートグラス１３は、無線通信部である無線部５１、カメラ部５５及び表示部５３を有する頭部装着型の表示装置である。
（サーバの構成）
サーバ１４は、インターネット１５に接続された、コンピュータ装置である。サーバ１４は、インターネット１５を介して、内視鏡１１、スマートフォン１２及びスマートグラス１３と、通信可能な外部装置である。サーバ１４は、例えば無線LAN等の無線通信可能なパーソナルコンピュータである。 The image displayed on the display unit 53 of the smart glasses 13 is an image acquired by the camera unit 55, but can be changed by an instruction from the smartphone 12.
Specifically, the display of the display unit 53 of the smart glasses 13 can be changed by the display control signal from the smartphone 12, and as will be described later, the display of the smart glasses 13 is displayed by the display control signal from the smartphone 12. The image acquired by the camera unit 55 of the smart glasses 13 or the endoscope image obtained by imaging with the image sensor 22 of the endoscope 11 can be displayed on the unit 53.
As described above, the smart glass 13 is a head-mounted display device having a wireless unit 51, a camera unit 55, and a display unit 53, which are wireless communication units.
(Server configuration)
The server 14 is a computer device connected to the Internet 15. The server 14 is an external device capable of communicating with the endoscope 11, the smartphone 12, and the smart glasses 13 via the Internet 15. The server 14 is a personal computer capable of wireless communication such as a wireless LAN.

サーバ１４は、大容量のメモリ１４ａを有し、ユーザは、内視鏡１１に記憶された内視鏡画像データをサーバ１４へ送信してメモリ１４ａに記憶させたり、サーバ１４のメモリ１４ａに記憶された検査結果情報などを読み出すことができる。 The server 14 has a large-capacity memory 14a, and the user can transmit the endoscope image data stored in the endoscope 11 to the server 14 and store it in the memory 14a, or store it in the memory 14a of the server 14. It is possible to read out the inspection result information and the like.

以上のように、内視鏡システム１は、内視鏡１１と、スマートフォン１２と、スマートグラス１３とを含んで構成され、内視鏡１１と、スマートフォン１２と、スマートグラス１３は、図１において二点鎖線で示すように互いに通信可能である。内視鏡１１と、スマートフォン１２と、スマートグラス１３の各々は、さらにサーバ１４とも通信可能である。ユーザは、スマートグラス１３を眼鏡をかけるように頭部に装着し、スマートフォン１２を携帯して、内視鏡１１を用いて内視鏡検査を行う。
（作用）
スマートフォン１２における内視鏡画像の表示切替処理について説明する。 As described above, the endoscope system 1 is configured to include the endoscope 11, the smartphone 12, and the smart glasses 13, and the endoscope 11, the smartphone 12, and the smart glasses 13 are shown in FIG. They can communicate with each other as shown by the alternate long and short dash line. Each of the endoscope 11, the smartphone 12, and the smart glasses 13 can further communicate with the server 14. The user wears the smart glasses 13 on the head like wearing glasses, carries the smartphone 12, and performs endoscopy using the endoscope 11.
(Action)
The display switching process of the endoscope image in the smartphone 12 will be described.

検査者であるユーザは、内視鏡検査を行うとき、スマートフォン１２を携帯しかつスマートグラス１３を頭部に装着する。そして、ユーザは、例えば、内視鏡１１の挿入部を片手で把持し、他方の手で内視鏡１１の本体部を把持しながら、検査対象の内部へ挿入部１１ａを挿入して、検査対象の内部を観察する。 When performing an endoscopy, a user who is an inspector carries a smartphone 12 and wears smart glasses 13 on his head. Then, for example, the user inserts the insertion portion 11a into the inspection target while grasping the insertion portion of the endoscope 11 with one hand and the main body portion of the endoscope 11 with the other hand for inspection. Observe the inside of the subject.

例えば、検査開始の指示が、スマートフォン１２に入力されると、スマートフォン１２のCPU部４２は、図２に示すプログラムをメモリ部４５のROMから読み出して実行する。内視鏡１１は電源がオンされて、撮像信号処理部２６で生成された画像の無線部３１からスマートフォン１２への送信を開始する。スマートグラス１３も電源がオンされて、カメラ部５５で取得された画像の無線部５１からスマートフォン１２への送信を開始する。 For example, when an instruction to start inspection is input to the smartphone 12, the CPU unit 42 of the smartphone 12 reads the program shown in FIG. 2 from the ROM of the memory unit 45 and executes it. The power of the endoscope 11 is turned on, and the radio unit 31 of the image generated by the image pickup signal processing unit 26 starts transmitting the image to the smartphone 12. The power of the smart glasses 13 is also turned on, and the wireless unit 51 of the image acquired by the camera unit 55 starts transmitting the image to the smartphone 12.

スマートグラス１３の表示は、スマートフォン１２からの指示により制御されるが、スマートグラス１３は、電源がオンされたとき、カメラ部５５の画像が、表示部５３に表示され、ユーザは、スマートグラス１３の表示部５３に表示された画像であるスマートグラス１３を頭部にかけた状態でカメラ部５５の画像を見ることができる。なお、スマートグラス１３が、片眼式などの所謂シースルー型である場合、すなわちユーザがスマートグラス１３越しに検査対象を見ることができる場合は、CPU部５２は、カメラ部５５の画像を表示部５３に表示しないようにしてもよい。
よって、ユーザは、スマートグラス１３の表示部５３に表示された、検査対象を含む画像を見ながら、検査対象への挿入部１１ａの挿入操作を開始することができる。 The display of the smart glasses 13 is controlled by an instruction from the smartphone 12, but when the power of the smart glasses 13 is turned on, the image of the camera unit 55 is displayed on the display unit 53, and the user can use the smart glasses 13. The image of the camera unit 55 can be viewed with the smart glasses 13 which is the image displayed on the display unit 53 of the above. When the smart glasses 13 are of a so-called see-through type such as a one-eye type, that is, when the user can see the inspection target through the smart glasses 13, the CPU unit 52 displays the image of the camera unit 55. It may not be displayed on 53.
Therefore, the user can start the operation of inserting the insertion unit 11a into the inspection target while viewing the image including the inspection target displayed on the display unit 53 of the smart glasses 13.

図２は、スマートフォン１２のCPU部４２によるスマートグラス１３の表示制御処理の流れの例を示すフローチャートである。 FIG. 2 is a flowchart showing an example of the flow of display control processing of the smart glasses 13 by the CPU unit 42 of the smartphone 12.

検査開始が、スマートフォン１２に指示されると、スマートフォン１２のCPU部４２は、スマートグラス１３のカメラ部５５において取得された画像（以下、スマートグラス画像という）の記録を開始する（S1）。スマートグラス画像の動画は、スマートフォン１２のメモリ部４５に記録される。 When the smartphone 12 is instructed to start the inspection, the CPU unit 42 of the smartphone 12 starts recording an image (hereinafter, referred to as a smart glass image) acquired by the camera unit 55 of the smart glasses 13 (S1). The moving image of the smart glass image is recorded in the memory unit 45 of the smartphone 12.

上述したように、スマートグラス１３は、電源がオンされると（あるいは所定コマンドを入力すると）、スマートグラス画像をスマートフォン１２へリアルタイムで送信する。 As described above, the smart glasses 13 transmits the smart glasses image to the smartphone 12 in real time when the power is turned on (or when a predetermined command is input).

スマートフォン１２のCPU部４２は、スマートグラス１３からのスマートグラス画像に対して所定の画像処理をリアルタイムで行い、その画像処理による、挿入部１１ａの先端部の検出処理を実行する（S2）。挿入部１１ａの先端部の検出処理では、スマートグラス画像中に挿入部１１ａの先端部が含まれるかの判定が行われる。 The CPU unit 42 of the smartphone 12 performs predetermined image processing on the smart glass image from the smart glass 13 in real time, and executes the detection processing of the tip portion of the insertion unit 11a by the image processing (S2). In the detection process of the tip portion of the insertion portion 11a, it is determined whether or not the tip portion of the insertion portion 11a is included in the smart glass image.

スマートグラス画像中に挿入部１１ａの先端部が含まれるかの判定は、挿入部１１ａの先端部を検出する画像処理の処理結果に基づいて行うことができる。例えば、先端硬性部１１ａ１、湾曲部１１ａ２及び可撓管部１１ａ３は、それぞれ所定の形状を有しており、さらに、先端硬性部１１ａ１は、表面が金属製で光沢を有し、湾曲部１１ａ２及び可撓管部１１ａ３は、表面が網状であるため、画像処理により、挿入部１１ａを認識し、先端硬性部１１ａ１がスマートグラス画像中にあるか否かを判定することにより、スマートグラス画像中に挿入部１１ａの先端部が含まれるかの判定を行うことができる。 Whether or not the tip portion of the insertion portion 11a is included in the smart glass image can be determined based on the processing result of the image processing for detecting the tip portion of the insertion portion 11a. For example, the tip rigid portion 11a1, the curved portion 11a2, and the flexible tube portion 11a3 each have a predetermined shape, and the tip rigid portion 11a1 has a surface made of metal and has a gloss, and the curved portion 11a2 and the flexible tube portion 11a3 Since the surface of the flexible tube portion 11a3 is reticulated, the insertion portion 11a is recognized by image processing, and it is determined whether or not the tip rigid portion 11a1 is in the smart glass image. It is possible to determine whether or not the tip portion of the insertion portion 11a is included.

なお、ここでは、挿入部１１ａの先端部の検出を、先端硬性部１１ａ１の検出により行っているが、光学アダプタ１０の検出により行ってもよい。
さらになお、ここでは、挿入部１１ａの先端部、例えば先端硬性部１１ａ１、の外周面あるいは光学アダプタ１０の外周面に、所定の、色、マークあるいは文字を設け、その所定の色、所定のマークあるいは所定の文字の有無の検出により、スマートグラス画像中の、挿入部１１ａの先端部の検出を行うようにしてもよい。
さらになお、可撓管部１１ａ３の先端硬性部１１ａ１（あるいは光学アダプタ１０）の外周面上に所定のマーク等を設け、その所定のマーク等の検出を行うことにより、スマートグラス画像中の、挿入部１１ａの先端部の検出を行うようにしてもよい。 Here, the tip portion of the insertion portion 11a is detected by the detection of the tip rigid portion 11a1, but it may be detected by the detection of the optical adapter 10.
Furthermore, here, a predetermined color, mark or character is provided on the outer peripheral surface of the tip portion of the insertion portion 11a, for example, the outer peripheral surface of the tip rigid portion 11a1 or the outer peripheral surface of the optical adapter 10, and the predetermined color, mark or character is provided. Alternatively, the tip end portion of the insertion portion 11a in the smart glass image may be detected by detecting the presence or absence of a predetermined character.
Furthermore, by providing a predetermined mark or the like on the outer peripheral surface of the tip rigid portion 11a1 (or the optical adapter 10) of the flexible tube portion 11a3 and detecting the predetermined mark or the like, the insertion in the smart glass image is performed. The tip end portion of the portion 11a may be detected.

さらになお、挿入部１１ａの先端部の検出は、先端部から出射される照明光の有無に基づいて行うことにより、スマートグラス画像中の、挿入部１１ａの先端部の検出を行うようにしてもよい。 Furthermore, the tip of the insertion portion 11a is detected based on the presence or absence of the illumination light emitted from the tip, so that the tip of the insertion portion 11a can be detected in the smart glass image. Good.

さらに、可撓管部１１ａ３の先端側部分の外周面上に、軸方向に沿って所定の間隔を持って所定のマークを複数設け、画像処理により、複数の所定のマークの数が減っていくように消えていくか否かを検出することにより、スマートグラス画像中の、挿入部１１ａの先端部の検出を行うようにしてもよい。図３と図４は、スマートグラス１３の表示部５３に表示されるスマートグラス画像６１の例を示す。図３は、検査対象内に挿入部１１ａを挿入する前のスマートグラス画像６１の例を示す図である。図４は、検査対象内に挿入部１１ａを挿入した状態のスマートグラス画像の例を示す図である。図３及び図４に示すスマートグラス画像６１は、スマートグラス１３をかけたユーザの視界の全体あるいは一部に現れて、ユーザにより見ることができる。 Further, a plurality of predetermined marks are provided on the outer peripheral surface of the tip end side portion of the flexible tube portion 11a3 at predetermined intervals along the axial direction, and the number of the plurality of predetermined marks is reduced by image processing. By detecting whether or not it disappears in this way, the tip end portion of the insertion portion 11a in the smart glass image may be detected. 3 and 4 show an example of the smart glass image 61 displayed on the display unit 53 of the smart glass 13. FIG. 3 is a diagram showing an example of a smart glass image 61 before inserting the insertion portion 11a into the inspection target. FIG. 4 is a diagram showing an example of a smart glass image in a state where the insertion portion 11a is inserted in the inspection target. The smart glasses image 61 shown in FIGS. 3 and 4 appears in the entire or part of the field of view of the user wearing the smart glasses 13 and can be seen by the user.

図３に示すように、検査対象６２は、開口部６３を有し、開口部６３は、挿入部１１ａが開口部６３に挿入可能なサイズを有する。
ユーザが挿入部１１ａを開口部６３の外側の位置で保持して、ユーザの顔が検査対象６２の方向に向いているとき、スマートグラス１３のカメラ部５５は、図３に示すようなスマートグラス画像６１を取得する。よって、ユーザは、図３に示すようなスマートグラス画像を見ることができる。 As shown in FIG. 3, the inspection target 62 has an opening 63, and the opening 63 has a size that allows the insertion portion 11a to be inserted into the opening 63.
When the user holds the insertion portion 11a at a position outside the opening 63 and the user's face is facing the inspection target 62, the camera portion 55 of the smart glasses 13 is a smart glass as shown in FIG. Image 61 is acquired. Therefore, the user can see the smart glass image as shown in FIG.

上述したように、図３に示すスマートグラス画像６１の画像データは、スマートグラス１３からスマートフォン１２へリアルタイムで送信されているので、スマートフォン１２のCPU部４２は、上述した挿入部１１ａの先端部の検出処理において、受信したスマートグラス画像６１をリアルタイムで画像処理して、上述したような先端硬性部１１ａ１を検出する。 As described above, since the image data of the smart glasses image 61 shown in FIG. 3 is transmitted from the smart glasses 13 to the smartphone 12 in real time, the CPU unit 42 of the smartphone 12 is the tip of the insertion unit 11a described above. In the detection process, the received smart glass image 61 is image-processed in real time to detect the tip rigid portion 11a1 as described above.

しかし、ユーザが挿入部１１ａを開口部６３から、検査対象６２内に挿入部１１ａの先端部を挿入すると、スマートグラス１３のカメラ部５５は、図４に示すようなスマートグラス画像６１を取得する。図４に示すスマートグラス画像６１では、先端硬性部１１ａ１は検出されない。 However, when the user inserts the insertion portion 11a through the opening 63 into the inspection target 62 at the tip of the insertion portion 11a, the camera portion 55 of the smart glasses 13 acquires the smart glasses image 61 as shown in FIG. .. In the smart glass image 61 shown in FIG. 4, the tip rigid portion 11a1 is not detected.

よって、CPU部４２は、S2の検出処理の結果に基づいて、挿入部１１ａの先端部は見えているかの判定を行う（S3）。S3の判定は、S2におけるスマートグラス画像６１中に挿入部１１ａの先端部があるかの検出結果に基づいて、行われる。 Therefore, the CPU unit 42 determines whether or not the tip portion of the insertion unit 11a is visible based on the result of the detection process of S2 (S3). The determination of S3 is performed based on the detection result of whether or not the tip portion of the insertion portion 11a is present in the smart glass image 61 in S2.

ユーザが、挿入部１１ａの先端部を開口部６３の外側の位置で保持しているときには、S2においてスマートグラス画像６１中に挿入部１１ａの先端部が認識されるので、挿入部１１ａの先端部は見えていると判定される（S3:YES）。 When the user holds the tip of the insertion portion 11a at a position outside the opening 63, the tip of the insertion portion 11a is recognized in the smart glass image 61 in S2, so that the tip of the insertion portion 11a Is determined to be visible (S3: YES).

挿入部１１ａの先端部は見えていると判定されると（S3:YES）、CPU部４２は、挿入部１１ａは検査対象６２内にそれまで挿入されていたかを判定する（S4）。挿入部１１ａは検査対象６２内に挿入されているかは、所定の状態フラグにより示される。初期状態では、状態フラグは、挿入部１１ａが検査対象６２内に挿入されていないことを示す値、例えば「０」に設定されており、挿入部１１ａが検査対象６２内に挿入されたことが検出されると、その状態フラグは、挿入部１１ａが検査対象６２内に挿入されていることを示す値、例えば「１」に設定される。このような状態フラグを設定し、設定された状態フラグを参照することにより、CPU部４２は、挿入部１１ａは検査対象６２内にそれまで挿入されていたかを判定することができる（S4）。 When it is determined that the tip of the insertion portion 11a is visible (S3: YES), the CPU portion 42 determines whether the insertion portion 11a has been inserted into the inspection target 62 (S4). Whether or not the insertion portion 11a is inserted in the inspection target 62 is indicated by a predetermined state flag. In the initial state, the state flag is set to a value indicating that the insertion portion 11a is not inserted in the inspection target 62, for example, "0", and the insertion portion 11a is inserted in the inspection target 62. When detected, the state flag is set to a value indicating that the insertion unit 11a is inserted into the inspection target 62, for example, "1". By setting such a state flag and referring to the set state flag, the CPU unit 42 can determine whether the insertion unit 11a has been inserted into the inspection target 62 (S4).

挿入部１１ａは検査対象６２内にそれまで挿入されていなかったと判定されると（S4:NO）、処理は、S2に戻る。
S3において、挿入部１１ａの先端部は見えていると判定されないと（S3:NO）、CPU部４２は、挿入部１１ａは検査対象６２内にそれまで挿入されていたかを判定する（S5）。S5の判定は、上述したS4の判定と同様に行うことができる。 When it is determined that the insertion portion 11a has not been inserted into the inspection target 62 (S4: NO), the process returns to S2.
If it is not determined in S3 that the tip of the insertion portion 11a is visible (S3: NO), the CPU unit 42 determines whether the insertion portion 11a has been inserted into the inspection target 62 (S5). The determination of S5 can be performed in the same manner as the determination of S4 described above.

なお、S2の挿入部１１ａの先端部の検出処理において、互いに異なる検出方法の複数の検出処理を行い、複数の検出処理の全てにおいて、挿入部１１ａの先端部が検出されたと判定されたときに、S3において、挿入部１１ａの先端部は見えていると判定するようにしてもよい。複数の検出処理は、例えば、上述した先端硬性部１１ａ１の検出、先端硬性部１１ａ１の外周面上の所定のマークの検出、及び先端部から出射される照明光の検出であり、３つの検出処理の全てにおいて、検出がされたときに、挿入部１１ａの先端部は見えていると判定される。
さらになお、複数の検出処理の各検出結果に重み付けをして、重み付けされた各検出結果に基づいて、挿入部１１ａの先端部は見えていると判定するようにしてもよい。 When a plurality of detection processes having different detection methods are performed in the detection process of the tip portion of the insertion portion 11a of S2 and it is determined that the tip portion of the insertion portion 11a is detected in all of the plurality of detection processes. , S3, it may be determined that the tip end portion of the insertion portion 11a is visible. The plurality of detection processes are, for example, the detection of the tip rigid portion 11a1 described above, the detection of a predetermined mark on the outer peripheral surface of the tip rigid portion 11a1, and the detection of the illumination light emitted from the tip portion, and the three detection processes. In all of the above, it is determined that the tip of the insertion portion 11a is visible when the detection is performed.
Furthermore, each detection result of the plurality of detection processes may be weighted, and it may be determined that the tip end portion of the insertion portion 11a is visible based on each weighted detection result.

さらになお、スマートグラス画像に加えて、内視鏡画像の画像変化の情報も加えて、挿入部１１ａの先端部は見えていると判定するようにしてもよい。例えば、検査対象が配管などの場合、挿入部１１ａが配管内に挿入されているとき、内視鏡画像において、中心から離れた画像領域では、画面の中央から外径方向に画像が移動する。よって、内視鏡画像の所定の複数（例えば２つ）の領域において、画面の中央から外径方向に向かって画像が移動するような変化があるか否かを判定し、その判定結果も加味して、挿入部１１ａの先端部は見えているかを判定するようにしてもよい。 Furthermore, in addition to the smart glass image, information on the image change of the endoscopic image may be added to determine that the tip portion of the insertion portion 11a is visible. For example, when the inspection target is a pipe or the like, when the insertion portion 11a is inserted into the pipe, the image moves in the outer diameter direction from the center of the screen in the image region away from the center in the endoscopic image. Therefore, it is determined whether or not there is a change such that the image moves from the center of the screen toward the outer diameter in a predetermined plurality of (for example, two) regions of the endoscopic image, and the determination result is also taken into consideration. Then, it may be determined whether or not the tip end portion of the insertion portion 11a is visible.

挿入部１１ａが検査対象６２内にそれまで挿入されていなかったと判定されると（S5:NO）、CPU部４２は、スマートグラス画像から内視鏡画像への表示切替の処理を行う（S6）。S6の表示切替処理により、スマートグラス１３の表示部５３には、それまで表示されていたスマートグラス画像に代わって、内視鏡１１からの内視鏡画像が表示される。 When it is determined that the insertion unit 11a has not been inserted into the inspection target 62 (S5: NO), the CPU unit 42 performs a display switching process from the smart glass image to the endoscopic image (S6). .. By the display switching process of S6, the endoscope image from the endoscope 11 is displayed on the display unit 53 of the smart glasses 13 in place of the smart glasses image previously displayed.

S3でNOかつS5でNOとなるときは、スマートグラス画像６１が例えば図３から図４に変化したとき、すなわち挿入部１１ａの先端部が検査対象６２内に挿入されたとき、である。
以上のように、S2〜S6の処理は、カメラ部５５において取得されたカメラ画像であるスマートグラス画像に基づいて、スマートグラス１３の表示部５３に表示される内視鏡画像の表示制御を行う表示制御部を構成する。
具体的には、S2〜S6の処理では、スマートグラス画像中における挿入部１１ａの先端部の検出処理を行い、その検出処理の結果、スマートグラス画像中に挿入部１１ａの先端部の画像があるか否かに基づいて表示制御が行われる。そして、S3とS5において、挿入部１１ａの先端部の画像がスマートグラス画像中に検出されないとき、スマートグラス１３の表示部５３に、内視鏡画像を表示するように表示制御が行われる。 When NO in S3 and NO in S5, for example, when the smart glass image 61 changes from FIG. 3 to FIG. 4, that is, when the tip end portion of the insertion portion 11a is inserted into the inspection target 62.
As described above, the processes S2 to S6 control the display of the endoscopic image displayed on the display unit 53 of the smart glasses 13 based on the smart glasses image which is the camera image acquired by the camera unit 55. It constitutes a display control unit.
Specifically, in the processing of S2 to S6, the tip portion of the insertion portion 11a in the smart glass image is detected, and as a result of the detection processing, the tip portion of the insertion portion 11a is included in the smart glass image. Display control is performed based on whether or not. Then, in S3 and S5, when the image of the tip of the insertion portion 11a is not detected in the smart glass image, the display control is performed so that the display unit 53 of the smart glass 13 displays the endoscopic image.

CPU部４２は、S6の後、内視鏡画像の記録を開始する（S7）。例えば、CPU部４２は、S1においてスマートグラス画像の動画の画像データのメモリ部４５への記録を開始したが、S7では、スマートグラス画像の動画に代えて、内視鏡１１から受信した内視鏡画像の動画の記録を開始する。よって、ユーザは、内視鏡画像の記録開始の指示をスマートフォン１２へ与えなくてもよい。
すなわち、S7の処理は、記憶装置であるメモリ部４５への内視鏡画像の記録制御を行う記録制御部を構成する。挿入部１１ａの先端部の画像がスマートグラス画像中に検出されないとき（S3）、S7において、記憶装置であるメモリ部４５への内視鏡画像の記録が行われる。
S7の後、処理は、S2へ戻る。 After S6, the CPU unit 42 starts recording the endoscopic image (S7). For example, the CPU unit 42 started recording the image data of the moving image of the smart glass image in the memory unit 45 in S1, but in S7, instead of the moving image of the smart glass image, the endoscope received from the endoscope 11 Start recording the movie of the mirror image. Therefore, the user does not have to give the smartphone 12 an instruction to start recording the endoscopic image.
That is, the processing of S7 constitutes a recording control unit that controls recording of the endoscopic image in the memory unit 45, which is a storage device. When the image of the tip of the insertion unit 11a is not detected in the smart glass image (S3), the endoscopic image is recorded in the memory unit 45, which is a storage device, in S7.
After S7, processing returns to S2.

その後、内視鏡１１による検査対象６２内の検査が行われ、挿入部１１ａの先端部が開口部６３から引き出されない限り、S3でNOかつS5でYESとなって、処理は、S2に戻って繰り返される。 After that, the inside of the inspection target 62 is inspected by the endoscope 11, and unless the tip of the insertion portion 11a is pulled out from the opening 63, NO in S3 and YES in S5, and the process returns to S2. Is repeated.

内視鏡検査が終了し、ユーザが挿入部１１ａを検査対象内から引き出して、挿入部１１ａの先端部が開口部６３から引き抜かれると、S3において、挿入部１１ａの先端部は見えていると判定され（S3:YES）、CPU部４２は、挿入部１１ａは検査対象６２内にそれまで挿入されていたかを判定する（S4）。 When the endoscopy is completed, the user pulls out the insertion portion 11a from the inspection target, and the tip portion of the insertion portion 11a is pulled out from the opening 63, the tip portion of the insertion portion 11a is visible in S3. The determination (S3: YES) is made, and the CPU unit 42 determines whether the insertion unit 11a has been inserted into the inspection target 62 (S4).

検査が終わって挿入部１１ａを検査対象内から引き出されたときは、挿入部１１ａは検査対象６２内にそれまで挿入されていたと判定され（S4:YES）、CPU部４２は、内視鏡画像からスマートグラス画像への表示切替の処理を行う（S8）。 When the inspection is completed and the insertion portion 11a is pulled out from the inspection target, it is determined that the insertion portion 11a has been inserted into the inspection target 62 (S4: YES), and the CPU unit 42 has an endoscopic image. The process of switching the display from to the smart glass image is performed (S8).

S3でYESの後にS4でYESとなるときは、スマートグラス画像６１が例えば図４から図３に変化したとき、すなわち挿入部１１ａの先端部が検査対象６２内から引き抜かれたとき、である。
以上のように、S2,S3,S4,S8の処理は、カメラ部５５において取得されたカメラ画像であるスマートグラス画像に基づいて、スマートグラス１３の表示部５３に表示される内視鏡画像の表示制御を行う表示制御部を構成する。
そして、S2,S3,S4,S8の処理では、挿入部１１ａの先端部の画像がスマートグラス画像中に検出されなくなった後、挿入部１１ａの先端部の画像がスマートグラス画像中に検出されると、スマートグラス１３の表示部５３に内視鏡画像を表示しないように表示制御が行われる。具体的には、内視鏡画像を表示しないとき、スマートグラス１３の表示部５３にスマートグラス画像を表示するように表示制御が行われる。 When YES in S3 and YES in S4, the smart glass image 61 changes from FIG. 4 to FIG. 3, that is, when the tip of the insertion portion 11a is pulled out from the inspection target 62.
As described above, the processing of S2, S3, S4, S8 is based on the smart glass image which is the camera image acquired by the camera unit 55, and the endoscopic image displayed on the display unit 53 of the smart glass 13 is displayed. A display control unit that controls display is configured.
Then, in the processing of S2, S3, S4, S8, the image of the tip of the insertion portion 11a is not detected in the smart glass image, and then the image of the tip of the insertion portion 11a is detected in the smart glass image. Then, display control is performed so that the endoscopic image is not displayed on the display unit 53 of the smart glasses 13. Specifically, when the endoscopic image is not displayed, the display control is performed so that the smart glass image is displayed on the display unit 53 of the smart glass 13.

CPU部４２は、S8の後、スマートグラス画像の記録へ切り替える（S9）。例えば、CPU部４２は、それまで内視鏡画像の動画の画像データのメモリ部４５への記録をしていたが、S9では、内視鏡画像の動画に代えて、スマートグラス１３から受信したスマートグラス画像の動画の記録を行うように、記録対象の切り替えが行われる。よって、ユーザは、スマートグラス画像の記録開始の指示をスマートフォン１２へ与えなくてもよい。
すなわち、S9の処理は、挿入部１１ａの先端部の画像がスマートグラス画像中に検出されなくなった後、挿入部１１ａの先端部の画像がスマートグラス画像中に検出されると、記憶装置であるメモリ部４５へのスマートグラス画像の記録を行う記録制御部を構成する。
S9の後、処理は、S2へ戻る。 After S8, the CPU unit 42 switches to recording a smart glass image (S9). For example, the CPU unit 42 has previously recorded the image data of the moving image of the endoscopic image in the memory unit 45, but in S9, the image data is received from the smart glass 13 instead of the moving image of the endoscopic image. The recording target is switched so as to record a moving image of a smart glass image. Therefore, the user does not have to give the smartphone 12 an instruction to start recording the smart glass image.
That is, the process of S9 is a storage device when the image of the tip of the insertion portion 11a is no longer detected in the smart glass image and then the image of the tip of the insertion portion 11a is detected in the smart glass image. A recording control unit that records a smart glass image in the memory unit 45 is configured.
After S9, processing returns to S2.

その後、内視鏡１１による検査対象６２内の検査が再開されれば、S3でNOとなって、上述した処理が実行される。 After that, when the inspection in the inspection target 62 by the endoscope 11 is restarted, the result becomes NO in S3, and the above-described processing is executed.

内視鏡検査の終了が指示されると、CPU部４２は、図２の処理を終了する。 When the end of the endoscopy is instructed, the CPU unit 42 ends the process of FIG.

図５は、時間経過に伴う、メモリ部４５に記録される画像の変化を示す図である。図５に示すように、時間tの軸上の時刻t1において、検査開始と共にスマートグラス画像の記録が開始される。時刻t2において、挿入部１１ａが検査対象内に挿入されると、内視鏡画像の記録が開始される。 FIG. 5 is a diagram showing changes in the image recorded in the memory unit 45 with the passage of time. As shown in FIG. 5, at time t1 on the axis of time t, recording of the smart glass image is started at the same time as the inspection is started. When the insertion unit 11a is inserted into the examination target at time t2, recording of the endoscopic image is started.

時刻t3において、挿入部１１ａが検査対象内から引き抜かれて、挿入部１１ａの先端部が検査対象の外部に見えると、内視鏡画像の記録が終了して、スマートグラス画像の記録が開始され、時刻t4において、検査の終了が指示されると、スマートグラス画像の記録も終了する。
時刻t1からt4までの動画が１つの動画ファイルとしてメモリ部４５に記録される。 At time t3, when the insertion portion 11a is pulled out from the inspection target and the tip portion of the insertion portion 11a is visible outside the inspection target, the recording of the endoscopic image is completed and the recording of the smart glass image is started. , At time t4, when the end of the inspection is instructed, the recording of the smart glass image is also ended.
The moving images from time t1 to t4 are recorded in the memory unit 45 as one moving image file.

以上のように、上述した実施の形態によれば、カメラ付き頭部装着型表示装置の表示部に表示する画像の表示切り替えのための操作を不要とする内視鏡システム及び内視鏡システムにおける内視鏡画像の表示切替方法を実現することができる。 As described above, according to the above-described embodiment, in the endoscope system and the endoscope system that do not require an operation for switching the display of the image to be displayed on the display unit of the head-mounted display device with a camera. It is possible to realize a method of switching the display of an endoscopic image.

なお、上述した実施の形態では、図２に示すスマートグラス１３の表示部５３の表示制御は、スマートフォン１２のCPU部４２により行われているが、スマートグラス１３のCPU部５２により行うようにしてもよい。すなわち、上述した実施の形態では、図２における内視鏡画像の表示制御を行う表示制御部は、スマートフォン１２に設けられているが、スマートグラス１３に設けてもよい。 In the above-described embodiment, the display control of the display unit 53 of the smart glasses 13 shown in FIG. 2 is performed by the CPU unit 42 of the smartphone 12, but the display control is performed by the CPU unit 52 of the smart glasses 13. May be good. That is, in the above-described embodiment, the display control unit that controls the display of the endoscopic image in FIG. 2 is provided on the smartphone 12, but may be provided on the smart glasses 13.

例えば、スマートグラス１３は、内視鏡１１の無線部３１から、直接あるいはスマートフォン１２を介して、無線部５１において内視鏡画像を受信し、CPU部５２が図２の処理を実行する。 For example, the smart glasses 13 receive an endoscope image from the wireless unit 31 of the endoscope 11 directly or via the smartphone 12 in the wireless unit 51, and the CPU unit 52 executes the process shown in FIG.

さらになお、上述した実施の形態では、図２に示すスマートグラス１３の表示部５３の表示制御は、スマートフォン１２のCPU部４２により行われているが、内視鏡１１の制御部２７により行うようにしてもよい。すなわち、上述した実施の形態では、図２における内視鏡画像の表示制御を行う表示制御部は、スマートフォン１２に設けられているが、内視鏡１１に設けてもよい。
その場合、スマートグラス１３は、スマートグラス画像を無線部５１から内視鏡１１へ直接あるいはスマートフォン１２を介してリアルタイムで送信する。また、スマートグラス１３において、内視鏡画像を表示するときは、内視鏡１１から内視鏡画像は無線部５１を介して受信される。 Furthermore, in the above-described embodiment, the display control of the display unit 53 of the smart glasses 13 shown in FIG. 2 is performed by the CPU unit 42 of the smartphone 12, but is performed by the control unit 27 of the endoscope 11. It may be. That is, in the above-described embodiment, the display control unit that controls the display of the endoscope image in FIG. 2 is provided on the smartphone 12, but may be provided on the endoscope 11.
In that case, the smart glasses 13 transmits the smart glasses image directly from the wireless unit 51 to the endoscope 11 or via the smartphone 12 in real time. Further, when displaying the endoscope image on the smart glasses 13, the endoscope image is received from the endoscope 11 via the radio unit 51.

ここでも、例えば、内視鏡１１の制御部２７は、直接あるいはスマートフォン１２を介して、無線部３１においてスマートグラス１３からスマートグラス画像を受信し、制御部２７が図２の処理を実行して、スマートグラス１３へ表示制御信号を送信する。 Here, for example, the control unit 27 of the endoscope 11 receives the smart glasses image from the smart glasses 13 in the wireless unit 31 directly or via the smartphone 12, and the control unit 27 executes the process of FIG. , The display control signal is transmitted to the smart glasses 13.

また、上述した実施の形態では、図２に示すスマートグラス１３の表示部５３の表示制御は、スマートフォン１２のCPU部４２により行われているが、サーバ１４により行うようにしてもよい。すなわち、上述した実施の形態では、図２における内視鏡画像の表示制御を行う表示制御部は、スマートフォン１２に設けられているが、サーバ１４に設けてもよい。
その場合、スマートグラス１３は、スマートグラス画像を無線部５１からサーバ１４へ直接あるいはスマートフォン１２を介してリアルタイムで送信する。さらに、内視鏡１１も、内視鏡画像を無線部３１を介してサーバ１４へリアルタイムで送信する。 Further, in the above-described embodiment, the display control of the display unit 53 of the smart glasses 13 shown in FIG. 2 is performed by the CPU unit 42 of the smartphone 12, but it may be performed by the server 14. That is, in the above-described embodiment, the display control unit that controls the display of the endoscopic image in FIG. 2 is provided on the smartphone 12, but may be provided on the server 14.
In that case, the smart glasses 13 transmits the smart glasses image directly from the wireless unit 51 to the server 14 or via the smartphone 12 in real time. Further, the endoscope 11 also transmits the endoscope image to the server 14 in real time via the wireless unit 31.

ここでも、例えば、スマートグラス１３は、内視鏡１１の無線部３１から、直接あるいはスマートフォン１２を介して、無線部５１において内視鏡１１の内視鏡画像を受信し、サーバ１４が、図２の処理を実行して、スマートグラス１３へ制御信号を送信するようにしてもよい。 Here, for example, the smart glasses 13 receive the endoscopic image of the endoscope 11 from the radio unit 31 of the endoscope 11 directly or via the smartphone 12, and the server 14 displays the figure. The process of 2 may be executed to transmit the control signal to the smart glasses 13.

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。 The present invention is not limited to the above-described embodiment, and various modifications, modifications, and the like can be made without changing the gist of the present invention.

１内視鏡システム、１０光学アダプタ、１０ａ対物レンズ部、１０ｂ照明レンズ部、１１内視鏡、１１ａ挿入部、１１ａ１先端硬性部、１１ａ２湾曲部、１１ａ３可撓管部、１１ｂ本体部、１２スマートフォン、１３スマートグラス、１４サーバ、１４ａメモリ、１５インターネット、２１対物レンズ部、２２撮像素子、２３照明部、２４湾曲機構、２５撮像素子駆動部、２６撮像信号処理部、２７制御部、２８入力部、２９照明駆動部、３０湾曲操作部、３１無線部、３２バッテリ制御部、３３バッテリ部、４１無線部、４２ CPU部、４３タッチパネル部、４４表示部、４５メモリ部、４６カメラ部、４７バッテリ制御部、４８バッテリ部、５１無線部、５２ CPU部、５３表示部、５４メモリ部、５５カメラ部、５６バッテリ制御部、５７バッテリ部、６１スマートグラス画像、６２検査対象、６３開口部。 1 Endoscope system, 10 Optical adapter, 10a Objective lens part, 10b Illumination lens part, 11 Endoscope, 11a Insertion part, 11a1 Tip rigid part, 11a2 Curved part, 11a3 Flexible tube part, 11b Main body part, 12 Smartphone , 13 smart glass, 14 server, 14a memory, 15 internet, 21 objective lens unit, 22 image sensor, 23 illumination unit, 24 bending mechanism, 25 image sensor drive unit, 26 image sensor processing unit, 27 control unit, 28 input unit , 29 Lighting drive unit, 30 Curved operation unit, 31 Radio unit, 32 Battery control unit, 33 Battery unit, 41 Radio unit, 42 CPU unit, 43 Touch panel unit, 44 Display unit, 45 Memory unit, 46 Camera unit, 47 Battery Control unit, 48 battery unit, 51 radio unit, 52 CPU unit, 53 display unit, 54 memory unit, 55 camera unit, 56 battery control unit, 57 battery unit, 61 smart glass image, 62 inspection target, 63 openings.

Claims

An endoscope that has a first wireless communication unit and an insertion unit and acquires an endoscope image within the inspection target,
A head-mounted display device having a second wireless communication unit, a camera unit, and a display unit,
A display control unit that controls switching between the endoscope image and the camera image displayed on the display unit of the display device based on the camera image acquired by the camera unit.
Have,
The display control unit performs detection processing of the tip portion of the insertion portion in the camera image, and as a result of the detection processing, it is determined that there is an image of the tip portion of the insertion portion in the camera image. It is determined whether or not the insertion portion has been inserted into the inspection target until then, and if it is determined that the insertion portion has been inserted, the display switching process from the endoscopic image to the camera image is performed, and the insertion portion is included in the camera image. If it is not determined that the tip of the insertion portion is present, it is determined whether the insertion portion has been inserted into the inspection target until then, and if it is determined that the insertion portion has not been inserted, the camera image is used to determine the endoscopic image. An endoscopic system characterized by switching to.

The endoscope system according to claim 1, wherein the display control unit is provided in the display device.

A terminal device having a third wireless communication unit and
Have,
The endoscope system according to claim 1 or 2, wherein the display control unit is provided in the terminal device.

The endoscope system according to any one of claims 1 to 3, wherein the display control unit is provided on the endoscope.

The endoscope system according to any one of claims 1 to 3, wherein the display control unit is provided in a communicable external device.

The endoscope system according to any one of claims 1 to 5, further comprising a recording control unit that controls recording of the endoscope image or the camera image in a storage device.

The endoscopic system according to claim 6, wherein the recording control unit records the endoscopic image in the storage device when the camera image is switched to the endoscopic image. ..

The recording control unit, when from the endoscopic image Tsu switched to the camera image, the endoscope system according to claim 6, characterized in that the recording of the camera image to the SL憶device.

An endoscope that has a first wireless communication unit and an insertion unit and acquires an endoscope image within the inspection target,
A head-mounted display device having a second wireless communication unit, a camera unit, and a display unit,
A display control unit that controls switching between the endoscope image and the camera image displayed on the display unit of the display device based on the camera image acquired by the camera unit.
It is a switching control method between an endoscope image and a camera image in an endoscope system having the above.
The display control unit performs detection processing of the tip portion of the insertion portion in the camera image, and as a result of the detection processing, it is determined that there is an image of the tip portion of the insertion portion in the camera image. It is determined whether or not the insertion portion has been inserted into the inspection target until then, and if it is determined that the insertion portion has been inserted, the display switching process from the endoscopic image to the camera image is performed, and the insertion portion is included in the camera image. If it is not determined that the tip of the insertion portion is present, it is determined whether the insertion portion has been inserted into the inspection target until then, and if it is determined that the insertion portion has not been inserted, the endoscopic image is taken from the camera image. A method for controlling switching between an endoscopic image and a camera image in an endoscopic system characterized by switching to.