以下、図面を参照し、本発明の実施形態を説明する。
(第1の実施形態)
図1は、本発明の第1の実施形態による内視鏡装置1(挿入状態検出システム)の外観を示す。図1に示す内視鏡装置1は、挿入部2、本体部3、操作部4、表示部5、およびセンサ部6を有する。
挿入部2は、被検体の内部に挿入される。ユーザー(検査者)は、挿入操作を実施し、挿入部2を被検体に挿入する。挿入部2は、細長い管状である。挿入部2は、先端部2aを有する。先端部2aは、撮像部20および湾曲部21を有する。撮像部20は、挿入部2の先端を含み、硬質な材料で形成されている。光学アダプタ7が撮像部20に装着される。湾曲部21は撮像部20の基端側に配置されている。湾曲部21は、所定の方向に湾曲することができる。挿入部2は、被検体の光学像を撮像信号に変換し、かつ撮像信号を本体部3に出力する。
本体部3は、挿入部2を収納する収納部を備えた制御装置である。操作部4は、内視鏡装置1に対するユーザーの操作を受け付ける。表示部5は、表示画面を有し、かつ挿入部2によって取得された被検体の画像を表示画面に表示する。
操作部4は、ユーザーインターフェース(入力装置)である。例えば、操作部4は、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも1つである。ユーザーは、操作部4を使用する湾曲操作を実施することにより、湾曲部21を湾曲させる。あるいは、ユーザーは、操作部4を操作することにより照明の状態を制御する。また、ユーザーは、操作部4を操作することにより、内視鏡装置1の状態を設定するための情報を内視鏡装置1に入力する。操作部4を有する入力装置が本体部3と有線接続されていてもよいし、または無線接続されていてもよい。
表示部5は、LCD(Liquid Crystal Display)等のモニタ(ディスプレイ)である。表示部5は、タッチパネルであってもよい。その場合、操作部4および表示部5は一体化される。ユーザーは、体の一部(例えば、指)または道具を使用することにより表示部5の画面をタッチする。表示部5は、本体部3と有線接続されていてもよいし、または無線接続されていてもよい。操作部4および表示部5を含む端末として、タブレット、スマートフォン、またはパーソナルコンピュータなどの情報端末が使用されてもよい。
挿入部2が通る筒状の穴がセンサ部6に形成されている。挿入部2は、センサ部6内で移動可能である。センサ部6は、被検体内の空間に挿入された挿入部2の部分の長さを示す挿入長を検出する。挿入長は、撮像部20の位置と対応する。また、センサ部6は、挿入部2の中心軸の周りの挿入部2の回転量を検出する。
ユーザーは、表示部5に表示された画像を見ながら、湾曲操作および挿入操作を実施する。挿入部2が被検体に挿入されるとき、内視鏡装置1は、挿入操作を支援する。ユーザーは、検査部位を探し、適切な状態で検査部位が画像に写るように撮像部20を配置する。その後、ユーザーは被検体の検査を実施する。例えば、ユーザーは、検査において、被検体の劣化の程度を判断する。
図2および図3は、検査におけるセンサ部6の状態を示す。図2は第1の例を示し、図3は第2の例を示す。ユーザーU1は、挿入部2を被検体SB1に挿入する。
図2に示す第1の例では、ユーザーU1は、センサ部6を左手で持ち、かつ挿入部2を右手で持つ。ユーザーU1は、センサ部6を右手で持ち、かつ挿入部2を左手で持ってもよい。センサ部6が被検体SB1に固定されていないため、センサ部6は被検体SB1の近傍に限らず任意の位置に配置することができる。
図3に示す第2の例では、操作部4およびセンサ部6が一体化されている。ユーザーU1は、操作部4およびセンサ部6の一方または両方を左手で持ち、かつ挿入部2を右手で持つ。ユーザーU1は、操作部4およびセンサ部6の一方または両方を右手で持ち、かつ挿入部2を左手で持ってもよい。ユーザーU1は、操作部4の操作とセンサ部6の把持とを同時に実施することができる。
被検体が航空機エンジンである場合のように、被検体の形状が予め判明している場合、センサ部6は、被検体の表面に固定できるように構成されてもよい。センサ部6を固定するための補助部品が使用されてもよい。例えば、その補助部品が被検体の表面に固定され、かつセンサ部6がその補助部品に固定されてもよい。
図4は、内視鏡装置1の内部構成を示す。挿入部2の撮像部20は、レンズ22、撮像素子23、および姿勢センサ24を有する。
本体部3は、画像処理部30、記録部31、外部IF(インターフェース)32、操作処理部33、状態検出部34、姿勢検出部35、光源36、照明制御部37、モータ38、湾曲制御部39、情報処理部40、メモリ41、挿入支援部42、および電源部43を有する。
光学アダプタ7はレンズ70を有する。レンズ70に入射した光はレンズ70を通り、レンズ22に入射する。レンズ70およびレンズ22は観察光学系を構成する。レンズ22に入射した光はレンズ22を通り、撮像素子23に入射する。撮像素子23は、CCDセンサまたはCMOSセンサなどのイメージセンサである。撮像素子23は、レンズ22を通った光が入射する撮像面23aを有する。撮像素子23は、撮像面23aに入射した光を撮像信号に変換する。
撮像素子23によって生成された撮像信号は、被検体の画像を含む。したがって、撮像素子23は、被検体の光学像を取得し、その被検体の画像を生成する。撮像素子23によって生成された画像は本体部3に出力される。
姿勢センサ24は、3軸の加速度センサ、3軸のジャイロセンサ、および3軸の地磁気センサの少なくとも1つを有する。姿勢センサ24は、撮像部20の姿勢に関する値を検出し、検出された値を本体部3に出力する。その値は、加速度、角速度、および地磁気の少なくとも1つを示す。
姿勢センサ24は、加速度センサ、ジャイロセンサ、および地磁気センサのいずれか1つのみを有してもよい。姿勢センサ24は、加速度センサ、ジャイロセンサ、および地磁気センサのいずれか2つまたは3つを有してもよい。例えば、姿勢センサ24は、加速度センサおよびジャイロセンサを有してもよい。あるいは、姿勢センサ24は、加速度センサ、ジャイロセンサ、および地磁気センサを有してもよい。姿勢センサ24は不要であってもよい。
画像処理部30は、撮像素子23から出力された撮像信号を処理することにより、被検体の画像を処理する。例えば、画像処理部30は、画質を向上させるために、ノイズ除去、明るさ調整、および色調整などの処理を実行する。画像処理部30は、Simultaneous Localization and Mapping(SLAM)などの自己位置推定を実行し、撮像部20の位置および姿勢を算出してもよい。さらに、画像処理部30は、挿入支援部42によって生成された挿入支援情報を被検体の画像に重畳する。
画像処理部30によって処理された画像は、表示部5または記録部31に出力される。表示部5は、画像処理部30によって処理された画像を表示する。記録部31は、記録媒体を有し、画像処理部30によって処理された画像を記録媒体に記録する。
外部IF32は、外部PC8と接続される。外部PC8は、汎用的なパーソナルコンピュータである。タブレットまたはスマートフォンなどの情報端末が外部PC8の代わりに使用されてもよい。外部IF32は、ネットワーク(クラウド)上のサーバーと接続されてもよい。外部IF32は、メモリカード等の記録媒体と接続されてもよい。
操作処理部33は、操作部4と接続される。操作部4は、ユーザーが実施した操作に応じた情報を出力する。操作処理部33は、内視鏡装置1の状態を、操作部4から出力された情報に応じた状態に設定する。
センサ部6は、光学センサ60および姿勢センサ61を収納する筐体である。光学センサ60は、挿入部2の長手方向における挿入部2の移動量に関する値を検出する。これにより、光学センサ60は、挿入部2の挿入長に関する値を検出する。また、光学センサ60は、挿入部2の中心軸の周りの挿入部2の回転量に関する値を検出する。光学センサ60は、挿入部2に接触せずに挿入部2の移動量に関する値および挿入部2の回転量に関する値を検出することができる。
姿勢センサ61は、挿入部2の中心軸の周りのセンサ部6の回転量に関する値を検出する。また、姿勢センサ61は、センサ部6の姿勢に関する値を検出する。センサ部6は、検出された値を状態検出部34に出力する。センサ部6の詳細については、後述する。
状態検出部34は、センサ部6から出力された値に基づいて、挿入部2の挿入長および回転量を算出する。また、状態検出部34は、センサ部6から出力された値に基づいてセンサ部6の姿勢を算出し、その姿勢を示す姿勢情報を生成する。センサ部6に形成された穴を挿入部2が通るため、センサ部6の姿勢情報は、その穴における挿入部2の姿勢を示す。例えば、姿勢情報は、挿入部2の中心軸の角度を示す。
姿勢検出部35は、姿勢センサ24から出力された値に基づいて撮像部20の姿勢を検出し、その姿勢を示す姿勢情報を生成する。
光源36は、Light Emitting Diode(LED)等であり、照明光を生成する。照明光は、挿入部2に配置されたライトガイド25を経由して撮像部20に導かれる。照明光は、撮像部20から被検体に照射される。照明制御部37は、操作部4から出力された情報に基づいて光源36を制御することにより、照明のオン、照明のオフ、および照明の強度を設定する。
モータ38は、複数のアングルワイヤー26と接続されている。複数のアングルワイヤー26は、挿入部2に配置され、湾曲部21と接続されている。モータ38は、複数のアングルワイヤー26を牽引することにより、湾曲部21を湾曲させる。湾曲制御部39は、操作部4から出力された情報に基づいてモータ38を制御することにより、湾曲部21の角度を制御する。つまり、湾曲制御部39は、撮像部20の姿勢を制御する。
情報処理部40は、状態検出部34によって生成された情報を処理する。具体的には、情報処理部40は、挿入部2の挿入長、挿入部2の回転量、およびセンサ部6の姿勢情報を互いに関連付け、挿入状態情報を生成する。挿入状態情報は、撮像部20の姿勢情報を含んでもよい。挿入状態情報は、湾曲部21が湾曲している量を示す湾曲量を含んでもよい。情報処理部40は、挿入状態情報をメモリ41に記録する。
メモリ41は、挿入長、回転量、および姿勢情報を含む挿入状態情報を記憶する。メモリ41は、不揮発性の記録媒体である。例えば、メモリ41は、SRAM(Static Random Access Memory)、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、およびフラッシュメモリの少なくとも1つである。
挿入支援部42は、挿入支援情報を生成する。挿入支援情報は、挿入操作を支援する情報を含む。挿入支援部42は、画像処理部30を経由して挿入支援情報を表示部5に出力する。これにより、挿入支援部42は、挿入支援情報を表示部5に表示する。
電源部43は、内視鏡装置1の各部に駆動電力を供給する。
画像処理部30、操作処理部33、状態検出部34、姿勢検出部35、照明制御部37、湾曲制御部39、情報処理部40、および挿入支援部42の少なくとも1つは、プロセッサおよび論理回路の少なくとも1つで構成されてもよい。例えば、プロセッサは、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、およびGPU(Graphics Processing Unit)の少なくとも1つである。例えば、論理回路は、ASIC(Application Specific Integrated Circuit)およびFPGA(Field-Programmable Gate Array)の少なくとも1つである。画像処理部30等は、1つまたは複数のプロセッサを含んでもよい。画像処理部30等は、1つまたは複数の論理回路を含んでもよい。
内視鏡装置1のコンピュータがプログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。そのプログラムは、画像処理部30等の動作を規定する命令を含む。つまり、画像処理部30等の機能はソフトウェアにより実現されてもよい。
上記のプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。そのプログラムは、そのプログラムを保持するコンピュータから、伝送媒体を経由して、あるいは伝送媒体中の伝送波により内視鏡装置1に伝送されてもよい。プログラムを伝送する「伝送媒体」は、情報を伝送する機能を有する媒体である。情報を伝送する機能を有する媒体は、インターネット等のネットワーク(通信網)および電話回線等の通信回線(通信線)を含む。上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、差分ファイル(差分プログラム)であってもよい。前述した機能は、コンピュータに既に記録されているプログラムと差分プログラムとの組合せによって実現されてもよい。
図5は、センサ部6の構成を示す。図5は、センサ部6の断面を示す。図5は、図2に示す第1の例と対応する。
センサ部6は、光学センサ60および姿勢センサ61を有する。光学センサ60および姿勢センサ61は、センサ部6の内部に配置され、かつセンサ部6に固定されている。
挿入部2が通る穴H1がセンサ部6に形成されている。挿入部2は、穴H1において、挿入部2の中心軸CA1に平行な方向に移動できる。つまり、挿入部2は、穴H1において、挿入部2の長手方向D1に移動できる。
また、挿入部2は、穴H1において、中心軸CA1の周りに回転できる。例えば、センサ部6が中心軸CA1の周りに回転するとき、挿入部2はセンサ部6と一緒に回転する。センサ部6が回転するとき、挿入部2はセンサ部6に固定されてもよい。センサ部6が回転するときに挿入部2をセンサ部6に固定する機構をセンサ部6が有してもよい。センサ部6が回転せずに挿入部2が回転してもよい。挿入部2が回転せずにセンサ部6が回転してもよい。この場合、内視鏡装置1は、挿入部2が回転していないことを検出することができる。
穴H1の内径は挿入部2の外径とほぼ同じである。例えば、穴H1の中心軸は挿入部2の中心軸CA1と一致する。穴H1の内径は挿入部2の外径よりも大きくてもよい。光学センサ60および姿勢センサ61の各々が挿入部2の状態に関する値を正確に検出できるように、穴H1の内径が挿入部2の外径に近いことが好ましい。
光学センサ60は、長手方向D1における挿入部2の移動量に関する値を検出する。これにより、光学センサ60は、挿入部2の挿入長に関する値を検出する。また、光学センサ60は、中心軸CA1の周りの挿入部2の回転量に関する値を検出する。その回転量は、センサ部6に対する挿入部2の相対的な回転量と対応する。
姿勢センサ61は、中心軸CA1の周りのセンサ部6の回転量に関する値を検出する。穴H1の中心軸が挿入部2の中心軸CA1と一致する場合、姿勢センサ61は、穴H1の中心軸の周りのセンサ部6の回転量に関する値を検出することにより、中心軸CA1の周りのセンサ部6の回転量に関する値を検出する。また、姿勢センサ61は、センサ部6の姿勢に関する値を検出する。挿入部2が穴H1に挿入されているため、センサ部6の姿勢に関する値は、穴H1における挿入部2の姿勢を示す。
図6は、光学センサ60の構成を示す。光学センサ60は、発光デバイス60aおよび受光デバイス60bを有する。発光デバイス60aは、光を挿入部2に照射する。挿入部2の表面によって反射された光は受光デバイス60bに入射する。
受光デバイス60bは、2次元状に配置された複数の受光素子を有する。挿入部2の表面において、多数の金属素線が編み込まれている。挿入部2の表面は、その金属素線が形成する模様を持つ。受光デバイス60bは、光の量に応じた信号を生成することにより、挿入部2の表面の模様を画像として検出する。光学センサ60は、その画像を示す信号を出力する。
状態検出部34は、光学センサ60から出力された信号の時間的な変化を算出する。これにより、状態検出部34は、長手方向D1における挿入部2の第1の移動量を算出し、かつ長手方向D1に垂直な方向D2における挿入部2の第2の移動量を算出する。第1の移動量および第2の移動量は、センサ部6に対する挿入部2の相対的な移動量を示す。第1の移動量は、挿入部2の挿入長と対応する。第2の移動量は、中心軸CA1の周りの挿入部2の回転量と対応する。
姿勢センサ61は、姿勢センサ24と同様に、3軸の加速度センサ、3軸のジャイロセンサ、および3軸の地磁気センサの少なくとも1つを有する。姿勢センサ61が加速度センサを有する場合、姿勢センサ61は、重力の方向を基準とする物理量を検出することができる。姿勢センサ61が地磁気センサを有する場合、姿勢センサ61は、地磁気の方向を基準とする物理量を検出することができる。姿勢センサ61が3軸の加速度センサおよび3軸のジャイロセンサを有する場合、状態検出部34は、3軸方向の回転量、すなわちロール、ピッチ、およびヨーを正確に算出することができる。
センサ部6は、挿入部2をセンサ部6に固定するためのロック機構を有してもよい。ロック機構は、挿入部2がセンサ部6に固定された状態と、挿入部2が長手方向D1に移動可能な状態とを切り替え可能であってもよい。ユーザーは、挿入部2がセンサ部6に固定された状態でセンサ部6を捻ることにより、挿入部2を捻るために必要な力の量を減少させることができる。
図7に示すセンサ部6aがセンサ部6の代わりに使用されてもよい。図7は、センサ部6aの構成を示す。図7は、センサ部6aの断面を示す。
センサ部6aは、本体部62、ネジ部63、およびネジ部64を有する。本体部62は、光学センサ60および姿勢センサ61を有する。ネジ部63およびネジ部64は本体部62に接続されている。雄ネジがネジ部63およびネジ部64の各々の表面に形成されている。挿入部2が通る穴H2が本体部62、ネジ部63、およびネジ部64に形成されている。
挿入部2は、被検体SB2に挿入される。アクセスポートAP1が被検体SB2に形成されている。雌ネジがアクセスポートAP1に形成されている。ネジ部64の雄ネジがアクセスポートAP1の雌ネジと嵌合し、センサ部6aが被検体SB2に固定される。
操作部4はセンサ部6に固定されてもよい。図8は、操作部4がセンサ部6に固定された状態を示す。図8は、操作部4およびセンサ部6の断面を示す。図8は、図3に示す第2の例と対応する。
操作部4は、ジョイスティック45および基板46を有する。ジョイスティック45は、湾曲部21を湾曲させる湾曲操作を受け付ける。ユーザーは、ジョイスティック45を操作することにより、湾曲部21を湾曲させるための湾曲指示を入力する。基板46は、湾曲操作を通して入力された湾曲指示を受け付け、湾曲指示を操作処理部33に出力する。操作処理部33は、湾曲指示を湾曲制御部39に出力する。湾曲制御部39は、湾曲指示に基づいてモータ38を制御し、湾曲部21を湾曲させる。湾曲制御部39は、湾曲部21の湾曲量を検出する。
ユーザーは、挿入部2を被検体SB1に挿入する。ユーザーは、湾曲操作と挿入操作とを同時に実施することができる。操作部4は、センサ部6に着脱可能であってもよい。
挿入部2が通る穴が操作部4に形成されてもよい。操作部4がセンサ部6に固定され、挿入部2が操作部4およびセンサ部6の内部を通ってもよい。
図9を使用することにより、挿入部2およびセンサ部6の状態変化の例を説明する。図9は、挿入部2およびセンサ部6の状態変化の例を示す。図9は、回転量G1、回転量G2、回転量G3、および姿勢G4のグラフを示す。各グラフの横軸は時間を示し、各グラフの縦軸は回転量または姿勢を示す。
回転量G1は、挿入部2の絶対的な回転量を示す。回転量G2は、光学センサ60から出力された信号に基づいて算出された挿入部2の回転量を示す。回転量G2は、センサ部6に対する挿入部2の相対的な回転量を示す。回転量G3は、姿勢センサ61によって検出された値に基づいて算出されたセンサ部6の回転量を示す。
姿勢G4は、姿勢センサ61によって検出された値に基づいて算出されたセンサ部6の姿勢を示す。センサ部6の姿勢は、挿入部2が通る穴H1における挿入部2の姿勢と同じである。例えば、姿勢G4は、水平面に対する挿入部2の中心軸CA1の角度を示す。姿勢G4は、重力方向に対する挿入部2の中心軸CA1の角度を示してもよい。
挿入部2が回転し、回転量G1は徐々に増加する。時刻T1の前、回転量G2は、回転量G1と同様に増加する。時刻T1の前、回転量G3は0である。つまり、センサ部6は回転しない。時刻T1の前、センサ部6は回転せず、挿入部2のみが回転する。
時刻T1の後、ユーザーは挿入部2およびセンサ部6を一緒に同じ方向に回転させる。そのため、回転量G2は一定であり、回転量G3は増加する。このとき、回転量G3は、挿入部2およびセンサ部6の回転量を示す。
回転量G2はセンサ部6に対する挿入部2の相対的な回転量を示すため、時刻T1の後の回転量G2は挿入部2の絶対的な回転量G1と異なる。情報処理部40は、回転量G3に基づいて回転量G2を補正することにより、回転量G1を算出する。具体的には、情報処理部40は、回転量G3を回転量G2に加算する。
挿入部2を被検体に上手に挿入するために、ユーザーが被検体の穴(アクセスポート)に対する挿入部2の角度を調整する場合がある。そのような調整を実施することにより、ユーザーは、被検体に挿入された撮像部20の方向を、意図する方向に設定することができる。姿勢G4は、被検体の外部における挿入部2の姿勢を示す。
情報処理部40は、第1の回転量および第2の回転量を使用することにより、補正回転量を算出する。第1の回転量は、センサ部6に対する挿入部2の相対的な回転量を示す。図9に示す例では、第1の回転量は回転量G2と対応する。第2の回転量は、センサ部6の回転量を示す。図9に示す例では、第2の回転量は回転量G3と対応する。補正回転量は、挿入部2の絶対的な回転量を示す。
例えば、姿勢センサ61によって検出されたセンサ部6の回転の方向(第1の方向)が、光学センサ60によって検出された挿入部2の回転の方向(第2の方向)と同じである場合、情報処理部40は、第2の回転量を第1の回転量に加算することにより、補正回転量を算出する。第1の方向が第2の方向と反対である場合、情報処理部40は、第2の回転量を第1の回転量から減算することにより、補正回転量を算出する。
第1の方向が第2の方向と反対であり、かつ第2の回転量が第1の回転量と同じである場合、補正回転量は0である。この場合、挿入部2は回転しておらず、センサ部6のみが回転する。
第2の回転量が0である場合、センサ部6は回転していない。この場合、情報処理部40は、第1の回転量を挿入部2の正しい回転量として取得する。
第1の回転量および第2の回転量の各々は、回転の方向に応じた符号を持ってもよい。符号は、正符号(+符号)または負符号(-符号)である。第2の方向が第1の方向と同じである場合、第2の回転量の符号は第1の回転量の符号と同じである。第2の方向が第1の方向と反対である場合、第2の回転量の符号は第1の回転量の符号と異なる。第1の回転量および第2の回転量の各々が符号を持つ場合、情報処理部40は、第2の回転量を第1の回転量に加算することにより、補正回転量を算出してもよい。
上記のように、センサ部6が回転する場合、情報処理部40は、センサ部6の回転量を使用することにより、挿入部2の回転量を補正する。情報処理部40は、挿入部2の正確な回転量を算出することができる。
図10から図19を使用することにより、挿入操作に関する処理を説明する。図10は、挿入操作の全体の手順を示す。
検査に熟練している熟練者が検査を実施した後、検査に熟練していない非熟練者が検査を実施する。熟練者が検査を実施している間、熟練者が実施する挿入操作の状態が記録される。その状態を使用することにより挿入支援情報が生成される。非熟練者は、挿入支援情報を参照し、熟練者の挿入操作を模倣することにより挿入操作を実施する。非熟練者が熟練者の挿入操作を模倣することにより、検査の効率が高まる。
まず、熟練者は、機器設定を実施する(操作O1)。このとき、熟練者は、挿入部2とセンサ部6との位置関係を初期状態に設定し、かつ被検体と挿入部2との位置関係を初期状態に設定する。内視鏡装置1は状態記録処理を実行し、初期状態における挿入部2およびセンサ部6の状態を記録する(ステップS1)。
機器設定が実施された後、熟練者は挿入操作を実施し、検査を実施する(操作O2)。内視鏡装置1は履歴記録処理を実行し、挿入操作における挿入部2およびセンサ部6の状態を記録する(ステップS2)。
熟練者が作業を終了してから任意の期間が経過した後、非熟練者は作業を実施する。その期間は、数日、数週間、または数カ月等であってもよい。
まず、非熟練者は、機器設定を実施する(操作O3)。このとき、非熟練者は、挿入部2とセンサ部6との位置関係を初期状態に設定し、被検体と挿入部2との位置関係を初期状態に設定する。内視鏡装置1は機器設定処理を実行する。このとき、内視鏡装置1は、機器の状態を初期状態に設定するための非熟練者の操作を支援する(ステップS3)。
機器設定が実施された後、非熟練者は挿入操作を実施し、検査を実施する(操作O4)。内視鏡装置1は挿入支援処理を実行し、非熟練者の挿入操作を支援する(ステップS4)。
例えば、内視鏡装置1は、熟練者の操作を学習する第1のモードと、非熟練者の挿入操作を支援する第2のモードとを持つ。内視鏡装置1は、例えばプロセッサを使用することにより、第1のモードと第2のモードとを切り替えることができる。
図11は、熟練者が機器設定(操作O1)を実施するときに内視鏡装置1が実行する状態記録処理(ステップS1)の手順を示す。第1のモードが内視鏡装置1に設定されたとき、内視鏡装置1は状態記録処理を実行する。
熟練者は、挿入部2の位置をセンサ部6の位置と合わせる。図12は、このときの挿入部2とセンサ部6との位置関係を示す。図12は、センサ部6の断面を示す。例えば、熟練者は、挿入部2の先端面SF1をセンサ部6の端面SF2と一致させる。このとき、熟練者は操作部4を操作することにより、原点設定指示を内視鏡装置1に入力する。
操作処理部33は、原点設定指示を状態検出部34に出力する。状態検出部34は、原点設定指示を受け付ける(ステップS100)。
ステップS100の後、状態検出部34は、光学センサ60から出力された値に基づいて算出される挿入長を0にリセットする(ステップS101)。挿入長が0にリセットされた後、新たに算出された挿入長は、ステップS101の後の挿入部2の長手方向D1における挿入部2の移動量を示す。
熟練者は、挿入部2を被検体に挿入し、被検体に対する挿入部2の相対的な状態を初期状態に設定する。図13は、このときの被検体SB1と挿入部2との位置関係を示す。図13は、被検体SB1およびセンサ部6の断面を示す。
熟練者は、撮像素子23が被検体SB1内の部位SP1の画像を取得できるように挿入部2の位置を調整する。また、熟練者は、挿入部2が滑らかに進行できるように挿入部2の姿勢を調整する。
熟練者が上記の調整を実施している間、状態検出部34は、光学センサ60および姿勢センサ61の各々によって検出された値を取得する。状態検出部34は、挿入部2の挿入長を算出する。また、状態検出部34は、センサ部6の姿勢を算出し、センサ部6の姿勢情報を生成する。
挿入部2の状態が所望の状態に設定された後、熟練者は操作部4を操作することにより、設定終了指示を内視鏡装置1に入力する。操作処理部33は、設定終了指示を情報処理部40に出力する。情報処理部40は、設定終了指示を受け付ける(ステップS102)。
ステップS102の後、情報処理部40は、画像処理部30によって処理された画像を取得し、その画像を参照画像としてメモリ41に記録する(ステップS103)。
ステップS103の後、情報処理部40は、挿入部2の挿入長およびセンサ部6の姿勢情報を状態検出部34から取得する(ステップS104)。例えば、挿入部2の状態が図13に示す状態に設定されたとき、挿入部2の挿入長はL0であり、センサ部6の姿勢(傾き)を示す値はS0である。
ステップS104の後、情報処理部40は、挿入部2の挿入長およびセンサ部6の姿勢情報をメモリ41に記録する(ステップS105)。
熟練者は、検査を開始するために、操作部4を操作することにより、検査開始指示を内視鏡装置1に入力する。操作処理部33は、検査開始指示を状態検出部34、姿勢検出部35、および情報処理部40に出力する。状態検出部34、姿勢検出部35、および情報処理部40は、検査開始指示を受け付ける(ステップS106)。検査開始指示が受け付けられたとき、図11に示す状態記録処理が終了する。
挿入長は、光学センサ60から出力された値に基づいて算出される。センサ部6と被検体との距離が変化する場合、その距離の変化が挿入部2の移動量として誤って検出され、挿入長が誤差を含む可能性がある。挿入長がステップS101においてリセットされた後、センサ部6と被検体との距離が一定に保たれることが好ましい。そのため、センサ部6は、センサ部6と被検体との距離を計測する距離センサを有してもよい。状態検出部34は、その距離を示す距離情報を、画像処理部30を経由して表示部5に出力してもよい。熟練者は、表示部5に表示された距離情報を参照し、センサ部6と被検体との距離を一定に保ってもよい。
図14は、熟練者が検査(操作O2)を実施するときに内視鏡装置1が実行する履歴記録処理(ステップS2)の手順を示す。
状態検出部34、姿勢検出部35、および情報処理部40は、各種の値をリセットする(ステップS200)。状態検出部34、姿勢検出部35、および情報処理部40は、ステップS200において以下の処理を実行する。
状態検出部34は、光学センサ60から出力された値に基づいて算出される挿入長を0にリセットする。状態検出部34は、姿勢センサ61から出力された値に基づいて算出される姿勢を0にリセットする。姿勢検出部35は、姿勢センサ24から出力された値に基づいて算出される姿勢を0にリセットする。
挿入長が0にリセットされた後、新たに算出された挿入長は、ステップS200の後の挿入部2の長手方向D1における挿入部2の移動量を示す。センサ部6の姿勢が0にリセットされた後、新たに算出された姿勢は、ステップS200の後のセンサ部6の姿勢の変化量を示す。撮像部20の姿勢が0にリセットされた後、新たに算出された姿勢は、ステップS200の後の撮像部20の姿勢の変化量を示す。
情報処理部40は、挿入部2の回転量およびセンサ部6の回転量を状態検出部34から取得する。情報処理部40は、挿入部2の回転量およびセンサ部6の回転量を使用することにより、補正回転量を算出する。補正回転量は、挿入部2の絶対的な回転量を示す。情報処理部40は、算出された補正回転量を0に変換することにより補正回転量を0にリセットする。情報処理部40は、この変換に使用された変換式を保持する。
熟練者は挿入操作を実施し、挿入部2を被検体内で進行させる。状態検出部34は、光学センサ60および姿勢センサ61の各々によって検出された値を取得する。状態検出部34は、挿入部2の挿入長、挿入部2の回転量、およびセンサ部6の回転量を算出する。状態検出部34は、センサ部6の姿勢を算出し、センサ部6の姿勢情報を生成する。姿勢検出部35は、姿勢センサ24によって検出された値を取得する。姿勢検出部35は、撮像部20の姿勢を算出し、撮像部20の姿勢情報を生成する。
ステップS200の後、情報処理部40は、挿入部2の挿入長、挿入部2の回転量、センサ部6の回転量、およびセンサ部6の姿勢情報を状態検出部34から取得する(ステップS201)。
ステップS201の後、情報処理部40は、挿入部2の回転量およびセンサ部6の回転量を使用することにより、補正回転量を算出する。情報処理部40は、ステップS200において使用された変換式を使用することにより、補正回転量を新しい値に変換する(ステップS202)。その新しい値は、ステップS200の後の補正回転量の変化を示し、ステップS202の後の処理において補正回転量として使用される。
ステップS202の後、情報処理部40は、挿入部2の挿入長、補正回転量、およびセンサ部6の姿勢情報を挿入状態情報としてメモリ41に記録する(ステップS203)。挿入部2の挿入長、補正回転量、およびセンサ部6の姿勢情報は、時刻情報と関連付けられている。
ステップS203の後、情報処理部40は、湾曲部21の湾曲量を湾曲制御部39から取得する(ステップS204)。例えば、その湾曲量は、上方向(U)または下方向(D)における湾曲量を示し、かつ左方向(L)または右方向(R)における湾曲量を示す。
ステップS204の後、情報処理部40は、湾曲部21の湾曲量をメモリ41に記録する(ステップS205)。その湾曲量は、挿入状態情報に含まれ、時刻情報と関連付けられている。
ステップS205の後、情報処理部40は、撮像部20の姿勢情報を姿勢検出部35から取得する(ステップS206)。
ステップS206の後、情報処理部40は、撮像部20の姿勢情報をメモリ41に記録する(ステップS207)。その姿勢情報は、挿入状態情報に含まれ、時刻情報と関連付けられている。
検査が終了したとき、熟練者は操作部4を操作することにより、検査終了指示を内視鏡装置1に入力する。操作処理部33は、検査終了指示を状態検出部34、姿勢検出部35、および情報処理部40に出力する。状態検出部34、姿勢検出部35、および情報処理部40は、検査終了指示を受け付ける(ステップS208)。
検査終了指示が受け付けられたとき、図14に示す履歴記録処理が終了する。検査終了指示が受け付けられるまで、ステップS201からS207が繰り返される。
ステップS202およびステップS203は、ステップS201とステップS208との間の任意のタイミングで実行されてもよい。ステップS204およびステップS205は、ステップS200とステップS208との間の任意のタイミングで実行されてもよい。ステップS206およびステップS207は、ステップS200とステップS208との間の任意のタイミングで実行されてもよい。
図15を使用することにより、挿入部2およびセンサ部6の状態変化の例を説明する。図15は、挿入部2およびセンサ部6の状態変化の例を示す。図15は、補正回転量G5、姿勢G6、湾曲量G7、および姿勢G8のグラフを示す。各グラフの横軸は挿入長を示し、各グラフの縦軸は回転量等を示す。
補正回転量G5は、挿入部2の回転量およびセンサ部6の回転量を使用することにより算出された補正回転量を示す。姿勢G6は、姿勢センサ61によって検出された値に基づいて算出されたセンサ部6の姿勢を示す。センサ部6の姿勢は、挿入部2が通る穴H1における挿入部2の姿勢と同じである。例えば、姿勢G6は、水平面に対する挿入部2の中心軸CA1の角度を示す。姿勢G6は、重力方向に対する挿入部2の中心軸CA1の角度を示してもよい。例えば、湾曲量G7は、湾曲部21の上方向(U)および下方向(D)の各々の湾曲量を示す。姿勢G8は、姿勢センサ24によって検出された値に基づいて算出された撮像部20の姿勢を示す。
挿入長、補正回転量G5、姿勢G6、湾曲量G7、および姿勢G8は、同じ時刻情報によって互いに関連付けられている。そのため、情報処理部40は、補正回転量G5、姿勢G6、湾曲量G7、および姿勢G8を、挿入長に応じた値に変換することができる。メモリ41に記録された挿入状態情報は、挿入部2の回転量、センサ部6の回転量、補正回転量、センサ部6の姿勢情報、湾曲部21の湾曲量、および撮像部20の姿勢情報を含む。これらは、挿入長と関連付けられている。
図16は、非熟練者が機器設定(操作O3)を実施するときに内視鏡装置1が実行する機器設定処理(ステップS3)の手順を示す。第2のモードが内視鏡装置1に設定されたとき、内視鏡装置1は機器設定処理を実行する。
非熟練者は、挿入部2の位置をセンサ部6の位置と合わせる。このとき、非熟練者が実施する作業は、熟練者が実施する作業(図12)と同様である。例えば、非熟練者は、挿入部2の先端面をセンサ部6の端面と一致させる。このとき、非熟練者は操作部4を操作することにより、原点設定指示を内視鏡装置1に入力する。
操作処理部33は、原点設定指示を状態検出部34に出力する。状態検出部34は、原点設定指示を受け付ける(ステップS300)。
ステップS300の後、状態検出部34は、光学センサ60から出力された値に基づいて算出される挿入長を0にリセットする(ステップS301)。挿入長が0にリセットされた後、新たに算出された挿入長は、ステップS301の後の挿入部2の長手方向D1における挿入部2の移動量を示す。
非熟練者は、挿入部2を被検体に挿入し、被検体に対する挿入部2の相対的な状態を初期状態に設定する。このとき、非熟練者は、熟練者が設定した初期状態と同じ状態が実現されるように作業を実施する。内視鏡装置1は、非熟練者の作業を支援する処理を実行する。以下では、その処理の詳細を説明する。
非熟練者は操作部4を操作することにより、設定実行指示を内視鏡装置1に入力する。操作処理部33は、設定実行指示を挿入支援部42に出力する。挿入支援部42は、設定実行指示を受け付ける(ステップS302)。
挿入支援部42は、ステップS103においてメモリ41に記録された参照画像を取得し、画像処理部30を経由して参照画像を表示部5に出力する。表示部5は、参照画像を表示する(ステップS303)。
状態検出部34は、光学センサ60および姿勢センサ61の各々によって検出された値を取得する。状態検出部34は、挿入部2の挿入長を算出する。また、状態検出部34は、センサ部6の姿勢を算出し、センサ部6の姿勢情報を生成する。
ステップS303の後、挿入支援部42は、挿入部2の挿入長およびセンサ部6の姿勢情報を状態検出部34から取得する(ステップS304)。
ステップS304の後、挿入支援部42は、ステップS105においてメモリ41に記録された情報を取得する。つまり、挿入支援部42は、挿入部2の挿入長(L0)およびセンサ部6の姿勢情報(S0)を取得する。挿入支援部42は、メモリ41から取得された情報と、ステップS304において状態検出部34から取得された情報とを使用することにより、挿入支援情報を生成する。挿入支援部42は、画像処理部30を経由して挿入支援情報を表示部5に出力する。表示部5は、挿入長および姿勢情報に関する挿入支援情報を表示する(ステップS305)。
図17は、表示部5に表示される情報を示す。表示部5は、ライブ画像IMG10、参照画像IMG11、挿入支援情報AI10、およびボタンB10を表示する。
ライブ画像IMG10は、撮像素子23によってリアルタイムに生成された現在の画像である。参照画像IMG11は、ステップS303においてメモリ41から取得される。
挿入支援情報AI10は、挿入長情報L10を含む。挿入長情報L10は、過去の挿入長(L0)と現在の挿入長との差分を示す。過去の挿入長(L0)は、ステップS305においてメモリ41から取得される。現在の挿入長は、ステップS304において状態検出部34から取得される。挿入長情報L10は、その差分の大きさに応じた長さを持つ線として表示される。挿入長情報L10は、過去の挿入長(L0)と現在の挿入長との大きさの関係に応じて、軸AX10の右側または左側に表示される。
挿入支援情報AI10は、姿勢情報S10を含む。姿勢情報S10は、センサ部6の姿勢情報の過去の値(S0)と、センサ部6の姿勢情報の現在の値との差分を示す。姿勢情報の過去の値(S0)は、ステップS305においてメモリ41から取得される。姿勢情報の現在の値は、ステップS304において状態検出部34から取得される。姿勢情報S10は、その差分の大きさに応じた長さを持つ線として表示される。姿勢情報S10は、姿勢情報の過去の値(S0)と姿勢情報の現在の値との大きさの関係に応じて、軸AX10の右側または左側に表示される。姿勢情報S10は、挿入部2が通る穴H1における挿入部2の姿勢を示す。
非熟練者は、ライブ画像IMG10を参照画像IMG11と比較する。非熟練者は、ライブ画像IMG10の構図が参照画像IMG11の構図と一致するように挿入部2の回転量を調整する。また、非熟練者は、挿入支援情報AI10を参照する。非熟練者は、挿入長情報L10と対応する差分が0と一致するように挿入部2の位置を調整する。非熟練者は、姿勢情報S10と対応する差分が0と一致するように挿入部2の姿勢を調整する。非熟練者が挿入部2の回転量、位置、および姿勢を調整している間、挿入長情報L10および姿勢情報S10は、非熟練者が実施する操作に応じて更新される。
上記の調整が終了したとき、非熟練者は、検査を開始するために、操作部4を操作することにより、検査開始指示を内視鏡装置1に入力する。例えば、非熟練者は、操作部4を操作することにより、ボタンB10を押す。これにより、非熟練者は、検査開始指示を内視鏡装置1に入力することができる。
操作処理部33は、検査開始指示を状態検出部34、姿勢検出部35、および挿入支援部42に出力する。状態検出部34、姿勢検出部35、および挿入支援部42は、検査開始指示を受け付ける(ステップS306)。検査開始指示が受け付けられたとき、図16に示す機器設定処理が終了する。検査開始指示が受け付けられるまで、ステップS304およびステップS305が繰り返される。
挿入支援部42は、現在の挿入長が過去の挿入長(L0)と一致し、かつ姿勢情報の現在の値が姿勢情報の過去の値(S0)と一致するか否かを判断してもよい。現在の挿入長が過去の挿入長(L0)と一致し、かつ姿勢情報の現在の値が姿勢情報の過去の値(S0)と一致すると挿入支援部42が判断したとき、挿入支援部42は検査開始指示を自動的に受け付け、検査開始指示を状態検出部34および姿勢検出部35に出力してもよい。
図18は、非熟練者が検査(操作O4)を実施するときに内視鏡装置1が実行する挿入支援処理(ステップS4)の手順を示す。
状態検出部34、姿勢検出部35、および情報処理部40は、各種の値をリセットする(ステップS400)。状態検出部34、姿勢検出部35、および情報処理部40は、ステップS400において以下の処理を実行する。
状態検出部34は、光学センサ60から出力された値に基づいて算出される挿入長を0にリセットする。状態検出部34は、姿勢センサ61から出力された値に基づいて算出される姿勢を0にリセットする。姿勢検出部35は、姿勢センサ24から出力された値に基づいて算出される姿勢を0にリセットする。
挿入長が0にリセットされた後、新たに算出された挿入長は、ステップS400の後の挿入部2の長手方向D1における挿入部2の移動量を示す。センサ部6の姿勢が0にリセットされた後、新たに算出された姿勢は、ステップS400の後のセンサ部6の姿勢の変化量を示す。撮像部20の姿勢が0にリセットされた後、新たに算出された姿勢は、ステップS400の後の撮像部20の姿勢の変化量を示す。
情報処理部40は、挿入部2の回転量およびセンサ部6の回転量を状態検出部34から取得する。情報処理部40は、挿入部2の回転量およびセンサ部6の回転量を使用することにより、補正回転量を算出する。補正回転量は、挿入部2の絶対的な回転量を示す。情報処理部40は、算出された補正回転量を0に変換することにより補正回転量を0にリセットする。情報処理部40は、この変換に使用された変換式を保持する。
非熟練者は挿入操作を実施し、挿入部2を被検体内で進行させる。状態検出部34は、光学センサ60および姿勢センサ61の各々によって検出された値を取得する。状態検出部34は、挿入部2の挿入長、挿入部2の回転量、およびセンサ部6の回転量を算出する。状態検出部34は、センサ部6の姿勢を算出し、センサ部6の姿勢情報を生成する。姿勢検出部35は、姿勢センサ24によって検出された値を取得する。姿勢検出部35は、撮像部20の姿勢を算出し、撮像部20の姿勢情報を生成する。
ステップS400の後、挿入支援部42は、挿入部2の挿入長、挿入部2の回転量、センサ部6の回転量、およびセンサ部6の姿勢情報を状態検出部34から取得する(ステップS401)。
ステップS401の後、情報処理部40は、挿入部2の回転量およびセンサ部6の回転量を状態検出部34から取得する。情報処理部40は、挿入部2の回転量およびセンサ部6の回転量を使用することにより、補正回転量を算出する。情報処理部40は、ステップS400において使用された変換式を使用することにより、補正回転量を新しい値に変換する(ステップS402)。その新しい値は、ステップS400の後の補正回転量の変化を示し、ステップS402の後の処理において補正回転量として使用される。
ステップS402の後、挿入支援部42は、ステップS401において状態検出部34から取得された挿入長を、画像処理部30を経由して表示部5に出力する。表示部5は、挿入長を表示する(ステップS403)。
ステップS403の後、挿入支援部42は、ステップS203においてメモリ41に記録された補正回転量を取得する。このとき、挿入支援部42は、ステップS401において状態検出部34から取得された挿入長と同じ挿入長と関連付けられた補正回転量を取得する。挿入支援部42は、ステップS402において算出された補正回転量を情報処理部40から取得する。挿入支援部42は、メモリ41から取得された補正回転量と、ステップS402においてリアルタイムに算出された補正回転量とを使用することにより、挿入支援情報を生成する。例えば、挿入支援部42は、2つの補正回転量の差分を算出する。挿入支援部42は、その差分に応じた挿入支援情報を生成する。挿入支援部42は、画像処理部30を経由して挿入支援情報を表示部5に出力する。表示部5は、挿入部2の回転量に関する挿入支援情報を表示する(ステップS404)。
ステップS404の後、挿入支援部42は、ステップS203においてメモリ41に記録されたセンサ部6の姿勢情報を取得する。このとき、挿入支援部42は、ステップS401において状態検出部34から取得された挿入長と同じ挿入長と関連付けられた姿勢情報を取得する。挿入支援部42は、メモリ41から取得された姿勢情報と、ステップS401において状態検出部34から取得された姿勢情報とを使用することにより、挿入支援情報を生成する。挿入支援部42は、画像処理部30を経由して挿入支援情報を表示部5に出力する。表示部5は、センサ部6の姿勢情報に関する挿入支援情報を表示する(ステップS405)。
ステップS405の後、挿入支援部42は、湾曲部21の湾曲量を湾曲制御部39から取得する(ステップS406)。例えば、その湾曲量は、上方向(U)または下方向(D)における湾曲量を示し、かつ左方向(L)または右方向(R)における湾曲量を示す。
ステップS406の後、挿入支援部42は、ステップS205においてメモリ41に記録された湾曲量を取得する。このとき、挿入支援部42は、ステップS401において状態検出部34から取得された挿入長と同じ挿入長と関連付けられた湾曲量を取得する。挿入支援部42は、メモリ41から取得された湾曲量と、ステップS406において湾曲制御部39から取得された湾曲量とを使用することにより、挿入支援情報を生成する。挿入支援部42は、画像処理部30を経由して挿入支援情報を表示部5に出力する。表示部5は、湾曲量に関する挿入支援情報を表示する(ステップS407)。
ステップS407の後、挿入支援部42は、撮像部20の姿勢情報を姿勢検出部35から取得する(ステップS408)。
ステップS408の後、挿入支援部42は、ステップS207においてメモリ41に記録された撮像部20の姿勢情報を取得する。このとき、挿入支援部42は、ステップS401において状態検出部34から取得された挿入長と同じ挿入長と関連付けられた姿勢情報を取得する。挿入支援部42は、メモリ41から取得された姿勢情報と、ステップS408において姿勢検出部35から取得された姿勢情報とを使用することにより、挿入支援情報を生成する。挿入支援部42は、画像処理部30を経由して挿入支援情報を表示部5に出力する。表示部5は、撮像部20の姿勢情報に関する挿入支援情報を表示する(ステップS409)。
図19は、表示部5に表示される情報を示す。表示部5は、ライブ画像IMG12、挿入長IL10、回転目標RT10、姿勢目標PT10、湾曲目標BT10、および姿勢目標PT11を表示する。
ライブ画像IMG12は、撮像素子23によってリアルタイムに生成された現在の画像である。挿入長IL10、回転目標RT10、姿勢目標PT10、湾曲目標BT10、および姿勢目標PT11は、ライブ画像IMG12上に表示される。
挿入長IL10は、ステップS403において表示される。
回転目標RT10は、挿入部2の回転量の目標を示す。回転目標RT10は、ステップS404において表示された挿入支援情報と対応する。例えば、回転目標RT10は、ステップS404において算出された差分に応じた矢印として表示される。矢印の向きは、差分の正または負の符号と対応する。矢印の長さは、差分の大きさと対応する。矢印は、差分の大きさと対応する色で表示されてもよい。矢印は、差分の大きさと対応する太さを持ってもよい。
挿入部2の回転量の目標を表示する方法は、図19に示す方法に限らない。例えば、挿入支援部42は、ステップS203においてメモリ41に記録された補正回転量と、ステップS402において算出された補正回転量とを表示部5に表示してもよい。
姿勢目標PT10は、センサ部6の姿勢の目標を示す。センサ部6の姿勢は、挿入部2が通る穴H1における挿入部2の姿勢と同じである。姿勢目標PT10は、ステップS405において表示された挿入支援情報と対応する。姿勢目標PT10は、線VL10、線HL10、およびマークM10を含む。
線VL10は、垂直方向におけるセンサ部6の姿勢情報の値を示す。線HL10は、水平方向におけるセンサ部6の姿勢情報の値を示す。線VL10と線HL10との交点は、ステップS203においてメモリ41に記録された姿勢情報の値を示す。マークM10は、センサ部6の姿勢情報の現在の値を示す。マークM10の垂直位置は、垂直方向における姿勢情報の現在の値と、垂直方向における姿勢情報の過去の値との差分に応じている。マークM10の水平位置は、水平方向における姿勢情報の現在の値と、水平方向における姿勢情報の過去の値との差分に応じている。
センサ部6の姿勢の目標を表示する方法は、図19に示す方法に限らない。例えば、挿入支援部42は、ステップS203においてメモリ41に記録された姿勢情報の値と、姿勢情報の現在の値との差分を算出してもよい。挿入支援部42は、その差分の大きさに応じた長さを持つ矢印を表示部5に表示してもよい。
湾曲目標BT10は、湾曲部21の湾曲量の目標を示す。挿入支援部42は、ステップS205においてメモリ41に記録された湾曲量(第1の湾曲量)を参照し、かつステップS406において湾曲制御部39から取得された湾曲量(第2の湾曲量)を参照する。挿入支援部42は、第2の湾曲量を持つ状態から第1の湾曲量を持つ状態に湾曲部21を変化させるために必要な湾曲方向および湾曲量を算出する。
挿入支援部42は、算出された湾曲方向および湾曲量を示す矢印を湾曲目標BT10として表示部5に表示する。矢印の方向は、湾曲方向を示す。矢印の長さは、湾曲量を示す。矢印は、湾曲量と対応する色で表示されてもよい。矢印は、湾曲量と対応する太さを持ってもよい。
湾曲部21の湾曲量の目標を表示する方法は、図19に示す方法に限らない。例えば、挿入支援部42は、第1の湾曲量を示す矢印と、第2の湾曲量を示す矢印とを表示部5に表示してもよい。
姿勢目標PT11は、撮像部20の姿勢の目標を示す。姿勢目標PT11は、ステップS409において表示された挿入支援情報と対応する。例えば、挿入支援部42は、ステップS207においてメモリ41に記録された姿勢情報(第1の姿勢情報)と、ステップS408において姿勢検出部35から取得された姿勢情報(第2の姿勢情報)とを参照する。挿入支援部42は、第1の姿勢情報の垂直成分と、第2の姿勢情報の垂直成分との差分(第1の差分)を算出する。また、挿入支援部42は、第1の姿勢情報の水平成分と、第2の姿勢情報の水平成分との差分(第2の差分)を算出する。
挿入支援部42は、第1の差分と対応する長さを持つ第1の矢印を表示部5に表示し、かつ第2の差分と対応する長さを持つ第2の矢印を表示部5に表示する。図19に示す例では、第2の差分が0である。そのため、第2の矢印は表示されず、第1の矢印のみが表示される。第1の矢印は、第1の差分の大きさと対応する色で表示されてもよく、または第1の差分の大きさと対応する太さを持ってもよい。第2の矢印は、第2の差分の大きさと対応する色で表示されてもよく、または第2の差分の大きさと対応する太さを持ってもよい。
撮像部20の姿勢の目標を表示する方法は、図19に示す方法に限らない。例えば、挿入支援部42は、姿勢目標PT10を表示する方法と同様の方法を使用してもよい。
非熟練者は、図19に示す情報を参照し、挿入部2の回転量等を調整する。非熟練者は、回転目標RT10に従って挿入部2の回転量を調整する。非熟練者は、姿勢目標PT10に従ってセンサ部6の姿勢を調整する。非熟練者は、湾曲目標BT10に従って湾曲部21の湾曲量を調整する。
挿入部2の回転量、センサ部6の姿勢、および湾曲部21の湾曲量が調整された後、非熟練者は、姿勢目標PT11に従って挿入部2の方向を確認する。挿入部2が通る経路が分岐部において2つ以上の経路に分岐する場合がある。撮像部20の現在の姿勢が撮像部20の姿勢の目標と異なるとき、挿入部2が誤った経路に挿入されている可能性がある。その場合、非熟練者は、挿入部2を分岐部に戻し、挿入部2を正しい経路に挿入することができる。
検査が終了したとき、非熟練者は操作部4を操作することにより、検査終了指示を内視鏡装置1に入力する。操作処理部33は、検査終了指示を状態検出部34、姿勢検出部35、および挿入支援部42に出力する。状態検出部34、姿勢検出部35、および挿入支援部42は、検査終了指示を受け付ける(ステップS410)。
検査終了指示が受け付けられたとき、図18に示す挿入支援処理が終了する。検査終了指示が受け付けられるまで、ステップS401からS409が繰り返される。
ステップS403は、ステップS401とステップS410との間の任意のタイミングで実行されてもよい。ステップS402およびステップS404は、ステップS401とステップS410との間の任意のタイミングで実行されてもよい。ステップS405は、ステップS401とステップS410との間の任意のタイミングで実行されてもよい。ステップS406およびステップS407は、ステップS400とステップS410との間の任意のタイミングで実行されてもよい。ステップS408およびステップS409は、ステップS400とステップS410との間の任意のタイミングで実行されてもよい。
挿入支援部42は、挿入部2の3次元モデルを表示部5に表示してもよい。挿入支援部42は、挿入部2の回転量の目標および挿入部2の姿勢の目標を3次元モデル上に表示してもよい。これにより、挿入部2の回転量および姿勢の調整に必要な情報の視認性が向上する。
湾曲制御部39は、ユーザーが実施する湾曲操作によらずに湾曲部21を湾曲させてもよい。例えば、挿入支援部42は、第2の湾曲量を持つ状態から第1の湾曲量を持つ状態に湾曲部21を変化させるために必要な湾曲方向および湾曲量を算出する。挿入支援部42は、湾曲方向および湾曲量を含む湾曲指示を湾曲制御部39に出力する。湾曲制御部39は、湾曲指示に基づいて湾曲部21を湾曲させる。
非熟練者が実施している検査における挿入部2の回転の状態が、熟練者によって実施された過去の検査における挿入部2の回転の状態と異なる場合がある。その場合、非熟練者が正しい湾曲操作を実施することが難しい。そのため、挿入支援部42は、挿入部2の回転方向を過去の検査における回転方向に近づけ、かつ挿入部2の回転量を過去の検査における回転量に近づけるために必要な湾曲方向および湾曲量を算出してもよい。挿入支援部42は、湾曲方向および湾曲量を含む湾曲指示を湾曲制御部39に出力してもよい。湾曲制御部39は、湾曲指示に基づいて湾曲部21を湾曲させてもよい。非熟練者は、挿入部2の回転量と湾曲部21の湾曲量との両方を気にする必要はないため、操作性が向上する。
状態検出部34は、挿入部2の挿入長、挿入部2の回転量、センサ部6の回転量、およびセンサ部6の姿勢情報を外部IF32に出力してもよい。姿勢検出部35は、撮像部20の姿勢情報を外部IF32に出力してもよい。外部IF32は、これらの情報を外部PC8に送信してもよい。
外部PC8は、ステップS105、ステップS202、ステップS203、ステップS205、およびステップS207を実行してもよい。外部PC8は、ステップS305において挿入支援情報を生成してもよく、生成された挿入支援情報を内視鏡装置1に送信してもよい。外部PC8は、ステップS402において補正回転量を算出してもよい。外部PC8は、ステップS404、ステップS405、ステップS407、およびステップS409において挿入支援情報を生成してもよく、生成された挿入支援情報を内視鏡装置1に送信してもよい。外部PC8の代わりにサーバー等が使用されてもよい。
本発明の各態様の挿入状態検出システム(内視鏡装置1)は、センサ部6、姿勢センサ61(第2のセンサ)、情報処理部40(制御部)、および挿入支援部42(制御部)を有する。センサ部6は、内視鏡装置1の細長い挿入部2が被検体に挿入されるときに挿入部2の中心軸CA1の周りの挿入部2の回転量を示す第1の回転量を検出する光学センサ60(第1のセンサ)を有する。挿入部2が通る穴H1がセンサ部6に形成されている。姿勢センサ61は、センサ部6に配置されている。姿勢センサ61は、挿入部2が被検体に挿入されるときに中心軸CA1の周りのセンサ部6の回転量を示す第2の回転量を検出する。情報処理部40は、第1の回転量および第2の回転量を取得する。情報処理部40は、第2の回転量に基づいて第1の回転量を補正することにより補正回転量を算出する。
本発明の各態様の挿入状態検出方法は、第1の取得ステップ、第2の取得ステップ、および算出ステップを有する。情報処理部40(制御部)は、第1の取得ステップ(ステップS401)において、第1の回転量を取得する。情報処理部40は、第2の取得ステップ(ステップS401)において、第2の回転量を取得する。情報処理部40は、算出ステップ(ステップS402)において、第2の回転量に基づいて第1の回転量を補正することにより補正回転量を算出する。
本発明の各態様は、以下の変形例を含んでもよい。光学センサ60(第1のセンサ)は、挿入部2が被検体に挿入されるときに挿入部2の長手方向D1に挿入部2が移動する量を示す移動量(挿入長)を検出する。
本発明の各態様は、以下の変形例を含んでもよい。情報処理部40(制御部)は、互いに関連付けられた補正回転量および移動量(挿入長)を含む挿入状態情報をメモリ41(記録媒体)に記録する。
本発明の各態様は、以下の変形例を含んでもよい。姿勢センサ61(第2のセンサ)は、センサ部6の姿勢を検出する。挿入状態情報は、移動量(挿入長)と関連付けられ、かつセンサ部6の姿勢を示す姿勢情報を含む。
本発明の各態様は、以下の変形例を含んでもよい。挿入部2は、挿入部2の先端を含む先端部2aに配置され、かつ先端部2aの姿勢を検出する姿勢センサ24(第3のセンサ)を有する。挿入状態情報は、移動量(挿入長)と関連付けられ、かつ先端部2aの姿勢を示す姿勢情報を含む。
本発明の各態様は、以下の変形例を含んでもよい。挿入部2の先端を含む先端部2aは、操作部4の操作を通して入力された湾曲指示に基づいて被検体の内部において湾曲可能である。挿入状態情報は、移動量(挿入長)と関連付けられ、かつ先端部2aが湾曲している量を示す湾曲量を含む。
本発明の各態様は、以下の変形例を含んでもよい。挿入支援部42(制御部)は、リアルタイムに算出された補正回転量と、メモリ41(記録媒体)に記録された挿入状態情報に含まれる補正回転量とを使用することにより、挿入部2を被検体に挿入するために必要な操作を示す操作情報(挿入支援情報)を生成する。
本発明の各態様は、以下の変形例を含んでもよい。挿入支援部42(制御部)は、リアルタイムに算出された補正回転量とメモリ41(記録媒体)に記録された挿入状態情報に含まれる補正回転量との差分を算出し、その差分を使用することにより操作情報(挿入支援情報)を生成する。
本発明の各態様は、以下の変形例を含んでもよい。挿入支援部42(制御部)は、第1の回転量および第2の回転量を使用する加算または減算を実施することにより補正回転量を算出する。
第1の実施形態において、内視鏡装置1は、センサ部6の回転量に基づいてセンサ部6に対する挿入部2の相対的な回転量を補正することにより補正回転量を算出する。そのため、内視鏡装置1は、挿入部2の回転量を正確に検出することができる。
センサ部6は被検体に固定されている必要はない。前述したようにユーザーがセンサ部6を手で持ってもよい。その場合であっても、内視鏡装置1は、挿入部2の回転量を正確に検出することができる。
挿入状態情報がメモリ41に記録される。挿入状態情報は、挿入部2の補正回転量等を含む。内視鏡装置1は、検査における挿入操作の内容を記録することができる。ユーザーは、挿入状態情報を参照することにより、検査が計画に沿って実施されたか否かを確認することができる。
挿入支援部42は、メモリ41に記録された挿入状態情報に含まれる情報を使用することにより挿入支援情報を生成し、生成された挿入支援情報を表示部5に出力する。ユーザーが非熟練者である場合であっても、ユーザーは、様々な検査条件において、挿入支援情報に従って容易に挿入操作を実施することができる。ユーザーは、挿入部2を検査部位へ容易に到達させることができる。
(第2の実施形態)
本発明の第2の実施形態を説明する。前述した特許文献1に開示された技術は、挿入部の回転量の基準位置(回転原点)を毎回の検査において再現する方法を開示していない。この回転原点が定まらないと、挿入部の回転量を算出することが難しい。この技術では、把持部と挿入部とが一体化されている。そのため、把持部および挿入部が、特定の構造またはセンサを有することが推測される。その構造は、把持部に対する挿入部の相対的な位置を固定する。そのセンサは、把持部と挿入部とが近接している状態において把持部と挿入部との位置関係を検出する。
把持部を挿入部から取り外せることが好ましい。しかしながら、把持部が挿入部から取り外された場合、上記の構造またはセンサを使用することが難しい。前述したように、挿入部の表面において、多数の金属素線が編み込まれている。挿入部の表面は、その金属素線が形成する均一な模様を持つ。回転原点を示すマーク等を挿入部の表面に形成することは難しい。
前述した第1の実施形態において、熟練者が機器設定(操作O1)を実施するとき、参照画像がメモリ41に記録される。非熟練者が機器設定(操作O3)を実施するとき、表示部5は、参照画像を表示し、かつ撮像素子23によってリアルタイムに生成されたライブ画像を表示する。非熟練者は、ライブ画像の構図が参照画像の構図と一致するように挿入部2の回転量を調整する。これにより、被検体に対する挿入部2の相対的な回転位置が調整される。
しかしながら、上記の調整を通して被検体に対するセンサ部6の相対的な回転位置が調整されるとは限らない。そのため、ライブ画像の構図が参照画像の構図と一致したときであっても、センサ部6に対する挿入部2の相対的な回転位置(回転原点)が参照画像の構図における回転位置と一致するとは限らない。
一方、第2の実施形態は、画像を使用せずに挿入部2の回転原点を調整する方法を提供する。姿勢センサ61および姿勢センサ24は、重力の方向を基準とする物理量を検出する。検査対象物が工場におけるパイプまたは航空機エンジン等である場合、重力の方向を基準とする検査対象物の姿勢はほとんど変化しない。そのため、内視鏡装置1は、重力の方向を基準とする回転原点を設定することにより、検査のタイミングに応じた回転原点の変化を抑制することができる。
内視鏡装置1は、挿入部2の姿勢センサ24およびセンサ部6の姿勢センサ61の各々によって検出された値を使用することにより、挿入部2とセンサ部6との間の回転位置の関係を設定する。これにより、内視鏡装置1は、センサ部6に対する挿入部2の回転原点を調整する。
姿勢センサ24は、加速度センサのみを有してもよい。姿勢センサ24は、地磁気の方向を基準とする物理量を検出してもよい。したがって、姿勢センサ24は、地磁気センサのみを有してもよい。姿勢センサ24は、加速度センサ、ジャイロセンサ、および地磁気センサのいずれか2つまたは3つを有してもよい。例えば、姿勢センサ24は、加速度センサおよびジャイロセンサを有してもよい。あるいは、姿勢センサ24は、加速度センサ、ジャイロセンサ、および地磁気センサを有してもよい。
姿勢センサ61は、加速度センサのみを有してもよい。姿勢センサ61は、地磁気の方向を基準とする物理量を検出してもよい。したがって、姿勢センサ61は、地磁気センサのみを有してもよい。姿勢センサ61は、加速度センサ、ジャイロセンサ、および地磁気センサのいずれか2つまたは3つを有してもよい。例えば、姿勢センサ61は、加速度センサおよびジャイロセンサを有してもよい。あるいは、姿勢センサ61は、加速度センサ、ジャイロセンサ、および地磁気センサを有してもよい。
図11に示す状態記録処理は、図20に示す状態記録処理に変更される。図20は、状態記録処理の手順を示す。図11に示す処理と同じ処理の説明を省略する。
熟練者は、挿入部2の位置をセンサ部6の位置と合わせる。図21は、このときの挿入部2とセンサ部6との位置関係を示す。図21は、センサ部6の断面を示す。例えば、熟練者は、挿入部2の先端面をセンサ部6の端面と一致させる。このとき、熟練者は操作部4を操作することにより、原点設定指示を内視鏡装置1に入力する。
操作処理部33は、ステップS100において原点設定指示を状態検出部34、姿勢検出部35、および情報処理部40に出力する。状態検出部34、姿勢検出部35、および情報処理部40は、ステップS100において原点設定指示を受け付ける。
姿勢センサ24の座標系CS1および姿勢センサ61の座標系CS2が図21に示されている。座標系CS1は、X1軸、Y1軸、およびZ1軸を持つ。Y1軸は、挿入部2の中心軸CA1と一致する。座標系CS2は、X2軸、Y2軸、およびZ2軸を持つ。挿入部2の先端面がセンサ部6の端面と一致するときにY1軸がY2軸と一致するように座標系CS1および座標系CS2が予め設定される。X1軸がX2軸と一致するとは限らない。Z1軸がZ2軸と一致するとは限らない。
ステップS100の後、状態検出部34は、光学センサ60から出力された値に基づいて算出される挿入長を0にリセットする。状態検出部34、姿勢検出部35、および情報処理部40は、回転量に関する処理を実行する(ステップS110)。
挿入長が0にリセットされた後、新たに算出された挿入長は、ステップS110の後の挿入部2の長手方向D1における挿入部2の移動量を示す。姿勢センサ61および姿勢センサ24が重力の方向を基準とする物理量を検出するため、状態検出部34は、姿勢センサ61および姿勢センサ24の各々から出力された値に基づいて算出される姿勢を0にリセットする必要はない。
状態検出部34、姿勢検出部35、および情報処理部40は、ステップS110において回転量に関する以下の処理を実行する。
姿勢センサ24は、重力の方向を検出可能である。したがって、姿勢センサ24における重力の方向とY1軸の方向との関係は既知である。姿勢検出部35は、姿勢センサ24から出力された値に基づいてY1軸の周りの挿入部2の回転量R1を算出する。
姿勢センサ61は、重力の方向を検出可能である。したがって、姿勢センサ61における重力の方向とY2軸の方向との関係は既知である。状態検出部34は、姿勢センサ61から出力された値に基づいてY2軸の周りのセンサ部6の回転量R2を算出する。
情報処理部40は、挿入部2の回転量R1を姿勢検出部35から取得し、かつセンサ部6の回転量R2を状態検出部34から取得する。情報処理部40は、挿入部2の回転量R1からセンサ部6の回転量R2を減算することにより、相対回転量(ΔRp)を算出する。相対回転量(ΔRp)は、挿入部2とセンサ部6との間の回転の位置関係を示す。情報処理部40は、センサ部6の回転量R2から挿入部2の回転量R1を減算することにより、相対回転量(ΔRp)を算出してもよい。情報処理部40は、相対回転量(ΔRp)をメモリ41に記録する。
熟練者は、挿入部2を被検体に挿入し、被検体に対する挿入部2の相対的な状態を初期状態に設定する。図22は、このときの被検体SB1と挿入部2との位置関係を示す。図22は、被検体SB1およびセンサ部6の断面を示す。
熟練者は、撮像素子23が被検体SB1内の部位の画像を取得できるように挿入部2の位置を調整する。また、熟練者は、挿入部2が滑らかに進行できるように挿入部2の姿勢を調整する。
熟練者が上記の調整を実施している間、状態検出部34は、光学センサ60および姿勢センサ61の各々によって検出された値を取得する。状態検出部34は、挿入部2の挿入長およびセンサ部6の回転量R2を算出する。状態検出部34は、センサ部6の姿勢を算出し、センサ部6の姿勢情報を生成する。熟練者が上記の調整を実施している間、姿勢検出部35は、挿入部2の回転量R1を算出する。
挿入部2の状態が所望の状態に設定された後、熟練者は操作部4を操作することにより、設定終了指示を内視鏡装置1に入力する。操作処理部33は、ステップS102において設定終了指示を情報処理部40に出力する。情報処理部40は、ステップS102において設定終了指示を受け付ける。
ステップS102の後、状態検出部34は、光学センサ60から出力された値に基づいて算出される挿入部2の回転量REを0にリセットする(ステップS111)。回転量REは、センサ部6に対する挿入部2の相対的な回転量を示す。状態検出部34は、回転量REを算出する。回転量REが0にリセットされた後、新たに算出された回転量REは、ステップS111の後の挿入部2の回転量を示す。
ステップS111の後、情報処理部40は、挿入部2の挿入長、挿入部2の回転量RE、センサ部6の回転量R2、およびセンサ部6の姿勢情報を状態検出部34から取得する(ステップS112)。例えば、挿入部2の状態が図22に示す状態に設定されたとき、挿入部2の挿入長はL0であり、挿入部2の回転量REはRE0である。また、センサ部6の姿勢(傾き)を示す値はS0であり、センサ部6の回転量R2はR20である。
ステップS112の後、情報処理部40は、挿入部2の挿入長、挿入部2の回転量RE、センサ部6の回転量R2、およびセンサ部6の姿勢情報をメモリ41に記録する(ステップS113)。
熟練者は、検査を開始するために、操作部4を操作することにより、検査開始指示を内視鏡装置1に入力する。操作処理部33は、ステップS106において検査開始指示を状態検出部34、姿勢検出部35、および情報処理部40に出力する。状態検出部34、姿勢検出部35、および情報処理部40は、ステップS106において検査開始指示を受け付ける。検査開始指示が受け付けられたとき、図20に示す状態記録処理が終了する。
図16に示す機器設定処理は、図23に示す機器設定処理に変更される。図23は、機器設定処理の手順を示す。図16に示す処理と同じ処理の説明を省略する。
非熟練者は、挿入部2の位置をセンサ部6の位置と合わせる。このとき、非熟練者が実施する作業は、熟練者が実施する作業(図21)と同様である。例えば、非熟練者は、挿入部2の先端面をセンサ部6の端面と一致させる。このとき、非熟練者は操作部4を操作することにより、原点設定指示を内視鏡装置1に入力する。
操作処理部33は、ステップS300において原点設定指示を状態検出部34、姿勢検出部35、および情報処理部40に出力する。状態検出部34、姿勢検出部35、および情報処理部40は、ステップS300において原点設定指示を受け付ける。
ステップS300の後、状態検出部34は、光学センサ60から出力された値に基づいて算出される挿入長を0にリセットする。状態検出部34、姿勢検出部35、および情報処理部40は、回転量に関する処理を実行する(ステップS310)。
挿入長が0にリセットされた後、新たに算出された挿入長は、ステップS310の後の挿入部2の長手方向D1における挿入部2の移動量を示す。姿勢センサ61および姿勢センサ24が重力の方向を基準とする物理量を検出するため、状態検出部34は、姿勢センサ61および姿勢センサ24の各々から出力された値に基づいて算出される姿勢を0にリセットする必要はない。
状態検出部34、姿勢検出部35、および情報処理部40は、ステップS310において回転量に関する以下の処理を実行する。
姿勢検出部35は、姿勢センサ24から出力された値に基づいてY1軸の周りの挿入部2の回転量R1を算出する。状態検出部34は、姿勢センサ61から出力された値に基づいてY2軸の周りのセンサ部6の回転量R2を算出する。
情報処理部40は、挿入部2の回転量R1を姿勢検出部35から取得し、かつセンサ部6の回転量R2を状態検出部34から取得する。情報処理部40は、挿入部2の回転量R1からセンサ部6の回転量R2を減算することにより、相対回転量(ΔRc)を算出する。相対回転量(ΔRc)は、挿入部2とセンサ部6との間の回転の位置関係を示す。情報処理部40は、センサ部6の回転量R2から挿入部2の回転量R1を減算することにより、相対回転量(ΔRc)を算出してもよい。
非熟練者は、熟練者が実施した作業と同様の作業を実施し、図21に示す状態と同様の状態を実現する。非熟練者は、挿入部2の回転の状態を、熟練者が実施した作業における挿入部2の回転の状態と同じ状態に設定する。内視鏡装置1は、非熟練者の作業を支援する処理を実行する。以下では、その処理の詳細を説明する。
挿入支援部42は、ステップS110においてメモリ41に記録された相対回転量(ΔRp)を取得する。挿入支援部42は、メモリ41から取得された相対回転量(ΔRp)と、ステップS310において算出された相対回転量(ΔRc)とに関する挿入支援情報を生成する。挿入支援部42は、画像処理部30を経由して挿入支援情報を表示部5に出力する。表示部5は挿入支援情報を表示する(ステップS311)。
図24は、表示部5に表示される情報を示す。表示部5は、ライブ画像IMG10、挿入支援情報AI11、およびボタンB11を表示する。
ライブ画像IMG10は、撮像素子23によってリアルタイムに生成された現在の画像である。
挿入支援情報AI11は、差分情報D10を含む。差分情報D10は、相対回転量(ΔRp)と相対回転量(ΔRc)との差分を示す。相対回転量(ΔRp)は、ステップS311においてメモリ41から取得される。相対回転量(ΔRc)は、ステップS310において算出される。差分情報D10は、相対回転量(ΔRp)と相対回転量(ΔRc)との差分に応じた長さを持つ線として表示される。差分情報D10は、相対回転量(ΔRp)と相対回転量(ΔRc)との大きさの関係に応じて、軸AX11の右側または左側に表示される。
非熟練者は、挿入支援情報AI11を参照する。非熟練者は、差分情報D10と対応する差分が0と一致するように挿入部2の回転量を調整する。非熟練者が挿入部2の回転量を調整している間、差分情報D10は、非熟練者が実施する操作に応じて更新される。
上記の調整が終了したとき、非熟練者は、操作部4を操作することにより、設定実行指示を内視鏡装置1に入力する。例えば、非熟練者は、操作部4を操作することにより、ボタンB11を押す。これにより、非熟練者は、設定実行指示を内視鏡装置1に入力することができる。
操作処理部33は、ステップS302において設定実行指示を挿入支援部42に出力する。挿入支援部42は、ステップS302において設定実行指示を受け付ける。
状態検出部34は、光学センサ60および姿勢センサ61の各々によって検出された値を取得する。状態検出部34は、挿入部2の挿入長およびセンサ部6の回転量R2を算出する。状態検出部34は、センサ部6の姿勢を算出し、センサ部6の姿勢情報を生成する。
ステップS302の後、状態検出部34は、光学センサ60から出力された値に基づいて算出される挿入部2の回転量REを0にリセットする(ステップS312)。回転量REは、センサ部6に対する挿入部2の相対的な回転量を示す。状態検出部34は、回転量REを算出する。回転量REが0にリセットされた後、新たに算出された回転量REは、ステップS312の後の挿入部2の回転量を示す。
ステップS312の後、挿入支援部42は、挿入部2の挿入長、挿入部2の回転量RE、センサ部6の回転量R2、およびセンサ部6の姿勢情報を状態検出部34から取得する(ステップS313)。
ステップS313の後、挿入支援部42は、ステップS113においてメモリ41に記録された情報を取得する。つまり、挿入支援部42は、挿入部2の挿入長(L0)、挿入部2の回転量RE(RE0)、センサ部6の回転量R2(R20)、およびセンサ部6の姿勢情報(S0)を取得する。挿入支援部42は、メモリ41から取得された情報と、ステップS313において状態検出部34から取得された情報とを使用することにより、挿入支援情報を生成する。挿入支援部42は、画像処理部30を経由して挿入支援情報を表示部5に出力する。表示部5は、挿入支援情報を表示する(ステップS314)。
図25は、表示部5に表示される情報を示す。表示部5は、ライブ画像IMG10、挿入支援情報AI12、およびボタンB10を表示する。
ライブ画像IMG10は、撮像素子23によってリアルタイムに生成された現在の画像である。
挿入支援情報AI12は、挿入長情報L11を含む。挿入長情報L11は、過去の挿入長(L0)と現在の挿入長との差分を示す。過去の挿入長(L0)は、ステップS314においてメモリ41から取得される。現在の挿入長は、ステップS313において状態検出部34から取得される。挿入長情報L11は、その差分の大きさに応じた長さを持つ線として表示される。挿入長情報L11は、過去の挿入長(L0)と現在の挿入長との大きさの関係に応じて、軸AX12の右側または左側に表示される。
挿入支援情報AI12は、回転量情報R11を含む。回転量情報R11は、過去の回転量RE(RE0)と現在の回転量REとの差分を示す。過去の回転量RE(RE0)は、ステップS314においてメモリ41から取得される。現在の回転量REは、ステップS313において状態検出部34から取得される。回転量情報R11は、その差分の大きさに応じた長さを持つ線として表示される。回転量情報R11は、過去の回転量RE(RE0)と現在の回転量REとの大きさの関係に応じて、軸AX12の右側または左側に表示される。
挿入支援情報AI12は、姿勢情報S11を含む。姿勢情報S11は、センサ部6の姿勢情報の過去の値(S0)と、センサ部6の姿勢情報の現在の値との差分を示す。姿勢情報の過去の値(S0)は、ステップS314においてメモリ41から取得される。姿勢情報の現在の値は、ステップS313において状態検出部34から取得される。姿勢情報S11は、その差分の大きさに応じた長さを持つ線として表示される。姿勢情報S11は、姿勢情報の過去の値(S0)と姿勢情報の現在の値との大きさの関係に応じて、軸AX12の右側または左側に表示される。姿勢情報S11は、穴H1における挿入部2の姿勢を示す。
挿入支援情報AI12は、回転量情報R12を含む。回転量情報R12は、センサ部6の過去の回転量R2(R20)とセンサ部6の現在の回転量R2との差分を示す。過去の回転量R2(R20)は、ステップS314においてメモリ41から取得される。現在の回転量R2は、ステップS313において状態検出部34から取得される。回転量情報R12は、その差分の大きさに応じた長さを持つ線として表示される。回転量情報R12は、過去の回転量R2(R20)と現在の回転量R2との大きさの関係に応じて、軸AX12の右側または左側に表示される。
非熟練者は、挿入支援情報AI12を参照する。非熟練者は、挿入長情報L11と対応する差分が0と一致するように挿入部2の位置を調整する。非熟練者は、回転量情報R11と対応する差分が0と一致するように挿入部2の回転量を調整する。非熟練者は、姿勢情報S11と対応する差分が0と一致するように挿入部2の姿勢を調整する。非熟練者は、回転量情報R12と対応する差分が0と一致するようにセンサ部6の回転量を調整する。非熟練者が挿入部2の位置、回転量、および姿勢を調整し、かつセンサ部6の回転量を調整している間、挿入長情報L11、回転量情報R11、姿勢情報S11、および回転量情報R12は、非熟練者が実施する操作に応じて更新される。
回転量情報R11と対応する差分が0と一致するとき、相対回転量(ΔRc)は相対回転量(ΔRp)と同じである。挿入部2の回転量REがステップS312において0にリセットされた後、非熟練者は、現在の回転量REが過去の回転量RE(RE0)と一致するように挿入部2の回転量を調整する。現在の回転量REが過去の回転量RE(RE0)と一致したとき、挿入部2の中心軸CA1の周りの挿入部2およびセンサ部6の回転量の基準位置が過去の基準位置と同じに設定される。つまり、センサ部6に対する挿入部2の回転原点が過去の回転原点と同じに設定される。このとき、挿入部2とセンサ部6との間の回転の現在の位置関係は、熟練者によって実施された過去の検査における挿入部2とセンサ部6との間の回転の位置関係と一致する。
回転量情報R12と対応する差分が0と一致するとき、センサ部6の現在の回転量R2は、過去の検査におけるセンサ部6の回転量R2(R20)と同じである。このとき、センサ部6の回転の現在の状態が、過去の検査におけるセンサ部6の回転の状態と一致する。これにより、非熟練者は、熟練者の手の動きを再現することができる。
上記の調整が終了したとき、非熟練者は、検査を開始するために、操作部4を操作することにより、検査開始指示を内視鏡装置1に入力する。例えば、非熟練者は、操作部4を操作することにより、ボタンB10を押す。これにより、非熟練者は、検査開始指示を内視鏡装置1に入力することができる。
操作処理部33は、ステップS306において検査開始指示を状態検出部34、姿勢検出部35、および挿入支援部42に出力する。状態検出部34、姿勢検出部35、および挿入支援部42は、ステップS306において検査開始指示を受け付ける。検査開始指示が受け付けられたとき、図23に示す機器設定処理が終了する。検査開始指示が受け付けられるまで、ステップS313およびS314が繰り返される。
挿入支援部42は、挿入部2の3次元モデルを表示部5に表示してもよい。挿入支援部42は、挿入部2の回転量の目標および挿入部2の姿勢の目標を3次元モデル上に表示してもよい。これにより、挿入部2の回転量および姿勢の調整に必要な情報の視認性が向上する。
第2の実施形態における履歴記録処理の手順は、図14に示す手順と同じである。第2の実施形態における挿入支援処理の手順は、図18に示す手順と同じである。
情報処理部40は、第1の実施形態または第2の実施形態における履歴記録処理のステップS203において、センサ部6の回転量R2をメモリ41に記録してもよい。これにより、センサ部6を持つ熟練者の手の動きが記録される。挿入支援部42は、第1の実施形態または第2の実施形態における挿入支援処理において、メモリ41に記録されたセンサ部6の回転量R2と、ステップS401において状態検出部34から取得されたセンサ部6の回転量R2とに関する挿入支援情報を生成してもよい。挿入支援部42は、第1の実施形態または第2の実施形態における挿入支援処理において、その挿入支援情報を表示部5に表示してもよい。非熟練者は、熟練者がセンサ部6を捻ったタイミングを知ることができる。
本発明の各態様は、以下の変形例を含んでもよい。情報処理部40(制御部)は、互いに関連付けられた第2の回転量(回転量R2)および移動量(挿入長)を含む挿入状態情報をメモリ41(記録媒体)に記録する。
本発明の各態様は、以下の変形例を含んでもよい。挿入部2は、挿入部2の先端を含む先端部2aに配置され、かつ挿入部2の中心軸CA1の周りの挿入部2の回転量を示す第3の回転量(回転量R1)を検出する姿勢センサ24(第3のセンサ)を有する。情報処理部40は、第2の回転量および第3の回転量を使用することによりセンサ部6に対する挿入部2の相対的な回転量をリセットする。
第2の実施形態において、内視鏡装置1は、挿入部2の回転量R1およびセンサ部6の回転量R2を使用することにより、センサ部6に対する挿入部2の回転原点を調整することができる。内視鏡装置1は、その回転原点を調整するために、撮像素子23によって生成された画像を使用する必要はない。そのため、ユーザー(検査者)が目視で確認を行う要素が減り、回転原点の調整の精度および効率が向上する。
図8に示すように操作部4がセンサ部6に固定された場合、操作部4およびセンサ部6を含む構造は、挿入部2の中心軸CA1に対して回転対称性を持たない。また、挿入部2が、ある方向に曲がりやすい傾向を持つ場合、挿入部2は、中心軸CA1に対して回転対称性を持たない。挿入部2を被検体に上手に挿入するために、ユーザーは、湾曲操作を実施し、かつ挿入部2の曲がりの傾向を考慮に入れて挿入部2を回転させる必要がある。
非熟練者は、挿入部2とセンサ部6との間の回転の位置関係を、熟練者が実施した過去の検査における位置関係と一致させる必要がある。現在の検査におけるその位置関係が過去の検査におけるその位置関係と一致しない状態において非熟練者が熟練者と同様に挿入部2を回転させた場合であっても、挿入部2を被検体に上手に挿入できない可能性がある。
第2の実施形態において、非熟練者は、センサ部6に対する挿入部2の回転原点を調整する。また、非熟練者は、現在の検査におけるセンサ部6の回転量R2が過去の検査におけるセンサ部6の回転量R2と一致するように挿入部2およびセンサ部6の回転量を調整する。これにより、非熟練者が挿入部2を被検体に上手に挿入する可能性が高まる。
(第3の実施形態)
本発明の第3の実施形態を説明する。図1等に示す操作部4は、図26に示す操作部4bに変更される。図1等に示すセンサ部6は、図26に示すセンサ部6bに変更される。図26は、操作部4bおよびセンサ部6bの断面を示す。
操作部4bは、センサ部6bに固定されている。操作部4bは、ジョイスティック45、基板46、および姿勢センサ47を有する。ジョイスティック45は、図8に示すジョイスティック45と同じである。基板46は、図8に示す基板46と同じである。姿勢センサ47は、図5等に示す姿勢センサ61と同じである。姿勢センサ47は、操作部4bの内部に配置され、かつ操作部4bに固定されている。
姿勢センサ47は、基板46上に配置されている。姿勢センサ47によって検出された値は、基板46を経由して操作処理部33に出力される。姿勢センサ47は、操作部4bの姿勢または動きに応じた湾曲指示を生成してもよい。操作処理部33は、姿勢センサ47によって生成された湾曲指示を湾曲制御部39に出力してもよい。
センサ部6bは、光学センサ60を有する。センサ部6bは、図5等に示す姿勢センサ61を有していない。
挿入部2が通る穴H1がセンサ部6bに形成されている。挿入部2は、穴H1において、挿入部2の長手方向D1に移動できる。また、挿入部2は、穴H1において、挿入部2の中心軸CA1の周りに回転できる。
操作処理部33は、姿勢センサ47によって検出された値を取得する。操作処理部33は、操作部4bの姿勢を算出し、操作部4bの姿勢情報を生成する。操作部4bがセンサ部6bに固定されているため、操作部4bの姿勢情報はセンサ部6bの姿勢を示す。センサ部6bに形成された穴H1を挿入部2が通るため、センサ部6bの姿勢は、穴H1における挿入部2の姿勢と同じである。そのため、操作部4bの姿勢情報は、穴H1における挿入部2の姿勢を示す。
操作部4bは、センサ部6bに着脱可能であってもよい。操作部4bは、操作部4bとセンサ部6bとの接続状態を検出するセンサを有してもよい。基板46は、そのセンサから出力された値に基づいて操作部4bとセンサ部6bとの接続状態を判断する制御回路を有してもよい。
操作部4bがセンサ部6bに装着されているときのみ、その制御回路は、姿勢センサ47によって検出された値を操作処理部33に出力してもよい。あるいは、その制御回路は、操作部4bとセンサ部6bとの接続状態を示す情報を操作処理部33に出力してもよい。操作処理部33は、その情報を使用することにより操作部4bとセンサ部6bとの接続状態を判断してもよい。操作部4bがセンサ部6bに装着されているときのみ、操作処理部33は、姿勢センサ47によって検出された値が有効であると判断し、その値を処理してもよい。
本発明の各態様は、以下の変形例を含んでもよい。挿入部2の先端を含む先端部2aは、操作部4bの操作を通して入力された湾曲指示に基づいて被検体の内部において湾曲可能である。姿勢センサ47(第2のセンサ)は、操作部4bに配置されている。
本発明の各態様は、以下の変形例を含んでもよい。操作部4bは、センサ部6bに着脱可能である。操作部4bがセンサ部6bに装着されているとき、姿勢センサ47(第2のセンサ)はセンサ部6bの第2の回転量を検出する。
第3の実施形態において、センサ部6bは姿勢センサ61を有しておらず、操作部4bは姿勢センサ47を有する。センサ部6bは、センサ部6よりも小型化される。
(第4の実施形態)
本発明の第4の実施形態を説明する。図1等に示す操作部4は、図27に示す操作部4bに変更される。図1等に示すセンサ部6は、図27に示すセンサ部6cに変更される。図27は、操作部4bおよびセンサ部6cの断面を示す。操作部4bは、図26に示す操作部4bと同じである。
センサ部6cは、本体部62およびネジ部64を有する。本体部62は、光学センサ60を有する。ネジ部64は本体部62に接続されている。雄ネジがネジ部64の表面に形成されている。挿入部2が通る穴H3が本体部62およびネジ部64に形成されている。
センサ部6cは、ガイドチューブ9に接続されている。ガイドチューブ9は、筒状の補助部材である。挿入部2が通る穴がガイドチューブ9に形成されている。ネジ部64の雄ネジがガイドチューブ9の雌ネジと嵌合し、センサ部6cがガイドチューブ9に固定される。
挿入部2は、被検体SB1に挿入される。アクセスポートAP2が被検体SB1に形成されている。ガイドチューブ9は、アクセスポートAP2を通って被検体SB1に挿入される。
アクセスポートAP2の付近における被検体SB1の構造が複雑である場合に、ガイドチューブ9は挿入部2の先端の位置を予め制限するために使用される。ガイドチューブ9は、挿入部2の姿勢を維持することができる。
第4の実施形態において、操作部4b、センサ部6c、およびガイドチューブ9は、互いに固定される。挿入部2の姿勢が容易に維持されるため、操作性が向上する。
センサ部6cと被検体SB1との距離が変化する場合、その距離の変化が挿入部2の移動量として誤って検出され、挿入長が誤差を含む可能性がある。ガイドチューブ9を使用することにより、センサ部6cと被検体SB1との距離が固定されやすい。
ガイドチューブ9の側面に目盛が表示されてもよい。ユーザーは、その目盛を参照し、センサ部6cと被検体SB1との距離を維持してもよい。
(第5の実施形態)
本発明の第5の実施形態を説明する。図4に示す内視鏡装置1は、図28に示す内視鏡装置1dに変更される。図28は、内視鏡装置1dの内部構成を示す。図4に示す構成と同じ構成の説明を省略する。
図4に示す本体部3は、図28に示す本体部3dに変更される。本体部3dは、画像処理部30、記録部31、外部IF(インターフェース)32、操作処理部33、状態検出部34、姿勢検出部35、光源36、照明制御部37、モータ38、湾曲制御部39、情報処理部40、メモリ41、挿入支援部42、電源部43、および駆動制御部48を有する。
図4に示すセンサ部6は、センサ部6dに変更される。センサ部6dは、光学センサ60、姿勢センサ61、および駆動部65を有する。光学センサ60は、図4に示す光学センサ60と同じである。姿勢センサ61は、図4に示す姿勢センサ61と同じである。
駆動部65は、モータ、ギア、およびローラーを有する。ローラーは、挿入部2の側面に接触する。駆動部65は、モータおよびギアを使用することにより、ローラーを駆動する。摩擦力がローラーと挿入部2との間で発生する。挿入部2は、その摩擦力に応じて、挿入部2の長手方向D1に移動し、または挿入部2の中心軸CA1の周りに回転する。駆動制御部48は、駆動部65に駆動信号を出力し、駆動部65を制御する。
ローラーが挿入部2の表面で滑る場合がある。その場合、ローラーの回転量が正しく検出されない。そのため、ローラーの回転量から挿入部2の回転量を正しく検出することが難しい。
第5の実施形態において、内視鏡装置1dは、挿入部2に接触せずに挿入部2の回転量を検出する光学センサ60を有する。そのため、内視鏡装置1dは、挿入部2の回転量を正確に検出することができる。
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。