JP4861540B2 - 医療装置 - Google Patents
医療装置 Download PDFInfo
- Publication number
- JP4861540B2 JP4861540B2 JP2011537782A JP2011537782A JP4861540B2 JP 4861540 B2 JP4861540 B2 JP 4861540B2 JP 2011537782 A JP2011537782 A JP 2011537782A JP 2011537782 A JP2011537782 A JP 2011537782A JP 4861540 B2 JP4861540 B2 JP 4861540B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- imaging
- main
- image area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00174—Optical arrangements characterised by the viewing angles
- A61B1/00181—Optical arrangements characterised by the viewing angles for multiple fixed viewing angles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods
- A61B17/00234—Surgical instruments, devices or methods for minimally invasive surgery
- A61B2017/00238—Type of minimally invasive operation
- A61B2017/00283—Type of minimally invasive operation with a device releasably connected to an inner wall of the abdomen during surgery, e.g. an illumination source
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Endoscopes (AREA)
Description
例えば、腹腔内の手術を行う場合、開腹することなく、トラカールによる刺入孔に内視鏡を挿入し、内視鏡の観察下で処置具等により患部の切除等の手術を行うことが広く行われるようになっている。
このように内視鏡観察下での手術を行い易くするために、第1の従来例としての日本国特開2008−307226号公報においては、体腔内において撮像するカメラと、カメラに接続されると共に腹壁の異なる面によって腹壁を挟持してカメラを体腔内に固定するカメラ側磁石及び固定用磁石と、カメラの制御を行うカメラコントロールユニットを備えた内視鏡システムが開示されている。
また、第3の従来例としての日本国特開2006−320650号公報においては、記録部から画像を取得し、取得した画像に対する各種画像処理を制御し、処理結果の画像を記録部に記録させる画像処理制御部と、時系列で連続する画像の相関値を算出するとともに、算出した相関値に応じて各画像を画像グループに分類する画像分類部と、各画像から所定の特徴を有する特徴画像領域を検出すると共に、検出した特徴画像領域を有する特徴画像を注目画像として検出する注目画像検出部と、各画像グループ内の注目画像と先頭画像とを代表画像として抽出すると共に、抽出した各代表画像に表示レートを設定する代表画像抽出部と、設定された表示レートに応じて一連の代表画像を順次表示させる制御を行う画像表示制御部と、を備える画像表示装置が開示されている。
一方、処置した部位(第1の部位とする)から次に処置すべき第2の部位に移動した後に、第1の部位が所定の変化、具体的には出血が発生したような場合には、術者は出血した状態をより詳細に確認することを速やかに行えるようにすることが望まれる。術者は、確認結果に応じて第1の部位の出血に対応した処置を行うことになる。
具体的には、第1及び第2の従来例では、カメラ又は観察ユニットにより第1の部位が出血した画像を広角な画角状態により表示することができるが、より詳細に確認しようとする場合には、第1の部位を詳細に観察することができるように内視鏡等を移動しなければならない。
なお、第3の従来例は、蓄積した過去の画像において、目画像検出部は画像処理により出血した出血部位が有るか否かを判断し、画像処理制御部は、出血部位が有るとその位置情報を画像記録部に記録することを開示している。しかし、この従来例は、過去の画像における出血部位を抽出しようとするものであり、手術中において術者に対して出血部位の詳細を速やかに確認し易くするようなことを開示するものでない。
(第1の実施形態)
図1に示すように本発明の第1の実施形態の医療装置1は、患者の腹部2の腹壁にそれぞれ固定され、腹腔内を広角で撮像する俯瞰カメラ部3と、腹腔内を(俯瞰カメラ部3に比較して)狭角で撮像する第1メインカメラ部4及び第2カメラ部5を有する。
また、この医療装置1は、これらの俯瞰カメラ部3,メインカメラ部4、5に対する画像処理等を行うプロセッサ6と、俯瞰カメラ部3により撮像した画像(俯瞰画像という)を表示する俯瞰モニタ7と、メインカメラ部4、5により撮像した画像(メイン画像という)を表示するメインモニタ8とを有する。
また、この医療装置1は、術者が俯瞰カメラ部3,メインカメラ部4、5により撮像した画像の記録と、メインカメラ部4,5の撮像位置、撮像方向を所望とする場所へ移動等の指示操作を行うカメラ操作インターフェース(カメラ操作I/Fと略記)9を有する。
なお、本実施形態は、このような無線で信号を伝送する構成に限定されるものでなく、俯瞰カメラ3A、メインカメラ4A、5Aからそれぞれ信号線を延出して、プロセッサ6と接続して信号伝送を有線で行う構成(例えば図14の構成)にしても良い。
有線で信号伝送を行う構成にした場合には、受信ユニット3B、送受信ユニット4B,5Bは必要ない。なお、本実施形態においては、第2の撮像手段として2つのメインカメラ4A,5Aを備えた構成で示している。
しかし、本実施形態は、メインカメラが、2つの場合に限定されるものでなく、3つ以上でも良いし、逆に1つの場合にも適用できる。
また、図1に示すように俯瞰カメラ3A、メインカメラ4A、5Aを腹部2内部に固定する操作は、例えば特開2008−307226号公報に開示された方法によりトラカール10を用いて腹部2に形成した穿刺孔に、図示しない内視鏡等を用いて行うことができる。
なお、図1においては、俯瞰カメラ3A、メインカメラ4A、5Aを腹部2内部に固定した後、トラカール10に処置具19を挿通して、処置対象の部位(場所という)に対して処置を行う様子を示している。
俯瞰カメラ3A、メインカメラ4A、5Aは、例えば略円筒形状の外装容器内に、図2に示すように撮像機能を備えた撮像ユニット11a〜11c、撮像する部分を照明する照明ユニット12a〜12c及び撮像ユニット11a〜11c等にそれぞれ電源を供給するバッテリなどにより構成される電源ユニット13a〜13cとをそれぞれ収納している。
メインカメラ4A、5Aは、さらに送受信ユニット15b、15cと、カメラ駆動ユニット16a、16bと、位置検出ユニット17a,17bと、識別情報発生ユニット(図面中ではIDと略記)18a,18bとを内蔵している。
なお、第2メインカメラ5Aは、識別情報発生ユニット18bにより発生する識別情報が異なるのみでその構成は、第1メインカメラ4Aと同じであり、図2では内部構成を簡略的に示している。
なお、送受信ユニット15a、15bは、画像信号を送信する場合、識別情報を付加して送信し、(メイン用)画像処理ユニット22は、識別情報に応じてメイン画像の管理を行う。
また、メインカメラ4A、5Aは、上記のように俯瞰カメラ3Aの構成に比較して、撮像する場所を移動するためのカメラ駆動ユニット16a、16bと、移動した場所を撮像するカメラ駆動ユニット16a、16bの駆動情報(設定情報とも言う)を検出する位置検出ユニット17a、17bを備えている。
図1にて模式的に示すように、俯瞰画像中において、メインカメラ4A、5Aをその観察視野内で撮像したメインカメラ画像(簡略化して4A、5Aで示す)が表示されている。
これに対して、メインカメラ4A、5Aは、俯瞰カメラ3Aに比較するとより狭い観察視野(狭角)を有し、上記のカメラ駆動ユニット16a、16bにより以下に説明するように観察視野(撮像範囲)を移動設定することができる。
本実施形態においては、俯瞰画像により術者は腹腔内を広角で俯瞰する(見渡す)ことができ、さらに2つのメインカメラ4A、5Aにより任意の場所を詳細に観察することができるようになる。
これにより、従来例における処置する場所をスコープ(内視鏡)により観察できる視野内に設定して保持するスコピスト(内視鏡保持者)を不用にできる。このため、術者は、術者の近くの場所を占有するスコピストがいないため、スコピストが占有する場所に制約されないで手術をより行い易くなるメリットを有する。
つまり、カメラ駆動ユニット16a、16bは、パン、チルトにより撮像手段としての撮像ユニット11b、11cを所望とする場所を撮像できるように移動設定することができ、かつズーム機能により撮像する画角を変更、例えば俯瞰カメラ3Aの場合よりも撮像倍率を増大して、注目する患部等をより詳細に観察することが出来る状態に設定することができる。
なお、位置検出ユニット17a、17bにより検出されたカメラ駆動ユニット16a、16bの設定情報は、例えば術者による画像記録操作により撮像される場所と共に、制御用メモリ24において(例えば画像記録の指示操作時の時刻と共に)履歴情報として記録される。
術者は、カメラ操作I/F9に設けられたパンSW9a、チルトSW9b、ズームSW9cを操作することにより、パン、チルト、ズームの指示信号がプロセッサ6内部のカメラ駆動制御用CPU(単にCPUと略記)23に出力される。CPU23は、医療装置1を構成するプロセッサ6、俯瞰カメラ3A、メインカメラ4A,5A、カメラ操作I/F9の制御を行う。
つまり、メインカメラ4A又は5Aのカメラ駆動ユニット16a又は16bは、術者がカメラ操作I/F9により指示操作した目標の場所を撮像する(撮像)設定状態になる。
カメラ駆動ユニット16a又は16bを駆動した場合、その駆動により所定の場所を撮像するように設定された設定情報は、位置検出ユニット17a又は17bにより検出され、その検出信号は送受信ユニット15a又は15b、送受信ユニット4B又は5Bを介して位置情報取得部23bに出力される。
そして、位置情報取得部23bは、術者により画像記録の指示操作が行われると、カメラ駆動ユニット16a及び16bの設定情報は、上記制御用メモリ24に時系列に記録(記憶)される。なお、制御用メモリ24の代わりに、位置情報取得部23bのメモリ等の記録部に記録するようにしても良い。
また、カメラ操作I/F9には、画像の記録指示操作を行う画像記録SW9d、2つのメインカメラ4A又は5Aによりそれぞれ撮像されたメイン画像のいずれをメインモニタ8に表示するか等の画像選択を行う画像選択SW9eと、さらに必要に応じて情報を入力する情報入力部9fとが設けてある。
術者は、上記の画像記録SW9dを操作することにより俯瞰カメラ3Aの俯瞰画像、メインカメラ4A及び5Aのメイン画像の記録を行うことができる。
このように本施形態においては、術者により画像記録SW9dを介して画像記録の指示操作が行われた場合には、プロセッサ6は、俯瞰画像におけるメインカメラ4A及び5Aが撮像している場所(の情報)と、その場所を撮像しているメインカメラ4A及び5Aの撮像位置情報及び撮像方向情報(つまり、撮像手段設定情報)とを関連付けて(対応付けて)、例えば時系列に記録する(履歴情報の)記録手段としての制御用メモリ24を有することが特徴の1つとなる。
この場合、俯瞰画像は、以下に説明する画像処理ユニット21内の画像記録部34aに、メイン画像は、画像処理ユニット22内の画像記録部34bに記録されるが、他の記録手段、例えば制御用メモリ24に記録しても良い。
そして、術者は、例えば情報入力部9fから履歴情報(又は履歴)を表示させる指示操作を行うことにより、例えば現在の俯瞰画像においてメインカメラ4A及び5Aの撮像の場所を番号付けて表示させることができる(図4にて後述)。
図2に示すように画像処理ユニット21は、受信ユニット3Bを介して入力される撮像ユニット11aにより撮像された(俯瞰画像の)撮像信号に対する画像処理を行い、俯瞰画像を構築する画像構築部31aと、この俯瞰画像に対して、例えば処置具の先端位置または先端位置付近の場所を画像認識する処理を行う画像認識処理部32aとを有する。
なお、画像記録部34a(又は制御用メモリ24)に俯瞰画像を記録する場合、画像構築部31aにより生成された俯瞰画像と、この俯瞰画像に重畳する場所、番号の情報とを関連付けて記録するようにしても良い。
このように画像を記録する場合、処置した場所等の情報を関連付けて記録することにより、時間的に後で撮像した俯瞰画像上においても、過去の場所、番号の情報を重畳して表示することが容易にできるし、過去に処置して記録した複数の場所、番号の情報を重畳して表示することが容易にできる。
上記画像認識処理部32aは、図7等を参照して説明するように、俯瞰画像中において、メインカメラ4A,5Aが撮像している場所に、例えば処置具19の先端部を設定して俯瞰画像上におけるメインカメラ4A,5Aが撮像している場所を特定するための画像認識処理を行う。
この場合の画像認識処理は、プロセッサ6側が画像認識の画像処理を主体的に行う場合と、術者がマニュアルで画像認識のための主体となる指示操作する(この場合、プロセッサ6は補助的な処理する)場合との両方を含めた意味で用いている。なお、両者の一方のみを備えた構成にしても良い。
このようにして俯瞰画像において、メインカメラ4A,5Aが撮像する場所を移動して、移動した各場所において同様に俯瞰画像中において、メインカメラ4A,5Aが撮像する場所の設定情報が関連付けて時系列に記録され、これらの情報は、履歴情報となる。各場所は、例えば番号で特定できるようにしている。
術者は、俯瞰画像上に表示された複数の場所に対応付けた番号の選択を行うことにより、CPU23は、メインカメラ4A,5Aを、その番号の場所の設定情報を参照してカメラ駆動ユニット16a,16bにより移動制御し、移動設定したメインカメラ4A,5Aにより撮像したメイン画像をメインモニタ8に表示して術者は、速やかにメイン画像から出血の状態をより詳細に確認することができるようにしている。
また、画像処理ユニット22は、送受信ユニット4Bを介して入力される撮像ユニット11bにより撮像された(メイン画像の)撮像信号に対する画像処理を行い、メイン画像を構築する画像構築部31bと、この画像構築部31bにより構築されたメイン画像に対して、そのメイン画像を特定する場所及び番号を重畳する画像処理を行う画像処理部33bと、画像処理部33bにより画像処理された画像を記録するフレームメモリ等により構成される画像記録部34bとを有する。
従って上述のように制御用メモリ24は、過去のメインカメラ4A,5Aによる撮像位置等の情報を履歴情報として記録する記録手段を形成する。
そして、図3を参照して説明するように、術者により例えば情報入力部9fから履歴表示の指示操作がされると、CPU23は、記録手段を構成する制御用メモリ24に記憶された履歴情報から各場所、番号の情報を読み出し、俯瞰画像における各場所に番号を重畳して表示するように制御する。
また、この表示制御手段の表示制御により、記録手段に記録された場所、換言すると画像エリア又は座標を、俯瞰画像に重畳表示される俯瞰モニタ7は、表示制御手段により表示制御される表示手段を形成する。
また、術者により俯瞰モニタ7に重畳表示された過去の番号から特定の番号の選択が行われると、CPU23は、その番号の場所に関連付けて記録されているメインカメラ4A及び5Aの設定情報を制御用メモリ24から読み出し、メインカメラ4A,5Aに対して選択された番号の場所を撮像するようにカメラ駆動ユニット16a、16bを駆動するように制御する。
また、この移動制御手段は、メインカメラ4A,5Aによるズーム倍率を大きくして撮像倍率を上げる機能も備える。
そして、メインカメラ4A又は5Aにより撮像されたメイン画像がメインモニタ8に表示されるようになる。
従って、術者は俯瞰画像において出血または出血に近い状態を確認して、より詳細に確認する必要がある場合には、簡単な操作で、メインカメラ4A,5Aによるメイン画像により速やかに、かつ詳細に確認することができるようになる。
次に図3を参照して本実施形態の代表的な動作を説明する。
図3は、術者、カメラ操作I/F9,俯瞰カメラ3A、第1,第2メインカメラ4A、5A,プロセッサ6/(俯瞰モニタ7,メインモニタ8)の主な動作を示す。この場合、縦の上方向から下方向が時間の経過を示す。
術者は、俯瞰画像を観察して、処置に必要な場所を特定する。この場所を場所P1と表記する。そして、この場所P1をメインカメラ4A,5Aにより撮像できるように、カメラ操作I/F9を操作する。
つまり、術者は、カメラ操作I/F9のパンSW9a、チルトSW9b、ズームSW9cを操作する。すると、カメラ操作I/F9の操作信号がCPU23に送られ、CPU23は、メインカメラ4A,5Aに対して場所P1を撮像するように移動指示を行う。
そして、メインモニタ8には、場所P1を撮像したメイン画像が表示される。
術者は、俯瞰画像とメイン画像とを観察しながら、場所P1において処置具を用いて処置を行うために、トラカール10を介して処置具19を腹腔内に挿入する。術者は、俯瞰画像における腹腔内に挿入された処置具19を見ながら処置したい場所P1に、その先端部を移動する。
すると、場所P1を詳細に表示するメインモニタ8に、処置しようとする場所P1と共に、処置具19の先端側が表示されるようになる。図1のメインモニタ8のメイン画像は、この場合の表示例を示す。
術者はこの場所P1を記録するか否かを判断する。術者は、処置具19によりこの場所で処置しようとする場合には、画像記録する操作を行う。具体的には、術者は、画像記録SW9dを操作する。この操作により、この記録操作の時間(時刻)と共に、メインカメラ4A,5Aのパン、チルト、ズーム情報(設定情報)がプロセッサ6に伝送される。
また、制御用メモリ24には、場所P1と関連付けて俯瞰画像における映っている処置具先端の位置(又は画像エリア)が画像認識(術者による特定操作の場合も含む)等されて記録される。
また、この場合、術者は、俯瞰画像におけるこの場所P1を、他の場所から簡単に特定できるように、情報入力部9fから記録した場所P1の番号(例えばN、ここでN=1)を入力したり、情報入力部9fのスイッチONにより初期値の番号1を自動的に付ける設定にしても良い。
従って、以下に説明するように術者は、この場所P1の番号1を指定、又は選択して、移動指示の操作を行うと、この番号1には、メインカメラ4A,5Aの設定情報が関連付けて記録してあるので、速やかにメインカメラ4A,5Aを、場所P1を撮像する状態に移動制御することが可能になる。
図5は、場所P3において処置具により処置を行っている最中のメインモニタ8に表示されるメイン画像例を示している。図5においては、メインモニタ8に場所P3の番号3が表示されている。
このようにして例えば場所P3において処置具により処置を行っている最中において、術者は、例えば広角の俯瞰画像において場所P1に出血を確認することがある。
そして、俯瞰モニタ7には、これまで記録された場所P1〜P3の履歴が番号1〜3により俯瞰画像上に表示される。図4はこの履歴の表示例を示す。図4に示すように俯瞰画像上には、過去に記録された場所P1〜P3に、各場所PNの番号Nが重畳表示される。なお、点線で示すように履歴の順序を表示しても良いし、表示しなくても良い。従って、術者は、情報入力部9fから、番号1を指定(選択)する。
制御用メモリ24には、番号1の場所P1と共に、メインカメラ4A,5Aの設定情報が関連付けて記録されているので、CPU23は、その設定情報によりカメラ駆動ユニット16a、16bを駆動する。
メインカメラ4A,5Aは、設定情報のパン、チルト、ズームにより、各撮像ユニット11b、11cが移動(駆動)され、場所P1を撮像する状態に移動設定される。そして、メインモニタ8には、メインカメラ4A又は5Aで撮像したメイン画像が表示される。図6は、この場合のメイン画像の表示例を示す。メインモニタ8におけるメイン画像の表示により、術者は出血状態を詳細に確認することができる。そして、術者は詳細な確認結果に応じて、出血状態に対応した処置を速やかに行う。
従って、本実施形態は、術者が手術を行う場合、術者等が行う操作を軽減でき、より円滑に手術を行い易い医療装置1を提供できる。
なお、上述した画像認識処理部32aによる画像認識方法としては、以下のように種々の方法を用いることができる。図7における左側は俯瞰画像、右側はメイン画像を示す。なお、図8、図9においても同様の表示である。図10,図11においては、逆の配置で示している。
術者は、メインカメラ4A,5Aにより撮像された撮像場所に相当するメイン画像の表示画像(図7では三角で模的に示す)に対応する表示画像が俯瞰画像中におけるどの画像エリアに存在するかを確認する。図7の例では術者は、(5,b)の画像エリアの場所を指定する。
この指定により、俯瞰画像における(5,b)の画像エリアの場所がメインカメラ4A,5Aが撮像している撮像座標または撮像場所であると特定(認識)する。
そして、この場所をPNとすると、場所PN及びその番号Nに関連付けてメインカメラ4A,5Aの設定情報が制御用メモリ24に記録されることになる。
術者は、メイン画像における処置具の先端部19aが、俯瞰画像においてはどこに表示されているかを調べる。この場合、図7のように指定しても良い。或いは、先端部19aに対するエッジ処理を行ったエッジ画像を利用して、俯瞰画像におけるメイン画像の位置、つまりメインカメラ4A,5Aの撮像位置を特定しても良い。
図9は、メインカメラ4A又は5Aに、レーザポインタ等の光を照射する光源を設けた場合の方法を示す。俯瞰画像においては例えばメインカメラ5Aの画像と共に光源の光42で照射される部分が示される。
これにより、術者は、メインカメラ5Aの撮像位置が俯瞰画像におけるどの位置あるかを容易に特定できる。図7〜図9は、術者が俯瞰画像上においてメインカメラ4A、5Aの撮像位置を指定する方法を説明した。これに対して、以下のようにプロセッサ6側の画像認識処理部32a等の装置で相対位置を特定する画像認識を行うようにしても良い。
この画像認識した画像の特徴は、画像認識処理部32aに送られ、画像認識処理部32aは、その特徴を有する画像部分を俯瞰画像から検索する。そして、画像認識処理部32aは、俯瞰画像において所定値以上の相関を有する部分があると判断した場合には、メイン画像の特徴部分に対応する場所であるとして場所P1,その番号を1と自動マーキングする。
図11は、俯瞰画像に映り込んだメインカメラ4A又は5Aの画像情報を利用してメインカメラ4A又は5Aの撮像位置を特定する画像認識法を示す。俯瞰画像に映り込んだ例えばメインカメラ5Aの外装容器には、マーク43が付けてあり、撮像ユニット11bの方向が変化すると、マーク43も変化する。
この他に、俯瞰カメラ3A、メインカメラ4A、5Aそれぞれに位置センサを設け、それらの位置センサの検出情報から両画像における相対位置を特定するようにしても良い。
また、俯瞰カメラ3Aは、固定された状態となるので、メインカメラ4A、5A側のみに位置センサを設けるようにしても良い。
本実施形態はこのような表示形態の場合に限定されるものでなく、例えば図12Aに示すようにメインモニタ8において、2つのメインカメラ4A、5Aそれぞれのメイン画像を2分割して表示しても良い。
また、メインモニタを2つにして、メインカメラ4A、5Aそれぞれのメイン画像を表示するようにしても良い。
また、図12Dに示すように俯瞰画像とメイン画像とを、親子画像、又は一方を縮小画像(サムネイル画像)として表示しても良い。
図12Dの場合には、例えば一方のメインカメラによるメイン画像を親画像(縮小しない画像)、俯瞰画像を縮小画像、他方のメインカメラのメイン画像を縮小画像で表示した状態で示している。
2つのモニタの場合には、俯瞰画像とメイン画像とをそれぞれ表示する。一方、1つのモニタ7Bにした場合には、図12Bのように表示したり、図12Dに類似してメイン画像と俯瞰画像とを親子画像で表示しても良い。
また、俯瞰画像及びメイン画像をサムネイル画像として保存する画像保存手段、サムネイル画像を表示するサムネイル表示手段を設けるようにしても良い。また、時系列にサムネイル画像を記録(保存)するようにしても良いし、術者が記録した場合のみ記録するようにしても良い。
このように本実施形態によれば、俯瞰画像における出血等、所定の変化の発生の可能性がある過去に処置した場所PNを、その場所を撮像するメインカメラ4A、5Aの設定情報と関連付けて、予め履歴情報として記録し、かつ表示手段で表示できるようにしているので、俯瞰画像において処置した場所PNにおいて出血等、所定の変化を術者が確認した場合、簡単な操作で、速やかにその場所PNを詳細に確認することがし易くなるという効果を有する。
これに対して以下の変形例のように、過去に処置した各場所に対して、出血等の所定の変化を監視する監視手段を設けて、所定の変化を認識(検出)した場合には、その場所を術者に告知することができるようにしても良い。図13Aは、第1の実施形態の変形例の医療装置1Bを示す。
図13Bに示すように変化監視部51は、過去の(俯瞰)画像からその画像おける処置した場所に設定した画像エリアの特徴量を検出(抽出)する特徴量検出部52と、検出した過去の特徴量を記録する特徴量記録部53と、その特徴量を基準画像データとして、以後(現在)の俯瞰画像における同じ画像エリアの画像データの特徴量とを比較して、所定の変化の(発生の)有無を判定(又は認識)する判定部(認識部)54とを備える。
なお、図13Bにおいては、過去の画像から特徴量を検出する特徴量検出部52aと現在の画像から特徴量を検出する特徴量検出部52bとを備えた構成例で特徴量検出部52を構成しているが、一方で共通に使用する構成にしても良い。
例えば図13Aに示す現在、処置している状態が、例えば場所P3で処置を行っている場合には、過去の俯瞰画像における場所P1と、P2においてそれぞれ設定された所定の画像エリアR1,R2が設定される。
過去の場所P1の画像エリアR1で抽出された特徴量と、過去の場所P2の画像エリアR2で抽出された特徴量とが、特徴量記録部53に記録されている。
そして、判定部54は、過去の特徴量と、現在取得される俯瞰画像における同じ画像エリアR1,R2において抽出される特徴量とが予め設定した閾値以上に変化しているか否かを判定する。
術者は、その告知により、より詳細に確認することを望む場合には、その番号を指定する。CPU23は、その場所を撮像するようにメインカメラ4A、5Aを移動制御する。
この場合の告知方法として、術者に対して、より詳細に確認する、或いはメインカメラ4A,5Aを移動することを望むか否かの確認を求める表示を行うようにしても良い。
(上記特徴量検出部52a,52bを兼用した場合で示す)特徴量検出部52は、例えば図13Cに示すように画像エリアの画像の色分布を特徴量として検出する色分布特徴量検出部55aと、画像エリアの画像の形状又は輪郭を特徴量として検出する形状/輪郭特徴量検出部55bとを有する。
そして、判定部54は、これらの特徴量を比較して出血等の所定の変化の有無を判定する。例えば、過去に処置して記録した場所が出血すると、出血に対応して赤の色分布特性が大きくなるため、色分布特徴量検出部55aの検出出力から判定部54は、簡単に出血したことを判定できる。
従って、本変形例によれば、第1の実施形態の効果の他に、術者は、現在、処置している場所に対して、より集中して処置することができ、術者に対する操作性を向上することができる。又本変形例は、術者が手術し易い環境の医療装置1Bを提供することができる。
なお、本変形例において、判定部54が所定の変化有りを判定した場合には、CPU23がその変化有りの場所を2台のメインカメラ4A,5Aのうちの例えば一方が自動的に撮像するように、その一方を移動制御するように設定しても良い。そして、術者は、その一方のメインカメラにより、出血などの所定の変化があった状態を速やかに確認することができる。そして、確認結果に応じて、術者は移動した一方のメインカメラを、移動前の状態に戻す指示操作を行ったり、他方のメインカメラも一方のカメラと同様に移動させる指示操作を行うようにしても良い。
従って、例えば1つのメインカメラと内視鏡(硬性内視鏡又は軟性内視鏡)とを用いて、手術を行っている最中において、術者が内視鏡により過去に処置した場所において出血等の所定の変化を確認(発見)したような場合には、術者はメインカメラにより記録したメイン画像における過去の履歴を表示する操作を行えば良い。
そして、術者は、メインモニタ8に表示された過去のメイン画像の再生画像において、内視鏡により所定の変化を確認した場所に該当する再生画像に対して、その場所(又は番号)を特定する。そして、術者は、その番号の場所にメインカメラを移動するように指示操作を行えば良い。
なお、1つのメインカメラと内視鏡の場合で説明したが、2つのメインカメラと内視鏡の場合にも同様に適用できる。
図14は本発明の第2の実施形態の医療装置1Cを示す。本実施形態の医療装置1Cは、腹部2の腹壁にそれぞれ固定され、腹腔内全体を広角で撮像する俯瞰カメラ3Cと、拡大観察するメインカメラ4Cと、プロセッサ6Cと、俯瞰カメラ3Cによる俯瞰画像を表示する俯瞰モニタ7及びメインカメラ4Cによるメイン画像を表示するメインモニタ8と、図示しないカメラ操作I/Fとからなる。
プロセッサ6Cは、第1の実施形態のプロセッサ6又は変形例のプロセッサ6Bにおいて、俯瞰カメラ3Cとメインカメラ4Cとを有線で信号の伝送を行う構成にしている。さらに本実施形態は、以下の機能を備える。
また、俯瞰画像上で拡大観察したい場所をカーソル62でクリックすると、クリックされた場所が表示されるようにメインカメラ4Cが移動する。そして、図15の右側に示すように拡大表示される。なお、メインカメラ4Cの移動と共に目印61となる表示範囲枠も移動する。
また、メインカメラ4Cは、該メインカメラ4Cと処置対象の臓器(場所)の表面65間の距離を、メインカメラ4Cの両端に設けた赤外線出射部64a、64bから赤外線を出射することにより以下の手順で測定することができる。
図16に示すように、
1)赤外線がメインカメラ4Cの両端から、メインカメラ4Cの視野方向に沿って、視野方向の内側に向かい、それぞれ放射される。
出射された赤外線は、メインカメラ4Cからの距離に応じて重なる範囲が増大する。従って、図17に示すように、
2)メイン画像の画面上で赤外線の位置を把握し、重なり合う位置における赤外線出射の傾きから距離を算出する。
また、俯瞰画像上で拡大観察を行いたい箇所をクリックするだけで、自動的にメインカメラ4Cが移動して、目的箇所を表示させることができ、従来よりも簡便かつ素早く術者の得たい画像を表示できる。
図18は本発明の第3の実施形態の医療装置1Dを示す。本実施形態の医療装置1Dは、腹部2の腹壁に固定され、腹腔内全体を広角で撮像する俯瞰カメラ3Dと、俯瞰カメラ3Dに対する画像処理等を行うプロセッサ6Dと、俯瞰カメラ3Dによる俯瞰画像を表示する俯瞰モニタ7と、カメラ操作I/F9とからなる。なお、俯瞰モニタ7の他に、電子ズームによる拡大画像を表示する(拡大画像用)モニタ8′(点線で示す)を設けるようにしても良い。また、俯瞰カメラ3Dと、プロセッサ6Dとは有線で信号の伝送を行う構成で示しているが、無線で信号の伝送を行う構成にしても良い。
俯瞰カメラ3Dは、高画素の撮像素子を用いた撮像ユニット11dを備え、撮像ユニット11dは腹腔内全体を広角で撮像する。プロセッサ6Dは、カメラ操作I/F9の操作によって撮像ユニット11dにより撮像された俯瞰画像に対して、エリア選択を行い、エリア選択により選択されたエリアに対して電子ズームにより拡大して表示するための処理機能を備える。
本実施形態は、高画素の俯瞰カメラ3Dによって、全体を俯瞰する俯瞰カメラの機能と、上述した実施形態において説明した撮像位置が移動されるメインカメラの機能に類似した機能とを兼ねるような構成にしたものである。
また、このプロセッサ6Dは、図13Aで説明した変化監視部51を備えた画像処理ユニット21を内蔵する。また、術者は、俯瞰画像を観察しながら、処置具10により腹腔内の処置対象部位に対して処置を行うことができる。このプロセッサ6Dは、図13Aにおける制御用メモリ24,映像信号出力ユニット25を備える。
最初のステップS1において俯瞰カメラ3Dにより、腹腔内の全体を撮像し、プロセッサ6Dは俯瞰画像を俯瞰モニタ7に表示する。その表示例は、例えば図19Aのようになる。術者は、俯瞰画像を観察することにより腹腔内全体の様子を把握することができる。
術者は、ステップS2に示すように図19Aの俯瞰画像において、場所Aを処置しようとするために、より詳しく観察できる状態にする様に、カメラ操作I/F9のエリア選択の操作により場所Aを選択する。
術者は、拡大された画像を観察しながら、ステップS5に示すように処置具10を用いて処置を開始する。その後、術者は処置を終了したら、ステップS6に示すように電子ズームを停止する。そして、ステップS1の場合と同様に腹腔内の全体を撮像する俯瞰画像を俯瞰モニタ7で表示する。
その後、ステップS8に示すように変化監視部51は、この場所Aの特徴量を所定の時間間隔毎に取得し、その特徴量を基準特徴量と比較し、所定の変化の有無の判定(認識)を行う。
所定の変化の有無を判定する場合、図13Cで説明したように、例えば色分布特徴量検出部55aによる色分布の特徴量と、形状/輪郭特徴量検出部55bによる形状/輪郭の特徴量が、予め設定した閾値以上に変化しているか否かを判定する。
ステップS9において所定の変化が無い判定結果の場合には、術者は手術を続行する。例えば術者は、場所Aとは異なる他の場所Bを処置しようとする場合には(ステップS2の場合と同様の操作により)、ステップS10において図19Aの俯瞰画像において、エリア選択、つまり場所Bを選択する。
ステップS10によるエリア選択の操作によって、ステップS11に示すようにプロセッサ6Dは、選択された場所Bのエリア情報を記録する。また、ステップS12に示すようにプロセッサ6Dは選択された場所Bに対して、その場所B部分の画像を拡大する電子ズームの処理を行う。
さらに他の場所(場所Cとする)の処置を行う場合には、ステップS7以降の処理を同様に行う(但し、ステップS7の場所Aを、場所Bに読み替える。また、ステップS10の場所Bを、場所Cに読み替える)。
一方、ステップS14における場所Bの処置後に、術者は手術を終了しようとする場合には、図20に示す処理を終了することになる。
術者は、ステップS16に示すように警告情報に対応した確認等を行う。術者は、警告情報に対応して、その場所Aの状態を確認し、確認結果に応じて、処置が必要な場合にはその処置を速やかに行うことができる。また、処置が必要でない場合も、その確認ができる。ステップS16の処理の後、図20の処理を終了することになる。
また、本実施形態においては、1つの高画素の撮像ユニット11dを用いた1つのカメラ(撮像手段)により、俯瞰画像と、俯瞰画像における一部を拡大した拡大画像とを表示することができるようにしているので、複数のカメラを体腔内に設置する場合よりも簡単な作業で手術を円滑に行うことができる。
図21は本発明の第4の実施形態の医療装置1Eを示す。本実施形態の医療装置1Eは、腹部2の腹壁に固定され、腹腔内をそれぞれ狭角で撮像する第1及び第2のメインカメラ4E及び5Eと、プロセッサ6Eと、第1及び第2のメインカメラ4E及び5Eによるメイン画像をそれぞれ表示するメインモニタ8A及び8Bと、カメラ操作I/F9とからなる。なお、図21では信号の伝送を有線で行う構成例で示している。
第1及び第2のメインカメラ4E及び5Eは、パン、チルトにより撮像するエリアを変更(移動)可能とすると共に、ズームも可能とする撮像手段であり、例えば、図13Aのメインカメラ4、5と同様の構成で実現することができる。或いは、メインカメラ4E及び5Eの腹腔内での設置位置を移動できる構造にしても良い。この場合には、パン、チルトの機能は、必ずしも必要でない。
そして、この一方のメインカメラは、他方のメインカメラの撮像エリアを、その撮像エリア内に入れて、その他方のメインカメラの撮像エリアを把握することができるようにしている。
プロセッサ6Eは、図13Aにおける画像処理ユニット22,カメラ駆動制御用CPU23,制御用メモリ24,映像信号出力ユニット25とを内蔵している。また、図21に示す画像処理ユニット22は、図13Aで説明した変化監視部51を備えている。
本実施形態は、2つのメインカメラ4E、5Eを用いて、第3の実施形態と類似の機能を持つ構成例となる。
次に本実施形態による代表的な動作例を図22のフローチャートを参照して説明する。
最初のステップS21において術者は、第1のメインカメラ4Eを処置しようとするエリア(場所A)を特定し、そのエリアを撮像する撮像エリアとなるように設定する。つまり、術者は、処置する場所Aを撮像できるようにメインカメラ4Eを移動して設置したり、パン、チルト等の設定を行う。
なお、メインカメラ5Eの設定は、術者が行う方法の他に、メインカメラ4Eとの相対位置情報や、処置する場所Aに設置される処置具10の先端部等の対象物に対する形状認識等を利用して自動で設定しても良い。
次のステップS23においてプロセッサ6Eは、メインカメラ4E、5Eのエリア情報(場所Aの情報)を記録する。
次のステップS24において術者は、場所Aにおいて処置具10を用いて処置を開始する。この場合、メインカメラ4E,5Eにより撮像されたメイン画像を観察しながら行う。そして、術者は場所Aでの処置を終了する。
次のステップS26において変化監視部51は、この場所Aの特徴量を所定の時間間隔毎に取得し、その特徴量を基準特徴量と比較し、所定の変化の有無の判定(認識)を行う。
所定の変化の有無を判定する場合、図13Cで説明したように、例えば色分布特徴量検出部55aによる色分布の特徴量と、形状/輪郭特徴量検出部55bによる形状/輪郭の特徴量が、予め設定した閾値以上に変化しているか否かを判定する。図22における所定の時間間隔での変化の有無の判定処理をステップS27で示す。
また、ステップS29において、メインカメラ5Eもその場所Bを撮像するように設定する。そして、メインカメラ5Eによるメイン画像がメインモニタ8Bにて表示される。なお、ステップS30において、メインカメラ5Eは、所定の時間間隔で場所Aを撮像する状態に設定される。
一方、ステップS27の判定処理において、変化有りの判定結果の場合にはステップS33に示すようにプロセッサ6Eは、変化有りの警告情報(又は告知情報)をメインモニタ8A等で表示する。
術者は、ステップS34に示すように警告情報に対応した確認等を行う。術者は、警告情報に対応して、その場所Aの状態を確認し、確認結果に応じて、処置が必要な場合にはその処置を速やかに行うことができる。また、処置が必要でない場合も、その確認ができる。ステップS34の処理の後、図22の処理を終了することになる。
なお、上述した実施形態等を部分的に組み合わせる等して構成される実施形態も本発明に属する。
Claims (20)
- 体壁に固定され体腔内を撮像する第1の撮像部と、
前記第1の撮像部において撮像された第1の画像において所定の画像変化が発生した場合に備え、予め前記第1の画像内における所定の画像エリア又は前記所定の画像エリアを特定する座標を記録する記録部と、
前記第1の画像において、前記所定の画像変化が発生した場合に、前記記録部に記録された前記画像エリア又は前記座標を、前記第1の撮像部において撮像された前記第1の画像上に重畳して表示する表示部と、
を備えることを特徴とする医療装置。 - 前記第1の撮像部は、前記体腔内を広角に撮像する撮像部であり、
前記体腔内を前記第1の撮像部よりも狭角で撮像する第2の撮像部と、前記第2の撮像部における所定の撮像位置情報及び撮像方向情報を取得する情報取得部と、を更に備え、
前記記録部は、前記所定の画像変化が発生した場合に備え、前記第2の撮像部により撮像された撮像画像と前記撮像位置情報及び前記撮像方向情報とを、前記画像エリア又は前記座標に対応づけて記録することを特徴とする請求項1に記載の医療装置。 - 前記記録部に記録された前記撮像位置情報及び前記撮像方向情報に基づいて、前記第2の撮像部を移動させる移動制御部を更に備えることを特徴とする請求項2に記載の医療装置。
- 前記移動制御部は、前記表示部に記録された前記画像エリア又は前記座標の選択指示により前記第2の撮像部の移動を制御することを特徴とする請求項3に記載の医療装置。
- 前記移動制御部は、前記表示部に記録された前記画像エリア又は前記座標の選択指示により前記第2の撮像部の撮像倍率を上げることを特徴とする請求項3に記載の医療装置。
- さらに前記第1の撮像部の撮像範囲内において処置を行う処置具を有し、
前記処置具により処置した前記第2の撮像部により撮像した撮像画像を前記撮像エリアまたは前記座標に対応付けて前記記録部に記録することを特徴とする請求項3に記載の医療装置。 - 前記表示部は、前記第1の撮像部により撮像された前記第1の画像と、前記第2の撮像部により撮像された前記撮像画像とを1画面において分割して表示することを特徴とする請求項2に記載の医療装置。
- 前記表示部は、前記第1の撮像部により撮像された前記第1の画像と、前記第2の撮像部により撮像された前記撮像画像とを1画面において一方を縮小して表示することを特徴とする請求項2に記載の医療装置。
- 前記第1の画像において前記所定の画像変化を発生した場合に備え、予め前記画像エリア又は前記座標を前記記録部に記録する場合、前記画像エリア又は前記座標を前記第2の撮像部が撮像する撮像位置に設定した状態で、前記第2の撮像部による撮像画像、前記撮像位置情報及び前記撮像方向情報を前記画像エリア又は前記座標に対応づけて記録することを特徴とする請求項2に記載の医療装置。
- 前記第1の撮像部において撮像された第1の画像に対して重畳して表示する指示操作が行われた場合、指示操作前に前記記録部に記録された過去の前記記画像エリア又は前記座標の履歴情報を表示することを特徴とする請求項2に記載の医療装置。
- さらに、前記記録部に記録された過去の画像エリアに対応する現在の画像エリアの画像情報が、前記過去の画像エリアの画像情報から前記所定の画像変化が発生したか否かを監視する監視部を有することを特徴とする請求項2に記載の医療装置。
- さらに、前記記録部に記録された過去の画像エリアに対応する現在の画像エリアの画像情報が、前記過去の画像エリアの画像情報から前記所定の画像変化が発生したか否かを監視する監視部を有することを特徴とする請求項6に記載の医療装置。
- 前記監視部は、前記所定の画像変化として、所定値以上の出血が発生したか否かを監視する監視部を有することを特徴とする請求項12に記載の医療装置。
- さらに、前記監視部が前記所定の画像変化が発生したと判定した場合には、該所定の画像変化が発生したと判定した画像エリアを、前記第2の撮像部が撮像するように該第2の撮像部を移動制御することを特徴とする請求項11に記載の医療装置。
- さらに、前記監視部が前記所定の画像変化が発生したと判定した場合には、該所定の画像変化が発生したと判定した画像エリアを、前記第2の撮像部が撮像するように該第2の撮像部を移動制御することを特徴とする請求項13に記載の医療装置。
- 前記監視部は、処置を行う処置具による処置の終了時に前記記録部に記録した前記過去の画像エリアの画像情報から前記所定の画像変化として、所定値以上の出血が発生したと判定した場合には、前記出血が発生したと判定した画像エリアを、前記第2の撮像部が撮像するように該第2の撮像部を移動制御することを特徴とする請求項14に記載の医療装置。
- 前記監視部は、前記過去の画像エリアの画像の第1の特徴量と現在の画像エリアの画像の第2の特徴量とを検出する特徴量検出部と、前記第1の特徴量と前記第2の特徴量とを比較して前記所定の画像変化の発生を判定する判定部とを有することを特徴とする請求項11に記載の医療装置。
- 前記監視部は、前記過去の画像エリアの画像の第1の特徴量と現在の画像エリアの画像の第2の特徴量とを検出する特徴量検出部と、前記第1の特徴量と前記第2の特徴量とを比較して前記所定の画像変化として、出血の発生を判定する判定部とを有することを特徴とする請求項11に記載の医療装置。
- 前記特徴量検出部は、前記過去の画像エリアの画像における色分布特徴量と現在の画像エリアの画像における色分布の特徴量とを検出する色分布特徴量検出部、または前記前記過去の画像エリアの画像における形状若しくは輪郭の特徴量と現在の画像エリアの画像における形状若しくは輪郭の特徴量とを検出する形状/輪郭特徴量検出部を有することを特徴とする請求項17に記載の医療装置。
- 前記特徴量検出部は、前記過去の画像エリアの画像における色分布特徴量と現在の画像エリアの画像における色分布の特徴量とを検出する色分布特徴量検出部、または前記前記過去の画像エリアの画像における形状若しくは輪郭の特徴量と現在の画像エリアの画像における形状若しくは輪郭の特徴量とを検出する形状/輪郭特徴量検出部を有することを特徴とする請求項18に記載の医療装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011537782A JP4861540B2 (ja) | 2010-05-10 | 2011-03-31 | 医療装置 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010108425 | 2010-05-10 | ||
| JP2010108425 | 2010-05-10 | ||
| PCT/JP2011/058317 WO2011142189A1 (ja) | 2010-05-10 | 2011-03-31 | 医療装置 |
| JP2011537782A JP4861540B2 (ja) | 2010-05-10 | 2011-03-31 | 医療装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP4861540B2 true JP4861540B2 (ja) | 2012-01-25 |
| JPWO2011142189A1 JPWO2011142189A1 (ja) | 2013-07-22 |
Family
ID=44914245
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011537782A Expired - Fee Related JP4861540B2 (ja) | 2010-05-10 | 2011-03-31 | 医療装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US8355043B2 (ja) |
| EP (1) | EP2425761B1 (ja) |
| JP (1) | JP4861540B2 (ja) |
| WO (1) | WO2011142189A1 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014002565A1 (ja) * | 2012-06-26 | 2014-01-03 | ソニー株式会社 | 撮像制御装置、記憶システムおよび記憶媒体 |
| WO2015020093A1 (ja) * | 2013-08-08 | 2015-02-12 | オリンパスメディカルシステムズ株式会社 | 手術画像観察装置 |
| JP2015529489A (ja) * | 2012-07-25 | 2015-10-08 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | 手術用システムにおける効率的且つインタラクティブな出血検出 |
| WO2018159363A1 (ja) * | 2017-03-01 | 2018-09-07 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
| JP7417331B1 (ja) | 2023-04-21 | 2024-01-18 | 株式会社Asue | 画像処理装置およびカメラシステム |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2829218B1 (en) * | 2012-03-17 | 2017-05-03 | Waseda University | Image completion system for in-image cutoff region, image processing device, and program therefor |
| US10110785B2 (en) * | 2012-08-10 | 2018-10-23 | Karl Storz Imaging, Inc. | Deployable imaging system equipped with solid state imager |
| DE102012025100A1 (de) * | 2012-12-20 | 2014-06-26 | avateramedical GmBH | Entkoppeltes Mehrkamerasystem für die minimal-invasive Chirurgie |
| CA2940814C (en) | 2014-02-27 | 2019-09-03 | University Surgical Associates, Inc. | Interactive display for surgery |
| KR20160032586A (ko) * | 2014-09-16 | 2016-03-24 | 삼성전자주식회사 | 관심영역 크기 전이 모델 기반의 컴퓨터 보조 진단 장치 및 방법 |
| US10750930B2 (en) | 2014-11-06 | 2020-08-25 | Sony Corporation | Endoscope apparatus and method for operating endoscope apparatus |
| JP6485694B2 (ja) * | 2015-03-26 | 2019-03-20 | ソニー株式会社 | 情報処理装置および方法 |
| JP6629047B2 (ja) * | 2015-11-13 | 2020-01-15 | 国立大学法人千葉大学 | 画像合成装置および画像合成装置の作動方法 |
| DE102016100566B4 (de) | 2016-01-14 | 2024-05-23 | Carl Zeiss Meditec Ag | Assistenzsystem für ein medizinisch optisches Beobachtungsgerät und Verfahren zum Verbessern der Sichtbarkeit einer Blutaustrittsstelle in einem mit einem medizinisch optischen Beobachtungsgerät gewonnenen Bild und medizinisch optisches Beobachtungsgerätesystem |
| WO2017138208A1 (ja) | 2016-02-10 | 2017-08-17 | オリンパス株式会社 | 内視鏡システム |
| JP6818142B2 (ja) * | 2017-06-30 | 2021-01-20 | シャープ株式会社 | 内視鏡装置、内視鏡システム、投光装置、および流体処理装置 |
| JP7240913B2 (ja) * | 2019-03-18 | 2023-03-16 | 株式会社キーエンス | 画像測定装置 |
| US11826101B2 (en) * | 2019-08-06 | 2023-11-28 | Alcon Inc. | Scene camera systems and methods for vitreoretinal surgery |
| WO2021152785A1 (ja) * | 2020-01-30 | 2021-08-05 | 株式会社インキュビット | 動画再生システム |
| US12042944B2 (en) * | 2020-03-30 | 2024-07-23 | Depuy Ireland Unlimited Company | Robotic surgical system with graphical user interface |
| JP7658724B2 (ja) * | 2020-06-29 | 2025-04-08 | キヤノンメディカルシステムズ株式会社 | 手術支援システム及び支援システムの作動方法 |
| US20230110791A1 (en) * | 2021-09-29 | 2023-04-13 | Cilag Gmbh International | Instrument Control Imaging Systems for Visualization of Upcoming Surgical Procedure Steps |
| US11937799B2 (en) | 2021-09-29 | 2024-03-26 | Cilag Gmbh International | Surgical sealing systems for instrument stabilization |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10314104A (ja) * | 1997-05-14 | 1998-12-02 | Olympus Optical Co Ltd | 内視鏡の視野変換装置 |
| JP2006223375A (ja) * | 2005-02-15 | 2006-08-31 | Olympus Corp | 手術データ記録装置、手術データ表示装置及び手術データ記録表示方法 |
| JP2007222238A (ja) * | 2006-02-21 | 2007-09-06 | Fujinon Corp | 体腔内観察装置 |
| JP2009508567A (ja) * | 2005-09-15 | 2009-03-05 | ギブン イメージング リミテッド | データストリームを表示するシステムおよび方法 |
| JP2011036372A (ja) * | 2009-08-10 | 2011-02-24 | Tohoku Otas Kk | 医療画像記録装置 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5846185A (en) * | 1996-09-17 | 1998-12-08 | Carollo; Jerome T. | High resolution, wide field of view endoscopic viewing system |
| US6930705B2 (en) * | 2000-11-14 | 2005-08-16 | Pentax Corporation | Image search device |
| JP4493386B2 (ja) * | 2003-04-25 | 2010-06-30 | オリンパス株式会社 | 画像表示装置、画像表示方法および画像表示プログラム |
| JP2005319086A (ja) | 2004-05-10 | 2005-11-17 | Fujinon Corp | 体腔内観察システム |
| JP4418400B2 (ja) | 2005-05-20 | 2010-02-17 | オリンパスメディカルシステムズ株式会社 | 画像表示装置 |
| CN101217909B (zh) * | 2005-07-08 | 2010-05-19 | 奥林巴斯株式会社 | 生物体内信息取得装置和生物体内信息取得系统 |
| WO2007077672A1 (ja) * | 2005-12-28 | 2007-07-12 | Olympus Medical Systems Corp. | 画像処理装置および当該画像処理装置における画像処理方法 |
| US8475361B2 (en) * | 2006-01-06 | 2013-07-02 | Olympus Medical Systems Corp. | Percutaneous or natural-orifice medical procedure and system therefor |
| GB0613576D0 (en) * | 2006-07-10 | 2006-08-16 | Leuven K U Res & Dev | Endoscopic vision system |
| JP5121204B2 (ja) * | 2006-10-11 | 2013-01-16 | オリンパス株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
| JP2008307226A (ja) * | 2007-06-14 | 2008-12-25 | Olympus Medical Systems Corp | 内視鏡システム |
| JP4472728B2 (ja) * | 2007-06-14 | 2010-06-02 | オリンパスメディカルシステムズ株式会社 | 内視鏡システム |
| JP4472727B2 (ja) * | 2007-06-14 | 2010-06-02 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置 |
| US7666181B2 (en) * | 2008-08-02 | 2010-02-23 | Tarek Ahmed Nabil Abou El Kheir | Multi-purpose minimally invasive instrument that uses a micro entry port |
| JP5250391B2 (ja) | 2008-10-31 | 2013-07-31 | セコム株式会社 | 取引監視装置 |
-
2011
- 2011-03-31 JP JP2011537782A patent/JP4861540B2/ja not_active Expired - Fee Related
- 2011-03-31 EP EP11780446.8A patent/EP2425761B1/en not_active Not-in-force
- 2011-03-31 WO PCT/JP2011/058317 patent/WO2011142189A1/ja not_active Ceased
- 2011-09-08 US US13/227,773 patent/US8355043B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10314104A (ja) * | 1997-05-14 | 1998-12-02 | Olympus Optical Co Ltd | 内視鏡の視野変換装置 |
| JP2006223375A (ja) * | 2005-02-15 | 2006-08-31 | Olympus Corp | 手術データ記録装置、手術データ表示装置及び手術データ記録表示方法 |
| JP2009508567A (ja) * | 2005-09-15 | 2009-03-05 | ギブン イメージング リミテッド | データストリームを表示するシステムおよび方法 |
| JP2007222238A (ja) * | 2006-02-21 | 2007-09-06 | Fujinon Corp | 体腔内観察装置 |
| JP2011036372A (ja) * | 2009-08-10 | 2011-02-24 | Tohoku Otas Kk | 医療画像記録装置 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2014002565A1 (ja) * | 2012-06-26 | 2016-05-30 | ソニー株式会社 | 撮像制御装置、記憶システムおよび記憶媒体 |
| US9911186B2 (en) | 2012-06-26 | 2018-03-06 | Sony Corporation | Imaging control apparatus, storage system, and storage medium |
| WO2014002565A1 (ja) * | 2012-06-26 | 2014-01-03 | ソニー株式会社 | 撮像制御装置、記憶システムおよび記憶媒体 |
| US10772482B2 (en) | 2012-07-25 | 2020-09-15 | Intuitive Surgical Operations, Inc. | Efficient and interactive bleeding detection in a surgical system |
| JP2015529489A (ja) * | 2012-07-25 | 2015-10-08 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | 手術用システムにおける効率的且つインタラクティブな出血検出 |
| US9877633B2 (en) | 2012-07-25 | 2018-01-30 | Intuitive Surgical Operations, Inc | Efficient and interactive bleeding detection in a surgical system |
| WO2015020093A1 (ja) * | 2013-08-08 | 2015-02-12 | オリンパスメディカルシステムズ株式会社 | 手術画像観察装置 |
| WO2018159363A1 (ja) * | 2017-03-01 | 2018-09-07 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
| JPWO2018159363A1 (ja) * | 2017-03-01 | 2019-12-19 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
| US11033175B2 (en) | 2017-03-01 | 2021-06-15 | Fujifilm Corporation | Endoscope system and operation method therefor |
| JP7417331B1 (ja) | 2023-04-21 | 2024-01-18 | 株式会社Asue | 画像処理装置およびカメラシステム |
| WO2024219189A1 (ja) * | 2023-04-21 | 2024-10-24 | 株式会社Asue | 画像処理装置およびカメラシステム |
| JP2024155587A (ja) * | 2023-04-21 | 2024-10-31 | 株式会社Asue | 画像処理装置およびカメラシステム |
| JP2024155710A (ja) * | 2023-04-21 | 2024-10-31 | 株式会社Asue | 画像処理装置およびカメラシステム |
| JP7623032B2 (ja) | 2023-04-21 | 2025-01-28 | 株式会社Asue | 画像処理装置およびカメラシステム |
Also Published As
| Publication number | Publication date |
|---|---|
| US8355043B2 (en) | 2013-01-15 |
| WO2011142189A1 (ja) | 2011-11-17 |
| EP2425761A4 (en) | 2012-03-28 |
| EP2425761A1 (en) | 2012-03-07 |
| US20120062717A1 (en) | 2012-03-15 |
| EP2425761B1 (en) | 2015-12-30 |
| JPWO2011142189A1 (ja) | 2013-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4861540B2 (ja) | 医療装置 | |
| EP4062420B1 (en) | Interactive information overlay on multiple surgical displays | |
| US20250176797A1 (en) | Augmented medical vision systems and methods | |
| WO2022070058A1 (en) | Cooperative surgical displays | |
| US7794396B2 (en) | System and method for the automated zooming of a surgical camera | |
| EP4038621A1 (en) | Tiered system display control based on capacity and user operation | |
| JP7392654B2 (ja) | 医療用観察システム、医療用観察装置及び医療用観察方法 | |
| CN114051387A (zh) | 医学观察系统、控制装置和控制方法 | |
| WO2017159335A1 (ja) | 医療用画像処理装置、医療用画像処理方法、プログラム | |
| WO2020261956A1 (en) | Medical tool control system, controller, and non-transitory computer readable storage | |
| JPWO2018168261A1 (ja) | 制御装置、制御方法、及びプログラム | |
| US11638000B2 (en) | Medical observation apparatus | |
| JP2023507063A (ja) | 手術中に画像取込装置を制御するための方法、装置、およびシステム | |
| US20210019921A1 (en) | Image processing device, image processing method, and program | |
| WO2018123613A1 (ja) | 医療用画像処理装置、医療用画像処理方法、プログラム | |
| CN109565565B (zh) | 信息处理装置、信息处理方法和非暂态计算机可读介质 | |
| US20250016443A1 (en) | Imaging device, imaging control device, and imaging method | |
| US10694141B2 (en) | Multi-camera system, camera, camera processing method, confirmation device, and confirmation device processing method | |
| JPWO2019155931A1 (ja) | 手術システム、画像処理装置及び画像処理方法 | |
| JP7456385B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| WO2022113811A1 (ja) | 手術システム、手術用制御装置、制御方法、及び、プログラム | |
| WO2020009127A1 (ja) | 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20111017 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111025 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111104 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4861540 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141111 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |