Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4861540B2 - 医療装置 - Google Patents
[go: Go Back, main page]

JP4861540B2 - 医療装置 - Google Patents

医療装置 Download PDF

Info

Publication number
JP4861540B2
JP4861540B2 JP2011537782A JP2011537782A JP4861540B2 JP 4861540 B2 JP4861540 B2 JP 4861540B2 JP 2011537782 A JP2011537782 A JP 2011537782A JP 2011537782 A JP2011537782 A JP 2011537782A JP 4861540 B2 JP4861540 B2 JP 4861540B2
Authority
JP
Japan
Prior art keywords
image
unit
imaging
main
image area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011537782A
Other languages
English (en)
Other versions
JPWO2011142189A1 (ja
Inventor
英明 木内
勉 浦川
順一 大西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2011537782A priority Critical patent/JP4861540B2/ja
Application granted granted Critical
Publication of JP4861540B2 publication Critical patent/JP4861540B2/ja
Publication of JPWO2011142189A1 publication Critical patent/JPWO2011142189A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00174Optical arrangements characterised by the viewing angles
    • A61B1/00181Optical arrangements characterised by the viewing angles for multiple fixed viewing angles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods
    • A61B17/00234Surgical instruments, devices or methods for minimally invasive surgery
    • A61B2017/00238Type of minimally invasive operation
    • A61B2017/00283Type of minimally invasive operation with a device releasably connected to an inner wall of the abdomen during surgery, e.g. an illumination source
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/371Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)

Description

本発明は体内を撮像手段により撮像し、手術等を行うための医療装置に関する。
近年、体内に内視鏡を挿入し、内視鏡の観察下で病変部の切除等の手術を行う内視鏡装置による医療装置が広く用いられるようになった。
例えば、腹腔内の手術を行う場合、開腹することなく、トラカールによる刺入孔に内視鏡を挿入し、内視鏡の観察下で処置具等により患部の切除等の手術を行うことが広く行われるようになっている。
このように内視鏡観察下での手術を行い易くするために、第1の従来例としての日本国特開2008−307226号公報においては、体腔内において撮像するカメラと、カメラに接続されると共に腹壁の異なる面によって腹壁を挟持してカメラを体腔内に固定するカメラ側磁石及び固定用磁石と、カメラの制御を行うカメラコントロールユニットを備えた内視鏡システムが開示されている。
また、第2の従来例としての日本国特開2005−319086号公報においては、LED、バッテリ、観察光学系、及び映像信号送信部を有する観察ユニットを体壁に固定し、観察ユニットの観察光学系により撮像された体腔内映像の映像信号を映像信号送信部により無線にてモニタ側の映像信号処理機に送信する体腔内観察システムが開示されている。
また、第3の従来例としての日本国特開2006−320650号公報においては、記録部から画像を取得し、取得した画像に対する各種画像処理を制御し、処理結果の画像を記録部に記録させる画像処理制御部と、時系列で連続する画像の相関値を算出するとともに、算出した相関値に応じて各画像を画像グループに分類する画像分類部と、各画像から所定の特徴を有する特徴画像領域を検出すると共に、検出した特徴画像領域を有する特徴画像を注目画像として検出する注目画像検出部と、各画像グループ内の注目画像と先頭画像とを代表画像として抽出すると共に、抽出した各代表画像に表示レートを設定する代表画像抽出部と、設定された表示レートに応じて一連の代表画像を順次表示させる制御を行う画像表示制御部と、を備える画像表示装置が開示されている。
第1の従来例のように腹壁に固定して体腔内を撮像する撮像手段としてのカメラにより体腔内を広範囲に観察できるような状態にし、さらに処置具により実際に処置する部分を内視鏡等により詳しく観察できる状態にして処置を行うことにより、手術を円滑に行うことができる。
一方、処置した部位(第1の部位とする)から次に処置すべき第2の部位に移動した後に、第1の部位が所定の変化、具体的には出血が発生したような場合には、術者は出血した状態をより詳細に確認することを速やかに行えるようにすることが望まれる。術者は、確認結果に応じて第1の部位の出血に対応した処置を行うことになる。
しかしながら、上記の第1〜第3の従来例においては、第1の部位が出血したような場合においては、術者に対してその出血したことの詳細な確認を速やかに行えるようにすることができない。
具体的には、第1及び第2の従来例では、カメラ又は観察ユニットにより第1の部位が出血した画像を広角な画角状態により表示することができるが、より詳細に確認しようとする場合には、第1の部位を詳細に観察することができるように内視鏡等を移動しなければならない。
しかし、第1及び第2の従来例は、第1の部位を撮像する情報を記録していないので、内視鏡等を速やかに第1の部位を観察できるように設定することができない。このため、予め第1の部位に関連する情報を記録しておき、出血が発生した場合には、記録しておいた第1の部位に関連する情報を表示して、術者が速やかに第1の部位の出血等を確認し易くすることが望まれる。
なお、第3の従来例は、蓄積した過去の画像において、目画像検出部は画像処理により出血した出血部位が有るか否かを判断し、画像処理制御部は、出血部位が有るとその位置情報を画像記録部に記録することを開示している。しかし、この従来例は、過去の画像における出血部位を抽出しようとするものであり、手術中において術者に対して出血部位の詳細を速やかに確認し易くするようなことを開示するものでない。
本発明は上述した点に鑑みてなされたもので、体腔内を撮像した画像において出血等の所定の変化が発生した場合に備え、予め所定の画像エリア又は座標を記録しておき、所定の変化が発生した場合に、記録しておいた画像エリア又は座標を、重畳して表示することができる医療装置を提供することを目的とする。
本発明の一態様に係る医療装置は、体壁に固定され体腔内を撮像する第1の撮像部と、前記第1の撮像部において撮像された第1の画像において所定の画像変化が発生した場合に備え、予め前記第1の画像内における所定の画像エリア又は前記所定の画像エリアを特定する座標を記録する記録部と、前記第1の画像において、所定の画像変化が発生した場合に、前記記録部に記録された前記画像エリア又は前記座標を、前記第1の撮像部において撮像された前記第1の画像上に重畳して表示する表示部と、を備え
図1は本発明の第1の実施形態を備えた医療システムの全体構成を示す構成図。 図2は図1の医療装置における内部構成を示すブロック図。 図3は第1の実施形態における代表的な動作説明図。 図4は俯瞰モニタでの表示による動作の説明図。 図5はメインモニタでの表示例を示す図。 図6は現在の設定位置からメインカメラを移動し、移動後のメインカメラにより撮像したメイン画像の表示例を示す図。 図7は俯瞰画像上におけるメインカメラによる撮像位置を特定するための説明図。 図8は処置具を利用して俯瞰画像上におけるメインカメラによる撮像位置を特定するための説明図。 図9は光を用いて俯瞰画像上におけるメインカメラによる撮像位置を特定するための説明図。 図10は画像認識により俯瞰画像上におけるメインカメラによる撮像位置を特定する説明図。 図11は俯瞰画像上に映るメインカメラの情報を利用して俯瞰画像上におけるメインカメラによる撮像位置を特定する説明図。 図12Aは2つのメイン画像をメインモニタで表示する様子を示す図。 図12Bは1つのモニタに俯瞰画像とメイン画像を表示する様子を示す図。 図12Cは1つのモニタに俯瞰画像と2つのメイン画像を表示する様子を示す図。 図12Dは1つのモニタにメイン画像と俯瞰画像とを親子画像で表示する様子を示す図。 図13Aは本発明の第1の実施形態の変形例の医療装置の全体構成図。 図13Bは変化監視部の構成例を示すブロック図。 図13Cは特徴量検出部の構成例を示すブロック図。 図14は本発明の第2の実施形態の変形例の医療装置の全体構成図。 図15は俯瞰モニタとメインモニタでの表示画像を示す図。 図16はメインカメラの両端から赤外線を出射する様子の説明図。 図17は赤外線の重なりから距離を算出する説明図。 図18は本発明の第3の実施形態の医療システムの全体構成を示す構成図。 図19Aは俯瞰モニタに表示される俯瞰画像例を示す図。 図19Bは俯瞰モニタ等に表示される拡大画像例を示す図。 図20は第3の実施形態の代表的な処理内容を示すフローチャート。 図21は本発明の第4の実施形態の医療システムの全体構成を示す構成図。 図22は第4の実施形態の代表的な処理内容を示すフローチャート。
以下、図面を参照して本発明の実施形態を説明する。
(第1の実施形態)
図1に示すように本発明の第1の実施形態の医療装置1は、患者の腹部2の腹壁にそれぞれ固定され、腹腔内を広角で撮像する俯瞰カメラ部3と、腹腔内を(俯瞰カメラ部3に比較して)狭角で撮像する第1メインカメラ部4及び第2カメラ部5を有する。
また、この医療装置1は、これらの俯瞰カメラ部3,メインカメラ部4、5に対する画像処理等を行うプロセッサ6と、俯瞰カメラ部3により撮像した画像(俯瞰画像という)を表示する俯瞰モニタ7と、メインカメラ部4、5により撮像した画像(メイン画像という)を表示するメインモニタ8とを有する。
また、この医療装置1は、術者が俯瞰カメラ部3,メインカメラ部4、5により撮像した画像の記録と、メインカメラ部4,5の撮像位置、撮像方向を所望とする場所へ移動等の指示操作を行うカメラ操作インターフェース(カメラ操作I/Fと略記)9を有する。
なお、本実施形態においては、俯瞰カメラ部3,メインカメラ部4、5を腹部2の内部にそれぞれ配置される第1の撮像手段としての俯瞰カメラ3A、第2の撮像手段としてのメインカメラ4A、5Aと、腹部2の外部に配置される受信ユニット3B、送受信ユニット4B,5Bとによりそれぞれ構成した例で示している。
なお、本実施形態は、このような無線で信号を伝送する構成に限定されるものでなく、俯瞰カメラ3A、メインカメラ4A、5Aからそれぞれ信号線を延出して、プロセッサ6と接続して信号伝送を有線で行う構成(例えば図14の構成)にしても良い。
有線で信号伝送を行う構成にした場合には、受信ユニット3B、送受信ユニット4B,5Bは必要ない。なお、本実施形態においては、第2の撮像手段として2つのメインカメラ4A,5Aを備えた構成で示している。
2つのメインカメラ4A,5Aを備えた構成とすることにより、1つの場合よりも例えば処置具により病変部を処置している様子をより確実に把握又は認識することができる。1つの場合には、1つの方向からの撮像画像となるのに対して、2つの場合には異なる2つの方向からの撮像画像が得られるので、処置具の状態をより詳細に把握、認識することができる。また、病変部の状態もより詳細に把握、認識することができる。
しかし、本実施形態は、メインカメラが、2つの場合に限定されるものでなく、3つ以上でも良いし、逆に1つの場合にも適用できる。
また、図1に示すように俯瞰カメラ3A、メインカメラ4A、5Aを腹部2内部に固定する操作は、例えば特開2008−307226号公報に開示された方法によりトラカール10を用いて腹部2に形成した穿刺孔に、図示しない内視鏡等を用いて行うことができる。
俯瞰カメラ3A、メインカメラ4A、5A側と、受信ユニット3B、送受信ユニット4B,5B側とは、例えば磁石を用いた磁力により腹壁を挟む様な状態で、着脱可能に固定することができるが、接着剤などの他の固定手段により固定しても良い。
なお、図1においては、俯瞰カメラ3A、メインカメラ4A、5Aを腹部2内部に固定した後、トラカール10に処置具19を挿通して、処置対象の部位(場所という)に対して処置を行う様子を示している。
俯瞰カメラ3A、メインカメラ4A、5Aは、例えば略円筒形状の外装容器内に、図2に示すように撮像機能を備えた撮像ユニット11a〜11c、撮像する部分を照明する照明ユニット12a〜12c及び撮像ユニット11a〜11c等にそれぞれ電源を供給するバッテリなどにより構成される電源ユニット13a〜13cとをそれぞれ収納している。
また、俯瞰カメラ3Aは、送信ユニット14aを内蔵し、撮像ユニット11aにより撮像した撮像画像としての俯瞰画像の画像信号を送信ユニット14aにより無線で送信する。受信ユニット3Bは、送信ユニット14aにより送信された画像信号を受信してプロセッサ6内の(俯瞰用)画像処理ユニット21に出力する。
メインカメラ4A、5Aは、さらに送受信ユニット15b、15cと、カメラ駆動ユニット16a、16bと、位置検出ユニット17a,17bと、識別情報発生ユニット(図面中ではIDと略記)18a,18bとを内蔵している。
なお、第2メインカメラ5Aは、識別情報発生ユニット18bにより発生する識別情報が異なるのみでその構成は、第1メインカメラ4Aと同じであり、図2では内部構成を簡略的に示している。
メインカメラ4A、5Aは、撮像ユニット11b、11cでそれぞれ撮像した撮像画像としてのメイン画像の画像信号を送受信ユニット15a、15b(内部の送信部)を介して無線で送信し、送受信ユニット4B,5B(内部の受信部)は送信された画像信号を受信してプロセッサ6内の(メイン用)画像処理ユニット22に出力する。
なお、送受信ユニット15a、15bは、画像信号を送信する場合、識別情報を付加して送信し、(メイン用)画像処理ユニット22は、識別情報に応じてメイン画像の管理を行う。
また、メインカメラ4A、5Aは、上記のように俯瞰カメラ3Aの構成に比較して、撮像する場所を移動するためのカメラ駆動ユニット16a、16bと、移動した場所を撮像するカメラ駆動ユニット16a、16bの駆動情報(設定情報とも言う)を検出する位置検出ユニット17a、17bを備えている。
俯瞰カメラ3Aは、広角の観察視野(例えば180°に近い観察視野)を有し、腹壁に固定された状態で、腹腔内を広角の画角状態で広範囲に撮像した俯瞰画像となり、手術中においては固定された広角の画角状態で使用される。
図1にて模式的に示すように、俯瞰画像中において、メインカメラ4A、5Aをその観察視野内で撮像したメインカメラ画像(簡略化して4A、5Aで示す)が表示されている。
これに対して、メインカメラ4A、5Aは、俯瞰カメラ3Aに比較するとより狭い観察視野(狭角)を有し、上記のカメラ駆動ユニット16a、16bにより以下に説明するように観察視野(撮像範囲)を移動設定することができる。
そして、カメラ駆動ユニット16a、16bにより、メインカメラ4A、5Aは、腹腔内におけるカメラ駆動ユニット16a、16bの駆動範囲内で所望とする観察視野に設定でき、かつ適度の画像サイズに設定できるので、術者は詳細に観察することができる。図1は、例えば一方のメインカメラ5Aによるメイン画像の表示例を示す。
本実施形態においては、俯瞰画像により術者は腹腔内を広角で俯瞰する(見渡す)ことができ、さらに2つのメインカメラ4A、5Aにより任意の場所を詳細に観察することができるようになる。
これにより、従来例における処置する場所をスコープ(内視鏡)により観察できる視野内に設定して保持するスコピスト(内視鏡保持者)を不用にできる。このため、術者は、術者の近くの場所を占有するスコピストがいないため、スコピストが占有する場所に制約されないで手術をより行い易くなるメリットを有する。
カメラ駆動ユニット16a、16bは、撮像ユニット11b、11c及び照明ユニット12b、12cをパン(左右方向に首振り)機能、チルト(上下方向に傾ける)機能を有すると共に、撮像ユニット11b、11cによる拡大観察を可能とするズーム機能を備えている。
つまり、カメラ駆動ユニット16a、16bは、パン、チルトにより撮像手段としての撮像ユニット11b、11cを所望とする場所を撮像できるように移動設定することができ、かつズーム機能により撮像する画角を変更、例えば俯瞰カメラ3Aの場合よりも撮像倍率を増大して、注目する患部等をより詳細に観察することが出来る状態に設定することができる。
また、カメラ駆動ユニット16a、16bによるパン、チルト、ズームの設定情報(換言すると、撮像ユニット11b、11cの撮像位置の情報、撮像方向の情報、さらに撮像の画角のズーム情報)は、情報取得手段を構成する位置検出ユニット17a、17bにより検出される。
なお、位置検出ユニット17a、17bにより検出されたカメラ駆動ユニット16a、16bの設定情報は、例えば術者による画像記録操作により撮像される場所と共に、制御用メモリ24において(例えば画像記録の指示操作時の時刻と共に)履歴情報として記録される。
術者は、カメラ操作I/F9に設けられたパンSW9a、チルトSW9b、ズームSW9cを操作することにより、パン、チルト、ズームの指示信号がプロセッサ6内部のカメラ駆動制御用CPU(単にCPUと略記)23に出力される。CPU23は、医療装置1を構成するプロセッサ6、俯瞰カメラ3A、メインカメラ4A,5A、カメラ操作I/F9の制御を行う。
また、CPU23は、パン、チルト、ズームの指示信号に応じたモータ駆動信号をモータ駆動信号発生部23aにより発生し、送受信ユニット4B又は4Cを介してメインカメラ4A又は5Aのカメラ駆動ユニット16a又は16bを駆動する制御を行う。そして、メインカメラ4A又は5Aは、指示信号に対応した場所を撮像する状態に設定される。
つまり、メインカメラ4A又は5Aのカメラ駆動ユニット16a又は16bは、術者がカメラ操作I/F9により指示操作した目標の場所を撮像する(撮像)設定状態になる。
カメラ駆動ユニット16a又は16bを駆動した場合、その駆動により所定の場所を撮像するように設定された設定情報は、位置検出ユニット17a又は17bにより検出され、その検出信号は送受信ユニット15a又は15b、送受信ユニット4B又は5Bを介して位置情報取得部23bに出力される。
この位置情報取得部23bは、位置検出ユニット17a、17bによりパン、チルト、ズームの検出信号から、パン、チルト、ズームの設定値、換言すると、メインカメラ4A、5Aの撮像位置、撮像方向の情報、ズーム情報(からなる設定情報)を取得する。
そして、位置情報取得部23bは、術者により画像記録の指示操作が行われると、カメラ駆動ユニット16a及び16bの設定情報は、上記制御用メモリ24に時系列に記録(記憶)される。なお、制御用メモリ24の代わりに、位置情報取得部23bのメモリ等の記録部に記録するようにしても良い。
また、カメラ操作I/F9には、画像の記録指示操作を行う画像記録SW9d、2つのメインカメラ4A又は5Aによりそれぞれ撮像されたメイン画像のいずれをメインモニタ8に表示するか等の画像選択を行う画像選択SW9eと、さらに必要に応じて情報を入力する情報入力部9fとが設けてある。
カメラ操作I/F9としては、図2に示すようにメインカメラ4A、メインカメラ5Aに対して共通に使用する構成にしても良い。この場合には、メインカメラ4A、メインカメラ5Aを指定(選択)する図示しない選択スイッチを設ける。又は、カメラ操作I/F9として図1に示すようにメインカメラ4A及び5Aに対してそれぞれ独立してパン、チルト、ズームの操作を行う(第1)カメラ操作I/F9G,(第2)カメラ操作I/F9G′を設けた構成にしても良い。
術者は、上記の画像記録SW9dを操作することにより俯瞰カメラ3Aの俯瞰画像、メインカメラ4A及び5Aのメイン画像の記録を行うことができる。
また、図3を参照して後述するようにメインカメラ4A,5Aが処置しようとする場所を撮像する状態に設定後において、処置具の先端をその場所に設定した状態において、術者が画像記録SW9dによる記録操作を行うことにより、俯瞰画像と、俯瞰画像におけるメインカメラ4A,5Aの撮像画像の撮像位置、撮像方向等の情報とを関連付けて(対応付けて)記録することができるようにしている。
このように本施形態においては、術者により画像記録SW9dを介して画像記録の指示操作が行われた場合には、プロセッサ6は、俯瞰画像におけるメインカメラ4A及び5Aが撮像している場所(の情報)と、その場所を撮像しているメインカメラ4A及び5Aの撮像位置情報及び撮像方向情報(つまり、撮像手段設定情報)とを関連付けて(対応付けて)、例えば時系列に記録する(履歴情報の)記録手段としての制御用メモリ24を有することが特徴の1つとなる。
なお、この場合の場所(の情報)としては、その場所を特定する座標(または座標に類する例えば図7に示す場所特定手段)でも良いし、撮像している場所の画像エリアでも良いし、画像エリアを特定する座標でも良い。つまり場所に関連する情報であれば良い。
また、俯瞰カメラ3Aによる俯瞰画像と、メインカメラ4A及び5Aの撮像画像は、俯瞰画像におけるメインカメラ4A及び5Aの撮像の場所及びその場所に関連付けた番号と関連付けて、時系列に記録される。
この場合、俯瞰画像は、以下に説明する画像処理ユニット21内の画像記録部34aに、メイン画像は、画像処理ユニット22内の画像記録部34bに記録されるが、他の記録手段、例えば制御用メモリ24に記録しても良い。
そして、術者は、例えば情報入力部9fから履歴情報(又は履歴)を表示させる指示操作を行うことにより、例えば現在の俯瞰画像においてメインカメラ4A及び5Aの撮像の場所を番号付けて表示させることができる(図4にて後述)。
また、このプロセッサ6は、画像処理ユニット21,22と接続された映像信号出力ユニット25を有する。この映像信号出力ユニット25は、俯瞰カメラ3Aとメインカメラ4A又は5Aにより撮像され、画像処理ユニット21,22の画像記憶用のフレームメモリに一時記憶された俯瞰画像とメイン画像の画像データを、アナログRGB,NTSC/PAL,IEEE1394方式等の映像信号に変換して俯瞰モニタ7及びメインモニタ8にそれぞれ出力する。
図2に示すように画像処理ユニット21は、受信ユニット3Bを介して入力される撮像ユニット11aにより撮像された(俯瞰画像の)撮像信号に対する画像処理を行い、俯瞰画像を構築する画像構築部31aと、この俯瞰画像に対して、例えば処置具の先端位置または先端位置付近の場所を画像認識する処理を行う画像認識処理部32aとを有する。
また、画像処理ユニット21は、この画像認識処理部32aにより画像認識した前記場所に、その場所を特定する番号を重畳する画像処理を行う画像処理部33aと、画像処理部33aにより画像処理された画像を記録するフレームメモリ等により構成される画像記録部34aとを有する。
なお、画像記録部34a(又は制御用メモリ24)に俯瞰画像を記録する場合、画像構築部31aにより生成された俯瞰画像と、この俯瞰画像に重畳する場所、番号の情報とを関連付けて記録するようにしても良い。
このように画像を記録する場合、処置した場所等の情報を関連付けて記録することにより、時間的に後で撮像した俯瞰画像上においても、過去の場所、番号の情報を重畳して表示することが容易にできるし、過去に処置して記録した複数の場所、番号の情報を重畳して表示することが容易にできる。
なお、画像記録部34aは、画像記録SW9dにより画像記録の指示操作が行われた俯瞰画像の他に、動画表示するための俯瞰画像を一時的に記録する機能も備えている。そして、画像記録部34aなどに一時記録された俯瞰画像は、映像信号出力ユニット25を経て俯瞰モニタ7に表示される。
上記画像認識処理部32aは、図7等を参照して説明するように、俯瞰画像中において、メインカメラ4A,5Aが撮像している場所に、例えば処置具19の先端部を設定して俯瞰画像上におけるメインカメラ4A,5Aが撮像している場所を特定するための画像認識処理を行う。
この場合の画像認識処理は、プロセッサ6側が画像認識の画像処理を主体的に行う場合と、術者がマニュアルで画像認識のための主体となる指示操作する(この場合、プロセッサ6は補助的な処理する)場合との両方を含めた意味で用いている。なお、両者の一方のみを備えた構成にしても良い。
俯瞰画像中において、メインカメラ4A,5Aが撮像している場所を特定する処理の終了後に、術者は画像記録の指示操作を行うことにより、俯瞰画像における特定された場所及び番号と関連付けてメインカメラ4A,5Aがその場所を撮像している設定情報が関連付けて制御用メモリ24に記録される。
このようにして俯瞰画像において、メインカメラ4A,5Aが撮像する場所を移動して、移動した各場所において同様に俯瞰画像中において、メインカメラ4A,5Aが撮像する場所の設定情報が関連付けて時系列に記録され、これらの情報は、履歴情報となる。各場所は、例えば番号で特定できるようにしている。
そして、本実施形態においては、既に処置した場所において、俯瞰画像から出血又は出血に近い状態、より広義には所定の変化が発生したり、術者が所定の変化を認識した場合には、履歴情報を利用して俯瞰画像上に各場所を番号付けして重畳表示するように指示操作を行うことができるようにしている。
術者は、俯瞰画像上に表示された複数の場所に対応付けた番号の選択を行うことにより、CPU23は、メインカメラ4A,5Aを、その番号の場所の設定情報を参照してカメラ駆動ユニット16a,16bにより移動制御し、移動設定したメインカメラ4A,5Aにより撮像したメイン画像をメインモニタ8に表示して術者は、速やかにメイン画像から出血の状態をより詳細に確認することができるようにしている。
上記制御用メモリ24は、処置した場所、換言すると、俯瞰画像において出血等の所定の変化が発生した場合に備え、俯瞰画像において予めこのような所定の変化が発生する可能性のある場所の画像エリア又は座標を記憶する記録手段を形成する。
また、画像処理ユニット22は、送受信ユニット4Bを介して入力される撮像ユニット11bにより撮像された(メイン画像の)撮像信号に対する画像処理を行い、メイン画像を構築する画像構築部31bと、この画像構築部31bにより構築されたメイン画像に対して、そのメイン画像を特定する場所及び番号を重畳する画像処理を行う画像処理部33bと、画像処理部33bにより画像処理された画像を記録するフレームメモリ等により構成される画像記録部34bとを有する。
上記のように本実施形態においては、腹腔内においてそれぞれの処置対象となる場所に対して処置を行った場合における画像記録SW9dの操作時に、各メインカメラ4A,5Aにより処置対象となる場所を観察視野(撮像視野)に設定した撮像位置等の設定情報が、制御用メモリ24に時系列に記録される。この場合、撮像位置等の情報と、各メイン画像とが関連付けて記録される。
従って上述のように制御用メモリ24は、過去のメインカメラ4A,5Aによる撮像位置等の情報を履歴情報として記録する記録手段を形成する。
そして、図3を参照して説明するように、術者により例えば情報入力部9fから履歴表示の指示操作がされると、CPU23は、記録手段を構成する制御用メモリ24に記憶された履歴情報から各場所、番号の情報を読み出し、俯瞰画像における各場所に番号を重畳して表示するように制御する。
つまり、CPU23は、記録手段に記録された場所、換言すると画像エリア又は座標を、第1の撮像手段としての俯瞰カメラ3Aにより撮像された俯瞰画像に対して重畳して表示する表示制御を行う表示制御手段の機能を持つ。
また、この表示制御手段の表示制御により、記録手段に記録された場所、換言すると画像エリア又は座標を、俯瞰画像に重畳表示される俯瞰モニタ7は、表示制御手段により表示制御される表示手段を形成する。
また、術者により俯瞰モニタ7に重畳表示された過去の番号から特定の番号の選択が行われると、CPU23は、その番号の場所に関連付けて記録されているメインカメラ4A及び5Aの設定情報を制御用メモリ24から読み出し、メインカメラ4A,5Aに対して選択された番号の場所を撮像するようにカメラ駆動ユニット16a、16bを駆動するように制御する。
従って、CPU23は、制御用メモリ24から撮像位置、撮像方向等の設定情報に基づいて、カメラ駆動ユニット16a、16bにより第2の撮像手段を構成するメインカメラ4A,5Aを選択された場所を撮像するように移動制御する移動制御手段を構成する。なお、CPU23とカメラ駆動ユニット16a、16bとを含めた構成を移動制御手段と見なしても良い。
また、この移動制御手段は、メインカメラ4A,5Aによるズーム倍率を大きくして撮像倍率を上げる機能も備える。
上記のように術者が特定の番号を選択することにより、CPU23の制御下で、メインカメラ4A及び5Aは、カメラ駆動ユニット16a、16bによって速やかに選択された番号の場所を撮像するように移動する。
そして、メインカメラ4A又は5Aにより撮像されたメイン画像がメインモニタ8に表示されるようになる。
従って、術者は俯瞰画像において出血または出血に近い状態を確認して、より詳細に確認する必要がある場合には、簡単な操作で、メインカメラ4A,5Aによるメイン画像により速やかに、かつ詳細に確認することができるようになる。
本実施形態の医療装置1は、体壁に固定され体腔内を撮像する例えば俯瞰カメラ3Aにより構成される第1の撮像手段と、前記第1の撮像手段において撮像された例えば俯瞰画像としての第1の画像において所定の変化が発生した場合に備え、予め前記第1の画像内における所定の画像エリア又は前記所定の画像エリアを特定する座標を記録する例えば制御用メモリ24により構成される記録手段と、前記第1の画像において、所定の変化が発生した場合に、前記記録手段に記録された前記画像エリア又は前記座標を、前記第1の撮像手段において撮像された前記第1の画像上に重畳して表示する例えば俯瞰モニタ7により構成される表示手段と、を備えることを特徴とする。
次に図3を参照して本実施形態の代表的な動作を説明する。
図3は、術者、カメラ操作I/F9,俯瞰カメラ3A、第1,第2メインカメラ4A、5A,プロセッサ6/(俯瞰モニタ7,メインモニタ8)の主な動作を示す。この場合、縦の上方向から下方向が時間の経過を示す。
図1に示すように、術者は、俯瞰カメラ3A,メインカメラ4A,5Aを腹部2の腹壁内に固定する。すると、図3に示すように俯瞰カメラ3Aは、撮像した俯瞰画像をプロセッサ6に伝送する。そして、プロセッサ6は、俯瞰モニタ7に俯瞰画像を表示する。
術者は、俯瞰画像を観察して、処置に必要な場所を特定する。この場所を場所P1と表記する。そして、この場所P1をメインカメラ4A,5Aにより撮像できるように、カメラ操作I/F9を操作する。
つまり、術者は、カメラ操作I/F9のパンSW9a、チルトSW9b、ズームSW9cを操作する。すると、カメラ操作I/F9の操作信号がCPU23に送られ、CPU23は、メインカメラ4A,5Aに対して場所P1を撮像するように移動指示を行う。
具体的には、パンSW9a、チルトSW9b、ズームSW9cの操作により、カメラ駆動ユニット16a、16bを駆動し、メインカメラ4A,5Aの撮像ユニット11b、11cは場所P1を撮像するように(撮像位置及び方向を)移動する。メインカメラ4A,5Aにより撮像された場所P1を、適度の画角で詳細に撮像する状態に設定されたメイン画像がプロセッサ6に伝送される。
そして、メインモニタ8には、場所P1を撮像したメイン画像が表示される。
術者は、俯瞰画像とメイン画像とを観察しながら、場所P1において処置具を用いて処置を行うために、トラカール10を介して処置具19を腹腔内に挿入する。術者は、俯瞰画像における腹腔内に挿入された処置具19を見ながら処置したい場所P1に、その先端部を移動する。
すると、場所P1を詳細に表示するメインモニタ8に、処置しようとする場所P1と共に、処置具19の先端側が表示されるようになる。図1のメインモニタ8のメイン画像は、この場合の表示例を示す。
術者はこの場所P1を記録するか否かを判断する。術者は、処置具19によりこの場所で処置しようとする場合には、画像記録する操作を行う。具体的には、術者は、画像記録SW9dを操作する。この操作により、この記録操作の時間(時刻)と共に、メインカメラ4A,5Aのパン、チルト、ズーム情報(設定情報)がプロセッサ6に伝送される。
プロセッサ6における制御用メモリ24には、メインカメラ4A、5Aにより撮像された場所P1の各メイン画像と、パン、チルト、ズーム情報、つまり撮像位置、撮像方向の情報が関連付けて記録される。
また、制御用メモリ24には、場所P1と関連付けて俯瞰画像における映っている処置具先端の位置(又は画像エリア)が画像認識(術者による特定操作の場合も含む)等されて記録される。
また、この場合、術者は、俯瞰画像におけるこの場所P1を、他の場所から簡単に特定できるように、情報入力部9fから記録した場所P1の番号(例えばN、ここでN=1)を入力したり、情報入力部9fのスイッチONにより初期値の番号1を自動的に付ける設定にしても良い。
これによって、制御用メモリ24には、記録される俯瞰画像における場所P1が番号1で特定できると共に、この場所P1を撮像するメインカメラ4A,5Aの設定情報が俯瞰画像の場所P1,番号1と関連付けられて(処置した場所を時系列に記録した)履歴情報として記録される。また、メインカメラ4A,5Aによる各メイン画像も場所P1,番号1と(さらに識別情報を付けた状態で)関連付けて記録される。
従って、以下に説明するように術者は、この場所P1の番号1を指定、又は選択して、移動指示の操作を行うと、この番号1には、メインカメラ4A,5Aの設定情報が関連付けて記録してあるので、速やかにメインカメラ4A,5Aを、場所P1を撮像する状態に移動制御することが可能になる。
このように場所P1を特定できるようにした後、図3に示すように、術者は場所P1において処置具19を用いて治療のための処置を開始する。そして、術者は、場所P1において処置を行った後、場所を移動して、同様の処理を行う。その際、場所P1で行った場合と同様に、処置が必要となる他の場所P2,P3においても、場所P2,P3と関連付けてメインカメラ4A,5Aの設定情報を記録する。
図5は、場所P3において処置具により処置を行っている最中のメインモニタ8に表示されるメイン画像例を示している。図5においては、メインモニタ8に場所P3の番号3が表示されている。
このようにして例えば場所P3において処置具により処置を行っている最中において、術者は、例えば広角の俯瞰画像において場所P1に出血を確認することがある。
俯瞰画像は、広角であるため、出血の様子を詳しく確認することができない。そのため、術者は、情報入力部9fから、俯瞰画像に履歴を表示する表示指示を行う。表示指示は、CPU23に入力され、CPU23は、制御用メモリ24に記録されている情報を読み出し、対応する履歴の表示の制御動作を行う。
そして、俯瞰モニタ7には、これまで記録された場所P1〜P3の履歴が番号1〜3により俯瞰画像上に表示される。図4はこの履歴の表示例を示す。図4に示すように俯瞰画像上には、過去に記録された場所P1〜P3に、各場所PNの番号Nが重畳表示される。なお、点線で示すように履歴の順序を表示しても良いし、表示しなくても良い。従って、術者は、情報入力部9fから、番号1を指定(選択)する。
すると、この指定の信号がプロセッサ6のCPU23に入力され、CPU23は、番号1の場所P1にメインカメラ4A,5Aを移動する移動指示を行う。
制御用メモリ24には、番号1の場所P1と共に、メインカメラ4A,5Aの設定情報が関連付けて記録されているので、CPU23は、その設定情報によりカメラ駆動ユニット16a、16bを駆動する。
メインカメラ4A,5Aは、設定情報のパン、チルト、ズームにより、各撮像ユニット11b、11cが移動(駆動)され、場所P1を撮像する状態に移動設定される。そして、メインモニタ8には、メインカメラ4A又は5Aで撮像したメイン画像が表示される。図6は、この場合のメイン画像の表示例を示す。メインモニタ8におけるメイン画像の表示により、術者は出血状態を詳細に確認することができる。そして、術者は詳細な確認結果に応じて、出血状態に対応した処置を速やかに行う。
このように本実施形態は、俯瞰画像における出血等、所定の変化の発生の可能性がある過去に処置した場所PNを、その場所PNを撮像するメインカメラ4A、5Aの設定情報と関連付けて、予め履歴情報として記録し、かつ表示手段で表示できるようにしているので、俯瞰画像において処置した場所PNにおいて出血等、所定の変化を術者が確認した場合、簡単な操作で、速やかにその場所PNを詳細に確認することができる。
従って、本実施形態は、術者が手術を行う場合、術者等が行う操作を軽減でき、より円滑に手術を行い易い医療装置1を提供できる。
なお、上述した画像認識処理部32aによる画像認識方法としては、以下のように種々の方法を用いることができる。図7における左側は俯瞰画像、右側はメイン画像を示す。なお、図8、図9においても同様の表示である。図10,図11においては、逆の配置で示している。
図7の俯瞰画像は、例えば横1〜6、縦a〜eの(i,j)で指定(特定)される複数の画像エリアに分割されている。なお、俯瞰画像を、このような分割数に分割する場合に限定されるものでない。
術者は、メインカメラ4A,5Aにより撮像された撮像場所に相当するメイン画像の表示画像(図7では三角で模的に示す)に対応する表示画像が俯瞰画像中におけるどの画像エリアに存在するかを確認する。図7の例では術者は、(5,b)の画像エリアの場所を指定する。
この指定により、俯瞰画像における(5,b)の画像エリアの場所がメインカメラ4A,5Aが撮像している撮像座標または撮像場所であると特定(認識)する。
そして、この場所をPNとすると、場所PN及びその番号Nに関連付けてメインカメラ4A,5Aの設定情報が制御用メモリ24に記録されることになる。
図8は、手術器具又は処置具等の基準物体を利用して俯瞰画像におけるメインカメラ4A,5Aの撮像位置を特定する方法を示す。メイン画像においては、処置具の先端部19a(丸で模式的に示す)付近のみが表示されるが、俯瞰画像においては処置具がより広範囲に表示される。
術者は、メイン画像における処置具の先端部19aが、俯瞰画像においてはどこに表示されているかを調べる。この場合、図7のように指定しても良い。或いは、先端部19aに対するエッジ処理を行ったエッジ画像を利用して、俯瞰画像におけるメイン画像の位置、つまりメインカメラ4A,5Aの撮像位置を特定しても良い。
図9は、メインカメラ4A又は5Aに、レーザポインタ等の光を照射する光源を設けた場合の方法を示す。俯瞰画像においては例えばメインカメラ5Aの画像と共に光源の光42で照射される部分が示される。
これに対して、メイン画像においては、メインカメラ5Aによる拡大して撮像している場所(△で模式的に示す)付近において光42により照射される部分が表示される。光42の波長を、体内照明光と識別し易い波長に設定したり、照射する場合の形状を識別し易いように設定する。
これにより、術者は、メインカメラ5Aの撮像位置が俯瞰画像におけるどの位置あるかを容易に特定できる。図7〜図9は、術者が俯瞰画像上においてメインカメラ4A、5Aの撮像位置を指定する方法を説明した。これに対して、以下のようにプロセッサ6側の画像認識処理部32a等の装置で相対位置を特定する画像認識を行うようにしても良い。
図10はメイン画像における撮像している場所の特徴部分を、画像処理部33bにより画像認識する方法を示す。画像処理部33bは、例えば場所P1における処置具の先端部の形状を画像認識し、その画像認識した画像を場所P1の番号1の画像とする。
この画像認識した画像の特徴は、画像認識処理部32aに送られ、画像認識処理部32aは、その特徴を有する画像部分を俯瞰画像から検索する。そして、画像認識処理部32aは、俯瞰画像において所定値以上の相関を有する部分があると判断した場合には、メイン画像の特徴部分に対応する場所であるとして場所P1,その番号を1と自動マーキングする。
図11は、俯瞰画像に映り込んだメインカメラ4A又は5Aの画像情報を利用してメインカメラ4A又は5Aの撮像位置を特定する画像認識法を示す。俯瞰画像に映り込んだ例えばメインカメラ5Aの外装容器には、マーク43が付けてあり、撮像ユニット11bの方向が変化すると、マーク43も変化する。
画像認識処理部32aは、俯瞰画像に映り込んだメインカメラ5Aの外装容器の形状と、マーク43の情報から、メインカメラ5Aの撮像位置を推定する。図11においては、点線の矢印の先端部をメインカメラ5Aの撮像位置を推定する。そして、俯瞰画像における推定した位置が、メイン画像の撮像している場所P1であるとして、その場所P1を特定した番号1で自動マーキングする。
この他に、俯瞰カメラ3A、メインカメラ4A、5Aそれぞれに位置センサを設け、それらの位置センサの検出情報から両画像における相対位置を特定するようにしても良い。
また、俯瞰カメラ3Aは、固定された状態となるので、メインカメラ4A、5A側のみに位置センサを設けるようにしても良い。
なお、上述した実施形態においては、1つの俯瞰カメラ3Aと、2つのメインカメラ4A、5Aを用いて、俯瞰カメラ3Aの俯瞰画像を俯瞰モニタ7で表示し、2つのメインカメラ4A、5Aにおける選択された一方のメインカメラのメイン画像をメインモニタ8に表示する例で説明した。
本実施形態はこのような表示形態の場合に限定されるものでなく、例えば図12Aに示すようにメインモニタ8において、2つのメインカメラ4A、5Aそれぞれのメイン画像を2分割して表示しても良い。
また、メインモニタを2つにして、メインカメラ4A、5Aそれぞれのメイン画像を表示するようにしても良い。
また、俯瞰モニタ7,メインモニタ8の代わりに1つのモニタ7Bにしても良い。この場合には、図12Bに示すように2分割して、俯瞰画像と、選択された一方のメインカメラのメイン画像を表示するようにしても良い。また、図12Cに示すように図12Bにおけるメイン画像表示エリアをさらに2分割して、2つのメイン画像を同時に表示するようにしても良い。
また、図12Dに示すように俯瞰画像とメイン画像とを、親子画像、又は一方を縮小画像(サムネイル画像)として表示しても良い。
図12Dの場合には、例えば一方のメインカメラによるメイン画像を親画像(縮小しない画像)、俯瞰画像を縮小画像、他方のメインカメラのメイン画像を縮小画像で表示した状態で示している。
図12Dの表示を画像選択スイッチにより、親画像と縮小画像とを入れ替えて表示できるようにしても良い。また、1つの俯瞰カメラ3Aと、1つのメインカメラ4Aにより医療装置を構成しても良い。この場合において、俯瞰モニタ7とメインモニタ8を用いる構成にしても良いし、又は1つのモニタ7Bにしても良い。
2つのモニタの場合には、俯瞰画像とメイン画像とをそれぞれ表示する。一方、1つのモニタ7Bにした場合には、図12Bのように表示したり、図12Dに類似してメイン画像と俯瞰画像とを親子画像で表示しても良い。
また、俯瞰画像及びメイン画像をサムネイル画像として保存する画像保存手段、サムネイル画像を表示するサムネイル表示手段を設けるようにしても良い。また、時系列にサムネイル画像を記録(保存)するようにしても良いし、術者が記録した場合のみ記録するようにしても良い。
また、画像記録する場合、縮小しない画像画像と縮小画像で記録する場合の選択を行えるようにしても良い。また、コメントも画像に関連付けて記録したり、コメントを追記記録ができるようにしても良い。
このように本実施形態によれば、俯瞰画像における出血等、所定の変化の発生の可能性がある過去に処置した場所PNを、その場所を撮像するメインカメラ4A、5Aの設定情報と関連付けて、予め履歴情報として記録し、かつ表示手段で表示できるようにしているので、俯瞰画像において処置した場所PNにおいて出血等、所定の変化を術者が確認した場合、簡単な操作で、速やかにその場所PNを詳細に確認することがし易くなるという効果を有する。
上述した第1の実施形態においては、過去に処置した場所において出血のような術者が確認したい事態が発生した場合には、術者は、過去に処置した複数の場所の履歴を表示させる操作を行うことができるようにしている。
これに対して以下の変形例のように、過去に処置した各場所に対して、出血等の所定の変化を監視する監視手段を設けて、所定の変化を認識(検出)した場合には、その場所を術者に告知することができるようにしても良い。図13Aは、第1の実施形態の変形例の医療装置1Bを示す。
この医療装置1Bは、図1に示す医療装置1におけるプロセッサ6において、(俯瞰用)画像処理ユニット21に、過去に処置した場所に設定した画像エリア部分が、出血等の所定の変化があったか否かを監視(認識)する監視手段としての変化監視部51を設けた構成にしている。
図13Bに示すように変化監視部51は、過去の(俯瞰)画像からその画像おける処置した場所に設定した画像エリアの特徴量を検出(抽出)する特徴量検出部52と、検出した過去の特徴量を記録する特徴量記録部53と、その特徴量を基準画像データとして、以後(現在)の俯瞰画像における同じ画像エリアの画像データの特徴量とを比較して、所定の変化の(発生の)有無を判定(又は認識)する判定部(認識部)54とを備える。
本変形例においては、各場所で処置を行った後に、処置する場所を移動する直前に、俯瞰画像における少なくとも処置した各場所に設定した画像エリアの画像を制御用メモリ24等の記録手段に、過去の画像として記録する。この場合、術者による指示操作により記録するようにしても良いし、移動を画像認識し、移動の直前の画像を記録するようにしても良い。
なお、図13Bにおいては、過去の画像から特徴量を検出する特徴量検出部52aと現在の画像から特徴量を検出する特徴量検出部52bとを備えた構成例で特徴量検出部52を構成しているが、一方で共通に使用する構成にしても良い。
例えば図13Aに示す現在、処置している状態が、例えば場所P3で処置を行っている場合には、過去の俯瞰画像における場所P1と、P2においてそれぞれ設定された所定の画像エリアR1,R2が設定される。
なお、図13Aにおいて、俯瞰画像上に示した画像エリアR1,R2は、その設定例を示すもので、画面表示することは必ずしも必要ない(オプション機能により表示する選択ができるようにしても良い)。
過去の場所P1の画像エリアR1で抽出された特徴量と、過去の場所P2の画像エリアR2で抽出された特徴量とが、特徴量記録部53に記録されている。
そして、判定部54は、過去の特徴量と、現在取得される俯瞰画像における同じ画像エリアR1,R2において抽出される特徴量とが予め設定した閾値以上に変化しているか否かを判定する。
閾値以上に変化していない場合には、変化監視部51は、例えば所定の時間間隔後に同様の処理を続行する。一方、閾値以上に変化している判定結果の場合には、判定部54は、判定結果をCPU23に出力し、CPU23は、現在表示している俯瞰画像におけるその判定結果に該当する場所、又は画像エリアに例えば番号などを重畳表示し、術者に出血等が発生した可能性があることを告知する。
術者は、その告知により、より詳細に確認することを望む場合には、その番号を指定する。CPU23は、その場所を撮像するようにメインカメラ4A、5Aを移動制御する。
この場合の告知方法として、術者に対して、より詳細に確認する、或いはメインカメラ4A,5Aを移動することを望むか否かの確認を求める表示を行うようにしても良い。
そして、術者が、より詳細に確認する、又は移動すると応答した場合にはCPU23は、メインカメラ4A,5Aを移動制御する。メインモニタ8には、メインカメラ4A又は5Aによるメイン画像が表示され、術者は詳細に確認することができる。
(上記特徴量検出部52a,52bを兼用した場合で示す)特徴量検出部52は、例えば図13Cに示すように画像エリアの画像の色分布を特徴量として検出する色分布特徴量検出部55aと、画像エリアの画像の形状又は輪郭を特徴量として検出する形状/輪郭特徴量検出部55bとを有する。
そして、判定部54は、これらの特徴量を比較して出血等の所定の変化の有無を判定する。例えば、過去に処置して記録した場所が出血すると、出血に対応して赤の色分布特性が大きくなるため、色分布特徴量検出部55aの検出出力から判定部54は、簡単に出血したことを判定できる。
また、出血した部分の形状/輪郭が変化すると、形状/輪郭特徴量検出部55bがその変化を検出し、その検出出力から判定部54は、出血したことを判定することができる。
本変形例によれば、医療装置1Bのプロセッサ6側において記録した過去の俯瞰画像における処置した場所における所定の画像エリアからその特徴量を抽出して記録し、その特徴量が時間的に所定の閾値以上に変化したか否かを監視し、所定の閾値以上に変化した場合には術者に、その場所などを告知するようにしている。
従って、本変形例によれば、第1の実施形態の効果の他に、術者は、現在、処置している場所に対して、より集中して処置することができ、術者に対する操作性を向上することができる。又本変形例は、術者が手術し易い環境の医療装置1Bを提供することができる。
なお、本変形例において、判定部54が所定の変化有りを判定した場合には、CPU23がその変化有りの場所を2台のメインカメラ4A,5Aのうちの例えば一方が自動的に撮像するように、その一方を移動制御するように設定しても良い。そして、術者は、その一方のメインカメラにより、出血などの所定の変化があった状態を速やかに確認することができる。そして、確認結果に応じて、術者は移動した一方のメインカメラを、移動前の状態に戻す指示操作を行ったり、他方のメインカメラも一方のカメラと同様に移動させる指示操作を行うようにしても良い。
また、上述した第1の実施形態において、俯瞰カメラ3Aを有しないで、1つのメインカメラと内視鏡の構成に適用しても良い。この場合には、俯瞰画像が得られないので、俯瞰画像中での場所、番号と、メインカメラによる撮像位置の設定情報との対応付け(関連付け)はできないが、術者は画像記録の操作を行うことにより、プロセッサ6の制御用メモリ24に、メインカメラによる画像記録の操作時に、設定情報と、場所、番号とを関連付け、さらに操作時の時刻も同時に記録する。
そして、術者は、メインカメラにより撮像された過去の履歴を表示させることができる。
従って、例えば1つのメインカメラと内視鏡(硬性内視鏡又は軟性内視鏡)とを用いて、手術を行っている最中において、術者が内視鏡により過去に処置した場所において出血等の所定の変化を確認(発見)したような場合には、術者はメインカメラにより記録したメイン画像における過去の履歴を表示する操作を行えば良い。
そして、術者は、メインモニタ8に表示された過去のメイン画像の再生画像において、内視鏡により所定の変化を確認した場所に該当する再生画像に対して、その場所(又は番号)を特定する。そして、術者は、その番号の場所にメインカメラを移動するように指示操作を行えば良い。
すると、メインカメラは、設定情報により、術者が出血等を確認した場所に速やかに移動し、メインモニタ8に撮像した撮像画像を表示する。従って、術者は出血等の状態を詳細に確認することができる。
なお、1つのメインカメラと内視鏡の場合で説明したが、2つのメインカメラと内視鏡の場合にも同様に適用できる。
(第2の実施形態)
図14は本発明の第2の実施形態の医療装置1Cを示す。本実施形態の医療装置1Cは、腹部2の腹壁にそれぞれ固定され、腹腔内全体を広角で撮像する俯瞰カメラ3Cと、拡大観察するメインカメラ4Cと、プロセッサ6Cと、俯瞰カメラ3Cによる俯瞰画像を表示する俯瞰モニタ7及びメインカメラ4Cによるメイン画像を表示するメインモニタ8と、図示しないカメラ操作I/Fとからなる。
プロセッサ6Cは、第1の実施形態のプロセッサ6又は変形例のプロセッサ6Bにおいて、俯瞰カメラ3Cとメインカメラ4Cとを有線で信号の伝送を行う構成にしている。さらに本実施形態は、以下の機能を備える。
図15は俯瞰モニタ7とメインモニタ8との表示画像を示す。俯瞰画像においては、メインカメラ4Cがどこを映し出しているかが常に分かるような目印61となる拡大画像表示範囲枠(以下単に表示枠)が表示される。ことのために、各カメラ3C、4Cには6軸センサが搭載されており、プロセッサ6Bで常に撮像位置、撮像している方向が把握できるようになっている。
また、俯瞰画像上で拡大観察したい場所をカーソル62でクリックすると、クリックされた場所が表示されるようにメインカメラ4Cが移動する。そして、図15の右側に示すように拡大表示される。なお、メインカメラ4Cの移動と共に目印61となる表示範囲枠も移動する。
カーソル62の操作手段としての例えばマウスの右クリックを押し続けるとメインカメラ4Cの拡大倍率が上がり、左クリックを押し続けると拡大倍率が下がる。
また、メインカメラ4Cは、該メインカメラ4Cと処置対象の臓器(場所)の表面65間の距離を、メインカメラ4Cの両端に設けた赤外線出射部64a、64bから赤外線を出射することにより以下の手順で測定することができる。
図16に示すように、
1)赤外線がメインカメラ4Cの両端から、メインカメラ4Cの視野方向に沿って、視野方向の内側に向かい、それぞれ放射される。
出射された赤外線は、メインカメラ4Cからの距離に応じて重なる範囲が増大する。従って、図17に示すように、
2)メイン画像の画面上で赤外線の位置を把握し、重なり合う位置における赤外線出射の傾きから距離を算出する。
本実施形態は、俯瞰画像上に、腹腔内を俯瞰画像により観察できるようにすると共に、常にメインカメラ4Cによる拡大観察画像の表示範囲が重畳されるので、術者等のユーザは、全体のどこを観察しているのかを従来よりも容易に把握することができる。
また、俯瞰画像上で拡大観察を行いたい箇所をクリックするだけで、自動的にメインカメラ4Cが移動して、目的箇所を表示させることができ、従来よりも簡便かつ素早く術者の得たい画像を表示できる。
(第3の実施形態)
図18は本発明の第3の実施形態の医療装置1Dを示す。本実施形態の医療装置1Dは、腹部2の腹壁に固定され、腹腔内全体を広角で撮像する俯瞰カメラ3Dと、俯瞰カメラ3Dに対する画像処理等を行うプロセッサ6Dと、俯瞰カメラ3Dによる俯瞰画像を表示する俯瞰モニタ7と、カメラ操作I/F9とからなる。なお、俯瞰モニタ7の他に、電子ズームによる拡大画像を表示する(拡大画像用)モニタ8′(点線で示す)を設けるようにしても良い。また、俯瞰カメラ3Dと、プロセッサ6Dとは有線で信号の伝送を行う構成で示しているが、無線で信号の伝送を行う構成にしても良い。
俯瞰カメラ3Dは、高画素の撮像素子を用いた撮像ユニット11dを備え、撮像ユニット11dは腹腔内全体を広角で撮像する。プロセッサ6Dは、カメラ操作I/F9の操作によって撮像ユニット11dにより撮像された俯瞰画像に対して、エリア選択を行い、エリア選択により選択されたエリアに対して電子ズームにより拡大して表示するための処理機能を備える。
例えば、図19Aは、電子ズームを行わない状態での俯瞰モニタ7に表示される俯瞰画像を示す。この俯瞰画像中には、後述する2つのエリアとしての場所Aと場所Bとの画像とを含む。また、図19Bは、選択されたエリアとしての場所Bを電子ズームにより拡大して表示した拡大画像を示す。この拡大画像は、モニタ8′が設けて有る場合には、このモニタ8′に表示され、1台の俯瞰モニタ7のみの場合にはこの俯瞰モニタ7に表示される。
本実施形態は、高画素の俯瞰カメラ3Dによって、全体を俯瞰する俯瞰カメラの機能と、上述した実施形態において説明した撮像位置が移動されるメインカメラの機能に類似した機能とを兼ねるような構成にしたものである。
また、このプロセッサ6Dは、図13Aで説明した変化監視部51を備えた画像処理ユニット21を内蔵する。また、術者は、俯瞰画像を観察しながら、処置具10により腹腔内の処置対象部位に対して処置を行うことができる。このプロセッサ6Dは、図13Aにおける制御用メモリ24,映像信号出力ユニット25を備える。
次に本実施形態の動作を図20を参照して説明する。
最初のステップS1において俯瞰カメラ3Dにより、腹腔内の全体を撮像し、プロセッサ6Dは俯瞰画像を俯瞰モニタ7に表示する。その表示例は、例えば図19Aのようになる。術者は、俯瞰画像を観察することにより腹腔内全体の様子を把握することができる。
術者は、ステップS2に示すように図19Aの俯瞰画像において、場所Aを処置しようとするために、より詳しく観察できる状態にする様に、カメラ操作I/F9のエリア選択の操作により場所Aを選択する。
ステップS2によるエリア選択の操作によって、ステップS3に示すようにプロセッサ6Dには、選択された場所Aのエリア情報が記録される。また、ステップS4に示すようにプロセッサ6Dは選択された場所Aに対して、その場所A部分の画像を拡大する電子ズームの処理を行う。そして、図19Bに示すように場所Aの画像部分が拡大されて表示される。
術者は、拡大された画像を観察しながら、ステップS5に示すように処置具10を用いて処置を開始する。その後、術者は処置を終了したら、ステップS6に示すように電子ズームを停止する。そして、ステップS1の場合と同様に腹腔内の全体を撮像する俯瞰画像を俯瞰モニタ7で表示する。
また、ステップS7に示すようにプロセッサ6D内の変化監視部51は、場所Aの(処置が終了した)画像を過去の画像として記録すると共に、その画像の特徴量を(変化の判定に用いる基準特徴量として)記録する。
その後、ステップS8に示すように変化監視部51は、この場所Aの特徴量を所定の時間間隔毎に取得し、その特徴量を基準特徴量と比較し、所定の変化の有無の判定(認識)を行う。
所定の変化の有無を判定する場合、図13Cで説明したように、例えば色分布特徴量検出部55aによる色分布の特徴量と、形状/輪郭特徴量検出部55bによる形状/輪郭の特徴量が、予め設定した閾値以上に変化しているか否かを判定する。
この場合、判定対象となる場所Aの周囲による影響を受けにくくするために、例えば指定した色に対して、その色の範囲や面積の時間的な広がりを検出するようにしても良い。図8における所定の時間間隔での変化の有無の判定処理をステップS9で示す。
ステップS9において所定の変化が無い判定結果の場合には、術者は手術を続行する。例えば術者は、場所Aとは異なる他の場所Bを処置しようとする場合には(ステップS2の場合と同様の操作により)、ステップS10において図19Aの俯瞰画像において、エリア選択、つまり場所Bを選択する。
ステップS10によるエリア選択の操作によって、ステップS11に示すようにプロセッサ6Dは、選択された場所Bのエリア情報を記録する。また、ステップS12に示すようにプロセッサ6Dは選択された場所Bに対して、その場所B部分の画像を拡大する電子ズームの処理を行う。
術者は、拡大された画像を観察しながら、ステップS13に示すように処置具10を用いて処置を開始する。その後、ステップS14に示すように術者は処置を終了したら、電子ズームを停止する。そして、ステップS1の場合と同様に腹腔内の全体を撮像する俯瞰画像を俯瞰モニタ7で表示する。
さらに他の場所(場所Cとする)の処置を行う場合には、ステップS7以降の処理を同様に行う(但し、ステップS7の場所Aを、場所Bに読み替える。また、ステップS10の場所Bを、場所Cに読み替える)。
一方、ステップS14における場所Bの処置後に、術者は手術を終了しようとする場合には、図20に示す処理を終了することになる。
また、ステップS9の判定処理において、変化有りの判定結果の場合にはステップS15に示すようにプロセッサ6Dは、変化有りの警告情報(又は告知情報)を俯瞰モニタ7で表示する。具体的には、場所Aにおいて、処置直後の状態から出血等の変化がありますというような警告情報を表示する。
術者は、ステップS16に示すように警告情報に対応した確認等を行う。術者は、警告情報に対応して、その場所Aの状態を確認し、確認結果に応じて、処置が必要な場合にはその処置を速やかに行うことができる。また、処置が必要でない場合も、その確認ができる。ステップS16の処理の後、図20の処理を終了することになる。
このような動作をする本実施形態によれば、高画素の撮像素子を11dを用いた俯瞰カメラ3Dを用いることによって、第1の実施形態の変形例の場合とほぼ同様の効果を得ることができる。
また、本実施形態においては、1つの高画素の撮像ユニット11dを用いた1つのカメラ(撮像手段)により、俯瞰画像と、俯瞰画像における一部を拡大した拡大画像とを表示することができるようにしているので、複数のカメラを体腔内に設置する場合よりも簡単な作業で手術を円滑に行うことができる。
(第4の実施形態)
図21は本発明の第4の実施形態の医療装置1Eを示す。本実施形態の医療装置1Eは、腹部2の腹壁に固定され、腹腔内をそれぞれ狭角で撮像する第1及び第2のメインカメラ4E及び5Eと、プロセッサ6Eと、第1及び第2のメインカメラ4E及び5Eによるメイン画像をそれぞれ表示するメインモニタ8A及び8Bと、カメラ操作I/F9とからなる。なお、図21では信号の伝送を有線で行う構成例で示している。
第1及び第2のメインカメラ4E及び5Eは、パン、チルトにより撮像するエリアを変更(移動)可能とすると共に、ズームも可能とする撮像手段であり、例えば、図13Aのメインカメラ4、5と同様の構成で実現することができる。或いは、メインカメラ4E及び5Eの腹腔内での設置位置を移動できる構造にしても良い。この場合には、パン、チルトの機能は、必ずしも必要でない。
また、メインカメラ4E及び5Eの少なくとも一方は、ズームを最小倍率に設定した場合、かなりの広角の状態に設定できる。つまり、一方のメインカメラは、俯瞰カメラに近い機能を有する。
そして、この一方のメインカメラは、他方のメインカメラの撮像エリアを、その撮像エリア内に入れて、その他方のメインカメラの撮像エリアを把握することができるようにしている。
プロセッサ6Eは、図13Aにおける画像処理ユニット22,カメラ駆動制御用CPU23,制御用メモリ24,映像信号出力ユニット25とを内蔵している。また、図21に示す画像処理ユニット22は、図13Aで説明した変化監視部51を備えている。
また、本実施形態においては、2つのメインカメラ4E、5E間の位置情報の把握は、上述した図7から図11にて説明した手法により、可能となる。
本実施形態は、2つのメインカメラ4E、5Eを用いて、第3の実施形態と類似の機能を持つ構成例となる。
次に本実施形態による代表的な動作例を図22のフローチャートを参照して説明する。
最初のステップS21において術者は、第1のメインカメラ4Eを処置しようとするエリア(場所A)を特定し、そのエリアを撮像する撮像エリアとなるように設定する。つまり、術者は、処置する場所Aを撮像できるようにメインカメラ4Eを移動して設置したり、パン、チルト等の設定を行う。
ステップS22において術者は、第2のメインカメラ5Eに対しても同様に、処置する場所Aを撮像エリアに含むように設定する。
なお、メインカメラ5Eの設定は、術者が行う方法の他に、メインカメラ4Eとの相対位置情報や、処置する場所Aに設置される処置具10の先端部等の対象物に対する形状認識等を利用して自動で設定しても良い。
次のステップS23においてプロセッサ6Eは、メインカメラ4E、5Eのエリア情報(場所Aの情報)を記録する。
次のステップS24において術者は、場所Aにおいて処置具10を用いて処置を開始する。この場合、メインカメラ4E,5Eにより撮像されたメイン画像を観察しながら行う。そして、術者は場所Aでの処置を終了する。
また、ステップS25においてプロセッサ6Eは、処置が終了した場所Aの画像を過去の画像として記録すると共に、変化監視部51は、その特徴量を基準特徴量として記録する。
次のステップS26において変化監視部51は、この場所Aの特徴量を所定の時間間隔毎に取得し、その特徴量を基準特徴量と比較し、所定の変化の有無の判定(認識)を行う。
所定の変化の有無を判定する場合、図13Cで説明したように、例えば色分布特徴量検出部55aによる色分布の特徴量と、形状/輪郭特徴量検出部55bによる形状/輪郭の特徴量が、予め設定した閾値以上に変化しているか否かを判定する。図22における所定の時間間隔での変化の有無の判定処理をステップS27で示す。
ステップS27において所定の変化が無い判定結果の場合には、術者は手術を続行する。例えば術者は、場所Aとは異なる他の場所Bを処置しようとする場合には、ステップS28においてその場所Bを特定し、メインカメラ4Eをその場所Bを撮像するように設定する。そして、メインカメラ4Eによるメイン画像がメインモニタ8Aにて表示される。
また、ステップS29において、メインカメラ5Eもその場所Bを撮像するように設定する。そして、メインカメラ5Eによるメイン画像がメインモニタ8Bにて表示される。なお、ステップS30において、メインカメラ5Eは、所定の時間間隔で場所Aを撮像する状態に設定される。
術者は、メイン画像を観察しながら、ステップS31に示すように処置具10を用いて処置を開始する。そして、ステップS32に示すように術者は処置を終了する。
一方、ステップS27の判定処理において、変化有りの判定結果の場合にはステップS33に示すようにプロセッサ6Eは、変化有りの警告情報(又は告知情報)をメインモニタ8A等で表示する。
術者は、ステップS34に示すように警告情報に対応した確認等を行う。術者は、警告情報に対応して、その場所Aの状態を確認し、確認結果に応じて、処置が必要な場合にはその処置を速やかに行うことができる。また、処置が必要でない場合も、その確認ができる。ステップS34の処理の後、図22の処理を終了することになる。
本実施形態によれば、第1の実施形態の変形例とほぼ同様の作用効果を得ることができる。この場合には2つのカメラ(撮像手段)を用いることにより、第1の実施形態の変形例の場合とほぼ同様の効果を得ることができる。従って、術者は簡単な作業で手術を円滑に行うことができる。
なお、上述した実施形態等を部分的に組み合わせる等して構成される実施形態も本発明に属する。
本出願は、2010年5月10日に日本国に出願された特願2010−108425号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (20)

  1. 体壁に固定され体腔内を撮像する第1の撮像部と、
    前記第1の撮像部において撮像された第1の画像において所定の画像変化が発生した場合に備え、予め前記第1の画像内における所定の画像エリア又は前記所定の画像エリアを特定する座標を記録する記録部と、
    前記第1の画像において、前記所定の画像変化が発生した場合に、前記記録部に記録された前記画像エリア又は前記座標を、前記第1の撮像部において撮像された前記第1の画像上に重畳して表示する表示部と、
    を備えることを特徴とする医療装置。
  2. 前記第1の撮像部は、前記体腔内を広角に撮像する撮像部であり、
    前記体腔内を前記第1の撮像部よりも狭角で撮像する第2の撮像部と、前記第2の撮像部における所定の撮像位置情報及び撮像方向情報を取得する情報取得部と、を更に備え、
    前記記録部は、前記所定の画像変化が発生した場合に備え、前記第2の撮像部により撮像された撮像画像と前記撮像位置情報及び前記撮像方向情報とを、前記画像エリア又は前記座標に対応づけて記録することを特徴とする請求項1に記載の医療装置。
  3. 前記記録部に記録された前記撮像位置情報及び前記撮像方向情報に基づいて、前記第2の撮像部を移動させる移動制御部を更に備えることを特徴とする請求項2に記載の医療装置。
  4. 前記移動制御部は、前記表示部に記録された前記画像エリア又は前記座標の選択指示により前記第2の撮像部の移動を制御することを特徴とする請求項3に記載の医療装置。
  5. 前記移動制御部は、前記表示部に記録された前記画像エリア又は前記座標の選択指示により前記第2の撮像部の撮像倍率を上げることを特徴とする請求項3に記載の医療装置。
  6. さらに前記第1の撮像部の撮像範囲内において処置を行う処置具を有し、
    前記処置具により処置した前記第2の撮像部により撮像した撮像画像を前記撮像エリアまたは前記座標に対応付けて前記記録部に記録することを特徴とする請求項3に記載の医療装置。
  7. 前記表示部は、前記第1の撮像部により撮像された前記第1の画像と、前記第2の撮像部により撮像された前記撮像画像とを1画面において分割して表示することを特徴とする請求項2に記載の医療装置。
  8. 前記表示部は、前記第1の撮像部により撮像された前記第1の画像と、前記第2の撮像部により撮像された前記撮像画像とを1画面において一方を縮小して表示することを特徴とする請求項2に記載の医療装置。
  9. 前記第1の画像において前記所定の画像変化を発生した場合に備え、予め前記画像エリア又は前記座標を前記記録部に記録する場合、前記画像エリア又は前記座標を前記第2の撮像部が撮像する撮像位置に設定した状態で、前記第2の撮像部による撮像画像、前記撮像位置情報及び前記撮像方向情報を前記画像エリア又は前記座標に対応づけて記録することを特徴とする請求項2に記載の医療装置。
  10. 前記第1の撮像部において撮像された第1の画像に対して重畳して表示する指示操作が行われた場合、指示操作前に前記記録部に記録された過去の前記記画像エリア又は前記座標の履歴情報を表示することを特徴とする請求項2に記載の医療装置。
  11. さらに、前記記録部に記録された過去の画像エリアに対応する現在の画像エリアの画像情報が、前記過去の画像エリアの画像情報から前記所定の画像変化が発生したか否かを監視する監視部を有することを特徴とする請求項2に記載の医療装置。
  12. さらに、前記記録部に記録された過去の画像エリアに対応する現在の画像エリアの画像情報が、前記過去の画像エリアの画像情報から前記所定の画像変化が発生したか否かを監視する監視部を有することを特徴とする請求項6に記載の医療装置。
  13. 前記監視部は、前記所定の画像変化として、所定値以上の出血が発生したか否かを監視する監視部を有することを特徴とする請求項12に記載の医療装置。
  14. さらに、前記監視部が前記所定の画像変化が発生したと判定した場合には、該所定の画像変化が発生したと判定した画像エリアを、前記第2の撮像部が撮像するように該第2の撮像部を移動制御することを特徴とする請求項11に記載の医療装置。
  15. さらに、前記監視部が前記所定の画像変化が発生したと判定した場合には、該所定の画像変化が発生したと判定した画像エリアを、前記第2の撮像部が撮像するように該第2の撮像部を移動制御することを特徴とする請求項13に記載の医療装置。
  16. 前記監視部は、処置を行う処置具による処置の終了時に前記記録部に記録した前記過去の画像エリアの画像情報から前記所定の画像変化として、所定値以上の出血が発生したと判定した場合には、前記出血が発生したと判定した画像エリアを、前記第2の撮像部が撮像するように該第2の撮像部を移動制御することを特徴とする請求項14に記載の医療装置。
  17. 前記監視部は、前記過去の画像エリアの画像の第1の特徴量と現在の画像エリアの画像の第2の特徴量とを検出する特徴量検出部と、前記第1の特徴量と前記第2の特徴量とを比較して前記所定の画像変化の発生を判定する判定部とを有することを特徴とする請求項11に記載の医療装置。
  18. 前記監視部は、前記過去の画像エリアの画像の第1の特徴量と現在の画像エリアの画像の第2の特徴量とを検出する特徴量検出部と、前記第1の特徴量と前記第2の特徴量とを比較して前記所定の画像変化として、出血の発生を判定する判定部とを有することを特徴とする請求項11に記載の医療装置。
  19. 前記特徴量検出部は、前記過去の画像エリアの画像における色分布特徴量と現在の画像エリアの画像における色分布の特徴量とを検出する色分布特徴量検出部、または前記前記過去の画像エリアの画像における形状若しくは輪郭の特徴量と現在の画像エリアの画像における形状若しくは輪郭の特徴量とを検出する形状/輪郭特徴量検出部を有することを特徴とする請求項17に記載の医療装置。
  20. 前記特徴量検出部は、前記過去の画像エリアの画像における色分布特徴量と現在の画像エリアの画像における色分布の特徴量とを検出する色分布特徴量検出部、または前記前記過去の画像エリアの画像における形状若しくは輪郭の特徴量と現在の画像エリアの画像における形状若しくは輪郭の特徴量とを検出する形状/輪郭特徴量検出部を有することを特徴とする請求項18に記載の医療装置。
JP2011537782A 2010-05-10 2011-03-31 医療装置 Expired - Fee Related JP4861540B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011537782A JP4861540B2 (ja) 2010-05-10 2011-03-31 医療装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010108425 2010-05-10
JP2010108425 2010-05-10
PCT/JP2011/058317 WO2011142189A1 (ja) 2010-05-10 2011-03-31 医療装置
JP2011537782A JP4861540B2 (ja) 2010-05-10 2011-03-31 医療装置

Publications (2)

Publication Number Publication Date
JP4861540B2 true JP4861540B2 (ja) 2012-01-25
JPWO2011142189A1 JPWO2011142189A1 (ja) 2013-07-22

Family

ID=44914245

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011537782A Expired - Fee Related JP4861540B2 (ja) 2010-05-10 2011-03-31 医療装置

Country Status (4)

Country Link
US (1) US8355043B2 (ja)
EP (1) EP2425761B1 (ja)
JP (1) JP4861540B2 (ja)
WO (1) WO2011142189A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014002565A1 (ja) * 2012-06-26 2014-01-03 ソニー株式会社 撮像制御装置、記憶システムおよび記憶媒体
WO2015020093A1 (ja) * 2013-08-08 2015-02-12 オリンパスメディカルシステムズ株式会社 手術画像観察装置
JP2015529489A (ja) * 2012-07-25 2015-10-08 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 手術用システムにおける効率的且つインタラクティブな出血検出
WO2018159363A1 (ja) * 2017-03-01 2018-09-07 富士フイルム株式会社 内視鏡システム及びその作動方法
JP7417331B1 (ja) 2023-04-21 2024-01-18 株式会社Asue 画像処理装置およびカメラシステム

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2829218B1 (en) * 2012-03-17 2017-05-03 Waseda University Image completion system for in-image cutoff region, image processing device, and program therefor
US10110785B2 (en) * 2012-08-10 2018-10-23 Karl Storz Imaging, Inc. Deployable imaging system equipped with solid state imager
DE102012025100A1 (de) * 2012-12-20 2014-06-26 avateramedical GmBH Entkoppeltes Mehrkamerasystem für die minimal-invasive Chirurgie
CA2940814C (en) 2014-02-27 2019-09-03 University Surgical Associates, Inc. Interactive display for surgery
KR20160032586A (ko) * 2014-09-16 2016-03-24 삼성전자주식회사 관심영역 크기 전이 모델 기반의 컴퓨터 보조 진단 장치 및 방법
US10750930B2 (en) 2014-11-06 2020-08-25 Sony Corporation Endoscope apparatus and method for operating endoscope apparatus
JP6485694B2 (ja) * 2015-03-26 2019-03-20 ソニー株式会社 情報処理装置および方法
JP6629047B2 (ja) * 2015-11-13 2020-01-15 国立大学法人千葉大学 画像合成装置および画像合成装置の作動方法
DE102016100566B4 (de) 2016-01-14 2024-05-23 Carl Zeiss Meditec Ag Assistenzsystem für ein medizinisch optisches Beobachtungsgerät und Verfahren zum Verbessern der Sichtbarkeit einer Blutaustrittsstelle in einem mit einem medizinisch optischen Beobachtungsgerät gewonnenen Bild und medizinisch optisches Beobachtungsgerätesystem
WO2017138208A1 (ja) 2016-02-10 2017-08-17 オリンパス株式会社 内視鏡システム
JP6818142B2 (ja) * 2017-06-30 2021-01-20 シャープ株式会社 内視鏡装置、内視鏡システム、投光装置、および流体処理装置
JP7240913B2 (ja) * 2019-03-18 2023-03-16 株式会社キーエンス 画像測定装置
US11826101B2 (en) * 2019-08-06 2023-11-28 Alcon Inc. Scene camera systems and methods for vitreoretinal surgery
WO2021152785A1 (ja) * 2020-01-30 2021-08-05 株式会社インキュビット 動画再生システム
US12042944B2 (en) * 2020-03-30 2024-07-23 Depuy Ireland Unlimited Company Robotic surgical system with graphical user interface
JP7658724B2 (ja) * 2020-06-29 2025-04-08 キヤノンメディカルシステムズ株式会社 手術支援システム及び支援システムの作動方法
US20230110791A1 (en) * 2021-09-29 2023-04-13 Cilag Gmbh International Instrument Control Imaging Systems for Visualization of Upcoming Surgical Procedure Steps
US11937799B2 (en) 2021-09-29 2024-03-26 Cilag Gmbh International Surgical sealing systems for instrument stabilization

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10314104A (ja) * 1997-05-14 1998-12-02 Olympus Optical Co Ltd 内視鏡の視野変換装置
JP2006223375A (ja) * 2005-02-15 2006-08-31 Olympus Corp 手術データ記録装置、手術データ表示装置及び手術データ記録表示方法
JP2007222238A (ja) * 2006-02-21 2007-09-06 Fujinon Corp 体腔内観察装置
JP2009508567A (ja) * 2005-09-15 2009-03-05 ギブン イメージング リミテッド データストリームを表示するシステムおよび方法
JP2011036372A (ja) * 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5846185A (en) * 1996-09-17 1998-12-08 Carollo; Jerome T. High resolution, wide field of view endoscopic viewing system
US6930705B2 (en) * 2000-11-14 2005-08-16 Pentax Corporation Image search device
JP4493386B2 (ja) * 2003-04-25 2010-06-30 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
JP2005319086A (ja) 2004-05-10 2005-11-17 Fujinon Corp 体腔内観察システム
JP4418400B2 (ja) 2005-05-20 2010-02-17 オリンパスメディカルシステムズ株式会社 画像表示装置
CN101217909B (zh) * 2005-07-08 2010-05-19 奥林巴斯株式会社 生物体内信息取得装置和生物体内信息取得系统
WO2007077672A1 (ja) * 2005-12-28 2007-07-12 Olympus Medical Systems Corp. 画像処理装置および当該画像処理装置における画像処理方法
US8475361B2 (en) * 2006-01-06 2013-07-02 Olympus Medical Systems Corp. Percutaneous or natural-orifice medical procedure and system therefor
GB0613576D0 (en) * 2006-07-10 2006-08-16 Leuven K U Res & Dev Endoscopic vision system
JP5121204B2 (ja) * 2006-10-11 2013-01-16 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP2008307226A (ja) * 2007-06-14 2008-12-25 Olympus Medical Systems Corp 内視鏡システム
JP4472728B2 (ja) * 2007-06-14 2010-06-02 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP4472727B2 (ja) * 2007-06-14 2010-06-02 オリンパスメディカルシステムズ株式会社 内視鏡装置
US7666181B2 (en) * 2008-08-02 2010-02-23 Tarek Ahmed Nabil Abou El Kheir Multi-purpose minimally invasive instrument that uses a micro entry port
JP5250391B2 (ja) 2008-10-31 2013-07-31 セコム株式会社 取引監視装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10314104A (ja) * 1997-05-14 1998-12-02 Olympus Optical Co Ltd 内視鏡の視野変換装置
JP2006223375A (ja) * 2005-02-15 2006-08-31 Olympus Corp 手術データ記録装置、手術データ表示装置及び手術データ記録表示方法
JP2009508567A (ja) * 2005-09-15 2009-03-05 ギブン イメージング リミテッド データストリームを表示するシステムおよび方法
JP2007222238A (ja) * 2006-02-21 2007-09-06 Fujinon Corp 体腔内観察装置
JP2011036372A (ja) * 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2014002565A1 (ja) * 2012-06-26 2016-05-30 ソニー株式会社 撮像制御装置、記憶システムおよび記憶媒体
US9911186B2 (en) 2012-06-26 2018-03-06 Sony Corporation Imaging control apparatus, storage system, and storage medium
WO2014002565A1 (ja) * 2012-06-26 2014-01-03 ソニー株式会社 撮像制御装置、記憶システムおよび記憶媒体
US10772482B2 (en) 2012-07-25 2020-09-15 Intuitive Surgical Operations, Inc. Efficient and interactive bleeding detection in a surgical system
JP2015529489A (ja) * 2012-07-25 2015-10-08 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 手術用システムにおける効率的且つインタラクティブな出血検出
US9877633B2 (en) 2012-07-25 2018-01-30 Intuitive Surgical Operations, Inc Efficient and interactive bleeding detection in a surgical system
WO2015020093A1 (ja) * 2013-08-08 2015-02-12 オリンパスメディカルシステムズ株式会社 手術画像観察装置
WO2018159363A1 (ja) * 2017-03-01 2018-09-07 富士フイルム株式会社 内視鏡システム及びその作動方法
JPWO2018159363A1 (ja) * 2017-03-01 2019-12-19 富士フイルム株式会社 内視鏡システム及びその作動方法
US11033175B2 (en) 2017-03-01 2021-06-15 Fujifilm Corporation Endoscope system and operation method therefor
JP7417331B1 (ja) 2023-04-21 2024-01-18 株式会社Asue 画像処理装置およびカメラシステム
WO2024219189A1 (ja) * 2023-04-21 2024-10-24 株式会社Asue 画像処理装置およびカメラシステム
JP2024155587A (ja) * 2023-04-21 2024-10-31 株式会社Asue 画像処理装置およびカメラシステム
JP2024155710A (ja) * 2023-04-21 2024-10-31 株式会社Asue 画像処理装置およびカメラシステム
JP7623032B2 (ja) 2023-04-21 2025-01-28 株式会社Asue 画像処理装置およびカメラシステム

Also Published As

Publication number Publication date
US8355043B2 (en) 2013-01-15
WO2011142189A1 (ja) 2011-11-17
EP2425761A4 (en) 2012-03-28
EP2425761A1 (en) 2012-03-07
US20120062717A1 (en) 2012-03-15
EP2425761B1 (en) 2015-12-30
JPWO2011142189A1 (ja) 2013-07-22

Similar Documents

Publication Publication Date Title
JP4861540B2 (ja) 医療装置
EP4062420B1 (en) Interactive information overlay on multiple surgical displays
US20250176797A1 (en) Augmented medical vision systems and methods
WO2022070058A1 (en) Cooperative surgical displays
US7794396B2 (en) System and method for the automated zooming of a surgical camera
EP4038621A1 (en) Tiered system display control based on capacity and user operation
JP7392654B2 (ja) 医療用観察システム、医療用観察装置及び医療用観察方法
CN114051387A (zh) 医学观察系统、控制装置和控制方法
WO2017159335A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2020261956A1 (en) Medical tool control system, controller, and non-transitory computer readable storage
JPWO2018168261A1 (ja) 制御装置、制御方法、及びプログラム
US11638000B2 (en) Medical observation apparatus
JP2023507063A (ja) 手術中に画像取込装置を制御するための方法、装置、およびシステム
US20210019921A1 (en) Image processing device, image processing method, and program
WO2018123613A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
CN109565565B (zh) 信息处理装置、信息处理方法和非暂态计算机可读介质
US20250016443A1 (en) Imaging device, imaging control device, and imaging method
US10694141B2 (en) Multi-camera system, camera, camera processing method, confirmation device, and confirmation device processing method
JPWO2019155931A1 (ja) 手術システム、画像処理装置及び画像処理方法
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2022113811A1 (ja) 手術システム、手術用制御装置、制御方法、及び、プログラム
WO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20111017

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111025

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111104

R151 Written notification of patent or utility model registration

Ref document number: 4861540

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141111

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees