JP7480779B2

JP7480779B2 - 医療用画像処理装置、医療用画像処理装置の駆動方法、医療用撮像システム、及び医療用信号取得システム

Info

Publication number: JP7480779B2
Application number: JP2021522792A
Authority: JP
Inventors: 大介菊地
Original assignee: Sony Corp; Sony Group Corp
Current assignee: Sony Corp; Sony Group Corp
Priority date: 2019-05-28
Filing date: 2020-05-26
Publication date: 2024-05-10
Anticipated expiration: 2040-05-26
Also published as: US20220270243A1; WO2020241651A1; EP3977953A4; EP3977953A1; JPWO2020241651A1; US12272051B2

Description

本開示は、医療用画像処理装置、医療用画像処理装置の駆動方法、医療用撮像システム、及び医療用信号取得システムに関する。

手術手法、手術器具等の発達に伴い、内視鏡や手術用顕微鏡等のような医療用の観察装置により患部を観察しながら、各種処置を施す手術（所謂、マイクロサージャリー）が頻繁に行われるようになってきている。また、このような医療用の観察装置の中には、患部を光学的に観察可能とする装置に限らず、撮像装置（カメラ）等により撮像された患部の画像を、モニタ等の表示装置に電子画像として表示させる装置やシステムも提案されている。

また、近年では、内視鏡や手術用顕微鏡等の観察装置を用いた観察手法として、可視光帯域の光によって術野を観察する方法のみに限らず、所謂特殊光観察と呼ばれる観察手法が各種提案されている。特殊光観察としては、例えば、狭帯域光観察（ＮＢＩ：Narrow Band Imaging）、蛍光観察（ＦＩ：Fluorescence Imaging）、及び赤外光観察（ＩＲＩ：Infra－Red Imaging）等が挙げられる。

具体的な一例として、蛍光観察では、癌等の病巣に親和性を有する蛍光物質（換言すると、蛍光体）を予め検査対象者（患者）に投与したうえで、当該蛍光物質を励起するための励起光を照射し、病巣部に集積した蛍光物質から発せられる蛍光の蛍光像（即ち、蛍光の検出結果に基づく観察像）により、当該病巣部を観察する。例えば、特許文献１には、蛍光物質としてインドシアニングリーン（ＩＣＧ）を利用した蛍光観察の概要と当該蛍光観察に基づく手術の一例とが開示されている。

草野満夫著、「ICG蛍光Navigation Surgeryのすべて」株式会社インターメディカ、２００８年、ｐ．２６５

一方で、蛍光物質を含む薬剤（以降では、「蛍光薬剤」とも称する）を投与して蛍光観察が行われると、血流を介して当該蛍光物質（例えば、ＩＣＧ）が血管壁や組織中のたんぱく質等に付着し、しばらくの間蛍光を発することがある。このような特性から、蛍光薬剤を複数回投与するような状況下では、２度目以降の蛍光薬剤の投与時に、前回の投与に伴う蛍光物質と、新たな投与に伴う蛍光物質と、が混在することとなり、視認性が低下する場合がある。これに対して、視認性を確保する方法の一例として、観察領域に残存した蛍光物質が放出された後に（ウォッシュアウトされた後に）観察を行う方法が挙げられる。しかしながら、この方法を適用する場合には、蛍光物質が放出されるまでに時間を要し、結果として観察に係る時間がより長くなる傾向にある。

そこで、本開示では、薬剤が複数回投与される状況下においても、当該薬剤に対応して取得される画像をより好適な態様で観察可能とする技術を提案する。

本開示によれば、第１の薬剤が投与されたタイミングから、第２の薬剤が投与され所定の領域の蛍光強度が上昇しだす第１のタイミングまでの間に撮像された第１の蛍光画像と、前記第１のタイミング以降に撮像された第２の蛍光画像と、を取得し、前記第１の蛍光画像と前記第２の蛍光画像とに基づき、前記第２の薬剤により生じる蛍光が強調された出力画像を生成する、画像処理部を備える、医療用画像処理装置が提供される。

また、本開示によれば、コンピュータが、第１の薬剤が投与されたタイミングから、第２の薬剤が投与され所定の領域の蛍光強度が上昇しだす第１のタイミングまでの間に撮像された第１の蛍光画像と、前記第１のタイミング以降に撮像された第２の蛍光画像と、を取得することと、前記第１の蛍光画像と前記第２の蛍光画像とに基づいて、前記第２の薬剤により生じる蛍光を強調した出力画像を生成することと、を含む、医療用画像処理装置の駆動方法が提供される。

また、本開示によれば、患者へ投与される薬剤に含まれる蛍光物質の励起光を射出する光源と、前記薬剤により生じる蛍光を含む光を受光して撮像する撮像部と、第１の薬剤を投与されたタイミングから、第２の薬剤を投与され所定の領域の蛍光強度が上昇しだす第１のタイミングまでの間に撮像された第１の蛍光画像と、前記第１のタイミング以降に撮像された第２の蛍光画像と、に基づいて、前前記第２の薬剤により生じる蛍光が強調された出力画像を生成する画像処理装置と、を備える、医療用撮像システムが提供される。

また、本開示によれば、患者へ投与される薬剤に応じた波長帯域に属する光を撮像対象とした、撮像部による当該患者の患部の撮像結果に応じた出力画像を出力する画像処理部を備え、前記画像処理部は、その時々の前記患部の撮像結果に応じた出力画像を出力する第１のモードと、第１の薬剤が投与されたタイミングから、第２の薬剤が投与され所定の領域の蛍光強度が上昇しだす第１のタイミングまでの間に撮像された第１の蛍光画像と、前記第１のタイミング以降に撮像された第２の蛍光画像と、に基づき、前記第２の薬剤により生じる蛍光が強調された出力画像を出力する第２のモードと、を動作モードとして含む、医療用画像処理装置が提供される。

また、本開示によれば、患者へ投与される薬剤に応じた波長帯域の光を射出する光源と、前記薬剤に応じた波長帯域に属する光信号を取得する取得部と、第１の薬剤が投与されたタイミングから、第２の薬剤が投与され所定の領域の蛍光強度が上昇しだす第１のタイミングまでの間に取得された第１の光信号と、前記第１のタイミング以降に取得された第２の信号と、に基づいて、前記第２の薬剤による生じる光信号を抽出する光信号抽出部と、を備える、医療用信号取得システムが提供される。

本開示の一実施形態に係る医療用観察システムの機能構成の一例を示した機能ブロック図である。同実施形態に係る医療用観察システムの機能構成の一例について示した機能ブロック図である。同実施形態に係る医療用観察システムにおける画像信号に対する信号処理の一例について概要を説明するための説明図である。同実施形態に係る医療用観察システムにおける画像信号に対する信号処理の一例について概要を説明するための説明図である。同実施形態に係る医療用観察システムの一連の処理の流れの一例について示したフローチャートである。同実施形態に係る医療用観察システムの実施例について説明するための説明図である。変形例１に係る医療用観察システムの機能構成の一例を示したブロック図である。変形例２に係る医療用観察システムの機能構成の一例を示したブロック図である。同実施形態に係る医療用観察システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。同実施形態に係る医療用観察システムの応用例について説明するための説明図である。同実施形態に係る医療用観察システムの他の応用例について説明するための説明図である。同実施形態に係る医療用観察システムの他の応用例について説明するための説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．はじめに
２．技術的特徴
２．１．機能構成
２．２．信号処理
２．３．処理の流れ
２．４．実施例
２．５．変形例
３．ハードウェア構成の一例
４．応用例
４．１．応用例１：顕微鏡撮像システム
４．２．応用例２：内視鏡手術システム
５．むすび

＜＜１．はじめに＞＞
まず、薬剤を使用する観察手法の一例として、所謂特殊光観察と称される観察手法のうち、特に、蛍光物質を利用することで病巣部の蛍光像を観察する蛍光観察について概要を説明したうえで、本開示に係る医療用観察システムの技術的課題について説明する。

蛍光観察では、癌等の病巣に親和性を有する蛍光物質を予め検査対象者（患者）に投与し、当該蛍光物質を励起するための励起光を照射することにより、病巣部に集積した蛍光物質から発せられる蛍光の蛍光像（即ち、蛍光の検出結果に基づく観察像）により、当該病巣部を観察する。

蛍光観察に使用される蛍光物質の代表的な一例として、インドシアニングリーン（ＩＣＧ）が挙げられる。ＩＣＧは、励起光として８０８ｎｍ近傍の波長を有する光を使用することで、８２０ｎｍ前後の波長を有する蛍光（即ち、近赤外帯域の光）を発する。

また、近年では、蛍光観察に利用する蛍光物質として、癌等の病巣に対してより選択的に集積する特性や、投与に伴う検査対象者への影響（副作用）の軽減等の観点から、ＩＣＧ以外にも各種提案されている。また、このような蛍光物質の中には、ＩＣＧとは異なる波長帯域の蛍光を発するものも提案されており、可視光波長帯域に属する光を発する蛍光物質も提案されている。

蛍光観察では、例えば、ＩＣＧ等の蛍光物質が発する蛍光の有無や、当該蛍光の時間変化を観察することで、術者は、血流やリンパ流を視覚的に観察することも可能となる。また、蛍光物質が発する蛍光の時間変化（即ち、患者の体内を流れる当該蛍光物質の時間変化）を解析することで、例えば、血管やリンパ管等のように所望の媒質（例えば、血液やリンパ液）が流れる部位のうち、流れの良い部分と悪い部分とを判別することも可能となる。

一方で、ＩＣＧ等の蛍光物質を利用した蛍光観察を外科手術に利用する際の課題として、蛍光薬剤を投与して蛍光造影を行うと、血流を介して当該蛍光物質が血管壁や組織中のたんぱく質等に付着し、しばらくの間蛍光を発することがある。このような状況下では、比較的短い期間の間に、蛍光薬剤の投与と、蛍光観察と、を繰り返し実行する場合に、蛍光薬剤の投与時に、前回の投与に伴う蛍光物質と、新たな投与に伴う蛍光物質と、が混在するような状況となり得る。このような場合には、前回の投与に伴う蛍光物質が発する蛍光の残留により、新たな投与に伴う蛍光物質が発する蛍光の視認性が低下する場合がある。これに対して、視認性を確保する方法の一例として、観察領域に残存した蛍光物質が放出された後に（ウォッシュアウトされた後に）観察を行う方法が挙げられる。しかしながら、この方法を適用する場合には、蛍光物質が放出されるまでに時間を要し、結果として観察に係る時間がより長くなる傾向にある。

以上のような状況を鑑み、本開示では、薬剤が複数回投与される状況下においても、当該薬剤に対応して取得される画像をより好適な態様で観察可能とする技術を提案する。
具体的には、蛍光薬剤の投与と、蛍光観察と、を繰り返し実行するような状況下においても、蛍光物質の放出を待たずに、新たな蛍光薬剤の投与に伴う蛍光物質が発する蛍光の撮像結果に応じた蛍光画像を、より好適な態様で観察可能とする技術を提案する。

＜＜２．技術的特徴＞＞
続いて、本開示の一実施形態に係る医療用観察システムの技術的特長について説明する。なお、以降では、本実施形態に係る医療用観察ステムの技術的特徴について、特に、患者に対して所定の蛍光物質を含む蛍光薬剤を投与し、当該蛍光物質が発する蛍光の撮像結果に応じた蛍光画像に基づき、患部の観察を行う場合に着目して説明する。

＜２．１．機能構成＞
まず、本実施形態に係る医療用観察システムの機能構成の一例について説明する。本実施形態に係る医療用観察システムは、通常観察モードと、差分表示モードと、を選択的に切り替えて動作可能に構成されている。通常観察モードは、撮像部（例えば、内視鏡装置や顕微鏡装置等）によるその時々の患部の撮像結果に応じた蛍光画像を出力するモードである。また、差分表示モードは、蛍光薬剤の投与と、蛍光観察と、を繰り返し実行するような状況下において、前回以前に投与された蛍光物質が発する蛍光の影響を低減することで、新たに投与された蛍光物資が発する蛍光の撮像結果に応じた蛍光画像をより好適な態様で観察可能に提示するモードである。そこで、本項では、通常観察モードでの動作時と、差分表示モードでの動作時と、のそれぞれにわけて、本実施形態に係る医療用観察システムの機能構成の一例について説明する。なお、通常観察モードが「第１のモード」の一例に相当し、差分表示モードが「第２のモード」の一例に相当する。

まず、図１を参照して、通常観察モードで動作する場合における、本実施形態に係る医療用観察システムの機能構成の一例について説明する。図１は、本実施形態に係る医療用観察システム１１の機能構成の一例を示した機能ブロック図であり、通常観察モードで動作する場合の機能構成の一例を示している。なお、以降では、通常観察モードでの動作時における医療用観察システム１１を特に示す場合には、便宜上「医療用観察システム１１ａ」とも称する。これに対して、後述する差分表示モードでの動作時における医療用観察システム１１を特に示す場合には、便宜上「医療用観察システム１１ｂ」とも称する。

図１に示すように、医療用観察システム１１ａは、撮像部１９１と、信号処理部１１０と、出力部１９３とを含む。なお、以降の説明では、通常観察モードでの動作時における信号処理部１１０を特に示す場合には、図１に示すように、便宜上「信号処理部１１０ａ」とも称する。これに対して、後述する差分表示モードでの動作時における信号処理部１１０を特に示す場合には、便宜上「信号処理部１１０ｂ」とも称する。

撮像部１９１は、患部（観察対象）からの光を受光することで、当該患部の画像を撮像する構成を模式的に示している。具体的な一例として、撮像部１９１は、内視鏡装置や手術用顕微鏡装置の一部（例えば、カメラヘッド）として構成され得る。撮像部１９１は、患部の撮像結果に応じた画像を信号処理部１１０ａに出力する。なお、蛍光観察が行われる状況下では、撮像部１９１から信号処理部１１０ａに対して、患者に投与された蛍光薬剤に含まれる蛍光物質が発する蛍光の撮像結果に応じた画像信号（換言すると、蛍光画像）が出力されることとなる。

出力部１９３は、ユーザに対して各種情報を提示する。本実施形態に係る医療用観察システム１１では、出力部１９３は、所謂ディスプレイ等のような表示部として構成され、画像（静止画像や動画像）等のような表示情報を表示することでユーザに情報を提示する。具体的な一例として、出力部１９３は、後述する信号処理部１１０ａから出力される出力画像（蛍光画像）を表示してもよい。

信号処理部１１０は、所謂ＣＣＵ（カメラコントロールユニット）として構成され、撮像部１９１から出力される画像信号（例えば、蛍光画像）に対して各種画像処理を施すことで出力画像を生成し、当該出力画像を出力部１９３に出力させる。図１に示すように、信号処理部１１０ａは、現像処理部１１１を含む。

現像処理部１１１は、所定の単位期間（例えば、フレーム）ごとに撮像部１９１から出力される画像信号に対して所定の画像処理（所謂現像処理）を施すことで出力画像を生成する。図１に示す例では、現像処理部１１１は、生成した当該出力画像を出力部１９３に逐次出力する。これにより、当該出力画像が出力部１９３を介してユーザ（例えば、医師）に提示される。

以上、図１を参照して、通常観察モードで動作する場合における、本実施形態に係る医療用観察システムの機能構成の一例について説明した。

続いて、図２を参照して、差分表示モードで動作する場合における、本実施形態に係る医療用観察システムの機能構成の一例について説明する。図２は、本実施形態に係る医療用観察システムの機能構成の一例について示した機能ブロック図であり、差分表示モードで動作する場合の機能構成の一例を示している。

図２に示すように、医療用観察システム１１ｂは、撮像部１９１と、信号処理部１１０ｂと、出力部１９３とを含む。なお、撮像部１９１と、出力部１９３とについては、図１に示す例と同様のため詳細な説明は省略する。また、信号処理部１１０が、「画像処理部」の一例に相当する。また、当該信号処理部１１０を含む装置が、「医療用画像処理装置」の一例に相当する。

図２に示すように、信号処理部１１０ｂは、現像処理部１１１と、動き推定部１１２と、差分抽出部１１３と、加算部１１４と、フレームメモリ１１５と、位置合わせ処理部１１６とを含む。なお、現像処理部１１１については、図１に示す例と実質的に同様のため詳細な説明は省略する。

動き推定部１１２は、現像処理部１１１から出力される、互いに異なるタイミングでの撮像結果それぞれに応じた複数の画像間（例えば、異なるフレームでの撮像結果に応じた画像間）を比較することで、撮像部１９１と被写体（例えば、観察対象となる患部）との間の一方に対する他方の相対的な動き（換言すると、画像中の患部の動き）を推定する。具体的な一例として、動き推定部１１２は、複数の画像間において所定の単位データごとに（例えば、画素単位で）、当該複数の画像それぞれに対応するタイミング間（例えば、フレーム間）における動きベクトル（即ち、動きの方向及び変化量）を算出する。動きの推定方法としては、例えば、ブロックマッチング法や勾配法等が挙げられる。また、動き推定部１１２は、複数の動き推定方法それぞれに基づき画像間における画像中の患部の動きを推定し、それぞれの推定結果を組み合わせることで動き推定の精度を向上させてもよい。そして、動き推定部１１２は、画像中の患部の動きの推定結果を、差分抽出部１１３及び位置合わせ処理部１１６に出力する。

差分抽出部１１３は、動き推定部１１２から出力される画像中の患部の動きの推定結果に基づき、現像処理部１１１から出力される、互いに異なるタイミングそれぞれでの撮像結果に応じた複数の画像間の差分を算出（抽出）することで差分画像を生成する。なお、以降の説明では、便宜上、現フレームでの撮像結果に応じた画像（以下、「現フレーム画像」とも称する）と、当該現フレームよりも前のフレームで撮像された画像（以下、「前フレーム画像」とも称する）と、を対象として差分画像が生成されるものとする。

具体的な一例として、差分抽出部１１３は、画像中の患部の動きの推定結果に基づき前フレーム画像を画素単位でシフトさせる（即ち、補正する）ことで、現フレーム画像と当該前フレーム画像と、の間で画像間の位置合わせを行う。そして、差分抽出部１１３は、位置合わせ後の現フレーム画像と前フレーム画像との間の差分（例えば、フレーム間差分）を算出（抽出）し、当該差分の算出結果に応じた差分画像を生成する。

以上のようにして、差分抽出部１１３は、現像処理部１１１から逐次出力される画像（例えば、蛍光画像）に基づき差分画像を生成し、当該差分画像を加算部１１４に出力する。

フレームメモリ１１５は、後述する加算部１１４から出力される出力画像を一時的に保持する。フレームメモリ１１５に保持された出力画像は、後述する位置合わせ処理部１１６により所望のタイミングで読み出される。

また、フレームメモリ１１５は、所定のトリガに基づき、当該トリガを受け付けるまでに保持された出力画像を、位置合わせ処理部１１６への出力対象から除外する。具体的な一例として、所定のトリガに基づき、当該トリガを受け付けるまでに保持された出力画像を破棄することで、当該出力画像を位置合わせ処理部１１６への出力対象から除外してもよい。また、フレームメモリ１１５は、上記トリガを受け付けるまでに保持された出力画像を、別途保持することで、当該出力画像を位置合わせ処理部１１６への出力対象から除外してもよい。これにより、別途保持された過去の出力画像と、新たにフレームメモリ１１５に保持される出力画像と、の双方を出力対象とすることも可能となる。

なお、上記トリガが発生するタイミングや、当該トリガの種別は特に限定されない。例えば、医療用観察システム１１の動作モードの変更をトリガとして、フレームメモリ１１５が保持された出力画像を位置合わせ処理部１１６への出力対象から除外してもよい。より具体的な一例として、フレームメモリ１１５は、差分表示モードへの遷移をトリガとして、当該トリガを受け付けるまでに保持された出力画像を、位置合わせ処理部１１６への出力対象から除外してもよい。なお、フレームメモリ１１５が、「記憶部」の一例に相当する。

位置合わせ処理部１１６は、フレームメモリ１１５に保持された出力画像（即ち、過去の出力画像）を読み出し、動き推定部１１２から出力される画像中の患部の動きの推定結果に基づき、当該出力画像をシフトさせる（即ち、補正する）。そして、位置合わせ処理部１１６は、シフト後の当該出力画像を加算部１１４に出力する。これにより、差分抽出部１１３から加算部１１４に出力される差分画像と、位置合わせ処理部１１６から加算部１１４に出力される過去の出力画像と、の間で位置合わせが行われる。

加算部１１４は、差分抽出部１１３から出力される差分画像と、位置合わせ処理部１１６から出力される過去の出力画像と、を加算することで新たに出力画像（即ち、現フレームに対応する出力画像）を生成する。そして、加算部１１４は、生成した出力画像を出力部１９３に出力させる。また、加算部１１４は、当該出力画像をフレームメモリ１１５に保持させる。即ち、フレームメモリ１１５に保持された当該出力画像が、上述の通り、過去の出力画像として以降に生成された差分画像と加算され、新たな出力画像が生成されることとなる。このように、図２に示す例では、上記差分画像がフレームメモリ１１５に蓄積され、当該蓄積結果に応じた出力画像が出力部１９３を介して出力される。なお、差分抽出部１１３から出力される差分画像が「第１の差分画像」の一例に相当し、フレームメモリ１１５に蓄積された差分画像が「第２の差分画像」の一例に相当する。

以上、図２を参照して、差分表示モードで動作する場合における、本実施形態に係る医療用観察システムの機能構成の一例について説明した。

なお、上記はあくまで一例であり、上述した各機能を実現することが可能であれば、医療用観察システム１１の機能構成は必ずしも図１及び図２に示す例には限定されない。具体的な一例として、医療用観察システム１１の各構成のうち２以上の構成が一体的に構成されていてもよい。また、他の一例として、信号処理部１１０の各構成のうち一部の構成が当該信号処理部１１０の外部に設けられていてもよい。また、信号処理部１１０のうち、現像処理部１１１のように画像信号に基づく画像の生成に係る構成が信号処理部１１０の外部に設けられていてもよい。

また、図１及び図２では図示していないが、医療用観察システム１１は、患者へ投与される薬剤に応じた波長帯域に属する光を射出する光源を含んでもよい。具体的な一例として、当該光源は、患者へ投与される蛍光薬剤に含まれる蛍光物質の励起光を射出可能に構成されていてもよい。このような構成により、当該光源より射出された光により蛍光薬剤に含まれる蛍光物質を励起させることで、当該蛍光物質に蛍光を発光させることが可能となる。

また、医療用観察システム１１は、通常観察モードでの動作時に出力される蛍光画像と、差分観察モードでの動作時に出力される蛍光画像と、の双方を出力可能に構成されていてもよい。この場合には、例えば、図２に示す医療用観察システム１１において、現像処理部１１１から出力される画像を別途出力画像として出力部１９３に出力させればよい。

＜２．２．信号処理＞
次いで、本実施形態に係る医療用観察システムにおける画像信号に対する信号処理（即ち、画像処理）の一例について、図３及び図４を参照してより詳細に説明する。図３及び図４は、本実施形態に係る医療用観察システムにおける画像信号に対する信号処理の一例について概要を説明するための説明図である。

例えば、図３は、蛍光観察が行われる状況下で互いに異なるタイミングで蛍光薬剤が複数回投与される場合における、画像中の所定の一部（例えば、所定の画素）の時系列に沿った輝度変化（即ち、蛍光強度の変化）を模式的に示している。図３に示す例では、横軸が時間を示し、縦軸が輝度値（即ち、蛍光強度）を示している。即ち、図３に示すグラフは、画像中の所定の領域（以降では、便宜上「注目画素」とも称する）における蛍光強度の時系列に沿った変化を示している。また、図３において、タイミングｔ１は、１回目の蛍光薬剤の投与の検知結果に応じたタイミングを示しており、理想的には１回目の蛍光薬剤が投与されたタイミングに相当する。また、タイミングｔ２は、２回目の蛍光薬剤の投与の検知結果に応じたタイミングを示しており、理想的には２回目の蛍光薬剤が投与されたタイミングに相当する。また、タイミングｔ３は、２回目の蛍光薬剤の投与結果に応じた蛍光画像の出力タイミングを示している。

図３に示すように、タイミングｔ１において１回目の蛍光薬剤の投与が行われると、蛍光物質の拡散に伴い注目画素に対応する領域（例えば、注目部位）に当該蛍光物質が流れ込むことで、当該注目画素における蛍光強度Ｉが時系列に沿って増加する。また、注目画素に対応する領域（注目部位）からの蛍光物質の放出（ウォッシュアウト）の開始に伴い、当該注目画素における蛍光強度Ｉが時系列に沿って低下する。次いで、タイミングｔ２において２回目の蛍光薬剤の投与が行われると、新たに投与された蛍光物質の拡散に伴い、注目画素における蛍光強度Ｉが再度時系列に沿って増加する。なお、図３において、参照符号Ｉ₁は、タイミングｔ２における注目画素の蛍光強度を示している。即ち、タイミングｔ２以降において蛍光強度Ｉ₁を超えた成分が、２回目に投与された蛍光薬剤に含まれる蛍光物質が発する蛍光の検出結果に起因した蛍光強度の変化分となる。

一方で、図３に示す例のように、２回目の蛍光薬剤の投与が行われたタイミングｔ２以降においては、１回目に投与された蛍光薬剤に含まれる蛍光物質が発する蛍光の検出結果が顕在化している。即ち、通常観察モードでの動作時には、タイミングｔ２以降において、蛍光強度Ｉ₁を基点として、新たに投与された蛍光物質が発する蛍光の検出結果に応じた蛍光強度がさらに上乗せされることとなる。即ち、１回目に投与された蛍光物質が発する蛍光の検出結果の影響により画面全体がより明るくなり、結果として視認性が低下する場合がある。

これに対して、前述したように、差分表示モードでの動作時には、例えば、所定のトリガに基づきフレームメモリ１１５に保持された出力画像が破棄される（即ち、フレームメモリ１１５がリセットされる）。例えば、図３に示す例の場合には、２回目の蛍光薬剤の投与の検出結果に基づき、タイミングｔ２においてフレームメモリ１１５がリセットされたものとする。この場合には、タイミングｔ２以降において蛍光強度Ｉ₁を超えた成分に基づき出力画像が生成されることとなる。

具体的には、フレーム間における蛍光強度の変化をΔＩとした場合に、タイミングｔ２からタイミングｔ３までの蛍光強度の変化分は、以下に（式１）として示す計算式で表される。

以上の通り、差分表示モードでの動作時には、２回目の蛍光薬剤の投与後に出力される画像は、上述し（式１）に基づき生成されることとなる。即ち、この場合には、タイミングｔ２以降において蛍光強度Ｉ₁を超えた成分に基づく出力画像が提示されることとなる。

ここで、図４を参照して、通常観察モード及び差分表示モードそれぞれにおいて提示される出力画像の一例について説明する。図４において、参照符号Ｖ１０１は、１回目の蛍光薬剤投与直後の出力画像（蛍光画像）、即ち、図３に示すタイミングｔ１における出力画像を模式的に示している。また、参照符号Ｖ１０３は、２回目の蛍光薬剤投与直前の出力画像（蛍光画像）、即ち、図３に示すタイミングｔ２の直前における出力画像を模式的に示している。

また、参照符号Ｖ１０５は、通常観察モードでの動作時における、２回目の蛍光薬剤投与直後の出力画像（蛍光画像）、即ち、図３に示すタイミングｔ２の直後における出力画像を模式的に示している。また、参照符号Ｖ１０７は、通常観察モードでの動作時における、２回目の蛍光薬剤投与後に出力される出力画像（蛍光画像）、即ち、図３に示すタイミングｔ３において出力される出力画像を模式的に示している。

通常観察モードでの動作時には、２回目の蛍光薬剤の投与が行われると、当該投与直前の出力画像Ｖ１０３をベースとして、新たに投与された蛍光薬剤に含まれる蛍光物質が発する蛍光の検出結果（蛍光強度）が上乗せされる。即ち、以降に出力される出力画像Ｖ１０５及びＶ１０７は、１回目の蛍光薬剤の投与に応じた蛍光の検出結果が残留するため、出力画像Ｖ１０３に比べて画像全体がより明るくなり、例えば、図４に示すように画像全体にわたって白みがかった画像となる。これにより、通常観察モードでの動作時には、２回目の蛍光薬剤の投与後に提示される出力画像は、例えば、コントラストの低下や白飛び等が生じ、視認性が低下する場合がある。

これに対して、参照符号Ｖ１０９は、差分表示モードでの動作時における、２回目の蛍光薬剤投与直後の出力画像（蛍光画像）、即ち、図３に示すタイミングｔ２の直後における出力画像を模式的に示している。また、参照符号Ｖ１１１は、差分表示モードでの動作時における、２回目の蛍光薬剤投与後に出力される出力画像（蛍光画像）、即ち、図３に示すタイミングｔ３において出力される出力画像を模式的に示している。

図３及び図４に示す例において、差分表示モードでの動作時には、出力画像Ｖ１０９として示すように、２回目の蛍光薬剤投与のタイミングでフレームメモリ１１５がリセットされる。そのため、この場合には、２回目の蛍光薬剤投与後に蛍光強度が増加した部分における蛍光の検出結果が出力画像中に反映されることとなる。これにより、出力画像Ｖ１１１として示すように、２回目の蛍光薬剤投与後の観察時においても、１回目の蛍光薬剤投与後の観察時と同等の視認性を確保することが可能となる。

なお、本開示においては、複数回にわたり薬剤が投与される場合において、先に投与される薬剤が「第１の薬剤」の一例に相当し、当該第１の薬剤よりも後に投与される薬剤が「第２の薬剤」の一例に相当する。具体的には、図３及び図４に示す例では、タイミングｔ１において投与される蛍光薬剤が「第１の薬剤」の一例に相当し、タイミングｔ２において投与される蛍光薬剤が「第２の薬剤」に相当する。なお、図３に示す例では、第１の薬剤と第２の薬剤とが同じ種類の薬剤である場合を想定しているが、第１の薬剤と第２の薬剤とが異なる種類の薬剤であってもよい。また、第１の薬剤が投与されたタイミングから第２の薬剤が投与されたタイミングまでの間に撮像された蛍光画像が「第１の蛍光画像」の一例に相当し、当該第２の薬剤が投与されたタイミング以降に撮像された蛍光画像が「第２の蛍光画像」の一例に相当する。具体的には、図４に示す例において、蛍光画像Ｖ１０３が「第１の蛍光画像」の一例に相当し、蛍光画像Ｖ１１１が「第２の蛍光画像」の一例に相当する。即ち、本実施形態に係る医療用観察システムに依れば、出力画像として、第２の薬剤（例えば、２回目以降に投与された蛍光薬剤）により生じる蛍光が強調された蛍光画像Ｖ１１１を生成することが可能である。

なお、図３に示す例において、フレームメモリ１１５のリセットのトリガとなる、蛍光薬剤が投与されたタイミングの検出方法については特に限定はされない。具体的な一例として、蛍光薬剤の投与にあわせてユーザにより所定の操作が行われる場合には、信号処理部１１０は、当該操作を検出することで、当該蛍光薬剤が投与されたタイミングを検出してもよい。

また、他の一例として、信号処理部１１０は、撮像部１９１による撮像結果に応じた画像（蛍光画像）に対して画像解析を施すことで、蛍光薬剤が投与されたタイミングを検出してもよい。具体的な一例として、図３に示す例の場合には、輝度値（蛍光強度）の立ち上がりを検出することで、１回目の蛍光薬剤投与のタイミングｔ１を検出することが可能である。また、輝度値の変化の極小値、即ち、時系列に沿って低下する輝度値が再度上昇を開始するタイミングを検出することで、２回目以降の蛍光薬剤投与のタイミング（例えば、２回目の薬剤投与のタイミングｔ２）を検出することが可能である。なお、上述した時系列に沿って低下する輝度値が再度上昇を開始するタイミングが、「第１のタイミング」の一例に相当する。

もちろん、上記はあくまで一例であり、信号処理部１１０が蛍光薬剤投与のタイミングを検出することが可能であれば、その方法は特に限定されない。また、上記では蛍光観察が行われる場合の一例について説明したが、蛍光観察以外の観察方法が適用される場合においても、使用される薬剤が投与されるタイミングを検出することが可能であればその方法は特に限定されず、観察方法や使用される薬剤に応じて検出方法が選択的に切り替えられてもよい。また、上記はあくまで一例であり、必ずしも本実施形態に係る医療用観察システムの機能を限定するものではない。例えば、上記第１の蛍光画像や上記第２の蛍光画像に相当する画像の取得に際し、必ずしも上記第１の薬剤や上記第２の薬剤が投与されたタイミングの検出が明示的に行われなくてもよい。具体的な一例として、図３に示す例において、蛍光強度が上昇から下降に遷移し、再び上昇するまでの撮像結果に応じた画像（蛍光画像）を第１の蛍光画像とすることで、薬剤投与のタイミングを明示的に検出しなくとも、出力画像を生成することが可能である。

また、上述した例では、同じ種類の蛍光薬剤を複数回投与する場合の例について説明したが、必ずしも本実施形態に係る医療用観察システムの適用範囲を限定するものではなく、例えば、複数種類の蛍光薬剤が観察ごとに個別に投与されてもよい。即ち、複数種類の蛍光薬剤それぞれに含まれる蛍光物質が発する蛍光それぞれを検出することが可能であれば、複数回に分けて行われる観察ごとに、当該複数種類の蛍光薬剤のうちのいずれかの蛍光薬剤を選択的に使用することも可能である。

また、図４に示す例において、２回目の蛍光薬剤投与のタイミングで、フレームメモリ１１５に保持された蛍光画像Ｖ１０３が破棄されずに別途保持されてもよい。このような構成とすることで、２回目の蛍光薬剤投与前の蛍光画像Ｖ１０３と、２回目の蛍光薬剤投与後の蛍光画像Ｖ１１１と、のそれぞれを比較可能に出力することも可能となる。

以上、本実施形態に係る医療用観察システムにおける画像信号に対する信号処理（即ち、画像処理）の一例について、図３及び図４を参照してより詳細に説明した。

＜２．３．処理の流れ＞
続いて、本実施形態に係る医療用観察システムの一連の処理の流れの一例について、特に信号処理部の処理に着目して説明する。例えば、図５は、本実施形態に係る医療用観察システムの一連の処理の流れの一例について示したフローチャートであり、特に、蛍光薬剤の投与と、蛍光観察と、が繰り返し実行される場合の動作の一例について示している。

図５に示すように、信号処理部１１０は、１回目の蛍光薬剤の投与が検出されると（Ｓ１０１）、撮像部１９１による撮像結果に応じた蛍光画像に基づき出力画像を生成し、当該出力画像を出力部１９３に出力させる（Ｓ１０３）。これにより、１回目に投与された蛍光薬剤に含まれる蛍光物質が発する蛍光の検出結果に応じた蛍光画像が出力部１９３を介して提示される。

次いで、信号処理部１１０は、ｎ回目（２回目以降）の蛍光薬剤の投与が検出されると（Ｓ１０５）、動作モードが差分表示モードの場合には（Ｓ１０７、ＹＥＳ）、フレームメモリ１１５をリセットする（Ｓ１０９）。この場合には、信号処理部１１０は、当該リセット後における蛍光の検出結果に応じた出力画像、即ち、ｎ回目に投与された蛍光薬剤に含まれる蛍光物質が発する蛍光の検出結果に応じた出力画像を提示する（Ｓ１１１）。具体的な一例として、図４に示す例における出力画像Ｖ１１１が、この場合に提示される出力画像の一例に相当する。

一方で、信号処理部１１０は、動作モードが通常モードの場合には（Ｓ１０７、ＮＯ）、フレームメモリ１１５のリセット（Ｓ１０９）は行わない。この場合には、信号処理部１１０は、通常モードでの動作中における一連の蛍光薬剤の投与に伴う蛍光の検出結果が反映された出力画像を提示する（Ｓ１１１）。具体的な一例として、図４に示す例における出力画像Ｖ１０７が、この場合に提示される出力画像の一例に相当する。

なお、図５に示す例では明示されていないが、動作モードについては所望の契機で適宜切り替えられてもよく、当該動作モードの切り替え方法についても特に限定はされない。具体的な一例として、信号処理部１１０は、ｎ回目（２回目以降）の蛍光薬剤投与の検出時（Ｓ０１５）に、動作モードが通常観察モードの場合には、当該動作モードを差分表示モードに切り替えてもよい。また、動作モードが切り替えられた場合においても、信号処理部１１０は、参照符号Ｓ１０７で示された処理の実行タイミングにおける動作モードの設定に応じて、フレームメモリ１１５のリセット（Ｓ１０９）を行うか否かを切り替えればよい。これにより、そのときの動作モードの設定に応じた出力画像が提示されることとなる。

信号処理部１１０は、観察の終了が指示されない限り（Ｓ１１３、ＮＯ）、参照符号Ｓ１０５～Ｓ１１１で示した一連の処理を繰り返し実行する。そして、信号処理部１１０は、観察の終了が指示されると（Ｓ１１３、ＹＥＳ）、図５に示す一連の処理の実行を終了する。

以上、図５を参照して、本実施形態に係る医療用観察システムの一連の処理の流れの一例について、特に信号処理部の処理に着目して説明した。

＜２．４．実施例＞
続いて、本実施形態に係る医療用観察システムの実施例について説明する。例えば、図６は、本実施形態に係る医療用観察システムの実施例について説明するための説明図であり、蛍光物質としてＩＣＧを利用した蛍光観察により、腸の吻合の前後における血流評価を行う場合の一例について示している。

具体的には、図６の上図に示すように、まず腸の吻合前に１回目の蛍光薬剤の投与が行われ、当該投与後における蛍光の検出結果に応じた蛍光画像Ｖ２００に基づき、吻合前における血流の評価が行われる。例えば、参照符号Ｖ２０１は、１回目に投与された蛍光薬剤に含まれるＩＣＧが発する蛍光の検出結果（以降では、便宜上「１回目の蛍光成分」とも称する）が検出された領域を模式的に示している。即ち、蛍光画像Ｖ２００中に提示された１回目の蛍光成分に対応する領域Ｖ２０１により、血行状態（例えば、血流がどこまで到達しているか）の確認が行われ、当該確認の結果に応じて吻合箇所が決定される。

続いて、吻合後に２回目の蛍光薬剤の投与が行われ、当該投与後における蛍光の検出結果に応じた蛍光画像に基づき、吻合後における血流の評価が行われる。

例えば、図６左下図に示す蛍光画像Ｖ２１０は、通常観察モードでの動作時において２回目の蛍光薬剤の投与後に提示される出力画像の一例を示している。具体的には、参照符号Ｖ２１１は、吻合箇所を模式的に示している。また、参照符号Ｖ２１３は、１回目の蛍光成分に対応する領域を模式的に示している。これに対して、参照符号Ｖ２１５は、２回目に投与された蛍光薬剤に含まれるＩＣＧが発する蛍光の検出結果（以降では、便宜上「２回目の蛍光成分」とも称する）が検出された領域を模式的に示している。即ち、通常観察モードで提示される蛍光画像Ｖ２１０においては、当該蛍光画像Ｖ２１０中に１回目の蛍光成分が残留するうえに、対応する領域Ｖ２１３において蛍光強度が加算されることとなる。このような特性から、蛍光画像Ｖ２１０中のどの部分が２回目の蛍光成分に対応する領域かを判別することが困難となり、ひいては、１回目の蛍光薬剤の投与時（即ち、吻合前）と、２回目の蛍光薬剤の投与時（即ち、吻合後）と、を比較することが困難となる場合がある。

これに対して、図６の右下図に示す蛍光画像Ｖ２２０は、差分表示モードでの動作時において２回目の蛍光薬剤の投与後に提示される出力画像の一例を示している。具体的には、参照符号Ｖ２２１は、吻合箇所を模式的に示している。また、参照符号Ｖ２２３は、２回目の蛍光成分に対応する領域を模式的に示している。即ち、差分表示モードで提示される蛍光画像Ｖ２２０においては、１回目の蛍光成分の影響が抑制されるため、２回目の蛍光成分に対応する領域Ｖ２２３を、１回目の蛍光薬剤の投与後に提示される蛍光画像Ｖ２００と同等の視認性で視認することが可能となる。このような特性から、差分表示モードでの動作時には、１回目の蛍光薬剤の投与時（即ち、吻合前）と、２回目の蛍光薬剤の投与時（即ち、吻合後）と、を容易に比較することが可能となる。

以上、図６を参照して、本実施形態に係る医療用観察システムの実施例について説明した。

＜２．５．変形例＞
続いて、本実施形態に係る医療用観察システムの変形例として、当該医療用観察システムの機能構成の他の一例について説明する。

（変形例１）
まず、図７を参照して、変形例１に係る医療用観察システムの構成の一例について説明する。図７は、変形例１に係る医療用観察システムの機能構成の一例を示したブロック図である。なお、以降の説明では、本変形例に係る医療用観察システムを特に示す場合には、便宜上「医療用観察システム１２」とも称する。

図７に示すように、医療用観察システム１２は、撮像部１９１と、信号処理部１２０と、出力部１９３とを含む。なお、出力部１９３については、図１及び図２に示す例における出力部１９３と実質的に同様のため詳細な説明は省略する。

撮像部１９１は、所謂２板カメラとして構成されており、入射光を可視光と蛍光材料が発する蛍光（例えば、ＩＣＧの場合には赤外光）とに分離し、それぞれの光を互いに異なるイメージセンサにより検知することで、各光の検知結果を個別に出力する。なお、入射光を可視光と蛍光とに分離するための構成は特に限定されない。具体的な一例として、ダイクロイック膜のような波長特性に応じて入射光を分離する光学膜を利用して構成された色分解光学系を利用することで、入射光を可視光と蛍光とに分離してもよい。以上のような構成に基づき、撮像部１９１からは、信号処理部１２０に対して蛍光画像と可視光画像とが個別に出力される。

信号処理部１２０は、現像処理部１２１及び１２２と、動き推定部１２３と、差分抽出部１２４と、加算部１２５と、フレームメモリ１２６と、位置合わせ処理部１２７とを含む。なお、現像処理部１２１、差分抽出部１２４、加算部１２５、フレームメモリ１２６、及び位置合わせ処理部１２７については、図２に示す例における、現像処理部１１１、差分抽出部１１３、加算部１１４、フレームメモリ１１５、及び位置合わせ処理部１１６と実質的に同様であるため詳細な説明は省略する。

現像処理部１２２は、所定の単位期間（例えば、フレーム）ごとに撮像部１９１から出力される可視光の検知結果に応じた画像信号に対して所定の画像処理（所謂現像処理）を施すことで可視光画像を生成する。そして、現像処理部１２２は、上記画像処理に基づき生成した可視光画像を動き推定部１２３に出力する。

動き推定部１２３は、現像処理部１２２から出力される可視光画像に基づき、撮像部１９１と被写体（例えば、観察対象となる患部）との間の一方に対する他方の相対的な動き（換言すると、画像中の患部の動き）を推定する。なお、動き推定部１２３が、画像中の患部の動きを推定する方法については、当該推定に利用される画像の種類が異なる点を除けば、図２に示す例における動き推定部１１２と同様のため詳細な説明は省略する。そして、動き推定部１２３は、画像中の患部の動きの推定結果を、差分抽出部１２４及び位置合わせ処理部１２７に出力する。

以上のように、本変形例に係る医療用観察システム１２では、使用される薬剤（例えば、蛍光薬剤）に応じた第１の波長帯域に属する光（例えば、蛍光）を撮像対象とした患部の撮像結果に応じて出力画像（例えば、蛍光画像）が生成される。これに対して、上記第１の波長帯域とは異なる第２の波長帯域に属する光（例えば、可視光）を撮像対象とした患部の撮像結果に応じて、画像中の患部の動きが推定される。可視光画像は、蛍光画像に比べて被写体（患部）をより鮮明に認識することが可能な傾向にある。このような特性から、当該可視光画像を画像中の患部の動きの推定に利用することで、蛍光画像を利用する場合に比べて、当該推定の精度をより向上させることが可能となる。

なお、上記はあくまで一例であり、必ずしも本変形例に係る医療用観察システム１２の構成を限定するものではない。具体的な一例として、蛍光画像及び可視光画像のように、互いに異なる波長帯域に属する光を撮像対象とした画像を個別に撮像することが可能であれば、撮像部１９１の構成は上述した所謂２板カメラの例には限定されない。具体的な一例として、撮像部１９１が、蛍光画像及び可視光画像を時分割で撮像するように構成されていてもよい。

以上、図７を参照して、変形例１に係る医療用観察システムの構成の一例について説明した。

（変形例２）
続いて、図８を参照して、変形例２に係る医療用観察システムの構成の一例について説明する。図８は、変形例２に係る医療用観察システムの機能構成の一例を示したブロック図である。なお、以降の説明では、本変形例に係る医療用観察システムを特に示す場合には、便宜上「医療用観察システム１３」とも称する。

図７に示すように、医療用観察システム１２は、撮像部１９１と、信号処理部１３０と、出力部１９３とを含む。なお、撮像部１９１及び出力部１９３については、図１及び図２に示す例における撮像部１９１及び出力部１９３と実質的に同様のため詳細な説明は省略する。

信号処理部１３０は、現像処理部１３１と、フレームメモリ１３２と、動き推定部１３３と、位置合わせ処理部１３４と、差分抽出部１３５とを含む。なお、現像処理部１３１については、図１及び図２に示す例における現像処理部１１１と実質的に同様のため詳細な説明は省略する。

現像処理部１３１は、所定の単位期間（例えば、フレーム）ごと現像結果に応じた画像（蛍光画像）を、動き推定部１３３及び差分抽出部１３５に出力する。なお、以降の説明では、便宜上、現像処理部１３１は、フレームごとに蛍光画像を出力するものとする。

また、本変形例に係る医療用観察システム１３においては、所定のトリガが受け付けられたタイミングで現像処理部１３１から出力される蛍光画像がフレームメモリ１３２に保持される。なお、以降の説明では、フレームメモリ１３２に保持される蛍光画像を「基準フレーム画像」とも称する。また、現像処理部１３１から動き推定部１３３及び差分抽出部１３５に対してその時々で逐次出力される蛍光画像を「現フレーム画像」とも称する。即ち、基準フレーム画像は、現像処理部１３１から現フレーム画像が出力される以前のフレームにおいて、当該現像処理部１３１から出力される蛍光画像に相当する。即ち、本変形例においては、基準フレームが「第１の蛍光画像」の一例に相当し、現フレーム画像が「第２の蛍光画像」の一例に相当する。

動き推定部１３３は、現像処理部１３１から出力される現フレーム画像と、フレームメモリ１３２に保持された基準フレーム画像と、を比較することで、撮像部１９１と被写体（例えば、観察対象となる患部）との間の一方に対する他方の相対的な動き（換言すると、画像中の患部の動き）を推定する。即ち、このとき推定される画像中の患部の動きは、基準フレーム画像が撮像されたタイミングと、現フレーム画像が撮像されたタイミングと、の間の期間において変化した撮像部１９１と被写体との間の位置及び姿勢の関係に基づくこととなる。そして、動き推定部１３３は、画像中の患部の動きの推定結果を、位置合わせ処理部１３４に出力する。

位置合わせ処理部１３４は、フレームメモリ１３２に保持された基準フレーム画像を読み出し、動き推定部１３３から出力される画像中の患部の動きの推定結果に基づき、当該基準フレーム画像をシフトさせる。そして、位置合わせ処理部１３４は、シフト後の当該基準フレーム画像を差分抽出部１３５に出力する。これにより、現フレーム画像と基準フレーム画像との間で位置合わせが行われる。

差分抽出部１３５は、現像処理部１３１から出力される現フレーム画像と、位置合わせ処理部１３４から出力される位置合わせ後の基準フレーム画像と、の間の差分を算出（抽出）し、当該差分の算出結果に応じた差分画像を生成する。そして、差分抽出部１３５は、生成した当該差分画像を出力部１９３に出力させる。

以上のようにして提示される差分画像は、現フレーム画像中に顕在化した、基準フレーム画像として撮像されている蛍光の成分の影響が抑制された画像となる。このような特性を利用し、例えば、蛍光薬剤の投与と、蛍光観察と、が繰り返し実行される状況下において、２回目以降の蛍光薬剤の投与のタイミングで基準フレーム画像が保持されるように制御してもよい。このような制御により、以前に投与された蛍光薬剤に含まれる蛍光物質が発する蛍光の影響が抑制された蛍光画像（例えば、図４に示す蛍光画像Ｖ１１１）を、出力部１９３を介して出力することも可能となる。

なお、上記はあくまで一例であり、必ずしも本変形例に係る医療用観察システム１２の構成を限定するものではない。具体的な一例として、本変形例に係る医療用観察システム１３と、前述した変形例２に係る医療用観察システム１２と、を組み合わせることも可能である。即ち、本変形例に係る医療用観察システム１３において、画像中の患部の動きの推定に可視光画像が利用されてもよい。この場合には、蛍光画像とは別に可視光画像についても基準フレーム画像をフレームメモリ１３２に別途保持され、現フレーム画像（可視光画像）と当該基準フレーム画像との比較に基づき、画像中の患部の動きが推定されればよい。

以上、図８を参照して、変形例２に係る医療用観察システムの構成の一例について説明した。

＜＜３．ハードウェア構成の一例＞＞
続いて、図９を参照しながら、本実施形態に係る医療用観察システムにおいて、各種処理を実行する情報処理装置（例えば、図１及び図２に示す信号処理部１１０等）のハードウェア構成の一例について、詳細に説明する。図９は、本開示の一実施形態に係る医療用観察システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。

本実施形態に係る医療用観察システムを構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。

ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。なお、図１及び図２に示す信号処理部１１０の各構成、即ち、現像処理部１１１と、動き推定部１１２と、差分抽出部１１３と、加算部１１４、及び位置合わせ処理部１１６は、ＣＰＵ９０１による実現され得る。

ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。なお、図１及び図２に示す出力部１９３は、出力装置９１７により実現され得る。

ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。なお、図１及び図２に示すフレームメモリ１１５は、ストレージ装置９１９及びＲＡＭ９０３のいずれか、またはこれらの組み合わせにより実現され得る。

ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ－ＤＶＤメディア又はＢｌｕ－ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ（登録商標））、フラッシュメモリ又はＳＤメモリカード（ＳｅｃｕｒｅＤｉｇｉｔａｌｍｅｍｏｒｙｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔｃａｒｄ）又は電子機器等であってもよい。

接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（ＳｍａｌｌＣｏｍｐｕｔｅｒＳｙｓｔｅｍＩｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－ＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。

通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（ＷｉｒｅｌｅｓｓＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（ＡｓｙｍｍｅｔｒｉｃＤｉｇｉｔａｌＳｕｂｓｃｒｉｂｅｒＬｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。

以上、本開示の実施形態に係る医療用観察システムを構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図９では図示しないが、医療用観察システムを構成する情報処理装置９００に対応する各種の構成を当然備える。

なお、上述のような本実施形態に係る医療用観察システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。

＜＜４．応用例＞＞
続いて、本開示の一実施形態に係る医療用観察システムの応用例について説明する。

＜４．１．応用例１：顕微鏡撮像システム＞
まず、応用例１として、図１０を参照して、本開示の一実施形態に係る医療用観察システムを、顕微鏡ユニットを備えた顕微鏡撮像システムとして構成した場合の一例について説明する。

図１０は、本開示の一実施形態に係る医療用観察システムの応用例について説明するための説明図であり、顕微鏡撮像システムの概略的な構成の一例について示している。具体的には、図１０には、本開示の一実施形態に係る顕微鏡撮像システムが用いられる場合の一適用例として、アームを備えた手術用ビデオ顕微鏡装置が用いられる場合の一例について示されている。

例えば、図１０は、手術用ビデオ顕微鏡装置を用いた施術の様子を模式的に表している。具体的には、図１０を参照すると、施術者（ユーザ）５２０である医師が、例えばメス、鑷子、鉗子等の手術用の器具５２１を使用して、施術台８３０上の施術対象（患者）５４０に対して手術を行っている様子が図示されている。なお、以下の説明においては、施術とは、手術や検査等、ユーザ５２０である医師が施術対象５４０である患者に対して行う各種の医療的な処置の総称であるものとする。また、図１０に示す例では、施術の一例として手術の様子を図示しているが、手術用ビデオ顕微鏡装置５１０が用いられる施術は手術に限定されず、他の各種の施術であってもよい。

施術台８３０の脇には手術用ビデオ顕微鏡装置５１０が設けられる。手術用ビデオ顕微鏡装置５１０は、基台であるベース部５１１と、ベース部５１１から延伸するアーム部５１２と、アーム部５１２の先端に先端ユニットとして接続される撮像ユニット５１５とを備える。アーム部５１２は、複数の関節部５１３ａ、５１３ｂ、５１３ｃと、関節部５１３ａ、５１３ｂによって連結される複数のリンク５１４ａ、５１４ｂと、アーム部５１２の先端に設けられる撮像ユニット５１５を有する。図１０に示す例では、簡単のため、アーム部５１２は３つの関節部５１３ａ～５１３ｃ及び２つのリンク５１４ａ、５１４ｂを有しているが、実際には、アーム部５１２及び撮像ユニット５１５の位置及び姿勢の自由度を考慮して、所望の自由度を実現するように関節部５１３ａ～５１３ｃ及びリンク５１４ａ、５１４ｂの数や形状、関節部５１３ａ～５１３ｃの駆動軸の方向等が適宜設定されてもよい。

関節部５１３ａ～５１３ｃは、リンク５１４ａ、５１４ｂを互いに回動可能に連結する機能を有し、関節部５１３ａ～５１３ｃの回転が駆動されることにより、アーム部５１２の駆動が制御される。ここで、以下の説明においては、手術用ビデオ顕微鏡装置５１０の各構成部材の位置とは、駆動制御のために規定している空間における位置（座標）を意味し、各構成部材の姿勢とは、駆動制御のために規定している空間における任意の軸に対する向き（角度）を意味する。また、以下の説明では、アーム部５１２の駆動（又は駆動制御）とは、関節部５１３ａ～５１３ｃの駆動（又は駆動制御）、及び、関節部５１３ａ～５１３ｃの駆動（又は駆動制御）を行うことによりアーム部５１２の各構成部材の位置及び姿勢が変化される（変化が制御される）ことをいう。

アーム部５１２の先端には、先端ユニットとして撮像ユニット５１５が接続されている。撮像ユニット５１５は、撮像対象物の画像を取得するユニットであり、例えば動画や静止画を撮像できるカメラ等である。図１０に示すように、アーム部５１２の先端に設けられた撮像ユニット５１５が施術対象５４０の施術部位の様子を撮像するように、手術用ビデオ顕微鏡装置５１０によってアーム部５１２及び撮像ユニット５１５の姿勢や位置が制御される。なお、アーム部５１２の先端に先端ユニットとして接続される撮像ユニット５１５の構成は特に限定されず、例えば、撮像ユニット５１５は、撮像対象物の拡大像を取得する顕微鏡として構成されている。また、撮像ユニット５１５は、当該アーム部５１２に対して着脱可能に構成されていてもよい。このような構成により、例えば、利用用途に応じた撮像ユニット５１５が、アーム部５１２の先端に先端ユニットとして適宜接続されてもよい。なお、当該撮像ユニット５１５として、例えば、前述した実施形態に係る分岐光学系が適用された撮像装置を適用することが可能である。即ち、本応用例においては、撮像ユニット５１５または当該撮像ユニット５１５を含む手術用ビデオ顕微鏡装置５１０が、「医療用観察装置」の一例に相当し得る。また本説明では、先端ユニットとして撮像ユニット５１５が適用されている場合に着目して説明したが、アーム部５１２の先端に接続される先端ユニットは、必ずしも撮像ユニット５１５に限定されない。

また、ユーザ５２０と対向する位置には、モニタやディスプレイ等の表示装置５５０が設置される。撮像ユニット５１５によって撮像された施術部位の画像は、表示装置５５０の表示画面に電子画像として表示される。ユーザ５２０は、表示装置５５０の表示画面に表示される施術部位の電子画像を見ながら各種の処置を行う。

以上のような構成により、手術用ビデオ顕微鏡装置５１０によって施術部位の撮像を行いながら手術を行うことが可能となる。

なお、上記に限らず、本開示の一実施形態に係る医療用観察システムの基本思想を逸脱しない範囲であれば、上述した本開示に係る技術を応用することが可能である。具体的な一例として、上述した内視鏡や施術用顕微鏡を適用したシステムに限らず、所望の形態の撮像装置により患部の画像を撮像することで、当該患部を観察可能とするシステムに対して、上述した本開示に係る技術を適宜応用することが可能である。

以上、応用例１として、図１０を参照して、本開示の一実施形態に係る医療用観察システムを、顕微鏡ユニットを備えた顕微鏡撮像システムとして構成した場合の一例について説明した。

＜４．２．応用例２：内視鏡手術システム＞
続いて、応用例２として、図１１及び図１２を参照して、本開示の一実施形態に係る医療用観察システムを、内視鏡ユニットを備えた内視鏡手術システムとして構成した場合の一例について説明する。

図１１及び図１２は、本開示の一実施形態に係る医療用観察システムの他の応用例について説明するための説明図であり、内視鏡手術システムの概略的な構成の一例について示している。

例えば、図１１は、本開示に係る技術が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。図１１では、術者（医師）６６７が、内視鏡手術システム６００を用いて、患者ベッド６６９上の患者６７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム６００は、内視鏡６０１と、その他の術具６１７と、内視鏡６０１を支持する支持アーム装置６２７と、内視鏡下手術のための各種の装置が搭載されたカート６３７と、から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ６２５ａ～６２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ６２５ａ～６２５ｄから、内視鏡６０１の鏡筒６０３や、その他の術具６１７が患者６７１の体腔内に挿入される。図示する例では、その他の術具６１７として、気腹チューブ６１９、エネルギー処置具６２１及び鉗子６２３が、患者６７１の体腔内に挿入されている。また、エネルギー処置具６２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具６１７はあくまで一例であり、術具６１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡６０１によって撮影された患者６７１の体腔内の術部の画像が、表示装置６４１に表示される。術者６６７は、表示装置６４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具６２１や鉗子６２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ６１９、エネルギー処置具６２１及び鉗子６２３は、手術中に、術者６６７又は助手等によって支持される。

（支持アーム装置）
支持アーム装置６２７は、ベース部６２９から延伸するアーム部６３１を備える。図示する例では、アーム部６３１は、関節部６３３ａ、６３３ｂ、６３３ｃ、及びリンク６３５ａ、６３５ｂから構成されており、アーム制御装置６４５からの制御により駆動される。アーム部６３１によって内視鏡６０１が支持され、その位置及び姿勢が制御される。これにより、内視鏡６０１の安定的な位置の固定が実現され得る。

（内視鏡）
内視鏡６０１は、先端から所定の長さの領域が患者６７１の体腔内に挿入される鏡筒６０３と、鏡筒６０３の基端に接続されるカメラヘッド６０５と、から構成される。図示する例では、硬性の鏡筒６０３を有するいわゆる硬性鏡として構成される内視鏡６０１を図示しているが、内視鏡６０１は、軟性の鏡筒６０３を有するいわゆる軟性鏡として構成されてもよい。なお、カメラヘッド６０５または当該カメラヘッド６０５を含む内視鏡６０１が、「医療用観察装置」の一例に相当する。

鏡筒６０３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡６０１には光源装置６４３が接続されており、当該光源装置６４３によって生成された光が、鏡筒６０３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者６７１の体腔内の観察対象（換言すると、撮像対象物）に向かって照射される。なお、内視鏡６０１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド６０５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）６３９に送信される。なお、カメラヘッド６０５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド６０５には撮像素子が複数設けられてもよい。この場合、鏡筒６０３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ６３９は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡６０１及び表示装置６４１の動作を統括的に制御する。具体的には、ＣＣＵ６３９は、カメラヘッド６０５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ６３９は、当該画像処理を施した画像信号を表示装置６４１に提供する。また、ＣＣＵ６３９は、カメラヘッド６０５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。

表示装置６４１は、ＣＣＵ６３９からの制御により、当該ＣＣＵ６３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡６０１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置６４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置６４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置６４１が設けられてもよい。

光源装置６４３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡６０１に供給する。

アーム制御装置６４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置６２７のアーム部６３１の駆動を制御する。

入力装置６４７は、内視鏡手術システム６００に対する入力インタフェースである。ユーザは、入力装置６４７を介して、内視鏡手術システム６００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置６４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置６４７を介して、アーム部６３１を駆動させる旨の指示や、内視鏡６０１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具６２１を駆動させる旨の指示等を入力する。

入力装置６４７の種類は限定されず、入力装置６４７は各種の公知の入力装置であってよい。入力装置６４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ６５７及び／又はレバー等が適用され得る。入力装置６４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置６４１の表示面上に設けられてもよい。

あるいは、入力装置６４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスに具備されたセンサでもよく、この場合、これらのセンサによって検出されるユーザの動きや視線に応じて各種の入力が行われる。また、入力装置６４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置６４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置６４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者６６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置６４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具６２１の駆動を制御する。気腹装置６５１は、内視鏡６０１による視野の確保及び術者の作業空間の確保の目的で、患者６７１の体腔を膨らめるために、気腹チューブ６１９を介して当該体腔内にガスを送り込む。レコーダ６５３は、手術に関する各種の情報を記録可能な装置である。プリンタ６５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

以下、内視鏡手術システム６００において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置）
支持アーム装置６２７は、基台であるベース部６２９と、ベース部６２９から延伸するアーム部６３１と、を備える。図示する例では、アーム部６３１は、複数の関節部６３３ａ、６３３ｂ、６３３ｃと、関節部６３３ｂによって連結される複数のリンク６３５ａ、６３５ｂと、から構成されているが、図１１では、簡単のため、アーム部６３１の構成を簡略化して図示している。実際には、アーム部６３１が所望の自由度を有するように、関節部６３３ａ～６３３ｃ及びリンク６３５ａ、６３５ｂの形状、数及び配置、並びに関節部６３３ａ～６３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部６３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部６３１の可動範囲内において内視鏡６０１を自由に移動させることが可能になるため、所望の方向から内視鏡６０１の鏡筒６０３を患者６７１の体腔内に挿入することが可能になる。

関節部６３３ａ～６３３ｃにはアクチュエータが設けられており、関節部６３３ａ～６３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置６４５によって制御されることにより、各関節部６３３ａ～６３３ｃの回転角度が制御され、アーム部６３１の駆動が制御される。これにより、内視鏡６０１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置６４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部６３１の駆動を制御することができる。

例えば、術者６６７が、入力装置６４７（フットスイッチ６５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置６４５によってアーム部６３１の駆動が適宜制御され、内視鏡６０１の位置及び姿勢が制御されてよい。当該制御により、アーム部６３１の先端の内視鏡６０１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部６３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部６３１は、手術室から離れた場所に設置される入力装置６４７を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、アーム制御装置６４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部６３１が移動するように、各関節部６３３ａ～６３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部６３１に触れながらアーム部６３１を移動させる際に、比較的軽い力で当該アーム部６３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡６０１を移動させることが可能となり、ユーザの利便性を向上させることができる。

ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡６０１が支持されていた。これに対して、支持アーム装置６２７を用いることにより、人手によらずに内視鏡６０１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置６４５は必ずしもカート６３７に設けられなくてもよい。また、アーム制御装置６４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置６４５は、支持アーム装置６２７のアーム部６３１の各関節部６３３ａ～６３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置６４５が互いに協働することにより、アーム部６３１の駆動制御が実現されてもよい。

（光源装置）
光源装置６４３は、内視鏡６０１に術部を撮影する際の照射光を供給する。光源装置６４３は、例えばＬＥＤ、レーザー光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザー光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置６４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザー光源それぞれからのレーザー光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド６０５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置６４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド６０５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置６４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置６４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（カメラヘッド及びＣＣＵ）
図１２を参照して、内視鏡６０１のカメラヘッド６０５及びＣＣＵ６３９の機能についてより詳細に説明する。図１２は、図１１に示すカメラヘッド６０５及びＣＣＵ６３９の機能構成の一例を示すブロック図である。

図１２を参照すると、カメラヘッド６０５は、その機能として、レンズユニット６０７と、撮像部６０９と、駆動部６１１と、通信部６１３と、カメラヘッド制御部６１５と、を有する。また、ＣＣＵ６３９は、その機能として、通信部６５９と、画像処理部６６１と、制御部６６３と、を有する。カメラヘッド６０５とＣＣＵ６３９とは、伝送ケーブル６６５によって双方向に通信可能に接続されている。

まず、カメラヘッド６０５の機能構成について説明する。レンズユニット６０７は、鏡筒６０３との接続部に設けられる光学系である。鏡筒６０３の先端から取り込まれた観察光は、カメラヘッド６０５まで導光され、当該レンズユニット６０７に入射する。レンズユニット６０７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット６０７は、撮像部６０９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部６０９は撮像素子によって構成され、レンズユニット６０７の後段に配置される。レンズユニット６０７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部６０９によって生成された画像信号は、通信部６１３に提供される。

撮像部６０９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサ、あるいは、ＣＣＤ（Charge Coupled Device）タイプのイメージセンサであり、ベイヤ（Bayer）配列を有するカラー撮影可能なものが用いられるが、単板の白黒撮影用でもよい。白黒撮影用イメージセンサを複数枚用いてもよい。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者６６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部６０９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されていてもよい。３Ｄ表示が行われることにより、術者６６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部６０９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット６０７も複数系統設けられる。

また、撮像部６０９は、必ずしもカメラヘッド６０５に設けられなくてもよい。例えば、撮像部６０９は、鏡筒６０３の内部に、対物レンズの直後に設けられてもよい。

駆動部６１１は、アクチュエータによって構成され、カメラヘッド制御部６１５からの制御により、レンズユニット６０７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部６０９による撮像画像の倍率及び焦点が適宜調整され得る。

通信部６１３は、ＣＣＵ６３９との間で各種の情報を送受信するための通信装置によって構成される。通信部６１３は、撮像部６０９から得た画像信号をＲＡＷデータとして伝送ケーブル６６５を介してＣＣＵ６３９に送信する。この際、術部の撮像画像をできるだけ遅延なく表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者６６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部６１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル６６５を介してＣＣＵ６３９に送信される。

また、通信部６１３は、ＣＣＵ６３９から、カメラヘッド６０５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮影時の撮像条件（シャッタースピードや絞り、ゲイン等）を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部６１３は、受信した制御信号をカメラヘッド制御部６１５に提供する。なお、ＣＣＵ６３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部６１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部６１５に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ６３９の制御部６６３によって自動的に設定される。つまり、ＣＣＵ６３９と内視鏡６０１によって、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が、実現される。

カメラヘッド制御部６１５は、通信部６１３を介して受信したＣＣＵ６３９からの制御信号に基づいて、カメラヘッド６０５の駆動を制御する。例えば、カメラヘッド制御部６１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時のシャッター速度や絞りを指定する旨の情報に基づいて、撮像部６０９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部６１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部６１１を介してレンズユニット６０７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部６１５は、更に、鏡筒６０３やカメラヘッド６０５を識別するための情報を記憶する機能を備えてもよい。

なお、レンズユニット６０７や撮像部６０９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド６０５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ６３９の機能構成について説明する。通信部６５９は、カメラヘッド６０５との間で各種の情報を送受信するための通信装置によって構成される。通信部６５９は、カメラヘッド６０５から、伝送ケーブル６６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部６５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部６５９は、電気信号に変換した画像信号を画像処理部６６１に提供する。

また、通信部６５９は、カメラヘッド６０５に対して、カメラヘッド６０５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

画像処理部６６１は、カメラヘッド６０５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部６６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

画像処理部６６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部６６１が複数のＧＰＵによって構成される場合には、画像処理部６６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部６６３は、内視鏡６０１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部６６３は、カメラヘッド６０５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部６６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡６０１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部６６３は、画像処理部６６１による検波処理の結果に応じて、最適な露出条件、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部６６３は、画像処理部６６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置６４１に表示させる。この際、制御部６６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部６６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具６２１使用時のミスト等を認識することができる。制御部６６３は、表示装置６４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者６６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

カメラヘッド６０５及びＣＣＵ６３９を接続する伝送ケーブル６６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル６６５を用いて有線で通信が行われていたが、カメラヘッド６０５とＣＣＵ６３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル６６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル６６５によって妨げられる事態が解消され得る。

以上、本開示に係る技術が適用され得る内視鏡手術システム６００の一例について説明した。なお、ここでは、一例として内視鏡手術システム６００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

また、患部の観察方法や適用される手技についても特に限定されないことは言うまでもない。例えば、動脈瘤を観察対象となる患部とした観察方法（治療方法）としては、上述したクリッピング術に限らず、ステントを使用した方法や、フローダイバータを使用した方法が知られている。また、観察方法や適用される手技に応じて、使用される処置具が異なる場合がある。このような場合においても、例えば、患部の近傍に保持される処置具であれば、上述した本開示に係る技術を適用し、逐次撮像される患部の画像から当該処置具の動きを抽出することで、当該患部の動きを検出することが可能である。

以上、応用例２として、図１１及び図１２を参照して、本開示の一実施形態に係る医療用観察システムを、内視鏡ユニットを備えた内視鏡手術システムとして構成した場合の一例について説明した。

＜＜５．むすび＞＞
以上、説明したように、本開示の一実施形態に係る医療用画像処理装置において、画像処理部は、第１の薬剤が投与されたタイミングから第２の薬剤が投与されたタイミングまでの間に撮像された第１の蛍光画像と、当該第２の薬剤が投与されたタイミング以降に撮像された第２の蛍光画像と、を取得する。また、上記画像処理部は、上記第１の蛍光画像と上記第２の蛍光画像とに基づき、上記第２の薬剤により生じる蛍光が強調された出力画像を生成する。

以上のような構成により、蛍光薬剤の投与と、蛍光観察と、が繰り返し実行されるような状況下において、２回目以降の蛍光薬剤投与後の観察時においても、１回目の蛍光薬剤投与後の観察時と同等の視認性を確保することが可能となる。即ち、本開示の一実施形態に係る医療用観察システムに依れば、薬剤が複数回投与される状況下においても、当該薬剤に対応して取得される画像をより好適な態様で観察することが可能となる。

なお、上記では主に撮像部による撮像結果に基づき画像を生成する場合に着目して説明したが、必ずしも本開示に係る技術の適用先を限定するものではない。具体的な一例として、蛍光物質が発する蛍光や可視光等の光信号を対象として信号処理を施すシステムに対しても、本開示に係る技術を適用することが可能である。この場合には、薬剤の投与に応じて観察対象（例えば、患部）から到来する光の検出結果に応じた光信号を取得する部分（例えば、当該光を検出するセンサや、当該センサから検出結果を取得する部分）が、「取得部」の一例に相当する。また、上述した実施形態や変形例に係る医療用観察システムにおける信号処理部（ＣＣＵ）に相当する構成は、第１の薬剤が投与されたタイミングから第２の薬剤が投与されたタイミングまでの間に取得された第１の光信号と、当該第２の薬剤が投与されたタイミング以降に取得された第２の信号と、に基づいて、当該第２の薬剤による生じる光信号を抽出する。なお、第２の薬剤により生じる光信号の抽出については、上述した実施形態や変形例に係る医療用観察システムにおいて、第２の薬剤（例えば、２回目以降に投与された蛍光薬剤）により生じる蛍光が強調された蛍光画像の生成に係る方法と同様の思想に基づき実現可能である。また、この場合における当該信号処理部に相当する構成が、「光信号抽出部」の一例に相当する。また、上記システムが「医療用信号取得システム」の一例に相当する。

また、上記では、主に蛍光薬剤を使用して行われる蛍光観察に着目して説明したが、必ずしも本開示に係る技術の適用先を限定するものではない。即ち、患者に対して薬剤を投与し、当該薬剤に応じた波長帯域の光を観察する観察手法であれば、本開示に係る技術を適用することが可能である。具体的な一例として、蛍光薬剤以外の他の造影剤を患者に対して投与し、当該薬剤に含まれる物質が発する光の検出結果に応じた画像を観察する観察手法に対して、本開示に係る技術を適用することも可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１の薬剤が投与されたタイミングから、第２の薬剤が投与され所定の領域の蛍光強度が上昇しだす第１のタイミングまでの間に撮像された第１の蛍光画像と、前記第１のタイミング以降に撮像された第２の蛍光画像と、を取得し、
前記第１の蛍光画像と前記第２の蛍光画像とに基づき、前記第２の薬剤により生じる蛍光が強調された出力画像を生成する、
画像処理部を備える、
医療用画像処理装置。
（２）
前記第２の薬剤は、前記第１の薬剤である、前記（１）に記載の医療用画像処理装置。
（３）
前記第１の薬剤及び前記第２の薬剤それぞれが投与されたタイミングは、撮像された蛍光画像に基づき検出される、前記（１）または（２）に記載の医療用画像処理装置。
（４）
前記画像処理部は、前記第２の薬剤の投与後における画像中の少なくとも一部における時系列に沿った輝度変化の極小値を検出し、当該極小値が検出されたタイミングまでに撮像された蛍光画像を、前記第１の蛍光画像として取得する、前記（３）に記載の医療用画像処理装置。
（５）
前記第１の薬剤及び前記第２の薬剤それぞれが投与されたタイミングは、ユーザの入力に基づき検出される、前記（１）または（２）に記載の医療用画像処理装置。
（６）
記憶部を備え、
前記画像処理部は、
撮像部によるフレームごとの患部の撮像結果に応じた撮像画像のフレーム間の差分を差分画像として抽出して前記記憶部に蓄積し、
前記記憶部への前記差分画像の蓄積結果に応じた出力画像を出力し、
前記第２の薬剤が投与されたタイミングまでに前記記憶部に蓄積された前記差分画像を前記出力画像としての出力対象から除外することで、当該タイミング以降に蓄積された前記差分画像に基づき、前記第２の薬剤により生じる蛍光が強調された出力画像を出力する、
前記（１）～（５）のいずれか一項に記載の医療用画像処理装置。
（７）
前記画像処理部は、
フレームごとの患部の撮像結果に基づき、フレーム間における前記撮像部と前記患部とのうちの一方に対する他方の相対的な動きを推定し、
当該動きの推定結果に基づき、前記差分の抽出結果に応じた第１の差分画像と、前記記憶部に蓄積された第２の差分画像と、のうちの一方に対する他方のずれを補正し、
前記補正の後の前記第１の差分画像を新たな前記第２の差分画像として前記記憶部に蓄積する、
前記（６）に記載の医療用画像処理装置。
（８）
前記画像処理部は、
前記第１の薬剤及び前記第２の薬剤のうちの少なくともいずれかに応じた第１の波長帯域に属する光を撮像対象とした前記患部の撮像結果に応じて前記出力画像を出力し、
前記第１の波長帯域とは異なる第２の波長帯域に属する光を撮像対象とした前記患部の撮像結果に応じて前記動きを推定する、
前記（７）に記載の医療用画像処理装置。
（９）
前記第２の波長帯域に属する光は、可視光波長帯域に属する光を含む、前記（８）に記載の医療用画像処理装置。
（１０）
記憶部を備え、
前記画像処理部は、
前記第１の蛍光画像を前記記憶部に保持し、
前記第２の蛍光画像と、前記第１の蛍光画像と、の差分を抽出し、
前記差分の抽出結果に応じた前記出力画像を出力する、
前記（１）～（５）のいずれか一項に記載の医療用画像処理装置。
（１１）
前記画像処理部は、
前記第１の蛍光画像に基づく第１の出力画像と、
前記第１の蛍光画像と前記第２の蛍光画像とに基づき、前記第２の薬剤により生じる蛍光が強調された第２の出力画像と、
を出力する、
前記（１）～（１０）のいずれか一項に記載の医療用画像処理装置。
（１２）
コンピュータが、
第１の薬剤が投与されたタイミングから、第２の薬剤が投与され所定の領域の蛍光強度が上昇しだす第１のタイミングまでの間に撮像された第１の蛍光画像と、前記第１のタイミング以降に撮像された第２の蛍光画像と、を取得することと、
前記第１の蛍光画像と前記第２の蛍光画像とに基づいて、前記第２の薬剤により生じる蛍光を強調した出力画像を生成することと、
を含む、医療用画像処理装置の駆動方法。
（１３）
患者へ投与される薬剤に含まれる蛍光物質の励起光を射出する光源と、
前記薬剤により生じる蛍光を含む光を受光して撮像する撮像部と、
第１の薬剤を投与されたタイミングから、第２の薬剤を投与され所定の領域の蛍光強度が上昇しだす第１のタイミングまでの間に撮像された第１の蛍光画像と、前記第１のタイミング以降に撮像された第２の蛍光画像と、に基づいて、前前記第２の薬剤により生じる蛍光が強調された出力画像を生成する画像処理装置と、
を備える、医療用撮像システム。
（１４）
前記患者の体腔内に挿入される鏡筒を含む内視鏡部を備え、
前記撮像部は、前記内視鏡部による前記蛍光を含む光の集光結果に応じた像を撮像する、
前記（１３）に記載の医療用撮像システム。
（１５）
前記蛍光を含む光の集光結果に応じた拡大像を取得する顕微鏡部を備え、
前記撮像部は、前記顕微鏡部により取得された前記拡大像を撮像する、
前記（１３）に記載の医療用撮像システム。
（１６）
患者へ投与される薬剤に応じた波長帯域に属する光を撮像対象とした、撮像部による当該患者の患部の撮像結果に応じた出力画像を出力する画像処理部を備え、
前記画像処理部は、
その時々の前記患部の撮像結果に応じた出力画像を出力する第１のモードと、
第１の薬剤が投与されたタイミングから、第２の薬剤が投与され所定の領域の蛍光強度が上昇しだす第１のタイミングまでの間に撮像された第１の蛍光画像と、前記第１のタイミング以降に撮像された第２の蛍光画像と、に基づき、前記第２の薬剤により生じる蛍光が強調された出力画像を出力する第２のモードと、
を動作モードとして含む、
医療用画像処理装置。
（１７）
患者へ投与される薬剤に応じた波長帯域の光を射出する光源と、
前記薬剤に応じた波長帯域に属する光信号を取得する取得部と、
第１の薬剤が投与されたタイミングから、第２の薬剤が投与され所定の領域の蛍光強度が上昇しだす第１のタイミングまでの間に取得された第１の光信号と、前記第１のタイミング以降に取得された第２の信号と、に基づいて、前記第２の薬剤による生じる光信号を抽出する光信号抽出部と、
を備える、医療用信号取得システム。

１１、１２、１３医療用観察システム
１１０信号処理部
１１１現像処理部
１１２動き推定部
１１３差分抽出部
１１４加算部
１１５フレームメモリ
１１６、１２７、１３４位置合わせ処理部
１２０信号処理部
１２１現像処理部
１２２現像処理部
１２３、１３３動き推定部
１２４差分抽出部
１２５加算部
１２６フレームメモリ
１３０信号処理部
１３１現像処理部
１３２フレームメモリ
１３５差分抽出部
１９１撮像部
１９３出力部

Claims

第１の薬剤が投与されたタイミングから、第２の薬剤が投与され所定の領域の蛍光強度が上昇しだす第１のタイミングまでの間に撮像された第１の蛍光画像と、前記第１のタイミング以降に撮像された第２の蛍光画像と、を取得し、
前記第１の蛍光画像と前記第２の蛍光画像とに基づき、前記第２の薬剤により生じる蛍光が強調された出力画像を生成する、
画像処理部を備え、
前記第１の薬剤及び前記第２の薬剤それぞれが投与されたタイミングは、撮像された蛍光画像に基づき検出される、
医療用画像処理装置。
第１の薬剤が投与されたタイミングから、第２の薬剤が投与され所定の領域の蛍光強度が上昇しだす第１のタイミングまでの間に撮像された第１の蛍光画像と、前記第１のタイミング以降に撮像された第２の蛍光画像と、を取得し、
前記第１の蛍光画像と前記第２の蛍光画像とに基づき、前記第２の薬剤により生じる蛍光が強調された出力画像を生成する、
画像処理部を備え、
記憶部を備え、
前記画像処理部は、
撮像部によるフレームごとの患部の撮像結果に応じた撮像画像のフレーム間の差分を差分画像として抽出して前記記憶部に蓄積し、
前記記憶部への前記差分画像の蓄積結果に応じた出力画像を出力し、
前記第１のタイミングまでに前記記憶部に蓄積された前記差分画像を前記出力画像としての出力対象から除外することで、当該第１のタイミング以降に蓄積された前記差分画像に基づき、前記第２の薬剤により生じる蛍光が強調された出力画像を出力する、
医療用画像処理装置。
前記第２の薬剤は、前記第１の薬剤である、請求項１または２に記載の医療用画像処理装置。
前記画像処理部は、前記第２の薬剤の投与後における画像中の少なくとも一部における時系列に沿った輝度変化の極小値を検出し、当該極小値が検出されたタイミングまでに撮像された蛍光画像を、前記第１の蛍光画像として取得する、請求項１に記載の医療用画像処理装置。
前記第１の薬剤及び前記第２の薬剤それぞれが投与されたタイミングは、ユーザの入力に基づき検出される、請求項２に記載の医療用画像処理装置。
前記画像処理部は、
フレームごとの患部の撮像結果に基づき、フレーム間における前記撮像部と前記患部とのうちの一方に対する他方の相対的な動きを推定し、
当該動きの推定結果に基づき、前記差分の抽出結果に応じた第１の差分画像と、前記記憶部に蓄積された第２の差分画像と、のうちの一方に対する他方のずれを補正し、
前記補正の後の前記第１の差分画像を新たな前記第２の差分画像として前記記憶部に蓄積する、
請求項２に記載の医療用画像処理装置。
前記画像処理部は、
前記第１の薬剤及び前記第２の薬剤のうちの少なくともいずれかに応じた第１の波長帯域に属する光を撮像対象とした前記患部の撮像結果に応じて前記出力画像を出力し、
前記第１の波長帯域とは異なる第２の波長帯域に属する光を撮像対象とした前記患部の撮像結果に応じて前記動きを推定する、
請求項６に記載の医療用画像処理装置。
前記第２の波長帯域に属する光は、可視光波長帯域に属する光を含む、請求項７に記載の医療用画像処理装置。
記憶部を備え、
前記画像処理部は、
前記第１の蛍光画像を前記記憶部に保持し、
前記第２の蛍光画像と、前記第１の蛍光画像と、の差分を抽出し、
前記差分の抽出結果に応じた前記出力画像を出力する、
請求項１に記載の医療用画像処理装置。
前記画像処理部は、
前記第１の蛍光画像に基づく第１の出力画像と、
前記第１の蛍光画像と前記第２の蛍光画像とに基づき、前記第２の薬剤により生じる蛍光が強調された第２の出力画像と、
を出力する、
請求項１または２に記載の医療用画像処理装置。
コンピュータが、
第１の薬剤が投与されたタイミングから、第２の薬剤が投与され所定の領域の蛍光強度が上昇しだす第１のタイミングまでの間に撮像された第１の蛍光画像と、前記第１のタイミング以降に撮像された第２の蛍光画像と、を取得することと、
前記第１の蛍光画像と前記第２の蛍光画像とに基づいて、前記第２の薬剤により生じる蛍光を強調した出力画像を生成することと、
を含み、
前記第１の薬剤及び前記第２の薬剤それぞれが投与されたタイミングは、撮像された蛍光画像に基づき検出される、
医療用画像処理装置の駆動方法。
患者へ投与される薬剤に含まれる蛍光物質の励起光を射出する光源と、
前記薬剤により生じる蛍光を含む光を受光して撮像する撮像部と、
第１の薬剤を投与されたタイミングから、第２の薬剤を投与され所定の領域の蛍光強度が上昇しだす第１のタイミングまでの間に撮像された第１の蛍光画像と、前記第１のタイミング以降に撮像された第２の蛍光画像と、に基づいて、前前記第２の薬剤により生じる蛍光が強調された出力画像を生成する画像処理装置と、
を備え、
前記第１の薬剤及び前記第２の薬剤それぞれが投与されたタイミングは、撮像された蛍光画像に基づき検出される、
医療用撮像システム。
前記患者の体腔内に挿入される鏡筒を含む内視鏡部を備え、
前記撮像部は、前記内視鏡部による前記蛍光を含む光の集光結果に応じた像を撮像する、
請求項１２に記載の医療用撮像システム。
前記蛍光を含む光の集光結果に応じた拡大像を取得する顕微鏡部を備え、
前記撮像部は、前記顕微鏡部により取得された前記拡大像を撮像する、
請求項１２に記載の医療用撮像システム。
患者へ投与される薬剤に応じた波長帯域に属する光を撮像対象とした、撮像部による当該患者の患部の撮像結果に応じた出力画像を出力する画像処理部を備え、
前記画像処理部は、
その時々の前記患部の撮像結果に応じた出力画像を出力する第１のモードと、
第１の薬剤が投与されたタイミングから、第２の薬剤が投与され所定の領域の蛍光強度が上昇しだす第１のタイミングまでの間に撮像された第１の蛍光画像と、前記第１のタイミング以降に撮像された第２の蛍光画像と、に基づき、前記第２の薬剤により生じる蛍光が強調された出力画像を出力する第２のモードと、
を動作モードとして含み、
前記第１の薬剤及び前記第２の薬剤それぞれが投与されたタイミングは、撮像された蛍光画像に基づき検出される、
医療用画像処理装置。
患者へ投与される薬剤に応じた波長帯域の光を射出する光源と、
前記薬剤に応じた波長帯域に属する光信号を取得する取得部と、
第１の薬剤が投与されたタイミングから、第２の薬剤が投与され所定の領域の蛍光強度が上昇しだす第１のタイミングまでの間に取得された第１の光信号と、前記第１のタイミング以降に取得された第２の信号と、に基づいて、前記第２の薬剤による生じる光信号を抽出する光信号抽出部と、
を備え、
前記第１の薬剤及び前記第２の薬剤それぞれが投与されたタイミングは、撮像された蛍光画像に基づき検出される、
医療用信号取得システム。