JP6888551B2 - 情報処理装置、情報処理方法、及び、手術システム - Google Patents

Description

本技術は、情報処理装置、情報処理方法、及び、手術システムに関し、特に、手術シーンに応じて術者に最適な映像を提供することができるようにした情報処理装置、情報処理方法、及び、手術システムに関する。

高精細な画像を取得するための手法として、いわゆる画素ずらし処理と称される技術が知られている（例えば、特許文献１，２参照）。

特開２０１０−２６８２４４号公報 特開２０１１−９５０７３号公報

ところで、内視鏡を用いた手術を行う術者などを支援する内視鏡手術システムにおいて、内視鏡の撮像システムとして、画素ずらし処理が可能な撮像システムを用いた場合に、手術シーンによっては、高精細な映像を提供することが適していない場合があり、手術シーンに応じて術者に最適な映像を提供できるようにすることが求められていた。

本技術はこのような状況に鑑みてなされたものであり、手術シーンに応じて術者に最適な映像を提供することができるようにするものである。

本技術の情報処理装置は、手術に関する情報に基づいて、手術中の生体内を撮像可能な撮像装置により撮像される生体内画像に対する処理モードを決定する処理モード決定部と、前記処理モードに応じて、前記撮像装置から出力される画像を処理する処理部とを備え、前記処理モード決定部は、前記手術に関する情報として前記撮像装置が撮像している際に照射されている光源の情報を取得し、前記光源の切り替えに連動して前記処理モードを決定し、前記処理モード決定部は、前記撮像装置が撮像している際に照射されている光源が第１の光源である場合は画素ずらし処理により４Ｋ以上の解像度の画像を出力する第１の処理モードに決定し、前記撮像装置が撮像している際に照射されている光源が前記第１の光源とは波長帯域が異なる第２の光源である場合は前記４Ｋ以上の解像度より低い解像度の画像を出力する第２の処理モードに決定し、前記処理部は、前記第１の処理モードのときに、４Ｋ解像度より解像度が低い少なくとも３枚の画像を合成して前記４Ｋ以上の解像度の画像を生成する情報処理装置である。

本技術の情報処理方法は、情報処理装置の情報処理方法において、前記情報処理装置が、手術中の生体内を撮像可能な撮像装置が撮像している際に照射されている光源の情報を含む手術に関する情報を取得し、前記光源の情報を含む前記手術に関する情報に基づいて、前記撮像装置により撮像される生体内画像に対する処理モードを、前記光源の切り替えに連動して決定し、前記処理モードに応じて、前記撮像装置から出力される画像を処理するステップを含み、前記撮像装置が撮像している際に照射されている光源が第１の光源である場合は画素ずらし処理により４Ｋ以上の解像度の画像を出力する第１の処理モードに決定し、前記撮像装置が撮像している際に照射されている光源が前記第１の光源とは波長帯域が異なる第２の光源である場合は前記４Ｋ以上の解像度より低い解像度の画像を出力する第２の処理モードに決定し、前記第１の処理モードのときに、４Ｋ解像度より解像度が低い少なくとも３枚の画像を合成して前記４Ｋ以上の解像度の画像を生成するステップをさらに含む情報処理方法である。

本技術の手術システムは、手術用撮像装置と情報処理装置から構成される手術システムにおいて、前記手術用撮像装置は、撮像素子と、前記撮像素子を制御する制御部とを備え、前記情報処理装置は、手術に関する情報に基づいて、手術中の生体内を撮像可能な前記手術用撮像装置により撮像される生体内画像に対する処理モードを決定する処理モード決定部と、前記処理モードに応じて、前記手術用撮像装置から出力される画像を処理する処理部とを備え、前記処理モード決定部は、前記手術に関する情報として前記手術用撮像装置が撮像している際に照射されている光源の情報を取得し、前記光源の切り替えに連動して前記処理モードを決定し、前記処理モード決定部は、前記手術用撮像装置が撮像している際に照射されている光源が第１の光源である場合は画素ずらし処理により４Ｋ以上の解像度の画像を出力する第１の処理モードに決定し、前記手術用撮像装置が撮像している際に照射されている光源が前記第１の光源とは波長帯域が異なる第２の光源である場合は前記４Ｋ以上の解像度より低い解像度の画像を出力する第２の処理モードに決定し、前記処理部は、前記第１の処理モードのときに、４Ｋ解像度より解像度が低い少なくとも３枚の画像を合成して前記４Ｋ以上の解像度の画像を生成する手術システムである。

本技術の情報処理装置、情報処理方法、及び、内視鏡システムにおいては、手術に関する情報に基づいて、手術中の生体内を撮像可能な撮像装置により撮像される生体内画像に対する処理モードが決定され、前記処理モードに応じて、前記撮像装置から出力される画像が処理される。また、前記手術に関する情報として前記撮像装置が撮像している際に照射されている光源の情報が取得され、前記光源の切り替えに連動して処理モードを決定する際に、前記撮像装置が撮像している際に照射されている光源が第１の光源である場合は画素ずらし処理により４Ｋ以上の解像度の画像を出力する第１の処理モードに決定され、前記撮像装置が撮像している際に照射されている光源が前記第１の光源とは波長帯域が異なる第２の光源である場合は前記４Ｋ以上の解像度より低い解像度の画像を出力する第２の処理モードに決定される。さらに、前記第１の処理モードのときに、４Ｋ解像度より解像度が低い少なくとも３枚の画像を合成して前記４Ｋ以上の解像度の画像が生成される。

本技術によれば、手術シーンに応じて術者に最適な映像を提供することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した内視鏡手術システムの実施の形態を示す図である。 第１の実施の形態におけるCCU及び内視鏡の詳細な構成例を示す図である。 単板画素ずらし方式の概要を説明する図である。 単板式のセンサを用いる場合の対応テーブルの例を示す図である。 ３板画素ずらし方式の概要を説明する図である。 ３板式のセンサを用いる場合の対応テーブルの例を示す図である。 処理モードごとのRGB信号の出力タイミングを説明するタイミングチャートである。 HFRモードに対応した画像合成部の構成例を示す図である。 第１の実施の形態の画像合成処理の流れを説明するフローチャートである。 第２の実施の形態におけるCCU及び内視鏡の詳細な構成例を示す図である。 第２の実施の形態の画像合成処理の流れを説明するフローチャートである。 コンピュータの構成例を示す図である。

以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。

１．システムの構成
２．第１の実施の形態：外部信号を用いた処理モードの決定
（１）単板式のセンサを用いる場合
（２）３板式のセンサを用いる場合
３．第２の実施の形態：シーン認識による処理モードの決定
４．変形例
５．コンピュータの構成

＜１．システムの構成＞

（内視鏡手術システムの構成例）
図１は、本技術を適用した内視鏡手術システムの実施の形態を示す図である。

内視鏡手術システム１０は、手術室に配置され、例えば、患者ベッド２０に横たわった患者の腹部３０に含まれる患部に対して、内視鏡下手術を行う術者を支援するためのシステムである。

図１において、内視鏡手術システム１０は、CCU(Camera Control Unit)１０１、光源装置１０２、処置具用装置１０３、気腹装置１０４、表示装置１０５、レコーダ１０６、及び、プリンタ１０７が搭載されたカート１１を備える。また、内視鏡手術システム１０は、内視鏡（腹腔鏡）１１１、エネルギ処置具１１２、及び、フットスイッチ１２１を有する。また、手術時には、術者などによって、トロッカ１３１乃至１３４、及び、鉗子１３５などの器具が使用される。

内視鏡手術システム１０において、CCU１０１は、カメラケーブルを介して内視鏡１１１と接続される。なお、CCU１０１は、内視鏡１１１と無線で接続していてもよい。CCU１０１は、内視鏡１１１により撮像され、カメラケーブルを介して送信されてくる術中画像を受信し、表示装置１０５に供給する。

表示装置１０５は、据え置き型の２Ｄディスプレイやヘッドマウントディスプレイなどにより構成される。表示装置１０５は、CCU１０１から供給される術中画像等を表示する。また、CCU１０１は、必要に応じて、受信された術中画像をレコーダ１０６やプリンタ１０７に供給する。

光源装置１０２は、ライトガイドケーブルを介して内視鏡１１１と接続する。光源装置１０２は、各種の波長の光を切り換えて内視鏡１１１に出射する。

処置具用装置１０３は、高周波出力装置であり、ケーブルを介してエネルギ処置具１１２及びフットスイッチ１２１と接続する。処置具用装置１０３は、フットスイッチ１２１から供給される操作信号に応じて、エネルギ処置具１１２に高周波電流を出力する。

気腹装置１０４は、送気手段及び吸気手段を備え、腹部３０の腹壁に取り付けられた開孔器具であるトロッカ１３３の孔から、腹部３０の内部に空気を送気する。

レコーダ１０６は、CCU１０１から供給される術中画像を記録する。プリンタ１０７は、CCU１０１から供給される術中画像を印刷する。

内視鏡１１１は、撮像部と照明レンズなどの光学系とにより構成される。内視鏡１１１は、腹部３０の腹壁に取り付けられたトロッカ１３１の孔から、手術対象としての腹部３０の内部に挿入される。内視鏡１１１の光学系は、光源装置１０２から出射された光を腹部３０の内部に照射し、撮像部は、腹部３０の内部の画像を術中画像として撮像する。

内視鏡１１１は、術中画像を、カメラケーブルを介してCCU１０１に供給する。これにより、内視鏡１１１により撮像された術中画像が表示装置１０５に表示されるので、術者は、腹部３０の内部の画像をリアルタイムに見ながら、例えば、エネルギ処置具１１２により腹部３０内の患部を切除するなどの処置を行うことができる。

エネルギ処置具１１２は、電気メスなどにより構成される。エネルギ処置具１１２は、腹部３０の腹壁に取り付けられたトロッカ１３２の孔から、腹部３０の内部に挿入される。エネルギ処置具１１２は、腹部３０の内部を、電気熱を用いて変性させたり、切断したりする。

鉗子１３５は、腹部３０の腹壁に取り付けられたトロッカ１３４の孔から、腹部３０の内部に挿入される。鉗子１３５は、腹部３０の内部を把持する。内視鏡１１１、エネルギ処置具１１２、及び鉗子１３５は、術者、助手、スコピスト、又はロボット等により把持される。

フットスイッチ１２１は、術者や助手等の足による操作を受け付ける。フットスイッチ１２１は、受け付けた操作を表す操作信号を、CCU１０１や処置具用装置１０３に供給する。すなわち、フットスイッチ１２１は、術者や助手等の足による操作をトリガとして、CCU１０１や処置具用装置１０３などを制御することになる。

内視鏡手術システム１０は、以上のように構成される。術者は、内視鏡手術システム１０を用いることにより、腹壁を切って開腹する開腹手術を行わずに、腹部３０内の患部を切除することができる。

以下、図１の内視鏡手術システム１０の詳細な構成について説明するが、ここでは、CCU１０１と、内視鏡１１１の構成を中心に説明する。また、CCU１０１と内視鏡１１１では、手術シーンに応じて決定される処理モードに従い、処理が行われるが、当該処理モードは、外部信号に応じて決定される場合と、シーン認識に応じて決定される場合がある。そこで、以下の説明では、まず、第１の実施の形態として、外部信号を用いた処理モードの決定について説明してから、その後、第２の実施の形態として、シーン認識による処理モードの決定について説明する。

＜２．第１の実施の形態：外部信号を用いた処理モードの決定＞

（CCU及び内視鏡の構成例）
図２は、第１の実施の形態におけるCCU１０１及び内視鏡１１１の詳細な構成例を示す図である。

CCU１０１は、処理モード決定部１５１及び画像合成部１５２を含んで構成される。また、内視鏡１１１は、センサ１６１及びセンサ制御部１６２を含んで構成される。

処理モード決定部１５１は、CCU１０１の外部から入力される外部信号に応じて、手術シーンに対応する処理モードを決定する。処理モード決定部１５１は、決定した処理モードを、画像合成部１５２及び内視鏡１１１のセンサ制御部１６２に供給する。

ここで、外部信号としては、例えば術者や助手などによる処理モード切り替え操作に応じた操作信号が含まれる。例えば、術者や助手等からの、入力部（ユーザインターフェース（UI：User Interface））に対する操作を受け付けた場合、その操作信号が、外部信号として処理モード決定部１５１に入力されるようにする。

また、外部信号としては、光源装置１０２（図１）から供給される光源の切り替え信号が含まれる。例えば、術者などの操作に応じて、狭帯域光観察（NBI：Narrow Band Imaging）や蛍光観察などの観察に応じて光源が切り替わった場合、その切り替え信号が、外部信号として処理モード決定部１５１に入力されるようにする。

さらに、外部信号としては、処置具用装置１０３（図１）にケーブルを介して接続された電気メス等のエネルギ処置具１１２の電源のオン／オフを示す信号が含まれる。例えば、電気メス等のエネルギ処置具１１２の電源がオン又はオフされた場合、そのオン／オフを示す信号が、外部信号として処理モード決定部１５１に入力されるようにする。

また、処理モード決定部１５１は、手術シーンと処理モードを対応付けたテーブル（以下、対応テーブルという）を記憶している。処理モード決定部１５１は、CCU１０１の外部から外部信号が入力された場合、対応テーブルを参照して、外部信号により特定される手術シーンに対応した処理モードを決定する。

なお、詳細については、図４又は図６等を参照して後述するが、対応テーブルには、狭帯域光観察（NBI）や蛍光観察、縫合や剥離などの手術シーンと、高精細モードやHFR(High Frame Rate)モード等の処理モードとが対応付けられている。この処理モードとしては、例えば、画素ずらし処理の有無や、出力画像（術中画像）のフレームレート（単位：fps(frame per second））、出力画像（術中画像）の解像度など、画像処理の処理内容に応じたモードが設定される。

センサ制御部１６２は、処理モード決定部１５１から供給される処理モードに基づいて、センサ１６１を制御する。また、センサ制御部１６２は、センサ１６１から供給される画像信号を、カメラケーブルを介してCCU１０１の画像合成部１５２に供給する。

センサ１６１は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサなどの固体撮像素子（撮像素子）である。

センサ１６１は、レンズからの光が入射される光電変換素子（フォトダイオード）を有する複数の画素が２次元状に配列された画像アレイ部や、画素の駆動やA/D（Analog/Digital）変換等を行う周辺回路部などから構成される。センサ１６１は、レンズを通過して受光面に結像された光を、光電変換素子により光電変換し、所定の信号処理を施すことで得られる画像信号（生体内画像の画像信号）を、センサ制御部１６２に供給する。

ここで、内視鏡１１１の撮像システムとしては、単板式のセンサ１６１（以下、センサ１６１−１とも記述する）、又は、３板式のセンサ１６１（以下、センサ１６１−３とも記述する）を用いることができる。単板式は、センサ１６１−１として、RGBの各画素を有する１つのセンサ（固体撮像素子）を用いる方式である。また、３板式は、センサ１６１−３として、RGBの各成分ごとの画素を有する３つのセンサ（固体撮像素子）を用いる方式である。

また、内視鏡１１１の撮像システムでは、画素ずらし処理の技術を採用することができる。この画素ずらし処理の技術を用いることで、より高精細な画像を取得することができる。

以下、内視鏡１１１の撮像システムにおいて、単板式のセンサ１６１−１を用いる場合であって、単板式のセンサ１６１−１（１枚のセンサ）を時間的にずらす方式を、単板画素ずらしと称する。また、内視鏡１１１の撮像システムにおいて、３板式のセンサ１６１−３を用いる場合であって、３板式のセンサ１６１−３（RGBの成分に対応する３枚のセンサ）により光学的な位相ずれを発生させて、RGBの位相がずれた状態で、それぞれのプレーンを、３板式のセンサ１６１−３（RGBの成分に対応する３枚のセンサ）で同時に撮像する方式を、３板画素ずらしと称する。

例えば、内視鏡１１１の撮像システムにおいて、単板式のセンサ１６１−１を用いる場合、センサ制御部１６２は、処理モード決定部１５１から供給される処理モードに応じて、単板式のセンサ１６１−１における単板画素ずらしを制御する。ここでは、センサ制御部１６２は、処理モードに応じて単板画素ずらしを行う場合、例えば、ピエゾ駆動装置等の駆動部を制御することで、単板式のセンサ１６１−１を画素単位で移動させるようにする。

また、例えば、内視鏡１１１の撮像システムにおいて、３板式のセンサ１６１−３を用いる場合、センサ制御部１６２は、処理モードに応じて、内視鏡１１１のシャッタ制御などを行う。

画像合成部１５２には、カメラケーブルを介して内視鏡１１１のセンサ制御部１６２から画像信号が供給される。画像合成部１５２は、処理モード決定部１５１から供給される処理モードに基づいて、センサ制御部１６２からの画像信号に対して所定の画像処理を行い、出力画像（術中画像）として出力する。

例えば、内視鏡１１１の撮像システムにおいて、単板式のセンサ１６１−１を用いる場合、画像合成部１５２は、例えば、単板式のセンサ１６１−１（１枚のセンサ）から出力される画像信号を加算する処理など、処理モードに応じた所定の画像処理を行う。また、例えば、内視鏡１１１の撮像システムにおいて、３板式のセンサ１６１−３を用いる場合、画像合成部１５２は、３板式のセンサ１６１−３（RGBの成分に対応する３枚のセンサ）から出力される画像信号を合成する処理など、処理モードに応じた所定の画像処理を行う。

内視鏡手術システム１０（図１）において、CCU１０１及び内視鏡１１１は、以上のように構成される。次に、内視鏡１１１の撮像システムとして、単板式のセンサ１６１−１を用いる場合と、３板式のセンサ１６１−３を用いる場合について、順番に説明する。

（１）単板式のセンサを用いる場合

（単板画素ずらし方式の概要）
図３は、単板画素ずらし方式の概要を説明する図である。

図３においては、図３のＡと図３のＢに、１枚の固体撮像素子を時間的にずらす単板画素ずらし方式の２つの例を示している。ここでは、単板式のセンサ１６１−１（固体撮像素子）の受光面上に２次元状に配置される複数の画素のうち、４×４画素を代表して例示している。

また、赤（Ｒ）の画像信号を得ることができるＲ画素には、「Ｒ」と記述している。同様に、緑（Ｇ）の画像信号を得ることができるＧ画素には、「Ｇ」と記述し、青（Ｂ）の画像信号を得ることができるＢ画素には、「Ｂ」と記述している。

（Ａ）単板画素ずらし方式Ａ
図３のＡにおいて、各画素に記述された１乃至４の数字は、撮像回数を表しており、例えば、模様が付されている奇数行で奇数列の４つの画素、すなわち、画素Ｇ１、画素Ｒ１、画素Ｂ１、及び、画素Ｇ１に対応する画像信号が、１回目の撮像で得られることになる。なお、この４つの画素に注目すれば、画素Ｇ１が市松状に配され、残った部分に、画素Ｒ１と画素Ｂ１が一列ごとに交互に配されるベイヤー配列となっている。

１回目の撮像後、単板式のセンサ１６１−１を、図中の右方向（行方向）に１画素分移動させることで、ベイヤー配列となる奇数行で偶数列の４つの画素、すなわち、画素Ｇ２、画素Ｒ２、画素Ｂ２、及び、画素Ｇ２に対応する画像信号が、２回目の撮像で得られることになる。

また、２回目の撮像後、単板式のセンサ１６１−１を、図中の左斜め下方向に１画素分移動させることで、ベイヤー配列となる偶数行で奇数列の４つの画素、すなわち、画素Ｇ３、画素Ｒ３、画素Ｂ３、及び、画素Ｇ３に対応する画像信号が、３回目の撮像で得られることになる。

そして、３回目の撮像後、単板式のセンサ１６１−１を、図中の右方向（行方向）に１画素分移動させることで、ベイヤー配列となる偶数行で偶数列の４つの画素、すなわち、画素Ｇ４、画素Ｒ４、画素Ｂ４、及び、画素Ｇ４に対応する画像信号が、４回目の撮像で得られることになる。

このように、図３のＡの単板画素ずらし方式Ａでは、単板式のセンサ１６１−１（固体撮像素子）を画素単位でずらして、各位置で合計４回の撮像を繰り返すことにより、各画素から、４回の撮像に応じた画像信号が得られるので、出力画像の解像度を４倍にすることができる。

（Ｂ）単板画素ずらし方式Ｂ
図３のＢにおいては、図３のＡと同様に、各画素に記述された１乃至４の数字は、撮像回数を表しており、ベイヤー配列となる左上の４つの画素、すなわち、画素Ｇ１、画素Ｒ１、画素Ｂ１、及び、画素Ｇ１に対応する画像信号が、１回目の撮像で得られることになる。

１回目の撮像後、単板式のセンサ１６１−１を、図中の右方向（行方向）に２画素分移動させることで、ベイヤー配列となる右上の４つの画素、すなわち、画素Ｇ２、画素Ｒ２、画素Ｂ２、及び、画素Ｇ２に対応する画像信号が、２回目の撮像で得られることになる。

また、２回目の撮像後、単板式のセンサ１６１−１を、図中の左斜め下方向に２画素分移動させることで、ベイヤー配列となる左下の４つの画素、すなわち、画素Ｇ３、画素Ｒ３、画素Ｂ３、及び、画素Ｇ３に対応する画像信号が、３回目の撮像で得られることになる。

そして、３回目の撮像後、単板式のセンサ１６１−１を、図中の右方向（行方向）に２画素分移動させることで、ベイヤー配列となる右下の４つの画素、すなわち、画素Ｇ４、画素Ｒ４、画素Ｂ４、及び、画素Ｇ４に対応する画像信号が、４回目の撮像で得られることになる。

このように、図３のＢの単板画素ずらし方式Ｂでは、単板式のセンサ１６１−１（固体撮像素子）を画素単位でずらして、各位置で合計４回の撮像を繰り返すことにより、各画素から、４回の撮像に応じた画像信号が得られるので、出力画像の解像度を４倍にすることができる。

なお、図３のＡの単板画素ずらし方式Ａと、図３のＢの単板画素ずらし方式Ｂは、単板式のセンサ１６１−１の単板画素ずらしの一例であり、他の手法を採用して、単板式のセンサ１６１−１の単板画素ずらしが行われるようにしてもよい。

（単板式のセンサの対応テーブル）
図４は、内視鏡１１１の撮像システムにおいて、単板式のセンサ１６１−１を用いる場合の対応テーブルの例を示す図である。

図４の対応テーブルは、単板式のセンサ１６１−１を用いる場合における、手術シーンと処理モードとを対応付けたテーブルである。ここで、単板式のセンサ１６１−１を用いる場合の処理モードとしては、通常モード、高精細モード、HFR(High Frame Rate)モード、及び、NR(Noise Reduction)モードの４種類のモードがある。なお、これらの処理モードのうち、高精細モードでは、図３に示した単板画素ずらしが行われる。

通常モードは、単板画素ずらしを行わず、かつ、60fpsで撮像された画像（のデータ）を、60fpsで出力するモードである。例えば、図３のＡ（又は図３のＢ）において、１である数字が記述された画素の位置、すなわち、画素Ｇ１，画素Ｒ１，画素Ｂ１，及び、画素Ｇ１でのみ撮像が行われ、それらの画素から出力される画像信号から得られる出力画像が、60fpsで出力される。

高精細モードは、単板画素ずらしを行い、かつ、解像度を４倍にした高精細画像（のデータ）を、60fpsで出力するモードである。例えば、図３のＡ（又は図３のＢ）において、1/60秒の間で、１乃至４である数字が記述された画素の位置に、単板式のセンサ１６１−１を画素単位でずらして、各位置で合計４回の撮像を繰り返すことにより、通常モード等と比べて４倍の解像度となる高精細画像が生成され、出力画像として、60fpsで出力される。すなわち、この高精細モードでは、図３に示した単板画素ずらしが行われ、他のモードと比べて高解像度の出力画像を出力することができる。

なお、高精細モードで得られる高精細画像には、HD(High Definition)の映像は勿論、例えば、４Ｋ解像度（例えば横3840×縦2160）や８Ｋ解像度（例えば横7680×縦4320）などのUHD(Ultra High Definition)の映像も含むものとする。

HFRモードは、単板画素ずらしを行わず、かつ、1/60秒の間に４回撮像して、それにより得られる画像（のデータ）を、240fpsで出力するモードである。例えば、図３のＡ（又は図３のＢ）において、1/60秒の間に、１である数字が記述された画素の位置、すなわち、画素Ｇ１，画素Ｒ１，画素Ｂ１，及び、画素Ｇ１でのみ４回の撮像が行われ、それらの画素から出力される画像信号から得られる出力画像が、240fpsで出力される。すなわち、このHFRモードでは、他のモードと比べて高いフレームレートで、出力画像を出力することができる。

NRモードは、単板画素ずらしを行わず、かつ、1/60秒の間に４回撮像して、それにより得られる４枚の画像（のデータ）を加算してから、60fpsで出力するモードである。例えば、図３のＡ（又は図３のＢ）において、1/60秒の間に、１である数字が記述された画素の位置、すなわち、画素Ｇ１，画素Ｒ１，画素Ｂ１，及び、画素Ｇ１でのみ４回の撮像が行われ、それらの画素から出力される画像信号を加算して得られる出力画像が、60fpsで出力される。すなわち、このNRモードでは、他のモードと比べてノイズの少ない出力画像を出力することができる。

図４の対応テーブルでは、各手術シーンが、これらの処理モードに対応付けられている。すなわち、狭帯域光観察（NBI）及び蛍光観察のシーンには、高精細モード又はNRモードである処理モードが対応付けられている。また、縫合のシーンには、高精細モードである処理モードが対応付けられている。

スコープ移動のシーンには、HFRモードである処理モードが対応付けられている。また、慎重な剥離のシーンには、高精細モードである処理モードが対応付けられる一方で、通常の剥離のシーンには、HFRモードである処理モードが対応付けられる。

なお、上記以外の手術シーン、すなわち、狭帯域光観察、蛍光観察、縫合、スコープ移動、慎重な剥離、及び、通常の剥離のシーン以外のシーンには、通常モードが対応付けられる。

このように、図４の対応テーブルでは、例えば、狭帯域光観察（NBI）や蛍光観察、慎重な剥離、縫合など、スコープの動きが比較的少なく、術者がより詳細に凝視したいシーンでは、高精細モードやNRモードによって、高精細な画像やノイズの少ない画像が提供されるようにしている。また、例えば、狭帯域光観察（NBI）では、光の量を制限して観察が行われるため、暗くなり、その影響で、出力画像に含まれるノイズが大きくなるという現象が生じるが、このような場合には、処理モードとしてNRモードが選択（決定）されるようにすることで、出力画像に含まれるノイズを取り除くことができる。

また、図４の対応テーブルでは、例えば、スコープ移動などのスコープが大きく動いているシーンや、通常の剥離のシーンでは、HFRモードによって、動きがより滑らかに見える画像（高フレームレート画像）が提供されるようにしている。これにより、例えば、術者や助手の疲れを低減することができる。

このように、手術シーンによっては、高精細な画像（映像）を表示するのが必ずしもよいとは限らず、高フレームレート画像（映像）やノイズの少ない画像（映像）のほうが適している場合があるので、本技術では、図４の対応テーブルによって、手術シーンに応じた適切な処理モードが決定されるようにしている。

なお、単板式のセンサ１６１−１を用いる場合には、CCU１０１の処理モード決定部１５１が、この対応テーブル（図４）をあらかじめ記憶しておくことで、外部信号により特定される手術シーンに応じた処理モードが決定されることになる。

以上、内視鏡１１１の撮像システムにおいて、単板式のセンサ１６１−１を用いる場合の対応テーブルについて説明した。

（２）３板式のセンサを用いる場合

（３板画素ずらし方式の概要）
図５は、３板画素ずらし方式の概要を説明する図である。

図５のＡに示すように、３板式のセンサ１６１−３では、レンズを通った光を、プリズムによって、Ｒ成分と、Ｇ成分と、Ｂ成分に分けて、各成分に対応したセンサ１６１−Ｒと、センサ１６１−Ｇと、センサ１６１−Ｂにより受光することで、各センサから各成分の画像信号が出力される。

すなわち、図５のＡには、３板式のセンサ１６１−３として、Ｒ成分の光を受光するセンサ１６１−Ｒと、Ｇ成分の光を受光するセンサ１６１−Ｇと、Ｂ成分の光を受光するセンサ１６１−Ｂを有する構成が例示されている。このように３板式のセンサ１６１では、RGBの３原色のそれぞれで専用のセンサ（センサ１６１−Ｒ、センサ１６１−Ｇ、及び、センサ１６１−Ｂ）を用いているため、色再現性や解像度に優れるというメリットがある。

また、このような３板式のセンサ１６１−３によって、３板画素ずらし方式を実現する場合、図５のＢに示すように、例えば、センサ１６１−Ｇを基準に、センサ１６１−Ｒを、図中の下方向（列方向）に、1/2画素分ずらすとともに、センサ１６１−Ｂを、図中の右方向（行方向）に1/2画素分ずらすようにする。

すなわち、図５のＢに示すように、センサ１６１−Ｇに対して、センサ１６１−Ｒとセンサ１６１−Ｂをずらすことで、光学的に位相ずれを発生させて、RGBの位相がずれた状態で、それぞれのプレーンを、センサ１６１−Ｒ、センサ１６１−Ｇ、及び、センサ１６１−Ｂにより同時に撮像することで、高精細な画像を得ることができる。なお、以下の説明では、３板式のセンサ１６１−３において、図５のＢに示すような、３板画素ずらしが行われているものとして説明する。また、ここでは、３板式のセンサ１６１−３を一例に説明するが、例えば、RGBの成分に加えて、赤外線（IR）の成分を利用する場合などには、３つ以上のセンサ（固体撮像素子）が用いられるようにしてもよい。

（３板式のセンサの対応テーブル）
図６は、内視鏡１１１の撮像システムにおいて、３板式のセンサ１６１−３を用いる場合の対応テーブルの例を示す図である。

図６の対応テーブルは、３板式のセンサ１６１を−３用いる場合における、手術シーンと処理モードとを対応付けたテーブルである。ここで、３板式のセンサ１６１−３を用いる場合の処理モードとしては、高精細モード、及び、HFRモードの２種類のモードがある。

高精細モードは、RGBの各プレーンを同一のタイミングで撮像して、RGBのプレーンの画像から、高精細画像を生成し、出力画像として、60fpsで出力するモードである。

ここで、位相のずれたRGBの各プレーンから、高精細画像を生成する手法としては、例えば、線形フィルタ（Linear Filter）や、一般的なバイキュービックフィルタ（Bi-Cubic Filter）により、画素が存在しない位置の画素を、プレーンごとに補間によって生成する手法がある。ただし、ここに例示した高精細画像を生成する手法は、一例であって、他の公知の手法を用いることができる。例えば、特開２０００−１３６７０号には、線形フィルタを用いた手法が開示されている。

なお、この高精細モードで得られる高精細画像には、HDの映像は勿論、例えば、４Ｋ解像度や８Ｋ解像度などのUHDの映像も含むものとする。すなわち、この高精細モードでは、HFRモードと比べて高解像度の出力画像を出力することができる。なお、高精細モードの詳細は、図７を参照して後述する。

HFRモードは、RGBの各プレーンを異なるタイミングで撮像して、撮像タイミングがずれて撮像されたRBGのプレーンの画像のうち、撮像時間が近いRBGのプレーンの画像を合成し、出力画像として、120fpsで出力するモードである。すなわち、このHFRモードでは、高精細モードと比べて高いフレームレートで、出力画像を出力することができる。なお、HFRモードの詳細は、図７及び図８を参照して後述する。

図６の対応テーブルでは、各手術シーンが、これらの処理モードに対応付けられている。すなわち、狭帯域光観察（NBI）及び蛍光観察のシーンには、高精細モードである処理モードが対応付けられている。また、縫合のシーンには、高精細モードである処理モードが対応付けられている。

スコープ移動のシーンには、HFRモードである処理モードが対応付けられている。また、慎重な剥離のシーンには、高精細モードである処理モードが対応付けられる一方で、通常の剥離のシーンには、HFRモードである処理モードが対応付けられる。

なお、上記以外の手術シーン、すなわち、高精細モードとHFRモードに対応付けられていない手術シーンは、通常モードである処理モードとすることができる。通常モードとなる場合には、特別な処理を行うことなく、出力画像が出力される。

このように、図６の対応テーブルでは、例えば、狭帯域光観察（NBI）や蛍光観察、慎重な剥離、縫合など、スコープの動きが比較的少なく、術者がより詳細に凝視したいシーンでは、高精細モードによって、高精細な画像が提供されるようにしている。

また、図６の対応テーブルでは、例えば、スコープ移動などのスコープが大きく動いているシーンや、通常の剥離のシーンでは、HFRモードによって、動きがより滑らかに見える画像（高フレームレート画像）が提供されるようにしている。

なお、単板式のセンサ１６１−１を用いる場合の対応テーブル（図４）と、３板式のセンサ１６１−３を用いる場合の対応テーブル（図６）とを比較すれば、３板式のセンサ１６１−３を用いる場合の対応テーブル（図６）では、処理モードに、NRモードが含まれていない点が異なる。これは、３板式のセンサ１６１−３の構造上、画素をずらさずに複数枚の画像を取得することが困難なためである。

このように、手術シーンによっては、高精細な画像（映像）を表示するのが必ずしもよいとは限らず、高フレームレート画像（映像）のほうが適している場合があるので、本技術では、図６の対応テーブルによって、手術シーンに応じた適切な処理モードが決定されるようにしている。

なお、３板式のセンサ１６１−３を用いる場合には、CCU１０１の処理モード決定部１５１が、この対応テーブル（図６）をあらかじめ記憶しておくことで、外部信号により特定される手術シーンに応じた処理モードが決定されることになる。

以上、内視鏡１１１の撮像システムにおいて、３板式のセンサ１６１−３を用いる場合の対応テーブルについて説明した。

（処理モードごとのRGB信号の出力のタイミング）
図７は、処理モードごとのRGB信号の出力タイミングを説明するタイミングチャートである。図７において、時間の方向は、図中の左側から右側に向かう方向とされる。

図７のＡは、HFRモードのRGB信号の出力タイミングを示すタイミングチャートである。また、図７のＢは、高精細モードのRGB信号の出力タイミングを示すタイミングチャートである。

また、図７のＡと図７のＢのタイミングチャートでは、センサ１６１−Ｒから出力されるＲ成分に対応した画像信号を、「Ｒ信号」と記述している。同様に、センサ１６１−Ｇから出力されるＧ成分に対応した画像信号を、「Ｇ信号」と記述し、センサ１６１−Ｂから出力されるＢ成分に対応した画像信号を、「Ｂ信号」と記述している。

すなわち、図７のＢの高精細モードのタイミングチャートでは、Ｒ信号と、Ｇ信号と、Ｂ信号の出力を時系列で表しているが、内視鏡１１１内の３板式のセンサ１６１−３において、シャッタは解放状態となっているので、センサ１６１−Ｒと、センサ１６１−Ｇと、センサ１６１−Ｂでは、同一のタイミングで、Ｒ信号と、Ｇ信号と、Ｂ信号を出力することができる。

これにより、高精細モードにおいては、RGBの各プレーンを同一のタイミングで撮像して、それにより得られるRGBのプレーンの画像から、高精細画像を生成し、出力画像として、60fpsで出力することができる。例えば、図７のＢのタイミングチャートにおいて、時刻t2乃至時刻t6の期間に注目すれば、時刻t2と、時刻t4と、時刻t6のタイミングで、高精細画像（出力画像）が出力されることになる。

一方で、図７のＡのHFRモードのタイミングチャートにおいても、Ｒ信号と、Ｇ信号と、Ｂ信号の出力が時系列で表されているが、内視鏡１１１（の３板式のセンサ１６１−３）のシャッタ制御を行うことで、高精細モードの場合と比べて、その露光時間を半分にして、さらに、RGBのプレーンごとに時間がずれたタイミングで撮像が行われるようにする。

そして、撮像タイミングがずれて撮像されたRGBのプレーンの画像のうち、撮像時間が近いRGBのプレーンの画像が合成されるようにする。すなわち、例えば、図７のＡのタイミングチャートにおいて、時刻t2乃至時刻t6の期間に注目すれば、例えば、時刻t2では、時刻t1乃至時刻t2の期間で得られるＧ信号を用いて、当該Ｇ信号に時間的に近いＲ信号とＢ信号が合成されるようにする。

同様にして、例えば、時刻t3においては、時刻t2乃至時刻t3の期間で得られるＢ信号を用いて、当該Ｂ信号に時間的に近いＲ信号とＧ信号が合成されるようにする。また、例えば、時刻t4においては、時刻t3乃至時刻t4の期間で得られるＲ信号を用いて、当該Ｒ信号に時間的に近いＧ信号とＢ信号が合成されるようにする。

さらに、例えば、時刻t5においては、時刻t4乃至時刻t5の期間で得られるＧ信号を用いて、当該Ｇ信号に時間的に近いＲ信号とＢ信号が合成されるようにする。また、例えば、時刻t6においては、時刻t5乃至時刻t6の期間で得られるＢ信号を用いて、当該Ｂ信号に時間的に近いＲ信号とＧ信号が合成されるようにする。

このように、HFRモードでは、高精細モードと比べて露光時間を半分にして、RGBの各プレーンを異なるタイミングで撮像するとともに、撮像タイミングがずれて撮像されたRGBのプレーンの画像のうち、撮像時間が近いRGBのプレーンの画像を合成して、120fpsで出力することができる。例えば、図７のＡのタイミングチャートにおいて、時刻t2乃至時刻t6の期間に注目すれば、時刻t2乃至時刻t6の各時刻のタイミングで、高フレームレートの画像（出力画像）が出力されることになる。

ここで、図７のＡのHFRモードのタイミングチャートと、図７のＢの高精細モードのタイミングチャートとを比較すれば、高精細モードでは、時刻t2乃至時刻t6の期間のうち、時刻t2と、時刻t4と、時刻t6のタイミングでしか、出力画像が出力されていなかったが、HFRモードでは、時刻t2乃至時刻t6の各時刻のタイミングで出力画像が出力されている。すなわち、HFRモードにおける出力画像のフレームレート（例えば120fps）は、高精細モードにおける出力画像のフレームレート（例えば60fps）の２倍となっている。

なお、図７のタイミングチャートの例では、HFRモードの露光時間を、高精細モードの場合と比べて半分としたが、例えば、1/3や1/4など、露光時間をさらに短くすることで、HFRモードにおける出力画像のフレームレートをさらに上げることができる。

また、撮像時間が近いRGBのプレーンの画像を合成する際に、合成される画像（Ｒ信号と、Ｇ信号と、Ｂ信号）が、同一のタイミングで撮像された画像ではないため（時間的にずれて撮像された画像であるため）、画像に含まれる被写体が動いてしまう場合がある。ここでは、このような場合に対応するために、CCU１０１の画像合成部１５２（図２）が、図８に示すような構成を有するようにする。

図８において、HFRモードに対応した画像合成部１５２は、バッファ１８１−Ｒ、バッファ１８１−Ｇ、バッファ１８１−Ｂ、位置ずれ検出部１８２、及び、位置ずれ補正部１８３を含んで構成される。

バッファ１８１−Ｒは、内視鏡１１１のセンサ１６１−Ｒから出力されるＲ信号を保持するバッファである。バッファ１８１−Ｇは、内視鏡１１１のセンサ１６１−Ｇから出力されるＧ信号を保持するバッファである。バッファ１８１−Ｂは、内視鏡１１１のセンサ１６１−Ｂから出力されるＢ信号を保持するバッファである。

例えば、上述した図７のＡのHFRモードのタイミングチャートにおいて、時刻t2で、時刻t1乃至時刻t2の期間で得られるＧ信号を用いる場合、当該Ｇ信号が、バッファ１８１−Ｇに保持されるとともに、当該Ｇ信号に時間的に近いＲ信号とＢ信号が、バッファ１８１−Ｒとバッファ１８１−Ｂにそれぞれ保持されている。

バッファ１８１−Ｒ、バッファ１８１−Ｇ、及び、バッファ１８１−Ｂに保持されていたＲ信号、Ｇ信号、及び、Ｂ信号は、位置ずれ検出部１８２及び位置ずれ補正部１８３によって読み出される。

位置ずれ検出部１８２は、バッファ１８１−Ｒ、バッファ１８１−Ｇ、及び、バッファ１８１−Ｂから読み出したＲ信号、Ｇ信号、及び、Ｂ信号に対して、例えば、ブロックマッチングや相互相関などを適用することで、各信号の位置ずれ量を画素ごとに検出する。位置ずれ検出部１８２は、検出した各信号の位置ずれ量を、位置ずれ補正部１８３に供給する。

位置ずれ補正部１８３には、バッファ１８１−Ｒ、バッファ１８１−Ｇ、及び、バッファ１８１−Ｂから読み出したＲ信号、Ｇ信号、及び、Ｂ信号とともに、それらの信号に同期した各信号の位置ずれ量が、位置ずれ検出部１８２から入力される。

位置ずれ補正部１８３は、位置ずれ検出部１８２からの各信号の位置ずれ量に基づいて、バッファ１８１−Ｒ、バッファ１８１−Ｇ、及び、バッファ１８１−Ｂから読み出したＲ信号、Ｇ信号、及び、Ｂ信号の各画素ごとに、位置ずれ補正を行う。位置ずれ補正部１８３は、位置ずれ補正により位置が揃えられたＲ信号、Ｇ信号、及び、Ｂ信号を、まとめて、RGB信号（出力画像）として出力する。

このように、撮像時間が近いRGBのプレーンの画像を合成する際に、合成される画像（Ｒ信号と、Ｇ信号と、Ｂ信号）が、同一のタイミングで撮像された画像ではないため、画像に含まれる被写体が動いてしまう可能性があるので、CCU１０１の画像合成部１５２（図８）では、位置ずれ検出部１８２及び位置ずれ補正部１８３によって、各バッファ１８１にバッファリングされたＲ信号、Ｇ信号、及び、Ｂ信号を処理することで、動いてしまった被写体の位置を合わせるための補正を行っている。これにより、HFRモードでは、例えば、高精細モードの２倍となる120fpsのタイミングで、出力画像を出力することが可能となる。

（画像合成処理の流れ）
次に、図９のフローチャートを参照して、第１の実施の形態の画像合成処理の流れを説明する。

ステップＳ１０１において、処理モード決定部１５１は、CCU１０１の外部から入力される外部信号を受け取る。

ここで、外部信号としては、例えば、術者などによる処理モード切り替え操作に応じた操作信号、光源装置１０２（図１）から供給される光源の切り替え信号、又は、エネルギ処置具１１２の電源のオン／オフを示す信号などが供給される。

ステップＳ１０２において、処理モード決定部１５１は、あらかじめ記憶している対応テーブルを参照することで、ステップＳ１０１の処理で受け取った外部信号により特定される手術シーンに応じた処理モードを決定する。

例えば、内視鏡１１１の撮像システムにおいて、単板式のセンサ１６１−１を用いる場合には、処理モード決定部１５１は、図４の対応テーブルを参照して、手術シーンに対応する処理モードを決定する。また、例えば、内視鏡１１１の撮像システムにおいて、３板式のセンサ１６１−３を用いる場合には、処理モード決定部１５１は、図６の対応テーブルを参照して、手術シーンに対応する処理モードを決定する。

ステップＳ１０３において、センサ制御部１６２は、ステップＳ１０２の処理で決定された処理モードに基づいて、センサ１６１を制御する。センサ１６１は、センサ制御部１６２からの制御に従い、画像信号（生体内画像の画像信号）を出力する。

例えば、センサ制御部１６２は、単板式のセンサ１６１−１を用いている場合、処理モードに応じた単板画素ずらしを制御する。より具体的には、センサ制御部１６２は、処理モードが高精細モードである場合、単板式のセンサ１６１−１の画素ずらし処理をオンにする一方で、処理モードが高精細モード以外のモードである場合には、単板式のセンサ１６１−１の画素ずらし処理をオフにする。

また、例えば、センサ制御部１６２は、３板式のセンサ１６１−３を用いている場合、処理モードに応じて、内視鏡１１１のシャッタ制御を行う。より具体的には、センサ制御部１６２は、処理モードがHFRモードである場合、高精細モードの場合と比べて、その露光時間を半分にして、さらに、RGBのプレーンごとに時間がずれたタイミングで撮像が行われるように、シャッタスピードによるRGBのプレーンごとの撮像タイミングのずれを制御する。

ステップＳ１０４において、画像合成部１５２は、内視鏡１１１（のセンサ１６１）からカメラケーブルを介して出力される画像信号を取得する。

ステップＳ１０５において、画像合成部１５２は、ステップＳ１０２の処理で決定された処理モードに基づいて、ステップＳ１０４の処理で取得された画像信号を合成（処理）する。ステップＳ１０５の処理で得られる出力画像は、所定のフレームレートで出力される。

例えば、画像合成部１５２は、単板式のセンサ１６１−１を用いている場合、処理モードに応じた所定の画像処理を行う。より具体的には、例えば、画像合成部１５２は、処理モードがNRモードである場合、４回の撮像で得られる画像信号を加算する画像処理を行う。

また、例えば、画像合成部１５２は、３板式のセンサ１６１−３を用いている場合、処理モードに応じた所定の画像処理を行う。より具体的には、例えば、画像合成部１５２は、処理モードが高精細モードである場合、Ｒ信号と、Ｇ信号と、Ｂ信号を合成する画像処理を行う。また、上述したように、処理モードがHFRモードである場合、画像合成部１５２は、図８に示した構成を有し、図８を参照して説明した処理を行うことになる。

ステップＳ１０６においては、処理を終了するかどうかが判定される。ステップＳ１０６において、処理を終了しないと判定された場合、処理は、ステップＳ１０１に戻り、それ以降の処理が繰り返される。また、ステップＳ１０６において、処理を終了すると判定された場合、図９の第１の実施の形態の画像合成処理は終了される。

以上、第１の実施の形態の画像合成処理の流れについて説明した。この画像合成処理においては、処理モード決定部１５１によって、対応テーブル（例えば、図４又は図６の対応テーブル）が参照されることで、外部信号により特定される手術シーンに応じた処理モードが決定され、センサ制御部１６２及び画像合成部１５２によって、処理モード決定部１５１により決定された処理モードに応じた処理が行われる。すなわち、対応テーブル（例えば、図４又は図６の対応テーブル）によって、手術シーンに応じた適切な処理モードが決定され、当該処理モードに応じた処理が行われるので、手術シーンに応じて術者に最適な映像を提供することが可能となる。

＜３．第２の実施の形態：シーン認識による処理モードの決定＞

ところで、第１の実施の形態では、CCU１０１の外部から入力される外部信号により手術シーンが特定されることで、対応テーブル（例えば、図４又は図６の対応テーブル）によって、当該手術シーンに対応する処理モードが決定される場合を説明した。この手術シーンを特定する手法としては、外部信号を利用する手法に限らず、例えば、出力画像（術中画像）に対してシーン認識処理を施して、そのシーン認識結果に応じて手術シーンを特定するようにしてもよい。

そこで、次に、第２の実施の形態として、出力画像（術中画像）に対するシーン認識処理によって、手術シーンを特定する手法について説明する。

（CCU及び内視鏡の構成例）
図１０は、第２の実施の形態におけるCCU１０１及び内視鏡１１１の詳細な構成例を示す図である。なお、図１０のCCU１０１及び内視鏡１１１において、図２のCCU１０１及び内視鏡１１１と対応するブロックには、同一の符号が付してあり、その説明は繰り返しになるので、適宜省略するものとする。

すなわち、図１０のCCU１０１においては、画像合成部１５２の後段に、シーン認識部１５３が設けられ、このシーン認識部１５３によるシーン認識結果が、処理モード決定部１５１にフィードバックされる点が、図２のCCU１０１とは異なっている。なお、図１０の内視鏡１１１と、図２の内視鏡１１１は、同一の構成とされる。

図１０のCCU１０１において、シーン認識部１５３には、画像合成部１５２から出力される出力画像（画像信号）が入力される。シーン認識部１５３は、画像合成部１５２からの出力画像（術中画像）に対するシーン認識処理を行う。このシーン認識処理によって、出力画像（術中画像）から所定のシーンが認識され、手術シーンが自動で判別される。そして、シーン認識処理で得られるシーン認識結果（手術シーンの判別結果）は、処理モード決定部１５１にフィードバックされる。

ここで、シーン認識部１５３から、処理モード決定部１５１にフィードバックされるシーン認識結果（手術シーンの判別結果）としては、例えば、次のような情報を含めることができる。

すなわち、例えば、出力画像（術中画像）に対するRGBのヒストグラムの分布解析に応じた、狭帯域光観察（NBI）、蛍光観察、又は通常観察である手術シーンの判別結果を含めることができる。また、例えば、出力画像（術中画像）に含まれる糸や縫合針の検出に応じた、縫合である手術シーンの判別結果を含めることができる。

さらに、例えば、出力画像（術中画像）のフレーム差分や動きベクトルの検出に応じた、スコープ移動である手術シーンの判別結果を含めることができる。また、例えば、出力画像（術中画像）に含まれる鉗子１３５の検出や、鉗子１３５の動き検出に応じた、剥離（通常の剥離又は慎重な剥離）である手術シーンの判別結果を含めることができる。

なお、ここに列挙した手術シーンの判別結果は、一例であって、例えば、公知の画像解析処理を用いて得られる他のシーン認識結果が、処理モード決定部１５１にフィードバックされるようにしてもよい。

処理モード決定部１５１には、所定のタイミングで、シーン認識部１５３から、出力画像（術中画像）に応じたシーン認識結果（手術シーンの判別結果）が入力される。

処理モード決定部１５１は、シーン認識部１５３からシーン認識結果が入力された場合、あらかじめ記憶している対応テーブル（例えば、図４又は図６の対応テーブル）を参照して、シーン認識結果（手術シーンの判別結果）により特定される手術シーンに対応した処理モードを決定する。処理モード決定部１５１は、決定した処理モードを、画像合成部１５２及び内視鏡１１１のセンサ制御部１６２に供給する。

センサ制御部１６２は、処理モード決定部１５１から供給される処理モードに基づいて、センサ１６１を制御する。また、画像合成部１５２は、処理モード決定部１５１から供給される処理モードに基づいて、カメラケーブルを介して内視鏡１１１（のセンサ制御部１６２）から供給される画像信号に対して所定の画像処理を行う。

（画像合成処理の流れ）
次に、図１１のフローチャートを参照して、第２の実施の形態の画像合成処理の流れを説明する。

ステップＳ１５１においては、いま、内視鏡手術システム１０の処理が開始されたかどうかが判定される。ステップＳ１５１において、処理開始である判定された場合、処理は、ステップＳ１５２に進められる。

ステップＳ１５２において、処理モード決定部１５１は、初期処理モードを決定し、決定した初期処理モードを、画像合成部１５２及びセンサ制御部１６２に供給する。

すなわち、内視鏡手術システム１０（のCCU１０１）で処理が開始された直後は、シーン認識部１５３が、画像合成部１５２からの出力画像（術中画像）を取得することができず、シーン認識結果（手術シーンの判別結果）を、処理モード決定部１５１にフィードバックすることができないので、例えば、あらかじめ設定された初期処理モードに決定されるようにする。

一方、ステップＳ１５１において、処理開始ではないと判定された場合、処理は、ステップＳ１５３に進められる。ステップＳ１５３において、シーン認識部１５３は、画像合成部１５２からの画像信号に対応する出力画像（術中画像）に対するシーン認識処理を行う。

このステップＳ１５３の処理によって、出力画像（術中画像）から所定のシーンが認識され、手術シーンが自動で判別される。そして、ステップＳ１５３の処理で得られるシーン認識結果（手術シーンの判別結果）は、処理モード決定部１５１にフィードバックされる。

ステップＳ１５４において、処理モード決定部１５１は、あらかじめ記憶している対応テーブルを参照することで、ステップＳ１５３の処理で得られるシーン認識結果（手術シーンの判別結果）により特定される手術シーンに応じた処理モードを決定する。

例えば、内視鏡１１１の撮像システムにおいて、単板式のセンサ１６１−１を用いている場合には、処理モード決定部１５１は、図４の対応テーブルを参照して、フィードバックされる手術シーンの判別結果に対応する処理モードを決定する。また、例えば、内視鏡１１１の撮像システムにおいて、３板式のセンサ１６１−３を用いている場合には、処理モード決定部１５１は、図６の対応テーブルを参照して、フィードバックされる手術シーンの判別結果に対応する処理モードを決定する。

ステップＳ１５５乃至Ｓ１５７においては、図９のステップＳ１０３乃至Ｓ１０５と同様に、センサ制御部１６２によって、ステップＳ１５４の処理で決定された処理モードに基づいて、センサ１６１が制御され、画像合成部１５２によって、ステップＳ１５４の処理で決定された処理モードに基づいて、画像信号が合成（処理）される。ステップＳ１５７の処理で得られる出力画像は、所定のフレームレートで出力される。

ステップＳ１５８においては、処理を終了するかどうかが判定される。ステップＳ１５８において、処理を終了しないと判定された場合、処理は、ステップＳ１５１に戻り、それ以降の処理が繰り返される。また、ステップＳ１５８において、処理を終了すると判定された場合、図１１の第２の実施の形態の画像合成処理は終了される。

以上、第２の実施の形態の画像合成処理の流れについて説明した。この画像合成処理においては、処理モード決定部１５１によって、対応テーブル（例えば、図４又は図６の対応テーブル）が参照されることで、シーン認識結果（手術シーンの判別結果）により特定される手術シーンに応じた処理モードが決定され、センサ制御部１６２及び画像合成部１５２によって、処理モード決定部１５１により決定された処理モードに応じた処理が行われる。すなわち、対応テーブル（例えば、図４又は図６の対応テーブル）によって、手術シーンに応じた適切な処理モードが決定され、当該処理モードに応じた処理が行われるので、手術シーンに応じて術者に最適な映像を提供することが可能となる。

＜４．変形例＞

（プランニングによる処理モードの決定）
上述した説明では、処理モードが、外部信号又はシーン認識により特定される手術シーンに応じて決定される例を説明したが、処理モードの決定方法としては、例えば、事前にプランニングされた手術計画に応じて、適切な処理モードを決定するなど、他の手法を採用してもよい。具体的には、例えば、手術の内容を、３次元モデルによって、事前にプランニングして、術部（患部）ごとに処理モードを対応付けておくことで（例えば、ある患部に対する処置を行う場合は、高精細モードにするなど）、出力画像（術中画像）から対象の術部（患部）に対する処置が行われることが検出された場合には、その術部（患部）に対応付けられた処理モードに遷移するようにすればよい。

＜５．コンピュータの構成＞

上述した一連の処理（例えば画像合成処理）は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、入力部２０６、出力部２０７、記録部２０８、通信部２０９、及びドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記録部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインターフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記録部２０８に記憶されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。

コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

ここで、本明細書において、コンピュータ２００に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。

また、プログラムは、１のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本技術は、以下のような構成をとることができる。

（１）
手術シーンに応じて画素ずらし処理が可能となるように配置される撮像素子を有する撮像装置により撮像される生体内画像に対する処理モードを決定する処理モード決定部と、
前記処理モードに応じて、前記撮像装置から出力される画像を処理する処理部と
を備える情報処理装置。
（２）
前記撮像装置は、前記処理モードに応じて前記撮像素子を制御する制御部を有し、
前記処理モード決定部は、前記処理モードを前記制御部に供給する
（１）に記載の情報処理装置。
（３）
前記処理モードは、前記画素ずらし処理によって前記撮像素子により撮像された前記生体内画像よりも高精細な画像を提供可能なモードを含む
（１）又は（２）に記載の情報処理装置。
（４）
前記処理モードは、前記撮像素子により撮像された前記生体内画像よりもノイズの少ない画像を提供可能なモード、及び、前記撮像素子により撮像された前記生体内画像よりも動きが滑らかに見える画像を提供可能なモードのうちの少なくとも一方のモードをさらに含む
（３）に記載の情報処理装置。
（５）
前記撮像装置は、少なくとも３つ以上の撮像素子を有する
（１）乃至（３）のいずれか一項に記載の情報処理装置。
（６）
前記モード決定部は、外部から入力される外部信号に応じて、前記処理モードを決定する
（１）乃至（５）のいずれか一項に記載の情報処理装置。
（７）
前記モード決定部は、術者による前記処理モードの切り替え操作に応じて、前記処理モードを決定する
（６）に記載の情報処理装置。
（８）
前記モード決定部は、処置具用装置からの処置具の電源のオン／オフを示す信号に応じて、前記処理モードを決定する
（６）に記載の情報処理装置。
（９）
前記モード決定部は、光源装置からの光源の切り替え信号に応じて、前記処理モードを決定する
（６）に記載の情報処理装置。
（１０）
前記モード決定部は、事前にプランニングされた手術計画に応じて、前記処理モードを決定する
（１）に記載の情報処理装置。
（１１）
前記モード決定部は、前記手術計画において事前にプランニングされた術部ごとの前記処理モードに応じて、前記処理モードを決定する
（１０）に記載の情報処理装置。
（１２）
前記撮像装置から出力される前記画像に基づいて、所定のシーンを認識するシーン認識部をさらに備え、
前記モード決定部は、前記シーン認識部による認識結果に応じて、前記処理モードを決定する
（１）乃至（５）のいずれか一項に記載の情報処理装置。
（１３）
前記撮像装置が、前記処理モードに応じて前記撮像素子を制御する制御部を有し、前記処理モードとして、
画素ずらし処理を行わず、前記撮像素子により撮像された前記生体内画像を、一定のフレームレートで出力する第１のモードと、
画素ずらし処理を行い、画素ずらし処理で得られる前記撮像素子により撮像された前記生体内画像よりも高精細な画像を、前記第１のモードと同一のフレームレートで出力する第２のモードと、
画素ずらし処理を行わず、所定の時間内の複数回の撮像で得られる画像を、前記第１のモードよりも高いフレームレートで出力する第３のモードと、
画素ずらし処理を行わず、所定の時間内の複数回の撮像で得られる画像を加算してから、前記第１のモードと同一のフレームレートで出力する第４のモードと
を含み、
前記撮像素子により撮像された前記生体内画像よりも高精細な画像又は前記撮像素子により撮像された前記生体内画像よりもノイズの少ない画像の提供に適した手術シーンは、前記第２のモード又は前記第４のモードに対応付けられ、前記撮像素子により撮像された前記生体内画像よりも動きが滑らかに見える画像の提供に適した手術シーンは、前記第３のモードに対応付けられる
（４）に記載の情報処理装置。
（１４）
前記撮像装置が、少なくとも３つ以上の撮像素子を有し、前記処理モードとして、
RGBの各プレーンを同一のタイミングで撮像して、RGBのプレーンの画像から得られる前記撮像素子により撮像された前記生体内画像よりも高精細な画像を、一定のフレームレートで出力する第１のモードと、
RGBの各プレーンを異なるタイミングで撮像して、撮像タイミングがずれて撮像されたRBGのプレーンの画像のうち、撮像時間が近いRBGのプレーンの画像を合成して得られる画像を、前記第１のモードよりも高いフレームレートで出力する第２のモードと
を含み、
前記撮像素子により撮像された前記生体内画像よりも高精細な画像の提供に適した手術シーンは、前記第１のモードに対応付けられ、前記撮像素子により撮像された前記生体内画像よりも動きが滑らかに見える画像の提供に適した手術シーンは、前記第２のモードに対応付けられる
（４）に記載の情報処理装置。
（１５）
前記処理モード決定部は、
前記手術シーンと前記処理モードとを対応付けたテーブルを記憶し、
前記テーブルを参照して、前記処理モードを決定する
（１）乃至（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記高精細な画像は、3840以上の水平解像度を有する画像である
（３）に記載の情報処理装置。
（１７）
情報処理装置の情報処理方法において、
前記情報処理装置が、
手術シーンに応じて画素ずらし処理が可能となるように配置される撮像素子を有する撮像装置により撮像される生体内画像に対する処理モードを決定し、
前記処理モードに応じて、前記撮像装置から出力される画像を処理する
ステップを含む情報処理方法。
（１８）
内視鏡と情報処理装置から構成される内視鏡システムにおいて、
前記内視鏡は、
画素ずらし処理が可能となるように配置される撮像素子と、
前記撮像素子を制御する制御部と
を備え、
前記情報処理装置は、
手術シーンに応じて前記内視鏡により撮像される生体内画像に対する処理モードを決定する処理モード決定部と、
前記処理モードに応じて、前記内視鏡から出力される画像を処理する処理部と
を備え、
前記制御部は、前記処理モードに応じて、前記撮像素子を制御する
内視鏡システム。

１０ 内視鏡手術システム， １０１ CCU， １０２ 光源装置， １０３ 処置具用装置， １０４ 気腹装置， １０５ 表示装置， １０６ レコーダ， １０７ プリンタ， １１１ 内視鏡， １１２ エネルギ処置具， １２１ フットスイッチ， １３１乃至１３４ トロッカ， １３５ 鉗子， １５１ 処理モード決定部， １５２ 画像合成部， １５３ シーン認識部， １６１ センサ， １６１−１ 単板式のセンサ， １６１−３ ３板式のセンサ， １６２ センサ制御部， １８１−Ｒ，１８１−Ｇ，１８１−Ｂ バッファ， １８２ 位置ずれ検出部， １８３ 位置ずれ補正部， ２００ コンピュータ， ２０１ CPU

Claims (16)

1. 手術に関する情報に基づいて、手術中の生体内を撮像可能な撮像装置により撮像される生体内画像に対する処理モードを決定する処理モード決定部と、
   前記処理モードに応じて、前記撮像装置から出力される画像を処理する処理部と
   を備え、
   前記処理モード決定部は、前記手術に関する情報として前記撮像装置が撮像している際に照射されている光源の情報を取得し、前記光源の切り替えに連動して前記処理モードを決定し、
   前記処理モード決定部は、前記撮像装置が撮像している際に照射されている光源が第１の光源である場合は画素ずらし処理により４Ｋ以上の解像度の画像を出力する第１の処理モードに決定し、前記撮像装置が撮像している際に照射されている光源が前記第１の光源とは波長帯域が異なる第２の光源である場合は前記４Ｋ以上の解像度より低い解像度の画像を出力する第２の処理モードに決定し、
   前記処理部は、前記第１の処理モードのときに、４Ｋ解像度より解像度が低い少なくとも３枚の画像を合成して前記４Ｋ以上の解像度の画像を生成する
   情報処理装置。
2. 前記撮像装置は、前記処理モード決定部の決定に応じて撮像素子を制御する制御部を有し、
   前記処理モード決定部は、前記処理モードの種類を前記制御部に供給する
   請求項１に記載の情報処理装置。
3. 前記処理モードは、撮像素子により撮像された前記生体内画像よりもノイズの少ない画像を提供可能なモードをさらに含む
   請求項１に記載の情報処理装置。
4. 前記撮像装置は、少なくとも３つ以上の撮像素子を有する
   請求項１又は２に記載の情報処理装置。
5. 前記処理モード決定部は、さらに前記手術に関する情報として外部から入力される外部信号を取得し、前記外部信号に応じて、前記処理モードを決定可能である
   請求項１乃至４のいずれかに記載の情報処理装置。
6. 前記処理モード決定部は、さらに前記手術に関する情報として術者による前記処理モードの切り替え操作の情報を取得し、前記切り替え操作の情報に応じて、前記処理モードを決定可能である
   請求項５に記載の情報処理装置。
7. 前記処理モード決定部は、さらに前記手術に関する情報として処置具用装置からの処置具の電源のオン／オフを示す信号を取得し、前記電源のオン／オフを示す信号に応じて、前記処理モードを決定可能である
   請求項５に記載の情報処理装置。
8. 前記処理モード決定部は、さらに前記手術に関する情報として事前にプランニングされた手術計画の情報を取得し、前記手術計画の情報に応じて、前記処理モードを決定可能である
   請求項１に記載の情報処理装置。
9. 前記処理モード決定部は、さらに前記手術に関する情報として前記手術計画において事前にプランニングされた術部ごとの前記処理モードを取得し、前記術部ごとの前記処理モードに応じて、前記処理モードを決定可能である
   請求項８に記載の情報処理装置。
10. 前記撮像装置から出力される前記画像に基づいて、所定のシーンを認識するシーン認識部をさらに備え、
    前記処理モード決定部は、さらに前記手術に関する情報として前記シーン認識部による認識結果を取得し、前記認識結果に応じて、前記処理モードを決定可能である
    請求項１乃至４のいずれかに記載の情報処理装置。
11. 前記撮像装置が、前記処理モードに応じて前記撮像素子を制御する制御部を有し、前記処理モードとして、
    画素ずらし処理を行わず、前記撮像素子により撮像された前記生体内画像を、一定のフレームレートで出力する第１のモードと、
    画素ずらし処理を行い、画素ずらし処理で得られる前記撮像素子により撮像された前記生体内画像よりも高精細な画像を、前記第１のモードと同一のフレームレートで出力する第２のモードと、
    画素ずらし処理を行わず、所定の時間内の複数回の撮像で得られる画像を、前記第１のモードよりも高いフレームレートで出力する第３のモードと、
    画素ずらし処理を行わず、所定の時間内の複数回の撮像で得られる画像を加算してから、前記第１のモードと同一のフレームレートで出力する第４のモードと
    を含み、
    前記撮像素子により撮像された前記生体内画像よりも高精細な画像又は前記撮像素子により撮像された前記生体内画像よりもノイズの少ない画像の提供に適した手術シーンは、前記第２のモード又は前記第４のモードに対応付けられ、前記撮像素子により撮像された前記生体内画像よりも動きが滑らかに見える画像の提供に適した手術シーンは、前記第３のモードに対応付けられる
    請求項３に記載の情報処理装置。
12. 前記撮像装置が、少なくとも３つ以上の撮像素子を有し、前記処理モードとして、
    RGBの各プレーンを同一のタイミングで撮像して、RGBのプレーンの画像から得られる前記撮像素子により撮像された前記生体内画像よりも高精細な画像を、一定のフレームレートで出力する第１のモードと、
    RGBの各プレーンを異なるタイミングで撮像して、撮像タイミングがずれて撮像されたRBGのプレーンの画像のうち、撮像時間が近いRBGのプレーンの画像を合成して得られる画像を、前記第１のモードよりも高いフレームレートで出力する第２のモードと
    を含み、
    前記撮像素子により撮像された前記生体内画像よりも高精細な画像の提供に適した手術シーンは、前記第１のモードに対応付けられ、前記撮像素子により撮像された前記生体内画像よりも動きが滑らかに見える画像の提供に適した手術シーンは、前記第２のモードに対応付けられる
    請求項３に記載の情報処理装置。
13. 前記処理モード決定部は、
    手術シーンと前記処理モードとを対応付けたテーブルを記憶し、
    前記テーブルを参照して、前記処理モードを決定する
    請求項１乃至１２のいずれかに記載の情報処理装置。
14. 前記処理部は、前記第１の処理モードのときに、画素をずらして配置された少なくとも３つの撮像素子から出力された４Ｋ解像度より解像度が低い画像を合成して前記４Ｋ以上の解像度の画像を生成する
    請求項１に記載の情報処理装置。
15. 情報処理装置の情報処理方法において、
    前記情報処理装置が、
    手術中の生体内を撮像可能な撮像装置が撮像している際に照射されている光源の情報を含む手術に関する情報を取得し、
    前記光源の情報を含む前記手術に関する情報に基づいて、前記撮像装置により撮像される生体内画像に対する処理モードを、前記光源の切り替えに連動して決定し、
    前記処理モードに応じて、前記撮像装置から出力される画像を処理する
    ステップを含み、
    前記撮像装置が撮像している際に照射されている光源が第１の光源である場合は画素ずらし処理により４Ｋ以上の解像度の画像を出力する第１の処理モードに決定し、前記撮像装置が撮像している際に照射されている光源が前記第１の光源とは波長帯域が異なる第２の光源である場合は前記４Ｋ以上の解像度より低い解像度の画像を出力する第２の処理モードに決定し、
    前記第１の処理モードのときに、４Ｋ解像度より解像度が低い少なくとも３枚の画像を合成して前記４Ｋ以上の解像度の画像を生成する
    ステップをさらに含む情報処理方法。
16. 手術用撮像装置と情報処理装置から構成される手術システムにおいて、
    前記手術用撮像装置は、
    撮像素子と、
    前記撮像素子を制御する制御部と
    を備え、
    前記情報処理装置は、
    手術に関する情報に基づいて、手術中の生体内を撮像可能な前記手術用撮像装置により撮像される生体内画像に対する処理モードを決定する処理モード決定部と、
    前記処理モードに応じて、前記手術用撮像装置から出力される画像を処理する処理部と
    を備え、
    前記処理モード決定部は、前記手術に関する情報として前記手術用撮像装置が撮像している際に照射されている光源の情報を取得し、前記光源の切り替えに連動して前記処理モードを決定し、
    前記処理モード決定部は、前記手術用撮像装置が撮像している際に照射されている光源が第１の光源である場合は画素ずらし処理により４Ｋ以上の解像度の画像を出力する第１の処理モードに決定し、前記手術用撮像装置が撮像している際に照射されている光源が前記第１の光源とは波長帯域が異なる第２の光源である場合は前記４Ｋ以上の解像度より低い解像度の画像を出力する第２の処理モードに決定し、
    前記処理部は、前記第１の処理モードのときに、４Ｋ解像度より解像度が低い少なくとも３枚の画像を合成して前記４Ｋ以上の解像度の画像を生成する
    手術システム。

Images