JP7420137B2 - 信号処理装置、撮像装置、信号処理方法 - Google Patents

Description

本技術は信号処理装置、撮像装置、及び信号処理方法に関するものであり、特には、撮像画像の明るさの調整についての技術分野に関する。

撮像画像の明るさ調整に関して、例えば放送局用のライブカメラにおいては、明るさの調整は主としてアイリス（光学絞り）を使用している。その理由としては、
・電子シャッタを使用するとフレーム間の連続性が失われてパラパラとした画になり易く好ましくない
・デジタルゲインを上げるとＳ／Ｎ比（信号対雑音比）が悪くなり、下げるとダイナミックレンジが狭くなってしまう
・アナログゲインは一般的に可変範囲が狭いことが多い
・ＮＤフィルタ（ＮＤ：Neutral Density）は、光の透過率ごとにフィルタがあり、連続的に変化させることが困難である（近年では可変ＮＤフィルタも登場しているが、多くの場合、透過率を最大にしても明るさが半分程度に低下してしまう）
などの理由が挙げられる。

しかしながら、アイリスによる明るさ調整とする場合、アイリスを開きすぎると（つまりＦ値を下げすぎると）、途中から解像力が急激に落ちる現象が多くのレンズで見受けられる。一般的に、放送用Ｂ４マウントレンズにおいては、最も解像力が高まるのはＦ４．０程度であり、そこから開放のＦ１．８にかけて急激に解像力が落ちていく。

このような解像力低下の防止を図るためには、Ｆ値が或る閾値（Ｆ_th）以下では、レンズのＦ値はそのまま（Ｆ_th）で維持し、撮像画像のゲインを変えることで明るさを調整するということが考えられる。
具体例としては、使用者による明るさの指示操作はこれまで通りＦ値の指示操作のままとするが、内部処理としては、Ｆ値の指示値が閾値Ｆ_thより大きい場合にはアイリスを制御し、Ｆ値の指示値が閾値Ｆ_th以下となった場合にはＦ値をＦ_thに固定としたまま、ゲインを上げるようにする。

下記特許文献１には、使用者が明るさの指示を行うためのボリュームの位置情報を入力し、位置情報がアイリス制御領域内にあるときには増幅率を固定とするとともにアイリス開口径が位置情報に応じて変化する値となるように制御し、位置情報が増幅率制御領域内にあるときにはアイリス開口径を固定とするとともに増幅率が位置情報に応じて変化する値となるように制御する技術が開示されている。
この特許文献１に開示の技術は、アイリスによる明るさ調整を「光学的明るさ調整」とし、ゲインによる明るさ調整を「電子的明るさ調整」とすると、明るさの指示値の大きさに応じて光学的明るさ調整と電子的明るさ調整とを切り替えるものと換言することができる。

特開２０１５－１１１７４６号公報

しかしながら、光学的明るさ調整と電子的明るさ調整とを切り替える手法を採る場合には、それらの切り替えタイミングにおいて明るさの変化速度が急に速くなったり遅くなったりするといった現象が発生する。このように明るさの変化速度に差が生じるのは、アイリスとゲインとの間で指示値の変化に対する応答特性に差があることに起因する。

上記のように明るさの変化速度に差が生じると、使用者や出力画像の観察者に違和感を抱かせる。
また、使用者にとっては、明るさを急激に変化させないように調整する操作の難易度が増すことに繋がり、明るさ調整に係る操作性悪化を招来することにもなる。

そこで本技術では、光学的明るさ調整のみを行うことによる解像力低下の抑制を図りつつ、明るさ調整が切り替わる際の使用者や出力画像の観察者の違和感緩和、及び明るさ調整に係る操作性悪化の抑制を図ることを目的とする。

本技術に係る信号処理装置は、撮像装置による撮像画像の明るさを指示する指示値の変化に応じて、アイリスによる明るさ調整である光学的明るさ調整と、前記指示値に応じたゲインを前記撮像画像に与えることによる明るさ調整である電子的明るさ調整との切り替え制御を行う切替部と、前記電子的明るさ調整において、前記指示値の変化に対し前記ゲインの変化を遅延させる第一遅延部と、を備えるものである。
電子的明るさ調整において指示値の変化に対しゲインの変化を遅延させることで、指示値が閾値以下に変化して明るさ調整が光学的明るさ調整から電子的明るさ調整に切り替えられたとしても、明るさの変化度合いが急激に変化してしまうことの防止が図られる。

上記した本技術に係る信号処理装置においては、前記指示値がＦ値の目標値とされた構成とすることが考えられる。
これにより、光学的明るさ調整を行うにあたり、Ｆ値以外とされた明るさの指示値をＦ値に換算する必要がなくなる。

上記した本技術に係る信号処理装置においては、前記切替部は、前記指示値と閾値との比較結果に基づき前記切り替え制御を行う構成とすることが考えられる。
これにより、光学的明るさ調整は所定のＦ値までを限度として行われる。

上記した本技術に係る信号処理装置においては、前記指示値がＦ値の目標値とされ、前記切替部は、前記閾値に対して、前記Ｆ値の目標値が大きい側で前記光学的明るさ調整が行われ、前記Ｆ値の目標値が小さい側で前記電子的明るさ調整が行われるように前記切り替え制御を行う構成とすることが考えられる。
すなわち、Ｆ値が大きく解像力が良好となる領域で光学的明るさ調整が行われ、Ｆ値が小さく解像力が低下傾向となる領域では光学的明るさ調整ではなく電子的明るさ調整が行われるようにする。

上記した本技術に係る信号処理装置においては、前記第一遅延部は、前記電子的明るさ調整において前記ゲインを変化させる期間内において、前記ゲインの変化速度を変化させる構成とすることが考えられる。
これにより、電子的明るさ調整による明るさ変化特性を、光学的明るさ調整による明るさの変化特性に近づけることが可能とされる。

上記した本技術に係る信号処理装置においては、前記第一遅延部は、前記電子的明るさ調整における前記ゲインの変化速度を所定速度以下に抑える構成とすることが考えられる。
アイリスの特性より、光学的明るさ調整での明るさ変化速度には上限がある。

上記した本技術に係る信号処理装置においては、前記第一遅延部は、前記電子的明るさ調整において、慣性を模した遅延特性により前記ゲインを遅延させる構成とすることが考えられる。
これにより、電子的明るさ調整による明るさ変化特性を、アイリスに作用する慣性を加味した変化特性とすることが可能とされる。

上記した本技術に係る信号処理装置においては、前記切替部は、前記指示値の変化に応じて前記光学的明るさ調整と前記電子的明るさ調整との切り替え制御を行う切り替えモードと、前記指示値の変化に対し前記切り替え制御を行わず前記光学的明るさ調整を実行させる非切り替えモードとの切り替えが可能とされた構成とすることが考えられる。
これにより、Ｆ値を最小値まで下げることが可能とされる。

上記した本技術に係る信号処理装置においては、前記切替部は、前記切り替えモードと前記非切り替えモードとの切り替えを操作に基づき行う構成とすることが考えられる。
これにより、切り替えモードと非切り替えモードとの切り替えを使用者の意思に基づいて行うことが可能とされる。

上記した本技術に係る信号処理装置においては、前記切替部は、前記切り替えモードと前記非切り替えモードとの切り替えをリモートコントローラの操作に基づき行う構成とすることが考えられる。
これにより、カメラマンが切り替えモード／非切り替えモードの切り替え操作負担を負わずに済む。

上記した本技術に係る信号処理装置においては、前記第一遅延部は、前記電子的明るさ調整における前記ゲインの遅延特性を変更可能とされた構成とすることが考えられる。
これにより、アイリスの特性が何らかの事情により変化する場合に対応して、電子的明るさ調整による明るさの変化特性を光学的明るさ調整による明るさの変化特性に応じた特性に変更することが可能とされる。

上記した本技術に係る信号処理装置においては、前記撮像装置はレンズ交換式の撮像装置であり、前記第一遅延部は、前記撮像装置に装着されたレンズ装置からの取得情報に基づく前記遅延特性により前記ゲインの変化を遅延させる
構成とすることが考えられる。
これにより、装着するレンズ装置によってアイリスの特性が異なる場合に対応して、電子的明るさ調整による明るさの変化特性をレンズ装置に適した特性とすることが可能とされる。

上記した本技術に係る信号処理装置においては、前記光学的明るさ調整において前記指示値の変化に対しＦ値の変化を遅延させる第二遅延部を備えた構成とすることが考えられる。
これにより、指示値の変化に対するＦ値の変化特性を所望の特性とすることが可能とされる。

また、本技術に係る撮像装置は、アイリスを介した入射光を受光して撮像画像を得る撮像素子と、前記撮像画像の明るさを指示する指示値の変化に応じて、アイリスによる明るさ調整である光学的明るさ調整と、前記指示値に応じたゲインを前記撮像画像に与えることによる明るさ調整である電子的明るさ調整との切り替え制御を行う切替部と、前記電子的明るさ調整において、前記指示値の変化に対し前記ゲインの変化を遅延させる第一遅延部と、を備えるものである。
本技術に係る撮像装置によっても、上記した本技術に係る信号処理装置と同様の作用が得られる。

さらに、本技術に係る信号処理方法は、撮像装置による撮像画像の明るさを指示する指示値の変化に応じて、アイリスによる明るさ調整である光学的明るさ調整と、前記指示値に応じたゲインを前記撮像画像に与えることによる明るさ調整である電子的明るさ調整との切り替えを行い、前記電子的明るさ調整において、前記指示値の変化に対し前記ゲインの変化を遅延させる信号処理方法である。
本技術に係る信号処理方法によっても、上記した本技術に係る信号処理装置と同様の作用が得られる。

本技術に係る撮像装置を備えて構成された撮像システムの構成例を示した図である。 実施形態の撮像システムが備えるリモートコントローラの外観構成例を示した斜視図である。 光学的明るさ調整と電子的明るさ調整の切り替え例の概念図である。 光学的明るさ調整と電子的明るさ調整の切り替え処理の例を示したフローチャートである。 アイリスを用いた場合の明るさの変化特性を模式的に表した図である。 光学的明るさ調整と電子的明るさ調整の切り替えの際に明るさの変化速度が急激に変化することの説明図である。 実施形態における明るさ調整のための機能を表した機能ブロック図である。 ゲインを遅延させることの作用を説明するための図である。 第一変形例としての撮像システムの構成を説明するための図である。 第二変形例としての撮像システムの構成を説明するための図である。 フィルタ部の変形例についての説明図である。 実施形態としての明るさ調整に係る制御をＣＣＵ（カメラコントロールユニット）において行う変形例についての説明図である。 手術室システムの全体構成を概略的に示す図である。 集中操作パネルにおける操作画面の表示例を示す図である。 手術室システムが適用された手術の様子の一例を示す図である。 図１５に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。

以下、実施の形態を次の順序で説明する。
＜１．撮像システムの構成＞
＜２．実施形態としての明るさ調整手法＞
［遅延特性の第一例］
［遅延特性の第二例］
［遅延特性の第三例］
［モード切り替えについて］
＜３．変形例＞
［3-1．第一変形例］
［3-2．第二変形例］
［3-3．その他変形例］
＜４．実施形態のまとめ＞
＜５．応用例＞
＜６．本技術＞

＜１．撮像システムの構成＞

図１は、本技術に係る信号処理装置の一実施形態である撮像装置１を備えて構成された撮像システムの構成例を示した図である。
本実施形態における撮像システムは、例えば放送局用のライブカメラシステムとされ、放送局の屋内や、スポーツ中継等の場合には屋外において使用される。図示のように撮像システムは、撮像装置１、レンズ装置１０、ＣＣＵ（カメラコントロールユニット）２０、及びリモートコントローラ３０を備えている。
撮像装置１には、不図示のマウント部を介してレンズ装置１０が着脱自在に装着される。撮像システムにおいて、レンズ装置１０が装着された撮像装置１は、主としてカメラマンとしての使用者により使用される。
一方、ＣＣＵ２０やリモートコントローラ３０は、例えば放送局におけるスタジオとは別室、或いは屋外使用の場合には中継車の室内等に配置され、主としてビデオエンジニアとしての使用者により使用される。
ここで、放送局用のライブカメラシステムとしては、撮像装置１、ＣＣＵ２０及びリモートコントローラ３０を複数組備えた構成が一般的であるが、ここでは図示の都合からそれら複数組のうち１組のみを示している。

レンズ装置１０は、例えばＢ４マウント規格に準拠したレンズ装置とされ、光学部品としてカバーレンズ、ズームレンズ、フォーカスレンズ等のレンズやアイリス（光学絞り）などを備える。また、レンズ装置１０は、アイリスを駆動するための例えばモータ等のアクチュエータを有して構成されたアイリス駆動部１１を備えている。
レンズ装置１０は、撮像装置１に装着された状態において、被写体からの光（入射光）を集光して後述する撮像素子２に導く。このとき、被写体からの入射光はアイリスを介して撮像素子２に受光される。

撮像装置１は、撮像素子２、第一補正処理部３、増幅部４、第二補正処理部５、現像処理部６、及び制御部７を備える。
撮像素子２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型などのイメージセンサとされ、受光した光を光電変換すると共に、光電変換により得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像画像信号（撮像画像データ）を、後段の第一補正処理部３に出力する。
第一補正処理部３は、撮像素子２からの撮像画像信号に対して、欠損画素補正や周辺光量落ち補正、レンズ収差補正等の画像補正処理を行う。

増幅部４は、第一補正処理部３を介して入力した撮像画像信号を、制御部７から指示されるゲインＧに基づき増幅する。増幅部４による撮像画像信号の増幅は、例えば輝度値の増幅として行われる。ここで、ゲインＧ＝１のとき、増幅部４による信号増幅率は１であり、従って増幅部４の処理前後で撮像画像の明るさは変化しない。

第二補正処理部５は、増幅部４を介して入力される撮像画像信号について、第一補正処理部３での画像補正処理とは異なる所定の画像補正処理を施す。
現像処理部６は、第二補正処理部５を介して入力される撮像画像信号について、例えばγ補正処理等の所定の画像信号処理を施す。
本例の撮像システムでは、現像処理部６で処理された撮像画像信号が撮像装置１の出力画像信号としてＣＣＵ２０に入力される。

ＣＣＵ２０は、撮像装置１との間でケーブルを介した有線通信、又は無線通信を行うことが可能に構成され、撮像装置１より出力された撮像画像信号を、例えば不図示の映像編集装置等の外部装置に受け渡すと共に、リモートコントローラ３０からの入力信号等に基づき撮像装置１を制御する。ここで、ＣＣＵ２０からの出力画像を処理する映像編集装置では、撮像装置１及びＣＣＵ２０を複数台備えるシステムの場合には、複数の撮像装置１からの撮像画像を切り替えたり（スイッチング）、複数の撮像画像を合成したりすることが可能とされている。

制御部７は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等を備えたマイクロコンピュータ（演算処理装置）を有して構成され、例えばＲＯＭに記憶されたプログラムに従った処理を実行することで撮像装置１の動作を制御する。
制御部７は、リモートコントローラ３０からの操作入力に基づいて撮像装置１の各種動作の制御を行う。

図２は、リモートコントローラ３０の外観構成例を示した斜視図である。
図示のようにリモートコントローラ３０には、複数のボタンやつまみ等の操作子が形成されている。特に、リモートコントローラ３０には、撮像画像の明るさ調整を行うための調整操作子３０ａが形成されている。本例において、調整操作子３０ａは、例えばレバー式の操作子とされ、調整操作子３０ａを回動させる操作により撮像画像の明るさの指示値を変化させることが可能とされる。具体的には、調整操作子３０ａが一方の端部に達する位置において、指示値は最も暗い明るさ（後述のＦ値の場合は最大値）を示すもので、調整操作子３０ａが他方の端部に達する位置において、指示値は最も明るい明るさ（後述のＦ値の場合は最小値）を示すものである。また、指示値は、一方の端部から他方の端部に向かって単調増加又は単調減少（例えば線形的）に変化するものである。
なお、調整操作子３０ａはレバー型の操作子とすることに限らず、例えば回転式の操作子やスライド式の操作子等の他の形式による操作子とすることもできる。

ここで、本例の撮像システムでは、撮像画像の明るさの指示は、Ｆ値の指示として行われることを前提としている。このため、本例においてリモートコントローラ３０は、調整操作子３０ａの操作状態、具体的には調整操作子３０ａの回動角度に応じたＦ値の目標値（以下「目標値Ｆ_target」と表記する）を明るさの指示値としてＣＣＵ２０に出力する。なお、ここでのＦ値としては、アイリスの駆動によるレンズの有効口径の変化に応じたＦ値相当の明るさを示す値であればよく、必ずしもアイリスの駆動によるレンズの有効口径の変化に応じたＦ値そのものの値でなくともよい。
ＣＣＵ２０は、リモートコントローラ３０より入力した目標値Ｆ_targetを撮像装置１における制御部７に受け渡す。

なお、上記ではリモートコントローラ３０が目標値Ｆ_targetを出力する例としたが、ＣＣＵ２０がリモートコントローラ３０からの操作入力信号（例えば、調整操作子３０ａの回動角度に応じた値を示す信号）に基づいて目標値Ｆ_targetを生成し、制御部７に受け渡す構成を採ることもできる。

図１において、制御部７は、ＣＣＵ２０より入力した目標値Ｆ_targetに基づき、アイリス駆動部１１に対するＦ値の出力、及び増幅部４に対するゲインＧの出力を行って撮像画像の明るさ調整を行う。
撮像画像の明るさ調整のために制御部７が実行する具体的な処理については以降で詳述する。

なお、図１において、撮像装置１は補正処理（第一補正処理部３と第二補正処理部５の処理）と現像処理（現像処理部６の処理）とを行うが、一部を省略したり順番が入れ替わっていてもよい。

＜２．実施形態としての明るさ調整手法＞

制御部７が撮像画像の明るさ調整のために行う具体的な処理について説明する。
なお、以下の説明において、撮像画像の明るさについては単に「明るさ」と略称することがある。
本例の明るさ調整では、明るさを指示する指示値（本例では目標値Ｆ_target）の変化に応じて、アイリスによる明るさ調整である「光学的明るさ調整」と、指示値に応じたゲインを撮像画像に与えることによる明るさ調整である「電子的明るさ調整」との切り替えを行う。
上述のように本例では、リモートコントローラ３０における調整操作子３０ａの操作に応じて、Ｆ値の目標値Ｆ_targetが明るさの指示値として制御部７に入力される。本例では、このような明るさの指示値としてのＦ値の目標値Ｆ_targetに対する閾値Ｆ_thが定められており、制御部７は、目標値Ｆ_targetと閾値Ｆ_thとの比較結果に基づいて光学的明るさ調整と電子的明るさ調整との切り替えを行う。

図３及び図４は、光学的明るさ調整と電子的明るさ調整の切り替えの例を説明するための図であり、図３は該切り替えの例の概念図、図４は該切り替えのために制御部７が実行する処理例を示している。
図３に示すように、Ｆ値の最小値は例えばＦ１．８であり、閾値Ｆ_thとしてはＦ４．０が設定されている（図３参照）。制御部７は、目標値Ｆ_targetが閾値Ｆ_th以下であるか否かを判定し（図４のステップＳ１０１）、目標値Ｆ_targetが閾値Ｆ_th以下でなければ、アイリス駆動部１１に指示するＦ値を目標値Ｆ_targetとし、増幅部４に指示するゲインＧの目標値Ｇ_targetを「１」とする（ステップＳ１０２）。
このように目標値Ｆ_targetが閾値Ｆ_th以下でない場合には、目標値Ｇ_targetが「１」とされるためゲインＧによる明るさ調整は行われない一方、Ｆ値については目標値Ｆ_targetとされるので、アイリスによる明るさ調整が行われる（図３参照）。すなわち、目標値Ｆ_targetが閾値Ｆ_thより大きい場合には、電子的明るさ調整は行われず、光学的明るさ調整が行われる。

一方、目標値Ｆ_targetが閾値Ｆ_th以下である場合、制御部７は、アイリス駆動部１１に指示するＦ値を閾値Ｆ_thとし、ゲインＧの目標値Ｇ_targetを、目標値Ｆ_targetでの明るさと閾値Ｆ_thでの明るさとの差異に応じた値、具体的には（目標値Ｆ_targetでの明るさ）／（閾値Ｆ_thでの明るさ）の値とする（ステップＳ１０３）。
つまり、目標値Ｆ_targetが閾値Ｆ_th以下である場合には、Ｆ値が閾値Ｆ_thとされてアイリスによる明るさ調整は行われない一方、目標値Ｇ_targetは、Ｆ値の目標値Ｆ_targetの大きさに応じて変化するため、ゲインＧによる明るさ調整が行われる（図３参照）。

ここで、ステップＳ１０３の処理について、目標値Ｆ_targetでの明るさは「F_target×F_target」に反比例し、閾値Ｆ_thでの明るさは「Ｆ_th×F_th」に反比例する。従って、ステップＳ１０３においてゲインＧの目標値Ｇ_targetは、

Ｇ_target = （Ｆ_th×Ｆ_th）／（F_target×F_target）

により求める。

上記のような閾値Ｆ_thを基準とした明るさ調整の切り替えを行うことで、光学的明るさ調整は所定のＦ値までを限度として行われることになる。
従って、光学的明るさ調整のみを行う場合に生じていた解像力低下の抑制を図ることができる。

ここで、光学的明るさ調整では、アイリスにおける機構部（絞り羽根等）の駆動を要するため、目標値Ｆ_targetの変化に対して明るさの変化が緩やかな傾向となる。
図５は、アイリスを用いた場合の目標値Ｆ_target（図中の太点線）に対する明るさの変化特性（図中の太実線）を模式的に表している。具体的に図示の例では、時点Ｔ０から時点Ｔ１にかけて目標値Ｆ_targetを明るさＢｘに相当する値まで一定速で変化させた場合の変化特性を表している。
アイリスを用いる場合、機構部に作用する慣性の影響により、時点Ｔ０直後の動き出し期間では明るさはほぼ変化せず、目標値Ｆ_targetに対する遅延が生じる。動き出し期間の後に、明るさの変化速度が徐々に高まっていき、目標値Ｆ_targetの変化速度と略同等の変化速度に達する。その後、時点Ｔ１で目標値Ｆ_targetの変化が終息しても、慣性の影響によりアイリスにおける開口の拡大が継続し、明るさとしても変化状態が継続する。時点Ｔ１から一定時間後に、明るさの変化速度は徐々に低下していき、その後、明るさの変化が終息する。
このようにアイリスを用いた場合の明るさの変化特性は、目標値Ｆ_targetの変化に対し遅れをもった特性となる。

一方、電子的明るさ調整では、アイリスのような機構部の駆動が行われず、目標値Ｆ_targetの変化に対し明るさの変化の遅延がほぼ生じない。
そのため、光学的明るさ調整と電子的明るさ調整の切り替えを行う場合には、切り替えタイミングにおいて明るさの変化速度が急に速くなったり遅くなったりするといった現象が発生してしまう。
図６は、この点についての説明図であるが、図６Ａに示すように、時点Ｔ０から時点Ｔ１にかけて、光学的明るさ調整により明るさをＢ１まで変化させ、図６Ｂに示すように時点Ｔ１から時点Ｔ２にかけて、電子的明るさ調整によりゲインの対数を０からＢ２まで変化させたとする。この場合、時点Ｔ０から時点Ｔ２までの明るさの変化特性は、これら図６Ａと図６Ｂの変化特性を合成したものに相当し、図６Ｃに示すような特性となるが、図中「Ｘ」と示すように、光学的明るさ調整と電子的明るさ調整との切り替えタイミングである時点Ｔ１では、図６Ａと図６Ｂの変化特性の差に起因して、明るさの変化速度が急激に変化する部分が生じてしまう。

このような明るさの変化速度の差は、使用者や出力画像の観察者に違和感を抱かせることになる。また、使用者にとっては、明るさを急激に変化させないように調整する操作の難易度が増すことに繋がり、明るさ調整に係る操作性悪化を招来することにもなる。

そこで、本実施形態では、電子的明るさ調整において、明るさの指示値の変化に対しゲインＧの変化を遅延させる。
このため、制御部７は、図７に示すフィルタ部７ｂとしての機能を有する。
図７は、制御部７が有する明るさ調整のための機能を表した機能ブロック図であるが、図示のように制御部７は、切替部７ａとしての機能とフィルタ部７ｂとしての機能を有する。
切替部７ａは、図４に示した処理を行って光学的明るさ調整と電子的明るさ調整とを切り替える。
フィルタ部７ｂは、ソフトウェア処理により実現されるデジタルフィルタであり、切替部７ａから入力されるゲインＧの目標値Ｇ_targetを遅延させる遅延フィルタとして機能する。このフィルタ部７ｂにより遅延された目標値Ｇ_targetが、ゲインＧとして増幅部４に出力される。

ここで、フィルタ部７ｂのフィルタ特性（遅延特性）については、種々の例が考えられるが、以下ではその一部として第一例から第三例の三つを挙げる。

［遅延特性の第一例］
第一例は、下記式に表すように、目標値Ｇ_targetと現在のゲインＧの値Ｇ（ｔ）との差に比例係数ｐを乗じて、これを現在のゲインＧの値Ｇ（ｔ）に加算する例である。
Ｇ（ｔ＋１）＝ Ｇ（ｔ）＋（Ｇ_target－Ｇ（ｔ））×ｐ

［遅延特性の第二例］
第二例は、変化速度を制限する例である。
実際のアイリスには変化速度に上限がある。このため、フィルタ部７ｂによる遅延特性においても、変化速度に上限を設けることで、アイリスの特性により近づけるようにする。
第二例においても、基本的には第一例と同様に目標値Ｇ_targetと現在のゲインＧの値Ｇ（ｔ）との差に比例係数ｐを乗じた値を現在のゲインＧの値Ｇ（ｔ）に加算する手法を踏襲するが、第二例では、Ｇ（ｔ）に加算する値（下記「ΔＧ（ｔ）」を、ゲインＧの変化量の上限値ΔＧ_maxに基づき制限する。
具体的に、ΔＧ（ｔ）を次のように定義する。
ΔＧ（ｔ）＝（Ｇ_target－Ｇ（ｔ））×ｐ
そして、
｜ΔＧ（ｔ）｜＞ΔＧ_max のとき、
ΔＧ’（ｔ）＝ ΔＧ_max×ΔＧ（ｔ）／｜ΔＧ（ｔ）｜
｜ΔＧ（ｔ）｜≦ΔＧ_max のとき、
ΔＧ’（ｔ）＝ΔＧ（ｔ）
として、
Ｇ（ｔ＋１）＝Ｇ（ｔ）＋ΔＧ’（ｔ）
とする。

［遅延特性の第三例］
第三例は、アイリスに作用する慣性を考慮したものである。
実際のアイリスでは質量のあるもの駆動するため、慣性を持ち、動き始めは殆ど速度が出ない。このため、アイリスに作用する慣性を模した遅延特性とすることで、アイリスの特性により近づけるようにする。
具体的には、現在のゲインＧの変化量をＧｓ（ｔ）、現在の次の時刻におけるゲインＧの変化量をＧｓ（ｔ+１）とする。そして、
Ｆ（ｔ）＝（Ｇ_target －Ｇ（ｔ））×ｐ－Ｇｓ（ｔ）×ｄ
Ｇｓ（ｔ＋１）＝Ｇｓ（ｔ）＋Ｆ（ｔ）
として、
Ｇ（ｔ＋１）＝Ｇ（ｔ）＋ Ｇｓ（ｔ＋１）
とする。

図８は、ゲインＧを遅延させることの作用を説明するための図であるが、図６Ｂと図８Ｂを対比して分かるように、本例では、目標値Ｆ_targetの変化に対し、ゲインＧが遅れを持って応答する。
本例では、目標値Ｆ_targetの変化に対するゲインＧの変化特性、すなわち電子的明るさ調整における明るさの変化特性は、上記した第一例から第三例の何れを採用する場合にも、直線的ではなく曲線的な特性となる。具体的に、第一例から第三例の何れを採用した場合にも、光学的明るさ調整においてゲインＧを変化させる期間（図の例では時点Ｔ１以降の期間）内において、ゲインＧの変化速度が徐々に変化するものとなり、ゲインＧの変化態様は曲線的な変化態様となる。
特に、慣性を考慮した第三例を採用する場合には、電子的明るさ調整への切り替えタイミングである時点Ｔ１近傍において、目標値Ｆ_targetの変化に対しゲインＧがほぼ変化しない応答期間が得られる。

そして、本例の明るさ調整による明るさの変化特性は、図８Ａに示す光学的明るさ調整による明るさの変化特性と、図８Ｂに示す電子的明るさ調整による明るさ変化特性との合成に相当する図８Ｃのような変化特性となるが、本例では、図７に示すフィルタ部７ｂを設けたことで、電子的明るさ調整による明るさ変化特性が光学的明るさ調整による明るさ変化特性に近づくため、図６Ｃで表したような明るさ変化速度が急激に変化することの抑制が図られ、光学的明るさ調整と電子的明るさ調整との切り替えが行われても、明るさの変化を滑らかにすることができる（図８Ｃ中の「Ｘ」で表す部分を参照）。

ここで、フィルタ部７ｂは、遅れ時間を持つフィルタとして機能することから、ローパスフィルタとしての役目も果たす。このようにフィルタ部７ｂがローパスフィルタとしても機能することで、本例では、調整操作子３０ａが小刻みに操作されても、ゲインＧの値が小刻みに変化することの防止が図られる。すなわち、明るさが小刻みに変化してしまうことの防止が図られる。
使用者は、一定速度で目標値Ｆ_targetを変化させたくとも例えば手の震え等によって速度が変化してしまうケースもある。そのような場合において、小刻みな操作への応答が抑制されることで、使用者の意図に沿った明るさ調整を実現することができ、明るさ調整に係る操作性の向上が図られる。

［モード切り替えについて］
ここで、本例における制御部７は、調整操作子３０ａの操作により指示される目標値Ｆ_targetに応じた明るさ調整のモードとして、上述したような光学的明るさ調整と電子的明るさ調整との切り替え制御を行う切り替えモードと、切り替え制御を行わず光学的明るさ調整を実行させる非切り替えモードとの切り替えが可能とされている。これらモードのうち、非切り替えモードは、目標値Ｆ_targetが閾値Ｆ_th以下となっても、目標値Ｆ_targetの変化に応じてＦ値を変化させるモードであると換言できる。

本例において、制御部７は、上記のような切り替えモードと非切り替えモードとの切り替えをリモートコントローラ３０の操作に基づき実行する。
例えば、リモートコントローラ３０には切り替えモードと非切り替えモードとの切り替えを指示する例えばボタン等の操作子が設けられ、リモートコントローラ３０は、該操作子が操作されたことに応じ、対応する操作入力情報をＣＣＵ２０に出力する。この操作入力情報は、ＣＣＵ２０を経由して制御部７に受け渡される。

ここで、上記のような非切り替えモードを設けて、調整操作子３０ａの操作に応じＦ値を最小値まで下げることを可能とすることには、次のような利点がある。
一つは、フランジバック調整（レンズ装置１０の取り付け面から結像面までの距離の調整）における調整作業の効率化が図られるという点である。フランジバック調整は、撮像画像に生じるボケを観察しながら行われるものであるが、調整時にＦ値を小さくできないとボケが生じ難くなり、フランジバック調整を行うことが困難となる。そのため、非切り替えモードに切り替えて、Ｆ値を閾値Ｆ_thよりも小さく設定できるようにすることで、撮像画像のボケを生じ易くし、調整作業の効率化を図ることができる。
もう一つの利点は、背景ボケを発生させたい等の作画意図への対応が図られるという点である。撮像システムの使用者によっては背景をボケさせた幻想的な画像コンテンツの作成を望む声もあり、そのような要望に応えることができる。

なお、切り替えモードと非切り替えモードとのモード切り替え操作は、リモートコントローラ３０の操作に限らず、撮像装置１に対する操作とすることもできる。
モード切り替え操作をリモートコントローラ３０の操作とする場合には、カメラマンがモード切り替えの操作負担を負わずに済む。
ここで、上述したフランジバック調整はカメラマンが行うため、調整作業の効率化の面で、フランジバック調整時にカメラマンに余分な操作負担を負わせることは望ましくない。モード切り替え操作をリモートコントローラ３０の操作とすることで、モード切り替え操作はビデオエンジニア等のカメラマン以外の人物に行わせることができ、フランジバック調整時のカメラマンの操作負担軽減が図られ、調整作業の効率化を図ることができる。

なお、これまでの説明では特に言及しなかったが、光学的明るさ調整と電子的明るさ調整の切り替えに用いる閾値Ｆ_thは、例えば操作入力やレンズ装置１０の種類等に応じて可変とすることができる。解像力が低下し始めるＦ値はレンズ装置１０の種類や個体によって変わる場合も考えられ、そのような場合に閾値Ｆ_thをレンズ装置１０の種類等に応じて可変とすることで、解像力の低下抑制効果を高めることができる。

＜３．変形例＞
［3-1．第一変形例］

なお、実施形態としては上記した具体例に限定されず、多様な変形例が考えられる。
例えば、フィルタ部７ｂのフィルタ特性、すなわちゲインＧの遅延特性については可変とすることもできる。
一例として、この遅延特性は、レンズ装置１０におけるアイリスの特性に応じて可変とすることが考えられる。

図９は、第一変形例としての撮像システムの構成を説明するための図である。なお、以下の説明において既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
ここで、図９では、ＣＣＵ２０やリモートコントローラ３０の図示は省略している。

第一変形例では、フィルタ部７ｂのフィルタ特性を表す情報を記憶させたレンズ装置１０Ａを用いる。レンズ装置１０Ａは、レンズ装置１０と比較して、不揮発性メモリとしての記憶部１２を備える点が異なる。記憶部１２には、レンズ装置１０Ａのアイリスの特性に対応したフィルタ部７ｂのフィルタ特性を表すフィルタ特性情報１２ａが記憶されている。

この場合の撮像システムにおいては、撮像装置１に代えて撮像装置１Ａが設けられる。撮像装置１Ａは、撮像装置１と比較して制御部７に代えて制御部７Ａが設けられた点が異なる。制御部７Ａは、撮像装置１Ａに装着されたレンズ装置１０Ａの記憶部１２よりフィルタ特性情報１２ａを取得し、電子的明るさ調整において、該取得したフィルタ特性情報１２ａに従った遅延特性（つまりフィルタ部７ｂのフィルタ特性）により目標値Ｇ_targetを遅延させる。
これにより、装着するレンズ装置１０Ａによってアイリスの特性が異なる場合に対応して、電子的明るさ調整による明るさの変化特性をレンズ装置に適した特性とすることが可能とされる。すなわち、装着するレンズ装置によってアイリスの特性が異なる場合に対応して、明るさ調整が切り替わる際の使用者の違和感緩和、及び明るさ調整に係る操作性悪化の抑制を図ることができる。

ここで、フィルタ特性情報１２ａの具体例としては、フィルタ部７ｂとして例えばＦＩＲ（Finite Impulse Response）フィルタを用いるとした場合、タップ係数やタップ数の情報等とすることが考えられる。

なお、アイリスの特性に応じてゲインＧの遅延特性を変更する例としては、上記のようにレンズ装置１０Ａにフィルタ特性情報１２ａを記憶させる例に限定されない。
例えば、レンズ装置１０Ａごとの個体識別情報（例えばレンズ装置１０Ａの型番や製造番号等の情報）を記憶部１２に記憶させておき、制御部７Ａが、レンズ装置１０Ａから取得した個体識別情報に対応する遅延特性により目標値Ｇ_targetを遅延させるという構成を採ることもできる。
この場合、撮像装置１Ａにおいては、個体識別情報と遅延特性との対応関係を表すテーブル情報を所定の記憶手段（例えば、制御部７Ａが備えるメモリ等）に記憶させておき、制御部７Ａは、取得した個体識別情報に基づき該テーブル情報から特定される遅延特性により目標値Ｇ_targetを遅延させる処理を行う。

なお、上記では、装着するレンズ装置１０ＡごとにゲインＧの遅延特性を変更可能とする例を挙げたが、これに代えて、例えばアイリスの経時的な特性の変化（例えば機構部の経年劣化に伴う特性変化）に対応してゲインＧの遅延特性を変更可能とするといったことも考えられる。
何れにしても、ゲインの遅延特性を変更可能に構成することで、アイリスの特性が何らかの事情により変化する場合に対応して、電子的明るさ調整による明るさの変化特性を光学的明るさ調整による明るさの変化特性に応じた特性に変更することが可能とされる。すなわち、アイリスの特性が何らかの事情により変化する場合に対応して、明るさ調整が切り替わる際の使用者の違和感緩和、及び明るさ調整に係る操作性悪化の抑制を図ることができる。

［3-2．第二変形例］

また、ゲインＧ側を遅延させるだけでなく、アイリス側（Ｆ値側）も遅延させることも考えられる。具体的には、図１０に示す制御部７Ｂのように、ゲインＧの目標値Ｇ_targetを遅延するフィルタ部７ｂと共に、切換部７ａが出力するＦ値を遅延するフィルタ部７ｃを設けるものである。このような構成により、光学的明るさ調整において、明るさの指示値としての目標値Ｆ_targetの変化に対するＦ値の変化が遅延される。図示は省略したが、この場合の撮像システムでは、フィルタ部７ｃを介したＦ値（図中「Ｆ’」と表す）がアイリス駆動部１１に指示される。

これは、例えば理想とするアイリスの応答特性があるとして、この理想とする応答特性と同じ特性になるようにゲインＧにフィルタをかけると共に、理想的な応答特性を持たないアイリスに対しては、アイリスの前にフィルタを入れることで、「アイリス＋フィルタ」のトータルの特性が理想的なアイリス応答特性と同じになるようにすることができる。
従って、光学的明るさ調整と電子的明るさ調整の双方において、理想とする応答特性を実現できるため、明るさ調整に係る使用者の違和感緩和、及び明るさ調整に係る操作性悪化の抑制を図ることができる。

［3-3．その他変形例］

なお、上記では、ゲインＧの遅延のためのフィルタ処理を制御部７のソフトウェア処理として行う例を挙げたが、例えば図１１に示す撮像装置１Ｃのように、該フィルタ処理を行うフィルタ部８を外付け回路として設けることもできる。
ここで、制御部７Ｃは、明るさ調整に係る機能部として、図７に示した切替部７ａを備え、フィルタ部７ｂが省略された点が制御部７と異なる。フィルタ部８は、制御部７（切替部７ａ）から出力される目標値Ｇ_targetの変化をＦ値の目標値Ｆ_targetの変化に対して遅延させるフィルタ処理を行い、該フィルタ処理により得られたゲインＧを増幅部４に出力する。

また、これまでの説明では、実施形態としての明るさ調整に係る制御を撮像装置１における制御部７が実行する例を挙げたが、該制御はＣＣＵ２０が行うようにすることもできる。
図１２は、その場合における撮像システムの構成例を示している。
この場合の撮像システムでは、撮像装置１に代えて撮像装置１Ｄが、またＣＣＵ２０に代えてＣＣＵ２０Ｄが設けられる。ＣＣＵ２０Ｄは、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたマイクロコンピュータを有して構成された制御部２０ａを備える。この制御部２０ａは、例えばリモートコントローラ３０からの操作入力情報等に基づいて撮像装置１Ｄの動作制御を行う。
図示は省略したが、この場合の撮像システムでは、ＣＣＵ２０Ｄの制御部２０ａに対して先の図７に示した明るさ調整に係る機能部が設けられる。具体的には、切替部７ａとフィルタ部７ｂである。
この場合、制御部２０ａが有する切替部７ａより出力されるＦ値、制御部２０ａが有するフィルタ部７ｂより出力されるゲインＧは、それぞれ撮像装置１Ｄが備える制御部７Ｄを経由してアイリス駆動部１１、増幅部４に指示される。なお、制御部７Ｄは、切替部７ａとフィルタ部７ｂが省略された点が制御部７と異なるものである。

＜４．実施形態のまとめ＞

以上で説明したように実施形態の信号処理装置（撮像装置１又はＣＣＵ２０Ｄ）は、撮像装置による撮像画像の明るさを指示する指示値の変化に応じて、アイリスによる明るさ調整である光学的明るさ調整と、指示値に応じたゲインを撮像画像に与えることによる明るさ調整である電子的明るさ調整との切り替えを行う切替部（同７ａ）と、電子的明るさ調整において、指示値の変化に対しゲインの変化を遅延させる第一遅延部（フィルタ部７ｂ，８）と、を備えるものである。
電子的明るさ調整において指示値の変化に対しゲインの変化を遅延させることで、指示値が閾値以下に変化して明るさ調整が光学的明るさ調整から電子的明るさ調整に切り替えられたとしても、明るさの変化度合いが急激に変化してしまうことの防止が図られる。
従って、光学的明るさ調整のみを行うことによる解像力低下の抑制を図りつつ、明るさ調整が切り替わる際の使用者や出力画像の観察者の違和感緩和、及び明るさ調整に係る操作性悪化の抑制を図ることができる。

また、実施形態の信号処理装置においては、指示値がＦ値の目標値（Ｆ_target）とされている。
これにより、光学的明るさ調整を行うにあたり、Ｆ値以外とされた明るさの指示値をＦ値に換算する必要がなくなる。
従って、明るさ調整に係る処理負担軽減を図ることができる。

さらに、実施形態の信号処理装置においては、切替部は、指示値と閾値との比較結果に基づき切り替え制御を行っている。
これにより、光学的明るさ調整は所定のＦ値までを限度として行われる。
従って、解像力低下の抑制効果を高めることができる。

また、実施形態の信号処理装置においては、指示値がＦ値の目標値とされ、切替部は、閾値に対して、Ｆ値の目標値が大きい側で光学的明るさ調整が行われ、Ｆ値の目標値が小さい側で電子的明るさ調整が行われるように切り替え制御を行っている。
すなわち、Ｆ値が大きく解像力が良好となる領域で光学的明るさ調整が行われ、Ｆ値が小さく解像力が低下傾向となる領域では光学的明るさ調整ではなく電子的明るさ調整が行われるようにする。
従って、明るさ調整に伴う解像力低下の抑制を図ることができる。

さらにまた、実施形態の信号処理装置においては、第一遅延部は、電子的明るさ調整においてゲインを変化させる期間（図８Ｂの時点Ｔ１以降の期間）内において、ゲインの変化速度を変化させている。
これにより、電子的明るさ調整による明るさ変化特性を、光学的明るさ調整による明るさの変化特性に近づけることが可能とされる。
従って、明るさ調整が切り替わる際の明るさ変化のシームレス性が増し、明るさ変化に係る使用者や出力画像の観察者の違和感緩和効果、及び明るさ調整に係る操作性悪化の抑制効果を高めることができる。

また、実施形態の信号処理装置においては、第一遅延部は、電子的明るさ調整におけるゲインの変化速度を所定速度以下に抑えている。
アイリスの特性より、光学的明るさ調整での明るさ変化速度には上限がある。
従って、電子的明るさ調整においてゲインの変化速度を所定速度以下に抑えることで、電子的明るさ調整による明るさ変化特性を光学的明るさ調整による明るさの変化特性に近づけることができ、明るさ変化に係る使用者や出力画像の観察者の違和感緩和効果、及び明るさ調整に係る操作性悪化の抑制効果を高めることができる。

さらに、実施形態の信号処理装置においては、第一遅延部は、電子的明るさ調整において、慣性を模した遅延特性によりゲインを遅延させている。
これにより、電子的明るさ調整による明るさ変化特性を、アイリスに作用する慣性を加味した変化特性とすることが可能とされる。
従って、電子的明るさ調整による明るさ変化特性を光学的明るさ調整による明るさの変化特性に近づけることができ、明るさ変化に係る使用者や出力画像の観察者の違和感緩和効果、及び明るさ調整に係る操作性悪化の抑制効果を高めることができる。

さらにまた、実施形態の信号処理装置においては、切替部は、指示値の変化に応じて光学的明るさ調整と電子的明るさ調整との切り替え制御を行う切り替えモードと、指示値の変化に対し切り替え制御を行わず光学的明るさ調整を実行させる非切り替えモードとの切り替えが可能とされている。
これにより、Ｆ値を最小値まで下げることが可能とされる。
従って、フランジバック調整作業の効率化を図ることができる。また、背景ボケを発生させたい等の作画意図への対応を図ることができる。

また、実施形態の信号処理装置においては、切替部は、切り替えモードと非切り替えモードとの切り替えを操作に基づき行っている。
これにより、切り替えモードと非切り替えモードとの切り替えを使用者の意思に基づいて行うことが可能とされる。
従って、使用者の利便性向上を図ることができる。

さらに、実施形態の信号処理装置においては、切替部は、切り替えモードと非切り替えモードとの切り替えをリモートコントローラ（同３０）の操作に基づき行っている。
これにより、カメラマンが切り替えモード／非切り替えモードの切り替え操作負担を負わずに済む。
フランジバック調整はカメラマンが行うため、調整作業の効率化の面で、フランジバック調整時にカメラマンに余分な操作負担を負わせることは望ましくない。上記のようにモード切り替えをリモートコントローラの操作に基づき行うようにすれば、モード切り替え操作はビデオエンジニア等のカメラマン以外の人物に行わせることができ、フランジバック調整時のカメラマンの操作負担軽減が図られ、調整作業の効率化を図ることができる。

さらにまた、実施形態の信号処理装置においては、第一遅延部は、電子的明るさ調整におけるゲインの遅延特性を変更可能とされている。
これにより、アイリスの特性が何らかの事情により変化する場合に対応して、電子的明るさ調整による明るさの変化特性を光学的明るさ調整による明るさの変化特性に応じた特性に変更することが可能とされる。
すなわち、アイリスの特性が何らかの事情により変化する場合に対応して、明るさ調整が切り替わる際の使用者や出力画像の観察者の違和感緩和、及び明るさ調整に係る操作性悪化の抑制を図ることができる。

また、実施形態の信号処理装置においては、撮像装置はレンズ交換式の撮像装置であり、第一遅延部は、撮像装置に装着されたレンズ装置からの取得情報に基づく遅延特性によりゲインの変化を遅延させている。
これにより、装着するレンズ装置によってアイリスの特性が異なる場合に対応して、電子的明るさ調整による明るさの変化特性をレンズ装置に適した特性とすることが可能とされる。
すなわち、装着するレンズ装置によってアイリスの特性が異なる場合に対応して、明るさ調整が切り替わる際の使用者や出力画像の観察者の違和感緩和、及び明るさ調整に係る操作性悪化の抑制を図ることができる。

さらに、実施形態の信号処理装置においては、光学的明るさ調整において指示値の変化に対しＦ値の変化を遅延させる第二遅延部（フィルタ部７ｃ）を備えている。
これにより、指示値の変化に対するＦ値の変化特性を所望の特性とすることが可能とされる。
従って、明るさ調整に係る使用者や出力画像の観察者の違和感緩和、及び明るさ調整に係る操作性悪化の抑制を図ることができる。

また、実施形態の撮像装置（同１，１Ａ，１Ｃ，１Ｄ）は、アイリスを介した入射光を受光して撮像画像を得る撮像素子（同２）と、撮像画像の明るさを指示する指示値の変化に応じて、アイリスによる明るさ調整である光学的明るさ調整と、指示値に応じたゲインを撮像画像に与えることによる明るさ調整である電子的明るさ調整との切り替えを行う切替部（同７ａ）と、電子的明るさ調整において、指示値の変化に対しゲインの変化を遅延させる第一遅延部（フィルタ部７ｂ，８）と、を備えるものである。
このような実施形態としての撮像装置によっても、上記した実施形態としての信号処理装置と同様の作用及び効果が得られる。

＜５．応用例＞

本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。

図１３は、本開示に係る技術が適用され得る手術室システム５１００の全体構成を概略的に示す図である。図１３を参照すると、手術室システム５１００は、手術室内に設置される装置群が視聴覚コントローラ（AV Controller）５１０７及び手術室制御装置５１０９を介して互いに連携可能に接続されることにより構成される。

手術室には、様々な装置が設置され得る。図１３では、一例として、内視鏡下手術のための各種の装置群５１０１と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ５１８７と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ５１８９と、複数の表示装置５１０３Ａ～５１０３Ｄと、レコーダ５１０５と、患者ベッド５１８３と、照明５１９１と、を図示している。

ここで、これらの装置のうち、装置群５１０１は、後述する内視鏡手術システム５１１３に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム５１１３に属する各装置は医療用機器とも呼称される。一方、表示装置５１０３Ａ～５１０３Ｄ、レコーダ５１０５、患者ベッド５１８３及び照明５１９１は、内視鏡手術システム５１１３とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム５１１３に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ５１０７及び／又は手術室制御装置５１０９は、これら医療機器及び非医療機器の動作を互いに連携して制御する。

視聴覚コントローラ５１０７は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム５１００が備える装置のうち、装置群５１０１、シーリングカメラ５１８７及び術場カメラ５１８９は、手術中に表示すべき情報（以下、表示情報ともいう）を発信する機能を有する装置（以下、発信元の装置とも呼称する）であり得る。また、表示装置５１０３Ａ～５１０３Ｄは、表示情報が出力される装置（以下、出力先の装置とも呼称する）であり得る。また、レコーダ５１０５は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ５１０７は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報（例えば、患者の身体情報や、過去の検査結果、術式についての情報等）等である。

具体的には、視聴覚コントローラ５１０７には、装置群５１０１から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ５１８７から、表示情報として、当該シーリングカメラ５１８７によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ５１８９から、表示情報として、当該術場カメラ５１８９によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム５１００に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ５１０７は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。

あるいは、例えば、レコーダ５１０５には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ５１０７によって記録されている。視聴覚コントローラ５１０７は、表示情報として、レコーダ５１０５から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ５１０５には、手術に関する各種の情報も事前に記録されていてもよい。

視聴覚コントローラ５１０７は、出力先の装置である表示装置５１０３Ａ～５１０３Ｄの少なくともいずれかに、取得した表示情報（すなわち、手術中に撮影された画像や、手術に関する各種の情報）を表示させる。図示する例では、表示装置５１０３Ａは手術室の天井から吊り下げられて設置される表示装置であり、表示装置５１０３Ｂは手術室の壁面に設置される表示装置であり、表示装置５１０３Ｃは手術室内の机上に設置される表示装置であり、表示装置５１０３Ｄは表示機能を有するモバイル機器（例えば、タブレットＰＣ（Personal Computer））である。

また、図１３では図示を省略しているが、手術室システム５１００には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるＰＣ、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ５１０７は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。

手術室制御装置５１０９は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置５１０９は、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１の駆動を制御する。

手術室システム５１００には、集中操作パネル５１１１が設けられており、ユーザは、当該集中操作パネル５１１１を介して、視聴覚コントローラ５１０７に対して画像表示についての指示を与えたり、手術室制御装置５１０９に対して非医療機器の動作についての指示を与えることができる。集中操作パネル５１１１は、表示装置の表示面上にタッチパネルが設けられて構成される。

図１４は、集中操作パネル５１１１における操作画面の表示例を示す図である。図１４では、一例として、手術室システム５１００に、出力先の装置として、２つの表示装置が設けられている場合に対応する操作画面を示している。図１４を参照すると、操作画面５１９３には、発信元選択領域５１９５と、プレビュー領域５１９７と、コントロール領域５２０１と、が設けられる。

発信元選択領域５１９５には、手術室システム５１００に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域５１９５に表示されているいずれかの発信元装置から選択することができる。

プレビュー領域５１９７には、出力先の装置である２つの表示装置（Monitor1、Monitor2）に表示される画面のプレビューが表示される。図示する例では、１つの表示装置において４つの画像がＰｉｎＰ表示されている。当該４つの画像は、発信元選択領域５１９５において選択された発信元装置から発信された表示情報に対応するものである。４つの画像のうち、１つはメイン画像として比較的大きく表示され、残りの３つはサブ画像として比較的小さく表示される。ユーザは、４つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、４つの画像が表示される領域の下部には、ステータス表示領域５１９９が設けられており、当該領域に手術に関するステータス（例えば、手術の経過時間や、患者の身体情報等）が適宜表示され得る。

コントロール領域５２０１には、発信元の装置に対して操作を行うためのＧＵＩ（Graphical User Interface）部品が表示される発信元操作領域５２０３と、出力先の装置に対して操作を行うためのＧＵＩ部品が表示される出力先操作領域５２０５と、が設けられる。図示する例では、発信元操作領域５２０３には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作（パン、チルト及びズーム）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域５１９５において選択されている発信元の装置がレコーダである場合（すなわち、プレビュー領域５１９７において、レコーダに過去に記録された画像が表示されている場合）には、発信元操作領域５２０３には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのＧＵＩ部品が設けられ得る。

また、出力先操作領域５２０５には、出力先の装置である表示装置における表示に対する各種の操作（スワップ、フリップ、色調整、コントラスト調整、２Ｄ表示と３Ｄ表示の切り替え）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、表示装置における表示を操作することができる。

なお、集中操作パネル５１１１に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル５１１１を介して、手術室システム５１００に備えられる、視聴覚コントローラ５１０７及び手術室制御装置５１０９によって制御され得る各装置に対する操作入力が可能であってよい。

図１５は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ５１８７及び術場カメラ５１８９は、手術室の天井に設けられ、患者ベッド５１８３上の患者５１８５の患部に対して処置を行う術者（医者）５１８１の手元及び手術室全体の様子を撮影可能である。シーリングカメラ５１８７及び術場カメラ５１８９には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明５１９１は、手術室の天井に設けられ、少なくとも術者５１８１の手元を照射する。照明５１９１は、その照射光量、照射光の波長（色）及び光の照射方向等を適宜調整可能であってよい。

内視鏡手術システム５１１３、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１は、図１３に示すように、視聴覚コントローラ５１０７及び手術室制御装置５１０９（図１５では図示せず）を介して互いに連携可能に接続されている。手術室内には、集中操作パネル５１１１が設けられており、上述したように、ユーザは、当該集中操作パネル５１１１を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。

以下、内視鏡手術システム５１１３の構成について詳細に説明する。図示するように、内視鏡手術システム５１１３は、内視鏡５１１５と、その他の術具５１３１と、内視鏡５１１５を支持する支持アーム装置５１４１と、内視鏡下手術のための各種の装置が搭載されたカート５１５１と、から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５１３９ａ～５１３９ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５１３９ａ～５１３９ｄから、内視鏡５１１５の鏡筒５１１７や、その他の術具５１３１が患者５１８５の体腔内に挿入される。図示する例では、その他の術具５１３１として、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７が、患者５１８５の体腔内に挿入されている。また、エネルギー処置具５１３５は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５１３１はあくまで一例であり、術具５１３１としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡５１１５によって撮影された患者５１８５の体腔内の術部の画像が、表示装置５１５５に表示される。術者５１８１は、表示装置５１５５に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５１３５や鉗子５１３７を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７は、手術中に、術者５１８１又は助手等によって支持される。

（支持アーム装置）
支持アーム装置５１４１は、ベース部５１４３から延伸するアーム部５１４５を備える。図示する例では、アーム部５１４５は、関節部５１４７ａ、５１４７ｂ、５１４７ｃ、及びリンク５１４９ａ、５１４９ｂから構成されており、アーム制御装置５１５９からの制御により駆動される。アーム部５１４５によって内視鏡５１１５が支持され、その位置及び姿勢が制御される。これにより、内視鏡５１１５の安定的な位置の固定が実現され得る。

（内視鏡）
内視鏡５１１５は、先端から所定の長さの領域が患者５１８５の体腔内に挿入される鏡筒５１１７と、鏡筒５１１７の基端に接続されるカメラヘッド５１１９と、から構成される。図示する例では、硬性の鏡筒５１１７を有するいわゆる硬性鏡として構成される内視鏡５１１５を図示しているが、内視鏡５１１５は、軟性の鏡筒５１１７を有するいわゆる軟性鏡として構成されてもよい。

鏡筒５１１７の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５１１５には光源装置５１５７が接続されており、当該光源装置５１５７によって生成された光が、鏡筒５１１７の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５１８５の体腔内の観察対象に向かって照射される。なお、内視鏡５１１５は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド５１１９の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５１５３に送信される。なお、カメラヘッド５１１９には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５１１９には撮像素子が複数設けられてもよい。この場合、鏡筒５１１７の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ５１５３は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５１１５及び表示装置５１５５の動作を統括的に制御する。具体的には、ＣＣＵ５１５３は、カメラヘッド５１１９から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５１５３は、当該画像処理を施した画像信号を表示装置５１５５に提供する。また、ＣＣＵ５１５３には、図１３に示す視聴覚コントローラ５１０７が接続される。ＣＣＵ５１５３は、画像処理を施した画像信号を視聴覚コントローラ５１０７にも提供する。また、ＣＣＵ５１５３は、カメラヘッド５１１９に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置５１６１を介して入力されてもよいし、上述した集中操作パネル５１１１を介して入力されてもよい。

表示装置５１５５は、ＣＣＵ５１５３からの制御により、当該ＣＣＵ５１５３によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５１１５が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５１５５としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５１５５として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５１５５が設けられてもよい。

光源装置５１５７は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５１１５に供給する。

アーム制御装置５１５９は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５１４１のアーム部５１４５の駆動を制御する。

入力装置５１６１は、内視鏡手術システム５１１３に対する入力インタフェースである。ユーザは、入力装置５１６１を介して、内視鏡手術システム５１１３に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５１６１を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５１６１を介して、アーム部５１４５を駆動させる旨の指示や、内視鏡５１１５による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５１３５を駆動させる旨の指示等を入力する。

入力装置５１６１の種類は限定されず、入力装置５１６１は各種の公知の入力装置であってよい。入力装置５１６１としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５１７１及び／又はレバー等が適用され得る。入力装置５１６１としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５１５５の表示面上に設けられてもよい。

あるいは、入力装置５１６１は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５１６１は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５１６１は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５１６１が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５１８１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置５１６３は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５１３５の駆動を制御する。気腹装置５１６５は、内視鏡５１１５による視野の確保及び術者の作業空間の確保の目的で、患者５１８５の体腔を膨らめるために、気腹チューブ５１３３を介して当該体腔内にガスを送り込む。レコーダ５１６７は、手術に関する各種の情報を記録可能な装置である。プリンタ５１６９は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

以下、内視鏡手術システム５１１３において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置）
支持アーム装置５１４１は、基台であるベース部５１４３と、ベース部５１４３から延伸するアーム部５１４５と、を備える。図示する例では、アーム部５１４５は、複数の関節部５１４７ａ、５１４７ｂ、５１４７ｃと、関節部５１４７ｂによって連結される複数のリンク５１４９ａ、５１４９ｂと、から構成されているが、図１５では、簡単のため、アーム部５１４５の構成を簡略化して図示している。実際には、アーム部５１４５が所望の自由度を有するように、関節部５１４７ａ～５１４７ｃ及びリンク５１４９ａ、５１４９ｂの形状、数及び配置、並びに関節部５１４７ａ～５１４７ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５１４５は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５１４５の可動範囲内において内視鏡５１１５を自由に移動させることが可能になるため、所望の方向から内視鏡５１１５の鏡筒５１１７を患者５１８５の体腔内に挿入することが可能になる。

関節部５１４７ａ～５１４７ｃにはアクチュエータが設けられており、関節部５１４７ａ～５１４７ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５１５９によって制御されることにより、各関節部５１４７ａ～５１４７ｃの回転角度が制御され、アーム部５１４５の駆動が制御される。これにより、内視鏡５１１５の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５１５９は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５１４５の駆動を制御することができる。

例えば、術者５１８１が、入力装置５１６１（フットスイッチ５１７１を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５１５９によってアーム部５１４５の駆動が適宜制御され、内視鏡５１１５の位置及び姿勢が制御されてよい。当該制御により、アーム部５１４５の先端の内視鏡５１１５を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５１４５は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５１４５は、手術室から離れた場所に設置される入力装置５１６１を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、アーム制御装置５１５９は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５１４５が移動するように、各関節部５１４７ａ～５１４７ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５１４５に触れながらアーム部５１４５を移動させる際に、比較的軽い力で当該アーム部５１４５を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５１１５を移動させることが可能となり、ユーザの利便性を向上させることができる。

ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５１１５が支持されていた。これに対して、支持アーム装置５１４１を用いることにより、人手によらずに内視鏡５１１５の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置５１５９は必ずしもカート５１５１に設けられなくてもよい。また、アーム制御装置５１５９は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５１５９は、支持アーム装置５１４１のアーム部５１４５の各関節部５１４７ａ～５１４７ｃにそれぞれ設けられてもよく、複数のアーム制御装置５１５９が互いに協働することにより、アーム部５１４５の駆動制御が実現されてもよい。

（光源装置）
光源装置５１５７は、内視鏡５１１５に術部を撮影する際の照射光を供給する。光源装置５１５７は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５１５７において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置５１５７は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置５１５７は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５１５７は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（カメラヘッド及びＣＣＵ）
図１６を参照して、内視鏡５１１５のカメラヘッド５１１９及びＣＣＵ５１５３の機能についてより詳細に説明する。図１６は、図１５に示すカメラヘッド５１１９及びＣＣＵ５１５３の機能構成の一例を示すブロック図である。

図１６を参照すると、カメラヘッド５１１９は、その機能として、レンズユニット５１２１と、撮像部５１２３と、駆動部５１２５と、通信部５１２７と、カメラヘッド制御部５１２９と、を有する。また、ＣＣＵ５１５３は、その機能として、通信部５１７３と、画像処理部５１７５と、制御部５１７７と、を有する。カメラヘッド５１１９とＣＣＵ５１５３とは、伝送ケーブル５１７９によって双方向に通信可能に接続されている。

まず、カメラヘッド５１１９の機能構成について説明する。レンズユニット５１２１は、鏡筒５１１７との接続部に設けられる光学系である。鏡筒５１１７の先端から取り込まれた観察光は、カメラヘッド５１１９まで導光され、当該レンズユニット５１２１に入射する。レンズユニット５１２１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５１２１は、撮像部５１２３の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部５１２３は撮像素子によって構成され、レンズユニット５１２１の後段に配置される。レンズユニット５１２１を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５１２３によって生成された画像信号は、通信部５１２７に提供される。

撮像部５１２３を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５１８１は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部５１２３を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５１８１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５１２３が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５１２１も複数系統設けられる。

また、撮像部５１２３は、必ずしもカメラヘッド５１１９に設けられなくてもよい。例えば、撮像部５１２３は、鏡筒５１１７の内部に、対物レンズの直後に設けられてもよい。

駆動部５１２５は、アクチュエータによって構成され、カメラヘッド制御部５１２９からの制御により、レンズユニット５１２１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５１２３による撮像画像の倍率及び焦点が適宜調整され得る。

通信部５１２７は、ＣＣＵ５１５３との間で各種の情報を送受信するための通信装置によって構成される。通信部５１２７は、撮像部５１２３から得た画像信号をＲＡＷデータとして伝送ケーブル５１７９を介してＣＣＵ５１５３に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５１８１が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５１２７には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５１７９を介してＣＣＵ５１５３に送信される。

また、通信部５１２７は、ＣＣＵ５１５３から、カメラヘッド５１１９の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５１２７は、受信した制御信号をカメラヘッド制御部５１２９に提供する。なお、ＣＣＵ５１５３からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５１２７には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５１２９に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５１５３の制御部５１７７によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡５１１５に搭載される。

カメラヘッド制御部５１２９は、通信部５１２７を介して受信したＣＣＵ５１５３からの制御信号に基づいて、カメラヘッド５１１９の駆動を制御する。例えば、カメラヘッド制御部５１２９は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５１２３の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５１２９は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５１２５を介してレンズユニット５１２１のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５１２９は、更に、鏡筒５１１７やカメラヘッド５１１９を識別するための情報を記憶する機能を備えてもよい。

なお、レンズユニット５１２１や撮像部５１２３等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５１１９について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ５１５３の機能構成について説明する。通信部５１７３は、カメラヘッド５１１９との間で各種の情報を送受信するための通信装置によって構成される。通信部５１７３は、カメラヘッド５１１９から、伝送ケーブル５１７９を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５１７３には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５１７３は、電気信号に変換した画像信号を画像処理部５１７５に提供する。

また、通信部５１７３は、カメラヘッド５１１９に対して、カメラヘッド５１１９の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

画像処理部５１７５は、カメラヘッド５１１９から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５１７５は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

画像処理部５１７５は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５１７５が複数のＧＰＵによって構成される場合には、画像処理部５１７５は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部５１７７は、内視鏡５１１５による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５１７７は、カメラヘッド５１１９の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５１７７は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５１１５にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５１７７は、画像処理部５１７５による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部５１７７は、画像処理部５１７５によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５１５５に表示させる。この際、制御部５１７７は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５１７７は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５１３５使用時のミスト等を認識することができる。制御部５１７７は、表示装置５１５５に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５１８１に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

カメラヘッド５１１９及びＣＣＵ５１５３を接続する伝送ケーブル５１７９は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル５１７９を用いて有線で通信が行われていたが、カメラヘッド５１１９とＣＣＵ５１５３との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５１７９を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５１７９によって妨げられる事態が解消され得る。

以上、本開示に係る技術が適用され得る手術室システム５１００の一例について説明した。なお、ここでは、一例として手術室システム５１００が適用される医療用システムが内視鏡手術システム５１１３である場合について説明したが、手術室システム５１００の構成はかかる例に限定されない。例えば、手術室システム５１００は、内視鏡手術システム５１１３に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

本開示に係る技術は、以上説明した構成のうち、シーリングカメラ５１８７による術者の手元の撮像や、術場カメラ５１８９による手術室全体の様子の撮像、内視鏡５１１５による術部の撮像等に好適に適用され得る。具体的には、シーリングカメラ５１８７、術場カメラ５１８９、内視鏡５１１５に設けられるアイリス（光学絞り）と、撮像画像のゲインを、ユーザによるコントローラ（例えば、入力装置５１６１）からの操作入力に基づいて制御部（例えば、ＣＣＵ５１５３）が調整することで適用され得る。これらの撮像に本開示に係る技術を適用することにより、手術に係る画像の撮像について、光学的明るさ調整のみを行うことによる解像力低下の抑制を図りつつ、明るさ調整が切り替わる際の使用者の違和感緩和、及び明るさ調整に係る操作性悪化の抑制を図ることができる。特に、内視鏡５１１５による撮像に適用した場合には、術部の撮像画像について明るさの急激な変化が抑制されるため、術部画像の乱れが抑制されて手術の安全性を高めることができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

＜６．本技術＞

なお本技術は以下のような構成も採ることができる。
（１）
撮像装置による撮像画像の明るさを指示する指示値の変化に応じて、アイリスによる明るさ調整である光学的明るさ調整と、前記指示値に応じたゲインを前記撮像画像に与えることによる明るさ調整である電子的明るさ調整との切り替え制御を行う切替部と、
前記電子的明るさ調整において、前記指示値の変化に対し前記ゲインの変化を遅延させる第一遅延部と、を備える
信号処理装置。
（２）
前記指示値がＦ値の目標値とされた
前記（１）に記載の信号処理装置。
（３）
前記切替部は、
前記指示値と閾値との比較結果に基づき前記切り替え制御を行う
前記（１）又は（２）に記載の信号処理装置。
（４）
前記指示値がＦ値の目標値とされ、
前記切替部は、
前記閾値に対して、前記Ｆ値の目標値が大きい側で前記光学的明るさ調整が行われ、前記Ｆ値の目標値が小さい側で前記電子的明るさ調整が行われるように前記切り替え制御を行う
前記（３）に記載の信号処理装置。
（５）
前記第一遅延部は、
前記電子的明るさ調整において前記ゲインを変化させる期間内において、前記ゲインの変化速度を変化させる
前記（１）から（４）の何れかに記載の信号処理装置。
（６）
前記第一遅延部は、
前記電子的明るさ調整における前記ゲインの変化速度を所定速度以下に抑える
前記（１）から（５）の何れかに記載の信号処理装置。
（７）
前記第一遅延部は、
前記電子的明るさ調整において、慣性を模した遅延特性により前記ゲインを遅延させる
前記（１）から（６）の何れかに記載の信号処理装置。
（８）
前記切替部は、
前記指示値の変化に応じて前記光学的明るさ調整と前記電子的明るさ調整との切り替え制御を行う切り替えモードと、前記指示値の変化に対し前記切り替え制御を行わず前記光学的明るさ調整を実行させる非切り替えモードとの切り替えが可能とされた
前記（１）から（７）の何れかに記載の信号処理装置。
（９）
前記切替部は、
前記切り替えモードと前記非切り替えモードとの切り替えを操作に基づき行う
前記（８）に記載の信号処理装置。
（１０）
前記切替部は、
前記切り替えモードと前記非切り替えモードとの切り替えをリモートコントローラの操作に基づき行う
前記（９）に記載の信号処理装置。
（１１）
前記第一遅延部は、
前記電子的明るさ調整における前記ゲインの遅延特性を変更可能とされた
前記（１）から（１０）の何れかに記載の信号処理装置。
（１２）
前記撮像装置はレンズ交換式の撮像装置であり、
前記第一遅延部は、
前記撮像装置に装着されたレンズ装置からの取得情報に基づく前記遅延特性により前記ゲインの変化を遅延させる
前記（１１）に記載の信号処理装置。
（１３）
前記光学的明るさ調整において前記指示値の変化に対しＦ値の変化を遅延させる第二遅延部を備えた
前記（１）から（１２）の何れかに記載の信号処理装置。

１ 撮像装置、１，１Ａ，１Ｃ，１Ｄ 撮像装置、２ 撮像素子、３ 第一補正処理部、４ 増幅部、５ 第二補正処理部、６ 現像処理部、７，７Ａ，７Ｂ，７Ｃ，７Ｄ 制御部、７ａ 切替部、７ｂ，７ｃ，８ フィルタ部、１０，１０Ａ レンズ装置、１１ アイリス駆動部、１２ 記憶部、１２ａ フィルタ特性情報、２０，２０Ｄ ＣＣＵ（カメラコントロールユニット）、２０ａ 制御部、３０ リモートコントローラ、３０ａ 調整操作子

Claims (12)

1. 撮像装置による撮像画像の明るさを指示する指示値の変化に応じて、アイリスによる明るさ調整である光学的明るさ調整と、前記指示値に応じたゲインを前記撮像画像に与えることによる明るさ調整である電子的明るさ調整との切り替え制御を行う切替部と、
   前記電子的明るさ調整において、前記指示値の変化に対し前記ゲインの変化を遅延させる第一遅延部と、を備え、
   前記指示値がＦ値の目標値とされ、
   前記切替部は、
   前記指示値と、Ｆ値の可変範囲内における最小値及び最大値以外の値として定められた閾値との比較結果に基づき前記切り替え制御を行うと共に、
   前記指示値の変化に応じて前記切り替え制御を行う切り替えモードと、前記指示値の変化に対し前記切り替え制御を行わず前記光学的明るさ調整を実行させる非切り替えモードとの切り替えが可能とされた
   信号処理装置。
2. 前記指示値がＦ値の目標値とされ、
   前記切替部は、
   前記閾値に対して、前記Ｆ値の目標値が大きい側で前記光学的明るさ調整が行われ、前記Ｆ値の目標値が小さい側で前記電子的明るさ調整が行われるように前記切り替え制御を行う
   請求項１に記載の信号処理装置。
3. 前記第一遅延部は、
   前記電子的明るさ調整において前記ゲインを変化させる期間内において、前記ゲインの変化速度を変化させる
   請求項１に記載の信号処理装置。
4. 前記第一遅延部は、
   前記電子的明るさ調整における前記ゲインの変化速度を所定速度以下に抑える
   請求項１に記載の信号処理装置。
5. 前記第一遅延部は、
   前記電子的明るさ調整において、慣性を模した遅延特性により前記ゲインを遅延させる
   請求項１に記載の信号処理装置。
6. 前記切替部は、
   前記切り替えモードと前記非切り替えモードとの切り替えを操作に基づき行う
   請求項１に記載の信号処理装置。
7. 前記切替部は、
   前記切り替えモードと前記非切り替えモードとの切り替えをリモートコントローラの操作に基づき行う
   請求項６に記載の信号処理装置。
8. 前記第一遅延部は、
   前記電子的明るさ調整における前記ゲインの遅延特性を変更可能とされた
   請求項１に記載の信号処理装置。
9. 前記撮像装置はレンズ交換式の撮像装置であり、
   前記第一遅延部は、
   前記撮像装置に装着されたレンズ装置からの取得情報に基づく前記遅延特性により前記ゲインの変化を遅延させる
   請求項８に記載の信号処理装置。
10. 前記光学的明るさ調整において前記指示値の変化に対しＦ値の変化を遅延させる第二遅延部を備えた
    請求項１に記載の信号処理装置。
11. アイリスを介した入射光を受光して撮像画像を得る撮像素子と、
    前記撮像画像の明るさを指示する指示値の変化に応じて、アイリスによる明るさ調整である光学的明るさ調整と、前記指示値に応じたゲインを前記撮像画像に与えることによる明るさ調整である電子的明るさ調整との切り替え制御を行う切替部と、
    前記電子的明るさ調整において、前記指示値の変化に対し前記ゲインの変化を遅延させる第一遅延部と、を備ええ、
    前記指示値がＦ値の目標値とされ、
    前記切替部は、
    前記指示値と、前記Ｆ値の可変範囲内における最小値及び最大値以外の値として定められた閾値との比較結果に基づき前記切り替え制御を行うと共に、
    前記指示値の変化に応じて前記切り替え制御を行う切り替えモードと、前記指示値の変化に対し前記切り替え制御を行わず前記光学的明るさ調整を実行させる非切り替えモードとの切り替えが可能とされた
    撮像装置。
12. 撮像装置による撮像画像の明るさを指示する指示値の変化に応じて、アイリスによる明るさ調整である光学的明るさ調整と、前記指示値に応じたゲインを前記撮像画像に与えることによる明るさ調整である電子的明るさ調整との切り替えを行い、
    前記電子的明るさ調整において、前記指示値の変化に対し前記ゲインの変化を遅延させると共に、
    前記指示値がＦ値の目標値とされ、
    前記切り替え制御を、前記指示値と、前記Ｆ値の可変範囲内における最小値及び最大値以外の値として定められた閾値との比較結果に基づき行い、
    前記指示値の変化に応じて前記切り替え制御を行う切り替えモードと、前記指示値の変化に対し前記切り替え制御を行わず前記光学的明るさ調整を実行させる非切り替えモードとの切り替えを行う
    信号処理方法。

Images