JP7633704B2 - 多視点映像撮影装置 - Google Patents

Description

本発明は、外科手術や解剖等に用いられる多視点映像撮影装置に関する。

外科手術の基本は開腹、開胸下の広い術部で行われる直視下型手術であり、高難度手術においても様々な不測の事態に対応することができる確実な術式である。しかし、外科医は自分の目で見た情報だけを基にこの直視下型手術を行っているのが現状で、この方法は１００年以上も続く近代外科の歴史の中でも、ほとんど改善されていない。

直視下型手術を飛行機の操縦に例えると、現代の外科医は、未だに長時間のフライトを何のサポートもなく、有視界飛行で操縦しているパイロットのような状況にあり、その意味で外科手術の分野はＩＴ技術から取り残された分野であるとも言える。

これに対し、近年、内視鏡を患者の腹部あるいは胸部に挿入し、内視鏡の映像を大画面のモニタで表示して手術を行う、鏡視下手術が急速に普及している。この鏡視下手術では、一つの鮮明な拡大映像情報を参加メンバー全員で共有することができ、安全性の向上に寄与している。さらに、術部の中心を捉えた映像を簡単に記録してアーカイブ化することができるので、若手外科医や学生と振り返り学習をする、外科教育用の外科教材を作成する上でも貢献している面が大きい。

近年、腹腔鏡手術の適応は格段に広がり、多くの高難度の手術を行うまでになっているが、部分的に拡大された術部画像を見ながら、不自由な器具を使って行う術式には、かえってトラブルを起こすリスクもある。このため、直視下手術は、依然として外科手術において中心的な役割を果たし続けている。
そこで、外科手術の基本である直視下手術において、ＩＴ情報を有効に提供する技術開発が強く求められている。

従来、直視下手術における映像撮影は術者の頭上に配置した１つのビデオカメラで撮影することが広く行われてきた。しかし、術者の覗き込み動作により頭、肩などの体に遮られることが多く、有効な映像を撮影できない場面が多くあった。これを解決するためには、少なくとも1人の映像担当スタッフを配置し、複数の術者の頭などの隙間を狙ってカメラ位置を頻回に調整して撮影する必要があった。

しかし、そういった労力を割いたとしてしてもなお、術者の覗き込みによる映像の妨げを完全に回避することはできなかった。また、人的資源に比較的余裕のある大病院などでは、撮影を企図した特別な直視下手術においてはこのような人員を配置することも可能であるが、それでも、日常行われる全ての手術で気軽に撮影することはできなかった。まして、人員の少ない市中病院などで、直視下手術の有効な手術映像記録を行うことは殆どの場合、できないのが現状である。

直視下手術において、術者の視線から見た術野を介助者や術野外の観察者（麻酔科医、看護師、医学生など）も見ることができれば、腹腔鏡下手術のような術野の共有という恩恵に浴することができるが、今までそれを叶える映像機器システムはなかった。
一つの対応策として、術者の頭やメガネに小型カメラを取り付け術者の視線を撮影する試みは多くなされている。しかし、実臨床上は、術者の不規則な頭の動きによって画面が非常に大きくブレる為、とても観察に耐えられるような画像が撮れないのが実情であった。

さらに、術者は集中して非常に狭い術野だけを見ていることが多くなるが、術者にとっては、広い視野から俯瞰的に術野を見た像や、術者の逆方向の視点から術野を見た像を参考にしながら手術を行うことは、手術の安全性を高める上でも有効である。
しかし、今まで術者は自分の視線以外の視点から見た術野映像を見ることはできなかった。また、白色光以外に、遠赤外線を使って、ＩＣＧ蛍光色素を注入したがん病巣やリンパ節を浮き上がらせたり、血管走行を描出したりする技術を応用して、術者に白色光以外の映像情報を提供することも、近未来の手術支援装置としては大切な機能である。

特許文献１には、外科手術などの医療の撮影に際し、治療者の覗き込み動作による頭、術者の手や手術機械等によるカメラの視野障害を避けて、医療措置や治療対象患部状態などを高確率で画面に表示するカメラシステムが記載されている。
特許文献１に記載の技術は、術者の頭上に複数の光源を備えた無影灯付きカメラ機構を配置している。この無影灯付きカメラ機構は、一つの中央カメラと複数の周囲カメラを有し、照明の対象である術部を複数の視点から同時に撮影するように構成されている

さらに、特許文献１に記載の技術では、モニタ機構が設けられ、このモニタ機構により、中央カメラ及び複数の周囲カメラで撮影された複数の映像の中から必要な映像が選択されて、ディスプレイ装置に表示されるようになっている。
また、特許文献２には、赤外線光とコールドミラーまたはホットミラーを用いて、血管の映像を撮影する技術が開示されている。

近年、あるシーンを複数のカメラで同期して撮影し、任意の視点（仮想視点）からの見える風景を再現した画像（自由視点画像）を生成する技術が発展し、例えば、サッカーやバスケットボールのハイライトシーン等を様々な角度から見ることができるようになっている。

特開２０１９－４２１９９号公報 特開２０１７－６８８１０号公報 特開２０１９－３３２０号公報

直視下外科手術に多視点映像技術を応用するためには、スポーツ観戦などを想定した多視点自由映像技術とは全く異なる課題が存在する。それは、被写体とカメラと観察者の位置関係がスタジアムでの撮影環境と手術室での撮影環境では大きく異なるという点である。
スタジアムでは、被写体、すなわち選手とカメラを結ぶ直線上に観察者、すなわち視聴者が存在することはなく、遮蔽物はない。

一方、直視下外科手術では、頭上に設置したカメラと被写体である術部の間に観察者である外科医が必ず存在してしまう。この外科医の頭、肩などが第一の遮蔽物になり、さらに、術野の直上で作業する外科医の手、手術器具が第二の遮蔽物になり、複数のカメラから同期した被写体の画像を得ることができない。

特許文献１は直視下外科手術における上記の遮蔽課題を十分に考慮せずに外科手術に多視点映像を応用しようとした例である。ここに記載される無影灯付きカメラ機構は非常に大きく、外科医の頭上に配置されているため、設置した複数のカメラの多くは外科医の頭に遮られ、有効に術部を撮影することが難しい。結局、従来の１つのカメラで直視下手術を撮影する場合と同様に、カメラ撮影専用のスタッフを配置し、カメラ位置を調整し続けなければ意味のある画像を得ることは困難である。
さらに、複数のカメラの多くは外科医の頭、肩などに遮られてしまい無効になるので、多視点映像を得るための十分に多くの複数のカメラからの有効な映像を得ることは困難であった。

一方、手術を遂行する上で不可欠な要素は術野を照らす照明装置である。複数のライトが設置された無影灯は、文字通り影ができないことを期待して設計されている。しかし、実際には特許文献１に記載されるような大きな無影灯による照明は、外科医の頭、肩などに遮られて有効な光量が術野に届かないことが多くなる。その結果、手術中に外科医自身、もしくは外から助手により、頻回に照明装置の位置を調整する必要に迫られる。

このように、頭上の無影灯付き複数カメラ機構も含めて、従来の機器では、術野のビデオ画像の表示及び記録を、カメラ撮影専用のスタッフなしに有効に行うことは難しかった。また、近年スポーツ観戦などで飛躍的に進歩している多視点映像というＩＴ技術を、外科手術領域に応用することはできなかった。

自由視点映像を生成する方式として、例えば特許文献３に記載されるような、被写体の位置や形状のような幾何学的情報の推定法に関する技術がある。しかしながら、外科手術にとって有意義な自由視点映像を生成するためには、幾何学的な情報だけでは不十分であり、それに加えて、意味的なコンテキスト情報の取得、及びそれに基づいた提示映像生成が必要になる。

したがって、上記した術者の頭、体により映像または照明が遮蔽されるという第１の課題を解決したとしても、被写体の直上には必ず術者の手、手術器具という第２の遮蔽物が存在するため有効な多視点映像を得ることはできない。つまり、手術現場に多視点映像技術を応用するためには、撮影シーンの状況判断、つまり、コンテキスト情報を推定し、コンテキスト情報に基づいて、術者の手、手術器具が障害となっていないカメラ映像を映像情報的に自動選択する機能を備える必要がある。

さらに、本装置をリアルタイムで手術ナビゲーションとして応用する場面において、術者の視点からは気づくことができない他の視点からの映像を術者に提示することができれば、手術の安全性を高める有効な技術になる。
そのためには、広い撮影範囲の中で術者が注視する、限られた狭い領域を自動認識できる機能を備える必要がある。その上で、術者が現在注視している以外に術者に提示すべき有効な画像を判断して提示する機能を備える必要がある。

本発明の目的は、撮影専用のカメラスタッフを配置することなく、術者の頭、体に遮られることのない、さらに術者の手、手術器具に妨げられることのない手術術野の画像表示及び記録を過不足なく行うことができる多視点映像撮影装置を提供することにある。
すなわち、本発明は、既存の装置では回避することができなかった術者の頭、体により映像、照明が遮蔽されるという第一の課題を機器形状の工夫及び機器の配置位置の工夫で解決した上で、さらに、術者の手、手術器具による第二の遮蔽問題を映像情報処理技術で解決し、外科手術分野に多視点映像撮影技術を応用することを目的にする。
一方、本発明の多視点映像撮影装置は、術者の視線の妨げ、作業の障害にならないように形状、大きさ、配置を工夫することが要件となる。

上記課題を解決するために、本発明の多視点映像撮影装置は、複数のカメラを術者が作業対象とする被写体に向けて、リング状の円形もしくは弧状などの有限長曲線形状の筐体に取り付けた撮影器具と、撮影器具を、術者の頭頂と被写体との間の位置に配置する固定器具とを備える。

本発明の好ましい形態としては、撮影器具に取り付けた複数のカメラの位置、姿勢、焦点距離を含むカメラパラメータを、複数のカメラが撮影した被写体の撮影情報に基づいて推定するカメラ較正処理部と、外科医が注目する被写体の領域である注視点を多視点画像データ中で検出し、カメラパラメータを参照して注視点の三次元座標情報を推定し、三次元座標情報に基づき、前記注視点を最も良い状態で撮影するカメラを1つ以上選択する提示視点注視点判定処理部とを備える。
さらに、筐体に取り付けられた複数のカメラの間に複数の照明を配置することにより、術者の頭や肩による遮蔽のない照明環境をも具備する。

本発明によれば、撮影専用のカメラスタッフを配置することなく術者の頭や体に遮られることのない照明環境のもとで明瞭な術野画像を撮影し続けることが可能である。さらに術者が注視する術野中心を多視点から有効に捉える機能を備えることにより、外科医の視点以外からの詳細な術野情報をリアルタイムに外科医に提供する施術支援機能も具備し、直視下手術の安全性向上に寄与できる。また、この明瞭な術野画像を録画することは、信頼性の高い画像的な手術記録の保存になる。

これは、診療情報記録としての価値が非常に高く、かつ、外科教育にも大きく寄与することが期待できる。さらに、医療スタッフが少ない医師不足地域の病院などで行われる手術において、撮影スタッフなしに明瞭な術野画像を得ることができるので、これを遠隔地にいる熟練外科医にリアルタイムに送信してアドバイスを受ける等、遠隔地医療の安全性を高めるという応用も期待できる。

加えて、後述するように、変形例３においては、腹腔鏡手術においてカメラを持つ医師を不要とし、人的資源の効率化を図るだけでなく、従来の狭い視野ではなく、広い多視点映像を提供することにより安全性の向上にも寄与することができる。

本発明の多視点映像撮影装置に設置した複数の照明光源は、外科医の頭頂より低い位置に設置されるという本装置の特徴により、一切外科医の頭・体に遮られることがなく、影のない無影環境を術野に提供することができる。さらに、赤外光、紫外光など波長の異なる光源を装備することにより、外科医が肉眼で認識することができない多くの情報を提供することが可能になる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の実施形態に係る、多視点映像撮影装置の使用状態を示す概略図と、撮影照明器具の使用状態を上から見た図である。 撮影照明器具の透過側面図と、下面図と、透過斜視図である。 中空リング型多視点映像撮影装置の手術室における使用状態のシミュレーション図である。 中空リング型多視点映像撮影装置の６面図である。 中空リング型多視点映像撮影装置を使用した際の、外科医の視点から見たシミュレーション図である。 多視点映像撮影装置の設置バリエーション（多角形、弧状）の例を示す図である。 多視点映像撮影装置の設置バリエーション（線形、V字状）の例を示す図である。 多視点映像撮影装置の設置バリエーション（アーチ型、複合型）の例を示す図である。 照明のないバリエーション、撮影器具の設置の例を示す図である。 映像撮影装置のないバリエーション、照明器具の例を示す図である。 本発明の実施形態に係る多視点映像撮影装置の、ハードウェア構成を示すブロック図である。 映像照明処理装置のソフトウェア機能を示すブロック図である。 提示視点注視点判定処理部の処理の流れを示すフローチャートである。 本発明の第一変形例に係る、多視点映像撮影装置の使用状態を示す概略図である。 本発明の第二変形例に係る、多視点映像撮影装置の使用状態を示す概略図である。 本発明の第三変形例に係る、撮影照明器具のＬＥＤ照明とカメラを示す概略図である。 本発明の第四変形例に係る、撮影照明器具のＬＥＤ照明とカメラを示す概略図と、可視光ＬＥＤと赤外線ＬＥＤの発光タイミングを示すタイムチャートと、映像照明処理装置の入出力制御部内に設けられる、赤外線映像取得部のソフトウェア機能を示すブロック図である。 本発明の第五変形例に係る吊り下げアームのバリエーションを示す概略図である。

［多視点映像撮影装置］
図１Ａは、本発明の実施形態に係る、多視点映像撮影装置１０１の使用状態を示す概略図、図１Ｂは、撮影照明器具１０２の使用状態を上から見た図である。
図１Ａに示すように、多視点映像撮影装置１０１は、撮影照明器具１０２と、これに接続される映像照明処理装置１０３を有する。さらに、映像照明処理装置１０３には大画面の外部モニタ１０４が接続されている。

手術台１０５には麻酔をかけられ、腹部を切開された患者１０６が横たわっている。この患者１０６に外科医１０７ａが執刀を行い、外科医１０７ｂが外科医１０７ａの執刀補助を行う。すなわち、外科医１０７ａは執刀を行う外科医であり、外科医１０７ｂはその補助者である。以下、外科医１０７ａとその補助者１０７ｂを総称して、「外科医１０７」として記載することにする。
手術台１０５の横幅は概ね５０ｃｍ程度である。切開された腹部、すなわち手術術野１０６ａは、開口部が概ね短辺２０ｃｍ程度であり、深さが概ね１０ｃｍ程度である。

図１Ａ及び図１Ｂに示すように、手術術野１０６ａの中心からおよそ４０ｃｍ程度、上方向に離間した位置に、中空リング形状の撮影照明器具１０２が設置される。撮影照明器具１０２は、外科医１０７ａ、１０７ｂが手術術野１０６ａを視認する上でその視野障害にならないように、図１の例では円または楕円リング形状の筐体に、複数のカメラ（図２Ｂ参照）と複数の照明（図２Ｂ参照）が、手術術野１０６ａに向けて設置されている。

外科医１０７は、撮影照明器具１０２の中空部分から手術術野１０６ａを覗き込むとともに、撮影照明器具１０２の下の４０ｃｍ程度の空間に手を差し込み、手術操作を行う。この手術操作を行うスペースを確保するために、撮影照明器具１０２は例えば固定器具１０２ｂにより術野上の構造物（例えば天井）から吊り下げて、外科医の頭頂と手術術野１０６ａの間に設置される。

外科医１０７は、撮影照明器具１０２の中空部分から覗き込むように手術術野１０６ａを視認することができるが、外部モニタ１０４に表示される手術術野１０６ａの映像を参照しながら、撮影照明器具１０２と手術術野１０６ａの間の空間を使って執刀及び執刀補助を行うこともできる。

従来の直視下手術では、術部の真上６０ｃｍは、立ち入ることができない神聖な領域として外科手術医療の界隈で広く認識されており、新たな医療機器を開発して配置することがためらわれる領域であった。すなわち、直視下手術における手術のモニタリングは、執刀する外科医１０７ａ、１０７ｂの肉眼による手術術野１０６ａの目視が全てであったため、術部の真上６０ｃｍに何らかの物体を配置することは外科医１０７の視界を妨げるものと認識されていた。

本発明の実施形態に係る多視点映像撮影装置１０１に用いられる撮影照明器具１０２は、このタブーであった領域である、術部の真上６０ｃｍ以内に配置される器具である。しかし、外科医１０７は、中空に設置されたリング状の本装置を覗き込むように術野を視認することができ、一方、本装置と患部との間には十分な作業空間が確保されているので、外科医１０７は滞りなく手術操作を行うことができる。そして、外科医１０７の頭や肩に遮られることのない照明環境のもとで明瞭な術野画像を撮影し続けることが可能になる。

撮影照明器具１０２に設けられている多数のカメラは、手術術野１０６ａを取り囲むように配置される。したがって、手術の際に手術術野１０６ａを様々な方向から撮影することが可能である。
従来、手術術野１０６ａを様々な方向から撮影するためには、必要な方向へその都度カメラを動かしていた。本発明の実施形態に係る、多視点映像撮影装置１０１の一部を構成する撮影照明器具１０２の場合、個々のカメラを物理的に動かす機能は必要ない。予め手術術野１０６ａを取り囲むように配置された複数のカメラの映像を、必要に応じて電子的に切り替えることにより、外科医１０７が必要とする撮影方向の映像を容易に取得可能になる。

撮影照明器具１０２のカメラが撮影する映像は、手術台１０５の近傍に設置されている外部モニタ１０４で見ることができる。外科医１０７は、肉眼で手術術野１０６ａを見るとともに大画面の外部モニタ１０４でも手術術野１０６ａを確認することができる。
さらに、多視点映像撮影装置１０１はその名称に示されるように、複数のカメラから得られる映像を基に、自由な視点からの映像を形成することができる。したがって、カメラを切り替えて視点を移動することで、被写体である手術術野１０６ａを立体的に見ることも可能になる。

［撮影照明器具１０２の全体像］
図２Ａは、撮影照明器具１０２の透過側面図、図２Ｂは、撮影照明器具１０２を下側から見た下面図、図２Ｃは、撮影照明器具１０２の透過斜視図である。
撮影照明器具１０２は、中空の円または楕円リング形状の筐体１０２ａと、固定器具１０２ｂを有する。固定器具１０２ｂは、撮影照明器具１０２の筐体１０２ａを、被写体である手術術野１０６ａと術者である外科医１０７の頭頂の間の位置に配置して固定するために、撮影照明器具１０２に設けられている。

図２Ａ、図２Ｂ及び図２Ｃに示すように、筐体１０２ａの大きさは例えば３０～４０ｃｍの円形である。筐体１０２ａが中空形状であるため、外科医１０７は、筐体１０２ａの中空部分から手術術野１０６ａを肉眼で直接見ることができる。

筐体１０２ａの太さは、外科医１０７の視界を妨げないために、細ければ細いほど好ましい。近年の撮像素子は小型化が進んでいるので、筐体１０２ａを細いパイプで形成し、そのパイプに撮像素子を収納してもよい。また、撮像素子が収納できない太さのパイプの外部に、例えば１ｃｍ程度の撮像素子を括り付けるように固定してもよい。

つまり、外科医１０７は、直視下手術において、手術術野１０６ａを肉眼で直接見ることの他に、外部モニタ１０４を通じて見ることも可能になる。手術術野１０６ａを観察する手段が複数存在することは、外科医１０７に対する心理的安心感に繋がるとともに、安全性の向上に寄与する。
外科医１０７の視界を妨げないために、リング形状の筐体１０２ａの太さは細ければ細いほどよく、また執刀及び執刀補助を妨げない様に、固定器具１０２ｂは撮影照明器具１０２と手術術野１０６ａの間には介在しないことが必須である。

図２Ａ及び図２Ｂに示すように、筐体１０２ａには、例えば３６個のカメラ２０１と、３６個の照明２０２が、交互に配置されている。これらカメラ２０１と照明２０２は、図２Ｃに示すように手術術野１０６ａに向けて配置されている。
筐体１０２ａの形状が真円で、カメラ２０１の個数が３６個の場合、各々のカメラ２０１は手術術野１０６ａを１０°の範囲を取り囲むような映像を撮影することとなる。

すなわち、カメラ２０１は、それぞれが所定の間隔を開けて筐体１０２ａに配置されていると共に、それら全てのカメラ２０１は、手術術野１０６ａに向けて配置されている。このため、これらカメラ２０１は、各々が被写体である手術術野１０６ａに対し、異なる撮影角度を有して、筐体１０２ａに配置されている。
但し、カメラ２０１の数が多くなれば、各々のカメラ２０１同士の間隔を開けずに、並べて配置することとなる。そのような場合であっても、各々のカメラ２０１は被写体である手術術野１０６ａに対し、撮影角度を異ならせた状態で、筐体１０２ａに配置される。

前述の通り、撮影照明器具１０２は被写体である手術術野１０６ａの真上６０ｃｍ以内に配置される。したがって、筐体１０２ａに配置されるカメラ２０１は、被写体に対して極めて近い距離にあるので、必然的に全てのカメラ２０１の撮影角度は異なる状態になる。

カメラ２０１及び照明２０２の数は、任意に決定すればよいが、高解像度の多視点映像を得るには理想的には３６個以上のカメラ２０１を配置することが好ましい。カメラ２０１間の角度が１０°くらいになると、カメラ２０１で撮影した映像を見ている外科医１０７に対して、映像の切り替わりが滑らかに見える。カメラ２０１間の角度が概ね１５°以上になると、カメラ２０１で撮影した映像を見ている外科医１０７に対して、映像の切り替わりが明確にわかるようになり、映像の切り替わりに違和感を覚えることもある。

カメラ２０１としては、例えば近年スマートフォン等に使われている様な高詳細カラー映像を撮影可能な超小型の撮像素子を使用することが望ましい。各々のカメラ２０１は例えばＵＳＢインターフェース等のインターフェースを備え、ＵＳＢハブ２０３を介して、図１に示す映像照明処理装置１０３に接続される。

照明２０２に使用する光源としては、例えば色再現性の高い三原色を発する高輝度ＬＥＤを使用することが望ましい。一般的にＬＥＤは指向性を有しているので、スモーク加工あるいはサンドブラスト加工等で不透明化させたアクリル板または塩化ビニール板で筐体１０２ａに封止することで、光を適切に被写体である手術術野１０６ａに向けて分散させることが望ましい。
なお、照明２０２に使用する光源はＬＥＤに限られず、例えばクリプトン球を採用する他、色再現性を向上させるためにＬＥＤとクリプトン球を混在させてもよい。

図３は基本型であるリング型の撮影照明器具１０２を手術室で使用した状態のシミュレーション図である。外科医１０７は撮影照明器具１０２の筐体１０２ａが形成するリングを覗き込むようにして術野を観察し、本装置と術野の間の約４０ｃｍのワーキングスペースを使って手術を施行する。

図４Ａは撮影照明器具１０２の上面図、図４Ｂは撮影照明器具１０２の下面図、図４Ｃは撮影照明器具１０２の前面図、図４Ｄは撮影照明器具１０２の背面図、図４Ｅ及び図４Ｆは撮影照明器具１０２の側面図である。
図４Ａ、図４Ｂ、図４Ｄ、図４Ｅ及び図４Ｆを見て明らかなように、固定器具１０２ｂには外科医１０７が撮影照明器具１０２を適切な位置に配置するための把手４０１が設けられている。

図５は外科医１０７の視点から見た術野をシミュレーションしたものである。視野の辺縁に本装置が部分的に見えるが、術野を遮る部分は少なく、十分快適に手術操作を行うことができる。

図６、図７、図８には本装置の様々な形状の変形形態例を示す。
図６Ａは、第一の形状の変形形態例に係る撮影照明器具６０１を使用した手術室におけるシミュレーション図であり、図６Ｂは、第一の形状の変形形態例に係る撮影照明器具６０１の上面図である。
撮影照明器具６０１は、四角形形状の筐体６０１ａと、固定器具６０１ｂを有する。固定器具６０１ｂには前述の撮影照明器具１０２と同様に、把手４０１が設けられている。

図６Ｃは、第二の形状の変形形態例に係る撮影照明器具６０２を使用した手術室におけるシミュレーション図であり、図６Ｄは、第二の形状の変形形態例に係る撮影照明器具６０２の上面図である。
撮影照明器具６０２は、円弧形状の第一筐体６０２ａと、第一固定器具６０２ｂと、円弧形状の第二筐体６０２ｃと、第二固定器具６０２ｄを有する。第一固定器具６０２ｂ及び第二固定器具６０２ｄにはそれぞれに、前述の撮影照明器具１０２と同様に、把手４０１が設けられている。

図７Ａは、第三の形状の変形形態例に係る撮影照明器具７０１を使用した手術室におけるシミュレーション図であり、図７Ｂは、第三の形状の変形形態例に係る撮影照明器具７０１の上面図である。
撮影照明器具７０１は、直線形状の第一筐体７０１ａと、第一固定器具７０１ｂと、直線形状の第二筐体７０１ｃと、第二固定器具７０１ｄを有する。第一固定器具７０１ｂ及び第二固定器具７０１ｄにはそれぞれに、前述の撮影照明器具１０２と同様に、把手４０１が設けられている。

図７Ｃは、第四の形状の変形形態例に係る撮影照明器具７０２を使用した手術室におけるシミュレーション図であり、図７Ｄは、第四の形状の変形形態例に係る撮影照明器具７０２の上面図である。
撮影照明器具７０２は、Ｖ字形状の筐体７０２ａと、固定器具７０２ｂを有する。固定器具７０２ｂには前述の撮影照明器具１０２と同様に、把手４０１が設けられている。

図８Ａは、第五の形状の変形形態例に係る撮影照明器具８０１を使用した手術室におけるシミュレーション図であり、図８Ｂは、第五の形状の変形形態例に係る撮影照明器具８０１の上面図、図８Ｃは、第五の形状の変形形態例に係る撮影照明器具８０１を横方向から見た図である。
撮影照明器具８０１は、縦方向に円弧形状の筐体８０１ａと、固定器具８０１ｂを有する。固定器具８０１ｂには前述の撮影照明器具１０２と同様に、把手４０１が設けられている。

図８Ｄは、第六の形状の変形形態例に係る撮影照明器具８０２を使用した手術室におけるシミュレーション図であり、図８Ｅは、第六の形状の変形形態例に係る撮影照明器具８０２の上面図、図８Ｆは、第六の形状の変形形態例に係る撮影照明器具８０２を横方向から見た図である。
撮影照明器具８０２は、縦方向に円弧の部分を有し、かつ円弧の両端にさらに円弧の端部を有する筐体８０２ａと、固定器具８０２ｂを有している。固定器具８０１ｂには前述の撮影照明器具１０２と同様に、把手４０１が設けられている。

図６Ａ、図６Ｂに示す四角形に代表される多角形の形状も、基本型であるリング型と同等に十分多数のカメラ+ライトの組みを配置することができるので、多視点映像の作成が可能である。
図６Ｃ、図６ＤのＣ型×２、及び図７Ａ、図７ＢのＩ型×２は、３６０°のリング型のものによる視野障害をさらに軽減するために、術者及び助手の前面の装置をなくし、より良好な視野、作業性を確保することができるように工夫されている。一方、この形式は視野性の向上の代償として、配置できるカメラ+ライトの数が減ることから、多視点映像の質が落ちる可能性があることは否めない。

図７Ｃ、図７Ｄは、Ｖ型の装置を片面に配置したものである。術者及び助手の視野性、作業性は優れる一方、カメラ+ライト組み数が半減することから多視点映像装置としての質は落ちることが想定される。
一方、図８Ａ、図８Ｂ及び図８Ｃには術者と助手の間の狭い範囲にアーチ型に複数のカメラとライトを縦方向に配置した変形形態例を示す。術者と助手の視野性、作業性を保ったまま、縦方向に多くのカメラ+ライトを配置することが可能である。

図８Ｄ、図８Ｅ及び図８Ｆの変形形態例は、図６Ｄに示すＣ型×２と図８Ｂ及び図８Ｃに示すアーチ型を組み合わせたものを示す。術者及び助手の視野性、作業性を良好に保つと共に、多視点視野映像を構成する為に十分に多くのカメラ+ライトを配置することが可能である。

図９Ａは、照明のないバリエーションとしての撮影器具９０１の上面図、図９Ｂは、撮影器具９０１の使用状態を示す概略図である。
撮影器具９０１は、撮影照明器具１０２から照明２０２を除き、複数のカメラ２０１のみ、筐体９０１ａに組み込んだものである。

本発明の実施形態に係る撮影照明器具１０２は、複数のカメラと複数のライトの両者を例えば交互に配置する構造を基本としているが、図９Ａ及び図９Ｂに示す様に、照明のないバリエーションで、複数のカメラによる撮影器具９０１として設計、利用することも想定される。この場合、既存の手術室に装備されている無影照明を流用できるので、設備を導入する際にかかるコストの面で有利である。

図１０Ａは、カメラのないバリエーションとしての照明器具１００１の上面図、図１０Ｂは、照明器具１００１の使用状態を示す概略図である。
照明器具１００１は、撮影照明器具１０２からカメラ２０１を除き、複数の照明２０２のみ、筐体１００１ａに組み込んだものである。

本発明の実施形態に係る撮影照明器具１０２は、複数のカメラと複数のライトの両者を例えば交互に配置する構造を基本としているが、図１０Ａ及び図１０Ｂに示すように、照明だけのバリエーションも想定される。従来の外科医１０７の頭上に設置される無影灯で外科医１０７の頭、体に光が遮られ、頻回に照明位置の調整が必要になるが、外科医の頭頂と患者の間に設置される本装置は、一切外科医の頭・体に遮られることがなく、影のない完全な無影照明装置となる。

本発明の撮影照明器具１０２は、術者の視線の妨げを最小限に留める為に、図３、図４、図５、図６、図７及び図８に示した様に、有限長の直線、あるいは有限長の曲線の各種形状で形成されている。筐体１０２ａの太さは術者の邪魔にならないよう、収納される複数個のカメラ２０１及び照明２０２の大きさに合わせて、可能な限り細く形成される。

ここで、曲線とは、数学の世界では直線を含む概念であり、直線とは曲線の特殊な例である。したがって、本発明の実施形態における撮影照明器具１０２は、直線状の撮影照明器具１０２も含めて、有限長曲線形状の筐体（housing made of wire member of finite length）で形成されていると言うことができる。すなわち、本発明の撮影照明器具１０２の形状は、図３、図４、図５、図６、図７及び図８に例示したものに限定する事ではなく、術者の視野や作業の妨げにならないという目的を叶える為の、全ての筐体形状を含む。
この、有限長曲線形状の筐体に収納された複数個のカメラ及び複数個の照明は、全て被写体である手術術野１０６ａに向けて配置されている。

上述したように、本発明の多視点映像撮影装置１０１に用いられる撮影照明器具１０２は様々な形状を採り得る。
筐体１０２ａは、例えばアルミニウム合金、ポリカーボネート、カーボン等の、軽量で高い剛性を有する材料で形成することが望ましい。しかし、水道管等に用いられるステンレス製等のフレキシブルパイプにカメラ２０１及び照明２０２を装着し、手術術野１０６ａの形態に応じて自由に変形可能に構成してもよい。フレキシブルパイプ等の自由変形が可能な材料であれば、上述の様々な筐体形状にも変形が可能である。

［多視点映像撮影装置１０１：ハードウェア構成］
図１１は、本発明の実施形態に係る多視点映像撮影装置１０１の、ハードウェア構成を示すブロック図である。
図１１に示すように、多視点映像撮影装置１０１は、カメラアレイ部１１０１と、照明アレイ部１１０２と、これらに接続される映像照明処理装置１０３から構成される。
カメラアレイ部１１０１と照明アレイ部１１０２は、撮影照明器具１０２に内蔵されている。
さらに、映像照明処理装置１０３にはネットワーク１１０３を通じて大画面の外部モニタ１０４が接続されている。

カメラアレイ部１１０１は、図１及び図２にて説明した、撮影照明器具１０２に組み込まれている複数のカメラ２０１の集合体である。これらカメラ２０１は映像照明処理装置１０３が有するＵＳＢインターフェース等のシリアルインターフェース１１２８に接続されている。

照明アレイ部１１０２は、図１及び図２にて説明した、撮影照明器具１０２に組み込まれている複数の照明２０２の集合体である。これら照明２０２は、マイコン１１０４で制御されるマルチプレクサ１１０５を通じて、映像照明処理装置１０３から指定された照明２０２が選択的に発光制御される。そして、電源電圧ノードから電流制限抵抗Ｒ１１０６とマルチプレクサ１１０５を通じて流れる電流にて発光駆動される。なお、マルチプレクサ１１０５の切り替え制御においては、一つの照明を選択するだけではなく、必要に応じて、全ての照明の一斉点灯を含め、同時に複数の照明を選択することができるように構成されている。

マルチプレクサ１１０５と映像照明処理装置１０３との間にはマイコン１１０４が接続されており、マイコン１１０４は映像照明処理装置１０３の命令に従ってマルチプレクサ１１０５を制御する。マイコン１１０４は映像照明処理装置１０３が有するＵＳＢインターフェース等のシリアルインターフェース１１２８に接続されている。

マイコン１１０４は、バス１１０７に接続されるＣＰＵ１１０８、ＲＯＭ１１０９、ＲＡＭ１１１０と、ＵＳＢインターフェース等のシリアルインターフェース１１１１（図１１中「ＳＩ／Ｆ」と略）を備える。マルチプレクサ１１０５はバス１１０７に接続されてマイコン１１０４により制御される。

周知の計算機である映像照明処理装置１０３は、バス１１２１に接続される、ＣＰＵ１１２２、ＲＯＭ１１２３、ＲＡＭ１１２４、表示部１１２５、操作部１１２６、不揮発性ストレージ１１２７を備える。
ＣＰＵ１１２２は、映像照明処理装置１０３が備える各部の機能を実現するソフトウェアのプログラムを不揮発性ストレージ１１２７またはＲＯＭ１１２３から読み出して実行する。

ＲＡＭ１１２４には、カメラアレイ部１１０１から受信した全てのカメラ２０１の映像と、映像照明処理装置１０３内で行われる演算処理の途中で発生した変数等が一時的に書き込まれる。ＣＰＵ１１２２が不揮発性ストレージ１１２７またはＲＯＭ１１２３に記録されているプログラムを実行することにより、映像照明処理装置１０３の各種機能が実現される。

バス１１２１には上記の他に、通信インターフェースとして、ＵＳＢ等のシリアルインターフェース１１２８とＮＩＣ（Network Interface Card）１１２９が接続されている。
ＮＩＣ１１２９にはネットワーク１１０３を通じて外部モニタ１０４が接続される。外部モニタ１０４は周知の計算機を含み、計算機はネットワークＯＳを稼働させ、映像照明処理装置１０３の外部モニタ１０４として機能する。

映像照明処理装置１０３の表示部１１２５をそのままモニタとして使用してもよいが、一般的に表示部１１２５と映像照明処理装置１０３との接続ケーブルに長さの制約があるため、外部モニタ１０４とネットワーク１１０３で接続することが好ましい。
そして、映像照明処理装置１０３をネットワーク動画サーバとして構築すると、複数の外部モニタ１０４を容易に接続することができるので、同じ所望の映像を同時に異なるモニタに表示させることが可能になる。よって、仮に外部モニタ１０４が何らかの事故で故障してしまっても、予備の外部モニタ１０４をそのまま運用することで、手術の事故を未然に防ぐことが可能になる。

［映像照明処理装置１０３：ソフトウェア機能］
図１２は、映像照明処理装置１０３のソフトウェア機能を示すブロック図である。
映像照明処理装置１０３は、入出力制御部１２０１、カメラ較正処理部１２０２、提示視点注視点判定処理部１２０４、映像処理部１２０５、照明判定処理部１２０６及び表示部１１２５を備える。

カメラアレイ部１１０１は、撮影照明器具１０２に埋め込まれて手術術野１０６ａの周辺を取り囲むように配置された多数のカメラ１～Ｎよりなり、手術の際に手術術野１０６ａを様々な方向から撮影する。

照明アレイ部１１０２は、カメラ２０１とともに撮影照明器具１０２に埋め込まれて手術術野１０６ａの周辺を取り囲むように配置された、通常はカメラアレイ部１１０１のカメラ２０１の数に等しい多数のＬＥＤ照明１～Ｎよりなる。そして、提示視点注視点判定処理部１２０４で選択されたカメラ２０１に隣接する照明２０２が発光制御される。また必要に応じて、全照明を一斉発光制御する。

入出力制御部１２０１は、カメラアレイ部１１０１から得られる映像データを受け取る他、照明アレイ部１１０２に対して、照明１～Ｎを切り替える制御情報を与える。

入出力制御部１２０１とカメラアレイ部１１０１との間は双方向のシリアルインターフェース１１２８にて接続されている。
カメラアレイ部１１０１の、全てのカメラ２０１は、映像データを入出力制御部１２０１へ送信する。

入出力制御部１２０１と照明アレイ部１１０２との間はＵＳＢインターフェースにて接続されている。入出力制御部１２０１は、後述する照明判定処理部１２０６から点灯命令を受け取ると、点灯命令に従って、照明判定処理部１２０６から指定された照明２０２に対する発光命令を送信する。
照明アレイ部１１０２の中の、入出力制御部１２０１から発光命令を受け取ったマイコン１１０４は、マルチプレクサ１１０５を制御して、指定された照明２０２を発光制御する。

入出力制御部１２０１とカメラ較正処理部１２０２との間はシリアルインターフェースにて接続されている。カメラ較正処理部１２０２は、カメラアレイ部１１０１を構成するカメラ１～Ｎの位置、姿勢、焦点距離などのカメラパラメータを映像情報に基づいて推定する。
撮影照明器具１０２に埋め込まれるカメラ２０１は、隣接するカメラ２０１同士の映像で共通の領域が観察される画角で構成される。そして、共通観察領域の対応関係から被写体である手術術野１０６ａに対する各々のカメラ２０１の位置、姿勢、焦点距離等のカメラパラメータを推定する。

外科手術において、例えば術者が右利きの場合、右手には電気メス、剪刀などの手術器具を持ち、左手は鑷子もしくは自らの指で作業をサポートして手術操作を行う事が一般的である。従って、外科医１０７が注目したいと考える作業対象である被写体の箇所は、以下に記す二箇所の先０～５ｃｍ程度の範囲にある。
（１）メス、鑷子、剪刀等の手術器具の先端
（２）手術器具を持っていない外科医の指の先端
以下、それぞれの物品について、部分画像データとその観測位置の設定手順を説明する。

（１）メス、鑷子、剪刀等の手術器具の場合
手術の直前等で、予めメス、鑷子、剪刀等の手術器具をカメラアレイ部１１０１で撮影する。カメラアレイ部１１０１から得られた映像データは、入出力制御部１２０１のＲＡＭ１１２４に多視点映像データとして記録される。
次に、外科医１０７以外の看護師等のスタッフが、多視点映像データに写っているメス等の手術器具の先端を操作部１１２６のマウス等で選択する。また、看護師等のスタッフは、メス等の手術器具の選択操作の際、画面中での観測位置となる二次元座標も指定する。例えばメス、鑷子等の手術器具の先端から０～５ｃｍ程度の範囲を観測位置座標情報として指定する。

多視点映像データから切り出された、メス、鑷子、剪刀等の手術器具の部分画像データと観測位置座標情報は、注視点物品映像及び注視点座標１２０７として、ＲＡＭ１１２４または不揮発性ストレージ１１２７に記憶される。

（２）外科医の指の場合
手術に先立ち、術者は、メス等の手術器具を持たない状態で、自らの手指をカメラアレイ部１１０１で何回か撮影する。撮影の際、様々な手技を実施しながら撮影する。カメラアレイ部１１０１から得られた映像データは、入出力制御部１２０１のＲＡＭ１１２４に多視点映像データとして記録される。次に、外科医１０７以外の看護師等のスタッフが、多視点映像データ写っている術者の指の先端を操作部１１２６のマウス等で選択する。また、看護師等のスタッフは、術者の手の選択操作の際、画面中での観測位置となる二次元座標も指定する。例えば術者が右利きの場合、左手人差し指の先端から０～５ｃｍ程度の範囲を観測位置座標情報として指定する。

切り出された術者の手の部分画像データと観測位置座標情報は、注視点物品映像及び注視点座標１２０７として、ＲＡＭ１１２４または不揮発性ストレージ１１２７に記憶される。
術者の手指の多視点映像データを複数個用意する理由は、手指がその形状を自在に変化させるので、画像マッチングの確率を高めるために、複数個の多視点映像データを注視点物品映像及び注視点座標１２０７として用意する必要があるからである。
なお、注視点とは、カメラアレイ部１１０１から得られる多視点画像データ中で術者が注目している被写体の部分領域の代表点（二次元点）に対して、カメラパラメータに基づいた三角測量を適用することで推定される三次元の点をいう。

入出力制御部１２０１と提示視点注視点判定処理部１２０４との間はシリアルインターフェースにて接続されている。提示視点注視点判定処理部１２０４は、注視点物品映像及び注視点座標１２０７を参照して、入出力制御部１２０１から受信した全てのカメラ２０１の映像中から、外科医１０７が見たい被写体の箇所を検出し、その二次元位置座標を推定する。

その上で、提示視点注視点判定処理部１２０４はさらに、当該注視点を最も適切に撮影できる視点である提示視点を判定する。提示視点注視点判定処理部１２０４による、この提示視点の判定処理は、撮影画像に対する外科医１０７の手や手術器具の映り込みを考慮した上で、外科医１０７の観察に適した方向から撮影するカメラ２０１を、カメラアレイ部１１０１を構成するカメラ１～Ｎの中から選定する。

カメラ較正処理部１２０２と提示視点注視点判定処理部１２０４とは、シリアルインターフェースにて接続されている。提示視点注視点判定処理部１２０４は、カメラ較正処理部１２０２から受信したカメラ２０１の位置、姿勢、焦点距離等のカメラパラメータと推定した二次元位置座標から、外科医１０７ａの補助者１０７ｂが見たい被写体の箇所、つまり、注視点の三次元座標をステレオビジョンに基づいて算出する。
注視点の三次元座標情報が定まったら、次に提示視点注視点判定処理部１２０４は、注視点を明瞭に撮影するカメラ２０１を特定する。
以上が、提示視点注視点判定処理部１２０４による提示視点の判定処理である。

照明判定処理部１２０６は、基本的に提示視点注視点判定処理部１２０４によって
注視点を明瞭に撮影すると特定されたカメラ２０１の両脇に配置されている照明２０２をオン制御するための情報を生成する。なお、特定のカメラ２０１が指定されない場合は、全ての照明がオン制御される。

映像処理部１２０５は、提示視点注視点判定処理部１２０４で特定した注視点を明瞭に撮影するカメラ２０１を表示部１１２５や外部モニタ１０４等に出力するためのインターフェースである。映像処理部１２０５は、手術室内に設けられる表示部１１２５に多視点映像を供給する他、ネットワーク１１０３を介して外部モニタ１０４ａにも多視点映像を提供する。
外部モニタ１０４ａは、複数のカメラ２０１の映像を同時に表示することが可能である。そのうち、例えば外科医１０７ａの視線に最も近く、かつ術者、助手の手、手術器具に邪魔されていない明瞭な映像を捉えている一つのカメラ映像をメインの画像として拡大表示させ、参加メンバー全員で共有する事ができる。また、例えば外部モニタ１０４ｂは外科医１０７ａに対して、自身の視線とは異なったアングルからの画像を提示したり、例えば外部モニタ１０４ｃには近赤外線で捉えた白色光以外の画像情報を提示するなど、術者に直視映像以外の画像情報を提示できる表示装置になっている。
なお、特に図示はしていないが、閲覧者または外科医１０７が直観的または簡易な操作で多視点映像を閲覧するために、提示視点注視点判定処理部１２０４及び／または映像処理部１２０５に対して、操作部から手動でカメラ２０１を選定する機能を追加するようにしてもよい。

［提示視点注視点判定処理部１２０４の処理の流れ］
図１３は、提示視点注視点判定処理部１２０４の処理の流れを示すフローチャートである。
処理を開始すると（Ｓ１３０１）、提示視点注視点判定処理部１２０４は、入出力制御部１２０１とカメラ較正処理部１２０２から受信した多視点映像とカメラパラメータに基づき、カメラ２０１の位置、人物領域ボリューム（主に外科医１０７の手の位置）、注視点位置、器具領域位置の、三次元座標情報を取得する（Ｓ１３０２）。

次に、提示視点注視点判定処理部１２０４は、注視点の三次元座標情報に基づき、カメラ位置と注視点位置の間に外科医１０７の手があるか否かを判断する（Ｓ１３０３）。
ステップＳ１３０３でカメラ位置と注視点位置の間に外科医１０７の手があると判断した場合には（Ｓ１３０３のＹＥＳ）、カメラ位置と注視点位置の間から外科医１０７の手がなくなるカメラを探索する。

ステップＳ１３０３でカメラ位置と注視点位置の間に外科医１０７の手がないと判断した場合には（Ｓ１３０３のＮＯ）、続いて、提示視点注視点判定処理部１２０４は、注視点の三次元座標情報に基づき、カメラ位置と注視点位置の間に手術器具があるか否かを判断する（Ｓ１３０４）。

ステップＳ１３０４でカメラ位置と注視点位置の間に手術器具があると提示視点注視点判定処理部１２０４が判断した場合には（Ｓ１３０４のＹＥＳ）、カメラ位置と注視点位置の間に手術器具が存在しないカメラを探索する。
ステップＳ１３０４でカメラ位置と注視点位置の間に手術器具がないと提示視点注視点判定処理部１２０４が判断した場合には（Ｓ１３０４のＮＯ）、カメラ１～Ｎの中の使用カメラアドレス情報とズーム値を出力して（Ｓ１３０６）、一連の処理を終了する（Ｓ１３０７）。

以上説明した、本発明の実施形態に係る多視点映像撮影装置１０１は、今まで肉眼による直視のみで行われた手術に対して、肉眼による直視に加え、肉眼とは異なる視点によるライブの拡大情報を外科医１０７に提示する。
カメラ２０１と照明２０２を搭載した撮影照明器具１０２は、外科医１０７と患者１０６の間に位置しており、従来の外科手術用照明器具とは異なり、照明器具の光が外科医１０７ａ、１０７ｂの頭によって遮られてしまうことがない。したがって、手術術野１０６ａと注視点周辺は照明２０２によって常時明るく照射され、視認性が著しく向上する。

さらに、多視点映像撮影装置１０１によって拡大表示される手術術野１０６ａと注視点周辺は多視点映像であるため、視点を移動させることで手術術野１０６ａと注視点周辺を立体的に確認することができる。
特に、提示視点注視点判定処理部１２０４が予め注視点物品映像及び注視点座標１２０７に記憶していた注視点の三次元座標情報から撮影中の多視点映像における注視点の三次元座標情報を特定することで、注目したい物体（例えばメスの先）を中心として、適切な視点の切り替えが実現される。
その結果、注目したい物体（例えばメスの先）が画面上の同一箇所で常に観察されるので、注目したい物体の観察が容易になる。
本発明の実施形態に係る多視点映像撮影装置１０１は、以上の特徴により、手術の確実性及び安全性を格段に向上させることが可能になる。

なお、提示視点注視点判定処理部１２０４、照明判定処理部１２０６及び注視点物品映像及び注視点座標１２０７がない場合でも、操作部１１２６を通じたマニュアル操作で、提示視点を動かすことは可能である。但し、この場合、注視点の三次元座標情報が不明であるため、注目したい物体（例えばメスの先）以外の物体を中心として、視点が切り替わることとなる。その結果、注目したい物体（例えばメスの先）の観察位置は、視点移動に伴い、画面上で移動する。

［第一変形例：リングを患者１０６の手術術野１０６ａに直接載せる撮影照明器具１０２］
図１４は、本発明の第一変形例に係る、多視点映像撮影装置１４０１の使用状態を示す概略図である。
図１４に示す多視点映像撮影装置１４０１と図１に示す多視点映像撮影装置１０１との相違点は、撮影照明器具１４０２が小型化され、患者１０６の手術術野１０６ａに直接載せている点である。

前述の通り、図１に示す撮影照明器具１０２は、カメラアレイ部１１０１と照明アレイ部１１０２を配列した中空型リングを患者１０６と外科医１０７の間、例えば患者１０６から３０ｃｍ程度離れた位置に配置したフレームに取り付けている。これにより、外科医１０７は手術術野１０６ａを目視しながら手術を行うことができる。
図１の例でも、外科医１０７の頭が照明の影になって撮影の不完全性をなくすことが可能になるが、問題は中空型リングを取り付けたフレームが外科医１０７の視界の妨げになる場合があることである。

そこで、図１４に示す本発明の第一変形例に係る多視点映像撮影装置１４０１では、カメラアレイ部１１０１と照明アレイ部１１０２を配列した中空型リングを患者１０６の手術術野１０６ａの周縁にかぶせるように設置している。この場合も外科医１０７は目視しながら手術を行うことができる。この術式であれば、通常の外科手術と同じ状態で施術ができるので、図１の撮影照明器具１０２と比べて、外科医１０７にとって作業の妨げがより少なくなる。但し、撮影照明器具１４０２が患者１０６と接触するため、外科医１０７ａ、１０７ｂの手や手術器具が照明の影になる可能性がある。

［第二変形例：リングを患者１０６の手術術野１０６ａの内部に直接挿入する撮影照明器具１０２］
図１５は、本発明の第二変形例に係る、多視点映像撮影装置１５０１の使用状態を示す概略図である。
図１５に示す多視点映像撮影装置１５０１と図１に示す多視点映像撮影装置１０１及び図１４に示す多視点映像撮影装置１４０１との相違点は、撮影照明器具１５０２が図１４の第一変形例に係る撮影照明器具１４０２よりもさらに小型化され、患者１０６の手術術野１０６ａの内部に直接挿入している点である。

図１５に示す撮影照明器具１５０２は、カメラアレイ部１１０１と照明アレイ部１１０２を配列した中空型リングを患者１０６の腹腔内に挿入し、腹腔上部から術部を見下ろすように設置した例である。この術式によれば、外科医１０７ａ、１０７ｂは撮影映像を見ながら手術を行うことができ、さらにカメラ２０１は腹腔内をもれなく撮影することが可能になる。
但し、カメラ２０１及び照明アレイ部１１０２が配置された中空型リングを患者１０６の腹部に設けた挿入用ポートから出し入れしなければならない。

例えば、一列に並べて紐状になったカメラアレイ部１１０１と照明アレイ部１１０２をポートから腹腔内に入れ、腹腔内で円形に変形させる必要がある。そして、撮影が終了した手術後には、再度紐状に変形してポートから取り出す機構が必要になる。

［第三変形例：赤外線ＬＥＤ１６０５とコールドミラー１６０６またはホットミラーを用いて患者１０６の手術術野１０６ａの血管を同時撮影するための撮影照明器具１６０１］
外科手術の際、可視光映像とともに、血管の映像が外部モニタ１０４に表示されると、血管を傷つける医療事故の発生を未然に防ぐことができ、さらに安全性の向上が期待できる。

図１６は、本発明の第三変形例に係る撮影照明器具１６０１と、撮影照明器具１６０１に組み込まれるＬＥＤ照明１６０２とカメラユニット１６０３を示す概略図である。
ＬＥＤ照明１６０２は、可視光ＬＥＤ１６０４と赤外線ＬＥＤ１６０５を有する。可視光ＬＥＤ１６０４と赤外線ＬＥＤ１６０５は同時に連続発光している。
カメラユニット１６０３は、光軸上に斜め４５°に設置されたコールドミラー１６０６と、光軸上のコールドミラー１６０６を通過した位置に設置された第一カメラ１００７と、光軸上のコールドミラー１６０６を直交した位置に設置された第二カメラ１００８を有する。

コールドミラー１６０６は、近赤外光を透過し、かつ可視光を反射する。したがって、第一カメラ１００７は赤外線映像を撮影し、第二カメラ１００８は可視光映像を撮影する。
コールドミラー１６０６の代わりに、可視光を透過しかつ近赤外光を反射させるホットミラーを設置した場合でも、第一カメラ１００７は可視光映像を撮影し、第二カメラ１００８は赤外線映像を撮影することができる。
何れの場合でも、入来する光から可視光映像と赤外線映像を同時に撮影することができるため、表示部１１２５及び外部モニタ１０４に可視光映像と赤外線映像を同時に表示することが可能になる。

［第四変形例：赤外線ＬＥＤ１６０５を用いて時分割にて患者１０６の手術術野１０６ａの血管を撮影する多視点映像撮影装置］
前述の第三変形例では、カメラユニット１６０３にコールドミラー１６０６またはホットミラーと、２個のカメラ２０１を内蔵させる必要がある。このような特殊な製品は市場に多く出回ってはおらず、既製品から作るとコスト高になる。しかし、時間分解能を犠牲にすれば、このような特殊な構造のカメラでなくとも、可視光映像と赤外線映像を概ね同時に撮影することは可能である。

図１７Ａは、本発明の第四変形例に係る、撮影照明器具のＬＥＤ照明１６０２とカメラ２０１を示す概略図、図１７Ｂは、可視光ＬＥＤ１６０４と赤外線ＬＥＤ１６０５の発光タイミングを示すタイムチャートである。また、図１７Ｃは、映像照明処理装置１０３の入出力制御部１２０１内に設けられる、赤外線映像取得部１７０２のソフトウェア機能を示すブロック図である。

図１７Ａに示すように、カメラ２０１は一般的な撮像素子であり、第三変形例のような特殊な構造ではない。その代わり、カメラ２０１はフレームタイミングパルスを出力する。フレームタイミングパルスは発光タイミング制御部１７０１に入力される。

発光タイミング制御部１７０１は、可視光ＬＥＤ１６０４と赤外線ＬＥＤ１６０５の発光タイミングをカメラ２０１が出力する映像データに含まれるフレームタイミングパルスに同期させて、図１７Ｂに示すタイミングで、可視光ＬＥＤ１６０４と赤外線ＬＥＤ１６０５の発光を制御する。
すなわち、発光タイミング制御部１７０１は、第一のフレームタイミングｔ１７１１時点で可視光ＬＥＤ１６０４のみ発光し、第二のフレームタイミングｔ１７１２時点で赤外線ＬＥＤ１６０５のみ発光し、第三のフレームタイミングｔ１７１３時点で可視光ＬＥＤ１６０４と赤外線ＬＥＤ１６０５の両方を消灯する。この動作を繰り返す。

そして、第二のフレームタイミング時点で得られる赤外線ＬＥＤ点灯撮影映像データと、第三のフレームタイミング時点で得られる赤外線ＬＥＤ消灯撮影映像データは、映像照明処理装置１０３の入出力制御部１２０１内に形成される赤外線映像取得部１７０２（図１７Ｃ参照）に入力される。
また、図１７Ｃに示すように、赤外線映像取得部１７０２は、赤外線ＬＥＤ点灯撮影映像データを保持する赤外線ＬＥＤ点灯撮影映像バッファ１７０３と、赤外線ＬＥＤ消灯撮影映像データを保持する赤外線ＬＥＤ消灯撮影映像バッファ１７０４と、加算器１７０５を有する。

赤外線ＬＥＤ点灯撮影映像バッファ１７０３から出力される赤外線ＬＥＤ点灯撮影映像データと、赤外線ＬＥＤ消灯撮影映像バッファ１７０４から出力される赤外線ＬＥＤ消灯撮影映像データは、加算器１７０５に入力される。
加算器１７０５は、赤外線ＬＥＤ点灯撮影映像データから、赤外線ＬＥＤ消灯撮影映像データを、ピクセル毎に減算する。すると、赤外線ＬＥＤ点灯撮影映像データに含まれている、赤外線ＬＥＤ消灯撮影映像データ、すなわち可視光によるノイズ成分が減算される。

以上の構成により、第三変形例と比べるとフレームレートが１／３に低下するものの、汎用品のカメラ２０１をそのまま使用して、赤外線映像を取得することができる。よって、第三変形例と同様に、外科手術において血管を傷つける医療事故の発生を未然に防ぐことができ、安全性の向上が期待できる。

さらに、赤外線に留まらず、特定波長スペクトルのみの光を照射する照明の種類を増やして、図１７Ａ、図１７Ｂ及び図１７Ｃに示す処理を行うことで、当該特定波長スペクトルの映像データを取得することが可能になる。

映像照明処理装置１０３としては、一般的なパソコンをそのまま利用することができる。したがって、表示部１１２５及び外部モニタ１０４に、手術術野１０６ａの可視光による多視点映像、及び赤外光による血管を表示した多視点映像に留まらず、外部機器が出力する情報をも同時に表示することも可能になる。

［第五変形例：固定器具１０２ｂのバリエーション］
図１８は、本発明の第五変形例に係る固定器具１０２ｂのバリエーションを示す概略図である。
図１に示す固定器具１０２ｂは、撮影照明器具１０２を手術術野１０６ａから浮かせた状態を維持するために設けられている。
外科医１０７の施術の邪魔にならないように、固定器具１０２ｂは図示しない手術室の天井から吊り下げる構造を有している。

外科医１０７の施術の邪魔にならない形態という技術思想を無視するならば、図１８に示すように、撮影照明器具１０２の真下に延びる脚部１８０１ａ及び１８０１ｂや撮影照明器具１０２の真横に延びる延長アーム１８０２を設けることも考えられる。さらに、撮影照明器具１０２の斜め上に延びる延長アーム１８０３を設けることもできる。このように、撮影照明器具１０２を手術術野１０６ａから浮かせた状態を維持するための固定器具の形態としては、様々なバリエーションが考えられる。

従来から直視下手術において外科医１０７が必要としている器具には、無影灯、術部撮影カメラ、情報表示装置の３つがある。これらは従来、個別に存在していた。
本発明に係る多視点映像撮影装置１０１は、飛行機のコックピットのように、手術に必須である多種多様な情報を統合的に外科医１０７に提供することを目的としている。

例えば、複数の医療者と有効な映像情報をリアルタイムで共有するだけでなく、手術前のＣＴ画像、ＭＲＩ画像及び３Ｄ再構成画像等の術前のシミュレーション情報や、赤外線画像による主要部の適切な血管走行等のナビゲーション情報などを、手術の進行に合わせて外部モニタ１０４上に適切なレイアウトで表示することもできる。
また、患者１０６の血圧、脈拍、心電、脳波等の、リアルタイムに取得する患者１０６バイタル情報、術式・手術メンバーなどの医療安全情報、使用機材などの医療コスト情報を共有情報として表示するようにしてもよい。

近年、医療安全を求める社会的要請が非常に大きくなっており、本発明の実施形態の多視点映像撮影装置１０１は、手術の安全性を高める上で大きな役割を果たすことが期待される。
今まで肉眼による直視のみで行われた手術に対して、ライブの拡大情報、赤外線情報、また術前の放射線画像情報、３Ｄシミュレーション情報、さらには医療安全情報など、各種情報を外科医１０７に表示することにより、手術の安全性を格段に向上させることが可能になる。

また、ライブの拡大情報を適切にアーカイブ録画することにより、学生や若手外科医の教育に資することができるとともに、さらには医療情報の開示に耐えうる記録として保存することができる。

また、無影灯は全ての手術室に不可欠な設備であるが、本発明の実施形態で用いられる照明付きカメラ装置は、よりコンパクトな無影灯としての役割を果たすことができる。その結果、本発明で用いられる照明付きカメラ装置を使うことで、手術室に大掛かりな無影灯の設備が不要になり、日本全国に約２万室あると言われている手術室における基幹設備になる可能性もある。

以上説明したように、本発明の実施形態である多視点映像撮影装置１０１は、全く新しい手術サポートシステムということができ、世界の手術室の景色を一変させる可能性を秘めているとも言える。

上記した様に、本多視点映像撮影装置は主に生体を対象とした外科手術において利用されることを想定しているが、術者の頭、体によって遮蔽されることのない明瞭な照明環境と、遮蔽の無い術野映像撮影を叶えるという本装置の特徴は、ご遺体を対象とした病理解剖、司法解剖、外科解剖、教育解剖といった分野においても、さらに、動物を対象とした獣医的な手術の場面においても、有効に応用される。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。

例えば、上記した実施形態は、本発明をわかりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。
また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることは可能であり、さらにはある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。

１０１…多視点映像撮影装置、１０２…撮影照明器具、１０２ａ…筐体、１０２ｂ…固定器具、１０３…映像照明処理装置、１０４…外部モニタ、１０５…手術台、１０６…患者、１０６ａ…手術術野、１０７…外科医、２０１…カメラ、２０２…照明、２０３…ＵＳＢハブ、４０１…把手、６０１…撮影照明器具、６０１ａ…筐体、６０１ｂ…固定器具、６０２…撮影照明器具、６０２ａ…第一筐体、６０２ｂ…第一固定器具、６０２ｃ…第二筐体、６０２ｄ…第二固定器具、７０１…撮影照明器具、７０１ａ…第一筐体、７０１ｂ…第一固定器具、７０１ｃ…第二筐体、７０１ｄ…第二固定器具、７０２…撮影照明器具、７０２ａ…筐体、７０２ｂ…固定器具、８０１…撮影照明器具、８０１ａ…筐体、８０１ｂ…固定器具、８０２…撮影照明器具、８０２ａ…筐体、８０２ｂ…固定器具、９０１…撮影器具、９０１ａ…筐体、１００１…照明器具、１００１ａ…筐体、１００７…第一カメラ、１００８…第二カメラ、１１０１…カメラアレイ部、１１０２…照明アレイ部、１１０３…ネットワーク、１１０４…マイコン、１１０５…マルチプレクサ、Ｒ１１０６…電流制限抵抗、１１０７…バス、１１０８…ＣＰＵ、１１０９…ＲＯＭ、１１１０…ＲＡＭ、１１１１…シリアルインターフェース、１１２１…バス、１１２２…ＣＰＵ、１１２３…ＲＯＭ、１１２４…ＲＡＭ、１１２５…表示部、１１２６…操作部、１１２７…不揮発性ストレージ、１１２８…シリアルインターフェース、１１２９…ＮＩＣ、１２０１…入出力制御部、１２０２…カメラ較正処理部、１２０４…提示視点注視点判定処理部、１２０５…映像処理部、１２０６…照明判定処理部、１２０７…注視点座標、１４０１…多視点映像撮影装置、１４０２…撮影照明器具、１５０１…多視点映像撮影装置、１５０２…撮影照明器具、１６０１…撮影照明器具、１６０２…ＬＥＤ照明、１６０３…カメラユニット、１６０４…可視光ＬＥＤ、１６０５…赤外線ＬＥＤ、１６０６…コールドミラー、１７０１…発光タイミング制御部、１７０２…赤外線映像取得部、１７０３…赤外線ＬＥＤ点灯撮影映像バッファ、１７０４…赤外線ＬＥＤ消灯撮影映像バッファ、１７０５…加算器、１８０１ａ…脚部、１８０２、１８０３…延長アーム

Claims (3)

1. 複数のカメラを術者が作業対象とする被写体に向けて、リング状の円形もしくは弧状の有限長曲線形状の筐体に取り付けた撮影器具と、
   前記撮影器具を、前記術者の頭頂と前記被写体との間の位置に配置する固定器具と、
   前記撮影器具に取り付けた前記複数のカメラの位置、姿勢、焦点距離を含むカメラパラメータを、前記複数のカメラが撮影した前記被写体の撮影情報に基づいて推定するカメラ較正処理部と、
   前記術者が注目する前記被写体の領域である注視点を多視点画像データ中で検出し、前記カメラパラメータを参照して前記注視点の三次元座標情報を推定し、前記三次元座標情報に基づき、前記術者もしくは術野外の観察者の観察に適した方向から撮影するカメラを１つもしくは複数選択する提示視点注視点判定処理部と
   を備える多視点映像撮影装置。
2. （削除）
3. 前記撮影器具は複数の照明を具備し、
   前記筐体に取り付けられた前記複数のカメラの間に複数の照明を配置する、
   請求項１に記載の多視点映像撮影装置。

Images