JP6820805B2 - 画像位置合わせ装置、その作動方法およびプログラム - Google Patents

Description

本発明は、被検体を撮影して得られた３次元画像と、３次元画像とは異なる画像との位置合わせを行う画像位置合わせ装置、その作動方法およびプログラムに関するものである。

近年、撮影装置の進歩に伴い、撮影装置で撮影された画像データの分解能が向上しており、画像データに基づいて被検体の詳細な解析が可能になっている。例えば、マルチスライスＣＴ（Multi Detector-row Computed Tomography）は、一度に複数枚の断層画像を撮影することが可能であり、薄いスライス厚で断層画像を撮影することが可能である。スライス厚が薄くなることで、複数の断層画像を積層した３次元画像の体軸方向の分解能が上がり、より詳細な３次元画像を得ることができる。このような３次元画像を表示し解析することで、これまで見つけることが困難であった病変等を見つけることも可能になっている。

上述したような３次元画像を用いた表示方法の１つとして、仮想内視鏡表示がある（例えば特許文献１および特許文献２参照）。仮想内視鏡表示とは、管腔の内部に視点位置を設定し、設定した視点位置に基づいて透視投影画像を生成して表示する方法である。なお、表示される投影画像が仮想内視鏡画像となる。仮想内視鏡表示では、ユーザが逐次的に視点位置を変更することにより、あたかも内視鏡のカメラが身体内部を移動しながら撮影したような画像を提供することができる。

特に、内視鏡を用いた検査である気管支鏡検査では、気管支の分岐が非常に複雑であるため、上述した仮想内視鏡表示を「地図」として参照しながら、内視鏡をナビゲーションすることが行われている。この際、実際の内視鏡の動きに合わせて、仮想内視鏡表示を手動で順次変更するのは煩わしいため、内視鏡の先端が体内のどこになるかを推定して、仮想内視鏡画像を作成することが行われている。

例えば特許文献１においては、内視鏡の先端位置を推定するために、仮想内視鏡画像と、内視鏡によって実際に撮影された実内視鏡画像との位置合わせ処理を行うことが提案されている。また、特許文献３においては、被検体の３次元画像データから被検体内の管状組織の形状を表す管状組織形状データを取得し、被検体内に挿入された内視鏡の経路を表す内視鏡経路データを取得し、管状組織形状データとしての木構造データと内視鏡経路データとのマッチングを行い、マッチング結果に基づいて得られた仮想内視鏡画像と実内視鏡画像とを表示することも提案されている。また、特許文献４においては、比較対象となる同一被写体についての２つの３次元画像間で対応位置関係を求める際に、グラフ構造を抽出することによる構造マッチングを行う手法が提案されている。

国際公開第２０１４／１４１９６８号 特開平１１−１２０３２７号公報 特開２０１３−１５０６５０号公報 特開２０１３−１９２５６９号公報

ここで、ナビゲーションのために内視鏡の先端位置の推定を行うためには、複数の視点からの仮想内視鏡画像を生成し、複数の仮想内視鏡画像と実内視鏡画像との位置合わせをし、実内視鏡画像と最も一致する仮想内視鏡画像を選択する必要がある。また、特許文献４に記載されたように、２つの３次元画像間での対応関係を求める際にも、２つの３次元画像から仮想内視鏡画像を生成し、仮想内視鏡同士でマッチングを行う場合がある。

内視鏡の先端位置の推定精度および安定性、さらには２つの３次元画像の位置合わせの精度を上げるには、仮想内視鏡画像を大量に生成する必要がある。しかしながら、仮想内視鏡画像を生成する処理であるボリュームレンダリング処理は演算量が多い。このため、仮想内視鏡画像を生成するために長時間を要する。さらに、仮想内視鏡画像と実内視鏡画像との位置合わせを行う際にも、演算に長時間を要するものとなる。その結果、リアルタイムで内視鏡の先端位置をナビゲーションすることが困難なものとなる。

本発明は上記事情に鑑みなされたものであり、例えば仮想内視鏡画像と実内視鏡画像との位置合わせのような、３次元画像と３次元画像とは異なる他の画像との位置合わせをより高速に行うことができるようにすることを目的とする。

本発明の画像位置合わせ装置は、被検体を撮影して得られた３次元画像と、３次元画像とは異なる他の画像を取得する画像取得部と、
３次元画像に含まれる管状構造物のグラフ構造を生成するグラフ構造生成部と、
グラフ構造上の各点における管状構造物の輪郭情報を取得する輪郭情報取得部と、
輪郭情報に基づいて３次元画像と他の画像との位置合わせを行う位置合わせ部とを備える。

なお、本発明の画像位置合わせ装置においては、他の画像が、管状構造物に挿入した内視鏡により取得した実内視鏡画像であってもよい。

また、本発明の画像位置合わせ装置においては、他の画像が、被検体を撮影して得られた、３次元画像とは異なる他の３次元画像であってもよい。

「異なる他の３次元画像」とは、撮影時期が異なる３次元画像、および撮影に使用したモダリティが異なる３次元画像等を意味する。撮影に使用したモダリティが異なる３次元画像とは、例えばＣＴ装置により取得されるＣＴ画像、ＭＲＩ（Magnetic Resonance Imaging）装置により取得されるＭＲＩ画像、および３次元エコー超音波装置により取得される３次元超音波画像等が挙げられる。

また、本発明の画像位置合わせ装置においては、管状構造物内における視点情報を取得する視点情報取得部と、
視点情報とグラフ構造とに基づいて、グラフ構造上の各点の中から投影点を特定する投影点特定部と、
投影点の輪郭情報を２次元平面上に投影した投影画像を生成する投影画像生成部とをさらに備えるものとし、
位置合わせ部は、投影画像を用いて３次元画像と他の画像との位置合わせを行うものであってもよい。

また、本発明の画像位置合わせ装置においては、管状構造物内における視点情報を取得する視点情報取得部と、
視点情報とグラフ構造とに基づいて、グラフ構造上の各点の中から投影点を特定する投影点特定部と、
投影点の輪郭情報を２次元平面上に投影した投影画像を生成する投影画像生成部と、
実内視鏡画像に含まれる穴の輪郭を抽出する穴輪郭抽出部とをさらに備えるものとし、
位置合わせ部が、投影画像および抽出した穴の輪郭を用いて、３次元画像と他の画像との位置合わせを行うものであってもよい。

また、本発明の画像位置合わせ装置においては、投影点特定部が、グラフ構造上の１つの点を起点として特定し、起点からグラフ構造をたどり、予め設定された範囲内に含まれる点を投影候補点として特定し、投影候補点の中から投影点を特定するものであってもよい。

また、本発明の画像位置合わせ装置においては、投影点特定部が、輪郭情報の形状情報に基づいて、投影点を特定するものであってもよい。

また、本発明の画像位置合わせ装置においては、投影画像生成部が、投影点が属する枝の情報を取得し、枝の情報を投影画像に付加するものであってもよい。

また、本発明の画像位置合わせ装置においては、投影画像と他の画像との間の位置合わせ処理の結果、および投影画像の視点情報に基づいて、他の画像の視点情報を推定する視点情報推定部をさらに備えるものとしてもよい。

また、本発明の画像位置合わせ装置においては、管状構造物が気管支であってもよい。

本発明の画像位置合わせ方法は、被検体を撮影して得られた３次元画像と、３次元画像とは異なる他の画像を取得し、
３次元画像に含まれる管状構造物のグラフ構造を生成し、
グラフ構造上の各点における管状構造物の輪郭情報を取得し、
輪郭情報に基づいて３次元画像と他の画像との位置合わせを行う。

なお、本発明による画像の位置合わせ方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明の他の画像位置合わせ装置は、コンピュータに実行させるための命令を記憶するメモリと、記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサが、被検体を撮影して得られた３次元画像と、３次元画像とは異なる他の画像を取得する処理と、
３次元画像に含まれる管状構造物のグラフ構造を生成する処理と、
グラフ構造上の各点における管状構造物の輪郭情報を取得する処理と、
輪郭情報に基づいて３次元画像と他の画像との位置合わせを行う処理とを実行するように構成されている。

本発明によれば、被検体を撮影して得られた３次元画像と、この３次元画像とは異なる他の画像が取得され、３次元画像に含まれる管状構造物のグラフ構造が生成される。そして、グラフ構造上の各点における管状構造物の輪郭情報が取得され、輪郭情報に基づいて３次元画像と他の画像とが位置合わせされる。ここで、輪郭情報は、ボリュームレンダリング処理等を行う場合よりも、少ない演算量により取得することができる。したがって、本発明によれば、３次元画像と他の画像との位置合わせをより高速に行うことができる。

本発明の画像位置合わせ装置の一実施形態を用いた内視鏡画像診断支援システムの概略構成を示すブロック図 グラフ構造の一例を示す図 グラフ構造上の各点における気管支の輪郭情報の一例を示す図 投影点の特定方法を説明するためのフローチャート 投影点の特定方法の説明図 グラフ構造上の各点の輪郭情報の一例を示す図 投影画像の一例を示す図 最初の分岐の気管支の輪郭情報を用いて生成された投影画像の一例を示す図 輪郭情報が重ならないように生成された投影画像の一例を示す図 最終的に特定された投影点の輪郭情報を用いて生成された投影画像の一例を示す図 投影画像と実内視鏡画像とのずれ量と、投影画像の視点情報とに基づいて、実内視鏡画像の視点情報を推定する方法を説明するための説明図 本実施形態において行われる処理を示すフローチャート 投影画像に対して枝の情報を付加して表示させた例を示す図 本発明の画像位置合わせ装置のその他の実施形態を用いた内視鏡画像診断支援システムの概略構成を示すブロック図 実内視鏡画像から穴の輪郭を抽出した輪郭画像の一例を示す図 投影画像に含まれる輪郭情報に対応する実内視鏡画像に含まれる穴（輪郭情報）を推定する方法を説明するための説明図

以下、本発明の画像位置合わせ装置、方法およびプログラムの一実施形態を用いた内視鏡画像診断支援システムについて、図面を参照しながら詳細に説明する。図１は、本実施形態の内視鏡画像診断支援システムの概略構成を示すブロック図である。

本実施形態の内視鏡画像診断支援システム１は、図１に示すように、画像位置合わせ装置１０、表示装置３０、入力装置４０、３次元画像保管サーバ５０、および内視鏡装置６０を備えている。

画像位置合わせ装置１０は、コンピュータに本実施形態の画像位置合わせプログラムをインストールすることによって構成されたものである。画像位置合わせプログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。

画像位置合わせ装置１０は、中央処理装置（ＣＰＵ（Central Processing Unit））、半導体メモリ、および上述した３次元画像位置合わせプログラムがインストールされたハードディスク若しくはＳＳＤ(Solid State Drive)等のストレージデバイス等を備えている。これらのハードウェアによって、図１に示すような画像取得部１１、グラフ構造生成部１２、輪郭情報取得部１３、視点情報取得部１４、投影点特定部１５、投影画像生成部１６、気管支３次元画像生成部１７、位置合わせ部１８、視点情報推定部１９および表示制御部２０が構成されている。そして、ハードディスクにインストールされた画像位置合わせプログラムが中央処理装置によって実行されることによって上記各部がそれぞれ動作する。なお、画像位置合わせ装置１０は、画像取得処理、グラフ構造生成処理、輪郭情報取得処理、視点情報取得処理、投影点特定処理、投影画像生成処理、気管支３次元画像生成処理、位置合わせ処理、視点情報推定処理および表示制御処理をそれぞれ行う複数のプロセッサまたは処理回路を備えるものであってもよい。

画像取得部１１は、内視鏡装置を用いた手術前または検査前等に予め撮影された被検体の３次元画像、および内視鏡装置６０によって撮影された気管支内の２次元の内視鏡画像である実内視鏡画像を取得する。３次元画像としては、例えばＣＴ装置およびＭＲＩ装置等から出力されたスライスデータから再構成されたボリュームデータにより表される画像、並びにＭＳ（Multi Slice）ＣＴ装置およびコーンビームＣＴ装置から出力されたボリュームデータにより表される画像等がある。また、３次元エコー超音波装置により取得された３次元超音波画像を用いてもよい。３次元画像は、３次元画像保管サーバ５０に被検体の識別情報と併せて予め保管されており、画像取得部１１は、入力装置４０において入力された被検体の識別情報に対応する３次元画像を３次元画像保管サーバ５０から読み出すものである。

グラフ構造生成部１２は、画像取得部１１によって取得された３次元画像が入力され、入力された３次元画像に含まれる管状構造物のグラフ構造を生成する。本実施形態においては、管状構造物のグラフ構造として気管支のグラフ構造を生成する。以下、グラフ構造の生成方法の一例を説明する。

３次元画像に含まれる気管支は、気管支の内部の画素は空気領域に相当するためＣＴ画像上では低いＣＴ値（画素値）を示す領域として表れるが、気管支壁は比較的高いＣＴ値を示す円柱あるいは管状の構造物であると考えられる。そこで、画素毎にＣＴ値の分布に基づく形状の構造解析を行って気管支を抽出する。

気管支は多段階に分岐し末端に近づくほど気管支の径は小さくなっていく。異なるサイズの気管支を検出することができるように、３次元画像を多重解像度変換したガウシアンピラミッド画像、すなわち異なる解像度の複数の３次元画像を予め生成し、生成したガウシアンピラミッドの画像毎に検出アルゴリズムを走査することにより、異なるサイズの管状構造物を検出する。

まず、各解像度の３次元画像の各画素のヘッセ行列を算出し、ヘッセ行列の固有値の大小関係から管状構造物内の画素であるかを判定する。ヘッセ行列は、各軸（３次元画像のｘ軸、ｙ軸、ｚ軸）方向における濃度値の２階の偏微分係数を要素とする行列であり、下式のように３×３行列となる。

任意の画素におけるヘッセ行列の固有値をλ１、λ２、λ３としたとき、固有値のうち２つの固有値が大きく、１つの固有値が０に近い場合、例えば、λ３≫λ１、λ２≫λ１、λ１≒０を満たすとき、その画素は管状構造物であることが知られている。また、ヘッセ行列の最小の固有値（λ１≒０）に対応する固有ベクトルが管状構造物の主軸方向に一致する。

気管支はグラフ構造で表すことができるが、このようにして抽出された管状構造物は、腫瘍等の影響により、全ての管状構造物が繋がった１つのグラフ構造として抽出されるとは限らない。そこで、３次元画像全体からの管状構造物の抽出が終了した後、抽出された各管状構造物が一定の距離内にあり、かつ抽出された２つの管状構造物上の任意の点を結ぶ基本線の向きと各管状構造物の主軸方向とがなす角が一定角度以内であるかについて評価することにより、複数の管状構造物が接続されるものであるか否かを判定して、抽出された管状構造物の接続関係を再構築する。この再構築により、気管支のグラフ構造の抽出が完了する。

そして、抽出したグラフ構造を、開始点、端点、分岐点および枝に分類し、開始点、端点および分岐点を枝で連結することによって、気管支を表すグラフ構造を得ることができる。本実施形態においては、このグラフ構造の各位置における気管支の径および各枝の長さ（気管支の分岐点間の長さ）等の特徴量もグラフ構造と併せて取得する。図２は、グラフ構造の一例を示す図である。図２では、Ｓｐが開始点であり、分岐点Ｂｐを白丸、端点Ｅｐを黒丸、枝Ｅを線で表している。

なお、グラフ構造の生成方法としては、上述した方法に限らず、その他の公知の方法を用いることができる。

輪郭情報取得部１３は、グラフ構造上の各点における気管支の輪郭情報を取得する。本実施形態の輪郭情報取得部１３は、上述したように気管支のグラフ構造を生成する際に検出された管状構造物の輪郭情報を取得する。輪郭情報は、グラフ構造の各点について取得されるが、各点の間隔は、気管支の分岐点間よりも小さい間隔を任意に設定することができる。例えば１ｍｍ〜２ｍｍ程度に設定することが好ましい。図３は、グラフ構造上の各点における気管支の輪郭情報の一例を示す図である。なお、図３では、気管支のグラフ構造も含まれている。

視点情報取得部１４は、気管支内における視点情報を取得する。視点情報は、ユーザが入力装置４０を用いて任意に設定入力されるものであり、視点情報取得部１４は、入力装置４０から入力された視点情報を取得する。なお、視点情報は、気管支内において、予め定められた座標系における３次元座標を表す。視点情報の設定入力は、例えば表示装置３０に表示された気管支の３次元画像上においてユーザがマウス等の入力装置４０を用いて指定するようにすればよい。

なお、本実施形態においては、視点情報をユーザが設定入力するようにしたが、これに限らず、予め設定された条件に基づいて、自動的に視点情報を設定するようにしてもよい。具体的には、例えば気管支の基端部に視点情報を設定するようにしてもよいし、基端部から最初の分岐に視点情報を設定するようにしてもよい。

投影点特定部１５は、視点情報に基づいて、グラフ構造上の１つの点を起点として特定し、起点からグラフ構造をたどり、グラフ構造上の各点の中から投影点を特定する。以下、投影点特定部１５による投影点の特定について、図４に示すフローチャートおよび図５〜図１０を参照して説明する。

投影点特定部１５は、まず、図５に示すように、ユーザによって設定入力された視点情報Ｓから最も近いグラフ構造上の点を起点Ｎｓとして特定する（ステップＳ１０）。そして、起点Ｎｓから気管支の下流側（基端側とは反対側）に向けてグラフ構造をたどり、予め設定された範囲ＮＲ内に含まれる点を投影候補点として特定する（ステップＳ１２）。範囲ＮＲとしては、例えば起点Ｎｓからの予め設定された距離の範囲としてもよい。また、起点Ｎｓからグラフ構造をたどった際に、通過する分岐点が予め設定された数となる範囲としてもよい。

次に、投影点特定部１５は、予め設定された範囲ＮＲ内に含まれる複数の投影候補点の中から、予め設定された投影点条件に基づいて一部の投影点を特定する（ステップＳ１４）。予め設定された投影点条件としては、例えば範囲ＮＲ内に含まれるグラフ構造における各枝の中央の点、最初の点または最後の点を投影点とする条件を用いることができる。なお、最初の点および最後の点とは、グラフ構造を下流側にたどった際の各辺の最初の点および最後の点である。また、範囲ＮＲ内に含まれるグラフ構造における各枝について、分岐点から予め設定された距離以上離れた最初の点を投影点として特定することを、投影点条件としてもよい。図５においては、ステップＳ１４において特定された投影点Ｎｐの一例を破線の丸印で示している。

次いで、投影点特定部１５は、ステップＳ１４において特定された投影点が、予め設定された投影画像条件を満たすか否かを確認する（ステップＳ１６）。図６は、範囲ＮＲ内のグラフ構造上の各点の輪郭情報の一例を示す図である。なお、図６においては、見やすくするために一部の点の輪郭情報の図示を省略している。また、図６に示す０〜６の数値は、各枝に付加された枝番号であり、各輪郭情報の近傍に示す数値は、グラフ構造上の各点に付加されたノード番号である。ここでは、例えば上述した起点Ｎｓが図６に示すノード８０にある場合の投影点の特定方法について説明する。

まず、ステップＳ１４において特定された投影点が、図６に示すノード９８およびノード９９である場合、２つのノード９８，９９の輪郭情報を２次元平面上に投影して投影画像を生成すると、図７に示すような投影画像となる。なお、上記２次元平面とは、被検体の体軸に直交する平面である。図７に示す投影画像では、２つの輪郭情報が重なり合ってしまっているので投影画像としてはあまり好ましくない。その理由はステップＳ１４によって特定された投影点が分岐点に対して近すぎるからである。

そこで、投影点特定部１５は、図７に示す投影画像のように２つの輪郭情報が重なり合う場合には、投影点を変更し、変更後の投影点の輪郭情報を用いて、再び投影画像を生成し、再度生成した投影画像の輪郭情報が重なり合うか否かを確認する。具体的には、ノード９８およびノード９９の投影点の少なくとも一方を分岐点から遠い投影点に変更し、変更後の投影点の輪郭情報を用いて、再び投影画像を生成する。例えばノード９８の投影点をノード１０７の投影点に変更し、ノード９９の投影点をノード１１０の投影点に変更する。

すなわち、投影点特定部１５は、投影画像の輪郭情報が重なり合わないという投影画像条件を満たすか否かを確認し、投影画像条件を満たさない場合には（ステップＳ１６，ＮＯ）、投影点を予め設定された条件に基づいて変更する（ステップＳ１８）。そして、変更後の投影点の輪郭情報を用いて、再び投影画像を生成し、投影画像条件を満たすか否かを確認し、投影画像条件を満たすまで投影点の変更と投影画像の生成とを繰り返す。図８は、投影画像条件を満たすノード１２３およびノード１１９の投影点の輪郭情報を用いて生成された投影画像を示す図である。

そして、投影点特定部１５は、図６に示す枝１の先に繋がる枝３および枝４と、枝２に繋がる枝５および枝６とについても、上記と同様に、投影画像の輪郭情報が重なり合わないという投影画像条件を満たすまで、投影点の変更および投影画像の生成を繰り返す。その結果、図９に示す投影画像が生成されたとする。図９に示す投影画像には、親の枝である枝１のノード１２３からはみ出した枝４のノード２８９および枝３のノード２９６と、親の枝である枝２のノード１１９の輪郭情報からはみ出した枝６のノード２１４の輪郭情報とが含まれる。このような輪郭情報は、起点であるノード８０から実際に気管支内を撮影した実内視鏡画像上では見えない輪郭情報であるので削除することが好ましい。

したがって、投影点特定部１５は、子の枝については、親の枝のノードの輪郭情報内に子の枝の輪郭情報が包含されるという投影画像条件を満たす投影点を特定する。なお、子の枝についての投影画像条件としては、これに限定されるものではない。例えば親の枝のノードの輪郭情報内に子の枝の輪郭情報が包含されていない場合でも、親の枝のノードの輪郭情報と子の枝の輪郭情報との距離が予め設定された閾値以内である場合には、削除することなく、最終的な投影点として残すようにしてもよい。具体的には、図９に示す枝６のノード２１４の輪郭情報は、枝２のノード１１９の輪郭情報に近いため残すようにしてもよい。また、子の枝のノードの輪郭情報が、親の枝のノードの輪郭情報内に包含されていたとしても、輪郭情報の形状が、図９に示すノード２８９の輪郭情報のように、長径に対する短径の比率が予め設定された閾値以下の楕円である場合、または子の枝のノードの輪郭情報が投影できない場合もしくは親の枝のノードの輪郭情報の大きさに対する子の枝のノードの輪郭情報の大きさの比率が閾値以下であって、子の枝のノードの輪郭情報が小さすぎる場合には、その輪郭情報を削除するようにしてもよい。

投影点特定部１５は、上述したようにして投影画像条件を満たすように投影点の変更および削除を繰り返して最終的な投影点を特定する（ステップＳ２０）。

なお、上述した投影画像条件を満たしているか否かの確認については、投影点の輪郭情報の形状情報を用いるようにすればよい。具体的には、形状情報として、輪郭情報の径（半径、直径、短径および長径等）並びに中心間の距離等を用いるようにすればよい。

また、上記説明では、仮に特定した投影点の輪郭情報を用いて投影画像を一旦生成し、生成された投影画像が、投影画像条件を満たすか否かを確認することによって最終的な投影点を特定するようにしたが、必ずしも投影画像を生成しなくてもよい。例えば、仮に特定した投影点の３次元座標空間上における位置関係と、仮に特定したその投影点の輪郭情報の大きさとに基づいて、投影画像条件を満たすか否かを確認するようにしてもよい。

また、上記説明では、仮に特定した投影点の輪郭情報が投影画像条件を満たすか否かを確認することによって最終的な投影点を特定するようにしたが、投影画像条件については必ずしも確認しなくてもよい。例えば、ステップＳ１４において投影点条件に基づいて特定された投影点を最終的な投影点とし、最終的な投影点の輪郭情報を用いて投影画像を生成するようにしてもよい。

図１に戻り、投影画像生成部１６は、投影点特定部１５が特定した最終的な投影点の輪郭情報を用いて、投影画像を生成する。図１０は、最終的に特定された投影点の輪郭情報を用いて生成された投影画像を示す図である。

気管支３次元画像生成部１７は、画像取得部１１において取得された３次元画像に対してボリュームレンダリング処理を施すことによって、気管支の形態を表す気管支３次元画像を生成し、生成した気管支３次元画像を表示制御部２０に出力する。

位置合わせ部１８は、内視鏡装置６０によって実際に気管支内を撮影した２次元画像の内視鏡画像である実内視鏡画像を取得し、実内視鏡画像と投影画像との間で位置合わせ処理を行う。位置合わせ処理の対象の投影画像は、例えばグラフ構造の分岐点毎に生成されており、生成された複数の投影画像のうち、実内視鏡画像とずれ量が最も小さい投影画像についてのずれ量が、位置合わせ処理による位置合わせ結果として取得される。なお、位置合わせ処理としては、例えば剛体レジストレーションまたは非剛体レジストレーションを用いることができる。

視点情報推定部１９は、位置合わせ部１８による位置合わせ結果を用いて、実内視鏡画像の視点情報（内視鏡の先端位置に相当する）を推定する。すなわち、視点情報推定部１９は、図１１に示すように、位置合わせ処理によって得られた投影画像Ａと実内視鏡画像Ｂとのずれ量、および投影画像Ａの視点情報に基づいて、実内視鏡画像Ｂの視点情報ｂを推定する。実内視鏡画像Ｂの視点情報ｂの推定方法としては、例えば投影画像Ａに含まれる輪郭情報の大きさおよび実内視鏡画像Ｂに含まれる気管支の穴の大きさだけが異なる場合には、輪郭情報の大きさに対する気管支の穴の拡縮率および投影画像Ａの視点情報ａと投影面との距離に基づいて、視点情報ａを投影面に対して移動させることによって視点情報ｂを推定することができる。なお、視点情報ｂの推定方法としては、このような方法に限らず、幾何学的な関係に基づく種々の推定方法を用いることができる。

表示制御部２０は、投影画像生成部１６によって生成された投影画像、気管支３次元画像生成部１７によって生成された気管支３次元画像、および内視鏡装置６０によって取得された実内視鏡画像を表示装置３０に表示させる。その際、表示制御部２０は、視点情報推定部１９によって推定された視点情報ｂの３次元座標を表示装置３０に表示する。また、視点情報ｂを、表示装置３０に表示された気管支３次元画像上に表示させるようにしてもよい。

表示装置３０は、例えば液晶ディスプレイ等を備える。また、表示装置３０をタッチパネルによって構成し、入力装置４０と兼用してもよい。

入力装置４０は、マウスおよびキーボード等を備え、ユーザによる種々の設定入力を受け付けるものである。

次いで、本実施形態において行われる処理について説明する。図１２は、本実施形態において行われる処理を示すフローチャートである。まず、画像取得部１１が、３次元画像を取得する（ステップＳ３０）。次いで、グラフ構造生成部１２が、画像取得部１１が取得した３次元画像に含まれる管状構造物のグラフ構造を生成する（ステップＳ３２）。さらに、輪郭情報取得部１３が、グラフ構造上の各点における管状構造物の輪郭情報を取得する（ステップＳ３４）。そして、投影画像生成部１６が、図４に示す処理により特定された投影点の輪郭情報を２次元平面上に投影した投影画像を生成する（ステップＳ３６）。

次いで、画像取得部１１が実内視鏡画像を取得し（ステップＳ３８）、位置合わせ部１８が、投影画像を用いて３次元画像と実内視鏡画像との位置合わせを行う（ステップＳ４０）。さらに、視点情報推定部１９が、位置合わせ部１８による位置合わせ結果を用いて、実内視鏡画像の視点情報を推定する（ステップＳ４２）。そして、表示制御部２０が、投影画像、気管支３次元画像、実内視鏡画像、および視点情報推定部１９によって推定された実内視鏡画像の視点情報ｂを表示装置３０に表示し（ステップＳ４４）、ステップＳ３８にリターンする。これにより、内視鏡を気管支内において移動する各位置において取得される実内視鏡画像と３次元画像との位置合わせが行われる。

このように、本実施形態によれば、３次元画像に含まれる気管支のグラフ構造を生成し、グラフ構造上の各点における気管支の輪郭情報を取得する。そして、輪郭情報に基づいて３次元画像と実内視鏡画像との位置合わせを行う。ここで、輪郭情報は、ボリュームレンダリング処理等を行う場合よりも、少ない演算量により取得することができる。したがって、本実施形態によれば、３次元画像と実内視鏡画像との位置合わせを、より高速に行うことができる。

また、本実施形態においては、気管支内における視点情報を取得し、視点情報に基づいて、グラフ構造上の１つの点を起点として特定し、起点からグラフ構造をたどり、グラフ構造上の各点の中から投影点を特定し、投影点の輪郭情報を２次元平面上に投影した投影画像を生成するようにしている。このため、実内視鏡画像との位置合わせ処理が可能なように端的な特徴を残した投影画像を、高速な処理によって生成することができる。

なお、上記実施形態においては、投影画像生成部１６が、投影点が属する枝の情報を取得し、取得した枝の情報を投影画像に付加することによって、投影画像上に枝の情報を表示させるようにしてもよい。図１３は、投影画像に対して枝の情報として「Ａ」〜「Ｄ」を付加して表示させた例を示す図である。

また、上記実施形態においては、位置合わせ部１８において、位置合わせ処理を行う際、内視鏡装置６０から出力された実内視鏡画像そのものを用いるようにしたが、これに限定されるものではない。例えば、図１４に示すように、画像位置合わせ装置１に実内視鏡画像から穴の輪郭を抽出する穴輪郭抽出部２１を設けるようにしてもよい。穴輪郭抽出部２１は、図１５に示すように実内視鏡画像から穴の輪郭を抽出して輪郭画像を生成する。具体的には、穴輪郭抽出部２１は、輝度が閾値以下の画素が円状に分布している領域を実内視鏡画像から検出し、検出した領域の輪郭を穴の輪郭として抽出して輪郭画像を生成する。これにより、位置合わせ部１８が行う投影画像と実内視鏡画像との位置合わせ処理を、より高速に行うことができる。

また、上記実施形態において、投影画像に含まれる輪郭情報とこの輪郭情報に付加された枝の情報に基づいて、内視鏡装置６０から出力された実内視鏡画像に含まれる穴に対して、枝の情報を付加するようにしてもよい。本実施形態においては、投影画像と実内視鏡画像との位置合わせが行われているため、図１６に示すように、投影画像Ａに含まれる輪郭情報と、実内視鏡画像Ｂに含まれる穴との対応づけを容易に行うことができる。したがって、投影画像Ａの各輪郭情報に付加された枝の情報「Ａ」〜「Ｄ」を実内視鏡画像Ｂに含まれる対応する穴に付加して、実内視鏡画像Ｂを表示装置３０に表示することができる。なお、実内視鏡画像Ｂへの枝の情報の付与は、表示制御部２０が行ってもよく、実内視鏡画像Ｂへの枝の情報の付与する専用の処理部を設けるようにしてもよい。

また、上記実施形態においては、３次元画像から生成した投影画像と実内視鏡画像との位置合わせを行っているが、２つの３次元画像の位置合わせを行う場合にも、本発明を適用できる。この場合、画像取得部１１は、位置合わせの対象となる２つの３次元画像を取得する。グラフ構造生成部１２は、２つの３次元画像のそれぞれに含まれる管状構造物のグラフ構造を生成する。輪郭情報取得部１３は、２つの３次元画像のそれぞれについての、グラフ構造上の各点における気管支の輪郭情報を取得する。視点情報取得部１４は、２つの３次元画像のそれぞれについての視点情報を取得する。投影点特定部１５は、２つの３次元画像のそれぞれについての投影点を特定する。投影画像生成部１６は、２つの３次元画像のそれぞれについて、投影点特定部１５が特定した最終的な投影点の輪郭情報を用いて、投影画像を生成する。気管支３次元画像生成部１７は、２つの３次元画像のそれぞれに対してボリュームレンダリング処理を施すことによって、気管支の形態を表す気管支３次元画像を生成する。

位置合わせ部１８は、２つの３次元画像の位置合わせを行う。具体的には、２つの３次元画像のうちの一方の３次元画像（第１の３次元画像とする）から生成された投影画像（第１の投影画像とする）と、他方の３次元画像（第２の３次元画像とする）から生成された投影画像（第２の投影画像とする）との位置合わせを行う。すなわち、第１の３次元画像に対して第２の３次元画像を位置合わせする。ここで、位置合わせ処理の対象の投影画像は、２つの３次元画像のそれぞれについて、例えばグラフ構造の分岐点毎に生成されている。このうち、複数の第１の投影画像のうちから、位置合わせのための１つの投影画像が操作者により選択される。なお、投影画像の選択は入力装置４０からの入力により行うようにすればよい。そして、選択された１つの第１の投影画像と複数の第２の投影画像との間において、複数の第２の投影画像のうち、実内視鏡画像とずれ量が最も小さい投影画像についてのずれ量が、位置合わせ処理による位置合わせ結果として取得される。なお、位置合わせ処理としては、例えば剛体レジストレーションまたは非剛体レジストレーションを用いることができる。なお、上記説明では、第１の３次元画像に対して第２の３次元画像を位置合わせしているが、第２の３次元画像から１つの第２の投影画像を選択し、第２の３次元画像に対して第１の３次元画像を位置合わせしてもよい。

視点情報推定部１９は、位置合わせ部１８による位置合わせ結果を用いて、選択された第１の投影画像の視点情報に対応する、第２の３次元画像における視点情報を推定する。この場合、投影画像生成部１６は、推定された第２の３次元画像における視点情報に基づいて第２の３次元画像についての投影画像を改めて生成する。そして表示制御部２０が、選択された第１の投影画像と、改めて生成された第２の３次元画像についての投影画像とを表示装置３０に表示する。

１ 内視鏡画像診断支援システム
１０ 画像位置合わせ装置
１１ 画像取得部
１２ グラフ構造生成部
１３ 輪郭情報取得部
１４ 視点情報取得部
１５ 投影点特定部
１６ 投影画像生成部
１７ 気管支３次元画像生成部
１８ 位置合わせ部
１９ 視点情報推定部
２０ 表示制御部
２１ 穴輪郭検出部
３０ 表示装置
４０ 入力装置
５０ ３次元画像保管サーバ
６０ 内視鏡装置
Ａ 投影画像
Ｂ 実内視鏡画像
ａ，ｂ，Ｓ 視点情報
Ｂｐ 分岐点
Ｅ 枝
Ｅｐ 端点
Ｎｐ 投影点
ＮＲ 予め設定された範囲
Ｎｓ 起点

Claims (19)

1. 被検体を撮影して得られた３次元画像と、該３次元画像とは異なる他の画像を取得する画像取得部と、
   前記３次元画像に含まれる管状構造物のグラフ構造を生成するグラフ構造生成部と、
   前記グラフ構造上の各点における前記管状構造物の輪郭情報を取得する輪郭情報取得部と、
   前記管状構造物内における視点情報を取得する視点情報取得部と、
   前記視点情報と前記グラフ構造とに基づいて前記グラフ構造上の各点の中から投影点を特定するに際し、前記グラフ構造上の１つの点を起点として特定し、前記起点から前記グラフ構造をたどり、予め設定された範囲内に含まれる複数の点を投影候補点として特定し、複数の前記投影候補点の中から前記投影点を特定する投影点特定部と、
   前記投影点の前記輪郭情報を２次元平面上に投影した投影画像を生成する投影画像生成部と、
   前記投影画像を用いて前記３次元画像と前記他の画像との位置合わせを行う位置合わせ部とを備えた画像位置合わせ装置。
2. 前記投影画像生成部が、前記投影点が属する枝の情報を取得し、前記枝の情報を前記投影画像に付加する請求項１に記載の画像位置合わせ装置。
3. 被検体を撮影して得られた３次元画像と、該３次元画像とは異なる他の画像を取得する画像取得部と、
   前記３次元画像に含まれる管状構造物のグラフ構造を生成するグラフ構造生成部と、
   前記グラフ構造上の各点における前記管状構造物の輪郭情報を取得する輪郭情報取得部と、
   前記管状構造物内における視点情報を取得する視点情報取得部と、
   前記視点情報と前記グラフ構造とに基づいて、前記グラフ構造上の各点の中から投影点を特定する投影点特定部と、
   前記投影点の前記輪郭情報を２次元平面上に投影した投影画像を生成し、前記投影点が属する枝の情報を取得し、前記枝の情報を前記投影画像に付加する投影画像生成部と、
   前記投影画像を用いて前記３次元画像と前記他の画像との位置合わせを行う位置合わせ部とを備えた画像位置合わせ装置。
4. 前記他の画像が、前記管状構造物に挿入した内視鏡により取得した実内視鏡画像である請求項１から３のいずれか１項に記載の画像位置合わせ装置。
5. 前記他の画像が、前記被検体を撮影して得られた、前記３次元画像とは異なる他の３次元画像である請求項１から３のいずれか１項に記載の画像位置合わせ装置。
6. 被検体を撮影して得られた管状構造物を含む３次元画像と、前記管状構造物に挿入した内視鏡により取得した実内視鏡画像である他の画像を取得する画像取得部と、
   前記３次元画像に含まれる管状構造物のグラフ構造を生成するグラフ構造生成部と、
   前記グラフ構造上の各点における前記管状構造物の輪郭情報を取得する輪郭情報取得部と、
   前記管状構造物内における視点情報を取得する視点情報取得部と、
   前記視点情報と前記グラフ構造とに基づいて、前記グラフ構造上の各点の中から投影点を特定するに際し、前記グラフ構造上の１つの点を起点として特定し、前記起点から前記グラフ構造をたどり、予め設定された範囲内に含まれる複数の点を投影候補点として特定し、複数の前記投影候補点の中から前記投影点を特定する投影点特定部と、
   前記投影点の前記輪郭情報を２次元平面上に投影した投影画像を生成する投影画像生成部と、
   前記実内視鏡画像に含まれる穴の輪郭を抽出する穴輪郭抽出部と、
   前記投影画像および前記抽出した穴の輪郭を用いて、前記３次元画像と前記他の画像との位置合わせを行う位置合わせ部とを備えた画像位置合わせ装置。
7. 前記投影画像生成部が、前記投影点が属する枝の情報を取得し、前記枝の情報を前記投影画像に付加する請求項６に記載の画像位置合わせ装置。
8. 被検体を撮影して得られた管状構造物を含む３次元画像と、前記管状構造物に挿入した内視鏡により取得した実内視鏡画像である他の画像を取得する画像取得部と、
   前記３次元画像に含まれる管状構造物のグラフ構造を生成するグラフ構造生成部と、
   前記グラフ構造上の各点における前記管状構造物の輪郭情報を取得する輪郭情報取得部と、
   前記管状構造物内における視点情報を取得する視点情報取得部と、
   前記視点情報と前記グラフ構造とに基づいて、前記グラフ構造上の各点の中から投影点を特定する投影点特定部と、
   前記投影点の前記輪郭情報を２次元平面上に投影した投影画像を生成し、前記投影点が属する枝の情報を取得し、前記枝の情報を前記投影画像に付加する投影画像生成部と、
   前記実内視鏡画像に含まれる穴の輪郭を抽出する穴輪郭抽出部と、
   前記投影画像および前記抽出した穴の輪郭を用いて、前記３次元画像と前記他の画像との位置合わせを行う位置合わせ部とを備えた画像位置合わせ装置。
9. 前記投影点特定部が、複数の仮の投影点を特定し、前記複数の仮の投影点について、前記仮の投影点の輪郭情報が重なり合わないという投影画像条件を満足するか否かを判定し、前記投影画像条件を満足しない場合、前記仮の投影点を変更し、前記変更された仮の投影点についての前記投影画像条件を満足するか否かの判定および前記仮の投影点の変更を繰り返し、前記投影画像条件を満足する前記仮の投影点を最終的な前記投影点に特定する請求項１から８のいずれか１項に記載の画像位置合わせ装置。
10. 前記投影画像と前記他の画像との間の位置合わせ処理の結果、および前記投影画像の視点情報に基づいて、前記他の画像の視点情報を推定する視点情報推定部をさらに備えた請求項１から９のいずれか１項に記載の画像位置合わせ装置。
11. 前記管状構造物が気管支である請求項１から１０のいずれか１項に記載の画像位置合わせ装置。
12. コンピュータが、被検体を撮影して得られた３次元画像と、該３次元画像とは異なる他の画像を取得し、
    前記３次元画像に含まれる管状構造物のグラフ構造を生成し、
    前記グラフ構造上の各点における前記管状構造物の輪郭情報を取得し、
    前記管状構造物内における視点情報を取得し、
    前記視点情報と前記グラフ構造とに基づいて前記グラフ構造上の各点の中から投影点を特定するに際し、前記グラフ構造上の１つの点を起点として特定し、前記起点から前記グラフ構造をたどり、予め設定された範囲内に含まれる複数の点を投影候補点として特定し、複数の前記投影候補点の中から前記投影点を特定し、
    前記投影点の前記輪郭情報を２次元平面上に投影した投影画像を生成し、
    前記投影画像を用いて前記３次元画像と前記他の画像との位置合わせを行う画像位置合わせ装置の作動方法。
13. コンピュータが、被検体を撮影して得られた３次元画像と、該３次元画像とは異なる他の画像を取得し、
    前記３次元画像に含まれる管状構造物のグラフ構造を生成し、
    前記グラフ構造上の各点における前記管状構造物の輪郭情報を取得し、
    前記管状構造物内における視点情報を取得し、
    前記視点情報と前記グラフ構造とに基づいて、前記グラフ構造上の各点の中から投影点を特定し、
    前記投影点の前記輪郭情報を２次元平面上に投影した投影画像を生成し、前記投影点が属する枝の情報を取得し、前記枝の情報を前記投影画像に付加し、
    前記投影画像を用いて前記３次元画像と前記他の画像との位置合わせを行う画像位置合わせ装置の作動方法。
14. コンピュータが、被検体を撮影して得られた管状構造物を含む３次元画像と、前記管状構造物に挿入した内視鏡により取得した実内視鏡画像である他の画像を取得し、
    前記３次元画像に含まれる管状構造物のグラフ構造を生成し、
    前記グラフ構造上の各点における前記管状構造物の輪郭情報を取得し、
    前記管状構造物内における視点情報を取得し、
    前記視点情報と前記グラフ構造とに基づいて、前記グラフ構造上の各点の中から投影点を特定するに際し、前記グラフ構造上の１つの点を起点として特定し、前記起点から前記グラフ構造をたどり、予め設定された範囲内に含まれる複数の点を投影候補点として特定し、複数の前記投影候補点の中から前記投影点を特定し、
    前記投影点の前記輪郭情報を２次元平面上に投影した投影画像を生成し、
    前記実内視鏡画像に含まれる穴の輪郭を抽出し、
    前記投影画像および前記抽出した穴の輪郭を用いて、前記３次元画像と前記他の画像との位置合わせを行う画像位置合わせ装置の作動方法。
15. 被検体を撮影して得られた管状構造物を含む３次元画像と、前記管状構造物に挿入した内視鏡により取得した実内視鏡画像である他の画像を取得し、
    前記３次元画像に含まれる管状構造物のグラフ構造を生成し、
    前記グラフ構造上の各点における前記管状構造物の輪郭情報を取得し、
    前記管状構造物内における視点情報を取得し、
    前記視点情報と前記グラフ構造とに基づいて、前記グラフ構造上の各点の中から投影点を特定し、
    前記投影点の前記輪郭情報を２次元平面上に投影した投影画像を生成し、前記投影点が属する枝の情報を取得し、前記枝の情報を前記投影画像に付加し、
    前記実内視鏡画像に含まれる穴の輪郭を抽出し、
    前記投影画像および前記抽出した穴の輪郭を用いて、前記３次元画像と前記他の画像との位置合わせを行う画像位置合わせ装置の作動方法。
16. 被検体を撮影して得られた３次元画像と、該３次元画像とは異なる他の画像を取得する手順と、
    前記３次元画像に含まれる管状構造物のグラフ構造を生成する手順と、
    前記グラフ構造上の各点における前記管状構造物の輪郭情報を取得する手順と、
    前記管状構造物内における視点情報を取得する手順と、
    前記視点情報と前記グラフ構造とに基づいて前記グラフ構造上の各点の中から投影点を特定するに際し、前記グラフ構造上の１つの点を起点として特定し、前記起点から前記グラフ構造をたどり、予め設定された範囲内に含まれる複数の点を投影候補点として特定し、複数の前記投影候補点の中から前記投影点を特定する手順と、
    前記投影点の前記輪郭情報を２次元平面上に投影した投影画像を生成する手順と、
    前記投影画像を用いて前記３次元画像と前記他の画像との位置合わせを行う手順とをコンピュータに実行させる画像位置合わせプログラム。
17. 被検体を撮影して得られた３次元画像と、該３次元画像とは異なる他の画像を取得する手順と、
    前記３次元画像に含まれる管状構造物のグラフ構造を生成する手順と、
    前記グラフ構造上の各点における前記管状構造物の輪郭情報を取得する手順と、
    前記管状構造物内における視点情報を取得する手順と、
    前記視点情報と前記グラフ構造とに基づいて、前記グラフ構造上の各点の中から投影点を特定する手順と、
    前記投影点の前記輪郭情報を２次元平面上に投影した投影画像を生成し、前記投影点が属する枝の情報を取得し、前記枝の情報を前記投影画像に付加する手順と、
    前記投影画像を用いて前記３次元画像と前記他の画像との位置合わせを行う手順とをコンピュータに実行させる画像位置合わせプログラム。
18. 被検体を撮影して得られた管状構造物を含む３次元画像と、前記管状構造物に挿入した内視鏡により取得した実内視鏡画像である他の画像を取得する手順と、
    前記３次元画像に含まれる管状構造物のグラフ構造を生成する手順と、
    前記グラフ構造上の各点における前記管状構造物の輪郭情報を取得する手順と、
    前記管状構造物内における視点情報を取得する手順と、
    前記視点情報と前記グラフ構造とに基づいて、前記グラフ構造上の各点の中から投影点を特定するに際し、前記グラフ構造上の１つの点を起点として特定し、前記起点から前記グラフ構造をたどり、予め設定された範囲内に含まれる複数の点を投影候補点として特定し、複数の前記投影候補点の中から前記投影点を特定する手順と、
    前記投影点の前記輪郭情報を２次元平面上に投影した投影画像を生成する手順と、
    前記実内視鏡画像に含まれる穴の輪郭を抽出する手順と、
    前記投影画像および前記抽出した穴の輪郭を用いて、前記３次元画像と前記他の画像との位置合わせを行う手順とをコンピュータに実行させる画像位置合わせプログラム。
19. 被検体を撮影して得られた管状構造物を含む３次元画像と、前記管状構造物に挿入した内視鏡により取得した実内視鏡画像である他の画像を取得する手順と、
    前記３次元画像に含まれる管状構造物のグラフ構造を生成する手順と、
    前記グラフ構造上の各点における前記管状構造物の輪郭情報を取得する手順と、
    前記管状構造物内における視点情報を取得する手順と、
    前記視点情報と前記グラフ構造とに基づいて、前記グラフ構造上の各点の中から投影点を特定する手順と、
    前記投影点の前記輪郭情報を２次元平面上に投影した投影画像を生成し、前記投影点が属する枝の情報を取得し、前記枝の情報を前記投影画像に付加する手順と、
    前記実内視鏡画像に含まれる穴の輪郭を抽出する手順と、
    前記投影画像および前記抽出した穴の輪郭を用いて、前記３次元画像と前記他の画像との位置合わせを行う手順とをコンピュータに実行させる画像位置合わせプログラム。