JP5113841B2

JP5113841B2 - 内視鏡からの映像を用いるコンピュータ支援解析

Info

Publication number: JP5113841B2
Application number: JP2009525622A
Authority: JP
Inventors: グゥ，ジァ; ウォルターズ，ロルフ・ホルガー
Original assignee: エスティーアイ・メディカル・システムズ・エルエルシー
Priority date: 2006-08-21
Filing date: 2007-08-21
Publication date: 2013-01-09
Anticipated expiration: 2027-08-21
Also published as: US20080058593A1; EP2054852A1; DE602007007340D1; JP2010512173A; WO2008024419A1; EP2054852B1; ATE472141T1

Description

本発明は包括的には医療用画像形成に関し、より具体的には、患者の結腸のような、対象とする臓器の３次元（３Ｄ）再構成画像をオプションで含む、標準的な内視鏡からの映像を迅速かつ安価に解析する自動画像処理システムを用いる、結腸直腸癌のような疾患用の画像処理及びコンピュータ支援診断に関する。本発明は、検査を大きく長引かせることなく、即座のセカンドオピニオンを提供するために、結腸鏡検査法のような、検査中に既に使用されている従来の内視鏡からの映像データを利用して、リアルタイムに使用されることになる。

本出願は、参照により本明細書に援用される、２００６年８月２１日に出願された米国仮特許出願第６０／８３９２７５号に対する優先権を主張する。

本発明は結腸直腸癌との関連で開示されているが、数多くの他の医療分野にも適用することができる。結腸直腸癌は、合衆国において、癌関連で２番目に多い死因である。毎年１３０，０００人以上の人々が結腸癌と診断されており、年間に約５５，０００人が、この疾患に起因して死亡する。結腸癌は、早期発見を通して予防し、治療することができるので、患者が生存するには、早期の診断が極めて重要である（参照により本明細書に援用される、American Cancer Society, Cancer Facts and Figures, 2004）。内視鏡を用いてポリープを検診することは、直腸結腸ポリープの早期発見及び除去にとって現在の最も適している予防方法である。そのようなポリープが結腸の中に残っていると、それらのポリープは悪性病変になる可能性が高い（参照により本明細書に援用されるHofstad, B., Vatn, M.H., Andersen, S.N., Huitfeldt, H.S. et al., Growth of colorectal polyps: redetection and evaluation of unresected polyps for a period of three years, Gut 39(3): 449-456. 1996）。隆起型のポリープが存在しない、平坦な病変の場合、結腸粘膜表面がざらざらしており、非特異性の溝と呼ばれる、複数の小さなエリアに仕切られる。結腸内面の細胞パターン（ピットパターン）の変化は、腺腫又は腫瘍の最も早期の兆候である可能性がある（全て参照により本明細書に援用されるMuehldorfer, S.M., Muenzenmayer, C, Mayinger, B., Faller, G. et al., Optical tissue recognition based on color texture by magnifying endoscopy in patients with Barrett's esophagus, Gastrointestinal Endoscopy 57: AB 179, 2003）。結腸粘膜表面のこれらの組織構造変化を測定するように、病変を定量的に発見するために、ピットパターンを用いることができる。ピットパターンを用いると、特異性は低いが、その相対的に高い感度が疑わしい領域を強調することができ、それによって他のセンサによってさらなる検査を行うことができるようになる。テクスチャベースのピットパターン解析は、組織タイプ及び疾患重症度を特定することができる。画像ベースのポリープ再構成は、内視鏡からの映像及びコンピュータビジョンアルゴリズムを用いて、３次元画像に変換することができる多数の視野を合成することによって、隆起型のポリープの３次元形状及びサイズを提供することができる。オプションでは、いくつかの画像処理アルゴリズム及び強調技法を用いて、画像品質を向上させることができる。

結腸鏡検査法の必要をなくすために、種々の非侵襲性の走査技法が提案されているが、これらの走査技法が、ポリープ又は病変が存在している可能性を明らかにする場合には、後のいずれかの時点において、結腸鏡検査法が実行されなければならない。さらに、結腸鏡医は、走査後に時間が経ってから、患者の結腸内の実際のポリープ又は病変（走査において示された）の場所を特定しなければならないが、それは非常に難しい可能性がある。また、走査は結腸の内側表面の色又はテクスチャについての情報を提供しないが、この情報は、特に平坦な病変の場合に、血管構造及びピットパターンについての診断情報を提供することになる。平坦な病変は結腸壁から外側に突出せず、結果として、結腸壁の中に切り込むことによって除去されなければならず、それによって、出血、感染、及び他の副作用を被る危険性がさらに高くなるので、平坦な病変の偽陽性を回避することが極めて望ましい。また、走査は、ポリープ又は病変と、結腸内の残留便又は他の物質とを区別することができないことがある。

経済的にするために、結腸鏡検査法は効率的に実行されなければならないので、結腸鏡医は大腸の内側表面の比較的大きなエリアを迅速に走査しなければならない。したがって、病変又はポリープが見落とされることがあるという危険性がある。

結腸鏡検査中に病変又はポリープが見つけられる場合には、内視鏡が既に病変又はポリープの場所にあり、大部分の内視鏡が、切断器具を導入する手段を備えているので、後の手順においてポリープ又は病変を特定し直す必要はない。したがって、最初に検出された時点、又は同じ結腸鏡検査中の後の時点のいずれにおいても、検出された同じ結腸鏡検査中にポリープ又は病変を切除することができる。

ポリープ及び病変を発見及び解析する際の結腸鏡医の技量は、個々の結腸鏡医の訓練及び経験による。したがって、結腸鏡検査法における発見及び解析を標準化するために、結腸鏡医に潜在的なポリープ又は病変があることを警告するか、又は見つけられた任意のポリープ又は病変の診断を確認するか若しくは調べるために、結腸鏡検査中にリアルタイムに独立したエキスパート解析を提供することが望ましい。また、追加の高額のハードウエアの購入を必要とすることなく、安価且つ容易に利用可能であるように、そのようなエキスパート知識を提供することが望ましい。

本発明は、映像データを解析することであって、低品質の画像フレームを捨てて、映像データから満足のいく画像フレームを与える、解析すること、画像フレームを強調すること、並びに画像フレーム内の任意の病変を検出及び診断することを含み、解析するステップ、強調するステップ、並びに検出及び診断するステップは検査中にリアルタイムに実行される、内視鏡による検査中に臓器の映像データからコンピュータ支援診断を提供する方法である。オプションでは、その画像フレームを用いて、その臓器の３次元モデルを再構成することができる。

結腸鏡検査法に適用されるとき、本発明は、大腸の結腸鏡検査中に、内視鏡の映像データからコンピュータ支援診断を提供する方法であり、当該方法は、映像データを解析することであって、低品質の画像フレームを捨てて、映像データから満足のいく画像フレームを与える、解析すること、画像フレームを強調すること、並びに画像フレーム内の任意のポリープを検出及び診断することを含み、解析するステップ、強調するステップ、並びに検出及び診断するステップは全て、内視鏡からの映像データを受信するように動作可能に接続されるコンピュータ上で動作するソフトウエアによって、結腸鏡検査中にリアルタイムに実行される。

解析するステップは、グリント検出及び除去、並びに焦点解析を含むことが好ましい。強調するステップは、コントラスト強調、超解像及び映像安定化を含むことが好ましい。検出及び診断するステップは、色較正、色解析、テクスチャ解析及び特徴部検出を含むことが好ましい。テクスチャ解析は、血管及びピットパターンを解析することを含むことができる。オプションでは、この方法は、画像フレームから３次元において大腸を再構成することであって、再構成されたモデルを形成する、再構成すること、及び、再構成されたモデルから、上記結腸内の任意のポリープの３次元形状及びサイズ情報を再生することも含む。再構成するステップは、魚眼歪み補正、形状較正、画像に基づくモデル化、及び３次元データスティッチングを含むことが好ましい。

コンピュータ支援診断システムのアルゴリズムフローチャートである。図１の映像品質解析モジュールのアルゴリズムフローチャートである。図１の映像品質強調モジュールのアルゴリズムフローチャートである。図２のグリント検出及び除去モジュールのアルゴリズムフローチャートである。グリント検出及び除去の結果を示す一連の図のうちの、元の画像フレームを示す図である。グリント検出及び除去の結果を示す一連の図のうちの、画像からグリントが除去された図である。ぼやけ検出のアルゴリズムフローチャートである。ぼやけ検出の結果を示す一連の図のうちの、元の画像フレームを示す図である。ぼやけ検出の結果を示す一連の図のうちの、ぼやけ検出の結果を示す図である（画像上に重なる黒いブロックがぼやけエリアの場所を指示する）。コントラスト強調の結果を示す一連の図のうちの、元の画像フレームを示す図である。コントラスト強調の結果を示す一連の図のうちの、コントラストが強調されている図である。超解像再構成の結果を示す一連の図のうちの、低解像度の画像のフレームを示す図である。超解像再構成の結果を示す一連の図のうちの、低解像度の画像のフレームを示す図である。超解像再構成の結果を示す一連の図のうちの、低解像度の画像のフレームを示す図である。超解像再構成の結果を示す一連の図のうちの、低解像度の画像のフレームを示す図である。超解像再構成の結果を示す一連の図のうちの、再構成された、より高い解像度の画像を示す図である。映像安定化のアルゴリズムフローチャートである。映像安定化の結果を示す一連の図のうちの、１つの結腸鏡映像の動きフィールドを示す図である（丸印を伴う曲線は、揺れがある元の映像の動きフィールドを表し、四角印を伴う曲線は、安定化した映像の動きフィールドを表す）。映像安定化の結果を示す一連の図のうちの、別の結腸鏡映像の動きフィールドを示す図である（丸印を伴う曲線は、揺れがある元の映像の動きフィールドを表し、四角印を伴う曲線は、安定化した映像の動きフィールドを表す）。３Ｄ結腸モデル化及び再構成のアルゴリズムフローチャートである。歪み補正の結果を示す一連の図のうちの、グリッドターゲットの元の画像を示す図である。歪み補正の結果を示す一連の図のうちの、補正されたグリッドターゲットを示す図である。歪み補正の結果を示す一連の図のうちの、結腸の元の画像を示す図である。歪み補正の結果を示す一連の図のうちの、補正された結腸画像を示す図である。３Ｄポリープ再構成の結果を示す一連の図のうちの、１つの結腸鏡映像フレームを示す図である。３Ｄポリープ再構成の結果を示す一連の図のうちの、別の結腸鏡映像フレームを示す図である。３Ｄポリープ再構成の結果を示す一連の図のうちの、再構成された３Ｄポリープモデルを示す図である。３Ｄポリープ再構成の結果を示す一連の図のうちの、テクスチャマッピングによる３Ｄポリープ視覚化を示す図である。 Kudoピットパターンの分類パターンを示す図である。色解析のアルゴリズムフローチャートである。テクスチャ解析のアルゴリズムフローチャートである。ピットパターン抽出及び特定の結果を示す一連の図のうちの、元の画像を示す図である。ピットパターン抽出及び特定の結果を示す一連の図のうちの、画像強調結果を示す図である。数字はピットサイズを示し、矢印を付けられた切れた円は丸みを帯びたピット形状を表し、「＋」は細長いピット形状を表し、この例では、アルゴリズムが、組織をグランドトゥルースに一致するKudo ＩＶピットとして特定する、ピットパターン抽出及び特定の結果を示す一連の図のうちの、自動化されたアルゴリズムからの統計的情報を示す図である。

１．自動画像品質評価のシステムフレームワーク
本発明は、複雑な、マルチセンサ、マルチデータ及びマルチアルゴリズムの画像処理システムである。その設計は、現象学（特徴）ベースの処理に基づいて構築されるモジュラ及びオープンアーキテクチャを提供する。特徴セットは、疾患を評価するために結腸鏡医によって用いられる同じ特徴を含む（ポリープサイズ、ピットパターン等）。画像ベースのポリープ再構成アルゴリズムは、いくつかのステップ：歪み補正、画像に基づくモデル化、３Ｄデータスティッチング及び再構成を特徴として含む。テクスチャベースのピットパターン解析は、形態学的演算子を用いてテクスチャパターンを抽出し、その後、統計モデル及び機械学習アルゴリズムを用いて、ピットの色及びテクスチャ情報に従って疾患重症度を分類する。３Ｄポリープ形状及びピットパターンを解析することによって、結腸鏡医に、巨視的に視診するための診断情報が提供される。また、そのオープンアーキテクチャは、他の巨視的な様式（ＯＣＴ：光コヒーレンストモグラフィ、ＦＴＩＲ：フーリエ変換赤外線及び共焦点顕微鏡法等）からの付加的な特徴をシームレスに統合して、さらに正確な診断情報を提供することができるようにする（全て参照により本明細書に援用される、Maroulis, D.E., Iakovidis, D.K., Karkanis, S.A., and Karras, D.A., CoLD: A versatile detection system for colorectal lesions in endoscopy video-frames, Compute Methods Programs Biomed. 70(2): 151-166. 2003; Buchsbaum, P.E. and Morris, MJ., Method for making monolithic patterning dichroic filter detector arrays for spectroscopic imaging, Ocean Optics, Inc., US Patent# 6,638,668 Barrie, J.D., Aitchison, K.A., Rossano, G.S., and Abraham, M.H., Patterning of multilayer dielectric optical coatings for multispectral CCDs, Thin Solid Films 270: 6-9, 1995）。本発明のシステムはまた、結腸鏡医のための視覚化及び仮想ナビゲーションも可能にし、これは、バーチャルリアリティ技法及び磁気センサによって果たされ、それによって、絶対空間の場所及び向きが提供される。

本発明において説明されるシステムは、デジタル内視鏡から入手されるＲＧＢ（赤−緑−青色空間）映像から開始する。一連のアルゴリズムを用いて、画像処理が実行され（全て参照により本明細書に援用される、Pascale, D., A Review of RGB Color Spaces, 5700 Hector Desloges, Montreal (Quebec), Canada, the Babel Color Company. 2003; Wolf, S., Color Correction Matrix for Digital Still and Video Imaging Systems, NTIA Technical Memorandum TM-04.-406. 2003）、これは２つのモジュールによって果たされる。第１のモジュールは映像品質解析モジュールであり、低品質の画像フレームを捨てて、それらの画像フレームを映像から削除することを目的とする。第２のモジュールは、映像品質強調モジュールであり、画像品質を向上させ、画像アーティファクトを低減することを目的とする。フレームワーク全体が図１に示される。

２．映像品質解析及び強調
映像品質解析及び強調は、グリント除去アルゴリズム、ぼやけ検出アルゴリズム、コントラスト強調アルゴリズム、超解像再構成アルゴリズム、及び映像安定化アルゴリズムを含む。そのフレームワークが図２及び図３に示される。

２．１グリント除去アルゴリズム
本発明人らは、子宮頸癌ＣＡＤ用に本発明人らが設計した同じグリント除去アルゴリズムを組み込む（Lange H.; Automatic glare removal in reflectance imagery of the uterine cervix; SPIE Medical Imaging 2005; SPIE Proc. 5747, 2005）。この方法は、ＲＧＢ画像から、良好なグリント対背景比を与え、その画像におけるグリント領域を見つけて、それらの領域の推定される画像特徴を復元することによってグリント領域を除去する、グリント特徴信号を抽出することである。本発明人らは、グリント特徴信号としてＧ（緑）画像成分を選択した。なぜなら、その成分は、高いグリント対背景比を与え、計算が簡単だからである。グリント領域は、飽和した領域、又はコントラストが高い小さな領域のいずれかとして検出される。飽和した領域は、適応的なしきい値処理法を用いて検出される。コントラストが高い小さな明るい領域は、種々のサイズ及びしきい値を用いる、形態学的なトップハットフィルタを用いて検出される。グリント領域の全範囲は、形態学的な制約流域セグメンテーションアルゴリズム（constraint watershed segmentation algorithm）に、一定拡張（constant dilation）を加えたものを用いて近似される。画像特徴（Ｒ、Ｇ、Ｂ）は最初に、ラプラスの方程式に基づいて、周囲の領域から補間される。その後、補間された領域強度関数に、その補間された領域強度と当該領域からの生の強度データとの間の誤差関数に基づくスケーリングされた強度関数と、検出された２値グリント領域に基づく信号とを加えることによって、強度画像特徴が復元される。グリント検出及び除去アルゴリズムは、３つの連続した処理ステップ、（１）グリント特徴抽出、（２）グリント領域検出、並びに（３）グリント領域除去及び画像特徴再構成から成る。図４は、グリント検出及び除去アルゴリズムのアルゴリズムフローチャートを示し、図５Ａ及び図５Ｂにおいて、グリント検出及び除去アルゴリズムの結果を見ることができる。

２．２ぼやけ検出アルゴリズム
ぼやけ検出アルゴリズムは、正規化画像電力スペクトル法を利用し（参照により本明細書に援用される、Gu J. and Li W., Automatic Image Quality Assessment for Cervical Imagery, SPIE Medical Imaging 2006; SPIE Proc. 6146, 2006）、この方法は、以下のステップとして記述することができる。

１．画像を複数の重なり合わないブロックに分割する。

２．ブロック毎に、周波数情報に基づいて局所的な見本を計算する。

３．ステップ２から得られた局所的な見本から全体的な統計値を計算する。

４．全体的な統計値から画像がぼやけているか否かを判定する。
局所的な見本は画像電力スペクトルによって計算され、その後、０成分によって正規化される。その後、この２Ｄ画像電力スペクトルが１Ｄ図に変換される。各周波数帯内のエネルギー特性を解析するために、各ラジアル値に従って、極座標積分が用いられる。電力スペクトルは３つの部分に区分され、低周波数エリアはぼやけに対して変化しない構造情報を表すものと見なされ、高周波数エリアは、詳細な情報を表すものと見なされ、よりぼやけの影響を受けやすい。これらの２つの積分間の比を解析することによって、ぼやけの程度を計算することができる（雑音スペクトルは、しきい値によって予め除去されている）。各小ブロックのぼやけの程度が判定された後に、全体として、全体的な測定値の判定を行うことができる。これは、画像全体の中で占められるぼやけたブロックの数のパーセンテージを用いることによって行うことができる。さらに、画像中央の品質の方がより重要であるので、中央にあるブロックと、周辺にあるブロックとの間で異なる重みが与えられる。このため、ぼやけたブロックの範囲が或るしきい値よりも小さい場合には、その画像は満足のいくほど鮮明であると見なされ、そうでない場合には、エラーメッセージがポップアップし、操作者にぼやけた画像としてフィードバックされる。図６は、そのアルゴリズムフローチャートであり、図７Ａ及び図７Ｂにおいて、ぼやけ検出の結果を見ることができる。

２．３コントラスト強調
コントラスト強調のために用いられるのが好ましい方法は、適応的ヒストグラム等化である。適応的ヒストグラム等化は、強度画像内の値を変換することによって、画像のコントラストを高める（参照により本明細書に援用される、Zuiderveld, K-, Contrast limited adaptive histogram equalization, Princeton, NJ: Academic Press, Graphics gems IV, ed. Heckbert, P., 1994）。全体的ヒストグラム等化とは異なり、適応的ヒストグラム等化は、画像全体ではなく、小さなデータ領域（窓）において作用する。出力領域のヒストグラムが、指定されたヒストグラムと概ね一致するように、各窓のコントラストが高められる。その後、人為的に引き起こされる境界を除去するために、双線形補間を用いて、隣接する窓が合成される。画像内に存在することがある雑音を増幅するのを避けるために、コントラスト、特に均質なエリア内のコントラストを制限することができる。図８Ａ及び図８Ｂにおいて、コントラスト強調の結果を見ることができる。

２．４超解像度再構成
超解像は、同じ物体の多数のフレームを用いて、より高い解像度の画像を達成する技法である（全て参照により本明細書に援用される、Kim, S.P., Bose, N.K., and Valensuela, H.M., Recursive reconstruction of high resolution image from noisy undersampled multiframes, IEEE Transaction on Acoustics, Speech, and Signal Processing 38(6): 1031-1027, 1990; Irani, M. and Peleg, S., Improving resolution by image registration, CVGIP:GM 53 : 231 -239, 1991）。超解像は、フレームが互いから数分の１ピクセルだけシフトされるときに機能する。超解像アルゴリズムは、より小さな元のフレーム内の情報を含む、より大きな画像を生成することができ、最初に、画像サブピクセル位置合わせを利用して、いくつかの低解像度画像間の対応を確立し、その後、サブピクセル補間アルゴリズムを用いて、より高い解像度の画像を再構成する。図９Ａ、図９Ｂ、図９Ｃ、図９Ｄ及び図９Ｅは、超解像度再構成の結果を示す。

２．５映像安定化
映像安定化は、カメラの望ましくない振動又は小刻みな揺れに起因する画像の動きを除去することによって、補償された映像シーケンスを生成する方法である。好ましい映像安定化アルゴリズムは、図１０に示されるように、動き推定（ＭＥ）ブロック、動き平滑（ＭＳ）ブロック、及び動き補正（ＭＣ）ブロックから成る。ＭＥブロックは、フレーム間の動きを推定し、局所動き推定器と全体動き判断ユニットとに分割されることができる。局所動き推定器は、典型的なブロックベース又は勾配ベースの方法を用いて、連続するフレーム間で推定される高密度オプティカルフロー情報を返す。その後、全体動き判断ユニットが、所与のオプティカルフロー情報によって示される動きを最もよく特徴付ける適切なグローバル変換を決定する。全体動きパラメータはＭＳに送られ、ＭＳでは多くの場合に、望ましくないカメラの動きを除去するが意図的なカメラの動きを保持するように、動きパラメータがフィルタリングされる。最後に、ＭＣが、フィルタリングされたグローバル変換情報を用いて、現在のフレームをワーピングし、安定化した映像シーケンスを生成する。図１１Ａ及び図１１Ｂは、映像安定化の結果を示す。

３．３次元結腸モデル化及び再構成
３Ｄ結腸モデルは、視覚化、並びに外科手術計画及び訓練の際に外科医を支援する、結腸鏡検査法におけるコンピュータ支援診断（ＣＡＤ）システムの好ましい構成要素である。それゆえ、内視鏡映像（又は画像）から３Ｄ結腸モデルを構成する能力は、結腸鏡検査法のためのＣＡＤシステムにおいて好ましい。結腸内の静的な局在化した３Ｄ解剖構造をモデル化するために、数学的な定式化及びアルゴリズムが開発されており、これらは厳密な検査及び正確な寸法決定のために多数の新たな視点から描画することができる（全て参照により本明細書に援用される、Mori, K., Deguchi, D., Sugiyama, J., Suenaga, Y. et al., Tracking of a bronchoscope using epipolar geometry analysis and intensity- based image registration of real and virtual endoscopic images, Med. Image Anal. 6(3): 321-336. 2002; Lyon, R. and Hubel, P., Eyeing the camera: into the next century, 349-355. IS&T/TSID 10th Color Imaging Conference, Scottsdale, AZ, 2002; Zhang, X. and Payandeh, S., Toward Application of Image Tracking in Laparoscopic Surgery, in International Conference on Pattern Recognition, Proc. of International Conference on Pattern Recognition 364-367. ICPR2000, 2000）。この能力は、外科医が、或る異常な組織成長に気づき、より厳密な検査及び正確な寸法決定を望むときのシナリオにおいて有用である。

本発明のモデル化システムは映像からの画像だけを使用し、画像に基づいてモデル化するために、十分に確立されているコンピュータビジョンパラダイムに従う。画像から顕著な特徴が抽出され、連続追跡及び個別照合によって、多数の画像にわたって、その対応が確立される。これらの特徴対応を用いて、カメラの動きを推測する。カメラの動きパラメータによって、標準的な立体構成になるように画像を調整し、これらの画像においてピクセルの動き（相違）を推測することができるようにする。その後、推測された相違を用いて、３Ｄ表面深度を再生する。画像内に記録されるテクスチャ情報と共に、推測された３Ｄ深度によって３Ｄモデルを構成することができるようになり、その構造情報及び外観情報はいずれも、多数の新たな視点から描画することができる。より正確には、そのモデル化システムは、以下の構成要素を含む。

１．較正：これは、固有のカメラパラメータを推定すると共に、画像歪み（たとえば、レンズ収差）があれば、これを補正するオフライン方法である。

２．特徴選択：このステップは、映像解析を確実にするために、特有且つ不変の結腸特徴を特定する。

３．特徴照合：このステップは、多数の画像又は映像フレームにわたって画像特徴を照合し、これらの特徴の対応を確立する。

４．カメラ動き推測：このステップは、照合された画像特徴を用いて、隣接する画像又は映像フレーム間のカメラの動きを推測する。

５．画像調整：このステップは、２つの画像からの対応するエピポーラ線が位置合わせされ、画像走査線として重ねられるように、画像ピクセルを配置し直すことである。このステップによって、カメラの動きに関係なく、標準的な立体照合（stereo matching）技法を適用することができるようになる。

６．立体照合：このステップは、２つの調整された画像間の相違（画像の動き）を計算して、３Ｄ深度を推測することができるようにすることである。

７．モデル構成：このステップは、ピクセル相違から３Ｄ深度を推測し、構造及び外観の両方の情報を取り込む３Ｄモデルを構成することである。

８：モデル描画：この最後のステップは、任意の新たな視点からコンピュータモデルを描画することを目的とする。
図１２は、３Ｄ結腸モデル化及び再構成のアルゴリズムフローチャートを示す。図１３Ａ、図１３Ｂ、図１３Ｃ及び図１３Ｄは歪み補正結果を示し、図１４Ａ、図１４Ｂ、図１４Ｃ及び図１４Ｄは３Ｄポリープ再構成の結果を示す。

内視鏡映像から３次元ポリープモデルを作成することによって、３つの目標を達成することができるようになる。第一に、そのモデルによって、臨床医が、結腸鏡検査の挿入段階において（モデル上の）エリアをマークし、引き抜き時にこれらのエリアを処置することができるようになる。第二に、監視を必要とする高リスクの患者の場合に、複数の検査にわたって患者の臨床状態を登録し、それによって変化を検出することができるようにするフレームワークを提供する。第三に、３Ｄ再構成後に、本発明のシステムはポリープの物理的なサイズを定量的に計算することができ、結腸鏡医に、診断を下すための統計的な判定基準を与えることができる。

４．ピットパターン解析
平坦な病変及び窪んだ病変のための処置判断は、「ピットパターン」としても知られている、リーベルキューン陰窩の管腔表面構造を含む、巨視的な形態学的外観の詳細な検査に基づく。ピットパターン解析は、下にある組織構造、及び垂直方向への粘膜下侵襲の深度の両方の場合に、或る程度の陽性適中率を提供することができる。好ましいシステムは、Kudo組織分類法を利用し、この方法は、組織学的な巨視的形態及びサイズに従って、７つのタイプのピットパターンを記述する（全て参照により本明細書に援用される、Kudo, S., Hirota, S., Nakajima, T., Hosobe, S., Kusaka, H., Kobayashi, T. et al., Colorectal tumours and pit pattern, Journal of Clinical Pathology. 47(10): 880-885. 1994. Kudo, S., Rubio, C.A., Teixeira, C.R., Kashida, H., and Kogure, E., Pit pattern in colorectal neoplasia: endoscopic magnifying view, Endoscopy 33(4): 367-373. 2001. Kudo, S., Tamura, S., Nakajima, T., Yamano, H., Kusaka, H., and Watanabe, H., Diagnosis of colorectal tumorous lesions by magnifying endoscopy, Gastrointestinal Endoscopy. 44(1): 8-14. 1996）。これらのピットパターンは、表面パターンを、その下にある組織構造に関連付けるために、病理組織と相互に関連している。病変を、基本的な臨床グループに分類することができる。Kudo陰窩グループＩ／ＩＩは、非腫瘍性、非侵襲パターンを構成する。グループＩＩＩＬ／ＩＩＩＳ／ＩＶ／ＶＩは腫瘍性であるが、非侵襲性の病変を表す。グループＶＮは、侵襲性を伴う腫瘍を表す。詳細な特徴が以下に述べられており、外観及び写真の例を図１５において見ることができる。

・正常な粘膜のタイプＩピットパターンは、規則的なサイズ及び配列を有する丸みを帯びたピットから成る。

・良性の過形成性ポリープのタイプＩＩピットパターンはタイプＩよりも大きく、相対的に大きな星形又はたまねぎ形のピットから成る。

・タイプＩＩＩＬピットパターンは、タイプＩよりも大きな管状の、又は丸みを帯びたピットから構成され、ポリープ状の腺腫に関連付けられる。

・タイプＩＩＩＳピットパターンは、タイプＩよりも小さい、管状又は丸みを帯びたピットから構成され、多くの場合に高悪性度の異形成である窪んだ病変に関連付けられる。

・タイプＩＶピットパターンは、腺腫性病変に関連付けられる、分枝又は回状パターンである。

・タイプＶピットパターンはＶＩ及びＶＮに分けられる。タイプＶＩ（不規則）は、形状、サイズ及び配列が不規則であるピットを有する。タイプＶＮ（非構造）は、ピットパターンの不在を示す。

ピットパターン解析モジュールは、高倍率内視鏡画像から開始し、テクスチャパターンを抽出するために、最初に形態学的演算子が実行される（参照により本明細書に援用される、Chen, C.H., Pau, L.F., and Wang, P.S.P., Segmentation Tools In Mathematical Morphology, Handbook of Pattern Recognition and Computer Vision, in Handbook of Pattern Recognition and Computer Vision, pp. 443-456. World Scientific Publishing Co., 1989）。その後、統計モデル及び機械学習アルゴリズムを利用して（参照により本明細書に援用される、Sonka, M., Image Processing Analysis and Machine Vision, in 1998）、ピットの色及びテクスチャ情報に従って疾患重症度を分類する（全て参照により本明細書に援用される、Lin, H.-C, Wang, L.-L., and Yang, S.-N., Extracting periodicity of a regular texture based on autocorrelation functions, Patter Recognition Letters 18(5): 433-443, ELSVIER Science Direct. 1997; Argenti, F., Alparone, L., and Benelli, G., Fast algorithms for texture analysis using co-occurrence matrices, in Radar and Signal Processing, IEE Proceedings F, 137: 443-448. [6], 1990）。トレーニングの目的を果たすために、注釈を付された多数の参照画像が使用され、それゆえ、種々の種類への可能性に基づいて、試験画像をこれらの参照画像に対してクラスタ化することができる（全て参照により本明細書に援用される、Magoulas, G.D., Plagianakos, V.P., and Vrahatis, M.N., Neural network-based colonoscopic diagnosis using on-line learning and differential evolution, Applied Soft Computing 4(4): 369-379, 2004; Liu, Y., Collins, R.T., and Tsin, Y., A computational model for periodic pattern perception based on frieze and wallpaper groups, Liu, Y., Collins, R.T., and Tsin, Y.,Pattern Analysis andMachine Intelligence, IEEE Transactions on 26(3): 354-371, 2004; Liu, Y., Lazar, N., Rothfus, W.E., Dellaert, F., Moore, S., Scheider, J., and Kanade, T., Semantic Based Biomedical Image Indexing and Retrival, Trends in Advances in Content-Based Image and Video Retrival, eds. Shapiro, D., Kriegel, and Veltkamp, 2004; Zhang, J., Collins, R., and Liu, Y., Representation and matching of articulated shapes, in Computer Vision and Pattern Recognition, 2: II-342-II-349. IEEE Conference on Computer Vision and Pattern Recognition CVPR 2004, 2004
）。トレーニング特徴は、ピットサイズ、ピット形状、及びピット密度を含む。図１６は、色解析のアルゴリズムフローチャートを示す。図１７は、テクスチャ解析のアルゴリズムフローチャートを示す。そして、図１８は、ピットパターン抽出及び特定の結果を示す。

本発明は、本明細書で説明される最良の形態との関連で開示されてきたが、特許請求の範囲によって画策されるような、本発明の精神及び範囲内に入る他の実施形態も可能であることは理解されたい。したがって、特許請求の範囲において具体的かつ明示的に述べられる場合を除いて、本発明では、いかなる限定を意味するべきでもなく、また推測されるべきでもない。

本発明は、臓器の検査中に内視鏡からの映像データを利用することができるときにはいつでも、そして特に、潜在的に癌性の領域を診断する必要があり、それらの領域の動画が入手することができるときに用いることができる。

Claims

自動化された画像処理システムであって、
大腸の結腸鏡検査中に映像データを受け取る内視鏡に結合されたコンピュータと、
前記映像データを解析し、そして、画像フレームであって、当該画像フレーム内で、ぼやけたブロックの範囲がしきい値未満である、当該画像フレームを決定して、前記映像データから、満足のいく画像フレームを提供するように構成された映像品質解析モジュールであって、当該映像品質解析モジュールが、グリント特徴抽出、グリント領域検出、及び、グリント領域除去、並びに、画像特徴再構築を実行する、グリント除去アルゴリズムを実行するように構成されるものと、
前記満足のいく画像フレームにおけるコントラストを向上させ、同じ被写体についての複数フレームを使用することによって前記満足のいく画像フレームに超解像を適用して、より高い解像度画像を実現し、前記満足のいく画像フレームに映像安定化を提供するように構成された、映像品質向上モジュールと、
前記満足のいく画像フレームにおいて、任意の病変又はポリープを検出し、分類することによって、前記任意の病変又はポリープに関する診断情報を出力するように構成された解析モジュールと、
を備え、
前記映像品質解析モジュール、前記映像品質向上モジュール、及び、前記解析モジュールが、全て動作して、前記検査中に、リアルタイムで前記診断情報を出力する、
システム。
前記解析モジュールが、色較正、色解析、テクスチャ解析及び特徴検出を実行するように構成される、請求項１に記載のシステム。
前記解析モジュールが、前記前記満足のいく画像フレームにおいて血管の解析を実行するように構成される、請求項１に記載のシステム。
前記解析モジュールが、前記前記満足のいく画像フレームにおいてピットパターンの解析を実行するように構成されたピットパターン解析モジュールを含む、請求項１に記載のシステム。
前記満足のいく画像フレームから、３次元で前記大腸の静止画を再構築して、再構築されたモデルを形成し、当該再構築が、前記結腸鏡検査中にリアルタイムで実行されるものであり、
魚眼歪み補正、形状較正、画像に基づくモデル化、及び、３次元データスティッチングを実行する、
ように構成された、３次元モデリング及び再構築モジュールを更に備え、
前記解析モジュールが、更に、前記再構築されたモデルから、前記大腸における、任意の病変、又は、ポリープの３次元形状、及び、サイズ情報を再生するように構成される、
請求項１に記載のシステム。