JP7704920B2 - 人工知能基盤の大腸病変検出方法及び装置 - Google Patents

Description

本発明は大腸ポリープ検出方法及び装置に関し、より詳しくは、本発明は、人工知能基
盤の血管学習による大腸ポリープ検出方法及び装置に関する。

近年、西洋型の食生活と運動不足により、韓国における大腸がんの発症率は急激に増加
している。

大腸がんの８０～９０％は、大腸にできた小さな塊であるポリープ（腺腫）から始まる
。

ある統計によると、大腸内視鏡検査によって、このポリープを早期発見して除去すれば
、大腸がんによる死亡率を６６％にも下げられるという報告もある。

専門医療陣は、各種検査によって被検査者の病気を診断し、治療法を提示する。

場合によっては、より正確な診断のために、放射線画像や組織スライドをスキャンした
病理画像を判読する。

ところが、１０万×１０万ピクセルサイズの画像から、１００×１００ピクセルサイズ
の異常な部位を、人の目で見つけることは非常に難しい作業に属する。

いくら専門的な修練過程を経た熟練医であっても、肉眼では腫瘍組織と正常組織とを区
分することが容易ではなく、画像によっては分析に数十分から数時間がかかることもある
。

なお、異常なケースを見逃す状況がしばしば発生する。

大腸は、長くて屈曲が激しく、多くの皺のある形状であるため、熟練医が大腸の内壁の
表面を完璧に観察することは非常に難しい。

特に、大腸粘膜上に存在する、薄くて平らな形状の薄膜平面型ポリープは、普通の熟練
度では発見が容易ではなく、大腸粘膜の微細な変化や、１ｍｍ前後の大きさを有するがん
細胞は、肉眼で簡単に区別するのが難しい。

また、人の肉眼で確認する作業のため、ヒューマンエラーが生じる可能性があり、同一
の被検査者に対して互いに異なる診断をする場合も多くある。

専門医が、限られた時間内に検討しなければならない、多くの情報を考慮すると、誤診
の可能性を完全に排除することはできない。

代表的に、がんの誤診被害の原因としては、追加の検査を疎かにしたか、判読エラーで
あったという応答比率が最も高いものと知られている。

なお、ポリープの大きさが小さかったり薄かったりするほど、見逃し率が高くなる傾向
にあり、大腸内視鏡の正常診断を受けてから数年以内に、大腸がんの診断を受けるケース
もしばしば発生する。

また、大腸内視鏡の画像判読モニタにて、支援する解像度、明暗比、輝度などの要素に
応じて、画像がまともに見えない可能性も、完全に排除できない。

大腸内視鏡の画像判読モニタは、少なくとも８ビットの条件の高解像度といった要素を
必須で支援しなければならないが、現実的には高価な装備であるため、購買や利用が制限
されるという限界があった。

このような限界を克服し、より効率的に医療画像を判読しようとする目的から、近年、
ディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）といった人工知能（ＡＩ）技術が、
医療画像を用いた診断分野に導入されている。

ディープラーニングのような機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）に基づく
人工知能（ＡＩ）技術は、医療画像を用いて被検査者の疾病を正確に診断する上で、飛躍
的な発展をもたらすにあたっての土台となっている。

そこで、本発明者は、人工知能を用いて大腸内視鏡の画像中にて、大腸粘膜及び大腸血
管が含まれている各区間の画像を認識し、大腸血管像の断絶の有無に対するディープラー
ニングモデルを生成することで、検査の熟練度が低い大腸内視鏡の検査者でも、大腸粘膜
上に存在する薄くて平らな形状の薄膜平面型ポリープを、正確に探知できるようにする、
人工知能基盤の血管学習による大腸ポリープ検出方法及び装置を発明するに至った。

本開示が解決しようする課題は、結腸血管構造の形状を学習した人工知能を用いて、大
腸粘膜の間に見える血管像が、表示する線を中心にして途切れる様相を検出し、病変疑い
として判別することができるようにする、人工知能基盤の血管学習による大腸ポリープ検
出方法を提供することにある。

本発明の他の目的は、前記課題を達成するための人工知能基盤の血管学習による大腸ポ
リープ検出装置を提供することにある。

上述した課題を解決するための本発明の一側面に係る人工知能基盤の血管学習による大
腸ポリープ検出方法は、装置により実行される方法において、（ａ）被検査者の大腸に投
入された内視鏡から撮影された画像をリアルタイムで受信する段階と、（ｂ）前記画像中
にて、大腸粘膜及び大腸血管が含まれている、それぞれの区間の画像を認識する段階と、
（ｃ）前記それぞれの区間の画像ごとに、大腸血管像の断絶の有無を判断する段階と、（
ｄ）前記それぞれの区間の画像中にて、大腸血管が途切れた血管像を示す第１視覚効果を
表示する段階と、（ｅ）前記それぞれの区間の画像中にて、大腸血管が連続した血管像を
示す第２視覚効果を表示する段階と、を含み、前記（ｂ）段階は、ディープラーニングモ
デルによって前記それぞれの区間の画像を認識し、前記ディープラーニングモデルは、外
部のアノテータ(annotator)から取得した被検査者の複数の大腸画像中の血管データと、
前記大腸の内部に照射された光による、血管像が途切れている程度及び血管のパターンと
、に基づいて機械学習されたモデルであることを特徴とする。

上述した課題を解決するための本発明の一側面に係る、人工知能基盤の血管学習による
大腸ポリープ検出方法における前記第１視覚効果は、前記それぞれの区間の画像中におけ
る大腸血管が途切れた当該血管像に、それぞれのマーカーが表示される視覚効果を含むこ
とを特徴とする。

上述した課題を解決するための本発明の一側面に係る、人工知能基盤の血管学習による
大腸ポリープ検出方法における前記それぞれのマーカーの大きさは、該当血管像が途切れ
ている程度に基づいて決定されることを特徴とする。

上述した課題を解決するための本発明の一側面に係る、人工知能基盤の血管学習による
大腸ポリープ検出方法は、制御部が、前記第１視覚効果によって大腸粘膜上における薄膜
平面型ポリープの存否及び大きさを判断し、前記第２視覚効果によって大腸粘膜上の薄膜
平面型ポリープが存在しない事実を判断することを特徴とする。

上述した課題を解決するための本発明の一側面に係る、人工知能基盤の血管学習による
大腸ポリープ検出方法における前記（ｃ）段階にて、前記大腸血管像の断絶の有無は、該
当血管像の途切れている程度が、既に設定されたパーセント閾値以上に変化するか否かに
より判断され、前記血管像の途切れている程度が、前記既に設定されたパーセント閾値以
上の場合、制御部が、大腸粘膜上の該当領域に薄膜平面型ポリープがあると判断すること
を特徴とする。

上述した課題を解決するための本発明の一側面に係る、人工知能基盤の血管学習による
大腸ポリープ検出方法は、ハードウェアであるコンピュータと結合して行うために、コン
ピュータ読み取り可能な記録媒体に、コンピュータプログラムとして格納されることを特
徴とする。

前記他の課題を解決するための本発明の他の側面に係る、人工知能基盤の血管学習によ
る大腸ポリープ検出装置は、ディスプレイ部と、被検査者の大腸に投入された大腸内視鏡
から、撮影された画像をリアルタイムで受信する通信部と、前記受信した画像、及び、前
記受信した画像にて大腸血管を認識するためのディープラーニングモデルを格納する格納
部と、前記ディープラーニングモデルによって、前記受信した画像中における大腸粘膜及
び大腸血管が含まれている、それぞれの区間の画像を認識し、前記それぞれの区間の画像
中にて大腸血管が途切れた血管像を示す第１視覚効果を前記ディスプレイ部上に表示する
とともに、前記それぞれの区間の画像中にて、大腸血管が連続した血管像を示す第２視覚
効果を前記ディスプレイ部上に表示する制御部とを含み、前記ディープラーニングモデル
は、外部のアノテータから取得した被検査者の複数の大腸画像中の血管データと、前記大
腸の内部に照射された光による血管像が途切れている程度及び血管のパターンと、に基づ
いて機械学習されたモデルであることを特徴とする。

前記他の課題を解決するための本発明の他の側面に係る、人工知能基盤の血管学習によ
る大腸ポリープ検出装置の前記第１視覚効果は、前記各区間の画像中の大腸血管が切れた
該当血管像に、それぞれのマーカーが表示される視覚効果を含み、前記それぞれのマーカ
ーの大きさは、該当血管像が切れている程度に基づいて決定されることを特徴とする。

前記他の課題を解決するための本発明の他の側面に係る、人工知能基盤の血管学習によ
る大腸ポリープ検出装置の前記制御部は、前記第１視覚効果によって大腸粘膜上における
薄膜平面型ポリープの存否及び大きさを判断するとともに、前記第２視覚効果によって大
腸粘膜上の薄膜平面型ポリープが存在しない事実を判断することを特徴とする。

前記他の課題を解決するための本発明の他の側面に係る、人工知能基盤の血管学習によ
る大腸ポリープ検出装置の前記制御部は、前記大腸血管像の断絶の有無について、該当血
管像の途切れている程度が、既に設定されたパーセント閾値以上に変化するか否かにより
判断し、前記既に設定されたパーセント閾値以上の場合、大腸粘膜上の該当領域に、薄膜
平面型ポリープが存在すると判断することを特徴とする。

本発明のその他の具体的な事項は、詳細な説明及び図面に含まれている。

本発明によると、大腸内視鏡の画像によって大腸疾患の判読時に、検査の熟練度が低い
大腸内視鏡の検査者でも、大腸粘膜上に存在する、薄くて平らな形状の薄膜平面型ポリー
プが隠れている異常な大腸病変に対して、高い精度でポリープを探知及び切除することが
できる。

本発明の効果は、以上で言及した効果に制限されず、言及していない更に他の効果は、
下記の記載から通常の技術者が明確に理解できるだろう。

本発明の一実施例による、人工知能基盤の血管学習を通じた大腸ポリープ検出装置を含むシステムのブロック図である。 本発明の一実施例による、人工知能基盤の血管学習を通じた大腸ポリープの検出のために用いられる、ディープラーニングモデルが学習されることを概略的に示すブロック図である。 本発明の一実施例により、撮影された内視鏡画像に、薄膜板状のポリープが隠れている大腸粘膜が、４つのケースごとにディスプレイされたことを示す例示図である。 図３に示した４つのケースごとの例示図に、表示線が追加でディスプレイされたことを示す例示図である。 本発明の一実施例により、血管が見える程度の差を説明する大腸壁の断面図である。 本発明の他の実施例による、人工知能基盤の血管学習を通じた大腸ポリープ検出方法の全般的な動作を説明する順序図である。

本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述
されている実施例を参照すれば明確になる。しかし、本発明は、以下で開示される実施例
に制限されるものではなく、互いに異なる多様な形態に具現することができる。但し、本
実施例は、本発明の開示を完全なものにし、本発明が属する技術分野における通常の技術
者に本発明の範疇を完全に理解させるために提供されるものであり、本発明は、請求項の
範疇により定義されるに過ぎない。

本明細書で用いられた用語は、実施例を説明するためのものであり、本発明を制限しよ
うとするものではない。本明細書において、単数型は、特に言及しない限り複数型も含む
。明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍ
ｐｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追
加を排除しない。明細書全体に亘って、同一の図面符号は同一の構成要素を示し、「及び
／又は」は言及された構成要素のそれぞれ及び１つ以上の全ての組み合わせを含む。たと
え、「第１」、「第２」などが多様な構成要素を叙述するために用いられていても、これ
らの構成要素は、これらの用語により制限されないのはもちろんである。これらの用語は
、単に１つの構成要素を他の構成要素と区別するために用いる。従って、以下で言及され
る第１構成要素は、本発明の技術的思想内にて、第２構成要素でもあり得るのは言うまで
もない。

他の定義がなければ、本明細書で用いられる全ての用語（技術及び科学的用語を含む）
は、本発明が属する技術分野における通常の技術者が共通して理解できる意味として用い
られる。また、一般に用いられる辞典に定義されている用語は、明白に特に定義されてい
ない限り、理想的に又は過度に解釈されない。

空間的に相対的な用語である、「下（ｂｅｌｏｗ）」、「真下（ｂｅｎｅａｔｈ）」、
「下部（ｌｏｗｅｒ）」、「上（ａｂｏｖｅ）」、「上部（ｕｐｐｅｒ）」などは、図示
されているように、１つの構成要素と他の構成要素との相関関係を容易に記述するために
使用され得る。空間的に相対的な用語は、図示されている方向に加えて、使用時又は動作
時に、構成要素の互いに異なる方向を含む用語として理解されるべきである。例えば、図
示されている構成要素をひっくり返す場合、他の構成要素の「下（ｂｅｌｏｗ）」又は「
真下（ｂｅｎｅａｔｈ）」と記述されている構成要素は、他の構成要素の「上（ａｂｏｖ
ｅ）」に置かれうる。従って、例示的な用語である「下」は、下と上の方向を何れも含む
ことができる。構成要素は他の方向にも配向されうるのであり、これにより、空間的に相
対的な用語は、配向に応じて解釈されうる。

本発明の明細書全体にわたって同一の参照符号は、同一の構成要素を示す。本明細書が
実施例の全ての要素を説明するものではなく、本発明が属する技術分野における一般的な
内容、又は実施例同士の間で重複する内容は、省略する。明細書にて用いられる「部、モ
ジュール、部材、ブロック」という用語は、ソフトウェア又はハードウェアで具現されう
るのであり、実施例に応じて、複数の「部、モジュール、部材、ブロック」が１つの構成
要素として具現されるか、１つの「部、モジュール、部材、ブロック」が複数の構成要素
を含むこともできる。

また、ある部分が、ある構成要素を「含む」とするとき、これは特に反する記載がない
限り、他の構成要素を除外するものではなく、他の構成要素を更に含むことができること
を意味する。

それぞれの段階において、識別符号は説明の便宜上、用いられるものであって、識別符
号は、それぞれの段階の順序を説明するものではなく、それぞれの段階は文脈上、明確に
特定の順序を記載しない限り、明記された順序と異なって実施されうる。

本発明において、制御部２４０は、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、コントローラ
（ｃｏｎｔｒｏｌｌｅｒ）、マイクロコントローラ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、
マイクロコンピュータ（ｍｉｃｒｏｃｏｍｐｕｔｅｒ）などであって、通信部２１０、デ
ィスプレイ部２２０及び格納部２３０についての有機的な動作を全体的に制御し、各種の
判断及び演算を行う構成要素を意味し、ハードウェア（ｈａｒｄｗａｒｅ）又はファーム
ウェア（ｆｉｒｍｗａｒｅ）又はソフトウェア、又はこれらの結合により具現されうる。

以下、添付の図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例に係る、人工知能基盤の血管学習による大腸ポリープ検出装
置を含むシステムのブロック図であって、大腸内視鏡１００及び大腸ポリープ検出装置２
００を含む。

大腸内視鏡１００は、カメラ１１０、照明１２０を含み、大腸ポリープ検出装置２００
は、通信部２１０、ディスプレイ部２２０、格納部２３０及び制御部２４０を含む。

図２は、本発明の一実施例に係る、人工知能基盤の血管学習による大腸ポリープの検出
のために用いられる、ディープラーニングモデルが学習されることを概略的に示すブロッ
ク図である。

図３は、本発明の一実施例により、撮影された内視鏡画像に、薄膜板状のポリープが隠
れている大腸粘膜が、４つのケースごとにディスプレイされたことを示す例示図である。

図４は、図３に示した４つのケースごとの例示図に、表示線が追加でディスプレイされ
たことを示す例示図である。

図５は、本発明の一実施例により、血管が見える程度の差を説明する大腸壁の断面図で
ある。

図６は、本発明の他の実施例に係る、人工知能基盤の血管学習による大腸ポリープ検出
方法の全般的な動作を説明する順序図である。

図１ないし図６を参照して、本発明の一実施例に係る、人工知能基盤の血管学習による
大腸ポリープ検出方法の有機的な動作を詳細に説明すると、以下の通りである。

ディープラーニングとは、人の神経細胞（ｂｉｏｌｏｇｉｃａｌ ｎｅｕｒｏｎ）を模
写して機械が学習するようにする、人工神経網（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎ
ｅｔｗｏｒｋ）基盤の機械学習法を意味する。

ディープラーニング技術では、学習データを繰り返し学習して、疾患を診断するための
診断モデルを形成するが、学習データとして用いられる疾患の種類が多様であるため、各
疾患に特化した診断モデルを開発することが重要である。

そこで、本開示では、大腸に対する画像を分析して、血管像が突然に途切れる形態を見
せる箇所を、薄くて平らな形状の薄膜平面型ポリープが存在している可能性がある箇所と
して表示して、ポリープを認識するディープラーニングアルゴリズムを用いる。

本発明のディープラーニングアルゴリズムにおいて、結腸血管構造（ｃｏｌｏｎ ｖａ
ｓｃｕｌｔｕｒｅ）の形状を学習した人工知能（ＡＩ）が、大腸粘膜の下層に位置する血
管の像が、一種のマーカーである表示線を中心にして途切れる様相を検出し、病変疑いと
して判別する。

即ち、大腸ポリープ検出装置２００は、大腸内視鏡を行う際、大腸内視鏡の画像にて、
表示線を中心にして途切れた血管の像を認識し、それに対する画像を大腸内視鏡の検査者
に提供する。

これにより、大腸粘膜上に、薄くて平らな形状で存在する、薄膜平面型ポリープについ
て、容易に発見できるようにする。

大腸ポリープ検出装置２００は、大腸内視鏡の画像にて認識した表示線を中心にして、
血管の像における断絶の有無の別に視覚効果を異ならせて表示することによって、血管が
見える程度が大きい場合に、大腸粘膜の下層に位置する血管の一部のみを確認して次に進
むのではなく、血管全体について確認することができるように誘導する。

これにより、大腸粘膜上に、薄くて平らな形状に存在するポリープの存否を明確に判断
できるようにする。

図１を参照すると、大腸内視鏡１００は大腸内に挿入され、大腸内の生体組織を観察す
る装置であって、カメラ１１０、照明１２０などを含む。

また、大腸ポリープ検出装置２００は、通信部２１０、ディスプレイ部２２０、格納部
２３０及び制御部２４０を含む。

通信部２１０は、大腸ポリープ検出装置２００と無線通信システムとの間、大腸ポリー
プ検出装置２００と内視鏡１００との間、又は、大腸ポリープ検出装置２００と外部装置
（図示せず）との間の無線通信を可能にする１つ以上のモジュールを含むことができる。

通信部２１０は、被検査者の大腸に投入された大腸内視鏡１００から、撮影された内視
鏡画像をリアルタイムで受信することができ、複数の被検査者の大腸に投入される内視鏡
１００から撮影された画像を受信するか、一人の被検査者に対して複数回大腸に投入され
る内視鏡１００から撮影された画像を受信できる。

通信部２１０は、ディープラーニングモデル２３１の学習のために、内視鏡１００によ
って撮影された被検査者の大腸についての画像に対して、アノテータ（ａｎｎｏｔａｔｏ
ｒ）、一例として、医療陣から取得した、大腸粘膜の下部に位置する血管データを受信で
きる。

ディスプレイ部２２０は、タッチセンサと互いにレイヤ構造を形成するか、一体型に形
成されることによって、タッチスクリーンとして具現することができる。

このようなタッチスクリーンは、大腸ポリープ検出装置２００とユーザとの間の入力イ
ンターフェースを提供すると同時に、大腸ポリープ検出装置２００とユーザとの間の出力
インターフェースを提供する。

ディスプレイ部２２０は、制御部２４０で生成した多様な情報を表示してユーザに提供
すると同時に、ユーザから多様な情報の入力を受けることができる。

より詳細には、ディスプレイ部２２０は、通信部２１０から受信した内視鏡画像のそれ
ぞれの区間ごとに、大腸粘膜の下部に位置する大腸血管が途切れた血管像を示す第１視覚
効果を表示できる。

また、ディスプレイ部２２０は、それぞれの区間の画像中に、大腸血管が途切れずに連
続した血管像を示す第２視覚効果を表示できる。

格納部２３０は、大腸ポリープ検出装置２００の多様な機能を支援する情報を格納でき
る。

格納部２３０は、大腸ポリープ検出装置２００にて駆動される多数のアプリケーション
プログラム（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍ又はアプリケーション（ａｐｐｌ
ｉｃａｔｉｏｎ））、大腸ポリープ検出装置２００の動作のためのデータ、命令語を格納
できる。

これらのアプリケーションプログラムのうちの少なくとも一部は、無線通信を介して外
部サーバ（図示せず）からダウンロードできる。また、これらのアプリケーションプログ
ラムのうちの少なくとも一部は、大腸ポリープ検出装置２００の基本的な機能のために存
在し得る。

一方、アプリケーションプログラムは、格納部２３０に格納され、大腸ポリープ検出装
置２００上にインストールされ、制御部２４０によって、大腸ポリープ検出装置２００の
動作（又は機能）を行うように駆動されうる。

格納部２３０は、被検査者の大腸に投入された大腸内視鏡１００から撮影された画像に
て、大腸粘膜の下部に位置する血管を認識するためのディープラーニングモデル２３１を
格納できる。

ここで、ディープラーニングモデル２３１は、畳み込みニューラルネットワーク（ＣＮ
Ｎ、ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、以下ＣＮＮという）を
含むことができるが、必ずしもこれに限定されず、多様な構造の神経網で形成されうる。

ＣＮＮは、画像の各領域に対して複数のフィルタを適用して特徴マップ（Ｆｅａｔｕｒ
ｅ Ｍａｐ）を作り出す畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）と、特徴マッ
プを空間的に統合することによって、位置や回転の変化に不変な特徴を抽出できるように
するプーリング層（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）とを、交互に複数回繰り返す構造で形
成されうる。

これにより、点、線、面などの低い水準の特徴から、複雑かつ意味のある高い水準の特
徴まで、多様な水準の特徴を抽出できる。

畳み込み層は、入力画像の各パッチに対して、フィルタと局所受容野（Ｌｏｃａｌ Ｒ
ｅｃｅｐｔｉｖｅ Ｆｉｅｌｄ）との内積に、非線形活性関数（Ａｃｔｉｖａｔｉｏｎ Ｆ
ｕｎｃｔｉｏｎ）を取ることで、特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を求めることが
できる。

他のネットワーク構造と比較して、ＣＮＮは、希な連結性（Ｓｐａｒｓｅ Ｃｏｎｎｅ
ｃｔｉｖｉｔｙ）と共有された重み（Ｓｈａｒｅｄ Ｗｅｉｇｈｔｓ）を有するフィルタ
を使用するという特徴を有することができる。

このような連結構造は、学習する母数の個数を減らし、逆伝播アルゴリズムによる学習
を効率的なものとし、結果として、予測性能を向上させることができる。

このように、畳み込み層とプーリング層との繰り返しによって最終的に抽出された特徴
は、多層パーセプトロン（ＭＬＰ：Ｍｕｌｔｉ-Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）やサ
ポートベクターマシン（ＳＶＭ：Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）といっ
た分類モデルが、全結合層（Ｆｕｌｌｙ-ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）の形状に結合
されて、分類モデルの学習及び予測に使用され得る。

格納部２３０は、通信部２１０によって受信した大腸内視鏡の画像を格納できる。

また、格納部２３０は、複数の被検査者の大腸に投入される内視鏡１００から撮影され
た画像、又は、一人の被検査者に対して複数回大腸に投入される内視鏡１００から撮影さ
れた画像を格納できる。

または、格納部２３０は、ディープラーニングモデル２３１の学習のために、内視鏡１
００によって撮影された、被検査者の大腸についての画像に対して、アノテータの一例と
しての、医療陣から取得した血管データを格納できる。

制御部２４０は、アプリケーションプログラムと関連する動作以外にも、通常、大腸ポ
リープ検出装置２００の全体的な動作を制御できる。

制御部２４０は、前述した構成要素によって入力又は出力される、信号、データ、情報
などを処理するか、格納部２３０に格納されたアプリケーションプログラムを駆動するこ
とによって、ユーザに適切な情報又は機能を提供又は処理することができる。

制御部２４０は、格納部２３０に格納されたアプリケーションプログラムを駆動するた
めに、図１に示した構成要素、即ち通信部２１０、ディスプレイ部２２０及び格納部２３
０の動作を制御する。

以下、制御部２４０の動作について詳細に説明すると、以下の通りである。

制御部２４０は、被検査者の大腸に投入された内視鏡１００から撮影された画像中にて
、ディープラーニングモデル２３１に基づいて、大腸内壁の各区間の画像を認識できる。

即ち、制御部２４０は、各区間の画像にて、大腸粘膜の下部に位置する血管を認識し、
血管が見える程度の差を識別できる。

図１及び図２に示すように、制御部２４０は、ディープラーニングモデル２３１によっ
て各区間の画像を認識し、ディープラーニングモデル２３１は、外部のアノテータから取
得した、複数の被検査者の大腸画像中の血管データと、大腸の内部に照射された光による
、血管像が途切れている程度及び血管のパターンと、に基づいて機械学習されたモデルで
あり得る。

具体的に、制御部２４０は、複数の被検査者の大腸に投入された内視鏡１００から、少
なくとも１回以上撮影された少なくとも１つの画像を取得し、複数の画像のそれぞれに対
して、アノテータから血管データを取得できる。

ここで、アノテータは、大腸の血管をよく識別できる専門家であり、複数の画像は、一
人の被検査者に対して複数回行われた内視鏡に対する画像であるか、複数の被検査者に行
われた内視鏡に対する画像であり得る。

その後、制御部２４０は、大腸の内側の血管像が途切れている程度、及び血管データに
基づいて、機械学習を行える。

ここで、血管像が途切れている程度は、制御部２４０が、内視鏡１００の照明１２０か
ら大腸の内壁に照射される光によって見える血管像が途切れている程度に対して、既に設
定されたパーセント閾値以上に変化しているかを判断して生成できる。

具体的に、制御部２４０は、血管像の途切れている程度が、既に設定されたパーセント
閾値以上の場合、その部位にポリープがあると判断できる。

また、制御部２４０は、大腸の内視鏡画像中にて、血管が形成している血管のパターン
を認識し、認識された血管のパターンに基づいて、大腸の内視鏡画像中におけるポリープ
のある領域を認識できる。

詳細には、制御部２４０は、認識された血管のパターンに基づいて、大腸の内視鏡画像
中の少なくとも１つの血管のパターンが、内視鏡１００の照明１２０から大腸の内壁に照
射される光によって発生する血管のパターンを認識し、大腸の内視鏡画像中におけるポリ
ープが存在する領域を認識できる。

制御部２４０は、内視鏡１００が投入された地点から、内視鏡１００に備えられる照明
１２０によって大腸の内部に照射される光により識別される地点までを、１つの区間に設
定することができる。

即ち、制御部２４０は、大腸をｎ個の区間に分割して、それぞれの区間ごとに大腸の血
管を認識できる。

ここで、大人の大腸は、約１５０ｃｍないし１７０ｃｍであり、内視鏡１００に備えら
れる照明１２０から照射される光によって識別される地点までの距離は、略１０ｃｍない
し１５ｃｍであり得る。

従って、制御部２４０は、大腸を略１０個ないし１５個の区間に分割し、それぞれの区
間別にポリープの存在を認識できる。

具体的に、制御部２４０は、内視鏡１００が投入された地点と、内視鏡１００に備えら
れる照明１２０によって大腸の内部に照射される光により識別される地点とを、ディープ
ラーニングモデル２３１に基づいて生成できる。

制御部２４０は、それぞれの区間の画像中に、大腸血管が途切れた血管像を示す第１視
覚効果を表示できる。

反面、制御部２４０は、それぞれの区間の画像中に、大腸血管が途切れずに連続した血
管像を示す第２視覚効果を表示できる。

第１視覚効果は、それぞれの区間の画像中における当該大腸の内壁上に、それぞれのマ
ーカーが表示される視覚効果を含むことができる。

それぞれのマーカーの長さは、当該血管像が途切れている程度に基づいて決定されうる
。

その後、制御部２４０は、マーカーの存在及び長さに対する第１視覚効果を表示するこ
とで、専門医が、大腸粘膜上における、薄くて平らな形状の薄膜平面型ポリープの存否及
び大きさを容易に確認できるようにする。

大腸内視鏡１００は、複数の区間にて、第１及び第２視覚効果にしたがって大腸内血管
像の断絶の有無を１つずつ確認しながら、大腸の内部へと移動できる。

具体的に、内視鏡１００が、領域ごとに血管像が途切れている程度を認識した後、領域
ごとに、領域が始まる開始地点に戻ってから、領域ごとに漏れなく確認することができる
。

例えば、図４の（ａ）を見ると、制御部２４０は、第１区間にて、横方向に延びる曲線
（黒色）で示す、第１マーカー（Ｍ１）を中心にして血管像が途切れる画像でもって、第
１視覚効果を表示できる。

図４の（ｂ）を見ると、制御部２４０は、第２区間にて、対角線方向に延びる直線（黒
色）で示す、第２マーカー（Ｍ２）を中心にして血管像が途切れる画像でもって、第１視
覚効果を表示できる。

図４の（ｃ）を見ると、制御部２４０は、第２区間における第２マーカー（Ｍ２）より
は長さが長い、対角線方向に延びる直線（黒色）で示す第３マーカー（Ｍ３）を中心にし
て、第３区間にて、血管像が途切れる画像でもって第１視覚効果を表示できる。

図４の（ｄ）を見ると、制御部２４０は、第２区間にて、縦方向に延びる曲線（黒色）
で示す第４マーカー（Ｍ４）を中心にして血管像が途切れる画像でもって、第１視覚効果
を表示できる。

また、制御部２４０は、各区間の画像中に、大腸血管が途切れずに連続した血管像を示
す第２視覚効果を表示できる。

これにより、制御部２４０は、専門医が内視鏡１００を通じて大腸疾患を判読する際に
、薄くて平らな形状の薄膜平面型ポリープが隠れている異常な大腸病変に対する第１視覚
効果、又は、正常な大腸の内壁に対する第２視覚効果によって、確実に提供することで、
確認できずに看過するポリープなしに、全ての薄くて平らなポリープを確認できるように
することから、大腸検査の精度を向上させることができる。

図６は、本発明の一実施例に係る、人工知能基盤の血管学習による大腸ポリープ検出方
法についての、全般的な動作を説明する順序図である。

まず、制御部２４０は、通信部２１０を通じてリアルタイムで受信（Ｓ１００）した、
被検査者の大腸に投入された内視鏡１００より撮影された画像の中から、大腸粘膜及び大
腸血管が含まれている、それぞれの区間の画像を認識する（Ｓ２００）。

ここで、制御部２４０は、内視鏡１００によって大腸の内部に照射される光に基づいて
、大腸粘膜及び大腸血管が含まれている各区間の画像を認識する。

また、制御部２４０は、ディープラーニングモデル２３１によって、それぞれの区間の
画像を認識する。

ここで、ディープラーニングモデル２３１は、外部のアノテータから取得した、複数の
被検査者の大腸画像中の血管データと、大腸の内部に照射された光による、血管像が途切
れている程度及び血管のパターンと、に基づいて機械学習されたモデルであり得る。

制御部２４０は、それぞれの区間の画像ごとに大腸血管像の断絶の有無を判断する（Ｓ
３００）。

制御部２４０は、判断の結果、それぞれの区間の画像中に、大腸血管が途切れた血管像
を表す第１視覚効果を、ディスプレイ部２２０に表示する（Ｓ４００）。

第１視覚効果は、それぞれの区間の画像中における大腸血管が途切れた当該血管像に、
それぞれのマーカーが表示される視覚効果を含み、それぞれのマーカーの大きさは、当該
血管像が途切れている程度に基づいて決定されうる。

制御部２４０は判断の結果、それぞれの区間の画像中に、大腸血管が途切れずに連続し
ている血管像を表す第２視覚効果を、ディスプレイ部２２０に表示する（Ｓ５００）。

制御部２４０は、ディスプレイ部２２０に表示された第１視覚効果を通じて、大腸粘膜
上における薄くて平らな形状の薄膜平面型ポリープの存否及び大きさを、また、第２視覚
効果によって、大腸粘膜上のポリープが存在しないという事実を、専門医が容易に分かる
ように提供する。

図６は、段階（Ｓ１００）ないし段階（Ｓ５００）を順次実行するものと記載している
が、これは本実施例の技術思想を例示的に説明したものに過ぎず、本実施例が属する技術
分野における通常の知識を有する者であれば、本実施例の本質的な特性から逸脱しない範
囲にて、図６に記載された順序を変更して実行するか、１つ以上の段階を並列に実行する
ことによって、多様に修正及び変形して適用できるため、図６は、時系列的な順序に限定
されるものではない。

これにより、大腸疾患の判読時に、薄くて平らな形状の薄膜平面型ポリープが隠れてい
る異常な大腸病変を見逃す確率を、大幅に下げることができる。

また、検査の熟練度が低い大腸内視鏡の検査者でも、本発明の大腸ポリープ検出方法を
活用すれば、高い精度で、薄くて平らな薄膜平面型ポリープを探知し切除することができ
る。

このように、本発明は、結腸血管構造の形態を学習した人工知能を用いて、大腸粘膜の
間に見える血管像が、表示した線を中心に途切れる様相を検出して、疑い病変として判別
することができる、人工知能基盤の血管学習による大腸ポリープ検出方法及び装置を提供
する。

これにより、本発明は、大腸内視鏡の画像によって大腸疾患の判読時に、検査の熟練度
が低い大腸内視鏡の検査者でも、大腸粘膜上に存在する、薄くて平らな形状の薄膜平面型
ポリープが隠れている異常な大腸病変に対して、高い精度でポリープを探知及び切除する
ことができる。

以上で述べた本発明に係る方法は、ハードウェアであるサーバと結合して実行されるた
めにプログラム（又はアプリケーション）により具現されて媒体に格納されうる。

前述したプログラムは、コンピュータがプログラムを読み込んでプログラムにより具現
された方法を実行させるために、コンピュータの制御部（ＣＰＵ）が、コンピュータの装
置インターフェースを介して読み取られうるＣ、Ｃ++、ＪＡＶＡ（登録商標）、機械語な
どのコンピュータ言語でコード化されたコード（Ｃｏｄｅ）を含むことができる。このよ
うなコードは、前記方法を実行するのに必要な機能を定義した関数などと関連する機能的
なコード（Ｆｕｎｃｔｉｏｎａｌ Ｃｏｄｅ）を含むことができ、前記機能をコンピュー
タの制御部が所定の手順通りに実行させるのに必要な、実行手順関連の制御コードを含む
ことができる。また、このようなコードは、前記機能をコンピュータの制御部が実行させ
るのに必要な、追加の情報やメディアが、コンピュータの内部又は外部格納部のどの位置
（アドレス）で参照されるべきかに対する、格納部参照関連のコードを更に含むことがで
きる。更に、コンピュータの制御部が前記機能を実行させるために、遠隔（Ｒｅｍｏｔｅ
）にある任意の他のコンピュータやサーバなどと通信が必要な場合、コードは、コンピュ
ータの通信モジュールを用いて、遠隔にある任意の他のコンピュータやサーバなどと、ど
のように通信すべきか、通信時に如何なる情報やメディアを送受信すべきかなどに対する
通信関連のコードを更に含むことができる。

前記格納される媒体は、レジスタ、キャッシュ、格納部などといった短時間の間にデー
タを格納する媒体ではなく、半永久的にデータを格納し、機器により読み取り（ｒｅａｄ
ｉｎｇ）可能な媒体を意味する。具体的には、格納される媒体の例としては、ＲＯＭ、Ｒ
ＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などがあるが
、これに制限されない。即ち、前記プログラムは、コンピュータが接続可能な多様なサー
バ上の多様な記録媒体、又は、ユーザのコンピュータ上の多様な記録媒体に格納されうる
。また、前記媒体は、ネットワークで接続されたコンピュータシステムに分散し、分散方
式で、コンピュータが読み取れるコードが格納されうる。

本発明の実施例と関連して説明された方法又はアルゴリズムの段階は、ハードウェアで
直接具現されるか、ハードウェアによって実行されるソフトウェアモジュールで具現され
るか、又はそれらの結合によって具現されることができる。ソフトウェアモジュールは、
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅ
ｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥ
ＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒ
ＯＭ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、ハードディスク、着脱型ディ
スク、ＣＤ-ＲＯＭ、又は、本発明が属する技術分野において周知となっている、任意の
形態のコンピュータ読み取り可能な記録媒体に常に存在することもできる。

以上、添付の図面を参照して本発明の実施例を説明したが、本発明が属する技術分野に
おける通常の技術者は、本発明がその技術的思想や必須な特徴を変更することなく、他の
具体的な形態に実施され得るということが理解できるだろう。従って、以上で述べた実施
例はあらゆる面で例示的なものであり、制限的ではないものとして理解すべきである。

Claims (10)

1. 装置により実行される方法において、
   被検査者の大腸に投入された内視鏡から撮影された画像を、リアルタイムで受信する段階と、
   ディープラーニングモデルを通じて、前記画像中にて大腸血管が含まれている、それぞれの区間の画像を認識する段階と、
   前記認識されたそれぞれの区間の画像中にて、大腸血管が途切れた血管像を示す第１視覚効果を表示する段階と、
   を含み、
   前記ディープラーニングモデルは、外部のアノテータから取得した、被検査者の複数の大腸画像中の血管データと、前記大腸の内部へと照射された光による、血管像が途切れている程度及び血管のパターンと、に基づいて機械学習されたモデルである、人工知能基盤の大腸病変検出方法。
2. 前記第１視覚効果は、
   前記それぞれの区間の画像中の、大腸血管が途切れた当該血管像に、それぞれのマーカーが表示される視覚効果を含むことを特徴とする、請求項１に記載の人工知能基盤の大腸病変検出方法。
3. 前記それぞれのマーカーの大きさは、
   当該血管像が途切れている程度に基づいて決定されることを特徴とする、請求項２に記載の人工知能基盤の大腸病変検出方法。
4. 前記それぞれの区間の画像中にて認識された大腸粘膜の下部に位置している大腸血管が途切れた前記血管像を示す前記第１視覚効果によって、大腸粘膜上に薄膜平面型ポリープの存否及び大きさを判断し、
   前記それぞれの区間の画像中にて認識された大腸血管が連続した血管像を示す第２視覚効果によって、前記大腸粘膜上の薄膜平面型ポリープが存在しない事実を判断することを特徴とする、請求項１に記載の人工知能基盤の大腸病変検出方法。
5. 前記血管像の断絶の有無は、該当血管像の途切れている程度が、既に設定されたパーセント閾値以上に変化するか否かにより判断され、
   前記血管像の途切れている程度が、前記既に設定されたパーセント閾値以上の場合、制御部が、大腸粘膜上における前記血管像の領域に、薄膜平面型ポリープがあると判断することを特徴とする、請求項３に記載の人工知能基盤の大腸病変検出方法。
6. ハードウェアであるコンピュータと結合し、前記請求項１～５の何れか１項に記載の、人工知能基盤の大腸病変検出方法を行うためのコンピュータ読み取り可能な記録媒体に格納された、コンピュータプログラム。
7. ディスプレイ部と、
   被検査者の大腸に投入された大腸内視鏡から、撮影された画像をリアルタイムで受信する通信部と、
   前記受信した画像、及び、前記受信した画像にて大腸血管を認識するためのディープラーニングモデルを格納する格納部と、
   前記ディープラーニングモデルを通じて、前記受信した画像中にて大腸血管が含まれている、それぞれの区間の画像を認識し、前記認識されたそれぞれの区間の画像中にて大腸血管が途切れた血管像を示す第１視覚効果を前記ディスプレイ部上に表示する制御部と、
   を含み、
   前記ディープラーニングモデルは、
   外部のアノテータから取得した、被検査者の複数の大腸画像中の血管データと、前記大腸の内部へ照射された光による、血管像が途切れている程度及び血管のパターンとに基づいて機械学習されたモデルである、人工知能基盤の大腸病変検出装置。
8. 前記第１視覚効果は、
   前記それぞれの区間の画像中の、大腸血管が途切れた当該血管像に、それぞれのマーカーが表示される視覚効果を含み、
   前記それぞれのマーカーの大きさは、
   当該血管像が途切れている程度に基づいて決定されることを特徴とする、請求項７に記載の人工知能基盤の大腸病変検出装置。
9. 前記制御部は、
   前記区間の画像中にて認識された大腸粘膜の下部に位置している大腸血管が途切れた前記血管像を示す前記第１視覚効果によって大腸粘膜上に薄膜平面型ポリープの存否及び大きさを判断し、
   前記区間の画像中にて認識された大腸血管が連続した血管像を示す第２視覚効果によって、大腸粘膜上の薄膜平面型ポリープが存在しない事実を判断することを特徴とする、請求項７に記載の人工知能基盤の大腸病変検出装置。
10. 前記制御部は、
    前記血管像の断絶の有無を、当該血管像の途切れている程度が、既に設定されたパーセント閾値以上に変化するか否かにより判断し、前記既に設定されたパーセント閾値以上の場合、大腸粘膜上における前記血管像の領域に薄膜平面型ポリープが存在すると判断することを特徴とする、請求項８に記載の人工知能基盤の大腸病変検出装置。

Images