JP7647873B2

JP7647873B2 - 画像処理装置、画像処理方法及びプログラム

Info

Publication number: JP7647873B2
Application number: JP2023509928A
Authority: JP
Inventors: 亮作志野
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2021-03-29
Filing date: 2021-03-29
Publication date: 2025-03-18
Anticipated expiration: 2041-03-29
Also published as: EP4316348A4; US20240412352A1; WO2022208615A1; JPWO2022208615A1; EP4316348A1

Description

本開示は、内視鏡検査において取得される画像の処理を行う画像処理装置、画像処理方法及び記憶媒体の技術分野に関する。

従来から、臓器の管腔内を撮影した画像を表示する内視鏡システムが知られている。例えば、特許文献１には、内視鏡により撮影した画像に対して色相及びサイズ等に基づき病変部を検出し、検出した病変部を強調表示する内視鏡システムが開示されている。

特開２０１１－１３５９８３号公報

特許文献１では、病変部を検出した後、当該病変部を強調表示するものであったが、検出した病変部についてどのような状態であるかを具体的に診断するのは検査者に委ねられていた。一方、病変によっては、検査者による診断が難しい場合がある。

本開示は、上述した課題を鑑み、内視鏡検査において、病変部位に関する診断を好適に実行することが可能な画像処理装置、画像処理方法及び記憶媒体を提供することを目的の一つとする。

画像処理装置の一の態様は、
内視鏡に設けられた撮影部により検査対象を撮影した撮影画像を取得する取得手段と、
前記撮影画像における、病変が疑われる病変部位を検出する病変部位検出手段と、
画像が入力された場合に当該画像内の病変部位に関する診断結果を出力する診断モデルに対し、前記撮影画像と、前記病変部位を前記撮影画像から切り取った切り取り画像とが結合された画像を入力し、当該診断モデルが出力する前記診断結果を取得する診断手段と、
前記診断結果に基づく情報を表示装置又は音出力装置に出力させる出力制御手段と、
を有する画像処理装置である。

画像処理方法の一の態様は、
コンピュータが、
内視鏡に設けられた撮影部により検査対象を撮影した撮影画像を取得し、
前記撮影画像における、病変が疑われる病変部位を検出し、
画像が入力された場合に当該画像内の病変部位に関する診断結果を出力する診断モデルに対し、前記撮影画像と、前記病変部位を前記撮影画像から切り取った切り取り画像とが結合された画像を入力し、当該診断モデルが出力する前記診断結果を取得し、
前記診断結果に基づく情報を表示装置又は音出力装置に出力させる、
画像処理方法である。

プログラムの一の態様は、
内視鏡に設けられた撮影部により検査対象を撮影した撮影画像を取得し、
前記撮影画像における、病変が疑われる病変部位を検出し、
画像が入力された場合に当該画像内の病変部位に関する診断結果を出力する診断モデルに対し、前記撮影画像と、前記病変部位を前記撮影画像から切り取った切り取り画像とが結合された画像を入力し、当該診断モデルが出力する前記診断結果を取得し、
前記診断結果に基づく情報を表示装置又は音出力装置に出力させる処理をコンピュータに実行させるプログラムである。

内視鏡の画像から病変部位に関する診断を好適に実行することができる。

内視鏡検査システムの概略構成を示す。画像処理装置のハードウェア構成を示す。画像処理装置が実行する処理の概要を示す図である。画像処理装置の機能ブロック図である。（Ａ）病変診断モデルへ入力する入力画像の生成の第１態様を示す。（Ｂ）病変診断モデルへ入力する入力画像の生成の第２態様を示す。内視鏡検査において表示装置が表示する表示画面の表示例を示す。第１実施形態における画像処理装置の処理の概要を示すフローチャートの一例である。変形例における内視鏡検査システムの概略構成図である。第２実施形態における画像処理装置のブロック図である。第２実施形態において画像処理装置が実行するフローチャートの一例である。

以下、図面を参照しながら、画像処理装置、画像処理方法及び記憶媒体の実施形態について説明する。

＜第１実施形態＞
（１）システム構成
図１は、内視鏡検査システム１００の概略構成を示す。内視鏡検査システム１００は、内視鏡を利用した検査（治療を含む）を行う医師等の検査者に対して病変の疑いがある部位（病変部位）を検出し、検出した病変部位に関する診断を行う。図１に示すように、内視鏡検査システム１００は、主に、画像処理装置１と、表示装置２と、画像処理装置１に接続された内視鏡スコープ３と、を備える。

画像処理装置１は、内視鏡スコープ３が時系列により撮影する画像（「撮影画像Ｉａ」とも呼ぶ。）を内視鏡スコープ３から取得し、撮影画像Ｉａに基づく画面を表示装置２に表示させる。撮影画像Ｉａは、被検者への内視鏡スコープ３の挿入工程又は排出工程の少なくとも一方において所定の時間間隔により撮影された画像である。本実施形態においては、画像処理装置１は、撮影画像Ｉａを解析することで、病変部位の検出及び当該病変部位に関する診断を行い、診断結果に関する情報を表示装置２に表示させる。

表示装置２は、画像処理装置１から供給される表示信号に基づき所定の表示を行うディスプレイ等である。

内視鏡スコープ３は、主に、検査者が所定の入力を行うための操作部３６と、被検者の撮影対象となる臓器内に挿入され、柔軟性を有するシャフト３７と、超小型撮像素子などの撮影部を内蔵した先端部３８と、画像処理装置１と接続するための接続部３９とを有する。

なお、以後では、代表例として、大腸の内視鏡検査における処理の説明を行うが、検査対象は、大腸に限らず、胃、食道、小腸、十二指腸などの消化管（消化器）を対象としてもよい。また、本実施形態における画像処理装置１は、後述する手法により、正常領域と病変部の表面パターンの差を考慮しなければ診断が難しい過形成性ポリープ・鋸歯状病変・腺腫・上皮内癌などの病変を特定する診断を的確に実行することが可能である。これらの病変は、大腸に形成される他、少なくとも胃にも形成される。従って、内視鏡検査システム１００は、少なくとも大腸及び胃を検査対象とする場合に、上述したような病変を特定する診断を的確に行い、検査者を好適に支援することができる。また、画像処理装置１は、正常領域と病変部の表面パターンの差を考慮しなければ診断が難しい病変を特定する診断に限らず、他の任意の病変を特定する診断を行ってもよい。

（２）ハードウェア構成
図２は、画像処理装置１のハードウェア構成を示す。画像処理装置１は、主に、プロセッサ１１と、メモリ１２と、インターフェース１３と、入力部１４と、光源部１５と、音出力部１６と、を含む。これらの各要素は、データバス１９を介して接続されている。

プロセッサ１１は、メモリ１２に記憶されているプログラム等を実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＴＰＵ（ＴｅｎｓｏｒＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などのプロセッサである。プロセッサ１１は、複数のプロセッサから構成されてもよい。プロセッサ１１は、コンピュータの一例である。

メモリ１２は、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）などの、作業メモリとして使用される各種の揮発性メモリ及び画像処理装置１の処理に必要な情報を記憶する不揮発性メモリにより構成される。なお、メモリ１２は、画像処理装置１に接続又は内蔵されたハードディスクなどの外部記憶装置を含んでもよく、着脱自在なフラッシュメモリなどの記憶媒体を含んでもよい。メモリ１２には、画像処理装置１が本実施形態における各処理を実行するためのプログラムが記憶される。

また、メモリ１２は、病変検出モデル情報Ｄ１と、病変診断モデル情報Ｄ２とを記憶している。

病変検出モデル情報Ｄ１は、入力された画像から病変部位を検出するモデルである病変検出モデルに関する情報である。病変検出モデル情報Ｄ１は、病変検出モデルを構成するために必要なパラメータを含んでいる。病変検出モデルは、例えば、ニューラルネットワークやサポートベクターマシーンなどの機械学習モデルであって、撮影画像Ｉａが入力された場合に、入力された撮影画像Ｉａ内の病変部位（異常がある部位）の検出結果を出力するように構成されたモデルである。このような病変検出モデルに用いられるニューラルネットワークの代表モデルとして、例えば、ＦｕｌｌｙＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｔｗｏｒｋ、ＳｅｇＮｅｔ、Ｕ－Ｎｅｔ、Ｖ－Ｎｅｔ、ＦｅａｔｕｒｅＰｙｒａｍｉｄＮｅｔｗｏｒｋ、ＭａｓｋＲ－ＣＮＮ、ＤｅｅｐＬａｂなどが存在する。病変検出モデルが出力する検出結果は、病変部位に対応する撮影画像Ｉａ内の領域を示すマスク画像（病変部位の画素とその他の画素とで値が異なる２値画像）であってもよく、病変部位であることの信頼度を示す画像上のマップである信頼度マップであってもよい。ここで、信頼度は、病変部位である可能性の高さを表す指標であり、信頼度が高いほど病変部位である可能性が高いことを表す。さらに別の例では、病変検出モデルは、撮影画像Ｉａが入力された場合に病変部位の矩形領域（バウンディングボックス）を示す情報を出力するモデルであってもよい。画像処理装置１は、病変検出モデルが出力する検出結果に基づき、撮影画像Ｉａから検出した病変部位を含む領域を切り取った（クロップした）画像（「病変切り取り画像Ｉｃ」とも呼ぶ。）を生成する。

病変診断モデル情報Ｄ２は、入力された画像に示される病変部位の診断を行うモデルである病変診断モデルに関する情報である。病変診断モデル情報Ｄ２は、病変診断モデルを構成するために必要なパラメータを含んでいる。病変診断モデルは、例えば、ニューラルネットワークやサポートベクターマシーンなどの機械学習モデルであって、病変切り取り画像Ｉｃと対応する撮影画像Ｉａとが同時に入力（即ち１つの入力画像として一体に入力）された場合に、病変切り取り画像Ｉｃが示す病変部位の診断結果を出力するように構成されたモデルである。病変診断モデルが出力する診断結果は、例えば、対象の病変部位に対応する病名又は病変の種類（カテゴリ）を示す分類情報である。この分類情報には、対象の病変部位のガン化の有無などのリスクに関する分類結果が含まれていてもよい。

なお、病変検出モデル及び病変診断モデルは、各モデルの入力形式に即した入力画像と各モデルに当該入力画像が入力された場合に出力すべき正解を示す正解データとの組に基づき予め学習される。そして、学習により得られた各モデルのパラメータ等が病変検出モデル情報Ｄ１及び病変診断モデル情報Ｄ２として夫々メモリ１２に記憶される。

なお、病変検出モデル情報Ｄ１又は病変診断モデル情報Ｄ２の少なくとも一方は、メモリ１２に代えて、画像処理装置１と有線又は無線によりデータ通信が可能な外部装置に記憶されてもよい。

インターフェース１３は、画像処理装置１と外部装置とのインターフェース動作を行う。例えば、インターフェース１３は、プロセッサ１１が生成した表示情報「Ｉｂ」を表示装置２に供給する。また、インターフェース１３は、光源部１５が生成する光等を内視鏡スコープ３に供給する。また、インターフェース１３は、内視鏡スコープ３から供給される撮影画像Ｉａを示す電気信号をプロセッサ１１に供給する。インターフェース１３は、外部装置と有線又は無線により通信を行うためのネットワークアダプタなどの通信インターフェースであってもよく、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）、ＳＡＴＡ（ＳｅｒｉａｌＡＴＡｔｔａｃｈｍｅｎｔ）などに準拠したハードウェアインターフェースであってもよい。

入力部１４は、検査者による操作に基づく入力信号を生成する。入力部１４は、例えば、ボタン、タッチパネル、リモートコントローラ、音声入力装置等である。光源部１５は、内視鏡スコープ３の先端部３８に供給するための光を生成する。また、光源部１５は、内視鏡スコープ３に供給する水や空気を送り出すためのポンプ等も内蔵してもよい。音出力部１６は、プロセッサ１１の制御に基づき音を出力する。

（３）画像処理装置の処理
図３は、画像処理装置１が実行する処理の概要を示す図である。

まず、画像処理装置１は、撮影画像Ｉａに対し、病変検出モデル情報Ｄ１に基づき構成された病変検出モデルに基づき、病変部位に相当する領域を撮影画像Ｉａから切り取る（クロップする）ことで、病変切り取り画像Ｉｃを生成する。また、画像処理装置１は、病変切り取り画像Ｉｃの切り取りに用いた撮影画像Ｉａを、病変診断モデルの入力形式に応じてリサイズした画像（「全体リサイズ画像Ｉｄ」とも呼ぶ。）を生成する。この場合、画像処理装置１は、任意の画像のリサイズ手法を用い、撮影画像Ｉａを全体リサイズ画像Ｉｄに変換する処理を行う。

次に、画像処理装置１は、病変切り取り画像Ｉｃ及び全体リサイズ画像Ｉｄの組が得られた場合、病変診断モデル情報Ｄ２に基づき構成された病変診断モデルに病変切り取り画像Ｉｃ及び全体リサイズ画像Ｉｄを同時入力することで、病変切り取り画像Ｉｃが示す病変部位に対する診断結果を取得する。この場合、画像処理装置１は、病変切り取り画像Ｉｃと全体リサイズ画像Ｉｄをチャンネル方向に重ね合わせること等により、病変切り取り画像Ｉｃと全体リサイズ画像Ｉｄを結合した病変診断モデルへの入力画像を生成する。そして、画像処理装置１は、診断結果に関する情報を表示装置２に表示させる。

このような処理を行うことで、画像処理装置１は、正常領域と病変部の表面パターンの差を考慮しなければ診断が難しい過形成性ポリープ・鋸歯状病変・腺腫・上皮内癌などの各病変を特定する診断を的確に行い、その診断結果を検査者に提示することができる。

図４は、画像処理装置１の機能ブロック図である。図４に示すように、画像処理装置１のプロセッサ１１は、機能的には、撮影画像取得部３０と、病変部位検出部３１と、病変診断部３２と、表示制御部３３とを有する。なお、図４では、データの授受が行われるブロック同士を実線により結んでいるが、データの授受が行われるブロックの組合せは図４に限定されない。後述する他の機能ブロックの図においても同様である。

撮影画像取得部３０は、インターフェース１３を介して内視鏡スコープ３が撮影した撮影画像Ｉａを所定間隔により取得する。そして、撮影画像取得部３０は、取得した撮影画像Ｉａを、病変部位検出部３１、病変診断部３２、表示制御部３３に夫々供給する。

病変部位検出部３１は、撮影画像Ｉａに基づき病変部位の検出を行う。この場合、病変部位検出部３１は、病変検出モデル情報Ｄ１に基づき構成された病変検出モデルに撮影画像Ｉａを入力し、当該病変検出モデルが出力する検出結果を取得する。そして、病変部位検出部３１は、取得した検出結果に基づき撮影画像Ｉａに病変部位が存在していると判定した場合、当該検出結果に基づき病変切り取り画像Ｉｃを生成し、病変切り取り画像Ｉｃを病変診断部３２に供給する。

ここで、病変検出モデルが出力する検出結果に基づく病変切り取り画像Ｉｃの生成の態様について補足説明する。例えば、病変検出モデルが出力する検出結果が病変部位の画素を示す場合、病変部位検出部３１は、当該画素を含む最小の矩形領域を撮影画像Ｉａから切り取ることで、病変切り取り画像Ｉｃを生成する。他の例では、病変検出モデルが出力する検出結果が病変部位の信頼度を画素ごとに示す場合には、病変部位検出部３１は、信頼度が所定の閾値以上となる画素を含む最小の矩形領域を撮影画像Ｉａから切り取ることで、病変切り取り画像Ｉｃを生成する。さらに別の例では、病変検出モデルが出力する検出結果が病変部位の矩形領域（バウンディングボックス）を示す場合には、病変部位検出部３１は、当該矩形領域を撮影画像Ｉａから切り取ることで病変切り取り画像Ｉｃを生成する。

病変診断部３２は、病変部位検出部３１が検出した病変部位に関する診断を行う。この場合、まず、病変診断部３２は、病変部位検出部３１から供給される病変切り取り画像Ｉｃと、病変切り取り画像Ｉｃの切り取り元となる撮影画像Ｉａとを取得する。次に、病変診断部３２は、取得した撮影画像Ｉａを病変診断モデルの入力形式に基づきリサイズした全体リサイズ画像Ｉｄを生成する。そして、病変診断部３２は、病変切り取り画像Ｉｃと全体リサイズ画像Ｉｄとを１つの入力画像として結合した画像を、病変診断モデル情報Ｄ２に基づき構成された病変診断モデルに入力する。そして、病変診断部３２は、病変診断モデルが出力する診断結果を取得する。このようにして、病変診断部３２は、病変診断モデルが出力する診断結果に基づいて、病変部位に関する診断を行う。さらに、病変診断部３２は、当該診断結果を表示制御部３３へ供給する。

なお、病変診断部３２は、病変診断モデルが出力する診断結果をそのまま表示制御部３３に供給してもよく、メモリ１２等に記憶された病変の分類に関する事前知識情報に基づき充実化させた診断結果を表示制御部３３に供給してもよい。事前知識情報は、例えば、病変の分類とガン化等の病変のリスクとを対応付けた情報、病変の分類と当該病変に対応する病名とを対応付けた情報、の少なくとも一つを含む。例えば、病変の分類とガン化等の病変のリスクとを対応付けた情報が事前知識情報としてメモリ１２に記憶されている場合、病変診断部３２は、病変診断モデルが診断結果として出力する病変の分類に基づき、対応するリスクを、事前知識情報を参照して特定する。そして、病変診断部３２は、病変診断モデルが出力する病変の分類情報と事前知識情報に基づく病変のリスクに関する情報とを、診断結果として表示制御部３３に供給してもよい。また、病変の分類と当該病変に対応する病名とを対応付けた情報が事前知識情報としてメモリ１２に記憶されている場合、病変診断部３２は、事前知識情報を参照し、病名を含む診断結果を表示制御部３３に供給してもよい。

ここで、取得した撮影画像Ｉａを病変診断モデルの入力形式に基づきリサイズした全体リサイズ画像Ｉｄを生成する処理、及び、病変切り取り画像Ｉｃと全体リサイズ画像Ｉｄとを１つの入力画像として結合する処理は、病変診断部３２の必須の処理ではなく、これらの処理の少なくとも一方は、病変診断部３２以外の処理ブロック（図４に図示していない処理ブロックを含む）が実行してもよい。例えば、全体リサイズ画像Ｉｄを生成する処理を他の処理ブロックが実行する場合、病変診断部３２は、撮影画像Ｉａが病変診断モデルの入力形式に基づきリサイズされた全体リサイズ画像Ｉｄを、当該他の処理ブロックから取得する。また、病変切り取り画像Ｉｃと全体リサイズ画像Ｉｄとを１つの入力画像として結合する処理を他の処理ブロックが実行する場合、病変診断部３２は、病変切り取り画像Ｉｃと全体リサイズ画像Ｉｄとが結合された画像を、当該他の処理ブロックから病変診断モデルの入力画像として取得する。

表示制御部３３は、撮影画像Ｉａと、病変部位検出部３１による病変部位の検出結果と、病変診断部３２による当該病変部位の診断結果とに基づき、表示情報Ｉｂを生成し、表示情報Ｉｂを表示装置２にインターフェース１３を介して供給する。表示制御部３３による表示装置２の表示制御の具体例については後述する。

ここで、撮影画像取得部３０、病変部位検出部３１、病変診断部３２及び表示制御部３３の各構成要素は、例えば、プロセッサ１１がプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素の少なくとも一部は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組合せ等により実現してもよい。また、これらの各構成要素の少なくとも一部は、例えばＦＰＧＡ（Field-Programmable Gate Array）又はマイクロコントローラ等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。また、各構成要素の少なくとも一部は、ＡＳＳＰ（Application Specific Standard Produce）、ＡＳＩＣ（Application Specific Integrated Circuit）又は量子プロセッサ（量子コンピュータ制御チップ）により構成されてもよい。このように、各構成要素は、種々のハードウェアにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。さらに、これらの各構成要素は、例えば、クラウドコンピューティング技術などを用いて、複数のコンピュータの協働によって実現されてもよい。

次に、病変診断モデルに入力する入力画像の生成処理について補足説明する。図５（Ａ）は、病変診断モデルへ入力する入力画像の生成の第１態様を示し、図５（Ｂ）は、病変診断モデルへ入力する入力画像の生成の第２態様を示す。

第１態様では、病変診断部３２は、病変診断モデルの入力形式に適合するように縦及び横のサイズが調整された病変切り取り画像Ｉｃ及び全体リサイズ画像Ｉｄ（ここでは共に横サイズ「Ｘ」、縦サイズ「Ｙ」、チャンネル数「Ｚ」の画像とする）を、チャンネル方向に重ね合わせることで、病変診断モデルへの入力画像を生成する。この場合、生成された入力画像は、横サイズ「Ｘ」、縦サイズ「Ｙ」、チャンネル数「Ｚ＋Ｚ」の画像となる。例えば、撮影画像ＩａがＲＧＢ画像（即ちＺ＝３）となる場合には、病変診断部３２は、病変診断モデルへの入力画像として、病変切り取り画像Ｉｃ及び全体リサイズ画像Ｉｄをチャンネル方向に重ねたチャンネル数６（即ちＺ＝６）の画像を生成する。

第２態様では、病変診断部３２は、病変切り取り画像Ｉｃ及び全体リサイズ画像Ｉｄを、縦方向又は横方向に結合することで、病変診断モデルへの入力画像を生成する。図５（Ｂ）の例では、病変診断部３２は、病変切り取り画像Ｉｃ及び全体リサイズ画像Ｉｄ（ここでは、共に横サイズ「Ｘ」、縦サイズ「Ｙ」、チャンネル数「Ｚ」の画像とする）を縦方向に重ねることで、病変診断モデルへの入力画像を生成している。この場合、生成された入力画像は、横サイズ「Ｘ」、縦サイズ「Ｙ＋Ｙ」、チャンネル数「Ｚ」の画像となる。なお、病変切り取り画像Ｉｃ及び全体リサイズ画像Ｉｄは、縦方向に結合される場合には少なくとも横サイズが同一となるように調整され、横方向に結合される場合には少なくとも縦サイズが同一となるように調整される。

そして、第１態様又は第２態様により例示された入力画像を生成することで、病変診断部３２は、病変部周辺と画像全体との両方を考慮して総合的に病変の分類を特定することができる。これにより、画像処理装置１は、正常領域と病変部の表面パターンの差を考慮しなければ診断が難しい病変部位についても高精度な診断を行うことができる。

なお、第１態様又は第２態様により例示された入力画像の生成は、病変診断部３２の必須の処理ではなく、他の処理ブロックが行ってもよい。例えば、病変切り取り画像Ｉｃ及び全体リサイズ画像Ｉｄをチャンネル方向に重ね合わせる処理を他の処理ブロックが行う場合、病変診断部３２は、病変切り取り画像Ｉｃ及び全体リサイズ画像Ｉｄがチャンネル方向に重ね合わせられた画像を、病変診断モデルへの入力画像として他の処理ブロックから取得する。また、病変切り取り画像Ｉｃ及び全体リサイズ画像Ｉｄを縦方向又は横方向に重ね合わせる処理を他の処理ブロックが行う場合、病変診断部３２は、病変切り取り画像Ｉｃ及び全体リサイズ画像Ｉｄが縦方向又は横方向に重ね合わせられた画像を、病変診断モデルへの入力画像として他の処理ブロックから取得する。

次に、表示制御部３３が実行する表示装置２の表示制御について説明する。

図６は、内視鏡検査において表示装置２が表示する表示画面の表示例を示す。画像処理装置１の表示制御部３３は、撮影画像取得部３０が取得する撮影画像Ｉａ、病変部位検出部３１による検出結果、及び病変診断部３２による診断結果に基づき生成した表示情報Ｉｂを表示装置２に送信することで、図６に示す表示画面を表示装置２に表示させている。

図６の例では、画像処理装置１の表示制御部３３は、撮影画像取得部３０が取得した最新の撮影画像Ｉａ（即ち所定の描画レートで切り替わる動画像）を表示画面上に表示させている。さらに、表示制御部３３は、病変診断部３２から供給される診断結果に基づき、鋸歯状病変と分類される病変部位が検出された点、及び、当該鋸歯状病変はガン化する可能性がある点に言及しているコメント７２を表示している。このように、コメント７２は、病変部位の分類及びリスクに関する情報に相当する。なお、表示制御部３３は、コメント７２に代えて、病変部位の分類又はリスクのいずれか一方に関するコメントを表示させてもよい。

さらに、表示制御部３３は、上記のコメント７２と共に、病変部位検出部３１から供給される検出結果に基づき、病変切り取り画像Ｉｃに相当する矩形領域を強調表示する矩形枠７１を、撮影画像Ｉａ上に表示している。

また、表示制御部３３は、病変診断部３２から供給される診断結果が特定種類の病変（例えば悪性の病変）であることを示す場合に、特定種類の病変の存在を検査者に通知する情報を出力してもよい。この場合、例えば、表示制御部３３は、表示画面に表示中の撮影画像Ｉａ等を縁取り効果により強調表示してもよく、音出力部１６により警告音又はガイダンス音声等を出力してもよい。

このように、表示制御部３３は、病変部位が検出された場合に、最新の撮影画像Ｉａと共に、病変部位を明示すると共にその診断結果を表示することで、検査者による病変部位の把握を好適に支援することができる。なお、表示制御部３３による診断結果等の出力態様は、図７に示す例に限定されず、種々の態様であってもよい。例えば、表示制御部３３は、コメント７２を表示する代わりに、コメント７２に相当する音声を音出力部１６により出力してもよい。

図７は、第１実施形態において内視鏡検査が開始された場合に画像処理装置１が実行する処理の概要を示すフローチャートの一例である。

まず、画像処理装置１の撮影画像取得部３０は、撮影画像Ｉａを取得する（ステップＳ１１）。この場合、画像処理装置１の撮影画像取得部３０は、インターフェース１３を介して内視鏡スコープ３から撮影画像Ｉａを受信する。

次に、画像処理装置１の病変部位検出部３１は、撮影画像Ｉａにおける病変部位の検出を行う（ステップＳ１２）。この場合、病変部位検出部３１は、病変検出モデル情報Ｄ１に基づき構成された病変検出モデルに撮影画像Ｉａを入力することで、撮影画像Ｉａにおける病変部位の検出結果を取得する。

そして、病変部位検出部３１は、病変部位を検出したか否か判定する（ステップＳ１３）。そして、病変部位検出部３１は、病変部位を検出しない場合（ステップＳ１３；Ｎｏ）、ステップＳ１１で取得した撮影画像Ｉａを表示装置２に表示させる（ステップＳ１８）。

一方、病変部位検出部３１は、病変部位を検出した場合（ステップＳ１３；Ｙｅｓ）、検出した病変部位を含む領域を撮影画像Ｉａから切り取る（ステップＳ１４）。これにより、病変部位検出部３１は、病変切り取り画像Ｉｃを生成する。

そして、病変診断部３２は、ステップＳ１１で取得した撮影画像Ｉａをリサイズした全体リサイズ画像Ｉｄと病変切り取り画像Ｉｃとを同時に病変診断モデルに入力する（ステップＳ１５）。この場合、病変診断部３２は、例えば、図５（Ａ）又は図５（Ｂ）のいずれかに示される態様により生成された入力画像を、病変診断モデル情報Ｄ２に基づき構成された病変診断モデルに入力する。そして、病変診断部３２は、病変診断モデルの出力に基づく診断結果を取得する（ステップＳ１６）。そして、表示制御部３３は、最新の撮影画像Ｉａの表示及びステップＳ１６で取得された診断結果に関する表示を表示装置２に実行させる（ステップＳ１７）。

ステップＳ１７又はステップＳ１８の後、画像処理装置１は、内視鏡検査が終了したか否か判定する（ステップＳ１９）。例えば、画像処理装置１は、入力部１４又は操作部３６への所定の入力等を検知した場合に、内視鏡検査が終了したと判定する。そして、画像処理装置１は、内視鏡検査が終了したと判定した場合（ステップＳ１９；Ｙｅｓ）、フローチャートの処理を終了する。一方、画像処理装置１は、内視鏡検査が終了していないと判定した場合（ステップＳ１９；Ｎｏ）、ステップＳ１１へ処理を戻す。そして、画像処理装置１は、内視鏡スコープ３が新たに生成する撮影画像Ｉａに対してステップＳ１１～ステップＳ１９の処理を実行する。

（４）変形例
次に、上述した実施形態に好適な変形例について説明する。以下の変形例は、組み合わせて上述の実施形態に適用してもよい。

（変形例１）
画像処理装置１は、内視鏡検査時に生成された撮影画像Ｉａから構成された映像を、検査後において処理してもよい。

例えば、画像処理装置１は、検査後の任意のタイミングにおいて、入力部１４によるユーザ入力等に基づき、処理を行う対象となる映像が指定された場合に、当該映像を構成する時系列の撮影画像Ｉａに対して逐次的に図７のフローチャートの処理を行う。そして、画像処理装置１は、ステップＳ１９において対象の映像が終了したと判定した場合に、フローチャートの処理を終了し、対象の映像が終了していない場合にはステップＳ１１に戻り、時系列において次の撮影画像Ｉａを対象としてフローチャートの処理を行う。

（変形例２）
病変検出モデル情報Ｄ１及び病変診断モデル情報Ｄ２は、画像処理装置１とは別の記憶装置に記憶されてもよい。

図８は、変形例２における内視鏡検査システム１００Ａの概略構成図である。なお、図８では、簡潔化のため、表示装置２及び内視鏡スコープ３等を図示していない。図８に示す内視鏡検査システム１００Ａは、病変検出モデル情報Ｄ１及び病変診断モデル情報Ｄ２を記憶するサーバ装置４を備える。また、内視鏡検査システム１００Ａは、サーバ装置４とネットワークを介してデータ通信が可能な複数の画像処理装置１（１Ａ、１Ｂ、…）を備える。

この場合、各画像処理装置１は、ネットワークを介して病変検出モデル情報Ｄ１及び病変診断モデル情報Ｄ２の参照を行う。この場合、各画像処理装置１のインターフェース１３は、通信を行うためのネットワークアダプタなどの通信インターフェースを含む。この構成では、各画像処理装置１は、上述の実施形態と同様、病変検出モデル情報Ｄ１及び病変診断モデル情報Ｄ２を参照し、病変部位の検出・診断処理及び表示処理を好適に実行することができる。

＜第２実施形態＞
図９は、第２実施形態における画像処理装置１Ｘのブロック図である。画像処理装置１Ｘは、主に、取得手段３０Ｘと、病変部位検出手段３１Ｘと、病変診断手段３２Ｘとを備える。なお、画像処理装置１Ｘは、複数の装置により構成されてもよい。

取得手段３０Ｘは、内視鏡に設けられた撮影部により検査対象を撮影した撮影画像を取得する。取得手段３０Ｘは、第１実施形態（変形例を含む、以下同じ）における撮影画像取得部３０とすることができる。なお、取得手段３０Ｘは、撮影部が生成した撮影画像を即時に取得してもよく、予め撮影部が生成して記憶装置に記憶された撮影画像を、所定のタイミングにおいて取得してもよい。

病変部位検出手段３１Ｘは、撮影画像における、病変が疑われる病変部位を検出する。病変部位検出手段３１Ｘは、第１実施形態における病変部位検出部３１とすることができる。

病変診断手段３２Ｘは、撮影画像と、病変部位を撮影画像から切り取った切り取り画像とに基づき、病変部位に関する診断を行う。病変診断手段３２Ｘは、第１実施形態における病変診断部３２とすることができる。

図１０は、第２実施形態における処理手順を示すフローチャートの一例である。まず、取得手段３０Ｘは、内視鏡に設けられた撮影部により検査対象を撮影した撮影画像を取得する（ステップＳ２１）。次に、病変部位検出手段３１Ｘは、撮影画像における、病変が疑われる病変部位を検出する（ステップＳ２２）。そして、病変診断手段３２Ｘは、撮影画像と、病変部位を撮影画像から切り取った切り取り画像とに基づき、病変部位に関する診断を行う（ステップＳ２３）。

第２実施形態によれば、画像処理装置１Ｘは、検査対象を広域に表す撮影画像と、病変が疑われる箇所を切り取った画像とに基づき、正常領域と病変部の表面パターンの差を考慮しなければ診断が難しい病変の診断を的確に実行することができる。

その他、上記の各実施形態（変形例を含む、以下同じ）の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。

［付記１］
内視鏡に設けられた撮影部により検査対象を撮影した撮影画像を取得する取得手段と、
前記撮影画像における、病変が疑われる病変部位を検出する病変部位検出手段と、
前記撮影画像と、前記病変部位を前記撮影画像から切り取った切り取り画像とに基づき、前記病変部位に関する診断を行う診断手段と、
を有する画像処理装置。
［付記２］
前記診断手段は、画像が入力された場合に当該画像内の病変部位に関する診断結果を出力する診断モデルに対し、前記撮影画像と、前記切り取り画像とが結合された画像を入力し、当該診断モデルが出力する前記診断結果に基づいて、前記診断を行う、付記１に記載の画像処理装置。
［付記３］
前記診断手段は、前記撮影画像と前記切り取り画像とがチャンネル方向に重ね合わせられた画像を、前記診断モデルに入力し、当該診断モデルが出力する前記診断結果に基づいて、前記診断を行う、付記２に記載の画像処理装置。
［付記４］
前記診断手段は、前記撮影画像と前記切り取り画像とが画像の縦方向又は横方向に結合された画像を、前記診断モデルに入力し、当該診断モデルが出力する前記診断結果に基づいて、前記診断を行う、付記２に記載の画像処理装置。
［付記５］
前記診断手段は、前記診断モデルの入力形式に基づきリサイズされた前記撮影画像と、前記切り取り画像とが結合された画像を、前記診断モデルに入力し、当該診断モデルが出力する前記診断結果に基づいて、前記診断を行う、付記２～４のいずれか一項に記載の画像処理装置。
［付記６］
前記診断手段は、鋸歯状病変、過形成性ポリープ、腺腫、上皮内癌の少なくともいずれかに関する診断を行う、付記１～５のいずれか一項に記載の画像処理装置。
［付記７］
前記検査対象は、大腸又は胃である、付記１～６のいずれか一項に記載の画像処理装置。
［付記８］
前記診断に基づく情報を表示装置又は音出力装置に出力させる出力制御手段をさらに有する、付記１～７のいずれか一項に記載の画像処理装置。
［付記９］
前記出力制御手段は、前記診断により特定種類の病変の存在を検出した場合に、少なくとも当該病変の存在を通知する情報を、前記診断に基づく情報として前記表示装置又は前記音出力装置に出力させる、付記８に記載の画像処理装置。
［付記１０］
前記出力制御手段は、前記診断に基づく前記病変部位の分類又はリスクの少なくとも一方に関する情報を、前記診断に基づく情報として前記表示装置又は前記音出力装置に出力させる、付記８または９に記載の画像処理装置。
［付記１１］
コンピュータが、
内視鏡に設けられた撮影部により検査対象を撮影した撮影画像を取得し、
前記撮影画像における、病変が疑われる病変部位を検出し、
前記撮影画像と、前記病変部位を前記撮影画像から切り取った切り取り画像とに基づき、前記病変部位に関する診断を行う、
画像処理方法。
［付記１２］
内視鏡に設けられた撮影部により検査対象を撮影した撮影画像を取得し、
前記撮影画像における、病変が疑われる病変部位を検出し、
前記撮影画像と、前記病変部位を前記撮影画像から切り取った切り取り画像とに基づき、前記病変部位に関する診断を行う処理をコンピュータに実行させるプログラムを格納した記憶媒体。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。

１、１Ｘ画像処理装置
２表示装置
３内視鏡スコープ
４サーバ装置
１１プロセッサ
１２メモリ
１３インターフェース
１４入力部
１５光源部
１６音出力部
１００、１００Ａ内視鏡検査システム

Claims

内視鏡に設けられた撮影部により検査対象を撮影した撮影画像を取得する取得手段と、
前記撮影画像における、病変が疑われる病変部位を検出する病変部位検出手段と、
画像が入力された場合に当該画像内の病変部位に関する診断結果を出力する診断モデルに対し、前記撮影画像と、前記病変部位を前記撮影画像から切り取った切り取り画像とが結合された画像を入力し、当該診断モデルが出力する前記診断結果を取得する診断手段と、
前記診断結果に基づく情報を表示装置又は音出力装置に出力させる出力制御手段と、
を有する画像処理装置。
前記診断手段は、前記撮影画像と前記切り取り画像とがチャンネル方向に重ね合わせられた画像を、前記診断モデルに入力し、当該診断モデルが出力する前記診断結果を取得する、請求項１に記載の画像処理装置。
前記診断手段は、前記撮影画像と前記切り取り画像とが画像の縦方向又は横方向に結合された画像を、前記診断モデルに入力し、当該診断モデルが出力する前記診断結果を取得する、請求項１に記載の画像処理装置。
前記診断手段は、前記診断モデルの入力形式に基づきリサイズされた前記撮影画像と、前記切り取り画像とが結合された画像を、前記診断モデルに入力し、当該診断モデルが出力する前記診断結果を取得する、請求項１～３のいずれか一項に記載の画像処理装置。
前記診断手段は、鋸歯状病変、過形成性ポリープ、腺腫、上皮内癌の少なくともいずれかに関する前記診断結果を取得する、請求項１～４のいずれか一項に記載の画像処理装置。
前記検査対象は、大腸又は胃である、請求項１～５のいずれか一項に記載の画像処理装置。
前記診断結果は、前記病変の分類を示す分類情報であり、
前記診断結果に基づく情報は、
前記分類情報、又は、
前記分類情報に基づく前記病変の病名又は前記病変のリスクに関する情報、
の少なくとも一方を含む、請求項１～６のいずれか一項に記載の画像処理装置。
前記出力制御手段は、前記診断結果に基づき特定種類の病変の存在を検出した場合に、少なくとも当該病変の存在を通知する情報を、前記診断結果に基づく情報として前記表示装置又は前記音出力装置に出力させる、請求項１～７のいずれか一項に記載の画像処理装置。
コンピュータが、
内視鏡に設けられた撮影部により検査対象を撮影した撮影画像を取得し、
前記撮影画像における、病変が疑われる病変部位を検出し、
画像が入力された場合に当該画像内の病変部位に関する診断結果を出力する診断モデルに対し、前記撮影画像と、前記病変部位を前記撮影画像から切り取った切り取り画像とが結合された画像を入力し、当該診断モデルが出力する前記診断結果を取得し、
前記診断結果に基づく情報を表示装置又は音出力装置に出力させる、
画像処理方法。
内視鏡に設けられた撮影部により検査対象を撮影した撮影画像を取得し、
前記撮影画像における、病変が疑われる病変部位を検出し、
画像が入力された場合に当該画像内の病変部位に関する診断結果を出力する診断モデルに対し、前記撮影画像と、前記病変部位を前記撮影画像から切り取った切り取り画像とが結合された画像を入力し、当該診断モデルが出力する前記診断結果を取得し、
前記診断結果に基づく情報を表示装置又は音出力装置に出力させる処理をコンピュータに実行させるプログラム。