JP4451460B2 - 内視鏡診断支援装置 - Google Patents

Description

本発明は、内視鏡装置による画像データを基に病変の種類を自動的に判別・分類する内視鏡診断支援装置に関する。

近年、細長の挿入部を体腔内に挿入し、固体撮像素子等を撮像手段に用いて体腔内臓器等をモニタ画面により観察し、検査あるいは診断することのできる内視鏡装置が広く用いられている。また，前記体腔内臓器へ超音波を照射し、この超音波の反射あるいは透過度等により該体腔内臓器の状況をモニタ画面により観察し、検査あるいは診断することのできる超音波内視鏡装置も広く用いられている。

これらの内視鏡装置を用いた最終的な診断は医師の主観に依存している部分が多大であり、客観的・数値的な診断に直接結びつく内視鏡診断支援装置の実現が望まれていた。

内視鏡診断支援装置は、画像内における関心領域（ＲＯＩ）から算出された様々な特徴量を用い、闇値処理あるいは統計的・非統計的識別器を用いて診断対象とする画像がどのような所見や病変に分類されるかを医師に提示することにより、客観的・数値的な診断の支援を行うものである。

特徴量は、内視鏡画像上の様々な所見を反映した数値であり、画像処理手法の適用により得られるものである。例えば「発赤により粘膜表面が赤い」といった色調に関する所見を特徴量化する場合には、内視鏡画像を構成するＲＧＢ各データを用いて、Ｒ／（Ｒ＋Ｇ＋Ｂ）を各画素ごとに求め、その平均値を特徴量として使用することができる（この特徴量は一般に色度と呼ばれる）。また、近年内視鏡分野においては胃粘膜血流量を反映した色調の特徴量として３２ｌｏｇ₂（Ｒ／Ｇ）により得られるヘモグロビン指標が広く用いられている。

さらに、透見血管像に見られる血管の拡張・蛇行や胃小区の形態の大小・不整度・胃小区間の溝幅等、内視鏡画像における粘膜表面構造に関する所見も種々の疾患に対する診断の重要な要素となっており、これらに対しても画像処理手法の適用により特徴量として数値化することができる。このような特徴量算出においては、特許第２９１８１６２号公報に示されている手法がある。

さらに、複数の異なる所見から得た各特徴量を組み合わせて特徴ベクトルとして用いることにより、より複雑かつ正確な診断の支援を行うことがでる。内視鏡診断支援装置の精度向上においては，重要な内視鏡画像所見を数値化するための高精度の特徴量算出手法が非常に重要であるといえる。

近年においては，公知のＧａｂｏｒフィルタを用いて算出されるＧａｂｏｒ特徴に対し内視鏡画像への適用のための改良を加えた空間周波数解析手法により、粘膜表面構造の細かさ、粘膜表面構造が呈する模様の方向性等を特徴量として数値化する内視鏡画像処理方法がある。

このような内視鏡診断支援装置及び特徴量算出手法の例として、特開平１０−１４８６４号公報がある。

最近の内視鏡装置においては、高画質化、固体撮像素子（ＣＣＤ等）の高画素化、さらには通常の内視鏡と同等の外径と操作性を保ちつつ拡大観察（ズーミング）機能を有する拡大内視鏡の登場により、粘膜表面の極めて微細な毛細血管像や胃・大腸の腺口（pit）構造が明瞭に観察されるようになっている。従来組織標本を実体顕微鏡下で観察していたのと同レベルの生体像を内視鏡下で臨床検査時に観察することが可能となり、それらの微細構造観察所見を用いた新たな診断学が確立されてきている。

このような例としてひ特許文献１（胃隆起性病変の実体顕徴鏡像と病理組織学的所見からみた拡大電子内視鏡像の解析，本田徹他，Gastroenterological Endoscopy，1993年5月，第35巻5号pp.967-976）、非特許文献２（陥凹型早期大腸癌，工藤進英，マンスリーブックガストロ，1993年5月，第3巻5号pp.47-53）及び非特許文献３（拡大電子スコープによる大腸疾患の診断，工藤進英他，胃と腸，1994年，第29巻3号，pp.163-165）があげられる。これらは内視鏡画像上で観察されるpitの形態や配列の違いから、正常粘膜、良性腫瘍および癌等の病変が鑑別可能であることを示している。例えば非特許文献２および３においては、大腸病変に見られるpitの形態や配列の違いをＩ型ないしＶ型とその亜分類からなるpit patternに分類の上、各種病変との対応付けを行った。
特許第２９１８１６２号公報 特開平１０−１４８６４号公報 胃隆起性病変の実体顕徴鏡像と病理組織学的所見からみた拡大電子内視鏡像の解析，本田徹他，Gastroenterological Endoscopy，1993年5月，第35巻5号pp.967-976 陥凹型早期大腸癌，工藤進英，マンスリーブックガストロ，1993年5月，第3巻5号pp.47-53 拡大電子スコープによる大腸疾患の診断，工藤進英他，胃と腸，1994年，第29巻3号，pp.163-165

しかしながら、これらの新しい内視鏡診断学に対する客観的・数値的な診断の実現にあたっては、特開平１０−１４８６４号公報に示される診断支援装置において以下のような問題があった。

内視鏡画像において、特に近接あるいは拡大観察時においては、病変部内は必ずしも均一な所見を呈する症例ばかりではなく、例えば大腸pit patternでは大きさが数ｍｍの極めて微小な病変においても正常であるＩ型，腫瘍性病変のIIIs型及びそれらの中間ともいえる型等が混在することがある。また、腺腫内癌のように良性腫瘍の中の一部が癌化した病変も報告されている。

関心領域として設定されなかった領域の情報は得られないため、例えば病変部粘膜上にどのような型のpit patternがどのような割合で存在しているか、あるいは病変中にどのような種類の腫瘍が混在しているかを知ることができないという問題がある。

また、内視鏡画像からの特徴量算出においては、より正確な診断の実現のため内視鏡画像におけるより多くの情報を利用する必要がある。一方、特開平１０−１４８６４号公報においては前述した空間周波数解析手法が適用されているが、これらは空間周波数成分の有するすべての情報を利用したものではなかった。より具体的には、空間周波数成分が有する情報は内視鏡画像を構成する振幅情報と位相情報があるが、従来は位相情報を利用していないことによる情報の損失がある。

また、特許第２９１８１６２号公報においては粘膜表面における微細構造成分の特徴量算出について示されているが、内視鏡診断支援装置における使用にあたっては以下のような問題がある。

内視鏡装置を用いた臨床検査においては粘膜表面構造を明瞭に観察するために、インジゴカルミン、メチレンブルー、クリスタルバイオレツト等の様々な色素や染色剤と呼ばれる薬剤が用いられている。例えば大腸のpit patternの観察においては、インジゴカルミンを標準的に使用し、より詳細な観察が必要な場合にはメチレンブルーまたはクリスタルバイオレットを使用するといった使い分けがなされている。

しかしながら、いわゆる色素法として用いられるインジゴカルミンと、染色法として用いられるメチレンブルー及びクリスタルバイオレットにおいては次のような性質の違いがある。

インジゴカルミンは生体に吸収される特性を持たず、粘膜表面の凹凸形状に応じて凹の部分に溜まることで明瞭な観察像が得られるものである。一方、メチレンブルー及びクリスタルバイオレットは例えば細胞内の核に吸収されることで、吸収されなかった部位とのコントラストを明瞭化することが可能となっている。

これらの性質から画像上に現れる違いについて図２３を例に説明する。例えば大腸のpit patternは粘膜表面の腺口の形状と配列を観察するものであるが、腺口は粘膜表面に開いている微細な穴であるため、インジゴカルミンを散布した場合には内視鏡画像においては腺口部が青緑色の領域として観察される。これを模式図的に表すと図２３（ａ）に黒色で示す領域となる。一方、メチレンブルー及びクリスタルバイオレットにおいては，腺口は当然のことながら何もない空間であるため染色されず、図２３（ｂ）に示すように図２３（ａ）とは逆の状態となり、内視鏡画像においては腺口部以外の部位がメチレンブルーでは青色、クリスタルバイオレットでは紫色の領域として観察される。

そのため、例えばしきい値処理による粘膜構造の抽出を行う場合には各薬剤の違いにより処理結果が逆転することとなり、同じ疾患であるにもかかわらず異なる特徴量の値が算出されるため、薬剤散布のない通常画像及び各種薬剤を散布した画像を混在して使用できないという問題がある。

また、薬剤散布のない通常の内視鏡画像においては、粘膜表面の構造成分はＲＧＢ画像におけるＧ画像に最も多く含まれる。クリスタルバイオレットにおいてもその紫色の色調から同様である。一方、インジゴカルミン及びメチレンブルー等の青色系の薬剤を使用した場合はＲ画像が最も多く構造成分を含む場合がある。したがって、特徴量算出においてＲＧＢ画像のいずれを処理の対象とするかについて、薬剤散布の有無及び散布に使用した菓剤の種別に応じて変更することで診断支援の高精度化が図れるにも関わらずこの点について考慮されていないという問題がある。

本発明は、上記事情に鑑みてなされたものであり、内視鏡画像において病変の粘膜表面構造が複数の異なる所見を呈する場合，あるいは病変中に他の異なる腫瘍等が混在する場合においても，各所見を示す部位ごとに関心領域を設定するとともに，どのような所見，あるいは所見に関連して診断される腫瘍等が存在しているか，さらにはそれらがどのような割合で混在しているかを知ることができる内視鏡診断支援装置を提供することを目的としている。

本発明の一態様による内視鏡診断支援装置は、複数の色信号からなる内視鏡画像の色調、粘膜表面構造、または周波数成分の少なくともいずれか１つに基づき、前記内視鏡画像を構成する各画素毎に第１の特徴量を算出する第１の特徴量算出手段と、前記内視鏡画像に対して第１の領域を設定する領域設定手段と、前記領域設定手段において設定された前記第１の領域を、前記第１の特徴量に基づいて複数の第２の領域に分割する領域分割手段と、前記第２の領域の各領域毎に第２の特徴量を算出する第２の特徴量算出手段と、前記第２の特徴量に基づき、前記第２の領域の各々に対する判別分類処理を行う判別分類手段と、前記判別分類処理により得られた分類結果を前記第２の領域の各々に対応させて表示する表示手段と、を備えて構成される。

本発明の内視鏡診断支援装置は、内視鏡画像において病変の粘膜表面構造が複数の異なる所見を呈する場合，あるいは病変中に他の異なる腫瘍等が混在する場合においても，各所見を示す部位ごとに関心領域を設定するとともに，どのような所見，あるいは所見に関連して診断される腫瘍等が存在しているか，さらにはそれらがどのような割合で混在しているかを知ることができる。

以下、図面を参照して本発明の実施の形態を説明する。

第１の実施の形態：
本発明の第１の実施の形態は、診断支援情報の取得を所望する病変部に対して、もれなく関心領域（以下、ＲＯＩと称する）を設定することが可能となるとともに、各ＲＯＩごとにどのような所見や疾患がどのような割合で存在しているのかを提示することができる内視鏡診断支援装置に関するものである。

図１ないし図１２は本発明の第１の実施の形態に係わり、図１は内視鏡診断支援装置の構成を示す構成図、図２は従来の内視鏡診断支援装置における診断支援処理実行プログラムの構成を説明するための機能ブロック図、図３は従来の内視鏡診断支援装置における診断支援処理実行プログラムの動作を説明するためのフローチャート、図４は従来の内視鏡診断支援装置におけるＲＯＩ設定を説明するためのＲＯＩ設定ウィンドウ説明図、図５は従来の内視鏡診断支援装置における診断支援情報の表示を説明するためのレポート表示ウィンドウ説明図、図６は本実施の形態の内視鏡診断支援装置における診断支援処理実行プログラムの構成を説明するための機能ブロック図、図７は本実施の形態の内視鏡診断支援装置における診断支援処理実行プログラムの動作を説明するためのフローチャート、図８は本実施の形態の内視鏡診断支援装置における仮ＲＯＩ設定を説明するための仮ＲＯＩ設定ウィンドウ説明図、図９は本実施の形態における領域分割処理の動作を説明するためのフローチャート、図１０及び図１１は本実施の形態における領域分割処理を説明するための説明図、図１２は本実施の形態の内視鏡診断支援装置における診断支援情報の表示を説明するためのレポート表示ウィンドウ説明図である。

始めに、図１を参照の上、本発明の第１の実施の形態における内視鏡診断支援装置の構成について説明する。なお、本実施の形態における内視鏡診断支援装置の構成は、従来の内視鏡診断支援装置と基本的に同一であるが、後述する診断支援プログラムを構成するブロック及び動作を異ならしめることによりその目的を達成するものである。

図１に示すように、本実施の形態の診断支援装置１は、例えば図示しない電子内視鏡から撮像信号を得て映像信号に変換するビデオプロセッサ２と、このビデオプロセッサ２からの映像信号を映し出す観察モニタ３と、ビデオプロセッサ２からの映像信号を画像データに変換して信号処理する入力ユニット４と、入力ユニット４により信号処理した画像データ及びこの画像データを可逆あるいは非可逆圧縮した圧縮画像データを記憶するサーバユニット５と、サーバユニット５に記憶された画像データあるいは圧縮画像データを検索して表示すると共に、関心領域設定処理、特徴量算出処理、判別分類処理等の一連の診断支援処理を行うカンファレンスユニット６とを備えて構成されている。

入力ユニット４は、ビデオプロセッサ２からの映像信号であるアナログＲＧＢビデオ信号をデジタル信号である画像データヘ変板するＡ／Ｄコンバータ１１と、画像データを記憶するメモリを備えビデオプロセッサ２からの管理情報を付加した画像ファイルを生成する画像処理部１２と、画像処理部１２により生成された画像ファイルをＬＡＮ（Local Area Network）ケーブル４ａを介してサーバユニット５に送出するＬＡＮコントローラ１３と、ビデオプロセッサ２と画像データの管理情報等を通信すると共に画像処理部１２及びＬＡＮコントローラ１３を制御するコントローラ１４とを備えて構成される。

ビデオプロセツサ２は、映像信号出力端、アナログＲＧＢビデオ信号出力端及び通信信号出力端を備えており、映像信号出力端は観察モニタ３に接続され、アナログＲＧＢビデオ信号出力端はＡ／Ｄコンバータ１１の入力端に接続され、通信信号出力端はコントローラ１４に接続されている。

また，Ａ／Ｄコンバータ１１の出力端は、画像処理部１２のデータ信号端に接続されている。

コントローラ１４の制御信号端及びデータ信号端は、バスライン１４ａにより画像処理部12及びＬＡＮコントローラ１３との制御信号端に接続されている。そしてコントローラ１４による画像処理部12及びＬＡＮコントローラ１３の制御は、バスライン１４ａを介した信号により行われるようになっている。

ビデオプロセッサ２により映像信号に変換された、例えば図示しない電子内視鏡による観察像は、観察モニタ３に観察画像として映し出されるようになっている。また、ビデオプロセッサ２の操作者が、前述した観察画像を記録する必要があると判断した場合、前述した映像信号は、アナログＲＧＢビデオ信号としてＡ／Ｄコンバータ１１へ出力されこのＡ／Ｄコンバータ１１は、アナログＲＧＢビデオ信号を所定の量子化処理を行い、デジタルＲＧＢビデオ信号に変換し、画像処理部１２へ観察画像データとして出力するようになっている。

画像処理部１２は、コントローラ１４の制御により、Ａ／Ｄコンバータ１１から入力された観察画像データを記憶するようになっている。

コントローラ１４は，画像処理部１２に記憶された観察画像データに対して縮小処理等の各種データ処理を施し、さらには管理情報を付加して画像ファイルとし、画像処理部１２へ一旦記憶させあるいはＬＡＮコントローラ１３へ出力するようになっている。また、コントローラ１４は、前述したように各種データ処理を施された画像ファイルを画像処理部１２へ一旦記憶した場合、該画像ファイルを所定のタイミングにより画像処理部12からＬＡＮコントローラ１３へ出力するようになっている。

サーバユニット５は、入力ユニット４のＬＡＮコントローラ１３より送出される画像ファイルを受け取るＬＡＮコントローラ２１と、ＬＡＮコントローラ２１が受け取った画像ファイルを一時的に記憶するメモリ２２と、ＬＡＮコントローラ２１が受け取つた画像ファイルを大容量記憶媒体である例えばハードディスク２３に記録するハードディスクドライバ２４と、ＬＡＮコントローラ２１が受け取った画像ファイルを可逆あるいは非可逆で圧縮して圧縮画像データをハードディスクドライバ２４に送出する圧縮装置２５と、ＬＡＮコントローラ２１、メモリ２２、ハードディスクドライバ２４及び圧縮装置２５を制御するコントローラ２６とを備えて構成され、ハードディスクドライバ２４は、画像ファイル及び圧縮画像データをハードディスク２３に記録すると共に、ＬＡＮコントローラ２１は、ＬＡＮケーブル５ａを介してハードディスク２３に記録された画像ファイルまたは圧縮画像データをカンファレンスユニット６に送信できるようになっている。

入力ユニット４のＬＡＮコントローラ１３のＬＡＮケーブル４ａ端はサーバユニット５のＬＡＮコントローラ２１に接続されている。このＬＡＮケーブル４ａは、いわゆる10baseTもしくは100baseTといわれるケーブルであり、ツイストペア線を用い10Mbit／secの双方向のデータ通信を長さ100ｍ以内の範囲で可能であり、複数の装置間の制御及びデータの送受をすることができるものである。

サーバユニット５のコントローラ２６の制御信号端及びデータ信号端は、バスライン２６ａによりメモリ２２と、ＬＡＮコントローラ２１と，ハードディスクドライブ２４との制卸信号端に接続されている。

サーバユニット５では、入力ユニット４のＬＡＮコントローラ１３からの画像ファイルをＬＡＮケーブル４ａを介してＬＡＮコントローラ２１で入力し、コントローラ２６が、ＬＡＮコントローラ２１を介して入力された画俵ファイルを一旦メモリ２２に記憶する。ハードディスクドライブ２４は、この画像ファイルを例えばハードディスク２３へ記憶するようになっている。

カンフアレンスユニット６は、サーバユニット５のＬＡＮコントローラ２１からの画像ファイルまたは圧縮画像データをＬＡＮケーブル５ａを介して受け取るＬＡＮコントローラ３１と、ＬＡＮコントローラ３１が受け取った画像ファイルまたは圧縮画像データを記憶する画像処理部３２と、画像処理部３２が記憶した圧縮画像データを伸張する伸張装置３３と、画像処理部３２が記憶した画像ファイル中のデジタル信号である画像データ及び伸張装置２２で伸張された画像データを逆量子化処理し、アナログＲＧＢビデオ信号へ変換するＤ／Ａコンバータ３４と、Ｄ／Ａコンバータ３４により変換されたアナログＲＧＢビデオ信号を映し出す観察モニタ３５と、画像処理部３２を制御するコントローラ３６とを備えている。

画像処理部３２のデータ信号端は，Ｄ／Ａコンパータ３４の入力端に接続され、このＤ／Ａコンバータ３４の出力端は、観察モニタ３５に接続されている。コントローラ３６の制御信号端及びデータ信号端は、バスライン３６ａにより前記画像処理部３２とＬＡＮコントローラ３１との制御信号端に接続されている。コントローラ３６の制御信号端及びデータ信号端は、パスライン３６ｂにより後述のＣＰＵ４１との制御信号端に接続されている。

また、カンファレンスユニット６は、コントローラ３６を制御するＣＰＵ４１と、例えばサーバユニット５への画像ファイルの検索等の要求を入力すると共に、この画像ファイルに併せて各種の情報を入力するキーボード４２と、このキーボード４２の信号とＣＰＵ４１の信号との整合をとるキーボードインターフェース（以下，キーボードＩ／Ｆと称する）４３と、キーボード４２により入力された情報を表示する検索モニタ４４と、検索モニタ４４の画面上のカーソル座標を任意の位置に移動させる指示を与えるマウス４５と、このマウス４５の信号とＣＰＵ４１の信号との整合をとるマウスインターフェース（以下，マウスＩ／Ｆと称する）４６と、ＣＰＵ４１の実行プログラム及び検索モニタ４４のメニュー画面の画像データ等の各種データを記録したハードデイスク４７と、このハードディスク４７の信号とＣＰＵ４１との信号の整合をとるハードディスクインターフェース（以下，ハードディスクＩ／Ｆと称する）４８と、ＣＰＵ４１の各種処理作業領域として用いられる作業メモリ４９と、検索モニタ４４に表示するデジタルＲＧＢビデオ信号を記憶するメモリを含む画像処理部５０と、ＣＰＵ４１からの情報を印刷するプリンタ５１と、プリンタ５１とＣＰＵ４１との整合をとるプリンタインターフェース（以下，プリンタＩ／Ｆと称する）５２とを備えている。

さらに、カンファレンスユニット６は、ＣＰＵ４１によりキーボード４２から入力された情報のうちパスワードを記憶するパスワード記憶部６１と、パスワード記憶部６１が記憶したパスワードのレベルを判定するパスワード監視部６２と、パスワード監視部６２の判定結果に基づいてＣＰＵ４１の制御を制限する制御制限部６３とを備えている。

ＣＰＵ４１の制御信号端及びデータ信号端は、バスライン４１ａによりハードディスクＩ／Ｆ４８、マウスＩ／Ｆ４６、 キーボードＩ／Ｆ４３、作業メモリ４９、画像処理部５０及びパスワード監視部６１の制御信号端及びデータ信号端に接続されている。そして、ＣＰＵ４１は，バスライン４１ａにより、ハードディスクＩ／Ｆ４８、マウスＩ／Ｆ４６、キーボードＩ／Ｆ４３、プリンタＩ／Ｆ５２及び作業メモリ４９を制御するようになっている。

マウスＩ／Ｆ４６は、マウス４５の物理的相対移動量に応じた信号を検出し、作業メモリ４９へ出力し、作業メモリ４９は、前述した移動量を記憶するようになっている。

キーボードＩ／Ｆ４３は、キーボード４２から入力された文字情報の信号を作業メモリ４９へ出力し、作業メモリ４９は、前述した文字情報等を記憶するようになっている。

ハードディスクＩ／Ｆ４８は、ハードディスク４７からＣＰＵ４１が実行するプログラム及びメニュー画面等の検索モニタ４４用の画像データを読み出し、作業メモリ４９へ出力し、作業メモリ４９は前述したプログラム及び検索モニタ４４用の画像データ等を記憶するようになっている。

プリンタＩ／Ｆ５２は、プリンタ５１に対してＣＰＵ４１から送信される情報を伝送し印刷を行う。

ＣＰＵ41は、前述したように、ハードディスク４７に記憶されたプログラムを電源投入時に、作業メモリ４４にロードし該プログラムによって動作する。

前述したようにサーバユニット５のハードディスク２３に記憶された画像ファイルは、コントローラ２６の制御により、ハードディスクドライバ１４に出力されメモリ２２に一旦記憶されるかあるいは直接ＬＡＮコントローラ２１へ出力される。ＬＡＮコントローラ２１からＬＡＮケーブル５ａを介し，カンファレンスユニット６のＬＡＮコントローラ３１へ画像ファイルが入力される。

そして、カンファレンスユニット６では、コントローラ３６の制御によりＬＡＮコントローラ３１は、画像処理部３２に画像ファイルを出力する。画像処理部３２に記憶された、サーバーユニット５のハードディスク２３からの画像ファイルは、コントローラ３６の制御によりデジタルの観察画像データと管理情報に分離され、デジタル観察画像データは画像処理部３２に記憶され、管理情報はバスライン３６ｂによりＣＰＵ４１に送られる。

画像処理部３２は、前述した観察画像データを記憶するようになっている。前述したように画像処理部３２へ記憶されたデジタル信号である観察画像データは、Ｄ／Ａコンパータ３４の逆量子化により、アナログＲＧＢビデオ信号へ変換され、観察モニタ３５へ出力されるようになっている。観察モニタ３５は、前述したように入力されたアナログＲＧＢビデオ信号を映し出すようになっている。尚、観察画像データが圧縮画像データの場合は、伸張装置33で伸張された後にＤ／Ａコンバータ３４に出力される。

ＣＰＵ４１は、マウス４５によるカーソル、キーボード４２による文字情報、ハードディスク４７からのメニュー画面等の検索モニタ４４用の画像データと管理情報を合成あるいは単独で表示するように演算処理し、画像データとして画像処理部５０へ記憶させるようになっている。

ハードディスク２３に記録されている画像ファイルの観察画像データは、例えばカラーである観察画像を横640ドット，縦480ドットで分割し、この各ドットに対応じてＲＧＢ各色信号レベルを、例えば８ビットとなるように量子化した所定のバイト数で構成されるようになっている。

以上に説明した構成による内視鏡診断支援装置を用いた診断支援処理は、ハードディスク４７に記録された診断支援処理実行プログラムを用い、ＣＰＵ４１により実行される。また、診断支援処理は検索モニタ４４に表示されるマルチウィンドウ環境上において、キーボード４２及びマウス４５を用いた入力により操作される。

内視鏡診断支援装置においては、患者・検査及び画像に関してサーバーユニット５から送信される各種情報と、設定されたＲＯＩの位置・形状情報と、付随する所見情報と、ＲＯＩから算出された特徴量の値と、判別分類処理の適用により得られた判別結果等を保存するためのデータベースがハードデイスク４７に格納される。このデータベースは診断支援処理実行プログラムによりアクセスされる。

次に、図２を用いて従来の診断支援処理の概要について説明する。

図２に示すように、診断支援処理実行プログラム７０は、画像入力・管理ブロック７１、データベース管理ブロック７２、ＲＯＩ設定ブロック７３、特徴量算出ブロック７４、判別分類ブロック７５、レポート作成ブロック７６及び画像処理ブロック７７からなっている。以下、診断支援処理実行プログラム７０を構成する各ブロックの概要を説明する。

画像入力・管理ブロック７１は、診断:支援処理において使用する内視鏡画像の入力、管埋及び検索等を行う。

データベース管理ブロック７２は、診断支援処理において使用する画像、設定されるＲＯＩ、算出される特徴量等を記憶及び管理するためのデータベースを管理する。

ＲＯＩ設定ブロック７３は、内視鏡画像上において、粘膜表面構造に基づく特徴量を算出するためのＲＯＩを設定する。

特徴量算出ブロック７４は、特徴量算出手法を適用することにより判別分類ブロック７５における判別分類処理及びレポート作成ブロック７６における統計処理等に使用するための特徴量を算出する。

判別分類ブロック７５は、特徴量算出ブロック７４において算出された特徴量を用いた判別分類処理を行う。

レポート作成ブロック７６は、特徴量算出ブロック７４及び判別分析ブロック７５により得られた各処理結果の一覧表示、特徴量の病変種別ごとの平均値等の統計処理結果表示及びグラフ上へのプロット等によるレポートを作成する。

また、画像処理ブロック７７は、診断支援処理に使用する内視鏡画像に対し、例えばノイズ抑制処理、逆γ補正処理、構造成分強調処理等の画像処理を適用する。

そして、画像処理ブロック７７による処理結果画像は、原画像と同様にサーバユニット５におけるハードディスク２３に記録されるとともに、診断支援処理の対象データとすることができる。

次に、図３ないし図５を用いて、従来の内視鏡診断支援装置の動作について説明する。

なお、以下の説明においては内視鏡画像を構成するＲ，Ｇ及びＢ画像データの内、粘膜表面構造をよく反映しているＧ画像データに対し一連の処理を適用するものとする。

まず始めに、図３に示すように、ステップＳ１において、処理対象とする内視鏡画像を入力する。内視鏡画像はサーバユニット５よりＬＡＮケーブル５ａを経由してカンフアレンスユニット６に入力されるか、ハードディスク４７におけるデータベースに蓄積されたものがデータベース管理ブロック７２により読み出されることにより得ることができる。

次に、ステップＳ２においてＧ画像を得る。続いて、ステップＳ３において画像上のランダムノイズを低減するためのノイズ抑制処理を適用する。

ノイズ抑制処理としては一般的な平均化フィルタ、ガウシアンフィルタもしくはメディアンフイルタを用いたフィルタリングを各画素ごとに適用する。その際、フィルタの大きさ(マスクサイズ)は画像上のノイズの程度により定められ、ノイズが少ない場合は例えば３×３程度とし，多い場合はより大きなフィルタを用いるようにする。

次いで、ステップＳ４において逆γ補正を適用し、モニタ表示のための非線型変換を除去する。

ステップＳ３及びＳ４における各処理は、図２における画像処理ブロック７７において実行する。

続いて，ＲＯＩ設定ブロック７３において、ステップＳ５ないしＳ９に示す一連の処理を適用する。始めに、ステップＳ５において設定するＲＯＩの個数をカウントするためのカウンタｉを１とする。

次に、ステップＳ６において処理対象とするＧ画像データ上にｉ番目のＲＯＩ（ｉ）を設定する。ＲＯＩの設定については，例えば図４に示すＲＯＩ設定ウィンドウ１００上においてマウス４５及びキーボード４２を操作することにより行う。

図４において、内視鏡画像表示領域１０１に表示されたＧ画像データ上でマウスカーソル１０２を用いてＲＯＩを設定する。このとき，ＲＯＩの種別を任意の描画形状にするか、または矩形等の固定形状とするかがＲＯＩ種別選択ボタン１０３ａ及び１０３ｂを用いて選択されている。続いてＲＯＩ情報入力・表示領域１０４において病変の肉眼形態、所見、医師による診断名、コメント等ＲＯＩに付随する情報を入力もしくは選択の上、ＲＯＩ設定ボタン１０５によりＲＯＩ設定を完了する。また、ＲＯＩ設定ウィンドウ１００には設定済みのＲＯＩを削除するためのＲＯＩ削除ボタン１０６、ＲＯＩ設定を終了し、ＲＯＩ設定ウィンドウ１００を閉じるための終了ボタン１０７を備えている。

続いて、ステップＳ７においてＲＯＩ設定の終了を判定する。終了せず次のＲＯＩを設定する場合には、ステップＳ８に進む。図４を用いた例では内視鏡画像表示領域１０１上に新たなＲＯＩが設定された場合に相当する。また、終了であれば、ステップＳ９に進む。図４を用いた例では終了ボタン１０７が押された場合に相当し、ＲＯＩ設定ウィンドウ１００を閉じる。その際、データベース管理ブロック７２により、設定したＲＯＩに関する位置・形状及び付与された情報をハードディスク４７におけるデータベースに保存する。

ステップＳ８においてはカウンタｉの値を１増加させ、ステップＳ６に戻る。

ステップＳ９においては設定されたＲＯＩの総数をＮとし、ステップＳ１０に進む。

ステップＳ１０においては、特徴量算出ブロック７４における特徴量算出手法の適用により、設定されたＲＯＩ（１）ないしＲＯＩ（Ｎ）からの特徴量算出を行う。特徴量としては、例えば特開平１０−１４８６４号公報に示されたＧａｂｏｒフィルタを用いた特徴量の平均値等の統計量を算出する。算出した特徴量については、データベース管理ブロック７２により、ＲＯＩ（１）ないしＲＯＩ（Ｎ）の各々に関連付けた上でハードディスク４７におけるデータベースに保存する。

ステップＳ１１においては、設定されたＲＯＩ（１）ないしＲＯＩ（Ｎ）に対する判別分類を適用する。具体的にはすでにＲＯＩ設定及び特徴量算出がなされている、例えば正常部、癌、腺腫等の病変群（これらは多変量解析分野におけるクラスに相当する）から得られた特徴量を特徴ベクトル（これらは教師データと呼ばれる）とし、統計的もしくは非統計的識別器を用いた分類を判別分類ブロック７５において適用する。識別器は、その属する群（クラス）が既知のデータから得られた特徴量による特徴ベクトルを教師データとして用いて算出され、クラスが未知であるデータに適用することにより該データをいずれかのクラスに分類するものである。また、該データが各クラスに対してどの程度類似したものであるかを示す指標（クラスからの距離と呼ばれる）を算出することも可能である。クラスは何らかの属性（本実施の形態における内視鏡診断支援装置では所見がこれに該当する）が類似したデータの集合であれば自由に定義することができ、前述した病変の種別、すなわち診断名以外にも例えば大腸粘膜におけるpit patternの分類（I型，II型，．．．）としたり、「整群と不整群」としたりすることが可能である。

統計的識別器としてはFisherの判別関数、非統計的識別器としてはニューラルネツトワークが代表的なものとして広く用いられており、分類対象となる病変からの特徴量の分布の型（例えば多変量正規分布であるか、その他の分布であるか）や、識別器自体の性能等に応じて適宜選択して使用する。ここではFisherの判別関数を用いることとする。

最後にステップＳ１２において、レポート作成ブロック７６により判別分類結果を含めた診断支援情報を表示する。

診断支援情報の表示例を図５に示す。レポート表示ウィンドウ１１０を開き、診断支援情報を表示する対象となる内視鏡画像のＲＯＩの番号、識別器による判別分類結果及び判別分類結果から想定される診断名を、診断支援情報表示領域１１１に表示する。なお、本実施の形態においては識別器の出力する分類結果（クラスと呼ばれる）を粘膜表面における腺口（pit）とし、その型（pit pattern）から診断される診断名をあわせて表示している。識別器の算出においては診断名自体をクラスとすることも可能である。

また、レポート表示ウィンドウ１１０においては特徴量値表示ボタン１１２、グラフ表示ボタン１１３，印刷ボタン１１ ４， 画像／ＲＯＩ表示ボタン１１５及び終了ボタン１１６を備えており、マウス４５の操作によりそれぞれ算出した特徴量の値・平均値の表示、特徴量のグラフの表示、診断支援情報の印刷、診断支援情報表示対象の画像とＲＯＩの表示及び診断支援情報表示の終了を行う。

次に、図６を用いて本実施の形態における内視鏡診断支援装置の概要について説明する。

図６に示すように、本実施の形態における診断支援処理実行プログラム８０は、画像入力・管理ブロック８１、 データベース管理ブロック８２、仮ＲＯＩ設定ブロック８３，特徴量算出ブロック８４、ＲＯＩ設定ブロック８ ５、 判別分類ブロック８６、レポート作成ブロック８７及び画像処理ブロック８８からなっている。以下、診断支援処理実行プログラム８０を構成する各ブロックの概要を説明する。

画像入力・管理ブロック８１は、診断支援処理において使用する内視鏡画像の入力、管埋及び検索等を行う。

データベース管理ブロック８２は、診断支援処理において使用する画像、設定されるＲＯＩ、算出される特徴量等を記憶及び管理するためのデータベースを管理する。

仮ＲＯＩ設定ブロック８３は、内視鏡画像上において、詳細な診断支援情報を得る対象とするＲＯＩの設定に先立ち、大まかな処理対象とする領域（以下，仮ＲＯＩとする）を設定する。

特徴量算出ブロック８４は、設定された仮ＲＯＩに対してＲＯＩ特徴量算出手法を適用することにより、ＲＯＩ設定ブロック８５におけるＲＯＩの設定及びＲＯＩごとに算出された特徴量を用いた判別分類ブロック８６における判別分類処理及びレポート作成ブロック８７における統計処理等に使用するための特徴量を算出する。

判別分類ブロック８６は、ＲＯＩ設定ブロック８５において設定されたＲＯＩに対し，特徴量算出ブロック８４において算出された特徴量を用いた判別分類処理を行う。

レポート作成ブロック８７は、特徴量算出ブロック８４及び判別分析ブロック８６により得られた各処理結果の一覧表示、特徴量の病変種別ごとの平均値等の統計処理結果表示及びグラフ上へのプロット等によるレポートを作成する。

また，画像処理ブロック８８は、診断支援処理に使用する内視鏡画像に対し、例えばノイズ抑制処理、逆γ補正処理、構造成分強調処理等の画像処理を適用する。

そして、画像処理ブロック８８による処理結果画像は、原画像と同様にサーバユニット５におけるハードディスク２３に記録されるとともに、診断支援処理の対象データとすることができる。

次に、図７ないし図１２を用いて、本実施の形態における内視鏡診断支援装置の動作について説明する。

なお，以下の説明においては内視鏡画像を構成するＲ、Ｇ及びＢ画像データの内、粘膜表面構造をよく反映しているＧ画像データに対し一連の処理を適用するものとする。

図７に示すように、まず始めにステップＳ２０において，処理対象とする内視鏡画像を入力する。内視鏡画像はサーバユニット５よりＬＡＮケーブル５ａを経由してカンファレンスユニット６に入力されるか、ハードディスク４７におけるデータベースに蓄積されたものがデータベース管理ブロック８２により読み出されることにより得ることができる。

次に、ステップＳ２１においてＧ画像を得る。続いて、ステップＳ２２及びＳ２３において、各々図３におけるステップＳ３及びＳ４に示したノイズ抑制処理及び逆γ補正処理を適用する。ステップＳ２２及びＳ２３における各処理の適用は、図６における画像処理ブロック８８において実行する。

続くステップＳ２４においては、仮ＲＯＩ設定ブロック８３により仮ＲＯＩの設定をするかどうかを判定する。仮ＲＯＩを設定する場合にはステップＳ２５に進み、設定しない場合にはステップＳ２６に進む。なお、仮ＲＯＩは病変部以外の領域に対する処理を省略するためのものであり、本実施の形態において操作者による設定は必ずしも必要なものではない。仮ＲＯＩを設定しない場合には以後の処理において内視鏡画像全体をＲＯＩ設定対象とする。この場合、以下の説明において内視鏡画像全体を指して仮ＲＯＩと称する。

ステップＳ２５においては、仮ＲＯＩを設定する。仮ＲＯＩはステップＳ２６以降の処理において計算量を削減するとともに、病変部でない領域に対する診断支援情報の表示を避けるためのものである。すなわち、設定された仮ＲＯＩ内に本来の診断支援処理を適用するためのＲＯＩを設定する。

仮ＲＯＩの設定については，例えば図８に示す仮ＲＯＩ設定ウィンドウ２００上においてマウス４５及びキーボード４２を操作することにより行う。

図８において、内視鏡画像表示領域２０１に表示されたＧ画像データ上でマウスカーソル２０２を用いて仮ＲＯＩを設定する。ここでは、内視鏡画像表示領域２０１において破線で示す図形を仮ＲＯＩとして設定したものとする。仮ＲＯＩの種別を任意の描画形状にするか、または矩形等の固定形状とするかは仮ＲＯＩ種別選択ボタン２０３ａ及び２０３ｂを用いて選択されている。続いて仮ＲＯＩ情報入力・表示領域２０４において病変の肉眼形態、所見、医師による診断名、コメント等仮ＲＯＩに付随する情報を入力もしくは選択の上、仮ＲＯＩ設定ボタン２０５によりＲＯＩ設定を完了する。また、仮ＲＯＩ設定ウィンドウ２００には設定済みの仮ＲＯＩを削除するための仮ＲＯＩ削除ボタン２０６、仮ＲＯＩ設定を終了し、仮ＲＯＩ設定ウィンドウ２００を閉じるための終了ボタン２０７を備えている。

続くステップＳ２６において、特徴量算出ブロック８４における特徴量算出手法の適用により、設定された仮ＲＯＩにおける各面素に対しての特徴量算出を行う。本実施の形態においては、特徴量として特開平１０−１４８６４号公報に示されたＧａｂｏｒフィルタを用いたＧａｂｏｒ特徴量ｈ（Ｘ，Ｙ，θ_k，λ_m）を使用する。ここで、Ｘ及びＹは画像内における画素の座標、θ_k及びλ_mはそれぞれＧａｂｏｒフィルタの方向及び波長を規定するパラメータである。本実施の形態においては４方向２周波数のＧａｂｏｒフィルタを使用し、１≦ｋ≦４、１≦ｍ≦２であるものとする。これらのＧａｂｏｒフィルタの適用により各面素ごとに８個の特徴量を算出する。これらをｉ番目の画素についてＣi＝｛ｈ1i，ｈ2i，ｈ3i，．．．，ｈ8i｝とベクトル表記（特徴ベクトル）する。ｉは仮ＲＯＩ内の画素の番号を示す１以上の整数である．また，ｈ1iないしｈ8iは画素ｉに対して算出された８個のＧａｂｏｒ特徴量を示す。

次に、ステップＳ２７において、テップＳ２６で算出した各面素の特徴量を用いた領域分割処理により、仮ＲＯＩをＮ個（Ｎは１以上の整数）のＲＯＩに分割する。

図９を用いてステップＳ２７における領域分割処理について説明する。領域分割処理は、同じ所見を示す領域の画素から類似の値が得られることを利用して、仮ＲＯＩ内の画素を統合することにより分割されたＲＯＩを得るものである。特徴量を用いた領域分割処理は種々の手法が存在するが、本実施の形態においては特徴量による領域分割（一般的にはクラスタリングと称する）の代表的手法であるＫ平均アルゴリズムを用いるものとする。

本実施の形態においてはステップＳ２６において算出した各画素の特徴量
Ｃi＝｛ｈ1i，ｈ2i，ｈ3i，．．．，ｈ8i｝
を図９に示すステップＳ１３１以後の一連の処理において使用する。

ステップＳ１３１においては、仮ＲＯＩに対する初期領域の設定を行う。図１０に初期領域の設定例を示す。ここでは機械的に最大Ｌ×Ｌの大きさの矩形となるよう設定する。ただし、必ずしも矩形形状である必要はなく、仮ＲＯＩ境界部付近は仮ＲＯＩの境界線（図１０の実線部）を含めた領域を使用する。Ｌの値は処理対象に基づき決定され、例えば大腸pit patternの観察像であればＬ＝５とする。

続くステップＳ１３２において、各領域ごとの特徴量の平均値Ｃmeanj＝{ｈ1meanj ， ｈ2meanj ， ・‥，ｈ 8meanj}を算出する。ここで、ｊは設定された領域の番号を示す１以上の整数である。

ステップＳ１３３においては、各画素のＣiを，各領域のＣmeanと以下の式に示す距離によって比較する。

［数１］

ここで，α1ないしα8は各特徴量に対する重み付け係数を示す。ここでは均等にα1＝α2＝．．．＝α8＝１であるものとする。各領域ごとに得られたＤijに基づき、最小のＤijを与える領域に画業ｉを統合することで、領域の再構成を行う。

ステップＳ１３４においてはステップＳ１３２と同様に再構成後の各領域ごとの特徴量の平均値を算出する。

ステップＳ１３５においては、再構成された領域ごとの特徴量の平均値の値の変化により収束を確認する。変化量がしきい値以上である場合にはステップＳ１３３に戻り、再度領域の再構成を行う。しきい値未満であれば領域の再構成が収束したものとみなし、ステップＳ１３６に進み領域分割処理を完了する。

ここで、収束判定を行うしきい値は対象となる内視鏡画像と特徴量に基づき実験的に定められる値であり、例えば再構成前後でのＣmeanjの差の絶対値に対し１ ０． ０と設定する。

図１１に領域分割処理の適用によるＲＯＩ設定の例を示す。図１１において破線で示す仮ＲＯＩ２１０は、４個のＲＯＩに分割されている。各ＲＯＩは、算出された特徴量においてそれぞれが隣接するＲＯＩとは異なる傾向を示すものと判定された領域となっている。設定されたＮ個（Ｎは１以上の整数）のＲＯＩ（１）ないしＲＯＩ（Ｎ）に対しては、特徴量算出ブロック８４により図７のステップＳ２８において各ＲＯＩごとの特徴量を算出する。

ステップＳ２６及びＳ２８において算出する特徴量の違いについて説明する。ステップＳ２６における特徴量は各面素に対して算出され、同じ所見を示す領域の画素から類似の値が得られることを利用して仮ＲＯＩ内の画素を統合し、ＲＯＩ（ｉ）（１≦ｉ≦Ｎ)を得るために用いられるものである。一方、ステップＳ２８における特徴量は得られたＲＯＩ（ｉ）ごとに算出され、例えば各ＲＯＩ内の各面素の特徴量の平均値や分散等であり、以後の判別分類処理において使用されるものである。各ステップにおいて適用する特徴量算出手法は同じでも異なるものでもよく、診断支援対象となる病変の種別に応じて選択される。

本実施の形態においては、ステップＳ２６において算出した各ＲＯＩに含まれる画素のＧａｂｏｒフィルタを用いた特徴量の平均値μ（１）ないしμ(Ｎ)，標準偏差σ（１）ないしσ（Ｎ）をＲＯＩ（１）ないしＲＯＩ（Ｎ）の各特徴量として算出する。

続いて各ＲＯＩごとに算出した特徴量を用い、判別分類ブロック８６においてステップＳ２９ないしＳ３２に示す一連の処理を適用する。まずステップＳ２９においてカウンタｉの値を１とする。

ステップＳ３０においては、ＲＯＩ（ｉ）に対し図３におけるステップＳ１１に示したものと同様に識別器を適用することにより判別分類結果を得る。

ステップＳ３１においてはＮ個のＲＯＩすべてに対する処理が完了したかどうかを判定し、完了していなければステップＳ３２においてｉの値を１増加させてステップＳ３０に戻る。完了していればステップＳ３３に進む。

ステップＳ３３においては、レポート作成ブロック８７により判別分類結果を含めた診断支援情報を表示する。

診断支援情報の表示例を、図１２に示す。レポート表示ウィンドウ２２０を開き、診断支援情報を表示する対象となる内視鏡画像のＲＯＩの番号、識別器による判別分類結果、判別分類結果から想定される診断名及び仮ＲＯＩに占める各ＲＯＩの面積比を、診断支援情報表示領域２２１に表示する。

また、レポート表示ウィンドウ２２０においては、特徴量値表示ボタン２２２、グラフ表示ボタン２２３、印刷ボタン２２４、画像／ＲＯＩ表示ボタン２２５及び終了ボタン２２６を備えており、マウス４５の操作によりそれぞれ算出した特徴量の値・平均値の表示、特徴量のグラフの表示、診断支援情報の印刷、診断支援情報表示対象の画像とＲＯＩの表示及び診断支援情報表示の終了を行う。

以上に説明したように、本実施の形態における内視鏡診断支援装置によれば、診断支援情報の取得を所望する病変部に対して、もれなくＲＯＩを設定することが可能となるとともに、各ＲＯＩごとにどのような所見や疾患がどのような割合で存在しているのかを提示することができる。

なお，本実施の形態においてはＧ画像からの特徴量の算出について説明したが、ＲまたはＢ画像を用いることも可能である。また、各色信号を用いた変換により得られる輝度画像を用いることも可能である。さらに、Ｒ／（Ｒ＋Ｇ＋Ｂ）あるいはＲ／Ｇのように複数の画像を組み合わせて特徴量を算出することも可能である。

また，仮ＲＯＩに対するＲＯＩ設定のための領域分割処理に使用する特徴量算出手法と、設定後のＲＯＩに対する識別分類に用いる特徴量算出手法を異なるものとしてもよい。その場合は、例えば領域分割処理にＲ／（Ｒ＋Ｇ＋Ｂ）を用い、識別分類処理にＧａｂｏｒフィルタに基づく特徴量を使用する。

また、診断支援情報として特徴量の仮ＲＯＩ全体の平均値、標準偏差及び識別分類結果等の情報を表示してもよい。

第２の実施の形態：
本発明の第２の実施の形態は、診断支援情報の取得を所望する病変部に対してもれなくＲＯＩを設定し、各ＲＯＩごとにどのような所見や疾患がどのような割合で存在しているのかを提示することができるとともに、各ＲＯＩに対する診断支援情報に基づき病変に対してより総合的な診断支援情報を提示することができる内視鏡診断支援装置に関するものである。

本実施の形態における内視鏡診断支援装置の構成及び診断支援処理実行プログラムの構成ブロックについては第１の実施の形態において説明した内視鏡診断支援装置に同じである。したがって、以下異なる点について説明する。

図１３ないし図１６は本発明の第２の実施の形態に係わり、図１３は本実施の形態における診断支援処理実行プログラムの構成を説明するためのブロック図、図１４は診断支援実行プログラムの動作を説明するためのフローチャート、図１５は診断支援情報の導出を説明するためのフローチャート、図１６は本実施の形態の内視鏡診断支援装置における診断支援情報の表示を説明するためのレポート表示ウィンドウ説明図である。

図１３に示すように、診断支援処理実行プログラム２３０は、画像入力・管理ブロック２ ３１、 データベース管理ブロック２３２、仮ＲＯＩ設定ブロック２３３、特徴量算出ブロック２３４、ＲＯＩ設定ブロック２３５、判別分類ブロック２３６、総合診断ブロック２３７、レポート作成ブロック２３８及び画像処理ブロック２３９からなっている。これらの中で、総合診断ブロック２３７及びレポート作成ブロック２３８以外のブロックについては、それぞれ第１の実施の形態において説明した診断支援処理実行プログラム８０における各ブロックと同様の処理を行う。

総合診断ブロック２３７は判別分類ブロック２３６により得られた各ＲＯＩの判別分類結果に基づき、仮ＲＯＩを設定した病変部全体に対する総合的な診断支援情報を取得するものである。

また，本実施の形態におけるレポート作成ブロック２３８は、第１の実施の形態において示した診断支援情報の表示に加え、総合診断ブロック２３７により得られた総合的な診断支援情報を表示する。

次に，図１４を用いて本実施の形態における内視鏡診断支援装置の動作について説明する。本実施の形態においては、第１の実施の形態において図７を用いて説明した動作のステップＳ２０ないしＳ３２については同じである。

ステップＳ３１においてすべてのＲＯＩに対する判別分類処理の適用後、ステップＳ４１における総合診断情報の取得に進む。ここで、総合診断情報は以下のようにして得る仮ＲＯＩ全体に対する診断支援情報である。

例えば大腸pit patternの形態に基づく診断においては、どのような型のpit がどのような割合で存在しているかが重要な診断の指標となる。このことから、各ＲＯＩから得られた判別分類情報に基づき図１５に示すような判定を行う。

図１５において、ステップＳ５１より各pit patternが存在しているか、その割合はどの程度かを悪性度の高い疾患より順に判定する。なお、図１５において確率として示されている数値は、判定される疾患が判別分類結果に対してどの程度の頻度で出現するかを示す数値である。例えば，ステップＳ５１，Ｓ５２及びＳ５３を経た場合は「Ｖ型pit patternが、20％以上の割合で存在する病変が粘膜下に浸潤した早期癌である確率は60％以上」であることを示すものである。

図１４のステップＳ４２においてはレポート作成ブロック８７により、総合診断情報を含む診断支援情報を表示する。診断支援情報の表示例を図１６に示す。レポート表示ウィンドウ２４０において、第１の実施の形態において図１２を用いて説明した各項目に加え、総合診断情報表示領域２４１に総合診断情報を表示する。

以上説明したように、本実施の形態における内視鏡診断支援装置によれば、診断支援情報の取得を所望する病変部に対してもれなくＲＯＩを設定し、各ＲＯＩごとにどのような所見や疾患がどのような割合で存在しているのかを提示することができるとともに、各ＲＯＩに対する診断支援情報に基づき病変に対してより総合的な診断支援情報を提示することが可能となる。

第３の実施の形態：
本発明の第３の実施の形態は、第２の実施の形態として示した内視鏡診断支援装置の他の形態であり、診断支援情報の取得を所望する病変部に対してもれなくＲＯＩを設定し、各ＲＯＩごとにどのような所見や疾患がどのような割合で存在しているのかを提示することができるとともに、各ＲＯＩに対する診断支援情報に基づき病変に対してより総合的な診断支援情報を提示することができる内視鏡診断支援装置に関するものである。

本実施の形態における内視鏡診断支援装置の構成及び診断支援処理実行プログラムの構成ブロックについては第２の実施の形態において説明した内視鏡診断支援装置に同じである。したがって、以下異なる点について説明する。

図１７は本発明の第３の実施の形態に係る内視鏡診断支援装置における診断支援情報の表示を説明するためのレポート表示ウィンドウ説明図である。

第２の実施の形態においては図１５に例示した判定基準を参照することにより、病変部全体の総合診断情報を得たが、本実施の形態においては図１４のステップＳ４１において以下の処理を行うことにより総合診断情報を取得する。

図７におけるステップＳ２０ないしＳ３１に示した一連の処理により、Ｎ個のＲＯＩ各々に対する判別分類結果と仮ＲＯＩにおいて占める面積比が算出される。本実施の形態においては、得られた判別分類結果に対する該面積比を特徴量として再度判別分類処理を適用する。例えば、大腸pit patternの分類においてI型，II型，IIIs型，IIIL型，IV型，Va型，VN型の７種を想定した場合、各pit pattern の面積比の値により７次元の特徴ベクトルを構成することができる。各pit pattern の占める面積比がそれぞれ0.2，0.0，0.3，0.1，0.0，0.2，0.2であるものとすれば，特徴ベクトルＸは
Ｘ＝｛0.2，0.0，0.3，0.1，0.0，0.2，0.2｝
となる。したがって、あらかじめ癌，腺種等の疾患の診断名をクラスとし、病変部に占める各pit pattern の面積比を特徴ベクトルとした教師データを用いて作成した識別器に適用することで、その病変がいずれの疾患に分類されるものであるかを示すことが可能となる。

以上説明したように、本実施の形態における内視鏡診断支援装置によれば、診断支援情報の取得を所望する病変部に対してもれなくＲＯＩを設定し、各ＲＯＩごとにどのような所見や疾患がどのような割合で存在しているのかを提示することができるとともに、各ＲＯＩに対する診断支援情報に基づき病変に対してより総合的な診断支援情報を提示することが可能となる。

第４の実施の形態：
本発明の第４の実施の形態は，第１，第２及び第３の実施の形態として示した内視鏡診断支援装置に対し、診断支援情報の表示において診断に重要でない情報の表示をしないことにより重要な情報のみを提示することができる内視鏡診断支援装置に関するものである。

本実施の形態における内視鏡診断支援装置の構成及び診断支援処理実行プログラムの構成ブロックについては第２の実施の形態において説明した内視鏡診断支援装置に同じである。したがって、以下異なる点について説明する。

例えば大腸pit pattern の形態に基づく診断においては、Ｉ型pit pattern は正常粘膜の所見であり他のpit patternと比して重要な情報でない場合がある。そこで，図１４に示したステップＳ４２における診断支援情報の表示において、図１７に示すように判別分類処理結果がI型pit patternと判定されたＲＯＩに対する診断支援情報の表示を省略する。

このとき、ハードデイスク４７に記憶したデータベースもしくは専用の設定ファイルに情報表示を省略する判別分類結果を登録しておき、レポート作成ブロック２３８によるレポート作成時に参照する。

以上説明したように、本実施の形態における内視鏡診断支援装置によれば、例えば仮ＲＯＩに対して非常に多くのＲＯＩが設定された場合においても重要な診断支援情報を選択的に提示することが可能となる。

第５の実施の形態：
本発明の第５の実施の形態は，第１ないし第４の実施の形態として示した内視鏡診断支援装置に係わり、通常の内視鏡画像（以下、通常画像と称する）及び薬剤の散布された内視鏡画像（以下、染色画像と称する）のいずれであるかを判定し、特徴量算出において処理対象とする画像をＲＧＢ各画像から適切に選択することで常に良好な診断支援情報を提供することができる内視鏡診断支援装置に関するものである。

本実施の形態における内視鏡診断支援装置の構成については第１ないし第４の実施の形態において説明した内視鏡診断支援装置に同じである。したがって、以下異なる点について説明する。

図１８ないし図２０は本発明の第５の実施の形態に係わり、図１８は診断支援処理実行プログラムの構成を説明するためのブロック図、図１９は診断支援処理実行プログラムの動作を説明するためのフローチャート、図２０は通常画像及び染色画像の判定処理について説明するための説明図である。

図１８に示すように、診断支援処理実行プログラム２５０は、画像入力・管理ブロック２５１、データベース管理ブロック２５２、画像種別判定ブロック２５３、仮ＲＯＩ設定ブロック２５４、特徴量算出ブロック２５５、ＲＯＩ設定ブロック２５ ６、 判別分類ブロック２５７、レポート作成ブロック２５８及び画像処理ブロック２３９からなっている。これらの中で、画像種別判定ブロック２５３以外のブロックについては、それぞれ第１の実施の形態において説明した診断支援処理実行プログラム８０における各ブロックと同様の処理を行う。

画像種別判定ブロック２５３においては入力された内視鏡画像に対し、以下に示す一連の処理を適用する。なお、ここではインジゴカルミン、メチレンブルー及びクリスタルバイオレットの３種類の薬剤が選択的に使用される場合について説明する。

本実施の形態においては、図７を用いて説明した第１の実施の形態に示した診断支援処理実行プログラム８０の動作であるステップＳ２０及びＳ２１を、図１９のステップＳ１００ないしＳ１０７に示す処理に変更する。

ステップＳ１００において、処理対象とする内視鏡画像を入力する。次に、ステップＳ１０１において後述する画像種別判定処理を行う。

ステップＳ１０２においては、画像種別判定結果が通常画像であるかどうかを判定し、ＹｅｓであればステップＳ１０６へ、ＮｏであればステツブＳ１０３に進む。

ステップＳ１０３においては、画像種別判定結果がクリスタルバイオレットによる染色画像であるかどうかを判定し、判定結果がＹｅｓであればステップＳ１０６へ、ＮｏであればステップＳ１０４に進む。

ステップＳ１０４においては、画像種別判定結果がメチレンブルーによる染色画像であるかどうかを判定し、判定結果がＹｅｓであればステップＳ１０７へ、ＮｏであればステップＳ１０５に進む。

ステップＳ１０５においては、画像種別判定結果がインジゴカルミンによる染色画像であるかどうかを判定し、判定結果がＹｅｓであればステップＳ１０７へ、ＮｏであればステップＳ１０６に進む。ステップＳ１０５においてＮｏと判定された場合には、他の薬剤を用いた染色画像である可能性がある。本実施の形態においては、このときはＧ画像を選択するものとする。

ステップＳ１０６においては、ＲＧＢ画像の中でＧ画像に対し図７に示したステップＳ２１以降の処理に適用するものとし、ステップＳ２２に進む。

ステップＳ１０７においては、ＲＧＢ画像の中でＲ画像に対し図７に示したステップＳ２１以降の処理に適用するものとし、ステップＳ２２に進む。

次に，ステップＳ１０１における画像種別判定の処理内容について説明する。本実施の形態においては、画像種別を内視鏡画像の全体的な色調に応じて判定する。

入力された内視鏡画像におけるＲＧＢ画像の画素の値を（ｒi，ｇi，ｂi）とする．ここで、ｉは各面素に付与した連続する番号で、１以上の整数である。例えば画像の大きさがＸ×Ｙであり、そのすべての画素を判定に用いる場合には１≦ｉ≦Ｘ×Ｙとなる。また、サンプリング等によりＭ個の画素を用いる場合には１≦ｉ≦Ｍとなる。以下、Ｍ個の画素を用いるものとする。

各面素より、Ｓi＝ｔａｎ^-1（ｇi／ｒ i），Ｔi＝ｔａｎ^-1（ｂi／ｒ i）を求める。ｒi，ｇi及びｂiは０以上の値（例えば８ｂｉｔの階調においては０から２５５）をとるため、Ｓi及びＴiの値は０≦Ｓi， Ｔi＜９０の範囲にある実数値となる。実際には該範囲を９０分割した近似値を使用する。例えば小数点第１位における四捨五入により，０，１，２，‥，８９のそれぞれに離散化することができる。

Ｓi及びＴiは各面素の値（ｒi，ｇi，ｂi）の比によって規定される数値であり、通常画像及び各種の染色画像では得られる値の分布が異なるものとなる。具体的にはｒiの値が大きい通常画像はＳi及びＴiとも比較的小さく，青色系の薬剤であるインジゴカルミン及びメチレンブルーはｒiの値が通常画像に比較して下がるためＳi及びＴiとも大きくなる。また、メチレンブルーはインジゴカルミンと比較した場合ｇiが下がるため、Ｔi＞Ｓiとなる。一方、紫色系の薬剤であるクリスタルバイオレットはｇiの値に対してｒi及びｂiの値が大きくなるため、Ｓiは小さく、Ｔiは大きくなる。これらの分布の違いを図２０に示す．
図２０において、(1)は通常画像、(2)はインジゴカルミンによる染色画像、(3)はメチレンブルーによる染色画像、(4)はクリスタルバイオレットによる染色画像における画素がそれぞれ多く分布する領域を示している。この性質により、例えばＭ個の画素の６０％以上が含まれた場合に該当する領域に対応する画像種別であると判定することができる。また、ごく希ではあるが分布が拡散する等いずれの画像種別とも判定がつかない場合には、不明な画像と判定する。

以上説明したように、本実施の形態における内視鏡診断支援装置によれば、内視鏡診断支援装置において通常の内視鏡画像及び薬剤の散布された内視鏡画像のいずれであるかを判定し、特徴量算出における処理対象とする画像をＲＧＢ各画像から適切に選択することができ、常に良好な診断支援情報を提供することが可能となる。

また、画像種別判定を操作者が手動で行うことももちろん可能である。

また、判定不能時においては判定に使用する画素のサンプル数を増加あるいは位置を変更の上再度判定してもよい。

第６の実施形態：
本発明の第６の実施の形態は、第１ないし第５の実施の形態として示した内視鏡診断支援装置に係わり、通常画像及び染色画像のいずれであるかを判定い、その結果に応じて階調の反転を行うことにより各画像を混在して使用することを可能とすることで良好な診断支援情報を提供することができる内視鏡診断支援装置に関するものである。

本実施の形態における内視鏡診断支援装置の構成及び診断支援処理実行プログラムの構成ブロックについては第５の実施の形態において説明した内視鏡診断支援装置に同じである。したがって、以下異なる点について説明する。

図２１は本発明の第６の実施の形態に係る診断支援処理実行プログラムの動作を説明するためのフローチャートである。

染色画像においては、図２３に示したように使用する薬剤の性質の違いにより、粘膜表面構造の画像上での見え方が逆になっている。例えば腺口形態の観察においては、インジゴカルミンを用いた染色画像では腺口部が周辺部に対して低い画素値をとることとなるため、通常画像及びメチレンブルー、クリスタルバイオレット等生体に吸収されることにより効果を得る性質の染色剤とは異なるものとなる。したがって、例えば２値化をともなう特徴量算出手法の適用に当たっては処理結果が異なるものとなるため、階調の反転が必要となる。

図２１は本実施の形態における診断支援処理実行プログラム２５０の動作を説明するための説明図である。本実施の形態においては、図７を用いて説明した第１の実施の形態に示した診断支援処理実行プログラム８０の動作であるステップＳ２０及びＳ２１を、図２１のステップＳ１１０ないしＳ１２０に示す処理に変更する。

図２１において、ステップＳ１１０ないしＳ１１５に示す各処理の内容は、それぞれ第５の実施形態における図１９のステップＳ１００ないしＳ１０５と同様である。

ステップＳ１１２において、画像種別判定結果が通常画像であるかどうかを判定し、ＹｅｓであればステップＳ１１６へ、ＮｏであればステップＳ１１３に進む。

ステップＳ１１３において、画像種別判定結果がクリスタルバイオレットによる染色画像でるかどうかを判定し、判定結果がＹｅｓであればステップＳ１１６へ、ＮｏであればステップＳ１１４に進む。

ステップＳ１１４においては、画像種別判定結果がメチレンブルーによる染色画像であるかどうかを判定し、判定結果がＹｅｓであればステップＳ１１７へ、ＮｏであればステップＳ１１５に進む。

ステップＳ１１５においては、画像種別判定結果がインジゴカルミンによる染色画像であるかどうかを判定し、判定結果がＹｅｓであればステップＳ１１９へ，ＮｏであればステップＳ１１８に進む。ステップＳ１１５においてＮｏと判定された場合には、他の薬剤を用いた染色画像である可能性がある。本実施の形態においては、このときはＧ画像を選択するものとする。

ステップＳ１１６及びＳ１１８においては、Ｇ画像を以後の処理対象画像として選択の上，ステップＳ２１に進む。

ステップＳ１１７においては、Ｒ画像を以後の処理対象画像として選択の上、ステップＳ２１に進む。

ステップＳ１１９においては、Ｒ画像を以後の処理対象画像として選択の上、ステップＳ１２０に進む。

ステップＳ１２０においては、インジゴカルミンとその他の種別の画像との混在使用を可能とするための階調反転処理を適用する。階調反転処理は画像処理ブロック２５９により、以下の式を用いた画素値の変換を行う。

ｒ’j＝２５５−ｒj
ここで、ｒjはＲ画像における画素ｊの値（１≦ｊ≦Ｘ×Ｙ，ＸとＹは画像の縦・横の大きさ）で、８ｂｉｔの階調数であり、０≦ｒｊ≦２５５の範囲をとるものとする。ｒ’jは階調反転後の画素の値で、以後の処理に用いられるものである。ステップＳ１２０においてＲ画像に対する階調の反転処理を適用後、ステップＳ２１に進む。

以上説明したように、本実施の形態における内視鏡診断支援装置によれば、通常画像及び染色画像のいずれであるかを判定し、その結果に応じて階調の反転を行うことにより各画像を混在して使用することが可能となり、良好な診断支援情報を提供することができる。

第７の実施の形態：
本発明の第７の実施の形態は，第１ないし第５の実施の形態として示した内視鏡診断支援装置に係わり、インジゴカルミンを用いた染色画像とそれ以外の内視鏡画像のいずれであるかを判定し、その結果に応じて階調の反転を行うことにより各画像を混在して使用することを可能とすることで良好な診断支援情報を提供することができる内視鏡診断支援装置に関するものである。

本発明の第６の実施の形態においては、入力された内視鏡画像が通常画像及び３種類の染色画像のいずれであるかを判定し、使用された薬剤の性質の違いを考慮の上、ＲもしくはＧ画像を選択し，さらにインジゴカルミンを用いた染色画像に対しては階調の反転処理を適用する内視鏡診断支援装置について説明した。

一方，インジゴカルミンは前述の通り、その青緑色の色調からＲ画像において粘膜表面の構造成分を多く含むが、Ｇ画像においても元々の内視鏡画像の性質から特徴量の算出に十分な該構造成分を有していることがあり、このような場合はＧ画像を共通して使用することが可能である。

本実施の形態においては、各種の内視鏡画像からの特徴量算出手法適用においてＧ画像を共通に使用し、インジゴカルミンを用いた染色画像である場合のみ階調変換処理を適用することで上記第６の実施の形態における処理を簡略化し、メモリ資源の節約と処理の高速化が図れる内視鏡診断支援装置について説明する。

本実施の形態における内視鏡診断支援装置の構成及び診断支援処理実行プログラムの構成ブロックについては第５の実施の形態において説明した内視鏡診断支援装置に同じである．したがって、以下異なる点について説明する。

図２２は本発明の第７の実施の形態に係る診断支援処理実行プログラムの動作を説明するためのフローチャートである。

本実施の形態においては、図７を用いて説明した第１の実施の形態に示した診断支援処理実行プログラム８０の動作であるステップＳ２０及びＳ２１を、図２２のステップＳ１４０ないしＳ１４４に示す処理に変更する。

図２１において、ステップＳ１４０及びＳ１４１に示す各処理の内容は、それぞれ第５の実施形態における図１９のステップＳ１００及びＳ１０１と同様である。

ステップＳ１４２においては，入力された内視鏡画像からＧ画像を得る。

ステップＳ１４３においては、画像種別判定結果がインジゴカルミンによる染色画像であるかどうかを判定し、判定結果がＹｅｓであればステップＳ１４４へ、ＮｏであればステップＳ１２１に進む。

ステップＳ１４４においては、インジゴカルミンとその他の種別の画像との混在使用を可能とするための階調反転処理を適用する。階調反転処理は画像処理ブロック２５９により，以下の式を用いた画素値の変換を行う。

ｇ’j＝２５５−ｇj
ここで、ｇjはＧ画像における画素ｊの値（１≦ｊ≦Ｘ×Ｙ，ＸとＹは画像の縦・横の大きさ）で、８ｂｉｔの階調数であり，０≦ｇｊ≦２５５の範囲をとるものとする。ｇ’ jは階調反転後の画素の値で，以後の処理に用いられるものである。Ｇ画像に対する階調の反転処理を適用後、ステップＳ２１に進む。

以上説明したように、本実施の形態における内視鏡診断支援装置によれば、インジゴカルミンを用いた染色画像とそれ以外の内視鏡画像のいずれであるかを判定し、その結果に応じて階調の反転を行うことにより各画像を混在して使用することを可能とすることで良好な診断支援情報を提供することができる。

第８の実施の形態：
本発明の第８の実施の形態は第１ないし第７の実施の形態として示した内視鏡診断支援装置に係わり、特徴量算出において空間周波数解析手法を適用するにあたり、内視鏡画像の空間周波数成分の有するすべての情報を利用することにより高精度の診断支援情報を得ることができる内視鏡診断支援装置に関するものである。

本実施の形態における内視鏡診断支援装置の構成については第１の実施の形態において説明した内視鏡診断支援装置に同じである。また、本実施の形態における診断支援処理実行プログラムは図６に示した診断支援処理実行プログラム８０と同様であり、特徴量算出ブロック８４において適用する特徴量算出手法を変更することによりその目的を達成するものである。

空間周波数解析手法は、画像に対するフィルタリングの適用により周波数成分を抽出し特徴量化するものである。例えば最も一般的な手法として以下に示すパワースペクトラム法が知られている。

画像ｔ（ｘ，ｙ）及びフィルタｆ（ｘ，ｙ）によるフィルタリング処理結果ｇ（ｘ，ｙ）は
［数２］
Ｇ（ｕ，ｖ）＝Ｔ（ｕ，ｖ）・Ｆ（ｕ，ｖ） （２）
により表される。ここで、Ｇ（ｕ，ｖ）、Ｔ（ｕ，ｖ）及びＦ（ｕ，ｖ）はそれぞれｇ（ｘ，ｙ）、ｔ（ｘ，ｙ）及びｆ（ｘ，ｙ）のフーリエ変換である。フィルタｆ（ｘ，ｙ）は低域、高域もしくは帯域通過型の周波数特性を有しており、画像における特定の周波数成分を抽出する効果を備えている。また，式（２）は画像とフィルタの畳み込み演算により実空間上では
［数３］
ｇ（ｘ，ｙ）＝ｔ（ｘ，ｙ）＊ｆ（ｘ，ｙ） （３）
と表すことができ，一般的にはＦＩＲフィルタ等によるデジタルフィルタリングにより実行されている。

Ｇ（ｕ，ｖ）は複素数であり、その実数項及び虚数項をそれぞれＲｅ（Ｇ（ｕ，ｖ））及びＩｍ（Ｇ（ｕ，ｖ））とすると
［数４］
Ｇ（ｕ，ｖ）＝Ｒｅ（Ｇ（ｕ，ｖ））＋ｊＩｍ（Ｇ（ｕ，ｖ）） （４）
と表される。ここで，ｊは虚数単位を示す。さらに，式（４）より、Ｇ（ｕ，ｖ）を振幅項Ａ（ｕ，ｖ）と位相項ψ（ｕ，ｖ）を用いて
［数５］
Ｇ（ｕ，ｖ）＝Ａ（ｕ，ｖ）ｅｘｐ（ｊψ（ｕ，ｖ）） （５）
［数６］

［数７］
ψ（ｕ，ｖ）＝ｔａｎ^-1｛Ｉｍ（Ｇ（ｕ，ｖ））／Ｒｅ（Ｇ（ｕ，ｖ）｝ （７）
と表される。

パワースペクトラム法においては、式（６）に示す振幅項Ａ（ｕ，ｖ）を適用するｎ個（ｎはｌ以上の整数）のフィルタｆ（ｘ，ｙ）より求め、特徴量として使用するものである。

また，近年画像解析分野において広く用いられているＧａｂｏｒ特徴は、フィルタｆ（ｘ，ｙ）の周波数特性を人間の視覚系の特性を考慮したＧａｂｏｒ関数により設定したものであり、本質的にはパワースペクトラム法と同様に振幅項Ａ（ｕ，ｖ）を特徴量として用いている。

式（５）に示すように、画像は周波数成分に関する情報として振幅項Ａ（ｕ，ｖ）と位相項ψ（ｕ，ｖ）を含んでいるが、後者は特徴量として用いられていないため情報の損失が生じることとなる。本実施の形態においては、振幅項Ａ（ｕ，ｖ）に基づく特徴量に加え、位相項ψ（ｕ，ｖ）に基づく特徴量を算出することにより、診断支援情報の精度向上を図る。

本実施の形態においては、内視鏡画像における周波数成分の抽出にＫ×Ｍ個のＧａｂｏｒフィルタを用いるものとする。Ｋ及びＭはＧａｂｏｒフィルタを規定する後述するパラメタの個数である。Ｇａｂｏｒフィルタは２次元ガウス曲面と２次元平面上を一方向に伝わる平面波とをかけあわせたものであり、ガウス曲面における標準値差σ_xとσ_y，平面波の進行方向θ_k及び波長λ_mにより決定される。ここで，ｋ及びｍはそれぞれＧａｂｏｒフィルタを規定する進行方向及び波長のパラメータであり、０≦ｋ＜Ｋ及び０≦ｍ＜Ｍであるものとする。標準値差σ_xとσ_yは波長λ_mと密接に関係しており、波長λ_mの関数とすることができ、それぞれσ_x（λ_m）及びσ_y（λ_m）と表される。Ｇａｂｏｒフィルタｆは実部Ｒｅ（ｇ）及び虚部Ｉｍ（ｇ）からなる２次元フイルタであり、それぞれ、
［数８］

［数９］

で定義される。大きさＮ×Ｎの画像ｔとＧａｂｏｒフィルタｆとの畳み込み演算による処理結果ｇは，画素ｔ（Ｘ，Ｙ）に対して、
［数１０］

で与えられる。

. 式（１０）のｇを用いてＧａｂｏｒ特徴の値ｈｋ，ｍ（Ｘ，Ｙ）は、
［数１１］
ｈ_k,m（Ｘ，Ｙ）＝｜ｇ_k,m（Ｘ，Ｙ）｜ （１１）
となる．ここで，｜・｜は複素数α＋ｊβの絶対値（α²＋β²）^1/2を表す。

本実施の形態においては振幅及び位相情報を用いた特徴量として，文献４ [Rotation-Invariant Texture Classification Using a Complete Space-Frequency Model,G.M.Haley and B.S.Manjunath,IEEE TRANS. ON IMAGE PROCESSING, Vol.8,No.2,FEB. 1999]に示された各特徴量を算出する。

［数１２］

［数１３］

［数１４］

［数１５］

［数１６］

［数１７］

ここで，ｎｘ及びｎｙはそれぞれ大きさＩＳＸ×ＩＳＹの画像における画素の座標で、０≦ｎｘ＜ＩＳＸ， ０≦ｎｙ＜ＩＳＹである。また、ｓはＧａｂｏｒフィルタの波長λ_mに対応するパラメタであり、１≦ｓ≦Ｍである。また、ｒはＧａｂｏｒフィルタの方向θ_kに対応するパラメタであり、０≦ｒ＜Ｋである。ここでは表記を文献４に合わせ，Ｒ＝Ｋであるものとする。また、ａｒｇ［・］はｔａｎ^-1｛Ｉｍ（・）／Ｒｅ（・）｝を示す。

.また，ａ _s,r（ｎｘ，ｎｙ），φ_s,r（ｎｘ，ｎｙ）及びｕ_s,r（ｎｘ，ｎｙ）は以下のように求められる．
［数１８］
ａ _s,r（ｎｘ，ｎｙ）＝｜ｇ _s,r（ｎｘ，ｎｙ）｜ （１８）
［数１９］

［数２０］

ここで、∇_x（）及び∇_y（）は勾配推定関数、θ_rはＧａｂｏｒフィルタの方向である。また、
［数２１］
θ∇＝ｔａｎ^-1｛▽_y（ψ_s,r（ｎｘ，ｎｙ））／▽_x（ψ_s,r（ｎｘ，ｎｙ）｝ （２１）
より求められる。また、ａｒｇ［・］はａｔａｎ（Ｉｍ（・）／Ｒｅ（・））を示す。

式（＃１１）ないし（＃１６）に示す特徴量は各面素ごとに算出されるものであり、第１の実施の形態において示した図７におけるステップＳ２６に適用することができる。

さらに、式（１２）ないし（１７）により得られる画素ごとの特徴量から、以下に示す領域ごとの特徴量を算出することが可能である。

［数２２］

ここで，ｆA，ｆF，ｆY，ｆDA，ｆDF及びｆDYはそれぞれｆA_s,p，ｆF_s,q，ｆY_s,q，ｆDA_s,q，ｆDF_s,q及びｆDY_s,qに対するｐまたはｑに基づくベクトル表記である。また、Ｅ｛｝は算出対象とする領域内（ＲＯＩ）の各面素に碁づく期待値（平均値），*は複素共役を示す。

また、各特徴量の分散及び共分散に基づく特徴量を算出することも可能である。例えば，式（１２）及び（１３）に示したｆA_s,p及びｆF_s,qを用いた分散及び共分散は分散共分散行列Σとして算出される。例えばｓ＝１、Ｒ＝８の場合、ｆA_s,p及びｆF_s,qはそれぞれ各面素につき３個ずつ算出され、ＲＯＩ内のｊ番目の画素（座標（ｎｘ，ｎｙ）とする）に対してｖ1j＝ｆA_0,0（ｎｘ，ｎｙ），ｖ2j＝ｆA_0,1（ｎｘ，ｎｙ），ｖ3j＝ｆA_0,2（ｎｘ，ｎｙ），ｖ4j＝ｆF_0,0（ｎｘ，ｎｙ），ｖ5j＝ｆF_0,1（ｎｘ，ｎｙ），ｖ6j＝ｆF_0,2（ｎｘ，ｎｙ）とすると共分散行列Σは、
［数２３］

で定義される．式（２３）においてσ_stは
［数２４］

により求められる。ここで、ＮはＲＯＩ内の画素数、μs及びμtはそれぞれｖs及びｖtのＲＯＩ内の平均値を示す。得られた共分散行列Σにおいて、各σ_st をＲＯＩの特徴量として使用する。式（１４）ないし（１７）に示した各特徴量を含め、同様に分散共分散行列を求めることができる。

また、さらに共分散行列Σより相関行列を求め、相関係数を特徴量として使用することもできる。

本実施の形態においては、第１の実施の形態において示した図７におけるステップＳ２７に適用することが可能であり、領域分割処理適用後の各ＲＯＩ（ｉ）よりＦCA（ｉ）ないしＦDMY（ｉ）の分散、共分散（もしくは相関係数）を求め、ステップＳ２９における判別分類処理に使用する。

以上説明したように、本実施の形態における内視鏡診断支援装置によれば、特徴量算出において空間周波数解析手法を適用するにあたり、内視鏡画像の空間周波数成分の有するすべての情報を利用することにより高精度の診断支援情報を得ることができる。

［付記］
（付記項１） 被検体を撮像した撮像信号から所定の周波数成分を抽出する周波数成分抽出手段と、
前記周波数成分抽出手段で抽出された前記周波数成分の位相情報を検出する位相情報検出手段と、
前記位相情報検出手段で検出された前記位相情報に基づき前記被検体の特徴量を演算する特徴量演算手段と
を具備したことを特徴とする診断支援装置。

（付記項２） 複数の色信号からなる内視鏡画像を入力する内視鏡画像入力手段と、
前記内視鏡画像入力手段に入力された前記内視鏡画像に対し第１の領域を設定する第１の領域設定手段と、
前記内視鏡画像の少なくとも１つの色信号に基づく特徴量を算出する特徴量算出手段と、
前記特徴量算出手段により算出された前記特徴量に基づき前記第１の領域設定手段により設定された第１の領域に第２の領域を設定する第２の領域設定手段と、
前記第２の領域設定手段により設定された少なくとも１つの領域に対し前記特徴量算出手段により算出された前記特徴量に基づく判別分類処理を適用する判別分類手段と、
前記判別分類手段による判別分類結果を表示する表示手段と
を備えたことを特徴とする内視鏡診断支援装置。

（付記項３） 前記表示手段が前記特徴量算出手段により算出された特徴量を表示する
ことを特徴とする付記項２に記載の内視鏡診断支援装置。

（付記項４） 前記第２の領域設定手段により設定された第２の領域の面積を算出する面積算出手段
を備えたことを特徴とする付記項２または３に記載の内視鏡診断支援装置。

（付記項５） 前記第２の領域が面積比を算出する面積比算出手段を備え、前記表示手段が前記面積比算出手段により算出された面積比を表示する
ことを特徴とする付記項４に記載の内視鏡診断支援装置。

（付記項６） 前記面積算出手段が画素数に基づく面積を算出する
ことを特徴とする付記項４または５に記載の内視鏡診断支援装置。

（付記項７） 前記第２の領域設定手段及び前記判別分類手段において、各々が種類の異なる特徴量を用いる
ことを特徴とする付記項２，３，４，５または６に記載の内視鏡診断支援装置。

（付記項８） 前記第２の領域設定手段が前記特徴量算出手段により算出された特徴量に基づく領域分割により第２の領域を設定する
ことを特徴とする付記項２，３，４，５，６または７に記載の内視鏡診断支援装置。

（付記項９） 前記第１の領域設定手段により設定される第１の領域が内視鏡画像全体である
ことを特徴とする付記項２，３，４，５，６，７または８に記載の内視鏡診断支援装置。

（付記項１０） 前記第２の領域に対する前記判別分類手段による判別分類結果に基づき総合的な診断支援情報を導出するための総合情報導出手段を備え、前記表示手段が前記総合情報導出手段により導出された診断支援情報表示する
ことを特徴とする付記項２，３，４，５，６，７，８または９に記載の内視鏡診断支援装置。

（付記項１１） 前記総合情報導出手段が前記判別分類結果ごとに前記第２の領域を統合した面積比を算出するとともに、前記判別分類結果及び前記面積比に基づき診断支援情報を導出する
ことを特徴とする付記項１０に記載の内視鏡診断支援装置。

（付記項１２） 前記総合情報導出手段が前記面積比を特徴量とする識別分類処理を実行することにより診断支援情報を導出する
ことを特徴とする付記項１１に記載の内視鏡診断支援装置。

（付記項１３） 複数の色信号からなる内視鏡画像を入力する内視鏡画像入力手段と、
前記内視鏡画像入力手段に入力された前記内視鏡画像に対し領域を設定する領域設定手段と、
前記内視鏡画像の種別を判定する内視鏡画像種別判定手段と、
前記内視鏡画像の少なくとも１つの色信号に基づく特徴量を算出する特徴量算出手段と、
前記領域設定手段により設定された領域に対し前記特徴量算出手段により算出された特徴量に基づく判別分類処理を適用する判別分類手段と、
前記判別分類手段による判別分類結果を表示する表示手段と
を備え、
前記内視鏡画像種別判定手段の判定結果に基づき前記特徴量算出手段が特徴量を算出する色信号を変更する
ことを特徴とする内視鏡診断支援装置。

（付記項１４） 前記内視鏡画像入力手段に入力された内視鏡画像の種別を判定する内視鏡画像種別判定手段を備えるとともに、前記内視鏡画像種別判定手段の判定結果に基づき前記特徴量算出手段が特徴量を算出する色信号を変更する
ことを特徴とする付記項２，３，４，５，６，７，９，１０，１１または１２に記載の内視鏡診断支援装置。

（付記項１５） 前記内視鏡画像種別判定手段が薬剤散布の有無に基づく内視鏡画像の種別を判定する
ことを特徴とする付記項１３または１４に記載の内視鏡診断支援装置。

（付記項１６） 前記内視鏡画像種別判定手段が散布された薬剤の種別に基づく画像の種別を判定する
ことを特徴とする付記項１５に記載の内視鏡診断支援装置。

（付記項１７） 前記内視鏡画像種別判定手段の判定結果に基づき前記特徴量算出手段が特徴量を算出する色信号を補正する色信号補正手段を設けた
ことを特徴とする付記項１３，１４，１５または１６に記載の内視鏡診断支援装置。

（付記項１８） 前記色信号補正手段が階調の反転に基づく補正を行う
ことを特徴とする付記項１７に記載の内視鏡診断支援装置。

（付記項１９） 前記内視鏡画像種別判定手段が前記内視鏡画像の色調に基づき内視鏡画像の種別を判定する
ことを特徴とする付記項１３，１４，１５，１６，１７または１８に記載の内視鏡診断支援装置。

（付記項２０） 前記特徴量算出手段が前記内視鏡画像の空間周波数成分に基づく特徴量を算出する
ことを特徴とする付記項２，３，４，５，６，７，９，１０，１１，１２，１３，１４，１５，１６，１７，１８または１９に記載の内視鏡診断支援装置。

（付記項２１） 前記特徴量算出手段が前記内視鏡画像の空間周波数成分における振幅及び／または位相に基づく特徴量を算出する
ことを特徴とする付記項２０に記載の内視鏡診断支援装置。

（付記項２２） 前記判別分類手段が少なくとも１つの統計的または非統計的識別器を用いた分類を適用する
ことを特徴とする付記項２，３，４，５，６，７，８，９，１０，１１，１２，１３，１４，１５，１６，１７，１８，１９，２０または２１に記載の内視鏡診断支援装置。

（付記項２３） 複数の色信号からなる内視鏡画像を入力する内視鏡画像入力手段と、
前記内視鏡画像入力手段に入力された前記内視鏡画像の少なくとも１つの色信号に基づき空間周波数成分を抽出する空間周波数成分抽出手段と、
前記空間周波数成分抽出手段により抽出された空間周波数成分に基づき前記内視鏡画像の位相成分を検出する位相成分検出手段と、
前記位相成分検出手段により検出された位相成分に基づく特徴量を算出する特徴量算出手段と
を備えたことを特徴とする内視鏡画像処理装置。

（付記項２４） 前記特徴量算出手法が前記位相成分の変化の方向に基づく特徴量を算出する
ことを特徴とする付記項２３に記載の内視鏡画像処理装置。

（付記項２５） 前記特徴量算出手法が前記位相成分の変化の大きさに基づく特徴量を算出する
ことを特徴とする付記項２３または２４に記載の内視鏡画像処理装置。

（付記項２６） 前記空間周波数成分抽出手段により抽出された空間周波数成分に基づき前記内視鏡画像の振幅成分を検出する振幅成分検出手段と、
前記位相成分検出手段により検出された位相成分及び前記振幅成分検出手段により検出された振幅成分に基づく特徴量を算出する特徴量算出手段と、
を備えたことを特徴とする付記項２３，２４または２５に記載の内視鏡画像処理装置。

（付記項２７） 前記特徴量算出手段が前記位相成分及び振幅成分の共分散または相関に基づく特徴量を算出する
ことを特徴とする付記項２６に記載の内視鏡画像処理装置。

（付記項２８） 前記空間周波数成分抽出手段がフーリエ変換またはデジタルフィルタを用いたフィルタリングを行う
ことを特徴とする付記項２３，２４，２５，２６または２７に記載の内視鏡画像処理装置。

（付記項２９） 内視鏡画像を入力するステップと、
前記内視鏡画像に対し空間周波数成分を抽出するフィルタリングを適用するステップと、
前記フィルタリングの適用結果に基づき前記内視鏡画像の位相情報を検出するステップと、
前記位相情報に基づく特徴量を算出するステップと
を備えたことを特徴とする内視鏡画像処理方法。

（付記項３０） 複数の色信号からなる内視鏡画像を入力する内視鏡画像入力手段と、 前記内視鏡画像入力手段に入力された内視鏡画像に対し領域を設定する領域設定手段と、
前記内視鏡画像の種別を判定する内視鏡画像種別判定手段と、
前記内視鏡画像の少なくとも１つの色信号に基づく特徴量を算出する特徴量算出手段と
を備え、
前記内視鏡画像種別判定手段の判定結果に基づき前記特徴量算出手段が特徴量を算出する色信号を変更する
ことを特徴とする内視鏡画像処理装置。

（付記項３１） 複数の色信号からなる内視鏡画像を入力するステップと、
前記内視鏡画像に対し領域を設定するステップと、
前記内視鏡画像の種別を判定するステップと、
前記内視鏡画像の少なくとも１つの色信号に基づく特徴量を算出するステップと
からなり、
前記内視鏡画像種別判定手段の判定結果に基づき前記特徴量算出ステップにおいて特徴量を算出する色信号を変更する
ことを特徴とする内視鏡画像処理方法。

付記項２，３，４，５，６，７，８，９，１ ０，１１，１２及び２２の目的は内視鏡画像において病変の粘膜表面構造が複数の異なる所見を呈する場合，あるいは病変中に他の異なる腫瘍等が混在する場合においても，各所見を示す部位ごとに関心領域を設定するとともに，どのような所見，あるいは所見に関連して診断される腫瘍等が存在しているか，さらにはそれらがどのような割合で混在しているかを知ることができる診断支援装置を提供することにある。

付記項１ ３，１ ４，１ ５，１ ６，１ ７，１ ８，１９， ３０及び３１の目的は特徴量算出においてＲＧＢ画像のいずれを処理の対象とするかについて，薬剤散布の有無及び散布に使用した薬剤の種別に応じて変更し，より高精度に客観的・数値的な診断を行うことにある。

付記項２０，２２，２３，２４，２５，２６，２７，２８及び２９の目的は内視鏡画像中の空間周波数成分の特徴量化において，位相情報を考慮した特徴量算出手法を適用することにより空間周波数成分の有するすべての情報を利用し，より高精度の客観的・数値的な診断を行うことにある。

本発明の第１の実施の形態に係る内視鏡診断支援装置の構成を示す構成図 従来の内視鏡診断支援装置における診断支援処理実行プログラムの構成を説明するための機能ブロック図 従来の内視鏡診断支援装置における診断支援処理実行プログラムの動作を説明するためのフローチャート 従来の内視鏡診断支援装置におけるＲＯＩ設定を説明するためのＲＯＩ設定ウィンドウ説明図 従来の内視鏡診断支援装置における診断支援情報の表示を説明するためのレポート表示ウィンドウ説明図 第１の実施の形態の内視鏡診断支援装置における診断支援処理実行プログラムの構成を説明するための機能ブロック図 第１の実施の形態の内視鏡診断支援装置における診断支援処理実行プログラムの動作を説明するためのフローチャート 第１の実施の形態の内視鏡診断支援装置における仮ＲＯＩ設定を説明するための仮ＲＯＩ設定ウィンドウ説明図 第１の実施の形態の領域分割処理の動作を説明するためのフローチャート 第１の実施の形態の領域分割処理を説明するための第１の説明図 第１の実施の形態の領域分割処理を説明するための第２の説明図 第１の実施の形態の内視鏡診断支援装置における診断支援情報の表示を説明するためのレポート表示ウィンドウ説明図 本発明の第２の実施の形態に係る本実施の形態における診断支援処理実行プログラムの構成を説明するためのブロック図 第２の実施の形態の診断支援実行プログラムの動作を説明するためのフローチャート 第２の実施の形態の診断支援情報の導出を説明するためのフローチャート 第２の実施の形態の内視鏡診断支援装置における診断支援情報の表示を説明するためのレポート表示ウィンドウ説明図 本発明の第３の実施の形態に係る内視鏡診断支援装置における診断支援情報の表示を説明するためのレポート表示ウィンドウ説明図 本発明の第５の実施の形態に係る診断支援処理実行プログラムの構成を説明するためのブロック図 第５の実施の形態における診断支援処理実行プログラムの動作を説明するためのフローチャート 第５の実施の形態における通常画像及び染色画像の判定処理について説明するための説明図 本発明の第６の実施の形態に係る診断支援処理実行プログラム２５０の動作を説明するための説明図 本発明の第７の実施の形態に係る診断支援処理実行プログラムの動作を説明するためのフローチャート 染色画像に関する説明のための説明図

符号の説明

１…診断支援装置
２…ビデオプロセッサ
３、３５…観察モニタ
４…入力ユニット
５…サーバユニット
６…カンファレンスユニット
１１…Ａ／Ｄコンバータ
１２、３２、５０…画像処理部
１３、２１、３１Ｌ…ＬＡＮコントローラ
１４、２６、３６…コントローラ
２２…メモリ
２３、４７…ハードディスク
２４…ハードディスクドライバ
２５…圧縮装置
３３…伸張装置
３４…Ｄ／Ａコンバータ
４１…ＣＰＵ
４２…キーボード
４３…キーボードＩ／Ｆ
４４…検索モニタ
４５…マウス
４６…マウスＩ／Ｆ
４８…ハードディスクＩ／Ｆ
４９…作業メモリ
５０…画像処理部
５１…プリンタ
５２…プリンタＩ／Ｆ
６１…パスワード記憶部
６２…パスワード監視部
６３…制御制限部
８０…診断支援処理実行プログラム
８１…画像入力・管理ブロック
８２…データベース管理ブロック
８３…仮ＲＯＩ設定ブロック
８４…特徴量算出ブロック
８５…ＲＯＩ設定ブロック
８６…判別分類ブロック
８７…レポート作成ブロック
８８…画像処理ブロック

Claims (8)

1. 複数の色信号からなる内視鏡画像の色調、粘膜表面構造、または周波数成分の少なくともいずれか１つに基づき、前記内視鏡画像を構成する各画素毎に第１の特徴量を算出する第１の特徴量算出手段と、
   前記内視鏡画像に対して第１の領域を設定する領域設定手段と、
   前記領域設定手段において設定された前記第１の領域を、前記第１の特徴量に基づいて複数の第２の領域に分割する領域分割手段と、
   前記第２の領域の各領域毎に第２の特徴量を算出する第２の特徴量算出手段と、
   前記第２の特徴量に基づき、前記第２の領域の各々に対する判別分類処理を行う判別分類手段と、
   前記判別分類処理により得られた分類結果を前記第２の領域の各々に対応させて表示する表示手段と、
   を備えたことを特徴とする内視鏡診断支援装置。
2. 前記第２の領域の各々が前記第１の領域において占める面積比を前記表示手段に表示することを特徴とする請求項１に記載の内視鏡診断支援装置。
3. 前記判別分類手段における前記判別分類処理の分類結果に基づき、前記第２の領域の各々の診断名を少なくとも含む診断支援情報を導出可能な総合情報導出手段をさらに備え、
   前記総合情報導出手段において導出された前記診断支援情報を前記表示手段に表示することを特徴とする請求項１又は２に記載の内視鏡診断支援装置。
4. 前記総合情報導出手段は、前記判別分類処理により同一の分類結果が得られた１つまたは複数の前記第２の領域が前記第１の領域において占める面積比を算出するとともに、前記判別分類処理の分類結果及び前記面積比に基づいて前記診断支援情報を導出することを特徴とする請求項３に記載の内視鏡診断支援装置。
5. 前記第１の領域設定手段において設定される第１の領域は、前記内視鏡画像の全体であることを特徴とする請求項１乃至４のいずれか一項に記載の内視鏡診断支援装置。
6. 前記内視鏡画像は、大腸の粘膜表面を撮像して得た画像であり、
   前記総合情報導出手段は、前記第２の領域の各々における前記大腸の粘膜表面のピットパターンに対応する診断名を前記診断支援情報として導出することを特徴とする請求項３乃至５のいずれか一項に記載の内視鏡診断支援装置。
7. 前記領域設定手段において設定された前記第１の領域の範囲内に複数の初期領域を設定する初期領域設定手段と、
   前記第１の特徴量算出手段において算出された前記第１の特徴量に基づき、前記初期領域の各領域毎の平均特徴量を算出する平均特徴量算出手段と、をさらに備え、
   前記領域分割手段は、前記第１の特徴量算出手段において算出された前記第１の特徴量と、前記平均特徴量算出手段において算出された前記平均特徴量と、に基づいて複数の前記初期領域を再構成することにより、前記第１の領域を複数の前記第２の領域に分割することを特徴とする請求項１に記載の内視鏡診断支援装置。
8. 前記第２の特徴量は、前記第２の領域の各画素が有する前記第１の特徴量に基づいて算出される所定の統計量であることを特徴とする請求項１に記載の内視鏡診断支援装置。

Images