JP5281826B2 - 画像処理装置、画像処理プログラムおよび画像処理方法 - Google Patents

Description

本発明は、時系列で撮像された時系列画像を処理する画像処理装置、画像処理プログラムおよび画像処理方法に関するものである。

動きのある検査対象物を時系列に撮像した時系列画像をもとに検査対象物を検査する装置として、近年、カプセル内視鏡に代表されるように体内管空（消化管）内を移動しながら時系列の管空内画像を順次撮像する医用機器が開発されている。カプセル内視鏡は、口から飲み込まれた後、管空内を蠕動運動等により運ばれ、所定の撮像レートで順次画像を撮像して体外受信機に送信し、最終的に体外に排出される。撮像される時系列画像の枚数は、撮像レート（約２〜４frame/sec）×カプセル内視鏡の体内滞在時間（約８hours＝８×６０×６０sec）で概ね示され、数万枚以上になる。医師は、これら体外受信機に記録された大量の時系列画像を、診断用のワークステーション等により確認して病変部位を特定するために多くの時間を費やしている。このため医師による画像の確認作業を効率化するための技術が強く望まれている。

例えば、特許文献１には、カプセル内視鏡によって撮像される時系列画像から、異常部位である病変部位を検出する手法が示されている。具体的には、時系列画像を所定間隔でサンプリングした画像各々を複数の矩形領域に分割し、これら矩形領域を平均色比空間等の所定の特徴空間に写像した後、クラスタリングする。そして、得られたクラスタを、予め教師データをもとに作成した分類器によって粘膜、便（内容物）、泡等のクラスに分類する。その後、サンプリングした画像を所定の時系列間隔のサブセットに区切り、先のクラス分類結果をもとにサブセット内における各クラスの発生頻度や特徴量分布を計算する。そして、これらの情報をもとに、各サブセットが示す時系列区間内の画像の矩形領域を各クラスに分類する。そして、分類の結果画像内で粘膜に分類された各矩形領域の特徴量を、画像内で粘膜に分類された全矩形領域の平均特徴量の値と比較することによって、病変部位を検出している。

特開２００７−１７５４３２号公報

特許文献１では、先ず、時系列画像の所定区間毎に分類基準を設定し、矩形分割した画像内の各矩形領域を粘膜、内容物、泡等に分類する。そしてその後で、画像内で粘膜に分類された矩形領域の特徴量を、その画像内で粘膜に分類された全矩形領域の平均特徴量の値と比較することで病変部位を検出している。しかしながら、カプセル内視鏡により撮像される画像には、病変部位等の異常部位と特徴量が類似する内容物が存在する場合がある。このため、特許文献１のように、最終的に１枚の画像内の局所領域の特徴量をもとに病変部位の検出を行う手法では、内容物との差を識別しながら病変部位を検出することができないという問題がある。

本発明は、上記に鑑み為されたものであって、時系列画像を構成する画像から異常部位を精度よく検出することができる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。

上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理装置は、検査対象物を時系列で撮像した時系列画像を処理し、前記検査対象物上の異常部位を検出する画像処理装置であって、前記検査対象物が映る被検査領域および前記異常部位が映る異常領域の可能性がある異常候補領域を含むカテゴリ領域に、前記時系列画像を構成する各画像内を分割するカテゴリ領域分割部と、前記時系列画像を構成する画像をもとに、前記被検査領域および前記異常候補領域におけるオプティカルフローを算出するオプティカルフロー算出部と、前記被検査領域におけるオプティカルフローと前記異常候補領域におけるオプティカルフローとを比較し、比較した結果をもとに前記異常候補領域を前記異常領域として検出する異常領域検出部と、を備えるものである。

この態様にかかる画像処理装置によれば、被検査領域および異常候補領域を含むカテゴリ領域に時系列画像を構成する各画像内を分割し、前記時系列画像を構成する画像間で各領域におけるオプティカルフローの類似性を判定することによって、異常候補領域を異常領域として抽出することができる。したがって、時系列画像を構成する画像内の異常部位を精度よく検出することができる。

また、本発明の別の態様にかかる画像処理プログラムは、検査対象物を時系列で撮像した時系列画像を処理し、前記検査対象物上の異常部位を検出する画像処理装置に、前記検査対象物が映る被検査領域および前記異常部位が映る異常領域の可能性がある異常候補領域を含むカテゴリ領域に、前記時系列画像を構成する各画像内を分割するカテゴリ領域分割手順と、前記時系列画像を構成する画像をもとに、前記被検査領域および前記異常候補領域におけるオプティカルフローを算出するオプティカルフロー算出手順と、前記被検査領域におけるオプティカルフローと前記異常候補領域におけるオプティカルフローとを比較し、比較した結果をもとに前記異常候補領域を前記異常領域として検出する異常領域検出手順と、を実行させるためのものである。

また、本発明のさらに別の態様にかかる画像処理方法は、検査対象物を時系列で撮像した時系列画像を処理し、前記検査対象物上の異常部位を検出する画像処理方法であって、前記検査対象物が映る被検査領域および前記異常部位が映る異常領域の可能性がある異常候補領域を含むカテゴリ領域に、前記時系列画像を構成する各画像内を分割するカテゴリ領域分割ステップと、前記時系列画像を構成する画像をもとに、前記被検査領域および前記異常候補領域におけるオプティカルフローを算出するオプティカルフロー算出ステップと、前記被検査領域におけるオプティカルフローと前記異常候補領域におけるオプティカルフローとを比較し、比較した結果をもとに前記異常候補領域を前記異常領域として検出する異常領域検出ステップと、を含むものである。

本発明によれば、時系列画像内の異常部位の検出精度を向上させることができる。

以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。以下では、カプセル内視鏡によって体内管空内を検査対象物として時系列で撮像した時系列画像を処理し、被検査領域の一例である粘膜領域上の病変部位を異常部位として検出する画像処理装置について説明する。なお、本発明の画像処理装置が処理可能な時系列画像は、体内管空内を撮像して得た時系列画像に限定されるものではなく、動きのある検査対象物を時系列に撮像した時系列画像から、検査対象物上の異常部位を検出する場合に同様に適用できる。

（実施の形態）
図１は、本実施の形態の画像処理装置を含む画像処理システムの全体構成を示す概略模式図である。図１に示すように、画像処理システムは、被検体１内部の画像（管空内画像）を撮像するカプセル内視鏡３、カプセル内視鏡３から無線送信される管空内画像を受信する受信装置５、受信装置５によって受信された管空内画像をもとに、カプセル内視鏡３によって撮像された管空内画像を処理して表示する画像処理装置１０等で構成される。受信装置５と画像処理装置１０との間の画像データの受け渡しには、例えば可搬型の記録媒体（可搬型記録媒体）７が使用される。

カプセル内視鏡３は、撮像機能や無線機能等を具備するものであって、被検体１の口から飲み込まれて被検体１内部に導入され、管空内を移動しながら逐次管空内画像を撮像する。そして、撮像した管空内画像を体外に無線送信する。

受信装置５は、被検体１内におけるカプセル内視鏡３の通過経路に対応する体表上の位置に分散配置される受信用アンテナＡ１〜Ａｎを備える。そして、受信装置５は、各受信用アンテナＡ１〜Ａｎを介してカプセル内視鏡３から無線送信される画像データを受信する。この受信装置５は、可搬型記録媒体７の着脱が自在に構成されており、受信した画像データを可搬型記録媒体７に逐次保存する。このようにして、カプセル内視鏡３が撮像した被検体１内部の管空内画像は、受信装置５によって時系列順に可搬型記録媒体７に蓄積され、時系列画像として保存される。

画像処理装置１０は、カプセル内視鏡３によって撮像された管空内画像を医師等が観察・診断するためのものであり、ワークステーションやパソコン等の汎用コンピュータで実現される。この画像処理装置１０は、可搬型記録媒体７の着脱が自在に構成されており、可搬型記録媒体７に保存された時系列画像を構成する各管空内画像を処理し、ＬＣＤやＥＬＤ等のディスプレイに時系列順に順次表示する。図２は、カプセル内視鏡３によって撮像され、画像処理装置１０によって処理される管空内画像の一例を示す図である。管空内画像には、粘膜２１や、管空内を浮遊する内容物２３、泡２５等が映るとともに、時として病変２７等の重要箇所が映る。なお、カプセル内視鏡３によって撮像される管空内画像は、各画素位置においてＲ（赤），Ｇ（緑），Ｂ（青）の各色成分に対する画素レベル（画素値）を持つカラー画像である。

図３は、画像処理装置１０の機能構成を説明するブロック図である。本実施の形態では、画像処理装置１０は、画像取得部１１と、入力部１２と、表示部１３と、記憶部１４と、演算部１５と、装置各部を制御する制御部１６とを備える。

画像取得部１１は、カプセル内視鏡３によって撮像されて受信装置５によって可搬型記録媒体７に保存された時系列画像を構成する管空内画像を取得するものであり、例えば、可搬型記録媒体７を着脱自在に装着し、装着した可搬型記録媒体７に蓄積された管空内画像の画像データを読み出して取得する。この画像取得部１１は、例えば、可搬型記録媒体７の種類に応じた読み書き装置によって実現される。なお、カプセル内視鏡３によって撮像された時系列の管空内画像の取得は、可搬型記録媒体７を用いた構成に限定されるものではなく、例えば、画像取得部１１の代わりにハードディスクを備える構成とし、ハードディスク内にカプセル内視鏡３によって撮像された時系列の管空内画像を予め保存しておく構成としてもよい。あるいは、可搬型記録媒体７の代わりに別途サーバーを設置し、このサーバーに時系列の管空内画像を予め保存しておく構成としてもよい。この場合には、画像取得部を、サーバーと接続するための通信装置等で構成し、この画像取得部を介してサーバーに接続して、サーバーから時系列の管空内画像を取得する。

入力部１２は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた操作信号を制御部１６に出力する。表示部１３は、ＬＣＤやＥＬＤ等の表示装置によって実現されるものであり、制御部１６の制御によって、時系列の管空内画像の表示画面を含む各種画面を表示する。

記憶部１４は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記録媒体およびその読取装置等によって実現されるものである。この記憶部１４には、画像処理装置１０を動作させ、この画像処理装置１０が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が格納される。また、時系列画像を構成する各管空内画像から異常部位である病変部位を検出するための画像処理プログラム１４１が格納される。

演算部１５は、ＣＰＵ等のハードウェアによって実現され、画像取得部１１によって取得される時系列の管空内画像を順次処理し、各管空内画像をカテゴリ領域に分類するための種々の演算処理を行う。この演算部１５は、カテゴリ領域分割部１５０と、オプティカルフロー（以下、オプティカルフローを適宜「ＯＦ」と称す。）算出部１５４と、異常領域検出部に対応する病変領域検出部１５５とを含む。カテゴリ領域分割部１５０は、体内管空内を移動するカプセル内視鏡３によって撮像された時系列画像を構成する各画像（管空内画像）内を、粘膜領域および病変候補領域を含む所定のカテゴリ領域に分割する。このカテゴリ領域分割部１５０は、画像分割部１５１と、特徴量算出部１５２と、領域分類部１５３とを備える。画像分割部１５１は、画像内を複数の領域に分割する機能部であり、画像内のエッジを抽出するエッジ抽出部１５１ａを備える。特徴量算出部１５２は、分割領域毎に特徴量を算出する。領域分類部１５３は、特徴量をもとに分割領域を所定のカテゴリに分類する。ＯＦ算出部１５４は、粘膜領域および病変候補領域におけるオプティカルフローを算出する。このＯＦ算出部１５４は、構造領域抽出部１５４ａと、対応領域抽出部１５４ｂとを備える。構造領域抽出部１５４ａは、時系列画像を構成する各画像から構造領域を抽出する。対応領域抽出部１５４ｂは、構造領域抽出部１５４ａが構造領域を抽出した画像と異なる時刻に撮像された他の画像から、構造領域に対応する対応領域を抽出する。病変領域検出部１５５は、粘膜領域のオプティカルフローと病変候補領域のオプティカルフローを比較することで病変領域を検出する。この病変領域検出部１５５は、異常候補オプティカルフロー特徴量算出部に対応する病変候補ＯＦ特徴量算出部１５５ａと、被検査オプティカルフロー特徴量算出部に対応する粘膜ＯＦ特徴量算出部１５５ｂとを備える。病変候補ＯＦ特徴量算出部１５５ａは、病変候補領域のオプティカルフローの特徴量を算出する。粘膜ＯＦ特徴量算出部１５５ｂは、病変候補領域の周囲に位置する粘膜領域のオプティカルフローの特徴量を算出する。

制御部１６は、ＣＰＵ等のハードウェアによって実現される。この制御部１６は、画像取得部１１から入力される画像データや入力部１２から入力される操作信号、記憶部１４に格納されるプログラムやデータ等に基づいて画像処理装置１０を構成する各部への指示やデータの転送等を行い、画像処理装置１０全体の動作を統括的に制御する。

図４は、画像処理装置１０が行う処理手順を示す全体フローチャートである。ここで説明する処理は、演算部１５が記憶部１４に格納された画像処理プログラム１４１を実行することにより実現される。ここでは、時系列画像を構成する管空内画像である時系列順序ｉ＿ｓｔａｒｔからｉ＿ｅｎｄまでの画像Ｉ（ｉ＿ｓｔａｒｔ）〜Ｉ（ｉ＿ｅｎｄ）を処理する際の流れを示している。

図４に示すように、先ず、演算部１５が、処理対象となる管空内画像の時系列順序を示す符号ｉをｉ＿ｓｔａｒｔに設定し（ステップＳ１）、時系列順序ｉの画像Ｉ（ｉ）を取得する（ステップＳ３）。

続いて、カテゴリ領域分割部１５０がカテゴリ領域分割処理を行い、画像Ｉ（ｉ）内を所定のカテゴリ領域に分割する（ステップＳ５）。図５は、カテゴリ領域分割処理の詳細な処理手順を示すフローチャートである。

カテゴリ領域分割処理では、先ず、エッジ抽出部１５１ａが、画像Ｉ（ｉ）のエッジを抽出する（ステップＳ５１）。手順としては、先ず、画像Ｉ（ｉ）のＧ成分からなるＧ成分画像を生成する。Ｇ成分を用いるのは、血液中のヘモグロビンの吸収波長帯域に近く、また感度や解像度が高いことから、管空内画像の構造情報をよく表すためである。なお、他の成分、あるいは公知の変換処理によって画像Ｉ（ｉ）の色成分から２次的に算出される輝度、色差（ＹＣｂＣｒ変換）、色相、彩度、明度（ＨＳＩ変換）、色比等の値を用いてもよい。そして、このＧ成分画像を、例えば公知の１次微分フィルタ（プリューウィットフィルタ，ソーベルフィルタ等）や２次微分フィルタ（ラプラシアンフィルタ，ＬＯＧ（Laplacian of Gaussian）フィルタ等）によって空間フィルタリングし、エッジ抽出を行う（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１１４Ｐ，エッジ抽出）。

続いて、画像分割部１５１が、エッジによって画像Ｉ（ｉ）内を分割する（ステップＳ５３）。エッジに基づく画像分割の手法としては、例えば国際公開公報ＷＯ２００６／０８０２３９号に開示されている手法を用いることができる。手順を簡単に説明すると、先ず、エッジ抽出結果の画像に対し、必要に応じてノイズ除去を目的とする平滑化処理を行う。その後、平滑化処理を施したエッジ抽出結果の画像の各画素における画素値の勾配方向を求める。このとき、勾配方向は、近傍画素との画素値の差が最小（負の値が最大）となる方向とする。次に、各画素が画素値の勾配方向に沿って到達する極値画素を求め、近接する極値画素に到達した各画素が同一の領域となるように画像を分割する。

なお、他の分割の手法として、分水嶺（watershed）アルゴリズム（参考：Luc Vincent and Pierre Soille. Watersheds in digital spaces:An efficient algorithm based on immersion simulations. Transactionson Pattern Analysis and Machine Intelligence，Vol.13，No.6，pp.583-598，June 1991.）を用いることとしてもよい。分水嶺アルゴリズムは、画像の画素値情報を高度とみなした地形において水を満たしていく際に、異なるくぼみに溜まる水の間で境界ができるように画像を分割する手法である。このため、エッジ抽出画像に対し、適当な平滑化を行った後で分水嶺アルゴリズムを実行することによって、エッジに基づく画像分割が可能である。

以上、エッジに基づく画像分割の手法を示した。このようにエッジによって画像を分割することによって、撮影対象物の境界を反映した画像分割が行われ、後述するオプティカルフロー算出の精度が向上する。なお、エッジ抽出を行わずに所定サイズの矩形領域等に画像を分割する手法でもよい。この場合には、エッジに基づく画像分割を行う場合と比較して処理時間を短縮することができる。

続いて、特徴量算出部１５２が、各分割領域の特徴量を算出する（ステップＳ５５）。ここで、特徴量とは、領域内の画素値のＲ，Ｇ，Ｂ成分の例えば平均値、標準偏差値、歪度、尖度、ヒストグラムといった統計量や、周波数特徴、同時正規行列等のテクスチャ情報（参考：ＣＧ−ＡＲＴＳ協会：ディジタル画像処理：１９２Ｐ，領域特徴量）、またはＲ，Ｇ，Ｂ成分から２次的に算出される輝度、色差、色相、彩度、明度、色比等の統計量やテクスチャ情報等である。この特徴量を、画素単体ではなく分割領域毎に纏めて算出することによって、周囲画素との関係を含む特徴量を得ることができる。

なお、ＪＰＥＧ等のように、撮像データを区画単位で離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）することによって圧縮符号化された画像データを用いる場合には、上記したエッジ抽出を行わずに圧縮符号化時の単位区画で画像を分割し、圧縮伸張時に単位区画毎に求められるＤＣＴ係数、あるいはこのＤＣＴ係数から２次的に算出される値を特徴量として用いることとしてもよい。

続いて、領域分類部１５３が、特徴量をもとに各分割領域をカテゴリに分類する（ステップＳ５７）。本実施の形態では、各分割領域を粘膜、病変候補およびその他のいずれかのカテゴリに分類する。分類の手法は様々な方法があるが、ここでは、予め分割領域毎の特徴量と正解カテゴリが対になったデータである教師データを用意するとともに、予め各カテゴリの発生確率および各カテゴリの確率密度関数を求めておき、これらを参照し、各分割領域をその特徴量をもとに分類する手法を用いることとする。

先ず、事前に用意した教師データにおける各カテゴリデータの数をもとに、次式（１）に従って各カテゴリの発生確率Ｐｃ（ｉ）（ｉ＝１〜ＮＣ）を求める。ＮＣは、カテゴリの数を表す。また、ＮＤ（ｉ）は、カテゴリｉのデータ数である。

次に、各カテゴリの教師データに含まれるデータの特徴ベクトルＦｎ＝（ｆｎ＿１，ｆｎ＿２，・・・，ｆｎ＿ｋ）^tを算出する。ここで、ｆｎ＿ｉはｎ番目の教師データのｉ番目の特徴量値であり、ｋは特徴量の次元数である。そして、求めた特徴ベクトルＦｎをもとに、次式（２）に従って平均ベクトルμと分散共分散行列Ｚとをカテゴリ毎に求める。

次に、次式（３）に示す確率密度関数Ｐ（ｘ）の係数を、カテゴリ毎に算出する。

次に、記憶しておいた各値と分類対象となる分割領域の特徴ベクトルｘとをもとに、Ｐｃ（ｉ）×Ｐ（ｘ）（ｉ）（ｉ＝１〜ＮＣ）を算出することによって、分類対象となる分割領域の各カテゴリへの帰属確率を算出する。そして、最も高い帰属確率となったカテゴリに分割領域を分類する。全ての分割領域を分類したならば、ステップＳ５９に移行する。

すなわち、ステップＳ５９では、カテゴリ領域分割部１５０は、カテゴリ分類結果をもとに画像Ｉ（ｉ）内をカテゴリ領域に分割する。これは、各分割領域についての分類結果を画像化することで実現できる。図６は、図２の管空内画像をカテゴリ領域分割した結果例を示す図である。図６に示す例では、画像内が、粘膜領域Ｅａ、病変候補領域Ｅｂ１，Ｅｂ３、その他の領域Ｅｃに分類されている。

なお、画像分割を行い、各分割領域をその特徴量をもとにカテゴリ分類することによって画像Ｉ（ｉ）内をカテゴリ領域分割する例を示したが、これに限定されない。例えば、画像分割を行わずに各画素の特徴量を算出し、この特徴量をもとに各画素をカテゴリ分類し、画像Ｉ（ｉ）内をカテゴリ領域に分割することとしてもよい。画像Ｉ（ｉ）内をカテゴリ領域に分割したならば、図４のステップＳ５にリターンし、その後ステップＳ７に移行する。

すなわち、ステップＳ７では、演算部１５が、画像Ｉ（ｉ）と時系列的が連続する時刻順序ｉ＋１の画像Ｉ(ｉ＋１)を取得する。そして、ＯＦ算出部１５４がＯＦ算出処理を行い、画像Ｉ（ｉ）の病変候補領域および病変候補領域の近傍に位置する粘膜領域（以下、「近傍粘膜領域」と称す。）のオプティカルフローを算出する（ステップＳ９）。ここで、オプティカルフローとは、異なる時刻に撮像された２枚の画像間に映る同一の対象（被写体位置）の対応付けを行い、その移動量をベクトルデータとして表したものをいう。オプティカルフロー算出の手法には様々な手法があるが、本実施の形態では、ブロックマッチングを用いてオプティカルフロー算出を行う場合について説明する。図７は、ＯＦ算出処理の詳細な処理手順を示すフローチャートである。

ＯＦ算出処理では、先ず、構造領域抽出部１５４ａが、画像Ｉ（ｉ）の病変候補領域および病変候補領域の近傍粘膜領域から、それぞれ複数の構造領域を抽出する（ステップＳ９１）。ここでの構造領域とは、異なる時刻の画像間で対応付けが可能となる領域で、粘膜領域や病変候補領域の局所的な部位を特徴付ける構造（以下、「特徴構造」と称す。）が映る領域のことである。通常、襞やしわ、表面に透けて見える血管等は各部で形状が異なるため、特徴構造といえる。

構造領域の抽出手順は、先ず、画像Ｉ（ｉ）内の病変候補領域および病変候補領域の近傍粘膜領域に所定サイズの矩形領域を設定する。次に、矩形領域内でのカテゴリ領域分割結果を参照することで、矩形領域が粘膜領域であるか病変候補領域であるかを判別する。また、粘膜領域に設定した矩形領域について、この矩形領域を中心とした所定範囲の近傍領域内に病変候補領域が存在するか否かによって、その矩形領域が病変候補領域の近傍に位置する近傍粘膜領域か否かを判別する。

次に、矩形領域内のＧ成分の画素値の最大値と最小値とから分布範囲を求め、記憶部１４に記憶しておく。ここで、Ｇ成分を用いるのは、前述のように、Ｇ成分が血液中のヘモグロビンの吸収波長帯域に近く、また感度や解像度が高いことから、管空内画像の構造情報をよく表すためである。他の成分、あるいは公知の変換処理によって画像Ｉ（ｉ）の色成分から２次的に算出される輝度、色差（ＹＣｂＣｒ変換）、色相、彩度、明度（ＨＳＩ変換）、色比等の値を用いてもよい。画素値の分布範囲が小さい場合には、矩形領域内の画素値は一様な状態であり、この矩形領域において特徴構造が映っている可能性は低い、一方、分布範囲が大きい場合、この矩形領域に特徴構造が映っている可能性が高い。なお、画素値の分布範囲は矩形領域内の全画素を用いて算出しなくてもよい。例えば、矩形領域内のある１方向に細長い画素列を用い、あるいは直交する２方向の細長い画素列を用いて画素値の分布範囲を算出してもよい。また、分布範囲に限らず、画素値の分布の広がりを示す例えば分散や標準偏差等の他の指標を求めてもよい。

次に、病変候補領域および病変候補領域の近傍粘膜領域を走査するように矩形領域の位置を変更して設定し、新たに設定した矩形領域内における画素値の分布範囲の算出に移る。そして、最終的に設定した矩形領域のうち、記憶しておいた画素値の分布範囲が大きい矩形領域から順に所定数個の矩形領域を抽出する。なお、矩形領域同士の重なり量は所定値以下になるようにする。

図８は、図６に例示したカテゴリ領域分割結果をもとに、病変候補領域および近傍粘膜領域から抽出した構造領域の抽出結果例を示す図である。図８に示すように、病変候補領域Ｅｂ１，Ｅｂ３においてそれぞれ構造領域Ｅｄ１，Ｅｄ３が抽出されている。さらに、各病変候補領域Ｅｂ１，Ｅｂ３の近傍に位置する粘膜領域である近傍粘膜領域において、それぞれ構造領域Ｅｅ１，Ｅｅ３が抽出されている。

以上、所定サイズの矩形領域を走査しながら、構造領域として適当な複数の矩形領域を抽出する手法を示したが、構造領域の抽出手法はこれに限定されない。例えば、矩形領域を走査するのではなく、予め所定サイズの矩形領域に画像を分割することとしてもよい。そして、各矩形領域において病変候補領域であるか近傍粘膜領域であるかの判別を行い、病変候補領域または近傍粘膜領域と判別された領域に対して画素値の分布範囲の算出を行って、分布範囲が大きい矩形領域から順に所定数個の矩形領域を構造領域として抽出するようにしてもよい。また、所定サイズの矩形領域ではなく、画像分割部１５１でエッジによって分割した各分割領域に対して上記の処理を行い、構造領域を抽出してもよい。この場合は、領域の形状が矩形とは限らない。これらの手法を用いる場合、走査しながら構造領域を抽出する場合と比較して処理時間を短縮することができる。

続いて、図７に示すように、対応領域抽出部１５４ｂが、各構造領域について、画像Ｉ（ｉ＋１）内での対応領域を抽出する（ステップＳ９３）。手順としては、先ず、各構造領域をテンプレートに設定し、画像Ｉ（ｉ＋１）内で公知のテンプレートマッチング処理を行う。（参考：ＣＧ−ＡＲＴＳ協会：ディジタル画像処理：２０２Ｐ，テンプレートマッチング）。なお、マッチングの探索範囲は、各テンプレートの中心座標（ｘｉ,ｙｉ）を中心に、時系列画像の変化量を考慮して設定すればよい。また、高速化のために、疎密探索法、残差逐次検討法等を用いてもよい（参考：ＣＧ−ＡＲＴＳ協会：ディジタル画像処理：２０６Ｐ，高速探索法）。結果的に、構造領域毎に画像Ｉ（ｉ＋１）内の最も類似する領域の座標（ｘｉ´,ｙｉ´）と、その類似度とが得られる。マッチング時の類似度が低いテンプレートに関しては、同一の対象を対応付けている可能性が低いため、次のオプティカルフロー算出を行わない。

続いて、ＯＦ算出部１５４が、画像Ｉ（ｉ）内での構造領域の位置情報と画像Ｉ（ｉ＋１）内での対応領域の位置情報とをもとに、各構造領域のオプティカルフローを算出する（ステップＳ９５）。画像Ｉ（ｉ）での各構造領域の中心座標から、構造領域に対応する画像Ｉ（ｉ＋１）内の対応領域の中心座標までのベクトルを求めることで、画像Ｉ（ｉ）の各構造領域におけるオプティカルフローが得られる。図９は、図８に示した各構造領域について算出したオプティカルフローを矢印によって模式的に示した図である。各構造領域のオプティカルフローを算出したならば、図４のステップＳ９にリターンし、その後ステップＳ１１に移行する。

すなわち、ステップＳ１１では、病変候補ＯＦ特徴量算出部１５５ａが、画像Ｉ（ｉ）内の病変候補領域のオプティカルフローの特徴量を算出する。例えば、オプティカルフローの特徴量として、画像Ｉ（ｉ）内の病変候補領域毎に、その病変候補領域内の構造領域について算出された各オプティカルフローの始点を合わせた際の終点の分布を表すＯＦ分布を算出する。

図１０は、図６中の病変候補領域Ｅｂ１について算出したＯＦ分布ＯＦ１１の一例を示す図である。また、図１１は、図６中の病変候補領域Ｅｂ３について算出したＯＦ分布ＯＦ１３の一例を示す図である。図１０に示すように、病変候補領域Ｅｂ１のＯＦ分布ＯＦ１１、すなわち、病変候補領域Ｅｂ１内の各構造領域Ｅｄ１について算出した各オプティカルフローＶ１１の始点を１点Ｐ１１に合わせた際の各オプティカルフローの終点の分布は、図１０中に向かって右下方向に集中している。同様に、図１１に示すように、病変候補領域Ｅｂ３のＯＦ分布ＯＦ１３、すなわち、病変候補領域Ｅｂ３内の各構造領域Ｅｄ３について算出した各オプティカルフローＶ１３の始点を１点Ｐ１３に合わせた際の各オプティカルフローの終点の分布は、図１１中に向かって右下方向に集中している。

なお、画素の連結性を考慮しながら病変候補領域を分ける処理は、公知のラベリング処理によって実現できる。また、本例で示したＯＦ分布に限らず、オプティカルフローをベクトル加算して求めた方向や、オプティカルフローの大きさの平均値等をオプティカルフローの特徴量として算出してもよい。

続いて、図４に示すように、粘膜ＯＦ特徴量算出部１５５ｂが、病変候補領域の近傍に位置する粘膜領域のオプティカルフローの特徴量（以下、「ＯＦ特徴量」と称す。）を算出する（ステップＳ１３）。例えば、粘膜ＯＦ特徴量算出部１５５ｂは、病変候補ＯＦ特徴量算出部１５５ａによるＯＦ特徴量の算出と同様の手順で、近傍粘膜領域のＯＦ分布を算出する。

図１２は、図６中の病変候補領域Ｅｂ１の近傍粘膜領域について算出したＯＦ分布ＯＦ２１の一例を示す図である。また、図１３は、図６中の病変候補領域Ｅｂ３の近傍粘膜領域について算出したＯＦ分布ＯＦ２３の一例を示す図である。図１２に示すように、病変候補領域Ｅｂ１の近傍粘膜領域のＯＦ分布ＯＦ２１、すなわち、病変候補領域Ｅｂ１の近傍粘膜領域内の各構造領域Ｅｅ１について算出した各オプティカルフローＶ２１の始点を１点Ｐ２１に合わせた際の各オプティカルフローの終点の分布は、図１２中に向かって左下方向を中心に分布している。一方で、図１３に示すように、病変候補領域Ｅｂ３の近傍粘膜領域のＯＦ分布ＯＦ２３、すなわち、病変候補領域Ｅｂ３の近傍粘膜領域内の各構造領域Ｅｅ３について算出した各オプティカルフローＶ２３の始点を１点Ｐ２３に合わせた際の各オプティカルフローの終点の分布は、図１３中に向かって右下方向を中心に分布している。

続いて、図４に示すように、病変領域検出部１５５が、病変候補領域のオプティカルフローについて求めたＯＦ特徴量と、近傍粘膜領域のオプティカルフローについて求めたＯＦ特徴量との差を求めて閾値処理することで、病変候補領域の動きとその近傍粘膜領域の動きとが類似しているか否かを判定する（ステップＳ１５）。図１４は、図１０に示した病変候補領域Ｅｂ１のＯＦ分布ＯＦ１１と、図１２に示した病変候補領域Ｅｂ１の近傍粘膜領域のＯＦ分布ＯＦ２１とを対比して示した図である。また、図１５は、図１１に示した病変候補領域Ｅｂ３のＯＦ分布ＯＦ１３と、図１３に示した病変候補領域Ｅｂ３の近傍粘膜領域のＯＦ分布ＯＦ２３とを対比して示した図である。図１４に示すように、病変候補領域Ｅｂ１とこの病変候補領域Ｅｂ１の近傍粘膜領域とのＯＦ特徴量（ＯＦ分布）の差は大きく、これらの類似性は低いと判定される。一方、図１５に示すように、病変候補領域Ｅｂ３とこの病変候補領域Ｅｂ３の近傍粘膜領域とのＯＦ特徴量（ＯＦ分布）の差は小さく、これらの類似性は高いと判定される。

具体的な判定の手順としては先ず、病変候補領域のＯＦ分布を構成する各点（各オプティカルフローの終点）について、その近傍粘膜領域のＯＦ分布を構成する各点との間の距離を特徴量の差として算出する。この特徴量は、総当りで求めた距離の総和でもよいし、最も遠い点間の距離、あるいは最も近い点間の距離としてもよい。次に、算出した値が所定の閾値以下の場合には、類似性が高いと判定する。そして、この処理を各病変候補領域について行う。

そして、図４に示すように、病変領域検出部１５５は、近傍粘膜領域と動きが類似する病変候補領域を病変領域として検出する（ステップＳ１７）。例えば図６の例では、病変候補領域Ｅｂ３が病変領域として検出される一方、病変候補領域Ｅｂ１については、病変領域として検出されない。

その後、演算部１５は、処理対象となる管空内画像の時系列順序を示す符号ｉ＝ｉ＋１とし（ステップＳ１９）、次に処理の対象とする管空内画像の有無を判定する。ｉ≦ｉ＿ｅｎｄであれば（ステップＳ２１：Ｙｅｓ）、次の管空内画像を処理対象としてステップＳ３〜ステップＳ２１の処理を行う。一方、ステップＳ２１の判定結果がＮｏの場合には、演算部１５は、時系列画像に対する病変検出結果を出力し（ステップＳ２３）、画像処理装置１０での処理を終了する。例えば、演算部１５は、病変検出結果を画像化する等した病変検出結果を、制御部１６を介して表示部１３に表示出力させる。

以上説明したように、本実施の形態によれば、局所領域の特徴量によって時系列画像内を少なくとも病変候補領域とその近傍に位置する粘膜領域である近傍粘膜領域とに分割するとともに、各領域における時系列画像間でのオプティカルフローの類似性を判定するとができる。画像内の局所領域の特徴量に加え、時系列画像間でのオプティカルフローを用いることによって病変領域の検出を行うことができるので、単一の画像では検出が難しい病変領域を精度よく検出することができる。具体的には、体内管空内を浮遊する内容物を映した画像の場合、時系列画像間でみれば、粘膜の動きと内容物の動きとが違う場合がある。これに対して粘膜上の病変部位は、時系列画像間で粘膜と同様に動くと考えられる。本実施の形態によれば、病変候補領域のうち、粘膜領域に対する動きが時系列画像間で類似している病変候補領域を病変領域として検出することができ、病変領域の検出精度を向上させることが可能となる。

画像処理装置を含む画像処理システムの全体構成を示す概略模式図である。 管空内画像の一例を示す図である。 画像処理装置の機能構成を説明するブロック図である。 画像処理装置が行う処理手順を示す全体フローチャートである。 カテゴリ領域分割処理の詳細な処理手順を示すフローチャートである。 図２の管空内画像をカテゴリ領域分割した結果例を示す図である。 ＯＦ算出処理の詳細な処理手順を示すフローチャートである。 図６に例示したカテゴリ領域分割結果に基づく構造領域の抽出結果例を示す図である。 図８に示した各構造領域について算出したオプティカルフローを矢印によって模式的に示した図である。 病変候補領域について算出したＯＦ分布の一例を示す図である。 病変候補領域について算出したＯＦ分布の他の例を示す図である。 病変候補領域の近傍粘膜領域について算出したＯＦ分布の一例を示す図である。 病変候補領域の近傍粘膜領域について算出したＯＦ分布の他の例を示す図である。 図１０に示した病変候補領域のＯＦ分布と図１２に示した病変候補領域の近傍粘膜領域のＯＦ分布とを対比して示した図である。 図１１に示した病変候補領域のＯＦ分布と図１３に示した病変候補領域の近傍粘膜領域のＯＦ分布とを対比して示した図である。

符号の説明

１０ 画像処理装置
１１ 画像取得部
１２ 入力部
１３ 表示部
１４ 記憶部
１４１ 画像処理プログラム
１５ 演算部
１５０ カテゴリ領域分割部
１５１ 画像分割部
１５１ａ エッジ抽出部
１５２ 特徴量算出部
１５３ 領域分類部
１５４ ＯＦ算出部
１５４ａ 構造領域抽出部
１５４ｂ 対応領域抽出部
１５５ 病変領域検出部
１５５ａ 病変候補ＯＦ特徴量算出部
１５５ｂ 粘膜ＯＦ特徴量算出部
１６ 制御部
７ 可搬型記録媒体

Claims (12)

1. 検査対象物を時系列で撮像した時系列画像を処理し、前記検査対象物上の異常部位を検出する画像処理装置であって、
   前記検査対象物が映る被検査領域および前記異常部位が映る異常領域の可能性がある異常候補領域を含むカテゴリ領域に、前記時系列画像を構成する各画像内を分割するカテゴリ領域分割部と、
   前記時系列画像を構成する画像をもとに、前記被検査領域および前記異常候補領域におけるオプティカルフローを算出するオプティカルフロー算出部と、
   前記被検査領域におけるオプティカルフローと前記異常候補領域におけるオプティカルフローとを比較し、比較した結果をもとに前記異常候補領域を前記異常領域として検出する異常領域検出部と、
   を備え、
   前記異常領域検出部は、
   前記異常候補領域におけるオプティカルフローの特徴量である第１の特徴量を算出する異常候補オプティカルフロー特徴量算出部と、
   前記被検査領域におけるオプティカルフローの特徴量である第２の特徴量を算出する被検査オプティカルフロー特徴量算出部と、
   を有し、
   前記第１の特徴量と前記第２の特徴量との差に基づいて算出された値が所定値内の場合に、前記異常候補領域を前記異常領域として検出することを特徴とする画像処理装置。
2. 前記カテゴリ領域分割部は、
   前記画像内を複数の分割領域に分割する画像分割部と、
   前記分割領域毎に特徴量を算出する特徴量算出部と、
   前記特徴量をもとに、前記分割領域を所定のカテゴリに分類する領域分類部と、
   を有し、前記領域分類部によって前記分割領域を分類した結果をもとに、前記画像を前記カテゴリ領域に分割することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像分割部は、前記画像内のエッジを抽出するエッジ抽出部を有し、前記エッジによって前記画像内を複数の分割領域に分割することを特徴とする請求項２に記載の画像処理装置。
4. 前記オプティカルフロー算出部は、前記被検査領域におけるオプティカルフローとして、前記異常候補領域の近傍に位置する被検査領域におけるオプティカルフローを算出することを特徴とする請求項１に記載の画像処理装置。
5. 前記オプティカルフロー算出部は、
   前記時系列画像を構成する画像から構造領域を抽出する構造領域抽出部と、
   前記構造領域を抽出した画像とは異なる時刻に撮像された画像から、前記構造領域に対応する対応領域を抽出する対応領域抽出部と、
   を有し、前記構造領域および前記対応領域の位置情報をもとにオプティカルフローを算出することを特徴とする請求項１に記載の画像処理装置。
6. 前記第１及び第２の特徴量は、少なくともオプティカルフローの方向または大きさをもとに算出されることを特徴とする請求項１に記載の画像処理装置。
7. 前記時系列画像は、体内管腔内の画像であることを特徴とする請求項１に記載の画像処理装置。
8. 前記被検査領域は、粘膜領域であることを特徴とする請求項７に記載の画像処理装置。
9. 前記オプティカルフロー算出部は、血液の吸収帯域に相当する色成分を用いてオプティカルフローを算出することを特徴とする請求項７に記載の画像処理装置。
10. 前記時系列画像は、体内管腔内の画像であり、
    前記エッジ抽出部は、血液の吸収帯域に相当する色成分のエッジを抽出することを特徴とする請求項３に記載の画像処理装置。
11. 検査対象物を時系列で撮像した時系列画像を処理し、前記検査対象物上の異常部位を検出する画像処理装置に、
    前記検査対象物が映る被検査領域および前記異常部位が映る異常領域の可能性がある異常候補領域を含むカテゴリ領域に、前記時系列画像を構成する各画像内を分割するカテゴリ領域分割手順と、
    前記時系列画像を構成する画像をもとに、前記被検査領域および前記異常候補領域におけるオプティカルフローを算出するオプティカルフロー算出手順と、
    前記被検査領域におけるオプティカルフローと前記異常候補領域におけるオプティカルフローとを比較し、比較した結果をもとに前記異常候補領域を前記異常領域として検出する異常領域検出手順と、
    を実行させ、
    前記異常領域検出手順は、
    前記異常候補領域におけるオプティカルフローの特徴量である第１の特徴量を算出する異常候補オプティカルフロー特徴量算出手順と、
    前記被検査領域におけるオプティカルフローの特徴量である第２の特徴量を算出する被検査オプティカルフロー特徴量算出手順と、
    を含み、
    前記第１の特徴量と前記第２の特徴量との差に基づいて算出された値が所定値内の場合に、前記異常候補領域を前記異常領域として検出することを特徴とする画像処理プログラム。
12. 検査対象物を時系列で撮像した時系列画像を処理し、前記検査対象物上の異常部位を検出する画像処理装置が行う画像処理方法であって、
    前記検査対象物が映る被検査領域および前記異常部位が映る異常領域の可能性がある異常候補領域を含むカテゴリ領域に、前記時系列画像を構成する各画像内を分割するカテゴリ領域分割ステップと、
    前記時系列画像を構成する画像をもとに、前記被検査領域および前記異常候補領域におけるオプティカルフローを算出するオプティカルフロー算出ステップと、
    前記被検査領域におけるオプティカルフローと前記異常候補領域におけるオプティカルフローとを比較し、比較した結果をもとに前記異常候補領域を前記異常領域として検出する異常領域検出ステップと、
    を含み、
    前記異常領域検出ステップは、
    前記異常候補領域におけるオプティカルフローの特徴量である第１の特徴量を算出する異常候補オプティカルフロー特徴量算出ステップと、
    前記被検査領域におけるオプティカルフローの特徴量である第２の特徴量を算出する被検査オプティカルフロー特徴量算出ステップと、
    を含み、
    前記第１の特徴量と前記第２の特徴量との差に基づいて算出された値が所定値内の場合に、前記異常候補領域を前記異常領域として検出することを特徴とする画像処理方法。

Images