JP5226618B2 - 画像抽出装置、画像抽出方法および画像抽出プログラム - Google Patents

Description

本発明は画像抽出装置、画像抽出方法および画像抽出プログラムに関し、例えば内視鏡により撮像した体内画像の処理に適用可能なものである。

画像処理技術の一分野として、画像認識技術がある。画像認識を用いることで、複数の画像の中から、所定の特徴を備える画像を自動的に抽出することが可能となる。画像認識は、様々な産業分野で利用できる。例えば、工業製品の欠陥検査、人物撮影時の顔検出、侵入者の監視などに利用できる。

また、画像認識は医療分野でも利用され得る。例えば、内視鏡により撮像した画像の色調情報から特徴量を算出し、算出した特徴量と所定の基準特徴量とを比較することで、その画像内に病変領域（病変状態と疑われる対象物が写された領域）が含まれているか判定する方法がある（例えば、特許文献１参照）。

特開２００５−１９２８８０号公報

ところで、処理対象とする画像に色ノイズが含まれている場合がある。色ノイズは、例えば、画像データを無線で伝送する際に発生し得る。このような場合、上記特許文献１に記載された、単に画像の色調情報から抽出対象を判定するという方法を適用しても、抽出を意図しない画像が最終的に抽出されてしまうおそれがある。色ノイズを含む領域の特徴量が所定の基準特徴量に適合してしまうことで、抽出を意図しない画像であっても抽出対象と判定される可能性があるためである。

また、撮像された画像の明度が過度に高い場合や過度に低い場合がある。例えば、撮像距離が変化する撮像環境下では、光量の調整が撮像距離の変化に追従されず、過度に明るい画像や過度に暗い画像が撮像される場合がある。かかる現象は、撮像装置が自動利得制御（ＡＧＣ：Auto Gain Control）の機能を有していても、撮像距離の変化が急激であれば発生し得る。このような場合も、色ノイズの場合と同様、抽出を意図しない画像が最終的に抽出されてしまうおそれがある。過度に明るい領域または過度に暗い領域の特徴量が所定の基準特徴量に適合してしまうことで、抽出を意図しない画像であっても抽出対象と判定される可能性があるためである。

このように、画像抽出の精度を向上させるという点において、改善の余地がある。
本発明はこのような点に鑑みてなされたものであり、複数の画像から所望の画像を抽出する精度を向上させた画像抽出装置、画像抽出方法および画像抽出プログラムを提供することを目的とする。

本発明に係る一態様の画像抽出装置は、候補画像検出部とシーン検出部と検出状況算出部と判定部と抽出部を有する。候補画像検出部は、時系列的に並ぶ複数の画像の特徴量を用いて、複数の画像の中から抽出候補となる抽出候補画像を検出する。シーン検出部は、画像の特徴量に基づいて、複数の画像のシーンの区切りを検出する。検出状況算出部は、シーンの区切りにより区切られた同一の区間に含まれる抽出候補画像の検出状況を算出する。判定部は、算出された検出状況に応じて、同一の区間に含まれる抽出候補画像を抽出対象画像として抽出するか否か判定する。抽出部は、抽出対象画像として抽出すると判定された抽出候補画像を抽出する。

本発明に係る一態様の画像抽出方法では、時系列的に並ぶ複数の画像の特徴量を用いて、複数の画像の中から抽出候補となる抽出候補画像を検出すると共に、画像の特徴量に基づいて、複数の画像のシーンの区切りを検出する。シーンの区切りにより区切られた同一の区間に含まれる抽出候補画像の検出状況を算出する。算出された検出状況に応じて、同一の区間に含まれる抽出候補画像を抽出対象画像として抽出するか否か判定する。抽出対象画像として抽出すると判定された抽出候補画像を抽出する。

本発明に係る一態様の画像抽出プログラムを実行するコンピュータは、時系列的に並ぶ複数の画像の特徴量を用いて、複数の画像の中から抽出候補となる抽出候補画像を検出すると共に、画像の特徴量に基づいて、複数の画像のシーンの区切りを検出する。シーンの区切りにより区切られた同一の区間に含まれる抽出候補画像の検出状況を算出する。算出された検出状況に応じて、同一の区間に含まれる抽出候補画像を抽出対象画像として抽出するか否か判定する。抽出対象画像として抽出すると判定された抽出候補画像を抽出する。

上記画像抽出装置、画像抽出方法および画像抽出プログラムでは、画像の特徴量に基づいて、時系列的に並ぶ複数の画像からシーンの区切りが検出される。そして、シーンの区切りにより区切られた同一の区間内における抽出候補画像の検出状況（例えば、抽出候補画像の数や検出割合）に基づいて、その区間内の抽出候補画像を抽出対象とするか否か判定される。

ここで、前述の色ノイズや明度変化などは、瞬間的・散発的に発生するものであり、同一の区間内で多数発生する確率は高くないと考えられる。すなわち、抽出を意図しない画像が同一の区間内に多数含まれている確率は高くない。一方、抽出を意図する画像が抽出候補として検出された場合、そのような画像は、シーンの区切りで区切られた同一の区間内に多数含まれている確率が高い。よって、同一の区間内の検出状況を参照することで、抽出候補画像の中から、抽出を意図しない画像であると考えられるものを判定できる。

従って、上記画像抽出装置、画像抽出方法および画像抽出プログラムでは、抽出を意図しない画像であると考えられるものを、抽出前に振るい落とすことができる。例えば、同一の区間内における抽出候補画像の数が少ない場合に、その区間内の抽出候補画像を抽出を意図しない画像と判定して、抽出対象から外すことが可能である。その結果、抽出を意図しない画像が最終的に抽出されてしまうことを抑制でき、画像抽出の精度を向上させることができる。

上記画像抽出装置、画像抽出方法および画像抽出プログラムによれば、複数の画像から所望の画像を抽出する精度が向上する。

本実施の形態に係る画像抽出装置の一例を示す図である。 医療診断システムの全体構成を示す図である。 情報処理装置のハードウェアを示すブロック図である。 第１の実施の形態の情報処理装置の機能を示すブロック図である。 第１の実施の形態の体内画像処理を示すフローチャートである。 第１の実施の形態の変化量算出の詳細を示すフローチャートである。 第１の実施の形態のシーン検出の詳細を示すフローチャートである。 第１の実施の形態の画像数算出の詳細を示すフローチャートである。 第１の実施の形態の病変画像判定の詳細を示すフローチャートである。 第１の実施の形態の画像判定例を示す図である。 第２の実施の形態の情報処理装置の機能を示すブロック図である。 第２の実施の形態の体内画像処理を示すフローチャートである。 第２の実施の形態の画像割合算出の詳細を示すフローチャートである。 第２の実施の形態の病変画像判定の詳細を示すフローチャートである。 第２の実施の形態の画像判定例を示す図である。 第３の実施の形態の情報処理装置の機能を示すブロック図である。 第３の実施の形態の体内画像処理を示すフローチャートである。 第３の実施の形態のシーン検出の詳細を示すフローチャートである。 第３の実施の形態の画像判定例を示す図である。

以下、本実施の形態を図面を参照して詳細に説明する。
図１は、本実施の形態に係る画像抽出装置の一例を示す図である。画像抽出装置１は、時系列的に並ぶ複数の画像を取得し、取得した複数の画像から一部の画像を抽出する。時系列的に並ぶ複数の画像は、例えば、撮像装置が所定周期（例えば、２〜４フレーム毎秒）で撮像した複数の画像である。画像抽出装置１は、例えば、内視鏡により撮像した複数の体内画像から、病変領域を含む画像（病変画像）を抽出するために利用できる。なお、体内画像は、体腔内画像と呼ぶ場合があり、病変画像は、異常画像と呼ぶ場合がある。

画像抽出装置１は、時系列的に並ぶ複数の画像のデータを取得する。複数の画像を示すデータは、複数の静止画像のデータの集合であってもよいし、動画像のデータであってもよい。画像抽出装置１は、例えば、複数の画像のデータを記憶した記憶部（図示せず）から、データを読み出して処理する。または、撮像装置から画像データを取得するのと並行して、取得した画像データを逐次処理してもよい。画像抽出装置１は、撮像装置と一体の装置として形成してもよいし、別装置としてもよい。

画像抽出装置１は、候補画像検出部１ａ、シーン検出部１ｂ、検出状況算出部１ｃ、判定部１ｄおよび抽出部１ｅを有する。上記各ユニットは、専用のハードウェア回路またはソフトウェアにより実現できる。後者の場合、コンピュータに画像抽出プログラムを実行させることで、そのコンピュータを画像抽出装置１として使用できる。上記ユニットを、専用のハードウェア回路とソフトウェアの組み合わせにより実現してもよい。

候補画像検出部１ａは、時系列的に並ぶ複数の画像の特徴量を用いて、複数の画像の中から抽出候補となる１またはそれ以上の抽出候補画像を検出する。画像の特徴量として、その画像の画素値や、画素値に基づいて算出される統計量などを用いることができる。抽出候補画像は、時系列的に並ぶ複数の画像のうち、抽出部１ｅによって抽出される画像の「候補」となるものである。

候補画像検出部１ａは、画像の特徴量と、抽出条件を示す所定の基準特徴量とを比較することで、その画像が抽出候補画像であるか否か判定できる。例えば、体内画像の中から病変画像を抽出したい場合、画像内の画素値の分布と所定の画素値の分布との間のユークリッド距離を算出し、ユークリッド距離が閾値以上となる領域を含む画像を抽出候補画像として検出する方法が考えられる。

ただし、候補画像検出部１ａが検出した抽出候補画像には、画像の特徴量が、形式的には抽出条件としての基準特徴量に適合するものの、ユーザにとって抽出されてほしくない画像（抽出を意図しない画像）が含まれている可能性がある。

抽出を意図しない画像が抽出候補画像として検出されてしまう原因として、撮像時や画像転送時に画像に付加される色ノイズや、撮像時の光量調整の失敗などが考えられる。画像に色ノイズが付加されると、撮像対象が有する本来の色調と異なる色調の領域が画像に含まれることになる。よって、色ノイズを含む領域の特徴量が基準特徴量に適合してしまうことで、抽出を意図しない画像が検出されてしまう可能性がある。また、光量調整の失敗により過度に明るい画像や過度に暗い画像が撮像された場合も、色ノイズの場合と同様の現象が生じ得る。このような抽出を意図しない画像は、色ノイズや調光失敗などの要因が無ければ、本来は抽出候補として検出されない画像である。

シーン検出部１ｂは、時系列的に並ぶ複数の画像の特徴量に基づいて、シーンの区切りを検出する。例えば、各画像について時間的に１つ前または１つ後の画像との間の特徴量の変化量を算出し、変化量が閾値以上の位置をシーンの区切りと判断する。隣接する２つの画像ではなく、所定数だけ離れた２つの画像の間の変化量に基づいて判断してもよい。変化量は、例えば、Ｒ（赤）Ｇ（緑）Ｂ（青）の各色成分について、画素毎に特徴量としての画素値の差を算出し、画素値の差を全画素および全色成分について統計処理することで算出できる。

なお、候補画像検出部１ａが用いる特徴量とシーン検出部１ｂが用いる特徴量とは、異なる観点の特徴量であってもよい。例えば、ＲＧＢの３つの色成分のうち互いに異なる色成分の画素値に着目する、互いに異なる統計手法を用いて算出した値を特徴量として利用する、などの方法が考えられる。これにより、抽出候補画像の検出とシーン検出とにそれぞれ適した特徴量を利用でき、各検出処理の精度が向上し、画像抽出全体の精度を向上できる。また、どのような撮像環境下で撮像された画像かを考慮して、利用する特徴量の観点をユーザが選択できるようにしてもよい。これにより、特定の撮像環境に適した抽出候補画像の検出およびシーン検出が行われ、画像抽出全体の精度を向上できる。

シーン検出部１ｂでは、時系列的に並ぶ複数の画像からシーンの区切りを検出することで、同一シーンに属する１またはそれ以上の連続する画像の区間が特定される。画像の特徴量に基づいてシーンの区切りが検出されるので、特徴量の近似する画像（特徴の類似する画像）を、同一シーン区間内の画像として纏められる。一方、撮像の対象物が変わった場合や対象物との距離が大きく変化した場合、シーンが切り替わったと判断され得る。取得した一連の画像からは、複数のシーンが検出され得る。候補画像検出部１ａの処理とシーン検出部１ｂの処理とは、並列に実行してもよいし、何れか一方を他方より先に実行してもよい。

なお、シーン検出部１ｂは、一連の画像に含まれる全ての区間を検出してもよいし、少なくとも１つの抽出候補画像が含まれる区間のみを検出してもよい。前者の場合、時系列上を前方（撮像時間が古い画像）から後方（撮像時間が新しい画像）に向かって走査することで、各シーンの終了点（および、次シーンの開始点）を検出する方法が考えられる。もちろん、後方から前方に向かって走査してもよい。一方、後者の場合、ある１つの抽出候補画像を基点として時系列上を前方および後方に走査し、その抽出候補画像が属する区間の開始点および終了点を検出する方法が考えられる。

検出状況算出部１ｃは、シーン検出部１ｂで検出されたシーンの区切りにより区切られる同一の区間について、その区間（シーン区間）内に含まれる抽出候補画像の検出状況を算出する。シーン区間が複数検出されている場合、シーン区間毎に算出する。例えば、抽出候補画像の検出状況として、シーン区間内に含まれる抽出候補画像の数を算出する方法が考えられる。または、シーン区間内に含まれる画像（抽出候補画像と非抽出候補画像の両方を含む）の総数に対する抽出候補画像の検出割合を算出する方法も考えられる。

判定部１ｄは、検出状況算出部１ｃで算出されたシーン区間内の検出状況に基づいて、そのシーン区間内の抽出候補画像を抽出対象画像とするか否か判定する。シーン区間が複数検出されている場合、シーン区間毎に判定を行う。抽出対象画像は、時系列的に並ぶ複数の画像のうち抽出部１ｅで抽出対象となる画像であり、候補画像検出部１ａで抽出候補画像として検出された画像の一部または全部が抽出対象画像となり得る。

例えば、判定部１ｄは、シーン区間に含まれる画像全てに対する抽出候補画像の検出割合が閾値（例えば、８０％）以上の場合はそのシーン区間内の抽出候補画像を抽出すると判定し、閾値未満の場合は抽出しないと判定する方法が考えられる。または、抽出候補画像の数が閾値（例えば、８フレーム）以上の場合はそのシーン区間内の抽出候補画像を抽出すると判定し、閾値未満の場合は抽出しないと判定する方法も考えられる。

このように判定できるのは、１つのシーン区間に含まれる抽出候補画像が少ないと、その抽出候補画像は抽出を意図しない画像である可能性が高いからである。すなわち、色ノイズや明度変化などは、瞬間的・散発的に発生するものであり、同一のシーン区間内で多数発生する確率は高くないと考えられる。よって、抽出を意図しない画像が同一のシーン区間内に多数含まれている確率は高くない。一方、シーンの区切りによって区切られた同一の区間内に存在する複数の画像は、特徴量が近似しており、互いに同一の物体を撮像対象に含む画像であると考えられる。よって、抽出を意図する画像が抽出候補画像として検出される場合には、同一のシーン区間内で多数検出される確率が高い。従って、同一のシーン区間内の検出状況に基づいて、抽出候補画像の中から抽出対象を選択できる。

なお、１つのシーン区間内の画像（抽出候補画像と非抽出候補画像の両方を含む）の総数が少ない場合は、抽出対象の判定の信頼度が低くなるおそれがある。分母としての画像総数が少ないために抽出候補画像が少なくなっているのか、抽出を意図しない画像であるために同一シーン区間内の抽出候補画像の数が少ないのか、区別が容易でないためである。よって、画像総数が閾値（例えば、５フレーム）未満の場合、画像総数が閾値以上の場合とは異なる判定基準を用いてもよい。または、画像総数が閾値未満の場合、そのシーン区間内の抽出候補画像を抽出対象から除外してもよい。

抽出部１ｅは、候補画像検出部１ａで抽出候補画像として検出された画像のうち、判定部１ｄで抽出対象画像として抽出すると判定された抽出候補画像を抽出する。抽出部１ｅによって抽出される画像は、ユーザにとって抽出されることが望ましい画像である可能性が高い。抽出候補画像のうち抽出を意図しない画像の多くは、判定部１ｄによる判定の結果、振るい落とされて抽出されないと期待できるからである。

画像抽出装置１は、抽出した画像を様々な方法で利用することができる。例えば、抽出した画像を、画像抽出装置１と一体に形成された表示装置または画像抽出装置１に接続された表示装置に表示する。その際、抽出した複数の画像を連続して表示することで、動画像として再生してもよい。抽出した画像だけでなく、抽出した画像の属するシーン区間全体の画像（抽出候補画像と非抽出候補画像の両方を含む）を表示してもよい。また、画像抽出装置１は、抽出した画像を記録媒体やプリンタに出力してもよい。または、抽出対象と判定された画像の位置を示す情報（インデックス）を表示してもよい。

このような画像抽出装置１では、候補画像検出部１ａにより、時系列的に並ぶ複数の画像の特徴量を用いて、複数の画像の中から抽出候補となる抽出候補画像が検出される。また、シーン検出部１ｂにより、画像の特徴量に基づいて、複数の画像のシーンの区切りが検出される。そして、検出状況算出部１ｃにより、シーンの区切りにより区切られた同一の区間に含まれる抽出候補画像の検出状況が算出される。判定部１ｄにより、算出された検出状況に応じて、同一の区間に含まれる抽出候補画像を抽出対象画像として抽出するか否か判定される。抽出部１ｅにより、抽出対象画像として抽出すると判定された抽出候補画像が抽出される。

すなわち、シーン検出部１ｂのシーン検出により、特徴が類似しており同一の物体を撮像対象に含んでいると考えられる複数の画像が、同一シーン区間に纏められる。そして、抽出部１ｅの判定により、抽出を意図しない画像が出現する際の性質を利用することで、抽出を意図しない画像である可能性の高いものが判定され、抽出対象から除外される。

上記の性質とは、１）抽出を意図しない画像は、瞬間的・散発的に出現するものであるから、一定区間内に多数の抽出を意図しない画像が抽出候補画像として検出される確率は高くない、２）あるシーン区間内で抽出を意図する画像が存在する場合、そのシーン区間内の画像は特徴が互いに類似しているのであるから、抽出候補画像はそのシーン区間内で多数検出されているはずである、というものである。

例えば、同一のシーン区間内の抽出候補画像の数が多ければ、その抽出候補画像は抽出を意図する画像である可能性が高くなる。一方、同一のシーン区間内の抽出候補画像が少なければ、その抽出候補画像は抽出を意図しない画像である可能性が高くなる。なお、同一のシーン区間内の画像総数が少ない場合は、抽出を意図する画像であるか否かの判定精度が低くなるおそれがあるので、画像総数が少ないシーン区間内の抽出候補画像を全て、抽出対象から外してもよい。

これにより、抽出候補画像の中から、色ノイズや明度変化などの要因が無ければ検出されなかったであろう抽出候補画像、すなわち、抽出を意図しない画像である可能性の高いものを、抽出前に振るい落とすことができる。よって、抽出を意図しない画像が最終的に抽出されてしまうことを抑制でき、画像抽出の精度を向上させることができる。

その結果、時系列的に並ぶ複数の画像のうちユーザが確認すべき画像数を抑制でき、ユーザの負担が軽減される。例えば、画像抽出装置１を内視鏡により撮像した体内画像の処理に利用した場合、抽出候補画像として検出された画像のうち病変領域を含んでいない可能性の高い画像を抽出前に自動的に除外することができ、体内画像から病変領域を発見するための医師の作業が軽減される。

なお、上記の画像抽出装置１は、デジタルカメラ、デジタルビデオカメラ、電子内視鏡など、正しく動作するために電流または電磁界に依存する機器である電子機器に搭載することも可能である。以下では、上記の画像処理方法を、内視鏡により撮像した体内画像の処理に応用した場合について更に詳細に説明する。ただし、上記の画像処理方法は、体内画像の処理に限定されるものではなく、前述の通り、様々な種類の画像の処理に応用可能である。

［第１の実施の形態］
図２は、医療診断システムの全体構成を示す図である。第１の実施の形態に係る医療診断システムは、カプセル型内視鏡１１、アンテナ１２、受信装置１３、クレードル２１および情報処理装置１００を含む。

カプセル型内視鏡１１は、被検体１０の体内画像を撮像する撮像装置である。カプセル型内視鏡１１は、被検体１０の口から体内に飲み込まれると、蠕動運動により、食道・胃・小腸・大腸などの消化管内を進行する。カプセル型内視鏡１１は、無線信号を出力する無線送信部を備えている。カプセル型内視鏡１１は、消化管内で周期的に（例えば、２〜４フレーム毎秒で）ＲＧＢ成分を含む画像を撮像し、得られた体内画像のデータを無線送信する。カプセル型内視鏡１１は、消化管を抜けて、最終的に体外に排出される。なお、撮像周期は、体内に飲み込まれてからの経過時間に応じて可変とすることもできる。

アンテナ１２は、カプセル型内視鏡１１が出力する無線信号を受信する受信アンテナである。アンテナ１２は、被検体１０の表面に貼付される。広範囲の体内画像を取得するために、被検体１０の表面には複数のアンテナを貼付してもよい。アンテナ１２は、受信装置１３と接続されている。アンテナ１２は、カプセル型内視鏡１１が送信した無線信号を受信し、受信信号を受信装置１３に転送する。

受信装置１３は、被検体１０が携帯することができる携帯端末装置である。受信装置１３は、アンテナ１２から取得した受信信号に対して無線信号処理を行い、カプセル型内視鏡１１によって撮像された体内画像のデータを抽出する。そして、受信装置１３に搭載された記憶部（例えば、不揮発性メモリ）に、取得順序を維持して体内画像のデータを蓄積する。受信装置１３には、撮像された体内画像を確認するための表示部（例えば、液晶ディスプレイ）を搭載してもよい。

なお、カプセル型内視鏡１１の体内滞在時間は、約８時間と考えられる。従って、受信装置１３は、約２８８００秒分の体内画像（例えば、数万フレームの画像）を蓄積できる記憶部を備えていることが好ましい。受信装置１３は、取得した体内画像のデータをその画像内で圧縮して蓄積してもよいし、更に、時間方向に圧縮して動画像のデータとして蓄積してもよい。

クレードル２１は、受信装置１３を着脱可能なスタンド型のデータ受信装置である。クレードル２１は、情報処理装置１００に接続されている。クレードル２１は、受信装置１３が装着されると、受信装置１３に蓄積されている画像データを読み出し、情報処理装置１００に出力する。なお、クレードル２１は、受信装置１３が装着されている間に、送電して受信装置１３の内蔵電池を充電してもよい。

情報処理装置１００は、クレードル２１から取得した体内画像のデータを処理する装置であり、例えば、ユーザである医師が操作する。情報処理装置１００は、図１に示した画像抽出装置１が搭載された電子機器の一例と考えることができる。情報処理装置１００は、カプセル型内視鏡１１により撮像された一連の体内画像から、病変画像、すなわち、病変が疑われる異常所見の器官が写された体内画像を抽出して表示する。なお、情報処理装置１００は、クレードル２１以外の接続手段（例えば、ＵＳＢ（Universal Serial Bus）ケーブル）を用いて、受信装置１３と接続してもよい。

以下、情報処理装置１００の装置構成および情報処理装置１００で実行される画像処理の詳細を説明する。ただし、情報処理装置１００は、カプセル型内視鏡１１以外の撮像装置（例えば、ケーブルを備えた内視鏡）により撮像した体内画像の処理にも使用できる。また、情報処理装置１００は、ＲＧＢの色成分を含むカラー画像以外の画像（例えば、単色画像）の処理にも使用できる。

図３は、情報処理装置のハードウェアを示すブロック図である。情報処理装置１００は、演算部１０１、主記憶部１０２、補助記憶部１０３、グラフィック処理部１０４、入力受付部１０５、ディスクドライブ１０６およびデータ入出力部１０７を有する。上記の各ユニットは、情報処理装置１００内でバス１０８に接続されている。

演算部１０１は、情報処理装置１００全体を制御する。演算部１０１として、例えば、中央演算装置（ＣＰＵ：Central Processing Unit）を使用できる。演算部１０１は、補助記憶部１０３に格納されているプログラムを読み出し、主記憶部１０２に展開して実行する。具体的には、情報処理装置１００の起動時に、ユーザの操作に応じて画像処理プログラムを実行する。なお、情報処理装置１００に複数の演算部を搭載して分散処理を行ってもよい。

主記憶部１０２は、演算部１０１で実行されるプログラムおよびプログラムによる処理に用いられるデータの少なくとも一部を一時的に記憶する。主記憶部１０２として、例えば、ＲＡＭ（Random Access Memory）を使用できる。主記憶部１０２に対しては、適宜、演算部１０１によりプログラムやデータの読み書きが行われる。主記憶部１０２に格納されるプログラムには、画像処理プログラムが含まれる。主記憶部１０２に格納されるデータには、画像データや画像処理中に生成される中間データが含まれる。

補助記憶部１０３は、演算部１０１で実行されるプログラムおよびプログラムによる処理に用いられるデータを格納する。補助記憶部１０３として、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）を使用できる。補助記憶部１０３に格納されるプログラムには、画像処理プログラムが含まれる。補助記憶部１０３に格納されるデータには、画像データが含まれる。

グラフィック処理部１０４は、ディスプレイ２２に接続されている。グラフィック処理部１０４は、演算部１０１の制御に従って、表示画面の画像信号を生成し、ディスプレイ２２に出力する。演算部１０１が画像処理プログラムを実行した場合、表示画面には一連の画像の中から抽出された１またはそれ以上の画像が表示される。

入力受付部１０５は、入力デバイス２３に接続されている。入力デバイス２３として、例えば、キーボード、マウス、タッチパッド、タッチパネルなどを使用できる。入力受付部１０５は、入力デバイス２３に対するユーザの操作（例えば、キーの押下）を検知すると、操作に応じた入力信号を演算部１０１に出力する。

ディスクドライブ１０６は、可搬記録媒体２４からデータを読み取る駆動装置である。可搬記録媒体２４として、例えば、フレキシブルディスク（ＦＤ）などの磁気ディスク、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光ディスク、光磁気ディスク（ＭＯ：Magneto-Optical disk）を使用できる。可搬記録媒体２４には、例えば、画像処理プログラムが記録されている。その場合、ディスクドライブ１０６は、画像処理プログラムを読み出し、補助記憶部１０３に格納することができる。

データ入出力部１０７は、クレードル２１とケーブルで接続されている。データ入出力部１０７は、演算部１０１の制御に従って、クレードル２１を介して、受信装置１３から体内画像のデータを取得する。そして、取得した画像データを補助記憶部１０３に格納する。画像データを読み出した後は、受信装置１３に蓄積されている画像データを消去するようにしてもよい。なお、補助記憶部１０３に格納される前または格納された後、演算部１０１によってデータ形式の変換（例えば、データ圧縮など）が行われる可能性がある。

図４は、第１の実施の形態の情報処理装置の機能を示すブロック図である。情報処理装置１００には、画像読取部１１０、画像記憶部１２０、候補画像検出部１３０、判定部１４０、変化量算出部１５０、シーン検出部１６０および表示制御部１７０が実装される。上記の各ユニットの機能は、例えば、演算部１０１が主記憶部１０２に展開された画像処理プログラムを実行することで実現される。ただし、上記ユニットの全部または一部を、専用のハードウェア回路で実装することも可能である。

画像読取部１１０は、補助記憶部１０３に格納されている体内画像のデータの全部または一部を読み出して、画像記憶部１２０に格納する。画像データの読み出し順序は、例えば、カプセル型内視鏡１１で撮像された順序とする。なお、画像読取部１１０は、クレードル２１経由で受信装置１３から取得した体内画像のデータを、補助記憶部１０３を経由せず、画像記憶部１２０に直接格納してもよい。

画像記憶部１２０は、画像読取部１１０が読み出した体内画像のデータを格納する。画像記憶部１２０は、主記憶部１０２上に形成される。すなわち、主記憶部１０２の記憶領域の一部が、体内画像のデータを格納する領域として使用される。なお、主記憶部１０２の記憶領域の他の一部は、後述する画像処理の過程で生成される中間データを格納する領域として使用される。

候補画像検出部１３０は、画像記憶部１２０から体内画像のデータを取得し、抽出候補となる画像である抽出候補画像を検出する。すなわち、候補画像検出部１３０は、時系列に撮像された一連の体内画像の中から、病変画像（異常所見の器官が写された画像）の可能性があるものを検出する。病変画像の可能性の判断は、各体内画像が所定条件としての基準特徴量を満たす画像であるか否かの判断によって行う。抽出候補画像と判断されなかった体内画像は、非抽出候補画像と判断される。

抽出候補画像の検出方法としては、例えば、上記特許文献１（特開２００５−１９２８８０号公報）に記載のような色調情報に基づく検出方法を用いることができる。この検出方法では、体内画像の色信号に基づいて、器官の粘膜が撮像されている領域（粘膜領域）を抽出する。次に、粘膜領域の色信号の分布と、基準となる所定の分布（基準特徴量）との間で、ユークリッド距離を算出する。そして、ユークリッド距離が閾値以上である場合に、異常な色信号を含む画像であるとして、病変画像の候補と判断する。

上記検出方法の例では、色調に関する特徴量として色比情報を用いている。Ｒ，Ｂ，Ｇそれぞれの画素値をｒ，ｇ，ｂとすると、ｒ／（ｒ＋ｇ＋ｂ）やｇ／（ｒ＋ｇ＋ｂ）のような色度を色比情報として用いることができる。色度は、それぞれ０以上１以下の値を取る。例えば、上記の２通りの色度を画像の全領域または一部の領域についてそれぞれ平均化し、２つの平均値から成るベクトルと所定のベクトルとの間のユークリッド距離を算出することで、抽出候補画像か否かの判断が可能である。または、２つの平均値から成るベクトルがベクトル空間上でどのような位置になるかに応じて、抽出候補画像か否かを判断してもよい。色調に関する特徴量として、ｇ／ｒやｂ／ｇなどの値を用いてもよい。

もちろん、上記以外の抽出候補画像の検出方法を用いてもよい。
なお、候補画像検出部１３０で検出された抽出候補画像には、本来は抽出を意図しない画像、すなわち、医師が判断した場合には病変画像と判断されない画像が含まれる可能性がある。抽出を意図しない画像が抽出候補画像に含まれてしまう原因としては、前述のように、色ノイズや明度変化などが考えられる。すなわち、候補画像検出部１３０が取得する体内画像には、カプセル型内視鏡１１からアンテナ１２への伝送中に無線ノイズの影響を受けて、ランダムな色ノイズが含まれているものがある。また、カプセル型内視鏡１１と撮像対象の器官との距離が急激に変化し、自動利得制御（ＡＧＣ）が距離変化に追従されず、過度に明るい画像または暗い画像が撮像される可能性がある。

このような体内画像は、前述のように、色調情報に基づく検出方法では、抽出候補画像に含まれないようにすることが容易でない。撮像対象の器官が有していた色調と異なる色調の領域が画像に含まれており、そのような領域が病変領域と判定されてしまう可能性があるからである。

判定部１４０は、候補画像検出部１３０の検出結果と体内画像のデータとに基づいて、検出された抽出候補画像が、抽出対象の画像である病変画像であるか否か判定する。具体的には、判定部１４０は、変化量算出部１５０に、体内画像の間の変化量を算出するよう指示する。すると、シーン検出部１６０から、時系列的に並ぶ一連の体内画像を１またはそれ以上のシーン区間に区切った情報（シーン区間の情報）を取得できる。そして、判定部１４０は、シーン区間毎に抽出候補画像が病変画像であるか否かの判定を行う。

シーン区間毎の判定のために、判定部１４０は、画像数算出部１４１を有する。画像数算出部１４１は、シーン区間毎の抽出候補画像の検出状況として、そのシーン区間に含まれる体内画像の数と抽出候補画像の数とを算出する。判定部１４０は、シーン区間毎に、画像数算出部１４１で算出された体内画像数と抽出候補画像数とに基づいて、そのシーン区間内の抽出候補画像が、病変画像である可能性が高いか否か判定する。

変化量算出部１５０は、判定部１４０からの指示を受けて、時系列上で隣り合っている２つの体内画像の間で、特徴量の変化量を算出する。画像間の変化量として、例えば、構造的変化量を用いることができる。変化量算出部１５０は、ＲＧＢの色成分それぞれについて構造的変化量を算出し、ＲＧＢそれぞれの構造的変化量の統計値（例えば、合計値や平均値）を画像間の変化量と定義することができる。

構造的変化量としては、例えば、下記の式（１）に示す正規化相互相関（ＮＣＣ：Normalized Cross-Correlation）を用いることができる。正規化相互相関では、画像の明るさが正規化される。また、下記の式（２）に示す差の二乗和（ＳＳＤ：Sum of Squared Difference）を用いてもよい。下記の式（３）に示す差の絶対値和（ＳＡＤ：Sum of Absolute Difference）を用いてもよい。下記の式（４）に示す正規化相関係数（ＮＣＣ：Normalized Correlation Coefficient）を用いてもよい。

なお、式（１）〜（４）において、２つの画像ＩおよびＴは、共にＭ×Ｎ画素（Ｍ，Ｎは正の整数）の２次元の画像であり、Ｉ（ｉ，ｊ）は画像Ｉの座標［ｉ，ｊ］の画素値、Ｔ（ｉ，ｊ）は画像Ｔの座標［ｉ，ｊ］の画素値を示している。このような構造的変化量をＲＧＢそれぞれについて算出し、それらの統計値を変化量として算出できる。

その後、変化量算出部１５０は、隣り合う体内画像の間の変化量を、シーン検出部１６０に通知する。もちろん、上記以外の変化量の算出方法を用いてもよい。また、隣り合う体内画像でなく、時系列上で所定の間隔（すなわち、所定の時間）だけ離れた２つの体内画像（例えば、３つ離れた体内画像）の間で変化量を算出するようにしてもよい。また、変化量算出部１５０で着目する特徴量と候補画像検出部１３０で着目する特徴量とは、同一の観点の特徴量であってもよいし、異なる観点の特徴量であってもよい。

シーン検出部１６０は、変化量算出部１５０で算出された画像間の変化量に基づいて、一連の体内画像を１またはそれ以上のシーン区間に区分する。各シーン区間は、時系列上で連続した１つの区間を形成し、少なくとも１つの体内画像を含む。シーンの区切りは、画像の特徴が大きく変化した位置であり、例えば、画像間の変化量が閾値を超えた位置である。シーン区間の長さは、体内画像の撮影状況に依存する。従って、一連の体内画像から、数枚の体内画像を含むシーン、数十枚の体内画像を含むシーン、１００枚を超える体内画像を含むシーンなどが検出され得る。

シーン検出の結果、特徴量の近似する複数の体内画像（特徴の類似する体内画像）が、同一シーン区間内の体内画像として纏められる。同一シーン区間内の体内画像は、互いに同一の対象物（器官の特定の部位）を撮像対象に含んでいるものと考えられる。

表示制御部１７０は、画像記憶部１２０に格納された体内画像のうち、判定部１４０によって病変画像（すなわち、抽出対象画像）と判定されたものを抽出する。そして、抽出した体内画像をディスプレイ２２に表示するよう制御する。複数の病変画像が検出された場合には、それら病変画像を連続表示して、動画像として再生してもよい。また、病変画像だけでなく、病変画像が属するシーン全体の体内画像（病変画像と非病変画像の両方を含む）や、その近傍のシーンの体内画像を併せて表示するようにしてもよい。また、病変画像の位置を示す情報（インデックス）を表示し、表示する病変画像を医師が選択できるようにしてもよい。表示制御部１７０は、医師の操作に応じて上記の各種表示方法を切り替えることもできる。

このように、判定部１４０において、抽出候補画像の中から、色ノイズや明度変化などの要因が無ければ検出されなかったであろう抽出候補画像、すなわち、病変画像でない可能性の高いものが除外される。ここで、病変画像か否かの判定では、以下の性質が利用される。１）色ノイズや明度変化などの影響で検出される意図しない画像については、一定区間内に多数出現する確率は高くない。２）あるシーン区間で病変部位が撮像されているのであれば、そのシーン区間内には多数の病変画像が含まれている確率が高い。

次に、上記の情報処理装置１００で実行される画像処理の詳細を説明する。
図５は、第１の実施の形態の体内画像処理を示すフローチャートである。図５に示す処理は、例えば、所定のイベント発生を契機として情報処理装置１００が実行する。所定のイベントとしては、クレードル２１に受信装置１３が接続されたことや、ユーザが入力デバイス２３を用いて処理開始の指示を入力したこと等が考えられる。以下、処理内容の詳細をフローチャートのステップ番号に沿って説明する。

［ステップＳ１１］画像読取部１１０は、カプセル型内視鏡１１で撮像された体内画像のデータを、受信装置１３または補助記憶部１０３から読み出す。そして、読み出した体内画像を、画像記憶部１２０（主記憶部１０２の記憶領域）に書き込む。

［ステップＳ１２］候補画像検出部１３０は、撮影タイミングの早い方から順に、体内画像を１つ選択し、選択した体内画像の特徴量が基準特徴量に適合する画像（抽出候補画像）であるか否か判断する。抽出候補画像か否かの判断には、前述の色調情報に基づく検出方法を用いることができる。候補画像検出部１３０は、抽出候補画像の判断結果を、主記憶部１０２の記憶領域に書き込んで判定部１４０に引き渡す。

［ステップＳ１３］候補画像検出部１３０は、ステップＳ１２で、時系列的に並ぶ複数の体内画像の全てを選択したか判断する。全ての体内画像を選択した場合、処理をステップＳ１４に進める。未選択の体内画像がある場合、処理をステップＳ１２に進める。なお、体内画像の選択を、時系列順に行うのではなく、任意の順序で行うようにしてもよい。

［ステップＳ１４］変化量算出部１５０は、時系列上で隣り合う体内画像の間で、変化量を算出する。変化量は、前述のＮＣＣ，ＳＳＤ，ＳＡＤなどの方法により算出できる。変化量算出部１５０は、算出した変化量を、主記憶部１０２の記憶領域に書き込んでシーン検出部１６０に引き渡す。変化量算出処理の詳細は後述する。

［ステップＳ１５］シーン検出部１６０は、ステップＳ１４で算出した体内画像の間の変化量に基づいて、シーンを検出する。一連の体内画像から、１またはそれ以上のシーン区間が検出され得る。シーン検出部１６０は、シーンの区切りの情報を、主記憶部１０２の記憶領域に書き込んで判定部１４０に引き渡す。シーン検出処理の詳細は後述する。

［ステップＳ１６］画像数算出部１４１は、ステップＳ１５で検出した各シーン区間について、シーン区間内に存在する体内画像（抽出候補画像と非抽出候補画像の両方を含む）の数と抽出候補画像の数とを算出する。画像数算出処理の詳細は後述する。

［ステップＳ１７］判定部１４０は、ステップＳ１６で算出した体内画像数と抽出候補画像数とに基づいて、抽出候補画像が病変画像である可能性の高い画像であるか否か判定する。病変画像の判定は、ステップＳ１５で検出したシーン区間単位で行う。判定部１４０は、病変画像の判定結果を、主記憶部１０２の記憶領域に書き込んで表示制御部１７０に引き渡す。病変画像判定処理の詳細は後述する。

［ステップＳ１８］表示制御部１７０は、ステップＳ１７で病変画像と判定された体内画像を抽出し、ディスプレイ２２に表示させる。なお、病変画像と共に他の体内画像（例えば、病変画像と同一シーンに属する体内画像やその前後のシーンに属する体内画像など）を抽出して表示してもよい。また、病変画像のインデックスを表示してもよい。

このようにして、情報処理装置１００は、時系列的に並ぶ一連の体内画像から、基準特徴量に適合する抽出候補画像を検出する。また、体内画像間の特徴量の変化量を算出し、変化量に基づいて一連の体内画像を１またはそれ以上のシーン区間に区分する。そして、情報処理装置１００は、シーン区間単位で、抽出候補画像の検出状況に基づいて抽出候補画像を病変画像として採用するか否かを判定する。

なお、上記ステップＳ１２，Ｓ１３とステップＳ１４，Ｓ１５の処理は、逆順に行ってもよいし、並行に行ってもよい。また、候補画像検出、変化量算出、シーン検出、画像数算出および病変画像判定の処理毎に体内画像全体を走査（５回走査）してもよいし、体内画像を時系列順に一度走査する間に候補画像検出から病変画像判定までの処理を行ってもよい。以下では、前者の場合を想定して、ステップＳ１４〜Ｓ１７の詳細を説明する。

図６は、第１の実施の形態の変化量算出の詳細を示すフローチャートである。図６は、上記ステップＳ１４の処理を更に詳細に記述したものである。以下、処理内容の詳細をフローチャートのステップ番号に沿って説明する。

［ステップＳ１４１］変化量算出部１５０は、処理対象とする体内画像のフレーム数（画像総数）を算出する。画像総数は、数万フレームに達する場合も考えられる。そして、算出した画像総数を主記憶部１０２の記憶領域に保存しておく。

［ステップＳ１４２］変化量算出部１５０は、変化量算出で用いる一時変数ｉを定義してｉ＝２と初期化する。
［ステップＳ１４３］変化量算出部１５０は、体内画像を撮像タイミングの早い順に並べたときのｉ−１番目の体内画像とｉ番目の体内画像とを取得する。

［ステップＳ１４４］変化量算出部１５０は、ステップＳ１４３で取得した２つの体内画像の間の変化量を算出する。例えば、前述の式（１）〜式（４）の何れかを用いてＲＧＢの各色成分の構造的変化量を算出し、それら算出した値の合計値または平均値を変化量と定義する。そして、算出した変化量を主記憶部１０２の記憶領域に保存しておく。

［ステップＳ１４５］変化量算出部１５０は、ステップＳ１４２で定義した一時変数ｉの値をインクリメント（１だけ加算）する。
［ステップＳ１４６］変化量算出部１５０は、ステップＳ１４５で更新した後の一時変数ｉの値が、ステップＳ１４１で算出した画像総数より大きいか否か判断する。大きい場合、変化量算出の処理を終了する。大きくない場合、処理をステップＳ１４３に進めて、次の体内画像のペアについて変化量を算出する。

このようにして、変化量算出部１５０は、時系列上で隣り合う２つの体内画像について変化量を算出する。なお、変化量算出の処理対象する体内画像のペアは、任意の順序で選択してもよい。また、撮像タイミングの遅い方から順に選択してもよい。

図７は、第１の実施の形態のシーン検出の詳細を示すフローチャートである。図７は、上記ステップＳ１５の処理を更に詳細に記述したものである。以下、処理内容の詳細をフローチャートのステップ番号に沿って説明する。

［ステップＳ１５１］シーン検出部１６０は、体内画像の画像総数を特定する。画像総数は、前述のステップＳ１４１で算出したものを用いてよい。
［ステップＳ１５２］シーン検出部１６０は、シーン検出で用いる一時変数ｉ，ｆを定義してｉ＝２，ｆ＝１と初期化する。また、シーン区間数を示す変数ｃｏｕｎｔを定義してｃｏｕｎｔ＝１と初期化する。

［ステップＳ１５３］シーン検出部１６０は、体内画像を撮像タイミングの早い順に並べたときのｉ−１番目の体内画像とｉ番目の体内画像との間の変化量を特定する。変化量は、前述のステップＳ１４４で算出され、主記憶部１０２の記憶領域に保存されている。

［ステップＳ１５４］シーン検出部１６０は、ステップＳ１５３で特定した変化量が所定の閾値Ｔ０以上であるか否か判断する。閾値Ｔ０以上の場合、処理をステップＳ１５５に進める。閾値Ｔ０未満の場合、処理をステップＳ１５７に進める。なお、閾値Ｔ０は、撮像環境に応じてユーザが変更できるようにしてもよい。

［ステップＳ１５５］シーン検出部１６０は、ｃｏｕｎｔ番目のシーン区間の先頭をｆとし末尾をｉ−１と判断する。そして、ｃｏｕｎｔ番目のシーン区間の情報を主記憶部１０２の記憶領域に保存しておく。

［ステップＳ１５６］シーン検出部１６０は、ステップＳ１５２で定義した変数ｃｏｕｎｔの値をインクリメントする。これは、シーンが切り替わったことを意味する。また、ステップＳ１５２で定義した一時変数ｆの値をｆ＝ｉに設定する。これは、現在着目している体内画像が新たなシーンの先頭の体内画像であることを意味する。

［ステップＳ１５７］シーン検出部１６０は、ステップＳ１５２で定義した一時変数ｉの値をインクリメントする。
［ステップＳ１５８］シーン検出部１６０は、ステップＳ１５７で更新した後の一時変数ｉの値が、ステップＳ１５１で特定した画像総数より大きいか否か判断する。大きい場合、処理をステップＳ１５９に進める。大きくない場合、処理をステップＳ１５３に進めて、次の変化量について判断を行う。

［ステップＳ１５９］シーン検出部１６０は、ｃｏｕｎｔ番目のシーン区間の先頭をｆとし末尾を一連の体内画像の最後の位置と判断する。そして、ｃｏｕｎｔ番目のシーン区間の情報を主記憶部１０２の記憶領域に保存しておく。更に、検出されたシーン区間数（現在のｃｏｕｎｔの値）を主記憶部１０２の記憶領域に保存しておく。

このようにして、シーン検出部１６０は、変化量算出部１５０が算出した変化量を時系列順に走査して、シーンの区切りを検出する。体内画像の特徴が大きく変化した位置が、シーンの区切りと判断される。例えば、撮像対象の器官が変わった場合（カプセル型内視鏡１１が胃から小腸に入った場合など）は、シーンが切り替わったと判断される可能性が高い。なお、撮像タイミングの遅い方から早い方に向かって変化量を走査してもよい。

図８は、第１の実施の形態の画像数算出の詳細を示すフローチャートである。図８は、上記ステップＳ１６の処理を更に詳細に記述したものである。以下、処理内容の詳細をフローチャートのステップ番号に沿って説明する。

［ステップＳ１６１］画像数算出部１４１は、一連の体内画像から検出されたシーン区間数を特定する。シーン区間数は、前述のステップＳ１５９で確定され、主記憶部１０２の記憶領域に保存されている。

［ステップＳ１６２］画像数算出部１４１は、画像数算出で用いる一時変数ｉを定義してｉ＝１と初期化する。
［ステップＳ１６３］画像数算出部１４１は、ｉ番目のシーン区間の先頭と末尾を特定する。シーン区間の先頭と末尾の位置は、前述のステップＳ１５５で確定され、主記憶部１０２の記憶領域に保存されている。

［ステップＳ１６４］画像数算出部１４１は、ｉ番目のシーン区間内に存在する体内画像の数（抽出候補画像と非抽出候補画像の両方を含む）を算出する。また、ｉ番目のシーン区間内に存在する抽出候補画像の数を算出する。そして、算出した体内画像数と抽出候補画像数とを主記憶部１０２の記憶領域に保存しておく。

［ステップＳ１６５］画像数算出部１４１は、ステップＳ１６２で定義した一時変数ｉの値をインクリメントする。
［ステップＳ１６６］画像数算出部１４１は、ステップＳ１６５で更新した後の一時変数ｉの値が、ステップＳ１６１で特定したシーン区間数より大きいか否か判断する。大きい場合、画像数算出処理を終了する。大きくない場合、処理をステップＳ１６３に進めて、次のシーン区間の体内画像数および抽出候補画像数を算出する。

このようにして、画像数算出部１４１は、シーン区間毎に、そのシーン区間内に存在する体内画像の数と抽出候補画像の数とを算出する。なお、画像数算出の処理対象とするシーン区間は、任意の順序で選択してもよい。また、時系列上で遅いシーン区間から順に選択してもよい。

図９は、第１の実施の形態の病変画像判定の詳細を示すフローチャートである。図９は、上記ステップＳ１７の処理を更に詳細に記述したものである。以下、処理内容の詳細をフローチャートのステップ番号に沿って説明する。

［ステップＳ１７１］判定部１４０は、一連の体内画像から検出されたシーン区間数を特定する。シーン区間数は、前述のステップＳ１５９で確定され、主記憶部１０２の記憶領域に保存されている。

［ステップＳ１７２］判定部１４０は、病変画像判定で用いる一時変数ｉを定義してｉ＝１と初期化する。
［ステップＳ１７３］判定部１４０は、ｉ番目のシーン区間内に存在する体内画像の数と抽出候補画像の数とを特定する。体内画像数および抽出候補画像数は、前述のステップＳ１６４で算出され、主記憶部１０２の記憶領域に保存されている。

［ステップＳ１７４］判定部１４０は、ステップＳ１７３で特定した体内画像数が所定の閾値Ｔ１以上であるか否か判断する。閾値Ｔ１以上の場合、処理をステップＳ１７５に進める。閾値Ｔ１未満の場合、処理をステップＳ１７７に進める。閾値Ｔ１は、例えば、５フレームと設定する。なお、撮像環境に応じてユーザが閾値Ｔ１を変更できるようにしてもよい。

［ステップＳ１７５］判定部１４０は、ステップＳ１７３で特定した抽出候補画像数が所定の閾値Ｔ２以上であるか否か判断する。閾値Ｔ２以上の場合、処理をステップＳ１７６に進める。閾値Ｔ２未満の場合、処理をステップＳ１７７に進める。閾値Ｔ２は、例えば、８フレームと設定する。なお、撮像環境に応じてユーザが閾値Ｔ２を変更できるようにしてもよい。

［ステップＳ１７６］判定部１４０は、ｉ番目のシーン区間内の抽出候補画像を病変画像と判定し、ｉ番目のシーン区間内の非抽出候補画像を非病変画像と判定する。その後、処理をステップＳ１７８に進める。

［ステップＳ１７７］判定部１４０は、ｉ番目のシーン区間内の体内画像（抽出候補画像と非抽出候補画像の両方）を、非病変画像と判定する。
［ステップＳ１７８］判定部１４０は、ステップＳ１７２で定義した一時変数ｉの値をインクリメントする。

［ステップＳ１７９］判定部１４０は、ステップＳ１７８で更新した後の一時変数ｉの値が、ステップＳ１７１で特定したシーン区間数より大きいか否か判断する。大きい場合、病変画像判定処理を終了する。大きくない場合、処理をステップＳ１７３に進めて、次のシーン区間について判定を行う。

このようにして、判定部１４０は、シーン区間毎に、体内画像数および抽出候補画像数から抽出候補画像が病変画像であるか否か判定する。具体的には、抽出候補画像数が閾値Ｔ２未満の場合には、そのシーン区間内の抽出候補画像は、病変画像である可能性が低いと判断している。また、体内画像数が閾値Ｔ１未満であるシーン区間内の抽出候補画像を抽出対象から除外することで、判定精度の低下を防止している。なお、判定の処理対象とするシーン区間は、任意の順序で選択してもよい。また、時系列上で遅いシーン区間から順に選択してもよい。

また、上記方法では、抽出候補画像数に基づいて病変画像判定を行うとしたが、抽出候補画像の検出時の「適合度」で重み付けして病変画像判定を行ってもよい。例えば、体内画像の色信号の分布と基準分布との間のユークリッド距離を、ユークリッド距離が小さいほど（基準分布に近いほど）大きな値を取る「適合度」に変換し、シーン区間内の各抽出候補画像の適合度を合計した値と閾値Ｔ２とを比較する方法も考えられる。

図１０は、第１の実施の形態の画像判定例を示す図である。図１０に示される時間範囲には、４３枚の体内画像が含まれ、そのうち２１枚が抽出候補画像と判断され、２２枚が非抽出候補画像と判断されている。また、これら４３枚の体内画像が５つのシーン区間に区分されている。ここでは、閾値Ｔ１＝５，閾値Ｔ２＝８に設定されているとする。

シーン＃１の区間には、１０枚の体内画像が含まれ、そのうち９枚が抽出候補画像である。体内画像数（１０枚）≧閾値Ｔ１（５枚）かつ抽出候補画像数（９枚）≧閾値Ｔ２（８枚）なので、シーン＃１の区間内の抽出候補画像は病変画像と判定される。

シーン＃２の区間には、８枚の体内画像が含まれ、その全てが非抽出候補画像である。体内画像数（８枚）≧閾値Ｔ１（５枚）であるが抽出候補画像数（０枚）＜閾値Ｔ２（８枚）なので、シーン＃２の区間内の体内画像は全て非病変画像と判定される。

シーン＃３の区間には、４枚の体内画像が含まれ、その全てが抽出候補画像である。体内画像数（４枚）＜閾値Ｔ１（５枚）なのでシーン＃３の区間内の体内画像は全て非病変画像と判定される。

シーン＃４の区間には、１５枚の体内画像が含まれ、そのうち３枚が抽出候補画像である。体内画像数（１５枚）≧閾値Ｔ１（５枚）であるが抽出候補画像数（３枚）＜閾値Ｔ２（８枚）なので、シーン＃４の区間内の体内画像は全て非病変画像と判定される。

シーン＃５の区間には、６枚の体内画像が含まれ、そのうち５枚が抽出候補画像である。体内画像数（６枚）≧閾値Ｔ１（５枚）であるが抽出候補画像数（５枚）＜閾値Ｔ２（８枚）なので、シーン＃５の区間内の体内画像は全て非病変画像と判定される。

このような第１の実施の形態に係る医療診断システムによれば、体内画像の特徴量に基づいて、シーンの区切りが検出され、特徴が類似しており同一の部位を撮像対象に含んでいると考えられる複数の体内画像が、同一のシーン区間に纏められる。そして、同一のシーン区間内の抽出候補画像の検出数に基づいて、病変画像でない可能性の高い抽出候補画像が抽出対象から除外される。

その際、１）色ノイズや明度変化などの影響で生じる抽出を意図しない画像は、瞬間的・散発的に発生し、同一シーン区間内で多数検出される確率は高くない、２）病変部位が撮像されたシーン区間内では、多数の抽出候補画像が検出されているはずである、という性質を利用できる。第１の実施の形態では、同一シーン区間内の抽出候補画像の数が多ければ、その抽出候補画像は病変画像である可能性が高く、同一シーン区間内の抽出候補画像の数が少なければ、その抽出候補画像は病変画像である可能性が低いと判断される。ただし、同一シーン区間内の体内画像数が少ない場合は、病変画像か否かの判定精度が低くなるおそれがあるので、全て抽出対象から除外される。

これにより、カプセル型内視鏡１１により撮像された体内画像の中から病変画像を抽出する精度が向上する。従って、病変部位を探す医師の作業の負担が軽減される。
なお、情報処理装置１００が実行する上記の画像処理を、受信装置１３に実行させるようにしてもよい。また、情報処理装置１００の画像処理機能を備えた画像処理装置は、デジタルカメラ、デジタルビデオカメラ、電子内視鏡など、正しく動作するために電流または電磁界に依存する機器である電子機器に搭載することが可能である。

［第２の実施の形態］
次に、第２の実施の形態を図面を参照して詳細に説明する。第１の実施の形態との差異を中心に説明し、同様の事項については適宜説明を省略する。

第２の実施の形態では、病変画像の判定方法が第１の実施の形態と異なる。第２の実施の形態に係る医療診断システムは、図２に示す第１の実施の形態のものと同様のシステム構成によって実現できる。また、第２の実施の形態に係る情報処理装置は、図３に示す第１の実施の形態のものと同様のハードウェアによって実現できる。

図１１は、第２の実施の形態の情報処理装置の機能を示すブロック図である。第２の実施の形態に係る情報処理装置２００には、画像読取部２１０、画像記憶部２２０、候補画像検出部２３０、判定部２４０、変化量算出部２５０、シーン検出部２６０および表示制御部２７０が実装される。上記ユニットのうち判定部２４０以外のユニットの機能は、図４に示す第１の実施の形態に係る情報処理装置１００の同名のユニットと同様である。

判定部２４０は、候補画像検出部２３０の検出結果と体内画像のデータとに基づいて、検出された抽出候補画像が、抽出対象の画像である病変画像であるか否か判定する。具体的には、判定部２４０は、変化量算出部２５０に体内画像の間の変化量を算出するよう指示し、シーン検出部２６０からシーン区間の情報を取得する。そして、シーン区間毎に抽出候補画像が病変画像であるか否かの判定を行う。

シーン区間毎の判定のために、判定部２４０は、画像割合算出部２４１を有する。画像割合算出部２４１は、シーン区間毎の抽出候補画像の検出状況として、そのシーン区間に含まれている体内画像の数と抽出候補画像の数とを算出し、体内画像に対する抽出候補画像の検出割合を算出する。判定部２４０は、画像割合算出部２４１で算出された検出割合に基づいて、そのシーン区間内の抽出候補画像が病変画像であるか判断する。

図１２は、第２の実施の形態の体内画像処理を示すフローチャートである。図１２に示す処理は、例えば、所定のイベント発生を契機として情報処理装置２００が実行する。ただし、ステップＳ２１〜Ｓ２５，Ｓ２８の処理は、図５に示した第１の実施の形態のステップＳ１１〜Ｓ１５，Ｓ１８の処理と同様であるため、説明を省略する。

［ステップＳ２６］画像割合算出部２４１は、ステップＳ２５で検出した各シーン区間について、シーン区間内に存在する体内画像（抽出候補画像と非抽出候補画像の両方を含む）の数と抽出候補画像の数とを算出する。そして、抽出候補画像数を体内画像数で除して、抽出候補画像の検出割合を算出する。画像割合算出処理の詳細は後述する。

［ステップＳ２７］判定部２４０は、ステップＳ２６で算出した抽出候補画像の検出割合に基づいて、抽出候補画像が病変画像であるか否か判定する。病変画像の判定は、ステップＳ２５で検出したシーン区間単位で行う。病変画像判定処理の詳細は後述する。

このようにして、情報処理装置２００は、シーン区間単位で、体内画像に対する抽出候補画像の検出割合を算出し、抽出候補画像の検出割合に基づいて抽出候補画像を病変画像として採用するか否か判定する。以下では、上記ステップＳ２６，Ｓ２７の処理を更に詳細に説明する。

図１３は、第２の実施の形態の画像割合算出の詳細を示すフローチャートである。図１３は、上記ステップＳ２６の処理を更に詳細に記述したものである。以下、処理内容の詳細をフローチャートのステップ番号に沿って説明する。

［ステップＳ２６１］画像割合算出部２４１は、一連の体内画像から検出されたシーン区間数を特定する。シーン区間数は、ステップＳ２５のシーン検出にて算出されている。
［ステップＳ２６２］画像割合算出部２４１は、画像割合算出処理に用いる一時変数ｉを定義してｉ＝１と初期化する。

［ステップＳ２６３］画像割合算出部２４１は、ｉ番目のシーン区間の先頭と末尾とを特定する。シーン区間の先頭と末尾は、ステップＳ２５のシーン検出で決定されている。
［ステップＳ２６４］画像割合算出部２４１は、ｉ番目のシーン区間内に存在する体内画像（抽出候補画像と非抽出候補画像の両方を含む）の数を算出する。また、ｉ番目のシーン区間内に存在する抽出候補画像の数を算出する。

［ステップＳ２６５］画像割合算出部２４１は、ステップＳ２６４で算出した抽出候補画像数をステップＳ２６４で算出した体内画像数で除して、抽出候補画像の検出割合を算出する。なお、検出割合が所定の有効桁数に収まるよう、商を切り上げ、切り捨てまたは四捨五入してもよい。

［ステップＳ２６６］画像割合算出部２４１は、ステップＳ２６２で定義した一時変数ｉの値をインクリメントする。
［ステップＳ２６７］画像割合算出部２４１は、ステップＳ２６５で更新した後の一時変数ｉの値が、ステップＳ２６１で特定したシーン区間数より大きいか否か判断する。大きい場合、画像割合算出処理を終了する。大きくない場合、処理をステップＳ２６３に進めて、次のシーン区間における抽出候補画像の検出割合を算出する。

このようにして、画像割合算出部２４１は、シーン区間毎に、そのシーン区間内に存在する体内画像の数と抽出候補画像の数とを算出し、抽出候補画像の検出割合を算出する。なお、画像割合算出処理の対象とするシーン区間は、任意の順序で選択してよい。また、時系列上で遅いシーン区間から順に選択してもよい。

図１４は、第２の実施の形態の病変画像判定の詳細を示すフローチャートである。図１４は、上記ステップＳ２７の処理を更に詳細に記述したものである。以下、処理内容の詳細をフローチャートのステップ番号に沿って説明する。

［ステップＳ２７１］判定部２４０は、一連の体内画像から検出されたシーン区間数を特定する。シーン区間数は、ステップＳ２５のシーン検出の処理で算出されている。
［ステップＳ２７２］判定部２４０は、病変画像判定の処理に用いる一時変数ｉを定義してｉ＝１と初期化する。

［ステップＳ２７３］判定部２４０は、ｉ番目のシーン区間内に存在する体内画像の数と抽出候補画像の検出割合とを特定する。体内画像数および検出割合は、ステップＳ２６の画像割合算出の処理で算出されている。

［ステップＳ２７４］判定部２４０は、ステップＳ２７３で特定した体内画像数が所定の閾値Ｔ１以上であるか否か判断する。閾値Ｔ１以上の場合、処理をステップＳ２７５に進める。閾値Ｔ１未満の場合、処理をステップＳ２７７に進める。

［ステップＳ２７５］判定部２４０は、ステップＳ２７３で特定した抽出候補画像の検出割合が所定の閾値Ｔ３以上であるか否か判断する。閾値Ｔ３以上の場合、処理をステップＳ２７６に進める。閾値Ｔ３未満の場合、処理をステップＳ２７７に進める。閾値Ｔ３は、例えば、０．８（８０％）と設定する。なお、撮像環境に応じてユーザが閾値Ｔ３を変更できるようにしてもよい。

［ステップＳ２７６］判定部２４０は、ｉ番目のシーン区間内の抽出候補画像を病変画像と判定し、ｉ番目のシーン区間内の非抽出候補画像を非病変画像と判定する。その後、処理をステップＳ２７８に進める。

［ステップＳ２７７］判定部２４０は、ｉ番目のシーン区間内の体内画像（抽出候補画像と非抽出候補画像の両方）を、非病変画像と判定する。
［ステップＳ２７８］判定部２４０は、ステップＳ２７２で定義した一時変数ｉの値をインクリメントする。

［ステップＳ２７９］判定部２４０は、ステップＳ２７８で更新した後の一時変数ｉの値が、ステップＳ２７１で特定したシーン区間数より大きいか否か判断する。大きい場合、病変画像判定の処理を終了する。大きくない場合、処理をステップＳ２７３に進めて、次のシーン区間について判定を行う。

このようにして、判定部２４０は、シーン区間毎に、体内画像数および抽出候補画像の検出割合から、抽出候補画像が病変画像であるか否か判定する。具体的には、検出割合が閾値Ｔ３未満の場合には、そのシーン区間内の抽出候補画像は病変画像である可能性が低いと判断している。また、体内画像数が閾値Ｔ１未満であるシーン区間内の抽出候補画像を抽出対象から除外することで、判定精度の低下を防止している。なお、判定の処理対象とするシーン区間は、任意の順序で選択してもよい。また、時系列上で遅いシーン区間から順に選択してもよい。

図１５は、第２の実施の形態の画像判定例を示す図である。図１５に示される時間範囲には、図１０の例と同様、２１枚の抽出候補画像と２２枚の非抽出候補画像とが存在する。また、これら４３枚の体内画像が５つのシーン区間に区分されている。ここでは、閾値Ｔ１＝５，閾値Ｔ３＝０．８に設定されているとする。

シーン＃１の区間には、１０枚の体内画像が含まれ、そのうち９枚が抽出候補画像である。体内画像数（１０枚）≧閾値Ｔ１（５枚）かつ抽出候補画像の検出割合（０．９）≧閾値Ｔ３（０．８）なので、シーン＃１の区間内の抽出候補画像は病変画像と判定される。

シーン＃２の区間には、８枚の体内画像が含まれ、その全てが非抽出候補画像である。体内画像数（８枚）≧閾値Ｔ１（５枚）であるが抽出候補画像割合（０）＜閾値Ｔ３（０．８）なので、シーン＃２の区間内の体内画像は全て非病変画像と判定される。

シーン＃３の区間には、４枚の体内画像が含まれ、その全てが抽出候補画像である。体内画像数（４枚）＜閾値Ｔ１（５枚）なのでシーン＃３の区間内の体内画像は全て非病変画像と判定される。

シーン＃４の区間には、１５枚の体内画像が含まれ、そのうち３枚が抽出候補画像である。体内画像数（１５枚）≧閾値Ｔ１（５枚）であるが抽出候補画像の検出割合（０．２）＜閾値Ｔ２（０．８）なので、シーン＃４の区間内の体内画像は全て非病変画像と判定される。

シーン＃５の区間には、６枚の体内画像が含まれ、そのうち５枚が抽出候補画像である。体内画像数（６枚）≧閾値Ｔ１（５枚）かつ抽出候補画像の検出割合（０．８３）≧閾値Ｔ２（０．８）なので、シーン＃５の区間内の抽出候補画像は病変画像と判定される。

このような第２の実施の形態に係る医療診断システムによれば、カプセル型内視鏡１１により撮像された体内画像の中から病変画像を抽出する精度が向上する。特に、第２の実施の形態では、同一シーン区間内の抽出候補画像の検出割合が大きければ、その抽出候補画像は病変画像である可能性が高く、同一シーン区間内の抽出候補画像の検出割合が小さければ、その抽出候補画像は病変画像である可能性が低いと判断される。検出割合に基づいて判断するため、シーン区間内に存在する体内画像の総数の違いによる影響を抑制し、様々な長さのシーン区間に対してより精度よく判定が可能となる。

なお、情報処理装置２００が実行する上記の画像処理を、受信装置１３に実行させるようにしてもよい。また、情報処理装置２００の画像処理機能を備えた画像処理装置は、デジタルカメラ、デジタルビデオカメラ、電子内視鏡など、正しく動作するために電流または電磁界に依存する機器である電子機器に搭載することが可能である。

［第３の実施の形態］
次に、第３の実施の形態を図面を参照して詳細に説明する。第１の実施の形態との差異を中心に説明し、同様の事項については適宜説明を省略する。

第３の実施の形態では、シーン検出の方法が第１の実施の形態と異なる。第３の実施の形態に係る医療診断システムは、図２に示す第１の実施の形態のものと同様のシステム構成によって実現できる。また、第３の実施の形態に係る情報処理装置は、図３に示す第１の実施の形態のものと同様のハードウェアによって実現できる。

図１６は、第３の実施の形態の情報処理装置の機能を示すブロック図である。情報処理装置３００には、画像読取部３１０、画像記憶部３２０、候補画像検出部３３０、判定部３４０、シーン検出部３５０および表示制御部３６０が実装される。上記ユニットのうちシーン検出部３５０以外のユニットの機能は、図４に示す第１の実施の形態に係る情報処理装置１００の同名のユニットと同様である。

シーン検出部３５０は、判定部３４０からの指示を受けて、一連の体内画像から１またはそれ以上のシーン区間を検出する。シーンの区切りは、画像間の変化量に基づき判断する。ただし、シーン検出部３５０は、少なくとも１枚の抽出候補画像を含むシーン区間は検出し、抽出候補画像を全く含まないシーン区間は検出しないよう制御する。抽出候補画像を含むシーン区間を検出するため、シーン検出部３５０は、基点設定部３５１および走査部３５２を有する。

基点設定部３５１は、体内画像を時系列に沿って走査する際の基点を設定する。時系列上の基点は、何れかの抽出候補画像の位置とする。具体的には、基点設定部３５１は、候補画像検出部３３０が検出した抽出候補画像の中から、属するシーン区間が未決定の抽出候補画像を１つ選択し、選択した抽出候補画像の位置を基点として設定する。

走査部３５２は、基点設定部３５１が設定した基点から、時系列上で前方（撮像タイミングが早い方向）および後方（撮像タイミングが遅い方）の少なくとも一方に向かって体内画像を走査し、隣り合う２つの体内画像の間の変化量を順次算出する。画像間の変化量としては、第１の実施の形態で述べたように、構造的変化量を用いることができる。例えば、ＮＣＣ，ＳＳＤ，ＳＡＤなどの方法を用いることが考えられる。そして、走査部３５２は、算出した変化量に基づき、シーンの前方の区切り（すなわち、シーン区間の先頭）およびシーンの後方の区切り（すなわち、シーン区間の末尾）の少なくとも一方を判断する。例えば、変化量が閾値を超えた位置をシーンの先頭または末尾と判断する。

ここで、画像数算出部３４１は、基点とした抽出候補画像を含むシーン区間の先頭位置と末尾位置との間に属する抽出候補画像を、基点とした抽出候補画像を含むシーン区間内の抽出候補画像と定義することができる。そして、画像数算出部３４１は、同一シーン区間内のそのように定義した抽出候補画像の数を、そのシーン区間の検出状況として算出することができる。

図１７は、第３の実施の形態の体内画像処理を示すフローチャートである。図１７に示す処理は、例えば、所定のイベント発生を契機として情報処理装置３００が実行する。ただし、ステップＳ３１〜Ｓ３３，Ｓ３５〜Ｓ３８の処理は、図５に示した第１の実施の形態のステップＳ１１〜Ｓ１３，Ｓ１６〜Ｓ１８の処理と同様であるため説明を省略する。

［ステップＳ３４］シーン検出部３５０は、ステップＳ３２で検出された抽出候補画像のうちの少なくとも１つを含むシーン区間を検出する。一連の体内画像から、１またはそれ以上のシーン区間が検出され得る。シーン検出部３５０は、シーン区間の先頭および末尾を、時系列上で隣り合う体内画像の間の特徴量の変化量に基づいて判断する。

このようにして、情報処理装置３００は、一連の体内画像から、少なくとも１枚の抽出候補画像を含むシーン区間を検出する。そして、情報処理装置３００は、検出した各シーン区間について、抽出候補画像の検出状況に基づき、抽出候補画像を病変画像として採用するか否か判定する。以下では、上記ステップＳ３４の処理を更に詳細を説明する。

図１８は、第３の実施の形態のシーン検出の詳細を示すフローチャートである。図１８は、上記ステップＳ３４の処理を更に詳細に記述したものである。以下、処理内容の詳細をフローチャートのステップ番号に沿って説明する。

［ステップＳ３４１］基点設定部３５１は、シーン区間数を示す変数ｃｏｕｎｔを定義してｃｏｕｎｔ＝１と初期化する。
［ステップＳ３４２］基点設定部３５１は、体内画像を撮像タイミングの早い順に並べたときの最初の抽出候補画像を特定し、その抽出候補画像の位置を位置ｉと設定する。そして、走査部３５２に位置ｉを通知する。

［ステップＳ３４３］走査部３５２は、現在着目している体内画像とその１つ前方（撮像タイミングが早い方向）の体内画像とを特定し、２つの体内画像の間の変化量を算出する。例えば、第１の実施の形態で述べた式（１）〜式（４）の何れかを用いてＲＧＢの各色成分の構造的変化量を算出し、それら算出した値の合計値または平均値を変化量とする。なお、最初に着目する体内画像は、位置ｉの体内画像である。

［ステップＳ３４４］走査部３５２は、ステップＳ３４３で算出した変化量が所定の閾値Ｔ０以上であるか、または、現在着目している体内画像の１つ前方が時系列上の最初の体内画像であるか判断する。上記条件を満たす場合、処理をステップＳ３４５に進める。条件を満たさない場合、着目する体内画像を１つ前方の体内画像に移し、処理をステップＳ３４３に進める。

［ステップＳ３４５］走査部３５２は、現在着目している体内画像の位置を、ｃｏｕｎｔ番目のシーン区間の先頭に設定する。
［ステップＳ３４６］走査部３５２は、現在着目している体内画像とその１つ後方（撮像タイミングが遅い方向）の体内画像とを特定し、２つの体内画像の間の変化量を算出する。例えば、第１の実施の形態で述べた式（１）〜式（４）の何れかを用いてＲＧＢの各色成分の構造的変化量を算出し、それら算出した値の合計値または平均値を変化量とする。なお、最初に着目する体内画像は、位置ｉの体内画像である。

［ステップＳ３４７］走査部３５２は、ステップＳ３４６で算出した変化量が所定の閾値Ｔ０以上であるか、または、現在着目している体内画像の１つ後方が時系列上の最後の体内画像であるか判断する。上記条件を満たす場合、処理をステップＳ３４８に進める。条件を満たさない場合、着目する体内画像を１つ後方の体内画像に移し、処理をステップＳ３４６に進める。

［ステップＳ３４８］走査部３５２は、現在着目している体内画像の位置を、ｃｏｕｎｔ番目のシーン区間の末尾に設定する。
［ステップＳ３４９］基点設定部３５１は、ｃｏｕｎｔ番目のシーン区間の先頭および末尾が設定されると、ｃｏｕｎｔ番目のシーン区間の末尾より後方に抽出候補画像が存在するか否か判断する。存在する場合、処理をステップＳ３５０に進める。存在しない場合、シーン検出処理を終了する。

［ステップＳ３５０］基点設定部３５１は、ｃｏｕｎｔ番目のシーン区間の末尾より後方にある抽出候補画像のうち、最も前方に位置するもの（最も撮像タイミングの早いもの）を特定し、その抽出候補画像の位置を位置ｉと設定する。そして、走査部３５２に更新後の位置ｉを通知する。また、ステップＳ３４１で定義した変数ｃｏｕｎｔの値をインクリメントする。その後、処理をステップＳ３４３に進め、後方に位置する次のシーン区間（少なくとも１つの抽出候補画像を含むもの）の検出を行う。

このようにして、シーン検出部３５０は、何れかの抽出候補画像を基点として時系列上を前方および後方の少なくとも一方に走査し、抽出候補画像を含むシーンの区切りを検出する。基点とする抽出候補画像の位置によっては（例えば、基点が全画像中の先頭である場合や末尾である場合には）、前方または後方の一方向のみ走査すれば、シーン区間を特定できる場合もある。体内画像の特徴が大きく変化した位置が、シーンの区切りと判断される。なお、基点として用いる抽出候補画像は、任意の順序で選択してもよい。または、撮像タイミングの遅い抽出候補画像から順に選択してもよい。また、上記ステップＳ３４３〜Ｓ３４５の処理とステップＳ３４６〜Ｓ３４８の処理とは逆順で実行してもよいし、並列に実行してもよい。

上記説明では、少なくとも１つの抽出候補画像を含むシーンを、前方から後方に向かう順序で検出しているが、後方から前方に向かう順序で検出することもできる。その場合、上記ステップＳ３４２，Ｓ３４９，Ｓ３５０の処理を、例えば、以下のステップＳ３４２ａ，Ｓ３４９ａ，Ｓ３５０ａのように置き換えればよい。

［ステップＳ３４２ａ］基点設定部３５１は、体内画像を撮像タイミングの早い順に並べたときの最後尾の抽出候補画像を特定し、その抽出候補画像の位置を位置ｉと設定する。そして、走査部３５２に位置ｉを通知する。

［ステップＳ３４９ａ］基点設定部３５１は、ｃｏｕｎｔ番目のシーン区間の先頭および末尾が設定されると、ｃｏｕｎｔ番目のシーン区間の先頭より前方に抽出候補画像が存在するか否か判断する。存在する場合、処理をステップＳ３５０ａに進める。存在しない場合、シーン検出処理を終了する。

［ステップＳ３５０ａ］基点設定部３５１は、ｃｏｕｎｔ番目のシーン区間の先頭より前方にある抽出候補画像のうち、最も後方に位置するもの（最も撮像タイミングの遅いもの）を特定し、その抽出候補画像の位置を位置ｉと設定する。そして、走査部３５２に更新後の位置ｉを通知する。また、ステップＳ３４１で定義した変数ｃｏｕｎｔの値をインクリメントする。その後、処理をステップＳ３４３に進め、前方に位置する次のシーン区間（少なくとも１つの抽出候補画像を含むもの）の検出を行う。

なお、上記処理を実行すると、検出されたシーン区間の番号（ｃｏｕｎｔ）は時系列の順序と逆順（降順）に付与される。昇順のシーン区間番号が付与されている方が好ましい場合は、例えば、シーン区間の検出完了後にシーン区間番号を振り直すなどの処理を行えばよい。

図１９は、第３の実施の形態の画像判定例を示す図である。図１９に示される時間範囲には、図１０の例と同様、２１枚の抽出候補画像と２２枚の非抽出候補画像とが存在する。また、この時間範囲で４つのシーン区間が検出されている。ここでは、閾値Ｔ１＝５，閾値Ｔ２＝８に設定されているとする。

シーン＃１の区間には、１０枚の体内画像が含まれ、そのうち９枚が抽出候補画像である。体内画像数（１０枚）≧閾値Ｔ１（５枚）かつ抽出候補画像数（９枚）≧閾値Ｔ２（８枚）なので、シーン＃１の区間内の抽出候補画像は病変画像と判定される。

シーン＃２の区間には、４枚の体内画像が含まれ、その全てが抽出候補画像である。体内画像数（４枚）＜閾値Ｔ１（５枚）なのでシーン＃２の体内画像は全て非病変画像と判定される。なお、シーン＃１とシーン＃２との間の区間にも体内画像が存在するが、全て非抽出候補画像であるため、これら体内画像を含むシーン区間は検出されていない。

シーン＃３の区間には、１５枚の体内画像が含まれ、そのうち３枚が抽出候補画像である。体内画像数（１５枚）≧閾値Ｔ１（５枚）であるが抽出候補画像数（３枚）＜閾値Ｔ２（８枚）なので、シーン＃３の区間内の体内画像は全て非病変画像と判定される。

シーン＃４の区間には、６枚の体内画像が含まれ、そのうち５枚が抽出候補画像である。体内画像数（６枚）≧閾値Ｔ１（５枚）であるが抽出候補画像数（５枚）＜閾値Ｔ２（８枚）なので、シーン＃４の区間内の体内画像は全て非病変画像と判定される。

このような第３の実施の形態に係る医療診断システムによれば、第１の実施の形態に係る医療診断システムと同様の効果が得られる。更に、抽出候補画像を含まないシーン区間の検出を省略できるため、一部のシーン区間について体内画像間の変化量の算出処理を省略でき、情報処理装置３００の画像処理の負荷が軽減される。

なお、情報処理装置３００が実行する画像処理を、受信装置１３に実行させるようにしてもよい。また、情報処理装置３００の画像処理機能を備えた画像処理装置は、デジタルカメラ、デジタルビデオカメラ、電子内視鏡など、正しく動作するために電流または電磁界に依存する機器である電子機器に搭載することが可能である。また、第２の実施の形態で述べたように、シーン区間内の抽出候補画像の検出割合に基づいて病変画像を判定するようにしてもよい。

第１〜第３の実施の形態で述べた病変画像の具体的な判定方法、すなわち、シーン区間内の抽出候補画像の数を用いる方法や検出割合を用いる方法は、抽出候補画像の検出状況に基づいて病変画像を判定する方法の一例であり、他にも様々な方法が考えられる。例えば、シーン区間内での抽出候補画像の密集度、すなわち、複数の抽出候補画像が時間軸上で密集しているか互いに離れているかを考慮してもよい。

なお、第１の実施の形態で述べたように、情報処理装置１００，２００，３００の画像処理の機能は、その処理内容を記述した画像処理プログラムを用いて実現できる。その場合、画像処理プログラムは、コンピュータ読み取り可能な記録媒体に記録しておくことができる。記録媒体として、例えば、磁気ディスク、光ディスク、ＭＯ、半導体メモリなどを使用できる。磁気ディスクとして、ＨＤＤ、ＦＤ、磁気テープ（ＭＴ）が考えられる。光ディスクとして、ＣＤ、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）、ＤＶＤ、ＤＶＤ−Ｒ／ＲＷが考えられる。

画像処理プログラムを流通させる場合、例えば、画像処理プログラムが記録された可搬型記録媒体が提供される。または、プログラムを他の情報処理装置の記憶装置に格納しておき、ネットワーク経由で、情報処理装置１００，２００，３００に転送することもできる。情報処理装置１００，２００，３００は、例えば、可搬型記録媒体に記録されたプログラムまたは他の情報処理装置から受信したプログラムを、自己の記憶装置に格納する。そして、記憶装置から画像処理プログラムを読み取り実行する。ただし、可搬型記録媒体から直接、画像処理プログラムを読み取り実行することもできる。また、他の情報処理装置から画像プログラムを受信しつつ、逐次、実行することもできる。

１ 画像抽出装置
１ａ 候補画像検出部
１ｂ シーン検出部
１ｃ 検出状況算出部
１ｄ 判定部
１ｅ 抽出部

Claims (21)

1. 時系列的に並ぶ複数の画像の特徴量を用いて、前記複数の画像の中から抽出候補となる抽出候補画像を検出する候補画像検出部と、
   前記画像の特徴量に基づいて、前記複数の画像のシーンの区切りを検出するシーン検出部と、
   前記シーンの区切りにより区切られた同一の区間に含まれる前記抽出候補画像の検出状況を算出する検出状況算出部と、
   前記算出された検出状況に応じて、前記同一の区間に含まれる前記抽出候補画像を抽出対象画像として抽出するか否か判定する判定部と、
   前記抽出対象画像として抽出すると判定された抽出候補画像を抽出する抽出部と、
   を有することを特徴とする画像抽出装置。
2. 前記検出状況算出部は、前記同一の区間に含まれる前記抽出候補画像の検出状況として、前記区間において前記候補画像検出部により検出される抽出候補画像の数を算出し、
   前記判定部は、前記算出された抽出候補画像の数に応じて、前記抽出対象画像として抽出するか否か判定することを特徴とする請求項１記載の画像抽出装置。
3. 前記検出状況算出部は、前記算出された抽出候補画像の数をもとに、前記区間に含まれる画像の総数に対する前記抽出候補画像の検出割合を算出し、
   前記判定部は、前記算出された抽出候補画像の検出割合に応じて、前記抽出対象画像として抽出するか否か判定することを特徴とする請求項２記載の画像抽出装置。
4. 前記検出状況算出部は、前記同一の区間に含まれる画像の総数を更に算出し、
   前記判定部は、前記算出された抽出候補画像の数と前記画像の総数とに基づいて、前記抽出対象画像として抽出するか否か判定することを特徴とする請求項２記載の画像抽出装置。
5. 前記判定部は、前記算出された画像の総数と所定の閾値とを比較し、前記画像の総数が前記所定の閾値未満の場合は、前記算出された抽出候補画像の数の如何にかかわらず、前記同一の区間に含まれる抽出候補画像を前記抽出対象画像として抽出しないと判定することを特徴とする請求項４記載の画像抽出装置。
6. 前記検出状況算出部は、前記同一の区間に含まれる画像の総数を更に算出し、
   前記判定部は、前記算出された抽出候補画像の検出割合と前記画像の総数とに基づいて、前記抽出対象画像として抽出するか否か判定することを特徴とする請求項３記載の画像抽出装置。
7. 前記判定部は、前記算出された画像の総数と所定の閾値とを比較し、前記画像の総数が前記所定の閾値未満の場合は、前記算出された抽出候補画像の検出割合の如何にかかわらず、前記同一の区間に含まれる抽出候補画像を前記抽出対象画像として抽出しないと判定することを特徴とする請求項６記載の画像抽出装置。
8. 前記検出状況算出部は、前記同一の区間毎に、前記抽出候補画像の検出状況を算出し、
   前記判定部は、前記同一の区間毎に算出された検出状況に応じて、前記同一の区間に含まれる抽出候補画像を前記抽出対象画像として抽出するか否かを、前記同一の区間毎に判定し、
   前記抽出部は、前記抽出対象画像として抽出すると判定された抽出候補画像を前記同一の区間毎に抽出することを特徴とする請求項１記載の画像抽出装置。
9. 前記シーン検出部は、検出された前記抽出候補画像を基点として時系列上を前方または後方に走査する走査部を備え、
   前記シーン検出部は、前記走査部により走査された画像の特徴量をもとに、前記基点とした抽出候補画像を含むシーンの区切りを検出することを特徴とする請求項１記載の画像抽出装置。
10. 前記シーン検出部は、前記走査部により走査された画像のうち隣接する画像間の特徴量の変化量をもとに、前記シーンの区切りを検出することを特徴とする請求項９記載の画像抽出装置。
11. 前記シーン検出部は、前記走査部による走査に伴って、前記隣接する画像間の特徴量の変化量と所定の閾値とを順次比較し、前記隣接する画像間の特徴量の変化量が前記所定の閾値を超えた場合、前記所定の閾値を超えた位置を、前記基点とした抽出候補画像を含むシーンの先頭区切り位置、または、末尾区切り位置として検出することを特徴とする請求項１０記載の画像抽出装置。
12. 前記検出状況算出部は、前記基点とした抽出候補画像を含むシーンの先頭区切り位置と末尾区切り位置との間に属する抽出候補画像を、前記基点とした抽出候補画像を含むシーンの区切りにより区切られた同一の区間内の抽出候補画像と定義し、前記同一の区間内の前記定義した抽出候補画像の検出状況を算出することを特徴とする請求項１１記載の画像抽出装置。
13. 前記検出された抽出候補画像は、時系列的に並ぶものであり、
    前記走査部は、前記検出されたシーンの区切りの位置に対して時系列的に後方に位置する抽出候補画像のうち時系列的に最も前方にある抽出候補画像を選択すると共に、選択された抽出候補画像を基点として時系列上を前方または後方に走査し、
    前記シーン検出部は、前記走査部により走査された画像の特徴量をもとに、前記選択された抽出候補画像を含むシーンの区切りを検出することを特徴とする請求項９記載の画像抽出装置。
14. 前記検出された抽出候補画像は、時系列的に並ぶものであり、
    前記走査部は、前記検出されたシーンの区切りの位置に対して時系列的に前方に位置する抽出候補画像のうち時系列的に最も後方にある抽出候補画像を選択すると共に、選択された抽出候補画像を基点として時系列上を前方または後方に走査し、
    前記シーン検出部は、前記走査部により走査された画像の特徴量をもとに、前記選択された抽出候補画像を含むシーンの区切りを検出することを特徴とする請求項９記載の画像抽出装置。
15. 前記候補画像検出部が用いる前記画像の特徴量と前記シーン検出部が用いる前記画像の特徴量とは、互いに異なる観点から求められた特徴量であることを特徴とする請求項１記載の画像抽出装置。
16. 前記複数の画像は、時系列に撮像された複数の体内画像であり、
    前記候補画像検出部は、色調に関する特徴量を用いて前記抽出候補画像を検出することを特徴とする請求項１記載の画像抽出装置。
17. 前記シーン検出部は、画像の構造に関する特徴量に基づいて前記シーンの区切りを検出することを特徴とする請求項１記載の画像抽出装置。
18. 前記抽出部により抽出された抽出候補画像をユーザに提示する提示部を更に有することを特徴とする請求項１記載の画像抽出装置。
19. 請求項１乃至１８の何れか一項に記載の画像抽出装置を備えた電子機器。
20. 時系列的に並ぶ複数の画像の特徴量を用いて、前記複数の画像の中から抽出候補となる抽出候補画像を検出すると共に、前記画像の特徴量に基づいて、前記複数の画像のシーンの区切りを検出し、
    前記シーンの区切りにより区切られた同一の区間に含まれる前記抽出候補画像の検出状況を算出し、
    前記算出された検出状況に応じて、前記同一の区間に含まれる前記抽出候補画像を抽出対象画像として抽出するか否か判定し、
    前記抽出対象画像として抽出すると判定された抽出候補画像を抽出する、
    ことを特徴とする画像抽出方法。
21. 時系列的に並ぶ複数の画像の特徴量を用いて、前記複数の画像の中から抽出候補となる抽出候補画像を検出すると共に、前記画像の特徴量に基づいて、前記複数の画像のシーンの区切りを検出し、
    前記シーンの区切りにより区切られた同一の区間に含まれる前記抽出候補画像の検出状況を算出し、
    前記算出された検出状況に応じて、前記同一の区間に含まれる前記抽出候補画像を抽出対象画像として抽出するか否か判定し、
    前記抽出対象画像として抽出すると判定された抽出候補画像を抽出する、
    処理をコンピュータに実行させることを特徴とする画像抽出プログラム。

Images