JP6516772B2 - 画像処理装置、画像処理装置の作動方法および画像処理プログラム - Google Patents

Description

本発明は、画像に対して画像処理を施す画像処理装置、画像処理方法および画像処理プログラムに関する。

狭帯域光はその波長によって吸収・散乱特性が異なり、短波長の狭帯域画像には粘膜下表層の微細血管などが表れ、長波長の狭帯域画像には粘膜下深部の血管等が表れる。これらは白色光画像には表れにくい構造であるため、狭帯域画像と白色光画像の両者の特徴を併せ持つ画像は、より詳細な観察を可能にする。このような背景の下、両者の特徴を生かした観察を可能にする方法として、白色光で撮像した画像に対して、狭帯域光で撮像した画像に特定の処理をした結果を付与することにより、両画像の特徴を併せ持つ画像を作成する技術が知られている（例えば、特許文献１を参照）。

特開２０１２−１２５４６１号公報

しかしながら、狭帯域画像には白色光画像と共通する構造も表れるため、上述した特許文献１に記載の技術では、白色光画像に写っている構造の見え方が変わってしまうという問題がある。例えば、短波長の狭帯域画像には粘膜下表層の微細血管に加えて、それより粘膜表面からの深度が深い位置にある中層の血管も表れる。この血管は白色光画像にも表れるため、単純に狭帯域画像の情報を付与した場合、既に白色光画像に表れている血管の色が変動してしまい、医師の観察を妨げる要因になる。

本発明は、上記に鑑みてなされたものであって、白色光画像と狭帯域画像の特徴を併せ持つ画像を作成することができるとともに、本来白色光画像に写っていた構造の見えを変えずに狭帯域画像の情報を付与することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、管腔内を写した狭帯域画像を取得する狭帯域画像取得部と、前記管腔内を写した白色光画像を取得する白色光画像取得部と、被写体の粘膜下の深度に応じて前記狭帯域画像の情報を白色光画像に合成することによって表示用の合成画像を生成する合成画像生成部と、を備えることを特徴とする。

本発明に係る画像処理方法は、管腔内を写した狭帯域画像を取得する狭帯域画像取得ステップと、前記管腔内を写した白色光画像を取得する白色光画像取得ステップと、被写体の粘膜下の深度に応じて前記狭帯域画像の情報を白色光画像に合成することによって表示用の合成画像を生成する合成画像生成ステップと、を含むことを特徴とする。

本発明に係る画像処理プログラムは、管腔内を写した狭帯域画像を取得する狭帯域画像取得ステップと、前記管腔内を写した白色光画像を取得する白色光画像取得ステップと、被写体の粘膜下の深度に応じて前記狭帯域画像の情報を白色光画像に合成することによって表示用の合成画像を生成する合成画像生成ステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、被写体の粘膜下の深度に応じて狭帯域画像の情報を白色光画像に合成することによって表示用の合成画像を生成するため、白色光画像と狭帯域画像の特徴を併せ持つ画像を作成することができるとともに、本来白色光画像に写っていた構造の見えを変えずに狭帯域画像の情報を付与することができる。

図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。 図２は、本発明の実施の形態１に係る画像処理装置が行う処理の概要を示すフローチャートである。 図３は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。 図４は、本発明の実施の形態２に係る画像処理装置が行う処理の概要を示すフローチャートである。 図５は、本発明の実施の形態２に係る画像処理装置が備える合成画像生成部が行う処理の概要を示すフローチャートである。

以下に、本発明を実施するための形態（以下、「実施の形態」という）を説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１は、演算部２と、記憶部３とを有する。

演算部２は、複数の狭帯域画像を取得する狭帯域画像取得部２１と、白色光画像を取得する白色光画像取得部２２と、白色光画像に狭帯域画像の情報を合成することによって表示用の合成画像を生成する合成画像生成部２３とを有する。

狭帯域画像取得部２１は、例えば中心波長がλ（ｎｍ）の狭帯域画像を取得する。粘膜表層の微細血管の情報を白色光画像に加える場合、中心波長が４１５（ｎｍ）程度の狭帯域画像を適用するのが好ましい。なお、この場合の中心波長の値は４１５（ｎｍ）に限られるわけではなく、その近傍の値であっても構わない。また、本実施の形態１が、血管以外の粘膜下の被写体に対しても適用可能であることは言うまでもない。以下、波長λ（ｎｍ）を中心波長とする狭帯域画像を［λ］画像と記載する。

狭帯域画像取得部２１は、例えば狭帯域光を発光するＬＥＤ（Light Emitting Diode）を生体の管腔内に照射することによって狭帯域画像を取得する。なお、狭帯域画像を取得する方法はこれに限られるわけではなく、例えば白色光画像に対して分光推定を行うことによって狭帯域画像を取得しても良い。

白色光画像取得部２２は、例えば生体に導入されて生体内を観察する内視鏡が白色光源を用いて撮像した管腔内画像を白色光画像として取得する。この白色光画像は、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各波長成分に対する画素値を持つカラー画像である。なお、ここでいう内視鏡は、スコープ型の内視鏡でもカプセル型の内視鏡でも構わない。

合成画像生成部２３は、白色光画像に狭帯域画像の情報を合成することによって表示用の合成画像を生成する。例えば、［４１５］画像の場合、合成画像生成部２３は、以下の式（１）にしたがってＢ成分を算出する。

ここで、式（１）の右辺のｗ（４１５，ｄｅｐｔｈ）は中心波長４１５（ｎｍ）、粘膜下の深度ｄｅｐｔｈにおける重みであり、Ｉ（［４１５］）は［４１５］画像の強度であり、ｂａｓｅＢは白色光画像のＢ成分である。深度ｄｅｐｔｈは、例えば事前に機械学習を用いて作成した識別器によって識別する方法を適用することによって得られる。なお、合成の方法は式（１）に限定されるわけではない。例えば、Ｉ（［４１５］）をＧ成分に合成してもよい。また、Ｉ（［４１５］）を単純に合成する代わりに、その周波数情報を合成するようにしてもよい。周波数情報を合成する場合、例えば［４１５］画像から抽出した周波数成分をＦｒｅｑ（［４１５］）として、Ｂ成分を以下の式（２）にしたがって算出してもよい。

重みｗ（４１５，ｄｅｐｔｈ）は、被写体の粘膜下の深度ｄｅｐｔｈが小さい（浅い）ほど大きくなるような関数として定義される。重みｗ（λ、ｄｅｐｔｈ）の情報は、記憶部３に格納しておき、合成画像生成部２３が合成画像を生成する際に参照するようにしておけばよい。

狭帯域画像として［４１５］画像を適用する場合、合成画像生成部２３は、式（１）から算出されるＢ成分に加えて白色光画像取得部２２が取得した白色光画像のＲ成分およびＧ成分を使用することにより、表示用の合成画像を生成し、表示画像として出力する。

演算部２は、ＣＰＵ（Central Processing Unit）や各種演算回路等のハードウェアを用いて構成され、記憶部３が記憶する各種プログラムを読み込むことによって画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括して制御する。

記憶部３は、上述した重みｗ（λ、ｄｅｐｔｈ）の情報を記憶している。また、記憶部３は、画像処理装置１が取得した管腔内画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を記憶している。具体的には、記憶部３は、本実施の形態に係る画像処理プログラムや、該画像処理において用いられる閾値等の各種パラメータを記憶している。

記憶部３は、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）等の各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、またはＣＤ−ＲＯＭ等の情報記録装置及びその読取装置等によって実現される。

記憶部３が記憶する画像処理プログラム等の各種プログラムは、コンピュータ読み取り可能な記録媒体に記録することも可能である。また、各種プログラムの記憶部３または記録媒体への記録は、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などによって実現されるものであり、有線、無線を問わない。

以上の構成を有する画像処理装置１は、１つのコンピュータを用いて実現してもよいし、複数のコンピュータを用いて実現してもよい。後者の場合には、通信ネットワークを介してデータの送受信を行いながら、互いに連携して処理を行うようにすることも可能である。なお、ここでいうコンピュータは、汎用のパーソナルコンピュータやサーバ等によって構成することができる。

図２は、画像処理装置１が行う処理の概要を示すフローチャートである。まず、狭帯域画像取得部２１は、狭帯域画像を取得する（ステップＳ１）。狭帯域画像取得部２１は、例えば上述した［４１５］画像を取得する。

続いて、白色光画像取得部２２は、白色光画像を取得する（ステップＳ２）。白色光画像取得部２２は、例えば内視鏡が白色光源を用いて撮像した管腔内画像を白色光画像として取得する。

この後、合成画像生成部２３は、狭帯域画像の情報を白色光画像に合成することにより、表示用の合成画像を生成する（ステップＳ３）。例えば［４１５］画像の場合、合成画像生成部２３は、事前に機械学習を用いて作成した識別器によって深度ｄｅｐｔｈの情報を取得し、この深度ｄｅｐｔｈの情報および記憶部３が記憶する重みｗ（４１５，ｄｅｐｔｈ）の情報（式（１）を参照）にしたがってＢ成分を算出し、このＢ成分と白色光画像のＲ成分およびＧ成分とを用いることによって合成画像を生成する。

以上説明した本発明の実施の形態１によれば、被写体の粘膜下の深度に応じて狭帯域画像の情報を白色光画像に合成することによって表示用の合成画像を生成するため、白色光画像と狭帯域画像の特徴を併せ持つ画像を作成することができるとともに、本来白色光画像に写っていた構造の見えを変えずに狭帯域画像の情報を付与することができる。

また、本実施の形態１によれば、深度識別を用いて狭帯域画像と白色光画像の合成を制御することで、白色光画像に表れる構造の見えの変化を防ぎ、より観察に適した画像を提供することができる。

なお、本実施の形態１において、合成対象とする狭帯域画像の数は任意である。例えば、上述した［４１５］画像に加えて、中心波長が６００（ｎｍ）の狭帯域画像（［６００］画像）をさらに用いて表示用の合成画像を生成することも可能である。［６００］画像には、粘膜下深層の太い血管の情報が含まれている。この場合、合成画像生成部２３は、以下の式（３）にしたがってＲ成分を算出する。

式（３）の右辺の重みｗ（６００，ｄｅｐｔｈ）は、中心波長６００（ｎｍ）、粘膜下の深度ｄｅｐｔｈにおける重みであり、深度ｄｅｐｔｈの関数としてみたとき、式（１）における重みｗ（４１５，ｄｅｐｔｈ）とは異なる関数である。具体的には、重みｗ（６００，ｄｅｐｔｈ）は、深度ｄｅｐｔｈが大きい（深い）ほど大きくなるような関数として定義される。この場合、合成画像生成部２３は、式（１）、（３）にしたがってそれぞれ算出したＢ成分、Ｒ成分に加えて、白色光画像取得部２２が取得した白色光画像のＧ成分を用いることにより、合成画像を生成する。なお、この場合、合成の方法は式（１）、（３）に限定されるわけではない。

（実施の形態２）
図３は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置４は、演算部５と、記憶部３とを備える。以下、実施の形態１に係る画像処理装置１の演算部２が有する構成部位と同様の構成部位については、同じ符号を付して説明する。

演算部５は、複数の狭帯域画像を取得する狭帯域画像取得部５１と、複数の狭帯域画像を基に白色光画像を取得する白色光画像取得部５２と、白色光画像に狭帯域画像の情報を合成することによって表示用の合成画像を生成する合成画像生成部５３とを有する。

狭帯域画像取得部５１は、複数の狭帯域画像として、中心波長がそれぞれ４１５ｎｍ、４６０ｎｍ、５４０ｎｍ、６００ｎｍおよび６３０ｎｍである５つの狭帯域画像［４１５］画像、［４６０］画像、［５４０］画像、［６００］画像および［６３０］画像を取得する。狭帯域画像取得部２１は、例えば、各狭帯域光を発光するＬＥＤを順番に生体の管腔内に照射することによって狭帯域画像を取得する。なお、５つの狭帯域画像の中心波長を、上述した５つの中心波長の近傍の値でそれぞれ設定することも可能である。

白色光画像取得部５２は、Ｒ、Ｇ、Ｂの各帯域に相当する狭帯域画像を合成することによって白色光画像に相当する画像を作成する狭帯域画像合成部５２１を有する。具体的には、狭帯域画像合成部５２１は、［４１５］画像および［４６０］画像の強度の加重平均を算出して白色光画像のＢ成分とする。また、狭帯域画像合成部５２１は、［６００］画像および［６３０］画像の強度の加重平均を算出して白色光画像のＲ成分とする。また、狭帯域画像合成部５２１は、［５４０］画像の強度をＧ成分とする。加重平均の重みは、各狭帯域光の発光強度を基に、白色光における各狭帯域光に相当する波長帯域の分光強度に合うように設定するのが好ましい。

合成画像生成部５３は、狭帯域画像の強度の比率（相対強度）を深度と相関のある特徴量として算出する深度相関特徴量算出部５３１を有する。具体的には、深度相関特徴量算出部５３１は、［４１５］画像と［５４０］画像における強度の比率Ｉ（［５４０］）／Ｉ（［４１５］）と、［５４０］画像と［６００］画像における強度の比率Ｉ（［５４０］）／Ｉ（［６００］）とを画素ごとに算出する。画像中に表層の微細血管が存在する場合、［４１５］画像において強い吸光変化が表れるため、その領域における［４１５］画像の強度は低くなる。一方、中層の血管であれば［４１５］画像と［５４０］画像の双方に吸光変化が表れるため、その領域における強度は両画像共に低くなる。そのため、表層の血管であれば中層の血管よりもＩ（［５４０］）／Ｉ（［４１５］）の値が相対的に大きくなり易い。同様に、深層の血管であれば中層の血管よりもＩ（［５４０］）／Ｉ（［６００］）の値が大きくなり易い。したがって、これらの比率は、深度と相関のある特徴量とみなすことができる。

合成画像生成部５３は、深度相関特徴量算出部５３１が算出した特徴量に基づいて合成画像を生成する。合成画像生成部５３は、以下に示す式（４）、（５）を用いて合成したＢ成分とＲ成分を求める。

式（４）、（５）の右辺の重みｗ（ｘ）は、２つの狭帯域光の強度の比率ｘに応じて設定される量であり、比率ｘが大きいほど大きな値を有する。本実施の形態２においても、重みｗ（ｘ）は記憶部３が記憶しているものとする。なお、［４１５］画像用の重みと［６００］画像用の重みを個別に設定してもよい。

このように、本実施の形態２では、被写体の粘膜下の深度に応じて２つの狭帯域光の強度の比率ｘが変化することを利用して合成の仕方を制御することにより、白色光画像に表れ難い情報を選択的に合成する。

図４は、画像処理装置４が行う処理の概要を示すフローチャートである。まず、狭帯域画像取得部４１は、狭帯域画像を取得する（ステップＳ１１）。狭帯域画像取得部４１は、例えば上述した５つの狭帯域画像（［４１５］画像、［４６０］画像、［５４０］画像、［６００］画像、［６３０］画像）を取得する。

続いて、白色光画像取得部５２は、狭帯域画像を基に白色光画像を取得する（ステップＳ１２）。具体的には、狭帯域画像合成部５２１が、Ｒ、Ｇ、Ｂの各帯域に相当する狭帯域画像を合成することによって白色光画像に相当する画像を取得する。

その後、合成画像生成部５３は、狭帯域画像の情報を白色光画像に合成することによって表示用の合成画像を生成する（ステップＳ１３）。図５は、合成画像生成部５３が行う処理の概要を示すフローチャートである。以下、図５を参照して合成画像生成部５３の処理を説明する。

合成画像生成部５３は、以下に説明するステップＳ１３１〜Ｓ１３３の処理を全ての画素に対して実行する。まず、ステップＳ１３１において、深度相関特徴量算出部５３１は、［４１５］画像と［５４０］画像における強度の比率Ｉ（［５４０］）／Ｉ（［４１５］）、および［５４０］画像と［６００］画像における強度の比率Ｉ（［５４０］）／Ｉ（［６００］）を算出する（ステップＳ１３１）。

続いて、合成画像生成部５３は、比率Ｉ（［５４０］）／Ｉ（［４１５］）に基づいて［４１５］画像を白色光画像に合成する（ステップＳ１３２）。具体的には、合成画像生成部５３は、式（４）にしたがってＢ成分を算出する。

その後、合成画像生成部５３は、比率Ｉ（［５４０］）／Ｉ（［６００］）に基づいて［６００］画像を白色光画像に合成する（ステップＳ１３３）。具体的には、合成画像生成部５３は、式（５）にしたがってＲ成分を算出する。なお、合成画像生成部５３がステップＳ１３２とステップＳ１３３を逆の順序で行ってもよいし、並列に行ってもよい。

合成画像生成部５３が全ての画素に対して処理を終了した後、画像処理装置１は一連の処理を終了する。

以上説明した本発明の実施の形態２によれば、実施の形態１と同様、被写体の粘膜下の深度に応じて狭帯域画像の情報を白色光画像に合成することによって表示用の合成画像を生成するため、白色光画像と狭帯域画像の特徴を併せ持つ画像を作成することができるとともに、本来白色光画像に移っていた構造の見えを変えずに狭帯域画像の情報を付与することができる。

また、本実施の形態２によれば、深度と相関のある特徴量に基づいて狭帯域画像と白色光画像の合成を制御することで、白色光画像に表れる構造の見えの変化を防ぎ、より観察に適した画像を提供することができる。

なお、本実施の形態２では、狭帯域画像の合成によって白色光画像を作成する方法を示したが、例えば、［６３０］画像、［５４０］画像、［４６０］画像をそれぞれ白色光画像のＲ成分、Ｇ成分、Ｂ成分としても良い。

また、本実施の形態２では、狭帯域画像における情報として強度を合成する方法を示したが、合成する情報は強度に限定されず、例えば、周波数成分でも構わない。さらに、狭帯域画像もこの２種類に限定されるわけではなく、例えば［４１５］画像の情報のみを用いても良い。

また、本実施の形態２において、例えばＲ、Ｇ、Ｂのいずれか１つに相当する波長帯域に含まれる２つの狭帯域光を用いることも可能である。この場合には、２つの狭帯域光に対して共通の重みを使用することができる。

ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１、２によってのみ限定されるべきものではない。すなわち、本発明は、ここでは記載していない様々な実施の形態等を含み得るものである。

１、４ 画像処理装置
２、５ 演算部
３ 記憶部
２１、５１ 狭帯域画像取得部
２２、５２ 白色光画像取得部
２３、５３ 合成画像生成部
５２１ 狭帯域画像合成部
５３１ 深度相関特徴量算出部

Claims (7)

1. 管腔内を写した狭帯域画像であって所定の波長帯域を有する狭帯域画像を取得する狭帯域画像取得部と、
   前記管腔内を写した白色光画像を取得する白色光画像取得部と、
   前記狭帯域画像の被写体の粘膜下の深度および前記狭帯域画像の波長帯域の中心波長に基づいて前記狭帯域画像の情報を白色光画像に合成することによって表示用の合成画像を生成する合成画像生成部と、
   を備え、
   前記合成画像生成部は、
   前記狭帯域画像の波長帯域が可視光の青色成分である場合、前記粘膜下の深度が浅いほど前記狭帯域画像の情報を強く合成し、
   前記狭帯域画像の波長帯域が可視光の赤色成分である場合、前記粘膜下の深度が深いほど前記狭帯域画像の情報を強く合成する、ことを特徴とする画像処理装置。
2. 前記合成画像生成部は、
   前記深度と相関のある特徴量を算出する深度相関特徴量算出部を有する、ことを特徴と
   する請求項１に記載の画像処理装置。
3. 前記狭帯域画像取得部は、
   中心波長が互いに異なる複数の狭帯域画像を取得し、
   前記特徴量は、異なる前記狭帯域画像間の相対強度である、ことを特徴とする請求項２に記載の画像処理装置。
4. 前記被写体は血管である、ことを特徴とする請求項１に記載の画像処理装置。
5. 前記白色光画像取得部は、
   可視光の赤色成分、緑色成分、青色成分にそれぞれ相当する波長帯域の狭帯域画像を合
   成することによって白色光画像に相当する画像を取得する狭帯域画像合成部を有する、こ
   とを特徴とする請求項１に記載の画像処理装置。
6. 狭帯域画像取得部が、管腔内を写した狭帯域画像であって所定の波長帯域を有する狭帯域画像を取得する狭帯域画像取得ステップと、
   白色光画像取得部が、前記管腔内を写した白色光画像を取得する白色光画像取得ステップと、
   合成画像生成部が、前記狭帯域画像の被写体の粘膜下の深度および前記狭帯域画像の波長帯域の中心波長に基づいて前記狭帯域画像の情報を白色光画像に合成することによって表示用の合成画像を生成する合成画像生成ステップと、
   を含み、
   前記合成画像生成ステップは、
   前記狭帯域画像の波長帯域が可視光の青色成分である場合、前記粘膜下の深度が浅いほど前記狭帯域画像の情報を強く合成し、
   前記狭帯域画像の波長帯域が可視光の赤色成分である場合、前記粘膜下の深度が深いほど前記狭帯域画像の情報を強く合成する、ことを特徴とする画像処理装置の作動方法。
7. 管腔内を写した狭帯域画像であって所定の波長帯域を有する狭帯域画像を取得する狭帯域画像取得ステップと、
   前記管腔内を写した白色光画像を取得する白色光画像取得ステップと、
   前記狭帯域画像の被写体の粘膜下の深度および前記狭帯域画像の波長帯域の中心波長に基づいて前記狭帯域画像の情報を白色光画像に合成することによって表示用の合成画像を生成する合成画像生成ステップと、
   をコンピュータに実行させ、
   前記合成画像生成ステップは、
   前記狭帯域画像の波長帯域が可視光の青色成分である場合、前記粘膜下の深度が浅いほど前記狭帯域画像の情報を強く合成し、
   前記狭帯域画像の波長帯域が可視光の赤色成分である場合、前記粘膜下の深度が深いほど前記狭帯域画像の情報を強く合成する、ことを特徴とする画像処理プログラム。
   

Images