JP6590928B2 - 画像処理装置、撮像システム、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、被写体からの反射光に基づいて該被写体の画像を生成して処理する画像処理装置、撮像システム、画像処理方法、及び画像処理プログラムに関する。

被写体に固有の物理的性質を表す物理量の一つに、分光透過率スペクトルがある。分光透過率は、各波長における入射光に対する透過光の割合を表す物理量である。被写体を撮像した画像におけるＲＧＢ値が照明光の変化やカメラ感度特性等に依存する情報であるのに対し、分光透過率は、外因的影響によって値が変化しない物体固有の情報である。このため、分光透過率は、被写体自体の色を再現するための情報として様々な分野で利用されている。

分光透過率スペクトルを取得する手段として、マルチバンド撮像が知られている。マルチバンド撮像は、例えば１６枚のバンドパスフィルタをフィルタホイールで回転させることにより照明光を透過させるフィルタを切り替えながら、面順次方式で被写体を撮像する。それにより、各画素位置において１６バンドの画素値を有するマルチバンド画像が得られる。

このようなマルチバンド画像から分光透過率を推定する手法として、例えば、主成分分析による推定法や、ウィナー（Ｗｉｅｎｅｒ）推定による推定法等が挙げられる。ウィナー推定は、ノイズが重畳された観測信号から原信号を推定する線形フィルタ手法の一つとして知られており、観測対象の統計的性質と観測時におけるノイズの特性とを考慮して誤差の最小化を行う手法である。被写体を撮像するカメラからの信号には、何らかのノイズが含まれるため、ウィナー推定は原信号を推定する手法として極めて有用である。

マルチバンド画像内の任意の画素位置の点ｘに関して、あるバンドｂにおける画素値ｇ（ｘ，ｂ）と、点ｘに対応する被写体上の点における波長λの光の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（１）の関係が成り立つ。

式（１）において、関数ｆ（ｂ，λ）はｂ番目のバンドパスフィルタの波長λの光の分光透過率、関数ｓ（λ）は波長λのカメラの分光感度特性、関数ｅ（λ）は波長λの照明の分光放射特性、関数ｎ_s（ｂ）はバンドｂにおける観測ノイズをそれぞれ表す。ここで、バンドパスフィルタを識別する変数ｂは、例えば１６バンドの場合、１≦ｂ≦１６を満たす整数である。

実際の計算では、式（１）の代わりに、波長λを離散化して得られる行列の関係式（２）が用いられる。
Ｇ（ｘ）＝ＦＳＥＴ（ｘ）＋Ｎ …（２）

波長方向のサンプル点数をｍ、バンド数をｎとすると、式（２）における行列Ｇ（ｘ）は、点ｘにおける画素値ｇ（ｘ，ｂ）を成分とするｎ行１列の行列であり、行列Ｔ（ｘ）は、分光透過率ｔ（ｘ，λ）を成分とするｍ行１列の行列であり、行列Ｆは、フィルタの分光透過率ｆ（ｂ，λ）を成分とするｎ行ｍ列の行列である。また、行列Ｓは、カメラの分光感度特性ｓ（λ）を対角成分とするｍ行ｍ列の対角行列である。行列Ｅは、照明の分光放射特性ｅ（λ）を対角成分とするｍ行ｍ列の対角行列である。行列Ｎは、観測ノイズｎ_s（ｂ）を成分とするｎ行１列の行列である。なお、式（２）においては、行列を用いて複数のバンドに関する式を集約しているため、バンドパスフィルタを識別する変数ｂは記述されていない。また、波長λに関する積分は、行列の積に置き換えられている。

ここで、表記を簡単にするため、次式（３）によって定義される行列Ｈを導入する。この行列Ｈはシステム行列とも呼ばれる。
Ｈ＝ＦＳＥ …（３）

このシステム行列Ｈを用いると、式（２）は次式（４）に置き換えられる。
Ｇ（ｘ）＝ＨＴ（ｘ）＋Ｎ …（４）

マルチバンド画像に基づき、被写体の各点における分光透過率をウィナー推定により推定する場合、分光透過率の推定値である分光透過率データＴ＾（ｘ）は、行列の関係式（５）によって与えられる。ここで、記号Ｔ＾は、記号Ｔの上に推定値を表す記号「＾（ハット）」が付いていることを示す。以下、同様である。

行列Ｗは、「ウィナー推定行列」又は「ウィナー推定に用いる推定オペレータ」と呼ばれ、次式（６）によって与えられる。

式（６）において、行列Ｒ_SSは、被写体の分光透過率の自己相関行列を表すｍ行ｍ列の行列である。行列Ｒ_NNは、撮像に使用するカメラのノイズの自己相関行列を表すｎ行ｎ列の行列である。なお、任意の行列Ｘに対し、行列Ｘ^Tは行列Ｘの転置行列を表し、行列Ｘ^-1は行列Ｘの逆行列を表す。システム行列Ｈを構成する行列Ｆ、Ｓ、Ｅ（式（３）参照）、即ち、フィルタの分光透過率、カメラの分光感度特性、及び照明の分光放射特性と、行列Ｒ_SSと、行列Ｒ_NNとは予め取得しておく。

ところで、厚みの薄い半透明な被写体を透過光により観察する場合には、光学現象は吸収が支配的であるため、ランベルト・ベール（Ｌａｍｂｅｒｔ−Ｂｅｅｒ）の法則に基づいて被写体の色素量を推定できることが知られている。以下、染色された薄切標本を被写体として透過顕微鏡により観察し、被写体上の各点における色素量を推定する方法を説明する。詳細には、分光透過率データＴ＾（ｘ）をもとに、各画素に対応する被写体上の点における色素量を推定する。具体的には、ヘマトキシリン−エオジン（ＨＥ）染色された被写体を観察することとし、推定の対象とする色素を、ヘマトキシリン、細胞質を染色したエオジン、及び、赤血球を染色したエオジン又は染色されていない赤血球本来の色素の３種類とする。以下、これらの色素の名称をそれぞれ、色素Ｈ、色素Ｅ、色素Ｒと略記する。なお、厳密には、染色を施さない状態であっても赤血球はそれ自身特有の色を有しており、ＨＥ染色後は、赤血球自身の色と染色過程において変化したエオジンの色が重畳して観察される。このため、正確には両者を併せたものを色素Ｒと呼称する。

一般に、光を透過させる物質を被写体とする場合、波長λ毎の入射光の強度Ｉ₀（λ）と出射光の強度Ｉ（λ）との間に、次式（７）で表されるランベルト・ベールの法則が成り立つことが知られている。

式（７）において、記号ｋ（λ）は波長λに依存して決まる物質固有の係数を表し、記号ｄ₀は被写体の厚さを表す。

式（７）の左辺は分光透過率ｔ（λ）を意味しており、式（７）は次式（８）に置き換えられる。

また、分光吸光度ａ（λ）は次式（９）によって与えられる。

式（９）を用いると、式（８）は次式（１０）に置き換えられる。

ＨＥ染色された被写体が、色素Ｈ、色素Ｅ、色素Ｒの３種類の色素で染色されている場合、ランベルト・ベールの法則により、各波長λにおいて次式（１１）が成り立つ。

式（１１）において、係数ｋ_H（λ）、ｋ_E（λ）、ｋ_R（λ）はそれぞれ、色素Ｈ、色素Ｅ、色素Ｒに対応する係数である。これらの係数ｋ_H（λ）、ｋ_E（λ）、ｋ_R（λ）は、被写体を染色している各色素の色素スペクトルに対応する。以下、これらの色素スペクトルを、基準色素スペクトルと称す。基準色素スペクトルｋ_H（λ）、ｋ_E（λ）、ｋ_R（λ）の各々は、色素Ｈ、色素Ｅ、色素Ｒを用いて個別に染色した標本を予め用意し、その分光透過率を分光器で測定することにより、ランベルト・ベールの法則から容易に求めることができる。

また、記号ｄ_H、ｄ_E、ｄ_Rは、マルチバンド画像を構成する複数の画素の各々に対応する被写体上の点における色素Ｈ、色素Ｅ、色素Ｒの仮想的な厚さを表す値である。本来、色素は、被写体中に分散して存在するため、厚さという概念は正確ではないが、被写体が単一の色素で染色されていると仮定した場合と比較して、どの程度の量の色素が存在しているかを表す相対的な色素量の指標として「厚さ」を用いることができる。即ち、値ｄ_H、ｄ_E、ｄ_Rはそれぞれ、色素Ｈ、色素Ｅ、色素Ｒの色素量を表しているといえる。

画像上の点ｘに対応する被写体上の点における分光透過率をｔ（ｘ，λ）とし、分光吸光度をａ（ｘ，λ）とし、被写体が色素Ｈ、色素Ｅ、色素Ｒの３色素で染色されている場合、式（９）は次式（１２）に置き換えられる。

分光透過率Ｔ＾（ｘ）の波長λにおける推定分光透過率をｔ＾（ｘ，λ）、推定吸光度をａ＾（ｘ，λ）とすると、式（１２）は次式（１３）に置き換えられる。

式（１３）において未知変数は色素量ｄ_H、ｄ_E、ｄ_Rの３つであるから、少なくとも３つの異なる波長λについて式（１３）を作成して連立させれば、色素量ｄ_H、ｄ_E、ｄ_Rを求めることができる。より精度を高めるために、４つ以上の異なる波長λに対して式（１３）を作成して連立させ、重回帰分析を行っても良い。例えば、３つの波長λ₁、λ₂、λ₃に関する３つの式（１３）を連立させた場合、次式（１４）のように行列表記することができる。

この式（１４）を次式（１５）に置き換える。

波長方向のサンプル点数をｍとすると、式（１５）における行列Ａ＾（ｘ）は、ａ＾（ｘ，λ）に対応するｍ行１列の行列であり、行列Ｋ₀は、基準色素スペクトルｋ（λ）に対応するｍ行３列の行列であり、行列Ｄ₀（ｘ）は、点ｘにおける色素量ｄ_H、ｄ_E、ｄ_Rに対応する３行１列の行列である。

この式（１５）に従い、最小二乗法を用いて色素量ｄ_H、ｄ_E、ｄ_Rを算出する。最小二乗法とは単回帰式において誤差の二乗和を最小にするように行列Ｄ₀（ｘ）を推定する方法である。最小二乗法による行列Ｄ₀（ｘ）の推定値Ｄ₀＾（ｘ）は、次式（１６）によって与えられる。

式（１６）において、推定値Ｄ₀＾（ｘ）は、推定された各色素量を成分とする行列である。推定された色素量ｄ＾_H，ｄ＾_E，ｄ＾_Rを式（１２）に代入することにより、復元した分光吸光度ａ〜（ｘ，λ）は次式（１７）によって与えられる。ここで、記号ａ〜は、記号ａの上に復元した値を表す記号「〜（チルダ）」が付いていることを示す。

従って、色素量推定における推定誤差ｅ（λ）は推定分光吸光度ａ＾（ｘ，λ）と復元した分光吸光度ａ〜（ｘ，λ）とから、次式（１８）によって与えられる。

以下推定誤差ｅ（λ）を残差スペクトルと称す。推定分光吸光度ａ＾（ｘ，λ）は、式（１７）、（１８）を用いて次式（１９）のように表すことができる。

ここで、ランベルト・ベールの法則は、屈折や散乱が無いと仮定した場合に半透明物体を透過する光の減衰を定式化したものであるが、実際の染色標本では屈折も散乱も起こり得る。そのため、染色標本による光の減衰をランベルト・ベールの法則のみでモデル化した場合、このモデル化に伴った誤差が生じる。しかしながら、生体標本内での屈折や散乱を含めたモデルの構築は極めて困難であり、実用上では実行不可能である。そこで、屈折や散乱の影響を含めたモデル化の誤差である残差スペクトルを加えることで、物理モデルによる不自然な色変動を引き起こさないようにすることができる。

ところで、被写体からの反射光を観察する場合、反射光は吸収以外にも散乱等の光学要因の影響を受けるため、そのままではランベルト・ベールの法則を適用することができない。しかし、この場合であっても、適切な制約条件を設けることでランベルト・ベールの法則に基づいて被写体における色素の成分量を推定することが可能である。

一例として、臓器の粘膜近傍に位置する脂肪の領域における色素の成分量を推定する場合を説明する。図１６は、酸化ヘモグロビン、カロテン、及びバイアスの相対吸光度（基準スペクトル）を示すグラフである。このうち図１６の（ｂ）は、図１６の（ａ）と同じデータを、縦軸のスケールを拡大し、且つ範囲を縮小して示したものである。また、バイアスは、画像における輝度ムラを表す値であり、波長に依存しない。

これらの酸化ヘモグロビン、カロテン、及びバイアスの基準スペクトルに基づいて、脂肪が写った領域における吸収スペクトルから各色素の成分量を算出する。この際、吸収以外の光学要因が影響しないように、生体において支配的である血液に含まれる酸化ヘモグロビンの吸収特性が大きく変化せず、且つ、散乱の波長依存性が影響し難い４６０〜５８０ｎｍに波長帯域を制約し、この波長帯域における吸光度を用いて色素の成分量を推定する。

図１７は、推定した酸化ヘモグロビンの成分量から式（１４）に倣って復元した吸光度（推定値）と、酸化ヘモグロビンの計測値とを示すグラフである。このうち図１７の（ｂ）は、図１７の（ａ）と同じデータを、縦軸のスケールを拡大し、且つ範囲を縮小して示したものである。図１７に示すように、制約した波長帯域４６０〜５８０ｎｍにおいては、計測値と推定値はほぼ一致している。このように、被写体の反射光を観察する場合であっても、色素の成分の吸収特性が大きく変化しない範囲に、波長帯域を狭く限定することで、精度の良い成分量の推定を行うことができる。

一方、限定した波長帯域の外側、即ち、４６０ｎｍ以下及び５８０ｎｍ以上の波長帯域では、計測値と推定値との間で値が乖離しており、推定誤差が生じている。これは、被写体からの反射光に対し、吸収以外にも散乱等の光学要因があるために、吸収現象を表現するランベルト・ベールの法則では近似できないためと考えられる。このように、反射光を観察する場合に、ランベルト・ベールの法則が成り立たないことは一般に知られている。

ところで、近年、生体を写した画像に基づき、生体における特定の組織の深度を測定する研究が進められている。例えば特許文献１には、波長帯域が例えば４７０〜７００ｎｍの広帯域光に対応する広帯域画像データと、波長が例えば４４５ｎｍに制限された狭帯域光に対応する狭帯域画像データとを取得し、広帯域画像データ及び狭帯域画像データ間で同じ位置の画素間の輝度比を算出し、予め実験等により得られた輝度比と血管深さとの相関関係に基づき、算出した輝度比に対応する血管深さを求め、この血管深さが表層か否かを判定する技術が開示されている。

また、特許文献２には、特定部位における脂肪層と該脂肪層の周辺組織との光学特性の違いを利用して、周辺組織より相対的に多くの神経が内在する脂肪層の領域と周辺組織の領域とを区別可能な光学像を形成し、この光学像に基づいて、脂肪層及び周辺組織の分布又はこれらの境界を表示する技術が開示されている。これにより、手術を行う際に、摘出対象臓器の表面の位置を見易くして、対象臓器を取り囲んでいる神経の損傷を未然に防止することができる。

特開２０１１−０９８０８８号公報 国際公開第２０１３／１１５３２３号

生体は、血液や脂肪に代表される様々な組織によって構成されている。そのため、観察されるスペクトルは、複数の組織にそれぞれ含まれる吸光成分による光学現象が反映されたものとなる。しかしながら、上記特許文献１のように輝度比に基づいて血管深さを算出する方法においては、血液による光学現象しか考慮されていない。即ち、血液以外の組織に含まれる吸光成分が考慮されていないため、血管深さの推定精度が低下するおそれがある。

本発明は、上記に鑑みてなされたものであり、被写体に２種以上の組織が存在する場合であっても、特定の組織が存在する深度を精度良く推定することができる画像処理装置、撮像システム、画像処理方法、及び画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、被写体を複数の波長の光で撮像した画像に基づき、前記被写体に含まれる特定の組織の深度を推定する画像処理装置において、前記画像を構成する複数の画素の各々の画素値に基づき、前記複数の波長における吸光度を算出する吸光度算出部と、前記吸光度に基づき、前記特定の組織を含む２種以上の組織にそれぞれ含まれる２種以上の吸光成分の各々に対し、組織の深度が異なる複数の基準スペクトルを用いて複数の成分量をそれぞれ推定する成分量推定部と、少なくとも前記特定の組織に含まれる吸光成分に対して推定された複数の成分量の比率を算出する比率算出部と、前記比率に基づいて、前記被写体における少なくとも前記特定の組織の深度を推定する深度推定部と、を備えることを特徴とする。

上記画像処理装置において、前記成分量推定部は、前記２種以上の吸光成分の各々に対し、第１の深度における基準スペクトルを用いて第１の成分量を推定すると共に、前記第１の深度よりも深い第２の深度における基準スペクトルを用いて第２の成分量を推定し、前記比率算出部は、少なくとも前記特定の組織に含まれる吸光成分に対し、前記第１及び第２の成分量の和に対する前記第１の成分量と前記第２の成分量とのいずれかの比率を算出し、前記深度推定部は、前記比率を閾値と比較することにより前記特定の組織が前記被写体の表面に存在するか又は深部に存在するかを判定する、ことを特徴とする。

上記画像処理装置において、前記成分量推定部は、前記２種以上の吸光成分の各々に対し、第１の深度における基準スペクトルを用いて第１の成分量を推定すると共に、前記第１の深度よりも深い第２の深度における基準スペクトルを用いて第２の成分量を推定し、前記比率算出部は、少なくとも前記特定の組織に含まれる吸光成分に対し、前記第１及び第２の成分量に対する前記第１の成分量の比率を算出し、前記深度推定部は、前記比率の大きさに応じて、前記特定の組織の深度を推定する、ことを特徴とする。

上記画像処理装置において、前記特定の組織は血液であり、前記特定の組織に含まれる吸光成分は酸化ヘモグロビンである、ことを特徴とする。

上記画像処理装置は、前記画像を表示する表示部と、前記深度推定部による推定結果に応じて、前記画像における前記特定の組織の領域に対する表示形態を決定する制御部と、をさらに備えることを特徴とする。

上記画像処理装置は、前記深度推定部による推定結果に応じて、前記２種以上の組織のうち、前記特定の組織以外の組織の深度を推定する第２の深度推定部をさらに備える、ことを特徴とする。

上記画像処理装置において、前記第２の深度推定部は、前記深度推定部が前記特定の組織は前記被写体の表面に存在すると推定した場合、前記特定の組織以外の組織は前記被写体の深部に存在すると推定し、前記深度推定部が前記特定の組織は前記被写体の深部に存在すると推定した場合、前記特定の組織以外の組織は前記被写体の表面に存在すると推定する、ことを特徴とする。

上記画像処理装置は、前記画像を表示する表示部と、前記第２の深度推定部による推定結果に応じて、前記画像における前記特定の組織以外の組織の領域に対する表示形態を設定する表示設定部と、をさらに備えることを特徴とする。

上記画像処理装置において、前記特定の組織以外の組織は脂肪である、ことを特徴とする。

上記画像処理装置において、前記波長の数は、前記吸光成分の数以上である、ことを特徴とする。

上記画像処理装置は、前記画像を構成する複数の画素の各々の画素値に基づいて分光スペクトルを推定するスペクトル推定部をさらに備え、前記吸光度算出部は、前記スペクトル推定部が推定した前記分光スペクトルに基づいて、前記複数の波長における吸光度をそれぞれ算出する、ことを特徴とする。

本発明に係る撮像システムは、前記画像処理装置と、前記被写体に照射する照明光を発生する照明部と、前記照明部が発生した前記照明光を前記被写体に照射する照明光学系と、前記被写体によって反射された光を結像する結像光学系と、前記結像光学系により結像した前記光を電気信号に変換する撮像部と、を備えることを特徴とする。

上記撮像システムは、前記照明光学系と、前記結像光学系と、前記撮像部とが設けられた内視鏡を備えることを特徴とする。

上記撮像システムは、前記照明光学系と、前記結像光学系と、前記撮像部とが設けられた顕微鏡装置を備えることを特徴とする。

本発明に係る画像処理方法は、被写体を複数の波長の光で撮像した画像に基づき、前記被写体に含まれる特定の組織の深度を推定する画像処理方法において、前記画像を構成する複数の画素の各々の画素値に基づき、前記複数の波長における吸光度を算出する吸光度算出ステップと、前記吸光度に基づき、前記特定の組織を含む２種以上の組織にそれぞれ含まれる２種以上の吸光成分の各々に対し、組織の深度が異なる複数の基準スペクトルを用いて複数の成分量をそれぞれ推定する成分量推定ステップと、少なくとも前記特定の組織に含まれる吸光成分に対して推定された複数の成分量の比率を算出する比率算出ステップと、前記比率に基づいて、前記被写体における少なくとも前記特定の組織の深度を推定する深度推定ステップと、を含むことを特徴とする。

本発明に係る画像処理プログラムは、被写体を複数の波長の光で撮像した画像に基づき、前記被写体に含まれる特定の組織の深度を推定する画像処理プログラムにおいて、前記画像を構成する複数の画素の各々の画素値に基づき、前記複数の波長における吸光度を算出する吸光度算出ステップと、前記吸光度に基づき、前記特定の組織を含む２種以上の組織にそれぞれ含まれる２種以上の吸光成分の各々に対し、組織の深度が異なる複数の基準スペクトルを用いて複数の成分量をそれぞれ推定する成分量推定ステップと、少なくとも前記特定の組織に含まれる吸光成分に対して推定された複数の成分量の比率を算出する比率算出ステップと、前記比率に基づいて、前記被写体における少なくとも前記特定の組織の深度を推定する深度推定ステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、特定の組織を含む２種以上の組織にそれぞれ含まれる２種以上の吸光成分の各々に対し、組織の深度が異なる複数の基準スペクトルを用いて複数の成分量を推定し、各吸光成分に対して推定された複数の成分量の比率に基づいて当該吸光成分を含む組織の深度を推定するので、被写体に２種以上の組織が存在する場合であっても、特定の組織に含まれる吸光成分以外の吸光成分による影響を抑制し、特定の組織が存在する深度を精度良く推定することが可能となる。

図１は、酸化ヘモグロビン及びカロテンの各々に対して取得された組織の深度が異なる複数の基準スペクトルを示すグラフである。 図２は、生体の粘膜近傍の領域の断面を示す模式図である。 図３は、血液が粘膜の表面近傍に存在する領域における成分量の推定結果を示すグラフである。 図４は、血液が深部に存在する領域における成分量の推定結果を示すグラフである。 図５は、本発明の実施の形態１に係る撮像システムの構成例を示すブロック図である。 図６は、図５に示す撮像装置の構成例を示す模式図である。 図７は、図５に示す画像処理装置の動作を示すフローチャートである。 図８は、推定された酸化ヘモグロビンの成分量を示すグラフである。 図９は、血液が粘膜表面近傍に存在する領域と、血液が深部に存在する領域とにおける深度に応じた酸化ヘモグロビンの成分量の比率を示すグラフである。 図１０は、本発明の実施の形態２に係る画像処理装置の構成例を示すブロック図である。 図１１は、脂肪の領域の表示例を示す模式図である。 図１２は、本発明の実施の形態１、２に適用可能な撮像装置における感度特性を説明するためのグラフである。 図１３は、本発明の実施の形態４に係る画像処理装置の構成例を示すブロック図である。 図１４は、本発明の実施の形態５に係る撮像システムの構成例を示す模式図である。 図１５は、本発明の実施の形態６に係る撮像システムの構成例を示す模式図である。 図１６は、脂肪の領域における酸化ヘモグロビン、カロテン、及びバイアスの基準スペクトルを示すグラフである。 図１７は、酸化ヘモグロビンの吸光度の推定値及び計測値を示すグラフである。

以下、本発明に係る画像処理装置、画像処理方法、画像処理プログラム、及び撮像システムの実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を附して示している。

（実施の形態１）
まず、本発明の実施の形態１に係る画像処理方法の原理を説明する。生体に存在する種々の組織に含まれる吸光成分のスペクトルは、その組織が表面にあるか深部にあるかによって、ランベルト・ベールの法則によって与えられる吸光スペクトルのモデルに当てはまらずに変化してしまうことが知られている。この現象は、生体の主要な組織である血液に含まれる吸光成分である酸化ヘモグロビンにおいても、脂肪に含まれる吸光成分であるカロテンにおいても生じる。

この現象を利用して、１種の吸光成分に対し、組織の深度が異なる基準スペクトルを事前に複数用意し、ある被写体について計測した吸光スペクトルをもとに、組織の深度が異なる複数の基準スペクトルを用いて成分量を推定することにより、成分量の推定誤差を低減することが考えられる。そこで、本願発明者は、酸化ヘモグロビン及びカロテンの各々について、４４０〜６１０ｎｍの波長範囲で計測した吸光スペクトルから、組織の深度が異なる基準スペクトルを用いて吸光成分の成分量を推定するシミュレーションを行った。

図１は、酸化ヘモグロビン及びカロテンの各々に対して取得された組織の深度が異なる複数の基準スペクトルを示すグラフである。このうち、図１の（ｂ）は、図１の（ａ）と同じデータを、縦軸のスケールを拡大し、且つ範囲を縮小して示したものである。また、図２は、生体の粘膜近傍の領域の断面を示す模式図である。このうち、図２の（ａ）は、粘膜表面近傍に血液層ｍ１が存在し、深部に脂肪層ｍ２が存在する領域を示す。図２の（ｂ）は、粘膜表面に脂肪層ｍ２が露出し、深部に血液層ｍ１が存在する領域を示す。

図１に示す酸化ヘモグロビン（表面）のグラフは、粘膜の表面近傍に血液層ｍ１が存在する領域（図２の（ａ）参照）における吸光度の基準スペクトルを示す。酸化ヘモグロビン（深部）のグラフは、深部に血液層ｍ１が存在し、血液層ｍ１の上層に脂肪層ｍ２等の他の組織が存在する領域（図２の（ｂ）参照）における吸光度の基準スペクトルを示す。カロテン（表面）のグラフは、粘膜表面に脂肪層ｍ２が露出している領域（図２の（ｂ）参照）における吸光度の基準スペクトルを示す。カロテン（深部）のグラフは、深部に脂肪ｍ２が存在し、脂肪ｍ２の上層に血液ｍ１等の他の組織が存在する領域（図２の（ａ）参照）における吸光度の基準スペクトルを示す。

図３は、血液が粘膜の表面近傍に存在する領域における成分量の推定結果を示すグラフである。また、図４は、血液が深部に存在する領域における成分量の推定結果を示すグラフである。図３及び図４に示す吸光度の推定値は、図１に示す各吸光成分に対して２つずる取得された基準スペクトルを用いて、各吸光成分の成分量を推定し、推定された成分量をもとに逆算した吸光度である。なお、成分量の推定方法については後で詳しく説明する。また、図３において、図３の（ｂ）は、図３の（ａ）と同じデータを、縦軸のスケールを拡大し、且つ範囲を縮小して示したものである。図４についても同様である。

図３及び図４に示すように、組織の深度に応じた基準スペクトルを用いて成分量の推定演算を行うことで、短波長から長波長までの広い範囲で計測値と推定値とが一致する高精度な成分量の推定を行うことができることがわかる。つまり、１種の吸光成分について深度が異なる複数の基準スペクトルを用いて成分量を推定することで、推定誤差を低減することができる。そこで、本実施の形態１においては、基準スペクトルに対応する深度に応じて成分量の推定誤差が変化することを利用し、組織の深度が異なる複数の基準スペクトルを用いて推定した成分量に基づいて、各吸光成分を含む組織の深度を推定する。

図５は、本発明の実施の形態１に係る撮像システムの構成例を示すブロック図である。図５に示すように、本実施の形態１に係る撮像システム１は、カメラ等の撮像装置１７０と、該撮像装置１７０と接続可能なパーソナルコンピュータ等のコンピュータからなる画像処理装置１００とによって構成される。

画像処理装置１００は、撮像装置１７０から画像データを取得する画像取得部１１０と、画像処理装置１００及び撮像装置１７０を含むシステム全体の動作を制御する制御部１２０と、画像取得部１１０が取得した画像データ等を記憶する記憶部１３０と、記憶部１３０に記憶された画像データに基づき、所定の画像処理を実行する演算部１４０と、入力部１５０と、表示部１６０とを備える。

図６は、図５に示す撮像装置１７０の構成例を示す模式図である。図６に示す撮像装置１７０は、受光した光を電気信号に変換することにより画像データを生成するモノクロカメラ１７１と、フィルタ部１７２と、結像レンズ１７３とを備える。フィルタ部１７２は、分光特性が異なる複数の光学フィルタ１７４を備え、ホイールを回転させることによりモノクロカメラ１７１への入射光の光路に配置される光学フィルタ１７４を切り替える。マルチバンド画像を撮像する際には、被写体からの反射光を結像レンズ１７３及びフィルタ部１７２を経てモノクロカメラ１７１の受光面に結像させる動作を、分光特性が異なる光学フィルタ１７４を光路に順次配置して繰り返す。なお、フィルタ部１７２は、モノクロカメラ１７１側ではなく、被写体を照射する照明装置側に設けても良い。

なお、各バンドで異なる波長の光を被写体に照射することで、マルチバンド画像を取得しても良い。また、マルチバンド画像のバンド数は、後述するように、被写体に含まれる吸光成分の種類の数以上であれば特に限定されない。例えば、バンド数を３つとして、ＲＧＢ画像を取得しても良い。

或いは、分光特性が異なる複数の光学フィルタ１７４の代わりに、分光特性を変えられる液晶チューナブルフィルタや音響光学チューナブルフィルタを用いても良い。また、分光特性の異なる複数の光を切り換えて被写体に照射することで、マルチバンド画像を取得しても良い。

再び図５を参照すると、画像取得部１１０は、当該画像処理装置１００を含むシステムの態様に応じて適宜構成される。例えば図５に示す撮像装置１７０を画像処理装置１００に接続する場合、画像取得部１１０は、撮像装置１７０から出力された画像データを取り込むインタフェースによって構成される。また、撮像装置１７０によって生成された画像データを保存しておくサーバを設置する場合、画像取得部１１０はサーバと接続される通信装置等により構成され、サーバとデータ通信を行って画像データを取得する。或いは、画像取得部１１０を、可搬型の記録媒体を着脱自在に装着し、該記録媒体に記録された画像データを読み出すリーダ装置によって構成しても良い。

制御部１２０は、ＣＰＵ（Central Processing Unit）等の汎用プロセッサやＡＳＩＣ（Application Specific Integrated Circuit）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。制御部１２０が汎用プロセッサである場合、記憶部１３０が記憶する各種プログラムを読み込むことによって画像処理装置１００を構成する各部への指示やデータの転送等を行い、画像処理装置１００全体の動作を統括して制御する。また、制御部１２０が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記憶部１３０が記憶する各種データ等を用いることで、プロセッサと記憶部１３０が協働又は結合して種々の処理を実行しても良い。

制御部１２０は、画像取得部１１０や撮像装置１７０の動作を制御して画像を取得する画像取得制御部１２１を有し、入力部１５０から入力される入力信号、画像取得部１１０から入力される画像、及び記憶部１３０に格納されているプログラムやデータ等に基づいて画像取得部１１０及び撮像装置１７０の動作を制御する。

記憶部１３０は、更新記録可能なフラッシュメモリ等のＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）といった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク若しくはＣＤ−ＲＯＭ等の情報記憶装置及び該情報記憶装置に対する情報の書込読取装置等によって構成される。記憶部１３０は、画像処理プログラムを記憶するプログラム記憶部１３１と、当該画像処理プログラムの実行中に使用される画像データや各種パラメータ等を記憶する画像データ記憶部１３２とを備える。

演算部１４０は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。演算部１４０が汎用プロセッサである場合、プログラム記憶部１３１が記憶する画像処理プログラムを読み込むことにより、マルチバンド画像に基づいて特定の組織が存在する深度を推定する画像処理を実行する。また、演算部１４０が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記憶部１３０が記憶する各種データ等を用いることで、プロセッサと記憶部１３０が協働又は結合して画像処理を実行しても良い。

詳細には、演算部１４０は、吸光度算出部１４１と、成分量推定部１４２と、比率算出部１４３と、深度推定部１４４とを備える。吸光度算出部１４１は、画像取得部１１０が取得した画像に基づいて被写体における吸光度を算出する。成分量推定部１４２は、被写体に存在する複数の組織にそれぞれ含まれる吸光成分の各々に対し、組織の深度が異なる複数の基準スペクトルを用いて複数の成分量を推定する。比率算出部１４３は、各吸光成分に対し、異なる深度における成分量の比率を算出する。深度推定部１４４は、複数の吸光成分の各々について算出された成分量の比率に基づいて、吸光成分を含む組織の深度を推定する。

入力部１５０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって構成されて、操作入力に応じた入力信号を制御部１２０に出力する。

表示部１６０は、ＬＣＤ（Liquid Crystal Display）やＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の表示装置によって実現されるものであり、制御部１２０から入力される表示信号をもとに各種画面を表示する。

図７は、画像処理装置１００の動作を示すフローチャートである。まず、ステップＳ１００において、画像処理装置１００は、画像取得制御部１２１の制御により撮像装置１７０を動作させることにより、被写体を複数の波長の光で撮像したマルチバンド画像を取得する。本実施の形態１においては、４００〜７００ｎｍの間で１０ｎｍずつ波長をシフトさせるマルチバンド撮像を行う。画像取得部１１０は、撮像装置１７０が生成したマルチバンド画像の画像データを取得し、画像データ記憶部１３２に記憶させる。演算部１４０は、画像データ記憶部１３２から画像データを読み出すことによりマルチバンド画像を取得する。

続くステップＳ１０１において、吸光度算出部１４１は、マルチバンド画像を構成する複数の画素の各々の画素値を取得し、これらの画素値に基づいて複数の波長の各々における吸光度を算出する。具体的には、各波長λに対応するバンドの画素値の対数の値を、当該波長における吸光度ａ（λ）とする。以下、ｍ個の波長λにおける吸光度ａ（λ）を成分とするｍ行１列の行列を、吸光度の行列Ａとする。

続くステップＳ１０２において、成分量推定部１４２は、被写体の複数の組織にそれぞれ存在する複数の吸光成分の各々に対し、組織の深度が異なる複数の基準スペクトルを用いて複数の成分量を推定する。以下においては、被写体に酸化ヘモグロビン及びカロテンの２種の吸光成分が存在し、各吸光成分について２つの深度の基準スペクトルを用いて成分量を算出する場合を説明する。組織の深度が異なる複数の基準スペクトルは、予め取得して記憶部１３０に記憶させておく。

酸化ヘモグロビンについて予め取得された深度が浅い方の基準スペクトルをｋ₁₁（λ）、深度が深い方の基準スペクトルをｋ₁₂（λ）とする。また、カロテンについて予め取得された深度が浅い方向の基準スペクトルをｋ₂₁（λ）、深度が深い方の基準スペクトルをｋ₂₂（λ）とする。また、基準スペクトルｋ₁₁（λ）に基づいて算出される酸化ヘモグロビンの成分量をｄ₁₁、基準スペクトルｋ₁₂（λ）に基づいて算出される酸化ヘモグロビンの成分量をｄ₁₂、基準スペクトルｋ₂₁（λ）に基づいて算出されるカロテンの成分量をｄ₂₁、基準スペクトルｋ₂₂（λ）に基づいて算出されるカロテンの成分量をｄ₂₂とする。

これらの基準スペクトルｋ₁₁（λ）、ｋ₁₂（λ）、ｋ₂₁（λ）、ｋ₂₂（λ）及び成分量ｄ₁₁、ｄ₁₂、ｄ₂₁、ｄ₂₂と、吸光度ａ（λ）との間には、次式（２０）の関係が成り立つ。

式（２０）において、バイアスｄ_biasは、画像における輝度ムラを表す値であり、波長に依存しない。以下、バイアスｄ_biasについても成分量と同様に扱って演算を行う。

式（２０）において、未知の変数はｄ₁₁、ｄ₁₂、ｄ₂₁、ｄ₂₂、ｄ_biasの５つであるから、少なくとも５つの異なる波長λについて式（２０）を連立させれば、これらを解くことができる。より精度を高めるために、５つ以上の異なる波長λに対して式（２０）を連立させ、重回帰分析を行っても良い。例えば、５つの波長λ₁，λ₂，λ₃，λ₄，λ₅について式（２０）を連立させた場合、次式（２１）のように行列表記することができる。

さらに、式（２１）を次式（２２）に置き換える。

式（２２）において、行列Ａは、ｍ個の波長（式（２１）においてはｍ＝５）における吸光度を成分とするｍ行１列の行列である。行列Ｋは、吸光成分の各々について取得された複数種類の基準スペクトルの波長λにおける値を成分とするｍ行５列の行列である。行列Ｄは、未知の変数（成分量）を成分とするｍ行１列の行列である。

この式（２２）を最小二乗法によって解くことにより、成分量ｄ₁₁、ｄ₁₂、ｄ₂₁、ｄ₂₂、ｄ_biasを算出する。最小二乗法とは単回帰式において誤差の二乗和を最小にするようにｄ₁₁、ｄ₁₂、…を決定する方法であり、次式（２３）によって解くことができる。

図８は、推定された酸化ヘモグロビンの成分量を示すグラフである。このうち、図８の（ａ）は、血液が粘膜の表面近傍に存在する領域における酸化ヘモグロビンの成分量を示し、図８の（ｂ）は、血液が深部に存在する領域に含まれる酸化ヘモグロビンの成分量を示す。

図８の（ａ）に示すように、血液が表面近傍に存在する領域では、深度の浅い方におけるヘモグロビンの成分量ｄ₁₁が圧倒的に多く、深部の浅い方におけるヘモグロビンの成分量ｄ₁₂はわずかである。一方、図８の（ｂ）に示すように、血液が深部に存在する領域では、深度の浅い方におけるヘモグロビンの成分量ｄ₁₁は、深度の深い方におけるヘモグロビンの成分量ｄ₁₂よりも少ない。

続くステップＳ１０３において、比率算出部１４３は、各吸光成分に対し、深度に応じた成分量の比率を算出する。具体的には、式（２４−１）により、表面近傍から深部までの酸化ヘモグロビンの成分量の和ｄ₁₁＋ｄ₁₂に対する表面近傍における成分量ｄ₁₁の比率ｄｒａｔｅ₁を算出する。また、式（２４−２）により、表面近傍から深部までのカロテンの成分量の和ｄ₂₁＋ｄ₂₂に対する表面近傍における成分量ｄ₂₁の比率ｄｒａｔｅ₂を算出する。

続くステップＳ１０４において、深度推定部１４４は、深度に応じた成分量の比率から、各吸光成分を含む組織の深度を推定する。詳細には、まず、深度推定部１４４は、式（２５−１）、（２５−２）により評価関数Ｅ_drate1、Ｅ_drate2をそれぞれ算出する。

式（２５−１）によって与えられる評価関数Ｅ_drate1は、酸化ヘモグロビンを含む血液の深度が浅いか深いかを判定するためのものである。式（２５−１）に示す閾値Ｔ_drate1は、０．５等の固定値又は実験等に基づいて決定された値が予め設定され、記憶部１３０に記憶されている。また、式（２５−２）によって与えられる評価関数Ｅ_drate2は、カロテンを含む脂肪の深度が浅いか深いかを判定するためのものである。式（２５−２）に示す閾値Ｔ_drate2は、０．９等の固定値又は実験等に基づいて決定された値が予め設定され、記憶部１３０に記憶されている。

深度推定部１４４は、評価関数Ｅ_drate1がゼロ又は正の場合、即ち深度の比率ｄｒａｔｅ₁が閾値Ｔ_drate1以上である場合、血液が粘膜の表面近傍に存在すると判定し、評価関数Ｅ_drate1が負の場合、即ち深度の比率ｄｒａｔｅ₁が閾値Ｔ_drate1未満である場合、血液が深部に存在すると判定する。

また、深度推定部１４４は、評価関数Ｅ_drate2がゼロ又は正の場合、即ち深度の比率ｄｒａｔｅ₂が閾値Ｔ_drate2以上である場合、脂肪が粘膜の表面近傍に存在すると判定し、評価関数Ｅ_drate2が負の場合、即ち深度の比率ｄｒａｔｅ₂が閾値Ｔ_drate2未満である場合、脂肪が深部に存在すると判定する。

図９は、血液が粘膜表面近傍に存在する領域と、血液が深部に存在する領域とにおける深度に応じた酸化ヘモグロビンの成分量の比率を示すグラフである。図９に示すように、血液が粘膜表面近傍に存在する領域においては、表面近傍における酸化ヘモグロビンの成分量が大部分を占めている。一方、血液が深部に存在する領域においては、深部における酸化ヘモグロビンの成分量が大部分を占めている。

続くステップＳ１０５において、演算部１４０は推定結果を出力し、制御部１２０は、この推定結果を表示部１６０に表示させる。推定結果の表示形態は特に限定されない。例えば、血液が粘膜の表面近傍に存在すると推定された領域と、血液が深部に存在すると推定された領域とに対し、互いに異なる色の疑似カラーや異なるパターンの網掛けを施し、表示部１６０に表示させても良い。或いは、これらの領域に対して、互いに異なる色の輪郭線を重ねても良い。さらに、これらの領域のいずれか一方が他方よりも目立つように、疑似カラーや網掛けの輝度を高くしたり、点滅表示するなどして強調表示しても良い。

以上説明したように、本実施の形態１によれば、各吸光成分に対し、深度が異なる複数の基準スペクトルを用いて複数の成分量を算出し、これらの成分量の比率に基づいて当該吸光成分を含む組織の深度を推定するので、異なる吸光成分を含む複数の組織が被写体に存在する場合であっても、組織の深度を精度良く推定することが可能となる。

上記実施の形態１においては、血液及び脂肪の２つの組織にそれぞれ含まれる２種の吸光成分の成分量を推定することにより、血液の深度を推定したが、３種以上の吸光成分を用いても良い。例えば、肌分析を行う場合には、皮膚表面近傍の組織に含まれるヘモグロビン、メラニン、及びビリルビンの３種の吸光成分の成分量を推定すれば良い。ここで、ヘモグロビン及びメラニンは、皮膚の色を構成する主な色素であり、ビリルビンは黄疸の症状として現れる色素である。

（変形例）
深度推定部１４４が実行する深度の推定方法は、上記実施の形態１において説明した方法に限定されない。例えば、深度に応じた成分量の比率ｄｒａｔｅ₁、ｄｒａｔｅ₂の値と深度とを対応付けた表又は式を予め用意し、この表又は式に基づいて具体的な深度を求めてもよい。

或いは、深度推定部１４４は、ヘモグロビンについて算出された深度に応じた成分量の比率ｄｒａｔｅ₁に基づいて、血液の深度を推定しても良い。具体的には、比率ｄｒａｔｅ₁が大きいほど血液の深度が浅く、比率ｄｒａｔｅ₁が大きいほど血液の深度が深いと判定する。

また、成分量の比率としては、表面近傍から深部までの酸化ヘモグロビンの成分量の和ｄ₁₁＋ｄ₁₂に対する深部における成分量ｄ₁₂の比率を算出しても良く、この場合、深度推定部１４４は、比率が大きいほど血液の深度は深いと推定する。或いは、この比率が閾値以上である場合に血液が深部に存在し、この比率が閾値未満である場合に血液が粘膜表面近傍に存在すると判定しても良い。

（実施の形態２）
次に、本発明の実施の形態２について説明する。図１０は、本発明の実施の形態２に係る画像処理装置の構成例を示すブロック図である。図１０に示すように、本実施の形態２に係る画像処理装置２００は、図４に示す演算部１４０の代わりに演算部２１０を備える。演算部２１０以外の画像処理装置２００の各部の構成及び動作は、実施の形態１と同様である。また、当該画像処理装置２００が画像を取得する撮像装置の構成についても、実施の形態１と同様である。

ここで、生体内において観察される脂肪には、粘膜表面に露出している脂肪（露出脂肪）と、粘膜に覆われて透けて見える脂肪（膜下脂肪）とがある。このうち、術式上では、膜下脂肪が重要である。露出脂肪は容易に目視できるからである。そのため、膜下脂肪を術者が容易に認識できるように表示を行う技術が望まれている。本実施の形態２は、この膜下脂肪の識別を容易にするために、生体における主要な組織である血液の深度に基づいて、脂肪の深度を推定するものである。

演算部２１０は、図５に示す深度推定部１４４の代わりに、第１深度推定部２１１と、第２深度推定部２１２と、表示設定部２１３とを備える。吸光度算出部１４１、成分量推定部１４２、及び比率算出部１４３の動作は、実施の形態１と同様である。

第１深度推定部２１１は、比率算出部１４３が算出した異なる深度におけるヘモグロビンの成分量の比率に基づいて、血液の深度を推定する。血液の深度の推定方法は、実施の形態１と同様である（図７のステップＳ１０３参照）。

第２深度推定部２１２は、第１深度推定部２１１による推定結果に応じて、血液以外の組織、具体的には脂肪の深度を推定する。ここで、生体においては２種以上の組織が層構造をなしている。例えば、生体内の粘膜においては、図２の（ａ）に示すように、表面近傍に血液層ｍ１が存在し、深部に脂肪層ｍ２が存在する領域や、図２の（ｂ）に示すように、表面近傍に脂肪層ｍ２が存在し、深部に血液層ｍ１が存在する領域がある。

そこで、第１深度推定部２１１により血液層ｍ１が表面近傍に存在すると推定された場合、第２深度推定部２１２は、脂肪層ｍ２が深部に存在すると推定する。反対に、第１深度推定部２１１により血液層ｍ１が深部に存在すると推定された場合、第２深度推定部２１２は、脂肪層ｍ２が表面近傍に存在すると推定する。このように、生体における主要な組織である血液の深度が推定されれば、脂肪等のその他の組織の深度を推定することができる。

表示設定部２１３は、表示部１６０に表示させる画像に対し、脂肪の領域における表示形態を、第２深度推定部２１２による深度の推定結果に応じて設定する。図１１は、脂肪の領域の表示例を示す模式図である。図１１に示すように、表示設定部２１３は、画像Ｍ１に対し、血液が粘膜の表面近傍に存在し、脂肪が深部に存在すると推定された領域ｍ１１と、血液が深部に存在し、脂肪が表面近傍に存在すると推定された領域ｍ１２とで、異なる表示形態を設定する。この場合、制御部１２０は、表示設定部２１３が設定した表示形態に従って、表示部１６０に画像Ｍ１を表示させる。

具体的には、脂肪が存在する領域に一律に疑似カラーや網掛けを施す場合、脂肪が深部に存在する領域ｍ１１と、脂肪が表面に露出している領域ｍ１２とで、着色する色やパターンを変更する。或いは、脂肪が深部に存在する領域ｍ１１と脂肪が表面に露出している領域ｍ１２とのいずれか一方のみに着色しても良い。さらには、一律に擬似カラーを施すのではなく、脂肪の成分量に応じて疑似カラーの色が変化するように、表示用の画像信号の信号値を調節しても良い。

また、領域ｍ１１、ｍ１２に対して、互いに異なる色の輪郭線を重ねても良い。さらには、領域ｍ１１、ｍ１２のいずれかに対し、疑似カラーや輪郭線を点滅させるなどして、強調表示を行っても良い。

このような領域ｍ１１、ｍ１２の表示形態は、被写体の観察目的に応じて適宜設定すれば良い。例えば、前立腺等の臓器摘出手術を行う場合には、多くの神経が内在する脂肪の位置を見易くしたいという要望がある。そこで、この場合には、脂肪層ｍ２が深部に存在する領域ｍ１１をより強調して表示すると良い。

以上説明したように、本実施の形態２によれば、生体における主要な組織である血液の深度を推定し、この主要な組織との関係から、脂肪等の他の組織の深度を推定するので、２種以上の組織が積層している領域においても、主要な組織以外の組織の深度を推定することが可能となる。

また、本実施の形態２によれば、血液と脂肪との位置関係に応じて、これらの領域を表示する表示形態を変更するので、画像の観察者は、注目する組織の深度をより明確に把握することが可能となる。

（実施の形態３）
次に、本発明の実施の形態３について説明する。上記実施の形態１、２においては、マルチスペクトル撮像を行うことを前提としているが、２成分の成分量及びバイアスの３値を推定する場合には、任意の３波長の撮像を実行すれば良い。

この場合、画像処理装置１００、２００が画像を取得する撮像装置１７０の構成として、狭帯域フィルタを備えるＲＧＢカメラを用いることができる。図１２は、このような撮像装置における感度特性を説明するためのグラフである。図１２の（ａ）はＲＧＢカメラの感度特性を示し、図１２の（ｂ）は狭帯域フィルタの透過率を示し、図１２の（ｃ）は、撮像装置におけるトータルの感度特性を示している。

狭帯域フィルタを介してＲＧＢに被写体像を結像させた場合、撮像装置におけるトータルの感度特性は、カメラの感度特性（図１２の（ａ）参照）と、狭帯域フィルタの感度特性（図１２の（ｂ）参照）との積によって与えられる（図１２の（ｃ）参照）。

（実施の形態４）
次に、本発明の実施の形態４について説明する。上記実施の形態１、２においては、マルチスペクトル撮像を行うことを前提としているが、少ないバンド数から分光スペクトルを推定し、推定した分光スペクトルから吸光成分の成分量を推定することとしても良い。図１３は、本実施の形態４に係る画像処理装置の構成例を示すブロック図である。

図１３に示すように、本実施の形態４に係る画像処理装置３００は、図５に示す演算部１４０の代わりに演算部３１０を備える。演算部３１０以外の画像処理装置３００の各部の構成及び動作は、実施の形態１と同様である。

演算部３１０は、図５に示す吸光度算出部１４１の代わりに、スペクトル推定部３１１及び吸光度算出部３１２を備える。

スペクトル推定部３１１は、画像データ記憶部１３２から読み出した画像データに基づく画像をもとに分光スペクトルを推定する。詳細には、次式（２６）に従って、画像を構成する複数の画素の各々を順次推定対象画素とし、推定対象画素である画像上の点ｘにおける画素値の行列表現Ｇ（ｘ）から、点ｘに対応する被写体上の点における推定分光透過率Ｔ＾（ｘ）を算出する。推定分光透過率Ｔ＾（ｘ）は、各波長λにおける推定透過率ｔ＾（ｘ，λ）を成分とする行列である。また、式（２６）において、行列Ｗは、ウィナー推定に用いる推定オペレータである。

吸光度算出部３１２は、スペクトル推定部３１１が算出した推定分光透過率Ｔ＾（ｘ）から、各波長λにおける吸光度を算出する。詳細には、推定分光透過率Ｔ＾（ｘ）の成分である各推定透過率ｔ＾（ｘ，λ）の対数を取ることにより、当該波長λにおける吸光度ａ（λ）を算出する。

成分量推定部１４２〜深度推定部１４４の動作は、実施の形態１と同様である。
本実施の形態４によれば、波長方向にブロードな信号値に基づいて作成された画像に対しても、深度の推定を行うことができる。

（実施の形態５）
次に、本発明の実施の形態５について説明する。図１４は、本発明の実施の形態５に係る撮像システムの構成例を示す模式図である。図１４に示すように、本実施の形態５に係る撮像システムとしての内視鏡システム２は、画像処理装置１００と、生体の管腔内に先端部を挿入して撮像を行うことにより管腔内の画像を生成する内視鏡装置４００とを備える。

画像処理装置１００は、内視鏡装置４００が生成した画像に所定の画像処理を施すと共に、内視鏡システム２全体の動作を統括的に制御する。なお、画像処理装置１００の代わりに、実施の形態２〜４において説明した画像処理装置を適用しても良い。

内視鏡装置４００は、体腔内に挿入される挿入部４０１が剛性を有する硬性内視鏡であり、挿入部４０１と、該挿入部４０１の先端から被写体に照射する照明光を発生する照明部４０２とを備える。内視鏡装置４００と画像処理装置１００とは、電気信号の送受信を行う複数の信号線が束ねられた集合ケーブルによって接続されている。

挿入部４０１には、照明部４０２が発生した照明光を挿入部４０１の先端部に導光するライドガイド４０３と、ライトガイド４０３によって導光された照明光を被写体に照射する照明光学系４０４と、被写体によって反射された光を結像する結像光学系である対物レンズ４０５と、対物レンズ４０５によって結像した光を電気信号に変換する撮像部４０６とが設けられている。

照明部４０２は、制御部１２０の制御の下で、可視光領域を複数の波長帯域に分離した波長帯域ごとの照明光を発生する。照明部４０２から発生した照明光は、ライトガイド４０３を経由して照明光学系４０４から出射し、被写体を照射する。

撮像部４０６は、制御部１２０の制御の下で、所定のフレームレートで撮像動作を行い、対物レンズ４０５によって結像した光を電気信号に変換することにより画像データを生成して、画像取得部１１０に出力する。

なお、照明部４０２の代わりに白色光を発生する光源を設けると共に、挿入部４０１の先端部に分光特性が互いに異なる複数の光学フィルタを設け、被写体に白色光を照射し、被写体によって反射された光を、光学フィルタを介して受光することにより、マルチバンド撮像を行っても良い。

上記実施の形態５においては、実施の形態１〜４に係る画像処理装置が画像を取得する撮像装置として、生体用の内視鏡装置を適用する例を説明したが、工業用の内視鏡装置を適用しても良い。また、内視鏡装置としては、体腔内に挿入される挿入部が湾曲自在に構成された軟性内視鏡を適用しても良い。或いは、内視鏡装置として、生体内に導入されて該生体内を移動しつつ撮像を行うカプセル型内視鏡を適用しても良い。

（実施の形態６）
次に、本発明の実施の形態６について説明する。図１５は、本発明の実施の形態６に係る撮像システムの構成例を示す模式図である。図１５に示すように、本実施の形態６に係る撮像システムとしての顕微鏡システム３は、画像処理装置１００と、撮像装置１７０が設けられた顕微鏡装置５００とを備える。

撮像装置１７０は、顕微鏡装置５００により拡大された被写体像を撮像する。撮像装置１７０の構成は特に限定されず、一例として、図６に示すように、モノクロカメラ１７１と、フィルタ部１７２と、結像レンズ１７３とを備える構成が挙げられる。

画像処理装置１００は、撮像装置１７０が生成した画像に所定の画像処理を施すと共に、顕微鏡システム３全体の動作を統括的に制御する。なお、画像処理装置１００の代わりに、実施の形態２〜５において説明した画像処理装置を適用しても良い。

顕微鏡装置５００は、落射照明ユニット５０１及び透過照明ユニット５０２が設けられた略Ｃ字形のアーム５００ａと、該アーム５００ａに取り付けられ、観察対象である被写体ＳＰが載置される標本ステージ５０３と、鏡筒５０５の一端側に三眼鏡筒ユニット５０７を介して標本ステージ５０３と対向するように設けられた対物レンズ５０４と、標本ステージ５０３を移動させるステージ位置変更部５０６とを有する。

三眼鏡筒ユニット５０７は、対物レンズ５０４から入射した被写体ＳＰの観察光を、鏡筒５０５の他端側に設けられた撮像装置１７０と後述する接眼レンズユニット５０８とに分岐する。接眼レンズユニット５０８は、ユーザが被写体ＳＰを直接観察するためのものである。

落射照明ユニット５０１は、落射照明用光源５０１ａ及び落射照明光学系５０１ｂを備え、被写体ＳＰに対して落射照明光を照射する。落射照明光学系５０１ｂは、落射照明用光源５０１ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。

透過照明ユニット５０２は、透過照明用光源５０２ａ及び透過照明光学系５０２ｂを備え、被写体ＳＰに対して透過照明光を照射する。透過照明光学系５０２ｂは、透過照明用光源５０２ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。

対物レンズ５０４は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ５０４、５０４’）を保持可能なレボルバ５０９に取り付けられている。このレボルバ５０９を回転させて、標本ステージ５０３と対向する対物レンズ５０４、５０４’を変更することにより、撮像倍率を変化させることができる。

鏡筒５０５の内部には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部とを含むズーム部が設けられている。ズーム部は、各ズームレンズの位置を調整することにより、撮像視野内の被写体像を拡大又は縮小させる。

ステージ位置変更部５０６は、例えばステッピングモータ等の駆動部５０６ａを含み、標本ステージ５０３の位置をＸＹ平面内で移動させることにより、撮像視野を変化させる。また、ステージ位置変更部５０６には、標本ステージ５０３をＺ軸に沿って移動させることにより、対物レンズ５０４の焦点を被写体ＳＰに合わせる。

このような顕微鏡装置５００において生成された被写体ＳＰの拡大像を撮像装置１７０においてマルチバンド撮像することにより、被写体ＳＰのカラー画像が表示部１６０に表示される。

本発明は、以上説明した実施の形態１〜６そのままに限定されるものではなく、実施の形態１〜６に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態１〜６に開示されている全構成要素からいくつかの構成要素を除外して形成しても良い。或いは、異なる実施の形態に示した構成要素を適宜組み合わせて形成しても良い。

１ 撮像システム
２ 内視鏡システム
３ 顕微鏡システム
１００、２００、３００ 画像処理装置
１１０ 画像取得部
１２０ 制御部
１２１ 画像取得制御部
１３０ 記憶部
１３１ プログラム記憶部
１３２ 画像データ記憶部
１４０、２１０、３１０ 演算部
１４１、３１２ 吸光度算出部
１４２ 成分量推定部
１４３ 比率算出部
１４４ 深度推定部
１５０ 入力部
１６０ 表示部
１７０ 撮像装置
１７１ モノクロカメラ
１７２ フィルタ部
１７３ 結像レンズ
１７４ 光学フィルタ
２１１ 第１深度推定部
２１２ 第２深度推定部
２１３ 表示設定部
３１１ スペクトル推定部
４００ 内視鏡装置
４０１ 挿入部
４０２ 照明部
４０３ ライトガイド
４０４ 照明光学系
４０５ 対物レンズ
４０６ 撮像部
５００ 顕微鏡装置
５００ａ アーム
５０１ 落射照明ユニット
５０１ａ 落射照明用光源
５０１ｂ 落射照明光学系
５０２ 透過照明ユニット
５０２ａ 透過照明用光源
５０２ｂ 透過照明光学系
５０３ 標本ステージ
５０４、５０４’ 対物レンズ
５０５ 鏡筒
５０６ ステージ位置変更部
５０６ａ 駆動部
５０７ 三眼鏡筒ユニット
５０８ 接眼レンズユニット
５０９ レボルバ

Claims (16)

1. 被写体を複数の波長の光で撮像した画像に基づき、前記被写体に含まれる特定の組織の深度を推定する画像処理装置において、
   前記画像を構成する複数の画素の各々の画素値に基づき、前記複数の波長における吸光度を算出する吸光度算出部と、
   前記吸光度に基づき、前記特定の組織を含む２種以上の組織にそれぞれ含まれる２種以上の吸光成分の各々に対し、組織の深度が異なる複数の基準スペクトルを用いて複数の成分量をそれぞれ推定する成分量推定部と、
   少なくとも前記特定の組織に含まれる吸光成分に対して推定された複数の成分量の比率を算出する比率算出部と、
   前記比率に基づいて、前記被写体における少なくとも前記特定の組織の深度を推定する深度推定部と、
   を備えることを特徴とする画像処理装置。
2. 前記成分量推定部は、前記２種以上の吸光成分の各々に対し、第１の深度における基準スペクトルを用いて第１の成分量を推定すると共に、前記第１の深度よりも深い第２の深度における基準スペクトルを用いて第２の成分量を推定し、
   前記比率算出部は、少なくとも前記特定の組織に含まれる吸光成分に対し、前記第１及び第２の成分量の和に対する前記第１の成分量と前記第２の成分量とのいずれかの比率を算出し、
   前記深度推定部は、前記比率を閾値と比較することにより前記特定の組織が前記被写体の表面に存在するか又は深部に存在するかを判定する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記成分量推定部は、前記２種以上の吸光成分の各々に対し、第１の深度における基準スペクトルを用いて第１の成分量を推定すると共に、前記第１の深度よりも深い第２の深度における基準スペクトルを用いて第２の成分量を推定し、
   前記比率算出部は、少なくとも前記特定の組織に含まれる吸光成分に対し、前記第１及び第２の成分量に対する前記第１の成分量の比率を算出し、
   前記深度推定部は、前記比率の大きさに応じて、前記特定の組織の深度を推定する、
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記特定の組織は血液であり、
   前記特定の組織に含まれる吸光成分は酸化ヘモグロビンである、
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記画像を表示する表示部と、
   前記深度推定部による推定結果に応じて、前記画像における前記特定の組織の領域に対する表示形態を決定する制御部と、
   をさらに備えることを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記深度推定部による推定結果に応じて、前記２種以上の組織のうち、前記特定の組織以外の組織の深度を推定する第２の深度推定部をさらに備える、ことを特徴とする請求項４に記載の画像処理装置。
7. 前記第２の深度推定部は、
   前記深度推定部が前記特定の組織は前記被写体の表面に存在すると推定した場合、前記特定の組織以外の組織は前記被写体の深部に存在すると推定し、
   前記深度推定部が前記特定の組織は前記被写体の深部に存在すると推定した場合、前記特定の組織以外の組織は前記被写体の表面に存在すると推定する、
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記画像を表示する表示部と、
   前記第２の深度推定部による推定結果に応じて、前記画像における前記特定の組織以外の組織の領域に対する表示形態を設定する表示設定部と、
   をさらに備えることを特徴とする請求項７に記載の画像処理装置。
9. 前記特定の組織以外の組織は脂肪である、ことを特徴とする請求項６〜８のいずれか１項に記載の画像処理装置。
10. 前記波長の数は、前記吸光成分の数以上である、ことを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
11. 前記画像を構成する複数の画素の各々の画素値に基づいて分光スペクトルを推定するスペクトル推定部をさらに備え、
    前記吸光度算出部は、前記スペクトル推定部が推定した前記分光スペクトルに基づいて、前記複数の波長における吸光度をそれぞれ算出する、
    ことを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 請求項１〜１１のいずれか１項に記載の画像処理装置と、
    前記被写体に照射する照明光を発生する照明部と、
    前記照明部が発生した前記照明光を前記被写体に照射する照明光学系と、
    前記被写体によって反射された光を結像する結像光学系と、
    前記結像光学系により結像した前記光を電気信号に変換する撮像部と、
    を備えることを特徴とする撮像システム。
13. 前記照明光学系と、前記結像光学系と、前記撮像部とが設けられた内視鏡を備えることを特徴とする請求項１２に記載の撮像システム。
14. 前記照明光学系と、前記結像光学系と、前記撮像部とが設けられた顕微鏡装置を備えることを特徴とする請求項１２に記載の撮像システム。
15. 被写体を複数の波長の光で撮像した画像に基づき、前記被写体に含まれる特定の組織の深度を推定する画像処理方法において、
    前記画像を構成する複数の画素の各々の画素値に基づき、前記複数の波長における吸光度を算出する吸光度算出ステップと、
    前記吸光度に基づき、前記特定の組織を含む２種以上の組織にそれぞれ含まれる２種以上の吸光成分の各々に対し、組織の深度が異なる複数の基準スペクトルを用いて複数の成分量をそれぞれ推定する成分量推定ステップと、
    少なくとも前記特定の組織に含まれる吸光成分に対して推定された複数の成分量の比率を算出する比率算出ステップと、
    前記比率に基づいて、前記被写体における少なくとも前記特定の組織の深度を推定する深度推定ステップと、
    を含むことを特徴とする画像処理方法。
16. 被写体を複数の波長の光で撮像した画像に基づき、前記被写体に含まれる特定の組織の深度を推定する画像処理プログラムにおいて、
    前記画像を構成する複数の画素の各々の画素値に基づき、前記複数の波長における吸光度を算出する吸光度算出ステップと、
    前記吸光度に基づき、前記特定の組織を含む２種以上の組織にそれぞれ含まれる２種以上の吸光成分の各々に対し、組織の深度が異なる複数の基準スペクトルを用いて複数の成分量をそれぞれ推定する成分量推定ステップと、
    少なくとも前記特定の組織に含まれる吸光成分に対して推定された複数の成分量の比率を算出する比率算出ステップと、
    前記比率に基づいて、前記被写体における少なくとも前記特定の組織の深度を推定する深度推定ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
    
    

Images