[第1実施形態]
図1に示すように、第1実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16、モニタ18(表示部)と、コンソール20とを有する。内視鏡12は、光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部21と、挿入部21の基端部分に設けられた操作部22と、挿入部21の先端側に設けられた湾曲部23及び先端部24を有している。操作部22のアングルノブ22aを操作することにより、湾曲部23は湾曲動作する。この湾曲動作にともなって、先端部24が所望の方向に向けることができる。
また、操作部22には、アングルノブ22aの他、観察モード切替SW(観察モード切替スイッチ)22bと、ズーム操作部22cと、静止画像を保存するためのフリーズボタン(図示しない)と、が設けられている。モード切替SW22bは、通常観察モードと、特殊観察モードの2種類のモード間の切り替え操作に用いられる。通常観察モードは、被検体内の観察対象をフルカラー画像化した通常光画像をモニタ18に表示するモードである。特殊観察モードは、観察対象の血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像をモニタ18に表示するモードである。ズーム操作部22cは、内視鏡12内のズームレンズ47(図2参照)を駆動させて、観察対象を拡大させるズーム操作に用いられる。
プロセッサ装置16は、モニタ18及びコンソール20と電気的に接続される。モニタ18は、通常光画像や酸素飽和度画像等の画像、及びこれらの画像に関する情報(以下、画像情報等という)を表示する。コンソール20は、機能設定等の入力操作を受け付けるUI(ユーザインタフェース)として機能する。なお、プロセッサ装置16には、画像情報等を記録する記録部(図示省略)を接続しても良い。
図2に示すように、光源装置14は、中心波長473nmの第1青色レーザ光を発する第1青色レーザ光源(473LD(レーザダイオード))34と、中心波長445nmの第2青色レーザ光を発する第2青色レーザ光源(445LD)36とを発光源として備えている。これらの半導体発光素子からなる各光源34,36の発光量及び発光タイミングは、光源制御部40により個別に制御される。このため、第1青色レーザ光源34の出射光と、第2青色レーザ光源36の出射光の光量比は変更自在になっている。なお、第1,第2青色レーザ光の半値幅は±10nm程度にすることが好ましい。また、第1青色レーザ光源34と第2青色レーザ光源36は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオード等の発光体を用いた構成としても良い。
光源制御部40は、通常観察モードの場合には、第2青色レーザ光源36を点灯させる。これに対して、特殊観察モードの場合には、1フレーム間隔で、第1青色レーザ光源34と第2青色レーザ光源36を交互に点灯させる。
各光源34,36から出射される第1,第2青色レーザ光は、集光レンズ、光ファイバ、合波器等の光学部材(いずれも図示せず)を介してライトガイド(LG)41に入射する。ライトガイド41は、光源装置14と内視鏡12を接続するユニバーサルコード17(図1参照)と、内視鏡12に内蔵されている。ライトガイド41は、各光源34,36からの第1,第2青色レーザ光を、内視鏡12の先端部24まで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルを使用することができる。
内視鏡12の先端部24は、照明光学系24aと撮像光学系24bを有している。照明光学系24aには、蛍光体44と、照明レンズ45が設けられている。蛍光体44には、ライトガイド41から第1,第2青色レーザ光が入射する。蛍光体44は、第1または第2青色レーザ光が照射されることで蛍光を発する。また、一部の第1または第2青色レーザ光は、そのまま蛍光体44を透過する。蛍光体44を出射した光は、照明レンズ45を介して観察対象に照射される。したがって、第1青色レーザ光源34と、第2青色レーザ光源36と、蛍光体44は観察対象に照明光を照射する光源を構成する。
通常観察モードにおいては、第2青色レーザ光が蛍光体44に入射するため、図3に示すスペクトルの白色光(以下、第2白色光という)が照明光として観察対象に照射される。この第2白色光は、第2青色レーザ光と、この第2青色レーザ光により蛍光体44から励起発光する緑色〜赤色の第2蛍光とから構成される。したがって、第2白色光は、波長範囲が可視光全域に及んでいる。
一方、特殊観察モードにおいては、第1青色レーザ光と第2青色レーザ光が蛍光体44に交互に入射することにより、図4に示すように、互いに発光スペクトルが異なる第1白色光と第2白色光が交互に照明光として観察対象に照射される。第1白色光は、第1青色レーザ光と、この第1青色レーザ光により蛍光体44から励起発光する緑色〜赤色の第1蛍光とから構成される。したがって、第1白色光は、波長範囲が可視光全域に及んでいる。第2白色光は、通常観察モード時に照射される第2白色光と同様である。本実施形態の場合、第1白色光が第1照明光であり、第2白色光が第2照明光である。
第1蛍光と第2蛍光は、波形(スペクトルの形状)がほぼ同じであり、第1蛍光の強度(I1(λ))と第2蛍光の強度(I2(λ))の比(以下、フレーム間強度比という)は、何れの波長λにおいても同じである。例えば、I2(λ1)/I1(λ1)=I2(λ2)/I1(λ2)である。このフレーム間強度比I2(λ)/I1(λ)は、酸素飽和度の算出精度に影響を与えるものであるため、光源制御部40により、予め設定された基準フレーム間強度比を維持するように高精度に制御されている。
なお、蛍光体44は、第1及び第2青色レーザ光の一部を吸収して、緑色〜赤色に励起発光する複数種類の蛍光体(例えばYAG系蛍光体、あるいはBAM(BaMgAl10O17)等の蛍光体)を含んで構成されるものを使用することが好ましい。また、本実施形態のように、半導体発光素子を蛍光体44の励起光源として用いれば、高い発光効率で高強度の第1白色光及び第2白色光が得られる。また、各白色光の強度を容易に調整できる上に、色温度、色度の変化を小さく抑えることができる。
内視鏡12の撮像光学系24bは、撮像レンズ46、ズームレンズ47、センサ48を有している(図2参照)。観察対象からの反射光は、撮像レンズ46及びズームレンズ47を介してセンサ48に入射する。これにより、センサ48に観察対象の反射像が結像される。ズームレンズ47は、ズーム操作部22cを操作することでテレ端とワイド端との間を移動する。ズームレンズ47がテレ端側に移動すると観察対象の反射像が拡大する。一方、ズームレンズ47がワイド端側に移動することで、観察対象の反射像が縮小する。なお、拡大観察をしない場合(非拡大観察時)には、ズームレンズ47はワイド端に配置されている。そして、拡大観察を行う場合には、ズーム操作部22cの操作によってズームレンズ47はワイド端からテレ端側に移動される。
センサ48は、カラーの撮像素子であり、観察対象の反射像を撮像して画像信号を出力する。センサ48としては、例えばCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサを用いることができる。本実施形態では、センサ48はCCDイメージセンサである。また、センサ48は、撮像面にRGBカラーフィルタが設けられたRGB画素を有しており、RGBの各色の画素で光電変換をすることによってR,G,Bの三色の画像信号を出力する。
図5に示すように、Bカラーフィルタは380〜560nmの分光透過率を有しており、Gカラーフィルタは450〜630nmの分光透過率を有しており、Rカラーフィルタ580〜760nmの分光透過率を有している。したがって、通常観察モード時に第2白色光が観察対象に照射された場合には、B画素には第2青色レーザ光と第2蛍光の緑色成分の一部が入射し、G画素には第2蛍光の緑色成分の一部が入射し、R画素には第2蛍光の赤色成分が入射する。B画素から出力されるB画像信号は、第2青色レーザ光は第2蛍光よりも発光強度が極めて大きいので、大部分が第2青色レーザ光の反射光成分で占められている。
一方、特殊観察モード時に第1白色光が観察対象に照射された場合には、B画素には第1青色レーザ光と第1蛍光の緑色成分の一部が入射し、G画素には第1蛍光の緑色成分の一部とGカラーフィルタによって減衰した第1青色レーザ光が入射し、R画素には第1蛍光の赤色成分が入射する。第1青色レーザ光は第1蛍光よりも発光強度が極めて大きいので、B画素から出力されるB画像信号の大部分は第1青色レーザ光の反射光成分で占められている。
特殊観察モード時に第2白色光が観察対象に照射されたときのRGB各画素での光入射成分は、通常観察モードの場合と同様である。
センサ48としては、撮像面にC(シアン),M(マゼンタ),Y(イエロー)及びG(グリーン)の補色フィルタを備えた、いわゆる補色イメージセンサを用いても良い。センサ48として補色イメージセンサを用いる場合は、CMYGの四色の画像信号からRGBの三色の画像信号に色変換する色変換部を、内視鏡12、光源装置14またはプロセッサ装置16のいずれかに設けておけば良い。こうすれば補色イメージセンサを用いる場合でも、CMYGの4色の画像信号から色変換によってRGB3色の画像信号を得ることができる。
撮像制御部49はセンサ48の撮像制御を行う。図6に示すように、通常観察モード時には、1フレームの期間(以下、単に1フレームという)毎に、第2白色光で照明された観察対象をセンサ48で撮像する。これにより、1フレーム毎にセンサ48からRGBの各画像信号が出力される。なお、本実施形態の場合、センサ48はCCDイメージセンサなので、1フレームは例えば電荷蓄積期間(露光期間とも言う)の終了時(時刻TA)から次の電荷蓄積期間の終了時(時刻TB)までの長さの期間である。また、センサ48はCCDイメージセンサであるため、図6では読出期間と電荷蓄積期間を分けているが、ほぼ1フレームの全てを電荷蓄積期間にし、信号電荷の蓄積中に前のフレームで蓄積された信号電荷の読み出すこともできる。撮像制御部49は、こうした電荷蓄積期間の長さの調節等の制御も行う。
撮像制御部49は、特殊観察モード時も、通常観察モード時と同様にしてセンサ48の撮像制御を行う。但し、特殊観察モード時には、センサ48の撮像のフレームに同期して第1白色光と第2白色光が交互に観察対象に照射される。このため、図7に示すように、センサ48は、第1白色光のもとで観察対象を撮像して得た信号電荷を1フレーム目の読出期間に読み出して、RGB各色の画像信号を出力する。そして、第2白色光のもとで観察対象を撮像して得た信号電荷を2フレーム目の読出期間に読み出して、RGB各色の画像信号を出力する。センサ48は、1フレーム目,2フレーム目ともRGBの各色の画像信号を出力するが、依拠する白色光のスペクトルが異なるので、以下では区別のために、センサ48が1フレーム目に出力するRGB各色の画像信号をそれぞれR1画像信号,G1画像信号,B1画像信号といい、2フレーム目に出力するRGB各色の画像信号をR2画像信号,G2画像信号,B2画像信号という。また、1フレーム目に出力されるB1画像信号とG1画像信号とR1画像信号を第1画像信号と称し、2フレーム目に出力されるB2画像信号とG2画像信号とR2画像信号は第2画像信号と称する。
なお、酸素飽和度の算出には、例えば、B1画像信号とG2画像信号の信号比B1/G2と、R2画像信号とG2画像信号の信号比R2/G2が用いられる。これらのうち、酸素飽和度の算出に必須な信号比は、B1画像信号とG2画像信号の信号比B1/G2である。このため、第1白色光中のB1画像信号になる成分(蛍光体44を透過した第1青色レーザ光)が第1信号光であり、第2白色光中のG2画像信号になる成分(第2蛍光の緑色帯域成分)が第2信号光である。また、内視鏡システム10では、B1画像信号とG1画像信号の信号比B1/G1と、R1画像信号とG1画像信号の信号比R1/G1を用いる場合がある。この場合、第1白色光中のB1画像信号になる成分が第1信号光であり、かつ、第1白色光中のG1画像信号になる成分(第1蛍光の緑色帯域成分)が第2信号光である。
センサ48から出力される各色の画像信号は、CDS(correlated double sampling)/AGC(automatic gain control)回路50に送信される(図2参照)。CDS/AGC回路50は、センサ48から出力されるアナログの画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS/AGC回路50を経た画像信号は、A/D変換器52によってデジタル画像信号に変換される。こうしてデジタル化された画像信号はプロセッサ装置16に入力される。
プロセッサ装置16は、受信部54と、画像処理切替部60と、通常観察画像処理部62と、特殊観察画像処理部64と、動き量算出部65と、画像表示信号生成部66とを備えている。受信部54は、内視鏡12から入力される画像信号を受信する。受信部54はDSP(Digital Signal Processor)56とノイズ除去部58と信号変換部59とを備えている。
DSP56は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、YC変換処理等の各種信号処理を行う。欠陥補正処理では、センサ48の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施された画像信号から暗電流成分を除かれ、正確な零レベルを設定される。ゲイン補正処理は、オフセット処理後のRGB各画像信号に特定のゲインを乗じることにより各画像信号の信号レベルを整える。ゲイン補正処理後の各色の画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって、各画像信号の明るさや彩度が整えられる。リニアマトリクス処理後の画像信号には、デモザイク処理(等方化処理,同時化処理とも言う)が施され、補間により各画素の欠落した色の信号を生成される。デモザイク処理によって、全画素がRGB各色の信号を有するようになる。DSP59は、デモザイク処理後の各画像信号にYC変換処理を施し、輝度信号Yと色差信号Cb,Crをノイズ除去部58に出力する。
ノイズ除去部58は、DSP56でデモザイク処理等が施された画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ除去処理を施す。ノイズが除去された画像信号は、信号変換部59に入力され、RGBの画像信号に再変換され、画像処理切替部60に入力される。
画像処理切替部60は、観察モード切替SW22bが通常観察モードにセットされている場合には、画像信号を通常観察画像処理部62に入力する。一方、観察モード切替SW22bが特殊観察モードに設定されている場合、画像処理切替部60は、画像信号を特殊観察画像処理部64と動き量算出部65に入力する。
通常観察画像処理部62は、色変換部68と、色彩強調部70と、構造強調部72とを有する。色変換部68は、入力された1フレーム分のRGBの各画像信号を、それぞれR画素、G画素、B画素に割り当てたRGB画像データを生成する。そして、RGB画像データに対して、さらに3×3のマトリックス処理、階調変換処理、3次元LUT処理等の色変換処理を施す。
色彩強調部70は、色変換処理済みのRGB画像データに対して、各種色彩強調処理を施す。構造強調部72は、色彩強調処理済みのRGB画像データに対して、空間周波数強調等の構造強調処理を施す。構造強調部72で構造強調処理が施されたRGB画像データは、通常観察画像として画像表示信号生成部66に入力される。
特殊観察画像処理部64は、酸素飽和度画像生成部76と、構造強調部78とを有する。酸素飽和度画像生成部76は、酸素飽和度を算出し、算出した酸素飽和度を表す酸素飽和度画像を生成する。
構造強調部78は、酸素飽和度画像生成部76から入力される酸素飽和度画像に対して、空間周波数強調処理等の構造強調処理を施す。構造強調部72で構造強調処理が施された酸素飽和度画像は、画像表示信号生成部66に入力される。
動き量算出部65は、観察モード切替SW22bが特殊観察モードの場合に、画像処理切替部60から画像信号を取得し、取得した画像信号を用いて動き量を算出する。動きとは、観察対象の蠕動運動等による移動,変形,回転,向き等の変化や、被検体内での先端部24の移動,回転,向き等の変化による相対的な観察対象の変化、あるいは観察対象自体の変化と先端部24の変化による相対的な観察対象の変化とが組み合わせられた結果による総合的な観察対象の変化である。そして、動き量とは、こうした観察対象の動きの大きさを示す値である。
動き量算出部65は、1フレーム目に得られるR1画像信号と2フレーム目に得られるR2画像信号の信号比に基づいて動き量を算出する。具体的には、例えば、R1画像信号とR2画像信号の信号値の比を画素毎にそれぞれ算出し、その平均値を動き量とする。このため、動き量算出部65が算出する動き量は、第1画像信号(または第2画像信号)が表す撮像領域の全体で一つ算出される。もちろん、R1画像信号とR2画像信号の信号値の比の合計値や最大値、最小値、中央値、分散等のその他統計値を動き量としても良い。R1画像信号とR2画像信号は、観察対象に動きがない場合にはほぼ同じになるので、動き量はほぼ「1」である。一方、1フレーム目と2フレーム目の間に観察対象に動きが生じると、R1画像信号とR2画像信号に差が生じ、動き量は「1」からずれた値になる。動き量は、観察対象の動きが大きいほど「1」からのずれが大きくなる。
動き量算出部65は、算出した動き量を酸素飽和度画像生成部76に入力する。酸素飽和度画像生成部76は、酸素飽和度を算出するモードとして、第1モードと第2モードとを有しており、動き量算出部65から入力される動き量に基づいて、少なくともこれらのいずれかのモードで酸素飽和度を算出する。第1モードは、第1白色光で照明中の観察対象を撮像し、1フレーム目に得られる第1画像信号と、第2白色光で照明中の観察対象を撮像し、2フレーム目に得られる第2画像信号との両方に基づいて酸素飽和度を算出するモードである。より具体的には、第1モードではB1画像信号とG2画像信号の信号比B1/G2と、R2画像信号とG2画像信号の信号比R2/G2とに基づいて酸素飽和度が算出される。一方、第2モードは、第2画像信号を用いず、第1画像信号だけに基づいて酸素飽和度を算出するモードである。より具体的には、第2モードでは、B1画像信号とG1画像信号の信号比B1/G1と、R1画像信号とG1画像信号の信号比R1/G1とに基づいて酸素飽和度が算出される。
画像表示信号生成部66は、通常観察画像または酸素飽和度画像を表示用形式の信号(表示用画像信号)に変換し、モニタ18に入力する。これにより、モニタ18には通常観察画像または酸素飽和度画像が表示される。
図8に示すように、酸素飽和度画像生成部76は、モード切替部80と、信号比算出部81と、相関関係記憶部82と、酸素飽和度算出部83と、画像生成部84と、を備えている。
モード切替部80は、動き量算出部65から入力される動き量を閾値(動き量の範囲を定める上限及び下限の値の組)と比較し、その結果に応じて酸素飽和度を算出するモードを切り替えるためのモード設定信号を信号比算出部81に入力する。具体的には、動き量が閾値で定められる特定範囲に収まっており、観察対象の動きが小さいと判定した場合には、酸素飽和度を算出するモードを第1モードに設定するためのモード設定信号を信号比算出部81に入力する。一方、動き量が閾値で定められる特定範囲に収まらず、観察対象の動きが大きいと判定した場合には、酸素飽和度を算出するモードを第2モードに設定するためのモード設定信号を信号比算出部81に入力する。なお、閾値及び閾値によって定められる特定範囲は、設定等により予め定められている。また、動き量は第1画像信号(または第2画像信号)が表す撮像領域の全体で一つ算出されるので、モード切替部80が行う算出モードの切り替えは、この一つの動き量に基づいて、撮像領域の全体で一括して変更される。
信号比算出部81は、モード切替部80から入力されるモード設定信号に応じて、酸素飽和度算出部83で用いる信号比を算出する。第1モードに設定された場合、信号比算出部81は、B1画像信号とG2画像信号の信号比B1/G2を画素毎に算出し、かつ、R2画像信号とG2画像信号の信号比R2/G2を画素毎に算出する。なお、信号比算出部81は、信号比B1/G2を算出する際に、B1画像信号,G1画像信号,R1画像信号を用いた画素間演算によって、B1画像信号から第1蛍光による信号値を除去して色の分離性を高める補正処理を施し、ほぼ第1青色レーザ光だけによる信号値に補正したB1画像信号を用いる。
一方、第2モードに設定された場合、信号比算出部81は、B1画像信号とG1画像信号の信号比B1/G1を画素毎に算出し、かつ、R1画像信号とG1画像信号の信号比R1/G1を画素毎に算出する。信号比算出部81は、これらの信号比B1/G1,R1/G1を算出する際に、B1画像信号,G1画像信号,R1画像信号を用いた画素間演算によって、B1画像信号から第1蛍光による信号値を除去し、G1画像信号からは第1レーザ光による信号値を除去して、各々の色の分離性を高める補正処理を施す。そして、ほぼ第1青色レーザ光だけによる信号値に補正されたB1画像信号と、ほぼ第1蛍光だけによる信号値に補正されたG1画像信号とを用いて信号比B1/G1及び信号比R1/G1を算出する。
第1モードと第2モードを比較すると、第1モードは酸素飽和度の算出に用いる信号比を算出する際に補正処理を施す画像信号がB1画像信号だけなので、B1画像信号とG1画像信号との2種類の画像信号に補正処理を施す第2モードよりも酸素飽和度の精度が高い。一方、第2モードでは、1フレーム(1フレーム目)に同時に得られる第1画像信号だけを用いて酸素飽和度を算出するので、観察対象に動きがあっても酸素飽和度の算出精度が低下しない。
相関関係記憶部82は、信号比算出部81が各モードで算出する二つの信号比の組と、酸素飽和度との相関関係を記憶している。この相関関係は、図9に示す二次元空間上に酸素飽和度の等値線を定義した2次元テーブルで記憶されており、本実施形態では第1,第2モードで共通して用いられる。信号比に対する等値線の位置及び形状は、光散乱の物理的なシミュレーションによって予め得られ、各等値線の間隔は血液量(図9の横軸)に応じて変化する。なお、信号比と、酸素飽和度との相関関係はlogスケールで記憶されている。
なお、上記相関関係は、図10に示すように、酸化ヘモグロビン(グラフ90)や還元ヘモグロビン(グラフ91)の吸光特性や光散乱特性と密接に関連し合っている。例えば、第1青色レーザ光の中心波長473nmのように、酸化ヘモグロビンと還元ヘモグロビンの吸光係数の差が大きい波長では、酸素飽和度の情報を取り扱いやすい。しかしながら、473nmの光に対応する信号を含むB1画像信号は、酸素飽和度だけでなく、血液量にも依存度が高い。そこで、第1モードでは、B1画像信号に加え、主として血液量に依存して変化する光に対応するR2画像信号と、B1画像信号とR2画像信号のリファレンス信号となるG2画像信号から得られる信号比R2/G2を用いることで血液量に依存することなく、酸素飽和度を正確に求めることができる。第2モードでは、B1画像信号とR1画像信号のリファレンス信号としてG1画像信号を用い、血液量を表す信号比として信号比R1/G1を用いているが、信号比R1/G1を用いることで第1モードの場合と同様に血液量に依存することなく酸素飽和度を正確に求めることができる。
酸素飽和度算出部83は、信号比算出部81で算出された信号比を用いることによって、動き量に基づいて酸素飽和度を算出する。より具体的には、酸素飽和度算出部83は、相関関係記憶部82に記憶された相関関係を参照し、信号比算出部81で算出された信号比に対応する酸素飽和度を画素毎に算出する。例えば、第1モードにおいて、特定画素における信号比B1/G2及び信号比R2/G2がそれぞれB1*/G2*及びR2*/G2*である場合、図11に示すように、相関関係を参照すると、信号比B1*/G2*及び信号比R2*/G2*に対応する酸素飽和度は「60%」である。したがって、酸素飽和度算出部83は、この特定画素の酸素飽和度を「60%」と算出する。第2モードの場合も同様である。
なお、第1モードの場合、信号比B1/G2及び信号比R2/G2が極めて大きくなったり、極めて小さくなったりすることはほとんどない。すなわち、信号比B1/G2や信号比R2/G2の値が、酸素飽和度0%の下限ライン93を上回ったり、反対に酸素飽和度100%の上限ライン94を下回ったりすることはほとんどない。但し、算出する酸素飽和度が下限ライン93を下回ってしまった場合には酸素飽和度算出部83は酸素飽和度を0%とし、上限ライン94を上回ってしまった場合には酸素飽和度を100%とする。また、信号比B1/G2及び信号比R2/G2に対応する点が下限ライン93と上限ライン94の間から外れた場合には、その画素における酸素飽和度の信頼度が低いことが分かるように表示をしたり、酸素飽和度を算出しないようにしても良い。第2モードの場合も同様である。
画像生成部84は、酸素飽和度算出部83で算出された酸素飽和度を用いて、酸素飽和度を画像化した酸素飽和度画像を生成する。具体的には、第1モードの場合、画像生成部84は、B2画像信号,G2画像信号,R2画像信号を取得し、これらの画像信号に対して酸素飽和度に応じたゲインを画素毎に施す。そして、ゲインを施したB2画像信号,G2画像信号,R2画像信号を用いてRGB画像データを生成する。例えば、画像生成部84は、補正酸素飽和度が60%以上の画素ではB2画像信号,G2画像信号,R2画像信号のいずれにも同じゲイン「1」を乗じる。これに対して、補正酸素飽和度が60%未満の画素では、B2画像信号に対して「1」未満のゲインを乗じ、G2画像信号及びR2画像信号に対しては「1」以上のゲインを乗じる。このゲイン処理後のB2画像信号,G2画像信号,R2画像信号を用いて生成されたRGB画像データが酸素飽和度画像である。
第2モードの場合、画像生成部84は、B1画像信号,G1画像信号,R1画像信号を取得し、これらの画像信号に対して酸素飽和度に応じたゲインを画素毎に施す。そして、ゲインを施したB1画像信号,G1画像信号,R1画像信号を用いてRGB画像データを酸素飽和度画像として生成する。ゲインの掛け方は第1モードの場合と同様である。
画像生成部84が生成した酸素飽和度画像では、高酸素の領域(酸素飽和度が60〜100%の領域)では、通常観察画像と同様の色で表される。一方、酸素飽和度が特定値を下回る低酸素の領域(酸素飽和度が0〜60%の領域)は、通常観察画像とは異なる色(疑似カラー)で表される。
なお、本実施形態では、画像生成部84は、低酸素の領域のみ疑似カラー化するゲインを乗じているが、高酸素領域でも酸素飽和度に応じたゲインを施し、酸素飽和度画像の全体を疑似カラー化しても良い。また、低酸素領域と高酸素領域を酸素飽和度60%で分けているがこの境界も任意である。
次に、本実施形態の内視鏡システム10による観察の流れを図12のフローチャートに沿って説明する。まず、通常観察モードにおいて、最も遠景の状態からスクリーニングを行う(S10)。通常観察モードでは、通常観察画像がモニタ18に表示される。このスクリーニング時に、ブラウニッシュエリアや発赤等の病変の可能性がある部位(以下、病変可能性部位という)を発見した場合(S11)には、モード切替SW22bを操作して、特殊観察モードに切り替える(S12)。そして、この特殊観察モードにおいて、病変可能性部位の診断を行う。
特殊観察モードでは、第1及び第2白色光がセンサ48の撮像フレームに同期して交互に観察対象に照射されるので、センサ48は1フレーム目にR1画像信号,G1画像信号,B1画像信号を出力し、2フレーム目にR2画像信号,G2画像信号,B2画像信号を出力する(撮像ステップ(S12))。そして、プロセッサ装置16は受信部54でこれらの撮像信号を受信し(受信ステップ(S12))、動き量算出部65によって、これら2フレーム分の画像信号のうち、R1画像信号とR2画像信号の信号比を画素毎に算出され、その平均値が動き量として算出される(S13:動き量算出ステップ)。
動き量はモード切替部80において閾値と比較され(S14)、動き量が小さく、閾値で定められる特定範囲に収まっている場合は酸素飽和度を算出するモードが第1モードに設定される(S14:YES)。一方、動き量が大きく、閾値で定められる特定範囲に収まらない場合には、酸素飽和度を算出するモードは第2モードに設定される(S14:NO)。
酸素飽和度を算出するモードが第1モードに設定された場合、信号比算出部81によって信号比B1/G2及び信号比R2/G2が算出される(S15:信号比算出ステップ)。但し、信号比B1/G2を算出する際には、画像処理切替部60を介して取得するB1画像信号から、第1蛍光による信号値を除去する補正処理が施されたB1画像信号が用いられる。一方、酸素飽和度算出モードが第2モードに設定された場合、信号比算出部81によって、信号比B1/G1及び信号比R1/G1が算出される(S16:信号比算出ステップ)。但し、これら信号比B1/G1,R1/G1を算出する際には、画像処理切替部60を介して取得するB1画像信号から第1蛍光による信号値を除去する補正処理が施されたB1画像信号と、G1画像信号から第1レーザ光による信号値を除去する補正処理が施されたG1画像信号が用いられる。
こうして算出モードに応じて算出された信号比が算出されると、酸素飽和度算出部83は、算出された信号比に基づき、画素毎に酸素飽和度を算出する(S17:酸素飽和度算出ステップ)。酸素飽和度が算出されると、画像生成部84において酸素飽和度画像が生成される(S18)。酸素飽和度を算出するモードが第1モードに設定されている場合、信号比B1/G2及び信号比R2/G2に基づいて算出された酸素飽和度に応じて、B2画像信号、G2画像信号、R2画像信号にゲインを施すことによって酸素飽和度画像が生成される。一方、酸素飽和度を算出するモードが第2モードに設定されている場合、信号比B1/G1及び信号比R1/G1に基づいて算出された酸素飽和度に応じて、B1画像信号,G1画像信号,R1画像信号にゲインを施すことによって酸素飽和度画像が生成される。そして、生成された酸素飽和度画像は、モニタ18に表示される(S19:表示ステップ)。これらの動作は、通常観察モードに切り替えられるか(S20)、診断終了(S21)まで繰り返し行われる
上記のように、観察対象の動きが小さい場合に設定される第1モードでは、1フレーム目に得られる第1画像信号と、第2フレーム目に得られる第2画像信号との両方を用いて酸素飽和度が算出され、酸素飽和度画像が生成される。一方、観察対象の動きが大きい場合に設定される第2モードでは、2フレーム目に得られる第2画像信号は用いず、1フレーム目に得られる第1画像信号だけを用いて酸素飽和度が算出され、酸素飽和度画像が生成される。そして、これら第1モードと第2モードの切り替えは、動き量に基づいて、自動的に行われる。
第1モードは、特に正確な酸素飽和度を算出することができるが、酸素飽和度の算出に2フレーム分の画像信号を必要とするので、観察対象に動きがあると酸素飽和度の算出精度が悪化する場合がある。また、第2モードは、酸素飽和度の算出精度を上げるためにB1画像信号とG2画像信号の二つの画像信号に対して補正処理をしてから信号比B1/G1,R1/G1を算出する必要があるので、第1モードと比較すると酸素飽和度の算出精度が劣るが、1フレーム分の画像信号だけを用いるので、観察対象に動きでは酸素飽和度の算出精度が低下し難い。このため、内視鏡システム10では、上記のように観察対象の動き量を算出することにより、観察対象の動きを検出し、動き量として算出される観察対象の動きの大きさに応じて第1モードと第2モードを自動的に切り替えている。
これにより、先端部24の位置や向きをほぼ動かさずに行われる精査時等で、観察対象に殆ど動きがない場合には、第1モードが自動選択され、スクリーニング時よりも正確性が高い酸素飽和度を算出及び提示することができる。さらに、先端部24の位置や向きを変えながら行われるスクリーニング時等で、観察対象に大きな動きがある場合には、第2モードが自動選択され、誤診を招くことがない程度の精度が確保された正確な酸素飽和度を算出及び提示することができる。もちろん、精査時に蠕動運動等によって観察対象に動きがあった場合でも、その動きが大きい場合には自動的に第2モードに切り替えられ、正確な酸素飽和度の算出及び提示は維持される。また、スクリーニング時でも、観察対象に動きがなければ、自動的に第1モードに切り替えられ、第2モードを続行する場合よりも高精度な酸素飽和度を算出及び提示することができる。すなわち、内視鏡システム10は観察対象の動きがあっても、可能な限り正確な酸素飽和度を算出及び提示を行うことができる。
[第2実施形態]
第2実施形態の内視鏡システムは、第1実施形態の動き量算出部65と、酸素飽和度画像生成部76のモード切替部80,信号比算出部81,酸素飽和度算出部83を、図13に示す動き量算出部265,モード切替部280,信号比算出部281,酸素飽和度算出部283にそれぞれ置き換えたものである。それ以外の構成は第1実施形態の内視鏡システム10と同じである。
動き量算出部265は、観察モード切替SW22bが特殊観察モードの場合に、画像処理切替部60から画像信号を取得し、取得した画像信号を用いて動き量を算出することやその方法については、第1実施形態の動き量算出部65と同じである。但し、動き量算出部265は、第1画像信号(または第2画像信号)が表す撮像領域を設定に応じて複数の領域に分け、各領域で動き量を算出する。例えば、図14に示すように、動き量算出部265は、R1画像信号(符号R1)とR2画像信号(符号R2)が表す撮像領域を3×3の領域Aij(i=1〜3,j=1〜3)に分け、各領域Aijでそれぞれ動き量Mijを算出する。
また、モード切替部280は、各領域Aijについてそれぞれ動き量と閾値を比較し、その結果に応じて領域Aij毎に酸素飽和度を算出するモードを切り替えるためのモード設定信号を信号比算出部281に入力する。このモード設定信号は、各領域Aijと酸素飽和度を算出するモードの設定の対応を指定する。例えば、図14に示すように、中央の領域A22の動き量M22が閾値で定められる特定範囲に収まっている場合、この領域A22の酸素飽和度を算出するモードは第1モードに設定される。また、左上の領域A11のように、動き量M11が閾値で定められる特定範囲に収まっていない場合には、その領域A11の酸素飽和度を算出するモードは第2モードに設定される。モード切替部280が用いる閾値は、第1実施形態のモード切替部80で用いるものと同じである。
信号比算出部281は、モード切替部80から入力されるモード設定信号に応じて、酸素飽和度算出部283で用いる信号比を算出する。各算出モードでの信号比の算出方法等は、第1実施形態の信号比算出部81と同じであるが、信号比算出部281では、上記領域毎にモード設定信号で指定された算出モードで信号比を算出する。したがって、第1モードに設定された領域では信号比B1/G2及び信号比R2/G2を算出し、第2モードに設定された領域では信号比B1/G1及び信号比R1/G1を算出する。
酸素飽和度算出部283は、信号比算出部281から入力される各領域の信号比と、相関関係記憶部82に記憶された相関関係とに基づいて、酸素飽和度を算出する。このため、第1モードに設定された領域では、信号比B1/G2及び信号比R2/G2を用いて酸素飽和度を算出し、第2モードに設定された領域では、信号比B1/G1及び信号比R1/G1を用いて酸素飽和度を算出する。
上記のように、画像信号を複数の領域Aijに分け、各領域Aijで動き量Mijを算出し、動き量Mijの大きさに基づいて領域Aij毎に酸素飽和度を算出するモードを設定すると、観察対象の動きが部分的である場合でも正確な酸素飽和度の算出及び提示が可能である。例えば、観察対象に動きがない領域では第1モードによって特に正確な酸素飽和度の算出及び提示が維持され、かつ、観察対象に動きがあった領域では、第2モードによる酸素飽和度の正確性が確保される。
なお、図14では、3×3の領域Aijに分けているが、領域の分け方やその数は任意であり、4×5の領域に分ける等、画像信号の縦横で領域の個数が違っていても良い。また、各領域の形状は図14のように四角形でなくても良く、例えば、画像信号を同心円環状の複数の領域に分けても良い。
また、画像信号を分ける領域の最小単位は一つの画素である。この場合、各画素が上記領域であり、画素毎に動き量を算出して酸素飽和度を算出するモードを変えることになる。このように、画素毎に動き量を算出して酸素飽和度を算出するモードを変えると、酸素飽和度画像において酸素飽和度を算出するモードが異なる領域の境界が特に目立ちにくい。
[第3実施形態]
第3実施形態の内視鏡システムは、第1実施形態の信号比算出部81,酸素飽和度算出部83,画像生成部84を、図15に示す信号比算出部381,酸素飽和度算出部383,画像生成部384に置き換えたものである。また、第3実施形態の内視鏡システムでは、モード切替部80がなく、動き量算出部65が算出する動き量の入力先は画像生成部384である。これ以外の構成は、第1実施形態の内視鏡システム10と同じである。
信号比算出部381は、第1モード用信号比算出部381Aと第2モード用信号比算出部381Bとを備える。第1モード用信号比算出部381Aは、第1モードの信号比B1/G2,R2/G2を算出し、第2モード用信号比算出部381Bは、第2モードの信号比B1/G1,R1/G1を算出する。すなわち、信号比算出部381は、動き量に依らず、第1モード用の信号比B1/G2,R2/G2と、第2モード用の信号比B1/G1,R1/G1を常に両方とも算出する。第1モード用信号比算出部381A及び第2モード用信号比算出部381Bが上記信号比をそれぞれ算出する方法は第1実施形態の信号比算出部81と同様である。
酸素飽和度算出部383は、第1モード用酸素飽和度算出部383Aと第2モード用酸素飽和度算出部383Bとを備える。第1モード用酸素飽和度算出部383Aは、第1モード用信号比算出部381Aが算出した信号比B1/G2,R2/G2と、相関関係記憶部82に記憶された相関関係に基づいて、各画素の酸素飽和度を算出する。また、第2モード用酸素飽和度算出部383Bは、第2モード用信号比算出部381Bが算出した信号比B1/G1,R1/G1と、相関関係記憶部82に記憶された相関関係に基づいて、各画素の酸素飽和度を算出する。すなわち、酸素飽和度算出部383は、動き量に依らず常に、第1モードで酸素飽和度を算出し、かつ、第2モードで酸素飽和度を算出する。
画像生成部384は、第1モード画像生成部384Aと、第2モード画像生成部384Bと、重み付け合成部385とを備える。第1モード画像生成部384Aは、第1モード用酸素飽和度算出部383Aが算出した酸素飽和度と、B2画像信号,G2画像信号及びR2画像信号とを用いて酸素飽和度画像を生成する。この第1モード画像生成部384Aが生成する酸素飽和度画像(以下、第1モード画像という)は、第1実施形態で第1モードに設定された場合に算出される酸素飽和度画像である。また、第2モード画像生成部384Bは、第2モード用酸素飽和度算出部383Bが算出した酸素飽和度と、B1画像信号,G1画像信号及びR1画像信号とを用いて酸素飽和度画像を生成する。この第2モード画像生成部384Bが算出する酸素飽和度画像(以下、第2モード画像という)は、第1実施形態で第2モードに設定された場合に算出される酸素飽和度画像である。したがって、画像生成部384は、動き量に依らず常に第1モード画像と第2モード画像とを生成する。
重み付け合成部385は、第1モード画像と第2モード画像を合成することにより合成酸素飽和度画像を生成する。この合成は、動き量に基づいた重み付け係数Kを用いて行われる。具体的には、重み付け合成部385は、まず、動き量算出部65から入力される動き量に基づいて重み付け係数Kを算出する。重み付け係数Kは、「0」から「1」の値で算出され、動き量が「1」(観察対象に動きがない場合のR2/R1の値)の場合に「0」であり、予め定められた閾値と同じ値の場合に「1」である。そして、動き量が「1」から閾値までの間は、動き量の大きさに比例して「0」から「1」の範囲内の値に設定される。また、動き量が閾値を超える場合は、重み付け係数Kは「1」に設定される。重み付け係数Kを算出すると、図16に示すように、第1モード画像391に「1−K」を乗じ、第2モード画像392に「K」を乗じて、画素毎に信号値を合算することにより、合成酸素飽和度画像393を生成する。こうして生成された合成酸素飽和度画像393が表示用の酸素飽和度画像として構造強調部78に出力され、モニタ18に表示される。
上記のように合成酸素飽和度画像393を生成する場合も、図17に示すように、第1実施形態と同様に、まず、通常観察モードにおいてスクリーニングを行い(S310)、病変可能性部位を発見した場合(S311)には、モード切替SW22bを操作して、特殊観察モードに切り替え(S312)、この特殊観察モードにおいて、病変可能性部位の診断を行う。
特殊観察モードでは、第1及び第2白色光がセンサ48の撮像フレームに同期して交互に観察対象に照射されるので、センサ48は1フレーム目にR1画像信号,G1画像信号,B1画像信号を出力し、2フレーム目にR2画像信号,G2画像信号,B2画像信号を出力するので、第1実施形態と同様に、動き量算出部65によって動き量が算出される(S313)。
その後、第1実施形態では動き量に基づいて第1モードと第2モードを切り換えて酸素飽和度の算出及び酸素飽和度画像の生成を行っているが、本実施形態では、動き量に大きさ等に依らず、第1モード用の信号比B1/G2,R2/G2が算出され(S314:第1信号比算出ステップ)、かつ、第2モード用の信号比B1/G1,R1/G1が算出される(S315:第2信号比算出ステップ)。そして、第1,第2モード用の各信号比に基づいて、第1モードの酸素飽和度と、第2モードの酸素飽和度がそれぞれ算出される(S316:第1酸素飽和度算出ステップ,S317:第2酸素飽和度算出ステップ)。
こうして第1,第2各算出モードの酸素飽和度が算出されると、第1モード用の酸素飽和度を用いて第1モード画像391が生成され(S318:第1モード画像生成ステップ)、かつ、第2モード用の酸素飽和度を用いて第2モード画像392が生成される(S319:第2モード画像生成ステップ)。また、重み付け合成部385によって、ステップ313で算出された動き量に応じた重み付け係数Kが算出され(S320:重み付け係数算出ステップ)、この重み付け係数Kに応じた比率で第1モード画像391と第2モード画像392が合成され、合成酸素飽和度画像393が生成される(S321:合成ステップ)。本実施形態では、上記のように生成される合成酸素飽和度画像393が、構造強調等を経てモニタ18に表示される(S322:表示ステップ)。なお、これらの動作が、通常観察モードに切り替えられるか(S323)、診断終了(S324)まで繰り返し行われるのは第1実施形態と同様である。
上記のように、第1モード画像391と第2モード画像392を常に両方とも生成し、これらを動き量に基づいた重み付け係数K重み付けをして合成し、表示用の合成酸素飽和度画像393を生成する場合、観察対象の動きが大きければ合成酸素飽和度画像393中の第2モード画像392の比率が大きくなり、観察対象の動きが小さければ合成酸素飽和度画像393中の第1モード画像391の比率が高くなる。もちろん、観察対象の動きが小さければ、合成酸素飽和度画像393は第1モード画像391そのものになり、観察対象の動きが大きければ、合成酸素飽和度画像393は第2モード画像392そのものになる。観察対象の動きの大きさがこれらの中間の場合には、第1,第2モードで算出する各酸素飽和度の信頼度が高いほうが合成酸素飽和度画像に強く表れる。
本実施形態によれば、第1モードと第2モードの切り替わりを医師等に意識させずに、正確な酸素飽和度の算出及び提示ができる。また、第2実施形態のように領域毎に酸素飽和度を算出するモードを切り替える場合と比較すると、本実施形態の合成酸素飽和度画像393は、酸素飽和度を算出するモードが異なる隣接した領域の境界がないので視認性が良い。
なお、第2実施形態のように画像信号を複数の領域に分割し、その各領域で上記のように合成酸素飽和度画像393に対応する合成画像を生成しても良い。このように、本実施形態と第2実施形態を組み合わせると、各領域の境界が目立たなくなり、視認性が良い酸素飽和度画像を提供することができる。
[第4実施形態]
図18に示すように、第4実施形態の内視鏡システム400は、第1実施形態とは異なる動き量算出部465と酸素飽和度画像生成部476と光源制御部440とを備える。これ以外の構成は、第1実施形態の内視鏡システム10と同じである。
動き量算出部465は、過去のフレームで得られた第1画像信号のうちの一色を少なくとも一つを記憶し、この過去フレーム画像と、画像処理切替部60を介して取得する最新の第1画像信号とから、対応する特徴点をそれぞれ抽出し、その位置関係から観察対象の動きの向き及び大きさを表す動きベクトルを求め、その大きさを動き量として算出する。また、特徴点を複数抽出する場合には、例えば、それぞれから求められる動きベクトルの大きさの平均値を動き量として算出する。
酸素飽和度画像生成部476は、第1実施形態の酸素飽和度画像生成部76と同様に酸素飽和度の算出及び酸素飽和度画像の生成をするが、モード切替部80が出力するモード設定信号を、信号比算出部81だけでなく、光源制御部440にも入力する。
図19に示すように、光源制御部440は、酸素飽和度画像生成部76から入力されるモード設定信号が第1モードであった場合、第1実施形態と同様に第1青色レーザ光源(473LD)34と第2青色レーザ光源(445LD)36を撮像のフレームに同期して交互に点灯させる。一方、入力されたモード設定信号が第2モードであった場合、特殊観察モード時であっても、第1モードを設定するモード設定信号を受けるまで、光源制御部440は、第1青色レーザ光源(473LD)34だけを点灯させ続ける。この場合、1フレーム目,2フレーム目の両方とも、観察対象には第1白色光が照射され、センサ48はB1画像信号,G1画像信号,R1画像信号を出力する。このため、酸素飽和度画像生成部476は、第1モードによる酸素飽和度の算出及び酸素飽和度画像の生成を1フレーム毎に行う。
上記制御によれば、観察対象が大きく(速く)動いている間、正確な酸素飽和度の算出及び提示をしつつ、かつ、撮像及び酸素飽和度画像を表示するフレームレートが自動的に向上し、観察対象の視認性が良くなる。
なお、第1〜第3実施形態においても、本実施形態の動き量算出部465と同様の方法で動き量を算出しても良い。
[第5実施形態]
図20に示すように、内視鏡システム700の光源装置14には、第1及び第2青色レーザ光源34,36と光源制御部40の代わりに、LED(Light Emitting Diode)光源ユニット501と、LED光源制御部504が設けられている。また、内視鏡システム500の照明光学系24aには蛍光体44が設けられていない。それ以外については、第1実施形態の内視鏡システム10と同様である。
LED光源ユニット501は、特定の波長帯域に制限された光を発光する光源として、R−LED501a,G−LED501b,B−LED501cを有する。図21に示すように、R−LED501aは、例えば約600〜650nmの赤色帯域光(以下、単に赤色光という)を発光する。この赤色光の中心波長は約620〜630nmである。G−LED501bは、正規分布で表される約500〜600nmの緑色帯域光(以下、単に緑色光)を発光する。B−LED501cは、445〜460nmを中心波長とする青色帯域光(以下、単に青色光という)を発光する。
また、LED光源ユニット501は、B−LED501cが発する青色光の光路上に挿抜されるハイパスフィルタ(HPF)502を有する。ハイパスフィルタ502は、約450nm以下の波長帯域の青色光をカットし、約450nmより長波長帯域の光を透過する。
ハイパスフィルタ502のカットオフ波長(約450nm)は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数がほぼ等しい波長であり(図10参照)、この波長を境に酸化ヘモグロビンと還元ヘモグロビンの吸光係数が逆転する。本実施形態の場合、相関関係記憶部82に記憶された相関関係は、酸化ヘモグロビンの吸光係数が還元ヘモグロビンの吸光係数よりも大きい場合のものなので、カットオフ波長以下の波長帯域に基づくシグナルは、不正確な酸素飽和度が算出される原因になる。このため、少なくとも酸素飽和度を算出するためのB1画像信号を取得する時に、ハイパスフィルタ502を用いてカットオフ波長以下の波長帯域の光が観察対象に照射されないようにすることで、酸素飽和度の算出精度が向上する。
したがって、ハイパスフィルタ502は、特殊観察モード時にB−LED501cの前の挿入位置に挿入され、通常観察モード時には退避位置に退避される。ハイパスフィルタ502の挿抜は、LED光源制御部504の制御のもとで、HPF挿抜部503によって行われる。
LED光源制御部504は、LED光源ユニット501の各LED501a〜501cの点灯/消灯、及びハイパスフィルタ502の挿抜を制御する。具体的には、図22に示すように、通常観察モードの場合、LED光源制御部504は、各LED501a〜501cを全て点灯させ、ハイパスフィルタ502はB−LED501cの光路上から退避させる。これにより、青色光,緑色光,赤色光が重畳した白色光が観察対象に照射され、センサ48はその反射光により観察対象を撮像し、B,G,R各色の画像信号を出力する。
一方、図23に示すように、特殊観察モードの場合、LED光源制御部504は、各LED501a〜501cを全て点灯させた状態で、ハイパスフィルタ502をフレーム毎に挿入または退避させる。これにより、観察対象には、450nm以下の波長帯域がカットされた青色光と緑色光と赤色光とからなる第1混色光と、450nm以下の波長帯域がカットされていない青色光と緑色光と赤色光とからなる第2混色光とが交互に照射される。第1混色光は第1実施形態の第1白色光に対応し、第2混色光は第1実施形態の第2白色光に対応する。
そして、撮像制御部49では、第1混色光のもとで観察対象を撮像して得た信号電荷を1フレーム目の読出し期間に読み出して、B1画像信号,G1画像信号,R1画像信号を出力する。また、第2混色光のもとで観察対象を撮像して得た信号電荷を2フレーム目の読出期間に読み出して、B2画像信号、G2画像信号、R2画像信号を出力する。その後の処理は内視鏡システム10と同様に行うことができる。
なお、第1,第2混色光は互いに発光スペクトルが異なる第1,第2照明光であり、R−LED501a,G−LED501b,B−LED501c、及びハイパスフィルタ502は、観察対象に互いに発光スペクトルが異なる第1,第2照明光を発光する光源を構成する。
[参考例]
図24に示すように、内視鏡システム600の光源装置14には、第1及び第2青色レーザ光源34,36と光源制御部40の代わりに、広帯域光源601と、回転フィルタ602と、回転フィルタ制御部603が設けられている。また、内視鏡システム600のセンサ605は、カラーフィルタが設けられていないモノクロの撮像素子である。このため、DSP56は、デモザイク処理等のカラー撮像素子に特有の処理は行わない。それ以外については、第1実施形態の内視鏡システム10と同じである。
広帯域光源601は、例えばキセノンランプ、白色LED等からなり、波長帯域が青色から赤色に及ぶ白色光を発する。回転フィルタ602は、通常観察モード用フィルタ610と特殊観察モード用フィルタ611とを備えており(図25参照)、広帯域光源601から発せられる白色光がライトガイド41に入射される光路上に、通常観察モード用フィルタ610を配置する通常観察モード用の第1位置と、特殊観察モード用フィルタ611を配置する特殊観察モード用の第2位置との間で径方向に移動可能である。この第1位置と第2位置への回転フィルタ602の相互移動は、選択された観察モードに応じて回転フィルタ制御部603によって制御される。また、回転フィルタ602は、第1位置または第2位置に配置された状態で、センサ605の撮像フレームに応じて回転する。回転フィルタ602の回転速度は、選択された観察モードに応じて回転フィルタ制御部603によって制御される。
図25に示すように、通常観察モード用フィルタ610は、回転フィルタ602の内周部に設けられている。通常観察モード用フィルタ610は、赤色光を透過するRフィルタ610aと、緑色光を透過するGフィルタ610bと、青色光を透過するBフィルタ610cと有する。したがって、回転フィルタ602を通常光観察モード用の第1位置に配置すると、広帯域光源601からの白色光は、回転フィルタ602の回転に応じてRフィルタ610a、Gフィルタ610b、Bフィルタ610cのいずれかに入射する。このため、観察対象には、透過したフィルタに応じて、赤色光、緑色光、青色光が順次照射され、センサ605は、これらの反射光によりそれぞれ観察対象を撮像することにより、R画像信号、G画像信号、B画像信号を順次出力する。
また、特殊観察モード用フィルタ611は、回転フィルタ602の外周部に設けられている。特殊観察モード用フィルタ611は、赤色光を透過するRフィルタ611aと、緑色光を透過するGフィルタ611bと、青色光を透過するBフィルタ611cと、473±10nmの狭帯域光を透過する狭帯域フィルタ611dとを有する。したがって、回転フィルタ602を通常光観察モード用の第2位置に配置すると、広帯域光源601からの白色光は、回転フィルタ602の回転に応じてRフィルタ611a、Gフィルタ611b、Bフィルタ611c、狭帯域フィルタ611dのいずれかに入射する。このため、観察対象には、透過したフィルタに応じて、赤色光、緑色光、青色光,狭帯域光(473nm)が順次照射され、センサ605は、これらの反射光によりそれぞれ観察対象を撮像することにより、R画像信号、G画像信号、B画像信号、及び狭帯域画像信号を順次出力する。
特殊観察モードで得られるR画像信号とG画像信号は、第1実施形態のR1(またはR2)画像信号とG1(またはG2)画像信号に対応する。また、特殊観察モードで得られるB画像信号は、第1実施形態のB2画像信号に対応し、狭帯域画像信号はB1画像信号に対応する。したがって、その後の処理は第1実施形態の内視鏡システム10とほぼ同様に行うことができる。
但し、本参考例の内視鏡システムでは、酸素飽和度算出部83は、狭帯域画像信号とR画像信号とG画像信号の3つの画像信号を用いて酸素飽和度を算出する。そして、観察対象の動きが小さいと判定された場合、画像生成部84は、酸素飽和度と、R,G,Bの各画像信号を用いて酸素飽和度画像を生成する。すなわち、観察対象の動きが小さい場合は、酸素飽和度を算出し、酸素飽和度画像を生成するために合計4フレーム分の画像信号を使用し、正確な酸素飽和度を提示することができる。このモードは、第1実施形態の第1モードによる酸素飽和度の算出及び酸素飽和度画像の生成に対応する。
一方、観察対象の動きが大きいと判定された場合、画像生成部84は、算出された酸素飽和度と、狭帯域画像信号,R画像信号,G画像信号を用いて酸素飽和度画像を生成する。すなわち、観察対象の動きが大きい場合は、酸素飽和度を算出して酸素飽和度画像を生成するために合計3フレーム分の画像信号だけを使用する。このため、酸素飽和度画像中の観察対象のブレ等を抑えつつ、正確な酸素飽和度を提示することができる。このモードは、第1実施形態の第2モードによる酸素飽和度の算出及び酸素飽和度画像の生成に対応する。
なお、広帯域光源601と回転フィルタ602は、互いに発光スペクトルが異なる第1,第2照明光を発光する光源を構成する。本実施形態の場合、特殊観察モード用フィルタ611を用いることによって観察対象に照射される一連の光が第1照明光であり、通常観察モード用フィルタ610を用いることによって観察対象に照射される一連の光が第2照明光である。
なお、第1〜第5実施形態及び参考例では、信号比B1/G2と信号比R2/G2、または、信号比B1/G1と信号比R1/G1に基づいて酸素飽和度を算出しているが、信号比B1/G2または信号比B1/G1のみに基づいて酸素飽和度を算出しても良い。この場合には、相関関係記憶部82には信号比B1/G2または信号比B1/G1と酸素飽和度の相関関係を記憶しておけば良い。
第1〜第5実施形態及び参考例では、酸素飽和度を画像化した酸素飽和度画像を生成及び表示しているが、これに加えて、血液量を画像化した血液量画像を生成及び表示しても良い。血液量は信号比R2/G2(またはR1/G1)と相関があるので、信号比R2/G2(またはR1/G1)に応じて異なる色を割り当てることで、血液量を画像化した血液量画像を作成することができる。
第1〜第5実施形態及び参考例では酸素飽和度を算出しているが、これに代えて、あるいはこれに加えて、「血液量×酸素飽和度(%)」から求まる酸化ヘモグロビンインデックスや、「血液量×(1−酸素飽和度)(%)」から求まる還元ヘモグロビンインデックス等、他の生体機能情報を算出しても良い。
第1〜第5実施形態及び参考例では、センサ48としてCCDイメージセンサを用いているが、センサ48としてCMOSイメージセンサを用いても良い。但し、CMOSイメージセンサはいわゆるローリングシャッタ方式で駆動され、画素の行(1〜N行の各行)毎に順に信号電荷の蓄積及び読み出しが行われる。このため、各行の信号電荷の蓄積及び読み出しのタイミングが行毎に異なるので、第1白色光と第2白色光の切り替えは読み出しのタイミングに合わせて行うことが望ましい。例えば、図26に示すように、通常観察モード時には、N行目の蓄積開始(時刻T1)から1行目の蓄積完了(時刻T2)までの間、第2白色光の照射を行う一方、1行目の読み出し開始(時刻T2)からN行目の読み出し完了(時刻T3)までの間、第2白色光の照射を停止させる。また、図27に示すように、特殊観察モード時には、N行目の蓄積開始(時刻T1)から1行目の蓄積完了(時刻T2)までの間、第2白色光の照射を行う一方、1行目の読み出し開始(時刻T2)からN行目の読み出し完了(時刻T3)までの間、第2白色光の照射を停止させる。そして、次のフレームにおいて、N行目の蓄積開始(時刻T3)から1行目の蓄積完了(時刻T4)までの間、第1白色光の照射を行う一方、1行目の読み出し開始(時刻T4)からN行目の読み出し完了(時刻T5)までの間、第1白色光の照射を停止させる。こうすると、各行の実質的な電荷蓄積期間の長さ(露光量)を統一し、かつ、第1白色光による信号と第2白色光による信号が混ざるのを防ぐことができるので、センサ48としてCMOSイメージセンサを用いる場合でも上記各実施形態のように正確な酸素飽和度を算出することができる。第1,第2青色レーザ光源34,36の代わりに、LED光源ユニット501や、広帯域光源601及び回転フィルタ602を用いる場合も同様である。
なお、第1〜第5実施形態及び参考例では相関関係記憶部82に記憶された相関関係を第1モードと第2モードとで共通に用いているが、図28に示すように、第1モード用相関関係82Aと第2モード用相関関係82Bをそれぞれ相関関係記憶部82に記憶しておき、各算出モードで各々対応する相関関係を使用しても良い。