以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
顕微鏡を用いて標本を観察する場合、1度に観察可能な範囲(視野範囲)は、主に対物レンズの倍率によって決定される。ここで、対物レンズの倍率が高いほど高精細な画像が得られる反面、視野範囲が狭くなる。この種の問題を解決するため、従来から、標本を載置する電動ステージを動かす等して視野範囲を移動させながら、倍率の高い対物レンズを用いて標本像を部分毎に撮像し、撮像した部分毎の画像を繋ぎ合わせることによって高精細でかつ広視野の画像を生成するといったことが行われており(例えば特許文献4や特許文献5を参照)、バーチャル顕微鏡システムと呼ばれている。以下、バーチャル顕微鏡システムで生成される高精細かつ広視野の画像を、「VS画像」と呼ぶ。
このバーチャル顕微鏡システムによれば、実際に標本が存在しない環境であっても観察が行える。また、生成したVS画像をネットワークを介して閲覧可能に公開しておけば、時間や場所を問わずに標本の観察が行える。このため、バーチャル顕微鏡システムは、病理診断の教育現場、あるいは遠隔地に在る病理医間のコンサルテーション等で活用されている。以下では、本発明をこのバーチャル顕微鏡システムに適用した場合を例にとって説明する。
(実施の形態1)
実施の形態1は、所定の細胞コンポーネント上に存在(発現)する標的分子の有無を抽出条件として設定し、抽出条件に合致する標本内の箇所を標的部位として抽出するものである。ここで、細胞コンポーネントとは、細胞を構成する細胞構成要素である細胞核や細胞膜、細胞質等を包括した呼称である。
先ず、観察・診断対象とする標本(以下、「対象標本」と呼ぶ。)について説明する。対象標本は、複数の色素で多重染色された多重染色標本である。より具体的には、対象標本は、その形態を観察するための形態観察染色と、分子情報の発現を確認するための分子標的染色とを施したものであり、組織診用の標本および細胞診用の標本を含む。また、細胞診では、例えば細胞集塊の立体構造等の細胞内の構造を観察するためにセルブロック法によって標本(セルブロック)を作製する場合があるが、細胞診用の標本は、このセルブロックを含む。
形態観察染色は、細胞核や細胞質、結合組織等を染色して可視化するものである。この形態観察染色によれば、組織を構成する要素の大きさや位置関係等を把握でき、標本の状態を形態学的に判断することが可能となる。ここで、形態観察染色としては、上記したHE染色やPap染色の他、ヘマトキシリン染色(E染色)、ギムザ染色、エラスチカワンギーソン染色といった特殊染色、HE染色と併せて弾性繊維を特異的に染色するビクトリア青染色を施す3重染色等がある。なお、Pap染色やギムザ染色は、細胞診用標本を対象とした染色手法である。
一方、分子標的染色の中のIHC法又はICC法は、局在を検討したい物質(主にタンパク質)に対する特異的な抗体を組織に作用させてその物質に結合させることにより、その状態を可視化するものである。例えば、抗原に結合した抗体の局在を酵素反応による発色によって可視化する酵素抗体法が知られており、酵素としては、例えばペルオキシダーゼやアルカリホスファターゼが汎用的に用いられている。
すなわち、以下の説明において標本を染色する色素とは、染色によって可視化される色成分と、例えば酵素反応による発色等によって可視化される色成分とを含む意味である。以下、形態観察染色によって可視化される色素を「形態観察色素」と呼び、分子標的染色によって可視化される色素を「分子標的色素」と呼び、実際に対象標本を染色している色素を「染色色素」と呼ぶ。
また、実施の形態1では、前述のように対象標本を染色している染色色素である形態観察染色または分子標的染色のうちの少なくともいずれか1つが、細胞コンポーネントを同定するための細胞コンポーネント同定用染色に相当する。この細胞コンポーネント同定用染色は、細胞コンポーネントである細胞核、細胞膜または細胞質を特異的に染色するものであり、以下、細胞核を同定するための細胞コンポーネント同定用染色によって可視化される染色色素のことを適宜「細胞核同定用色素」と呼び、細胞膜を同定するための細胞コンポーネント同定用染色によって可視化される染色色素のことを適宜「細胞膜同定用色素」と呼び、細胞質を同定するための細胞コンポーネント同定用染色によって可視化される色素染色色素のことを適宜「細胞質同定用色素」と呼び、細胞核同定用色素と細胞膜同定用色素と細胞質同定用色素とを包括して「細胞コンポーネント同定用色素」と呼ぶ。この細胞コンポーネント同定用色素は、要素特定用色素に相当する。
より具体的には、実施の形態1で観察・診断対象として例示する対象標本は、形態観察染色としてヘマトキシリン(以下、「H色素」と呼ぶ。)およびエオジン(以下、「E色素」と呼ぶ。)の2つの色素を用いたHE染色を施した組織標本である。加えて、この組織標本に、分子標的染色として、EGFR受容体を認識するEGFR抗体を用い、DAB反応による発色(以下、「DAB色素」と呼ぶ。)で標識を施したものである。さらに、上皮細胞の細胞膜上に発現(存在)する糖蛋白の一種である上皮特異抗原ESA(Epithelial Specific Antigen)を認識するESA抗体を用い、ニューフクシンによる発色(以下、「NF色素」と呼ぶ。)で標識を施したものである。すなわち、実施の形態1において観察・診断対象とする対象標本の染色色素は、H色素、E色素、DAB色素およびNF色素の4種類であり、H色素によって細胞核が青紫色に染色され、E色素によって細胞質や結合組織が薄赤色に染色され、DAB色素によってEGFR受容体が茶褐色に標識され、NF色素によって上皮細胞の細胞膜が赤色に標識されたものである。そして、実施の形態1では、これら4つの染色色素のうちのH色素を細胞核同定用色素、NF色素を細胞膜同定用色素としてそれぞれ用い、細胞膜上にEGFR受容体が発現している対象標本内の箇所を標的部位として抽出する場合を例にとって説明する。
なお、細胞膜の同定は、上皮細胞の細胞膜上の糖蛋白の一種である上皮特異抗原ESAを認識するESA抗体を用い、NF色素による標識を施して行う場合に限定されるものではない。例えば、上皮細胞の細胞膜上に発現する接着分子であるEカドヘリン抗体を用いることとしてもよいし、ESA抗体とEカドヘリン抗体との両方を用いることとしてもよい。また、あるいは、細胞膜を特異的に染色する特殊染色を施すこととしてもよい。
また、本発明は、酵素抗体法によって多重に染色された標本を観察する場合にも適用できる。また、酵素抗体法によって染色された標本に限定されるものではなく、例えばCISH法で標識された標本にも適用できる。あるいは、IHC法およびCISH法で同時標識された(多重に染色された)標本にも適用できる。
次に、実施の形態1の顕微鏡システム1の構成について説明する。図1は、顕微鏡システム1の全体構成例を説明する模式図である。また、図2は、顕微鏡システム1を構成するホストシステム4の主要な機能構成を示すブロック図である。図1に示すように、顕微鏡システム1は、顕微鏡装置2とホストシステム4とがデータの送受可能に接続されて構成される。以下、図1に示す対物レンズ27の光軸方向をZ方向とし、Z方向と垂直な平面をXY平面として定義する。
顕微鏡装置2は、対象標本Sが載置される電動ステージ21と、側面視略コの字状を有し、電動ステージ21を支持するとともにレボルバ26を介して対物レンズ27を保持する顕微鏡本体24と、顕微鏡本体24の底部後方(図1の右方)に配設された光源28と、顕微鏡本体24の上部に載置された鏡筒29とを備える。また、鏡筒29には、対象標本Sの標本像を目視観察するための双眼部31と、対象標本Sの標本像を撮像するためのTVカメラ32が取り付けられている。
電動ステージ21は、XYZ方向に移動自在に構成されている。具体的には、電動ステージ21は、モータ221およびこのモータ221の駆動を制御するXY駆動制御部223によってXY平面内で移動自在である。XY駆動制御部223は、顕微鏡コントローラ33の制御のもと、図示しないXY位置の原点センサによって電動ステージ21のXY平面における所定の原点位置を検知し、この原点位置を基点としてモータ221の駆動量を制御することによって、対象標本S上の観察箇所を移動させる。そして、XY駆動制御部223は、観察時の電動ステージ21のX位置およびY位置を適宜顕微鏡コントローラ33に出力する。また、電動ステージ21は、モータ231およびこのモータ231の駆動を制御するZ駆動制御部233によってZ方向に移動自在である。Z駆動制御部233は、顕微鏡コントローラ33の制御のもと、図示しないZ位置の原点センサによって電動ステージ21のZ方向における所定の原点位置を検知し、この原点位置を基点としてモータ231の駆動量を制御することによって、所定の高さ範囲内の任意のZ位置に対象標本Sを焦準移動させる。そして、Z駆動制御部233は、観察時の電動ステージ21のZ位置を適宜顕微鏡コントローラ33に出力する。
レボルバ26は、顕微鏡本体24に対して回転自在に保持され、対物レンズ27を対象標本Sの上方に配置する。対物レンズ27は、レボルバ26に対して倍率(観察倍率)の異なる他の対物レンズとともに交換自在に装着されており、レボルバ26の回転に応じて観察光の光路上に挿入されて対象標本Sの観察に用いる対物レンズ27が択一的に切り換えられるようになっている。なお、実施の形態1では、レボルバ26は、対物レンズ27として、例えば2倍,4倍といった比較的倍率の低い対物レンズ(以下、適宜「低倍対物レンズ」と呼ぶ。)と、10倍,20倍,40倍といった低倍対物レンズの倍率に対して高倍率である対物レンズ(以下、適宜「高倍対物レンズ」と呼ぶ。)とを少なくとも1つずつ保持していることとする。ただし、低倍および高倍とした倍率は一例であり、少なくとも一方の倍率が他方の倍率に対して高ければよい。
顕微鏡本体24は、底部において対象標本Sを透過照明するための照明光学系を内設している。この照明光学系は、光源28から射出された照明光を集光するコレクタレンズ251、照明系フィルタユニット252、視野絞り253、開口絞り254、照明光の光路を対物レンズ27の光軸に沿って偏向させる折曲げミラー255、コンデンサ光学素子ユニット256、トップレンズユニット257等が、照明光の光路に沿って適所に配置されて構成される。光源28から射出された照明光は、照明光学系によって対象標本Sに照射され、観察光として対物レンズ27に入射する。
また、顕微鏡本体24は、その上部においてフィルタユニット30を内設している。フィルタユニット30は、標本像として結像する光の波長帯域を所定範囲に制限するための光学フィルタ303を回転自在に保持し、この光学フィルタ303を、適宜対物レンズ27後段において観察光の光路上に挿入する。対物レンズ27を経た観察光は、このフィルタユニット30を経由して鏡筒29に入射する。
鏡筒29は、フィルタユニット30を経た観察光の光路を切り換えて双眼部31またはTVカメラ32へと導くビームスプリッタ291を内設している。対象標本Sの標本像は、このビームスプリッタ291によって双眼部31内に導入され、接眼レンズ311を介して検鏡者に目視観察される。あるいはTVカメラ32によって撮像される。TVカメラ32は、標本像(詳細には対物レンズ27の視野範囲)を結像するCCDやCMOS等の撮像素子を備えて構成され、標本像を撮像し、標本像の画像データをホストシステム4に出力する。
ここで、フィルタユニット30について詳細に説明する。フィルタユニット30は、TVカメラ32によって標本像をマルチバンド撮像する際に用いられる。図3は、フィルタユニット30の構成を説明する模式図である。図3に示すフィルタユニット30は、光学素子を装着するための装着穴が例えば3つ形成された回転式の光学フィルタ切換部301を有し、この3つの装着穴のうちの2つにそれぞれ異なる分光透過率特性を有する2枚の光学フィルタ303(303a,303b)が装着され、残りの1つの穴が空穴305として構成されている。
図4は、一方の光学フィルタ303aの分光透過率特性を示す図であり、図5は、他方の光学フィルタ303bの分光透過率特性を示す図である。図4,5に示すように、各光学フィルタ303a,303bは、それぞれTVカメラ32のR,G,B各バンドを2分割する分光特性を有している。対象標本Sをマルチバンド撮像する場合は先ず、光学フィルタ切換部301を回転させて光学フィルタ303aを観察光の光路上に挿入し、TVカメラ32によって標本像の第1の撮像を行う。次いで、光学フィルタ切換部301の回転によって光学フィルタ303bを観察光の光路上に挿入し、TVカメラ32によって標本像の第2の撮像を行う。この第1の撮像及び第2の撮像によって、それぞれ3バンドの画像が得られ、双方を合わせることによって6バンドのマルチバンド画像(分光スペクトル画像)が得られる。
このように、フィルタユニット30を用いて標本像をマルチバンド撮像する場合には、光源28から射出されて照明光学系によって対象標本Sに照射された照明光は、観察光として対物レンズ27に入射し、その後光学フィルタ303aまたは光学フィルタ303bを経由してTVカメラ32の撮像素子上に結像する。図6は、標本像をTVカメラ32で撮像する際のR,G,B各バンドの分光感度の例を示す図である。
なお、通常の撮像を行う場合(標本像のRGB画像を撮像する場合)には、図3の光学フィルタ切換部301を回転させて空穴305を観察光の光路上に配置すればよい。また、ここでは、光学フィルタ303a,303bを対物レンズ27後段に配置する場合を例示したが、これに限定されるものではなく、光源28からTVカメラ32に至る光路上のいずれかの位置に配置することとしてよい。また、光学フィルタの数は2枚に限定されず、適宜3枚以上の光学フィルタを用いてフィルタユニットを構成してよく、マルチバンド画像のバンド数も6バンドに限定されるものではない。例えば、特許文献1に開示されている技術を用い、16枚のバンドパスフィルタを切り換えながら面順次方式でマルチバンド画像を撮像し、16バンドのマルチバンド画像を撮像するようにしてもよい。また、マルチバンド画像を撮像する構成は、光学フィルタを切り換える手法に限定されるものではない。例えば、複数のTVカメラを用意する。そして、ビームスプリッタ等を介して各TVカメラに観察光を導き、分光特性を相補的に補完する結像光学系を構成してもよい。これによれば、各TVカメラで同時に標本像を撮像し、これらを合わせることによって1度にマルチバンド画像が得られるので、処理の高速化が図れる。
そして、顕微鏡装置2は、図1に示すように、顕微鏡コントローラ33とTVカメラコントローラ34とを備える。顕微鏡コントローラ33は、ホストシステム4の制御のもと、顕微鏡装置2を構成する各部の動作を統括的に制御する。例えば、顕微鏡コントローラ33は、レボルバ26を回転させて観察光の光路上に配置する対物レンズ27を切り換える処理や、切り換えた対物レンズ27の倍率等に応じた光源28の調光制御や各種光学素子の切り換え、あるいはXY駆動制御部223やZ駆動制御部233に対する電動ステージ21の移動指示等、対象標本Sの観察に伴う顕微鏡装置2の各部の調整を行うとともに、各部の状態を適宜ホストシステム4に通知する。TVカメラコントローラ34は、ホストシステム4の制御のもと、自動ゲイン制御のON/OFF切換、ゲインの設定、自動露出制御のON/OFF切換、露光時間の設定等を行ってTVカメラ32を駆動し、TVカメラ32の撮像動作を制御する。
一方、ホストシステム4は、入力部41、表示部43、処理部45、記録部47等を備える。
入力部41は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた操作信号を処理部45に出力する。表示部43は、LCDやELディスプレイ等の表示装置によって実現されるものであり、処理部45から入力される表示信号をもとに各種画面を表示する。
処理部45は、CPU等のハードウェアによって実現される。この処理部45は、入力部41から入力される入力信号や、顕微鏡コントローラ33から入力される顕微鏡装置2各部の状態、TVカメラ32から入力される画像データ、記録部47に記録されるプログラムやデータ等をもとにホストシステム4を構成する各部への指示やデータの転送等を行い、あるいは顕微鏡コントローラ33やTVカメラコントローラ34に対する顕微鏡装置2各部の動作指示を行い、顕微鏡システム1全体の動作を統括的に制御する。そして例えば、処理部45は、電動ステージ21をZ方向に移動させながら、TVカメラ32から入力される画像データをもとに各Z位置における画像のコントラストを評価し、合焦している焦点位置(合焦位置)を検出するAF(自動焦点)の処理を行う。また、処理部45は、TVカメラ32から入力される画像データの記録部47への記録処理や表示部43への表示処理に際し、JPEGやJPEG2000等の圧縮方式に基づく圧縮処理や伸張処理を行う。この処理部45は、VS画像生成部451と、表示処理手段としてのVS画像表示処理部454とを備える。
VS画像生成部451は、標本像の低解像画像および高解像画像を取得してVS画像を生成する。ここで、VS画像とは、顕微鏡装置2によって撮像した1枚または2枚以上の画像を繋ぎ合せて生成した画像のことであるが、以下では、高倍対物レンズを用いて対象標本Sを部分毎に撮像した複数の高解像画像を繋ぎ合せて生成した画像であって、対象標本Sの全域を映した広視野で且つ高精細のマルチバンド画像のことをVS画像と呼ぶ。
このVS画像生成部451は、低解像画像取得処理部452と、画像取得手段および標本画像生成手段としての高解像画像取得処理部453とを含む。低解像画像取得処理部452は、顕微鏡装置2各部の動作指示を行って標本像の低解像画像を取得する。高解像画像取得処理部453は、顕微鏡装置2各部の動作指示を行って標本像の高解像画像を取得する。ここで、低解像画像は、対象標本Sの観察に低倍対物レンズを用い、RGB画像として取得される。これに対し、高解像画像は、対象標本Sの観察に高倍対物レンズを用い、マルチバンド画像として取得される。
VS画像表示処理部454は、VS画像をもとに対象標本S上の各標本位置を染色している染色色素毎の色素量を算出するとともに、所定の抽出条件に従って標的部位の領域を抽出し、VS画像の表示用のRGB画像(表示画像)を生成して表示部43に表示する処理を行う。このVS画像表示処理部454は、染色色素設定部455と、細胞コンポーネント同定用色素設定部456と、色素量取得手段としての色素量算出部457と、要素領域特定手段としての細胞コンポーネント同定処理部458と、抽出条件設定手段としての抽出条件設定部459と、標的部位抽出手段としての標的部位抽出部460と、表示対象選択処理部461と、表示画像生成手段としての表示画像生成部462と、擬似表示色割当部463とを含む。
染色色素設定部455は、入力部41を介してユーザによる染色色素の登録操作を受け付け、操作入力に従って染色色素を設定する。細胞コンポーネント同定用色素設定部456は、入力部41を介してユーザによる細胞コンポーネント同定用色素の選択操作を受け付け、操作入力に従って細胞コンポーネント同定用色素を設定する。
色素量算出部457は、VS画像を構成する画素毎に対応する対象標本S上の各標本位置における分光透過率を推定し、推定した分光透過率(推定スペクトル)をもとに各標本位置における染色色素毎の色素量を算出する。細胞コンポーネント同定処理部458は、細胞コンポーネント同定用色素設定部456によって細胞コンポーネント同定用色素が設定された細胞コンポーネントの同定を行う。
抽出条件設定部459は、入力部41を介してユーザによる抽出条件の設定操作を受け付け、操作入力に従って標的部位の抽出条件を設定する。標的部位抽出部460は、抽出条件設定部459によって設定された抽出条件を満たす対象標本S内の標的部位の領域を抽出する。
表示対象選択処理部461は、入力部41を介してユーザによる表示対象の染色色素および/または標的部位の選択操作を受け付け、操作入力に従って表示対象を選択する。表示画像生成部462は、表示対象選択処理部461によって選択された表示対象を表したVS画像の表示画像を生成し、表示部43に表示する処理を行う。実施の形態1では、表示画像生成部462は、表示対象として染色色素が選択された場合には、選択された染色色素の染色状態を表した表示画像を生成する。また、表示対象として標的部位が選択された場合には、標的部位の領域を表した表示画像を生成する。そして、表示対象として染色色素および標的部位が選択された場合には、選択された染色色素の染色状態を表し、且つ標的部位を識別表示した表示画像を生成する。擬似表示色割当部463は、入力部41を介してユーザによる擬似表示色の割当操作を受け付け、操作入力に従って適宜染色色素に擬似表示色を割り当てる。
記録部47は、更新記憶可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、CD−ROM等の記憶媒体およびその読書装置等によって実現されるものである。この記録部47には、ホストシステム4を動作させ、このホストシステム4が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が記録される。
そして、記録部47には、処理部45をVS画像生成部451として機能させてVS画像生成処理を実現するためのVS画像生成プログラム471と、処理部45をVS画像表示処理部454として機能させてVS画像表示処理を実現するためのVS画像表示処理プログラム473とが記録される。また、記録部47には、VS画像ファイル5が記録される。このVS画像ファイル5の詳細については後述する。
また、記録部47には、擬似表示色データ475が記録される。図7は、擬似表示色の分光透過率特性(スペクトル)の一例を示す図であり、図7では、2種類の擬似表示色C1および擬似表示色C2のスペクトルとともに、染色色素であるH色素、E色素、DAB色素およびNF色素のスペクトルを示している。実施の形態1では、図7にそれぞれ実線で示す擬似表示色C1や擬似表示色C2のように、染色色素のスペクトルとは異なるスペクトルであって、例えばH色素やE色素と比べて彩度の高いスペクトルを有する擬似表示色のスペクトルを用意する。そして、擬似表示色データ475として予め記録部47に記録しておき、この擬似表示色のスペクトルをユーザ操作に応じて適宜染色色素のスペクトルとして用いる。
なお、ホストシステム4は、CPUやビデオボード、メインメモリ等の主記憶装置、ハードディスクや各種記憶媒体等の外部記憶装置、通信装置、表示装置や印刷装置等の出力装置、入力装置、各部を接続し、あるいは外部入力を接続するインターフェース装置等を備えた公知のハードウェア構成で実現でき、例えばワークステーションやパソコン等の汎用コンピュータを利用することができる。
次に、実施の形態1におけるVS画像生成処理およびVS画像表示処理の処理について順番に説明する。先ず、VS画像生成処理について説明する。図8は、ホストシステム4の処理部45がVS画像生成処理を行うことによって実現される顕微鏡システム1の動作を示すフローチャートである。なお、ここで説明する顕微鏡システム1の動作は、VS画像生成部451が記録部47に記録されたVS画像生成プログラム471を読み出して実行することによって実現される。
図8に示すように、先ずVS画像生成部451の低解像画像取得処理部452が、対象標本Sの観察に用いる対物レンズ27を低倍対物レンズに切り換える指示を顕微鏡コントローラ33に出力する(ステップa1)。これに応答して顕微鏡コントローラ33は、必要に応じてレボルバ26を回転させ、低倍対物レンズを観察光の光路上に配置する。
続いて、低解像画像取得処理部452は、フィルタユニット30を空穴305に切り換える指示を顕微鏡コントローラ33に出力する(ステップa3)。これに応答して、顕微鏡コントローラ33は、必要に応じてフィルタユニット30の光学フィルタ切換部301を回転させ、空穴305を観察光の光路上に配置する。
続いて、低解像画像取得処理部452は、顕微鏡コントローラ33やTVカメラコントローラ34に対する顕微鏡装置2各部の動作指示を行って、標本像の低解像画像(RGB画像)を取得する(ステップa5)。
図9は、電動ステージ21上に載置されるスライドガラス標本6の一例を示す図である。図1に示した電動ステージ21上の対象標本Sは、実際には、図9に示すように、スライドガラス60上に対象標本Sを載置したスライドガラス標本6として電動ステージ21上に載置される。対象標本Sは、スライドガラス60上の予め定められた所定の領域(例えば、スライドガラス60の図9に向かって左側の例えば縦:25mm×横:50mmの領域)である標本サーチ範囲61に載置されるようになっている。そして、このスライドガラス60には、標本サーチ範囲61に載置した対象標本Sに関する情報を記載したシール63が予め定められた所定の領域(例えば標本サーチ範囲61の右側の領域)に貼付される。このシール63には、例えば、対象標本Sを特定するための識別情報であるスライド標本番号を所定の規格に従ってコード化したバーコードが印字され、顕微鏡システム1を構成する図示しないバーコードリーダによって読み取られるようになっている。
図8のステップa5の低解像画像取得処理部452による動作指示に応答して、顕微鏡装置2は、図9に示すスライドガラス60の標本サーチ範囲61の画像を撮像する。具体的には、ステップa1で切り換えた低倍対物レンズの倍率に応じて定まる視野範囲(換言すると、対象標本Sの観察に低倍対物レンズを用いたときのTVカメラ32の撮像範囲)のサイズをもとに標本サーチ範囲61を分割し、分割した区画サイズに従って電動ステージ21をXY平面内で移動させながら、標本サーチ範囲61の標本像を区画毎にTVカメラ32で順次撮像していく。ここで撮像された画像データはホストシステム4に出力され、低解像画像取得処理部452において標本像の低解像画像として取得される。
そして、低解像画像取得処理部452は、図8に示すように、ステップa5で取得した区画毎の低解像画像を結合し、図9の標本サーチ範囲61を映した1枚の画像をスライド標本全体画像として生成する(ステップa7)。
続いて、高解像画像取得処理部453が、対象標本Sの観察に用いる対物レンズ27を高倍対物レンズに切り換える指示を顕微鏡コントローラ33に出力する(ステップa9)。これに応答して顕微鏡コントローラ33は、レボルバ26を回転させ、高倍対物レンズを観察光の光路上に配置する。
続いて、高解像画像取得処理部453は、ステップa7で生成したスライド標本全体画像をもとに、図9の標本サーチ範囲61内の実際に対象標本Sが載置されている標本領域65を自動抽出して決定する(ステップa11)。この標本領域の自動抽出は、公知の手法を適宜採用して行うことができる。例えば、スライド標本全体画像の各画素を2値化して標本の有無を画素毎に判定し、対象標本Sを映した画素と判定された画素範囲を囲う矩形領域を標本領域として決定する。なお、入力部41を介してユーザによる標本領域の選択操作を受け付け、操作入力に従って標本領域を決定することとしてもよい。
続いて、高解像画像取得処理部453は、スライド標本全体画像からステップa11で決定した標本領域の画像(標本領域画像)を切り出し、この標本領域画像の中から合焦位置を実測する位置を選出してフォーカス位置を抽出する(ステップa13)。
図10は、スライド標本全体画像から切り出した標本領域画像7の一例を示す図であり、図10では、図9の標本領域65の画像を示している。先ず高解像画像取得処理部453は、図10に示すように、標本領域画像7を格子状に分割し、複数の小区画を形成する。ここで、小区画の区画サイズは、ステップa9で切り換えた高倍対物レンズの倍率に応じて定まる視野範囲(換言すると、対象標本Sの観察に高倍対物レンズを用いたときのTVカメラ32の撮像範囲)のサイズに相当する。
次いで高解像画像取得処理部453は、形成した複数の小区画の中から、図10に示すように、フォーカス位置とする小区画を選出する。これは、全ての小区画について合焦位置を実測しようとすると処理時間が増大してしまうためであり、例えば各小区画の中から所定数の小区画をランダムに選出する。あるいは、フォーカス位置とする小区画を例えば所定数の小区画おきに選出する等、所定の規則に従って選出してもよい。また、小区画の数が少ない場合には、全ての小区画をフォーカス位置として選出するようにしてもよい。そして、高解像画像取得処理部453は、標本領域画像7の座標系(x,y)における選出した小区画の中心座標を算出するとともに、算出した中心座標を顕微鏡装置2の電動ステージ21の座標系(X,Y)に変換してフォーカス位置を得る。なお、この座標変換は、対象標本Sの観察に用いる対物レンズ27の倍率、あるいはTVカメラ32を構成する撮像素子の画素数や画素サイズ等に基づいて行われ、例えば特許文献4に記載の公知技術を適用して実現できる。
続いて、高解像画像取得処理部453は、図8に示すように、顕微鏡コントローラ33やTVカメラコントローラ34に対する顕微鏡装置2各部の動作指示を行って、フォーカス位置の合焦位置を測定する(ステップa15)。このとき、高解像画像取得処理部453は、抽出した各フォーカス位置を顕微鏡コントローラ33に出力する。これに応答して、顕微鏡装置2は、電動ステージ21をXY平面内で移動させて各フォーカス位置を順次対物レンズ27の光軸位置に移動させる。そして、顕微鏡装置2は、各フォーカス位置で電動ステージ21をZ方向に移動させながらTVカメラ32によってフォーカス位置の画像データを取り込む。取り込まれた画像データはホストシステム4に出力され、高解像画像取得処理部453において取得される。高解像画像取得処理部453は、各Z位置における画像データのコントラストを評価して各フォーカス位置における対象標本Sの合焦位置(Z位置)を測定する。
高解像画像取得処理部453は、以上のようにして各フォーカス位置における合焦位置を測定したならば、続いて、各フォーカス位置の合焦位置の測定結果をもとにフォーカスマップを作成し、記録部47に記録する(ステップa17)。具体的には、高解像画像取得処理部453は、ステップa13でフォーカス位置として抽出されなかった小区画の合焦位置を、近傍するフォーカス位置の合焦位置で補間演算することによって全ての小区画について合焦位置を設定し、フォーカスマップを作成する。
図11は、フォーカスマップのデータ構成例を説明する図である。図11に示すように、フォーカスマップは、配列番号と電動ステージ位置とを対応付けたデータテーブルである。配列番号は、図10に示した標本領域画像7の各小区画を示している。具体的には、xで示す配列番号は、左端を初順としてx方向に沿って各列に順番に付した通し番号であり、yで示す配列番号は、最上段を初順としてy方向に沿って各行に順番に付した通し番号である。なお、zで示す配列番号は、VS画像を3次元画像として生成する場合に設定される値である。電動ステージ位置は、対応する配列番号が示す標本領域画像の小区画について合焦位置と設定された電動ステージ21のX,Y,Zの各位置である。例えば、(x,y,z)=(1,1,−)の配列番号は、図10の小区画71を示しており、座標系(x,y)における小区画71の中心座標を電動ステージ21の座標系(X,Y)に変換したときのX位置及びY位置が、X11およびY11にそれぞれ相当する。また、この小区画について設定した合焦位置(Z位置)がZ11に相当する。
続いて高解像画像取得処理部453は、図8に示すように、フィルタユニット30を光学フィルタ303a,303bに切り換える指示を顕微鏡コントローラ33に順次出力するとともに、フォーカスマップを参照しながら顕微鏡コントローラ33やTVカメラコントローラ34に対する顕微鏡装置2各部の動作指示を行って、標本領域画像の小区画毎に標本像をマルチバンド撮像し、高解像画像(以下、適宜「標本領域区画画像」と呼ぶ。)を取得する(ステップa19)。
これに応答して、顕微鏡装置2は、フィルタユニット30の光学フィルタ切換部301を回転させ、先ず光学フィルタ303aを観察光の光路上に配置した状態で電動ステージ21を移動させながら、標本領域画像の小区画毎の標本像をそれぞれの合焦位置においてTVカメラ32で順次撮像していく。次いで、観察光の光路上に光学フィルタ303bを切り換えて配置し、同様にして標本領域画像の小区画毎の標本像を撮像する。ここで撮像された画像データはホストシステム4に出力され、高解像画像取得処理部453において標本像の高解像画像(標本領域区画画像)として取得される。
続いて高解像画像取得処理部453は、ステップa19で取得した高解像画像である標本領域区画画像を結合し、図9の標本領域65の全域を映した1枚の画像をVS画像として生成する(ステップa21)。
なお、上記のステップa13〜ステップa21では、標本領域画像を高倍対物レンズの視野範囲に相当する小区画に分割することとした。そして、この小区画毎に標本像を撮像して標本領域区画画像を取得し、これらを結合してVS画像を生成することとした。これに対し、隣接する標本領域区画画像がその隣接位置で互いに一部重複(オーバーラップ)するように小区画を設定するようにしてもよい。そして、隣接する標本領域区画画像間の位置関係が合うように貼り合わせて合成し、1枚のVS画像を生成するようにしてもよい。具体的な処理は、例えば特許文献4や特許文献5に記載の公知技術を適用して実現できるが、この場合には、取得される各標本領域区画画像の端部部分がそれぞれ隣接する標本領域区画画像との間で重複するように、小区画の区画サイズを高倍対物レンズの視野範囲よりも小さいサイズに設定する。このようにすれば、電動ステージ21の移動制御の精度が低く、隣接する標本領域区画画像間が不連続となる場合であっても、重複部分によって繋ぎ目が連続した自然なVS画像を生成できる。
以上説明したVS画像生成処理の結果、対象標本Sの全域を映した広視野で且つ高精細なマルチバンド画像が得られる。ここで、ステップa1〜ステップa21の処理は自動的に行われる。このため、ユーザは、対象標本S(詳細には図9のスライドガラス標本6)を電動ステージ21上に載置し、入力部41を介してVS画像生成処理の開始指示操作を入力するだけでよい。なお、ステップa1〜ステップa21の各ステップで適宜処理を中断し、ユーザの操作を介在可能に構成してもよい。例えば、ステップa9の後の操作入力に従って、使用する高倍対物レンズを別の倍率の対物レンズに変更する処理や、ステップa11の後の操作入力に従って、決定した標本領域を修正する処理、ステップa13の後の操作入力に従って、抽出したフォーカス位置を変更、追加または削除する処理等を適宜行うようにしてもよい。
図12〜図14は、VS画像生成処理の結果得られて記録部47に記録されるVS画像ファイル5のデータ構成例を説明する図である。図12(a)に示すように、VS画像ファイル5は、付帯情報51と、スライド標本全体画像データ52と、VS画像データ53とを含む。
付帯情報51には、図12(b)に示すように、観察法511やスライド標本番号512、スライド標本全体画像の撮像倍率513、染色情報514、データ種別518等が設定される。
観察法511は、VS画像の生成に用いた顕微鏡装置2の観察法であり、実施の形態1では、例えば「明視野観察法」が設定される。暗視野観察や蛍光観察、微分干渉観察等の他の観察法で標本の観察が可能な顕微鏡装置を用いた場合には、VS画像を生成したときの観察法が設定される。
スライド標本番号512には、例えば図9に示したスライドガラス標本6のシール63から読み取ったスライド標本番号が設定される。このスライド標本番号は、例えば、スライドガラス標本6に固有に割り当てられたIDであり、これによって、対象標本Sを個別に識別できる。スライド標本全体画像の撮像倍率513には、スライド標本全体画像の取得時に用いた低倍対物レンズの倍率が設定される。スライド標本全体画像データ52は、スライド標本全体画像の画像データである。
染色情報514には、対象標本Sを染色している染色色素が設定される。すなわち、実施の形態1では、H色素、E色素、DAB色素およびNF色素が設定されるが、この染色情報514は、後述のVS画像表示処理の過程でユーザが対象標本Sを染色している色素を操作入力して登録することで設定される。
具体的には、染色情報514は、図13(a)に示すように、染色色素のうちの形態観察色素が設定される形態観察染色情報515と、分子標的色素が設定される分子標的染色情報516と、これら形態観察染色情報515または分子標的染色情報516に設定されている染色色素(形態観察色素または分子標的色素)の中から選択されて設定される細胞コンポーネント同定用染色情報517とを含む。
そして、図13(b)に示すように、形態観察染色情報515は、色素数5151と、色素数5151に相当する数の色素情報(1)〜(m)5153とを含む。色素数5151には、対象標本Sを染色している形態観察色素の数が設定され、色素情報(1)〜(m)5153には、例えば形態観察色素の色素名がそれぞれ設定される。実施の形態1では、色素数5151として「2」が設定され、「H色素」および「E色素」が2つの色素情報5153として設定される。分子標的染色情報516も同様に構成され、図13(c)に示すように、色素数5161と、色素数5161に相当する数の色素情報(1)〜(n)5163とを含む。そして、色素数5161には、対象標本Sを染色している分子標的色素の数が設定され、色素情報(1)〜(n)5163には、例えば分子標的色素の色素名がそれぞれ設定される。また、色素情報(1)〜(n)5163には、後述する色素登録画面(図22を参照)においてユーザが対応する分子標的色素について入力したコメント情報が適宜設定される。実施の形態1では、色素数5161として「2」が設定され、「DAB色素」および「NF色素」が2つの色素情報5163として設定される。
また、図13(d)に示すように、細胞コンポーネント同定用染色情報517は、細胞核同定用色素情報5171と、細胞膜同定用色素情報5172と、細胞質同定用色素情報5173とを含む。細胞核同定用色素情報5171には、細胞核同定用色素の色素名や、細胞核を同定する際の基準として用いる色素量閾値が設定される。細胞膜同定用色素情報5172には、細胞膜同定用色素の色素名や、細胞膜を同定する際の基準として用いる色素量閾値が設定される。細胞質同定用色素情報5173には、細胞質同定用色素の色素名や、細胞質を同定する際の基準として用いる色素量閾値が設定される。なお、色素量閾値には、後述する同定用色素選択画面(図18を参照)でユーザが対応する細胞コンポーネント(細胞核、細胞膜または細胞質)について入力した値が設定される。実施の形態1では、細胞核同定用色素情報5171として、「H色素」およびこのH色素である細胞核同定用色素についてユーザが入力した色素量閾値の値が設定される。そして、細胞膜同定用色素情報5172として、「NF色素」およびこのNF色素である細胞膜同定用色素についてユーザが入力した色素量閾値の値が設定される。また、実施の形態1では、細胞質の同定は行わないため、細胞質同定用色素情報5173には「未使用」が設定される(あるいは何も設定されない)。
図12(b)のデータ種別518は、VS画像のデータ種別を表す。例えば、VS画像データ53において、画像データ58(図14(b)を参照)としてVS画像の画像データ(生データ)581(図14(d)を参照)のみが記録されているのか、あるいは、各画素について既に色素量が算出されており、色素量データ582(図14(d))が記録されているのかを識別するためのものである。例えば、VS画像生成処理の実行時は、画像データ58としてその生データ581が記録されるのみであるので、データ種別518には、生データを示す識別情報が設定される。なお、後述のVS画像表示処理の実行時においてVS画像の各画素における色素毎の色素量が算出され、色素量データ582として記録される。このとき、データ種別518は、色素量データを示す識別情報に更新される。
VS画像データ53には、VS画像に関する各種情報が設定される。すなわち、図14(a)に示すように、VS画像データ53は、VS画像数54と、VS画像数54に相当する数のVS画像情報(1)〜(i)55とを含む。VS画像数54は、VS画像データ53に記録されるVS画像情報55の数であり、iに相当する。ここで、図14(a)に示すVS画像データ53のデータ構成例は、1つの標本について複数のVS画像を生成する場合を想定している。具体的には、図9に示して上述した例では、スライドガラス標本6において実際に対象標本Sが載置されている領域として1つの標本領域65を抽出する場合を説明したが、スライドガラス標本の中には、複数の標本が離れて点在しているものも存在する。このような場合には、標本が存在しない領域のVS画像を生成する必要はない。このため、複数の標本がある程度離れて点在している場合には、これらの点在する標本の領域をそれぞれ個別に抽出し、抽出した標本の領域毎にVS画像を生成するが、このときに生成するVS画像の数がVS画像数54として設定される。そして、各VS画像に関する各種情報が、それぞれVS画像情報(1)〜(i)55として設定される。なお、図9の例においても、標本領域65内に2つの標本の領域が含まれるが、これらの位置が近いために1つの標本領域65として抽出される。
各VS画像情報55には、図14(b)に示すように、撮影情報56、フォーカスマップデータ57、画像データ58、同定コンポーネント情報59等が設定される。
撮影情報56には、図14(c)に示すように、VS画像の撮像倍率561、スキャン開始位置(X位置)562、スキャン開始位置(Y位置)563、x方向のピクセル数564、y方向のピクセル数565、Z方向の枚数566、バンド数567等が設定される。
VS画像の撮像倍率561には、VS画像の取得時に用いた高倍対物レンズの倍率が設定される。また、スキャン開始位置(X位置)562、スキャン開始位置(Y位置)563、x方向のピクセル数564およびy方向のピクセル数565は、VS画像の撮像範囲を示している。すなわち、スキャン開始位置(X位置)562は、VS画像を構成する各標本領域区画画像の撮像を開始したときの電動ステージ21のスキャン開始位置のX位置であり、スキャン開始位置(Y位置)563は、スキャン開始位置のY位置である。そして、x方向のピクセル数564はVS画像のx方向のピクセル数であり、y方向のピクセル数565はy方向のピクセル数であって、VS画像のサイズを示している。
Z方向の枚数566には、Z方向のセクショニング数に相当し、VS画像を3次元画像として生成する際には、Z方向の撮像枚数が設定される。実施の形態1では、このZ方向の枚数566には「1」が設定される。また、VS画像は、マルチバンド画像として生成される。そのバンド数がバンド数567に設定され、実施の形態1では、「6」が設定される。
また、図14(b)のフォーカスマップデータ57は、図11に示したフォーカスマップのデータである。画像データ58は、VS画像の画像データである。この画像データ58には、図14(d)に示すように、6バンドの生データが設定される生データ581と、後述のVS画像表示処理の過程で画素毎に算出される染色色素毎の色素量のデータが設定される色素量データ582とを含む。
同定コンポーネント情報59は、VS画像の各画素が細胞コンポーネントの画素か否かを設定したマップデータや細胞コンポーネントとして同定された領域の形態的な特徴量を設定した形態特徴データ、同定された細胞コンポーネントの領域内の画素位置の一覧等を記憶する。この同定コンポーネント情報59の詳細については、図24および図25に示して後述する。
次に、実施の形態1におけるVS画像表示処理について説明する。図15は、実施の形態1におけるVS画像表示処理の処理手順を示すフローチャートである。なお、ここで説明する処理は、VS画像表示処理部454が記録部47に記録されたVS画像表示処理プログラム473を読み出して実行することによって実現される。
VS画像表示処理では、VS画像表示処理部454は先ず、VS画像ファイル5からデータ種別518(図12(b)を参照)を読み出し、VS画像のデータ種別を判定する(ステップb1)。データ種別518に色素量データを示す識別情報が設定されており、既にVS画像の各画素について色素量が算出されている場合には(ステップb3:Yes)、ステップb9に移行する。
一方、データ種別518に生データを示す識別情報が設定されており、未だVS画像の各画素について色素量が算出されていない場合には(ステップb3:No)、色素量算出処理に移る(ステップb5)。図16は、色素量算出処理の処理手順を示すフローチャートである。
色素量算出処理では、先ず、染色色素設定部455が、対象標本Sを染色している染色色素の登録依頼の通知を表示部43に表示する処理を行う(ステップc1)。例えば、色素登録画面を表示部43に表示する処理を行って染色色素の登録依頼を通知し、この色素登録画面上でユーザによる染色色素の登録操作を受け付ける。図17は、色素登録画面の一例を示す図である。図17に示すように、色素登録画面は、形態観察用登録画面W11および分子標的用登録画面W13の2画面で構成される。
形態観察用登録画面W11には、形態観察色素の数を入力する入力ボックスB113と、形態観察色素を選択するための複数(m個)のスピンボックスB115とが配置されている。スピンボックスB115は、それぞれ色素名の一覧を選択肢として提示し、選択を促す。提示される色素については特に例示しないが、形態観察染色で知られている色素を適宜含む。ユーザは、入力部41を操作し、入力ボックスB113において実際に対象標本Sを染色している形態観察色素の数を入力するとともに、スピンボックスB115でその色素名を選択することによって染色色素を登録する。形態観察色素が2以上の場合には、別個のスピンボックスB115で該当する色素名をそれぞれ選択する。
また、形態観察用登録画面W11は、定型染色選択部B111を備え、この定型染色選択部B111において、形態観察染色として代表的なHE染色で用いる色素(HE)、Pap染色で用いる色素(Pap)、H染色で用いる色素(Hのみ)およびその他の4つの選択肢が提示されている。なお、この定型染色選択部B111で提示する選択肢は例示したものに限らず、ユーザが設定できるようにしてもよいが、ここで提示した色素については該当する項目をチェックすることで登録でき、登録操作が簡略化される。例えば図17に示すように、「HE」をチェックすると、入力ボックスB113に「2」が自動入力されるとともに、色素(1)および(2)のスピンボックスB115にそれぞれ「H」と「E」とが自動入力される。実施の形態1では、対象標本SをHE染色しているため、ユーザは、定型染色選択部B111で「HE」にチェックすることで染色色素(形態観察色素)を登録できる。
一方、分子標的用登録画面W13には、分子標的色素の数を入力する入力ボックスB133と、分子標的色素を選択するための複数(n個)のスピンボックスB135と、各スピンボックスB135のそれぞれに対応する複数(n個)のコメント入力欄B137が配置されている。スピンボックスB135は、色素名の一覧を選択肢として提示し、選択を促す。提示される色素については特に例示しないが、分子標的染色で知られている色素を適宜含む。ユーザは、入力部41を操作して入力ボックスB133に実際に対象標本Sを染色している分子標的色素の数を入力するとともに、スピンボックスB135でその色素名を選択することによって染色情報を登録する。また、コメント入力欄B137には、例えば対応するスピンボックスB135で選択した分子標的色素に関する事項(コメント情報)をユーザが自由に記入できるようになっている。例えば図17では、対応する分子標的色素によって染色された(可視化された)抗体の名称をコメント情報としてコメント入力欄B137に入力した場合を例示している。その他、コメント情報としては、例えば前述の抗体によって標識される抗原(すなわち標的分子)の名称等が挙げられる。
また、分子標的用登録画面W13は、形態観察用登録画面W11と同様に、主要な標識酵素やその組み合わせを提示した定型染色選択部B131を備える。なお、この定型染色選択部B131で提示する選択肢は例示したものに限らず、ユーザが設定できるようにしてもよい。実施の形態1の分子標的色素はDAB色素およびNF色素であり、図17に示すように、定型染色選択部B131において「DAB(茶)+NF(赤)」をチェックすることで、染色色素(分子標的色素)を登録できる。具体的にはこのとき、入力ボックスB133に「2」が自動入力されるとともに、色素(1)および色素(2)のスピンボックスB135にそれぞれ「DAB」と「NF」とが自動入力される。
図16に戻り、染色色素設定部455は、以上のようにして色素登録画面においてユーザが操作入力して登録した形態観察色素の情報を染色情報514(図12(b)を参照)の形態観察染色情報515(図13(a),(b)を参照)とし、分子標的色素の情報を分子標的染色情報516(図13(a),(c)を参照)としてVS画像ファイル5に設定する(ステップc3)。実施の形態1では、ここでの処理によって、H色素、E色素、DAB色素およびNF色素が染色色素として設定される。
次に、細胞コンポーネント同定用色素設定部456が、細胞コンポーネント同定用色素の選択依頼の通知を表示部43に表示する処理を行う(ステップc5)。例えば、同定用色素選択画面を表示部43に表示する処理を行って細胞コンポーネント同定用色素の選択依頼を通知し、この同定用色素選択画面上でユーザによる細胞コンポーネント同定用色素の選択操作を受け付ける。このとき、ステップc3で設定した染色色素の一覧を提示し、この一覧の中から細胞コンポーネント同定用色素の選択操作を受け付けるようになっている。図18は、同定用色素選択画面の一例を示す図である。
図18に示すように、同定用色素選択画面は、細胞核同定用色素を選択するためのスピンボックスB21およびその色素量閾値を入力する入力ボックスB22と、細胞膜同定用色素を選択するためのスピンボックスB23およびその色素量閾値を入力する入力ボックスB24と、細胞質同定用色素を選択するためのスピンボックスB25およびその色素量閾値を入力する入力ボックスB26とが配置されている。
ここで、スピンボックスB21,B23,B25では、図16のステップc3において染色色素として設定した形態観察色素および分子標的色素の一覧が選択肢として提示される。また、各入力ボックスB22,B24,B26に入力された色素量閾値の値は、以降の処理において対応する細胞コンポーネントを同定する際の基準として用いられる。例えば細胞核を同定する際に、スピンボックスB21で選択された細胞核同定用色素の色素量が入力ボックスB22に入力された値以上の画素を細胞核の候補画素として選出する。同様に、細胞膜を同定する際に、スピンボックスB23で選択された細胞膜同定用色素の色素量が入力ボックスB24に入力された値以上の画素を細胞膜の候補画素として選出する。細胞質を同定する際には、スピンボックスB25で選択された細胞質同定用色素の色素量が入力ボックスB26に入力された値以上の画素を細胞質の候補画素として選出する。
ユーザは、入力部41を操作し、スピンボックスB21,B23,B25において、染色色素の中から細胞核同定用色素、細胞膜同定用色素または細胞質同定用色素として用いる染色色素を選択するとともに、入力ボックスB22,B24,B26において対応する細胞コンポーネントを同定する際の色素量閾値を入力する。実施の形態1では、例えばスピンボックスB21で細胞核同定用色素である「H」を選択するとともに、その色素量閾値の値を入力する。また、スピンボックスB23で細胞膜同定用色素である「NF」を選択するとともに、その色素量閾値の値を入力する。
図16に戻り、細胞コンポーネント同定用色素設定部456は、以上のようにして同定用色素選択画面においてユーザが操作入力した色素名および色素量閾値を細胞コンポーネント同定用染色情報517(図13(a),(d)を参照)とし、VS画像ファイル5に設定する(ステップc7)。実施の形態1では、ここでの処理によってH色素およびその色素量閾値が細胞核同定用色素情報5171として設定され、NF色素およびその色素量閾値が細胞膜同定用色素情報5172として設定される。そして、以降の処理(図19の細胞コンポーネント同定処理)では、細胞核および細胞膜について同定が行われることとなる。
続いて、色素量算出部457が、生成したVS画像の各画素の画素値をもとに、対応する対象標本S上の各標本位置における色素量をステップc3で設定した染色色素毎に算出する(ステップc9)。色素量の算出は、例えば特許文献1に記載の公知技術を適用して実現できる。
簡単に処理手順を説明すると先ず、色素量算出部457は、VS画像の画素値をもとに、対応する対象標本S上の各標本位置のスペクトル(推定スペクトル)を画素毎に推定する。マルチバンド画像からスペクトルを推定する手法としては例えば、ウィナー(Wiener)推定を用いることができる。次いで色素量算出部457は、予め測定されて記録部47に記録されている算出対象の色素(染色色素)の基準色素スペクトルを用いて対象標本Sの色素量を画素毎に推定(算出)する。
ここで、色素量の算出について簡単に説明する。一般に、光を透過する物質では、波長λ毎の入射光の強度I
0(λ)と射出光の強度I(λ)との間に、次式(1)で表されるランベルト・ベール(Lambert-Beer)の法則が成り立つことが知られている。
k(λ)は波長に依存して決まる物質固有の値、dは物質の厚さをそれぞれ表す。また、式(1)の左辺は分光透過率t(λ)を意味している。
例えば、標本が色素1,色素2,・・・,色素nのn種類の色素で染色されている場合、ランベルト・ベールの法則により各波長λにおいて次式(2)が成立する。
k
1(λ),k
2(λ),・・・,k
n(λ)は、それぞれ色素1,色素2,・・・,色素nに対応するk(λ)を表し、例えば、標本を染色している各色素の基準色素スペクトルである。またd
1,d
2,・・・,d
nは、マルチバンド画像の各画像位置に対応する対象標本S上の標本位置における色素1,色素2,・・・,色素nの仮想的な厚さを表す。本来色素は、標本中に分散して存在するため、厚さという概念は正確ではないが、標本が単一の色素で染色されていると仮定した場合と比較して、どの程度の量の色素が存在しているかを表す相対的な色素量の指標となる。すなわち、d
1,d
2,・・・,d
nはそれぞれ色素1,色素2,・・・,色素nの色素量を表しているといえる。なお、k
1(λ),k
2(λ),・・・,k
n(λ)は、色素1,色素2,・・・,色素nの各色素を用いてそれぞれ個別に染色した標本を予め用意し、その分光透過率を分光器で測定することによって、ランベルト・ベールの法則から容易に求めることができる。
上記のようにしてVS画像の画素毎に推定した推定スペクトルの波長λに対応する要素をt^(x,λ)とし、これを式(3)に代入すると、次式(4)を得る。なお、t^は、tの上に推定値を表すハット「^」が付いていることを示す。
式(4)において未知変数はd1,d2,・・・,dnのn個であるから、少なくともn個の異なる波長λについて式(4)を連立させれば、これらを解くことができる。より精度を高めるために、n個以上の異なる波長λに対して式(4)を連立させ、重回帰分析を行ってもよい。
以上が、色素量算出の簡単な手順であるが、実施の形態1で算出対象とする染色色素はH色素、E色素、DAB色素およびNF色素であり、n=4となる。色素量算出部457は、VS画像の各画素について推定した推定スペクトルをもとに、対応する各標本位置に固定されたH色素、E色素、DAB色素およびNF色素それぞれの色素量を推定する。
以上のようにして各染色色素の色素量を算出したならば、色素量算出部457は、データ種別に色素量データを示す識別情報を設定して更新し(ステップc11)、色素量算出処理を終える。そして、図15のステップb5にリターンし、その後ステップb7の細胞コンポーネント同定処理に移る。図19は、細胞コンポーネント同定処理の処理手順を示すフローチャートである。
細胞コンポーネント同定処理では、細胞コンポーネント同定処理部458が、図16のステップc7において色素名および色素量閾値が設定された細胞コンポーネントを同定対象とし、同定対象の細胞コンポーネント毎にループAの処理を行う(ステップd1〜ステップd17)。以下、ループAで処理対象とする細胞コンポーネントを「処理コンポーネント」と呼ぶ。実施の形態1では、細胞核および細胞膜を順次処理コンポーネントとしてループAの処理を行う。
すなわち、ループAでは、細胞コンポーネント同定処理部458は先ず、細胞コンポーネント同定用染色情報517から処理コンポーネントについて設定されている細胞コンポーネント同定用色素の色素名および色素量閾値を読み出す(ステップd3)。例えば、細胞核を処理コンポーネントとして処理する場合には、細胞核同定用色素情報5171から色素名(実施の形態1ではH色素)およびその色素量閾値を読み出す。同様に、細胞膜を処理コンポーネントとして処理する場合であれば、細胞膜同定用色素情報5172から色素名(実施の形態1ではNF色素)およびその色素量閾値を読み出す。なお、実施の形態1では細胞質を同定対象としないため行わないが、細胞質を処理コンポーネントとして処理する場合には、細胞質同定用色素情報5173から色素名およびその色素量閾値を読み出す。なお、細胞質同定用色素としては、例えば細胞質、結合組織等を染色するE色素が挙げられる。
続いて、細胞コンポーネント同定処理部458は、色素量データ582を参照し、VS画像の各画素の中から、ステップd3で色素名を読み出した細胞コンポーネント同定用色素の色素量がステップd3で読み出した色素量閾値以上の値である画素を選出する(ステップd5)。そして、細胞コンポーネント同定処理部458は、選出結果を設定したマップデータを作成する(ステップd7)。
図20は、細胞核を処理コンポーネントとして図19のステップd3〜d7の処理を行った結果作成される細胞核のマップデータのデータ構成例を説明する模式図である。図20に示すように、細胞核のマップデータは、VS画像を構成する各画素位置に対応するマスM3のそれぞれに「0」または「1」が設定されたデータ構成を有する。図20では、簡明のため20×15画素分のマスM3で構成されたマップデータを例示しており、ステップd5で選出された画素に対応するマスM3には、例えばマスM3−1に示すように「1」が設定される。ステップd5で選出されなかった画素に対応するマスM3には、例えばマスM3−2に示すように「0」が設定される。
一方、図21は、細胞膜を処理コンポーネントとして図19のステップd3〜d7の処理を行った結果作成される細胞膜のマップデータのデータ構成例を説明する模式図である。細胞膜のマップデータも同様に、図21に示すように、VS画像を構成する各画素位置に対応する複数のマスのそれぞれに「0」または「1」が設定されたデータ構成を有する。図21では、図20と同様に20×15画素分のマスで構成されたマップデータを例示しており、ステップd5で選出された画素に対応するマスには「1」が設定される。ステップd5で選出されなかった画素に対応するマスには「0」が設定される。
なお、図示しないが、細胞質を処理コンポーネントとして図19のステップd3〜d7の処理を行った結果作成される細胞質のマップデータも同様のデータ構成を有し、VS画像を構成する各画素位置に対応するマスのうち、ステップd5で選出された画素に対応するマスに「1」が設定される。ステップd5で選出されなかった画素に対応するマスには「0」が設定される。
図19に戻り、続いて細胞コンポーネント同定処理部458は、ステップd7で作成したマップデータを参照してステップd5で選出した画素を連結成分毎に区切り、区切った画素群毎に個々の処理コンポーネントを識別するための固有のラベルを付すことによって、各画素群のそれぞれを処理コンポーネントの候補領域として取得する(ステップd8)。続いて、細胞コンポーネント同定処理部458は、ステップd8で取得した処理コンポーネントの候補領域毎に形態特徴データを作成する(ステップd9)。そして、細胞コンポーネント同定処理部458は、作成した形態特徴データをもとに処理コンポーネントの候補領域が処理コンポーネントの領域か否かを判定することで、該当する細胞コンポーネントの同定を行う(ステップd11)。なお、この細胞コンポーネントの同定は、例えば特許文献6に記載の公知技術を適用して実現できる。その後、細胞コンポーネント同定処理部458は、処理コンポーネントの同定結果をもとにマップデータおよび形態特徴データを修正して更新する(ステップd13)。
ここで、処理コンポーネントが細胞核、細胞膜および細胞質の場合のステップd8〜ステップd13の処理について順次簡単に説明する。
処理コンポーネントが細胞核の場合には先ず、ステップd8の処理として、細胞核のマップデータを参照し、細胞核の候補領域(細胞核候補領域)を取得する。具体的には、例えば連結して「1」が設定されている画素(マス)群に固有のラベルを付し、同一のラベルを付した画素群を1つの細胞核候補領域として取得する。
次に、ステップd9の処理として、例えば先ず、輪郭追跡等の公知の手法を適用し、取得した細胞核候補領域毎に輪郭を抽出する。そして、抽出した細胞核候補領域の輪郭をもとにその形態的な特徴を表す形態特徴量を算出し、算出した形態特徴量を設定して細胞核の形態特徴データを作成する。
図22は、細胞核の形態特徴データのデータ構成例を説明する図である。図22に示すように、細胞核の形態特徴量としては、例えば、外接長方形や重心、面積、周囲長、円形度、長径、短径、アスペクト比等が挙げられる。
ここで、外接長方形は、その細胞核候補領域に外接し、各辺の向きがx座標軸およびy座標軸に平行である長方形であり、例えば左上の頂点のVS画像中でのx座標、y座標、x方向の幅(x方向のピクセル数:W)およびy方向の高さ(y方向のピクセル数:H)として算出する。
重心は、そのVS画像中でのx座標およびy座標として算出する。面積は、その細胞核候補領域の面積である。周囲長は、その細胞核候補領域の外部輪郭の長さとして算出する。
円形度は、例えば、次式(5)に従って算出する。ここで、この式(5)によって算出される値は、その細胞核候補領域の輪郭形状が真円のときに最大値(=1)となり、輪郭形状が複雑になるほど小さな値として得られる。
円形度=4π×面積/周囲長 ・・・(5)
長径および短径は、その細胞核候補領域の外接する外接矩形が最小面積となるときの長軸の長さおよび短軸の長さとして算出する。
アスペクト比は、長径と短径との比率であり、例えば次式(6)に従って算出する。
アスペクト比=長径/短径 ・・・(6)
細胞コンポーネント同定処理部458は、これら形態特徴量の各値をその細胞核候補領域に割り当てられたラベルと対応付けて形態特徴データを作成する。例えば、図20の例では、2つの画素群B31,B33にそれぞれ異なるラベルが付され、これら画素群B31,B33のそれぞれが細胞核候補領域として取得される。そして、これら2つの細胞核候補領域毎に形態特徴量が算出され、2レコード分の形態特徴データが作成される。
次に、ステップd11の処理として、作成した形態特徴データをもとに、細胞核候補領域が細胞核の領域か否かを判定する。一般的に、細胞核の大きさは10μm前後といわれている。そこで、実施の形態1では、例えば各形態特徴量の値がこの大きさに当てはまる場合にその細胞核候補領域を細胞核の領域と判定し、当てはまらなければ細胞核の領域ではないと判定する。ここで、TVカメラ32の1画素(正方画素とする)の大きさと観察倍率とからVS画像の1画素の実寸を求めることができ、画素数から実寸への変換は容易に行える。なお、VS画像中に映る細胞核の形態特徴量の標準的な値を基準値として予め設定しておき、この基準値との比較によって細胞核候補領域が細胞核の領域か否かを判定するようにしてもよい。
次に、ステップd13の処理として、細胞核の領域ではないと判定した細胞核候補領域をもとに細胞核のマップデータを修正するとともに、この細胞核候補領域の形態特徴データを削除し、細胞核のマップデータおよび形態特徴データを更新する。例えば、図20に示す画素群B31,B33のうち、画素群B31の細胞核候補領域が細胞核の領域と判定され、画素群B33の細胞核候補領域が細胞核の領域ではないと判定されて画素群B31の細胞核候補領域のみが細胞核として同定されたとする。この場合には、図20の画素群B33を構成する各画素(マス)の値を「1」から「0」に修正してマップデータを更新する。そして、図19のステップd9で作成した形態特徴データ、画素群B33の細胞核候補領域のラベルが設定された1レコード分の形態特徴データを削除し、形態特徴データを更新する。
続いて、処理コンポーネントが細胞膜の場合について説明する。細胞膜の場合も、上記した処理コンポーネントが細胞核の場合と同様の処理手順でその同定を行うが、処理コンポーネントが細胞膜の場合には、図19のステップd9において例えば外接長方形や重心、厚さ、周囲長、円形度、長径、短径、アスペクト比、核の有無(数)等を形態特徴量として算出し、形態特徴データを作成する。図23は、細胞膜の形態特徴データのデータ構成例を説明する図である。ここで、細胞膜は、細胞の最外層を形成するものであり、所定の厚さを有する。細胞膜の形態特徴量として算出する厚さは、細胞膜候補領域の径方向の幅に相当する。外接長方形や重心、周囲長、円形度、長径、短径、アスペクト比は、例えば外側の輪郭をもとに算出する。算出手法は、細胞核の場合と同様である。また、核の有無には、細胞膜候補領域の内側に細胞核の領域を含むか否か(あるいはその数)が設定される。この核の有無(数)は、同定対象の細胞コンポーネントとして細胞核が含まれる場合には、上記した要領で作成した細胞核のマップデータを参照することで設定できる。具体的には、細胞膜候補領域の内側に細胞核の領域が含まれる場合に「あり(あるいはその数)」を設定し、含まれなければ「なし」を設定する。
そして、例えば、予め標準的な細胞膜の厚さの範囲を設定しておき、形態特徴量の1つとして算出した厚さの値がこの範囲内の場合にその細胞膜候補領域を細胞膜の領域と判定し、含まれなければ細胞膜の領域ではないと判定する。あるいは、予め標準的な細胞の大きさの範囲を設定しておき、各形態特徴量の値がこの大きさに当てはまる場合にその細胞膜候補領域を細胞膜の領域と判定し、当てはまらない場合に細胞膜の領域ではないと判定するようにしてもよい。また、同定対象の細胞コンポーネントが細胞核を含み、形態特徴量として核の有無が求まっている場合には、「あり」が設定されている場合に細胞膜の領域と判定し、「なし」が設定されている場合に細胞膜の領域ではないと判定するようにしてもよい。
続いて、処理コンポーネントが細胞質の場合について説明する。細胞質の場合も、上記した処理コンポーネントが細胞核や細胞膜の場合と同様の処理手順でその同定を行うが、処理コンポーネントが細胞質の場合には、図19のステップd9において例えば外接長方形や重心、面積、周囲長、円形度、長径、短径、アスペクト比、核の有無(数)等を形態特徴量として算出し、形態特徴データを作成する。ここで、細胞質は、細胞膜の内側であって、細胞核の領域を除く領域を形成するものである。このため、これら形態特徴量の各値は、例えば外側の輪郭をもとに算出する。算出手法は、細胞核あるいは細胞膜の場合と同様である。
そして、例えば、上記した要領で作成した細胞核のマップデータおよび/または細胞膜のマップデータを参照することで細胞質の領域を判定する。なお、この判定手法は、同定対象の細胞コンポーネントとして少なくとも細胞核または細胞膜が含まれることを前提としている。具体的には、細胞質候補領域の外側に細胞膜の領域が存在する場合にこの細胞質候補領域を細胞質の領域と判定し、細胞質候補領域の外側に細胞膜の領域が存在しない場合には、細胞質の領域ではないと判定する。あるいは、細胞質候補領域の内側に細胞核の領域が存在する場合にこの細胞質候補領域を細胞質の領域と判定し、細胞質候補領域の内側に細胞核の領域が存在しない場合には、細胞質の領域ではないと判定する。また、細胞質候補領域の外側に細胞膜の領域が存在し、細胞質候補領域の内側に細胞核の領域が存在する場合にこの細胞質候補領域を細胞質の領域と判定するようにしてもよい。
図19に戻り、続いて標的部位抽出部460は、マップデータにおいて「1」が設定されている画素の位置座標の一覧(画素位置一覧)を、割り振られたラベル毎に作成し(ステップd15)、処理コンポーネントについてループAの処理を終える。
そして、同定対象の全ての細胞コンポーネントをそれぞれ処理コンポーネントとしてループAの処理を行ったならば、細胞コンポーネント同定処理を終えて図15のステップb7にリターンし、ステップb9に移行する。
図24は、この細胞コンポーネント同定処理の結果得られてVS画像ファイル5に設定される同定コンポーネント情報59(図14(b)を参照)のデータ構成例を説明する図である。図24(a)に示すように、同定コンポーネント情報59は、細胞核同定情報591と、細胞膜同定情報592と、細胞質同定情報593とで構成される。これら細胞核同定情報591、細胞膜同定情報592および細胞質同定情報593は同様のデータ構成を有し、図24(b)に示すように、それぞれマップデータ594と、形態特徴データ595と、同定コンポーネント一覧596とを含む。
図25は、同定コンポーネント一覧596のデータ構成例を説明する図である。同定コンポーネント一覧596は、図25(a)に示すように、同定コンポーネント数597と、同定コンポーネント数597に相当する数の同定コンポーネント情報(1)〜(k)598とを含む。
同定コンポーネント数597には、同定された該当する細胞コンポーネントの数が設定される。例えば、細胞核同定情報591の同定コンポーネント一覧596に設定される同定コンポーネント数597には、細胞核の領域と判定された領域の数が設定される。そして、各細胞核の領域に関する情報が、それぞれ同定コンポーネント情報(1)〜(k)598に設定される。具体的には、同定コンポーネント情報(1)〜(k)598には、図25(b),(c)に示すように、その細胞核の領域に付されたラベル5981と、その細胞核の領域内の画素位置一覧である位置座標(1)〜(p)/(1)〜(q)5982が設定される。
例えば、実施の形態1では、細胞核同定情報591として、ステップd7およびステップd9で作成され、ステップd13で修正されて更新された細胞核のマップデータ594および細胞核の形態特徴データ595が設定される。同定コンポーネント一覧596には、細胞核の領域数が同定コンポーネント数597として設定される。そして、同定コンポーネント情報(1)〜(k)598のそれぞれにおいて、該当する細胞核の領域に付されたラベル5981が設定されるとともに、ステップd15で作成された細胞核の画素位置一覧が位置座標(1)〜(p)/(1)〜(q)5982として設定される。同様に、細胞膜同定情報592として、ステップd7およびステップd9で作成され、ステップd13で修正されて更新された細胞膜のマップデータ594および細胞膜の形態特徴データ595が設定される。同定コンポーネント一覧596には、細胞膜の領域数が同定コンポーネント数597として設定される。そして、同定コンポーネント情報(1)〜(k)598のそれぞれにおいて、その細胞膜の領域に付されたラベル5981が設定されるとともに、ステップd15で作成された細胞膜の画素位置一覧が位置座標(1)〜(p)/(1)〜(q)5982として設定される。なお、実施の形態1では、細胞核および細胞膜の同定を行うので、細胞質同定情報593には特に値は設定されない。
図15に戻り、続くステップb9では、抽出条件設定部459が、標的部位を抽出する際の抽出条件の設定依頼の通知を表示部43に表示する処理を行う(ステップd9)。例えば、抽出条件設定画面を表示部43に表示する処理を行って抽出条件の設定依頼を通知し、この抽出条件設定画面上でユーザによる抽出条件の設定操作を受け付ける。図26は、抽出条件設定画面の一例を示す図である。
図26に示すように、抽出条件設定画面は、同様に構成された複数の標的部位設定画面W41(図26では3つの標的部位設定画面W41−1〜3)を備え、各標的部位設定画面W41の間にアンド条件(and)またはオア(or)条件の選択を促すスピンボックスB41,B42が配置されて構成されている。ユーザは、この標的部位設定画面W41において、標的分子の発現状況(発現の有無)を抽出条件として設定する。また、標的分子の発現状況を複数組み合わせた抽出条件を設定する場合には、複数の標的部位設定画面W41において個別に抽出条件を設定するとともに、各標的部位設定画面W41で設定した抽出条件をアンド条件とするのかオア条件とするのかをスピンボックスB41,B42で選択する。なお、標的部位設定画面W41の配置数は1以上であればよく、適宜の数の標的部位設定画面W41を配置することで、1以上の標的分子の発現状況を組み合わせた抽出条件を設定可能な画面構成を実現できる。
標的部位設定画面W41は、標的分子を標識するために対象標本Sに施されている分子標的染色の色素(分子標的色素)を選択するためのスピンボックスB43を備え、このスピンボックスB43の下方には、コメント表示欄B44が配置されている。
スピンボックスB43は、図16のステップc3において染色色素として設定された分子標的色素の一覧を選択肢として提示し、選択を促す。実施の形態1では、DAB色素およびNF色素の2つが選択肢として提示される。このスピンボックスB43において、ユーザは、対象標本Sを染色している染色色素のうちのどの染色色素が標的分子を標識するための分子標的色素なのかを設定する。なお、染色色素として設定されている分子標的色素が細胞コンポーネント同定用色素を含む場合には、この細胞コンポーネント同定用色素を選択肢から外して提示する構成としてもよい。この構成の場合には、実施の形態1では、DAB色素のみが選択肢として提示されることとなる。このようにすれば、ユーザによる操作性が向上する。
コメント表示欄B44には、スピンボックスB43で選択した分子標的色素について上記した色素登録画面(図22を参照)で入力された抗体や抗原(標的分子)の名称等のコメント情報が表示される。したがって、観察・診断対象とする対象標本に対して異なる複数の分子標的染色が施され、異なる標的分子が標識されている場合であっても、ユーザは、このコメント表示欄B44を参考にしながら、対応するスピンボックスB43において所望の標的分子を標識するための分子標的色素を選択することができる。
また、標的部位設定画面W41は、標的分子の発現状況を選択するためのスピンボックスB45を備える。標的分子が発現している箇所、すなわち、選択した分子標的色素によって染色されている箇所を標的部位として抽出したい場合には、このスピンボックスB45において発現あり(+)を選択する。一方、標的分子が発現していない箇所、すなわち、選択した子標的色素によって染色されていない箇所を標的部位として抽出したい場合には、このスピンボックスB45において発現なし(−)を選択する。
また、標的部位設定画面W41は、標的分子が存在する細胞コンポーネントを選択するための3つのチェックボックスCB41,CB42,CB43を備え、これら3つのチェックボックスCB41,CB42,CB43毎に、2つの入力ボックスB46,B47が配置されている。
チェックボックスCB41,CB42,CB43は、それぞれ細胞コンポーネントである細胞核、細胞膜および細胞質を選択するためのものである。これらチェックボックスCB41,CB42,CB43は、複数チェックすることも可能である。例えば、同一の標的分子が細胞膜上およびこの細胞膜の内側に存在する細胞質上の両方で発現している箇所を標的部位として抽出したい場合には、チェックボックスCB42とチェックボックスCB43とをチェックすればよい。
また、これらチェックボックスCB41,CB42,CB43のチェックによって設定できるのは、図19に示して説明した細胞コンポーネント同定処理で同定対象とした細胞コンポーネントに限定される。このため、同定対象としていない細胞コンポーネントのチェックボックスについては、選択できないように構成してもよい。これによれば、ユーザの操作性が向上する。
入力ボックスB46は、対応する細胞コンポーネント上での標的分子の存在濃度に相当する発現濃度を抽出条件として設定するためのものであり、後述する図15のステップb13で標的部位を抽出する際に、この発現濃度を標的分子が発現しているか否かの判定基準として用いる。ユーザは、この入力ボックスB46に、標的分子の発現濃度として例えば選択した分子標的色素の色素量の値を入力する。これによれば、対応する細胞コンポーネントの領域内の各画素のうち、選択した分子標的色素の色素量が所望の色素量の値以上である画素を、標的分子が発現している画素として抽出することができる。あるいは、対応する細胞コンポーネントの領域内の各画素のうち、選択した分子標的色素の色素量が所望の色素量の値より小さい画素を、標的分子が発現していない画素として抽出することができる。
また、対象標本S内に存在する標的分子を観察・診断する場合、その標的分子がどの細胞コンポーネント上に存在するのかだけでなく、その発現濃度が重要な場合がある。例えば、所定の細胞コンポーネント上に存在する標的分子であっても、発現濃度が高濃度の場合に問題となり、発現濃度が低濃度であれば問題とならない場合がある。逆も同様である。このような場合には、ユーザは、入力ボックスB46に、標的分子の発現濃度として例えば選択した分子標的色素の色素量の範囲を入力する。これによれば、対応する細胞コンポーネント上において標的分子が所望の発現濃度で発現している領域(すなわち、対応する細胞コンポーネントの領域内の各画素のうち、選択した分子標的色素の色素量が入力ボックスB46で入力した色素量の範囲内である画素)を標的部位として抽出することが可能となる。なお、単に分子標的色素の色素量を含む画素を標的部位として抽出し、あるいは分子標的色素の色素量を含まない画素を標的部位として抽出したい場合には、入力ボックスB46に値を入力しなければよい。この発現濃度は、細胞コンポーネント毎に設定することができる。
入力ボックスB47は、対応する細胞コンポーネント上での標的分子の存在割合に相当する発現割合を抽出条件として設定するためのものである。対象標本S内に存在する標的分子を観察・診断する場合、前述の発現濃度の他にも、標的分子が所定の細胞コンポーネント上でどの程度の領域を占めているのかが重要な場合もある。このような場合に、ユーザは、この入力ボックスB47に、細胞コンポーネント上での標的分子の発現割合の値を入力する。例えば、細胞膜内の10%以上の領域で標的分子が発現していることを条件としたい場合であれば、細胞膜のチェックボックスCB42をチェックし、対応する入力ボックスB47において、「10%以上」を入力する。
また、この入力ボックスB47の下方には、細胞膜の略全域(全周)に標的分子が存在していることを抽出条件として設定するためのチェックボックスCB44が配置されている。例えば、乳癌に対するハーセプチン(登録商標)治療等で実施されるHER2タンパク検査では、細胞膜の全周にHER2受容体が存在しているか否かを判定する必要がある。このような場合には、チェックボックスCB44をチェックすればよい。実際に標的部位を抽出する際、このチェックボックスCB44がチェックされている場合には、細胞膜内の所定の発現割合(例えば80%)以上の領域で標的分子が発現している画素を標的部位として抽出する等の手順で実現できる。
また、発現割合は、発現濃度と同様に細胞コンポーネント毎に設定することができる。ここで、例えば、細胞膜上で強発現している一方、細胞質上で中程度以上の発現をしている標的分子を標的部位として抽出したいといった場合がある。このような場合には、細胞膜のチェックボックスCB42をチェックし、対応する入力ボックスB46で強発現に相当する色素量の値を入力するとともに、対応する入力ボックスB47で強発現に相当する発現割合の値(例えば80%以上等)を入力する。さらに、細胞質のチェックボックスCB43をチェックし、対応する入力ボックスB46で中程度以上の発現に相当する色素量の値を入力するとともに、対応する入力ボックスB47で強発現に相当する発現割合の値(例えば50%以上等)を入力することによって、前述のような標的部位を抽出することが可能となる。
なお、入力ボックスB47は、スピンボックスB45で発現あり(+)が選択された場合に値の入力を受け付け、発現なし(−)が選択された場合には値の入力を受け付けないように構成してもよい。また、単に細胞コンポーネント上に発現している標的分子を抽出したい場合には、入力ボックスB47に値を入力しなければよい。
ユーザは、以上のように構成される抽出条件設定画面において、標的分子を標識するための分子標的色素および標的分子の発現の有無を選択するとともに、標的分子が存在する細胞コンポーネントを選択し、適宜選択した細胞コンポーネント上での発現濃度や発現割合を入力することによって抽出条件を設定する。上記したように、実施の形態1で観察・診断対象とする対象標本Sは、EGFR受容体を認識するEGFR抗体を用い、DAB反応による発色で標識を施したものである。そして、実施の形態1では、細胞膜上にEGFR受容体が発現している対象標本S内の箇所を標的部位として抽出する場合を例に挙げている。この場合には、標的部位設定画面W41−1のスピンボックスB43でDAB色素を選択し、スピンボックスB45で発現あり(+)を選択する。また、チェックボックスCB42をチェックして細胞膜を選択し、入力ボックスB46において標的分子が発現していると判定するDAB色素の色素量の値を入力する。また、必要があれば、入力ボックスB47において発現割合の値を入力する。
なお、この抽出条件設定画面は、異なる標的部位設定画面W41のスピンボックスB43において同一の分子標的色素を選択する場合を妨げるものではない。すなわち、例えば、細胞膜上では発現し、細胞質上では発現していない標的分子を標的部位として抽出したい場合がある。この場合には、例えば標的部位設定画面W41−1のスピンボックスB43でその標的分子を標的するための分子標的色素を選択し、スピンボックスB45で発現あり(+)を選択するとともに、標的部位設定画面W41−2のスピンボックスB43で同じ分子標的色素を選択し、スピンボックスB45で発現なし(−)を選択する。そして、標的部位設定画面W41−1と標的部位設定画面W41−2とのアンド/オア条件を設定するためのスピンボックスB41でアンド条件を選択すればよい。
また、抽出条件は、例示した発現濃度や発現割合に限定されるものではない。例えば、細胞コンポーネントの形態に関して抽出条件を設定する構成としてもよい。具体的には、チェックボックスCB41,CB42,CB43でチェックした細胞コンポーネントの形態特徴量を抽出条件として設定する構成としてもよい。この形態特徴量は、上記したように、外接長方形,重心,面積,周囲長,円形度,長径,短径,アスペクト比,厚さ,核の有無(数)等である。形態特徴データ595に設定されている一例を挙げれば、細胞膜のチェックボックスCB42に対応する入力ボックスとして円形度の入力ボックスを配置し、この入力ボックスにおいて円形度を入力するようにしてもよい。これによれば、図19のステップd11で同定された細胞膜のうち、その円形度が所望の円形度である細胞膜上に発現している標的分子を、標的部位として抽出するといったことが可能となる。
図15に戻り、抽出条件設定部459は、以上のようにして抽出条件設定画面においてユーザが操作入力した内容をもとに抽出条件を設定する(ステップb11)。実施の形態1では、分子標的色素をDAB色素とし、発現状況を発現あり(+)とし、細胞コンポーネントを細胞膜とし、細胞膜上での発現濃度を入力値とした抽出条件を設定する。また、図26の入力ボックスB47に対する入力があれば、この入力値を細胞膜上での発現割合として抽出条件を設定すればよい。
そして、標的部位抽出部460が、ステップb11で設定した抽出条件に従って標的部位を抽出する処理(標的部位抽出処理)を行い、標的部位マップを作成する(ステップb13)。
ここで、標的部位抽出処理の原理について説明する。この標的部位抽出処理では、標的部位抽出部460は先ず、抽出条件に従い、設定されている細胞コンポーネントのマップデータ594を読み出す。
続いて、標的部位抽出部460は、抽出条件に従い、設定されている分子標的色素の色素量をもとに発現状況マップを作成する。具体的には、発現あり(+)が設定されている場合には、設定されている分子標的色素の色素量を含み、且つその色素量の値が設定されている発現濃度の値以上である画素を標的部位候補画素として選出する。あるいは、設定されている分子標的色素の色素量を含み、且つその色素量の値が設定されている発現濃度の値の範囲内である画素を標的部位候補画素として選出する。発現濃度が設定されていなければ、設定されている分子標的色素の色素量を含む画素を標的部位候補画素として選出すればよい。そして、選出した画素位置に「1」を設定した発現状況マップを作成する。
一方、発現なし(−)が設定されている場合には、設定されている分子標的色素の色素量を含まない画素、あるいはその色素量の値が設定されている発現濃度の値より小さい画素を標的部位候補画素として選出する。なお、発現濃度が設定されていなければ、設定された分子標的色素の色素量を含まない画素を標的部位候補画素として選出すればよい。そして、選出した画素位置に「1」を設定した発現状況マップを作成する。
そして、設定されている細胞コンポーネントのマップデータ594に「1」が設定されている画素のうち、発現状況マップに「1」が設定されている各標的部位候補画素を標的部位の領域の画素として抽出し、標的部位マップを作成する。ここで、抽出条件として発現割合が設定されている場合には、同一のラベルが付された1つの細胞コンポーネント毎に、発現割合を算出する。具体的には、同一のラベルが付された細胞コンポーネントを順番に処理対象とし、処理対象の細胞コンポーネントの領域内の画素数をもとに、この処理対象の細胞コンポーネントの領域内における標的部位候補画素数の割合を求めることで処理対象の細胞コンポーネントにおける発現割合を得る。なお、発現濃度を加味して発現割合を求めることとしてもよい。すなわち、処理対象の細胞コンポーネントの領域内における標的部位候補画素のうち、その発現濃度が予め設定される所定の発現濃度以上である(色素量の値が予め設定される所定値以上である)画素の数を計数することとしてもよい。そして、処理対象の細胞コンポーネントの領域内の画素数に対する計数した数の割合を求めることで発現割合を得ることとしてもよい。そして、算出した発現割合の値が設定されている発現割合の値以上の場合に、処理対象の細胞コンポーネントの領域内における標的部位候補画素を標的部位の領域の画素として抽出する。
図27は、実施の形態1における標的部位抽出処理の原理を説明する説明図であり、図27(a)は細胞膜のマップデータ594の一例を示し、図27(b)は発現状況マップの一例を示し、図27(c)は標的部位マップの一例を示している。なお、図27(a)〜(c)では、図20等と同様に、20×15マスの画素で構成されたマップデータ、発現状況マップおよび標的部位マップを例示している。
実施の形態1では、先ず、図27(a)に示す細胞膜のマップデータ594を読み出す。続いて、図27(b)に示すように、VS画像の各画素の中から、DAB色素の色素量を含み、且つその値が設定されている発現濃度の値以上である標的部位候補画素を選出し、選出した標的部位候補画素に「1」を設定した発現状況マップを作成する。そして、図27(c)に示すように、細胞膜のマップデータ594において「1」が設定されている画素のうち、発現状況マップにおいて「1」が設定されている各標的部位候補画素を標的部位の領域の画素として抽出する。
以上、標的部位抽出処理の原理について説明したが、実際の標的部位抽出処理では、同一のラベルが付された個々の細胞コンポーネント毎に標的部位の抽出を行う。具体的には、その1つの細胞コンポーネントの領域内に標的部位候補画素が含まれれば、その細胞コンポーネントを標的部位を含む細胞コンポーネント(以下、「陽性細胞コンポーネント」と呼ぶ。)とし、その標的部位候補画素を標的部位の領域の画素として抽出する。例えば、設定されている細胞コンポーネントが細胞膜の場合であれば、細胞膜同定情報592(図24を参照)を参照する。そして、その同定コンポーネント一覧596に設定されている同定コンポーネント情報(1)〜(k)598(図25を参照)毎に、その位置座標(1)〜(p)/(1)〜(q)5982の各画素が標的部位候補画素として選出されているか否かによって、標的部位の領域の画素を抽出する。
以上のようにして作成した標的部位マップのデータは、標的部位情報として記録部47に記憶される。図28は、標的部位情報8のデータ構成例を説明する図である。図28(a)に示すように、標的部位情報8は、標的部位マップ81と、陽性細胞コンポーネント一覧82とを含む。
陽性細胞コンポーネント一覧82は、図28(b)に示すように、陽性細胞コンポーネント数84と、陽性細胞コンポーネント数84に相当する数の陽性細胞コンポーネント情報(1)〜(l)85とを含む。
陽性細胞コンポーネント数84には、標的部位を含む細胞コンポーネント(陽性細胞コンポーネント)の数が設定される。そして、各陽性細胞コンポーネントに関する情報が、それぞれ陽性細胞コンポーネント情報(1)〜(l)85に設定される。具体的には、陽性細胞コンポーネント情報(1)〜(l)85には、図28(c)に示すように、その陽性細胞コンポーネントの領域に付されたラベル851と、その細胞コンポーネント細胞核の領域内の標的部位の画素位置一覧である位置座標(1)〜(r)852が設定される。
なお、1つの抽出条件に複数の細胞コンポーネントが設定され、併せてその発現濃度や発現割合が設定されている場合がある。具体例としては、上記したように、同一の標的分子が細胞膜上およびこの細胞膜の内側に存在する細胞質上の両方で発現している箇所を標的部位として抽出したい場合等である。この場合には、設定されている細胞コンポーネント毎に標的部位マップを作成した後、作成した細胞コンポーネント毎の標的部位マップを組み合わせた標的部位マップを作成する。
ここで、細胞膜と細胞質とが設定され、これらの各細胞コンポーネントのそれぞれについて発現濃度や発現割合が設定されている場合を例に挙げてこの場合の標的部位抽出処理の手順を説明する。なお、発現状況としては、発現あり(+)が設定されているものとする。図29は、この場合の標的部位抽出処理の具体的な手順を説明する説明図であり、図29(a)は細胞膜について作成した標的部位マップの一例を示し、図29(b)は細胞質について作成した標的部位マップの一例を示し、図29(c)はこれら2つの標的部位マップを組み合わせた標的部位マップの一例を示している。なお、図29(a)〜(c)では、「1」が設定されている画素位置を黒色で塗り潰して示している。
先ず、細胞膜について設定されている発現濃度や発現割合に従い、設定されている分子標的色素の色素量をもとに細胞膜の標的部位マップを作成する。この標的部位マップを作成する手順は、上記した手順と同様である。これにより、図29(a)に示すように、細胞膜上において標的分子が発現している箇所であって、且つその発現濃度や発現割合の条件を満たす箇所が設定された細胞膜の標的部位マップが作成される。
同様に、細胞質について設定されている発現濃度や発現割合に従い、設定されている分子標的色素の色素量をもとに細胞質の標的部位マップを作成する。これにより、図29(b)に示すように、細胞質上において標的分子が発現している場合であって、且つその発現濃度や発現割合の条件を満たす箇所が設定された細胞質の標的部位マップが作成される。
続いて、作成した細胞膜の標的部位マップと細胞質の標的部位マップとを組み合わせ、抽出条件を満たすか否かを細胞単位で判定していく。ここで、ある1つの細胞に着目すると、細胞質は細胞膜の内側に存在する。そこで、細胞膜の標的部位マップに「1」が設定されている各画素を、同じラベルの付された同一の細胞膜を構成する画素毎に処理し、その内側の領域で標的分子が発現しているか否かを判定する。
例えば、図29(a)において破線で囲んで示す4つの領域E51〜E54が、それぞれ別のラベルの付された異なる細胞膜上での標的分子の発現箇所を示しているとする。一方、図29(b)では、破線で囲んで示す2つの領域E55,E56がそれぞれ別のラベルの付された異なる細胞質上での標的分子の発現箇所を示しているとする。この図29(a)および図29(b)の例では、図29(b)に示す細胞質上での標的分子の発現箇所E55は、図29(a)に示す細胞膜上での標的分子の発現箇所E51の内部に位置する。同様に、図29(b)に示す細胞質上での標的分子の発現箇所E56は、図29(a)に示す細胞膜上での標的分子の発現箇所E54の内部に位置する。この場合には、これら細胞膜上での発現箇所E51および細胞質上での発現箇所E55と、細胞膜上での発現箇所E54および細胞質上での発現箇所E56とが標的部位として抽出され、図29(c)に示すように、標的部位マップが作成される。細胞膜上での発現箇所E52や細胞膜上での発現箇所E53は標的部位として抽出されない。
また、上記したように、図26の抽出条件設定画面において、複数の抽出条件を設定し、これらのアンド条件またはオア条件を設定する場合がある。この場合には、設定されている抽出条件毎に標的部位マップを作成した後、作成した抽出条件毎の標的部位マップを組み合わせた標的部位マップを作成する。
ここで、例えば、細胞膜上で標的分子αの発現している箇所を標的部位とする抽出条件と、細胞膜上で標的分子βの発現している箇所を標的部位とする抽出条件の2つの抽出条件が設定され、これらのアンド条件が設定された場合を例に挙げてこの場合の標的部位抽出処理の手順を説明する。図30は、この場合の標的部位抽出処理の具体的な手順を説明する説明図であり、図30(a)は一方の抽出条件について作成した標的部位マップの一例を示し、図30(b)は他方の抽出条件について作成した標的部位マップの一例を示し、図30(c)は、これら2つの標的部位マップを組み合わせた標的部位マップの一例を示している。なお、図30(a)〜(c)では、「1」が設定されている画素位置を黒色で塗り潰して示している。
先ず、一方の抽出条件に従って標的部位マップを作成する。1つの抽出条件についての標的部位マップを作成する手順は、上記した手順と同様である。これにより、図30(a)に示すように、細胞膜上における標的分子αの発現箇所が設定された一方の抽出条件についての標的部位マップが作成される。
同様に、他方の抽出条件に従って標的部位マップを作成する。これにより、図30(b)に示すように、細胞膜上における標的分子βの発現箇所が設定された他方の抽出条件についての標的部位マップが作成される。
その後、作成した各抽出条件についての標的部位マップを組み合わせ、標的部位マップを作成する。本例では、アンド条件が設定されているので、抽出条件を満たすか否かを細胞単位で判定していく必要がある。具体的には例えば、一方の抽出条件の標的部位マップに「1」が設定されている画素を同じラベルの付された同一の細胞膜を構成する画素毎に処理し、他方の抽出条件の標的部位マップに「1」が設定されている画素の中に、同じラベルの付された同一の細胞膜を構成する画素が含まれるか否かを判定する。
例えば、図30(a)において破線で囲んで示す3つの領域E61〜E63が、それぞれ別のラベルの付された異なる細胞膜上での標的分子αの発現箇所を示しているとする。一方、図30(b)では、破線で囲んで示す3つの領域E64〜E66がそれぞれ別のラベルの付された異なる細胞膜上での標的分子の発現箇所を示しているとする。そして、図30(a)の発現箇所E63と図30(b)の発現箇所E65とが同じラベルの付された同一の細胞膜を構成する画素であったとする。この場合には、これら同一の細胞膜上での発現箇所E63,E65が標的部位として抽出され、図30(c)に示すように、標的部位マップが作成される。細胞膜上での発現箇所E61,E62,E64,E66は標的部位として抽出されない。
なお、オア条件が設定されている場合であれば、図30(a)に示す一方の抽出条件の標的部位マップまたは図30(b)に示す他方の抽出条件の標的部位マップのいずれか一方の標的部位マップにおいて「1」が設定されている各画素を標的部位の領域として抽出し、抽出した各画素に「1」を設定した標的部位マップを作成する。
以上のようにして標的部位マップを作成したならば、図15に示すように、表示画像生成処理に移る(ステップb15)。図31は、表示画像生成処理の処理手順を示すフローチャートである。
表示画像生成処理では、先ず擬似表示色割当部463が、染色色素に含まれる分子標的色素に割り当てる擬似表示色の割当依頼の通知を表示部43に表示する処理を行う(ステップe1)。例えば、擬似表示色割当部463は、用意しておいた擬似表示色を一覧で提示し、染色色素に含まれる分子標的色素に割り当てる擬似表示色の選択操作を受け付ける。なお、染色色素に分子標的色素が複数含まれる場合には、各分子標的色素に割り当てる擬似表示色の選択操作を個別に受け付ける。そして、擬似表示色割当部463は、割当依頼の通知に応答したユーザの操作入力に応じて染色色素に含まれる分子標的色素に擬似表示色を割り当てる(ステップe3)。
続いて、表示対象選択処理部461が、表示対象とする染色色素および/または標的部位の選択依頼の通知を表示部43に表示する処理を行う(ステップe5)。ユーザは、この選択依頼の通知に応答して、各染色色素および標的部位のうちの1つまたは複数を表示対象として選択する。ここで、選択依頼の通知に応答した選択操作が入力されなければ(ステップe7:No)、ステップe31に移行する。一方、表示対象とする染色色素および/または標的部位の選択操作が入力された場合には(ステップe7:Yes)、表示対象選択処理部461は、操作入力に従って表示対象を選択する(ステップe9)。
続いて、表示画像生成部462が、ステップe9において表示対象として選択した染色色素が分子標的色素を含み、この分子標的色素について擬似表示色が割り当てられている場合には(ステップe11:Yes)、擬似表示色データ475から該当する擬似表示色のスペクトルを読み出して取得し(ステップe13)、その後ステップe15に移行する。一方、表示対象として選択された染色色素が分子標的色素を含まない場合や、含むものの擬似表示色が割り当てられていない場合には(ステップe11:No)、ステップe15に移行する。
そして、続くステップe15では、表示画像生成部462が、ステップe9で選択した表示対象を判別する。そして、表示対象として少なくとも1つの染色色素が選択されており、表示対象が標的部位のみでない場合には(ステップe15:No)、表示画像生成部462は、表示対象として選択されている染色色素の色素量をもとに、その染色状態を表したVS画像のRGB画像を合成する(ステップe17)。具体的には、各画素における表示対象の染色色素の色素量をもとに各画素のRGB値を算出し、RGB画像を合成する。
このとき、表示対象の染色色素が、ステップe3で擬似表示色を割り当てた分子標的色素を含む場合には、この分子標的色素の基準色素スペクトルとしてステップe13で取得した擬似表示色のスペクトルを用い、RGB値を算出する。具体的には、RGB値の算出に際し、該当する分子標的色素の基準色素スペクトルkn(λ)を、ステップe13で取得した擬似表示色のスペクトルに置き換えてスペクトル推定を行い、推定結果をもとにRGB値を算出する。
ここで、色素量をもとにRGB値を算出し、RGB画像を合成する処理は、例えば特許文献1に記載の公知技術を適用して実現できる。簡単に処理手順を説明すると先ず、色素量データ582に設定されている(図16のステップc9で算出した)色素量d
1,d
2,・・・,d
nに選択係数α
1,α
2,・・・,α
nをそれぞれ乗じて上記した式(2)に代入し、次式(7)を得る。そして、表示対象の染色色素に乗じる選択係数α
nを1とし、表示対象としない染色色素に乗じる選択係数α
nを0とすることで、表示対象の染色色素の色素量のみを対象とした分光透過率t
*(x,λ)を得る。
撮像されたマルチバンド画像の任意の点(画素)xについて、バンドbにおける画素値g(x,b)と、対応する標本上の点の分光透過率t(x,λ)との間には、カメラの応答システムに基づく次式(8)の関係が成り立つ。
λは波長、f(b,λ)はb番目のフィルタの分光透過率、s(λ)はカメラの分光感度特性、e(λ)は照明の分光放射特性、n(b)はバンドbにおける観測ノイズをそれぞれ表す。bはバンドを識別する通し番号であり、ここでは1≦b≦6を満たす整数値である。
したがって、式(7)を上記した式(8)に代入し、次式(9)に従って画素値を求めることによって、表示対象の染色色素の色素量を表示した表示画像(表示対象の染色色素による染色状態を表した表示画像)の画素値g
*(x,b)を求めることができる。この場合、観測ノイズn(b)をゼロとして計算してよい。
続いて、表示画像生成部462は、ステップe9で選択した表示対象が標的部位を含むか否かを判定する。そして、表示対象が標的部位を含む場合には(ステップe19:Yes)、ステップe17で合成したRGB画像において標的部位の領域を識別表示したVS画像の表示画像を生成する(ステップe21)。具体的には、図15のステップb13で作成した標的部位マップをもとに、合成したRGB画像内の標的部位の領域を所定の表示色で表示した表示画像を生成する。具体的には、標的部位マップにおいて「1」が設定されている画素位置の画素値を所定の表示色で置き換えて表示画像を生成する。なお、標的部位の領域を表す表示色は、予め設定される固定の色としてもよいし、ユーザ操作に従って適宜変更可能な色としてもよい。そして、VS画像表示処理部454が、ステップe21で生成した表示画像を表示部43に表示する処理を行う(ステップe23)。
一方、標的部位を含まない場合には(ステップe19:No)、VS画像表示処理部454は、ステップe17で合成したRGB画像をVS画像の表示画像として表示部43に表示する処理を行う(ステップe25)。
また、ステップe15において表示対象が標的部位のみと判定した場合には(ステップe15:Yes)、表示画像生成部462は、図15のステップb13で作成した標的部位マップをもとに、標的部位の領域を表したVS画像の表示画像を生成する(ステップe27)。具体的には、標的部位マップにおいて「1」が設定されている画素位置を所定の表示色で表した表示画像を生成する。そして、VS画像表示処理部454が、ステップe27で生成した表示画像を表示部43に表示する処理を行う(ステップe29)。
その後、ステップe31に移行し、VS画像表示処理部454は、VS画像表示処理の終了判定を行う。例えば、表示終了操作を受け付ける。そして、表示終了操作が入力されたならば(ステップe31:Yes)、本処理を終え、図15に示すステップb15にリターンしてその後ステップb17に移る。一方、表示終了操作が入力されない場合には(ステップe31:No)、ステップe7に戻る。
そして、ステップb17では、抽出条件の変更指示操作を監視し、変更指示操作が入力された場合には(ステップb17:Yes)、ステップb9に戻る。一方、抽出条件の変更指示操作が入力されない場合には(ステップb17:No)、VS画像表示処理の終了判定を行い、終了する場合には(ステップb19:Yes)、本処理を終える。終了しない場合には(ステップb19:No)、ステップb17に戻る。
なお、ここでは、表示対象として標的部位が選択された場合に、標的部位マップに「1」が設定されている画素位置を所定の表示色で表示することとした。これに対し、抽出条件の1つである発現状況として発現ありが設定されている場合には、その画素位置における該当する分子標的色素の染色状態を表すことで標的部位の領域を表示することとしてもよい。
例えば、実施の形態1では、細胞膜上でEGFR受容体が発現している箇所、すなわち細胞膜上でDAB色素が発色している箇所を標的部位として抽出する場合を例に挙げている。この場合には、表示対象として標的部位が選択された場合に、標的部位の領域を構成する各画素におけるDAB色素の染色状態を表した表示画像を生成することで、標的部位の領域を表示するようにしてもよい。具体的には、標的部位マップに「1」が設定されている画素について、DAB色素の色素量をもとにRGB値を算出するようにしてもよい。またこのとき、標的部位に例えば固定的にあるいはユーザ操作に従って擬似表示色を割り当てるようにしてもよい。そして、DAB色素の基準色素スペクトルkn(λ)を擬似表示色のスペクトルに置き換えてRGB値を算出し、標的部位の領域を擬似表示色で表示するようにしてもよい。
また、図29に示して説明したように、先ず細胞コンポーネント毎に個別に標的部位マップを作成し、その後これらを組み合わせて標的部位マップを作成した場合において、表示対象として標的部位が選択された場合には、その出典元の標的部位マップ毎に異なる表示色で表示画像を生成するようにしてもよい。例えば、表示対象として標的部位が選択された場合に、図29(c)の標的部位マップにおいて「1」が設定されている各画素のうち、出典元が図29(a)の標的部位マップである画素と、出典元が図29(b)の標的部位マップである画素とを異なる表示色で表して表示画像を生成するようにしてもよい。
同様に、図30に示して説明したように、先ず抽出条件毎に個別に標的部位マップを作成し、その後これらを組み合わせて標的部位マップを作成した場合において、表示対象として標的部位が選択された場合には、その出典元の標的部位マップ毎に異なる表示色で表示画像を生成するようにしてもよい。例えば、表示対象として標的部位が選択された場合に、図30(c)の標的部位マップにおいて「1」が設定されている各画素のうち、出典元が図30(a)の標的部位マップである画素と、出典元が図30(b)の標的部位マップである画素とを異なる表示色で表して表示画像を生成するようにしてもよい。
次に、表示画像を表示部43に表示してVS画像を観察する際の操作例について説明する。図32は、VS画像観察画面の一例を示す図である。図32に示すように、VS画像観察画面は、メイン画面W71と、標本全体像ナビゲーション画面W73と、倍率選択部B71と、観察範囲選択部B73と、表示切換ボタンB77と、表示色変更ボタンB78と、表示終了ボタンB79とを備える。
メイン画面W71には、高解像画像である標本領域区画画像を結合して得たVS画像をもとに、表示用に生成した表示画像が表示される。ユーザは、このメイン画面W71において、実際に顕微鏡装置2で高倍対物レンズを用いて対象標本Sを観察するのと同様の要領で、対象標本Sの全域あるいは対象標本Sを部分毎に高解像度で観察することができる。
このメイン画面W71に表示されている表示画像上でマウスを右クリックすると、図32に例示するような染色色素および/または標的部位の選択メニュー(以下、単に「表示対象の選択メニュー」と呼ぶ。)B751が表示されるようになっている。表示対象の選択メニューB751には、例えば染色色素と標的部位とが選択肢として提示され、この表示対象の選択メニューB751でチェックされた染色色素および/または標的部位が表示対象として選択される。実施の形態1では、染色色素である「H」「E」「DAB」「NF」と「標的部位」の5つが選択肢として提示され、この表示対象の選択メニューB751において表示対象を選択すると、図31のステップe9〜ステップe23の処理が行われる。例えば、図32に示すように、「H」「NF」をチェックしたとする。この場合には、表示画像生成部462がVS画像の現在の観察範囲内の各画素におけるH色素およびNF色素の色素量をもとにH色素およびNF色素の染色状態を表したRGB画像を合成し、合成したRGB画像上で標的部位の領域を識別表示した表示画像を生成する。そして、VS画像表示処理部454が、表示画像を表示部43(詳細にはメイン画面W71)に表示する。「E」や「DAB」、「標的部位」を選択した場合や、表示対象の組み合わせを変更した場合も同様である。
標本全体像ナビゲーション画面W73には、スライド標本全体画像が縮小表示される。そして、スライド標本全体画像上において、現在メイン画面W71に表示されている表示画像の範囲である観察範囲を示すカーソルK731が表示される。ユーザは、この標本全体像ナビゲーション画面W73において、対象標本Sのどの部位を観察しているのかが容易に把握できる。
倍率選択部B71は、メイン画面W71の表示画像の表示倍率を選択するためのものであり、図示の例では、「全体」「1倍」「2倍」「4倍」「10倍」「20倍」の各表示倍率を選択する倍率変更ボタンB711が配置されている。なお、この倍率選択部B71では、例えば対象標本Sの観察に用いた高倍対物レンズの倍率を最大の表示倍率として提示する。ユーザが、例えば入力部41を構成するマウスで所望する倍率変更ボタンB711をクリックすると、メイン画面W71に表示されている表示画像が選択された表示倍率に従って拡縮されて表示される。
観察範囲選択部B73は、メイン画面W71の観察範囲を移動させるためのものであり、例えば上下左右の各矢印をマウスでクリックすると、所望の移動方向に観察範囲が移動した表示画像がメイン画面W71に表示される。また、例えば入力部41を構成するキーボードが備える矢印キーの操作や、メイン画面W71上でのマウスのドラッグ操作等に応じて観察範囲を移動させることができるようにしてもよい。ユーザは、この観察範囲選択部B73を操作する等してメイン画面W71の観察範囲を移動させることで、メイン画面W71において対象標本Sを部位毎に観察できる。
表示切換ボタンB77は、メイン画面W71の表示を切り換える。図33は、表示切換ボタンB77の押下によって切り替えられるメイン画面W71−2の一例を示す図である。図32のメイン画面W71および図33のメイン画面W71−2に示すように、表示切換ボタンB77の押下によって、1枚の表示画像をメイン画面W71に表示する単一モードと、メイン画面W71−2を2以上の複数画面に分割して複数の表示画像を表示するマルチモードとを切り換えることができる。なお、図33では、マルチモードとして2画面構成のメイン画面W71−2を例示しているが、3つ以上に画面分割して3枚以上の表示画像を表示してもよい。
メイン画面W71−2の各分割画面W711,W713では、それぞれ個別に表示対象とする染色色素および/または標的部位を選択できるようになっており、その色素量を表示した表示画像を表示する。具体的には、図33に示すように、分割画面W711上でマウスを右クリックすると表示対象の選択メニューB753が表示され、この表示対象の選択メニューB753で表示対象とする染色色素および/または標的部位をチェックすることで所望の色素の色素量を表示した表示画像、あるいは標的部位を表示した表示画像を表示させることができる。同様に、分割画面W713上でマウスを右クリックすれば、表示対象の選択メニューB755が表示され、この表示対象の選択メニューB755で表示対象とする染色色素および/または標的部位をチェックすることで所望の色素の色素量を表示した表示画像、あるいは標的部位を表示した表示画像を表示させることができる。
例えば、図33に向かって左側の分割画面W711上の表示対象の選択メニューB753では「H」および「E」が選択されており、分割画面W711の表示画像は、染色色素「H」「E」の色素量をもとに、これら2つの色素の染色状態を表したものとなる。一方、図33に向かって右側の分割画面W713上の表示対象の選択メニューB755では「H」および「標的部位」が選択されており、分割画面W713の表示画像は、染色色素「H」の色素量をもとに、H色素の染色状態を表したものであって、且つ標的部位の領域を識別表示したものとなる。ここで、H色素は、細胞核を主に染色するため、分割画面W713の表示画像は、細胞核を対比染色として標的分子の発現状況を表したものとなる。なお、この表示対象の選択メニューB753,B755や図32に示した表示対象の選択メニューB751は、これらの表示を避けて画面上をマウスで左クリックすると消えるようになっており、必要に応じて表示させることが可能である。
これによれば、例えば、単一モードでは、図32のメイン画面W71に示すようにH色素およびNF色素の各染色色素の染色状態を表した表示画像を観察することができる。ここで、図32のメイン画面W71において、例えば領域A711がH色素の染色状態を表し、例えば領域A713がNF色素の染色状態を表している。
一方、マルチモードでは、例えば図33のメイン画面W71−2に例示するように、H色素およびE色素の染色状態を表した表示画像と、H色素の染色状態を表し、且つ標的部位の領域を識別表示した表示画像とを並べて、両者を比較しながら観察するといったことが可能となる。より具体的には、図33の例では、対象標本SにHE染色を施して行う従来の形態観察(分割画面W711)と、対象標本SにH色素による対比染色を施した従来のIHC法での標的部位の観察(分割画面W713)とを同時に行うことが可能となる。ここで、図33の分割画面W711において、例えば領域A721がH色素の染色状態を表し、例えば領域A723や領域A724がE色素の染色状態を表している。一方、図33の分割画面W713において、例えば領域A731がH色素の染色状態を表し、領域A733が標的部位の染色状態を表している。実施の形態1では、上記したように「細胞膜上にEGFR受容体が発現している対象標本内の箇所」を標的部位としており、図33の分割画面W71に示すように、該当する領域(すなわち、細胞膜上であって、EGFR受容体が発現している領域A733のような領域)を観察者にとって視認性良く表示させることができる。
なお、分子標的色素の表示色として擬似表示色を割り当てたい場合には、図32に示す表示色変更ボタンB78を押下する。そして、所望の分子標的色素を選択するとともに、提示される擬似表示色の一覧の中から選択した分子標的色素に割り当てる擬似表示色を選択する操作を行う。また、VS画像の観察を終える場合には、表示終了ボタンB79を押下する。
以上説明したように、実施の形態1では、少なくとも所望の細胞コンポーネントを特異的に染色する細胞コンポーネント同定用色素によって染色が施され、且つ所望の標的分子を可視化する分子標的色素によって染色が施された対象標本Sを観察・診断対象とする。そして、この対象標本Sを撮像して得られた標本画像を画像処理することによって、対象標本S内に存在する所望の細胞コンポーネントの領域を同定することができる。また、所望の細胞コンポーネント上での標的分子の発現の有無を抽出条件として、標的部位の領域を抽出することができる。そして、この標的部位の領域を表したVS画像の表示画像を生成することができる。これによれば、所望の細胞コンポーネント上での所望の標的分子の発現の有無を容易に視認することが可能な表示画像を生成し、表示部43に表示処理することができる。したがって、所望の細胞コンポーネントの領域を適正に特定し、この細胞コンポーネント上での所望の標的分子の発現の有無を視認性良く表示させることができる。
より具体的には、観察時には、単一モードとマルチモードとを適宜切り換えて図32や図33に示したVS画像観察画面を表示させ、表示対象の選択メニューB751,B753,B755で所望の染色色素および/または標的部位を自由にチェックすることで、各染色色素による染色状態および/または標的部位を任意に組み合わせて表示させたり、表示対象を異ならせた表示画像を並べて表示させることができる。したがって、例えば、標的分子の発現状況の観察を形態観察と組み合わせて視認性良く効率的に行うことができるので、診断効率を向上させることができる。そして、医師等のユーザは、観察・診断結果を治療法の選択や予後予測等に活用することができる。
また、分子標的色素に適宜擬似表示色を割り当てることができる。そして、分子標的色素の基準色素スペクトルとして、本来その色素が有しているスペクトル(ここでは分光透過率特性)とは別のスペクトルを用いることができる。すなわち例えば、形態観察色素の染色状態については、実際に標本を染色している色素と同様の色を再現して表し、分子標的色素の染色状態については、例えば形態観察色素に対してコントラストが向上するような擬似表示色で表示することができる。このようにすれば、例えば分子標的色素による染色状態を高コントラストで表示することができる。したがって、形態観察色素と分子標的色素や分子標的色素同士が類似色で可視化される場合であっても、これらを識別容易に表示することが可能となり、観察時の視認性を高めることができる。
(実施の形態2)
実施の形態2では、細胞コンポーネントの同定結果をもとに細胞を認識し、その正常/異常を判定する。以下では、対象標本Sに対して細胞核、細胞膜および細胞質の3つの細胞コンポーネントを同定するための細胞コンポーネント同定用染色が施されており、これら3つの細胞コンポーネントが同定されていることとして説明する。
図34は、実施の形態2におけるホストシステム4bの主要な機能ブロックを示す図である。なお、実施の形態1で説明した構成と同一の構成については、同一の符号を付する。図34に示すように、実施の形態2の顕微鏡システムを構成するホストシステム4bは、入力部41、表示部43、処理部45b、記録部47b等を備える。
そして、処理部45bのVS画像表示処理部454bは、染色色素設定部455と、細胞コンポーネント同定用色素設定部456と、色素量算出部457と、細胞コンポーネント同定処理部458と、細胞領域認識手段、特徴量算出手段および異常度判定手段としての細胞認識部464bと、抽出条件設定部459bと、標的部位抽出部460bと、表示対象選択処理部461と、表示画像生成部462と、擬似表示色割当部463とを含む。一方、記録部47bには、VS画像生成プログラム471と、VS画像表示処理プログラム473bと、擬似表示色データ475と、VS画像ファイル5bとが記憶される。
次に、実施の形態2におけるVS画像表示処理について説明する。図35は、実施の形態2におけるVS画像表示処理の処理手順を示すフローチャートである。なお、図35において、実施の形態1と同様の処理工程には同一の符号を付して示している。ここで説明する処理は、VS画像表示処理部454bが記録部47bに記録されたVS画像表示処理プログラム473bを読み出して実行することによって実現される。
図35に示すように、実施の形態2のVS画像表示処理では、ステップb7の細胞コンポーネント同定処理の後、細胞認識処理に移る(ステップf8)。図36は、細胞認識処理の処理手順を示すフローチャートである。
図36に示すように、細胞認識処理では、細胞認識部464bが先ず、図35のステップb7で細胞コンポーネント同定処理部458によって同定された細胞コンポーネントの領域をもとに、VS画像中の細胞の領域を認識する(ステップg1)。
ここで、細胞の構成について説明する。図37および図38は、細胞の構成を説明する模式図である。図37に示すように、細胞9は、最外層を形成する細胞膜92の内側に細胞質93を有する。また、細胞膜92の内側には、通常1つの細胞核91が存在する。一方で、図38に示すように、複数の細胞が融合することで図38中に破線で示すように細胞膜の一部が消失し、1つの細胞膜92bで囲まれた細胞集塊9bを形成する場合があり、対象標本S内には、このような細胞集塊9bも存在する。図示の例では、1つの細胞膜92bの内側に3つの細胞核911b,912b,913bが存在している。実施の形態2では、細胞膜で囲まれた領域を細胞または細胞集塊の領域と認識する。すなわち、細胞膜と、この細胞膜の内側に存在する細胞核および細胞質とを1つの細胞または細胞集塊として認識し、細胞核の数が1つであれば細胞、複数であれば細胞集塊として認識する。
具体的には、細胞核、細胞膜および細胞質について作成されているマップデータ594や形態特徴データ595、同定コンポーネント一覧596(図24や図25を参照)をもとに、1つの細胞または細胞集塊の領域を認識し、各領域毎に個々の細胞または細胞集塊を識別するための固有のラベルを付す。また、このとき、1つの細胞または細胞集塊と認識した領域内の細胞核の数を計数する。
続いて、細胞認識部464bは、図36に示すように、認識した細胞または細胞集塊の領域毎に、その形態的な特徴を表す形態特徴量を算出する(ステップg3)。細胞または細胞集塊の形態特徴量としては、外接長方形、重心、面積、周囲長、円形度、長径、短径、アスペクト比、核の数、核の面積、核面積の分散、核の平均色素量、N/C比、細胞質の平均色素量等が挙げられる。ここで、外接長方形、重心、面積、周囲長、円形度、長径、短径およびアスペクト比の各値は、実施の形態1で説明した細胞核の形態特徴量の算出手法と同様に算出でき、これらの各値は、認識した細胞または細胞集塊の領域の輪郭をもとに算出する。この細胞または細胞集塊の領域の輪郭は、領域の境界を形成する画素によって定めることができる。細胞または細胞集塊の領域が細胞膜によって完全に囲まれた状態であれば、細胞膜の外側の輪郭を細胞または細胞集塊の輪郭とすればよい。
核の数は、その細胞または細胞集塊の領域の内側に存在している細胞核の領域数である。核の平均色素量は、その細胞または細胞集塊の領域の内側に存在している細胞核の領域を構成する各画素の細胞核同定用色素(例えばH色素)の色素量の平均値として算出する。核の面積は、その細胞または細胞集塊の領域の内側に細胞核の領域が複数存在している場合に、それぞれの面積の平均値として算出する。核面積の分散は、その細胞または細胞集塊の領域の内側に細胞核の領域が複数存在している場合に、それぞれの面積の分散値として算出する。
N/C比は、例えば、その細胞または細胞集塊の領域内における細胞核および細胞膜の面積をもとに、次式(10)に従って算出する。
N/C比=細胞核の総面積/細胞質の総面積 ・・・(10)
細胞質の平均色素量は、その細胞または細胞集塊の領域の内側に存在している細胞質の領域を構成する各画素の細胞質同定用色素(例えばE色素)の色素量の平均値として算出する。
続いて、細胞認識部464bは、認識した細胞または細胞集塊の領域の各々の正常/異常の判定を行う(ステップg5)。この正常/異常の判定は、例えば特許文献6に記載の公知技術を適用して実現できる。
簡単に処理を説明すると、細胞認識部464bは、認識した細胞または細胞集塊の領域を順次処理対象として以下の処理を実行する。すなわち先ず、細胞認識部464bは、ステップg3で算出した形態特徴量のうちの所定の形態特徴量を異常レベル特定項目とし、その値をもとに異常レベルを特定する。どの形態特徴量を異常レベル特定項目とするのかは適宜選択でき、この異常レベル特定項目とする形態特徴量は1つであってもよいし複数であってもよいが、異常レベル特定項目とする形態特徴量毎に、その値と異常レベルとの対応関係を設定した異常レベル特定テーブルを予め用意して記録部46bに記憶しておく。そして、この異常レベル特定テーブルを参照し、ステップg3で算出した該当する形態特徴量の値をもとに、その異常レベルを特定する。
実施の形態2では、例えば、細胞の領域と細胞集塊の領域とで別個の異常レベル特定テーブルを用意しておくこととする。具体的には、細胞についての異常レベル特定項目を、例えばN/C比、核の平均色素量、核の面積および円形度の4つとし、これら各形態特徴量の値と異常レベルとの対応関係を設定した異常レベル特定テーブルを用意しておく。一方、細胞集塊についての異常レベル特定項目は、例えばN/C比、核の平均色素量、核の面積および核面積の分散の4つとし、これら各形態特徴量の値と異常レベルとの対応関係を設定した異常レベル特定テーブルを用意しておく。そして、例えば最も高い異常レベルをレベル4とし、各異常レベル特定テーブルによってレベル1〜4の4段階の異常レベルが特定されることとする。
そして、細胞の領域に対しては、細胞用の異常レベル特定テーブルを適用して異常レベルを算出する。一方、細胞集塊の領域に対しては、細胞集塊用の異常レベル特定テーブルを適用して異常レベルを算出する。細胞の領域なのか細胞集塊の領域なのかは、その領域内における細胞核の数によって判別できる。
その後、細胞認識部464bは、以上のように所定の形態特徴量について特定した異常レベルをもとに、その細胞または細胞集塊についてのスコアを判定する。ここでのスコアの判定には、スコア判定テーブルを用いる。図39は、細胞の領域に対して適用するスコア判定テーブルの一例を示す図であり、図40は、細胞集塊の領域に対して適用するスコア判定テーブルの一例を示す図である。これらスコア判定テーブルは、異常レベル特定項目の異常レベルの組み合わせ毎に、その判定結果(「正常」または「異常」)とスコアとを対応付けたものであり、予め用意して記録部46bに記憶しておく。スコアとしては、例えば、「1」〜「10」の10段階の値を設定しており、最も小さい(異常度が低い)値を「1」とし、最も大きい(異常度が高い)値を「10」としている。
具体的には、図39では、N/C比、核の平均色素量、核の面積および円形度の4つの異常レベル特定項目の組み合わせ毎にその判定結果を対応付けた細胞用のスコア判定テーブルを例示している。一方、図40では、N/C比、核の平均色素量、核の面積および核面積の分散の4つの異常レベル特定項目の組み合わせ毎にその判定結果を対応付けた細胞集塊用のスコア判定テーブルを例示している。
細胞についてのスコアを判定する場合には、その細胞の領域について特定されているN/C比、核の平均色素量、核の面積および円形度のそれぞれの異常レベルの組み合わせをもとに、図39に示すスコア判定テーブルから対応する分類およびスコアを取得することによってスコアを判定する。一方、細胞集塊についてのスコアを判定する場合には、その細胞の領域について特定されているN/C比、核の平均色素量、核の面積および核面積の分散のそれぞれの異常レベルの組み合わせをもとに、図40に示すスコア判定テーブルから対応する分類およびスコアを取得することによって、スコアを判定する。
スコアを判定したならば、図36に示すように、細胞認識部464bは、ステップg3で算出した形態特徴量と、ステップg5の処理の過程で取得した分類およびスコアとを対応付けて細胞一覧テーブルを作成する(ステップg7)。図41−1および図41−2は、細胞一覧テーブルのデータ構成例を説明する図である。図41−1に示すように、細胞一覧テーブルは、図36のステップg3で算出した外接長方形、重心、面積、周囲長、円形度、長径、短径およびアスペクト比の各形態特徴量が、その細胞または細胞集塊に付されたラベルと、その細胞または細胞集塊を構成する細胞核、細胞膜および細胞質に対して図35のステップb7の細胞コンポーネント同定処理で付されたラベルと対応付けられて構成される。さらに、細胞一覧テーブルは、図41−1に示したものの他に、図41−2に示すように、核の数、核の面積、核面積の分散およびN/C比の各形態特徴量と、図36のステップg5の処理の過程で取得した分類およびスコアとが、その細胞または細胞集塊に付されたラベルと、その細胞または細胞集塊を構成する細胞核、細胞膜および細胞質に対して図35のステップb7の細胞コンポーネント同定処理で付されたラベルと対応付けられて構成される。
この細胞一覧テーブルは、例えば図14(a)に示したVS画像情報55内に記憶される。すなわち、実施の形態2のVS画像ファイル5bは、実施の形態1の画像ファイル5と図14(b)に示したVS画像情報55のデータ構成が異なり、図14(b)に示した撮影情報56、フォーカスマップ57、画像データ58および同定コンポーネント情報59に加えて、ここで作成した細胞一覧テーブルを記憶する。
以上のようにして細胞一覧テーブルを作成したならば、細胞認識処理を終える。そして、図35のステップf8にリターンし、その後ステップf9に移行する。すなわち、続くステップf9では、実施の形態1と同様に、抽出条件設定部459bが、標的部位を抽出する際の抽出条件の設定依頼の通知を表示部43に表示する処理を行う。そして、抽出条件設定部459bは、実施の形態1と同様に、ユーザが操作入力した内容をもとに抽出条件を設定する(ステップf11)。その後、標的部位抽出部460bが、実施の形態1と同様に、ステップb11で設定した抽出条件に従って標的部位を抽出する処理(標的部位抽出処理)を行い、標的部位マップを作成する(ステップf13)。
ここで、実施の形態2では、VS画像中の細胞の領域を認識し、認識した個々の細胞の領域についてスコアを判定することとした。したがって、実施の形態2では、実施の形態1で説明した抽出条件に加えて、設定されている細胞コンポーネントの属する細胞または細胞集塊についての正常/異常の分類やスコアを抽出条件として設定し、設定した抽出条件に従って標的部位を抽出することが可能となり、これらの処理をステップf9〜ステップf13で行う。これによれば、例えば、所望の細胞コンポーネント上において所望の標的分子が発現している箇所であり、且つその細胞コンポーネントを構成要素とする細胞のスコアが所望のスコア(例えば「10」)である箇所を抽出するといったことが可能となる。あるいは、所望の細胞コンポーネント上において所望の標的分子が発現しておらず、且つその細胞コンポーネントを構成要素とする細胞の分類が所望の分類(例えば「異常」)である箇所を抽出するといったことが可能となる。
以上説明したように、実施の形態2によれば、VS画像内の細胞の領域、すなわち、対象標本S内に存在する細胞の領域を認識するとともに、認識した細胞の領域が正常か異常かを判定することができる。そして、細胞が異常であること、あるいは正常であることを加味して標的部位を抽出することができる。
また、観察時には、図32や図33に示したVS画像観察画面を表示させ、表示対象の選択メニューB751,B753,B755で標的部位をチェックすることによって、異常と判定された細胞のみを表示させて標的分子の発現状況を観察し、診断するといったことが可能となる。したがって、医師等のユーザは、異常と判定された細胞の分子学的特性の理解を容易に行える。そして、観察・診断結果を治療法の選択や予後予測等に活用することができる。
なお、実施の形態2では、細胞膜の内側に複数の細胞核が存在する領域を、複数の細胞が融合した細胞集塊として認識する場合について説明した。ただし、複数の細胞核を構成要素とする細胞も存在する。このため、図38に示したような細胞膜の内側に複数の細胞核が存在する領域を1つの細胞として認識するようにしてもよい。
(実施の形態3)
実施の形態1で説明した細胞核同定情報591、細胞膜同定情報592および細胞質同定情報593(図24や図25を参照)と、標的部位情報8(図28を参照)とを用いれば、標的部位を含む細胞、すなわち、陽性細胞コンポーネントを構成要素とする細胞(以下、「陽性細胞」と呼ぶ。)の数や、陽性細胞率等の統計量を算出することができる。
図42は、実施の形態3におけるホストシステムの処理部を構成するVS画像表示処理部454cの機能ブロックを示す図である。実施の形態3のホストシステムは、実施の形態1のホストシステム4において、図2に示す処理部45のVS画像表示処理部454を図42に示すVS画像表示処理部454cで置き換えた構成で実現できる。
そして、図42に示すように、実施の形態3のVS画像表示処理部454cは、染色色素設定部455と、細胞コンポーネント同定用色素設定部456と、色素量算出部457と、細胞コンポーネント同定処理部458と、抽出条件設定部459と、標的部位抽出部460と、表示対象選択処理部461と、表示画像生成部462と、擬似表示色割当部463と、統計量算出手段としての統計量算出部465cとを含む。なお、実施の形態1の構成に適用する場合に限らず、実施の形態2の構成に適用することとしてもよく、この場合には、図34に示した処理部45bのVS画像表示処理部454bが、統計量算出部465cを備えた構成とすることで実現できる。
統計量算出部465cは、標的部位抽出部460が標的部位の領域を抽出した後の所定のタイミングで、陽性細胞数を計数し、陽性細胞率を算出する。
ここで、実施の形態2で図37に示して説明したように、単純な細胞は、細胞の数=細胞核の数=細胞膜の数である。したがって、陽性細胞数は、陽性細胞コンポーネント数84(図28(b)を参照)に設定されている陽性細胞コンポーネントの数と同数であり、陽性細胞コンポーネント数84の値として算出する。
一方、陽性細胞率は、次式(11)に従って算出する。前述のように、細胞の数=細胞核の数=細胞膜であるため、VS画像中に映る細胞の数、すなわち対象標本S内の細胞の数(総細胞数)は、細胞核または細胞膜のいずれか一方の数(すなわち、図25(a)に示す同定コンポーネント数597)とする。
陽性細胞率(%)=(陽性細胞数/総細胞数)×100 ・・・(11)
ただし、対象標本S内には、実施の形態2で図38に示して説明した細胞集塊9bも存在する。したがって、このような細胞集塊を実施の形態2で説明したように、複数の細胞の集合として扱う場合には、細胞核の数を総細胞数として陽性細胞率を算出すればよい。
以上のように計数され、算出される陽性細胞数および陽性細胞率の各統計量は、例えば、ユーザが統計量の表示指示操作を入力した時点等の任意のタイミングで、表示部43に表示処理する。
なお、上記したように、複数の細胞核を構成要素とする細胞も存在する。したがって、図38に示したような細胞膜の内側に複数の細胞核が存在する領域を、複数の細胞が融合した細胞集塊ではなく、1つの細胞として扱いたい場合もある。このような場合を想定し、図38に示したような細胞膜の内側に複数の細胞核が存在する領域を1つの細胞として扱いたい場合には、細胞膜の数を総細胞数とすればよい。なお、細胞核の数を総細胞数とするか、細胞質の数を総細胞数とするかは、例えばユーザ操作に従って設定可能に構成することとしてよい。
以上説明したように、実施の形態3によれば、同定した細胞コンポーネントの領域と、抽出した細胞コンポーネントの領域とをもとに、陽性細胞の数や、陽性細胞率といった統計量を算出することができる。そして、算出した統計量を表示部43に表示してユーザに提示することが可能となる。したがって、医師等のユーザは、これら統計量の値を治療法の選択や予後予測等に活用することができる。
なお、実施の形態3では、VS画像の全域を対象として陽性細胞数や陽性細胞率を算出することとして説明したが、実際の癌の診断においては、腫瘍領域における陽性細胞数や陽性細胞率を算出して用いるといったことが一般的に行われている。このため、図32に示したVS画像観察画面のメイン画面W71において領域選択操作を受け付けるようにしてもよい。そして、このメイン画面W71上でユーザが選択した領域内に存在する陽性細胞数や陽性細胞率を算出するようにしてもよい。