JP5154844B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、予め定められた複数の主要要素のうちの少なくとも一つを含む標本であって、複数の色素によって染色された標本を撮像した標本画像を処理する画像処理装置および画像処理プログラムに関する。

生体組織標本、特に病理標本では、臓器摘出によって得たブロック標本や針生検によって得た標本を厚さ数ミクロン程度に薄切した後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。中でも光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。この場合、薄切された生体標本は光を殆ど吸収及び散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。

染色手法としては種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「Ｈ＆Ｅ染色」と称す。）が標準的に用いられている。

ヘマトキシリンは植物から採取された天然の物質であり、それ自身には染色性はない。しかし、その酸化物であるヘマチンは好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンでは無く、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。

エオジンは好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかはｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。

Ｈ＆Ｅ染色後の標本（染色標本）では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認できるようになる。この結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、染色標本の状態を形態学的に判断することが可能となる。

染色標本の観察は、観察者の目視によるものの他、この染色標本をマルチバンド撮像して外部装置の表示画面に表示することによっても行われている。図１６は、染色標本を撮像したマルチバンド画像の一例を示す図である。観察者は、染色標本や、この染色標本を撮像したマルチバンド画像から、自らの判断で細胞核等の病理標本内の組織要素を判別分類し、大きさや位置関係、複数の組織要素の存在比率等を調べ、病気の進行度を決定する等して病理診断を行っている。

また、このような病理診断を正確に行うとともに、観察者の負担を軽減するため、染色標本に含まれる組織要素等の主要要素を自動的に分類しようとする試みがなされている（例えば、特許文献１参照）。特許文献１によれば、先ず、Ｈ＆Ｅ染色された病理標本のマルチバンド画像から、該マルチバンド画像の各画素に対応する病理標本の標本各点に固定された色素の相対的な量を推定する。そして、推定されたヘマトキシリンとエオジンの色素量を色素量平面上にプロットして、マルチバンド画像の各画素をクラス分類する。このとき、内容の明らかな標本を教師情報として用い、色素量平面におけるクラスタの境界を決定しておく。マルチバンド画像の各画素について推定された色素量の色素量平面上での分布位置は、その画像位置が何れの主要要素に属するのかに応じて変化し、同種の主要要素に属する画像位置の色素量の分布位置が相対的に近くなることから、推定された色素量を用いてマルチバンド画像の各画素を主要要素毎に分類することができる。

特開２００５−３３１３９４号公報

しかしながら、特許文献１の技術を用いてマルチバンド画像の各画像位置を主要要素毎に分類する場合、その分類処理において教師情報を使用するため、標準的に染色された標本等の別の標本から予め各主要要素を代表するサンプル点を取得しておく必要があった。また、染色標本とサンプル点を取得した標本との染色状態が大きく異なる場合には、教師情報が適応せずに正確な分類ができないという問題があった。

一方、教師情報を用いずにマルチバンド画像の各画素のクラス分類を行うこともできるが、所定の判定基準に基づいて分類結果を修正しながら分類処理を繰り返し行い、よりよい分類を探索する反復法であるため、分類処理にかかる所要時間が増大する。

本発明は、上記した従来の問題点に鑑みて為されたものであり、複数の色素によって染色された標本を撮像した標本画像の各画像位置を、該各画像位置の属する主要要素毎に、短時間で確実に分類することができる画像処理装置および画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明に係る画像処理装置は、予め定められた複数の主要要素のうちの少なくとも一つを含む標本であって、複数の色素によって染色された標本を撮像した標本画像を処理する画像処理装置において、前記標本画像の各画像位置における第１の色素量、第２の色素量および第３の色素量を推定する色素量推定手段と、前記色素量推定手段によって推定された前記各画像位置における各色素量に基づいて、前記各画像位置を色素量空間に変換する変換手段と、前記色素量空間内での各色素量の色素量閾値を決定する色素量閾値決定手段と、前記色素量閾値決定手段によって決定された各色素量閾値によって定まる平面によって、前記色素量空間を複数の部分領域に分割する空間分割手段と、前記空間分割手段による分割結果に従って、前記各画像位置を前記主要要素毎に分類するクラス分類手段と、を備えることを特徴とする。

また、本発明に係る画像処理プログラムは、予め定められた複数の主要要素のうちの少なくとも一つを含む標本であって、複数の色素によって染色された標本を撮像した標本画像を処理するコンピュータに、前記標本画像の各画像位置における第１の色素量、第２の色素量および第３の色素量を推定する色素量推定ステップ、前記色素量推定ステップによって推定された前記各画像位置における各色素量に基づいて、前記各画像位置を色素量空間に変換する変換ステップ、前記色素量空間内での各色素量の色素量閾値を決定する色素量閾値決定ステップ、前記色素量閾値決定ステップによって決定された各色素量閾値によって定まる平面によって、前記色素量空間を複数の部分領域に分割する空間分割ステップ、前記空間分割ステップによる分割結果に従って、前記各画像位置を前記主要要素毎に分類するクラス分類ステップ、を実行させることを特徴とする。

本発明によれば、分類対象の標本画像の各画像位置を、その色素量空間における分布に応じて主要要素毎に分類することができ、染色状態による影響を受けないように分類が行える。そして、従来のクラスタリングによる分類処理と比較して短い時間で分類処理が実現できる。

以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、細胞核、細胞質および赤血球の各組織要素と、背景の４つの主要要素のうちの少なくとも一つを含むＨ＆Ｅ染色された病理標本を撮像対象とし、撮像したマルチバンド画像の画像位置を各主要要素それぞれに対応するカテゴリーでクラス分類する場合について説明する。なお、主要要素の数および種類は一例であって、適宜設定できる。例えば、細胞核や細胞質、赤血球の他、例えばヘマトキシリンによって染色される骨組織や、エオジンによって染色される結合組織等の組織要素を分類対象としてもよい。

先ず、本実施の形態に係る画像処理装置の構成について説明する。図１は、画像処理装置の機能構成を示すブロック図である。本実施の形態では、画像処理装置１０は、画像取得部１１０と、操作部１２０と、表示部１３０と、記憶部１４０と、画像処理部１５０と、装置各部を制御する制御部１６０とを備える。

画像取得部１１０は、Ｈ＆Ｅ染色されたクラス分類対象の病理標本（以下、「対象染色標本」という。）を撮像して６バンドのマルチバンド画像を取得する。図２は、画像取得部１１０の構成を示す図である。図２に示すように、画像取得部１１０は、ＣＣＤ等の撮像素子等を備えたＲＧＢカメラ１１１、対象染色標本Ｓが載置される標本保持部１１３、標本保持部１１３上の対象染色標本Ｓを透過照明する照明部１１５、対象染色標本Ｓからの透過光を集光して結像させる光学系１１７、結像する光の波長帯域を所定範囲に制限するためのフィルタ部１１９等を備える。

ＲＧＢカメラ１１１は、デジタルカメラ等で広く用いられているものであり、モノクロの撮像素子上にモザイク状にＲＧＢのカラーフィルタを配置したものである。このＲＧＢカメラ１１１は、撮像される画像の中心が照明光の光軸上に位置するように設置される。図３は、カラーフィルタの配列例を模式的に示す図である。この場合、各画素はＲ，Ｇ，Ｂいずれかの成分しか撮像することはできないが、近傍の画素値を利用することで、不足するＲ，Ｇ，Ｂ成分が補間される。この手法は、例えば特許第３５１００３７号公報で開示されている。なお、３ＣＣＤタイプのカメラを使用すれば、最初から各画素におけるＲ，Ｇ，Ｂ成分を取得できる。本実施の形態では、いずれの撮像方式を用いても構わないが、以下ではＲＧＢカメラ１１１で撮像された画像の各画素においてＲ，Ｇ，Ｂ成分が取得できているものとする。

フィルタ部１１９は、それぞれ異なる分光透過率特性を有する２枚の光学フィルタ１１９１ａ，１１９１ｂを具備しており、これらが回転式の光学フィルタ切替部１１９３に保持されて構成されている。図４−１は、一方の光学フィルタ１１９１ａの分光透過率特性を示す図であり、図４−２は、他方の光学フィルタ１１９１ｂの分光透過率特性を示す図である。例えば先ず、光学フィルタ１１９１ａを用いて第１の撮像を行う。次いで、光学フィルタ切替部１１９３の回転によって使用する光学フィルタを光学フィルタ１１９１ｂに切り替え、光学フィルタ１１９１ｂを用いて第２の撮像を行う。この第１の撮像及び第２の撮像によって、それぞれ３バンドの画像が得られ、両者の結果を合わせることによって６バンドのマルチバンド画像が得られる。なお、光学フィルタの数は２枚に限定されるものではなく、２枚以上の光学フィルタを用いることができる。取得されたマルチバンド画像は制御部１６０に出力され、対象標本画像として記憶部１４０に保持される。

この画像取得部１１０において、照明部１１５から照射された照明光は、標本保持部１１３上に載置された対象染色標本Ｓを透過する。そして、対象染色標本Ｓを透過した透過光は、光学系１１７及び光学フィルタ１１９１ａ，１１９１ｂを経由した後、ＲＧＢカメラ１１１の撮像素子上に結像する。光学フィルタ１１９１ａ，１１９１ｂを具備するフィルタ部１１９は、照明部１１５からＲＧＢカメラ１１１に至る光路上のいずれかの位置に設置されていればよい。照明部１１５からの照明光を、光学系１１７を介してＲＧＢカメラ１１１で撮像する際の、Ｒ，Ｇ，Ｂ各バンドの分光感度の例を、図５に示す。

操作部１２０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた操作信号を制御部１６０に出力する。

表示部１３０は、ＬＣＤやＥＬＤ等の表示装置によって実現されるものであり、制御部１６０から入力される表示信号に基づいて各種画面を表示する。

記憶部１４０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体及びその読取装置等によって実現されるものであり、画像処理装置１０の動作に係るプログラムや、画像処理装置１０の備える種々の機能を実現するためのプログラム、これらプログラムの実行に係るデータ等が格納される。また、染色標本を撮像した対象標本画像の各画像位置を、該各画像位置の属する主要要素毎にクラス分類するための画像処理プログラム１４１が格納される。

画像処理部１５０は、ＣＰＵ等のハードウェアによって実現される。この画像処理部１５０は、スペクトル推定部１５１と、色素量推定部１５２と、色素量空間分布図生成部１５３と、色素量閾値決定部１５４と、空間分割部１５５と、クラス分類部１５６と、ラベル画像生成部１５７とを含む。スペクトル推定部１５１は、対象標本画像の画素値に基づいて、対象標本画像の各画像位置の分光特性を推定する。色素量推定部１５２は、対象染色標本の染色に用いたヘマトキシリンおよびエオジンの各色素の基準分光特性をもとに、対象標本画像の各画像位置における細胞核を染色したヘマトキシリンの色素量、細胞質を染色したエオジンの色素量、および赤血球を染色したエオジンの色素量を推定する。色素量空間分布図生成部１５３は、推定された各色素量に基づいて、対象標本画像の各画像位置を、各色素の色素量を色素量特徴軸とする色素量空間に変換して色素量空間分布図を生成する。色素量閾値決定部１５４は、生成された色素量空間分布図に基づいて、各色素量の色素量閾値を決定する。空間分割部１５５は、決定された各色素量の色素量閾値によって定まる平面によって色素量空間を複数の部分領域に分割する。クラス分類部１５６は、分割結果に従って対象標本画像の各画像位置を主要要素毎にクラス分類する。ラベル画像生成部１５７は、クラス分類結果に従って対象標本画像から表示用の画像（主要要素ラベル画像）を生成する。

制御部１６０は、ＣＰＵ等のハードウェアによって実現される。この制御部１６０は、操作部１２０から入力される操作信号や画像取得部１１０から入力される画像データ、記憶部１４０に格納されるプログラムやデータ等に基づいて画像処理装置１０を構成する各部への指示やデータの転送等を行い、画像処理装置１０全体の動作を統括的に制御する。また、この制御部１６０は、画像取得部１１０の動作を制御して対象標本画像を取得する標本画像取得制御部１６１と、ラベル画像生成部１５７によって生成された主要要素ラベル画像を表示部１３０に表示する制御を行うラベル画像表示制御部１６３とを含む。

図６は、画像処理装置１０における処理の手順を示すフローチャートである。なお、ここで説明する処理は、記憶部１４に格納された画像処理プログラム１４１に従って画像処理装置１０の各部が動作することによって実現される。

すなわち、先ず、標本画像取得制御部１６１が、画像取得部１１０の動作を制御して対象染色標本をマルチバンド撮像し、対象標本画像を取得する（ステップＳ１１）。

続いて、スペクトル推定部１５１が、ステップＳ１１で取得した対象標本画像の画素値に基づいて、対象染色標本の分光特性を推定する（ステップＳ１３）。具体的には、スペクトル推定部１５１が、各画素の画素値に基づいて各画像位置（各画素に対応する対象染色標本の標本各点）における分光透過率特性を推定する。推定手法としては、例えば、ウィナー（Wiener）推定を用い、対象標本画像から各画像位置における分光透過率を推定する。このウィナー推定による手法およびステップＳ１５で後述するLambert-Beer則による色素量の推定手法としては、例えば“Color Correction of Pathological Images Based on Dye Amount Quantification（OPTICAL REVIEW，Vol.12，No.4，2005，p.293-300）”で開示された手法を用いることができる。

ここで、ウィナー推定を用いた分光透過率の推定方法について説明する。ウィナー推定では、次式（１）に従って、対象標本画像の点ｘにおける画素値の行列表現Ｇ（ｘ）から、この画像位置における分光透過率の推定値Ｔ＾（ｘ）を推定する。なお、Ｔ＾は、Ｔの上に推定値を表すハット（＾）が付いていることを示す。

Ｆは光学フィルタ１１９１ａ，１１９１ｂの分光透過率、ＳはＲＧＢカメラ１１１の分光感度特性、Ｅは照明の分光放射特性、Ｒ_SSは標本の分光透過率の自己相関行列、Ｒ_NNは撮像に使用するＲＧＢカメラ１１１のノイズの自己相関行列をそれぞれ表す。ただし式（１）は、波長方向に離散化し、行列を用いて複数のバンドに関する式を集約して表したものであるため、バンドを表す変数ｂが陽に記述されていない。また、波長λに関する積分は行列の積に置き換えられている。例えば、波長方向のサンプル点数をＤ、バンド数をＢとすれば（ここではＢ＝６）、Ｆは、Ｂ行Ｄ列の行列である。Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素が、波長λにおけるＲＧＢカメラ１１１の分光感度ｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素が、波長λにおける照明の分光放射特性ｅ（λ）に対応している。Ｒ_SSはＤ行Ｄ列の行列であり、Ｒ_NNはＢ行Ｂ列の行列である。また、Ｇ（ｘ）はＢ行１列の行列、Ｔ＾（ｘ）はＤ行１列の行列となる。

光学フィルタ１１９１ａ，１１９１ｂの分光透過率Ｆ、ＲＧＢカメラ１１１の分光感度特性Ｓおよび照明の分光放射特性Ｅは、使用する機器を選定の後、分光計等を用いて予め測定しておく。なお、ここでは、光学系１１７の分光透過率は１.０と近似しているが、この近似値１.０からの乖離が許容できない場合には、光学系１１７の分光透過率も予め測定し、照明の分光放射特性Ｅに乗じればよい。また、標本の分光透過率の自己相関行列Ｒ_SSおよびＲＧＢカメラ１１１の撮像ノイズの自己相関行列Ｒ_NNについても、事前に測定しておく。Ｒ_SSは、Ｈ＆Ｅ染色された典型的な標本を用意し、分光計によって複数の点の分光透過率を測定して自己相関行列を求めることによって得られる。統計的な精度を高めるために、標本内での偏り無く１００点程度の測定を行った方がよい。一方、Ｒ_NNは、標本無しの状態で画像取得部１１０によってマルチバンド画像を取得し、得られた６バンドのマルチバンド画像の各バンドについて画素値の分散を求め、これを対角成分とする行列を生成することによって得られる。得られた分光透過率の推定値（以下、「分光透過率データ」という。）Ｔ＾（ｘ）は、記憶部１４０に格納される。

続いて、色素量推定部１５２が、ステップＳ１３で推定された分光透過率データに基づいて、対象染色標本の色素量を推定する（ステップＳ１５）。具体的には、色素量推定部１５２は、対象標本画像の各画像位置における分光透過率データに基づいて、各画像位置（各画素に対応する対象染色標本の標本各点）に固定された色素量を推定する。推定の対象とする色素は、第１の色素量である細胞核を染色したヘマトキシリン、第２の色素量である細胞質を染色したエオジン、第３の色素量である赤血球を染色したエオジンの３種類である。ここで、ヘマトキシリンを色素Ｈ、細胞質を染色したエオジンを色素Ｅ、赤血球を染色したエオジンを色素Ｒと略記する。なお、厳密には、染色を施さない状態であっても赤血球はそれ自身特有の色を有しており、Ｈ＆Ｅ染色後は、赤血球自身の色と染色過程において変化したエオジンの色が重畳して観察される。このため、正確には両者を併せたものを色素Ｒと呼称する。

Ｈ＆Ｅ染色された対象染色標本が、色素Ｈ、色素Ｅ、色素Ｒの３種類の色素で染色されている場合、Lambert-Beer則により各波長λにおいて次式（２）が成立する。

ここでｋ_H（λ），ｋ_E（λ），ｋ_R（λ）は、それぞれ色素Ｈ、色素Ｅ、色素Ｒに対応したｋ（λ）を表す。またｄ_H，ｄ_E，ｄ_Rは、マルチバンド画像の各画像位置における色素Ｈ、色素Ｅ、色素Ｒの仮想的な厚さを表す。本来色素は、標本中に分散して存在するため、厚さという概念は正確ではないが、標本が単一の色素で染色されていると仮定した場合と比較して、どの程度の量の色素が存在しているかを表す相対的な色素量の指標となる。すなわち、ｄ_H，ｄ_E，ｄ_Rはそれぞれ色素Ｈ、色素Ｅ、色素Ｒの色素量を表しているといえる。なお、ｋ_H（λ），ｋ_E（λ），ｋ_R（λ）は、単一の色素で染色した標本を予め用意し、その分光透過率を分光計で測定することによって、Lambert-Beer則から容易に求めることができる。

推定された分光透過率データＴ＾（ｘ）の波長λに対応する要素をｔ＾（ｘ，λ）とし、式（５）の両辺の対数を取ると、次式（３）となる。

式（３）において未知変数はｄ_H，ｄ_E，ｄ_Rの３つであるから、少なくとも３つの異なる波長λに対して式（３）を連立させれば、これらを解くことができる。より精度を高めるために、４つ以上の異なる波長λに対して式（３）を連立させ、重回帰分析を行ってもよい。

例として、３つの波長λ₁，λ₂，λ₃について式（３）を連立させた場合を考えると、次式（４）のように行列表記できる。

したがって、ｄ_H，ｄ_E，ｄ_Rは、次式（５）に従って推定できる。

このようにして推定された各画像位置における色素Ｈ、色素Ｅ、色素Ｒの各色素量ｄ_H，ｄ_E，ｄ_Rは、記憶部１４０に格納される。

続いて、色素量空間分布図生成部１５３が、ステップＳ１５で推定した色素量ｄ_H，ｄ_E，ｄ_Rに基づいて、対象標本画像の各画像位置を、色素Ｈ、色素Ｅ、色素Ｒの各色素量を軸とする色素量空間（以下、「ＨＥＲ色素量空間」と称す。）に変換し、このＨＥＲ色素量空間上に各画像位置をプロットした色素量空間分布図（以下、「ＨＥＲ色素量空間分布図」と称す。）を生成する（ステップＳ１７）。図７は、ＨＥＲ色素量空間分布図の一例を示す図である。なお、本実施の形態では、ＨＥＲ色素量空間は、色素Ｈ、色素Ｅ、色素Ｒが正の範囲で構成されているものとする（Ｈ≧０，Ｅ≧０，Ｒ≧０）。生成されたＨＥＲ色素量空間分布図に係るデータは、記憶部１４０に格納される。

続いて、色素量閾値決定部１５４が、変換されたＨＥＲ色素量空間の各画像位置に基づいて、色素Ｈ、色素Ｅ、色素Ｒの各色素量それぞれの色素量閾値ｔｈ_H，ｔｈ_E，ｔｈ_Rを決定する（ステップＳ１９）。色素量閾値ｔｈ_H，ｔｈ_E，ｔｈ_Rは、各画像位置の色素毎の分布を分割するための閾値である。本実施の形態では、例えば、大津の閾値法“パターン認識における特徴抽出に関する数理的研究（大津展之,電子技術総合研究所研究報告818号,1981）”を用いて色素Ｈ、色素Ｅ、色素Ｒの各閾値Ｔ_H，Ｔ_E，Ｔ_Rを求める。なお、大津の閾値法では、各色素量の分布を２つの集合（クラス）に分けるとき、各クラス内のばらつきが最も小さく（クラス内分散最小）、お互いのクラスが最も離れる（クラス間分散最大）ように閾値を決定する。そして、次式（６）に従い、求めた各閾値Ｔ_H，Ｔ_E，Ｔ_Rに対して係数ａ，ｂ，ｃを乗じ、各閾値Ｔ_H，Ｔ_E，Ｔ_Rの値を調整して色素量閾値ｔｈ_H，ｔｈ_E，ｔｈ_Rを得る。係数ａ，ｂ，ｃの値は、例えばそれぞれ「０．５」とする。
ｔｈ_H＝ａＴ_H
ｔｈ_E＝ｂＴ_E
ｔｈ_R＝ｃＴ_R ・・・（６）
このようにして決定された各色素量それぞれの色素量閾値ｔｈ_H，ｔｈ_E，ｔｈ_Rは、記憶部１４０に格納される。

なお、色素量閾値ｔ_H，ｔ_E，ｔ_Rを決定するための手法はこれに限定されるものではなく、各色素の色素量統計量（例えば平均値、中央値、最頻度値等）に基づいて決定してもよいし、微分ヒストグラム法を用いて決定することとしてもよい。

続いて、空間分割部１５５が空間分割処理を行い、ステップＳ１９で決定した各色素量の色素量閾値ｔｈ_H，ｔｈ_E，ｔｈ_Rによって定まる平面によってＨＥＲ色素量空間を部分領域に分割する（ステップＳ２１）。図８−１〜３および図９は、ステップＳ２１における空間分割処理を説明するための図である。

先ず、空間分割部１５５は、各色素量閾値ｔｈ_H，ｔｈ_E，ｔｈ_Rに従って第１の平面である平面α、第２の平面である平面βおよび第３の平面である平面γの３つの平面α，β，γを決定する。図８−１〜３は、この色素量閾値ｔｈ_H，ｔｈ_E，ｔｈ_Rに基づいて決まる３つの平面α，β，γをそれぞれ示す図である。本実施の形態では、図８−１に示すように、平面αを、色素Ｈの色素量の色素量閾値ｔｈ_Hを通り、色素Ｈの色素量特徴軸に垂直な平面と定義する。また、図８−２に示すように、平面βを、色素Ｅの色素量の色素量閾値ｔｈ_Eを通り、色素Ｒの色素量特徴軸に平行な平面であって、色素Ｈの色素量の色素量閾値ｔｈ_Hによって定まる平面と定義する。なお、この平面βについては、色素Ｈの色素量の色素量閾値ｔｈ_Hによって定まる平面に限らず、色素Ｅの色素量の色素量閾値ｔｈ_Eを通り、色素Ｒの色素量特徴軸に平行な平面を適宜設定することもできる。そして、図８−３に示すように、平面γを、色素Ｒの色素量の色素量閾値ｔｈ_Rを通り、色素Ｒの色素量特徴軸に垂直な平面と定義する。各平面α，β，γはそれぞれ次式（７）で表される。
平面α：Ｈ＝ｔｈ_H
平面β：ｔｈ_EＨ＋ｔｈ_HＥ−ｔｈ_Hｔｈ_E＝０
平面γ：Ｒ＝ｔｈ_R ・・・（７）

次いで、空間分割部１５５は、各色素量閾値ｔｈ_H，ｔｈ_E，ｔｈ_Rによって定まる３つの平面α，β，γによって、ＨＥＲ色素量空間を部分領域数ｍの部分領域Ｐ_i（ｉ＝１，２，・・・，ｍ；ただしｍ≦８）に分割する。本実施の形態では、ＨＥＲ色素量空間は、色素Ｈ、色素Ｅ、色素Ｒが正の範囲で構成される（Ｈ≧０，Ｅ≧０，Ｒ≧０）ため、実質、部分領域数ｍ≦６となる。図９は、平面α，β，γによって分割可能な６つの基準部分領域を示す図であり、同図に示すように、ＨＥＲ色素量空間は、各平面α，β，γによって最大６つの基準部分領域Ｐ_s1〜Ｐ_s6に区切ることができる。

この６つの基準部分領域Ｐ_s1〜Ｐ_s6には、予め対応する主要要素の種類が設定されている。図１０は、各基準部分領域Ｐ_s1〜Ｐ_s6と主要要素との対応関係の一例を示す図である。図１０に示す例によれば、基準部分領域Ｐ_s1には細胞核が、基準部分領域Ｐ_s2には赤血球が、基準部分領域Ｐ_s3には細胞質が、基準部分領域Ｐ_s4には背景が、基準部分領域Ｐ_s6には赤血球がそれぞれ割り当てられている。また、基準部分領域Ｐ_s5には、対応する主要要素が存在しないことを示すリジェクト領域が割り当てられている。これは、Ｈ＆Ｅ染色の特性から、画像位置が基準部分領域Ｐ_s5に属する場合はその色素量が推定誤差を含むと考えられるためであり、これにより、基準部分領域Ｐ_s5に属する画像位置の色素量を誤差付きデータとして扱うことができる。

そして、空間分割部１５５は、各平面α，β，γの平面範囲を定める。これにより、部分領域数ｍが決定され、ＨＥＲ色素量空間がｍ個の部分領域Ｐ_i（ｉ＝１，２，・・・，ｍ；ただしｍ≦６）に分割される。この平面α，β，γの平面範囲は、例えばユーザ操作に従って決定する。決定された各平面α，β，γの平面範囲に係るデータは、記憶部１４０に格納される。ユーザは、図１０に示した基準部分領域Ｐ_s1〜Ｐ_s6と主要要素との対応関係や、基準部分領域Ｐ_s1〜Ｐ_s6とリジェクト領域との対応関係から、各平面α，β，γの平面範囲を指定する。この場合、制御部１６０は、例えば、図１０に示した基準部分領域Ｐ_s1〜Ｐ_s6と主要要素との対応関係や、ステップＳ１７で生成したＨＥＲ色素量空間分布図、ステップＳ１９で決定した各色素量閾値ｔｈ_H，ｔｈ_E，ｔｈ_Rを表示部１３０に表示する制御を行うとともに、各平面α，β，γの平面範囲の指定依頼の通知を表示する制御を行う。図１１は、平面範囲の指定依頼の通知画面の一例を示す図である。通知画面Ｗ１０には、各平面α，β，γの平面範囲の上限／下限の入力を受け付ける入力ボックスＩ１１〜Ｉ１６が配置されている。ここで、平面α，βの平面範囲は色素Ｒの値によって指定され、平面γの平面範囲は色素Ｈの値によって指定される。ユーザは、操作部１２０を介して変更したい平面範囲の上限／下限を対応する入力ボックスＩ１１〜Ｉ１６に入力することにより、各平面α，β，γの所望の平面範囲を指定する。また、取消ボタンＢ１１の押下操作によって指定操作を取り消し、或いは決定ボタンＢ１３の押下操作によって指定操作を確定する。

例えば、入力ボックスＩ１３に「ｔｈ_R」が入力されて平面βの平面範囲の上限値が指定された場合、平面βの平面範囲はＲ＜ｔｈ_Rに決定される。Ｈ≧０，Ｅ≧０，Ｒ≧０であるため、部分領域数ｍは「５」に決定され、この結果、ＨＥＲ色素量空間は、５つの部分領域Ｐ_i（ｉ＝１，２，３，４，５）に分割される。図１２は、この場合の５つの部分領域Ｐ_i（ｉ＝１，２，３，４，５）それぞれの構成平面およびその構成範囲と、対応する主要要素とを示す図である。図１２に示すように、部分領域Ｐ₂の構成平面は、平面αおよび平面βである。これは、平面βの平面範囲がＲ＜ｔｈ_Rに決定されたためであり、この場合には、図９に示した基準部分領域Ｐ_s2とＰ_s6とが結合されて一つの部分領域Ｐ₂として分割されることとなる。

また、実際に分割された各部分領域Ｐ_iと主要要素またはリジェクト領域との対応関係は、図１０に示す基準部分領域Ｐ_s1〜Ｐ_s6と主要要素またはリジェクト領域との対応関係に基づいて決定されるが、これらの対応関係は、ユーザ操作に従って変更することとしてもよい。例えば、図１２の例では、基準部分領域Ｐ_s2とＰ_s6とが結合された部分領域Ｐ₂に対応する主要要素として、「赤血球」が設定されている。これは、図１０に示すように、基準部分領域Ｐ_s2およびＰ_s6に割り当てられた主要要素がそれぞれ「赤血球」であるためだが、決定された平面α，β，γの平面範囲によって異なる種類の主要要素が割り当てられた基準部分領域同士が結合された場合には、例えば、いずれか一方の主要要素の選択操作を受け付けて、対応する主要要素を設定する。また、リジェクト領域については、例えば、主要要素が割り当てられた部分領域をリジェクト領域に設定したり、リジェクト領域が割り当てられた部分領域に主要要素を設定するといったユーザ操作を受け付ける。例えば、図１２の例では、リジェクト領域が割り当てられた基準部分領域Ｐ_S5（図１０参照）に対応する部分領域Ｐ₅に、「細胞核」が設定されている。

続いて、クラス分類部１５６が、対象標本画像の各画像位置を主要要素毎にクラス分類する（ステップＳ２３）。具体的には、クラス分類部１５６は、決定された各部分領域Ｐ_i（ｉ＝１，２，・・・，ｍ；ただしｍ≦６）と主要要素との対応関係に従って、各部分領域Ｐ_iに属する各画像位置を対応する主要要素に割り当て、ＨＥＲ色素量空間分類図を生成する。生成されたＨＥＲ色素量空間分類図に係るデータは、記憶部１４０に格納される。図１３は、ＨＥＲ色素量空間分類図を示す図である。図１３に示すように、ＨＥＲ色素量空間に変換された対象標本画像の各画像位置は、決定された各平面α，β，γの平面範囲によって分割された５つの部分領域Ｐ₁〜Ｐ₅のうちのいずれの部分領域に属するかによって、主要要素毎に分類される。例えば、部分領域Ｐ₁に属する各画素位置は、図１２に示した部分領域Ｐ_iと主要要素との対応関係に基づいて、「細胞核」に分類される。

続いて、ラベル画像生成部１５７が、ステップＳ２３のクラス分類結果に基づいて、対象標本画像から主要要素ラベル画像を生成する（ステップＳ２５）。具体的には、ラベル画像生成部１５７は、先ず、各画素位置に、分類された主要要素に応じてラベル情報を付与する。そして、ラベル画像生成部１５７は、各画像位置に付与されたラベル情報に従って対応する対象標本画像の輝度値を変更することによって、主要要素ラベル画像を得る。すなわち、対象標本画像の各画像位置に付与されたラベル情報に基づいて、同一のラベル情報が付された主要要素毎に輝度値を変更し、対象標本画像の各画像位置をラベル情報毎に同一輝度で表した主要要素ラベル画像を生成する。

そして、ラベル画像表示制御部１６３が、ステップＳ２５で生成した主要要素ラベル画像を表示部１３０に表示する制御を行う（ステップＳ２７）。図１４は、主要要素ラベル画像の一例を示す図であり、細胞核、細胞質、赤血球、背景の順に輝度値を変化させた場合の例を示している。なお、クラス分類結果に基づいて輝度値を変更して主要要素ラベル画像を得ることとしたが、各画像位置のラベル情報に従って表示色を変更し、主要要素ラベル画像を得ることとしてもよい。また、ここで生成した主要要素ラベル画像を対象標本画像と重畳させて表示させてもよい。或いは、各画像位置のラベル情報に従って、対象標本画像上に主要要素の領域を示す境界線を表示させ、対象標本画像中の主要要素の領域を識別表示する制御を行うこととしてもよい。

以上説明した本実施の形態によれば、所定の主要要素を含み、Ｈ＆Ｅ染色された標本画像の各画像位置を、この各画像位置における色素Ｈ、色素Ｅ、色素Ｒの各色素量に基づいてＨＥＲ色素量空間に変換するとともに、各色素量それぞれについて色素量閾値ｔｈ_H，ｔｈ_R，ｔｈ_Eを決定し、決定した色素量閾値ｔｈ_H，ｔｈ_R，ｔｈ_Eによって定まる３つの平面α，β，γによって色素量空間を部分領域に分割することができる。これによれば、分類対象の標本画像の各画像位置の色素量空間における分布に応じて、各色素量閾値ｔｈ_H，ｔｈ_R，ｔｈ_Eを決定し、決定した色素量閾値ｔｈ_H，ｔｈ_R，ｔｈ_Eに応じて色素量空間を部分領域に分割することができる。そして、各部分領域と主要要素との対応関係に基づいて、各画像位置を主要要素毎にクラス分類することができる。したがって、対象標本画像の各画像位置を、その染色状態に影響されずに確実に主要要素毎に分類することができる。また、従来のクラスタリングによる分類処理と比較して処理時間が短くて済む。

なお、予め定められた基準部分領域の中からクラス分類に使用する基準部分領域を指定するためのユーザーインターフェースを備えた構成としてもよい。このように構成した場合には、クラス分類に使用する基準部分領域が指定されたならば、この指定された基準部分領域と主要要素との対応関係を有効にする。そして、使用する基準部分領域に属する画像位置を、該基準部分領域に対応する主要要素に分類する。例えば、ユーザは、対象染色標本に含まれる主要要素の種類および数が既知の場合に、この主要要素が割り当てられた基準部分領域を、使用する基準部分領域として指定する。これによれば、ＨＥＲ色素量空間を、対象染色標本に含まれる主要要素の種類および数に応じた部分領域に分割することで、対象標本画像の各画像位置を主要要素毎に分類することができる。

また、基準部分領域同士の結合を直接指定するためのユーザーインターフェースを備えた構成としてもよい。基準部分領域同士の結合が指定されたならば、指定された各基準部分領域に従って各平面α，β，γの平面範囲を決定することによって、ＨＥＲ色素量空間を部分領域に分割する。

また、各色素量閾値ｔ_H，ｔ_E，ｔ_Rを求めるための閾値Ｔ_H，Ｔ_E，Ｔ_Rや係数ａ，ｂ，ｃの各パラメータの値を、ユーザ操作に従って調整可能に構成してもよい。例えば、制御部１６０が、図７に例示したようなＨＥＲ色素量空間分布図等を表示部１３０に表示する制御を行うとともに、閾値Ｔ_H，Ｔ_E，Ｔ_Rおよび係数ａ，ｂ，ｃの入力依頼の通知を表示する制御を行う。図１５は、各パラメータの入力依頼の通知画面の一例を示す図である。通知画面Ｗ２０には、各値の入力操作を受け付ける入力ボックスＩ２１〜Ｉ２５が配置されている。ユーザは、操作部１２０を介して各パラメータの所望の値を対応する入力ボックスＩ２１〜Ｉ２５に入力する。この場合には、色素量閾値決定部１５４は、このようにして入力されたパラメータの値に従って各色素量閾値ｔ_H，ｔ_E，ｔ_Rを決定する。

また、図７に例示したような色素量空間分布図生成部１５３によって生成されるＨＥＲ色素量空間図や、図１３に例示したようなクラス分類部１５６によって生成されるＨＥＲ色素量空間分類図を表示部１３０に表示させることとしてもよい。また、クラス分類部１５６がＨＥＲ色素量空間分類図を生成した後で、色素量閾値ｔｈ_H，ｔｈ_E，ｔｈ_Rを求めるための閾値Ｔ_H，Ｔ_E，Ｔ_Rや係数ａ，ｂ，ｃの各パラメータの値を、ユーザ操作に従って調整可能に構成することとしてもよい。この場合には、調整された各パラメータの値に従って色素量閾値ｔｈ_H，ｔｈ_E，ｔｈ_Rを再計算し、得られた色素量閾値ｔｈ_H，ｔｈ_E，ｔｈ_Rを反映させたＨＥＲ色素量空間分類図を再度生成して表示部１３０に表示する制御を行うこととしてもよい。このとき、画像処理装置１０に高速なプロセッサを搭載することにより、各パラメータの調整結果をＨＥＲ色素量空間分類図に直ちに反映させることができるので、クラス分類結果を確認しながら色素量閾値ｔｈ_H，ｔｈ_E，ｔｈ_Rを適宜調整することによって平面α，β，γを変化させることができ、操作性を大きく向上させることができる。

また、上記の実施の形態では、Ｈ＆Ｅ染色された病理標本を透過観察する場合について説明したが、他の染色法を用いて染色した生体標本に対しても適用することができる。また、透過光の観察だけでなく、反射光、蛍光、発光の観察においても、同様に適用することができる。

画像処理装置の機能構成を示すブロック図である。 画像取得部の構成を示す図である。 カラーフィルタの配列例を模式的に示す図である。 一の光学フィルタの分光透過率特性を示す図である。 他の光学フィルタの分光透過率特性を示す図である。 Ｒ，Ｇ，Ｂ各バンドの分光感度の例を示す図である。 画像処理装置における処理の手順を示すフローチャートである。 ＨＥＲ色素量空間分布図の一例を示す図である。 空間分割処理を説明するための図である。 空間分割処理を説明するための図である。 空間分割処理を説明するための図である。 空間分割処理を説明するための図である。 基準部分領域と主要要素との対応関係の一例を示す図である。 平面範囲の指定依頼の通知画面の一例を示す図である。 部分領域それぞれの構成平面およびその構成範囲と、対応する主要要素とを示す図である。 ＨＥＲ色素量空間分類図を示す図である。 主要要素ラベル画像の一例を示す図である。 各色素量閾値を求めるためのパラメータの入力依頼の通知画面の一例を示す図である。 染色標本を撮像したマルチバンド画像の一例を示す図である。

符号の説明

１０ 画像処理装置
１１０ 画像取得部
１２０ 操作部
１３０ 表示部
１４０ 記憶部
１４１ 画像処理プログラム
１５０ 画像処理部
１５１ スペクトル推定部
１５２ 色素量推定部
１５３ 色素量空間分布図生成部
１５４ 色素量閾値決定部
１５５ 空間分割部
１５６ クラス分類部
１５７ ラベル画像生成部
１６０ 制御部
１６１ 標本画像取得制御部
１６３ ラベル画像表示制御部

Claims (12)

1. 予め定められた複数の主要要素のうちの少なくとも一つを含む標本であって、複数の色素によって染色された標本を撮像した標本画像を処理する画像処理装置において、
   前記標本画像の各画像位置における第１の色素量、第２の色素量および第３の色素量を推定する色素量推定手段と、
   前記色素量推定手段によって推定された前記各画像位置における各色素量に基づいて、前記各画像位置を色素量空間上の位置に変換する変換手段と、
   前記色素量空間内での各色素量の色素量閾値を決定する色素量閾値決定手段と、
   前記色素量閾値決定手段によって決定された各色素量閾値によって定まる平面によって、前記色素量空間を複数の部分領域に分割する空間分割手段と、
   前記空間分割手段による分割結果に従って、前記各画像位置を前記主要要素毎に分類するクラス分類手段と、
   を備え、
   前記主要要素は赤血球を含み、
   前記色素量推定手段において推定される前記第１の色素量、前記第２の色素量および前記第３の色素量は、ヘマトキシリン、エオジンおよび赤血球を染色したエオジンの各色素量であることを特徴とする画像処理装置。
2. 前記空間分割手段は、前記色素量空間を、前記第１の色素量の色素量閾値を通り、第１の色素量特徴軸に垂直な第１の平面と、前記第２の色素量の色素量閾値を通り、第３の色素量特徴軸に平行な第２の平面と、前記第３の色素量の色素量閾値を通り、第３の色素量特徴軸に垂直な第３の平面とによって、前記色素量空間を前記複数の部分領域に分割することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の平面は、前記第１の色素量の色素量閾値によって定まることを特徴とする請求項２に記載の画像処理装置。
4. 前記空間分割手段は、前記色素量空間を、前記予め定められた複数の主要要素数の部分領域に分割することを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
5. 前記色素量閾値に従って分割される前記色素量空間の部分領域と、前記複数の主要要素との対応関係が予め設定されており、
   前記クラス分類手段は、前記各画像位置の属する部分領域に対応する主要要素に従って、前記各画像位置を前記主要要素毎に分類することを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
6. 前記変換手段は、前記各画像位置における各色素量に基づいて、前記各画像位置をプロットした色素量空間分布図を生成する分布図生成手段を有し、
   前記分布図生成手段によって生成された色素量空間分布図を表示部に表示する制御を行う分布図表示制御手段を備えることを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
7. 前記クラス分類手段によるクラス分類結果を表示部に表示する制御を行う分類結果表示制御手段を備えることを特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。
8. 前記クラス分類手段によるクラス分類結果に基づいて、前記各画像位置に、分類された主要要素に応じたラベル情報を付してラベル画像を生成するラベル画像生成手段と、
   前記ラベル画像生成手段によって生成されたラベル画像を表示部に表示する制御を行うラベル画像表示制御手段と、
   を備えることを特徴とする請求項１〜７のいずれか一つに記載の画像処理装置。
9. 前記第１の色素量は、ヘマトキシリンの色素量であることを特徴とする請求項１〜８のいずれか一つに記載の画像処理装置。
10. 前記第２の色素量は、エオジンの色素量であることを特徴とする請求項１〜９のいずれか一つに記載の画像処理装置。
11. 前記第３の色素量は、赤血球を染色したエオジンの色素量であることを特徴とする請求項１〜１０のいずれか一つに記載の画像処理装置。
12. 予め定められた複数の主要要素のうちの少なくとも一つを含む標本であって、複数の色素によって染色された標本を撮像した標本画像を処理するコンピュータに、
    前記標本画像の各画像位置における第１の色素量、第２の色素量および第３の色素量を推定する色素量推定ステップと、
    前記色素量推定ステップによって推定された前記各画像位置における各色素量に基づいて、前記各画像位置を色素量空間に変換する変換ステップと、
    前記色素量空間内での各色素量の色素量閾値を決定する色素量閾値決定ステップと、
    前記色素量閾値決定ステップによって決定された各色素量閾値によって定まる平面によって、前記色素量空間を複数の部分領域に分割する空間分割ステップと、
    前記空間分割ステップによる分割結果に従って、前記各画像位置を前記主要要素毎に分類するクラス分類ステップと、
    を実行させ、
    前記主要要素は赤血球を含み、
    前記色素量推定ステップにおいて推定される前記第１の色素量、前記第２の色素量および前記第３の色素量は、ヘマトキシリン、エオジンおよび赤血球を染色したエオジンの各色素量であることを特徴とする画像処理プログラム。

Images