JP5152077B2 - 生体像提示装置、生体像提示方法及びプログラム並びに生体像提示システム - Google Patents

Description

本発明は生体像提示装置、生体像提示方法及びプログラム並びに生体像提示システムに関し、画像処理分野に適用して好適なものである。

病理サンプルは、切除組織から薄切される組織切片をスライドガラスに固定し、必要に応じて染色を施すことにより作成され、保管される。一般に、病理サンプルの保管期間が長期間となると、組織切片の劣化や退色等により顕微鏡での視認性が悪くなる。また病理サンプルは、作成された病院等の施設以外の施設で診断されることもあるが、該病理サンプルの受け渡しは一般に郵送であり、一定の時間を要する。

このような実情等に鑑み、病理サンプルにおける組織切片の拡大像を画像データとし保存し、該拡大像を表示画面に提示するコンピュータシステムが提案されている（例えば特許文献１参照）。

特表２００６−２９２９９９公報

ところで、病理サンプルは、切除組織に対して表層側から深層側にわたる複数の位置での組織切片を対象として作成されるが、ある層の組織切片における特定の細胞を、該層とは異なる層の組織切片から表示画面を用いて探し出す作業は煩雑となる。このため、表層側から深層側にわたる各断層の組織切片像を立体的に視認させるといった要請がある。

しかしながら、表層側から深層側にわたる各断層の組織切片像を立体的に視認させようとする場合、各断層の組織切片に対して同じように薄切、染色又は固定などの工程を経ることはない。

このため、ある断層の組織切片像から他の断層の組織切片像を表示する際に、同じ像であるにもかかわらず全く異なった像として視認される可能性が高いといった問題が生じる。

本発明は以上の点を考慮してなされたもので、視認性を向上し得る生体像提示装置、生体像提示方法及びプログラム並びに生体像提示システムを提案しようとするものである。

かかる課題を解決するため本発明は、生体像提示装置であって、生体部位のうち基準とすべき軸における複数の位置で、該軸に直交する断面の像を取得する取得部と、取得部により取得される複数の像のうち、基準とすべき像と、該基準とすべき像と比較すべき像とを決定する決定部と、基準とすべき像から、規定値以上の輝度値の変化を呈する位置を抽出する抽出部と、比較すべき像から、抽出部により抽出される位置に対応する対応位置を検出する検出部と、抽出部により抽出される位置を基準として基準とすべき像を分割する分割部と、比較すべき像を、基準とすべき像の分割領域に対応する領域ごとに、当該分割領域の形状となるよう変形しながらマッピングするマッピング部と、基準とすべき像と、マッピング部によりマッピングされる像とを用いて、表示領域に表示すべき像を切り換えて表示させる表示制御部とを有する。

また本発明は、生体像提示方法であって、生体部位のうち基準とすべき軸における複数の位置で、該軸に直交する断面の像を取得する取得ステップと、取得ステップで取得される複数の像のうち、基準とすべき像と、該基準とすべき像と比較すべき像とを決定する決定ステップと、基準とすべき像から、規定値以上の輝度値の変化を呈する位置を抽出する抽出ステップと、比較すべき像から、抽出ステップで抽出される位置に対応する対応位置を検出する検出ステップと、抽出ステップで抽出される位置を基準として基準とすべき像を分割する分割ステップと、比較すべき像を、基準とすべき像の分割領域に対応する領域ごとに、当該分割領域の形状となるよう変形しながらマッピングするマッピングステップと、基準とすべき像と、マッピングステップでマッピングされる像とを用いて、表示領域に表示すべき像を切り換えて表示させる表示制御ステップとを有する。

また本発明は、プログラムであって、コンピュータに対して、生体部位のうち基準とすべき軸における複数の位置で、該軸に直交する断面の像を取得すること、取得される複数の像のうち、基準とすべき像と、該基準とすべき像と比較すべき像とを決定すること、基準とすべき像から、規定値以上の輝度値の変化を呈する位置を抽出すること、比較すべき像から、抽出される位置に対応する対応位置を検出すること、抽出される位置を基準として基準とすべき像を分割すること、比較すべき像を、基準とすべき像の分割領域に対応する領域ごとに、当該分割領域の形状となるよう変形しながらマッピングすること、基準とすべき像と、マッピングされる像とを用いて、表示領域に表示すべき像を切り換えて表示させることを実行させる。

また本発明は、顕微鏡と、データ処理装置とから構成される生体像提示システムであって、データ処理部は、顕微鏡から、生体部位から切除された組織のうち、奥行き方向における複数の位置でスライスされた組織切片を拡大した像を取得する取得部と、取得部により取得される複数の像のうち、基準とすべき像と、該基準とすべき像と比較すべき像とを決定する決定部と、基準とすべき像から、規定値以上の輝度値の変化を呈する位置を抽出する抽出部と、比較すべき像から、抽出部により抽出される位置に対応する対応位置を検出する検出部と、抽出部により抽出される位置を基準として基準とすべき像を分割する分割部と、比較すべき像を、基準とすべき像の分割領域に対応する領域ごとに、当該分割領域の形状となるよう変形しながらマッピングするマッピング部と、基準とすべき像と、マッピング部によりマッピングされる像とを用いて、表示領域に表示すべき像を切り換えて表示させる表示制御部とを有する。

本発明は、特徴点を基準とした領域ごとに、基準像の領域形状と合わせながら比較像をマッピングする。このため、生体における各断面の像（断層像）において、対応する領域でありながらその形状が相違していても、各断層像の間隔が相違していても、当該相違を、臓器自体の形状については維持しつつも是正することができる。したがって、表示領域に表示すべき像が切り換えられたときに、当該切り換え前後の像が、同じ像であるにもかかわらず全く異なった像として視認されることは回避される。この結果、視認性を向上し得る生体像提示装置、生体像提示方法及びプログラム並びに生体像提示システムを実現できる。

生体像提示装置の構成を概略的に示す図である。 奥行方向への各組織切片が固定されるスライドガラス群の説明に供する略線図である。 データ処理部の構成を示すブロック図である。 取得処理を実行するＣＰＵの機能的構成を示すブロック図である。 組織切片に対する領域ごとの画像の取得の説明に供する略線図である。 画像処理を実行するＣＰＵの機能的構成を示すブロック図である。 特徴点の抽出結果を示す写真である。 対応点の探索の説明に供する写真である。 三角形分割の説明に供する写真である。 三角形パッチのマッピングの説明に供する写真である。

以下、発明を実施するための形態について説明する。なお、説明は以下の順序とする。
＜１．実施の形態＞
［１−１．生体像提示装置の構成］
［１−２．データ処理部の構成］
［１−３．組織切片像の取得処理］
［１−４．組織切片像の画像処理］
［１−５．組織切片像の提示処理］
［１−６．効果等］
＜２．他の実施の形態＞

＜１．実施の形態＞
［１−１．生体像提示装置の構成］
図１において、生体像提示システム１を示す。この生体像提示システム１は、顕微鏡１０と、データ処理部２０とを含む構成される。

顕微鏡１０は、スライドガラスＳＧがセットされる面（以下、これをスライドセット面とも呼ぶ）をもち、該スライドセット面に対して平行方向及び直交方向（ｘｙｚ軸方向）に移動可能なステージ（以下、これを可動ステージとも呼ぶ）１１を有する。

この可動ステージ１１には、スライドガラス収容器（図示せず）に収容される複数のスライドガラスＳＧを１枚ずつスライドセット面におけるセット位置にセットする機構（以下、これをスライドセット機構とも呼ぶ）１２が設けられる。

スライドガラスＳＧには、この実施の形態では組織切片が所定の固定手法により固定される。図２に示すように、生体の切除組織から奥行き（深部）方向に薄切されたすべて又は一部の組織切片が、各スライドガラスに固定され、スライドガラス収容器に対して、例えば表層側（浅い薄切位置）の組織切片が固定されたものから順に収容される。

なお、組織切片は、必要に応じて染色が施される。この染色には、ＨＥ（ヘマトキシリン・エオジン）染色、ギムザ染色又はパパニコロウ染色等に代表される一般染色のみならず、ＦＩＳＨ(Fluorescence In-Situ Hybridization)や酵素抗体法等の蛍光染色が含まれる。

可動ステージ１１の一方の面側には光学系１３が配され、該可動ステージ１１の他方の面側には照明灯１４が配される。照明灯１４の光は、スライドセット面におけるセット位置に対して穿設される開口から、該可動ステージ１１の一方の面に配される生体サンプルＳＰＬに対する照明光として到達する。

顕微鏡１０は、この照明光で得られる組織切片の一部の像を、光学系１３の第１の対物レンズ１３Ａ及び第２の対物レンズ１３Ｂによって所定の倍率に拡大し、撮像部１５の撮像面に結像するようになされている。

またこの顕微鏡１０は、蛍光染色に対する励起光を照射する励起光源１６を有する。顕微鏡１０は、この励起光源１６から励起光が照射された場合、該励起光を、第１の対物レンズ１３Ａ及び第２の対物レンズ１３Ｂ間に設けられるダイクロイックミラー１２Ｃで反射させて第１の対物レンズ１３Ａに導く。そして顕微鏡１０は、この励起光を、第１の対物レンズ１３Ａによって可動ステージ１１に配されるスライドガラスＳＧに集光する。

スライドガラスＳＧに固定される生体サンプルＳＰＬに対して蛍光染色が施されていた場合、励起光により蛍光色素が発光する。この発光によって得られる光（以下、これを発色光とも呼ぶ）は第１の対物レンズ１３Ａを介してダイクロイックミラー１２Ｃを透過する。そしてこの発色光は、ダイクロイックミラー１２Ｃ及び第２の対物レンズ１３Ｂ間に設けられる吸光フィルタ板１３Ｄを介して、該第２の対物レンズ１３Ｂに到達する。

顕微鏡１０は、発色光の像を第１の対物レンズ１３Ａによって拡大し、該発色光以外の光（以下、これを外光とも呼ぶ）を吸光フィルタ板１３Ｄによって吸収する。そして顕微鏡１０は、外光が除去された発色光の像を、第２の対物レンズ１３Ｂによって拡大し、撮像部１５の撮像面に結像するようになされている。

一方、データ処理部２０は、切除組織のうち、奥行き（深部）方向における複数の位置での組織切片（図２）の拡大像（以下、これを拡大切片像とも呼ぶ）を、所定形式のデータとして保存し得るようになされている。

したがってこの生体像提示システム１は、スライドガラスＳＧ自体を保存する場合に比べて、固定や染色等の状態を劣化させることなく長期にわたって組織切片を保持することが可能である。

またデータ処理部２０は、各拡大切片像を３次元として組み合わせた像（以下、これを組織立体像とも呼ぶ）を構築し、該組織立体像又は拡大切片像を提示し得るようになされている。

したがってこの生体像提示システム１は、切除組織の状態をさまざまな視点で提示することができ、この結果、病変の深達度（浸潤の程度）等を正確に判断させることが可能である。

［１−２．データ処理部の構成］
図３において、データ処理部２０の構成を示す。このデータ処理部２０は、生体像提示システム１全体の制御を司るＣＰＵ(Central Processing Unit)２１に対して各種ハードウェアを接続した構成とされる。

具体的にはＲＯＭ(Read Only Memory)２２、ＣＰＵ２１のワークメモリとなるＲＡＭ(Random Access Memory)２３、バッファメモリ２４、ユーザの操作に応じた命令を入力する操作入力部２５、インターフェイス２６、表示部２７及び記憶部２８がバス２９を介して接続される。

ＲＯＭ２２には、各種の処理を実行するためのプログラムが格納される。インターフェイス２６には、可動ステージ１１、スライドセット機構１２、照明灯１４、撮像部１５及び励起光源１６が、それぞれ所定の通信路を介して接続される。

表示部２７には、液晶ディスプレイ、ＥＬ（Electro Luminescence）ディスプレイ又はプラズマディスプレイ等が適用される。また記憶部２８には、ＨＤ（Hard Disk）に代表される磁気ディスクもしくは半導体メモリ又は光ディスク等が適用される。ＵＳＢ（Universal Serial Bus）メモリやＣＦ（Compact Flash）メモリ等のように可搬型メモリが適用されてもよい。

ＣＰＵ２１は、ＲＯＭ２２に格納される複数のプログラムのうち、操作入力部２３から与えられる命令に対応するプログラムをＲＡＭ２３に展開し、該展開したプログラムにしたがって、バッファメモリ２４、表示部２７及び記憶部２８を適宜制御する。

またＣＰＵ２１は、展開したプログラムにしたがって、インターフェイス２６を介して可動ステージ１１、スライドセット機構１２、照明灯１４、撮像部１５及び励起光源１６を適宜制御するようになされている。

［１−３．組織切片像の取得処理］
ＣＰＵ２１は、拡大切片像の取得命令を操作入力部２３から受けた場合、該取得命令に対応するプログラムにしたがって、図４に示すように、スライドセット制御部４１、拡大切片像取得部４２、データ保存部４３として機能する。

スライドセット制御部４１は、スライドセット機構１２を制御して、スライドガラス収容器に収容される複数のスライドガラスＳＧを、スライドセット面におけるセット位置に１枚ずつセットさせる。

拡大切片像取得部４２は、スライドセット制御部４１によってスライドガラスＳＧがセットされるごとに、セット対象のスライドガラスＳＧに固定される組織切片の拡大切片像を取得する。

具体的には第１段階として、拡大切片像取得部４２は、光学系１２のフォーカス位置を調整するとともに、撮像部１５の感度を調整する。

フォーカス位置の調整には、例えば、撮像部１５から出力される撮像データが示す画素値に基づいて可動ステージ１１を制御することで、光学系１２と撮像部１５の撮像面との光軸方向における相対的位置を可変する手法が採用される。

一方、撮像部１５の感度の調整には、例えば、撮像データが示す画素値に基づいて、照明灯１４あるいは励起光源１６における励起光の照射光量（光強度）と、撮像部１５での露光時間と、絞りの開口量との全部又は一部を可変する手法が採用される。

第２段階として、拡大切片像取得部４２は、例えば図５に示すように、対物レンズ１３Ａ，１３Ｂを介して拡大される組織切片ＥＴＳ（拡大切片像）が撮像範囲ＡＲに割り当てられるよう、スライドセット面の面方向に可動ステージ１１を移動させる。この図５では、撮像範囲ＡＲに割り当てるべき組織切片ＥＴＳの領域が重ならない態様となっているが、隣接する領域の一部が重なる態様であってもよい。

第３段階として、拡大切片像取得部４２は、撮像範囲ＡＲに割り当てられる領域の撮像データを用いて、当該領域を連結することにより拡大切片像を生成する。

第４段階として、拡大切片像取得部４２は、拡大切片像を、異なる解像度の像として段階ごとに生成し、これら段階の拡大切片像を、所定のブロック（以下、これをタイルとも呼ぶ）単位に分割する。

このようにして拡大切片像取得部４２は、スライドガラスＳＧに固定される組織切片の拡大切片像を、表示領域に表示すべき各段階の解像度にそれぞれ対応させて生成するようになされている。

データ保存部４３は、各段階の解像度にそれぞれ対応する拡大切片像が生成された場合、規定された段階の解像度に対応する拡大切片像の縮小画像（以下、これをサムネイル切片像とも呼ぶ）と、当該拡大切片像に関する識別情報とを生成する。

そしてデータ保存部４３は、各段階の解像度にそれぞれ対応する拡大切片像及びサムネイル切片像を、識別情報に関連付けた所定のデータ形式のデータとして記憶部２８に記録するようになされている。

識別情報は、例えば、スライド番号や、組織切片の被採取者（患者）の名もしくは割当番号、性別、年齢、採取日付等といった情報である。スライド番号は、例えば、被採取者を単位として、切除組織の浅い薄切面となる組織切片（薄切順位が若い組織切片）が固定されているスライドガラスから順に付される。

この識別情報の取得手法として、例えば、セット位置にセットされるスライドガラスＳＧに貼り付けられるバーコードから取得する、あるいは、操作入力部２３から所定のタイミングで入力させるといった手法が適用される。なお、識別情報の取得手法はこれら例示に限定されるものではない。

このようにしてＣＰＵ２１は、拡大切片像の取得命令が与えられた場合、奥行き（深部）方向における複数のスライス面での組織切片（図２）の拡大像をそれぞれデータとして保存するようになされている。

［１−４．組織切片像の画像処理］
ＣＰＵ２１は、上述の取得処理が終了した場合、画像処理に関するプログラムにしたがって、図６に示すように、立体像生成部５１及び異解像画像生成部５２として機能する。

立体像生成部５１は、被採取者ごとに各スライス面での拡大切片像から立体像を生成する部であり、機能的には画像決定部６１、テンプレートマッチング部６２、特徴点抽出部６３、対応点検出部６４、分割部６５及びテキスチャマッピング部６６に分類される。

画像決定部６１は、複数の拡大切片像から基準とすべき拡大切片像（以下、これを基準断層像とも呼ぶ）と、該基準断層像と比較すべき拡大切片像（以下、これを参照断層像とも呼ぶ）とを決定する。

この実施の形態の場合、各拡大切片像が、例えば薄切位置が浅いものから順に基準断層像として決定され、該基準断層像の薄切位置に対して例えば表層側または深層側に隣接する位置関係となる拡大切片像が参照断層像として決定される。

テンプレートマッチング部６２は、基準断層像に対して参照断層像を位置合わせする。この位置合わせ手法には、例えば、基準断層像での画素レベルとの相関が最小となるよう参照断層像を平行移動及び回転移動させる手法が採用される。

特徴点抽出部６３は、ハリスコーナーと呼ばれる抽出アルゴリズムを用いて、基準断層像から、輝度値の変化が際立つ位置（規定値以上の変化を呈する位置）を特徴点として抽出する。

ここで、ある拡大切片像から抽出された特徴点を黒点として付した写真を図７に示す。この図７からも分かるように、この抽出アルゴリズムは、グラーデーションを呈している部分では特徴点が非抽出であるという利点を有する。またこの抽出アルゴリズムは、抽出対象とされる画像の回転に対してロバストであるという利点も有する。

対応点検出部６４は、参照断層像から、基準断層像における特徴点に対応する点（以下、これを対応点と呼ぶ）を検出する。

具体的には第１段階として、対応点検出部６４は、基準断層像における各特徴点を順に注目対象の点（以下、これを注目点と呼ぶ）として決定する。

第２段階として、対応点検出部６４は、図８に示すように、決定した注目点ＡＰを中心として、所定サイズのブロック（以下、これを注目ブロックと呼ぶ）ＡＢＬを認識する。

そして対応点検出部６４は、参照断層像のうち、注目点ＡＰに対応する位置を基準とし、注目ブロックＡＢＬよりも大きいサイズの探索範囲ＡＲのなかから、注目ブロックＡＢＬと最も類似度が高いブロックを、例えば正規化相関法により探索する。

第３段階として、対応点検出部６４は、注目ブロックＡＢＬに対して最も高いブロックＤＢＬとの類似度（相関値）が設定値以上となる場合、該ブロックＤＢＬの中心を、注目点ＡＰの対応点ＸＰとして検出する。

これに対して対応点検出部６４は、注目ブロックＡＢＬと最も高いブロックＤＢＬとの類似度（相関値）が設定値未満となる場合、注目点ＡＰの対応点ＸＰが存在しないものとして、注目点ＡＰを削除するようになされている。

したがって、薄切工程、染色工程又は固定工程などにおいて組織切片に損傷、伸縮又は気泡等が生じたことに起因して、組織形態として非特徴である部分が、特徴点抽出部６３によって特徴点として抽出された場合であっても、当該部分は対応点検出部６４によって削除される。

このようにこの立体像構築部４４は、組織形態として真に特徴となる部分をより正確に特徴点として抽出することができるようになされている。

分割部６５は、参照断層像における対応点の検出が終了した場合、ドロネー三角形分割と呼ばれる分割アルゴリズムを用いて、基準断層像を、特徴点を頂点とする三角形領域（以下、これを三角形パッチとも呼ぶ）に分割する。

ここで、ある基準断層像を分割した分割境界を黒線として付した写真を図９に示す。図９からも分かるように、特徴点が多いほど複雑な組織形態を呈し、当該形態ほど細かく分割される。

テキスチャマッピング部６６は、参照断層像における対応点に基づいて、基準断層像の各三角形パッチにそれぞれ対応する領域を認識する。これら領域は、組織切片に損傷、伸縮又は気泡等が生じる等の要因で対応点と、基準断層像の特徴点との絶対位置が異なることから、対応する三角形パッチの形状と不一致となる。

テキスチャマッピング部６６は、図１０に示すように、これら領域を、対応する三角形パッチの形状となるよう変形しながら、参照断層像の各画素を、３次元オブジェクトの対応する位置にマッピングする。

したがって、各断層像において対応する領域でありながらその形状が相違していた場合であっても、その相違は、臓器自体の形状を維持しつつ是正されることになる。また、切除組織に対する深層方向への各薄切位置の間隔は試し切りや技量等により相違し、その相違が、各断層像において対応する領域でありながらもその形状に反映されることになるが、当該相違についても、臓器自体の形状を維持しつつ是正される。

なお、是正すべき単位（三角形パッチ）は複雑な組織形態を呈しているほど細かくなるため、各断層間における臓器自体の形状は組織形態の複雑さにかかわらず正確に維持されることになる。

このようにして立体像生成部５１は、被採取者ごとに各スライス面での拡大切片像をマッピングし、該マッピングされた拡大切片像（以下、これを切片立体像とも呼ぶ）を、識別情報に関連付けた所定のデータ形式のデータとして記憶部２８に記憶するようになされている。

ちなみに、マッピングされた拡大切片像には、薄切位置が最も浅い拡大切片像（基準断層像）も含まれる。

異解像画像生成部５２は、各拡大切片像から切片立体像が生成された場合、該切片立体像を、異なる解像度の像として段階ごとに生成し、これら段階の切片立体像をタイル単位に分割する。

また異解像画像生成部５２は、各段階の解像度にそれぞれ対応する切片立体像を、識別情報に関連付けた所定のデータ形式のデータとして記憶部２８に記憶するようになされている。

［１−５．組織切片像の提示処理］
ＣＰＵ２１は、操作入力部２３から組織像の提示命令が与えられた場合、該提示命令に対応するプログラムにしたがって、保存対象のサムネイル切片像を被採取者単位で示す画面（以下、これをサムネイル画面とも呼ぶ）を表示部２７に表示する。

ここで、拡大切片像として表示すべきサムネイル切片像が選択された場合、ＣＰＵ２１は、該サムネイル切片像と、操作入力部２３の操作に応じてサムネイル切片像を移動可能なポインタとを表示する。

またこの場合、ＣＰＵ２１は、選択対象のサムネイル切片像に対応付けられる各段階の解像度に対応する拡大切片像のうち初期解像度に対応する拡大切片像を選択する。ＣＰＵ２１は、選択した拡大切片像から、表示領域に対応する部分（以下、これを表示対象像とも呼ぶ）におけるタイルを読み出して表示する。

そしてＣＰＵ２１は、操作入力部２３から表示すべき位置が指定された場合（ポインタの位置が変更された場合）、当該指定された位置を基準として表示対象像におけるタイルを読み出して表示する。

またＣＰＵ２１は、表示すべき解像度が指定された場合、該指定された解像度に対応する拡大切片像から、当該指定時点におけるポインタの位置を基準として表示対象像におけるタイルを読み出して表示する。

このようにＣＰＵ２１は、操作入力部２３からの指定に応じて、表示領域に表示すべき拡大切片像での面方向の位置又は解像度を切り換えるようになされている。

なお、選択対象のサムネイル切片像及びポインタと、表示対象像とは同じ表示階層として、サムネイル画面と切り替えて又はサムネイル画面の表示階層よりも上階層に表示される。

一方、組織立体像として表示すべきサムネイル切片像が選択された場合、ＣＰＵ２１は、３次元オブジェクトと、操作入力部２３の操作に応じて３次元オブジェクトを移動可能なポインタとを表示する。

またこの場合、ＣＰＵ２１は、選択対象のサムネイル切片像に対応付けられる各段階の解像度に対応する切片立体像のうち初期解像度及び初期断層面に対応する切片立体像を選択する。ＣＰＵ２１は、選択した切片立体像から、表示領域に対応する部分（以下、これを表示対象像とも呼ぶ）におけるタイルを記憶部２８から読み出し、該表示領域に表示する。

操作入力部２３から表示すべき位置が指定された場合（ポインタの位置が変更された場合）、ＣＰＵ２１は、当該指定された位置での断層面に対応する切片立体像から、当該指定された位置を基準として表示対象像におけるタイルを記憶部２８から読み出す。そしてＣＰＵ２１は、記憶部２８から読み出したタイルを表示領域に表示する。

またＣＰＵ２１は、表示すべき解像度が指定された場合、該指定された解像度に対応する切片立体像のうち、当該指定時点における断層面に対応する切片立体像から、該指定時点におけるポインタの位置を基準として表示対象像におけるタイルを読み出して表示する。

このようにＣＰＵ２１は、操作入力部２３からの指定に応じて、表示領域に表示すべき切片立体像での奥行き方向もしくは面方向の位置又は解像度を切り換えるようになされている。

なお、３次元オブジェクト及びポインタと、表示対象像とは同じ表示階層として、サムネイル画面と切り替えて又はサムネイル画面の表示階層よりも上階層に表示される。

ところでこの実施の形態の場合、ＣＰＵ２１は、表示領域に表示すべき表示対象像を表示領域に表示する場合、現在の表示対象像に応じて、次に表示されるべき表示対象像（以下、これを表示予測像とも呼ぶ）を予測する。ＣＰＵ２１は、この表示予測像におけるタイルを記憶部２８から読み出し、これをバッファメモリ２４に記憶する。

そしてＣＰＵ２１は、次に表示領域に表示すべき表示対象像のうち、表示予測像と同じ部分のタイルをバッファメモリ２４から読み出し、該表示予測像と異なる部分のタイルを記憶部２８から読み出して表示領域に表示するようになされている。

したがってＣＰＵ２１は、奥行き方向又は断層面方向に隣接する表示対象像を滑らかに表示することができるようになされている。

［１−６．効果等］
以上の構成において、この生体像提示システム１は、切除組織の奥行き方向における複数の位置でスライスされた組織切片の拡大切片像を取得した場合、当該拡大切片像を、三角形パッチ単位で変形しながらマッピングする（図１０参照）。

そしてこの生体像提示システム１は、操作入力部２３からの指定に応じて、表示領域に表示すべき切片立体像での奥行き方向の位置を切り換える。

したがってこの生体像提示システム１は、各断層像において対応する領域でありながらその形状、あるいは、切除組織に対する深層方向への各薄切位置の間隔が相違したとしても、当該相違を、臓器自体の形状を維持しつつ是正することができる。

この相違は、病理サンプルではその作成までに薄切工程、染色工程又は固定工程などの多くの人為的ステップを経るため生じ易い。したがって、拡大切片像を、三角形パッチ単位で変形しながらマッピングすることは病理サンプルでは特に有用となる。

また、組織中の特定の遺伝子に蛍光マーカーを結合する手法（ＦＩＳＨ：Fluorescence In-Situ Hybridization）を適用した病理サンプルにおいて、蛍光マーカーが深層方向に重なっていたとしても、この生体像提示システム１は、遺伝指数の増減を正確に検出させることができる。

＜２．他の実施の形態＞
上述の実施の形態では、生体の切除組織のうち、奥行き方向における複数の位置でスライスした組織切片の拡大像が取得された。しかしながら取得すべき断層像はこれに限定されるものではない。

例えば、頭部、胸部又は腹部等の体軸における複数の位置で、該体軸に直交する断面のＣＴ（Computed Tomography）像、ＭＲＩ（Magnetic Resonance Imaging）像、ＰＥＴ（Positron Emission Tomography）像又は超音波像が適用可能である。要は、生体部位のうち基準とすべき軸における複数の位置で、該軸に直交する断面の像（断層像）であればよい。

また断層像の取得には、顕微鏡１０からリアルタイムに取得する拡大切片像取得部４２が適用された。しかしながら断層像の取得部はこれに限定されるものではない。

例えば、基準とすべき軸における複数の位置ごとに異なる倍率で、該軸に直交する断面の像（断層像）を取得する取得部が適用可能である。この取得部によれば、切除組織の状態をより一段と多くの視点で提示することができるため、病変の深達度（浸潤の程度）等を正確に判断する観点では有用となる。

また、基準とすべき軸における複数の位置で、該軸に直交する断面の像（断層像）を示すデータが格納されるデータ格納媒体から取得する取得部が適用可能である。この取得部は、例えば断層像の取得場所と診断場所とが遠い場合には特に有用となる。また、拡大切片像、ＣＴ像、ＰＥＴ像又は超音波像等の断層像を、対応する装置（顕微鏡、ＣＴ装置、ＰＥＴ装置又は超音波装置）と、データ格納媒体との双方から切換可能に取得する取得部が適用可能である。

なお、データ格納媒体としては、例えばフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）、ＤＶＤ（Digital Versatile Disc）等のパッケージメディアや、データが一時的若しくは永続的に格納される半導体メモリや磁気ディスク等がある。これらデータ格納媒体からデータを取得する方法としては、ローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線又は無線の通信媒体を利用することができる。

上述の実施の形態では、各拡大切片像が、例えば薄切位置が浅いものから順に基準断層像として決定された。しかしながら、基準断層像は、例えば最も浅い薄切面の組織切片の拡大切片像などに、固定としてもよい。この場合、残りの拡大切片像が、参照断層像として決定される。

なお、基準断層像は、１枚に限ることはない。例えば、最も浅い薄切面の組織切片の拡大切片像と、最も深い薄切面の組織切片の拡大切片像とを基準断層像とすることができる。この場合、基準断層像を指定すべきことを通知し、操作入力部２３により選択される拡大切片像を基準断層像として決定することも可能である。

また、各拡大切片像を、薄切位置が浅いもの（又は深いもの）から順に基準断層像として決定する場合、参照断層像は、該基準断層像の薄切位置に対して表層側または深層側に隣接する位置関係となる拡大切片像とされた。この場合、参照断層像を複数とすることも可能である。このようにすれば、より真の特徴点を得ることが可能となる。

基準断層像及び参照断層像の決定手法は、これら例示に限らず種々の態様をとることができる。

上述の実施の形態では、立体像生成部５１及び異解像画像生成部５２の処理は、組織切片像の提示命令が与えられる前に予め行われた。しかしながらこの処理時期はこの実施の形態に限定されるものではない。例えば、表示領域に表示すべき像を記憶部２８から読み出す際に行うようにしてもよい。また、立体像生成部５１及び異解像画像生成部５２における一部の処理を、組織切片像の提示命令が与えられる前に行い、該提示命令が与えられた後に残りの処理を行うことも可能である。

上述の実施の形態では、操作入力部２３の指定（ポインタの位置）に応じて、表示領域に表示すべき表示対象像が切り換えられた。しかしながら切換手法は、この実施の形態に限定されるものではない。

例えば、最表層もしくは最深層からラスタスキャン順などといった所定の設定順に、表示領域に表示すべき表示対象像を切り換える切換手法が適用可能である。この切換手法の場合、操作入力部２３から停止命令を受けた時点で表示対象像の切り換えを停止すれば、上述の実施の形態の場合に比して、視認者に対する操作を簡略化できる。

上述の実施の形態では、拡大切片像から特徴点を抽出する場合、ハリスコーナーと呼ばれる抽出アルゴリズムが適用された。しかしながら抽出アルゴリズムはこれに限定されるものではない。例えば、モラベック、ベクトルトレーサ、ＳＵＳＡＮ（Smallest Univalue Segment Assymilating Nucleus）、ＳＩＦＴ（Scale Invariant Feature Transformation）などの抽出アルゴリズムが適用可能である。もちろんこれら以外の抽出アルゴリズムも適用可能である。要は、輝度値の変化が際立つ位置（規定値以上の変化を呈する位置）を抽出する手段であればよい。

上述の実施の形態では、拡大切片像を分割する場合、ドロネーと呼ばれる分割アルゴリズムが適用された。しかしながら分割アルゴリズムはこれに限定されるものではない。例えば、ボロノイなどの分割アルゴリズムが適用可能である。もちろんこれ以外の分割アルゴリズムも適用可能である。要は、特徴点を基準とする複数の領域に分割する手段であればよい。

上述の実施の形態では、１つのバッファメモリ２４がバス２９に接続されたが、複数のバッファメモリ２４が接続されてもよい。このようにすれば、表示すべき画像データ量や表示移動速度にかかわらず滑らかに表示対象像を推移できる。

上述の実施の形態では、切片立体像はデータ処理部２０内の記憶部２８にバス２９を通じて保存された。記憶部２８は、データ処理部２０内に設ける場合に限定されるものではなく、該データ処理部２０の外部としてもよい。また記憶部２８に対するデータの通信媒体はバス２９に限定されるものではなく、例えば、ローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線又は無線の通信媒体としてもよい。

本発明は、生物実験、医薬の創製又は患者の経過観察などのバイオ産業上において利用可能である。

１……生体像提示システム、１０……顕微鏡、１１……可動ステージ、１２……スライドセット機構、１３……光学系、１３Ａ，１３Ｂ……対物レンズ、１４……照明灯、１５……撮像部、１６……励起光源、２０……データ処理部、２１……ＣＰＵ、２２……ＲＯＭ、２３……ＲＡＭ、２４……バッファメモリ、２５……操作入力部、２６……インターフェイス、２７……表示部、２８……記憶部、４１……スライドセット制御部、４２……拡大切片像取得部、４３……データ保存部、５１……立体像生成部、５２……異解像画像生成部、６１……画像決定部、６２……テンプレートマッチング部、６３……特徴点抽出部、６４……対応点決定部、６５……分割部、６６……テキスチャマッピング部、ＳＧ……スライドガラス。

Claims (8)

1. 生体部位のうち基準とすべき軸における複数の位置で、該軸に直交する断面の像を取得する取得部と、
   上記取得部により取得される複数の像のうち、基準とすべき像と、該基準とすべき像と比較すべき像とを決定する決定部と、
   上記基準とすべき像から、規定値以上の輝度値の変化を呈する位置を抽出する抽出部と、
   上記比較すべき像から、上記抽出部により抽出される位置に対応する対応位置を検出する検出部と、
   上記抽出部により抽出される位置を基準として上記基準とすべき像を分割する分割部と、
   上記比較すべき像を、上記基準とすべき像の分割領域に対応する領域ごとに、当該分割領域の形状となるよう変形しながらマッピングするマッピング部と、
   上記基準とすべき像と、上記マッピング部によりマッピングされる像とを用いて、表示領域に表示すべき像を切り換えて表示させる表示制御部と
   を有する生体像提示装置。
2. 上記取得部は、
   上記生体部位から切除された組織のうち、奥行き方向における複数の位置でスライスされた組織切片を拡大した像を取得する
   請求項１に記載の生体像提示装置。
3. 上記検出部は、
   上記比較すべき像から、上記抽出部により抽出される位置ごとに、当該位置を基準とする探索ブロックと最も類似度が高いブロックを探索し、
   上記類似度が設定値以上となる場合、上記ブロックの所定位置を上記対応位置として検出し、
   上記類似度が設定値未満となる場合、当該位置を削除する
   請求項２に記載の生体像提示装置。
4. 上記基準とすべき像と、上記マッピング部によりマッピングされる像とを、表示単位ブロックに分割する表示単位分割部
   をさらに有し、
   上記表示制御部は、
   上記表示領域に表示すべき像を表示させる場合、現在の像に応じて、次に表示されるべき像を予測し、予測した像における表示単位ブロックをバッファメモリに記憶し、
   次に表示領域に表示すべき像のうち、上記予測した像と同じ部分の表示単位ブロックを上記バッファメモリから読み出すとともに、上記予測した像と異なる部分の表示単位ブロックを記憶部から読み出す
   請求項２に記載の生体像提示装置。
5. 上記表示単位分割部は、
   上記基準とすべき像と、上記マッピング部によりマッピングされる像とを、複数段階の解像度に対応する像としてそれぞれ生成し、当該各段階の解像度に対応する像を上記表示単位ブロックに分割する
   請求項４に記載の生体像提示装置。
6. 生体部位のうち基準とすべき軸における複数の位置で、該軸に直交する断面の像を取得する取得ステップと、
   上記取得ステップで取得される複数の像のうち、基準とすべき像と、該基準とすべき像と比較すべき像とを決定する決定ステップと、
   上記基準とすべき像から、規定値以上の輝度値の変化を呈する位置を抽出する抽出ステップと、
   上記比較すべき像から、上記抽出ステップで抽出される位置に対応する対応位置を検出する検出ステップと、
   上記抽出ステップで抽出される位置を基準として上記基準とすべき像を分割する分割ステップと、
   上記比較すべき像を、上記基準とすべき像の分割領域に対応する領域ごとに、当該分割領域の形状となるよう変形しながらマッピングするマッピングステップと、
   上記基準とすべき像と、上記マッピングステップでマッピングされる像とを用いて、表示領域に表示すべき像を切り換えて表示させる表示制御ステップと
   を有する生体像提示方法。
7. コンピュータに対して、
   生体部位のうち基準とすべき軸における複数の位置で、該軸に直交する断面の像を取得すること、
   取得される複数の像のうち、基準とすべき像と、該基準とすべき像と比較すべき像とを決定すること、
   上記基準とすべき像から、規定値以上の輝度値の変化を呈する位置を抽出すること、
   上記比較すべき像から、抽出される位置に対応する対応位置を検出すること、
   上記抽出される位置を基準として上記基準とすべき像を分割すること、
   上記比較すべき像を、上記基準とすべき像の分割領域に対応する領域ごとに、当該分割領域の形状となるよう変形しながらマッピングすること、
   上記基準とすべき像と、マッピングされる像とを用いて、表示領域に表示すべき像を切り換えて表示させること
   を実行させるプログラム。
8. 顕微鏡と、データ処理装置とから構成される生体像提示システムであって、
   上記データ処理部は、
   上記顕微鏡から、上記生体部位から切除された組織のうち、奥行き方向における複数の位置でスライスされた組織切片を拡大した像を取得する取得部と、
   上記取得部により取得される複数の像のうち、基準とすべき像と、該基準とすべき像と比較すべき像とを決定する決定部と、
   上記基準とすべき像から、規定値以上の輝度値の変化を呈する位置を抽出する抽出部と、
   上記比較すべき像から、上記抽出部により抽出される位置に対応する対応位置を検出する検出部と、
   上記抽出部により抽出される位置を基準として上記基準とすべき像を分割する分割部と、
   上記比較すべき像を、上記基準とすべき像の分割領域に対応する領域ごとに、当該分割領域の形状となるよう変形しながらマッピングするマッピング部と、
   上記基準とすべき像と、上記マッピング部によりマッピングされる像とを用いて、表示領域に表示すべき像を切り換えて表示させる表示制御部と
   を有する生体像提示システム。