JP6901072B2 - 画像処理装置、画像処理方法、画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラムに関する。

病理診断等で使用される細胞や組織の標本は、無色透明であることが多いため観察しにくいことがある。そこで、顕微鏡での観察を容易にするために、あらかじめ細胞や組織を染色してから、観察することが行われている。

特開２０１３−１１３６８９号公報 特開２０１１−１８５８４３号公報 特開２００８−５１７７２号公報 特開２０１３−１１４２３３号公報 特開２０１２−２３３７８４号公報

染色することによって組織や細胞の状態は観察しやすくなるが、染色には時間がかかることが問題である。また、染色すると脱色等の処理を行うことが求められる。そこで、染色をせずに組織や細胞を観察しやすくすることが求められる。

本発明は、組織や細胞を染色をすることなく観察できる技術を提供することを目的とする。

上記課題を解決するために、以下の手段を採用する。

即ち、第１の態様は、
生体物質試料の所定の励起光源による自家蛍光を撮影した自家蛍光画像を取得し、所定の染色液で染色した前記生体物質試料を複数のバンドで撮影した染色画像を取得する画像取得部と、
複数のバンドの前記染色画像から、各位置の色情報を取得する色情報取得部と、
前記染色画像の前記色情報と前記染色液の分光吸収係数とに基づいて前記生体物質試料に取り込まれた前記染色液の色素量の分布を示す色素量画像を生成し、前記自家蛍光画像と前記色素量画像との関係を分析して、前記自家蛍光画像の前記生体物質試料を前記染色液で染色した際の色素量を推定する色素量推定器を生成する色素量検出部と、を備え、
前記画像取得部は、前記自家蛍光画像と異なる他の自家蛍光画像を取得し、
前記色素量検出部は、前記他の自家蛍光画像と前記色素量推定器とを用いて、前記他の自家蛍光画像の前記生体物質試料を前記染色液で染色した際の色素量を推定する、
画像処理装置である。

開示の態様は、プログラムが情報処理装置によって実行されることによって実現されてもよい。即ち、開示の構成は、上記した態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録したコンピュータ読み取り可能な記録媒体として特定することができる。また、開示の構成は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されてもよい。開示の
構成は、上記した各手段が実行する処理を行う情報処理装置を含むシステムとして特定されてもよい。

本発明によれば、組織や細胞を染色をすることなく観察できる技術を提供することができる。

図１は、実施形態のシステムの構成例を示す図である。 図２は、画像処理装置の機能構成例を示す図である。 図３は、情報処理装置のハードウェア構成例を示す図である。 図４は、画像処理装置における色素量推定器の生成の際の動作フローの例を示す図である。 図５は、蛍光顕微鏡で撮影された生体物質（肝組織）の自家蛍光画像の例（１）を示す図である。 図６は、蛍光顕微鏡で撮影された生体物質（肝組織）の自家蛍光画像の例（２）を示す図である。 図７は、蛍光顕微鏡で撮影された生体物質（肝組織）の自家蛍光画像の例（３）を示す図である。 図８は、染色液等の分光吸収係数の波長依存性のグラフの例を示す図である。 図９は、画像処理装置における模擬染色画像の生成の際の動作フローの例を示す図である。

以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、発明の構成は、開示の実施形態の具体的構成に限定されない。発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。

〔実施形態〕
（構成例）
図１は、本実施形態のシステムの構成例を示す図である。本実施形態のシステムは、画像処理装置１００、蛍光顕微鏡２００、マルチスペクトルカメラ３００を含む。

画像処理装置１００は、蛍光顕微鏡２００から試料の自家蛍光画像を取得し、マルチスペクトルカメラ３００からバンドごとの試料の染色画像を取得する。画像処理装置１００は、染色画像から、色素量を検出する。画像処理装置１００は、検出された色素量と、自家蛍光画像とを対応付けて、色素量推定器を生成する。画像処理装置１００は、生成した色素量推定器を使用して、他の自家蛍光画像に基づいて、染色画像を出力する。試料は、例えば、細胞や組織などの生体物質である。画像処理装置１００と、蛍光顕微鏡２００及びマルチスペクトルカメラ３００とは、直接、又は、ネットワーク等を介して、通信可能に接続されている。

蛍光顕微鏡２００は、試料に励起光を照射し、当該試料からの自家蛍光を観察することによって、試料を観察する顕微鏡である。蛍光顕微鏡２００は、試料に対して、複数の種類の励起光（波長の異なる励起光）を照射し、それぞれの自家蛍光画像を取得することができる。

マルチスペクトルカメラ３００は、撮影対象を複数に分けられたバンド（周波数帯、波長帯）毎に撮影することができるカメラである。マルチスペクトルカメラ３００は、染色
された試料をバンドごとに撮影する。

図２は、画像処理装置の機能構成例を示す図である。画像処理装置１００は、画像取得部１０２、色情報取得部１０４、色素量検出部１０６、色素量推定部１０８、画像生成部１１０を含む。

画像取得部１０２は、蛍光顕微鏡２００から試料の自家蛍光画像を取得し、マルチスペクトルカメラ３００から試料の染色画像を取得する。

色情報取得部１０４は、マルチスペクトルカメラ３００で撮影された染色された試料の染色画像から、色情報を取得する。

色素量検出部１０６は、取得されたマルチバンドの染色画像の色情報から、色素量を推定する。

色素量推定部１０８は、自家蛍光画像と染色画像の色素量とに基づいて、色素量推定器を生成する。

画像生成部１１０は、蛍光顕微鏡２００で撮影された試料の自家蛍光画像に基づいて、色素量推定器を用いて、デジタル染色画像（模擬染色画像）を生成する。

図３は、情報処理装置のハードウェア構成例を示す図である。図３に示す情報処理装置９０は、一般的なコンピュータの構成を有している。画像処理装置１００は、図３に示すような情報処理装置９０を用いることによって、実現される。図３の情報処理装置９０は、プロセッサ９１、メモリ９２、記憶部９３、入力部９４、出力部９５、通信制御部９６を有する。これらは、互いにバスによって接続される。メモリ９２及び記憶部９３は、コンピュータ読み取り可能な記録媒体である。情報処理装置のハードウェア構成は、図３に示される例に限らず、適宜構成要素の省略、置換、追加が行われてもよい。

情報処理装置９０は、プロセッサ９１が記録媒体に記憶されたプログラムをメモリ９２の作業領域にロードして実行し、プログラムの実行を通じて各構成部等が制御されることによって、所定の目的に合致した機能を実現することができる。

プロセッサ９１は、例えば、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）である。

メモリ９２は、例えば、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）を含む。メモリ９２は、主記憶装置とも呼ばれる。

記憶部９３は、例えば、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスク
ドライブ（ＨＤＤ、Hard Disk Drive）である。また、記憶部９３は、リムーバブルメデ
ィア、即ち可搬記録媒体を含むことができる。リムーバブルメディアは、例えば、ＵＳＢ（Universal Serial Bus）メモリ、あるいは、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）のようなディスク記録媒体である。記憶部９３は、二次記憶装置とも呼ばれる。

記憶部９３は、情報処理装置９０で使用される、各種のプログラム、各種のデータ及び各種のテーブルを読み書き自在に記録媒体に格納する。記憶部９３には、オペレーティングシステム（Operating System :ＯＳ）、各種プログラム、各種テーブル等が格納される。記憶部９３に格納される情報は、メモリ９２に格納されてもよい。また、メモリ９２に
格納される情報は、記憶部９３に格納されてもよい。

オペレーティングシステムは、ソフトウェアとハードウェアとの仲介、メモリ空間の管理、ファイル管理、プロセスやタスクの管理等を行うソフトウェアである。オペレーティングシステムは、通信インタフェースを含む。通信インタフェースは、通信制御部９６を介して接続される他の外部装置等とデータのやり取りを行うプログラムである。外部装置等には、例えば、他の情報処理装置、外部記憶装置等が含まれる。

入力部９４は、キーボード、ポインティングデバイス、ワイヤレスリモコン、タッチパネル等を含む。また、入力部９４は、カメラのような映像や画像の入力装置や、マイクロフォンのような音声の入力装置を含むことができる。

出力部９５は、ＬＣＤ（Liquid Crystal Display）、ＥＬ（Electroluminescence）パ
ネル、ＣＲＴ（Cathode Ray Tube）ディスプレイ、ＰＤＰ（Plasma Display Panel）等の表示装置、プリンタ等の出力装置を含む。また、出力部９５は、スピーカのような音声の出力装置を含むことができる。

通信制御部９６は、他の装置と接続し、情報処理装置９０と他の装置との間の通信を制御する。通信制御部９６は、例えば、ＬＡＮ（Local Area Network）インタフェースボード、無線通信のための無線通信回路、有線通信のための通信回路である。ＬＡＮインタフェースボードや無線通信回路は、インターネット等のネットワークに接続される。

情報処理装置９０は、プロセッサが補助記憶部に記憶されたプログラムを主記憶部の作業領域に実行可能に展開し、プログラムの実行を通じて周辺機器等の制御を行う。これにより、情報処理装置は、所定の目的に合致した機能を実現することができる。主記憶部及び補助記憶部は、情報処理装置が読み取り可能な記録媒体である。

（動作例）
〈色素量推定器生成〉
図４は、画像処理装置における色素量推定器の生成の際の動作フローの例を示す図である。

Ｓ１０１では、画像処理装置１００の画像取得部１０２は、蛍光顕微鏡２００で撮影された試料の自家蛍光画像を蛍光顕微鏡２００から取得する。自家蛍光画像は、試料に所定の周波数の励起光を照射して、試料の自家蛍光を撮影したものである。蛍光顕微鏡２００では、試料には複数の種類（複数の波長）の励起光が照射され、それぞれの励起光に対する試料の自家蛍光が撮影される。試料は、例えば、細胞や組織等の生体物質の切片標本である。Ｓ１０１及びＳ１０２で使用される試料は、同一の生体物質から生成される切片標本である。取得される自家蛍光画像は、１種類の励起光によるものであってもよい。

図５、図６、図７は、蛍光顕微鏡で撮影された生体物質（肝組織）の自家蛍光画像の例を示す図である。図５、図６、図７において、色が白いほど、明るいことを示す。図５の自家蛍光画像では、励起光の波長が４７０ｎｍであり、４９５ｎｍ以上の波長の光を通すフィルタが使用されている。図６の自家蛍光画像では、励起光の波長が５４５ｎｍであり、５６５ｎｍ以上の波長の光を通すフィルタが使用されている。図７の自家蛍光画像では、励起光の波長が３６０ｎｍであり、４００ｎｍ以上の波長の光を通すフィルタが使用されている。自家蛍光画像には励起光は含まれていない。

Ｓ１０２では、画像取得部１０２は、マルチスペクトルカメラ３００で撮影された染色された試料の染色画像をマルチスペクトルカメラ３００から取得する。染色画像は、所定
の染色液で試料を染色して撮影されたものである。試料に所定の染色液を添加することで、所定の部分が発色する。発色する部分、色は、染色液に依存する。マルチスペクトルカメラ３００では、複数のバンド（周波数帯）で染色画像が撮影される。染色液は、例えば、ヘマトキシリン（Haematoxylin）、エオジン（Eosin）である。染色液として、複数の
染色液が使用されてもよい。マルチスペクトルカメラ３００を使用することで、試料を透過した透過光のより詳細な情報を得ることができる。

Ｓ１０３では、色情報取得部１０４は、各バンドの染色画像から、画像における各ピクセル（位置）の吸光度を求める。吸光度は、光が媒質を通った際に光の強度がどの程度弱まるかを示す量である。各ピクセルの吸光度は、各ピクセルの明るさに依存する。色情報取得部１０４は、バンド毎に、染色画像における各ピクセルの明るさから各ピクセルの吸光度を求める。各バンドの吸光度は、試料に取り込まれた染色液の色素量及び染色液の吸光係数に依存する。

Ｓ１０４では、色素量検出部１０６は、Ｓ１０３で求めた吸光度、既知である染色液の分光吸収係数に基づいて、ピクセル毎に、試料に取り込まれた染色液の色素量を算出する。分光吸収係数は、光が媒質に入射したときに媒質がどの程度光を吸収するかを示す量である。染色液の吸収係数は、入射する光の波長に依存する。吸光度ベクトルをａ、分光吸収係数行列をＸ、色素量をＣとすると、ランバートベールの法則により、次のように表される。吸光度ベクトルは、バンド毎の吸光度をベクトル表示したものである。分光吸収係数行列は、染色液毎、バンド毎の吸収係数を行列表示したものである。

これらの式より、推定行列Ｘ^＋を吸光度ベクトルａに乗算することによって、試料に取り込まれた染色液毎のピクセル毎（位置毎）の色素量Ｃを求めることができる。色素量検出部１０６は、ピクセル毎の色素量に基づいて、試料の各位置の色素量を示す色素量画像を生成する。色素量画像は、試料に取り込まれた染色液の分布を示す。色素量画像では、例えば、染色液が多く取り込まれた位置はより明るくなる。

図８は、染色液等の分光吸収係数の波長依存性のグラフの例を示す図である。図８の例では、ヘマトキシリン、エオジン、赤血球の分光吸収係数を示す。図８の例では、例えば、エオジンの分光吸収係数は、５５０ｎｍ近辺でピークとなる。分光吸収係数行列は、当該グラフに基づいて生成される。

Ｓ１０５では、色素量検出部１０６は、Ｓ１０１で取得した自家蛍光画像と、Ｓ１０４で生成した色素量画像との関係を機械学習等により分析する。分析には、ニューラルネットワークによるディープラーニング、Regression SVM、Regression Random Forest、多重回帰分析、Look Up Table等の学習空間を利用する手法等が使用され得る。分析には、連
続値を予測するような手法であれば適用可能である。例えば、ニューラルネットワークであれば、複数の条件（励起光）で励起された試料の自家蛍光画像を入力データとし、試料を染色して得られたマルチスペクトル画像から求められた色素量画像を出力データとする。色素量検出部１０６は、当該入力データと当該出力データとが紐付けられた教師あり学習により、ニューラルネットワークのニューロン間の重み付け係数を最適化して、色素量推定器を構築する。色素量推定器は、より多くの自家蛍光画像と色素量画像との組を用いることで最適化される。また、色素量推定器は、染色液毎に生成することができる。また、入力データとして、テクスチャ情報等の画像処理特徴量（組織や細胞の特徴を示す情報など）が含まれてもよい。

また、試料を様々な染色液で染色した染色画像を用いて、色素量推定器を生成することで、様々な染色液の色素量推定器を生成することができる。

〈模擬染色画像生成〉
図９は、画像処理装置における模擬染色画像の生成の際の動作フローの例を示す図である。模擬染色画像（デジタル染色画像）は、試料の自家蛍光画像を使用して色素量推定器により推定された推定色素量画像に基づいて得られる、模擬的な染色画像である。模擬染色画像は、試料を実際に染色した染色画像を模擬したものである。ここでは、画像処理装置１００は、染色されていない試料の自家蛍光画像と、上記の色素量推定器とを用いて、模擬染色画像を生成する。

Ｓ２０１では、画像処理装置１００の画像取得部１０２は、蛍光顕微鏡２００で撮影された試料の自家蛍光画像を蛍光顕微鏡２００から取得する。蛍光顕微鏡２００では、試料には複数の種類（複数の波長）の励起光が照射され、それぞれの励起光に対する試料の自家蛍光が撮影される。試料は、例えば、細胞や組織等の生体物質の切片標本である。ここで使用される自家蛍光画像に対応する試料は、色素量推定機の生成の際に使用された自家蛍光画像に対応する試料と異なる試料である。

Ｓ２０２では、色素量推定部１０８は、画像取得部１０２で取得された自家蛍光画像を入力データとして、所望の染色液に対応する色素量推定器を用いて、推定された所望の染料液の色素量画像を生成する。色素量画像では、例えば、色素量が多いほど明るい色で表示される。色素量画像は、推定される試料に取り込まれた染色液の色素量を示す画像である。

Ｓ２０３では、画像生成部１１０は、色素量画像（または色素量）と、染色液毎の分光吸収係数とから、バンド毎の各ピクセルについての吸光度を算出する。画像生成部１１０は、算出されたバンド毎の吸光度からバンド毎の光の透過率を算出し、ピクセルごとにＲＧＢ（Red Green Blue）の成分毎に積分して、各ピクセルの画素値（ＲＧＢ値）を算出する。画像生成部１１０は、算出された各ピクセルの画素値に基づいて、模擬染色画像（デジタル染色画像）を生成する。これにより、画像処理装置１００は、所望の染色液についての擬似染色画像を、試料を染色することなく生成することができる。

（実施形態の作用、効果）
画像処理装置１００は、蛍光顕微鏡２００で撮影された細胞や組織などの生体物質の試料の自家蛍光画像を取得する。画像処理装置１００は、マルチスペクトルカメラ３００で撮影された染色液で染色された染色画像を取得する。画像処理装置１００は、染色画像と、染色液の分光吸収係数とに基づいて、試料に取り込まれた染色液の色素量を算出する。画像処理装置１００は、自家蛍光画像と、算出された色素量（色素量画像）とに基づいて、色素量推定器を生成する。

画像処理装置１００は、試料の自家蛍光画像と、所望の染色液に対応する色素量推定器とを用いて、推定された色素量画像を生成する。画像処理装置１００は、色素量画像と、染料液毎の分光吸収係数とから、バンド毎の吸光度を算出する。画像処理装置１００は、バンド毎の吸光度からバンド毎の透過率を算出し、バンド毎の透過率をＲＧＢの成分毎に積分することで、各ピクセルの画素値を算出し、擬似染色画像を生成する。

画像処理装置１００は、従来、染色の際にノイズとされてきた自家蛍光を使用して、染色したときの色素量を推定してデジタル染色画像（模擬染色画像）を生成することで、標本（試料）を染色することなく、染色画像を得ることができる。画像処理装置１００によ
れば、貴重な試料であっても、試料を襲侵することなく、模擬的な染色画像を得ることができる。未染色標本等を観察するための特殊な顕微鏡を用意することなく、未染色標本を容易に観察することができる。また、画像処理装置１００によれば、試料を染色しないため、１つの試料で様々な染色液による擬似染色画像の生成をすることができる。

本実施形態の模擬染色画像を生成する方法は、自家蛍光をするあらゆる組織に対して適用可能である。

〈コンピュータ読み取り可能な記録媒体〉
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。

ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体内には、ＣＰＵ、メモリ等のコンピュータを構成する要素を設け、そのＣＰＵにプログラムを実行させてもよい。

また、このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ、ＤＡＴ、８mmテープ、メモリカード等がある。

また、コンピュータ等に固定された記録媒体としてハードディスクやＲＯＭ等がある。

（その他）
以上、本発明の実施形態を説明したが、これらはあくまで例示にすぎず、本発明はこれらに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、各構成の組み合わせなど、当業者の知識に基づく種々の変更が可能である。

１００ 画像処理装置
１０２ 画像取得部
１０４ 色情報取得部
１０６ 色素量検出部
１０８ 色素量推定部
１１０ 画像生成部
２００ 蛍光顕微鏡
３００ マルチスペクトルカメラ
９０ 情報処理装置
９１ プロセッサ
９２ メモリ
９３ 記憶部
９４ 入力部
９５ 出力部
９６ 通信制御部

Claims (4)

1. 生体物質試料の所定の励起光源による自家蛍光を撮影した自家蛍光画像を取得し、所定の染色液で染色した前記生体物質試料を複数のバンドで撮影した染色画像を取得する画像取得部と、
   複数のバンドの前記染色画像から、各位置の色情報を取得する色情報取得部と、
   前記染色画像の前記色情報と前記染色液の分光吸収係数とに基づいて前記生体物質試料に取り込まれた前記染色液の色素量の分布を示す色素量画像を生成し、前記自家蛍光画像と前記色素量画像との関係を分析して、前記自家蛍光画像の前記生体物質試料を前記染色液で染色した際の色素量を推定する色素量推定器を生成する色素量検出部と、を備え、
   前記画像取得部は、前記自家蛍光画像と異なる他の自家蛍光画像を取得し、
   前記色素量検出部は、前記他の自家蛍光画像と前記色素量推定器とを用いて、前記他の自家蛍光画像の前記生体物質試料を前記染色液で染色した際の色素量を推定する、
   画像処理装置。
2. 前記他の自家蛍光画像の前記色素量に基づいて、前記他の自家蛍光画像の前記生体物質試料が前記染色液による染色を模擬した模擬染色画像を生成する画像生成部を備える、
   請求項１に記載の画像処理装置。
3. 画像処理装置が、
   生体物質試料の所定の励起光源による自家蛍光を撮影した自家蛍光画像を取得し、所定の染色液で染色した前記生体物質試料を複数のバンドで撮影した染色画像を取得し、
   複数のバンドの前記染色画像から、各位置の色情報を取得し、
   前記染色画像の前記色情報と前記染色液の分光吸収係数とに基づいて前記生体物質試料に取り込まれた前記染色液の色素量の分布を示す色素量画像を生成し、前記自家蛍光画像と前記色素量画像との関係を分析して、前記自家蛍光画像の前記生体物質試料を前記染色液で染色した際の色素量を推定する色素量推定器を生成し、
   前記自家蛍光画像と異なる他の自家蛍光画像を取得し、
   前記他の自家蛍光画像と前記色素量推定器とを用いて、前記他の自家蛍光画像の前記生体物質試料を前記染色液で染色した際の色素量を推定する、
   ことを実行する画像処理方法。
4. 画像処理装置が、
   生体物質試料の所定の励起光源による自家蛍光を撮影した自家蛍光画像を取得し、所定の染色液で染色した前記生体物質試料を複数のバンドで撮影した染色画像を取得し、
   複数のバンドの前記染色画像から、各位置の色情報を取得し、
   前記染色画像の前記色情報と前記染色液の分光吸収係数とに基づいて前記生体物質試料に取り込まれた前記染色液の色素量の分布を示す色素量画像を生成し、前記自家蛍光画像と前記色素量画像との関係を分析して、前記自家蛍光画像の前記生体物質試料を前記染色液で染色した際の色素量を推定する色素量推定器を生成し、
   前記自家蛍光画像と異なる他の自家蛍光画像を取得し、
   前記他の自家蛍光画像と前記色素量推定器とを用いて、前記他の自家蛍光画像の前記生体物質試料を前記染色液で染色した際の色素量を推定する、
   ことを実行するための画像処理プログラム。

Images