JP3679680B2

JP3679680B2 - Cell lineage extraction method

Info

Publication number: JP3679680B2
Application number: JP2000081526A
Authority: JP
Inventors: 修一大浪; 秀互濱橋; 悟宮野; 宏明北野
Original assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Current assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Priority date: 2000-03-23
Filing date: 2000-03-23
Publication date: 2005-08-03
Anticipated expiration: 2020-03-23
Also published as: JP2001258599A

Description

【０００１】
【発明の属する技術分野】
本発明は細胞系譜抽出方法に係り、詳しくは、観察対象の４次元顕微鏡画像から細胞系譜を作成する方法に関するものである。また、本発明は、好適には、ノマルスキー型透過型微分干渉顕微鏡（以下「ノマルスキー顕微鏡」という）で撮影した線虫（Ｃ．ｅｌｅｇａｎｓ）の発生過程の４次元画像から、細胞系譜を作成する方法に関するものである。
【０００２】
【従来の技術】
線虫は１９６５年にＳｉｄｎｅｙＢｒｅｎｎｅｒによって見出された実験生物で、現在の分子生物学で特に詳しく解析されている実験生物（大腸菌、酵母、線虫、ハエ、アフリカツメガエル、セブラフィッシュ、ネズミ等）の一つである。線虫は、これらの実験生物の中では多細胞生物の最も単純な生物として位置付けられている。線虫は、受精卵が成虫になるまで、おおよそ三日間を要する。
【０００３】
多細胞生物は基本的に一つの受精卵（単細胞）が秩序正しく分裂を繰り返して多数の細胞からなる成虫を形成する。受精卵からの分裂の秩序を樹形図的に記述したものを細胞系譜と呼ぶ。線虫は多細胞生物の中で唯一受精卵から成虫までの細胞系譜が明らかにされている。この細胞系譜は１９８３年にＳｕｌｓｔｏｎ等によって決定された。
【０００４】
正常な線虫（ｗｉｌｄｔｙｐｅ）は全ての個体でその受精卵から成虫になるまでの細胞系譜が一定である。特定の遺伝子に突然変異が起きるとその遺伝子の機能に変化が生じ、細胞分裂のパターン、すなわち細胞系譜がｗｉｌｄｔｙｐｅのものと比べて変化する。この細胞系譜の変化から突然変異した遺伝子の機能を推定し、その推定を出発点にした研究の進展により大量の遺伝子が急速に同定され、また、突然変異体動物が大量生産され始めてきている。これらの資源を有効活用することを考えると、遺伝子、突然変異体解析の出発点である細胞系譜解析の自動化は必要不可欠な技術である。
【０００５】
従来の細胞系譜の作成には、いわゆるノマルスキー顕微鏡が用いられる。ノマルスキー顕微鏡は、偏光版、ノマルスキープリズムのセットにより作成した２種類の光線（同波形、同位相、光路のみ微妙にズレている）を観察対象に照射し、観察対象を透過させる。観察対象を透過する光路の長さや、屈折率の差に起因して透過後の2本の光線の位相はズレている。透過後の２本の光線を偏向板、ノマルスキープリズムのセットを用いて同光路に収束させると、この２本の光線の位相のズレは干渉作用を引き起こす。この干渉作用による明暗像をもって、観察するのがノマルスキー顕微鏡である。この方法によれば、透明な観察対象の内容物の分布や外形状を明暗像で捉えることができる。生物学で言うと、通常の光学顕微鏡では透明に見える細胞の内容物（細胞核）や、外形（細胞膜）を明暗像で捕らえることができる。
【０００６】
線虫の細胞系譜を決定したＳｕｌｓｔｏｎ等はノマルスキー顕微鏡を肉眼で見てスケッチして作成したと言われており、相当の時間（おそらく１年以上）を要したものと思われ、また、その労力は多大なものである。
【０００７】
最近では、ノマルスキー顕微鏡を用いた４Ｄ顕微鏡画像を用いて作成するのが一般的である。特定の焦点で観察される顕微鏡画像は観察対象を特定の位置で水平に切断して得られる２次元（ｘ−ｙ軸）断面像と考えられる。すなわち、焦点を上下に動かす（ｚ軸方向に動かす）ことで観察対象をｚ軸方向の様々な位置で切断した断面像が得られる。これらの画像を統合すると観察対象の３次元の形を捉えることができる（３次元画像）。さらに、このような３次元画像の撮影を時間を追って撮影していくことで観察対象の時間変化を捉えることができる。このようにして撮影したものを４Ｄ（４次元）顕微鏡画像と呼ぶ。
【０００８】
４Ｄ顕微鏡画像を用いる作業はＳｕｌｓｔｏｎ当時と比較して楽になったものと考えられるが、撮影した画像から細胞核、細胞膜を人間が判断しているため、やはりかなりの労力と時間を要する。受精卵から１６細胞くらいまでの作成であっても、１日以上はかかる。
【０００９】
【発明が解決しようとする課題】
本発明は、かかる従来の細胞系譜の作成を容易に行うべく創案されたものであって、細胞系譜を計算機で構築することにより、細胞系譜を省力でかつ短時間で構築することを目的とするものである。
【００１０】
【課題を解決するための手段】
本発明は、かかる課題を解決するために本発明が採用した技術手段は、観察対象の細胞について焦点面を変化させて２次元画像を複数撮影し、かつ、該２次元画像を時系列に複数撮影することで焦点面、時点で異なる複数の２次元画像を得る工程（４次元顕微鏡画像を得る工程）と、前記夫々の２次元画像において、画像処理を行うことで細胞核領域を抽出する工程と、前記夫々の２次元画像において抽出された細胞核領域から、同一細胞核に由来する細胞核領域を統合する工程と（４次元統合核領域を得る工程）、統合された細胞核領域（４次元統合核領域）において、画像中の細胞核領域が出現、消滅する時点、位置の情報から細胞系譜を構築する工程とを含むことを特徴とするものである。
【００１１】
好ましくは、該画像は、透過型微分干渉顕微鏡で撮影したものであり、さらに好ましくは、ノマルスキー型透過型微分干渉顕微鏡で撮影したものである。もっとも、画像はこれらで撮影したものに限定されるものではない。
【００１２】
細胞核を抽出する工程は、画像の明暗の細かい変化が少ない領域を核として検出する手法、あるいは、光の角度に沿って広い範囲で明暗の変化の大きい部分を核として抽出する手法を含む。前者の例としては、Kirschフィルタ、Preｗittフィルタ、エントロピーフィルタ、ＦＦＴフィルタを用いるものが挙げられる。Kirschフィルタは好ましくは、Kirschテンプレート型エッジ検出オペレータと移動平均法を組み合わせたフィルタである。Preｗittフィルタは好ましくは、Prewittテンプレート型エッジ検出オペレータの出力を２値化し、さらに距離変換を適用するフィルタである。後者の例としては、見た目の光の角度に沿って上下所定ピクセル分の輝度値の合計の差分を取るフィルタが採用される。
【００１３】
夫々の２次元画像において抽出された細胞核から、同一細胞核に由来する細胞核領域を統合する工程は、同焦点面の画像群に含まれる同一の細胞核由来の核領域を統合する工程と、同時点の画像群に含まれる同一の細胞核由来の細胞核領域を統合する工程と、前記二つの工程で得られた細胞核領域をさらに統合する工程を含む。また、４次元統合された細胞核領域において、画像中の細胞核領域が出現、消滅する時点、位置の情報から細胞系譜を構築する工程は、複数の細胞核領域の４次元距離を求めることにより、ある細胞と、その細胞の細胞分裂後の細胞とを特定する工程を含むものである。
【００１４】
【発明の実施の形態】
本発明に係る細胞系譜抽出方法ないしシステムの一つの実施形態を、線虫初期胚の細胞系譜の作成に基づいて説明する。図１はシステムの構成図であって、▲１▼線虫初期胚のノマルスキー型顕微鏡４Ｄ画像を撮影する工程、▲２▼複数のアルゴリズムを用いた画像処理によって、個々の２次元画像において細胞核の位置を抽出する工程、▲３▼各アルゴリズムによる核認識結果を合わせる工程、▲４▼必要に応じて、誤認された核領域を人間の判断で除去する工程、▲５▼複数の焦点面、複数の時点（時系列）の画像における核情報を統合する工程、▲６▼４次元統合核領域の出現、消滅の時点・位置の情報から細胞系譜を構築する工程とを備えている。
【００１５】
線虫初期胚のノマルスキー型顕微鏡による４Ｄ画像の撮影について説明する。４Ｄ画像が意味することころは、従来技術の欄に記載したとおりであって、焦点を異ならしめて撮影した複数の２次元画像と、該複数の２次元画像を時系列に撮影してなる複数の２次元画像を言う。すなわち、焦点面、時点が異なる複数の２次元画像を統合した画像を４Ｄ画像と言う。本実施の形態で処理対象とする線虫の初期胚の画像は、焦点面を上下に変えて３０〜９０枚の１セットとし、１〜５分毎に撮影する。実験では、８９の焦点面、２０の時系列点について、合計１７８０枚の二次元画像を撮影した。細胞の長尺方向の半径は約６０μｍ、短尺方向の半径は約３０μｍである。撮影は９０秒毎に行った。処理対象の顕微鏡画像の例を図２に示す。横軸が時間軸（時点）、縦軸が焦点軸（焦点面）である。
【００１６】
個々の２次元画像における細胞核の位置の抽出について説明する。個々の２次元顕微鏡画像を、３種類の画像処理アルゴリズムを用いて処理する。これら３種類のアルゴリズムのどれか一つでも核であると認識した領域は、画像処理システム全体の結論として核である領域（核領域）と判断する。
【００１７】
［核認識（画像処理）アルゴリズムＡ］
このアルゴリズムは、顕微鏡画像の明暗の細かい変化が少ない領域を核として検出する。ノマルスキー型顕微鏡画像において、細胞質は、細胞内小器官のため明暗の細かい変化に富んだ領域となるが、細胞核は、明暗の細かい変化が少ない領域になるという性質を備えている。画像処理アルゴリズムＡはこの性質を利用するものである。この特徴を捉えるべく、Ｋｉｒｓｃｈのオペレータで原画像を変換すると、画像の明暗の少ない部位が輝度の小さい領域として表される画像が得られる。この画像に、平滑化処理として移動平均法を採用し、さらに２値化処理を適用し、輝度の変化の少ない領域（細胞核）を細胞質から分離する。
【００１８】
画像処理アルゴリズムＡについて詳述すると、Ｋｉｒｓｃｈのエッジ検出オペレータを使用し、画像の輝度の変化が激しい領域を抽出するに当り、以下の係数行列のなかで、出力が最大のものを利用する。
【数１】

【００１９】
平滑化においては、以下の式を用いる。
【数２】

２値化後、核と思われる形状の連結成分を抽出する。図３に例を示す。
【００２０】
［核認識（画像処理）アルゴリズムＢ］
このアルゴリズムも、顕微鏡画像の明暗の細かい変化が少ない領域を核として検出するものである。Ｐｒｅｗｉｔｔのテンプレート型オペレータで原画像を変換し、２値化すると、画像の明暗の変化の激しい領域（細胞質）は、白点がまばらに分布する領域として、画像の明暗の変化の少ない領域（細胞核）は白点のない黒い領域として表される画像が得られる。この画像から、距離変換処理で白点のない領域を抽出する。
【００２１】
具体的には、Ｐｒｅｗｉｔｔのテンプレート型エッジ検出オペレータを使用し、画像の輝度の変化が激しい領域を抽出するに当り、以下の係数行列の中で、出力が最大のものを利用する。
【数３】

【００２２】
２値化の後、以下のメディアンフィルタを用いる。
【数４】

さらに、以下の距離変換を行う。
【数５】

そして、２値化、連結成分処理を行う。図４に例を示す。
【００２３】
［核認識（画像処理）アルゴリズムＣ］
このアルゴリズムは、ノマルスキー型顕微鏡像において、観察対象は特定の位置から斜めに光を当てたような影がついて観察されることを利用する。円形である細胞核の核膜は、画像中で半周分が明るく、残りの半周分が暗く現れる。この見た目の光の角度に沿って広い範囲で明暗の変化の大きい部分を、核として抽出する。例えば、見た目の光の角度に沿って上下３０ピクセル分の輝度値の合計の差分を取り、この値をその点の変換後の値とする。変換後の画像を２値化することで、核の位置を白く浮かび上がらせる。
【００２４】
具体的には、核が光の方向に沿って、明るい部分と暗い部分で囲まれるように見える性質を捉えるため、以下の式で表されるフィルタをかける。ここに、f（x，y）は原画像の輝度値、g(x，y)は変換後の画像の輝度値、θは光の方向、ｍは輝度値を合計する範囲である。
【数６】

２値化後、連結成分処理を行う。図５に例を示す。図５に示すように、このフィルタは、細胞の境界や、胚の外にｆａｌｓｅｐｏｓｉｔｉｖｅを作りやすい。そこで、以下に述べるように、細胞境界の抽出、胚領域の抽出を行い、結果を補正する。
【００２５】
細胞境界検出のアルゴリズムについて説明する。核認識のアルゴリズム３の補正のため、明らかに細胞の境界になっている領域を探す。Ｐｒｅｗｉｔｔのテンプレート型エッジ検出オペレータの結果を２値化する。円形率、面積、周の長さを利用して、細長い領域を抽出する。結果を図６に示す。
【００２６】
胚領域検出のアルゴリズムについて説明する。核認識アルゴリズム３の補正のため、画像中の胚の領域を探す。Ｋｉｒｓｃｈのテンプレート型エッジ検出オペレータの結果を２値化する。最大の連結成分を抽出する。結果を図７に示す。
【００２７】
前記３種類のアルゴリズムで認識された核情報を合わせる。前述したように、３種類のアルゴリズムのどれか一つでも核であると認識した領域は、画像処理システム全体の結論として核である領域（核領域）と判断する。
【００２８】
次いで、自動核認識の結果から、誤認された核領域を人間の判断で除去する。前記の画像処理アルゴリズムは完全なものではなく、特に細胞の数が増加するに従い誤って核領域と認識された領域（ｆａｌｓｅｐｏｓｉｔｉｖｅ）が含まれるが。ｆａｌｓｅｐｏｓｉｔｉｖｅが多いデータからは正しく細胞系譜を構築するのが困難であるため、本システムでは、人間の手で、上記画像処理の結果から、ｆａｌｓｅｐｏｓｉｔｉｖｅ（核認識アルゴリズムによって、誤認識された領域、すなわち実際では細胞核ではないのに、アルゴリズムによって核の存在する場所として認識された領域）を除去するツールが含まれている。このようなＧＵＩツールについて図８乃至図１０に基づいて説明する。
【００２９】
先ず、図８に示すように、各核認識アルゴリズムの結果を統合し、「核領域」として認識された領域（白線で囲まれた領域）を元画像に重ねて表示する（核認識結果の表示）。次いで、図９、図１０に示すように、誤認識された「核領域」をマウスを用いて塗りつぶす（誤認核領域上をマウスのボタンを押しながらなぞる）ことにより、誤認核領域を消去する（誤認識領域の除去）。そして、誤認識領域の除去の結果の核領域情報をこれに続く細胞系譜作成作業に使用できるファイル形式で保存する。このツールを用いたｆａｌｓｅｐｏｓｉｔｉｖｅの除去作業は容易であり、実際に試したところ、略１時間で１７８０枚の画像から、ｆａｌｓｅｐｏｓｉｔｉｖｅを除去することができた。尚、言うまでもないが、このマニュアル処理は本発明の技術思想における必須構成要素ではなく、自動核認識の精度を向上させることで、この工程を省くことも可能である。
【００３０】
異なる２次元画像において認識された同一細胞核に由来する核領域の統合について説明する。２次元画像での認識の結果から、画像上においてどの核がいつどこで出現、消滅するか知るため、異なる２次元画像で認識された同一の核をまとめる。例を図１１に示す。横軸が時間軸（時点）、縦軸が焦点軸（焦点面）である。
【００３１】
［同焦点面の画像群に含まれる同一の細胞核由来の核領域の統合］
同じ焦点面で撮影された（すなわち、ｚ軸の座標の値が等しい）時系列の画像群に注目し、これらの画像それぞれの核領域で、同じ核に由来するもの（すなわち、同じ核の時間変化を追っていることになるもの）を統合する。核領域Ｎ，Ｎ´が座標（ｘ，ｙ），（ｘ´，ｙ´）で検出されたとき、Ｎ，Ｎ´の二次的な距離ｄｘｙを以下のように定義すると共に、同一の核由来と判断される条件を定める。
【数７】

この条件に従い、それぞれの核を最も早く検出された時点から順次統合して行く。すなわち、同一の焦点で、時系列の核の認識結果を一つの集合（セット）に統合する。以下の手順で行う。
１．出現時間の最も早い核を選ぶ。
２．次の時点で、最も距離が近く、かつその距離がある閾値（２５ピクセル）以下の核を同じ核に由来するもの（ｓｕｃｃｅｓｓｏｒ）として同じ核に統合する。
３．同じ核に由来するものがいなくなるまで２を繰り返す。
４．残っている核がなくなるまで、１−３を繰り返す。
【００３２】
［同時点の画像群に含まれる同一の細胞核由来の核領域の統合］
前述した方法と同様にして、同時点で焦点面（ｚ座標）の異なる画像群に含まれる同一の細胞核由来の核領域を統合する。同一の時点で異なる焦点面の核の認識結果を一つのセットに統合する。距離の閾値は１０ピクセルである。
【００３３】
［全４D画像中に現れる同一の細胞核由来の核領域の統合］
時系列、焦点方向にそれぞれに統合された核領域（統合核領域）の間で、共有する核領域をもつ統合核領域の組み合わせが存在する場合、それらは同一の核由来の統合核領域であるとみなし、それらをさらに統合する（４Ｄ画像において統合された核領域を４次元統合核領域という）。同焦点の画像群、同時点の画像群において統合された各セットのうち、同一の核を含むセット同士を一つのセットに統合する際に、５つ以下の画像でしか認識されなかったセットは、フラグメントとみなし、系譜には使用しない。図１２は核領域の統合を説明する図である。白円は所定の細胞核が検出されなかった画像であり、黒円は所定の細胞核が検出された画像である。縦方向実線は同一の核と認識された一セットである。横方向点線は同一の核と認識された一セットである。
【００３４】
４次元統合核領域には画像中の細胞核が出現、消滅する時点、位置の情報が含まれている。それを基に細胞系譜を構成する（図１３）。最初の時点に現れた核をルート（ｒｏｏｔ）とする。ある細胞（母細胞）に対し、その細胞分裂後の二つの細胞（娘細胞）を探索する際は、画像中における母細胞の核の消滅した時間・位置を対応する４次元統合核領域より求める。それ以外の全ての４次元統合核領域の出現時間、位置との４次元距離を求める。その距離が最も小さいもの二つが娘細胞に対応する４次元統合核領域であると判断し、細胞系譜に加える。但し、４次元距離が規定値より大きい場合には娘細胞であるとは見なさない。
【００３５】
より具体的には、以下のステップを取る。
１．出現時点が最も早い核（複数ありうる）を選び、系譜に入れる。これらは、系譜のｒｏｏｔとなる。
２．既に系譜に入っている核から、消滅時間が最も早いもの一つを選ぶ。これをＮｐとする。
３．Ｎｐから、４次元での距離が最も近く、かつその距離が閾値（１００）以下である核２つを選び、娘細胞として系譜に入れる。
４．系譜が拡大できなくなるまで、２−３のステップを繰り返す。
【００３６】
ここで、二つの核領域がｔ１，ｔ２，位置（ｘ１，ｙ１，ｚ１），（ｘ２，ｙ２，ｚ２）に現れるとすると、この二つの各領域の４次元距離ｄは以下の式で定義される。ｃｚ、ｃｔは、時間、焦点面方向の距離の重みであり、ｃｚ、ｃｔの具体的な値は、それぞれ２，１０である。
【数８】

【００３７】
第一の実施形態においては、核認識フィルタとして三つの画像処理アルゴリズムを採用したが、本発明に用いられる核認識フィルタはこれらに限定されるものではない。以下に核認識フィルタの他の実施形態について説明する。
【００３８】
［エントロピーフィルタ］
特徴を計測したい画像領域に対して、濃淡ヒストグラムH（ｌ）（濃淡レベル数がLであれば、ｌ＝０，１，２，・・・，Ｌ−１である）を求め、頻度の総数（画像領域の画素数N）で各濃淡レベルの頻度を割って、総画素数が１．０になるように正規化する。それをP（ｌ）とする。以下の式によって求められるEPYの値を基準にして核領域、細胞質領域の区別を行う。６ｘ６ｐｉｘｃｅｌ〜２０ｘ２０ｐｉｘｃｅｌ（あるいは画像上の核の直径に相当する大きさ）の画像領域ウィンドウに対してスキャンすることにより良好な結果を得る。フィルタの出力結果を２値化して使用する。
【数９】

【００３９】
［ＦＦＴフィルタ］
特徴を計測したい画像領域に対して、２次元ＦＦＴパワースペクトル（高速フーリエ変換パワースペクトル）を計算し低周波、高周波領域の特徴を用いて核領域を検出する。通常のフーリエ変換も使用することができる。フィルタの出力結果は２値化して使用する。
【００４０】
【発明の効果】
以上述べてきたように、本発明によれば、細胞系譜を計算機で構築することができ、従来煩雑かつ多大な労力を必要としていた細胞系譜を省力でかつ短時間で構築できるという有利な効果を奏するものである。
【図面の簡単な説明】
【図１】本発明に係る細胞系譜抽出方法のフロー図である。
【図２】処理対象の顕微鏡画像の例を示す図である。
【図３】核認識アルゴリズムＡの処理工程を示す図である。
【図４】核認識アルゴリズムＢの処理工程を示す図である。
【図５】核認識アルゴリズムＣの処理工程を示す図である。
【図６】細胞境界検出のアルゴリズムの処理工程を示す図である。
【図７】胚領域検出のアルゴリズムの処理工程を示す図である。
【図８】自動核認識の結果を人の手で修正するためのツールを示す図である。
【図９】自動核認識の結果を人の手で修正するためのツールを示す図である。
【図１０】自動核認識の結果を人の手で修正するためのツールを示す図である。
【図１１】複数画像の同一の核をまとめる工程を説明する図である。
【図１２】図１１と同様に、複数画像の同一の核をまとめる工程を説明する図である。
【図１３】核の情報から細胞系譜を構成する工程を説明する図である。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a cell lineage extraction method, and more particularly, to a method for creating a cell lineage from a four-dimensional microscope image to be observed. The present invention is also preferably a method for creating a cell lineage from a four-dimensional image of the development process of C. elegans photographed with a Nomarski-type transmission differential interference microscope (hereinafter referred to as “Nomarski microscope”). It is about.
[0002]
[Prior art]
Nematodes are experimental organisms discovered by Sidney Brenner in 1965 and are analyzed in detail in current molecular biology (E. coli, yeast, nematodes, flies, Xenopus laevis, serafish, mice, etc.) one of. Nematodes are positioned as the simplest of multicellular organisms among these experimental organisms. Nematodes require approximately three days for fertilized eggs to become adults.
[0003]
In multicellular organisms, one fertilized egg (single cell) basically repeats orderly and forms an adult consisting of a large number of cells. A tree lineage description of the order of division from a fertilized egg is called a cell lineage. Nematodes are the only multicellular organisms whose cell lineages from fertilized eggs to adults have been clarified. This cell lineage was determined in 1983 by Sulston et al.
[0004]
A normal nematode (wild type) has a constant cell lineage from its fertilized egg to adulthood in all individuals. When a mutation occurs in a particular gene, the function of that gene changes, and the cell division pattern, ie, the cell lineage, changes compared to that of the wild type. The function of the mutated gene is estimated from the changes in the cell lineage, and a large number of genes are rapidly identified by the progress of research based on the estimation, and mutant animals are starting to be mass-produced. . Considering the effective use of these resources, automation of cell lineage analysis, which is the starting point for gene and mutant analysis, is an indispensable technique.
[0005]
A so-called Nomarski microscope is used to create a conventional cell lineage. The Nomarski microscope irradiates an observation target with two types of light beams (same waveform, same phase, and slightly shifted optical path) created by a polarizing plate and a Nomarski prism set, and transmits the observation target. Due to the length of the optical path that passes through the observation object and the difference in refractive index, the phase of the two rays after transmission is shifted. When the two transmitted light beams are converged on the same optical path using a deflector plate and a Nomarski prism set, the phase shift between the two light beams causes an interference action. The Nomarski microscope observes the bright and dark images due to the interference action. According to this method, it is possible to capture the distribution and outer shape of the transparent contents to be observed with a bright and dark image. In terms of biology, it is possible to capture the contents (cell nuclei) of cells that look transparent with a normal optical microscope and the outer shape (cell membrane) as bright and dark images.
[0006]
Sulston et al., Who determined the nematode cell lineage, are said to have created a sketch by looking at the Nomarski microscope with the naked eye, which seems to have taken a considerable amount of time (probably more than one year) Is tremendous.
[0007]
Recently, it is common to create a 4D microscope image using a Nomarski microscope. A microscope image observed at a specific focal point is considered to be a two-dimensional (xy axis) cross-sectional image obtained by horizontally cutting an observation target at a specific position. That is, by moving the focal point up and down (moving in the z-axis direction), cross-sectional images obtained by cutting the observation target at various positions in the z-axis direction are obtained. When these images are integrated, the three-dimensional shape of the observation target can be captured (three-dimensional image). Furthermore, the time change of the observation target can be captured by photographing such a three-dimensional image with time. An image taken in this way is called a 4D (four-dimensional) microscope image.
[0008]
Although the work using 4D microscope images is considered to be easier than Sulston's time, it requires considerable labor and time because humans judge cell nuclei and cell membranes from the captured images. It takes more than a day to make up to 16 cells from a fertilized egg.
[0009]
[Problems to be solved by the invention]
The present invention was devised to facilitate the creation of such a conventional cell lineage, and aims to construct the cell lineage in a labor saving and short time by constructing the cell lineage with a computer. Is.
[0010]
[Means for Solving the Problems]
The technical means employed by the present invention in order to solve this problem is to take a plurality of two-dimensional images in time series by taking a plurality of two-dimensional images by changing the focal plane of cells to be observed. A step of obtaining a plurality of different two-dimensional images at the focal plane by time of photographing (a step of obtaining a four-dimensional microscope image), and a step of extracting a cell nucleus region by performing image processing on each of the two-dimensional images; , A step of integrating a cell nucleus region derived from the same cell nucleus from a cell nucleus region extracted in each of the two-dimensional images (a step of obtaining a four-dimensional integrated nucleus region), and an integrated cell nucleus region (four-dimensional integrated nucleus region) And a step of constructing a cell lineage from information on the time point and position where a cell nucleus region appears and disappears in the image.
[0011]
Preferably, the image is taken with a transmission differential interference microscope, more preferably taken with a Nomarski transmission differential interference microscope. However, the images are not limited to those taken with these.
[0012]
The step of extracting cell nuclei includes a method of detecting a region having a small change in light and darkness of an image as a nucleus, or a method of extracting a portion having a large change in light and dark as a nucleus in a wide range along the angle of light. Examples of the former include those using a Kirsch filter, a Prewitt filter, an entropy filter, and an FFT filter. The Kirsch filter is preferably a filter that combines a Kirsch template type edge detection operator and a moving average method. The Prewitt filter is preferably a filter that binarizes the output of the Prewitt template type edge detection operator and further applies a distance transformation. As an example of the latter, a filter that takes the difference of the sum of luminance values for predetermined upper and lower pixels along the apparent light angle is employed.
[0013]
The step of integrating the cell nucleus regions derived from the same cell nucleus from the cell nuclei extracted in each two-dimensional image is the same as the step of integrating the nucleus regions derived from the same cell nucleus included in the image group on the same focal plane. A step of integrating the cell nucleus regions derived from the same cell nucleus included in the image group, and a step of further integrating the cell nucleus regions obtained in the two steps. Further, in the four-dimensional integrated cell nucleus region, the step of constructing a cell lineage from information on the time and position where the cell nucleus region appears and disappears in an image is obtained by obtaining a four-dimensional distance between a plurality of cell nucleus regions. And a step of identifying the cell after cell division of the cell.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
One embodiment of the cell lineage extraction method or system according to the present invention will be described based on the generation of the cell lineage of an early nematode embryo. FIG. 1 is a block diagram of the system, (1) a step of photographing a 4D image of a nematode early embryo, (2) image processing using a plurality of algorithms, and cell nuclei in each two-dimensional image. (3) a step of extracting the position, (3) a step of matching the nuclear recognition results by the respective algorithms, (4) a step of removing a misidentified nuclear region by human judgment, if necessary, (5) a plurality of focal planes, a plurality of focal planes And (6) a step of constructing a cell lineage from information on the time and position of the appearance and disappearance of a four-dimensional integrated nuclear region.
[0015]
Taking a 4D image of a nematode early embryo using a Nomarski microscope will be described. The meaning of the 4D image is as described in the column of the prior art, and a plurality of two-dimensional images photographed with different focal points, and a plurality of two-dimensional images photographed in time series. Say a two-dimensional image. That is, an image obtained by integrating a plurality of two-dimensional images having different focal planes and time points is referred to as a 4D image. The image of the nematode early embryo to be processed in the present embodiment is taken every 1 to 5 minutes by changing the focal plane up and down to form one set of 30 to 90 sheets. In the experiment, a total of 1780 two-dimensional images were taken for 89 focal planes and 20 time series points. The long-side radius of the cell is about 60 μm, and the short-side radius is about 30 μm. Photographing was performed every 90 seconds. An example of a microscope image to be processed is shown in FIG. The horizontal axis is the time axis (time point), and the vertical axis is the focal axis (focal plane).
[0016]
The extraction of the position of the cell nucleus in each two-dimensional image will be described. Individual two-dimensional microscope images are processed using three types of image processing algorithms. An area recognized as a nucleus by any one of these three types of algorithms is determined as an area (nucleus area) as a nucleus as a conclusion of the entire image processing system.
[0017]
[Nuclear recognition (image processing) algorithm A]
This algorithm detects an area having a small change in light and darkness of a microscopic image as a nucleus. In the Nomarski microscope image, the cytoplasm is a region rich in fine changes in light and dark because of intracellular organelles, but the cell nucleus has the property that it becomes a region with little change in light and dark. The image processing algorithm A uses this property. When the original image is converted by a Kirsch operator to capture this feature, an image in which a portion with little light and darkness in the image is represented as a region with low luminance is obtained. A moving average method is adopted as a smoothing process for this image, and a binarization process is further applied to separate a region (cell nucleus) with little change in luminance from the cytoplasm.
[0018]
The image processing algorithm A will be described in detail. In extracting the region where the brightness of the image is drastically changed using the Kirsch edge detection operator, the one having the maximum output among the following coefficient matrices is used.
[Expression 1]

[0019]
In smoothing, the following formula is used.
[Expression 2]

After binarization, a connected component having a shape that seems to be a nucleus is extracted. An example is shown in FIG.
[0020]
[Nuclear recognition (image processing) algorithm B]
This algorithm also detects a region where there is little fine change in light and darkness of a microscopic image as a nucleus. When the original image is converted and binarized by the Prewitt template type operator, the region where the brightness and darkness of the image changes sharply (cytoplasm) is the region where the white spots are sparsely distributed (the cell nucleus) ) Provides an image represented as a black area without white spots. From this image, a region without a white point is extracted by distance conversion processing.
[0021]
Specifically, the Prewitt template type edge detection operator is used to extract a region where the luminance change of the image is severe, and the coefficient matrix having the maximum output is used among the following coefficient matrices.
[Equation 3]

[0022]
After binarization, the following median filter is used.
[Expression 4]

Further, the following distance conversion is performed.
[Equation 5]

Then, binarization and connected component processing are performed. An example is shown in FIG.
[0023]
[Nuclear recognition (image processing) algorithm C]
This algorithm makes use of the fact that, in a Nomarski microscope image, the observation object is observed with a shadow that is obliquely illuminated from a specific position. The nuclear nucleus of the cell nucleus, which is circular, appears bright in the image for half a circle and dark for the remaining half circle. A portion having a large change in brightness in a wide range along the apparent light angle is extracted as a nucleus. For example, the total difference of the luminance values for the upper and lower 30 pixels is taken along the apparent light angle, and this value is used as the value after conversion at that point. By binarizing the converted image, the position of the nucleus is highlighted in white.
[0024]
Specifically, in order to capture the property that the nucleus appears to be surrounded by bright and dark parts along the direction of light, a filter represented by the following expression is applied. Here, f (x, y) is the luminance value of the original image, g (x, y) is the luminance value of the image after conversion, θ is the direction of light, and m is a range in which the luminance values are summed.
[Formula 6]

After binarization, connected component processing is performed. An example is shown in FIG. As shown in FIG. 5, this filter can easily create false positives at cell boundaries and outside the embryo. Therefore, as described below, cell boundaries and embryo regions are extracted and the results are corrected.
[0025]
The cell boundary detection algorithm will be described. For the correction of the algorithm 3 of the nuclear recognition, a region that is clearly a cell boundary is searched. The result of the template type edge detection operator of Prewitt is binarized. A long and narrow area is extracted using the circularity, area, and circumference. The results are shown in FIG.
[0026]
An algorithm for detecting an embryo area will be described. For correction of the nuclear recognition algorithm 3, an embryo region in the image is searched. The result of the Kirsch template type edge detection operator is binarized. Extract the largest connected component. The results are shown in FIG.
[0027]
The nuclear information recognized by the three types of algorithms is combined. As described above, an area recognized as a nucleus by any one of the three types of algorithms is determined as an area (nucleus area) as a nucleus as a conclusion of the entire image processing system.
[0028]
Next, the misrecognized nuclear region is removed by human judgment from the result of automatic nuclear recognition. The above image processing algorithm is not perfect, and particularly includes a region that is falsely recognized as a nuclear region (false positive) as the number of cells increases. Since it is difficult to correctly construct a cell lineage from data with a lot of false positives, in this system, the result of the above-mentioned image processing by a human hand is false false (a region erroneously recognized by the nuclear recognition algorithm, That is, a tool that removes a region that is not actually a cell nucleus but recognized by an algorithm as a place where the nucleus exists is included. Such a GUI tool will be described with reference to FIGS.
[0029]
First, as shown in FIG. 8, the results of the respective nuclear recognition algorithms are integrated, and the region recognized as the “nuclear region” (the region surrounded by the white line) is displayed superimposed on the original image (display of the nuclear recognition result) ). Next, as shown in FIGS. 9 and 10, the misrecognized nuclear region is erased by painting the misrecognized “nuclear region” with the mouse (tracing the misidentified nuclear region while pressing the mouse button) ( Removal of false recognition areas). Then, the nuclear region information resulting from the removal of the misrecognized region is stored in a file format that can be used for subsequent cell lineage creation work. The false positive removal operation using this tool is easy, and when actually tested, it was possible to remove the false positive from 1780 images in approximately one hour. Needless to say, this manual processing is not an essential component in the technical concept of the present invention, and this process can be omitted by improving the accuracy of automatic nuclear recognition.
[0030]
The integration of nuclear regions derived from the same cell nucleus recognized in different two-dimensional images will be described. From the result of recognition in the two-dimensional image, in order to know which nuclei appear and disappear on the image, the same nuclei recognized in different two-dimensional images are collected. An example is shown in FIG. The horizontal axis is the time axis (time point), and the vertical axis is the focal axis (focal plane).
[0031]
[Integration of nuclear regions derived from the same cell nucleus contained in images of the same focal plane]
Focus on time-series images taken at the same focal plane (ie, the z-axis coordinate values are equal), and each of these images has a nuclear region derived from the same nucleus (ie, the time of the same nucleus). Integrate things that will follow change). When the nucleus regions N and N ′ are detected at the coordinates (x, y) and (x ′, y ′), the secondary distance dxy of N and N ′ is defined as follows, and the same nucleus Define the conditions for determining the origin.
[Expression 7]

In accordance with this condition, the respective nuclei are integrated sequentially from the earliest detected time point. That is, with the same focus, the recognition results of time series nuclei are integrated into one set. Follow the procedure below.
1. Choose the nucleus with the earliest appearance time.
2. At the next point in time, nuclei that are closest and below a certain threshold (25 pixels) are merged into the same nuclei as a successor.
3. Repeat 2 until there are no more nuclei from the same nucleus.
4). Repeat 1-3 until there are no remaining nuclei.
[0032]
[Integration of nuclear regions derived from the same cell nuclei included in the simultaneous image group]
In the same manner as described above, the nuclear regions derived from the same cell nucleus included in the image groups having different focal planes (z coordinates) at the same point are integrated. Integrate recognition results of different focal plane nuclei into one set at the same time. The distance threshold is 10 pixels.
[0033]
[Integration of nuclear regions derived from the same cell nucleus appearing in all 4D images]
If there is a combination of integrated nuclear regions with shared nuclear regions among the integrated nuclear regions (integrated nuclear regions) in time series and focal direction, they are integrated nuclear regions derived from the same nucleus These are further integrated (nuclear regions integrated in a 4D image are referred to as 4-dimensional integrated nuclear regions). Of the sets integrated in the confocal image group and the simultaneous image group, when the sets including the same nucleus are integrated into one set, a set that is recognized only by five or less images is It is considered a fragment and is not used for genealogy. FIG. 12 is a diagram for explaining integration of nuclear regions. A white circle is an image in which a predetermined cell nucleus is not detected, and a black circle is an image in which a predetermined cell nucleus is detected. The vertical solid line is a set recognized as the same nucleus. The horizontal dotted line is a set recognized as the same nucleus.
[0034]
The four-dimensional integrated nucleus region includes information on the point and time when cell nuclei appear and disappear in the image. Based on this, a cell lineage is constructed (FIG. 13). The nucleus that appears at the first time is defined as the root. When searching for two cells (daughter cells) after cell division for a cell (mother cell), the time and position of the disappearance of the nucleus of the mother cell in the image are obtained from the corresponding four-dimensional integrated nucleus region. . The four-dimensional distances from the appearance times and positions of all other four-dimensional integrated nucleus regions are obtained. It is determined that the two with the smallest distance are the four-dimensional integrated nuclear regions corresponding to the daughter cells, and are added to the cell lineage. However, if the four-dimensional distance is larger than the specified value, it is not regarded as a daughter cell.
[0035]
More specifically, the following steps are taken.
1. Select the nucleus (s) that have the earliest appearance and put them in the genealogy. These are the roots of the genealogy.
2. Choose one that has the fastest annihilation time from the nuclei already in the genealogy. This is Np.
3. From Np, the two nuclei whose distances in the four dimensions are the closest and whose distance is equal to or less than the threshold value (100) are selected and entered into the genealogy as daughter cells.
4). Repeat steps 2-3 until the genealogy cannot be expanded.
[0036]
Here, if two nucleus regions appear at t1, t2, positions (x1, y1, z1), (x2, y2, z2), the four-dimensional distance d between the two regions is defined by the following equation. The cz and ct are weights of time and distance in the focal plane direction, and specific values of cz and ct are 2 and 10, respectively.
[Equation 8]

[0037]
In the first embodiment, three image processing algorithms are adopted as the nuclear recognition filter, but the nuclear recognition filter used in the present invention is not limited to these. Another embodiment of the nuclear recognition filter will be described below.
[0038]
[Entropy filter]
A density histogram H (l) (if the density level is L, l = 0, 1, 2,..., L−1) is obtained for the image region whose features are to be measured, and the total number of frequencies is obtained. The frequency of each gray level is divided by (the number N of pixels in the image area) to normalize the total number of pixels to 1.0. Let it be P (l). The nuclear region and the cytoplasmic region are distinguished based on the EPY value obtained by the following equation. Good results are obtained by scanning against an image area window of 6 × 6 pixels to 20 × 20 pixels (or a size corresponding to the diameter of the nuclei on the image). The output result of the filter is binarized and used.
[Equation 9]

[0039]
[FFT filter]
A two-dimensional FFT power spectrum (fast Fourier transform power spectrum) is calculated for the image region whose features are to be measured, and a nuclear region is detected using the features of the low-frequency and high-frequency regions. A normal Fourier transform can also be used. The output result of the filter is binarized and used.
[0040]
【The invention's effect】
As described above, according to the present invention, the cell lineage can be constructed with a computer, and the advantageous effect that a cell lineage that has been conventionally complicated and requires a lot of labor can be constructed in a labor-saving manner in a short time. It is what you play.
[Brief description of the drawings]
FIG. 1 is a flowchart of a cell lineage extraction method according to the present invention.
FIG. 2 is a diagram illustrating an example of a microscope image to be processed.
FIG. 3 is a diagram showing processing steps of a nuclear recognition algorithm A.
FIG. 4 is a diagram showing processing steps of a nuclear recognition algorithm B.
FIG. 5 is a diagram showing processing steps of a nuclear recognition algorithm C.
FIG. 6 is a diagram showing processing steps of a cell boundary detection algorithm.
FIG. 7 is a diagram showing processing steps of an algorithm for detecting an embryo area.
FIG. 8 is a diagram showing a tool for correcting the result of automatic nuclear recognition by a human hand.
FIG. 9 is a diagram showing a tool for correcting the result of automatic nuclear recognition by a human hand.
FIG. 10 is a diagram showing a tool for correcting the result of automatic nuclear recognition by a human hand.
FIG. 11 is a diagram illustrating a process of grouping the same nucleus of a plurality of images.
FIG. 12 is a diagram for explaining a process of grouping the same cores of a plurality of images, similar to FIG.
FIG. 13 is a diagram illustrating a process of constructing a cell lineage from nuclear information.

Claims

(A) A plurality of two-dimensional images are taken by changing the focal plane of the cell to be observed, and a plurality of two-dimensional images are taken in time series to obtain a plurality of two-dimensional images that are different at the focal plane and time. Process,
(B) extracting a cell nucleus region by performing image processing on each of the focal planes and two-dimensional images that are different at the time ;
(C) Information on the time point and position at which the cell nucleus region appears and disappears by integrating the cell nucleus regions derived from the same cell nucleus from the cell nucleus regions extracted in the two-dimensional images different at the respective focal planes and time points. Obtaining a four-dimensional nuclear integration region containing
(D) in the four-dimensional nuclear integration region, constructing a cell lineage from information on the position and position when the cell nucleus region appears and disappears in the image ;
A cell lineage extraction method comprising:

2. The cell lineage extraction method according to claim 1, wherein the image is taken with a transmission differential interference microscope.

3. The cell lineage extraction according to claim 1, wherein the step of extracting the cell nucleus region includes performing image processing using a difference in brightness of the image between the cell nucleus and the other cell portion. Method.

4. The cell lineage extraction method according to claim 3, wherein the step of extracting the cell nucleus region includes a method of detecting, as a nucleus region, a region in which a small change in brightness and darkness of an image is smaller than that of the cytoplasm.

4. The cell lineage extraction method according to claim 3, wherein the step of extracting the cell nucleus region includes a method of extracting, as a nucleus, a portion having a large change in brightness in a wide range along the angle of light.

6. The step of extracting the position of the cell nucleus according to claim 1 comprises a plurality of different cell nucleus region recognition algorithms, and the region in which the cell nucleus is recognized based on at least one of the plurality of algorithms is an image processing system. A cell lineage extraction method characterized by treating as a cell nucleus region.

7. The method for detecting an area in which a small change in brightness of an image is small as a nucleus according to claim 4, wherein one or a plurality of filters selected from the group consisting of a Kirsch filter, a Prewitt filter, an entropy filter, and an FFT filter are used. A cell lineage extraction method characterized by comprising using

7. The method of extracting a portion having a large change in brightness in a wide range along the angle of light as a nucleus according to claim 5, wherein the sum of luminance values for predetermined upper and lower pixels along the apparent light angle is calculated. A cell lineage extraction method comprising a step of taking a difference.

9. The cell lineage extraction method according to claim 8, wherein the method includes a step of extracting a cell boundary and an embryo region, and correcting a result of the method of claim 8 based on a result of the step. .

10. The process for obtaining a four-dimensional integrated nucleus region by integrating cell nucleus regions derived from the same cell nucleus from the cell nuclei extracted in each of the two-dimensional images according to claim 1, The step of integrating the nuclear regions derived from the same cell nucleus contained in the image, the step of integrating the cell nucleus regions derived from the same cell nucleus contained in the image group at the same time, and further integrating the cell nucleus regions obtained in the above two steps A cell lineage extraction method comprising the step of:

In claim 10, in the step of integrating the nuclear regions obtained in the two steps, when there is a combination of combined nuclear regions having a shared nuclear region in each integrated integrated nuclear region, they are the same. A cell lineage extraction method comprising a step of considering a nuclear-derived integrated nuclear region and integrating them.

12. The process of constructing a cell lineage from information on the time point and position at which a cell nucleus region appears and disappears in an integrated cell nucleus region according to any one of claims 1 to 11, wherein a four-dimensional distance between the plurality of cell nucleus regions is obtained A cell lineage extraction method comprising a step of identifying a mother cell and a daughter cell after cell division of the cell.

13. The cell lineage extraction method according to claim 1, further comprising a step of removing the misidentified nuclear region by human judgment before the step of integrating the cell nuclear regions.