JP6927415B2

JP6927415B2 - Data processing methods and data processing programs in imaging mass spectrometry

Info

Publication number: JP6927415B2
Application number: JP2020508761A
Authority: JP
Inventors: 有里子中木村
Original assignee: Shimadzu Corp
Current assignee: Shimadzu Corp
Priority date: 2018-03-29
Filing date: 2018-03-29
Publication date: 2021-08-25
Anticipated expiration: 2038-03-29
Also published as: WO2019186965A1; JPWO2019186965A1

Description

本発明は、試料上の測定領域内の多数の測定点それぞれについてマススペクトルデータを取得することが可能であるイメージング質量分析装置で得られたデータを処理する方法、及び、コンピュータ上でその方法を実施するためのデータ処理プログラムに関する。 The present invention describes a method for processing data obtained by an imaging mass spectrometer capable of acquiring mass spectrum data for each of a large number of measurement points in a measurement region on a sample, and a method for processing the data on a computer. Regarding data processing programs to be implemented.

質量分析イメージング法は、生体組織切片などの試料上の２次元的な測定領域内の複数の測定点（微小領域）に対しそれぞれ質量分析を行うことにより、特定の質量を有する物質の空間分布を調べる手法であり、創薬やバイオマーカ探索、各種疾病・疾患の原因究明などへの応用が進められている。質量分析イメージングを実施するための質量分析装置は一般にイメージング質量分析装置と呼ばれている（非特許文献１、２等参照）。 In the mass spectrometry imaging method, the spatial distribution of a substance having a specific mass is obtained by performing mass spectrometry on a plurality of measurement points (microregions) in a two-dimensional measurement region on a sample such as a biological tissue section. It is a method for investigating, and is being applied to drug discovery, biomarker search, and investigation of the causes of various diseases. A mass spectrometer for performing mass spectrometric imaging is generally called an imaging mass spectrometer (see Non-Patent Documents 1, 2, etc.).

イメージング質量分析装置では一般に、試料上の多数の測定点それぞれについて所定の質量電荷比（m/z）範囲に亘るマススペクトルデータ（ｎが２以上であるＭＳⁿスペクトルデータを含む）が得られる。そして、観察したい化合物由来のイオンのm/z値をユーザが指定すると、その指定されたm/z値における各測定点のイオン強度値が抽出され、そのイオン強度値をグレイスケールやカラースケールに従って可視化して測定点の位置に対応付けた２次元画像（質量分析イメージング画像、以下「ＭＳイメージング画像」という）が作成され表示部の画面上に表示される。 ^{In an imaging mass spectrometer, mass spectrum data (including MS n} spectrum data in which n is 2 or more) over a predetermined mass-to-charge ratio (m / z) range is generally obtained for each of a large number of measurement points on a sample. Then, when the user specifies the m / z value of the ion derived from the compound to be observed, the ion intensity value of each measurement point at the specified m / z value is extracted, and the ion intensity value is set according to the gray scale or the color scale. A two-dimensional image (mass spectrometry imaging image, hereinafter referred to as “MS imaging image”) that is visualized and associated with the position of the measurement point is created and displayed on the screen of the display unit.

近年、こうしたイメージング質量分析装置を利用し、生体組織から切り出された試料における特定の化合物の２次元的な分布を観察することで、薬物動態解析、代謝パスウェイ解析、分子相関性の解析など行う研究が盛んに行われている。 In recent years, research has been conducted on pharmacokinetic analysis, metabolic pathway analysis, molecular correlation analysis, etc. by observing the two-dimensional distribution of a specific compound in a sample cut out from a biological tissue using such an imaging mass spectrometer. Is being actively carried out.

上記イメージング質量分析装置では一般に、試料中の成分（化合物）をイオン化するためにマトリクス支援レーザ脱離イオン化（ＭＡＬＤＩ）法が用いられている。その場合、分析に先立って、生体組織切片などの試料の表面にＭＡＬＤＩ用のマトリクスが塗布又は噴霧される。マトリクスとしては様々な化合物が知られているが、マトリクスの種類によってイオン化される成分は異なる。そのため、観察したい成分が複数種類あってそれらをイオン化するためのマトリクスの種類が相違する場合には、一つの生体組織から組織構造が同じであるとみなせる程度のごく薄い切片試料を複数切り出し、その複数の切片試料にそれぞれ異なる種類のマトリクスを塗布してイメージング質量分析を行うことがある。また、特定の成分の３次元的な分布を把握したいような場合には、一つの生体組織からごく薄い連続した切片試料を多数切り出し、その連続的な切片試料をそれぞれイメージング質量分析するという作業が行われる。 In the above-mentioned imaging mass spectrometer, a matrix-assisted laser desorption / ionization (MALDI) method is generally used to ionize a component (compound) in a sample. In that case, prior to the analysis, a matrix for MALDI is applied or sprayed on the surface of a sample such as a biological tissue section. Various compounds are known as a matrix, but the components to be ionized differ depending on the type of matrix. Therefore, when there are multiple types of components to be observed and the types of matrix for ionizing them are different, a plurality of very thin section samples that can be regarded as having the same tissue structure are cut out from one biological tissue, and the sample is cut out. Imaging mass spectrometry may be performed by applying different types of matrices to multiple section samples. In addition, when it is desired to grasp the three-dimensional distribution of a specific component, it is necessary to cut out a large number of very thin continuous section samples from one biological tissue and perform imaging mass spectrometry for each of the continuous section samples. Will be done.

また、上記の例は一つの生体組織、具体的には例えばマウスやヒトの肝臓等の器官から採取された複数の試料についてそれぞれイメージング質量分析が行われる場合の例であるが、例えば、正常な個体と異常な（例えば癌などに罹患した）個体とを比較するような場合には、異なる個体の同じ生体組織からそれぞれ切り出された試料をそれぞれイメージング質量分析することが行われる。 Further, the above example is an example in which imaging mass spectrometry is performed on one biological tissue, specifically, a plurality of samples collected from an organ such as a mouse or a human liver, and the above example is normal. When comparing an individual with an abnormal (for example, suffering from cancer) individual, imaging mass spectrometry is performed on each sample cut out from the same biological tissue of different individuals.

上述したように複数の試料についてそれぞれイメージング質量分析を実行することで得られたＭＳイメージング画像に基づいて、特定の成分の分布を比較したり異なる成分の分布の関係を調べたり、或いは、特定の成分の３次元的な分布を把握したりするためには、複数のＭＳイメージング画像を重ね合わせる処理が必要になる。 Based on the MS imaging image obtained by performing imaging mass spectrometry on each of a plurality of samples as described above, the distributions of specific components can be compared, the relationship between the distributions of different components can be investigated, or specific components can be compared. In order to grasp the three-dimensional distribution of the components, it is necessary to superimpose a plurality of MS imaging images.

複数の試料が異なる個体から得られたものであればもちろんのこと、複数の試料が一つの個体から得られた場合であっても、作成されたＭＳイメージング画像において、観察したい部位の位置、大きさ、形状などが合っていない或いは揃っていないことが多い。そのため、異なる試料に由来するＭＳイメージング画像を正確に重ね合わせる際には、同じ部位の位置、大きさ、形状などができるだけ揃うように画像を変形する必要がある。 Of course, if multiple samples are obtained from different individuals, even if multiple samples are obtained from one individual, the position and size of the part to be observed in the created MS imaging image. In many cases, the shapes do not match or are not aligned. Therefore, when accurately superimposing MS imaging images derived from different samples, it is necessary to deform the images so that the positions, sizes, shapes, and the like of the same parts are aligned as much as possible.

通常、こうした処理は、ユーザ（オペレータ等）が重ね合わせたい複数のＭＳイメージング画像を表示画面上で確認しながら、移動、回転、拡大・縮小、非線形変形などによる画像の位置合わせを手作業で行うことで実施されている。しかしながら、こうした作業はたいへんに手間が掛かり効率が低い。また、そもそも、ＭＳイメージング画像は或る質量を有する成分由来のイオンの強度分布、つまりは存在量の分布を示すものであり、必ずしも或る部位や組織構造の輪郭や境界を示しているとは限らないため、ＭＳイメージング画像同士で正確な位置合わせを行うのは困難であった。 Normally, in such a process, while checking a plurality of MS imaging images that the user (operator, etc.) wants to superimpose on the display screen, the image alignment by movement, rotation, enlargement / reduction, non-linear deformation, etc. is manually performed. It is carried out by. However, such work is very laborious and inefficient. In addition, the MS imaging image shows the intensity distribution of ions derived from a component having a certain mass, that is, the distribution of abundance, and does not necessarily show the outline or boundary of a certain part or tissue structure. Therefore, it is difficult to accurately align the MS imaging images with each other.

また、生体組織の観察や解析においては、試料に対し例えばＨＥ（ヘマトキシリン・エオジン）染色などの染色処理を行った染色画像を取得し、こうした染色画像と特定のＭＳイメージング画像との重ね合わせが行われる場合もあるが、その場合でもＭＳイメージング画像同士を重ね合わせる場合と同様の問題がある。 Further, in the observation and analysis of living tissue, a stained image obtained by performing a staining treatment such as HE (hematoxylin / eosin) staining on a sample is acquired, and such a stained image is superimposed on a specific MS imaging image. However, even in that case, there is the same problem as in the case of superimposing MS imaging images on top of each other.

「iMScope TRIO イメージング質量顕微鏡」、［online］、［平成３０年３月２８日検索］、株式会社島津製作所、インターネット＜URL: http://www.an.shimadzu.co.jp/bio/imscope/＞"IMScope TRIO Imaging Mass Microscope", [online], [Searched on March 28, 2018], Shimadzu Corporation, Internet <URL: http://www.an.shimadzu.co.jp/bio/imscope/ ＞緒方是嗣、ほか８名、「イメージング質量顕微鏡iMScopeによるメタボローム解析」イメージング質量顕微鏡」、島津評論編集部、島津評論、第７０巻、第３・４号、２０１４年３月３１日発行Yoshitsugu Ogata and 8 others, "Metabolome Analysis with Imaging Mass Microscope iMScope" Imaging Mass Microscope, Shimadzu Criticism Editorial Department, Shimadzu Criticism, Vol. 70, Nos. 3.4, March 31, 2014

本発明は上記課題に鑑みて成されたものであり、その目的とするところは、異なる試料からそれぞれ得られた複数のＭＳイメージング画像の重ね合わせや、染色画像等とＭＳイメージング画像との重ね合わせを行う際に、試料上の同じ部位や組織構造などができるだけ同じ位置や形状になるように精度の高い位置合わせを簡便に行うことができる、イメージング質量分析におけるデータ処理方法及びデータ処理プログラムを提供することにある。 The present invention has been made in view of the above problems, and an object of the present invention is to superimpose a plurality of MS imaging images obtained from different samples, or to superimpose a stained image or the like and an MS imaging image. Provided is a data processing method and a data processing program in imaging mass spectrometry that can easily perform highly accurate alignment so that the same part and tissue structure on the sample have the same position and shape as much as possible. To do.

上記課題を解決するために成された本発明に係る第１の態様のデータ処理方法は、試料上の測定領域内の複数の測定点においてそれぞれ得られた質量分析データを処理するイメージング質量分析におけるデータ処理方法であり、観察対象である部位が同じ又は互いに類似している複数の試料についてそれぞれ得られた質量分析データに基づいて作成される複数の質量分析イメージング画像を重ね合わせる処理を行うデータ処理方法であって、
a)重ね合わせ処理の対象である複数の質量分析イメージング画像をユーザに選択させる画像選択ステップと、
b)選択された複数の質量分析イメージング画像にそれぞれ対応する複数の試料についての光学顕微画像を取得する光学顕微画像取得ステップと、
c)取得された複数の光学顕微画像の間で、一方又は複数の画像を変形しつつ前記同じ又は互いに類似している部位が一致するように画像の位置合わせを行う画像位置合わせステップと、
d)画像の位置合わせの際の一方又は複数の画像についての画像変形情報を取得する画像変形情報取得ステップと、
e)前記画像変形情報取得ステップで取得された前記画像変形情報を前記重ね合わせ処理の対象である複数の質量分析イメージング画像に適用して少なくとも一つの画像の変形処理を行う画像変形ステップと、
f)前記画像変形ステップにおいて少なくとも一つが変形された前記複数の質量分析イメージング画像の重ね合わせ処理を行う画像重ね合わせ処理ステップと、
を有することを特徴としている。The data processing method of the first aspect according to the present invention, which has been made to solve the above problems, is in imaging mass spectrometry in which mass spectrometric data obtained at a plurality of measurement points in a measurement region on a sample are processed. This is a data processing method, in which data processing is performed by superimposing a plurality of mass spectrometric imaging images created based on mass spectrometric data obtained for a plurality of samples having the same or similar parts to be observed. It ’s a method,
a) An image selection step that allows the user to select multiple mass spectrometric imaging images to be superposed.
b) An optical microscope image acquisition step to acquire an optical microscope image for a plurality of samples corresponding to a plurality of selected mass spectrometric imaging images, respectively.
c) An image alignment step in which one or a plurality of images are deformed and the images are aligned so that the same or similar parts match among the acquired plurality of optical microscope images.
d) An image transformation information acquisition step for acquiring image transformation information for one or more images at the time of image alignment, and
e) An image deformation step in which the image deformation information acquired in the image deformation information acquisition step is applied to a plurality of mass spectrometric imaging images to be superposed to perform at least one image deformation processing.
f) An image superposition processing step for superimposing the plurality of mass spectrometric imaging images in which at least one is deformed in the image deformation step, and an image superposition processing step.
It is characterized by having.

また上記課題を解決するために成された本発明に係る第１の態様のデータ処理プログラムは、試料上の測定領域内の複数の測定点においてそれぞれ得られた質量分析データをコンピュータ上で処理するためのデータ処理プログラムであり、複数の試料についてそれぞれ得られた質量分析データに基づいて作成される複数の質量分析イメージング画像を重ね合わせる処理を行うデータ処理プログラムであって、コンピュータを、
a)重ね合わせ処理の対象である複数の質量分析イメージング画像をユーザに選択させる画像選択機能部と、
b)選択された複数の質量分析イメージング画像にそれぞれ対応する複数の試料についての光学顕微画像を取得する光学顕微画像取得機能部と、
c)取得された複数の光学顕微画像の間で、一方又は複数の画像を変形しつつ同じ又は互いに類似している部位が一致するように画像の位置合わせを行う画像位置合わせ機能部と、
d)画像の位置合わせの際の一方又は複数の画像についての画像変形情報を取得する画像変形情報取得機能部と、
e)取得された前記画像変形情報を前記重ね合わせ処理の対象である複数の質量分析イメージング画像に適用して少なくとも一つの画像の変形処理を行う画像変形機能部と、
f)前記画像変形機能部により少なくとも一つが変形された前記複数の質量分析イメージング画像の重ね合わせ処理を行う画像重ね合わせ処理機能部と、
して動作させることを特徴としている。
Further, the data processing program of the first aspect according to the present invention, which has been made to solve the above problems, processes the mass analysis data obtained at each of a plurality of measurement points in the measurement region on the sample on a computer. This is a data processing program for superimposing a plurality of mass analysis imaging images created based on mass analysis data obtained for each of a plurality of samples.
a) An image selection function unit that allows the user to select multiple mass spectrometric imaging images to be superposed.
b) An optical microscope image acquisition function unit that acquires optical microscope images of multiple samples corresponding to each of the selected multiple mass spectrometric imaging images.
c) between the acquired plurality of optical microscope images, the one or the image registration function unit having a plurality of portions where the image is similar modifications quality one same or mutually performs positioning of the image to match ,
d) An image transformation information acquisition function unit that acquires image transformation information for one or more images when aligning images, and
e) An image deformation function unit that applies the acquired image deformation information to a plurality of mass spectrometric imaging images to be superposed to perform deformation processing of at least one image.
f) An image superposition processing function unit that performs superposition processing of the plurality of mass spectrometric imaging images whose at least one is deformed by the image deformation function unit.
It is characterized by operating.

例えば非特許文献１に開示されているイメージング質量分析装置（イメージング質量顕微鏡）では、イメージング質量分析部と光学顕微鏡とが一体化されており、試料の形態観察と質量分析とが一台の装置で行える。こうした装置が使用された場合、一つの試料について該試料上の同じ部位の位置が揃っている光学顕微画像と質量分析イメージング画像とを取得することができる。また、イメージング質量分析部と光学顕微鏡とが一体化されていない場合であっても、通常、試料上でイメージング質量分析を行う対象の測定範囲を決めるためにイメージング質量分析装置とは別に用意された光学顕微鏡で試料上の光学顕微画像が撮影される。この場合、その測定範囲に対応する光学顕微画像と質量分析イメージング画像とにおいて試料上の同じ部位の位置は揃っている筈である。 For example, in the imaging mass spectrometer (imaging mass spectrometer) disclosed in Non-Patent Document 1, the imaging mass spectrometer and the optical microscope are integrated, and the sample morphology observation and mass analysis can be performed by one device. You can. When such a device is used, it is possible to obtain an optical microscope image and a mass spectrometric imaging image in which the positions of the same parts on the sample are aligned for one sample. Further, even when the imaging mass spectrometer and the optical microscope are not integrated, they are usually prepared separately from the imaging mass spectrometer in order to determine the measurement range of the object for which the imaging mass spectrometry is performed on the sample. An optical microscope image on the sample is taken with an optical microscope. In this case, the positions of the same parts on the sample should be aligned in the optical microscope image and the mass spectrometric imaging image corresponding to the measurement range.

質量分析イメージング画像上では試料上の特定の部位や組織構造の形態が全く識別できない場合であっても、光学顕微画像においてはそうした試料上の特定の部位や組織構造の形態が比較的明瞭に現れる。そこで、本発明に係る第１の態様のデータ処理プログラムにより実現されるデータ処理方法では、画像選択ステップにおいて、ユーザにより重ね合わせ処理の対象である複数の質量分析イメージング画像が選択されると、次の光学顕微画像取得ステップにおいて、選択された複数の質量分析イメージング画像にそれぞれ対応する複数の試料についての光学顕微画像が取得される。そして画像位置合わせステップでは、重ね合わせ処理の対象である複数の質量分析イメージング画像がそれぞれ得られた複数の試料についての光学顕微画像の間で、同じ又は互いに類似している部位（組織構造など）が一致するように画像の位置合わせを試み、画像変形情報取得ステップで、その位置合わせの際の一方又は複数の画像についての画像変形情報が取得される。 Even if the morphology of a specific site or tissue structure on the sample cannot be identified at all on the mass spectrometric imaging image, the morphology of the specific site or tissue structure on the sample appears relatively clearly on the optical microscope image. .. Therefore, in the data processing method realized by the data processing program of the first aspect according to the present invention, when a plurality of mass analysis imaging images to be superimposed are selected by the user in the image selection step, the following In the optical microscopic image acquisition step of the above, optical microscopic images of a plurality of samples corresponding to a plurality of selected mass analysis imaging images are acquired. Then, in the image alignment step, the same or similar parts (tissue structure, etc.) are used among the optical microimages of the plurality of samples for which the plurality of mass spectrometric imaging images to be superposed are obtained. Attempts to align the images so that they match, and in the image transformation information acquisition step, image transformation information for one or more images at the time of the alignment is acquired.

一般的には複数の光学顕微画像の間での位置合わせを行う際には、いずれか一つの画像を基準とし、その基準となる画像に位置が合うようにそれ以外の画像を変形させればよい。こうした画像の位置合わせには例えば医療分野で利用されている画像レジストレーション技術を利用することができる。なお、ここでいう「変形」は、画像の移動、回転、拡大・縮小などの線形変形と非線形変形との両方を含む。 Generally, when aligning between a plurality of optical microscope images, one of the images should be used as a reference, and the other images should be deformed so as to be aligned with the reference image. good. For such image alignment, for example, an image registration technique used in the medical field can be used. The "deformation" here includes both linear deformation such as image movement, rotation, enlargement / reduction, and non-linear deformation.

上述したように、一つの試料についての光学顕微画像と質量分析イメージング画像とで試料上の同じ部位の位置が合っていれば、光学顕微画像に対して得られた上記変形情報は、複数の質量分析イメージング画像同士の位置合わせにそのまま利用することができる。そこで、変形情報画像変形ステップでは、上記変形情報を重ね合わせ対象である複数の質量分析イメージング画像に適用して該画像の少なくとも一つを変形させる。これにより、元の質量分析イメージング画像のパターンに関係なく、重ね合わせ対象の複数の質量分析イメージング画像の位置がほぼ合った状態となる。そして、画像重ね合わせ処理ステップでは、そうして位置が合った状態の複数の質量分析イメージング画像を重ね合わせることで、例えば所定の成分の分布を比較可能な重ね合わせ画像を作成する。 As described above, if the optical microimage of one sample and the mass spectrometric imaging image match the positions of the same parts on the sample, the deformation information obtained for the optical microimage will have a plurality of masses. It can be used as it is for alignment of analytical imaging images. Therefore, in the deformation information image deformation step, at least one of the images is deformed by applying the deformation information to a plurality of mass spectrometric imaging images to be superimposed. As a result, the positions of the plurality of mass spectrometric imaging images to be superposed are substantially aligned regardless of the pattern of the original mass spectrometric imaging image. Then, in the image superposition processing step, by superimposing a plurality of mass spectrometric imaging images in such a state of being aligned, for example, a superposition image capable of comparing the distribution of a predetermined component is created.

また上記課題を解決するために成された本発明に係る第２の態様のデータ処理方法は、試料上の測定領域内の複数の測定点においてそれぞれ得られた質量分析データを処理するイメージング質量分析におけるデータ処理方法であり、観察対象である部位が同じ又は互いに類似している複数の試料のうちの一つについて得られた質量分析データに基づいて作成される質量分析イメージング画像と、他の一つについて質量分析以外の測定又は観察手法で得られた参照画像とを重ね合わせる処理を行うデータ処理方法であって、
a)重ね合わせ処理の対象である一つの質量分析イメージング画像をユーザに選択させる画像選択ステップと、
b)選択された質量分析イメージング画像に対応する光学顕微画像を取得する光学顕微画像取得ステップと、
c)取得された光学顕微画像と同じ試料についての前記参照画像との間で、一方又は複数の画像を変形しつつ前記同じ又は互いに類似している部位が一致するように画像の位置合わせを行う画像位置合わせステップと、
d)画像の位置合わせの際の一方又は複数の画像についての画像変形情報を取得する画像変形情報取得ステップと、
e)取得された前記画像変形情報を前記重ね合わせ処理の対象である質量分析イメージング画像に適用して画像の変形処理を行う画像変形ステップと、
f)前記画像変形ステップにおいて変形された前記質量分析イメージング画像と前記参照画像との重ね合わせ処理を行う画像重ね合わせ処理ステップと、
を有することを特徴としている。Further, the data processing method of the second aspect according to the present invention, which has been made to solve the above problems, is an imaging mass analysis that processes mass analysis data obtained at a plurality of measurement points in a measurement region on a sample. A mass analysis imaging image created based on mass analysis data obtained for one of a plurality of samples having the same or similar parts to be observed, and the other one. This is a data processing method that superimposes a reference image obtained by a measurement or observation method other than mass analysis.
a) An image selection step that allows the user to select one mass spectrometric imaging image to be superposed.
b) An optical microscope image acquisition step to acquire an optical microscope image corresponding to the selected mass spectrometric imaging image, and
c) Align the acquired optical microscope image with the reference image for the same sample so that the same or similar parts coincide with each other while deforming one or more images. Image alignment step and
d) An image transformation information acquisition step for acquiring image transformation information for one or more images at the time of image alignment, and
e) An image deformation step in which the acquired image deformation information is applied to the mass spectrometric imaging image that is the target of the overlay processing to perform image deformation processing, and
f) An image superimposition processing step for superimposing the mass spectrometric imaging image deformed in the image deformation step and the reference image, and an image superimposition processing step.
It is characterized by having.

また上記課題を解決するために成された本発明に係る第２の態様のデータ処理プログラムは、試料上の測定領域内の複数の測定点においてそれぞれ得られた質量分析データをコンピュータ上で処理するためのデータ処理プログラムであり、複数の試料のうちの一つについて得られた質量分析データに基づいて作成される質量分析イメージング画像と、他の一つについて質量分析以外の測定又は観察手法で得られた参照画像とを重ね合わせる処理を行うデータ処理プログラムであって、コンピュータを、
a)重ね合わせ処理の対象である一つの質量分析イメージング画像をユーザに選択させる画像選択機能部と、
b)選択された質量分析イメージング画像に対応する光学顕微画像を取得する光学顕微画像取得機能部と、
c)取得された光学顕微画像と同じ試料についての前記参照画像との間で、一方又は複数の画像を変形しつつ同じ又は互いに類似している部位が一致するように画像の位置合わせを行う画像位置合わせ機能部と、
d)画像の位置合わせの際の一方又は複数の画像についての画像変形情報を取得する画像変形情報取得機能部と、
e)前記画像変形情報取得機能部により取得された前記画像変形情報を前記重ね合わせ処理の対象である質量分析イメージング画像に適用して画像の変形処理を行う画像変形機能部と、
f)前記画像変形機能部により変形された前記質量分析イメージング画像と前記参照画像との重ね合わせ処理を行う画像重ね合わせ処理機能部と、
して動作させることを特徴としている。 Further, the data processing program of the second aspect according to the present invention, which has been made to solve the above problems, processes the mass analysis data obtained at each of a plurality of measurement points in the measurement region on the sample on a computer. This is a data processing program for A data processing program that superimposes a referenced image on a computer.
a) An image selection function unit that allows the user to select one mass spectrometric imaging image to be superposed.
b) An optical microscope image acquisition function unit that acquires an optical microscope image corresponding to the selected mass spectrometric imaging image, and
between the reference image of the same sample and c) acquired optical microscope images, the positioning of the image as sites similar one or a plurality of image deformation quality one same or mutually match Image alignment function to be performed and
d) An image transformation information acquisition function unit that acquires image transformation information for one or more images when aligning images, and
e) An image deformation function unit that applies the image deformation information acquired by the image deformation information acquisition function unit to the mass spectrometric imaging image that is the target of the overlay processing to perform image deformation processing.
f) An image superposition processing function unit that performs superposition processing of the mass spectrometric imaging image deformed by the image deformation function unit and the reference image, and an image superposition processing function unit.
It is characterized by operating.

上記第２の態様のデータ処理方法及びデータ処理プログラムにおいて、参照画像は試料上の組織構造などの部位の輪郭や模様といった形態が或る程度明瞭に観察できる画像であれば、様々な手法で得られたものを利用することができる。典型的には、染色画像であるが、場合によっては、ラマン分光測定や様々な波長（テラヘルツ域、遠近赤外域、可視域、紫外域、Ｘ線域など）の電磁波の放出強度の測定や吸収測定などにより得られるイメージング画像、さらには、ＰＥＴ（Positron Emission Tomography）測定、ＭＲＩ（Magnetic Resonance Imaging）測定、ＥＳＲ（Electron Spin Resonance）測定、ＣＴ（Computed Tomography）測定などの各種の測定や観察により得られる画像を参照画像として用いることができる。 In the data processing method and data processing program of the second aspect, the reference image can be obtained by various methods as long as the morphology such as the outline and pattern of the part such as the tissue structure on the sample can be observed clearly to some extent. You can use the ones that have been created. Typically, it is a stained image, but in some cases, Raman spectroscopy and measurement and absorption of electromagnetic wave emission intensity of various wavelengths (terahertz region, near-infrared region, visible region, ultraviolet region, X-ray region, etc.) Imaging images obtained by measurement, etc., and also obtained by various measurements and observations such as PET (Positron Emission Tomography) measurement, MRI (Magnetic Resonance Imaging) measurement, ESR (Electron Spin Resonance) measurement, CT (Computed Tomography) measurement, etc. The image to be used can be used as a reference image.

こうした参照画像は光学顕微画像と同様に画像変形情報を求めるために利用することができるから、一つの試料の光学顕微画像と他の試料の参照画像とから画像変形情報を求め、この画像変形情報を用いて光学顕微画像に対応する質量分析イメージング画像を変形すれば、該質量分析イメージング画像と参照画像とを位置合わせすることができる。 Since such a reference image can be used to obtain image deformation information in the same manner as the optical microscopic image, the image deformation information is obtained from the optical microscopic image of one sample and the reference image of another sample, and this image deformation information is obtained. By transforming the mass analysis imaging image corresponding to the optical microscopic image using the above, the mass analysis imaging image and the reference image can be aligned.

また、ラマン顕微イメージング装置や赤外顕微イメージング装置では、イメージング質量分析装置と同様に、試料に対するラマン顕微イメージング画像或いは赤外顕微イメージング画像のほかに一般的な光学顕微画像も併せて得ることができる。そこで、ラマン顕微イメージング測定時或いは赤外顕微イメージング測定時に得られた光学顕微画像と質量分析イメージング時に得られた光学顕微画像とを利用して画像の位置合わせを行い、その際に得られた画像変形情報を、質量分析イメージング画像とラマン顕微イメージング画像或いは赤外顕微イメージング画像との位置合わせに用いるようにすることができる。 Further, in the Raman microscopic imaging apparatus and the infrared microscopic imaging apparatus, in addition to the Raman microscopic imaging image or the infrared microscopic imaging image for the sample, a general optical microscopic image can also be obtained in the same manner as the imaging mass spectrometer. .. Therefore, the image is aligned by using the optical microimage obtained at the time of Raman microimaging measurement or the infrared microimaging measurement and the optical microimage obtained at the time of mass spectrometric imaging, and the image obtained at that time is performed. The deformation information can be used to align the mass spectrometric imaging image with the Raman microscopic imaging image or the infrared microscopic imaging image.

即ち、本発明に係る第３の態様のデータ処理方法は、試料上の測定領域内の複数の測定点においてそれぞれ得られた質量分析データを処理するイメージング質量分析におけるデータ処理方法であり、観察対象である部位が同じ又は互いに類似している複数の試料のうちの一つについて得られた質量分析データに基づいて作成される質量分析イメージング画像と、他の一つについてイメージング質量分析以外のイメージング測定手法で得られた第２のイメージング画像とを重ね合わせる処理を行う、又は、一つの試料の同じ観察対象部位について得られた質量分析データに基づいて作成される質量分析イメージング画像とイメージング質量分析以外のイメージング測定手法で得られた第２のイメージング画像とを重ね合わせる処理を行うデータ処理方法であって、
a)重ね合わせ処理の対象である一つの質量分析イメージング画像と第２のイメージング画像とをユーザに選択させる画像選択ステップと、
b)選択された質量分析イメージング画像と第２のイメージング画像とにそれぞれ対応する光学顕微画像を取得する光学顕微画像取得ステップと、
c)取得された二つの光学顕微画像の間で、試料上の同じ又は類似している部位が一致するように画像の位置合わせを行う画像位置合わせステップと、
d)位置合わせの際の一方又は複数の画像についての画像変形情報を取得する画像変形情報取得ステップと、
e)前記画像変形情報を前記重ね合わせ処理の対象である質量分析イメージング画像及び第２のイメージング画像に適用して少なくとも一つの画像の変形処理を行う画像変形ステップと、
f)前記画像変形ステップにおいて少なくとも一つが変形された質量分析イメージング画像と第２のイメージング画像との重ね合わせ処理を行う画像重ね合わせ処理ステップと、
を有することを特徴としている。That is, the data processing method of the third aspect according to the present invention is a data processing method in imaging mass spectrometry that processes mass spectrometric data obtained at each of a plurality of measurement points in a measurement region on a sample, and is an observation target. Mass spectrometric imaging images created based on mass spectrometric data obtained for one of a plurality of samples having the same or similar sites, and imaging measurements other than mass spectrometric measurement for the other one. Other than mass spectrometric imaging image and imaging mass spectrometric analysis created based on mass spectrometric data obtained for the same observation target site of one sample or by superimposing the second imaging image obtained by the method. It is a data processing method that performs a process of superimposing a second imaging image obtained by the imaging measurement method of.
a) An image selection step that allows the user to select one mass spectrometric imaging image and a second imaging image to be superposed.
b) An optical microscope image acquisition step to acquire an optical microscope image corresponding to the selected mass spectrometric imaging image and the second imaging image, respectively.
c) An image alignment step that aligns the images so that the same or similar parts on the sample match between the two acquired optical microscope images.
d) Image transformation information acquisition step to acquire image transformation information for one or more images at the time of alignment, and
e) An image deformation step in which the image deformation information is applied to the mass spectrometric imaging image and the second imaging image to be superposed to perform the deformation processing of at least one image.
f) An image superposition processing step for superimposing the mass spectrometric imaging image in which at least one is deformed in the image deformation step and the second imaging image, and the image superposition processing step.
It is characterized by having.

また、本発明に係る第３の態様のデータ処理プログラムは、試料上の測定領域内の複数の測定点においてそれぞれ得られた質量分析データをコンピュータ上で処理するためのデータ処理プログラムであり、観察対象である部位が同じ又は互いに類似している複数の試料のうちの一つについて得られた質量分析データに基づいて作成される質量分析イメージング画像と、他の一つについてイメージング質量分析以外のイメージング測定手法で得られた第２のイメージング画像とを重ね合わせる処理を行う、又は、一つの試料の同じ観察対象部位について得られた質量分析データに基づいて作成される質量分析イメージング画像とイメージング質量分析以外のイメージング測定手法で得られた第２のイメージング画像とを重ね合わせる処理を行うデータ処理プログラムであって、コンピュータを、
a)重ね合わせ処理の対象である一つの質量分析イメージング画像と第２のイメージング画像とをユーザに選択させる画像選択機能部と、
b)選択された質量分析イメージング画像と第２のイメージング画像とにそれぞれ対応する光学顕微画像を取得する光学顕微画像取得機能部と、
c)取得された二つの光学顕微画像の間で、試料上の同じ又は類似している部位が一致するように画像の位置合わせを行う画像位置合わせ機能部と、
d)位置合わせの際の一方又は複数の画像についての画像変形情報を取得する画像変形情報取得機能部と、
e)前記画像変形情報を前記重ね合わせ処理の対象である質量分析イメージング画像及び第２のイメージング画像に適用して少なくとも一つの画像の変形処理を行う画像変形機能部と、
f)前記画像変形機能部により変形された質量分析イメージング画像と第２のイメージング画像との重ね合わせ処理を行う画像重ね合わせ処理機能部と、
して動作させることを特徴としている。Further, the data processing program of the third aspect according to the present invention is a data processing program for processing the mass analysis data obtained at each of a plurality of measurement points in the measurement region on the sample on a computer, and is observed. Mass analysis imaging images created based on mass analysis data obtained for one of multiple samples with the same or similar target sites, and imaging for the other other than mass analysis Mass analysis imaging image and imaging mass analysis created based on mass analysis data obtained for the same observation target site of one sample or by superimposing the second imaging image obtained by the measurement method. A data processing program that superimposes a second imaging image obtained by an imaging measurement method other than the above, and is a data processing program that uses a computer.
a) An image selection function unit that allows the user to select one mass spectrometric imaging image and a second imaging image to be superposed.
b) An optical microscope image acquisition function unit that acquires an optical microscope image corresponding to the selected mass spectrometric imaging image and the second imaging image, respectively.
c) An image alignment function unit that aligns the images so that the same or similar parts on the sample match between the two acquired optical microscope images.
d) An image transformation information acquisition function unit that acquires image transformation information for one or more images during alignment,
e) An image transformation function unit that applies the image transformation information to the mass spectrometric imaging image and the second imaging image that are the targets of the overlay processing to perform transformation processing of at least one image.
f) An image superposition processing function unit that performs superposition processing of the mass spectrometric imaging image deformed by the image deformation function unit and the second imaging image, and the image superposition processing function unit.
It is characterized by operating.

ここで、第２のイメージング画像とは例えばラマン顕微イメージング画像、赤外顕微イメージング画像などの質量分析以外の手法で得られたイメージング画像である。
この第３の態様によれば、質量分析イメージング画像とラマン顕微イメージング画像や赤外顕微イメージング画像などとを正確に重ね合わせた画像を作成することができるので、試料に関するより正確で多様な情報をユーザに提供することができる。Here, the second imaging image is an imaging image obtained by a method other than mass spectrometry, such as a Raman microscopic imaging image or an infrared microscopic imaging image.
According to this third aspect, it is possible to create an image in which the mass spectrometric imaging image and the Raman microscopic imaging image, the infrared microscopic imaging image, or the like are accurately superimposed, so that more accurate and diverse information about the sample can be obtained. It can be provided to the user.

なお、本発明に係る第１乃至第３の態様のデータ処理方法において、重ね合わせ対象の複数の質量分析イメージング画像が得られる複数の試料は、互いに別の個体から採取されたものでも構わないが、観察対象の部位が同じである又は互いに類似しているものでないと実質的に重ね合わせ処理を行う意味がない。
こうした点において本発明に係る第１乃至第３の態様のデータ処理方法において、複数の試料は、一つの個体の一つの生体組織から連続的に切り出された切片試料であるものとするとよい。In the data processing method according to the first to third aspects of the present invention, the plurality of samples from which a plurality of mass spectrometric imaging images to be superimposed can be obtained may be collected from different individuals. , There is practically no point in performing the superposition process unless the parts to be observed are the same or similar to each other.
In this respect, in the data processing method of the first to third aspects according to the present invention, it is preferable that the plurality of samples are section samples continuously cut out from one living tissue of one individual.

本発明に係るイメージング質量分析におけるデータ処理方法及びデータ処理プログラムによれば、異なる試料からそれぞれ得られた複数の質量分析イメージング画像の重ね合わせや、染色画像等と質量分析イメージング画像との重ね合わせ、或いは、質量分析イメージング画像とラマン顕微イメージング画像や赤外顕微イメージング画像などとの重ね合わせを行う際に、異なる試料上又は一つの試料上の同じ部位や組織構造などができるだけ同じ位置や形状になるように精度の高い位置合わせを簡便に、つまりはユーザによる煩雑な手作業を省きながら行うことができる。それによって、効率良く画像の重ね合わせが行え、そうした作業のためのユーザの負担も軽減される。 According to the data processing method and the data processing program in the imaging mass spectrometry according to the present invention, a plurality of mass spectrometric imaging images obtained from different samples may be superposed, or a stained image or the like and a mass spectrometric imaging image may be superposed. Alternatively, when superimposing a mass spectrometric imaging image on a Raman microscopic imaging image, an infrared microscopic imaging image, or the like, the same site or tissue structure on different samples or one sample becomes the same position and shape as much as possible. As described above, highly accurate positioning can be performed easily, that is, without complicated manual work by the user. As a result, images can be superposed efficiently, and the burden on the user for such work is reduced.

本発明に係るイメージング質量分析におけるデータ処理方法を実施するためのイメージング質量分析装置の一実施例の概略構成図。FIG. 6 is a schematic configuration diagram of an embodiment of an imaging mass spectrometer for carrying out a data processing method in the imaging mass spectrometry according to the present invention. 本実施例のイメージング質量分析装置における特徴的な重ね合わせ画像作成のためのフローチャート。The flowchart for creating the characteristic superposition image in the imaging mass spectrometer of this Example. 図２に示した重ね合わせ画像作成処理を説明するための概念図。The conceptual diagram for demonstrating the superposition image creation process shown in FIG. 本実施例のイメージング質量分析装置における試料上の測定領域の概念図。The conceptual diagram of the measurement area on the sample in the imaging mass spectrometer of this Example. 生体組織から連続的に切り出される切片試料の概念図。A conceptual diagram of a section sample continuously cut out from a living tissue. 本実施例のイメージング質量分析装置を用いて染色画像とＭＳイメージング画像とを重ね合わせる場合の処理を説明するための概念図。The conceptual diagram for demonstrating the process at the time of superimposing the stained image and the MS imaging image using the imaging mass spectrometer of this Example. 特定の化合物の３次元分布画像を作成する際の概念図。A conceptual diagram when creating a three-dimensional distribution image of a specific compound. 本実施例のイメージング質量分析装置を用いてラマン顕微イメージング画像とＭＳイメージング画像とを重ね合わせる場合の処理を説明するための概念図。The conceptual diagram for demonstrating the process at the time of superimposing the Raman microscopic imaging image and the MS imaging image using the imaging mass spectrometer of this Example.

以下、本発明に係るイメージング質量分析におけるデータ処理方法の一実施例について、添付図面を参照して説明する。 Hereinafter, an example of a data processing method in imaging mass spectrometry according to the present invention will be described with reference to the accompanying drawings.

図１は本発明に係るデータ処理方法を実施するためのイメージング質量分析装置の一実施例の概略構成図である。
本実施例のイメージング質量分析装置は、イメージング質量分析部１と、光学顕微観察部２と、データ処理部３と、操作部４と、表示部５と、を備える。操作部４及び表示部５はユーザインターフェイスである。FIG. 1 is a schematic configuration diagram of an embodiment of an imaging mass spectrometer for carrying out the data processing method according to the present invention.
The imaging mass spectrometer of this embodiment includes an imaging mass spectrometer 1, an optical microscope observation unit 2, a data processing unit 3, an operation unit 4, and a display unit 5. The operation unit 4 and the display unit 5 are user interfaces.

図示しないものの、イメージング質量分析部１は例えばマトリクス支援レーザ脱離イオン化イオントラップ飛行時間型質量分析装置（ＭＡＬＤＩ−ＩＴ−ＴＯＦＭＳ）を含み、生体組織切片などの試料６上の２次元的な測定領域内の多数の測定点（微小領域）それぞれのマススペクトルデータを取得可能なものである。このマススペクトルデータは、ｎが２以上のＭＳⁿスペクトルデータも含む。一方、光学顕微観察部２は試料６上の少なくとも測定領域を含む範囲の光学顕微画像を取得するものである。Although not shown, the imaging mass spectrometer 1 includes, for example, a matrix-assisted laser desorption / ionization ion trap time-of-flight mass spectrometer (MALDI-IT-TOFMS), and has a two-dimensional measurement area on a sample 6 such as a biological tissue section. It is possible to acquire mass spectrometric data for each of a large number of measurement points (microregions). ^{This mass spectrum data also includes MS n} spectrum data in which n is 2 or more. On the other hand, the optical microscope observation unit 2 acquires an optical microscope image in a range including at least a measurement region on the sample 6.

データ処理部３は、イメージング質量分析部１で収集された各測定点におけるマススペクトルデータ及び光学顕微観察部２による撮像によって得られた光学顕微画像データを受けて所定の処理を行うものであり、光学画像データ格納部３０、ＭＳイメージングデータ格納部３１、光学画像作成部３２、ＭＳイメージング画像作成部３３、画像位置合わせ処理部３４、画像変形情報記憶部３５、ＭＳイメージング画像調整部３６、画像重ね合わせ処理部３７、画像表示処理部３８など、の機能ブロックを備える。 The data processing unit 3 receives the mass spectrum data at each measurement point collected by the imaging mass analysis unit 1 and the optical microscopic image data obtained by imaging by the optical microscopic observation unit 2 and performs predetermined processing. Optical image data storage unit 30, MS imaging data storage unit 31, optical image creation unit 32, MS imaging image creation unit 33, image alignment processing unit 34, image deformation information storage unit 35, MS imaging image adjustment unit 36, image superimposition It includes functional blocks such as a matching processing unit 37 and an image display processing unit 38.

一般に、データ処理部３の実体はパーソナルコンピュータ（又はより高性能なワークステーション）であり、該コンピュータにインストールされた専用のソフトウェア（つまりはコンピュータプログラム）を該コンピュータ上で動作させることにより、上記各ブロックの機能が達成される。 Generally, the substance of the data processing unit 3 is a personal computer (or a higher-performance workstation), and by operating dedicated software (that is, a computer program) installed on the computer on the computer, each of the above is performed. The function of the block is achieved.

なお、この例では、非特許文献１に開示されている装置のように、イメージング質量分析部１と光学顕微観察部２とが一体化されている、つまりは装置の所定位置にセットされた試料６が自動的に又は手動操作に応じてイメージング質量分析部１による測定位置と光学顕微観察部２による撮像位置との間で移動するような装置であるものとするが、後述するように、必ずしもイメージング質量分析部１と光学顕微観察部２とが一体化されている構成でなくてもよい。 In this example, as in the apparatus disclosed in Non-Patent Document 1, the imaging mass spectrometric unit 1 and the optical microscopic observation unit 2 are integrated, that is, a sample set at a predetermined position of the apparatus. It is assumed that 6 is a device that moves between the measurement position by the imaging mass spectrometric unit 1 and the imaging position by the optical microscopic observation unit 2 automatically or in response to a manual operation, but as will be described later, it is not always the case. The imaging mass spectrometric unit 1 and the optical microscopic observation unit 2 do not have to be integrated.

一例として、図５に示すように、一つの生体組織から連続的に切り出された複数の切片試料に、それぞれ異なる種類のマトリクスを塗布してそれぞれイメージング質量分析を行い、それによって得られた複数のＭＳイメージング画像を重ね合わせる場合を考える。こうした複数の切片試料では、各試料に現れる生体組織の大きさや形状はほぼ同じであるとみなすことができる。 As an example, as shown in FIG. 5, a plurality of section samples continuously cut out from one biological tissue are coated with different types of matrices and subjected to imaging mass spectrometry, respectively, and a plurality of obtained pieces obtained thereby. Consider the case of superimposing MS imaging images. In such a plurality of section samples, it can be considered that the size and shape of the biological tissue appearing in each sample are almost the same.

まず、本実施例のイメージング質量分析装置において、一つの試料６についてＭＳイメージングデータと光学顕微画像データとを取得する際の動作を説明する。 First, in the imaging mass spectrometer of this embodiment, an operation when acquiring MS imaging data and optical microscope image data for one sample 6 will be described.

ユーザは、専用のプレート上に載置された、その表面にマトリクスを塗布していない試料６を装置の所定位置にセットし、操作部４で所定の操作を行う。すると、光学顕微観察部２はその試料６上の光学顕微画像を撮影し、該画像を表示部５の画面上に表示する。ユーザはこの画像を確認して試料６上においてイメージング質量分析を行う対象の測定領域を決定し、例えば操作部４により画面上でその測定領域を囲む枠を設定することで測定領域を指示する。これにより、例えば図４に示すように、マウス肝臓切片などの生体由来の試料６上に測定領域６０が設定される。このときに、試料６の撮影により得られた光学顕微画像データは測定領域６０の位置を特定する情報と共に光学画像データ格納部３０に格納される。 The user sets a sample 6 placed on a dedicated plate and whose surface is not coated with a matrix at a predetermined position of the apparatus, and the operation unit 4 performs a predetermined operation. Then, the optical microscope observation unit 2 takes an optical microscope image on the sample 6 and displays the image on the screen of the display unit 5. The user confirms this image, determines the measurement area of the target to be subjected to imaging mass spectrometry on the sample 6, and indicates the measurement area by, for example, setting a frame surrounding the measurement area on the screen by the operation unit 4. As a result, as shown in FIG. 4, for example, the measurement region 60 is set on the sample 6 derived from a living body such as a mouse liver section. At this time, the optical microscope image data obtained by photographing the sample 6 is stored in the optical image data storage unit 30 together with the information for specifying the position of the measurement region 60.

ユーザは上記試料６を載せたプレートを一旦装置から取り出し、試料６の表面に適宜のマトリクスを塗布したあと該プレートを装置に戻す。そして、操作部４により質量分析の実行を指示する。すると、図４に示すように、イメージング質量分析部１は上述したように設定された測定領域６０の範囲内の多数の測定点６１についてそれぞれ質量分析（又はＭＳⁿ分析）を実行し、所定のm/z範囲に亘るマススペクトルデータを取得する。その結果、測定領域６０内の測定点６１の数に相当するマススペクトルデータの集合（これを以下「ＭＳイメージングデータ」という）が得られ、このデータがイメージング質量分析部１からデータ処理部３に入力されてＭＳイメージングデータ格納部３１に格納される。The user temporarily removes the plate on which the sample 6 is placed from the apparatus, applies an appropriate matrix to the surface of the sample 6, and then returns the plate to the apparatus. Then, the operation unit 4 instructs the execution of mass spectrometry. ^{Then, as shown in FIG. 4, the imaging mass spectrometer 1 executes mass spectrometry (or MS n} analysis) for each of a large number of measurement points 61 within the range of the measurement region 60 set as described above, and determines predetermined mass spectrometry. Acquire mass spectrometric data over the m / z range. As a result, a set of mass spectrum data corresponding to the number of measurement points 61 in the measurement region 60 (hereinafter referred to as “MS imaging data”) is obtained, and this data is transmitted from the imaging mass spectrometric unit 1 to the data processing unit 3. It is input and stored in the MS imaging data storage unit 31.

こうして一つの試料６についての光学顕微画像データ及びＭＳイメージングデータは、光学画像データ格納部３０及びＭＳイメージングデータ格納部３１に関連付けて格納される。そして、上述したように一つの生体組織から切り出された複数の試料６について同様に測定を実施し、光学顕微画像データ及びＭＳイメージングデータを収集する。 In this way, the optical microscope image data and the MS imaging data for one sample 6 are stored in association with the optical image data storage unit 30 and the MS imaging data storage unit 31. Then, as described above, the plurality of samples 6 cut out from one living tissue are measured in the same manner, and the optical microscope image data and the MS imaging data are collected.

なお、試料６上にマトリクスを塗布したあとに光学顕微観察を行ってもよいが、一般には、マトリクスを塗布すると試料６上の組織の色や模様が見えにくくなる。そのため、マトリクス塗布に先立って試料６上の鮮明な光学顕微画像を取得し、その画像を用いて測定領域６０を決めるのが一般的である。 Optical microscopic observation may be performed after applying the matrix on the sample 6, but in general, when the matrix is applied, the color and pattern of the structure on the sample 6 become difficult to see. Therefore, it is common to acquire a clear optical microscope image on the sample 6 prior to matrix application and determine the measurement region 60 using the image.

次に、上述したようにして複数の試料（連続切片試料）に対するＭＳイメージングデータ及び光学顕微画像データがＭＳイメージングデータ格納部３１及び光学画像データ格納部３０にそれぞれ格納されている状態で、データ処理部３において実行される特徴的なデータ処理について図２、図３を参照しつつ説明する。図２はこのデータ処理の手順を示すフローチャート、図３はこのデータ処理を説明するための概念図である。 Next, as described above, data processing is performed in a state where the MS imaging data and the optical microscopic image data for a plurality of samples (continuous section samples) are stored in the MS imaging data storage unit 31 and the optical image data storage unit 30, respectively. The characteristic data processing executed in Part 3 will be described with reference to FIGS. 2 and 3. FIG. 2 is a flowchart showing the procedure of this data processing, and FIG. 3 is a conceptual diagram for explaining this data processing.

ユーザは操作部４により重ね合わせ処理を行いたい複数のＭＳイメージング画像を指定する（ステップＳ１）。具体的には、一つのＭＳイメージング画像は、試料を特定する情報（例えば複数の試料に付された連続番号）とm/値とにより指定可能である。三以上のＭＳイメージング画像の重ね合わせ処理の指定も可能であるが、説明を簡単にするために、ここでは二つのＭＳイメージング画像が指定される場合を説明する。いま一例として、図３に示すように、試料Ａのm/z＝Ｍ1におけるＭＳイメージング画像と試料Ｂのm/z＝Ｍ1におけるＭＳイメージング画像とが重ね合わせの対象として指定されたものとする。 The user specifies a plurality of MS imaging images to be superposed by the operation unit 4 (step S1). Specifically, one MS imaging image can be specified by information that identifies a sample (for example, a serial number assigned to a plurality of samples) and m / value. It is possible to specify the superposition processing of three or more MS imaging images, but for the sake of simplicity, the case where two MS imaging images are specified will be described here. As another example, as shown in FIG. 3, it is assumed that the MS imaging image at m / z = M1 of sample A and the MS imaging image at m / z = M1 of sample B are designated as objects to be superimposed.

ステップＳ１における指定を受けて、光学画像作成部３２は指定された複数のＭＳイメージング画像にそれぞれ対応する測定領域内の光学顕微画像、つまりは試料Ａと試料Ｂのほぼ同じ測定領域内の光学顕微画像を構成する光学顕微画像データを光学画像データ格納部３０から読み出す（ステップＳ２）。なお、このとき、光学画像作成部３２は読み出された光学顕微画像データから光学顕微画像を作成して表示部５の画面上に表示するようにしてもよい。 In response to the designation in step S1, the optical image creation unit 32 receives the optical microscopic image in the measurement region corresponding to each of the designated plurality of MS imaging images, that is, the optical microscopic image in the substantially same measurement region of the sample A and the sample B. The optical microscopic image data constituting the image is read out from the optical image data storage unit 30 (step S2). At this time, the optical image creating unit 32 may create an optical micro image from the read optical micro image data and display it on the screen of the display unit 5.

画像位置合わせ処理部３４は二つの光学顕微画像の間で同じ部位の位置や大きさ、形状が揃うように所定のアルゴリズムに従った位置合わせ処理を実行する。この位置合わせ処理には、例えば医療分野で広く利用されている画像レジストレーション技術を利用することができる。画像レジストレーション技術には、大別して、平行移動、回転、拡大・縮小により位置合わせを行う線形レジストレーションと、画像上に２次元的な格子点を配置し、その格子点を自由に移動させて位置合わせを行う非線形レジストレーション（例えばＦＦＤ（Free Form Deformation）法など）とがあるが、好ましくは、これらを組み合わせて用いるとよい。もちろん、位置合わせ処理の手法はこれに限るものではない。 The image alignment processing unit 34 executes the alignment process according to a predetermined algorithm so that the positions, sizes, and shapes of the same portions are aligned between the two optical microscope images. For this alignment process, for example, an image registration technique widely used in the medical field can be used. Image registration technology can be broadly divided into linear registration, which aligns by translation, rotation, and enlargement / reduction, and two-dimensional grid points are placed on the image and the grid points are freely moved. There is a non-linear registration that performs alignment (for example, FFD (Free Form Deformation) method), but it is preferable to use these in combination. Of course, the method of alignment processing is not limited to this.

いずれにしても、こうした位置合わせ処理においては、一方の画像を基準として他方の画像をその基準画像に合わせるときに画像を平行移動、回転、拡大・縮小、非線形変形等するための画像変形情報が得られる。そこで、この画像変形情報を試料Ａと試料Ｂとの位置合わせのための画像変形情報として画像変形情報記憶部３５に保存する（ステップＳ３）。 In any case, in such alignment processing, image deformation information for translating, rotating, enlarging / reducing, nonlinear deformation, etc. of an image when aligning the other image with the reference image with respect to one image is provided. can get. Therefore, this image deformation information is stored in the image deformation information storage unit 35 as image deformation information for aligning the sample A and the sample B (step S3).

次に、ＭＳイメージング画像作成部３３はステップＳ１で指定された複数のＭＳイメージング画像を構成するＭＳイメージングデータをＭＳイメージングデータ格納部３１から読み出す（ステップＳ４）。そして、ＭＳイメージング画像調整部３６は、画像変形情報記憶部３５から試料Ａと試料Ｂとの位置合わせのための画像変形情報を読み出し、その画像変形情報を利用して、上記複数のＭＳイメージング画像の一方を変形させる画像処理を実施する（ステップＳ５）。即ち、ここでは、ＭＳイメージング画像のパターンとは無関係に、与えられた画像変形情報に基づいて、該画像を適宜に移動、回転、拡大・縮小、或いは非線形変形させる。ステップＳ３で実施した位置合わせの精度が高く、各試料において光学顕微画像とＭＳイメージング画像とで位置のずれが無視できる程度であれば、画像変形後のＭＳイメージング画像同士は同じ部位がほぼ同じ位置、大きさ及び形状になる。即ち、画像変形によって複数のＭＳイメージング画像の位置合わせが高い精度で実現されることになる。 Next, the MS imaging image creation unit 33 reads out the MS imaging data constituting the plurality of MS imaging images specified in step S1 from the MS imaging data storage unit 31 (step S4). Then, the MS imaging image adjusting unit 36 reads out the image deformation information for aligning the sample A and the sample B from the image deformation information storage unit 35, and uses the image deformation information to use the plurality of MS imaging images. Image processing for deforming one of them is performed (step S5). That is, here, regardless of the pattern of the MS imaging image, the image is appropriately moved, rotated, enlarged / reduced, or non-linearly deformed based on the given image deformation information. If the accuracy of the alignment performed in step S3 is high and the positional deviation between the optical microscope image and the MS imaging image can be ignored in each sample, the same part of the MS imaging image after image deformation has almost the same position. , Size and shape. That is, the alignment of a plurality of MS imaging images is realized with high accuracy by the image deformation.

画像重ね合わせ処理部３７はステップＳ５において位置合わせのための画像変形が行われたＭＳイメージング画像同士を重ね合わせることで、試料Ａのm/z＝Ｍ1のイオン強度の２次元分布と試料Ｂのm/z＝Ｍ1のイオン強度の２次元分布とが重なった画像を作成する（ステップＳ６）。それぞれのイオン強度の分布は互いに識別容易な異なる色で描出される。そして、画像表示処理部３８は作成された重ね合わせ画像を表示部５の画面上に表示する（ステップＳ７）。 The image superimposition processing unit 37 superimposes the MS imaging images subjected to the image deformation for alignment in step S5, thereby superimposing the two-dimensional distribution of the ion intensity of m / z = M1 of sample A and the sample B. An image in which the two-dimensional distribution of the ion intensity of m / z = M1 overlaps is created (step S6). The distribution of each ionic strength is depicted in different colors that are easily distinguishable from each other. Then, the image display processing unit 38 displays the created superposed image on the screen of the display unit 5 (step S7).

このようにして本実施例のイメージング質量分析装置では、試料Ａにおける任意のm/z値におけるＭＳイメージング画像と試料Ｂにおける任意のm/z値におけるＭＳイメージング画像とについて精度の高い位置合わせを行ったうえで重ね合わせ画像を作成することができる。 In this way, in the imaging mass spectrometer of the present embodiment, the MS imaging image at an arbitrary m / z value in the sample A and the MS imaging image at an arbitrary m / z value in the sample B are aligned with high accuracy. You can create a superposed image on top of it.

上記実施例は二つのＭＳイメージング画像の重ね合わせであるが、３以上のＭＳイメージング画像の重ね合わせでも同様にすればよい。即ち、一つの光学顕微画像を基準とした他の光学顕微画像の画像変形情報をそれぞれ求め、その画像変形情報を利用して複数のＭＳイメージング画像をそれぞれ画像加工すればよい。 The above embodiment is the superposition of two MS imaging images, but the same may be applied to the superposition of three or more MS imaging images. That is, the image deformation information of another optical microscope image based on one optical microscope image may be obtained, and the plurality of MS imaging images may be image-processed by using the image deformation information.

また、一つの生体組織から切り出された連続的な切片試料に由来するＭＳイメージングが画像同士ではなく、別の個体（例えば別のマウス）の同じ生体組織からそれぞれ切り出された試料に由来するＭＳイメージングが画像同士を重ね合わせる際にも同じ処理を適用することができる。 In addition, MS imaging derived from continuous section samples cut out from one biological tissue is not based on images, but MS imaging derived from samples cut out from the same biological tissue of another individual (for example, another mouse). The same process can be applied when overlaying images on top of each other.

また、図５に示したように生体組織から連続的に切り出した多数の切片試料についてそれぞれイメージング質量分析を実行し、図７に示すように、特定のm/z値におけるＭＳイメージング画像の立体的な重ね合わせを行うことで、特定の化合物の３次元分布画像を作成することができる。 Further, as shown in FIG. 5, imaging mass spectrometry was performed on each of a large number of section samples continuously cut out from the biological tissue, and as shown in FIG. 7, the three-dimensional MS imaging image at a specific m / z value was performed. A three-dimensional distribution image of a specific compound can be created by performing various superpositions.

また上記実施例のイメージング質量分析装置では、ＭＳイメージング画像同士を重ね合わせるために光学顕微画像同士の位置合わせにより画像変形情報を求めていたが、ＭＳイメージング画像と質量分析以外の手法で得られた他の画像とを重ね合わせる際にも同様の手法を用いることができる。 Further, in the imaging mass spectrometer of the above embodiment, image deformation information was obtained by aligning the optical microimages in order to superimpose the MS imaging images, but it was obtained by a method other than the MS imaging image and the mass spectrometry. The same method can be used when superimposing on another image.

具体的には、連続的な切片試料の一つについてＨＥ染色などによる染色画像を取得し、他の一つについてイメージング質量分析を実施し、それにより作成される任意のm/z値におけるＭＳイメージング画像と染色画像とを重ね合わせたい場合がある。図６は一つの染色画像と一つのＭＳイメージング画像とを重ね合わせる場合の処理を説明するための概念図である。一般に、染色画像は特定の組織や特定の物質等が染色されて他と識別可能に観察されるが、それ以外の部位の形態も十分に明瞭に観察可能である。 Specifically, one of the continuous section samples is stained by HE staining or the like, the other one is subjected to imaging mass spectrometry, and MS imaging at an arbitrary m / z value created by the acquisition of the image is performed. You may want to overlay the image with the stained image. FIG. 6 is a conceptual diagram for explaining a process in which one stained image and one MS imaging image are superimposed. Generally, in a stained image, a specific tissue, a specific substance, or the like is stained and observed so as to be distinguishable from others, but the morphology of other parts can also be observed sufficiently clearly.

そこで、この場合には、重ね合わせたいm/z＝Ｍ1であるＭＳイメージング画像が得られた試料Ａの光学顕微画像と試料Ｂの染色画像との間で該染色画像を基準とした位置合わせを試みる。そして、その位置合わせに基づく画像変形情報を取得する。そして、この画像変形情報を用いて、試料Ａについてのm/z＝Ｍ1におけるＭＳイメージング画像を変形する。そして、画像変形が行われたあとのＭＳイメージング画像と染色画像とを重ね合わせた画像を作成する。 Therefore, in this case, the alignment of the optical microscope image of the sample A and the stained image of the sample B from which the MS imaging image of m / z = M1 to be superimposed is obtained is based on the stained image. Try. Then, the image deformation information based on the alignment is acquired. Then, using this image deformation information, the MS imaging image at m / z = M1 for the sample A is deformed. Then, an image is created by superimposing the MS imaging image and the stained image after the image transformation is performed.

試料上の組織構造などの部位の輪郭や模様といった形態が或る程度明瞭に観察できる画像であれば、染色画像でなく、別の測定や観察により得られる画像とＭＳイメージング画像との重ね合わせの際にも同じ手法を用いることができる。 If the image has a certain degree of clear observation of the contours and patterns of parts such as the tissue structure on the sample, it is not a stained image, but an image obtained by another measurement or observation and an MS imaging image are superimposed. The same technique can be used in this case.

また一般に、ラマン顕微イメージング装置や赤外顕微イメージング装置などのイメージング測定が可能な装置では、イメージング質量分析装置と同様に、イメージング測定対象の試料上の部位についての光学顕微画像を取得可能である。そこで、図３を変形した図８に示す概念図に従った処理を行ってもよい。 Further, in general, an apparatus capable of imaging measurement such as a Raman microscopic imaging apparatus or an infrared microscopic imaging apparatus can acquire an optical microscopic image of a portion on a sample to be imaged and measured, similarly to an imaging mass spectrometer. Therefore, processing may be performed according to the conceptual diagram shown in FIG. 8 which is a modification of FIG.

即ち、例えば同じ試料の同じ部位について、ラマン顕微イメージング測定装置で得られた光学顕微画像とイメージング質量分析装置で得られた（又は質量分析イメージングを行うために別の光学顕微鏡で得られた）光学顕微画像との間で位置合わせを行い、その位置合わせに基づいて画像変形情報を取得する。そして、この画像変形情報を用いて、試料についてのＭＳイメージング画像又はラマン顕微イメージング画像の一方又は両方を変形する。そして、画像変形が行われたあとのＭＳイメージング画像とラマン顕微イメージング画像とを重ね合わせた画像を作成する。
このようにして、異なる測定手法で得られたイメージング画像を精度良く位置合わせし、重ね合わせた画像を作成することができる。こうした手法はマルチモダリティに好適である。That is, for example, for the same part of the same sample, an optical microscope image obtained by a Raman microimaging measuring device and an optical obtained by an imaging mass spectrometer (or obtained by another optical microscope for mass spectrometric imaging). Alignment is performed with the microscopic image, and image deformation information is acquired based on the alignment. Then, using this image deformation information, one or both of the MS imaging image or the Raman microscopic imaging image of the sample is deformed. Then, an image in which the MS imaging image after the image transformation is performed and the Raman microscopic imaging image are superimposed is created.
In this way, the imaging images obtained by different measurement methods can be accurately aligned and superposed images can be created. Such a method is suitable for multi-modality.

また、上記実施例はあくまでも本発明の一例であり、本発明の趣旨の範囲で適宜に変更、修正、追加を行っても本願特許請求の範囲に包含されることは当然である。 Further, the above-mentioned embodiment is merely an example of the present invention, and it is natural that the above-mentioned embodiment is included in the claims of the present application even if it is appropriately changed, modified or added within the scope of the purpose of the present invention.

１…イメージング質量分析部
２…光学顕微観察部
３…データ処理部
３０…光学画像データ格納部
３１…ＭＳイメージングデータ格納部
３２…光学画像作成部
３３…ＭＳイメージング画像作成部
３４…画像位置合わせ処理部
３５…画像変形情報記憶部
３６…ＭＳイメージング画像調整部
３７…画像重ね合わせ処理部
３８…画像表示処理部
４…操作部
５…表示部
６…試料1 ... Imaging mass analysis unit 2 ... Optical microscopic observation unit 3 ... Data processing unit 30 ... Optical image data storage unit 31 ... MS imaging data storage unit 32 ... Optical image creation unit 33 ... MS imaging image creation unit 34 ... Image alignment processing Unit 35 ... Image deformation information storage unit 36 ... MS imaging image adjustment unit 37 ... Image superimposition processing unit 38 ... Image display processing unit 4 ... Operation unit 5 ... Display unit 6 ... Sample

Claims

This is a data processing method in imaging mass spectrometry that processes mass spectrometric data obtained at a plurality of measurement points in a measurement region on a sample, and is used for a plurality of samples having the same or similar parts to be observed. It is a data processing method that performs a process of superimposing a plurality of mass spectrometric imaging images created based on the obtained mass spectrometric data.
a) An image selection step that allows the user to select multiple mass spectrometric imaging images to be superposed.
b) An optical microscope image acquisition step to acquire an optical microscope image for a plurality of samples corresponding to a plurality of selected mass spectrometric imaging images, respectively.
c) An image alignment step in which one or a plurality of images are deformed and the images are aligned so that the same or similar parts match among the acquired plurality of optical microscope images.
d) An image transformation information acquisition step for acquiring image transformation information for one or more images at the time of image alignment, and
e) An image deformation step in which the image deformation information acquired in the image deformation information acquisition step is applied to a plurality of mass spectrometric imaging images to be superposed to perform at least one image deformation processing.
f) An image superposition processing step for superimposing the plurality of mass spectrometric imaging images in which at least one is deformed in the image deformation step, and an image superposition processing step.
A data processing method in imaging mass spectrometry characterized by having.

The data processing method in the imaging mass spectrometry according to claim 1.
A data processing method in imaging mass spectrometry, wherein the plurality of samples are section samples continuously cut out from one living tissue of one individual.

It is a data processing program for processing the mass analysis data obtained at each of a plurality of measurement points in the measurement area on the sample on a computer, and is created based on the mass analysis data obtained for each of the plurality of samples. A data processing program that superimposes multiple mass analysis imaging images on a computer.
a) An image selection function unit that allows the user to select multiple mass spectrometric imaging images to be superposed.
b) An optical microscope image acquisition function unit that acquires optical microscope images of multiple samples corresponding to each of the selected multiple mass spectrometric imaging images.
c) between the acquired plurality of optical microscope images, the one or the image registration function unit having a plurality of portions where the image is similar modifications quality one same or mutually performs positioning of the image to match ,
d) An image transformation information acquisition function unit that acquires image transformation information for one or more images when aligning images, and
e) An image deformation function unit that applies the acquired image deformation information to a plurality of mass spectrometric imaging images to be superposed to perform deformation processing of at least one image.
f) An image superposition processing function unit that performs superposition processing of the plurality of mass spectrometric imaging images whose at least one is deformed by the image deformation function unit.
A data processing program characterized by being operated.

It is a data processing method in imaging mass spectrometry that processes mass spectrometric data obtained at a plurality of measurement points in a measurement region on a sample, and among a plurality of samples having the same or similar parts to be observed. Data processing that superimposes a mass spectrometry imaging image created based on the mass spectrometry data obtained for one of the above and a reference image obtained by a measurement or observation method other than the mass spectrometry for the other one. It ’s a method,
a) An image selection step that allows the user to select one mass spectrometric imaging image to be superposed.
b) An optical microscope image acquisition step to acquire an optical microscope image corresponding to the selected mass spectrometric imaging image, and
c) Align the acquired optical microscope image with the reference image for the same sample so that the same or similar parts coincide with each other while deforming one or more images. Image alignment step and
d) An image transformation information acquisition step for acquiring image transformation information for one or more images at the time of image alignment, and
e) An image deformation step in which the acquired image deformation information is applied to the mass spectrometric imaging image that is the target of the overlay processing to perform image deformation processing, and
f) An image superimposition processing step for superimposing the mass spectrometric imaging image deformed in the image deformation step and the reference image, and an image superimposition processing step.
A data processing method in imaging mass spectrometry characterized by having.

The data processing method in the imaging mass spectrometry according to claim 4.
A data processing method in imaging mass spectrometry, wherein the plurality of samples are section samples continuously cut out from one living tissue of one individual.

It is a data processing program for processing the mass spectrometric data obtained at each of a plurality of measurement points in the measurement region on the sample on a computer, and is based on the mass spectrometric data obtained for one of the plurality of samples. A data processing program that superimposes a mass spectrometric imaging image created by
a) An image selection function unit that allows the user to select one mass spectrometric imaging image to be superposed.
b) An optical microscope image acquisition function unit that acquires an optical microscope image corresponding to the selected mass spectrometric imaging image, and
between the reference image of the same sample and c) acquired optical microscope images, the positioning of the image as sites similar one or a plurality of image deformation quality one same or mutually match Image alignment function to be performed and
d) An image transformation information acquisition function unit that acquires image transformation information for one or more images when aligning images, and
e) An image deformation function unit that applies the image deformation information acquired by the image deformation information acquisition function unit to the mass spectrometric imaging image that is the target of the overlay processing to perform image deformation processing.
f) An image superposition processing function unit that performs superposition processing of the mass spectrometric imaging image deformed by the image deformation function unit and the reference image, and an image superposition processing function unit.
A data processing program characterized by being operated.

It is a data processing method in imaging mass spectrometry that processes mass spectrometric data obtained at a plurality of measurement points in a measurement region on a sample, and among a plurality of samples having the same or similar parts to be observed. The process of superimposing the mass spectrometric imaging image created based on the mass spectrometric data obtained for one of the above and the second imaging image obtained by an imaging measurement method other than the imaging mass spectrometric method for the other one. The mass spectrometric imaging image created based on the mass spectrometric data obtained for the same observation target site of one sample is superposed with the second imaging image obtained by an imaging measurement method other than the imaging mass spectrometric analysis. It is a data processing method that performs matching processing.
a) An image selection step that allows the user to select one mass spectrometric imaging image and a second imaging image to be superposed.
b) An optical microscope image acquisition step to acquire an optical microscope image corresponding to the selected mass spectrometric imaging image and the second imaging image, respectively.
c) An image alignment step that aligns the images so that the same or similar parts on the sample match between the two acquired optical microscope images.
d) Image transformation information acquisition step to acquire image transformation information for one or more images at the time of alignment, and
e) An image deformation step in which the image deformation information is applied to the mass spectrometric imaging image and the second imaging image to be superposed to perform the deformation processing of at least one image.
f) An image superposition processing step for superimposing the mass spectrometric imaging image in which at least one is deformed in the image deformation step and the second imaging image, and the image superposition processing step.
A data processing method in imaging mass spectrometry characterized by having.

It is a data processing program for processing mass spectrometric data obtained at each of a plurality of measurement points in a measurement region on a sample on a computer, and is a data processing program for a plurality of samples having the same or similar parts to be observed. A process of superimposing a mass spectrometric imaging image created based on mass spectrometric data obtained for one of them and a second imaging image obtained by an imaging measurement method other than imaging mass spectrometric analysis for the other one. Or a mass spectrometric imaging image created based on mass spectrometric data obtained for the same observation target site of one sample and a second imaging image obtained by an imaging measurement method other than imaging mass spectrometric analysis. A data processing program that performs superimposition processing on a computer.
a) An image selection function unit that allows the user to select one mass spectrometric imaging image and a second imaging image to be superposed.
b) An optical microscope image acquisition function unit that acquires an optical microscope image corresponding to the selected mass spectrometric imaging image and the second imaging image, respectively.
c) An image alignment function unit that aligns the images so that the same or similar parts on the sample match between the two acquired optical microscope images.
d) An image transformation information acquisition function unit that acquires image transformation information for one or more images during alignment,
e) An image transformation function unit that applies the image transformation information to the mass spectrometric imaging image and the second imaging image that are the targets of the overlay processing to perform transformation processing of at least one image.
f) An image superposition processing function unit that performs superposition processing of the mass spectrometric imaging image deformed by the image deformation function unit and the second imaging image, and the image superposition processing function unit.
A data processing program characterized by being operated.