JP3603543B2

JP3603543B2 - Image displacement analysis method

Info

Publication number: JP3603543B2
Application number: JP14893297A
Authority: JP
Inventors: るり子常田; 博司柿林
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1997-06-06
Filing date: 1997-06-06
Publication date: 2004-12-22
Anticipated expiration: 2017-06-06
Also published as: JPH10339607A

Description

【０００１】
【発明の属する技術分野】
画像間の位置ずれ量を各画像の強度分布から解析する方法であって、画像検出器による雑音の影響を除去する技術に関する。
【０００２】
【従来の技術】
画像間の位置ずれ量を計算機で解析する場合、ウルトラマイクロスコピー第４０巻８９−１０７（Ｕｌｔｒａｍｉｃｒｏｓｃｏｐｙ，Ｖｏｌ．４０，１９９２，ｐｐ．８９−１０７）記載の様に、画像演算に相互相関関数を利用する場合が多い。位置ずれＤ＝（ｄｘ，ｄｙ）のある２枚の画像の強度をＡ（ｉ，ｊ）とＢ（ｉ，ｊ）＝Ａ（ｉ−ｄｘ，ｊ− ｄｙ）（ｉ＝１，…，ｎ．ｊ＝１，…，ｍ）とすると、Ａ（ｉ，ｊ）とＢ（ｉ，ｊ）の相互相関関数Ｇ（ｋ，ｌ）（ｋ＝−ｎ／２，…，ｎ／２，ｊ＝−ｍ／２，…，ｍ／２）はＧ（ｄｘ，ｄｙ）で最大値を持つことを利用し、Ｄ＝（ｄｘ，ｄｙ）を特定する。
【０００３】
【発明が解決しようとする課題】
上記位置ずれ解析法は画像に含まれる雑音の影響を考慮していない。多数の画素から構成される画像検出器、例えばＣＣＤでは、各画素のゲインにばらつきがある。試料のコントラストよりもゲインのばらつきによるコントラストが大きい画像の相互相関関数を計算すると、相互相関関数の原点Ｇ（０，０）にδ的なピークが発生する。なぜならＧ（０，０）では画像ペアにおけるゲインのばらつきが一致した状態でＧを計算するが、その他のＧ（ｋ≠０，ｌ≠０）では画像ペアにおけるゲインのばらつきが異なる状態でＧを計算するからである。計算機がアーティファクトであるδ的なピークを相互相関関数の最大値であると誤認識してしまうと、位置ずれは正しく特定されない。本発明の目的はこのアーティファクトを自動的に除去することである。
【０００４】
【課題を解決するための手段】
ゲインのばらつきによるアーティファクトは相互相関関数の原点にしか発生しないので、原点の強度を近接データの補間値で置き換えることによってアーティファクトは除去できる。この処理は人の判断を必要としないので、計算機内で自動的に行える。
【０００５】
【発明の実施の形態】
透過電子顕微鏡（以下略してＴＥＭ）では試料ドリフトの測定やその他の光学パラメータの解析において、２枚の画像間の位置ずれ量を測定する場合がある。各ＴＥＭ像をｓｌｏｗ−ｓｃａｎＣＣＤ等のデジタルカメラで検出し、計算機に送信し、位置ずれ量を解析する。計算機で位置ずれ量を解析する場合、２枚の画像の演算結果、例えば相互相関関数から特定する場合が多い。特徴点の移動などで位置ずれを判断する方法は、特徴点の選択等で人の判断を必要とするため全自動では行えず、また特徴点の選択に測定精度が大きく依存するため任意の試料構造に適用できないからである。
【０００６】
まず、画像の強度分布から位置ずれ量を解析する方法を示す。図１に示す様に、位置ずれＤ＝（ｄｘ，ｄｙ）のある２枚の画像１をＡ（ｉ，ｊ）とＢ（ｉ，ｊ）＝Ａ（ｉ−ｄｘ，ｊ−ｄｙ）（ｉ＝１，…，ｎ．ｊ＝１，…，ｍ）と仮定する。Ａ（ｉ，ｊ）とＢ（ｉ＋ｋ，ｊ＋ｌ）の積Ｇ（ｋ，ｌ）の総和を画像間の位置（ｋ，ｌ）を変化させながら計算する。つまり画像ペアの相互相関関数２を計算する。
【０００７】
【数１】

【０００８】
相互相関関数２は画像ペア１の強度分布が一致すると最大値を持つ。つまり相互相関関数２は、
【０００９】
【数２】

【００１０】
で最大値を持つ。従って相互相関関数の最大値の位置（ｄｘ，ｄｙ）から位置ずれＤ＝（ｄｘ，ｄｙ）を特定できる。
【００１１】
相互相関関数の最大値の他にも、Ａ（ｉ，ｊ）とＢ（ｉ＋ｋ，ｊ＋ｌ）の差の絶対値の総和
【００１２】
【数３】

【００１３】
が最小となる位置を用いたり、Ａ（ｉ，ｊ）とＢ（ｉ＋ｋ，ｊ＋ｌ）の差の二乗の総和
【００１４】
【数４】

【００１５】
が最小となる位置を用いても良い。
【００１６】
ここで画像ペア１に混入したノイズの影響を考察する。ＣＣＤは少なくとも数１００×数１００の画素から構成されているため、各画素にゲインのばらつきがある。そのためＴＥＭ像にはゲインのばらつきによるノイズが混入する。ＣＣＤに一定強度の電子線を照射してゲインのばらつきＲ（ｉ，ｊ）を測定し、ゲインのばらつきＲ（ｉ，ｊ）で測定される画像Ａ（ｉ，ｊ）を割って強度を補正する試みもあるが、完全に補正することは難しい。
【００１７】
ゲインのばらつきによるコントラストが強調される例として、対物絞り無しにおけるＴＥＭ観察があげられる。通常のＴＥＭ像を撮影するときは、対物絞りを挿入して像コントラストを強調させている。しかし試料挿入直後など、試料観察中には対物絞り無しで観察する場合もある。絞り無しの像では、試料のコントラストが非常に低いがＣＣＤに照射する電子線量は非常に多くなるためゲインのばらつきによるコントラストが非常に強調される。
【００１８】
試料のコントラストに対してゲインのばらつきによるコントラストが大きい場合、画像ペアの相互相関関数を計算すると原点にδ的なピーク、つまり大きさは有限であるが幅が１画素であるピークが発生する。このアーティファクトの発生過程を簡単のために１次元で考察する。
【００１９】
図２に示す様にゲインのばらつきによるノイズが混入したＡ（ｉ）とＢ（ｉ）を仮定する。このノイズはほぼランダムな分布を持つが、位置ｉに関しては固定されている。そのため相互相関関数Ｇ（ｋ）を計算すると、Ｇ（０）ではＡ（ｉ）とＢ（ｉ）の強度分布は完全に一致するためＧ（０）は最大値を持つ。一方Ｇ（ｋ≠０）ではＡ（ｉ）とＢ（ｉ＋ｋ）の一致の度合いはｋによらずほぼ一定となる。結果としてＧ（０）にδ的なピーク３が発生する。ゲインのばらつきによるコントラストが支配的な像では原点に発生するδ的なピーク３の強度が相互相関関数の最大値となってしまい、相互相関関数の最大値で位置ずれを特定する方法では位置ずれ量がゼロであると誤認識してしまう。
【００２０】
前記誤認識を避けるために、相互相関関数の計算結果から前記アーティファクトを除去する必要がある。そこで前記アーティファクトの特徴を概観する。試料構造のコントラストは連続的に変化するものであり、ＣＣＤの画素単位で急激に変化するものではないので、試料構造のコントラストのみが反映した画像ペアの相互相関関数の変化は連続的である。一方、ゲインのばらつきは１画素単位で明瞭に変化するので、それによって発生するアーティファクトは必ずδ的なピークになる。ばらつきがランダムである場合はδ的なピーク原点においてのみ発生する。ばらつきに何らかの規則性があれば原点以外でもδ的なピークは発生しうるが、その位置は各ＣＣＤで固定されている。
【００２１】
ＣＣＤに一定強度の電子線を照射してゲインのばらつきのみを反映した画像ペアを撮影し、その相互相関関数を計算すれば、アーティファクトが発生する位置は特定できる。アーティファクトはδ的なピークであるので、前記位置における強度を近接データの補間値、例えば両側の値の平均値で置き換えればアーティファクトは簡単に除去できる。この処理は人の判断を必要としない処理であり、計算機内で自動的に行える。
【００２２】
以上をまとめると、検出器に依存するノイズが混入した画像を用いて画像間の位置ずれを解析する際は、図３に示すフローチャートに従って行う必要がある。まず従来法と同様に画像ペアを撮影し、その相互相関関数を計算する。本発明では相互相関関数の計算結果からアーティファクトであるδピークを除去する工程を付加する。δピークの発生位置は固定されているので、その位置の強度を近接データの補間値で置き換えてアーティファクトを除去する。その後相互相関関数の最大値を特定し、位置ずれ量を求める。
【００２３】
【発明の効果】
画像関の位置ずれ解析アルゴリズムに本発明を付加することによって、画像検出器の画素間のゲインのばらつきによって発生するアーティファクトは簡単に除去できる。この処理は人の判断を必要とせず、計算機で自動的に行える処理である。これによって、像コントラストが低い画像ペアを用いた位置ずれ解析において発生する誤認識は大幅に低減され、像コントラストの低い画像にも位置ずれ解析法が適用できるようになる。
【図面の簡単な説明】
【図１】画像ペアの位置ずれ量解析法の説明図。
【図２】検出器のゲインのばらつきによるアーティファクトを示す説明図。
【図３】画像ペアの位置ずれ量解析のフローチャート。
【符号の説明】
１…位置ずれＤを持つ画像ペア、２…画像ペアの相互相関関数、３…ゲインのばらつきによって発生したアーティファクト。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a method for analyzing a positional shift amount between images from an intensity distribution of each image, and to a technique for removing an influence of noise by an image detector.
[0002]
[Prior art]
When analyzing the amount of displacement between images with a computer, a cross-correlation function is used for image calculation as described in Ultra Microscopy, Vol. 40, 89-107 (Ultramicroscopy, Vol. 40, 1992, pp. 89-107). Often do. A (i, j) and B (i, j) = A (i-dx, j-dy) (i = 1,..., N) ., J = 1,..., M), the cross-correlation function G (k, l) (k = −n / 2,..., N / 2, j) of A (i, j) and B (i, j) = −m / 2,..., M / 2) specifies that D = (dx, dy) using the fact that G (dx, dy) has the maximum value.
[0003]
[Problems to be solved by the invention]
The displacement analysis method does not consider the influence of noise included in the image. In an image detector composed of a large number of pixels, for example, a CCD, the gain of each pixel varies. When calculating the cross-correlation function of an image having a larger contrast due to the variation in gain than the contrast of the sample, a δ-like peak occurs at the origin G (0, 0) of the cross-correlation function. Because G (0,0) calculates G in a state where the variation in gain in the image pair matches, but G (k ≠ 0, l ≠ 0) calculates G in a state in which the variation in gain in the image pair is different. Because it calculates. If the computer erroneously recognizes a δ-like peak as an artifact as the maximum value of the cross-correlation function, the displacement is not correctly specified. It is an object of the present invention to automatically remove this artifact.
[0004]
[Means for Solving the Problems]
Since the artifact due to the variation in the gain occurs only at the origin of the cross-correlation function, the artifact can be removed by replacing the intensity at the origin with the interpolation value of the proximity data. Since this process does not require human judgment, it can be performed automatically in the computer.
[0005]
BEST MODE FOR CARRYING OUT THE INVENTION
In a transmission electron microscope (hereinafter abbreviated as TEM), the amount of displacement between two images may be measured in the measurement of sample drift or the analysis of other optical parameters. Each TEM image is detected by a digital camera such as a slow-scan CCD, and transmitted to a computer to analyze the amount of displacement. When analyzing the amount of positional deviation by a computer, it is often specified from the calculation result of two images, for example, a cross-correlation function. The method of judging the displacement by moving the feature points, etc., cannot be performed fully automatically because it requires human judgment in the selection of feature points, etc., and the measurement accuracy greatly depends on the selection of feature points. This is because it cannot be applied to the structure.
[0006]
First, a method of analyzing the amount of displacement from the intensity distribution of an image will be described. As shown in FIG. 1, two images 1 having a displacement D = (dx, dy) are represented by A (i, j) and B (i, j) = A (i-dx, j-dy) (i = 1, ..., nj = 1, ..., m). The sum of the products G (k, l) of A (i, j) and B (i + k, j + l) is calculated while changing the position (k, l) between the images. That is, the cross-correlation function 2 of the image pair is calculated.
[0007]
(Equation 1)

[0008]
The cross-correlation function 2 has a maximum value when the intensity distribution of the image pair 1 matches. That is, the cross-correlation function 2 is
[0009]
(Equation 2)

[0010]
Has the maximum value. Therefore, the position shift D = (dx, dy) can be specified from the position (dx, dy) of the maximum value of the cross-correlation function.
[0011]
In addition to the maximum value of the cross-correlation function, the sum of the absolute values of the differences between A (i, j) and B (i + k, j + 1)
(Equation 3)

[0013]
Or the sum of the squares of the difference between A (i, j) and B (i + k, j + 1).
(Equation 4)

[0015]
May be used.
[0016]
Here, the effect of noise mixed into the image pair 1 will be considered. Since the CCD is composed of at least several hundreds of pixels and several hundreds of pixels, each pixel has a variation in gain. Therefore, noise due to variation in gain is mixed in the TEM image. The CCD is irradiated with an electron beam of a constant intensity to measure the gain variation R (i, j), and the intensity is corrected by dividing the image A (i, j) measured by the gain variation R (i, j). Some attempts have been made, but it is difficult to completely compensate.
[0017]
An example in which contrast due to gain variation is emphasized is TEM observation without an objective stop. When capturing a normal TEM image, an objective aperture is inserted to enhance the image contrast. However, during sample observation, such as immediately after sample insertion, observation may be performed without an objective stop. In the image without the aperture, the contrast of the sample is very low, but the electron dose applied to the CCD becomes very large, so that the contrast due to the variation in gain is greatly enhanced.
[0018]
If the contrast due to the variation in the gain is larger than the contrast of the sample, when calculating the cross-correlation function of the image pair, a δ-like peak is generated at the origin, that is, a peak having a finite size but a width of one pixel is generated. The process of generating this artifact will be considered in one dimension for simplicity.
[0019]
As shown in FIG. 2, assume that A (i) and B (i) in which noise due to variation in gain is mixed. This noise has a nearly random distribution, but is fixed for position i. Therefore, when the cross-correlation function G (k) is calculated, G (0) has the maximum value because the intensity distributions of A (i) and B (i) completely match in G (0). On the other hand, in G (k ≠ 0), the degree of coincidence between A (i) and B (i + k) is almost constant regardless of k. As a result, a δ-like peak 3 occurs in G (0). In an image in which contrast due to variation in gain is dominant, the intensity of the δ-like peak 3 generated at the origin becomes the maximum value of the cross-correlation function. They mistakenly recognize that the amount is zero.
[0020]
In order to avoid the erroneous recognition, it is necessary to remove the artifact from the calculation result of the cross-correlation function. Therefore, the features of the artifact will be outlined. Since the contrast of the sample structure changes continuously and does not change abruptly for each pixel of the CCD, the change of the cross-correlation function of the image pair reflecting only the contrast of the sample structure is continuous. On the other hand, since the variation of the gain clearly changes in units of one pixel, the artifact generated thereby always becomes a δ-like peak. When the variation is random, it occurs only at the δ-like peak origin. If there is some regularity in the variation, a δ-like peak may occur at a position other than the origin, but the position is fixed at each CCD.
[0021]
By irradiating the CCD with an electron beam of a constant intensity and capturing an image pair reflecting only the variation in gain, and calculating the cross-correlation function, the position where the artifact occurs can be specified. Since the artifact is a δ-like peak, the artifact can be easily removed by replacing the intensity at the position with an interpolation value of the proximity data, for example, an average value of the values on both sides. This process does not require human judgment and can be performed automatically in the computer.
[0022]
To summarize the above, it is necessary to follow the flowchart shown in FIG. 3 when analyzing the displacement between images using an image containing noise depending on the detector. First, an image pair is photographed as in the conventional method, and its cross-correlation function is calculated. In the present invention, a step of removing a δ peak which is an artifact from the calculation result of the cross-correlation function is added. Since the occurrence position of the δ peak is fixed, the intensity at that position is replaced with the interpolation value of the proximity data to remove the artifact. Thereafter, the maximum value of the cross-correlation function is specified, and the amount of displacement is obtained.
[0023]
【The invention's effect】
By adding the present invention to the image-related positional displacement analysis algorithm, artifacts caused by variations in gain between pixels of the image detector can be easily removed. This process does not require human judgment and can be performed automatically by a computer. As a result, misrecognition that occurs in displacement analysis using an image pair with a low image contrast is greatly reduced, and the displacement analysis method can be applied to an image with a low image contrast.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram of a method for analyzing a displacement amount of an image pair.
FIG. 2 is an explanatory diagram showing an artifact due to a variation in the gain of a detector.
FIG. 3 is a flowchart of an analysis of a positional shift amount of an image pair.
[Explanation of symbols]
1 ... Image pair having displacement D, 2 ... Cross-correlation function of image pair, 3 ... Artifact generated by variation in gain.

Claims

A method of capturing a plurality of images with an image detector, analyzing a positional shift amount between the plurality of images from an intensity distribution of each pixel, and removing an artifact generated due to a variation in gain of the pixel,
Taking a first image and a second image;
Calculating a cross-correlation function image in an intensity distribution between the first image and the second image taken by the image detector;
Removing a peak caused by the variation in gain between the pixels,
Identifying a positional shift amount between the images from a position having a maximum value of the cross-correlation function.

The position shift analysis method according to claim 1,
Calculating the absolute value of the intensity difference between the first and second images while changing the amount of displacement between the first image and the second image;
2. The displacement analysis method according to claim 1, wherein a displacement amount between the images is obtained from a position of a minimum value of the distribution image of the absolute value of the intensity difference.

The position shift analysis method according to claim 1,
Calculating the sum of squares distribution of the first and second images while changing the amount of misalignment of the second image with respect to the first image, and calculating the misalignment between the images from the position of the minimum value of the sum of squares distribution A displacement analysis method characterized by calculating an amount.

The position shift analysis method according to claim 1,
The method of analyzing a displacement according to claim 1, wherein the peak removal due to the variation in the gain is replaced with a calculated value of the pixel intensity which is not affected by the variation in the gain near the peak.