Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7757600B2 - 高速信号処理のための方法およびシステム - Google Patents
[go: Go Back, main page]

JP7757600B2 - 高速信号処理のための方法およびシステム - Google Patents

高速信号処理のための方法およびシステム

Info

Publication number
JP7757600B2
JP7757600B2 JP2021159493A JP2021159493A JP7757600B2 JP 7757600 B2 JP7757600 B2 JP 7757600B2 JP 2021159493 A JP2021159493 A JP 2021159493A JP 2021159493 A JP2021159493 A JP 2021159493A JP 7757600 B2 JP7757600 B2 JP 7757600B2
Authority
JP
Japan
Prior art keywords
pixel voltage
digitized
voltage
compressed
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021159493A
Other languages
English (en)
Other versions
JP2022058264A (ja
Inventor
ゲラルドゥス ロエフェン ヘンリウス
ブラーン ロブ
ヨーゼフ ヤンセン バルト
ケイツェル イェルーン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FEI Co
Original Assignee
FEI Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FEI Co filed Critical FEI Co
Publication of JP2022058264A publication Critical patent/JP2022058264A/ja
Application granted granted Critical
Publication of JP7757600B2 publication Critical patent/JP7757600B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/65Noise processing, e.g. detecting, correcting, reducing or removing noise applied to reset noise, e.g. KTC noise related to CMOS structures by techniques other than CDS
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02Details
    • H01J37/22Optical, image processing or photographic arrangements associated with the tube
    • H01J37/224Luminescent screens or photographic plates for imaging; Apparatus specially adapted therefor, e. g. cameras, TV-cameras, photographic equipment or exposure control; Optical subsystems specially adapted therefor, e. g. microscopes for observing image on luminescent screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/30Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming X-rays into image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/618Noise processing, e.g. detecting, correcting, reducing or removing noise for random or high-frequency noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/244Detection characterized by the detecting means
    • H01J2237/2441Semiconductor detectors, e.g. diodes
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/244Detection characterized by the detecting means
    • H01J2237/24455Transmitted particle detectors
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/244Detection characterized by the detecting means
    • H01J2237/2446Position sensitive detectors
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/244Detection characterized by the detecting means
    • H01J2237/24495Signal processing, e.g. mixing of two or more signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本説明は、概して、カメラを使用したデータ取得のための方法およびシステムに関し、より具体的には、高速カメラ読み出し、および読み出しデータのリアルタイム信号処理に関する。
荷電粒子顕微鏡法システムは、サンプルから放出された荷電粒子を検出し、検出された生信号をデジタル化し、デジタル化された信号をリアルタイム信号処理のために画像プロセッサに出力するためのカメラを含み得る。データ取得速度を上げるために、顕微鏡法システムは、短いセンサ応答時間、高速センサデータ読み出し、ならびにリアルタイムのデータ処理およびデータ記憶を必要とする。ピクセル化画像センサを備えたカメラの場合、ピクセル電圧が所定のレベルを超えたときにピクセルをリセットする必要がある場合がある。そのようなピクセル化画像センサの読み出し速度を増加させる1つの方法は、「Method for acquiring data with an image sensor」と題する、2012年10月5日に出願されたJanssenらによる米国出願第13/645,725号に開示されたマルチフレーム相関二重サンプリング(mfCDS)である。mfCDSでは、画像センサまたは画像センサの特定のピクセルをリセットする前に、画像センサから生データの複数のフレームが読み出される。次いで、順次取得されるピクセル電圧の差に基づいて粒子カウントを決定できる。しかしながら、出願人は、カメラ内の、および/またはカメラと画像プロセッサとの間の限られた帯域幅が、高速信号処理のボトルネックになり得ることを認識している。
一実施形態では、荷電粒子を検出するためのピクセル化画像センサを含むカメラからデータを取得するための方法は、画像センサをリセットせずに、画像センサの1つ以上のピクセルのピクセル電圧を複数回読み取ることと、ピクセル電圧を第1のビット数にデジタル化することと、デジタル化された圧縮ピクセル電圧を第2のより低いビット数で出力することであって、デジタル化された圧縮ピクセル電圧の最大範囲が、ピクセル電圧の最大範囲よりも小さく、デジタル化された圧縮ピクセル電圧が、デジタル化されたピクセル電圧の少なくとも最上位ビット(MSB)を削除することによって生成される、出力することと、を含む。このようにして、画像センサの各ピクセルでのピクセル電圧が読み出され、データ品質または精度を犠牲にすることなく、より少ないビット数でカメラから画像プロセッサに転送され得る。高速な信号読み出しおよび処理は、カメラ内の、および/またはカメラと画像プロセッサとの間の限られた帯域幅で達成され得る。
上記の概要は、発明を実施するための形態でさらに説明される精選された概念を簡略化した形で紹介するために提供されていることを理解されたい。特許請求される主題の主要なまたは本質的な特徴を特定することを意味するものではなく、その範囲は、発明を実施するための形態に続く特許請求の範囲によって一意に定義される。さらに、特許請求される主題は、上記でまたは本開示の任意の部分で言及されたいずれかの欠点を解決する実装形態に限定されない。
荷電粒子顕微鏡を示す。 図1の荷電粒子顕微鏡のカメラからデータを取得するための方法のフローチャート。 図1の方法のデータフローを示す。 画像センサから読み取られたピクセル電圧を圧縮するための方法を示す。 ピクセル電圧圧縮を実装するための例を示す。 ピクセル電圧圧縮を実装するための別の例を示す。 センサの過露光を検出するための方法のフローチャート。 差分圧縮フレームのピクセル値を有効範囲に調整するための方法を示す。 差分圧縮フレームのピクセル値を有効範囲に調整するための方法を示す。 同様の参照番号は、図面のいくつかの図を通じて、対応する部分を指している。
以下の説明は、図1の荷電粒子顕微鏡などの顕微鏡法システムにおけるデータ取得およびデータ処理のためのシステムおよび方法に関する。荷電粒子顕微鏡は、荷電粒子を生成するための源を含み得る。荷電粒子をサンプルに照射することに応答して、サンプルから放出された様々なタイプの荷電粒子が、様々なカメラまたは検出器によって検出される。
カメラまたは検出器は、画像センサのピクセルに衝突する荷電粒子をピクセル電圧に変換するためのピクセル化画像センサを含み得る。ピクセル電圧は、mfCDS法を使用して画像センサから読み出すことができる。特に、特定のピクセルのピクセル電圧は、ピクセル電圧をリセット値にリセットする前に複数回読み出される。ピクセルによって検出された荷電粒子の数は、ピクセル電圧の順次読み出しの間の差に基づいて決定され得る。mfCDSを使用して、画像センサをリセットする前に複数のフレームを読み出すことができる。順次読み出しの間の差を計算することにより、リセットノイズが低減される。さらに、画像センサ読み出しの最大フレームレートは、ピクセル電圧をリセットする頻度を減らすことによって増加させることができる。
画像センサから読み取られたピクセル電圧は、アナログ-デジタル変換器(ADC)によってデジタル化され、さらに処理するためにカメラから画像プロセッサに転送され得る。画像センサからの高いフレームレートの読み出しは、mfCDS法を使用して達成することができるが、ADCとカメラ内の読み出し電子機器との間のデータ転送速度(すなわち帯域幅)、および/またはカメラと画像プロセッサとの間のデータ転送速度は、顕微鏡法システムの全体的なデータ取得率およびデータ品質を制限する場合がある。画像プロセッサにおいて受信されるデータのフレームレートを上げるには、各ピクセルのデジタル化されたピクセル電圧のビット深度(すなわちビット数)を減らす必要がある。しかしながら、ビット深度を減らすと、データの精度が低下する場合がある。本明細書において、デジタル信号の精度は、デジタル化された信号の最下位ビット(LSB)によって表される値である。
上記の問題に対処するために、高速カメラ読み出し、およびカメラから受信されたデータのリアルタイム処理のための方法が図2に提示されている。データフローが図3に示されている。具体的には、画像センサのピクセル電圧は、センサリセットの前に複数回読み出される。ピクセル電圧の読み出しは、カメラから画像プロセッサに転送される前に圧縮される。画像プロセッサは、カメラから圧縮ピクセル電圧を受信し、順次受信される圧縮ピクセル電圧間の差動電圧を生成する。差動電圧に基づいてサンプル画像を形成することができる。隣接する画像センサのリセット間では、ピクセル電圧はほぼ単調である。すなわち、センサリセット間では、各ピクセルのピクセル電圧は、ノイズと重ね合わされた単調信号である。ノイズ振幅は、ピクセル電圧の最大振幅の1%以内である。センサは、ピクセル電圧振幅が最大ピクセル電圧振幅を超える前にリセットされる。センサリセット間のピクセル電圧のほぼ単調な変化と、順次的な(または隣接する)画像センサ読み出し間のピクセル電圧の変化が閾値レベル内にあるために、圧縮ピクセル電圧がカメラと画像プロセッサとの間で転送されても、情報は失われない。
圧縮ピクセル電圧の最大範囲は、ピクセル電圧の最大範囲よりも小さい。ピクセル電圧振幅は、ゼロから最大ピクセル電圧振幅までであり得る。ピクセル電圧は、第1の閾値電圧の振幅以上であり、かつ第2の閾値電圧の振幅よりも小さいピクセル電圧の振幅に応答して、ピクセル電圧から第1の閾値電圧を減算することによって圧縮され得る。第1の閾値電圧は、隣接するピクセル読み出し間のピクセル電圧の変化量に基づいて決定され得る。例えば、第1の閾値電圧の振幅は、隣接するピクセル読み出し間のピクセル値の変化量よりも大きい。圧縮ピクセル電圧の最大範囲をさらに低減するために、第2の閾値電圧の振幅以上であり、かつ第3の閾値電圧の振幅よりも小さいピクセル電圧の振幅に応答して、ピクセル電圧から第2の閾値電圧を減算し、第3の閾値電圧の振幅以上であり、かつ第4の閾値電圧の振幅よりも小さいピクセル電圧に応答して、ピクセル電圧から第3の閾値電圧を減算することによって、ピクセル電圧をさらに圧縮することができる。第1から第4の閾値電圧は、ボルトの単位を有するアナログ電圧であり得る。一例では、画像センサのピクセル電圧は、ピクセルに衝突する荷電粒子に応答して増加し、閾値電圧は正である。別の例では、画像センサのピクセル電圧は、ピクセルに衝突する荷電粒子に応答して減少し、ピクセル電圧は、正の閾値電圧を減算する前に、ほぼ単調に増加する正の電圧に変換される。さらに別の例では、画像センサのピクセル電圧は、ピクセルに衝突する荷電粒子に応答して減少し、閾値電圧は負である。圧縮ピクセル電圧は、画像センサから読み出されたピクセル電圧よりも少ないビット数にデジタル化することができる。このようにして、ピクセル電圧は、圧縮されていないピクセル電圧の範囲と比較して、低減された範囲に圧縮またはラップされる。圧縮電圧の範囲は、第1の閾値電圧の振幅以下である。
別の例では、画像センサからのピクセル電圧の読み出しは、第1のビット数にデジタル化される。デジタル化されたピクセル電圧は、第2のより低いビット数を有するデジタル化された圧縮ピクセル電圧に圧縮される。デジタル化されたピクセル電圧と、デジタル化された圧縮ピクセル電圧は、同じ精度を有する。デジタル化されたピクセル電圧は、符号なしであり得る。一例では、ピクセル電圧がほぼ単調に減少し、負である場合、デジタル化されたピクセル電圧を、符号なしに変換することができる。ピクセル電圧から閾値電圧を減算する圧縮プロセスは、デジタル化されたピクセル電圧から1つ以上のビットを削除することによって実装することができる。一例では、デジタル化されたピクセル電圧は、デジタル化されたピクセル電圧の少なくともMSBを削除することによって圧縮され得る。別の例では、デジタル化されたピクセル電圧は、デジタル化された第1のピクセル電圧の第1のビットを第2のビットに維持し、残りのビットを削除することによって圧縮され得、ここで、第1のビットも第2のビットもMSBではない。一例では、第1のビットも第2のビットも最下位ビット(LSB)ではない。図4A~図4Cは、ピクセル値を圧縮するための例示的な方法を示す。
カメラは、画像センサの領域(すなわち、ピクセル電圧のフレーム)内の各ピクセルからピクセル電圧を連続的かつ反復的に読み出し、圧縮ピクセル電圧またはデジタル化された圧縮ピクセル電圧(すなわち、圧縮フレーム)を画像プロセッサに送信する。差分フレームは、順次受信された圧縮フレームの差に基づいて再構築される。次いで、差分フレームに基づいてサンプル画像を生成することができる。一例では、各ピクセルについて、差動圧縮ピクセル電圧は、第1の圧縮ピクセル電圧と第2の圧縮ピクセル電圧との間の差である。第1の圧縮ピクセル電圧は、第1の時点でのピクセル電圧の読み出しに対応し、第2の圧縮ピクセル電圧は、第1の時点の直後の第2の時点でのピクセル電圧の読み出しに対応する。第1の時点と第2の時点との間にピクセルまたは画像センサのリセットはない。図6A~図6Bに示されるように、差動ピクセル電圧は、差動圧縮ピクセル電圧を有効範囲に調整することによって再構築される。有効範囲は、ピクセル電圧を圧縮するための第1の閾値電圧、および所定のノイズ振幅に基づいて決定される。例えば、有効範囲は、ノイズオフセットから、第1の閾値電圧振幅とノイズオフセットとの合計までである。ノイズオフセットは、ノイズ振幅に基づいて決定され、負またはゼロであり得る。差動圧縮ピクセル電圧を有効範囲に調整することは、ノイズオフセットよりも低い差動圧縮ピクセル電圧に応答して、差動圧縮ピクセル電圧に第1の閾値電圧振幅を加算することと、第1の閾値電圧振幅とノイズオフセットとの合計よりも大きい差動圧縮ピクセル電圧に応答して、差動圧縮ピクセル電圧から第1の閾値電圧振幅を減算することと、を含む。差動ピクセル電圧の精度は、デジタル化された圧縮ピクセル電圧と同じである。
いくつかの例では、差分フレームを再構築する前に、圧縮フレームから暗フレームを減算して、圧縮フレームを暗補正することができる。暗補正プロセスは、放射にさらされていないセンサからの画像内に存在する固定パターンを削除するために使用できる。さらに、センサの過露光が、図5に示されるように、画像プロセッサによって受信されたデジタル化された圧縮ピクセル電圧に基づいて検出され得る。
このようにして、ピクセル電圧は、低減されたビット数でカメラと画像プロセッサとの間で転送され得る。ピクセル電圧の特性、すなわち、ほぼ単調で、経時的な変化が限られていることにより、カメラと画像プロセッサとの間で転送される信号のダイナミックレンジが減少しても、順次的なピクセル電圧の読み出し間の差を画像プロセッサにおいて損失なしに再構築できる。
図1に目を向けると、透過型電子顕微鏡法(TEM)システムまたは走査型透過電子顕微鏡法(STEM)システムなどの透過型荷電粒子顕微鏡100が示されている。顕微鏡は、一次軸110に沿って伝播し、かつ電子光学照明器6を横断する荷電粒子ビーム111を生成するための真空エンクロージャ2および荷電粒子源4を含む。電子光学照明器6は、荷電粒子をサンプル60の選択された部分(例えば、(局所的に)薄く/平坦化されている場合がある)に向ける/集束させるのに役立つ。偏向器8も示されており、偏向器8は、ビーム111の走査運動を引き起こすために使用することができる。
サンプル60は、ホルダ61が(取り外し可能に)装着されたクレードル63を移動させる位置付けデバイス/ステージ62によって、複数の自由度で位置付けされ得る試料ホルダ61上に保持され、例えば、試料ホルダ61は、(とりわけ)XY平面内で移動され得るフィンガを備え得る(描写されたデカルト座標系を参照されたく、通常、Zに平行な運動およびX/Yを中心とする傾斜も可能になる)。このような運動により、サンプル60の様々な部分を、(Z方向に)一次軸110に沿って進行する電子ビーム111によって照明/画像化/検査することができる(および/または、ビーム走査の代わりに走査運動を実行することができる)。所望される場合、任意選択の冷却デバイス(描写せず)を、試料ホルダ61との密接な熱接触状態にして、それによって、試料ホルダ61(およびその上のサンプル60)を、例えば、極低温に維持することができる。
電子ビーム111は、(例えば)二次電子、後方散乱電子、X線および光放射(カソードルミネッセンス)を含む、様々なタイプの「誘導」放射をサンプル60から発散させるような仕方で、サンプル60と相互作用する。所望される場合、これらの放射タイプのうちの1つ以上は、検出器22を用いて検出することができ、検出器22は、例えば、複合型シンチレータ/光電子増倍管、またはEDX(エネルギー分散型X線分光法)モジュールであってもよく、このような場合では、画像は、走査型電子顕微鏡法(SEM)におけるのと基本的に同じ原理を使用して構築することができる。しかしながら、代替的または補足的には、サンプル60を横断(通過)し、それから出て/発散して、軸110に沿って(実質的には、一般にはある程度偏向/散乱するが)伝搬し続ける電子を調査することができる。このような透過電子束は、様々な静電/磁気レンズ、偏向器、(スティグメータなどの)補正器などを通常備える投射レンズ24に入る。通常の(非散乱)TEMモードでは、投射レンズ24は、所望される場合、軸110のじゃまにならないように、(矢印27によって概略的に示されるように)後退され/引き込められ得る検出器26上に透過電子束を集束することができる。サンプル60(の一部)の画像(または回折図)は、投射レンズ24により(スクリーンなどの)検出器26上に形成され、これは、エンクロージャ2の壁の好適な部分に位置する視認ポートを介して視認することができる。検出器26の後退機構は、例えば、本質的に機械的および/また電気的であり、ここには描かれていない。
検出器26上で画像を視認することの代替として、代わりに、投射レンズ24から出ていく電子束の集束深度が概して極めて深い(例えば、1メートル程度)という事実を利用することができる。その結果、TEMカメラ30、STEMカメラ32、および分光装置34など、様々な他のタイプの分析装置を検出器26の下流で使用することができる。
TEMカメラ30では、電子束は、画像プロセッサ20およびコントローラ50によって処理できる静止画像(または回折図)を形成することができる。必要ない場合、カメラ30は、軸110のじゃまにならないように、(矢印31によって概略的に示されるように)後退させる/引き込めることができる。
STEMカメラ32からの出力は、サンプル60上のビーム111の(X、Y)走査位置の関数として記録することができ、X、Yの関数としてのカメラ32からの出力の「マップ」である画像を構築することができる。カメラ32は、ピクセルのマトリックスを備え得る。必要ない場合、カメラ32は、軸110のじゃまにならないように、(矢印33によって概略的に示されるように)後退させる/引き込めることができる(このような後退は、例えば、カメラ32がドーナツ形環状暗視野カメラである場合は必要でないことがあり、例えば、このようなカメラでは、カメラが使用されていないとき、中央穴が束の通過を可能にする)。
カメラ30および/または32を使用して画像化することに加えて、例えば、EELSモジュールとすることができる分光装置34を起動させることもできる。EELSモジュールは、粒子エネルギーに基づいて荷電粒子を分散させるための分光計35と、スペクトルを捕捉するための検出器/カメラ36とを含む。
検出器26、30、32、34、および36の順序/位置は厳密ではなく、多くの可能な変形が考えられることに留意されたい。例えば、分光装置34は、投射レンズ24と一体化することもできる。
コントローラ50は、様々な図示される構成要素に、制御線を介して接続される。コントローラは、プロセッサ54および非一時的メモリ55を備える。命令を非一時的メモリ55に記憶することができ、命令は、実行されたとき、コントローラ50に、アクションの同期、設定点の提供、信号の処理、計算の実行、ユーザ入力デバイス53からのオペレータ入力の受信、およびディスプレイデバイス51上のメッセージ/情報の表示などの様々な機能を提供させる。コントローラ50は、必要に応じて、エンクロージャ2の(部分的に)内側にあっても外側にあってもよく、一体構造であっても複合構造であってもよい。
1つ以上の検出器22および26、カメラ30および32、ならびに分光装置34は、画像プロセッサ20と電気的に接続され得る。画像プロセッサは、プロセッサ、メモリ、および1つ以上のフィールドプログラマブルゲートアレイ(FPGA)を含み得る。組み込みソフトウェアを画像プロセッサにおいて実行して、カメラおよび/または検出器から受信された画像データを高フレームレートで処理することができる。画像プロセッサからの処理されたデータは、さらなる処理のために画像プロセッサからコントローラに転送され得る。例えば、コントローラは、画像プロセッサから受信されたデータに基づいてサンプル画像を生成する。カメラおよび/または検出器は、別個の画像プロセッサまたは共有の画像プロセッサを有し得る。一実施形態では、画像プロセッサとコントローラは、1つの構成要素として一緒に統合することができる。別の実施形態では、画像プロセッサをカメラと統合することができる。
例として透過型電子顕微鏡法について説明しているが、画像化システムは、SEMまたは走査型電子顕微鏡法と組み合わせた集束イオンビーム(FIB-SEM)など、他のタイプの荷電粒子顕微鏡法システムであってもよいことを理解されたい。荷電粒子は、電子、イオン、またはX線であってもよい。検出器22および36、カメラ30および32など、検出器またはカメラのうちの1つ以上は、複数のピクセルを有する1つ以上の画像センサを含み得る。ピクセル化画像センサは、以下に開示される方法に従って操作され得る。
図2は、少なくともピクセル化画像センサを含むカメラによって取得されたデータを読み取って処理するための方法200を示す。カメラは、図1の荷電粒子顕微鏡100などの顕微鏡内のサンプルから放出された荷電粒子を検出することができる。方法200を実行している間の顕微鏡の構成要素間のデータフローを図3に示す。カメラデータは、データ圧縮と組み合わせたmfCDS方法を使用して読み出されて、カメラ内のおよびカメラから画像プロセッサへのフレームの転送速度が向上する。
201において、顕微鏡のデータ取得パラメータを設定する。データ取得パラメータは、サンプル面での荷電粒子ビームの線量、画像化/走査領域、画像センサでのデータ読み出し速度、および隣接する画像センサリセット間のフレーム数Nの読み出しのうちの1つ以上を含み得る。隣接するセンサリセット間のフレーム数Nは、隣接するピクセル電圧読み出しとピクセルのフルウェル容量との間の推定ピクセル電圧変化に基づいて決定することができる。例えば、画像センサのピクセルは、所定の最大ピクセル電圧振幅に達する前にリセットされる。最大ピクセル電圧振幅は、ピクセルのフルウェル容量よりも低い。隣接するピクセル電圧読み出し間のピクセル電圧の変化は、荷電粒子ビームの線量およびサンプルタイプに基づいて推定することができる。
204において、荷電粒子ビームをサンプルに導く。荷電粒子の照射に応答して、二次電子およびX線などの様々なタイプの荷電粒子がサンプルから放出される。顕微鏡内の複数のカメラ(または検出器)は、放出された荷電粒子を感知する。例えば、カメラは、TEMカメラ、STEMカメラまたは検出器、EDX検出器、およびEELSスペクトルを感知するための分光装置内の検出器のうちの1つ以上を含み得る。カメラには、ピクセル化画像センサが含まれている。特定のピクセルのピクセル電圧は、ピクセルに衝突する1つ以上の荷電粒子にほぼ単調に応答して変化する。
206において、ピクセル電圧を、ステップ201において決定された頻度で画像センサから読み出し、第1のビット数にデジタル化する。一例では、画像センサの複数のピクセルのピクセル電圧が、所定のパターンに従って読み出されて、ピクセル電圧のフレームが形成される。画像センサの読み出し中、画像センサは、ステップ201において決定されたフレームレートで繰り返し読み出される。N個のフレームを連続して取得した後、各ピクセルのピクセル電圧をリセット電圧にリセットすることにより、画像センサがリセットされる。リセット電圧はリセットごとに異なる場合がある。複数のピクセルの各ピクセルについて、ピクセル電圧は、各フレーム読み出し中に1回読み出される。複数のピクセルの各ピクセルのピクセル電圧は、画像センサをリセットする前にN回繰り返し読み出される。
208において、ピクセル電圧を圧縮し、圧縮ピクセル電圧を画像プロセッサに出力する。一例では、圧縮ピクセル電圧は、デジタル化され、画像プロセッサに転送され得る。別の例では、ピクセル電圧は、圧縮される前にデジタル化される。デジタル化された圧縮ピクセル電圧は、デジタル化されたピクセル電圧の第1のビット数よりも低い、第2のビット数を有する。ピクセル電圧は、ピクセル電圧の最大範囲よりも小さい範囲に圧縮される。圧縮ピクセル電圧の最大範囲は、第1の閾値電圧振幅以下である。一例では、第1の閾値電圧は、第1の閾値電圧の振幅以上であり、かつ第2の閾値電圧の振幅よりも小さいピクセル電圧の振幅に応答して、ピクセル電圧から減算される。別の例では、デジタル化されたピクセル電圧は、少なくともMSBを削除することによって圧縮される。第1の閾値電圧は、ピクセル電圧の最大値を表すために使用されるビット数よりも低いビット数で提示することができる。
図3に示されるように、一例の構成では、カメラ301は、画像センサ302、ADC303、および読み出し電子機器304を含む。画像センサ302から読み取られたピクセル電圧は、ADCによって第1のビット数にデジタル化され、次いで第2のビット数に圧縮される。読み出し電子機器304は、データ読み出しのタイミングを制御し、圧縮されたデジタル化されたピクセル電圧を画像プロセッサ320に出力することができる。
図4A~図4Cは、ピクセルに衝突する荷電粒子に応答してピクセル電圧が増加するときにピクセル電圧を圧縮するプロセスを示す。図4Aのy軸は、画像センサの特定のピクセルのピクセル電圧または対応するデジタル化されたピクセル電圧である。x軸は時間を表す。時間は、矢印で示されるように増加する。実線のプロット403は、画像センサからの非圧縮ピクセル電圧の読み出しである。非圧縮ピクセル電圧は、アナログ信号またはデジタル信号であり得る。破線のプロット404は、圧縮ピクセル電圧である。T0において、画像センサがリセットされる。その結果、ピクセル電圧はリセット電圧にリセットされる。本明細書では、リセット電圧はゼロである。他の例では、リセット電圧はゼロ以外の値であり得る。リセット電圧は、各リセット時に変化するため、リセットノイズをもたらすことがある。T0から、より多くの荷電粒子がピクセルに衝突するにつれて、ピクセル電圧403は、T0からT4に増加する。T4において、画像センサが再びリセットされる。矢印401および402は、画像センサのリセットイベントを示す。ピクセル電圧は、1/ΔTの頻度で読み出される。言い換えれば、画像センサは、1/ΔTのフレームレートで読み出される。T0からT1まで、ピクセル電圧403は、リセット電圧と第1の閾値電圧V1との間にあり、圧縮ピクセル電圧404は、ピクセル電圧403に等しい。T1からT3まで、第1の閾値電圧V1以上であり、かつ第2の閾値電圧V2未満であるピクセル電圧403に応答して、圧縮ピクセル電圧404は、ピクセル電圧403から第1の閾値電圧V1を減算したものに等しい。第2の閾値電圧V2は、第1の閾値電圧V1の2倍である。T2からT3まで、第2の閾値電圧V2以上であり、かつ第3の閾値電圧V3未満であるピクセル電圧403に応答して、圧縮ピクセル電圧404は、ピクセル電圧403から第2の閾値電圧V2を減算したものに等しい。第3の閾値電圧V3は、第1の閾値電圧V1の3倍である。T3からT4まで、第3の閾値電圧V3以上であり、かつ第4の閾値電圧V4未満であるピクセル電圧403に応答して、圧縮ピクセル電圧404は、ピクセル電圧403から第3の閾値電圧V3を減算したものに等しい。第4の閾値電圧V4は、第1の閾値電圧V1の4倍である。T4において、T0における前のリセットからN個のフレームが取得されているため、ピクセル電圧は、リセット電圧に再度リセットされる。T4からT5まで、ピクセル電圧403は第1の閾値電圧よりも低いので、ピクセル電圧403は、圧縮ピクセル電圧404と同じである。T5の後、ピクセル電圧403が、V1を上回りかつV2よりも低くなるように増加すると、圧縮ピクセル電圧404は、ピクセル電圧403からV1を減算したものに等しい。したがって、圧縮ピクセル電圧404は、ゼロとV1との間にある。デジタル化された信号の場合、図4Aに示される圧縮プロセスは、デジタル化された圧縮ピクセル電圧のビット深度を、デジタル化されたピクセル電圧のビット深度から2ビット減らすことができる。例えば、デジタル化されたピクセル電圧は12ビットであり、デジタル化された圧縮ピクセル電圧は10ビットである。第1から第4の閾値電圧は、それぞれ、1024、2048、3072、および4096である。値エイリアシングが、圧縮を通して圧縮ピクセル電圧に導入される。例えば、T1~T2間のピクセル電圧は、T0~T1間のピクセル電圧でエイリアスされる(したがって、それから区別できない)。値のエイリアシングは、差分圧縮フレームのピクセル値を有効範囲に調整することにより、画像プロセッサ内で補正または解決できる。
ピクセル電圧がデジタル化されている場合、圧縮されたデジタル化されたピクセル電圧は、デジタル化された第1のピクセル電圧の第1のビットを第2のビットに維持し、残りのビットを削除することによって、生成され得る。第1のビットも第2のビットもMSBではない。一例では、ピクセル電圧からの閾値電圧の減算は、図4Bに示されるように、MSBの側から1つ以上のビットを削除することによって達成され得る。一例として、デジタル化されたピクセル電圧410は12ビットを有する。図4Aに示される圧縮は、MSB側から2ビットを削除することによって実装することができる。デジタル化された圧縮ピクセル電圧は、412によって示されるようにLSB側から10ビットである。したがって、図4Aでは、D1は1024であり、D2は2048であり、D3は3072であり、D4は4096である。
別の例では、ピクセル電圧からの閾値電圧の減算は、図4Cに示されるように、MSB側とLSB側の両方から1つ以上のビットを削除することによって達成され得る。一例として、デジタル化されたピクセル電圧410は12ビットを有する。デジタル化された圧縮ピクセル電圧は、421によって示されように、ビット1からビット10までである。この例では、デジタル化された圧縮ピクセル電圧の信号精度は、デジタル化されたピクセル電圧と比較して低下しており、データ転送速度が増加する。
図4Aは、連続するセンサリセット間で単調に増加する非圧縮ピクセル電圧を示す。別の実施形態では、画像センサから読み出された非圧縮ピクセル電圧は、連続するリセット間で単調に減少する。一例では、ピクセル電圧は、非圧縮ピクセル電圧から負の閾値電圧を減算することによって圧縮され得る。別の例では、非圧縮ピクセル電圧は、図4A~図4Cに示されるように圧縮される前に、閾値ピクセル電圧から減算されることなどによって、単調に増加されるピクセル電圧に変換され得る。
図2に戻ると、210において、画像プロセッサは、カメラから圧縮ピクセル電圧またはデジタル化された圧縮ピクセル電圧を受信し、圧縮ピクセル電圧を用いて圧縮フレームを形成する。一例では、図3に示されるように、画像プロセッサ320は、1つ以上のFPGA322およびメモリ323を含み得る。FPGA322は、メモリ323への直接メモリアクセスを有する。画像プロセッサ320は、任意選択で、FPGA322内でデータ/画像処理を制御するためのプロセッサ321を含み得る。
212において、圧縮フレームに基づいてセンサの過露光を決定する。センサの過露光は、ピクセル値と、圧縮フレームのピクセル値の分散とに基づいて決定できる。図3の線量保護ブロック324は、センサの過露光を決定するプロセスを表す。過露光検出の詳細は図5に提示されている。センサの過露光が検出された場合、214において、方法200は、例えば、シャッターを閉じることによって、荷電粒子が画像センサに到達するのを防ぐことができる。方法200は、センサの過露光を示す通知をオペレータに送信することができる。方法200は、現在の画像セッションのデータ取得パラメータをさらに調整するか、または現在の画像セッションを停止することができる。センサの過露光が検出されない場合、方法200は218に移る。
218において、以前に取得された圧縮フレームから圧縮フレームを減算することによって、差分圧縮フレームを生成する。次いで、差分圧縮フレームのピクセル値を有効範囲に調整する。例えば、差分圧縮フレームは、第1の圧縮フレームを取得した直後に、第2の時点t2において取得された第2の圧縮フレームから、第1の時点t1において取得された第1の圧縮フレームを減算すること、すなわちEt2-Et1によって得られる。
ステップ218は、任意選択で、減算の前に差分圧縮フレームを暗補正することを含み得る。すなわち、差分圧縮フレームは、順次取得された暗補正された圧縮フレームを減算することによって生成される。例えば、図3に示されるように、メモリ323に記憶された暗フレーム331を、任意選択で、325において圧縮フレームから減算し、暗補正された圧縮フレーム326を生成することができる。暗補正された圧縮フレーム326は、一時的にメモリ323に記憶される。暗補正された圧縮フレーム326はまた、以前に保存された圧縮フレームを減算するために328に送信される。遅延327の後、次の暗補正された圧縮フレームを受信すると、暗補正された圧縮フレーム326を、328において次の暗補正された圧縮フレームから減算して、差分圧縮フレームを生成する。
差分圧縮フレームのピクセル値は、図3のブロック329において有効範囲に調整される。有効範囲は、所定のノイズ振幅と、図2の208においてピクセル電圧を圧縮するために使用される第1の閾値電圧とに基づいて決定される。ノイズには、1つ以上のセンサダークノイズ、センササーマルノイズ、センサ読み出しノイズ、およびセンサ量子化ノイズが含まれる場合がある。ノイズ振幅は、照射なしで取得された画像フレームの検査から事前に決定することができる。例えば、ノイズ振幅は、荷電粒子ビームをサンプルに照射せずに取得された画像フレーム内のピクセル値の標準偏差に基づいて決定される。ノイズオフセットは、ノイズ振幅に基づいて決定される。ノイズオフセットは、ノイズ振幅の負の値である場合がある。一例では、有効範囲は、ノイズオフセットから第1の閾値電圧とノイズオフセットとの合計までであり、ノイズオフセットは正でない。ピクセル値がノイズオフセットよりも小さい場合、第1の閾値電圧がピクセル値に加算される。ピクセル値が、第1の閾値電圧とノイズオフセットとの合計よりも大きい場合、第1の閾値電圧がピクセル値から減算される。第1の閾値電圧は、208においてピクセル電圧を圧縮するために使用されるピクセル電圧Vまたはデジタル化されたピクセル電圧Dである。
図6Aは、ノイズがないかまたはノイズがゼロの場合に、差分圧縮フレームのピクセル値を有効範囲に調整することを示す。圧縮ピクセル電圧はゼロから第1の閾値電圧までであるため、差分圧縮フレームのピクセル値(すなわち、2つの圧縮ピクセル電圧間の差)は、負の第1の閾値電圧-Vから第1の閾値電圧Vまでである。有効範囲610は、ゼロからVまでである。網掛け領域が示すように、ピクセル値が無効範囲内(すなわち、有効範囲610の外)にある場合、第1の閾値電圧をピクセル値に加算することにより、ピクセル値は有効範囲に調整される。例えば、ピクセル値611は、ピクセル値612に調整される。したがって、無効範囲内のピクセル値は、矢印613によって示されるように、有効範囲に移動される。
図6Bは、ピクセル電圧にノイズが存在する場合に、差分圧縮フレームのピクセル値を有効範囲に調整することを示す。ノイズオフセット601は負である。有効範囲620は、ノイズオフセット601から、第1の閾値電圧Vとノイズオフセット601との合計602までである。網掛け領域は、無効範囲を示している。ピクセル値が-Vからノイズオフセット601までである場合、第1の閾値電圧Vがピクセル値に加算され、その結果、ピクセル値は、矢印621によって示されるように、0から合計602までの範囲に移動される。ピクセル値が合計602からVまでである場合、第1の閾値電圧Vがピクセル値から減算される。結果として、範囲623内のピクセル値は、矢印622によって示されるように、範囲624に移動される。
220において、差分画像に基づいてサンプル画像を形成する。図3に示すように、差分画像は、サンプル画像を生成するために、画像プロセッサ320からコントローラ50に転送される。ステップ220は、サンプル画像を形成する前に、差分画像を前処理することを含み得る。
このように、画像センサの読み出しをデジタル化するためのビット深度よりも低いビット深度でカメラからデータを読み出すことによって。カメラは、センサデータを読み出すための最大フレームレートで動作することができ、データ取得のための全体的なフレームレートを上げることができる。ピクセル電圧の圧縮は、デジタル化されたピクセル電圧のMSBから1つ以上のビットを削除することにより、高速で実行できる。圧縮差分フレームのピクセル値を有効範囲に調整することにより、順次的な画像センサの読み出し中のピクセル電圧の変化を損失なしに再構築できる。本明細書で順次記載された動作は、場合によっては、並び替えられるかまたは同時に実行され得ることに留意されたい。
図5は、カメラ出力からの圧縮フレームに基づいてセンサの過露光を検出するための方法500を示す。センサの過露光は、圧縮フレームのピクセル値の量および分散に基づいて検出され得る。一例では、過露光は、センサリセットの直後に取得された1つ以上の圧縮フレームに基づいて決定される。
502において、各圧縮フレームを複数のサブフレームに分割し、各サブフレームは1つ以上のピクセルを含む。サブフレームは互いに重複する場合がある。
504において、サブフレーム内のすべてのピクセル値の合計および分散を計算し、506において、それぞれ、閾値分散での閾値合計と比較する。一例では、分散は、サブフレーム内のピクセル値の数学的分散であり得る。別の例では、分散は、他の単純化された近似方法によって計算され得る。閾値合計は、各サブフレームのピクセル数、各ピクセルのフルウェル容量、および最も間近のセンサリセット後のフレーム数に基づいて決定できる。閾値分散は、実際の意図的な(損傷のない)過露光でピクセル値を測定することによって決定できる。いずれかのサブフレームのすべてのピクセル値の合計が閾値合計よりも大きく、サブフレームの分散が閾値分散よりも小さい場合、508において過露光が検出される。それ以外の場合、510において過露光は検出されない。
画像センサから読み出されたピクセル電圧を圧縮することの技術的効果は、ADCと読み出し電子機器との間の帯域幅、および/またはカメラと画像センサとの間の帯域幅が制限されているときでも、高いフレームレートのデータ転送を達成することである。デジタル化されたピクセル電圧のMSBから1つ以上のビットを削除することによってピクセル電圧を圧縮することの技術的効果は、圧縮を高速で実装できることである。順次取得された圧縮フレームに基づいて差分フレームを生成することの技術的効果は、センサに衝突する荷電粒子に応答するピクセル電圧の変化が決定されることである。差分圧縮フレームの範囲を補正して差分フレームを得ることの技術的効果は、圧縮によるエイリアシングが補正されることである。デジタル化された圧縮ピクセル電圧と差分フレーム内のピクセル値の精度は同じである。
一提示では、荷電粒子を検出するためのピクセル化画像センサを含むカメラからデータを取得するための方法は、第1および第2のデジタル化された圧縮ピクセル電圧をカメラから受信することと、第1のデジタル化された圧縮ピクセル電圧と第2のデジタル化された圧縮ピクセル電圧との間の差を計算することによって、差動圧縮ピクセル電圧を決定することと、所定のノイズオフセットおよび第1の閾値電圧によって決定される有効範囲に差動圧縮ピクセル電圧を調整することによって、差動ピクセル電圧を生成することと、差動ピクセル電圧に基づいてサンプルの画像を形成することと、を含む。
別の提示では、荷電粒子を検出するためのカメラは、画像センサおよび1つ以上のADCを備え、カメラは、画像センサをリセットせずに、画像センサの1つ以上のピクセルのピクセル電圧を複数回読み取ることと、ピクセル電圧を第1のビット数にデジタル化することと、デジタル化された圧縮ピクセル電圧を第2のより低いビット数で出力することであって、デジタル化された圧縮ピクセル電圧の最大範囲が、ピクセル電圧の最大範囲よりも小さく、デジタル化された圧縮ピクセル電圧が、デジタル化されたピクセル電圧の少なくとも最上位ビット(MSB)を削除することによって生成される、出力することと、を行うように構成される。
一実施形態では、荷電粒子を検出するためのピクセル化画像センサを含むカメラからデータを取得するための方法は、画像センサをリセットせずに、画像センサの1つ以上のピクセルのピクセル電圧を複数回読み取ることと、ピクセル電圧を第1のビット数にデジタル化することと、デジタル化された圧縮ピクセル電圧を第2のより低いビット数で出力することであって、デジタル化された圧縮ピクセル電圧の最大範囲が、ピクセル電圧の最大範囲よりも小さく、デジタル化された圧縮ピクセル電圧が、デジタル化されたピクセル電圧の少なくとも最上位ビット(MSB)を削除することによって生成される、出力することと、を含む。この方法の第1の例では、デジタル化されたピクセル電圧は、符号なしである。この方法の第2の例は、任意選択で、第1の例を含み、画像センサの1つ以上のピクセルの各ピクセルについて、第1のデジタル化された圧縮ピクセル電圧および第2のデジタル化された圧縮ピクセル電圧を順次受信することと、第1のデジタル化された圧縮ピクセル電圧と第2のデジタル化された圧縮ピクセル電圧との間の差を計算することによって、差動圧縮ピクセル電圧を決定することと、差動圧縮ピクセル電圧を有効範囲に調整することによって、差動ピクセル電圧を生成することであって、有効範囲が、所定のノイズオフセット、およびデジタル化された圧縮ピクセル電圧の最大範囲に基づいて決定される、生成することと、をさらに含む。この方法の第3の例は、任意選択で、第1から第2の例のうちの1つ以上を含み、有効範囲が、ノイズオフセットから閾値電圧とノイズオフセットとの合計までであり、閾値電圧が、デジタル化された圧縮ピクセル電圧の最大範囲に基づいて決定されることをさらに含む。この方法の第4の例は、任意選択で、第1から第3の例のうちの1つ以上を含み、差動圧縮ピクセル電圧を有効範囲に調整することが、ノイズオフセットよりも低い差動圧縮ピクセル電圧に応答して、差動圧縮ピクセル電圧に閾値電圧を加算することと、閾値電圧とノイズオフセットとの合計よりも大きい差動圧縮ピクセル電圧に応答して、差動圧縮ピクセルから閾値電圧を減算することと、をさらに含む。この方法の第5の例は、任意選択で、第1から第4の例のうちの1つ以上を含み、第2のビット数が、順次読み出しの間のピクセル値の変化の最大範囲に基づいて決定されることをさらに含む。この方法の第6の例は、任意選択で、第1から第5の例のうちの1つ以上を含み、デジタル化された圧縮ピクセル電圧が、デジタル化されたピクセル電圧と同じ信号精度を有することをさらに含む。この方法の第7の例は、任意選択で、第1から第6の例のうちの1つ以上を含み、デジタル化された圧縮ピクセル電圧が、デジタル化されたピクセル電圧の最下位ビット側から1つ以上のビットをさらに削除することによって生成されることをさらに含む。この方法の第8の例は、任意選択で、第1から第7の例のうちの1つ以上を含み、画像センサの1つ以上のピクセルのデジタル化された圧縮ピクセル電圧に基づいて、画像センサの過露光を検出することをさらに含む。
一実施形態では、荷電粒子を検出するためのピクセル化画像センサを含むカメラからデータを取得するための方法は、画像センサをリセットせずに、画像センサのピクセルのピクセル電圧を繰り返し読み取ることと、ピクセル電圧を圧縮ピクセル電圧に圧縮することであって、圧縮ピクセル電圧が、第1の閾値電圧の振幅以上であり、かつ第2の閾値電圧の振幅よりも小さいピクセル電圧の振幅に応答した、ピクセル電圧と第1の閾値電圧との間の差であり、圧縮ピクセル電圧の最大範囲が、第1の閾値電圧の振幅以下であり、圧縮ピクセル電圧の最大範囲が、ピクセル電圧の最大範囲よりも低い、圧縮することと、圧縮ピクセル電圧をデジタル化することと、デジタル化された圧縮ピクセル電圧を出力することと、を含む。この方法の第1の例では、この方法は、ピクセル電圧を圧縮することが、第2の閾値電圧の振幅以上であり、かつ第3の閾値電圧の振幅よりも小さいピクセル電圧の振幅に応答して、ピクセル電圧から第2の閾値電圧を減算することをさらに含む。この方法の第2の例は、任意選択で、第1の例を含み、第2の閾値電圧が第1の閾値電圧の2倍であることをさらに含む。この方法の第3の例は、任意選択で、第1から第2の例のうちの1つ以上を含み、ピクセルのピクセル電圧を所定の回数読み取った後、画像センサをリセットすることをさらに含む。この方法の第4の例は、任意選択で、第1から第3の例のうちの1つ以上を含み、ピクセル電圧の最大振幅よりも大きいピクセル電圧の振幅に応答して、画像センサをリセットすることをさらに含む。この方法の第5の例は、任意選択で、第1から第4の例のうちの1つ以上を含み、隣接するセンサリセット間のピクセル電圧が、ノイズ信号と重ね合わされた単調信号であることをさらに含む。この方法の第6の例は、任意選択で、第1から第5の例のうちの1つ以上を含み、第1のデジタル化された圧縮ピクセル電圧および第2のデジタル化された圧縮ピクセル電圧をカメラから順次受信することと、第1のデジタル化された圧縮ピクセル電圧および第2のデジタル化された圧縮ピクセル電圧を暗補正することと、暗補正された第1のデジタル化された圧縮ピクセル電圧と暗補正された第2のデジタル化された圧縮ピクセル電圧との間の差を計算することによって、差動圧縮ピクセル電圧を決定することと、差動圧縮ピクセル電圧を有効範囲に調整することによって、差動ピクセル電圧を生成することであって、有効範囲が、所定のノイズオフセットおよび第1の閾値電圧に基づいて決定される、生成することと、をさらに含む。この方法の第7の例は、任意選択で、第1から第6の例のうちの1つ以上を含み、有効範囲が、ノイズオフセットから第1の閾値電圧振幅とノイズオフセットとの合計までであることをさらに含む。
一実施形態では、サンプルからデータを取得するためのシステムは、荷電粒子をサンプルに向けて照射するための荷電粒子源と、照射に応答してサンプルから放出された荷電粒子を検出するためのカメラであって、カメラが、複数のピクセルを持つ画像センサおよび1つ以上のアナログ-デジタル変換器(ADC)を含み、カメラが、複数のピクセルのうちのピクセルに衝突する荷電粒子をピクセル電圧に変換することと、ピクセル電圧を圧縮ピクセル電圧に圧縮することであって、圧縮ピクセル電圧は、ピクセル電圧の振幅が、第1の閾値電圧の振幅以上であり、かつ第2の閾値電圧の振幅よりも小さい場合における、ピクセル電圧と第1の閾値電圧との間の差であり、圧縮ピクセル電圧の最大範囲が、第1の閾値電圧の振幅以下であり、圧縮ピクセル電圧の最大範囲が、ピクセル電圧の最大範囲よりも低い、圧縮することと、圧縮ピクセル電圧をデジタル化することと、デジタル化された圧縮ピクセル電圧を出力することと、を行うように構成された、カメラと、デジタル化された圧縮ピクセル電圧をカメラから受信し、かつデジタル化された圧縮ピクセル電圧に基づいて差動ピクセル電圧を生成するための画像プロセッサと、差動ピクセル電圧に基づいてサンプルの画像を形成するためのコントローラと、を備える。このシステムの第1の例では、このシステムは、デジタル化された圧縮ピクセル電圧をカメラから受信し、かつ圧縮ピクセル電圧に基づいて差動ピクセル電圧を生成することが、第1のデジタル化された圧縮ピクセル電圧および第2のデジタル化された圧縮ピクセル電圧を順次受信することと、第2のデジタル化された圧縮ピクセル電圧から第1のデジタル化された圧縮ピクセル電圧を減算することによって、差動圧縮ピクセル電圧を決定することと、差動圧縮ピクセル電圧を有効範囲に調整することによって、差動ピクセル電圧を生成することであって、有効範囲が、所定のノイズオフセットおよび第1の閾値電圧に基づいて決定される、生成することと、を含むこと、をさらに含む。このシステムの第2の例は、任意選択で、第1の例を含み、デジタル化された圧縮ピクセル電圧と差動ピクセル電圧が同じ精度を有することをさらに含む。

Claims (9)

  1. 荷電粒子を検出するためのピクセル化された画像センサを含むカメラからデータを取得するための方法であって、
    前記画像センサをリセットせずに、前記画像センサの1つ以上のピクセルのピクセル電圧を複数回読み取ることと、
    前記ピクセル電圧を第1のビット数にデジタル化することと、
    デジタル化された圧縮ピクセル電圧をり低い第2のビット数で出力することであって、前記デジタル化された圧縮ピクセル電圧の最大範囲が、前記ピクセル電圧の最大範囲よりも小さく、前記デジタル化された圧縮ピクセル電圧が、前記デジタル化されたピクセル電圧の少なくとも最上位ビット(MSB)を削除することによって生成される、出力することと、を含み、
    前記画像センサの前記1つ以上のピクセルの各ピクセルについて、第1のデジタル化された圧縮ピクセル電圧および第2のデジタル化された圧縮ピクセル電圧を順次受信することと、
    前記第1のデジタル化された圧縮ピクセル電圧と前記第2のデジタル化された圧縮ピクセル電圧との間の差を計算することによって、差動圧縮ピクセル電圧を決定することと、
    前記差動圧縮ピクセル電圧を有効範囲に調整することによって、差動ピクセル電圧を生成することであって、前記有効範囲が、所定のノイズオフセット、および前記デジタル化された圧縮ピクセル電圧の前記最大範囲に基づいて決定される、生成することと、をさらに含む、方法。
  2. 前記デジタル化されたピクセル電圧が、符号なしである、請求項1に記載の方法。
  3. 前記有効範囲が、前記ノイズオフセットから閾値電圧と前記ノイズオフセットとの合計までであり、前記閾値電圧が、前記デジタル化された圧縮ピクセル電圧の前記最大範囲に基づいて決定される、請求項に記載の方法。
  4. 前記差動圧縮ピクセル電圧を前記有効範囲に調整することが、前記ノイズオフセットよりも低い前記差動圧縮ピクセル電圧に応答して、前記差動圧縮ピクセル電圧に前記閾値電圧を加算することと、前記閾値電圧と前記ノイズオフセットとの前記合計よりも大きい前記差動圧縮ピクセル電圧に応答して、前記差動圧縮ピクセル電圧から前記閾値電圧を減算することと、を含む、請求項に記載の方法。
  5. 前記第2のビット数が、順次読み出しの間のピクセル値の変化の最大範囲に基づいて決定される、請求項1~のいずれかに記載の方法。
  6. 前記デジタル化された圧縮ピクセル電圧が、前記デジタル化されたピクセル電圧と同じ信号精度を有する、請求項1~のいずれかに記載の方法。
  7. 前記画像センサの前記1つ以上のピクセルの前記デジタル化された圧縮ピクセル電圧に基づいて、画像センサの過露光を検出することをさらに含む、請求項1~のいずれかに記載の方法。
  8. サンプルからデータを取得するためのシステムであって、
    荷電粒子を前記サンプルに向けて照射するための荷電粒子源と、
    前記照射に応答して前記サンプルから放出された荷電粒子を検出するためのカメラであって、前記カメラが、複数のピクセルを持つ画像センサおよび1つ以上のアナログ-デジタル変換器(ADC)を含み、前記カメラが、
    前記画像センサをリセットせずに、前記画像センサの1つ以上のピクセルのピクセル電圧を複数回読み取ることと、
    前記ピクセル電圧を第1のビット数にデジタル化することと、
    デジタル化された圧縮ピクセル電圧をより低い第2のビット数で出力することであって、前記デジタル化された圧縮ピクセル電圧の最大範囲が、前記ピクセル電圧の最大範囲よりも小さく、前記デジタル化された圧縮ピクセル電圧が、前記デジタル化されたピクセル電圧の少なくとも最上位ビット(MSB)を削除することによって生成される、出力することと、を行うように構成されている、カメラと、
    画像プロセッサであって、
    前記画像センサの前記1つ以上のピクセルの各ピクセルについて、第1のデジタル化された圧縮ピクセル電圧および第2のデジタル化された圧縮ピクセル電圧を順次受信することと、
    前記第1のデジタル化された圧縮ピクセル電圧と前記第2のデジタル化された圧縮ピクセル電圧との間の差を計算することによって、差動圧縮ピクセル電圧を決定することと、
    前記差動圧縮ピクセル電圧を有効範囲に調整することによって、差動ピクセル電圧を生成することであって、前記有効範囲が、所定のノイズオフセット、および前記デジタル化された圧縮ピクセル電圧の前記最大範囲に基づいて決定される、生成することと、を行うように構成されている、画像プロセッサと、を備えるシステム。
  9. 前記デジタル化された圧縮ピクセル電圧を前記カメラから受信し、かつ前記圧縮ピクセル電圧に基づいて前記差動ピクセル電圧を生成することが、
    第1のデジタル化された圧縮ピクセル電圧および第2のデジタル化された圧縮ピクセル電圧を順次受信することと、
    前記第2のデジタル化された圧縮ピクセル電圧から前記第1のデジタル化された圧縮ピクセル電圧を減算することによって、差動圧縮ピクセル電圧を決定することと、
    前記差動圧縮ピクセル電圧を有効範囲に調整することによって、前記差動ピクセル電圧を生成することであって、前記有効範囲が、所定のノイズオフセットおよび値電圧に基づいて決定される、生成することと、を含む、請求項に記載のシステム。
JP2021159493A 2020-09-30 2021-09-29 高速信号処理のための方法およびシステム Active JP7757600B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/039,620 2020-09-30
US17/039,620 US11297276B1 (en) 2020-09-30 2020-09-30 Method and system for high speed signal processing

Publications (2)

Publication Number Publication Date
JP2022058264A JP2022058264A (ja) 2022-04-11
JP7757600B2 true JP7757600B2 (ja) 2025-10-22

Family

ID=77998811

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021159493A Active JP7757600B2 (ja) 2020-09-30 2021-09-29 高速信号処理のための方法およびシステム

Country Status (4)

Country Link
US (1) US11297276B1 (ja)
EP (1) EP3979626B1 (ja)
JP (1) JP7757600B2 (ja)
CN (1) CN114339095B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230094416A (ko) * 2021-12-21 2023-06-28 삼성전자주식회사 이미지 센싱 장치, 이미지 센싱 방법 및 전자 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000330931A (ja) 1999-05-17 2000-11-30 Nec Eng Ltd Dma転送制御装置およびdma転送制御方法
JP2005151327A (ja) 2003-11-18 2005-06-09 Nec Micro Systems Ltd Pcmデータ圧縮・伸長方法及び装置
WO2012057258A1 (ja) 2010-10-29 2012-05-03 株式会社オーディオテクニカ デジタル伝送システム、デジタル伝送方法およびデジタル伝送プログラム
JP2013013828A (ja) 2007-02-06 2013-01-24 Toshiba Corp 磁気共鳴イメージング装置
JP2013085241A (ja) 2011-10-06 2013-05-09 Fei Co イメージセンサによるデータ取得方法
US20150062377A1 (en) 2013-08-29 2015-03-05 Pixim, Inc. Cmos image sensor implementing correlated double sampling with compression

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05110448A (ja) * 1991-10-16 1993-04-30 Matsushita Electric Ind Co Ltd デジタルデータ圧縮,伸長方法及びその再生装置
JP6164846B2 (ja) * 2012-03-01 2017-07-19 キヤノン株式会社 撮像装置、撮像システム、撮像装置の駆動方法
EP2904770B1 (en) * 2012-10-05 2018-01-10 Rambus Inc. Conditional-reset, multi-bit read-out image sensor
EP2874388B1 (en) * 2013-11-15 2019-05-15 Sony Depthsensing Solutions Method for avoiding pixel saturation
US10104318B2 (en) * 2013-12-04 2018-10-16 Rambus Inc. High dynamic-range image sensor
CN103957411A (zh) * 2014-04-08 2014-07-30 天津大学 基于cmos图像传感器的焦平面图像压缩装置
US9648265B2 (en) * 2014-04-29 2017-05-09 Semiconductor Components Industries, Llc Imaging systems and methods for mitigating pixel data quantization error

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000330931A (ja) 1999-05-17 2000-11-30 Nec Eng Ltd Dma転送制御装置およびdma転送制御方法
JP2005151327A (ja) 2003-11-18 2005-06-09 Nec Micro Systems Ltd Pcmデータ圧縮・伸長方法及び装置
JP2013013828A (ja) 2007-02-06 2013-01-24 Toshiba Corp 磁気共鳴イメージング装置
WO2012057258A1 (ja) 2010-10-29 2012-05-03 株式会社オーディオテクニカ デジタル伝送システム、デジタル伝送方法およびデジタル伝送プログラム
JP2013085241A (ja) 2011-10-06 2013-05-09 Fei Co イメージセンサによるデータ取得方法
US20150062377A1 (en) 2013-08-29 2015-03-05 Pixim, Inc. Cmos image sensor implementing correlated double sampling with compression

Also Published As

Publication number Publication date
US20220103771A1 (en) 2022-03-31
US11297276B1 (en) 2022-04-05
CN114339095B (zh) 2026-04-28
JP2022058264A (ja) 2022-04-11
EP3979626A1 (en) 2022-04-06
EP3979626B1 (en) 2026-04-29
CN114339095A (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
JP7105647B2 (ja) 透過型荷電粒子顕微鏡における回折パターン検出
JP7648052B2 (ja) データ処理装置によって実施される方法、およびそのような方法で試料を検査するための荷電粒子ビームデバイス
JP6586525B2 (ja) 荷電粒子線装置
US10825647B2 (en) Innovative imaging technique in transmission charged particle microscopy
US10373797B2 (en) Charged particle beam device and image forming method using same
WO2012039206A1 (ja) 荷電粒子ビーム顕微鏡
US20200273663A1 (en) Improved system for electron diffraction analysis
CN106796861A (zh) 混合能量转换与处理检测器
JP7757600B2 (ja) 高速信号処理のための方法およびシステム
JP7026568B2 (ja) 荷電粒子顕微鏡法の革新的な画像処理
Vulovic et al. A toolkit for the characterization of CCD cameras for transmission electron microscopy
US20200020504A1 (en) Charged-particle beam system
EP4632787A1 (en) Method for obtaining a tilt series of images of a sample at a plurality of tilt angles
EP4632789A1 (en) Charged particle microscope having a charged particle detector
JPH1167138A (ja) 微小領域観察装置
CN108878239B (zh) 带电粒子显微镜中的图像处理
JPH0697783B2 (ja) バツクグラウンドノイズ除去装置
JP2024085815A (ja) 放射線検出器、放射線検出器の駆動方法、および放射線撮像システム
JP2671117B2 (ja) 元素マッピング装置
JP2022170634A (ja) 放射線撮像装置及び放射線撮像システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250318

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250909

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250918

R150 Certificate of patent or registration of utility model

Ref document number: 7757600

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150