JP6254889B2 - スティッチング露光処理補正方法および撮像装置 - Google Patents

Description

本発明は、スティッチング露光処理補正方法および撮像装置に関し、詳しくは、大型サイズのイメージセンサを露光する場合などに採用されるスティッチングを用いて作製された撮像素子からの画像出力に対して補正処理を行うスティッチング露光処理補正方法および撮像装置に関するものである。

従来より、イメージセンサ等のIC素子をリソグラフィ工程を用いて作製するに際し、マスクやレチクル等の原板に形成された回路パターンを投射光学系を介して、レジストが塗布されたウエハやガラスプレート等の基板（以下、ウエハ等と称する）上に露光転写する投影露光装置が知られている。この種の投影露光装置としては、ステップ・アンド・リピート方式の縮小投影露光装置（いわゆるステッパー）等が代表的なものとして知られている。

その一方、特に、イメージセンサが大型サイズ（例えば外形の横幅が40mm）であるような場合には、ウエハ等上に形成すべきパターンによっては、露光装置により１回に露光される範囲よりも、露光したいパターン領域の方が大きいことがある。このような場合には、ウエハ等上に形成すべきパターンを複数に分割し、その分割パターンをウエハ等上の隣接部に順次露光して繋ぎ合わせる、スティッチング（開口合成）による露光方法が知られている（非特許文献１を参照）。

A Large Format CMOS Image Sensors（Suat Utku Ay 著；pp186―187；7.6 Special CMOS FabricationProcess:Stitching）

しかしスティッチング露光処理においては、周囲環境や各種条件の変化により各露光毎に回路パターンに差異が生じるため、形成された回路（特に増幅用のトランジスタとしての機能）は分割露光に対応する領域毎に差異が生じ、その回路動作が一様でなくなってしまう。例えば、イメージセンサの水平方向（通常の使用状態における水平方向）の中心線を境として、その両側で各々露光を行った場合、そのイメージセンサはそれぞれのエリアで互いに異なった感度になり、撮像された出力画像は、その領域毎に輝度のレベル差（以下、単にレベル差と称することがある）が生じる場合がある。

本発明は、このような事情に鑑みなされたものであり、撮像素子を作製する際のスティッチング露光処理において、周囲環境や各種条件の変化により、各露光毎に投影回路パターンに差異が生じた場合であっても、作製された撮像素子を用い、その撮像素子からの画像出力における各領域毎のレベル差が低減されるように補正し得るスティッチング露光処理補正方法および撮像装置を提供することを目的とする。

本発明のスティッチング露光処理補正方法は、
製造工程において、スティッチング露光処理を用いて作製された撮像素子からの画像出力について補正を行うスティッチング露光処理補正方法であって、
まず、所定方向に輝度が変化する輝度変化パターンを該撮像素子により撮像し、該撮像素子から出力された画像におけるスティッチングカラムの両側に位置する各領域の、対応する各画素について比較し、この比較結果をプロファイルテーブルに記憶して、初期プロファイルの生成処理を行い、
次に、所定フレーム数の撮像毎に、前記スティッチングカラムの両側に位置する各領域について、各画素位置(x,y)における、前記輝度変化パターンの輝度が変化する方向の勾配grad(x,y)が所定の演算式を満足するように、位置(x,y)における補正値c(x,y)を求め、この補正値c(x,y)に係る値が所定のしきい値を超えた場合に、前記プロファイルテーブルの対応画素位置の画素値に前記補正値c(x,y)に係る値を乗じ、プロファイルの更新処理を行うことを特徴とするものである。
ここで、上記「補正値c(x,y)に係る値」とは、例えば、補正値c(x,y)におけるゲイン値を意味するものとする。
また、本明細書において「ゲイン値」とは、元の値（入力値）を新しい値（出力値）にするための、元の値に対する乗算値（倍率）を意味するものとする。

また、前記輝度変化パターンの画像におけるスティッチングカラムの両側に位置する所定幅の領域を各々の比較対象エリアとし、これらの比較対象エリアの各画素値について、入力画素値に対応するゲイン値を求め、この求められたゲイン値に基づいて前記スティッチングカラムの両側に位置する全領域の各画素値に関するゲイン値とみなすことが好ましい。
また、前記プロファイルの更新処理において位置(x,y)の補正値c(x,y)におけるゲイン値を求めるために、前記比較対象エリアでゲイン値を算出する前に、前記輝度変化パターンの輝度が変化する方向にローパスフィルタ処理を施すことが好ましい。

また、前記所定の演算式が、下記条件式（１）で表されることが好ましい。
grad(x,y)={grad(x-1,y)+grad(x+1,y)}/2 ……（１）
また、前記初期プロファイルの生成処理に先立ち、遮光して撮像した際の前記スティッチングカラムの両側に位置する各領域の出力レベル差を測定演算し、この測定演算された出力レベル差を減少させるようにオフセット補正を行うことが好ましい。
また、前記所定フレーム数が１であることが好ましい。

さらに、本発明の撮像装置は、
製造工程において、スティッチング露光処理を用いて作製された撮像素子からの画像出力について補正を行う撮像装置であって、
所定方向に輝度が変化する輝度変化パターンの撮像に応じ、該撮像素子から出力された画像におけるスティッチングカラムの両側に位置する各領域から出力される画素値を比較する画素値比較判定手段と、
該画素値比較判定手段の比較判定結果を各画素値と関連付けたプロファイルテーブルに記憶するプロファイルテーブル初期設定手段と、
所定フレーム数の撮像毎に、前記スティッチングカラムの両側に位置する各領域について、各画素位置(x,y)における、前記輝度変化パターンの輝度が変化する方向の勾配grad(x,y)が所定の演算式を満足するように、位置(x,y)における補正値c(x,y)を求める補正値算出手段と、
該補正値算出手段により算出された補正値c(x,y)に係る値を、所定のしきい値と比較するしきい値比較手段と、
前記しきい値比較手段により、前記補正値に係る値が所定のしきい値よりも大きいとされた場合に、前記プロファイルテーブルの対応画素位置の画素値に前記補正値c(x,y)に係る値を乗じてプロファイルの更新処理を行うプロファイルテーブル更新手段と、
を備えたことを特徴とするものである。

本発明のスティッチング露光処理補正方法および撮像装置によれば、撮像素子からの画素出力に対して、初期プロファイルの生成処理とプロファイルの更新処理に分けて補正処理を行い、しかも、所定のタイミング毎に上記更新処理を行なうようにしている。これにより、スティッチングを要するような大型サイズの撮像素子を作製するような場合において、作製時における分割露光された各領域毎に、撮像された画質に差異が生じた場合であっても、その画質の差異を低減するように補正することが可能である。
特に動画においては、フレーム画像を所定速度で切替表示させていく必要があることから、周囲環境温度や電圧の変化に迅速に対応し得る、本発明方法および装置が好適である。

本発明の実施形態に係る撮像装置を示すブロック図である。 初期プロファイル生成用原板に形成されたパターンの一例を示す概略図である。 図２に示すパターンを撮像した撮像装置から出力された画像の一例を示す概略図である。 プロファイルテーブルにおける、撮像素子出力値ｉ、最終出力値ｃ（ｉ）およびゲイン値の対応関係を示す補正テーブルを表す図である。 補正値算出手段において用いられる勾配の概念を説明するための概略図である。 プロファイルテーブルの更新処理を説明するためのフローチャートである。

以下、本発明の実施形態について、上記図面を参照しながら詳細に説明する。
（実施形態）
図１は、本発明の実施形態に係る撮像装置１０の一部を示すブロック図であり、撮像素子１１の後段に設けられた、信号処理手段１２中には、補正処理部１３、プロファイル算出部１４、プロファイルテーブル部１５および切替スイッチ部１６が有機的に連結される様子が示されている。

ところで、上述した撮像素子（CMOSやCCD等のイメージセンサ）１１の製造工程でのスティッチング露光処理においては、周囲環境や諸条件の変化により各露光（分割領域）毎に回路パターンに差異が生じるため、その回路動作が一様でなくなる。そこで、本実施形態の撮像装置１０においては、作製された撮像素子１１を用いて撮像し、その撮像して得られた映像の各画素出力に対して所定の補正を施し、各スティッチング領域からの画像輝度のレベル差が小さくなるようにした後に、映像信号として出力するようにしている。
所定の補正は、プロファイルテーブル部１５に予め設定され、かつ逐次更新されるデータを用いて行われる。

各スティッチング領域毎の映像信号出力のレベル差は、オフセットと非線形ゲインにより生じているものと考えられる。
（オフセットによるレベル差）
オフセットにより生じるレベル差については、撮像素子を遮光した状態で得られた信号出力を測定し、プロファイル算出部１４においてスティッチングカラム（スティッチングライン）の両側の領域の対応する画素におけるレベル差を各画素毎に算出し、プロファイルテーブル部１５においてそのレベル差が解消されるように、各画素に対して所定の値を加算する。
このオフセットによるレベル差を低減する補正は、下述する非線形なレベル差を低減する補正に先んじて行われることが好ましいが、この非線形なレベル差を低減する補正と同時に行うようにしてもよい。

（非線形的なレベル差）
一方、スティッチング露光処理において生じる各スティッチング領域毎のレベル差のうち、光量依存の非線形ゲイン性のレベル差（特に周囲環境温度や印加電圧の変化により生じる）については、種々の要因により発生するものであり単純な計算で算出することは困難である。

そこで、本実施形態においては、初期プロファイルを生成する初期プロファイル生成処理と、その後の各フレーム毎にプロファイルを逐次更新するプロファイル更新処理とを行い、逐次更新したデータを記憶するデータテーブルを用いて補正処理を行うことによって、光量依存の非線形ゲイン性のレベル差を低減するようにしている。
以下、光量依存の非線形ゲイン性のレベル差を低減する処理を、初期プロファイル生成処理と、プロファイル更新処理とに分けて説明する。

Ａ．初期プロファイル生成処理
まず、図２に示すような、レチクルやガラス板等の原板に記録された輝度変化パターンを、撮像素子１１によって所定時間に亘り撮像する。この輝度変化パターンは、所定方向（図２では図面上下方向）に輝度が漸時変化するものである。
なお、上記撮像後において、撮像素子１１から出力されたそのままの画素出力は図３に示すように表される。すなわち、スティッチングカラム（スティッチングライン）２１の両側の領域は互いに輝度が異なっており、このままでは画質の劣化が生じることは明らかである。

次に、撮像した映像について、時間軸方向の数フレーム分について各画素毎の平均値を算出する。これにより、ランダムノイズ成分や急峻なレベル変化を抑制することができる。この算出処理はプロファイル算出部１４において行われる。

ここで、スティッチングカラム２１を挟んだ左右両側の数カラムのエリアを比較対象エリア２２と称する。

この後、スティッチングカラム２１を挟んで左右両側に形成された比較対象エリア２２内で互いに対応する各画素について、各々の入力画素値に対するゲイン値を計算し、比較する。
この比較対象エリア２２内の各画素におけるゲイン値に基づき、領域の他の場所における画素についてのゲイン値も、まだ計算されていない画素値について、補間等の処理を用いて算出する（各々の領域内の画素間において所定の相関があるものとして扱う）。これらの算出処理はプロファイル算出部１４において行われる。

次に、上記各画素値と、それに対応する上記ゲイン値との関係を対応させたデータテーブルをプロファイルテーブル部１５で作成する。このプロファイルテーブル部１５は、スティッチングが１回であれば２領域について、スティッチングが２回であれば３領域について、各々の領域毎の対応関係データを記憶したものとなる。この対応関係データのうち、各画素値と、その画素値におけるゲイン値が補正処理部１３に送出される。

Ｂ．プロファイル更新処理
撮影実行中に、温度変化や電圧変動等が生じることがあるが、これに応じ、１フレーム毎にプロファイルテーブル部１５の更新処理を行う。これにより、その状況に迅速に対応した補正処理を行うことができる。

なお、上記更新処理においては、比較対象エリア２２について、ランダムノイズ成分や急峻なレベル変化を低減する目的で、輝度変化方向（図３中の上下方向：輝度変化パターンの輝度が変化する方向（以下同じ））にノイズカットフィルタ処理（ローパスフィルタ処理）、例えば、加算平均フィルタ処理を適用することが好ましい。これにより、スティッチングカラムを挟む両領域の相関性を高めることができる。

次に、補正を行う領域において、スティッチングカラムを挟んで画素位置(x,y)での輝度変化方向の勾配grad(x,y)が、
grad(x,y)=(grad(x-1,y)+grad(x+1,y))/2 ……（１）
なる条件式（１）を満足するように、位置(x,y)の補正値c(x,y)に対するゲイン値を求める。

なお、図５は、上式（１）を概念的に表すものであり、画素値の変化を表す曲線の各位置において、隣接する両側ライン上での傾き(grad(x-1,y)と傾きgrad(x+1,y)の平均値を算出することにより、傾きgrad(x,y)を求めることができることを示している。すなわち、スティッチングされているラインの両側のエリアの情報を取り、これに基づいてスティッチングライン上での傾きを求め、これを対応テーブルへの入力情報とするものである。これにより、両領域の相関性を逐次良好なものとすることができる。

次に、上記求められたゲイン値を、所定のしきい値と比較し、このしきい値を上回っていれば、プロファイルテーブル部１５の対応位置の記憶データにこのゲイン値を乗算し、プロファイルテーブル更新処理を終了する。
実際には、１つ前のフレームの値c(x,y)におけるゲイン値により、補正された現フレームの値c´(x,y)におけるゲイン値を除し、その結果を、上記しきい値と比較する必要がある。

（撮像装置の構成）
次に、上記初期プロファイル生成処理および上記プロファイル更新処理を行う撮像装置１０の構成について、再度図１を用い、処理の流れに沿って具体的に説明する。

まず、初期プロファイル生成処理時においては、撮像素子１１からの画素出力は、切替スイッチ部１６に入力されるとともに、プロファイルテーブル部１５にも入力される。

初期プロファイル生成処理時においては、切替スイッチ部１６は端子ａと接続されているので、撮像素子１１からの画素出力（第１番目の画像フレーム）は、切替スイッチ部１６の端子ａから映像信号出力として、補正処理部１３を通過することなく、プロファイル算出部１４に入力されるとともに、直接外部に出力される。

このプロファイル算出部１４においては、入力された画素出力について演算がなされ、それによって算出された数値はプロファイルテーブル部１５に送出される。
このプロファイルテーブル部１５においては、入力された画素出力、およびプロファイル算出部１４によって算出された数値に基づき、各画素値と、それに対応するゲイン値との新たな対応関係が記憶される。この対応関係は、例えば図４に示すように、撮像素子１１からの画素出力値ｉ（撮像素子出力値i）と、プロファイルテーブル部１５からの画素出力値（補正値）c(i)(テーブル部出力値c(i))と、ゲイン値c(i)/i によって表される。

この後、上記各画素値と、その画素値における上記ゲイン値が補正処理部１３に送出される。補正処理部１３においては、これら各画素値と、その画素値における上記ゲイン値の関係に基づき、次の画像フレームについての画素出力を補正する。

プロファイル更新処理時においても、撮像素子１１からの画素出力は、切替スイッチ部１６に入力されるとともに、プロファイルテーブル部１５に入力される。

プロファイル更新処理時においては、切替スイッチ部１６は端子ｂと接続されているので、撮像素子１１からの画素出力は、切替スイッチ部１６から補正処理部１３に入力され、この補正処理部１３において、その直前にプロファイルテーブル部１５から入力されたこれら各画素値と、その画素値における上記ゲイン値に基づき補正され、この補正処理部１３から映像信号出力として外部に出力される。また、この補正処理部１３からの出力値は、プロファイル算出部１４およびプロファイルテーブル部１５にも各々入力される。

一方、プロファイルテーブル部１５においては、このプロファイルテーブル部１５に入力された画素出力、プロファイル算出部１４によって算出された数値、および補正処理部１３からの出力値に基づき、各画素値と、それに対応するゲイン値との新たな対応関係が記憶される。この記憶処理は、条件式（１）を満足し得る、位置(x,y)についての補正値c(x,y)のゲイン値を決定されたこと、および、このゲイン値が所定のしきい値を上回ったと判断されたことに基づき、プロファイルテーブル部１５の所定位置の数値に、この新たなゲイン値が乗じられることによりなされる。

この後、上記各画素値と、その画素値における上記ゲイン値が補正処理部１３に送出される。補正処理部１３においては、これら各画素値と、その画素値における上記ゲイン値の関係に基づき、次の画像フレームについての画素出力を補正し、映像信号出力として外部に出力する。

次に、本実施形態に係るスティッチング露光処理補正方法の一部について、図６に示すフローチャートを用いて説明する。

まず、初期位置(x,y)としてｘにはスティッチングカラム位置を、ｙには０を、各々設定する（Ｓ１０）。
なお、このステップ１０（Ｓ１０）および以下のステップにおける各種演算処理はプロファイル算出部１４において行なわれる。
次に、(x,y)位置の撮像素子出力値ｉに対する、１つ前の画像フレームについての補正値（補正処理部１３からの出力値）c(x,y)のゲイン値（以下、単にc(x,y)と称する）を取得する（Ｓ１１）。

次に、c(x,y)位置でのｙ方向（図３中上下方向）の勾配grad(x,y)を算出する（Ｓ１２）。
次に、条件式（１）を満足する補正値c´(x,y)のゲイン値（以下、単にc´(x,y)と称する）を探索する（Ｓ１３）。

次に、上記c(x,y)を上記c´(x,y)で除して倍率（ゲイン倍率：以下同じ）Ｇを得る（Ｓ１４）。
次に、ステップ１４（Ｓ１４）で得た倍率Ｇが、所定のしきい値を上回っているか否かを比較する（Ｓ１５）。この比較の結果、倍率Ｇが、所定のしきい値を上回っていると判断されれば、プロファイルテーブル部１５において、ｉに対する出力値（補正値）を更新し（Ｓ１６）、対象設定位置(x,y)を更新（ｙをインクリメント）する（Ｓ１７）。上記比較の結果、倍率Ｇが、所定のしきい値以下と判断されれば、ステップ１６（Ｓ１６）を省略してステップ１７（Ｓ１７）の対象設定位置(x,y)を更新（ｙをインクリメント）する（Ｓ１７）。

この後、対象設定位置(x,y)におけるｙが最終ラインまで更新されたか否かを判定し（Ｓ１８）、判定の結果、ｙが最終ラインまで更新されていなければ、上記ステップ１１に戻って、それ以降のステップを繰り返し行い、ｙが最終ラインまで更新されていれば、本フロー処理を終了する。

以上、本実施形態に係るスティッチング露光処理補正方法および撮像装置について説明しているが、本発明のスティッチング露光処理補正方法および撮像装置としては、上記実施形態に記載のものに限られるものではなく、その他の種々の態様の変更が可能である。

例えば、上記実施形態においては、スティッチングが２次元の一方向にのみ行われるように記載されているが、スティッチングを直交する２方向とすることも可能である。この場合において、初期プロファイル生成用のパターンは、直交する２方向にグラデーションを有するものとすることが好ましい。

また、上記実施形態においては、プロファイル更新処理を１フレーム毎に行うようにしているが、それ以外のタイミングで（例えば２フレーム毎に）適宜行うようにしてもよい。

また、上記実施形態においては、条件式（１）を用いて、位置(x,y)の補正値c(x,y)におけるゲイン値を求めるようにしているが、これに替えて他の演算式を用いることが可能である。
例えば、画素位置(x,y)での勾配grad(x,y)を、grad(x-2,y)、(grad(x-1,y)、(grad(x+1,y)およびgrad(x+2,y)の勾配の平均値により求めるようにしてもよい。

１０ 撮像装置
１１ 撮像素子
１２ 信号処理手段
１３ 補正処理部
１４ プロファイル算出部
１５ プロファイルテーブル部
１６ 切替スイッチ部
２１ スティッチングカラム
２２ 比較対象エリア（囲み部分）

Claims (7)

1. 製造工程において、スティッチング露光処理を用いて作製された撮像素子からの画像出力について補正を行うスティッチング露光処理補正方法であって、
   まず、所定方向に輝度が変化する輝度変化パターンを該撮像素子により撮像し、該撮像素子から出力された画像におけるスティッチングカラムの両側に位置する各領域の、対応する各画素について比較し、この比較結果をプロファイルテーブルに記憶して、初期プロファイルの生成処理を行い、
   次に、所定フレーム数の撮像毎に、前記スティッチングカラムの両側に位置する各領域について、各画素位置(x,y)における、前記輝度変化パターンの輝度が変化する方向の勾配grad(x,y)が所定の演算式を満足するように、位置(x,y)における補正値c(x,y)を求め、この補正値c(x,y)に係る値が所定のしきい値を超えた場合に、前記プロファイルテーブルの対応画素位置の画素値に前記補正値c(x,y)に係る値を乗じ、プロファイルの更新処理を行うことを特徴とするスティッチング露光処理補正方法。
2. 前記輝度変化パターンの画像におけるスティッチングカラムの両側に位置する所定幅の領域を各々の比較対象エリアとし、これらの比較対象エリアの各画素値について、入力画素値に対応するゲイン値を求め、この求められたゲイン値に基づいて前記スティッチングカラムの両側に位置する全領域の各画素値に関するゲイン値とみなすことを特徴とする請求項１記載のスティッチング露光処理補正方法。
3. 前記プロファイルの更新処理において位置(x,y)の補正値c(x,y)に対するゲイン値を求めるために、前記比較対象エリアでゲイン値を算出する前に、前記輝度変化パターンの輝度が変化する方向にローパスフィルタ処理を施すことを特徴とする請求項２記載のスティッチング露光処理補正方法。
4. 前記所定の演算式が、下記条件式（１）で表されることを特徴とする請求項１〜３のうちいずれか１項記載のスティッチング露光処理補正方法。
   grad(x,y)={grad(x-1,y)+grad(x+1,y)}/2 ……（１）
5. 前記初期プロファイルの生成処理に先立ち、遮光して撮像した際の前記スティッチングカラムの両側に位置する各領域の出力レベル差を測定演算し、この測定演算された出力レベル差を減少させるようにオフセット補正を行うことを特徴とする請求項１〜４のうちいずれか１項記載のスティッチング露光処理補正方法。
6. 前記所定フレーム数が１であることを特徴とする請求項１〜５のうちいずれか１項記載のスティッチング露光処理補正方法。
7. 製造工程において、スティッチング露光処理を用いて作製された撮像素子からの画像出力について補正を行う撮像装置であって、
   所定方向に輝度が変化する輝度変化パターンの撮像に応じ、該撮像素子から出力された画像におけるスティッチングカラムの両側に位置する各領域から出力される画素値を比較する画素値比較判定手段と、
   該画素値比較判定手段の比較判定結果を各画素値と関連付けたプロファイルテーブルに記憶するプロファイルテーブル初期設定手段と、
   所定フレーム数の撮像毎に、前記スティッチングカラムの両側に位置する各領域について、各画素位置(x,y)における、前記輝度変化パターンの輝度が変化する方向の勾配grad(x,y)が所定の演算式を満足するように、位置(x,y)における補正値c(x,y)を求める補正値算出手段と、
   該補正値算出手段により算出された補正値c(x,y)に係る値を、所定のしきい値と比較するしきい値比較手段と、
   前記しきい値比較手段により、前記補正値に係る値が所定のしきい値よりも大きいとされた場合に、前記プロファイルテーブルの対応画素位置の画素値に前記補正値c(x,y)に係る値を乗じてプロファイルの更新処理を行うプロファイルテーブル更新手段と、
   を備えたことを特徴とする撮像装置。