JP4484513B2 - シーンの照度レベルに鈍感なオートフォーカス方法 - Google Patents

Description

本発明は、包括的には、自動カメラピント合せ機構に関し、特に、背景照度に対する感受性を除去するオートフォーカス方法に関する。

最近のカメラはすべて、オートフォーカス調整のためのある機構を提供する。オートフォーカス調整システムは通常、ピントの品質を評価する検出器と、電子コントローラと、電動レンズアセンブリとを含むいくつかのコンポーネントを有する。電動コントローラは、検出器が、ピント品質が最適化されたと判定するまで、レンズのピント位置を変化させるアルゴリズムを実施する。

デジタルカメラでは、ピント品質検出器として画像検出器（たとえば、ＣＣＤ、ＣＭＯＳセンサ）もまた使用することができる。この方法の利点には、いかなる特別な要素も必要でないという事実と、フォーカスセンサと画像センサとの間に位置合せ誤りがないこととがある。ピント検出器として画像センサを使用するために、数千から数万の画像ピクセルからの情報を結合して、ピント品質の単一の尺度（メトリック）を生成しなければならない。尺度は、概して画像のコントラストに関連し、すなわち、コントラストが向上するにしたがいレンズはよりピントが合い、レンズのピントがずれるにしたがいコントラストが低下する。したがって、この技術は、概して、ピント判定のコントラスト方法として知られる。

画像の空間分散は、有効なピント性能指数として役立つ可能性がある単純な統計量である。レンズのピントが合う時、空間分散は最大化される。レンズのピントが合わない時、ぼけが空間ローパスフィルタのように作用し、分散が下がる。分散を計算する前に、画像上でその軸のうちの１つに沿って１次階差（１次微分）を実行することにより、尺度をさらに改良することができる。１次階差操作により、尺度は、画像のゆるやかな広範囲にわたる変化に対して感受性が低くなり、この画像の変化は、レンズのピントがずれている場合に大幅には減衰しない。

空間分散ピント尺度は、シーン照度レベルならびに、シーンコンテンツおよびレンズピント設定によって決まる。蛍光灯の場合のように、照度レベルが時間とともに変化する場合、照度による尺度の変化により、ピント制御アルゴリズムはうまくいかない可能性がある。ピント尺度変化が照度変化によってもたらされる状態でピント制御アルゴリズムが提供される場合、ピント制御アルゴリズムは、変化をフォーカス位置の誤差として解釈し、ピント位置に対して誤った補正を行うであろう。このため、理想的なピント性能指数は、照度の影響を受けない。

ピント尺度の照度に対する感受性を除去する明らかな方法は、それを平均照度に正規化する、というものである。分散尺度の場合、これは、分散を画像の平均値の二乗によって除算することによって達成することができる。不都合なことには、これは、ノイズの影響を無視するため、照度感受性を除去しない。

手短に言えば、本発明は、一実施形態においては、撮像装置（image device）に対するオートフォーカス調整を行う方法であって、ある軸に沿って画像を微分（differentiate）して差分画像を取得するステップと、差分画像の分散を計算するステップと、分散に対するノイズ寄与を算出するステップと、分散からノイズ寄与を減じるステップと、調整されたノイズ分散を、オートフォーカス調整を行う際の係数として使用するステップと、を含む方法である。

本発明のさらなる態様では、分散を正規化するステップを提供する。

本発明のさらなる態様では、分散の正規化を、ノイズ寄与を減じるステップを実行した後の結果として生じる分散に対して実行する。

本発明のさらなる態様では、ノイズ寄与を算出するステップは、分散に対するショットノイズ寄与を算出することを含み、ノイズ寄与を減じるステップは、ショットノイズを減じることを含む。

本発明のさらなる態様では、ノイズ寄与を算出するステップは、読出しノイズを算出することを含み、ノイズ寄与を減じるステップは、読出しノイズを減じることを含む。

本発明のさらなる態様では、ノイズ寄与を算出するステップは、読出しノイズを算出することを含み、ノイズ寄与を減じるステップは、読出しノイズを減じることを含む。

本発明のさらなる態様では、差分画像を、画像をそれ自体のずらしたものから減じることによって求め、分散に対するショットノイズ寄与を算出するステップは、画像からのショットノイズを画像のずらしたものにおけるショットノイズから減じることを含む。

本発明のさらなる態様では、分散に対するショットノイズ寄与を算出するステップは、差分画像を作成するために減じられる２つの画像におけるショットノイズの分散に対する寄与を算出することと、差分画像の分散に対するショットノイズの総寄与を取得するために分散を合計することと、を含む。

本発明のさらなる態様では、分散に対する読出しノイズ寄与を算出するステップは、暗闇状態において収集された単一画像から求められる読出しノイズに２を掛けることを含む。

本発明のさらなる実施形態では、撮像装置に対するオートフォーカス調整のためのシステムであって、差分画像の分散を計算し、分散に対するノイズ寄与を算出し、分散からノイズ寄与を減じ、制御信号を生成するように設計されたプロセッサと、レンズと、上記制御信号を係数として使用することによりレンズのピントを自動的に調整するコンポーネントと、を備えるシステムを提供する。

本発明のさらなる態様では、プロセッサは分散を正規化する。

本発明のさらなる態様では、プロセッサは、分散に対するショットノイズ寄与を算出することによりノイズ寄与を算出し、分散からショットノイズを減じる。

本発明のさらなる実施形態では、撮像装置に対してオートフォーカス調整を行うためのプログラム製品であって、差分画像の分散を計算する方法ステップと、分散に対するノイズ寄与を算出する方法ステップと、分散からノイズ寄与を減じる方法ステップと、を実行するコンピュータ読取可能コードを含む、プログラム製品を提供する。

本発明は、ノイズの影響を精密に考慮する、ピント性能指数の照度レベルに対する感受性を除去する新たな方法およびシステムならびにプログラム製品である。デジタルカメラ画像では、２つの異なるタイプのノイズ、すなわちショットノイズおよび読出しノイズが支配的である。ショットノイズは、離散的な到着過程（arrival process）の自然な特徴である。それは、光が量子化された性質を有するために写真撮影において発生する。露光期間中にピクセルが光の平均「Ｎ」個の光子を受取る場合、計数される光子の数の標準偏差は、ショットノイズの影響により、「Ｎ」の平方根となる。読出しノイズは、電子増幅、暗電流および他の電子ノイズ源によってもたらされる付加的ノイズを記述する項である。読出しノイズは、一定標準偏差を有し、信号レベルには依存しない。

ピント性能指数は、読出しノイズとショットノイズとの両方に応答する。これを、平坦な均一に照明されたシーンに対する応答を考慮することによって説明することができる。シーン変化がない場合、総分散はショットノイズおよび読出しノイズの分散の合計となる。１次階差操作により、分散は２倍に増加するが、他の影響はまったくない。尺度が平均の二乗に正規化されると、ピント尺度は、ＦＯＭ〜（Ｒｎ＋ｓｑｒｔ（Ｎ））／Ｎのように変化する。照度がゼロに向うにしたがい、読出しノイズおよびショットノイズ項は平均信号項ほど急速には減らないため、ピント尺度は無限になる。本発明の、ピント性能指数の照度レベルに対する感受性を除去する技術を実現するために、カメラは、読出しノイズレベルおよびシステム利得係数の両方を決定するよう、十分特徴付けられなければならない。システム利得係数は、カメラのデジタルレベル毎の電子の数の測度である。この方法では、ピント性能指数に対するノイズの寄与を、尺度を照度に対して正規化する前に別々に計算し減じる。

ここで図１を参照して、本発明を実現する好ましい実施形態を示す。図１の実施形態は、電子ピント合せを有するレンズ１０を含む。本実施形態はさらに、レンズ１０から画像を受取る画像センサ２０を含む。画像センサ２０は、ピント尺度計算プロセッサ３０への入力を供給する。プロセッサ３０からの制御信号は、ライン４０上をレンズ位置アルゴリズム５０に供給される。レンズ位置アルゴリズム５０は、ピント尺度制御信号に基づいてレンズをいかに調整すべきかを決定し、ライン６０上の制御信号をフォーカスモータ７０に供給する。そして、フォーカスモータ７０は、自動的にレンズ１０のピントを合せるように動作する。

図２は、ノイズの影響を精密に考慮する、照度レベルに対するピント性能指数の感受性を除去するために本発明によって利用する方法の好ましい実施形態を示す。ブロック２００における本方法の第１のステップは、画像センサ２０から入力画像データを受取ることである。そして、本方法はブロック２１０に進み、画像のゆるやかな遷移を減衰させ、エッジを増幅する。この操作は、通常、画像の１次階差をその主軸（principle axes）のうちの１つに沿ってとることによって達成される。１次階差は、画像自体から、ある固定量だけずれた画像を減算することによって取得することができる。この操作は、下記のような式によって表される。
ｄｉｍｇ＝ｉｍｇｆ［（０：ｓｘ−２），＊］−ｉｍｇｆ［（１：ｓｘ−１），＊］

上記の式において、ｉｍｇｆ［ａ：ｂ，＊］は、列「ａ」〜「ｂ」全体を含むオリジナル画像のサブセットを表す。パラメータ（０：ｓｘ−２）および（１：ｓｘ−１）は、差分画像を取得するためのオフセットの例を表す。項「ｓｘ」は、画像の幅を表す。

そして、本方法はブロック２２０に進み、差分画像の分散を計算する。差分画像の分散は、通常、ピクセル値の二乗の平均からピクセル値の平均の二乗を引くことによって取得される。このプロセスを、以下の式で表す。
ｖａｒ＝σ（ｄｉｍｇ）

そして、本方法は、ブロック２３０に進み、ＮｅＤＮを取得し、ショットノイズの分散に対する寄与を計算する。ショットノイズは、光の束のランダムな到着過程の不確定性からもたらされるノイズであることに留意されたい。Ｎｅは電子の数に等しく、ＤＮはデジタル数に等しいことに留意されたい。したがって、ＮｅＤＮは、Ａ／Ｄ変換器から出力されるデジタルレベル毎の電子の数に等しい。この数ＮｅＤＮは、対象となる特定のカメラに対する設定とカメラパラメータとにより、演繹的に、決定される。このため、「ＮｅＤＮ」は、電子／デジタル数（Ａ／Ｄカウント）を単位にしたシステム利得係数である。

ショットノイズの分散に対する寄与の計算を、以下の式によって表すことができる。
ｓｈｏｔＮ１＝＜ＮｅＤＮ＊ｉｍｇｆ［（０：ｓｘ−２），＊］＞／ＮｅＤＮ²
ｓｈｏｔＮ２＝＜ＮｅＤＮ＊ｉｍｇｆ［（１：ｓｘ−１），＊］＞／ＮｅＤＮ²

操作「＜＞」は、指定された範囲のピクセル値の合計をその合計におけるピクセルの数で除算した値である平均値を計算することに留意されたい。ｓｈｏｔＮ１の場合、それは、すべての行を含む列０から（ｓｘ−２）までの合計である。なお、ｉｍｇｆに対するパラメータを考慮すると、ｓｈｏｔＮ２がｓｈｏｔＮ１からずれていることが分かる。

そして、本方法はブロック２４０に進み、ＮｅＲｅａｄを取得し、分散に対する読出しノイズ寄与を計算する。なお、ＮｅＲｅａｄは、システムのホワイトノイズであり、ピント位置の決定の一因とはならない。この計算を以下のように表すことができる。
ｖａｒＲｅａｄ＝（ＮｅＲｅａｄ／ＮｅＤＮ）²
「ＮｅＲｅａｄ」は、等価な電子における読出しノイズレベルである。

そして、本方法はブロック２５０に進み、分散からショットノイズおよび読出しノイズを減じることによりノイズ調整された分散を取得する。この操作を、以下の式によって表すことができる。
ｖａｒ’＝ｖａｒ−ｓｈｏｔＮ１−ｓｈｏｔＮ２−２＊ｖａｒＲｅａｄ

２＊ｖａｒＲｅａｄは、暗闇状態で収集された単一画像の読出しノイズの分散を２倍にしたものを表すことに留意すべきである。

そして、本方法はブロック２６０に進み、ノイズ調整された分散ｖａｒ’を正規化する。限定としてではなく例として、正規化プロセスを以下の式によって表すことができる。
ＦＯＭ＝ｖａｒ’／［ｍｅａｎ（ｉｍｇｆ）］²

なお、ＦＯＭはピント性能指数であることに留意されたい。また、ＦＯＭを、より高次のモーメントから構成してもよい。たとえば、分散を、＜ｘ⁴＞−＜ｘ＞⁴で定義する演算子に置換えてもよく、平均を平均の二乗に置換えてもよい。

ブロック２６０からの出力は、レンズ位置アルゴリズムブロック５０へのライン４０に対する制御信号を含む。そして、ピント合せアルゴリズムを実行する。なお、レンズのタイプとレンズのピントを調整する方法とにより、種々の異なるピント合せアルゴリズムが利用可能であることに留意されたい。これに関して、ブロック７０におけるあらゆる異なるフォーカスモータは、使用する異なるピント合せアルゴリズムを有する。次に、レンズ位置アルゴリズム５０からの出力を、フォーカスモータ７０へのライン６０に与える。このピント合せアルゴリズムによる電子的に制御されたレンズ１０の実際の調整を、図２のブロック２８０に表す。

なお、ＮｅＤＮおよびＮｅＲｅａｄを取得する最も単純な方法は、シャッタを閉じて適度のレベルの均一な照度で時間分散（temporal variance）と平均とを測定することであることに留意しなければならない。暗闇状態における時間分散は読出しノイズをもたらし、分散対平均の関数の傾きにより、システム利得がもたらされる。これらのパラメータは、電子利得設定のいかなる変化に対しても補正されなければならない。

したがって、照度レベルの変化に対して実質的に完全に影響を受けないピント尺度をもたらす方法が行なわれてきたことが分かる。この特徴により、ピント制御アルゴリズムは、時間変化する光源からの干渉無しに正しく動作することができる。

本発明の好ましい実施形態の上述した説明を、例示および説明のために提示した。それは、網羅的であるように、または本発明を開示した厳密な形態に限定するようには意図されておらず、上記教示に鑑みて変更および変形が可能であり、あるいは発明の実施から取得してもよい。本発明の原理とその実際的な適用とを説明することにより、当業者が、企図された特定の使用に適するよう、本発明をあらゆる実施形態においておよびあらゆる変更態様で利用することができるようにするために、実施形態を選択し説明した。本発明の範囲を、添付の特許請求の範囲とそれらの等価物とによって画定することが意図されている。

本発明の一実施形態の概略ブロック図である。 本発明のシステムおよび方法の好ましい動作のフローチャートである。

符号の説明

１０：レンズ
２０：画像センサ
３０：プロセッサ
５０：レンズ位置アルゴリズム
７０：フォーカスモータ

Claims (10)

1. 撮像装置に対するオートフォーカス調整を行う方法であって、
   ある軸に沿って画像を微分し、差分画像を取得するステップと、
   前記差分画像の分散を計算するステップと、
   前記分散に対するノイズ寄与を算出するステップと、
   前記分散から前記ノイズ寄与を減じるステップと、
   前記分散から前記ノイズ寄与を減じることによる、調整されたノイズ分散を、前記オートフォーカス調整を行う際の係数として使用するステップと、
   を含む方法。
2. 前記分散を正規化するステップをさらに含む、請求項１に記載の方法。
3. 前記分散の正規化が、前記ノイズ寄与を減じるステップを実行した後の結果として生じる分散に対して実行される、請求項２に記載の方法。
4. 前記ノイズ寄与を算出するステップが、前記分散に対するショットノイズ寄与を算出するステップを含み、前記ノイズ寄与を減じるステップが、前記ショットノイズを減じるステップを含む、請求項１に記載の方法。
5. 前記ノイズ寄与を算出するステップが、読出しノイズを算出するステップを含み、前記ノイズ寄与を減じるステップが、前記読出しノイズを減じるステップを含む、請求項２に記載の方法。
6. 前記ノイズ寄与を算出するステップが、読出しノイズを算出するステップを含み、前記ノイズ寄与を減じるステップが、前記読出しノイズを減じるステップを含む、請求項１に記載の方法。
7. 前記差分画像が、画像をそれ自体のずらしたものから減じることによって求められ、前記分散に対するショットノイズ寄与を算出するステップが、前記画像からの前記ショットノイズを前記画像の前記ずらしたものにおけるショットノイズから減じるステップを含む、請求項４に記載の方法。
8. 前記分散に対するショットノイズ寄与を算出するステップが、前記差分画像を作成するために減じられる２つの画像におけるショットノイズの前記分散に対する寄与を算出するステップと、前記差分画像の前記分散に対するショットノイズの総寄与を取得するために前記分散を合計するステップと、を含む、請求項４に記載の方法。
9. 前記分散に対する読出しノイズ寄与を算出するステップが、暗闇状態において収集された単一画像から求められる前記読出しノイズに２を掛けるステップを含む、請求項６に記載の方法。
10. 撮像装置に対するオートフォーカス調整を行うシステムであって、
    差分画像の分散を計算し、該分散に対するノイズ寄与を算出し、前記分散から前記ノイズ寄与を減じ、制御信号を生成するように設計されたプロセッサと、
    レンズと、
    前記制御信号を係数として使用することにより前記レンズのピントを自動的に調整するコンポーネントと、
    を具備するシステム。

Images