JP4098251B2 - デジタルカメラにおける画像ぼけを低減させるための装置及び方法 - Google Patents

Description

本発明は、包括的には、デジタル写真に関し、特に、デジタルカメラにおける画像ぼけを低減させるための装置及び技法に関する。

写真においてよく挙げられる問題は、カメラの動きによるぼけである。フィルムカメラ及びその他の双眼鏡などの光学デバイスは、画像経路をカメラの動きとは反対方向に僅かに偏向させる非常に高性能なアクティブ画像安定化システムを備えている。しかし、このようなアクティブ安定化システムは、複雑かつ高価である。

代替の一例として、より高速なレンズの使用が挙げられる。デジタルカメラは、コスト，サイズ，及び所望の画質の点で実用的な最高速のレンズを既に用いている。ｆ／２〜ｆ／２．８の最大絞りを有するレンズは一般的である。更に、高速なレンズは、遥かに高価で寸法も大きい。

このように、高価であるか、さもなければ非実用的な解決法に頼らずに、画像ぼけを低減させるデジタルカメラが当該技術において求められていることが明白である。

カメラの動きを追跡することにより、デジタルカメラにおける画像ぼけを低減させる方法が提供される。この方法を実行するための装置（デジタルカメラ）もまた提供される。

本発明の他の態様及び利点は、添付の図面を参照しながら、本発明の原理を実施例により例示する以下の詳細な説明から明白になるであろう。

カメラの動き又は「ブレ（振れ）」は、水平及び垂直方向の両方においていくぶん周期的である傾向がある。方向を反転させる瞬間に、カメラは、ほぼ静止状態になる。これは、ちょうど、子供用のブランコが何れかの方向に完全に移動する瞬間に一時的に静止状態になるのと同じである。従って、デジタルカメラにおける画像ぼけは、デジタルカメラの動きが動き判定基準を満足させるまで、シャッターリリースボタンを始動した後、デジタル画像の取り込みを遅延させることにより低減され得る。例えば、画像の取り込みは、カメラの動きが、最小の動き（極小）になる瞬間の１つに到達するまで遅延され得る。シャッターリリースボタンの始動後の許容できない遅れを避けるために、遅延は、所定のタイムアウト期間を超えないように制約されるか、又は動き判定基準が満足されていないにも拘わらずデジタル画像を取り込むために他の基準を用いてもよい。この技法を実施するには、ほぼリアルタイムにデジタルカメラの動きを測定するための方法が必要である。動き推定アルゴリズムは、比較的簡単又は非常に複雑であり得る。ビデオ符号化において周知の精巧な動き推定の一例としては、エムペグ（ＭＰＥＧ；Moving Pictures Expert Group）ビデオ圧縮規格に従って実行されるものが挙げられる。

図１Ａは、本発明の例示的な実施形態によるデジタルカメラ１００のブロック図である。図１Ａにおいて、コントローラ１０５は、データバス１１０を介して、撮像モジュール１１５，入力制御部１２０，ディスプレイ１２５，動き管理論理１３０，タイマー１３５，及びメモリ１４０と通信する。メモリ１４０は、更に、ランダムアクセスメモリ（ＲＡＭ）１４５及び不揮発性メモリ１５０を備えている。光学システム１５５は、撮像モジュール１１５によってデジタル画像に変換される光学画像を生成する。光学システム１５５は、例えば、ズームレンズを含み得る。撮像モジュール１１５は、電荷結合素子（ＣＣＤ）若しくはＣＭＯＳ技術に基づく光センサのアレイ、アナログ−デジタル変換器（Ａ／Ｄ），利得制御部，及びデジタル信号プロセッサ（ＤＳＰ）（図１Ａには何れも図示せず）を含み得る。撮像モジュール１１５は、デジタルプレビューフレームが、例えば、１秒当たり３０フレームのレートで得られ、かつ、ディスプレイ１２５に示される、ビデオプレビューモードで動作され得る。デジタルカメラ１００は、オートフォーカス，自動露光，動き追跡等の動作が行なわれている間、このビデオプレビューモードで動作し得る。ＣＭＯＳ光センサアレイは、画素がＲＡＭのように直接アドレス指定されるという利点を有し、これにより、これらの動作のための画像データの読出しが簡略化され、迅速にされる。

動き管理論理１３０は、ハードウェア，ファームウェア，ソフトウェア，又はその組み合わせを含み得る。動き管理論理１３０は、図１Ｂに示されるように、動き測定論理１３２及び制御論理１３４の２つの態様を有するものとして概念化され得る。動き測定論理１３２は、ビデオプレビューモードの間に、撮像モジュール１１５から得られるデジタルプレビューフレームに対して動き推定を行なう。これらのデジタルプレビューフレームは、ビデオプレビューモードを容易にするために、最終デジタル画像よりも低い解像度であってよい。制御論理１３４は、動き測定論理１３２から得られる動き推定情報を分析し、画像の取り込みが要求された後に、デジタル画像がいつ取り込まれるべきかを決定する。１つの例示的な実施形態では、コントローラ１０５は、マイクロプロセッサを有しており、動き管理論理１３０は、コントローラ１０５によって実行され得るソフトウェア又はファームウェア又はその組み合わせに格納されたプログラム命令を含んでいる。このような例示的な実施形態では、コントローラ１０５，撮像モジュール１１５，及び動き測定論理１３２の組み合わせは、機能的には、時間関数としてのデジタルカメラ１００の動きをアウトプットする動き追跡サブシステムと呼んでもよい。コントローラ１０５は、制御論理１３４に従って、動き追跡サブシステムの出力に基づいた画像取り込みの瞬間を選択する。

図１Ｃは、本発明の例示的な実施形態による入力制御部１２０の回路図である。図１Ｃにおいて、シャッターリリースボタン１６０は、スイッチＳ１ １６５及びＳ２ １７０を連続して始動することができるようになっている。シャッターリリースボタン１６０が一部的に押圧移動されると、スイッチＳ１ １６５は閉じられる。シャッターリリースボタン１６０が更に押圧移動されると、スイッチＳ２ １７０も閉じられる。スイッチＳ１ １６５及びＳ２ １７０を閉じる前には、信号１７５及び１８０が、それぞれ、共に論理「ハイ」状態にある。信号１７５及び１８０は、データバス１１０と接続されている。論理「ハイ」状態は、共通の接地と、プルアップ抵抗器１８５及び１９０にわたる正の電圧＋Ｖとの間をスイッチで接続することにより提供される。スイッチＳ１ １６５が閉じられると、対応する信号１７５が接地電位に引き下げられ、論理「ロー」を生成する。同様に、スイッチＳ２ １７０が閉じられると、対応する信号１８０が接地電位に引き下げられ、論理「ロー」を生成する。

入力制御部１２０は、デジタルカメラ１００における複数の動作を引き起こすために用いられ得る。例えば、スイッチＳ１ １６５の始動により、オートフォーカス及び自動露光を起動させてもよい。オートフォーカス及び自動露光の調整が完了すると、デジタルカメラ１００の動きが追跡される動き追跡モードが起動され得る。Ｓ２ １７０の始動により、デジタル画像を取り込んで格納することを要求する信号が出され得る。従来技術のデジタルカメラでは、このような取り込みは、即座に（意図的な遅延なしに）行なわれる。しかし、カメラの動きによって引き起こされる画像ぼけを最小限に抑えるために、デジタルカメラ１００の動きがほぼ極小になるまで、デジタル画像の取り込みを遅延させることは有利である。他の実施形態では、入力制御部１２０は、２つのスイッチではなく１つのスイッチのみを備えることもできる。これらの実施形態では、入力制御部１２０からの単一の信号によってデジタル画像の取り込みを要求してもよく、動き追跡は、別個の入力信号（例えば、電源が投入されているデジタルカメラ１００の電力）又は入力制御部１２０からの同じ単一の信号によって起動されてもよい。

デジタルカメラ１００の動きの測定は、様々な方法で実施され得る。最も自明なものは、加速度計又はジャイロスコ−プなどの動きセンサを用いるものである。本発明の低コスト及び低減された複雑さの目的を更に良好に達成するには、動きは画像センサ自体を用いて測定されてもよい。動き推定アルゴリズムは、ビデオ符号化技術において周知である。動きの推定には、一般に、第１のフレームにおける少なくとも１つの絵素（画素；ピクセル）を、第２のフレームにおける少なくとも１つの画素と比較し、２つのフレーム間の間隔におけるシーンの変化を見分けることが伴われる。このプロセスは、シーンの背景に対するカメラの動きをほぼリアルタイムに追跡するために、連続したフレーム対に対して繰り返され得る。本発明のコンテキストでは、動き推定は、デジタルカメラ１００のビデオプレビューモードにおいて得られるデジタルプレビューフレームに対して行われ得る。

画素の比較も、また、様々な方法で実施される。例えば、画素毎（ピクセルバイピクセル；pixel-by-pixel）の明るさ（輝度）の違いの大きさを計算してもよい。或いは、画素毎の相関（乗算）を行なってもよい。比較された画素が２つのデジタルプレビューフレームにおける対応する位置にある場合、フレーム間のある種の動きが発生していることが示され得るが、どのように又はどの方向に発生しているかは示されない。このため、動き推定技法は、通常、サーチアルゴリズムも含んでいる。このアルゴリズムでは、第１のデジタルプレビューフレームにおける１つ又はそれ以上の画素群が、第２のデジタルプレビューフレームにおける対応する各位置を取り巻く所定のサーチ領域内の画素群と比較される。動き推定アルゴリズムは、通常、特定の間隔における動きの大きさ及び方向を示す動きベクトルを計算する。この動きベクトルは、水平及び垂直動き成分として首尾よく表され得る。

ＭＰＥＧ圧縮に関連して用いられる精巧な動き推定技法により、動き推定の性能は改善され得る。このような改善としては、例えば、上記の一般的な方法に加えて、高速なサーチアルゴリズム又は効率的な計算方式が挙げられる。このような方法は、ビデオ符号化技術において周知である。精巧なＭＰＥＧ動き推定の一例は、米国特許第６，４８０，６２９号に見出され、本明細書では、この開示を参照により援用する。

図２Ａは、本発明の例示的な実施形態によるデジタルプレビューフレーム２０５を示す。動き推定は、動き測定領域２１０（図２Ａにおけるハッチ部分）内の１つ又はそれ以上の画素を用いて行なわれ得る。図２Ａでは、動き測定領域２１０は、デジタルプレビューフレーム２０５の中央部分を含んでいる。このような領域は、オートフォーカス又は自動露光を実施する際に用いられる領域と一致し得る。このような実施形態では、動き推定は、デジタルカメラ１００の実質的に同じビデオプレビューモードを、オートフォーカス及び自動露光と共有し得る。しかし、このアプローチの１つの利点は、デジタルプレビューフレーム２０５の中央部分内で動いている対象が、背景に対するデジタルカメラ１００の動きの代わりに検出され得ることである。

図２Ｂは、本発明の例示的な実施形態による、対象の動きの問題を克服するための１つの方法を示している。図２Ｂにおいて、動き測定領域２１０は、重要な対象が見出される可能性が低いデジタルプレビューフレーム２０５の周辺部を含んでいる。動き推定を周辺に制限することにより、対象の動きは排除され、シーンの背景に対するデジタルカメラ１００の動きが測定され得る。

オートフォーカスを行なう際、デジタルカメラは、大抵の場合、オートフォーカス領域の境界において窓関数（window function）を適用し、境界におけるコントラストの大きな（明暗が著しい）画像データによって引き起こされるエッジ効果を最小限に抑える。窓関数は、徐々にオートフォーカス領域のエッジを減衰させ、「ソフト」境界にする。このような窓関数は、デジタルカメラ技術において周知である。動き測定領域２１０の輪郭を描く境界２１５に適用される窓関数は、同じ理由で有利であり得る。

図２Ｃは、本発明の例示的な実施形態に従って動きを見積もる際に用いられ得る水平及び垂直における別個の画素セットを例示している。図２Ｃにおいて、水平の画素セット２２０及び垂直の画素セット２２５は、共に周辺の動き測定領域２１０内に配置され、上記のように、動きを推定する際に用いられ得る。水平及び垂直の画素セット２２０及び２２５は、それぞれ、単一の行又は列の画素であるか、又は複数の行若しくは列を含む画素の「ストリップ」であり得る。このアプローチの１つの利点は、水平及び垂直の動きの測定が、計算の各セットが動き成分の推定を生成する、計算の２つのセット（例えば、差又は相関）に分離され得ることである。関与する画素の数が制限されていることもまた、サーチアルゴリズムを容易にする。図２Ｃに示される画素セットの選択は、多くの可能性のうちの１つに過ぎない。図２Ｃに示される４つより少ない水平及び垂直の画素セットは、動きの推定に含まれ得る。

図３Ａは、本発明の例示的な実施形態によるデジタルカメラの移動軌跡を例示している。図３Ａにおける軌跡３０５は、画像が取り込まれる前の任意の期間にデジタルカメラ１００によってなされる移動経路を示している。デジタルカメラ１００の動きが方向を変更する極小３１０は円で囲まれている。これらの極小３１０の１つにおいてデジタル画像を取り込むことにより、画像ぼけが低減され得る。デジタルカメラ１００の動きは、垂直方向で極小に到達するのと同時に水平方向において極小に到達し得ないため、このことは、画像取り込みのための基準を設定する際に考慮されなければならない。

多くの可能な量は、動き追跡サブシステムの出力として選択され得る。動き測定論理１３２が水平及び垂直の動き成分（例えば、速さ）を測定する場合、１つの可能な選択としては、二乗された水平の動き成分と、二乗された垂直の動き成分との合計の平方根（動きベクトルの大きさ）が挙げられる。他の可能な選択としては、水平の動き成分の絶対値と、垂直の動き成分の絶対値との合計が挙げられる。

図３Ｂは、本発明の例示的な実施形態による、時間及び閾値パラメータの注釈を付けたデジタルカメラ１００の複合的な動きの大きさの例示的なプロット３１５である。プロット３１５において、閾値３２０は、ほぼ極小において画像取り込みの瞬間を選択するための動き判定基準として作用する。一実施形態では、デジタル画像は、時間３２５においてスイッチＳ２ １７０を起動した後に動きの大きさが閾値３２０（図３Ｂにおけるポイント３３０）を下回るときに取り込まれる。動きの大きさが所定のタイムアウト期間３３５内に閾値３２０を下回ることがない場合には、デジタル画像は、時間３４０において取り込まれ得る。タイムアウト期間３３５の選択は、用途又は状況に応じて変化し得るが、０．１秒を超えることはない。タイムアウト期間３３５の代替として、デジタルカメラ１００の動きが低下している（速さに関して、デジタルカメラ１００が減速している）ことが見出される場合には、画像は、閾値３２０が満足されていないにも拘わらず取り込まれてもよい。このような低下する動きの間隔の例としては、ポイント３４５からポイント３５０が挙げられる。このようにほぼ最小を予想することは、動き推定プロセスにおける読出し及び計算の遅れを考慮する際に特に有用である。

閾値３２０は、様々な要因の何れか又はその組み合わせに基づいて選択され得る。一実施形態では、閾値３２０は、スイッチＳ１ １６５の始動と、スイッチＳ２ １７０の始動との間の間隔３５５において測定される最小及び最大の動き（例えば、最小及び最大の速さ）に基づいて選択される（図３Ｂ参照）。このような間隔３５５内の最小及び最大の動き測定は、ポイント３６０及び３６５によってそれぞれ示されている。閾値３２０は、例えば、最大３６５の特定の部分として、又は最小３６０と最大３６５との間の値として選択され得る。別の実施形態では、閾値３２０は、光学システム１５５の現在の焦点距離の設定に基づいて選択され得る。光学システム１５５の広角焦点距離は、望遠設定よりも動きに対して敏感ではない。従って、閾値３２０は、望遠焦点距離に対しては、広角焦点距離に対してよりも小さくする必要があり得る。同様に、より速いシャッター速度によってもまた、デジタルカメラ１００の動きがそれほど重要ではなくなる。この結果、閾値３２０は、デジタルカメラがより遅いシャッター速度（例えば、１秒の１／３０）で動作している場合よりも、デジタルカメラ１００が速いシャッター速度（例えば、１秒の１／５００）で動作している場合にはより大きく（それほど厳密ではなく）なり得る。閾値３２０を選択する際に用いられ得る他の要因は、図３Ｂにおける間隔３５５である。例えば、閾値３２０は、間隔３５５が短いか又は長いかに応じて異なるように選択され得る。更に他の実施形態では、閾値は、Ｓ１ １６５の始動後の通常量のカメラの動きの従来の特徴化に基づいて設定され得る。例えば、不安定なユーザ、片手による動作等のために高度の動きが検出される場合には、より高い閾値が選択され得る。

必要に応じて、閾値３２０は、スイッチＳ２ １７０の始動後に変更されてもよい。例えば、閾値３２０は、Ｓ２ １７０の始動後に経時的に増加させてもよい（動きの基準をそれほど厳密にしない）。これは、タイムアウト期間３３５の更に他の代替であり、デジタルカメラ１００の減速が検出されるとデジタル画像は取り込まれる。

図４は、本発明の例示的な実施形態によるデジタルカメラ１００の動作のフローチャートである。スイッチＳ１ １６５がステップ４０５において始動されると、オートフォーカス及び自動露光がステップ４１０において行なわれる。オートフォーカス及び自動露光が完了すると、デジタルカメラ１００は、ステップ４１５において動き測定モードに入り、ここで、動き追跡サブシステムは、上記のように、時間関数として、デジタルカメラ１００の動きを測定する。スイッチＳ２ １７０がステップ４２０において始動されると、制御はステップ４２５に進み、タイマー１３５はリセットされ、タイムアウト期間３３５がカウントされ得る。ステップ４２５では、動き測定論理１３２の出力が閾値３２０と比較される。測定された動き（Ｍ）が閾値３２０（Ｔ）よりも小さい場合には、デジタル画像は、ステップ４３５において即座に取り込まれ得る。そうでない場合には、制御は４３０に進む。ステップ４３０では、コントローラ１０５がタイマー１３５をチェックし、タイムアウト期間３３５が終了したかどうかを判定する。終了している場合には、デジタル画像は、４３５で取り込まれ得る。そうでない場合には、制御は４２５に戻る。デジタル画像が取り込まれると、プロセスはステップ４４０で終了する。

図５は、本発明の他の例示的な実施形態によるデジタルカメラ１００の動作のフローチャートである。図５におけるプロセスは、閾値３２０がステップ４２５において満足されないときには、デジタルカメラ１００の動きの低下（速さに関しては減速）がステップ４４５においてデジタル画像を取り込むための基準であることを除いては、図４に示されるプロセスと同様である。

以上を要約すると、次の通りである。すなわち、デジタルカメラ１００は、画像取り込みが要求された後における画像の取り込みを、デジタルカメラ１００の動き判定基準を満足するまで遅延する。これによって、デジタルカメラ１００は、カメラ動作に起因して発生するが画像ぼけを低減する。

本発明の上記の説明は、例示及び説明を目的として提示されている。これは、排他的なものではなく、本発明を開示されている厳密な形態に限定するものでもないことが意図され、上記の教示に照らして他の改変及び変更が可能である。実施形態は、本発明の原理を最良に説明するために選択及び説明され、その実際の応用において、当業者は、想定される特定の使用に適するように、本発明を様々な実施形態及び様々な改変において用いることができる。添付の請求の範囲は、従来技術によって制限されることを除いて、本発明の他の代替の実施形態を含むものとして解釈されることが意図される。

本発明の例示的な実施形態によるデジタルカメラの機能ブロック図である。 本発明の例示的な実施形態による図１Ａに示される動き管理論理の概念図である。 本発明の例示的な実施形態による入力制御の回路図である。 本発明の例示的な実施形態による、中央部が動き測定領域であるデジタルプレビューフレームを例示する図である。 本発明の例示的な実施形態による、周辺部が動き測定領域であるデジタルプレビューフレームを例示する図である。 本発明の例示的な実施形態による、デジタルカメラの動きを測定するために用いられる水平及び垂直における別個の絵素（画素）セットを例示する図である。 本発明の例示的な実施形態によるデジタルカメラの移動軌跡を例示する図である。 本発明の例示的な実施形態による時間及び閾値パラメータの注釈を付けたカメラの複合的な動きの大きさのプロットを例示する図である。 本発明の例示的な実施形態による図１Ａに示されるデジタルカメラの動作のフローチャートである。 本発明の他の例示的な実施形態による図１Ａに示されるデジタルカメラの動作のフローチャートである。

符号の説明

１００ デジタルカメラ
１２０ 入力制御部
１３０ 動き管理論理
１３２ 動き測定論理
１３４ 制御論理
１７５，１８０ 信号
２０５ デジタルプレビューフレーム

Claims (6)

1. （ａ） デジタル画像の取り込みを開始するための入力制御部と、
   （ｂ） 前記入力制御部に応答して前記デジタルカメラの動きを追跡し、時間関数として前記デジタルカメラの動きの量を示す出力を出す動き追跡サブシステムと、
   （ｃ） 前記動き追跡サブシステムの出力が動き判定基準を満足するまで、前記デジタル画像の取り込みを遅延させるように構成された制御論理と、
   を備え、
   前記制御論理は、さらに、前記動き追跡サブシステムの出力が所定のタイムアウト期間内に動き判定基準を満たさない場合には、前記入力制御部の作動時から測定された前記所定のタイムアウト期間の終了時に前記デジタル画像を取り込むように構成され、
   前記動き判定基準は、閾値以下のほぼ極小にある前記動き追跡サブシステムの出力を含み、
   前記入力制御部は、少なくとも、前記動き追跡サブシステムを作動する第１の位置と、デジタル画像を取り込むことを要求する第２の位置とに配置される押圧ボタンスイッチを備え、
   前記制御論理は、前記入力制御部の押圧ボタンスイッチが前記第１の位置に作動された時と、前記入力制御部の押圧ボタンスイッチが前記第２の位置に作動された時との間の間隔におけるデジタルカメラの動きに基づいて、前記閾値を選択するように構成されていること、
   を特徴とするデジタルカメラ。
2. 前記動き追跡サブシステムは、
   （ａ） 各デジタルプレビューフレームの一部に動き測定領域を含んでいる一連のデジタルプレビューフレームを生成するビデオプレビューモードで動作することが可能な、光学画像をデジタル画像に変換するための撮像モジュールと、
   （ｂ） 第１のデジタルプレビューフレーム内の少なくとも１つの絵素を、第２のデジタルプレビューフレーム内の少なくとも１つの絵素と比較することにより、前記デジタルカメラの動きを測定するように構成された動き測定論理と、
   を備え、
   前記第１及び第２のデジタルプレビューフレームのそれぞれにおける前記少なくとも１つの絵素は、前記デジタルプレビューフレームの前記動き測定領域内に位置すること、
   を特徴とする請求項１に記載のデジタルカメラ。
3. 前記動き追跡サブシステムは、少なくとも１つの加速度計を備えることを特徴とする請求項１に記載のデジタルカメラ。
4. 前記動き追跡サブシステムは、少なくとも１つのジャイロスコープを備えることを特徴とする請求項１に記載のデジタルカメラ。
5. デジタルカメラにおける画像ぼけを低減させるための方法であって、
   第１の入力信号に応答して前記デジタルカメラの動きを追跡するステップと、
   前記デジタルカメラの動きが動き判定基準を満足するまで、第２の入力信号を受信した後におけるデジタル画像の取り込みを遅延させるステップと、
   を含み、
   前記第１及び第２の入力信号は、１つでありかつ同一の入力信号であり、
   前記動き判定基準は、閾値以下のほぼ極小にある前記デジタルカメラの動きを含み、
   前記閾値は、前記第１の入力信号を受け取った時と前記第２の入力信号を受け取った時との間の間隔中に測定された前記デジタルカメラの最小及び最大の動きの大きさの間の値であるように選択されること、
   を特徴とする方法。
6. 前記デジタルカメラの動きを追跡するステップは、
   各デジタルプレビューフレームの一部が動き測定領域を含む、前記デジタルカメラのビデオプレビューモードにおける一連のデジタルプレビューフレームを得るステップと、
   第１のデジタルプレビューフレーム内の少なくとも１つの絵素を、第２のデジタルプレビューフレーム内の少なくとも１つの絵素と比較するステップと、
   を含み、
   前記第１及び第２のデジタルプレビューフレームのそれぞれにおける前記少なくとも１つの絵素は、前記デジタルプレビューフレームの前記動き測定領域内に位置すること、
   を特徴とする請求項５に記載の方法。

Images