JP4434653B2 - デジタルズーム機能を備えた携帯電子撮像デバイスおよびデジタルズーム機能を提供するための方法 - Google Patents

Description

本発明は、包括的に、電子撮像デバイスに関するものであり、より詳細には、デジタルカメラまたはデジタルビデオカメラなどの携帯電子撮像デバイスの解像度が改善されるデジタルズーム機能を提供するための装置および方法に関する。

デジタルカメラまたはデジタルビデオカメラなどの携帯電子撮像デバイスには、大抵の場合、ズーム機能が設けられている。この機能は、ズームレンズを用いることによって光学的に行われるか、またはデジタル画像をクロッピング（できるだけ再スケール化(rescaling)する）ことによって行われている。後者の方法は、大抵の場合、「デジタルズーム」と呼ばれている。

デジタルズームは、実施が簡単で、かつ安価ではあるものの、より大きな画像サイズに倍率を変更すると、解像度が低下するという大きな欠点を有している。デジタル画像は、現存する画素情報を用いて倍率をかける画素を予測することによって、より大きな画像サイズに変倍されるようになっている。最も簡単な方法によると、最も近接した周囲の画素の値が複製されるようになっている。より複雑な技法では、いくつかの周囲の画素から中間画素値を生成するための補間が用いられている。これらの技法の例としては、双一次および双三次(bicubic)補間が挙げられる。すべての倍率変更方法、特に画素複製によると、携帯電子撮像デバイスが適度に高い解像度を有していても、高いズーム率では、品質が低下した画像が形成されることになる。デジタルズームを補償するために、さらに高い解像度を有する携帯電子撮像デバイスを設けると、デバイスのコストが増加してしまう。光学ズームレンズは、デジタルズームの主な欠点を回避するが、光学ズームレンズは、携帯電子撮像デバイスと比較して、容量、重量およびコストが増加してしまうことがある。

本発明の目的は、当技術分野において、携帯電子撮像デバイスにおける解像度が改善されるデジタルズーム機能を提供することにある。

本発明は、解像度が改善されるデジタルズーム機能を備えた携帯電子撮像デバイスを提供する。また、携帯電子撮像デバイスの解像度が改善されるデジタルズーム機能を提供するための関連の方法も提供する。

本発明に係るデジタルズーム機能を備えた携帯電子撮像デバイスは、光学画像を形成し、縁部領域よりも中央部領域において倍率が高く、それによって、前記光学画像に樽型歪が生じるレンズと、前記光学画像を、前記レンズの前記縁部領域に対応する第２の部分よりも前記レンズの前記中央部領域に対応する第１の部分において比較的高い解像度を有するデジタル画像に変換するための少なくとも１つの撮像センサと、前記第１の部分内からクロッピングされたデジタル画像を抽出するための第１の論理と、前記クロッピングされたデジタル画像における前記樽型歪を補正するための第２の論理とを備え、それによって、解像度が改善されると共にデジタルズーミングされた画像を形成しているので、クロッピングされた画像における樽型歪を補正することができる。

また、樽型歪を含む光学画像を形成することと、前記光学画像を、第２の縁部領域よりも第１の中央部領域において比較的高い解像度を有するデジタル画像に変換することと、前記第１の中央部領域からクロッピングされたデジタル画像を形成することと、前記クロッピングされたデジタル画像における前記樽型歪を補正することであって、それにより解像度が改善されると共にデジタルズーミングされた画像を形成することとを含んでいるので、クロッピングされた画像における樽型歪を補正することができる。

本発明の他の態様および利点は、以下の詳細な説明と本発明の原理を例示する添付の図面を参照することにより明白になるであろう。

デジタルズームによって得られる画像の品質は、画像の縁部領域よりも中央部領域において倍率が高くなるレンズを用いて、デジタル化する前に光学画像を形成することによって改善することができる。このようなレンズは、得られる画像において「樽型歪」を生じると言われている。本明細書において、デジタル画像の「解像度」とは、形成元の標的光学画像の線形測定単位あたりの絵素（画素）の数をいう。次に、樽型歪を有する光学画像がデジタル化されると、より高いレンズ倍率に対応する中央領域は、縁部領域よりもさらに高い解像度を有するようになる。従って、歪を有する画像の中央領域は、従来の（歪のない）画像よりも品質低下が低減されて、クロッピングおよび倍率変更されるようになる。さらに、歪を有する画像における樽型歪は、画像処理技術分野において既知の数学的技法を用いて補正することができる。この補正は、クロッピングの前または後に行うことができる。

このデジタルズームの実施態様へのアプローチにより、例えば、３倍デジタルズームを提供する際に用いられる高い樽型歪を有する固定焦点距離（例えば、３５ｍｍカメラ用語を用いる２８ｍｍ相当）の適度な広角レンズが可能になる。
得られる２８〜８５ｍｍ相当のデジタルズームを備えたデジタルカメラは、非常にコンパクトで、製造が安価であり、消費者にとっては非常に使いやすく魅力的である。

図１Ａおよび図１Ｂは、本発明の例示的な実施形態による携帯電子撮像デバイス１００の機能ブロック図を示している。携帯電子撮像デバイス１００は、デジタルカメラ、デジタルビデオカメラ、または光学画像をデジタル化する他の任意の携帯電子撮像デバイスである。図１Ａに示すように、コントローラ１０５は、データバス１１０を通して撮像モジュール１１５、メモリ１２０およびディスプレイ１２５と通信するようになっている。レンズ１３０は、撮像モジュール１１５によってデジタル画像に変換される光学画像を形成している。レンズ１３０は、レンズ１３０が形成する光学画像内に樽型歪を意図的に導入するように選択されている。すなわち、レンズ１３０は、その縁部領域よりも中央部付近においてより高い倍率を有するようになっている。メモリ１２０は、さらに、ランダムアクセスメモリ（ＲＡＭ）１３５、不揮発性メモリ１４０およびデジタルズームファームウェア／ソフトウェア１４５を備えている。図１Ｂを参照すると、デジタルズームファームウェア／ソフトウェア１４５は、「デジタルズーム」モジュール１５０、「樽型歪の補正」モジュール１５５、および「画像の倍率変更」モジュール１６０を備えている。デジタルズームモジュール１５０は、所望のデジタルズーム倍率に従って、縁部領域よりも比較的高い解像度を有する画像の中央部領域でデジタル画像をクロッピングするようになっている。樽型歪の補正モジュール１５５は、レンズ１３０によって導入された樽型歪を補正するようになっている。樽型歪の補正については、本説明の後の部分においてさらに説明する。画像の倍率変更モジュール１６０は、画素を複製するか、または好ましくは補間によってクロッピングされた画像を拡大するようになっている。なお、画素複製および補間技法は、デジタル画像処理技術分野において既知の技術である。画像の倍率変更モジュール１６０は、例えば、携帯電子撮像デバイス１００を使用しているユーザに、最終画像が取り込まれる前に、デジタルズーミングされたシーンのプレビューを提供するために用いられるようになっている。倍率変更は、また、いくつかの応用によって、後処理ステップとして用いられている。例えば、ユーザは、画像をプリントする前に、ズーミングされたデジタル画像をより大きなサイズに倍率変更することができる。デジタルズームモジュール１５０、樽型歪の補正モジュール１５５および画像の倍率変更モジュール１６０を特徴づける機能範囲は、全く概念的なものである。例えば、これらの機能は、３つの別個のソフトウェアもしくはファームウェアモジュール、３つ未満のソフトウェアもしくはファームウェアモジュール、またはカスタムハードウェアもしくはハードウェアおよびソフトウェア／ファームウェアの組み合わせを含む有利な任意の他の様式で実施されるようになっている。

通常の実施態様では、撮像モジュール１１５は、図１Ａには図示しないが、当該技術分野で既知であるように、電荷結合素子（ＣＣＤ）またはＣＭＯＳ技法をベースとした光検出器、アナログ−デジタル変換器（Ａ／Ｄ）、利得制御、およびデジタル信号プロセッサ（ＤＳＰ）を含むものである。不揮発性メモリ１４０は、ＣｏｍｐａｃｔＦｌａｓｈ（登録商標）、Ｓｍａｒｔ Ｍｅｄｉａ（登録商標）またはＳｅｃｕｒｅ Ｄｉｇｉｔａｌ（登録商標）カードなどの取り外し可能なタイプのものである。取り外し可能なメモリは、大抵の場合、携帯電子撮像デバイス１００の内部メモリ内に収まらないようなデジタル画像を保存するために用いられるようになっている。

図２Ａは、本発明の例示的な実施形態によるレンズを用いてその光学画像が形成される対象物を表す均一な格子パターンを例示している。図２Ｂは、本発明の例示的な実施形態による樽型歪を生じるレンズ（レンズ１３０）によって形成される、図２Ａに示される均一な格子パターンを例示したものである。歪は、より倍率の高いレンズ１３０によって縁部領域よりも中央部領域において生じることになる。このような歪は、デジタル画像処理技術分野において既知の技法を用いて特徴づけられ、補正することができる。例えば、１つの方法は、Ｆａｒｒに付与された米国特許第５，７５１，８６３号において開示されている。一般に樽型歪の補正を含む幾何学的歪補正はまた、Ｗｉｌｌｉａｍ Ｋ． Ｐｒａｔｔ著「Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ」Ｊｏｈｎ Ｗｉｌｅｙ ＆ Ｓｏｎｓ， Ｉｎｃ．， Ｎｅｗ Ｙｏｒｋ Ｃｉｔｙ， Ｎｅｗ Ｙｏｒｋ， １９７８， ｐｐ． ４２９−４３２ において説明されている。Ｐｒａｔｔの著に記載されている「空間ワーピング」と呼ばれる１つのアプローチには、水平および垂直方向において、図２Ｂにおける歪を有する各格子線２０５に多項式曲線を当てはめ、次に、交差する格子線によって規定される各セルの逆補正関数を計算することが含まれている。

幾何学的歪補正は、また、Ｋｕｂａｎ他に付与された米国特許第５，３５９，３６３号に記載されている。Ｋｕｂａｎ他の特許では、幾何学的歪補正は、フィッシュアイまたは他の広角レンズが大きなエリア（例えば、１８０度の半球形の視界）のビデオ監視を維持する際に用いられている。Ｋｕｂａｎ他の特許に記載されるシステムは、ビデオカメラを機械的に再配置する必要なしに、選択された視野にわたってパン、チルト、回転およびズーム（拡大）の機能を提供している。Ｋｕｂａｎ他の特許によって用いられるような広角レンズは、図２Ｂに示されるのと同様の樽型歪を導入している。Ｋｕｂａｎの参考資料では、１つまたはそれ以上の広い円形視野の部分が選択され、数学的変換は、樽型歪を補正するために、各選択された部分において行われている。Ｋｕｂａｎ他の参考資料は、樽型歪を導入するレンズを用いて光学画像を形成し、得られるデジタル画像において広い視野に限定された部分をクロッピングし、限定された部分で樽型歪を数学的に補正することを開示しているが、これらの技法を用いて、本発明によって形成されるような解像度が改善されると共にデジタルズーミングされた画像を得ることは教示していない。Ｋｕｂａｎ他の特許の基本的な目的は、広い視野のビデオ監視を提供することであり、解像度が改善されると共にデジタルズーミングされた画像を形成することではない。

図３は、本発明の例示的な実施形態による携帯電子撮像デバイス１００においてデジタルズームを実施するための方法のフローチャートである。３０５において、レンズ１３０は、樽型歪を有する光学画像を形成するために用いられている。次に、３１０において、撮像モジュール１１５は、光学画像をデジタル画像に変換することができるようになっている。３１０において形成された画像は、レンズ１３０の低倍率の縁部領域よりも、レンズ１３０の高倍率の中心部領域に対応する中央部において比較的高い解像度を有することになる。デジタルズームモジュール１５０は、その中央部内でデジタル画像をデジタルズーミング（クロッピング）３１５することができるようになっている。３２０において、樽型歪の補正モジュール１５５は、クロッピングされた画像における樽型歪を補正することができるようになっている。この結果得られた解像度が改善されると共にデジタルズーミングされた画像は、３２５において出力され、プロセスは、３３０において終了するようになっている。オプションとして、画像の倍率変更モジュール１６０は、最終画像の取込みの前にプレビューを提供するか、または解像度が改善されると共にデジタルズーミングされた画像を後処理するために呼び出されるようになっている。

図４は、本発明の例示的な実施形態による携帯電子撮像デバイス１００においてデジタルズームを実施するための他の方法のフローチャートである。図４において、ステップ３０５および３１０は、図３におけるように実行されている。しかし、樽型歪の補正モジュール１５５は、デジタルズームモジュール１５０による画像のデジタルズーミング（クロッピング）４１０の前に、４０５において樽型歪を補正するようになっている。次に、解像度が改善されると共にデジタルズーミングされた画像は、４１５において出力され、プロセスは３３０において終了するようになっている。オプションとして、画像の倍率変更モジュール１６０は、最終画像取込み前にプレビューを提供するためか、または解像度が改善されると共にデジタルズーミングされた画像を後処理するために呼び出されるようになっている。

デジタルズーミング（クロッピング）および樽型歪の補正の順序は、重要ではなく、図３または図４におけるように実施されるようになっている。図３に示される実施態様は、樽型歪の補正ステップ中に処理される画素が少ないという利点を有している。

図５から図８は、本発明の動作、および従来のデジタルズーム実施態様に対する利点を示す画像である。（図５から図８では、例示を目的として、非常に解像度の低い画像を用いていることに留意されたい。通常の撮像システムは、数百万画素の画像を形成するようになっている）。図５は、意図的な樽型歪のない従来のレンズを用いて取り込まれた基準デジタル画像である。図５における画像がクロッピング（デジタルズーミング）され、元のサイズに倍率変更されると、図６に示されるように、画質の著しい低下が発生することになる。図７は、本発明の例示的な実施形態による、高度の樽型歪を導入するレンズ１３０を用いて、図５におけるのと同じＣＣＤ解像度で取り込まれた図５におけるシーンと同じシーンのデジタル画像である。図８は、本発明の例示的な実施形態による、クロッピング（デジタルズーミング）、樽型歪の補正および元のサイズへの倍率変更後の図７における画像である。図８は、図６よりも品質が著しく高くなっている。

本発明の上記の説明は、例示および説明を目的として提示されている。上記の説明は、網羅的なものではなく、また、開示される厳密な形態のみに本発明を限定するものでもない。上記の教示に照らして他の変更および変形が可能である。実施形態では、本発明の原理およびその実用上の応用を最良に説明し、それによって、当業者が想定される特定の使用に適した様々な実施形態および様々な変更において本発明を最良に用いることができるように選択および記載されている。添付の特許請求の範囲は、従来技術によって限定されることを除いては、本発明の他の実施形態を含むものと解釈される。

本発明の例示的な実施形態による携帯電子撮像デバイスの機能ブロック図である。 本発明の例示的な実施形態による携帯電子撮像デバイスの機能ブロック図である。 本発明の例示的な実施形態による光学画像がレンズを用いて形成される物体を表す均一な格子を例示する図である。 本発明の例示的な実施形態による樽型歪を生じるレンズによって形成される図２Ａの均一な格子を例示する図である。 図１Ａおよび図１Ｂに示される携帯電子撮像デバイスにおける解像度が改善されるデジタルズーム機能を提供する方法のフローチャートである。 図１Ａおよび図１Ｂに示される携帯電子撮像デバイスにおける解像度が改善されるデジタルズーム機能を提供する他の方法のフローチャートである。 樽型歪を意図的に導入しないレンズを用いて形成される画像である。 図５に示される画像がデジタルズーミングされ、かつ倍率変更されたものである。 本発明の例示的な実施形態による高度の意図的な樽型歪を導入するレンズを用いて形成される画像である。 本発明の例示的な実施形態による図７に示される画像から形成される解像度が改善されると共にデジタルズーミングされ、倍率変更された画像である。

符号の説明

１００ 携帯電子撮像デバイス
１０５ コントローラ
１１５ 撮像モジュール
１２０ メモリー
１２５ ディスプレイ
１３５ ラム
１４０ 不揮発性メモリー
１４５ デジタルズームファームウェア／ソフトウェア
１５０ デジタルズーム
１５５ 樽型歪の補正
１６０ 画像倍率の変更

Claims (2)

1. 光学画像を形成し、縁部領域よりも中央部領域において倍率が高く、それによって、前記光学画像に樽型歪が生じるレンズと、
   前記光学画像を、前記レンズの前記縁部領域に対応する第２の部分よりも前記レンズの前記中央部領域に対応する第１の部分において比較的高い解像度を有するデジタル画像に変換するための少なくとも１つの撮像センサと、
   前記第１の部分内からクロッピングされたデジタル画像を抽出するための第１の論理と、
   前記クロッピングされたデジタル画像における前記樽型歪を補正するための第２の論理とを備え、それによって、解像度が改善されると共にデジタルズーミングされた画像を形成し、
   前記解像度が改善されると共にデジタルズーミングされた画像を所定のサイズに倍率変更するための第３の論理をさらに備える、解像度が改善されるデジタルズーム機能を備えた携帯電子撮像デバイス。
2. 光学画像を形成し、縁部領域よりも中央部領域において倍率が高く、それによって、前記光学画像に樽型歪が生じるレンズと、
   前記光学画像をデジタル画像に変換するための少なくとも１つの撮像センサと、
   前記デジタル画像における前記樽型歪を補正し、前記レンズの前記縁部領域に対応する第２の部分よりも前記レンズの前記中央部領域に対応する第１の部分において比較的高い解像度を有する補正されたデジタル画像を形成するための第１の論理と、
   前記第１の部分からクロッピングされたデジタル画像を抽出するための第２の論理とを備え、それによって、解像度が改善されると共にデジタルズーミングされた画像を形成し、
   前記解像度が改善されると共にデジタルズーミングされた画像を所定のサイズに倍率変更するための第３の論理をさらに備える、解像度が改善されるデジタルズーム機能を備えた携帯電子撮像デバイス。

Images