JP5397751B2 - カメラおよび画像補正方法 - Google Patents

Description

本発明は、撮影された画像に対する歪補正機能を有するカメラ、および、画像補正方法に関する。

デジタルカメラ等の撮像装置では、撮影光学系の歪曲収差によって撮像画像に歪み（ディストーション）を生じさせることが知られている。これは画像の中心付近と周辺部での結像倍率が異なることに起因するものであり、撮影光学系において、望遠位置による撮影では糸巻き型のディストーション、広角位置での撮影では樽型のディストーションが生じるものである。一方、デジタルカメラにおいては、画像をデジタルデータとして取得する特性を有しており、この画像データに対して画像処理（デジタル処理）を施すことでディストーションを補正する技術が種々提案されている（例えば、特許文献１を参照）。これによりユーザはディストーションの軽減された撮影画像を得ることできるようになっている。

特開２００８−９９１８４号公報

しかしながら、上記のようにディストーションが補正されたとしても、これは平面的な被写体が歪みなく撮影できるというものであって、立体的な被写体を考えると依然として歪みが残存している。例えば、観光地などで記念写真や集合写真を撮影するような場合には、背景をできるだけ広く写し込みたいので撮影光学系に広角レンズが用いられることが多い。ところが、このようなとき広角で撮影するほど、図７に示すように、撮影画像２００の周辺部に写り込む人物の像２０１が横に引き伸ばされ、太って写ってしまうという、いわゆる「パースペクティブディストーション」や「広角歪」と称される画像の歪みが発生する問題があり、このような歪みのない高品位な撮影画像を得ることが課題になっている。

本発明はこのような課題に鑑みてなされたものであり、撮影画像に生じる歪曲を高精度に低減することが可能な構成のカメラ、および画像補正方法を提供することを目的とする。

前記課題を解決するために、本発明に係るカメラは、撮影光学系により画像を形成するカメラにおいて、撮影光学系の焦点距離と、撮影光学系への被写体からの光線の入射角とに基づいて、画像の歪曲を補正する際に、入射角に応じて歪曲補正量を変更する処理部を備え、処理部は、歪曲補正量を変更するための補正パターンを有し、補正パターンは、被写体から撮影光学系への入射角をθとし、撮影光学系の焦点距離をｆとし、画像の中心から、画像の中心を通って互いに直交する画像の長辺方向および短辺方向のうちの少なくとも１方向に沿った像高をｘとし、射影方式の変換係数をｕとしたとき、式ｘ＝ｆ（ｕ＋１）・ｓｉｎθ／（ｕ＋ｃｏｓθ）及び０．３＜ｕ＜０．７の条件を満足する射影方式に従って歪曲補正量を変更する。

上述の発明において、処理部は更に、撮像光学系による画像の像高をｙとしたとき、式ｙ＝ｆ・ｔａｎθの条件を満足する射影方式に従って歪曲補正量を変更するもう一つの補正パターンを有することが好ましい。

さらに、上述の発明において、１方向が画像の長辺方向である構成が好ましい。

なお、上述の発明において、被写体中の顔を検出する顔検出部を更に備え、顔検出部により被写体の画像に顔が検出されたときに、処理部は、歪曲補正量を変更することが好ましい。

また、上述の発明において、被写体中の顔を検出する顔検出部を更に備え、顔検出部により被写体の画像の少なくとも周辺部に顔が検出されたときに、処理部は、歪曲補正量を変更するように構成してもよい。

また、上述の発明において、被写体に人を想定した人撮影モードを備え、人撮影モード適用時に、処理部は、歪曲補正量を変更する構成も好ましい。

また、上述の発明において、被写体に人を想定した人撮影モードと、被写体中の顔を検出する顔検出部とを備え、人撮影モードを適用し、顔検出部により被写体の画像の少なくとも周辺部に顔が検出されたときに、処理部は、歪曲補正量を変更する構成も好ましい。

また、本発明に係る画像補正方法は、撮影光学系により画像を形成する画像取得ステップと、撮影光学系の焦点距離と撮影光学系への被写体からの光線の入射角とに基づいて、画像の歪曲を補正する際に、入射角に応じて歪曲補正量を変更する補正量変更ステップとを有し、補正量変更ステップは、被写体から撮影光学系への入射角をθとし、撮影光学系の焦点距離をｆとし、画像の中心から、画像の中心を通って互いに直交する画像の長辺方向および短辺方向のうちの少なくとも１方向に沿った像高をｘとし、射影方式の変換係数をｕとしたとき、式ｘ＝ｆ（ｕ＋１）・ｓｉｎθ／（ｕ＋ｃｏｓθ）及び０．３＜ｕ＜０．７の条件を満足する射影方式に従って歪曲補正量を変更する。

本発明によれば、歪曲が高精度に低減された均一な画像を得ることが可能な構成のカメラおよび画像補正方法を実現することができる。

本発明の一実施形態に係るカメラの外観を示し、（ａ）は正面図、（ｂ）は背面図である。 本実施形態のカメラの構成を示すブロック図である。 画面周辺に写り込んだ被写体像の広角歪を説明するための模式図である。 本実施形態のカメラにおいて画像変換処理に適用される射影方式を説明するための模式図である。 本実施形態のカメラの動作を示すフローチャートである。 受光面上の座標系を示す模式図である。 従来のカメラで撮影した画像における広角歪を表す図である。

以下、図面を参照して本願の好ましい実施形態について説明する。本実施形態に係るデジタルカメラ１の外観図を図１に示しており、まず、この図面を参照しながらデジタルカメラ１の全体構成について説明する。

デジタルカメラ１は、略直方体形状をなすカメラ本体２の前面に、レンズ鏡筒４内に設けられた撮像レンズ３や、撮影光量が不足している場合（被写体が暗い場合）に補助光を発光するストロボ発光部５などを備えている。

カメラ本体２の上面には、レリーズボタン６、電源ボタン７、モードダイヤル８などが設けられている。レリーズボタン６は、半押し段階、全押し段階の２段階を検出可能なボタンであり、レリーズボタン６が半押し操作されると、自動露出調節（ＡＥ）や自動焦点調節（ＡＦ）などの撮影準備動作が行われ、レリーズボタン６が全押し操作されたときに、被写体の画像が記録される。電源ボタン７は、長押し操作されることでデジタルカメラ１の電源をＯＮ／ＯＦＦに切り換える。

モードダイヤル８は、回転操作によりデジタルカメラ１の動作モードを切り換えるようになっており、表示モード、設定モード、撮影モードの選択等、カメラの機能を変更することができるダイヤルである。デジタルカメラ１は撮影モードとして、ポートレートモード（人撮影モード）、遠景モード、夜景モード、スポーツモードなどを有しており、選択された撮影モードに応じて自動的に撮影条件を調節して、それぞれの撮影シーンに適した撮影を行うことができるようになっている。例えば、ポートレートモードは人物を主要被写体とする撮影モードであり、遠景モードは風景を被写体とする撮影モードである。

カメラ本体２の背面には、十字キー９、決定ボタン１０、ズームボタン１１、液晶モニタ１２、光学式ファインダ１３などが備えられている。十字キー９は、液晶モニタ１２上に表示される各種メニューや画像等を選択する際に操作される。決定ボタン１０は、十字キー９で選択された項目等を決定する際に操作されるボタンである。ズームボタン１１は、撮影時に記録する画像を光学的、電子的に拡大、縮小するために操作されるボタンである。液晶モニタ１２は、撮影時に被写体を動画像表示したり、撮影記録した画像や各種メニュー画面などを表示する液晶ディスプレイ（ＬＣＤ）である。光学式ファインダ１３は、被写界を光学的に確認するためのものである。

図２は、本実施形態に係るデジタルカメラ１の機能を示すブロック図である。デジタルカメラ１は、図２に示すように、撮像レンズ３、モータドライバ２４、撮像素子２５、画像処理部２７、メモリカードスロットル３１、操作部３２、表示部３３、液晶モニタ１２、ＣＰＵ４０、顔検出部４１、内部メモリ４２、歪補正部４４、およびデータバス５０などを有している。なお、画像処理部２７、メモリカードスロットル３１、操作部３２、表示部３３、ＣＰＵ４０、および内部メモリ４２は、データバス５０を介して接続されている。また、当然ながらデジタルカメラ１には、他にもカメラの機能を実現するための回路部が備えられているが、その説明については省略する。

撮像レンズ３は、ズームレンズ２１、フォーカスレンズ２２、絞り２３等で構成されており、被写体像を撮像素子２５の受光面２６上に結像させるための撮影光学系である。ズームレンズ２１およびフォーカスレンズ２２は、撮像レンズ３の光軸に沿って、広角側または望遠側の方向に移動自在に設けられている。ズームレンズ２１は、撮像素子２５に結像する光学像を拡大・縮小する（撮像倍率を変化させる）ために、ズームボタン１１の押圧操作に応じてモータにて移動されるレンズである。フォーカスレンズ２２は、ピントを調節するために、ズームボタン１１の押圧操作やズームレンズ２１の移動、レリーズボタン６の半押し操作に応じてモータにて移動されるレンズである。絞り２３は、レリーズボタン６の半押し操作に応じて絞り開口面積を変化させて、撮像素子２５に入射する被写界の光量を調節する。モータドライバ２４は、ＣＰＵ４０の指令により各モータを駆動し、ズームレンズ２１、フォーカスレンズ２２を所定の位置に移動させるとともに、絞り２３の開閉状態を制御する。

撮像素子２５は、撮像レンズ３の背後に設けられており、撮像レンズ３によって受光面２６に結像した被写体の光学像を電気信号に光電変換し、アナログの撮像信号を出力するＣＣＤやＣＭＯＳ等により構成される固体撮像素子である。受光面２６は、横方向の長辺および縦方向の短辺を有する長方形状に形成されている。

画像処理部２７は、撮像素子２５から出力されたアナログの電気信号に対して、ノイズの除去やアナログ／デジタル変換してデジタル信号を生成する。また、画像処理部２７は、デジタル変換されたデジタル信号に対して補間処理等を施して、液晶モニタ１２に表示する表示用画像データや、記録用画像データ等を生成する。メモリカードスロットル３１は、デジタルカメラ１に着脱自在に装着されるメモリカード（記憶媒体）内に撮影画像等のデータを書き込んだり、メモリカード内のデータを消去したりするためのスロットルである。

操作部３２は、レリーズボタン６、電源ボタン７、モードダイヤル８、十字キー９、決定ボタン１０、ズームボタン１１などを有しており、レリーズボタン６の半押し操作、全押し操作等を検出する。表示部３３は、ＣＰＵ４０の指令により画面データを生成し、デジタルカメラ１の背面側に設けられた液晶モニタ１２にこの画像データを表示させる。

ＣＰＵ４０は、デジタルカメラ１で実行される種々の機能を実現するための制御プログラムを処理する回路である。ＣＰＵ４０は、ＣＰＵ内メモリ、内部メモリ４２に記憶された制御用プログラム読み出し、これを実行することで、デジタルカメラ１内の各部を統括的に制御する。

顔検出部４１は、撮像素子２５で撮像した画像データに対して、人物の特徴量を解析する人物抽出を行って、被写体の顔エリア等を検出する。顔検出部４１は、例えば、人物の瞳（眼）抽出や、顔の輪郭抽出を実施することにより、撮影画像における人物の顔の大きさおよび位置を特定する。顔検出部４１によって画像データに対して顔が認識されると、ＣＰＵ４０により撮像レンズ３の焦点を顔エリアに合わせる焦点調節制御や、顔エリアの露出を適正露出にする露出制御などが行われる。

内部メモリ４２は、例えば、ＣＰＵ４０に各種処理を実行させるための制御用プログラム（ファームウェア）等を格納したＲＯＭや、撮像素子２５により撮像された画像データ等の各種データを記憶するＲＡＭなどから構成されている。内部メモリ４２は、被写体の顔エリアを検出するために実行される顔検出プログラムを記憶しており、また、顔認識処理により得られた顔位置、顔の大きさ等の被写体の顔情報を記憶することができる。さらに、内部メモリ４２のＲＯＭには、撮像された画像に対する歪曲の補正に用いられる歪補正テーブル４３が格納されている。

歪補正テーブル４３には、後述の歪補正部４４によって、撮影した画像のディストーション補正をするときに読み出される歪曲補正関数の係数等が格納されている。

歪補正部４４は、撮像レンズ３の歪曲収差によって生じるディストーションを補正するため、撮影した画像データに対して所定の歪曲補正関数を用いて画像変換処理を行う。例えば、歪曲補正関数ｄｉｓ（ｒ）は多項式として、
ｄｉｓ（ｒ）＝Ａ_０＋Ａ_１×ｒ＋Ａ_２×ｒ^２＋Ａ_３×ｒ^３＋・・・＋Ａ_ｎ×ｒ^ｎ …（１）
で表すことができる。なお、ｒは画像変換処理前における画像の中心からの像高であり、Ａ_ｎ（Ａ_０，Ａ_１，Ａ_２，Ａ_３・・・）は各次数項での多項式係数（歪曲収差係数）であって歪補正テーブル４３に格納されている。なお、これに限定されるものではなく、撮像レンズ３の歪曲収差データを撮像された画像の位置（画素位置）ごとにデータテーブル化して歪補正テーブル４３に格納し、これを歪補正部４４によって読み出して、撮影した画像データに対して画像変換処理（ディストーション補正）を行うように構成してもよい。

ところで、このように構成されるデジタルカメラ１において、通常、撮像レンズ３の射影方式は、撮像素子２５の受光面２６上での像高をｒ、撮像レンズ３の焦点距離をｆ、被写体からの入射角（半画角）をθとすると、
ｒ＝ｆ×ｔａｎθ …（２）
に従う射影方式が用いられている。

このとき一般に、式（２）に従う射影方式により撮像された画像には、画像フレームの中心付近と周辺部とでの結像倍率の違いによる撮像レンズ３の歪曲収差によって、いわゆる糸巻型もしくは樽型のディストーションが生じる（特に、レンズの広角端では樽型のディストーションが発生し易い）。このようなディストーションを補正するには、前述したように歪補正部４４により、撮影した画像データに対して式（１）に示す上述の歪曲補正関数ｄｉｓ（ｒ）を用いて画像変換処理を行うことで、ディストーションが低減された画像を得ることできる。

しかしながら、これは平面的な被写体が歪みなく撮影できるというものであって、このようなディストーションとは別に立体的な被写体を考えた場合、画像フレーム周辺の被写体の像が引き伸ばされたような歪み（これは一般に、「パースペクティブディストーション」、もしくは「広角歪」と称されており、以下の説明では「広角歪」と称する）が生じるという問題を有している。

ここで、図３は画面周辺に写り込んだ被写体像の広角歪を説明するための模式図であり、この図を用いて広角歪が生じる様子を説明する。立体的な被写体として人物を想定した場合、人物の頭部は概ね球形状、胴体部は概ね円筒形状と考えることができ、図３に示すように、人物をデジタルカメラ１の正面側でほぼ横一列に整列させて撮影を行うと、周辺に写った人物は入射角をθとして、１／ｃｏｓθだけ横に引き伸ばされて写ってしまう。

これは、撮像レンズ３のほぼ正面に位置する人物６０ａに対しては、この人物（球体もしくは円筒体で想定したもの）６０ａの直径となる線分Ｐ１Ｐ２および撮像レンズ中心Ｐ０により形成される三角形Ｐ０Ｐ１Ｐ２と、受光面２６上に結像された線分Ｐ１Ｐ２の像Ｐ１′Ｐ２′および撮像レンズ中心Ｐ０により形成される三角形Ｐ０Ｐ１′Ｐ２′は相似形であるため、この人物６０ａの像は受光面２６上に理想的な像として結像される。一方、周辺に位置する人物６０ｂに対しては、この人物（球体もしくは円筒体で想定したもの）６０ｂの直径となる線分Ｐ３Ｐ４および撮像レンズＰ０により形成される三角形Ｐ０Ｐ３Ｐ４と、受光面２６上に結像された線分Ｐ３Ｐ４の像Ｐ３′Ｐ５および撮像レンズ中心Ｐ０により形成される三角形Ｐ０Ｐ３′Ｐ５′とは相似形とはならず、線分Ｐ３Ｐ４は、理想的に縮尺された線分Ｐ３′Ｐ４′よりも引き伸ばされた線分Ｐ３′Ｐ５′となって受光面２６上に結像される。これが、図３に示すように、画面周辺に位置する人物の像が横に引き伸ばされて太って写ってしまう原因である。

このため、このような立体的な被写体像に対して広角歪を低減するためには、立体的（球状）な被写体に対して撮像素子２５の受光面２６上に結像される水平方向（横方向）と垂直方向（縦方向）の像の大きさが一致するような射影方式を選択すればよいことになる。そこで、本実施形態のデジタルカメラ１では、歪補正部４４が、歪曲収差によるディストーション補正の他に、撮像素子２５により撮像された画像データに対して次述の他の射影方式の画像に変換する画像変換処理を行うように構成されている。

図４は、歪補正部４４によって画像変換処理を行うために本実施形態に適用される射影方式を説明するための模式図である。ここで、被写体（物界）を点Ｐを中心とした球６１として表し、被写体像（像界）をこの球と接する平面６２で表し、球６１の中心Ｐと平面６２（上の接点）との距離（すなわち球６１の半径）を焦点距離ｆとして表したとき、式（２）に示す通常のレンズの射影方式（ｒ＝ｆ・ｔａｎθ）は、点Ｐから平面６２に至る直線Ｌ１で表すことができる。なお、図４においては、図示のようにＸＹＺ直交座標系を設定しており、Ｙ軸が紙面に対して直行する方向に設定され、Ｘ軸がＹ軸とともに平面に平行になるように設定され、Ｚ軸が平面に対して直交する方向に設定されている。

一方、画像変換のための本射影方式は、任意の変数ｕを用いて、点ＰからＺ軸に沿って距離ｆ・ｕだけ離れた点Ｓから平面６２（ＸＹ平面）に至る直線Ｌ２で表すことができ、この直線Ｌ２と平面６２との交点の高さｘが像界における被写体の像高となる。すなわち、Ｚ軸と直線Ｌ２との角度をδとして、この射影方式を式化すると、
ｘ＝ｆ（ｕ＋１）×ｔａｎδ …（３）
で表わされる。このとき、図４から、
ｔａｎδ＝ｓｉｎθ／（ｕ＋ｃｏｓθ） …（４）
であることから、これを式（３）に代入してδを消去すると、結局ｘは、
ｘ＝ｆ（ｕ＋１）・ｓｉｎθ／（ｕ＋ｃｏｓθ） …（５）
と表すことができる。

ここで、式（５）において、ｕ＝０のときはｘ＝ｆ・ｔａｎθとなり通常の射影方式、ｕ＝１のときはｘ＝２ｆ・ｓｉｎ（θ／２）となり立体射影方式、ｕ＝∞のときはｘ＝ｆ・ｓｉｎθとなり正射影方式を表すこととなる。このため、ｕの値を適切に選択して最適な射影方式を導くことによって像高ｘを調節して、広角歪の低減された画像を得ることが可能になる。なお、以降の説明では、ｕを射影方式の変換係数と称する。

このとき、歪みのない画像を得る条件は、物界上で直径ａの微小な円盤状に表される物体６３の像を考えたとき、像界上でのこの像のＸ軸方向の大きさΔｘとＹ軸方向の大きさΔｙとが等しいこと、すなわち、
Δｘ＝Δｙ …（６）
となることである。このときΔｘは、一般に次式（７）で表すことができる。
Δｘ＝ａ・ｆ（ｕ＋１）（ｃｏｓ（θ−δ））
／（（ｕ＋ｃｏｓθ）・ｃｏｓδ） …（７）
また、この式（７）において、三角関数の基本式を利用してδを消去するように変形すると、Δｘは、
Δｘ＝ａ・ｆ（ｕ＋１）（ｕ・ｃｏｓθ＋１）／（ｕ＋ｃｏｓθ）^２ …（８）
と変形することができる。

一方、物体６３のＹ軸方向の像の大きさΔｙについては、Ｘ軸（Ｙ＝０）近傍においては平面被写体の水平線（横線）が歪まないという条件から、次式（９）のように表すことができる。
Δｙ＝ａ・ｆ／ｃｏｓθ …（９）

したがって、上記の条件式（６）であるΔｘ＝Δｙに、式（８）および式（９）を代入することで、次式（１０）を得ることができる。
ａ・ｆ（ｕ＋１）（ｕ・ｃｏｓθ＋１）／（ｕ＋ｃｏｓθ）^２
＝ａ・ｆ／ｃｏｓθ …（１０）
また、過程は省略するが、この式（１０）を変形すると、式（１０）は次式（１１）のように簡素化される。
（ｃｏｓθ＋１）・ｕ^２＋（ｃｏｓθ）・ｕ−ｃｏｓθ＝０ ・・・（１１）

方程式（１０）からｕについて解を導くと、
ｕ＝（−ｃｏｓθ＋（５ｃｏｓθ^２＋４ｃｏｓθ）^１／２）
／（２（ｃｏｓθ＋１）） …（１２）
となり、入射角θのみに依存する関数となることがわかる。

このとき式（１２）において、θ＝０°のときはｕ＝０．５、０°＜θ≦４５°のときはｕ＝０．４６となり、上記条件の下ではこのｕ値が広角歪補正のための良好な値であることがわかる。なお、θが４５°よりも大きい範囲ではｕは０．４６よりも小さな値となる。また、上述では説明の便宜のため、Ｘ軸近傍の画像における歪みを低減する条件を前提として説明したが、当然ながらＸ軸から離れた位置の画像に対してもｕを適切に選択して広角歪を低減することが可能である。

以上のように、本実施形態においてｕはθに依存する関数であり、広角歪の低減された均一な画像を得るため、像高ｘを表す式（５）に対してｕが次式（１３）の条件を満足することが好ましい。

０．３＜ｕ＜０．７ …（１３）

ここで、ｕが条件式（１３）を満足するとき、式（５）において像高ｘは、
ｆ・θ＜ｘ＜ｆ・ｔａｎθ …（１４）
を満足し、ｕが条件式（１３）内で適切に選択された本射影方式が、等角射影方式（ｘ＝ｆ・θ）と、通常のレンズの射影方式（ｘ＝ｆ・ｔａｎθ）との間の射影方式であることがわかる。

なお、本実施形態の効果を確実にするために、条件式（１３）の上限値を０．６５にすることが好ましい。また、本実施形態の効果を確実にするために、条件式（１３）の下限値を０．３５にすることが好ましい。

このように歪補正部４４は、式（２）に示す射影方式により撮像された画像に対して、式（５）および（１３）を満足するような射影方式の画像に変換する画像変換処理を実施するようになっており、適切に歪曲が低減された画像を簡単に得ることが可能になる。

また、本実施形態においては、撮影条件が、（ａ）モードダイヤル８により選択される撮影モードが人物を被写体として想定したポートレートモードのとき、（ｂ）顔検出部４１により撮像素子２５で撮像された画像中に人物の顔が認識されたとき、（ｃ）顔検出部４１により画像の周辺部に人物の顔が認識されたとき、等に合致した場合に歪補正部４４により画像変換処理を施すようにすることが好ましい。これは撮影される主要な被写体が人物である場合に撮影した画像に対して広角歪を補正することで、上述したような（特に画面周辺の）人物の像が引き伸ばされるという不具合を防止する効果を確実にするためである。

次に、以上のように構成される本実施形態に係るデジタルカメラ１の動作の一例について、図５および図６を追加参照して説明する。図５はデジタルカメラ１の撮影動作を示すフローチャート、図６は撮像素子２５の受光面２６（画像フレーム）の座標系を説明するための模式図である。

まず、撮影者が電源ボタン７を操作することによりデジタルカメラ１の電源がＯＮとなり、動作モードが撮影モードに設定されると、ＣＰＵ４０は画像処理部２７や表示部３３などを制御して、液晶モニタ１２に被写体の動画像をスルー画として表示させる。撮影者は液晶モニタ１２に表示される動画像を確認し撮影構図を決定する。

液晶モニタ１２にスルー画が表示されているときに、撮影者がレリーズボタン６を半押し操作して撮影準備を指示すると（ステップＳ１０１）、顔検出部４１は画像処理部２７から入力した画像に基づいて顔認識処理を実行する（ステップＳ１０２）。続いて撮影者がレリーズボタン６を全押し操作して撮影を指示すると、ＣＰＵ４０は撮影画像が適正露出となるように露光動作等の撮影処理を行う（ステップＳ１０３）。

そして、ステップＳ１０４においては、撮影前にモードダイヤル８により選択された撮影モードがポートレートモードであるか否かを判定し、ポートレートモードが選択されている場合には肯定判定されてステップＳ１０６に進む。一方、他の撮影モードが選択され否定判定されると、ステップＳ１０５に進んで、ステップＳ１０２における顔認識処理の結果、撮像された画像内に人物の顔が認識されたか否かを判定する。ここで、判定対象となる顔が認識された場合とは、位置を問わず画像フレーム内のいずれかで顔が認識された場合を意味するが、これに限定されるものではなく、画像フレーム周辺部でのみ顔が認識された場合としてもよい。ステップＳ１０２で顔認識がされ人物の顔が検出されている場合にはステップＳ１０５において肯定判定されて、ステップＳ１０６に進む。

ステップＳ１０６において、ＣＰＵ４０は撮像素子２５から画像（撮像信号）を取得して画像処理部２７に入力して、画像処理部２７で前述した画像処理の施された画像データを取得する。次いで、歪補正部４４は、撮像素子２５の受光面２６上の座標系を、受光面中心を基準としてＸ軸（撮像素子２５の長辺（横）方向の軸）とＹ軸（撮像素子２５の短辺（縦）方向の軸）とで表される直交座標系から極座標系に変換する座標変換処理を行う（ステップＳ１０７）。この座標変換処理では、受光面２６上の任意の点（画素）Ｑの座標（ｘ，ｙ）を、次式（１５）、（１６）で表される極座標（ｒ，α）に変換する。
ｒ＝（ｘ^２＋ｙ^２）^１／２ ・・・（１５）
α＝ａｔａｎ（ｙ／ｘ） ・・・（１６）

そして、歪補正部４４は、この極座標（ｒ，α）に座標変換された画像データに対して、撮像レンズ３の歪曲収差に基づくディストーション補正を行う（ステップＳ１０８）。ディストーション補正後の極座標（ｒ′，α′）の各値は、上述した式（１）の歪曲補正関数ｄｉｓ（ｒ）を利用して、
ｒ′＝ｒ／（１＋ｄｉｓｔ（ｒ）） …（１７）
α′＝α …（１８）
で表すことができる。なお、このディストーション補正では、基準軸Ｘ，Ｙとのなす角度α′は変化せず、補正後の像高ｒ′の大きさのみが修正される。

次いで、この極座標（ｒ′，α′）を再び受光面２６に対応したＸＹ座標系の座標（ｘ′，ｙ′）に再変換する（戻す）処理が行われる（ステップＳ１０９）。
ｘ′＝ｒ′ｃｏｓα′ …（１９）
ｙ′＝ｒ′ｓｉｎα′ …（２０）
ここまでが一般のディストーション補正の流れであり、ここからが本実施形態による広角歪補正の流れになる。なお、ここでは説明の便宜上、画像におけるＸ軸方向（長辺方向）の広角歪補正処理を一例として説明する。

まず、Ｘ軸方向に沿った画像中心からの距離（像高）ｘ′に対して撮像レンズ３の焦点距離をｆとすると、被写体からの入射角θ_Ｘは、
θ_Ｘ＝ａｔａｎ（ｘ／ｆ） …（２１）
で表すことができる（ステップＳ１１０）。ここで、画像中心からの距離ｘ′については射影方式の変換係数ｕを用いて上述した条件式（５）に適用すると（ステップＳ１１１）、式（５）による射影方式の画像に変換処理した後の座標（ｘ″，ｙ″）は、次式（５）′および（２２）で表される（ステップＳ１１２）。
ｘ″＝ｆ（ｕ＋１）・ｓｉｎθ_Ｘ／（ｕ＋ｃｏｓθ_Ｘ） …（５）′
ｙ″＝ｙ′ …（２２）
このとき、式（５）′で表される射影方式の変換係数ｕを上述した条件式（１３）の範囲内で適切に選択することで、Ｘ軸方向（横方向）に圧縮され広角歪が適切に補正された画像を得ることが可能になる。

一方、画像上で顔が検出されずステップＳ１０５で否定判定されると（すなわち、ステップＳ１０４およびＳ１０５において共に否定判定されると）、ステップＳ１０６′に進むこととなる。ここで、ステップＳ１０６′〜ステップＳ１０９′については、一般のディストーション補正の流れである前述したステップＳ１０６〜ステップＳ１０９での処理と同様であるので、その重複説明は省略する。

そして、ＣＰＵ４０は画像変換処理された画像データを圧縮処理して、内部メモリ４２（ＲＡＭ）に記録する（ステップＳ１１３）。なお、ＣＰＵ４０は撮影により取得されたこの画像を液晶モニタ１２に一定時間だけ表示させる。これによりデジタルカメラ１における一連の撮影動作が終了する。

以上、本実施形態のデジタルカメラ１によれば、取得画像を式（５）等に示す射影方式の画像に変換する処理を行うことで広角歪を適切に補正することにより、水平および垂直方向の直線の歪みがなく、且つ、画面周辺の人物の歪みが低減された均一な画像を得ることができる。

なお、本実施形態のデジタルカメラ１では、水平および垂直線の歪みが改善されるものの、斜めに延びる線に対しては多少歪みが発生するおそれがあり、また、壁のタイル等の規則的な尺目を撮影したときには画面周辺での尺目がやや縦長になるおそれが考えられる。このため、本デジタルカメラ１は、主要な被写体を人物として撮影する場合に最も適している。

また、上述の実施例においては、撮像された画像に対してＸ軸方向（長辺方向）のみの広角歪の補正処理について説明したが、これに限定されるものではなく、Ｙ軸方向（短辺方向）にも条件式（５）および（１３）を適用して、Ｙ軸方向、もしくはＸ，Ｙ軸両方向に対する広角歪の補正を行ってもよい。

さらに、上述の実施形態においては、撮影モードがポートレートモードに選択されているときや、画像中に顔認識されたときに限って、歪補正部４４が広角歪補正のための画像変換処理を実行しているが、これに限定されるものではなく、他の撮影モード（例えば、夜景ポートレートモード）が選択された場合に画像変換処理を行うように構成してもよい。

また、上述の実施形態においては、図２において説明の便宜上、顔検出部４１および歪補正部４４という機能ブロックを設けているが、本実施形態では所定の制御用プログラムに基づいてＣＰＵが各機能を実現するようになっている。

さらに、通常の射影方式により撮像された画像に対して、前述したような所定の射影方式の画像に変換する画像変換処理は、デジタルカメラ１（の歪補正部）による処理に限定されるものではなく、カメラにより撮影取得した画像に対して、例えばＣＰＵを有するコンピュータ（画像処理装置など）により行ってもよく、当然ながら同様の効果を得ることができる。

１ デジタルカメラ（カメラ）
３ 撮像レンズ（撮影光学系）
８ モードダイヤル
２５ 撮像素子
２６ 受光面
４０ ＣＰＵ（処理部）
４１ 顔検出部
４４ 歪補正部（処理部）

Claims (8)

1. 撮影光学系により画像を形成するカメラにおいて、
   前記撮影光学系の焦点距離と、前記撮影光学系への被写体からの光線の入射角とに基づいて、前記画像の歪曲を補正する際に、前記入射角に応じて歪曲補正量を変更する処理部を備え、
   前記処理部は、前記歪曲補正量を変更するための補正パターンを有し、
   前記補正パターンは、前記被写体から前記撮影光学系への入射角をθとし、前記撮影光学系の焦点距離をｆとし、前記画像の中心から、前記画像の中心を通って互いに直交する画像の長辺方向および短辺方向のうちの少なくとも１方向に沿った像高をｘとし、射影方式の変換係数をｕとしたとき、式
   ｘ＝ｆ（ｕ＋１）・ｓｉｎθ／（ｕ＋ｃｏｓθ）
   ０．３＜ｕ＜０．７
   の条件を満足する射影方式に従って前記歪曲補正量を変更することを特徴とするカメラ。
2. 前記処理部は更に、前記撮像光学系による画像の像高をｙとしたとき、式
   ｙ＝ｆ・ｔａｎθ
   の条件を満足する射影方式に従って前記歪曲補正量を変更するもう一つの補正パターンを有することを特徴とする請求項１に記載のカメラ。
3. 前記１方向が前記画像の長辺方向であることを特徴とする請求項１または２に記載のカメラ。
4. 前記被写体中の顔を検出する顔検出部を更に備え、前記顔検出部により前記被写体の画像に顔が検出されたときに、前記処理部は、前記歪曲補正量を変更することを特徴とする請求項１〜３のいずれかに記載のカメラ。
5. 前記被写体中の顔を検出する顔検出部を更に備え、前記顔検出部により前記被写体の画像の少なくとも周辺部に顔が検出されたときに、前記処理部は、前記歪曲補正量を変更することを特徴とする請求項１〜３のいずれかに記載のカメラ。
6. 前記被写体に人を想定した人撮影モードを備え、前記人撮影モード適用時に、前記処理部は、前記歪曲補正量を変更することを特徴とする請求項１〜５のいずれかに記載のカメラ。
7. 前記被写体に人を想定した人撮影モードと、前記被写体中の顔を検出する顔検出部とを備え、前記人撮影モードを適用し、前記顔検出部により前記被写体の画像の少なくとも周辺部に顔が検出されたときに、前記処理部は、前記歪曲補正量を変更することを特徴とする請求項１〜３のいずれかに記載のカメラ。
8. 撮影光学系により画像を形成する画像取得ステップと、
   前記撮影光学系の焦点距離と前記撮影光学系への被写体からの光線の入射角とに基づいて、前記画像の歪曲を補正する際に、前記入射角に応じて歪曲補正量を変更する補正量変更ステップとを有し、
   前記補正量変更ステップは、前記被写体から前記撮影光学系への入射角をθとし、前記撮影光学系の焦点距離をｆとし、前記画像の中心から、前記画像の中心を通って互いに直交する画像の長辺方向および短辺方向のうちの少なくとも１方向に沿った像高をｘとし、射影方式の変換係数をｕとしたとき、式
   ｘ＝ｆ（ｕ＋１）・ｓｉｎθ／（ｕ＋ｃｏｓθ）
   ０．３＜ｕ＜０．７
   の条件を満足する射影方式に従って前記歪曲補正量を変更することを特徴とする画像補正方法。

Images