JP4586534B2

JP4586534B2 - 撮像装置、手ブレ補正装置、携帯電話機および手ブレ補正方法

Info

Publication number: JP4586534B2
Application number: JP2004379222A
Authority: JP
Inventors: クラークイアン; プーンユニス
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2004-12-28
Filing date: 2004-12-28
Publication date: 2010-11-24
Anticipated expiration: 2024-12-28
Also published as: US20060170784A1; US7564482B2; JP2006184679A

Description

本発明は、撮像された画像の手ブレを補正する撮像装置、手ブレ補正装置、携帯電話機および手ブレ補正方法に関するものである。

従来から、カメラの移動量などの動き情報を検出し、その動き情報に基づいて、撮像素子から得られる画像における手ブレの影響を小さくする技術が提案されている（例えば特許文献１参照）。

特開平２−２３９７８１号公報（特許請求の範囲）

１枚の画像内で手ブレ量や手ブレ方向が一定である場合には、上述の従来の補正方法により、手ブレの補正が可能であるが、１枚の画像内で手ブレ量や手ブレ方向が一定ではない場合には、１枚の画像内で、手ブレが良好に補正される部分と、手ブレが良好に補正されない部分が発生してしまう。

例えば、ローリングシャッタのように１枚の画像内の各部の撮影タイミングが異なる場合など、１枚の画像内で手ブレ量や手ブレ方向が一定とならない場合が有り得る。

本発明は、上記の問題に鑑みてなされたものであり、１枚の画像内で手ブレ量や手ブレ方向が一定ではなくても、手ブレを良好に補正することができる撮像装置、手ブレ補正装置、携帯電話機および手ブレ補正方法を得ることを目的とする。

上記の課題を解決するために、本発明では以下のようにした。

本発明に係る撮像装置の１つは、撮像素子と、撮像素子の光軸に対して垂直な方向に関する撮像素子の動きを検出する動き検出手段と、撮像素子により撮像された１枚の画像を複数の部分領域に区分した各部分画像の画像データに対して、撮像素子による撮像の際に動き検出手段により検出された撮像素子の動きを示す動きデータに基づき、手ブレ補正処理を施す演算部とを備える。

これにより、１枚の画像内の部分領域ごとに手ブレ補正が施されるため、１枚の画像内で手ブレ量や手ブレ方向が一定ではなくても、手ブレを良好に補正することができる。

また、本発明に係る撮像装置の１つは、撮像素子と、撮像素子の光軸に対して垂直な方向に関する撮像素子の動きを検出する動き検出手段と、撮像素子の１または複数のラインごとに露出タイミングをシフトさせて各ラインから画像データを抽出して、ローリングシャッタを実現するドライバ回路と、撮像素子により撮像された１枚の画像を複数の部分領域に区分した各部分画像の画像データに対して、撮像素子による撮像の際に動き検出手段により検出された撮像素子の動きを示す動きデータに基づき、手ブレ補正処理を施す演算部とを備える。そして、演算部は、各部分画像の画像データに対して、その部分画像に対応する露出期間に動き検出手段により検出された撮像素子の動きを示す動きデータに基づき、手ブレ補正処理を施す。

これにより、１枚の画像内の部分領域ごとに手ブレ補正が施されるため、ローリングシャッタに起因して１枚の画像内で手ブレ量や手ブレ方向が一定ではない場合でも、手ブレを良好に補正することができる。

また、本発明に係る撮像装置は、上記の撮像装置のいずれかに加え、次のようにしてもよい。この場合、演算部は、動き検出手段による撮像素子の動きの検出時のサンプリングレートを撮像素子およびドライバ回路のフレームレートで除算した数の部分領域に区分した各部分画像の画像データに対して手ブレ補正処理を施す。

これにより、各部分領域につき少なくとも１つの動きデータが得られ、各部分領域の手ブレ補正を確実に実行することができる。

また、本発明に係る撮像装置は、上記の撮像装置のいずれかに加え、次のようにしてもよい。この場合、撮像素子により撮像された画像の画像データを記憶する第１の記憶部と、撮像素子による撮像の際の動き検出手段による動きデータを記憶する第２の記憶部と、撮像素子による１枚の画像の撮像タイミングに関連付けて、動き検出手段により検出された動きデータを第２の記憶部に格納するサンプリング回路とを備える。

これにより、各部分領域の画像データと動きデータを確実に対応付けられ、各部分領域の手ブレ補正を確実に実行することができる。

また、本発明に係る撮像装置は、上記の撮像装置のいずれかに加え、次のようにしてもよい。この場合、演算部は、撮像素子の動きデータから撮像素子の手ブレ量と手ブレ方向を計算する第１の計算部と、第１の計算部による撮像素子の手ブレ方向の方向に沿って、第１の計算部による撮像素子の手ブレ量に応じた手ブレ補正処理を、各部分画像の画像データに対して施す第２の計算部とを有する。

これにより、各部分領域について手ブレ方向に沿って手ブレ補正が実行されるため、各部分領域の手ブレ補正を確実に実行することができる。

また、本発明に係る撮像装置は、上記の撮像装置のいずれかに加え、次のようにしてもよい。この場合、第２の計算部は、第２の計算部は、撮像素子による元画像を初期の推測画像とし、推測画像を手ブレ方向へボケさせたボケ画像とその元画像との間の誤差画像に基づき推測画像を更新する推測画像更新処理を、所定の条件を満たすまで繰り返し実行し、推測画像更新処理後の推測画像に対してシャープニング処理を手ブレ方向に沿って施す。

これにより、部分領域ごとに画像のエッジ部分の手ブレを低減することができ、全体として手ブレ補正を確実に実行することができる。

また、本発明に係る撮像装置は、上記の撮像装置のいずれかに加え、次のようにしてもよい。この場合、動き検出手段は、撮像素子の光軸に対して垂直な第１の軸を中心とした撮像素子の角速度を検出する、当該撮像装置の筐体内に固定された第１のジャイロセンサと、撮像素子の光軸および第１の軸に対して垂直な第２の軸を中心とした撮像素子の角速度を検出する、当該撮像装置の筐体内に固定された第２のジャイロセンサとで構成される。

これにより、ジャイロセンサを使用することで動き検出手段を小型にすることができ、撮像装置の筐体が小さい場合でも、手ブレ補正を簡単に実現することができる。

また、本発明に係る撮像装置は、上記の撮像装置のいずれかに加え、次のようにしてもよい。この場合、演算部は、各部分画像の撮影期間に対応して検出された複数の角速度と角速度のサンプリングレートとの積に基づき、第１の軸を中心とした撮像素子の第１の回転角および第２の軸を中心とした撮像素子の第２の回転角を計算し、その第１および第２の回転角に基づいて、手ブレ量および手ブレ方向を計算する。

これにより、各部分領域につき複数の角速度データが得られる場合には、より正確な手ブレ量および手ブレ方向を得ることができる。

本発明に係る手ブレ補正装置は、撮像素子により撮像された画像の画像データを記憶する第１の記憶部と、撮像素子による撮像の際の、撮像素子の光軸に対して垂直な方向に関する撮像素子による動きデータを記憶する第２の記憶部と、第１の記憶部に格納された画像データを複数の部分領域に区分した各部分画像データに対して、第２の記憶部に可能された撮像素子の動きを示すデータに基づき、手ブレ補正処理を施す演算部とを備える。

本発明に係る携帯電話機は、筐体内に固定された撮像素子と、撮像素子の光軸に対して垂直な第１の軸を中心とした撮像素子の角速度を検出する、その筐体内に固定された第１のジャイロセンサと、撮像素子の光軸および第１の軸に対して垂直な第２の軸を中心とした撮像素子の角速度を検出する、その筐体内に固定された第２のジャイロセンサと、撮像素子により撮像された１枚の画像を複数の部分領域に区分した各部分画像の画像データに対して、撮像素子による撮像の際に第１および第２のジャイロセンサにより検出された撮像素子の角速度に基づき、手ブレ補正処理を施す演算部とを備える。

これにより、ジャイロセンサを使用することで、筐体が小さい携帯電話機でも、撮像素子の動きを検出することができ、手ブレ補正を簡単に実現することができるとともに、１枚の画像内の部分領域ごとに手ブレ補正が施されるため、１枚の画像内で手ブレ量や手ブレ方向が一定ではなくても、手ブレを良好に補正することができる。

本発明に係る手ブレ補正方法は、撮像素子による撮像の際に、撮像素子の光軸に対して垂直な方向に関する撮像素子の動きを検出するステップと、撮像素子により撮像された１枚の画像を複数の部分領域に区分した各部分画像の画像データに対して、撮像素子による撮像の際に検出した撮像素子の動きを示す動きデータに基づき、手ブレ補正処理を施すステップとを備える。

以下、図に基づいて本発明の実施の形態を説明する。

実施の形態１．
図１は、本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。この撮像装置は、デジタルスチルカメラなどといった携帯可能な撮像装置である。図１において、カメラ１は、ＣＣＤ（Charge Coupled Device ）センサ、ＣＭＯＳセンサなどといった撮像素子と、その撮像素子の表面に被写体の像を投射するレンズなどの光学系とを有するモジュールである。このカメラ１は、この撮像装置の筐体あるいは筐体内の構造体に固定される。これにより、カメラ１内の撮像素子も筐体内で固定され、カメラ１内の撮像素子は、三次元空間内で、この撮像装置の運動と同様に運動する。

また、センサ２Ｘは、撮像素子を含むカメラ１の光学系の光軸に対して垂直な方向（以下、Ｘ軸とする）に関するカメラ１の撮像素子の動きを検出する動き検出手段である。また、センサ２Ｙは、撮像素子を含むカメラ１の光学系の光軸およびＸ軸に対して垂直な方向（以下、Ｙ軸とする）に関するカメラ１の撮像素子の動きを検出する動き検出手段である。

センサ２Ｘ，２Ｙは、カメラ１と同様に、この撮像装置の筐体あるいは筐体内の構造体に固定される。これにより、センサ２Ｘ，２Ｙは、この撮像装置の運動と同様に運動する。ひいては、この撮像装置の運動に伴い、センサ２Ｘ，２Ｙは、カメラ１と同様に移動する。

この実施の形態１では、センサ２Ｘ，２Ｙは、Ｘ軸およびＹ軸を中心とした撮像素子の回転運動に係る角速度を検出するジャイロセンサである。つまり、センサ２Ｘ，２Ｙにおいて発生する電圧、電流、抵抗などのアナログ値が、センサ２Ｘ，２Ｙの角速度に伴い変化する。なお、センサ２Ｘ，２Ｙにより、絶対角速度の情報が得られる。このようなジャイロセンサとしては、例えば、本出願人らが開発した振動ジャイロセンサ「ＸＶ−３５００ＣＢ」などがある。一例としてのこの振動ジャイロセンサ「ＸＶ−３５００ＣＢ」の外形寸法は、５．０［ｍｍ］×３．２［ｍｍ］×１．３［ｍｍ］であり、その質量は６６［ｍｇ］である。このような小型・薄型のジャイロセンサを使用することで、筐体内の空間が狭い装置でも充分に、センサ２Ｘ，２Ｙを設置可能である。また、この実施の形態１をカメラ付き携帯電話機に応用する場合でも、カメラ付き携帯電話機の筐体内の空間は狭いが、充分、センサ２Ｘ，２Ｙを設置可能である。

図２は、実施の形態１におけるセンサ２Ｘ，２Ｙが検出する角速度の方向を示す斜視図である。図２に示すように、カメラ１の光学系の光軸をＺ軸としたとき、センサ２Ｘは、図２のＸ軸周りのカメラ１の角速度を検出し、センサ２Ｙは、図２のＹ軸周りのカメラ１の角速度を検出する。

図１に戻り、サンプリング回路３は、センサ２Ｘ，２Ｙにおいて発生する電圧、電流、抵抗などのアナログ値をＡ／Ｄ変換し、カメラ１の運動に関する動きデータを取得する回路である。この実施の形態１では、センサ２Ｘ，２Ｙは角速度を検出するため、動きデータは、角速度データとなる。

また、サンプリング回路３は、所定のサンプリングレートで反復してセンサ２Ｘ，２Ｙの検出値をサンプリングする。この実施の形態１では、サンプリング回路３によるサンプリングレートは、ドライバ回路４によるローリングシャッタ動作時のフレームレート（１枚の画像の撮影に要する時間の逆数）より大きく設定される。

また、サンプリング回路３は、カメラ１の１枚の画像の撮像開始時に関連付けて、センサ２Ｘ，２Ｙより検出された角速度データをジャイロデータ５ａとしてメモリ５に格納する。

図３は、実施の形態１におけるジャイロデータ５ａの一例を示す図である。ジャイロデータ５ａは、センサ２Ｘ，２Ｙにより得られる各サンプルにつき、サンプル番号、Ｘ軸の角速度データおよびＹ軸の角速度データを含む。各サンプルは、サンプリングレートで順番に発生し、１ずつ増加するサンプル番号を順番に付される。例えば、図３においては、サンプル番号が３３３であるサンプルのＸ軸の角速度データは１５３９であり、Ｙ軸の角速度データは１５１８である。

この実施の形態１では、ジャイロデータ５ａとして記憶する角速度データは、センサ２Ｘ，２Ｙから出力されたロウ（ＲＡＷ）データとされ、角速度データを使用した計算を行う際に、ロウ（ＲＡＷ）データが角速度値へ変換される。なお、ロウデータから角速度値へ変換した後の値を、ジャイロデータ５ａの角速度データとして記憶するようにしてもよい。ロウデータから角速度値への変換は、センサ２Ｘ，２Ｙの既知の特性に基づき行えばよい。

図１に戻り、ドライバ４回路は、カメラ１の撮像素子から画像データ５ｂを抽出しメモリ５に格納する回路である。また、この実施の形態１では、ドライバ４回路は、カメラ１における撮像素子の１または複数のラインごとに露出タイミングをシフトさせた後、ラインごとに画像データを抽出して、ローリングシャッタを実現する回路である。

また、メモリ５は、ＲＡＭ、ＥＥＰＲＯＭ（Electronic Erasable Programmable ROM）、フラッシュメモリなどといった半導体メモリであり、ジャイロデータ５ａ、画像データ５ｂ、補正済み画像データ５ｃなどを記憶する記憶部である。なお、メモリ５の替わりにハードディスクドライブなどの記録媒体を使用するようにしてもよい。

図４は、実施の形態１において実現されるローリングシャッタを説明する図である。図４に示すように、カメラ１の撮像素子１ａは、１画素に相当する受光部１ｂを二次元に配列したものである。１配列方向に沿った撮像素子１ａの集合がライン１ｃとなる。

各受光部１ｂは、入射光量に応じた電荷、電圧等を生成し、二次元に配列された受光部１ｂの電荷、電圧等の分布が画像情報となる。画像情報は、ライン１ｃごとに撮像素子１ａから抽出される。各ライン１ｃのアナログ値の画像情報は、ドライバ回路４により、デジタル値の画像データに変換され、メモリ５に記憶される。

１本のライン１ｃずつ、リセットのタイミングで受光部１ｂの電荷、電圧等がリセットされ、その後所定時間経過後の読み出しのタイミングで、受光部１ｂの電荷、電圧等が抽出される。すなわち、リセットのタイミングから読み出しのタイミングまでの期間が、そのライン１ｃの露出期間となる。

ローリングシャッタの場合、カメラ１の光学系を介して撮像素子１ａの表面に被写体の像に対応する光が入射している状態で、ドライバ回路４は、リセットのタイミングと読み出しのタイミングを１または複数のライン１ｃ毎にシフトさせつつ各ライン１ｃの露出時間を一定として露出させ、その後に各ライン１ｃの画像情報を抽出する。したがって、ローリングシャッタの場合には、擬似的な開口部が、ライン１ｃの配列方向に沿って移動していき、シャッタが実現される。

このようにローリングシャッタの場合、開口部が撮像素子１ａのラインと垂直な方向へ時間とともに移動していく。このため、ライン内での撮影タイミングは同一であるが、１枚の画像内での撮影タイミングは部分によって異なることになり、撮影の際に、時間とともに手ブレの速度、角度などが変化する場合には、画像内の部分によって手ブレ量および／または手ブレ方向が変化する。

図５は、実施の形態１における撮像素子の各ラインの撮影タイミングとジャイロデータのサンプル番号との対応関係の一例を示すタイミングチャートである。ジャイロデータ５ａのサンプルは、ライン１ｃのリセットから読み出しまでの期間に関連付けられる。図５に示す例では、サンプル番号（ｉ）〜（ｉ＋５）のジャイロデータ５ａのサンプルは、第（ｎ）ラインの画像データに関連付けられる。

図１に戻り、演算部６は、カメラ１により撮像された１枚の画像を複数の部分領域に区分した各部分画像の画像データに対して、カメラ１による撮像の際にセンサ２Ｘ，２Ｙにより検出されたカメラ１の動きを示す角速度データに基づき、手ブレ補正処理を施す回路または装置である。演算部６は、例えば、上記処理を記述したプログラムを記憶したメモリおよびそのメモリからプログラムを読み出して実行するマイクロプロセッサにより実現される。なお、その他、演算部６の一部または全部を、上記処理専用の電子回路に置き換えてもよい。

演算部６において、手ブレ検出部１１は、撮像素子１ａの動きを示す角速度データから手ブレ量と手ブレ方向を計算する第１の計算部である。また、画像補正部１２は、手ブレ検出部１１の計算による手ブレ方向に沿って、手ブレ検出部１１の計算による手ブレ量に応じた手ブレ補正処理を、各部分画像の画像データに対して施す第２の計算部である。

また、制御回路７は、サンプリング回路３、ドライバ回路４および演算部６を制御する回路である。制御回路７は、例えば、各種動作の開始、終了などの指令を供給する。

なお、上述のメモリ５および演算部６により手ブレ補正装置が構成される。手ブレ補正装置の一部として、メモリ５は、撮像素子１ａにより撮像された画像の画像データ５ｂを記憶する第１の記憶部、および撮像素子１ａによる撮像の際の、撮像素子１ａの光軸に対して垂直な方向に関する上記撮像素子の動きを示す動きデータ（実施の形態１ではジャイロデータ５ａ）を記憶する第２の記憶部として機能する。また、手ブレ補正装置の一部として、演算部６は、その第１の記憶部に格納された画像データ５ｂを複数の部分領域に区分した各部分画像データに対して、その第２の記憶部に可能された撮像素子１ａの動きを示す動きデータに基づき、手ブレ補正処理を施す。

次に、上記装置の動作について説明する。図６は、実施の形態１に係る撮影装置の動作を説明するフローチャートである。

まず、図示せぬ操作部に対して撮影指令が入力されると、制御回路７は、その操作指令に対応して、ドライバ回路４に撮影開始指令を供給するとともに、サンプリング回路３にサンプリング開始指令を供給する。

ドライバ回路４は、所定のフレームレートと同一周波数のフレーム同期信号を生成しており、撮影開始指令を受け取ると、それ以後にフレーム同期信号から得られる画像の先頭タイミング（垂直同期タイミング）で撮影動作を開始する。そして、ドライバ回路４は、カメラ１の撮像素子１ａを制御してローリングシャッタ動作を行い、１枚の画像に対応する画像データ５ｂを取得し、メモリ５に格納する（ステップＳ１）。

この実施の形態１では、ローリングシャッタ動作時には、第（ｎ）のライン１ｃのリセットタイミングと第（ｎ＋１）のライン１ｃのリセットタイミングとの間隔は、例えば、サンプリング回路３によるサンプリングレートの逆数とされる。

他方、サンプリング回路３は、サンプリング開始指令を受け取ると、その後、ドライバ回路４の撮影動作の開始タイミングを検出し、そのタイミングから１枚の画像分の期間に得られるセンサ２Ｘ，２Ｙの検出値に基づきジャイロデータ５ａを生成し、メモリ５に格納する（ステップＳ１）。

次に、制御回路７は、手ブレ補正処理の指令を演算部６に供給する。

演算部６の手ブレ検出部１１は、まず、メモリ５のジャイロデータ５ａおよび画像データ５ｂを参照して、１枚の画像に対応する画像データ５ｂから、所定の数の部分領域（以下、セグメントという）に対応する画像データ５ｂを特定するとともに、各セグメントの撮影期間にセンサ２Ｘ，２Ｙから検出されたジャイロデータ５ａを特定する（ステップＳ２）。

この実施の形態１では、セグメントの数は、サンプリングレートをフレームレートで除算して得られる数とされる。例えば、サンプリングレートが２４０［１／ｓｅｃ］であり、フレームレートが１５［１／ｓｅｃ］である場合には、セグメント数は１６となる。図７は、実施の形態１において、セグメント数が１６である場合のセグメントを示す図である。図７に示すように、これらのセグメントは、画像内で、ローリングシャッタの開口部の移動方向に相当する方向に配列し、各セグメントは、１または複数のラインから構成される。

そして、演算部６の手ブレ検出部１１は、各セグメントの撮影期間に検出されたジャイロデータ５ａに基づき、各セグメントについて手ブレ量と手ブレ方向を計算する（ステップＳ３）。

この実施の形態１では、ジャイロデータ５ａとして、センサ２Ｘ，２Ｙのロウデータがメモリ５に格納されるため、最初に、ジャイロデータ５ａの各サンプルの値が、角速度値に変換される。その際、式（１）および式（２）に従って、ジャイロデータ５ａから各サンプルについてのＸ軸およびＹ軸に関する角速度値ωｘ，ωｙが計算される。

（ｇｘ−ｇｘ０）・ＱＳ＝ωｘ・Ｆ・Ａ・・・（１）

（ｇｙ−ｇｙ０）・ＱＳ＝ωｙ・Ｆ・Ａ・・・（２）

ここで、ｇｘ，ｇｙ［ｂｉｔｌｅｖｅｌ］は、ジャイロデータ５ａのＸ軸およびＹ軸のサンプル値であり、ｇｘ０，ｇｙ０［ｂｉｔｌｅｖｅｌ］は、角速度が０であるときのジャイロデータ５ａのＸ軸およびＹ軸のサンプル値である。また、ＱＳ［ｍＶ／ｂｉｔｌｅｖｅｌ］は、サンプリング回路３の量子化ステップである。Ｆ［ｍＶ／ｄｅｇ／ｓｅｃ］は、変換係数である。Ａは、サンプリング回路３での増幅度である。

次に、各セグメントに対応するサンプルの角速度値ωｘ，ωｙから、各セグメントのＸ軸周りの回転角θｘとＹ軸周りの回転角θｙが計算される。その際、式（３），（４）に従って、各セグメントのＸ軸周りの回転角θｘとＹ軸周りの回転角θｙが計算される。

ここで、Ｎｓは、セグメントに対応する最初のサンプルのサンプル番号であり、Ｎｅは、セグメントに対応する最後のサンプルのサンプル番号である。ωｘ（ｉ）は、サンプル番号ｉのサンプル値である。なお、式中の（１／２４０）は、サンプリングレートの逆数である。ここでは、角加速度が一定であるものとして定式化しているが、サンプリングレートを十分高く設定すれば特に問題は生じない。

そして、各セグメントのＸ軸周りの回転角θｘとＹ軸周りの回転角θｙから、この手ブレに起因する画像上での手ブレ量Ｄｍおよび手ブレ方向θｍが計算される。その際、式（５）に従って、画像上での手ブレベクトルＭが計算され、その手ブレベクトルＭの大きさが手ブレ量Ｄｍとされ、手ブレベクトルＭの向きが手ブレ方向θｍとされる。

ここで、ｘは、画像の左下隅を（０，０）とした場合のＸ軸方向の画素位置であり、ｙは、画像の左下隅を（０，０）とした場合のＹ軸方向の画素位置であり、ｘ０は、画像の左下隅を（０，０）とした場合のＸ軸方向の主点位置であり、ｙは、画像の左下隅を（０，０）とした場合のＹ軸方向の主点位置である。例えば、（ｘ，ｙ）は、セグメントの中心の位置とされる。Ｓｘは、カメラ１のレンズのＸ軸方向のスケーリング係数であり、Ｓｙは、カメラ１のレンズのＹ軸方向のスケーリング係数であり、Ｆは、カメラ１のレンズの焦点距離である。

なお、式（５）は、弱透視投影カメラモデル（weak perspective camera）の射影マトリックスＣＰを使用して、視点がＸ軸およびＹ軸の周りで回転運動した場合の、視点から見た被写体の像の変化を定式化したものである。

図８は、実施の形態１において計算された手ブレ量および手ブレ方向の一例を示す図である。図８に示す手ブレ量および手ブレ方向は、フレームレートが１５［１／ｓｅｃ］であり、サンプリングレートが２４０［１／ｓｅｃ］であり、セグメント数が１６である場合に、図３に示すジャイロデータ５ａから、上述の式（１）〜（５）に従って導出したものである。

図８の場合、セグメント１については、サンプル番号が３３３〜３４９のジャイロデータ５ａが使用される。例えば、セグメント１について、ＱＳ＝０．８０５６、Ｆ＝０．６７、Ａ＝８、ｇｘ０＝１５４０．５６６である場合、サンプル番号が３３３であるジャイロデータ５ａのサンプル値は１５３９であるので、このサンプル番号に対する角速度ωｘは、式（１）に基づき、−０．２３５３［度／ｓｅｃ］となる。

また、この場合、式（１）〜（４）に従って、θｘ＝０．１１３００２［度］、θｙ＝０．０１５２７［度］と計算される。そして、式（５）に従って、手ブレベクトルＭのＸ軸成分であるＭｘおよびＹ軸成分であるＭｙが、Ｍｘ＝１．９２８５９６［ピクセル］およびＭｙ＝０．２５７２００［ピクセル］と計算される。したがって、セグメント１の手ブレ量Ｄｍおよび手ブレ方向θｍは、ＭｘおよびＭｙから、Ｄｍ＝２［ピクセル］およびθｍ＝７．５９［度］と計算される。なお、手ブレ方向θｍは、Ｘ軸からの角度を示す。

このようにして、各セグメントの手ブレ量Ｄｍおよび手ブレ方向θｍが計算される（ステップＳ３）。

次に、演算部６の画像補正部１２は、各セグメントの手ブレ量Ｄｍおよび手ブレ方向θｍに基づいて、各セグメントの画像データに対して手ブレ補正処理を施す（ステップＳ４）。そして、画像補正部１２は、手ブレ量Ｄｍおよび手ブレ方向θｍに基づき手ブレ補正された全セグメントの画像データからなる画像データを、１枚の画像についての画像データ５ｂに対する補正済み画像データ５ｃとし、メモリ５に格納する（ステップＳ５）。

ここで、ステップＳ４における各セグメントの画像データに対する手ブレ補正処理の詳細について説明する。図９は、図６のステップＳ４における各セグメントの画像データに対する手ブレ補正処理の詳細について説明するフローチャートである。

まず、画像補正部１２は、各セグメントについて、手ブレ量Ｄｍが所定の閾値以上であるか否かを判定し、手ブレ量Ｄｍが所定の閾値以上である場合には、そのセグメントについて、以下の手ブレ補正処理を実行すると判定し、手ブレ量Ｄｍが所定の閾値未満である場合には、そのセグメントについて、手ブレ補正処理を実行しないと判定する。

画像補正部１２は、手ブレ量Ｄｍが所定の閾値以上である場合には、そのセグメントについて手ブレ補正処理を、以下のように実行する。

初めに、画像補正部１２は、１つのセグメントについて、カメラ１およびドライバ回路４により取得された画像データ５ｂを手ブレ画像Ｉ（ｘ，ｙ）とし、この手ブレ画像Ｉ（ｘ，ｙ）を推測画像Ｏ（ｘ，ｙ）の初期値とする（ステップＳ２１）。

また、画像補正部１２は、そのセグメントの手ブレ方向θｍおよび手ブレ量Ｄｍに基づいて、手ブレ方向に画像をボケさせるフィルタＨ（ｉ，ｊ）を生成する。

なお、フィルタＨ（ｉ，ｊ）の縦横のサイズは、それぞれ手ブレ量Ｄｍのピクセル以上に設定される。また、フィルタＨ（ｉ，ｊ）の行列において、中心の要素および中心から手ブレ方向θｍの要素（１行につき１つの要素または１列につき１つの要素）の値が定数ａ１とされ、その要素の１列または１行だけ隣りの１つの要素の値が定数ａ２とされ、その他の要素の値はゼロとされる。定数ａ１，ａ２は、手ブレ量Ｄｍの逆数に比例した正の値を有し、ａ１＋ａ２＝１／Ｄｍの関係にある値とされる。図１０は、実施の形態１におけるフィルタＨの一例を示す図である。図１０に示すフィルタＨは、Ｄｍ＝５、θｍ＝５４度のときのものである。

次に、画像補正部１２は、推測画像Ｏに対してフィルタＨを適用して、推測画像Ｏに対するボケ画像Ｂを生成する（ステップＳ２２）。

そして、画像補正部１２は、手ブレ画像Ｉから生成したボケ画像Ｂを減算して誤差画像Ｅ（ｘ，ｙ）を生成する（ステップＳ２３）。また、画像補正部１２は、生成した誤差画像Ｅ（ｘ，ｙ）にフィルタＨを適用して、誤差画像Ｅ（ｘ，ｙ）のエッジ部分をボケさせる。

また、画像補正部１２は、まず、式（６），（７），（８）に従ってエッジ強度行列Ｗ（ｘ，ｙ）を生成する。さらに、画像補正部１２は、そのエッジ強度行列Ｗ（ｘ，ｙ）を標準化する。つまり、Ｗ（ｘ，ｙ）の全要素のうちの最大値が１に、最小値が０になるように、Ｗ（ｘ，ｙ）の全要素の値を一次式で変換して、Ｗ（ｘ，ｙ）の全要素の値が０〜１の範囲に入るようにする。

なお、式（６），（７）の右辺の演算子は、畳み込みを表す。

Ｗ（ｘ，ｙ）＝ｃｏｓ（θｍ）・ｄｘ（ｘ，ｙ）＋ｓｉｎ（θｍ）・ｄｙ（ｘ，ｙ）・・・（８）

そして、画像補正部１２は、標準化後のエッジ強度行列Ｗ（ｘ，ｙ）を使用して、式（９）に従って推測画像Ｏ（ｘ，ｙ）を更新する（ステップＳ２４）。

Ｏ（ｘ，ｙ）＝Ｏ（ｘ，ｙ）＋β×Ｅ（ｘ，ｙ）×Ｗ（ｘ，ｙ）・・・（９）

ここで、βは、正の定数であり、推測画像Ｏの値の収束の速さを制御するための定数である。βの値は、手ブレ量Ｄｍおよび手ブレ方向θｍに基づいて決定される。例えば、フィルタＨの最大特異値λに基づき、βは（２／（λ^２））未満の正の定数とされる。

そして、画像補正部１２は、今回の更新量Ｓが所定の閾値未満であるか否かを判定する（ステップＳ２５）。

今回の更新量Ｓが所定の閾値未満である場合には、画像補正部１２は、推測画像Ｏの更新を終了し、推測画像Ｏに対して、エッジを強調するシャープニング処理を手ブレ方向θｍに沿って施し、その処理後の画像を、そのセグメントの手ブレ補正済みの画像とする（ステップＳ２７）。なお、更新量Ｓは、式（１０）に従って計算される。

一方、今回の更新量Ｓが所定の閾値以上である場合には、画像補正部１２は、所定回数（例えば５回）、推測画像Ｏを更新したか否かを判定し（ステップＳ２６）、所定回数、推測画像Ｏを更新したと判定した場合には、画像補正部１２は、推測画像Ｏに対して、エッジを強調するシャープニング処理を施し、その処理後の画像を、そのセグメントの手ブレ補正済みの画像とする（ステップＳ２７）。

今回の更新量Ｓが所定の閾値未満であり、かつ所定回数、推測画像Ｏを更新していないと判定した場合には、画像補正部１２は、ステップＳ２２〜ステップＳ２６の処理を、更新量Ｓが所定の閾値未満となるか、所定回数、推測画像Ｏを更新するまで、繰り返し実行する。

図１１は、上述した手ブレ補正処理の施した場合の各画像の変化を模式的に示した図である。図１１に示すように、推測画像Ｏは、誤差画像Ｅに基づき更新されていくと、徐々に理想画像に近づいていく。

このようにして、画像補正部１２は、各セグメントについて手ブレ補正処理を実行する。

以上のように、上記実施の形態１によれば、センサ２Ｘ，２Ｙは、撮像素子１ａの光軸に対して垂直な方向に関する撮像素子１ａの動きを検出する。演算部６は、撮像素子１ａにより撮像された１枚の画像を複数の部分領域に区分した各部分画像の画像データに対して、撮像素子１ａによる撮像の際にセンサ２Ｘ，２Ｙにより検出された撮像素子１ａの動きを示す動きデータに基づき、手ブレ補正処理を施す。

特に、上記実施の形態１に係る撮像装置は、ドライバ回路４が、撮像素子１ａの１または複数のラインごとに露出タイミングをシフトさせて、その後、ラインごとに画像データを抽出して、ローリングシャッタを実現する。このようなローリングシャッタに起因して１枚の画像内で手ブレ量や手ブレ方向が一定ではない場合でも、手ブレを良好に補正することができる。

また、上記実施の形態１によれば、演算部６は、センサ２Ｘ，２Ｙによる撮像素子１ａの動きの検出時のサンプリングレートを撮像素子１ａおよびドライバ回路４のフレームレートで除算した数の部分領域に区分した各部分画像の画像データに対して手ブレ補正処理を施す。

これにより、各部分領域につき少なくとも１つのジャイロデータ５ａが得られ、各部分領域の手ブレ補正を確実に実行することができる。

また、上記実施の形態１によれば、サンプリング回路３は、撮像素子１ａによる１枚の画像の撮像タイミングに関連付けて、センサ２Ｘ，２Ｙにより検出されたジャイロデータ５ａをメモリ５に格納する。

これにより、各部分領域の画像データとジャイロデータ５ａを確実に対応付けられ、各部分領域の手ブレ補正を確実に実行することができる。

また、上記実施の形態１によれば、演算部６において、手ブレ検出部１１は、ジャイロデータ５ａから撮像素子１ａの手ブレ量と手ブレ方向を計算し、画像補正部１２は、手ブレ検出部１１による撮像素子１ａの手ブレ方向の方向に沿って、手ブレ検出部１１による撮像素子１ａの手ブレ量に応じた手ブレ補正処理を各部分画像の画像データに対して施す。

また、上記実施の形態１によれば、画像補正部１２は、撮像素子１ａによる元画像を初期の推測画像とし、推測画像を手ブレ方向へボケさせたボケ画像とその元画像との間の誤差画像に基づき推測画像を更新する推測画像更新処理を、所定の条件を満たすまで繰り返し実行し、推測画像更新処理後の推測画像に対してシャープニング処理を手ブレ方向に沿って施す。

また、上記実施の形態１によれば、センサ２Ｘは、撮像素子１ａの光軸に対して垂直なＸ軸を中心とした撮像素子１ａの角速度を検出する、当該撮像装置の筐体内に固定された第１のジャイロセンサとされ、センサ２Ｙは、撮像素子１ａの光軸およびＸ軸に対して垂直なＹ軸を中心とした撮像素子１ａの角速度を検出する、当該撮像装置の筐体内に固定された第２のジャイロセンサとされる。

また、上記実施の形態１によれば、演算部６は、各部分画像の撮影期間に対応して検出された複数の角速度と角速度のサンプリングレートとの積に基づき、第１の軸を中心とした撮像素子の第１の回転角θｘおよび第２の軸を中心とした撮像素子の第２の回転角θｙを計算し、その第１および第２の回転角θｘ，θｙに基づいて、手ブレ量Ｄｍおよび手ブレ方向θｍを計算する。

実施の形態２．
本発明の実施の形態２は、上記実施の形態１に係る撮像装置を応用したカメラ付き携帯電話機である。

実施の形態２に係るカメラ付き携帯電話機は、その筐体内に、図１に示す撮像装置の構成を有する。そして、カメラ１は、その筐体、筐体内の構造体、筐体に固定される回路基板などに固定される。また、センサ２Ｘ，２Ｙも同様に、その筐体、筐体内の構造体、筐体に固定される回路基板などに固定される。また、センサ２Ｘ，２Ｙをカメラ１のケースに固定するようにしてもよい。

また、上述したように、小型・薄型のジャイロセンサを使用することで、筐体内の空間が狭い装置でも充分に、センサ２Ｘ，２Ｙを設置可能である。

なお、実施の形態２に係るカメラ付き携帯電話機のその他の構成および動作については、実施の形態１に係る撮像装置と同様であるので、その説明を省略する。

以上のように、上記実施の形態２に係る携帯電話機は、撮像素子１ａと、撮像素子１ａの光軸に対して垂直なＸ軸を中心とした撮像素子１ａの角速度を検出する第１のジャイロセンサとしてのセンサ２Ｘと、撮像素子１ａの光軸およびＸ軸に対して垂直なＹ軸を中心とした撮像素子１ａの角速度を検出する第２のジャイロセンサとしてセンサ２Ｙと、撮像素子１ａにより撮像された１枚の画像を複数の部分領域に区分した各部分画像の画像データに対して、撮像素子１ａによる撮像の際にセンサ２Ｘ，２Ｙにより検出された撮像素子１ａの角速度に基づき、手ブレ補正処理を施す演算部６とを備える。そして、撮像素子１ａおよびセンサ２Ｘ，２Ｙは、図示せぬ携帯電話機の筐体内に固定される。

携帯電話機は、電話機としての機能が優先された筐体形状とされることが多いため、特に手ブレが発生する可能性が高い。したがって、上述のようにして手ブレ補正を実行することで顕著な効果を奏する。

なお、上述の各実施の形態は、本発明の好適な例であるが、本発明は、これらに限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々の変形、変更が可能である。

例えば、上記各実施の形態では、Ｘ軸とＹ軸の２方向の動きに基づいて手ブレ補正を行っているが、手ブレの方向が１方向のみに限定される場合には、１方向のみの動きに基づいて手ブレ補正を行うようにしてもよい。手ブレの方向が１方向のみの場合でも、時間とともに手ブレの速度が変化する場合には、上述のようにセグメントごとに手ブレ補正を実行することは有効である。

上記各実施の形態では、動きデータとして、角速度データを使用しているが、その代わりに、動きを表す別の物理量のデータを使用するようにしてもよい。

なお、上記各実施の形態において、ローリングシャッタのリセットタイミングのライン間の時間間隔は、１セグメントの露出期間内に、少なくとも１つのジャイロデータ５ａのサンプルが得られる長さであればよい。

また、上記各実施の形態に係る撮像装置は、携帯電話機だけではなく、撮像機能を有するＰＤＡ（Personal Digital Asistant ）、モバイル型パーソナルコンピュータなどの携帯端末機にも応用可能である。

なお、上記各実施の形態では、ローリングシャッタを使用しているが、その代わりにメカニカルシャッタを使用してもよい。

本発明は、例えば、デジタルスチルカメラ、カメラ付き携帯電話機などに適用可能である。

本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。実施の形態１におけるセンサが検出する角速度の方向を示す斜視図である。実施の形態１におけるジャイロデータの一例を示す図である。実施の形態１において実現されるローリングシャッタを説明する図である。実施の形態１での撮影タイミングとジャイロデータの関係を示す図である。実施の形態１に係る撮影装置の動作を説明するフローチャートである。実施の形態１におけるセグメントの一例を示す図である。実施の形態１による手ブレ量および手ブレ方向の一例を示す図である。図６内の手ブレ補正処理の詳細について説明するフローチャートである。実施の形態１におけるフィルタＨの一例を示す図である。実施の形態１におけるセグメントの手ブレ補正処理を示す模式図である。

符号の説明

１ａ撮像素子、２Ｘセンサ（動き検出手段，第１のジャイロセンサ）、２Ｙセンサ（動き検出手段，第２のジャイロセンサ）、３サンプリング回路、４ドライバ回路、５メモリ（第１の記憶部，第２の記憶部）、６演算部、１１手ブレ検出部（第１の計算部）、１２画像補正部（第２の計算部）。

Claims

撮像素子と、
上記撮像素子の光軸に対して垂直な方向に関する上記撮像素子の動きを検出する動き検出手段と、
前記動きデータから前記撮像素子の手ブレ量と手ブレ方向を計算する第１の計算部と、
前記撮像素子による元画像を初期の推測画像とし、推測画像を手ブレ方向へボケさせたボケ画像とその元画像との間の誤差画像に基づき推測画像を更新する推測画像更新処理を、所定の条件を満たすまで繰り返し実行し、推測画像更新処理後の推測画像に対してシャープニング処理を手ブレ方向に沿って施す第２の計算部と
を備えることを特徴とする撮像装置。
前記撮像素子により撮像された画像の画像データを記憶する第１の記憶部と、
前記撮像素子による撮像の際の前記動き検出手段による動きデータを記憶する第２の記憶部と、
前記撮像素子による１枚の画像の撮像タイミングに関連付けて、前記動き検出手段により検出された動きデータを上記第２の記憶部に格納するサンプリング回路と、
を備えることを特徴とする請求項１記載の撮像装置。
前記動き検出手段は、前記撮像素子の光軸に対して垂直な第１の軸を中心とした前記撮像素子の角速度を検出する、当該撮像装置の筐体内に固定された第１のジャイロセンサと、前記撮像素子の光軸および上記第１の軸に対して垂直な第２の軸を中心とした前記撮像素子の角速度を検出する、当該撮像装置の筐体内に固定された第２のジャイロセンサとで構成されることを特徴とする請求項１または請求項２記載の撮像装置。
前記演算部は、各部分画像の撮影期間に対応して検出された複数の前記角速度と前記角速度のサンプリング時間間隔との積に基づき、前記第１の軸を中心とした前記撮像素子の第１の回転角および前記第２の軸を中心とした前記撮像素子の第２の回転角を計算し、その第１および第２の回転角に基づいて、手ブレ量および手ブレ方向を計算することを特徴とする請求項３記載の撮像装置。