JP5188293B2

JP5188293B2 - 撮像装置及びその制御方法及びプログラム

Info

Publication number: JP5188293B2
Application number: JP2008174956A
Authority: JP
Inventors: 良昭入江
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-07-03
Filing date: 2008-07-03
Publication date: 2013-04-24
Anticipated expiration: 2028-07-03
Also published as: US8158918B2; JP2010016650A; US20100002101A1

Description

本発明は、デジタルカメラ、デジタルビデオカメラなどの撮像装置において、撮像素子の前方に配置された光学ローパスフィルタ等の光学素子に付着した異物が撮影画像に写りこむことによる画質の品位低下を抑制する技術に関する。

近年カメラのデジタル化が急速に進んでおり、特に従来の一眼レフカメラと同様の光学配置で、フィルムを光電変換を行う撮像素子に置き換えた所謂デジタル一眼レフカメラの普及が進んでいる。このデジタル一眼レフカメラではフィルムの巻き取り、交換という作業が存在しない。そのため、撮影レンズ交換等の作業において、一旦撮像素子近傍にゴミ等の異物が侵入すると、継続して異物が撮影した画像に写り込む。そのため一連の撮影画像の品質を損ねてしまうという問題がある。

特許文献１は、撮像装置において異物を除去する方法を開示している。特許文献１に開示された発明によると、ブロアーなどを用いてユーザーが清掃作業を行うことなく、撮像面近傍に配置された防塵素子を動作させることによって、レンズ交換等の作業において付着した異物を除去し、高品位の画像を得ることができる。

特許文献２は、複数の画像から異物検出を行う方法を開示している。特許文献２に開示された発明によると、ユーザーは予め複数の画像を取得し、複数画像にわたるコントラスト等の不変部分を検出し、不変部分を基に異物位置を検出する。ユーザーは適切にクリーニングモードなどで異物除去を行った後に、撮影を行うことによって、高品位の画像を得ることができる。
特開２００２−２０４３７９号公報（図１）特開２００４−１７２８２０号公報（図５）

しかしながら、特許文献１に記載の発明では、防塵素子を新たに設ける必要があり、製造コストが高くなる。また構造上のスペースも必要であり、カメラ全体の大型化に繋がるといった問題があった。

また、特許文献２に記載の発明では、ユーザーは事前にクリーニングモードなどで異物の除去を行う動作を行う必要があり、その行為を持ってしても、異物の種類によっては除去しきれない場合があるといった問題があった。

従って、本発明は、上記の問題点に鑑みてなされたものであり、撮像素子の前方に配置された光学ローパスフィルタ等の光学素子上に存在する異物が撮影画像に写りこむことによる画質の劣化を効果的に抑制することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、撮影レンズによって結像される被写体像を光電変換して画像信号を生成する撮像素子と、
前記被写体像を小領域に分割して各小領域の輝度を検出する輝度分布検出手段と、前記撮像素子の前方に配置された光学素子に付着した異物の少なくとも位置に関する情報である異物情報を検出する異物情報検出手段と、前記画像信号を分析することにより、前記異物情報検出手段により検出された異物の位置と、前記被写体像の所定の領域とが重なるか否かを判定する判定手段と、前記判定手段によって前記異物の位置と前記所定の領域とが重なると判定される場合には、前記輝度分布検出手段によって検出される輝度が比較的低い小領域に前記異物が移動するように、前記撮像素子上に結像する前記被写体像と前記撮像素子の相対位置を変更する変更手段と、を備えることを特徴とする。

また、本発明に係わる撮像装置の制御方法は、撮影レンズによって結像される被写体像を光電変換して画像信号を生成する撮像素子を有する撮像装置を制御する方法であって、前記被写体像を小領域に分割して各小領域の輝度を検出する輝度分布検出ステップと、前記撮像素子の前方に配置された光学素子に付着した異物の少なくとも位置に関する情報である異物情報を検出する異物情報検出ステップと、前記画像信号を分析することにより、前記異物情報検出ステップにより検出された異物の位置と、前記被写体像の所定の領域とが重なるか否かを判定する判定ステップと、前記判定ステップによって前記異物の位置と前記所定の領域とが重なると判定される場合には、前記輝度分布検出ステップにて検出される輝度が比較的低い小領域に前記異物が移動するように、前記撮像素子上に結像する前記被写体像と前記撮像素子の相対位置を変更する変更ステップと、を備えることを特徴とする。

本発明によれば、撮像素子の前方に配置された光学ローパスフィルタ等の光学素子上に存在する異物が撮影画像に写りこむことによる画質の劣化を効果的に抑制することが可能となる。

以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置を示す図である。

図１において、１０１はデジタルカメラ等の撮像装置（以下カメラと称する）、１０２は撮影レンズである撮像光学系、１０３は撮像光学系１０２に配置された手振れ補正レンズ、１０４は撮像光学系の光軸、１０５はレンズ鏡筒を示す。また、１０６は撮像素子、１０７はコンパクトフラッシュ（登録商標）のような外部メモリ（メディア）を示す。また、１０８は手振れを検出するジャイロセンサによって構成される手振れ検出センサ、１０９ａは手振れ補正レンズ１０３を駆動する駆動部、１１０は電源、１１１はレリーズボタンを示す。

カメラ１０１は、撮像光学系１０２と不図示のピント調整部を用いて、被写体像を撮像素子１０６近傍に結像させる。また撮像素子１０６の前面には、撮像素子１０６と人間の視感度を概略一致させるための赤外吸収フィルタ、偽色防止のためのローパスフィルタを一体化させたフィルタ１１２が配置されている。このフィルタ１１２にゴミ等の異物が付着すると、撮像素子１０６で得られる画像に影として写り込む。

撮像素子１０６は、撮像光学系１０２により結像された被写体像を光電変換する。そして、ユーザーによるレリーズボタン１１１の操作と同期させて、撮像素子１０６から画像信号を取得し、外部メモリ１０７へ記録する。また、手振れ補正を実行するモードの場合には、露光中に手振れ検出センサ１０８の信号に基づいて、駆動部１０９ａが手振れ補正レンズ１０３を駆動することによって、手振れによる画像のズレを補正する。また本撮影前のフレーミング中は撮像素子１０６の連続間引き読み出しにより、ＴＦＴ液晶である表示部２１０に撮影被写界像をリアルタイムで表示している。なお、手振れ補正動作の有効／無効を、スイッチ２１１により設定することが可能である。また、スイッチ２１１は、本実施形態の特徴部分であるフィルタ１１２に付着した異物を目立たなくするために、手振れ補正レンズ１０３を駆動させることで撮影画面を移動させる画面移動動作の有効／無効も設定可能である。

図２は、カメラ１０１の電気的構成を示すブロック図である。

図２において、カメラ１０１は、例えば、撮像系、画像処理系、記録再生系、制御系を備えて構成される。

撮像系は、例えば、撮像光学系１０２及び撮像素子１０６を含む。画像処理系は、例えば、Ａ／Ｄ変換器２０１、画像処理回路２０２を含む。記録再生系は、例えば、記録処理回路２０３、外部メモリ１０７を含む。

制御系は、例えば、カメラシステム制御回路２０５、ＡＦ（オートフォーカス）センサ２０６、ＡＥ（自動露出）センサ２０７、手振れ検出センサ１０８、操作検出回路２０８、及びレンズシステム制御回路２０９を含む。また、手振れ補正レンズ１０３の位置を検出する位置検出センサ２０４も備えている。なお、レンズシステム制御回路２０９には、手振れ補正レンズ１０３を駆動する駆動部１０９ａが備えられている。

撮像系は、物体からの光を撮像光学系１０２を介して撮像素子１０６の撮像面に結像する光学処理系であり、ＡＥセンサ２０７の信号に基づいて、図示しない絞りなどを用いて、適切な光量の被写体光を撮像素子１０６に露光する。画像処理回路２０２は、Ａ／Ｄ変換器２０１を介して、撮像素子１０６から受けた撮像素子１０６の画素数に対応する画像信号を処理する信号処理回路であり、ホワイトバランス回路、ガンマ補正回路、補間演算による高解像度化を行う補間演算回路等を有する。

記録処理回路２０３は、外部メモリ１０７への画像信号の出力を行うと共に、表示部２１０に出力する像を生成し、保存する。また、記録処理回路２０３は、公知の方法を用いて画像や動画の圧縮を行う。

制御系のうち、操作検出回路２０８は、レリーズボタン１１１等の操作を検出する。カメラシステム制御回路２０５は、操作検出回路２０８の検出信号に応答して各部を制御し、撮像の際のタイミング信号などを生成して出力する。ＡＦセンサ２０６は、撮像装置１０１のピント状態を検出する。ＡＥセンサ２０７は、被写体の輝度を検出する。手振れ検出センサ１０８は、手振れを検出する。レンズシステム制御回路２０９は、カメラシステム制御回路２０５の信号に応じて、適切にレンズなどを制御する。また、レンズシステム制御回路２０９は、内部の駆動部１０９ａを用いて手振れ補正レンズ１０３を駆動する。

制御系は、外部操作に応答して、撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、レリーズボタン１１１の押下を検出して、撮像素子１０６の駆動、画像処理回路２０２の動作、記録処理回路２０３での圧縮処理などを制御する。更に、表示部２１０によって光学ファインダー、液晶モニタ等に情報の表示を行う情報表示装置の各セグメントの状態を制御する。

カメラシステム制御回路２０５には、ＡＦセンサ２０６とＡＥセンサ２０７が接続されており、これらの信号を元にレンズ、絞りを適切に制御する。カメラシステム制御回路２０５には、手振れ検出センサ１０８が接続され、スイッチ２１１で手振れ補正を行うモードが設定されると、この手振れ検出センサ１０８の信号とカメラシステム制御回路２０５の算出結果に基づいて、駆動部１０９ａが手振れ補正レンズ１０３を駆動する。なお、スイッチ２１１の設定は、レンズシステム制御回路２０９を介して、カメラシステム制御回路２０５に通知される。またカメラシステム制御回路２０５は、カメラの各種制御パラメータの保持、または画像データの一次保管場所としての内部メモリ２１２を有している。

図３Ａ乃至図３Ｃは、本実施形態の特徴である撮影画面に写り込んでしまう撮像素子近傍に存在する異物の影を、撮影画面の目立たない領域に移動させる画面移動動作（構図変更動作）を示す図である。

図３Ａにおいては、撮像素子１０６の前面にあるフィルタ１１２上に大きな異物２００が付着しており、そのままでは主被写体上に異物の影がかかっているため、写真の品位として非常に好ましくない。そこで撮像素子１０６での異物２００の影像の座標Ｇ１（ｘ１，ｙ１）を撮影被写界像の中で影の目立たない座標位置に移動させることで、写真の品位を向上させることが可能となる。影の像を移動させるには、撮像光学系１０２の手振れ補正レンズ１０３を駆動部１０９ａによりＸＹ方向に移動させたり、あるいは撮像素子１０６そのものをＸＹ方向に移動させる。これにより、撮影被写界像と撮像素子１０６の相対位置関係を変位させることができる。

影の像の移動先としては、図３Ａの移動先座標Ｇ２（ｘ２、ｙ２）に示したように、影の座標に近い人物の髪の毛など比較的輝度の低い領域に移動させるのが有効である。手振れ補正レンズ１０３を動作させ、画面移動動作を実行した後の撮影構図を図３Ｂに示す。ただし手振れ補正レンズ等の可動範囲の問題や、主被写体と画面全体の関係が変化しないように、極力画面移動量は少なくなるのが望ましい。

なお、図３Ａ中の異物の大きさ、位置、さらに異物の撮像素子１０６に写った影の暗さについての情報である異物情報は後述する異物情報検出処理（異物によって画像不良が生じている画素位置の検出処理）によって撮影者が任意の機会で取得することができる。そして、異物情報は、実際に被写界を撮影する以前にカメラの内部メモリ２１２に保存され、必要に応じて随時読み出し可能となっている。

ここで、本実施形態におけるカメラの撮像動作について図４を用いて説明する。図４は本実施形態における撮像動作のフローチャートである。図４における各ステップを順に追って撮像動作を説明する。なお、ユーザーの設定によって手振れ補正動作の実行／不実行、さらには本実施形態の特徴的な動作である撮影画面に写り込んでしまう異物を撮影画面の目立たない領域に移動させる画面移動動作の実行／不実行がスイッチ２１１にて選択可能であるものとする。

つまりモードの種類としては、（１）手振れ補正有り、かつ画面移動無し、（２）手振れ補正有り、かつ画面移動有り、（３）手振れ補正無し、かつ画面移動有り、（４）手振れ補正無し、かつ画面移動無し、の４つのモードがある。

ステップＳ５００にてレリーズボタン１１１の半押下げ操作によって発生する撮影準備動作開始信号（ＳＷ１−ＯＮ）をカメラシステム制御回路２０５が受け取ると、ステップＳ５０１にて手振れ補正モードに設定されているか否かの判定が行われる。手振れ補正を実行する場合（ステップＳ５０１で「ＹＥＳ」）、ステップＳ５０２において、通常の手振れ補正用の目標値、すなわち移動目標量：３００ａを算出する。

次に異物を目立たなくするための画面移動モードに設定されているか否かの判定がステップＳ５０３でなされる。ここで画面移動モードが設定されていなければ、再度ステップＳ５０４にて手振れ補正モードに設定されているか否かの判定が行われる。そして、手振れ補正モードであることが確認されると、移動目標量：３００ａに基づいて手振れ補正レンズ１０３を駆動し（ステップＳ５０５）、手振れ補正をした状態でライブビューシーケンスを実行する（ステップＳ５０９〜ステップＳ５１４）。

ステップＳ５０１で手振れ補正を行わない場合（ステップＳ５０１で「ＮＯ」）も、ステップＳ５０３にて画面移動モードで無い場合（ステップＳ５０３で「ＹＥＳ」）には、ステップＳ５０５の補正レンズ駆動をせずに以下ライブビューシーケンスに移行する。

ステップＳ５０９以降のライブビューシーケンスでは、まずステップＳ５０９でＡＦ／ＡＥ動作を行う。具体的には、ＡＦセンサ２０６、ＡＥセンサ２０７から得られた信号に基づき、カメラシステム制御回路２０５がレンズシステム制御回路２０９等を介して焦点合わせ、絞り調整及び露光時間設定を行う。そして、ステップＳ５１０で撮像素子１０６に被写体像が露光され、その後、光電変換された画像信号を撮像素子１０６から読み出し、Ａ／Ｄ変換器２０１でＡ／Ｄ変換されたデジタル信号を、ステップＳ５１１で画像処理回路２０２により画像処理する。具体的には、公知のγ補正、ホワイトバランス補正、圧縮処理等の画像処理を施し、内部メモリ２１２を介して表示部２１０に撮影画像の表示を行う（ステップＳ５１２）。

次にカメラは、ステップＳ５１３にて、ＳＷ１−ＯＮの信号を確認し、ＳＷ１−ＯＮ信号が途切れた場合（ステップＳ５１３で「ＮＯ」）は、ステップＳ５００に戻って、再びＳＷ１−ＯＮ信号が発生するまで待機する。

実際にはここで行われているのは、撮影者が本撮影の前に撮影構図を決めるための被写界像を提供するために、表示部２１０に撮影画面表示を行うための動作である。撮像素子１０６の撮像信号は読み出し画素の間引き処理を行うことで、後述の本撮影時に比べ扱う画像情報が少ないために、表示部２１０では６０フレーム／秒の高速リフレッシュレートでの本撮影前の被写界像のリアルタイム表示が可能となっている。所謂これがライブビュー表示である。

一方、ステップＳ５０３に戻って、カメラが画面移動モードに設定されている（ステップＳ５０３で「ＮＯ」）と、撮像素子上の異物を目立たなくするために撮影画面の移動を行うための画面移動量が算出されているか否かの判定が行われる（ステップＳ５０６）。画面移動量の算出法については後述する。

ここで画面移動量が算出されていない場合（ステップＳ５０６で「ＮＯ」）は、画面移動量となるオフセット量３０１をステップＳ５０８にて算出し、再びステップＳ５０６に戻る。一方、ステップＳ５０６にて画面移動量がステップＳ５０８にて既に算出されているのであれば（ステップＳ５０６で「ＹＥＳ」）、ステップＳ５０２にて算出された手振れ補正のための移動目標量：３００ａにステップＳ５０８で求めたオフセット量３０１が画面移動量として加算され、最終移動目標量：３００ｂがセットされる（ステップＳ５０７）。この最終移動目標量：３００ｂに対してステップＳ５０５の手振れ補正レンズ駆動が行われる。ここでステップＳ５０１にて手振れ補正モードに設定されていない場合は、移動目標量：３００ａはセットされていないため、手振れ補正なし、画面移動有りの場合は、手振れ補正レンズ１０３の最終移動目標量：３００ｂは画面移動量：３０１に一致する。

以上のことから、カメラはＳＷ１−ＯＮ信号を検知している間、手振れ補正、かつ画面移動のために手振れ補正レンズ１０３を駆動した状態で、表示部２１０上にこの撮影画面表示を繰り返し行うことが可能となる。

次に撮影者が表示部２１０を見て、本静止画撮影をするためにレリーズボタン１１１をさらに押し下げるとトリガー信号ＳＷ２−ＯＮが発生する（ステップＳ５１４）。そして、今度は撮像素子１０６の全画素の露光出力について、前記と同様γ補正、ホワイトバランス補正、圧縮処理等の画像処理を施し、画像ファイルが生成される（ステップＳ５１５、Ｓ５１６）。

そして、ステップＳ５１７において、記録処理回路２０３により、生成した画像ファイルを外部メモリ１０７に記録し、一連の撮影シーケンスを終了する（ステップＳ５１８）。

また撮影時のＦ値が小さい（開放に近い）ほど、異物像のぼけ方は大きく目立ちにくくなることが知られているので、画面移動モードにカメラが設定されていても、実際の撮影時の絞りの値が所定値以下であれば、画面移動動作を行わないようにしても良い。例えば絞りの値はＦ８前後が妥当であり、Ｆ８よりも開放側の絞りに設定された絞り優先撮影モード、あるいはマニュアル撮影モードなどでの画面移動動作をこの場合キャンセルする。

ここで、図４のステップＳ５０８における、撮像素子上の異物の影を目立たなくするために撮影画面の移動を行う際、画面を移動させる量であるオフセット量３０１の設定方法について図５、図６Ａ、図６Ｂを用いて説明する。

図５において、まずＡＦセンサ２０６の出力より主被写体を特定する。ＡＦセンサ２０６は複数の被写界領域に対して測距情報を得ることができるようになっているため、これら複数の測距情報から公知の近点優先アルゴリズムを用いて撮影すべき主被写体位置を特定できる。また専用のＡＦセンサを用いなくとも、ライブビュー中の撮像素子１０６の出力から、被写体の顔の眼球位置を割り出したり、肌色検出を行うことで被写体が人物であれば、その大きさを含めて主被写体を精度良く特定することが可能である（ステップＳ６００）。

次に詳細は後述するが、撮影に先立って行われた異物情報検出処理により内部メモリ２１２に記憶されているカメラの撮像素子近傍に付着している異物の情報（異物補正データ）を読み込む（ステップＳ６０１）。ここで、得られた異物の位置座標が主被写体（特に人物の顔）の領域に含まれているか否かの判定がなされる（ステップＳ６０２）。そして、異物が主被写体の領域にない、つまり撮影に影響がないと判断された場合（ステップＳ６０２で「ＮＯ」）は、画面移動を行う対象異物はないということで、ステップＳ６０８に進み、終了する。

一方、ステップＳ６０２にて異物が主被写体の領域内に存在し、撮影した画像に影響があると判断された場合（ステップＳ６０２で「ＹＥＳ」）は、その異物が、画面移動を行う対象異物として特定される。ここで対象となる異物が複数存在する場合は、内部メモリ２１２から得られた異物情報から各異物の大きさと画素出力落ち込み量（異物像の周辺に対する暗さ）を考慮して、ただ一つを選択する。そして、その撮像素子上の座標系（画素座標）をセットする（ステップＳ６０３）。ここでは図６ＡのＧ１（ｘ，ｙ１）とする。

対象となる異物が決定されたら、内部メモリ２１２から読み出された異物の撮像素子での画素座標より、図６Ａに示すように、その画素座標を中心として例えば、撮像素子１０６の９画素×９画素を一つのブロックとした小領域をさらに１５×１５のブロックにして撮像素子の画素を分割する（ステップＳ６０４）。分割された一つのブロックに属する画素出力は平均化がなされ（ステップＳ６０５）、結果的に異物近傍の微細な輝度分布が測定される（被写界分析、輝度分布検出）。

次に内部メモリ２１２から得られた異物の大きさ、画素出力落ち込み量から図６Ｂに示すように、異物の半径が５ピクセル以下で、出力落ち込み量が周辺画素の２０カウント以下の場合は、上記１５×１５ブロックの内、８×８ブロックの領域内で最低輝度となるブロックを選択する（図６Ｂの領域Ａ）。

一方、異物の半径が６ピクセル以上で、出力落ち込み量が周辺画素の２１カウント以上（８ビット処理で最大２５５カウント）の場合は、１５ブロック全て（図６Ｂの領域Ａと領域Ｂ）の中から最低輝度のブロックを選択する（ステップＳ６０６）。

これは撮影を行った際、より目立つ異物は、最終的に画面を移動する距離が大きくなっても輝度比較する領域を広げ、できるだけ被写界輝度の低い領域に移動させることで異物の影を目立たせなくするためである。ここで選択されたブロックの中心座標が画面移動をするための移動先座標となる図６ＡのＧ２（ｘ２，ｙ２）である。次に画面移動をするためのオフセット量３０１：δは、異物座標位置Ｇ１（ｘ１，ｙ１）と画面移動先座標Ｇ２（ｘ２，ｙ２）より、以下の式から求めることができる。

δ＝√｛（ｘ２−ｘ１）²＋（ｙ２−ｙ１）²｝
ただし、実際の手振れ補正、画面移動の動作制御は、後述のごとく光軸１０４に対して垂直な面内のｘ、ｙの２軸で手振れ補正レンズ１０３を移動させることによって行われるため、δｘ＝ｘ２−ｘ１、δｙ＝ｙ２−ｙ１が実際の制御量となる。

図７は、本実施形態のカメラにおける異物検出処理（異物によって画像不良が生じている画素位置の検出処理）を説明するフローチャートである。この処理は、カメラシステム制御回路２０５が内部メモリ２１２に記憶された異物検出処理プログラムを実行することにより実施され、撮影者が被写界の本撮影を行う以前に実行しておく必要がある。

この異物検出処理は、異物検出用画像を取得することにより行われる。異物検出処理を行う場合、面光源装置の出射面や白い壁などの均一な色を持つ面に撮像光学系１０２の光軸１０４を向けてカメラを設置し、異物検出用画像の撮影準備を行う。または撮像光学系（撮影レンズ）１０２先端のフィルタ着脱のためのマウント部（不図示）に異物検出用のライトユニット（小型の光源装置）を装着し、異物検出用画像の撮影準備を行う。ライトユニットの光源は例えば白色ＬＥＤが考えられ、発光面のサイズを予め定めた絞り値（例えば、本実施形態ではＦ３２）相当になるように調整するのが望ましい。

準備が終了した後、異物検出処理の開始が指示されると、カメラシステム制御回路２０５は、まず絞りの設定を行う。撮像素子近傍の異物はレンズの絞り値によって結像状態が変わり、レンズの瞳位置によって位置が変化する。したがって、異物補正データには異物の位置や大きさに加え、異物検出用画像の撮影時の絞り値とレンズの瞳位置を保持する必要がある。

ただし、異物補正データを作成する段階で、常に同じ絞り値を使うことを予め決めておけば、必ずしも異物補正データ内に絞り値を保持する必要はない。また、瞳位置に関してもライトユニットを用いたりすることで、同様に必ずしも異物補正データ内に瞳位置を保持する必要はなくなる。

つまり、異物補正データを作成する段階において、絞り込む絞り値を適宜変更する場合には、検出時の絞り値とレンズの瞳位置を、異物補正データ内に保持する必要があると言える。なお、ここで瞳位置とは、射出瞳の撮像面（焦点面）からの距離をいう。

ここでは、例えばＦ３２を指定する（ステップＳ７０１）。

次にカメラシステム制御回路２０５は、レンズシステム制御回路２０９に対し、撮像光学系（撮影レンズ）１０２の絞り羽根制御を行わせ、ステップＳ７０１で指定された絞り値に絞りを設定する（ステップＳ７０２）。さらに、フォーカス位置を無限遠に設定する（ステップＳ７０３）。

撮影レンズの絞り値とフォーカス位置が設定されると、異物検出モードでの撮影を実行する（ステップＳ７０４）。ステップＳ７０４で行う撮像処理ルーチンの詳細に関しては図４を用いた説明に準じる。撮影された画像データは、内部メモリ２１２に格納される。

撮影が終了すると、撮影時の絞り値とレンズ瞳位置を取得する（ステップＳ７０５）。

画像処理回路２０２は内部メモリ２１２に記憶されている撮影画像の各画素に対応するデータを呼び出す（ステップＳ７０６）。次に画像処理回路２０２は、後述する図８に示す異物領域取得ルーチンを行い、異物が存在する画素の位置と大きさと周辺画素に対する出力の落ち込み量を取得する（ステップＳ７０７）。

ここで図７のステップＳ７０７の異物領域取得ルーチンについて図８を用いて説明する。

異物検出処理のために取得された画像データはメモリ上に展開され、予め定められたブロック単位で処理が行われる。

ブロック内の異物領域判定は、図８に示す流れで行う。まずブロック内の最大輝度Ｌmax、平均輝度Ｌaveを算出し、次式を用いてブロック内のスレッショルド値Ｔ１を算出する。

Ｔ１＝Ｌave×０.６＋Ｌmax×０.４
次に、スレッショルド値を超えない画素を異物画素とし（ステップＳ８０１）、異物画素によって構成される孤立領域を各々一つの異物領域ｄｉ（ｉ＝０，１，…，ｎ）とする（ステップＳ８０２）。異物領域は各々異物領域を構成する画素の水平方向の座標の最大値Ｘmaxおよび最小値Ｘmin、垂直方向の座標の最大値Ｙmaxおよび最小値Ｙminを求め、異物領域ｄｉのサイズを表す半径ｒｉを次式によって算出する（ステップＳ８０３）。

ｒｉ＝√｛（（Ｘmax−Ｘmin）／２）²＋（（Ｙmax−Ｙmin）／２）²）
その後ステップＳ８０４で、異物領域毎の平均輝度値を算出する。これより異物領域に隣接した領域の輝度との差、つまり異物の出力落ち込み量も算出できる。

ここで再び図７に戻って、ステップＳ７０７で取得した異物が存在する画素の位置と大きさ、出力値およびステップＳ７０５で取得した絞り値とレンズ瞳位置情報を、異物補正データとして内部メモリ２１２に登録する（ステップＳ７０８）。

具体的には、検出用画像撮影時のレンズ情報として、検出用画像撮影時における実際の絞り値（Ｆ値）と、そのときのレンズ瞳位置を格納する。続く記憶領域に検出した異物領域の数（整数値）を格納し、これに続き、個々の具体的な異物領域のパラメータを、異物領域の数だけ繰返して格納する。異物領域のパラメータは、異物の半径、周辺画素に対する出力の落ち込み量、有効画像領域における中心のｘ座標、おなじく中心のｙ座標、以上４つの数値がセットとなって登録される。

ここでステップＳ７０８において、予め画素欠陥位置情報として内部メモリ２１２に記録されている製造時からの不良画素（画素欠陥）の位置と、読み出した画素データの位置を比べて画素欠陥であるかどうかを確認する。そして、画素欠陥によるものでは無いと判断された異物領域のみ、異物補正情報として内部メモリ２１２に情報を登録しても良い。

またこの異物補正情報は、通常撮影時に画像データの撮影時情報と共に画像に付加して外部メモリ１０７に記録することで、後述の第２の実施形態にて説明する異物除去処理時に利用することができる。

次に、手振れ補正システムについて、図９及び図１０を用いて詳細に説明する。

手振れ補正系の制御ブロックは、図９に示すように構成されている。手振れ検出センサ１０８で検出された手振れ信号は、所定の周波数以上の信号を通過させるハイパスフィルタ（ＨＰＦ）３０２を通過した後、積分器３０３により振れ量に換算される。そして、この換算された振れ量に、手振れ補正レンズ１０３の位置を検出する位置検出センサ２０４の検出信号が、算出部２１２において加味され、第１の移動目標量３００ａが生成される。通常の手振れ補正制御であれば、この第１の移動目標量３００ａに基づいて駆動部１０９ａを制御し、手振れ補正レンズ１０３を駆動することによって、ユーザーの手振れを相殺する。本実施形態においては、更に、外部メモリ１０７に格納されたオフセット量３０１が読み出され、第１の移動目標量３００ａに加算されて第２の移動目標量３００ｂが生成される。そして、この第２の移動目標量３００ｂに従って、駆動部１０９ａを制御し、手振れ補正レンズ１０３を駆動する。またハイパスフィルタ３０２および積分器３０３はカメラシステム制御回路２０５に内蔵されている。

上記の説明においては、手振れ補正レンズ１０３の移動方向につき１軸を対象に１系統分説明したが、実際には手振れ補正レンズ１０３は、光軸１０４に対して垂直な面内で移動する。従って、平面内の２軸で移動させるためには２系統分必要となり、本実施形態においても２系統有するものとする。

図１０は、図９のフィードバック制御系による手振れ補正レンズ１０３の動作を概略的に説明するための図である。

横軸は時間の経過を表し、縦軸は手振れ補正レンズ１０３の光軸中心からの偏心量を表す。実線は、被写体像が撮像素子１０６上で振れることなく、光軸１０４を中心として結像するように、ユーザーの手振れに応答して、手振れ補正レンズ１０３を駆動した場合を表す。すなわち、通常の手振れ補正制御による駆動であり、第１の移動目標量３００ａに基づいて駆動部１０９ａを制御したときの状態を示したものである。これに対し本実施形態においては、点線のように手振れ補正レンズ１０３を駆動する。具体的には第１の移動目標量３００ａに、画面移動のためのオフセット量３０１を加算することで最終目標量３００ｂを得る。なお、このオフセット量３０１は、図９では被写体像を上方に所定量ずらすものであるが、実際には平面内で上下方向と左右方向が各々制御される。このオフセット量３０１を与えて、手振れ補正レンズ１０３を駆動した場合、被写体像が撮像素子１０６上で振れることなく、光軸１０４よりオフセット量に応じた分だけずれて結像する。従って、撮像素子１０６からは、オフセット量３０１に応じた分だけ画角のずれた、手振れのない画像信号を得ることができる。

次に、手振れ補正レンズ１０３を駆動する機構について図１１Ａ〜図１１Ｃを用いて説明する。図１１Ａ〜図１１Ｃは、撮像光学系１０２の一部の光学系である手振れ補正レンズ１０３を移動させる機構を概略的に示す図である。

図１１Ａにおいて、４０１はレンズを保持する可動枠、１０３は手振れ補正レンズ、４０３は鏡筒に取り付けられた固定部、４０４は可動枠４０１上の支持／案内部、４０５は支持／案内部４０４と同軸に取り付けられたバネを示す。また、４０６ａ，４０６ｂは固定部４０３に取り付けられたコイル、４０７ａ，４０７ｂは可動枠４０１に取り付けられたマグネットを示す。

図１１Ｂは図１１Ａに示した手振れ補正機構の右側面図である。図１１Ｂにおいて、４１０、４１２は図１１Ａには図示されていないヨークである。４１１は図１１Ａには図示されていない可動部の位置検出センサである。具体的にはホール素子により構成される。

図１１Ｃは、図１１Ａの矢印４０２の方向から見た図である。可動枠４０１は支持／案内部４０４によって固定部４０３に対して平面運動可能に案内支持されている。図１１Ｃでは、長円形の案内溝４１３の中に円形の支持／案内部４０４が挿入されている。手振れ補正機構は、３箇所とも同一の構造とすることによって、撮像光学系１０２の光軸１０４の方向には拘束され、光軸１０４に直行する平面上では運動させることができる。可動枠４０１上には、手振れ補正レンズ１０３及び駆動用のマグネット４０７ａ，４０７ｂが取り付けられている。また、可動枠４０１は支持／案内部４０４と同軸に取り付けられたバネ４０５によって弾性支持されており、駆動力が発生していないときは手振れ補正レンズ１０３の中心が光軸１０４にほぼ一致するように配置されている。駆動部分は図１１Ｂに示すようにマグネット４０７ａの両側をヨークで挟み込み、片側にコイル４０６ａを備えた構成をしている。駆動部分の原理は図１２Ａ、１２Ｂを用いて説明する。

図１２Ａ、１２Ｂは、図１１Ａに示す点線４０８を断面として駆動回路部分を抜粋した矢視図である。

駆動用マグネット４０７ａは２極で厚み方向に着磁されている。更に、マグネット４０７ａの着磁方向の両側にはヨーク４１０、４１２が設けられており、多くの磁束は外に漏れることなく、図１２Ａの図中に示すような矢印方向の磁界を発生させている。この状態でコイル４０６ａに通電すると、コイル４０６ａ上の領域５０１と５０２には、それぞれ反対方向の電流が流れる。一方、磁界の方向も反対であるため、フレミングの左手の法則によって同一方向の力が発生する。このときコイルが固定されているため、作用反作用の法則によって可動部に取り付けられたマグネット４０７ａが力を受けて駆動される。駆動力はコイル４０６ａの電流に比例し、コイル４０６ａに流す電流の向きを反対方向にすることによって、マグネット４０７ａが受ける駆動力も反対にすることができる。駆動力が発生すると、可動枠４０１がバネ４０５によって弾性支持されているので、バネ力と釣り合う点まで変位する。つまり、コイル４０６ａの電流を適切に制御することによって、可動枠４０１の位置を制御することができる。更に、ヨーク４１０上にはホール素子４１１が取り付けられており、図１２Ｂに示すように、コイル４０６ａに電流を印加することにより発生した駆動力によってマグネット４０７ａが変位すると、ホール素子４１１上の磁気バランスも変化する。そのため、ホール素子４１１の信号を得ることによって、マグネット４０７ａの位置を検出することが可能となる。

図１１Ａ〜図１１Ｃ、図１２Ａ及び１２Ｂでは、可動部にマグネットが配置され、固定部にコイルが配置されたムービングマグネット方式での実施形態を例示した。しかしながら、本発明は、可動部にコイルが配置され、固定部にマグネットが配置されたムービングコイルやその他の駆動方法を用いた手振れ補正機構を備えた撮像装置についても適用可能である。

続いて、上記撮影レンズの一部である手振れ補正レンズ１０３を動かす手振れ補正システムとは異なり、撮像素子１０６そのものを動かす（シフトさせる）ことによって手振れ補正を行うシステムについても説明を行う。

図１３は本実施形態の撮像素子周辺の構造を示す図であり、手振れ補正のための駆動部１０９ｂを撮像素子１０６の近傍に備えている。駆動部１０９ｂは撮像素子１０６をシフト駆動する。これに伴い、手振れ補正をするモードの有効／無効、および異物補正を有効とするか否かの設定を行うスイッチ２１１は、撮像装置１０１側に設けられている。その他の構成は、前述した手振れ補正レンズによる手振れ補正形態と同様である。

図１３及び図１４は、撮像素子１０６をシフト駆動する機構の例を示す図である。

図１３において、１０６は撮像素子、１１０１，１１０２は駆動コイル、１１０３，１１０４は可動部の位置検出を行うホール素子、１１０５，１１０６，１１０７，１１０８はマグネットを示す。また、１１０９は第１の保持部、１１１０は第１の保持部１１０９上に設けられた第１の案内部、１１１１は第２の保持部、１１１２は第２の保持部１１１１上に設けられた第２の案内部、１１１３は鏡筒に固定される第３の保持部を示す。また、１１１４は第１の保持部１１０９と図示しない固定部との間に設けられた第１の弾性体、１１１５は第２の保持部１１１１と図示しない固定部との間に設けられた第２の弾性体を示す。第１の案内部１１１０と第２の案内部１１１２が案内する方向は互いに直交している。また、撮像素子１０６を備えた第１の保持部１１０９は第１の弾性体１１１４及び第２の弾性体１１１５によって弾性支持されている。

図１４は駆動部の構成を示す図である。磁気回路は２つ存在するが９０度角度が異なるだけで同様の構成となっているので、駆動コイル１１０１及びマグネット１１０５，１１０６によって構成される駆動部を用いて説明を行う。

図１４において、１２０３は磁束を模式的に示した矢印であり、閉磁路を示す。１２０１，１２０２は図１３には図示しないヨークである。マグネット１１０５，１１０６は２つの領域に分割して着磁されている。そのため図１４に示したように磁束の多くは背面のヨーク１２０１，１２０２を使って循環する閉磁路１２０３を構成する。駆動コイル１１０１に電流が流れることによって、フレミングの左手の法則に従って駆動コイル１１０１に対して力が発生する。発生した力と第１の弾性体１１１４及び第２の弾性体１１１５とのつりあいによって第１の保持部１１０９及び撮像素子１０６は変位する。第１の保持部１１０９が変位することによって、第１の保持部１１０９上に設けられたホール素子１１０３，１１０４も変位する。結果として、固定部に設けられた磁気回路に対して相対的に変位するので、ホール素子１１０３，１１０４の信号から第１の保持部１１０９の位置が検出可能であり、フィードバック制御を行うことができる。更に、露光中においては、レンズ情報と手振れ検出センサ１０８の信号に基づいて、適切に駆動コイル１１０１及び１１０２の電流を制御することによって、振れの少ない高品位な画像を得ることができる。

撮像素子の手振れ補正系の制御ブロックは、駆動対象が手振れ補正レンズ１０３ではなく撮像素子１０６である点を除いて、前述した手振れ補正レンズ１０３による手振れ補正形態と同様である。ここでもオフセット量３０１は、後述するようにカメラシステム制御回路２０５により適切に設定される。

前述した手振れ補正レンズ１０３による手振れ補正形態においても、オフセット量の設定については、撮像素子の手振れ補正系の実施形態で説明した方法と同様の考え方が適用できる。撮像素子の手振れ補正系では、撮像素子１０６をシフト駆動するため、結像する被写体像換算（撮像素子１０６上）でのオフセット量を算出した。手振れ補正レンズ１０３による手振れ補正形態であっても、手振れ補正レンズ１０３を駆動するため、撮像素子１０６上での移動距離となるような、手振れ補正レンズ１０３のオフセット量を光学的倍率から算出して用いれば良い。

（第２の実施形態）
撮影画面に写り込んでしまう撮像素子１０６近傍に存在する異物の影を、手振れ補正動作を利用した画面移動動作によって、撮影画面の目立たない被写界像領域に移動させることで撮影画像の品位を向上させる手法を説明したものが、第１の実施形態であった。

この第２の実施形態は、異物の影を画面移動動作によって、被写界像に対して均一な画像出力を発生する画素領域に移動させた後に撮影を行い、その撮影された画像上の異物の影を後処理の画像処理により修正を行うものである。

図３Ａにおいて、異物２００の影座標に近く、画像出力に均一性のある画素領域、例えば図３Ａの背景のＧ３（ｘ３，ｙ３）の位置まで撮影画面の移動を行ったものが図３Ｃである。ただしこのままでは異物の影が非常に目立つ撮影結果となってしまう。しかしながら異物の影に相等する画素出力に対して、その異物の影に相等する画素に隣接する周辺画素の出力は均一な出力となっているために、後述する画像出力の補間処理を行うことで、精度良く異物の影を消すことができるようになる。

撮像素子１０６上の異物の影を被写界像に対して均一な画像出力を発生する画素領域へ移動させる際、画面を移動させる量であるオフセット量３０１の設定方法については図５および図６Ａ、図６Ｂを用いた説明に準じる。つまり移動すべき一個の異物の影座標を特定した後、その座標近傍の画素をブロック化し、ブロック内の画素を平均化することでブロックの輝度とする。得られた複数のブロック輝度データの相関と、異物の影の大きさから、最も異物座標に近く、均一輝度で所定数からなるブロックの中心座標を決定し、それを異物移動先の座標とすれば良い。例えば半径５画素以上の大きい異物であれば、ブロック輝度差が２カウント以内の均一ブロックで少なくとも３×３の大きさのブロックが存在する最も異物座標に近い領域を選択する。一方、異物半径４画素以下であれば２×２のブロック領域を選択することになり、各々複数ブロックからなる領域の中心座標である手振れ補正システムで移動すべき画面移動先座標は、Ｇ３（ｘ３，ｙ３）となる。従って画面移動動作を行うためのオフセット量３０１：δは、異物座標位置Ｇ１（ｘ１，ｙ１）と画面移動先座標Ｇ３（ｘ３，ｙ３）から、次式で求めることができる。

δ＝√｛（ｘ３−ｘ１）²＋（ｙ３−ｙ１）²｝
ここで前述のごとく、光軸１０４に対して垂直な面内のｘ、ｙの２軸で手振れ補正レンズ１０３を移動させるため、δｘ＝ｘ３−ｘ１，δｙ＝ｙ３−ｙ１が実際の画面移動の制御量となる。

なお、本実施形態に係るカメラの撮像動作は、第１の実施形態で図４を用いて説明した動作と同様である。

次に、外部メモリ１０７に記録された撮影画像に写りこんだ異物の影に対して画像処理を行い影を消す異物除去処理について図１５を用いて具体的に説明する。

この異物除去処理は、カメラ本体ではなく、別途用意したパーソナルコンピュータ上で動作する画像処理プログラムを用いて行う場合について説明する。

カメラ１０１から取り外された外部メモリ１０７から異物補正データが添付された通常撮影画像データをパーソナルコンピュータに取り込んで、パーソナルコンピュータの一次記憶部に記憶する（ステップＳ９００）。次に、通常撮影された画像データ（異物除去処理を行う対象となる画像）から、撮影画像に付与された異物補正データを抽出する（ステップＳ９０１）。

次に、ステップＳ９０１で抽出した異物補正データから異物の座標列Ｄｉ（ｉ＝１，２，…ｎ）、異物の大きさである半径列Ｒｉ（ｉ＝１，２，…，ｎ）、絞り値Ｆ１とレンズ瞳位置Ｌ１を得る（ステップＳ９０２）。

ステップＳ９０３で、通常撮影された画像の撮影時の絞り値Ｆ２とレンズ瞳位置Ｌ２を取得し、ステップＳ９０４で座標Ｄｉを次式で変換する。ここで、ｄは画像中心から座標Ｄｉまでの距離、Ｈは撮像素子１０６の表面と異物との距離であるとする。変換後の座標Ｄｉ’と変換後の半径Ｒｉ’は次のように表わされる。

Ｄｉ’（ｘ，ｙ）＝（Ｌ２×（Ｌ１−Ｈ）×ｄ／（（Ｌ２−Ｈ）×Ｌ１））×Ｄｉ（ｘ，ｙ）
Ｒｉ’＝（Ｒｉ×Ｆ１／Ｆ２＋３）× ２
ここでの単位はピクセルであり、Ｒｉ’についての「＋３」はマージン量である。２倍しているのは、平均輝度を用いて異物領域を検出するため、異物領域外の領域が必要であるからである。

ステップＳ９０５で、補間処理カウンタｉを０に初期化し、ステップＳ９０６でｉをカウントアップする。

ステップＳ９０７でｉ番目の座標Ｄｉ’、半径Ｒｉ’によって表される領域に対して後述する補間ルーチンを実行し、領域内の異物を除去する。ステップＳ９０８で全ての座標について異物除去処理を適用したかどうかを判定し、全ての座標について処理が終わっていれば処理を終了し、そうでなければステップＳ９０６に戻る。

ここで、リペア処理を用いて実行する補間ルーチンについて説明する。

リペア処理とは、指定された領域内で予め定められた条件に合う孤立領域を検出し、この孤立領域を周囲の画素で補間する処理である。

図１６は、補間ルーチンの流れを示すフローチャートである。まずステップＳ１００１で、異物領域判定を行う。ここで、リペア処理の対象となる領域の中心座標をＰ、半径をＲとする。異物領域とは、次の条件全てを満たす領域とする。
（１）リペア処理対象領域に含まれる画素の平均輝度Ｙaveと最高輝度Ｙmaxを用いて次式で求められるスレッショルド値Ｔ２より暗い領域。

Ｔ２＝Ｙave×０.６＋Ｙmax×０.４
（２）上記の中心座標Ｐ、半径Ｒで表される円と接しない領域。
（３）（１）で選択された輝度の低い画素によって構成される孤立領域に対し、図８中のステップＳ８０３と同様の方法で算出した半径値がl１画素以上、l２画素未満である領域。

本実施形態では、l１は３画素、l２は３０画素とする。このようにすることで、孤立した小領域だけを異物領域として扱うことが可能になる。

ステップＳ１００２で、このような領域があればステップＳ１００３へ進み、異物領域補間を行い、存在しない場合は処理を終了する。ステップＳ１１０３で実行する異物領域補間処理は、公知の欠損領域補間法で行う。公知の欠損領域補間法には例えば、特開２００１−２２３８９４号公報に開示されているパターン置換がある。特開２００１−２２３８９４号公報では赤外光を用いて欠損領域を特定しているが、本実施形態ではステップＳ１００１で検出した異物領域を欠損領域として扱い、パターン置換により異物領域を周囲の正常画素で補間する。パターン置換で埋められない画素については、パターン置換後の画像データに対し、補間対象画素に最も近い順に正常画素をｐ個、最も遠い順に正常画素をｑ個選択し、その平均色を用いて補間する。

以上、本実施形態では、一旦カメラによる撮影を行い、保存された撮影画像に対して、例えばパーソナルコンピュータを用いて撮影画像を取り込み、外部プログラムにて画像処理を実施して異物処理を行う形態について説明した。しかし、この画像処理をカメラ内部で行うことも可能である。つまり撮影の本露光後の画像処理中に補間処理を行っても良い。あるいは、本露光、画処理後に一旦外部メモリ１０７に画像データを記録した後、撮影者が再度画像データを呼び出してから手動で補間処理プログラムを実行するようにしても良い。

また本実施形態の方法では、画像処理という後処理が発生するが、異物の影の影響をほとんどなくすことが可能である。また異物の影を移動させるべき均一輝度領域が画面上に存在する確率はかなり高いため、異物の影の位置を移動させる量が少なくてすみ、結果的に撮影構図の変化が少なくて済む可能性が高いという利点がある。

（第３の実施形態）
上記の第１及び第２の実施形態では、画面移動先座標を撮影画像の輝度分布に着目して決定したが、画像の出力を公知の離散コサイン変換（ＤＣＴ）を用いて空間周波数分析することで、空間周波数の高い領域座標を画面移動先座標にすることも有効である。具体的には、元画像のＲＧＢ各成分について、異物座標近傍を８×８画素ごとの小ブロックに分割し、各小ブロックについてＤＣＴ演算を行うことで空間周波数成分が高い領域か、低い領域かの数値化が可能となる（空間周波数分布検出）。

第１の実施形態のように、異物の影を画面上の目立たない領域に移動させる場合、空間周波数が高い領域に移動させる方が異物の影が目立たなくなるため、空間周波数の高い領域（ブロック）を異物の影の移動先とする。

また第２の実施形態のように、異物の影を撮影後の画像処理で消すための目的で移動するのであれば、空間周波数の低い領域（ブロック）を異物座標の移動先として決定する。異物の影の移動先の座標が決定できれば、後は第１の実施形態の図４の撮影動作、あるいは第２の実施形態の異物補間の画像処理を用いることで最終的に異物の目立たない撮影シーンを得ることが可能となる。

またこれまでの実施形態においては、最終的に静止画像を得るためのスチルカメラを例にとって説明してきた。しかし、図４の撮影動作のフローチャートの説明からも分かるように、ステップＳ５００からステップＳ５１３までのシーケンスは連続的に被写界像を撮像するライブビュー撮影であり、これらの連続画像を順次、ＭＰＥＧ１等のコーディック処理を行い、磁器テープや光ディスク等のメディアに書き込むことで、ビデオカメラそのものとして使用することもできる。むろんその際、異物は撮影画面上の目立たない領域に移動、保持された状態の映像として記録されることとなる。

さらには、本発明は、ライビュー撮影を行うことのできない、クイックリターンミラー式の一眼レフタイプのカメラにも応用可能である。

図１７に本発明を適用した一眼レフカメラの概略図を示す。図１７において、第１の実施形で説明した図１のカメラと同一機能部品には同じ番号を付している。

このカメラにおいて、被写界観察時はクイックリターンミラー２１７は撮像光学系１０２の光軸１０４に対して４５°傾いてダウン状態にあり、撮像素子１０６への露光制御を行うブレード式シャッタ２１１は閉じた状態にある。従って被写界観察時は、被写界像の撮像素子１０６への投影、露光は行われないためライブビュー機能で被写界を例えば表示部２１０に写し出して観察することはできない。しかしながら被写界光はクイックリターンミラー２１７を介してピント板２１６に１次結像がなされており、このピント板２１６上の被写界像をペンタプリズム２１２、接眼レンズ２１５を介して撮影者は観察することができるようになっている。また、前述した手振れ補正システムを搭載しているため、手振れ補正レンズ１０３が駆動され、手振れ補正がなされた被写界像を撮影者は見ることができ、その効果を確認することができる。

一方、上記の実施形態で説明したような異物を撮影被写界像の目立たない領域に移動させる画面移動を実行するためには、被写界像のリアルタイムの取り込み、分析が必要となる。ここでは被写界像の取り込みを、ＡＥセンサ２０７によって行っている。つまりピント板２１６に一次結像した被写界像は、投影レンズ２１３によってＡＥセンサ２０７に導かれる。つまり撮影時にクイックリターンミラー２１７が跳ね上がって、被写界光が入射しなくなった時を除けば、ＡＥセンサ２０７は被写界輝度を検出できる。ＡＥセンサ２０７はその受光部が縦横６０×９０に分割されており、被写界を同じく６０×９０の小領域に分割して輝度を検出することが可能である（輝度分布検出）。ここで小領域の輝度データが得られると、第１の実施形態で説明した図５のフローチャート中のステップＳ６０５以下の動作である、画面移動量、つまりオフセット量３０１の演算ができ、この値に応じて手振れ補正レンズ１０３を制御する。

以上からライブビュー機能を有していない光学ファインダのみという基本的な構成である一眼レフカメラにおいても、第１及び第２の実施形態と同等の機能を有するカメラを提供することができる。

一方、異物を撮影被写界像の目立たない領域に移動させる画面移動を実行した場合、移動後の構図は、当然のことながら当初カメラの撮影者が予定していた撮影構図から微妙に変化する。

ここで再度、図３Ａから図３Ｃを用いて説明する。当初撮影を予定していた撮影構図が図３Ａであり、第１の実施形態で説明したように図３Ｂへと構図を手振れ補正システムにより変化させた場合、主被写体の位置は画面下方にずれてしまう。また第２の実施形となる図３Ｃへの構図変化では主被写体は左側へ変位している。この変化量が撮影者として容認できないと判断された場合には、画面移動量、つまりオフセット量３０１の大きさに応じて撮像された画面範囲に対してトリミングを行うことが有効である。例えば撮像素子１０６の画素換算で画面上方へ画面移動が行われた場合、画面移動を行う前の構図中心を再現し、かつ横縦３：２のアスペクト比を維持するために縦の上部画素、左右画素を削除するトリミングを実施する（トリミングラインＡ）。同様に図３Ｃでは画面右方向へ画素移動された場合は、画面右の画素、上方の画素を削除したトリミングを行う（トリミングラインＢ）。なお、このトリミング処理は、撮像後、外部メモリ１０７への記録前にカメラが自動で行っても良いし、一旦記録後に撮影者が画像を読み出して処理を実行するようにしても良い。

（他の実施形態）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係わる撮像装置を示す図である。第１の実施形態に係わる撮像装置の電気的構成を示すブロック図である。第１及び第２の実施形態における撮影画面の模式図である。第１及び第２の実施形態における撮影画面の模式図である。第３の実施形態における撮影画面の模式図である。第１の実施形態に係わる撮像装置の動作を示すフローチャートである。第１の実施形態における画面移動の動作を示すフローチャートである。第１の実施形態における画面移動量の算出の説明図である。第１の実施形態における画面移動量の算出の説明図である。第１の実施形態における異物検出ルーチンの説明図である。第１の実施形態における異物領域取得ルーチンの説明図である。第１の実施形態における手振れ補正レンズの駆動部のブロック図である。手振れ補正レンズの動作を説明するための図である。第１の実施形態における手振れ補正機構の第１例を示す図である。第１の実施形態における手振れ補正機構の第１例を示す図である。第１の実施形態における手振れ補正機構の第１例を示す図である。第１の実施形態における手振れ補正機構の第１例の駆動力発生部を示す図である。第１の実施形態における手振れ補正機構の第１例の駆動力発生部を示す図である。第１の実施形態における手振れ補正機構の第２例を示す図である。第１の実施形態における手振れ補正機構の第２例の駆動力発生部を示す図である。第２の実施形態における異物補正処理を示す図である。第２の実施形態における補間ルーチンを示す図である。第３の実施形態に係わる撮像装置の概略図である。

符号の説明

１０２撮像光学系
１０３手振れ補正レンズ
１０６撮像素子
１０７外部メモリ
１０８手振れ検出センサ
１０９ａ駆動部
２１０表示部
２０５カメラシステム制御回路
２１２内部メモリ
３０１画面移動量（オフセット量）

Claims

撮影レンズによって結像される被写体像を光電変換して画像信号を生成する撮像素子と、
前記被写体像を小領域に分割して各小領域の輝度を検出する輝度分布検出手段と、
前記撮像素子の前方に配置された光学素子に付着した異物の少なくとも位置に関する情報である異物情報を検出する異物情報検出手段と、
前記画像信号を分析することにより、前記異物情報検出手段により検出された異物の位置と、前記被写体像の所定の領域とが重なるか否かを判定する判定手段と、
前記判定手段によって前記異物の位置と前記所定の領域とが重なると判定される場合には、前記輝度分布検出手段によって検出される輝度が比較的低い小領域に前記異物が移動するように、前記撮像素子上に結像する前記被写体像と前記撮像素子の相対位置を変更する変更手段と、
を備えることを特徴とする撮像装置。
撮影レンズによって結像される被写体像を光電変換して画像信号を生成する撮像素子と、
前記被写体像を小領域に分割して各小領域の輝度を検出する輝度分布検出手段と、
前記撮像素子の前方に配置された光学素子に付着した異物の少なくとも位置に関する情報である異物情報を検出する異物情報検出手段と、
前記画像信号を分析することにより、前記異物情報検出手段により検出された異物の位置と、前記被写体像の所定の領域とが重なるか否かを判定する判定手段と、
前記判定手段によって前記異物の位置と前記所定の領域とが重なると判定される場合には、前記輝度分布検出手段によって検出される輝度が均一な小領域に前記異物が移動するように、前記撮像素子上に結像する前記被写体像と前記撮像素子の相対位置を変更する変更手段と、
を備えることを特徴とする撮像装置。
前記輝度分布検出手段によって検出される前記異物の位置の近傍の領域における輝度に基づいて、前記判定手段は前記異物の位置と前記所定の領域とが重なるかどうかを判定することを特徴とする請求項１または２に記載の撮像装置。
撮影レンズによって結像される被写体像を光電変換して画像信号を生成する撮像素子と、
前記被写体像を小領域に分割して各小領域の空間周波数を検出する空間周波数分布検出手段と、
前記撮像素子の前方に配置された光学素子に付着した異物の少なくとも位置に関する情報である異物情報を検出する異物情報検出手段と、
前記画像信号を分析することにより、前記異物情報検出手段により検出された異物の位置と、前記被写体像の所定の領域とが重なるか否かを判定する判定手段と、
前記判定手段によって前記異物の位置と前記所定の領域とが重なると判定される場合には、前記空間周波数分布検出手段によって検出される空間周波数が高い小領域に前記異物が移動するように、前記撮像素子上に結像する前記被写体像と前記撮像素子の相対位置を変更する変更手段と、
を備えることを特徴とする撮像装置。
撮影レンズによって結像される被写体像を光電変換して画像信号を生成する撮像素子と、
前記被写体像を小領域に分割して各小領域の空間周波数を検出する空間周波数分布検出手段と、
前記撮像素子の前方に配置された光学素子に付着した異物の少なくとも位置に関する情報である異物情報を検出する異物情報検出手段と、
前記画像信号を分析することにより、前記異物情報検出手段により検出された異物の位置と、前記被写体像の所定の領域とが重なるか否かを判定する判定手段と、
前記判定手段によって前記異物の位置と前記所定の領域とが重なると判定される場合には、前記空間周波数分布検出手段によって検出される空間周波数が低い小領域に前記異物が移動するように、前記撮像素子上に結像する前記被写体像と前記撮像素子の相対位置を変更する変更手段と、
を備えることを特徴とする撮像装置。
前記変更手段によって前記撮像素子上に結像する前記被写体像と前記撮像素子の相対位置を変更した後、前記撮像素子の前記異物の影となる画素の信号を、前記異物の影となる画素の周囲の画素の信号を用いて補間する補間手段をさらに備えることを特徴とする請求項２または５に記載の撮像装置。
前記変更手段は、前記撮影レンズの一部を構成する手振れ補正レンズを変位させることにより、前記被写体像と前記撮像素子の相対位置を変更することを特徴とする請求項１ないし６のいずれか１項に記載の撮像装置。
前記変更手段は、前記撮像素子を変位させることにより、前記被写体像と前記撮像素子の相対位置を変更することを特徴とする請求項１ないし６のいずれか１項に記載の撮像装置。
撮影レンズによって結像される被写体像を光電変換して画像信号を生成する撮像素子を有する撮像装置を制御する方法であって、
前記被写体像を小領域に分割して各小領域の輝度を検出する輝度分布検出ステップと、
前記撮像素子の前方に配置された光学素子に付着した異物の少なくとも位置に関する情報である異物情報を検出する異物情報検出ステップと、
前記画像信号を分析することにより、前記異物情報検出ステップにより検出された異物の位置と、前記被写体像の所定の領域とが重なるか否かを判定する判定ステップと、
前記判定ステップによって前記異物の位置と前記所定の領域とが重なると判定される場合には、前記輝度分布検出ステップにて検出される輝度が比較的低い小領域に前記異物が移動するように、前記撮像素子上に結像する前記被写体像と前記撮像素子の相対位置を変更する変更ステップと、
を備えることを特徴とする撮像装置の制御方法。
撮影レンズによって結像される被写体像を光電変換して画像信号を生成する撮像素子を有する撮像装置を制御する方法であって、
前記被写体像を小領域に分割して各小領域の輝度を検出する輝度分布検出ステップと、
前記撮像素子の前方に配置された光学素子に付着した異物の少なくとも位置に関する情報である異物情報を検出する異物情報検出ステップと、
前記画像信号を分析することにより、前記異物情報検出ステップにより検出された異物の位置と、前記被写体像の所定の領域とが重なるか否かを判定する判定ステップと、
前記判定ステップによって前記異物の位置と前記所定の領域とが重なると判定される場合には、前記輝度分布検出ステップにて検出される輝度が均一な小領域に前記異物が移動するように、前記撮像素子上に結像する前記被写体像と前記撮像素子の相対位置を変更する変更ステップと、
を備えることを特徴とする撮像装置の制御方法。
撮影レンズによって結像される被写体像を光電変換して画像信号を生成する撮像素子を有する撮像装置を制御する方法であって、
前記被写体像を小領域に分割して各小領域の空間周波数を検出する空間周波数分布検出ステップと、
前記撮像素子の前方に配置された光学素子に付着した異物の少なくとも位置に関する情報である異物情報を検出する異物情報検出ステップと、
前記画像信号を分析することにより、前記異物情報検出ステップにより検出された異物の位置と、前記被写体像の所定の領域とが重なるか否かを判定する判定ステップと、
前記判定ステップによって前記異物の位置と前記所定の領域とが重なると判定される場合には、前記空間周波数分布検出ステップによって検出される空間周波数が高い小領域に前記異物が移動するように、前記撮像素子上に結像する前記被写体像と前記撮像素子の相対位置を変更する変更ステップと、
を備えることを特徴とする撮像装置の制御方法。
撮影レンズによって結像される被写体像を光電変換して画像信号を生成する撮像素子を有する撮像装置を制御する方法であって、
前記被写体像を小領域に分割して各小領域の空間周波数を検出する空間周波数分布検出ステップと、
前記撮像素子の前方に配置された光学素子に付着した異物の少なくとも位置に関する情報である異物情報を検出する異物情報検出ステップと、
前記画像信号を分析することにより、前記異物情報検出ステップにより検出された異物の位置と、前記被写体像の所定の領域とが重なるか否かを判定する判定ステップと、
前記判定ステップによって前記異物の位置と前記所定の領域とが重なると判定される場合には、前記空間周波数分布検出ステップによって検出される空間周波数が低い小領域に前記異物が移動するように、前記撮像素子上に結像する前記被写体像と前記撮像素子の相対位置を変更する変更ステップと、
を備えることを特徴とする撮像装置の制御方法。
請求項９ないし１２のいずれか１項に記載の制御方法をコンピュータに実行させるためのプログラム。