JP3733392B2

JP3733392B2 - 画像の構図変化検出方法

Info

Publication number: JP3733392B2
Application number: JP04702596A
Authority: JP
Inventors: 恭一小俣; 学喜利; 俊樹宮野
Original assignee: イーストマンコダックカンパニー
Priority date: 1996-03-05
Filing date: 1996-03-05
Publication date: 2006-01-11
Anticipated expiration: 2016-03-05
Also published as: JPH09243904A; US6067114A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば電子スチルカメラといった自動焦点撮像装置で被写体を追尾する際に用いられる画像の構図変化検出方法に関し、特に、焦点レンズを通じて結像される画像をその照度に応じた電気信号に変換する光電変換センサと、前記電気信号に含まれる高周波成分量の指標となる焦点評価値を算出し、その焦点評価値に基づいて、前記焦点レンズを移動させて画像の合焦を確立させる焦点合わせ機構とを備える自動焦点撮像装置に用いられるものに関する。
【０００２】
【従来の技術】
従来、自動焦点撮像装置では、画像の中央位置に区画された焦点評価範囲に捕えられた被写体に基づいて、焦点レンズの合焦状態が調整されていた。
【０００３】
【発明が解決しようとする課題】
従来の自動焦点撮像装置では、焦点評価範囲が画面の中央に固定されていたことから、被写体が画面の中央から画像隅に移動して焦点評価範囲から外れてしまうと、焦点評価範囲に含まれる背景（または前景）に焦点合わせが行われた。その結果、撮影者が本当に焦点を合わせたい主被写体には焦点が合わず、主被写体がピンぼけ状態で撮像されることがあった。
【０００４】
このような欠点を克服するために、撮影者が焦点を合わせたい主被写体をジョイスティックを用いて指定したり、撮影者の視点を検出することによって自動的に主被写体を追尾したりする手法が提案されている。しかしながら、これらの手法では、被写体追尾に用いる特別なハードウェアを自動焦点撮像装置の機構に追加する必要がある。
【０００５】
本発明は、上記実情に鑑みてなされたもので、特別なハードウェアを用いることなく、画面の構図変化を的確に把握し、被写体を追尾し続けることができる画像の構図変化検出方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、第１発明の画像の構図変化検出方法は、主被写体に対して合焦が確立された画像の構図変化を検出する画像の構図変化検出方法であって、光電変換センサを用いて、焦点レンズを通じて結像される画像の照度に応じた電気信号を得る工程と、画像を複数個の細分化領域に分割する工程と、分割された細分化領域ごとに、前記電気信号に含まれる高周波成分量の指標となる焦点評価値および画像の明るさの指標となる明るさ値を算出する工程と、主被写体に対して合焦が確立された合焦時の焦点評価値および明るさ値を参照値として保存する工程と、被写体距離区分に従って細分化領域を分類する工程と、主被写体が属する細分化領域を基準に被写体距離区分ごとに異なる重み量を割り当てる工程と、前記合焦後に得られた焦点評価値および明るさ値を前記参照値と比較して焦点評価値変化および明るさ値変化を算出する工程と、焦点評価値変化および明るさ値変化に対して前記重み量を用いて重み付け加算して指標値を算出し、該指標値が任意の閾値より大きい場合に画像の構図変化があると検出する工程とを含むことを特徴とする。
【０００７】
第１発明に係る方法によれば、画像の複数個の細分化領域に基づいて合焦状態の指標となる焦点評価値を算出するので、画像の様々な位置で焦点レンズの合焦位置を指定することができる。その結果、画像内を主被写体が移動しても、その主被写体に焦点を合わせ続けることができる。しかも、主被写体が属する細分化領域を基準に重み付けが行われるので、前景や背景のノイズには影響されずに、主被写体の変化に敏感な検出を達成することができる。
【０００８】
また、第２発明によれば、第１発明に係る画像の構図変化検出方法において、前記焦点評価値に基づいて細分化領域ごとに被写体距離を算出する工程と、算出された被写体距離に基づいて細分化領域を範囲分けする工程と、範囲分けの結果に基づいて主被写体が属する細分化領域を特定する工程とを備えることを特徴とする。
【０００９】
第２発明に係る方法によれば、細分化された画像の中から、主被写体が属する細分化領域を確実に選別することができる。一旦主被写体が特定されれば、その後、その主被写体を追尾しながら焦点レンズの合焦状態を維持することもできる。
【００１０】
さらに、第３発明によれば、第１および第２発明に係る画像の構図変化検出方法において、前記重み付けでは、主被写体を含む細分化領域と、その細分化領域に隣接する細分化領域であって、主被写体と同距離にあると判断された被写体を含む細分化領域とに対して同一の重み量が設定されることを特徴とする。その結果、主被写体が画像に占める大きさが異なっても、精度よく主被写体の変化や移動を検出することができる。
【００１１】
さらにまた、第４発明によれば、第１〜第３発明に係る画像の構図変化検出方法において、前記重み付けでは、少なくとも焦点レンズの焦点距離または絞り量に応じて前記重み量を変化させることを特徴とする。かかる方法によれば、焦点評価を粗く行っても十分に焦点レンズの合焦を得ることができる深い被写界深度の場合や、焦点評価を細かく行わないと十分な焦点レンズの合焦を得ることができない浅い被写界深度の場合でも、効率よく構図変化を検出することができる。したがって、無駄な焦点レンズの移動を回避することもできる。
【００１２】
さらにまた、第５発明によれば、第１〜第４発明に係る画像の構図変化検出方法において、前記被写体距離区分の大きさは、少なくとも焦点レンズの焦点距離または絞りに基づいて変化させられることを特徴とする。かかる方法によれば、焦点評価を粗く行っても十分に焦点レンズの合焦を得ることができる深い被写界深度の場合や、焦点評価を細かく行わないと十分な焦点レンズの合焦を得ることができない浅い被写界深度の場合でも、効率よく構図変化を検出することができる。したがって、無駄な焦点レンズの移動を回避することもできる。
【００１３】
さらにまた、第６発明によれば、第１〜第５発明に係る画像の構図変化検出方法において、前記重み付けでは、主被写体と同距離にあると判断された被写体を含む細分化領域の中で、互いに隣接して塊合った細分化領域群と、孤立した細分化領域とが区別されることを特徴とする。その結果、主被写体以外の画像情報の影響をできる限り回避して、主被写体の追尾や構図変化の検出を一層確実に行うことができる。
【００１４】
さらにまた、第７発明によれば、第１〜第６発明に係る画像の構図変化検出方法において、前記参照値は、合焦が確立された画像に後続する複数枚の画像の明るさおよび焦点評価値の平均値からなることを特徴とする。このように複数枚の画像の平均値を参照値として採用することによって、蛍光灯のフリッカーや手ぶれ等による構図変化の影響を回避することができる。
【００１５】
さらにまた、第８発明によれば、第１〜第７発明に係る画像の構図変化検出方法において、構図変化が検出された場合に、前合焦時のレンズ位置を含む部分範囲で焦点レンズを移動させ、移動の結果得られる焦点評価値に基づいて細分化領域ごとに被写体距離を算出し、算出された被写体距離に基づいて細分化領域を範囲分けし、範囲分けの結果に基づいて主被写体が属する細分化領域を再度特定することを特徴とする。かかる方法によれば、主被写体が移動しても確実にその主被写体に焦点を合わせ続けることができる。また、構図変化の検出後、主被写体を再度検出し直すので、例えば主被写体が他の被写体と入れ替わったとしてもその場面に最も適した被写体を主被写体として選別することができる。
【００１６】
さらにまた、第９発明によれば、第８発明に係る画像の構図変化検出方法において、前記部分範囲は、少なくとも焦点レンズの焦点距離または絞りに基づいて決定されることを特徴とする。その結果、焦点合わせを実行中に撮像が行われたとしても、ぼけ状態を最小限に抑えた画像を撮像することが可能となる。
【００１７】
さらにまた、第１０発明によれば、第１〜第７発明に係る画像の構図変化検出方法において、構図変化が検出された場合に、前合焦時の画像の複数画素の色情報と、構図変化検出時の画像の対応複数画素の色情報との相関から被写体の移動量を検出し、検出された移動量に基づいて主被写体が属する細分化領域を再度特定することを特徴とする。かかる方法によれば、主被写体が移動しても確実にその主被写体に焦点を合わせ続けることができる。
【００１８】
【発明の実施の形態】
以下、添付図面を参照しつつ本発明の好適な実施形態を説明する。
【００１９】
図１は本発明の第１実施形態に係る自動焦点撮像装置の概略的な全体構成を示す。自動焦点撮像装置としての電子スチルカメラＳＣは、適切なレンズ位置で被写体ＯＢを捕らえる焦点レンズ１０と、焦点レンズ１０を通じて結像される画像をその照度に応じた電気信号に変換する光電変換センサとしてのＣＣＤ１１とを備える。ＣＣＤ１１で捕らえられた画像は、例えばＡ／Ｄ変換器１２等でデジタル化され、メモリカードといった記録媒体１３に記録される。
【００２０】
焦点レンズ１０の合焦は焦点合わせ機構１４によって確立される。この焦点合わせ機構１４は、ＣＣＤ１１の駆動信号を供給するＣＣＤドライバ１５と、焦点レンズ１０を光軸に沿って前後に移動させるレンズ駆動機構１６と、これらＣＣＤドライバ１５およびレンズ駆動機構１６を制御するコントローラ１７とを備える。コントローラ１７の制御下で、ＣＣＤドライバ１５からの駆動信号に従って、画像の各画素ごとの照度に応じた大きさの電流がシリアルな信号系列としてＣＣＤ１１から出力される。
【００２１】
ＣＣＤ１１から出力された信号系列は増幅器１８によって増幅される。増幅された電気信号は、Ａ／Ｄ変換器１９によって線形にデジタル信号に変換される。領域分割器２０は、画像を複数個の細分化領域に分割し、変換で得られたデジタル信号が細分化領域ごとに区別することができるようにデジタル信号を出力する。出力されたデジタル信号は、明るさ評価器２１および焦点評価器２２に供給される。明るさ評価器２１は、供給されたデジタル信号に基づいて、分割された細分化領域ごとに、画像の明るさの指標となる明るさ値を算出する。焦点評価器２２は、供給されたデジタル信号に基づいて、分割された細分化領域ごとに、電気信号に含まれる高周波成分量の指標となる焦点評価値を算出する。この焦点評価値は、画素ごとの高周波成分量が細分化領域内で総和されることによって得られる。焦点評価値が最大値をとる焦点レンズ１０のレンズ位置で、コントローラ１７は焦点レンズ１０の合焦を推定する。この合焦の推定は、ピンぼけ状態にある画像に比べて合焦状態にある画像では電気信号の高周波成分量が多くなるといった原理に基づく。
【００２２】
コントローラ１７は、プログラムメモリ２３に記憶されたプログラムに従って、供給された焦点評価値および明るさ値を処理する。コントローラ１７には、画像の合焦時の焦点評価値および明るさ値を参照値として保存する参照値メモリ２４と、算出された様々なデータを保存するデータメモリ２５と、少なくとも焦点レンズ１０の焦点距離または絞りに基づいて被写界深度を検出する被写界深度検出器２６とが接続されている。なお、本実施形態では、プログラムメモリ２３、参照値メモリ２４およびデータメモリ２５を別個に設けたが、これらの用途に共通して１個のメモリ装置を用いることもできる。また、被写界深度の検出には、被写界深度検出器を用いずに、レンズ位置によって予め決められている焦点距離や、明るさによって予め決められている絞り量を用いて、コントローラ１７での演算処理を利用することもできる。
【００２３】
次に図３に示すフローチャートを参照しつつ本実施形態に係る画像の構図変化検出方法を説明する。撮像が開始されると、第１ステップＳ１で全域スキャン動作を通じて最初の被写体選別が実行される。この全域スキャン動作では、最近点から無限遠まで焦点レンズ１０が少なくとも１回移動させられ、この移動を通じて画像の構図の中から主被写体が選別される。主被写体が選別されると、第２ステップＳ２で、画像の焦点合わせが実行される。この焦点合わせによって、選別された主被写体に対する焦点レンズ１０の合焦が確立される。合焦が確立された時点で撮影者が撮像を行えば（第３ステップＳ３）、画像は記録媒体１３（図１参照）に記録される。その後、再び撮像を行う場合には第１ステップＳ１に復帰する。
【００２４】
合焦後、撮影者が非撮像状態を保持すると、第４ステップＳ４で構図変化の検出動作が実行される。この検出動作では、被写体の移動や姿勢変化といった画像の構図変化を検出することによって、選別された主被写体に対する合焦が維持されることが企図される。例えば、画像の中央に位置していた主被写体が画像隅に移動したり、新たな被写体が画像に導入されて主被写体が入れ替わったり、画像の中央に位置する主被写体が焦点レンズ１０の光軸方向に沿って前後に移動したりすることが簡単に検出される。
【００２５】
第５ステップＳ５で構図変化はないと判断されると、第３ステップＳ３に戻って撮像終了か否かが判断される。撮像が終了するまで、構図変化の検出動作は繰り返し継続的に実行される。一方で、構図変化があったと判断されると、第６ステップＳ６に進んで、部分スキャン動作を通じて再度被写体選別が実行される。この部分スキャン動作では、前合焦時のレンズ位置を含む部分範囲、例えば、レンズ位置の前後方向に均等に広がるレンズ移動範囲で、焦点レンズ１０が移動させられる。この部分範囲の大きさは、少なくとも焦点レンズ１０の焦点距離や絞りに代表される被写界深度に基づいて決定される。例えば被写界深度が深ければ移動量は大きく設定され、被写界深度が浅ければ移動量は小さく設定される。
【００２６】
このように部分スキャン動作を通じて再度被写体選別を実行するので、画像の構図変化に応じた適切な主被写体を常に追尾し続けることが可能となる。しかも、被写界深度に応じて移動量が設定されることから、焦点合わせ中の画像のぼけを少なく抑えることができ、主被写体の再選別をも迅速に実行することが可能となる。
【００２７】
図４を参照しつつ全域スキャンによる被写体選別動作を詳述する。第１ステップＴ１で、コントローラ１７は、レンズ駆動機構１６を通じて最近点から無限遠まで焦点レンズ１０を一定速度で移動させる。この移動の最中、コントローラ１７は、一定の時間間隔で、ＣＣＤ１１から画像の照度に応じた電気信号を繰り返し出力させる。焦点評価器２２は、出力された電気信号から高周波成分量の指標となる焦点評価値を算出する。明るさ評価器２１は、同様に、画像の明るさの指標となる明るさ値を算出する。これらの焦点評価値や明るさ値は、領域分割器２０の働きによって、細分化領域ごとに得られる。すなわち、時間軸に沿った複数枚の画像ごとに各細分化領域の焦点評価値および明るさ値が得られる。
【００２８】
第２ステップＴ２で、コントローラ１７は、合焦状態の検出に基づいて、細分化領域ごとに被写体距離を算出する。コントローラ１７は、各細分化領域の焦点評価値が最大値をとるレンズ位置をデータメモリ２５に記憶する。例えば、図５に示す画像を撮像する場合を想定する。画像ＧＧは、領域分割器２０によって複数の格子状細分化領域Ｇ（１、１）〜Ｇ（８、６）に分割されている。距離算出によって、図６に示す被写体距離データが得られることとなる。
【００２９】
第３ステップＴ３では、コントローラ１７は、被写体距離に基づいて、主被写体が属する細分化領域を特定する。コントローラ１７は、まず、同一の被写体距離を目安に画像を範囲分けする。範囲分けの結果に基づいて、コントローラ１７では、同一の被写体距離を有する細分化領域Ｇ（２、３）〜Ｇ（４、５）に囲まれて該被写体距離を有する細分化領域Ｇ（４、３）が選び出される。
【００３０】
図７を参照しつつ焦点合わせ動作を詳述する。第１ステップＰ１で、コントローラ１７は、選び出された細分化領域Ｇ（４、３）の被写体距離付近で焦点レンズ１０を移動させる。この移動中、ＣＣＤ１１から電気信号を出力させ、焦点評価器２２から焦点評価値を出力させる（第２ステップＰ２）。出力された焦点評価値に基づいて、焦点評価値の最大値を示すレンズ位置を算出し、第３ステップＰ３で、そのレンズ位置に焦点レンズ１０を移動させる。レンズ位置の検出には、レンズの移動範囲全体にわたって連続的に焦点評価値を全て算出して最大値を検出する手法を採用することもできれば、焦点評価値の減少するレンズ位置を検出して、そのレンズ位置に達するまでに確立された最大値を示すレンズ位置まで焦点レンズを戻すといった手法を採用することもできる。合焦後、焦点レンズ１０の移動は停止される。
【００３１】
続いて、コントローラ１７は、後続する構図変化の検出動作に備えて、合焦時の焦点評価値および明るさ値を参照値として参照値メモリ２４に記憶する。参照値を記憶させるにあたっては、合焦が確立された画像に後続する複数枚の画像の明るさ値および焦点評価値の平均値を用いることが好ましい。平均値を採用することによって、合焦時の蛍光灯のフリッカーや手ぶれ等の影響を除去することが可能となる。
【００３２】
図８を参照しつつ構図変化の検出動作を詳述する。第１ステップＱ１で、コントローラ１７は、被写体距離区分に従って細分化領域を分類する。いま、例えば、主被写体が属する細分化領域Ｇ（３、４）と、主被写体と同距離にあると判断された被写体を含む細分化領域の中で細分化領域Ｇ（３、４）に隣接して塊合った細分化領域群（図６の太線内）とを第１カテゴリーＣＬ１に分類する（図９参照）。この第１カテゴリーは、主被写体を捕らえるとともに、その大きさを把握するのに役立つ。次に、主被写体と同距離にあると判断された被写体を含む細分化領域は第２カテゴリーＣＬ２に分類される。ただし、孤立した細分化領域Ｇ（１、６）は、第２カテゴリーＣＬ２に分類された細分化領域とは区別される。この第２カテゴリーＣＬ２によって、主被写体に準ずる準被写体を捕らえることができる。最後に、第１および第２カテゴリーＣＬ１、ＣＬ２のいずれにも分類されなかった細分化領域を第３カテゴリーＣＬ３に分類する（図９では空欄部分）。区別された細分化領域Ｇ（１、６）にはこの第３カテゴリーＣＬ３が付される。なお、被写体距離区分の大きさは被写界深度に応じて決定される。
【００３３】
第２ステップＱ２で、コントローラ１７は、被写体距離区分ＣＬ１、ＣＬ２、ＣＬ３ごとに、焦点評価値の重み量ＷＦ１、ＷＦ２、ＷＦ３と明るさ値の重み量ＷＹ１、ＷＹ２、ＷＹ３とを設定する。第１カテゴリーＣＬ１の細分化領域には最大の重み量が割り当てられ、第２カテゴリーＣＬ２には、第１カテゴリーＣＬ１の重み量よりも小さい重み量が割り当てられ、第３カテゴリーＣＬ３には、最小の重み量が割り当てられる。各重み量は、被写界深度に応じて変化させられる。すなわち、被写界深度は焦点距離ｆの２乗に比例するとともに絞りＦに反比例することから、重み量はＷ＝ａ＋ｂｆ²／Ｆから決定される。ここで、ａおよびｂは適当な常数である。こうして、主被写体が属する細分化領域を基準に被写体距離区分ごとに異なる重み付けが行われることとなる。
【００３４】
第３ステップＱ３で、コントローラ１７は、被写体距離区分ＣＬ１、ＣＬ２、ＣＬ３ごとに焦点評価値変化Ｆ１、Ｆ２、Ｆ３と明るさ値変化Ｙ１、Ｙ２、Ｙ３とを求める。焦点評価値変化は、合焦後に得られた焦点評価値を参照値メモリ２４の焦点評価値参照値と比較して算出される。各細分化領域ごとに焦点評価値と参照値との差が算出され、算出された差が総和されて焦点評価値変化となる。同様に、明るさ値変化は、合焦後に得られた明るさ値を参照値メモリ２４の明るさ値参照値と比較して算出される。
【００３５】
第４ステップＱ４では、コントローラ１７は、重み量や焦点評価値変化、明るさ値変化に基づいて構図変化の指標値Ｓを算出する。この指標値Ｓは、例えば、
【数１】

に従って算出される。ここで、ＷＹは、焦点評価値に対する明るさの重みを示す。第５ステップＱ５で、算出された指標値Ｓが任意の閾値Ｒより大きいと判断されると、第６ステップＱ６に進んで構図変化が検出される。算出された指標値Ｓが閾値Ｒ以下であれば、第７ステップＱ７に進んで構図変化はないこととされる。このように、重み量並びに焦点評価値変化および明るさ値変化に基づいて構図変化は検出される。
【００３６】
図３の第６ステップＳ６の動作に代えて、図１０に示す被写体追尾動作を実行してもよい。この被写体追尾動作では、まず、準備ステップＶ１で、図７の第４ステップＰ４で行った参照値の記憶に加えて、主被写体が属する細分化領域Ｇ（４、３）内の複数個の画素の合焦時のＲＧＢ値が参照値として参照値メモリ２４に記憶される。複数個の画素は、例えば図１１に示すように、等間隔に設置される。このとき、細分化領域Ｇ（３、４）を囲む細分化領域では、細分化領域Ｇ（３、４）の所定の位置に対応する位置の画素が選び出され、その画素のＲＧＢ値が併せて参照値メモリ２４に記憶される。
【００３７】
第２ステップＶ２では、参照値がとられた各画素ごとに現ＲＧＢデータが採取される。第３ステップＶ３では、各画素ごとに現ＲＧＢデータと全ての画素の参照値との差が求められる。例えば、現ＲＧＢデータが採取された画素のｘ軸方向に２個、ｙ軸方向に１個移動した位置に存在する画素の参照値に対する現ＲＧＢデータの偏差が一番小さければ、Ｄｉｆｆ［２、１］にその偏差が記憶される。第４ステップＶ４では、現ＲＧＢデータと参照値との差が一番小さい画素が集計される。この画素に対するベクトルが移動ベクトルとして求められる。第５ステップＶ５では、主被写体が属する細分化領域から移動ベクトル分変位された細分化領域が選び出される。
【００３８】
かかる被写体追尾動作によれば、検出された被写体の移動方向および移動量に基づいて焦点合わせが行われることから、被写体が一方の画像隅から他方の画像隅まで移動してもその被写体に焦点を合わせ続けることができる。その結果、一旦被写体を捕らえてしまえば、前景や背景の変化や、他の被写体が画像に侵入するといった変化に関係なく、被写体を追い続けることができる。
【００３９】
【発明の効果】
以上のように本発明によれば、画像の構図変化を精度よく確実に検出することが可能となり、その結果、撮影者が撮像したいと判断される被写体に焦点を合わせ続けることが可能となる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る電子スチルカメラの概略的な全体構成図である。
【図２】焦点合わせ機構の全体構成を示すブロック図である。
【図３】撮像動作の手順を示すフローチャートである。
【図４】被写体選別動作の手順を示すフローチャートである。
【図５】画像の一具体例を示す図である。
【図６】細分化領域ごとの被写体距離を示す図である。
【図７】焦点合わせ動作の手順を示すフローチャートである。
【図８】構図変化の検出動作の手順を示すフローチャートである。
【図９】分類された細分化領域を示す図である。
【図１０】被写体追尾動作の手順を示すフローチャートである。
【図１１】ＲＧＢデータを用いた被写体追尾動作を説明する図である。
【符号の説明】
１０焦点レンズ、１１光電変換センサとしてのＣＣＤ、１４焦点合わせ機構、１５ＣＣＤドライバ、１６レンズ駆動機構、１７コントローラ、２１明るさ評価器、２２焦点評価器、２４参照値メモリ。

Claims

主被写体に対して合焦が確立された画像の構図変化を検出する画像の構図変化検出方法であって、
光電変換センサを用いて、焦点レンズを通じて結像される画像の照度に応じた電気信号を得る工程と、
画像を複数個の細分化領域に分割する工程と、
分割された細分化領域ごとに、前記電気信号に含まれる高周波成分量の指標となる焦点評価値および画像の明るさの指標となる明るさ値を算出する工程と、
主被写体に対して合焦が確立された合焦時の焦点評価値および明るさ値を参照値として保存する工程と、
被写体距離区分に従って細分化領域を分類する工程と、
主被写体が属する細分化領域を基準に被写体距離区分ごとに異なる重み量を割り当てる工程と、
前記合焦後に得られた焦点評価値および明るさ値を前記参照値と比較して焦点評価値変化および明るさ値変化を算出する工程と、
焦点評価値変化および明るさ値変化に対して前記重み量を用いて重み付け加算して指標値を算出し、該指標値が任意の閾値より大きい場合に画像の構図変化があると検出する工程とを含む画像の構図変化検出方法。
請求項１に記載の画像の構図変化検出方法において、前記焦点評価値に基づいて細分化領域ごとに被写体距離を算出する工程と、算出された被写体距離に基づいて細分化領域を範囲分けする工程と、範囲分けの結果に基づいて主被写体が属する細分化領域を特定する工程とを備えることを特徴とする画像の構図変化検出方法。
請求項１または２に記載の画像の構図変化検出方法において、前記重み付けでは、主被写体を含む細分化領域と、その細分化領域に隣接する細分化領域であって、主被写体と同距離にあると判断された被写体を含む細分化領域とに対して同一の重み量が設定されることを特徴とする画像の構図変化検出方法。
請求項１〜３のいずれかに記載の画像の構図変化検出方法において、前記重み付けでは、少なくとも焦点レンズの焦点距離または絞り量に応じて前記重み量を変化させることを特徴とする画像の構図変化検出方法。
請求項１〜４のいずれかに記載の画像の構図変化検出方法において、前記被写体距離区分の大きさは、少なくとも焦点レンズの焦点距離または絞りに基づいて変化させられることを特徴とする画像の構図変化検出方法。
請求項１〜５のいずれかに記載の画像の構図変化検出方法において、前記重み付けでは、主被写体と同距離にあると判断された被写体を含む細分化領域の中で、互いに隣接して塊合った細分化領域群と、孤立した細分化領域とが区別されることを特徴とする画像の構図変化検出方法。
請求項１〜６のいずれかに記載の画像の構図変化検出方法において、前記参照値は、合焦が確立された画像に後続する複数枚の画像の明るさおよび焦点評価値の平均値からなることを特徴とする画像の構図変化検出方法。
請求項１〜７のいずれかに記載の画像の構図変化検出方法において、構図変化が検出された場合に、前合焦時のレンズ位置を含む部分範囲で焦点レンズを移動させ、移動の結果得られる焦点評価値に基づいて細分化領域ごとに被写体距離を算出し、算出された被写体距離に基づいて細分化領域を範囲分けし、範囲分けの結果に基づいて主被写体が属する細分化領域を再度特定することを特徴とする画像の構図変化検出方法。
請求項８に記載の画像の構図変化検出方法において、前記部分範囲は、少なくとも焦点レンズの焦点距離または絞りに基づいて決定されることを特徴とする画像の構図変化検出方法。
請求項１〜７のいずれかに記載の画像の構図変化検出方法において、構図変化が検出された場合に、前合焦時の画像の複数画素の色情報と、構図変化検出時の画像の対応複数画素の色情報との相関から被写体の移動量を検出し、検出された移動量に基づいて主被写体が属する細分化領域を再度特定することを特徴とする画像の構図変化検出方法。