JP5421682B2 - 撮像装置および方法 - Google Patents

Description

本発明は、撮影シーン判定機能を有する撮像装置に関する。

特許文献１では、ＣＣＤを介して取り込むデジタル画像信号やＥＶ値に基づいて、実際の撮影シーンが、設定された撮影モードに対して適切であるか否かを判定する。撮影モードが適切である場合には、デジタルカメラは、当該撮影モードで撮影処理すると共に、当該撮影モード情報を画像データのヘッダ部に記録し、撮影モードが不適切である場合には、当該設定された撮影モードで撮影するか否かを操作者に確認して撮影処理に移行すると共に、当該撮影モード情報を画像データのヘッダ部に記録するか否かを操作者に確認するか、或いは標準撮影モード情報を記録する。

特許文献２に記載のカメラは、被写体の動き、撮像倍率又は被写体距離の出力情報に基づいてカメラ撮影モードを自動設定するものである。なお、撮影モードの設定とは、Ｔｖ値、Ａｖ値、プログラム、線図、露出（調光補正）、ストロボ発光、ズームＡＦモード、給送モード、測光モードなどの設定をいう。

特開２００３−２４４５３０号公報 特開２００３−３４４８９１号公報

特許文献１の「撮影モードチェック処理」（図２のＳ１３）は、常時動作するものであり、必要に応じて動作するのでなく、効率が悪い。また、特許文献２の「撮影モード自動設定」（図４のＳ１１２）も、レリーズボタン半押し後の１度だけの動作であり、刻々と変化する可能性のある撮影シーンに応じて適切な撮影モードが安定的に設定されるとは限らない。

本発明の目的は、カメラでシーンを認識する場合、必要に応じて安定した結果を出力することにある。

本願に係る撮像装置は、撮影シーンの情報である撮影情報を取得する情報取得手段と、前記撮影情報に基づいて設定された基準情報を記憶する基準情報記憶手段と、前記基準情報記憶手段に記憶された前記基準情報と前記情報取得手段により取得された前記撮影情報から、前記撮影シーンが変動したか否かを判別するシーン変動判別手段と、前記シーン変動判別手段により撮影シーンが変動したことが判別されたことに応じて、前記情報取得手段により取得した前記撮影情報に基づいて撮影シーンを認識するシーン認識手段と、前記シーン認識手段のシーン認識結果に応じて、表示制御、撮影制御、信号処理制御および情報記録制御のうち少なくとも１つを行う制御手段を備えることを特徴とする。

前記シーン認識手段は、前記シーン認識結果に対応する撮影情報に基づいて、前記基準情報記憶手段に記憶された前記基準情報を更新することを特徴とする。

前記情報取得手段は、前記撮影シーン中に人物の顔があるか否かを示す顔検出結果情報、被写体距離に関する被写体距離情報および被写体の明るさに関する側光情報のうちの少なくとも１つの情報を、前記撮影情報として取得することを特徴とする。

前記情報取得手段は、撮影シーン中に人物の顔があるか否かを示す顔検出結果情報、被写体距離に関する被写体距離情報および被写体の明るさに関する側光情報のうちの２以上の情報を、前記撮影情報として取得し、前記シーン変動判別手段は、前記情報取得手段により取得された前記撮影情報と前記基準情報記憶手段に記憶された前記撮影情報に対応する前記基準情報とから前記撮影シーンが変動したか否かを判別することを特徴とする。

前記シーン変動判別手段は、前記情報取得手段により取得された前記２以上の情報と前記基準情報記憶手段に記憶された前記２以上の情報に対応する前記基準情報とに、それぞれ情報別の重み付けを行う重み付け設定手段を有することを特徴とする。

前記基準情報記憶手段に記憶された前記基準情報と前記情報取得手段により取得された前記撮影情報とから逐次撮影シーンの変動の有無を判別する単独シーン変動判別手段と、前記単独シーン変動判別手段による単独シーン変動判別の結果の履歴をシーン変動履歴として記憶するシーン変動履歴記憶手段と、前記シーン変動履歴に基づいて前記撮影シーンが変動したか否かを判別するトータルシーン変動判別手段とを備えることを特徴とする。

前記シーン認識手段は、前記シーン変動判別手段により前記撮影シーンが変動したことが判別されたことに応じて、前記撮影情報取得手段により取得した撮影情報に基づいてシーン認識を所定期間または所定回数行う単独シーン認識手段と、前記単独シーン認識手段による単独シーン認識結果の履歴をシーン認識履歴として記憶するシーン認識履歴記憶手段と、前記シーン認識履歴に基づいて前記撮影シーンのシーン認識を行うトータルシーン認識手段とを備えることを特徴とする。

前記トータルシーン認識手段は、前記シーン認識履歴から最大頻度の単独シーン認識結果が示す撮影シーンを検出し、前記最大頻度の単独シーン認識結果が示す撮影シーンを、前記シーン変動判別手段により撮影シーンが変動したと判別された後の撮影シーンとして認識することを特徴とする。

前記トータルシーン認識手段は、前記最大頻度の単独シーン認識結果が示す撮影シーンが複数検出された場合には、最新の撮影シーンを、前記シーン変動判別手段により撮影シーンが変動したと判別された後の撮影シーンとして認識することを特徴とする。

前記撮影シーンのシーン認識をシーン変動時に行うか、又は所定の周期毎に行うかを選択する選択手段と、前記シーン認識を行う所定の周期を設定する周期設定手段と、を更に備え、前記選択手段により撮影シーンのシーン認識を所定の周期毎に行うことが選択されると、前記シーン認識手段は、前記シーン変動判別手段により前記撮影シーンが変動したことが判別されたときに代えて、前記周期設定手段により設定された所定の周期毎に前記撮影情報取得手段により取得された前記撮影情報に基づいて前記撮影シーンのシーン認識を行うことを特徴とする。

周期設定手段により設定される所定の周期は、予め設定された周期、又はユーザにより任意に設定可能な周期であることを特徴とする。

本発明に係る撮影撮像方法は、撮影シーンの情報である撮影情報を取得するステップと、前記取得した撮影情報から撮影シーンを認識するステップと、前記撮影シーンの認識結果に対応する前記撮影情報に基づいて設定された基準情報を記憶するステップと、前記記憶された基準情報と前記取得された撮影情報から前記撮影シーンが変動したか否かを判別するステップと、前記撮影シーンが変動したことが判別されたことに応じて、前記撮影情報に基づいて前記撮影シーンを認識するステップと、前記撮影シーンの認識結果に応じて、表示制御、撮影制御、信号処理制御および情報記録制御のうち少なくとも１つを行うステップと、を含むことを特徴とする。

この発明によると、どのようなシーンであるのかという判断をする処理と、認識したシーンから変動があったかという監視をする処理とを混合的に動作させる。そして、シーンが変動したときに初めてどのようなシーンであるのかという判断をすることにより、正確で安定したシーン認識を行うことが可能となる。

デジタルカメラの構成を示す概略ブロック図 第１実施形態に係るシーン認識メイン処理のフローチャート フレーム変動チェックのフローチャート 測光値変動チェックのフローチャート フォーカス位置変動チェックのフローチャート 顔有無変動チェックのフローチャート シーン認識の詳細を示すフローチャート シーン認識結果ＳＲを概念的に示した図 シーン判定サブルーチン（人物判定）のフローチャート シーン判定サブルーチン（風景判定）のフローチャート シーン判定サブルーチン（夜景判定）のフローチャート シーン判定サブルーチン（夜景判定）のフローチャートの他の一例 シーン判定サブルーチン（接写判定）のフローチャート シーン判定の結果表示の一例を示す図 第２実施形態に係るフレーム変動チェックのフローチャート １〜３回目のフレーム変動チェック結果に対応する重みE_AUTOSP_FRAME_CHECK1〜3と、１〜３回目のフレーム変動チェックによる変化の有無に応じたchange_measureの値との関係を示す図 第３実施形態に係るシーン認識メイン処理のフローチャート フレーム変動履歴の一例を示す図 第４実施形態に係るシーン認識メイン処理（シーン変動認識・周期的認識併存型）のフローチャート

＜第１実施形態＞
図１は、本発明のデジタルカメラ１の構成を示す概略ブロック図である。デジタルカメラ１は、撮影により取得した画像データを、Ｅｘｉｆ形式の画像ファイルに変換して、本体に着脱可能な外部記録メディアなどの記録部７０へ記録するものである。

このデジタルカメラの操作系としては、動作モードスイッチ、メニュー／ＯＫボタン、ズーム／上下矢印レバー、左右矢印ボタン、Ｂａｃｋ（戻る）ボタン、表示切替ボタン、レリーズボタン、電源スイッチなどを含む操作部１１と、操作部１１への操作内容を解釈して各部を制御する制御回路７４とを有している。制御回路７４は、情報処理を行うＣＰＵ７５、情報処理を規定したプログラム、ファームウェア、プログラムでの各種判定に用いる閾値その他の定数などを記録したＲＯＭ６８、情報処理に必要な変数やデータなどを格納するＲＡＭ６９を備えている。

レンズ２０は、フォーカスレンズおよびズームレンズを有している。レンズ２０は、レンズ駆動部５１によって光軸方向に移動可能である。レンズ駆動部５１はＣＰＵ７５から出力されるフォーカス駆動量データ、あるいは、操作部１１に含まれるズーム／上下矢印レバーの操作量データに基づいて、フォーカスレンズあるいはズームレンズの移動を制御する。

また、絞り５４は、モータとモータドライバとからなる絞り駆動部５５によって駆動される。この絞り駆動部５５は、ＡＥ／ＡＷＢ処理部６３から出力される絞り値データに基づいて絞り径の調整を行う。

レンズ２０・絞り５４を含む撮像光学系の後方には、ＣＣＤやＣＭＯＳなどの撮像素子５８が配置されている。撮像素子５８は、多数の受光素子を２次元的に配列した光電面を有しており、光学系を通過した被写体光がこの光電面に結像し、光電変換される。光電面の前方には、各画素に光を集光するためのマイクロレンズアレイと、Ｒ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタアレイとが配置されている。撮像素子５８は、撮像素子制御部５９から供給される垂直転送クロックおよび水平転送クロックに同期して、画素毎に蓄積された電荷を１ラインずつシリアルなアナログ撮影信号として出力する。各画素において電荷を蓄積する時間、すなわち、露出時間は、撮像素子制御部５９から与えられる電子シャッタ駆動信号によって決定される。また、撮像素子５８は撮像素子制御部５９により、あらかじめ定められた大きさのアナログ撮像信号が得られるように、ゲインが調整されている。

撮像素子５８から取り込まれたアナログ撮影信号は、アナログ信号処理部６０に入力される。アナログ信号処理部６０は、アナログ信号のノイズを除去する相関２重サンプリング回路（ＣＤＳ）と、アナログ信号のゲインを調節するオートゲインコントローラ（ＡＧＣ）とからなる。

Ａ／Ｄ変換部６１は、アナログ信号処理部６０にて処理されたアナログ画像信号をデジタル画像データに変換する。このデジタル信号に変換された画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つＣＣＤ−ＲＡＷデータである。

制御回路７４は、タイミング信号を発生させ、このタイミング信号を撮像素子制御部５９に入力し、操作部１１に含まれるレリーズボタンの操作、撮像素子５８の電荷の取込み、およびアナログ信号処理部６０の処理の同期を取っている。

フラッシュ制御部７３は、ストロボ放電管その他の回路で構成されたフラッシュ２４を撮影時に（レリーズボタン全押し時に）発光させる。具体的には、フラッシュ発光モードがフラッシュオンとされている場合、フラッシュ２４をオンとして、撮影時にフラッシュ２４を発光させる。一方、フラッシュ発光モードがフラッシュオフとされている場合、撮影時にフラッシュ２４の発光を禁止する。

制御回路７４は、撮像素子５８で生成された画像信号の輝度を検出することにより測光を行う。制御回路７４は、被写界輝度が低いという測光の結果を受けて、補助光制御部２５に指示してＬＥＤなどから構成された補助光発光部２６から補助光を照射させる。

Ａ／Ｄ変換部６１から出力されたＲ，Ｇ，Ｂの各画像データ（ＣＣＤ−ＲＡＷデータ）は、デジタル信号処理部６５にて、ホワイトバランス（ＷＢ）調整、γ補正、およびＹＣ処理が施され、処理後の画像データは、メモリ６６に書き込まれる。

デジタル信号処理部６５には、測光部４６が設けられている。測光部４６は、Ａ／Ｄ変換部６１からから１画面分のＹ信号を受け、撮像素子５８の撮像面内の所望領域、例えば中央近傍領域や顔検出領域、あるいは撮像面全体を縦横均等に所定個数、例えば８分割した６４個のブロックの各ブロックについてＹ信号を積算する。ブロックのそれぞれに対する輝度積算値は、測光結果としてＣＰＵ７５に送られる。ＡＥ制御時には、ＣＰＵ７５は、所定のアルゴリズムに基づいて、輝度積算値に対して周知の演算処理を行い、適正露出（絞り値、シャッタ速度）を決定する。

メモリ６６は、画像データに対して後述の各種デジタル画像処理（信号処理）を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)が使用される。

表示部７１は、撮影モード設定以後から本撮影指示がされるまでの間メモリ６６に逐次格納された画像データをスルー画像として図示しない液晶モニタに表示させたり、再生モード時に記録部７０に保存されている画像データを液晶モニタに表示させたりするためのものである。なお、スルー画像は、撮影モードが選択されている間、所定間隔で撮像素子５８により撮影される。なお、スルー画像とは、ユーザがリアルタイムに撮影画角や状況などを確認することが出来るように、撮影モードが選択されている間、所定の時間間隔で撮像素子５８により撮像された被写体を示す画像信号に基づいて表示部７１に表示される画像をいう。

本撮像前ＡＦ処理部８１は、レリーズボタン半押しまでに逐次供給されてくるスルー画像に基づいて撮影条件を決定する。すなわち、本撮像前ＡＦ処理部８１は、スルー画像に基づいて焦点位置を検出し、フォーカス駆動量データを出力する。焦点位置の検出方式としては、例えば、ピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が考えられる。すなわち、本撮像前ＡＦ処理部８１は、スルー画像から高周波数成分を抽出し、これを画像全体または画像の特定の一部分の領域（中央部や顔検出領域など）内において積算することによりＡＦ（合焦）評価値を得る。得られたＡＦ評価値の極大点を、レンズ駆動範囲に渡って探索し、その極大点が得られるレンズ位置を合焦位置と判断する。

ＡＦ処理部６２およびＡＥ／ＡＷＢ処理部６３は、プレ画像に基づいて撮影条件を決定する。プレ画像とは、操作部１１のレリーズボタンが半押しされることによって発生する半押し信号を検出したＣＰＵ７５が撮像素子５８にプレ撮影を実行させた結果、メモリ６６に格納された画像データにより表される画像である。

ＡＦ処理部６２は、プレ画像に基づいて焦点位置を検出し、フォーカス駆動量データを出力する（ＡＦ処理）。焦点位置の検出方式としては、例えば、ピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が考えられる。すなわち、ＡＦ処理部６２は、プレ画像から高周波数成分を抽出し、これを画像全体または画像の一部分の領域内において積算することによりＡＦ（合焦）評価値を得る。得られたＡＦ評価値の極大点を、レンズ駆動範囲に渡って探索し、その極大点が得られるレンズ位置を合焦位置と判断する。

ＡＥ／ＡＷＢ処理部６３は、プレ画像に基づいて被写体輝度を測定し、測定した被写体輝度に基づいて絞り値、シャッタスピード等を決定し、絞り値データおよびシャッタスピードデータを露出設定値として決定する（ＡＥ処理）。ＡＥ／ＡＷＢ処理部６３は、レリーズボタン全押しに応じて実施される本露光で得られた画像データに基づいて、当該画像データのホワイトバランスの補正量を決定する（ＡＷＢ処理）。

なお、露出およびホワイトバランスについては、撮影モードがマニュアルモードに設定されている場合には、デジタルカメラ１のユーザがマニュアル操作により設定可能である。また、露出およびホワイトバランスが自動で設定された場合にも、ユーザがメニュー／ＯＫボタン等の操作部１１から指示を行うことにより、露出およびホワイトバランスをマニュアル調整することが可能である。

撮影条件は、後述するシーン認識結果ＳＲに対応する。例えば、シーン認識結果ＳＲが夜景であれば、ＩＳＯ感度８０、シャッタスピード１／１．６秒などとする。あるいは、シーン認識結果ＳＲが接写であれば、絞り径を開き、フラッシュ２４の発光を禁止する。合焦位置の検索は、近い位置（Ｎｅａｒ側）を開始点として遠い位置（ＩＮＦ側）に向かって行うとよい。あるいは、シーン認識結果ＳＲが風景であれば、測光モードとして「平均測光」を行い、測光部４６に分割測光を行わせる。あるいは、シーン認識結果ＳＲが人物であれば、ＡＦ処理部６２は、ＡＦ評価値の算出領域を、顔検出処理部８０の検出した顔領域とする。シーン認識結果ＳＲがＡＵＴＯであれば、シャッタスピード、絞り値等の撮像条件を自動で設定する。

デジタル信号処理部６５は、本画像の画像データに対して、ガンマ補正、シャープネス補正、コントラスト補正等の画質補正処理、ＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータおよび赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。この本画像とは、レリーズボタンが全押しされることによって実行される本撮影において撮像素子５８から取り込まれ、アナログ信号処理部６０、Ａ／Ｄ変換部６１、デジタル信号処理部６５経由でメモリ６６に格納された画像データによる画像である。本画像の画素数の上限は、撮像素子５８の画素数によって決定されるが、例えば、ファイン、ノーマル等の設定により、記録画素数を変更することができる。一方、スルー画像およびプレ画像の画像数は、本画像よりも少なく、例えば、本画像の１／１６程度の画素数で取り込まれる。

また、デジタル信号処理部６５は、フラッシュ２４の発光量が通常の撮影時よりも小さくされた場合には、本画像における顔領域の輝度を求め、輝度が所定のしきい値Ｔｈ１よりも小さい場合には顔領域の輝度をしきい値Ｔｈ１に調整する処理を行う。

デジタル信号処理部６５は、補正・変換処理が行われた本画像の画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付加される。また、デジタル信号処理部６５は、再生モードの場合には、記録部７０から圧縮された画像ファイルを読み出し、伸張処理を行う。伸長後の画像データは表示部７１によって外部の液晶モニタに出力される。

ＲＯＭ６８は、デジタルカメラ１において設定される各種定数、およびＣＰＵ７５が実行するプログラム等を格納する。ＲＡＭ６９は、ＣＰＵ７５がプログラムの実行に必要なデータを一時的に格納する。

ＣＰＵ７５は、操作部１１やＡＦ処理部６２等の各種処理部からの信号に応じてデジタルカメラ１の本体各部を制御する。

顔検出処理部８０は、スルー画像、レリーズボタン半押し時に表示する画像（プレ画像）、あるいは本画像から人物の顔を検出する。具体的には、顔に含まれる顔の特徴を有する領域（例えば肌色を有する、目を有する、顔の形状を有する等）を顔領域として検出するが、これに限定されるものではない。

図２は、シーン認識メイン処理のフローチャートである。シーン認識とは、撮影時の被写体が所定の被写体状況（撮影シーン又は単にシーン）であると認識することである。言い換えると、ユーザーが撮影しようとしているフレーム画像のシーンがどのようなシーンであるのかを認識することである。認識する撮影シーンの例として、人物、風景、夜景、接写（後述）があげられる。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。この処理は、撮影モードが操作部１１から設定され、かつ、そのときに「自動シーン認識ＯＮ」が操作部１１から設定されていた場合に開始する。「自動シーン認識ＯＦＦ」が操作部１１から設定されている場合には開始しない。

Ｓ１では、この処理の実行が初回であるか否かを判断する。“Ｙｅｓ”の場合はＳ２、“Ｎｏ”の場合はＳ３に進む。

Ｓ２では、ＲＡＭ６９のフレーム変動基準情報を初期化する。フレーム変動基準情報とは、フレーム変動チェック処理の際に参照される情報である。フレーム変動基準情報は、初回のフレーム変動チェックを行う際に、撮影シーンに関する情報である撮影情報（フレーム画像に関する情報。後述）に基づいて作成され、Ｓ１３のトータルシーン認識結果（後述）に基づいて更新される。フレーム変動基準情報には、分割測光値、フォーカスレンズの位置、合焦ＡＦエリアのタイプ（合焦状態となったＡＦエリアが顔検出処理部８０の検出した顔領域であるか否か、あるいは、デフォルトの画面中央近傍領域であるか否か）、合焦ＡＦフィルタ（例えば特許公開２００６−１４５９６４のローパスフィルタ、ハイパスフィルタ）、顔検出処理部８０による顔検出の有無が含まれる。また、ＲＡＭ６９のstatusをサーチ状態に、チェックカウンタを０に、シーン認識履歴保持フラグをＯＦＦに設定する。

Ｓ３では、ＲＡＭ６９のstatus=確定状態か否かを判断する。“Ｙｅｓ”の場合はＳ４
、“Ｎｏ”の場合はＳ７に進む。

Ｓ４では、フレーム変動チェックを行う。この処理は後述する。

Ｓ５では、フレーム変動チェックの結果、フレーム変動があったか否かを判断する。“Ｙｅｓ”の場合はＳ６、“Ｎｏ”の場合はＳ１に戻る。

Ｓ６では、シーン変動があったと判断し、ＲＡＭ６９のstatusをサーチ状態に設定する。

Ｓ７では、ＲＡＭ６９のシーン認識履歴保持フラグがＯＮに設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ９、“Ｎｏ”の場合はＳ８に進む。

Ｓ８では、ＲＡＭ６９のシーン認識カウンタを０に設定する。また、ＲＡＭ６９のシーン認識履歴をクリアする。

Ｓ９では、認識部による単独シーン認識動作を行う。この処理は後述する。この処理の結果、ＲＡＭ６９にシーン単独認識結果ＳＲが記憶される。単独シーン認識結果ＳＲは、風景、ＡＵＴＯ、人物、夜景、接写などを含む。これら各単独シーンの認識の処理の詳細は後述する。

Ｓ１０では、ＲＡＭ６９のシーン認識カウンタを１だけインクリメントする。

Ｓ１１では、ＲＡＭ６９のシーン認識カウンタおよびＲＯＭ６８の所定のシーン認識結果数の閾値（E_AUTOSR_SR_HISTORY_BEFORE_S1）を比較し、シーン認識カウンタ≧シーン認識結果数の閾値であるか否かを判断する。“Ｙｅｓ”の場合はＳ１２、“Ｎｏ”の場合はＳ１７に進む。

Ｓ１２では、ＲＡＭ６９のシーン認識履歴をチェックする。シーン認識履歴は、statusが確定状態になるまで繰り返されたＳ９によりそれぞれ個別に記憶された、複数の単独シーン認識結果ＳＲで構成される。

Ｓ１３では、トータルシーン認識を行う。すなわち、ＲＡＭ６９のシーン認識結果ＳＲを、Ｓ９で異なる時間に記憶された複数の単独シーン認識結果ＳＲで構成されたシーン認識履歴の中で、最大の出現頻度を有するものに更新する。さらに、ＲＡＭ６９のフレーム変動基準情報を、当該最大の出現頻度を有する単独シーン認識結果ＳＲと同じ時点で取得されたフレーム変動基準情報に更新する。

Ｓ１４では、ＲＡＭ６９のシーン認識結果ＳＲ（トータルシーン認識結果）が「ＡＵＴＯ」と異なるか否かを判断する。“Ｙｅｓ”の場合はＳ１６、“Ｎｏ”の場合はＳ１５に進む。

Ｓ１５では、ＲＡＭ６９のstatusをサーチ状態に設定し、Ｓ１に戻る。

Ｓ１６では、ＲＡＭ６９のstatusを確定状態に設定し、Ｓ１に戻る。

図３は、フレーム変動チェック（Ｓ４）の詳細な処理の流れを示すフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。

Ｓ２１では、ＲＡＭ６９のパラメータであるchangeをOFFに、change_measureを０に設定する。

Ｓ２２では、撮影情報に基づいてフレーム変動基準情報を作成する。撮影情報は、顔検出の結果、フォーカスレンズ位置、ズームレンズ位置、合焦状態及び測光値等を含む。フレーム変動基準情報に含まれるデータ項目は撮影情報に含まれるデータ項目と同じであっても良い。さらに、作成したフレーム変動基準情報に基づいて１回目のフレーム変動チェックを行う。なお、フレーム変動チェックとは、前回にシーン認識が行われた際のフレーム画像（フレーム）の状態と比べて現在のフレームの状態が変動しているか検知する処理をいう。フレーム変動があった場合、撮影シーンが変動していると判断され、シーン認識処理が行われる。ここでは、フレーム変動チェックは、測光値変動チェック、フォーカス位置変動チェック、顔有無変動チェックのうちのいずれか１つであるものとするがその他の種類を含んでいてもよい。これらの処理は後述する。１回目のフレーム変動チェックの結果は、ＲＡＭ６９のパラメータであるE_AUTOSP_FRAME_CHECK1として記憶される。

Ｓ２３では、Ｓ２２の１回目のフレーム変動チェックの結果、フレーム変動があったか否かを判断する。“Ｙｅｓ”の場合はＳ２４、“Ｎｏ”の場合はＳ２６に進む。

Ｓ２４では、ＲＡＭ６９のchange_measureを１だけインクリメントする。

Ｓ２５では、ＲＡＭ６９のchange_measureとＲＯＭ６８の所定閾値E_AUTOSP_FRAME_CHANGE_MEASUREとを比較し、change_measure≧E_AUTOSP_FRAME_CHANGE_MEASUREであるか否かを判断する。“Ｎｏ”の場合はＳ２６、“Ｙｅｓ”の場合はＳ３５に進む。

Ｓ２６では、２回目のフレーム変動チェックを行う。ここでは、フレーム変動チェックは、測光値変動チェック、フォーカス位置変動チェック、顔有無変動チェックのうち、１回目と異なるいずれか１つである。２回目のフレーム変動チェックの結果は、ＲＡＭ６９のパラメータであるE_AUTOSP_FRAME_CHECK2として記憶される。

Ｓ２７では、Ｓ２６の２回目のフレーム変動チェックの結果、フレーム変動があったか否かを判断する。“Ｙｅｓ”の場合はＳ２８、“Ｎｏ”の場合はＳ３０に進む。

Ｓ２８では、ＲＡＭ６９のchange_measureを１だけインクリメントする。

Ｓ２９では、ＲＡＭ６９のchange_measureと、ＲＯＭ６８に記憶された閾値E_AUTOSP_FRAME_CHANGE_MEASUREとを比較し、change_measure≧E_AUTOSP_FRAME_CHANGE_MEASUREであるか否かを判断する。“Ｎｏ”の場合はＳ３０、“Ｙｅｓ”の場合はＳ３５に進む。

Ｓ３０では、３回目のフレーム変動チェックを行う。ここでは、フレーム変動チェックは、測光値変動チェック、フォーカス位置変動チェック、顔有無変動チェックのうち、１回目および２回目と異なるものである。３回目のフレーム変動チェックの結果は、ＲＡＭ６９のパラメータであるE_AUTOSP_FRAME_CHECK3として記憶される。

Ｓ３１では、Ｓ３０の３回目のフレーム変動チェックの結果、フレーム変動があったか否かを判断する。“Ｙｅｓ”の場合はＳ３２、“Ｎｏ”の場合はＳ３４に進む。

Ｓ３２では、ＲＡＭ６９のchange_measureを１だけインクリメントする。

Ｓ３３では、ＲＡＭ６９のchange_measureと、ＲＯＭ６８に記憶された閾値E_AUTOSP_FRAME_CHANGE_MEASUREとを比較し、change_measure≧E_AUTOSP_FRAME_CHANGE_MEASUREであるか否かを判断する。“Ｎｏ”の場合はＳ３４、“Ｙｅｓ”の場合はＳ３５に進む。

Ｓ３４では、フレーム変動なしと判断する。その判断を示すフラグをＲＡＭ６９に記憶してもよい。そして、シーン認識メイン処理のＳ５に戻る。

Ｓ３５では、フレーム変動ありと判断する。「フレーム変動あり」のフラグであるchange=ONに設定しＲＡＭ６９に記憶する。そして、シーン認識メイン処理のＳ５に戻る。

図４は測光値変動チェックのフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。

Ｓ４１では、ＲＡＭ６９のパラメータchange_evをOFFに設定する。また、ＲＡＭ６９のパラメータev[i]を今回のフレーム画像について測光部４６から得られた測光値とする。iは、所定の単位で画像を分割して得たＮ個の各ブロックに対応する添え字である。ここではｉ＝０〜Ｎ−１とする。

また、ＲＡＭ６９のパラメータev_base[i]をフレーム変動基準情報の分割測光値とし、その値をＲＡＭ６９に確保する。なお、ev_base[i]はメイン処理のＳ２で初期化され、Ｓ１３で更新される。また、各ブロックに対応する重みw [i]をＲＯＭ６８から読み出す。

Ｓ４２では、次式によりdelta_evをＲＡＭ６９に設定する。総和はｉ＝０〜Ｎ−１につ
いて行われる。delta_evは全画面の明るさ同士の差分でもよい。

delta_ev=ΣW[i]*|ev[i]-ev_base[i]|/ ΣW[i]
各領域ごとの差の絶対値を総和するのは次の理由による。絶対値をとらないと、実際には領域ごとに大きな変化が生じているにもかかわらず、総和により各領域ごとの変化が相殺され、全体として変化がなくなるのを防ぐためである。

Ｓ４３では、ＲＡＭ６９のdelta_evと、ＲＯＭ６８に記憶された閾値E_AUTOSP_FRAME_DELTA_EV とを比較し、delta_ev≧E_AUTOSP_FRAME_DELTA_EVであるか否かを判断する。“
Ｙｅｓ”の場合はＳ４４、“Ｎｏ”の場合はＳ４５に進む。

Ｓ４４では、測光値の変動があったと判断する。そして、測光値の変動があったことを示すフラグchange_evをＯＮに設定しＲＡＭ６９に記憶する。

Ｓ４５では、測光値の変動がなかったと判断する。測光値の変動がなかったことを示すフラグをＲＡＭ６９に記憶してもよい。

図５はフォーカス位置変動チェックのフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。

Ｓ５１では、ＲＡＭ６９のパラメータchange_focal_pointをＯＦＦに、focal_pointを
今回のフレーム画像を取得したときにレンズ駆動部５１が設定したフォーカスレンズの位置（駆動パルス数）に、focal_point_baseをフレーム変動基準情報のフォーカスレンズの位置（Ｓ２で初期化あるいはＳ１３で更新されるもの）とし、その記憶領域をＲＡＭ６９に確保する。

Ｓ５２では、次式によりdelta_ focal_pointをＲＡＭ６９に設定する。

delta_focal_point=| focal_point- focal_point_base|
Ｓ５３では、ＲＡＭ６９のdelta_focal_pointと、ＲＯＭ６８に記憶された所定のフォ
ーカス位置変動閾値とを比較し、delta_focal_point＞フォーカス位置変動閾値であるか
否かを判断する。“Ｙｅｓ”の場合はＳ５４、“Ｎｏ”の場合はＳ５５に進む。

Ｓ５４では、フォーカス位置の変動があったと判断する。そして、フォーカス位置の変動があったことを示すフラグchange_ focal_pointをＯＮに設定しＲＡＭ６９に記憶する
。

Ｓ５５では、フォーカス位置の変動がなかったと判断する。フォーカス位置の変動がなかったことを示すフラグをＲＡＭ６９に記憶してもよい。

図６は顔有無変動チェックのフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。

Ｓ６１では、ＲＡＭ６９のパラメータchange_face_resultをＯＦＦに設定する。

Ｓ６２では、今回のフレーム画像を取得したときに顔検出処理部８０が出力した顔検出の有無が、フレーム変動基準情報の顔検出の有無（Ｓ２で初期化あるいはＳ１３で更新されるもの）と一致するか否かを判断する。“Ｙｅｓ”の場合はＳ６４、“Ｎｏ”の場合はＳ６３に進む。

Ｓ６３では、顔検出の有無の変動があったと判断する。そして、顔検出の有無の変動があったことを示すフラグchange_face_resultをＯＮに設定しＲＡＭ６９に記憶する。

Ｓ６４では、顔検出の有無の変動がなかったと判断する。顔検出の有無の変動がなかったことを示すフラグをＲＡＭ６９に記憶してもよい。

図７は認識部の単独シーン認識動作（Ｓ９）の詳細を示すフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。

Ｓ７１では、ＲＡＭ６９に格納された、シーン依存サーチを実施するフラグ(E_AUTOSR_SEARCH_TYPE)が０であるか否かを判断する。“Ｙｅｓ”の場合はＳ８０、“Ｎｏ”の場合はＳ７２に進む。なお、E_AUTOSR_SEARCH_TYPEの値は操作部１１から任意に設定できるものとする。

Ｓ７２では、ＲＡＭ６９のシーン認識結果ＳＲにＡＵＴＯを設定する。

Ｓ７３では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE1を代入する。E_AUTOSR_MODULE1は０〜４のうちのいずれかの整数である。そして、module[i]に相当するシーン判定（認識）サブルーチンを実施する。module[0]は何もしない。module[1]は後述の人物判定を行う。module[2]は後述の風景判定を行う。module[3]は後述の夜景判定を行う。module[4]は後述の接写判定を行う。

Ｓ７４では、Ｓ７３でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ７５に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。

Ｓ７５では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE2を代入する。E_AUTOSR_MODULE2は０〜４のうちのいずれかの整数であり、かつE_AUTOSR_MODULE1と異なる。そして、module[i]に相当するシーン判定サブルーチンを実施する。

Ｓ７６では、Ｓ７５でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ７７に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。

Ｓ７７では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE3を代入する。E_AUTOSR_MODULE3は０〜４のうちのいずれかの整数であり、かつE_AUTOSR_MODULE1およびE_AUTOSR_MODULE2と異なる。そして、module[i]に相当するシーン判定サブルーチンを実施する。

Ｓ７８では、Ｓ７７でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ７９に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。

Ｓ７９では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE4を代入する。E_AUTOSR_MODULE34は０〜４のうちのいずれかの整数であり、かつE_AUTOSR_MODULE1およびE_AUTOSR_MODULE2およびE_AUTOSR_MODULE3と異なる。そして、module[i]に相当するシーン判定サブルーチンを実施する。E_AUTOSR_MODULE1、E_AUTOSR_MODULE2、E_AUTOSR_MODULE3、E_AUTOSR_MODULE4の値はどのように設定してもよいが、優先的にシーン判定を行いたい種類には若い番号を付するとよい。例えば、人物判定＞風景判定＞夜景判定＞接写判定の順にシーン判定を行いたい場合は、E_AUTOSR_MODULE1=1、E_AUTOSR_MODULE2=2、E_AUTOSR_MODULE3=3、E_AUTOSR_MODULE4=4とする。これらの値を操作部１１から任意に設定できてもよい。

Ｓ８０では、現在のＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ７２に進み、“Ｎｏ”の場合はＳ８１に進む。

Ｓ８１では、ＲＡＭ６９のパラメータSR_oldに、現在のＲＡＭ６９のシーン認識結果ＳＲを設定する。すなわち、現在のＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであればSR_old=0、現在のＲＡＭ６９のシーン認識結果ＳＲが人物であればSR_old=1、現在のＲＡＭ６９のシーン認識結果ＳＲが風景であればSR_old=2、現在のＲＡＭ６９のシーン認識結果ＳＲが夜景であればSR_old=3、現在のＲＡＭ６９のシーン認識結果ＳＲが接写であればSR_old=4とする。

Ｓ８２では、ＲＡＭ６９のパラメータiに、SR_oldを代入する。そして、module[i]に相当するシーン判定サブルーチンを実施する。

Ｓ８３では、Ｓ８２でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲが
ＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ８４に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。

Ｓ８４では、SR_old=E_AUTOSR_MODULE1であるか否かを判断する。“Ｙｅｓ”の場合は
Ｓ８７に進み、“Ｎｏ”の場合はＳ８５に進む。

Ｓ８５では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE1を代入する。そして、module[i]に相当するシーン判定サブルーチンを実施する。

Ｓ８６では、Ｓ８５でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲが
ＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ８７に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。

Ｓ８７では、SR_old=E_AUTOSR_MODULE2であるか否かを判断する。“Ｙｅｓ”の場合は
Ｓ９０に進み、“Ｎｏ”の場合はＳ８８に進む。

Ｓ８８では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE2を代入する。そして、module[i]に相当するシーン判定サブルーチンを実施する。

Ｓ８９では、Ｓ８８でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲが
ＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ９０に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。

Ｓ９０では、SR_old=E_AUTOSR_MODULE3であるか否かを判断する。“Ｙｅｓ”の場合は
Ｓ９３に進み、“Ｎｏ”の場合はＳ９１に進む。

Ｓ９１では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE3を代入する。そして、module[i]に相当するシーン判定サブルーチンを実施する。

Ｓ９２では、Ｓ９１でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲが
ＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ９３に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。

Ｓ９３では、SR_old=E_AUTOSR_MODULE4であるか否かを判断する。“Ｙｅｓ”の場合は
メイン処理のＳ１０に戻り、“Ｎｏ”の場合はＳ９４に進む。

Ｓ９４では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE4を代入する。そして、module[i]に相当するシーン判定サブルーチンを実施する。その後、メイン処理のＳ１０に戻る。

図８は以上の処理（Ｓ９）とＳ１３によって決まる単独シーン認識結果及びトータルシーン認識結果ＳＲを概念的に示している。

図８に示すように、単独シーン認識結果ＳＲは、古いものから新しいものにかけて連続的に５個格納される。各単独シーン認識結果ＳＲには添え字j=0〜4が付され、番号が小さいほど新しい認識結果である。単独シーン認識結果の蓄積個数＝５は一例であって、３以上の整数であれば何でもよい。

Ｓ７３・Ｓ７５・Ｓ７７・Ｓ７９あるいはＳ８５・Ｓ８８・Ｓ９１・Ｓ９４で、module[i]の単独シーン認識が実行されるごとに、新たなシーン認識結果ＳＲが取得される。この結果、これまでに蓄積した過去のシーン認識結果ＳＲの添え字には１がインクリメントされ、１世代古い履歴になる。新たなシーン認識結果ＳＲには０（ゼロ）の添え字が付され、現在のシーン認識結果となる。

図８では、SR[0]=3, SR[1]=3, SR[2]=3, SR[3]=0, SR[4]=1であったのが、新たな単独シーン認識結果SR[0]=2が追加されることで、SR[1]=3, SR[2]=3, SR[3]=3, SR[4]=0となる。新たな単独シーン認識結果SR[0]の追加前に最も古い世代の単独シーン認識結果SR[4]=1は、新たな単独シーン認識結果の追加とともにＲＡＭ６９から消去してもよいし保存してもよい。

Ｓ１３では、新たな単独シーン認識結果の追加がされると、SR[0], SR[1], SR[2], SR[3], SR[4]のうち最も出現頻度の高い単独シーン認識結果を特定し、それを改めてシーン認識結果ＳＲ（トータルシーン認識結果）とする。図８では３の出現頻度が最大であるからＳＲ＝３となる。従って、ＣＰＵ７５は、トータルシーン認識結果をＳＲ＝３として、撮影モードを夜景モードに設定する。これにより、夜景モードの撮影条件及び画像処理の条件に従って画像の撮影、記録が実行可能になる。さらに、出現頻度が最大となる単独シーン認識結果のうち、最も新しい単独シーン認識結果を得る時点に用いられた撮影情報に基づいてフレーム変動基準情報を更新する。図８では、出現頻度が最大（３）である単独シーン認識結果はSR[1]、SR[2]及びSR[3]である。このうち最も新しい単独シーン認識結果はSR[3]であるため、SR[3]を得る時点で用いられた撮影情報に基づいてフレーム変動基準情報を更新する。

図示は省略するが、最大頻度の単独シーン認識結果が複数の場合は、最も新しい世代の単独シーン認識結果を含む方をトータルシーン認識結果ＳＲとする。例えば、SR[0]=2, SR[1]=3, SR[2]=3, SR[3]=2, SR[4]=0の場合、SR[0]= SR[3]=2、SR[1]= SR[2]=3となり、２も３も出現頻度が同じである。この場合、最も新しい世代の単独シーン認識結果SR[0]を含む２がトータルシーン認識結果ＳＲとなる。さらに、単独シーン認識結果SR[0]を得る時点で用いられた撮影情報に基づいてフレーム変動基準情報を更新する。

図９はシーン判定サブルーチン（人物判定、module[1]）の詳細を示すフローチャート
である。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。

Ｓ１０１では、顔検出処理部８０が顔検出したか否かを判断する。“Ｙｅｓ”の場合はＳ１０２、“Ｎｏ”の場合はＳ１０５に進む。

Ｓ１０２では、ＲＡＭ６９の顔制限フラグがオンであるか否かを判断する。“Ｙｅｓ”の場合はＳ１０３、“Ｎｏ”の場合はＳ１０４に進む。

Ｓ１０３では、ＡＦ評価値の算出領域に設定された顔領域について、顔の大きさが所定範囲内かつ顔の傾きが所定の範囲内かつ顔の向きが所定の範囲内かつ顔の確からしさのスコアが所定の範囲内かつ顔の位置が所定の範囲内であるか否かを判断する。“Ｎｏ”の場合はＳ１０５、“Ｙｅｓ”の場合はＳ１０４に進む。

Ｓ１０４では、シーン認識結果ＳＲ＝人物に設定する。そして、module[1]の後に続く
処理、すなわち、Ｓ７３・Ｓ７５・Ｓ７７・Ｓ７９のうちいずれか１つの次の処理、あるいはＳ８５・Ｓ８８・Ｓ９１・Ｓ９４のうちいずれか１つの次の処理に進む。

Ｓ１０５では、シーン認識結果ＳＲ＝ＡＵＴＯに設定する。

図１０は、シーン判定サブルーチン（風景判定、module[2]）の詳細を示すフローチャ
ートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。

Ｓ１１１では、レリーズボタンの半押し（Ｓ１）がロックされているか否かを判断する。“Ｙｅｓ”の場合はＳ１２４、“Ｎｏ”の場合はＳ１１２に進む。

Ｓ１１２では、設定メニューや操作部１１を介して予めコンティニュアスＡＦ（以下「ＣＡＦ」と表記）の実行が設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１１３、“Ｎｏ”の場合はＳ１２９に進む。

Ｓ１１３では、本撮像前ＡＦ処理部８１の算出したＡＦ評価値が、ＲＯＭ６８に記憶された所定の閾値よりも高いか否かを判断する。“Ｙｅｓ”の場合はＳ１１４、“Ｎｏ”の場合はＳ１１９に進む。なお、本ステップＳ１１３を省略してもよい。この場合、Ｓ１１２で“Ｙｅｓ”の場合はＳ１１４に進み、また、Ｓ１１３で“Ｎｏ”と判断された場合に続く諸処理（Ｓ１１９、Ｓ１２０、Ｓ１２１、Ｓ１２２、Ｓ１２３）も省略される。

Ｓ１１４では、ＲＯＭ６８に記憶されたE_AUTOSR_CHECK_CAFSTATUS_HIGH=0であるか否
かを判断する。“Ｙｅｓ”の場合はＳ１１５、“Ｎｏ”の場合はＳ１１６に進む。

Ｓ１１５では、ＣＡＦの結果定まった合焦位置が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち合焦被写体が所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。

Ｓ１１６では、E_AUTOSR_CHECK_CAFSTATUS_HIGH=1であるか否かを判断する。“Ｙｅｓ
”の場合はＳ１１７、“Ｎｏ”の場合はＳ１１８に進む。

Ｓ１１７では、ＣＡＦの結果、ＡＦ評価値の極大点が検出され、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。

Ｓ１１８では、ＣＡＦの結果、ＡＦ評価値の極大点が検出されるかまたはＡＦ評価値がその極大点の近傍にあり（例えば本出願人による特開２００３−３４８４２６号公報段落００４１の「微動調整」の段階にある場合）、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。

Ｓ１１９では、ＲＯＭ６８に記憶されたE_AUTOSR_CHECK_CAFSTATUS_LOW=0であるか否かを判断する。“Ｙｅｓ”の場合はＳ１２０、“Ｎｏ”の場合はＳ１２１に進む。

Ｓ１２０では、ＣＡＦの結果定まった合焦位置が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。

Ｓ１２１では、E_AUTOSR_CHECK_CAFSTATUS_LOW=1であるか否かを判断する。“Ｙｅｓ”の場合はＳ１２２、“Ｎｏ”の場合はＳ１２３に進む。

Ｓ１２２では、ＣＡＦの結果、ＡＦ評価値の極大点が検出され、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。

Ｓ１２３では、ＣＡＦの結果、ＡＦ評価値の極大点が検出されるかまたはＡＦ評価値がその極大点の近傍にあり（例えば本出願人による特開２００３−３４８４２６号公報段落００４１の「微動調整」の段階にある場合）、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。

Ｓ１２４では、ＡＦ処理部６２のＡＦ処理により合焦位置が決定され、かつその合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。

Ｓ１２５では、制御回路７４の測光した被写界輝度が、ＲＯＭ６８に記憶された所定の閾値よりも低いか否かを判断する。“Ｙｅｓ”の場合はＳ１２６、“Ｎｏ”の場合はＳ１２９に進む。

Ｓ１２６では、ＲＯＭ６８の設定パラメータとしてあるいは操作部１１から、予め風景ズーム情報フラグがオンに設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１２７、“Ｎｏ”の場合はＳ１２８に進む。

Ｓ１２７では、ズームレンズ位置が所定範囲内例えば所定位置よりもワイド側にあるか否かを判断する。“Ｙｅｓ”の場合はＳ１２８、“Ｎｏ”の場合はＳ１２９に進む。なお、ズーム位置が所定範囲内にないとは、例えばズームレンズ位置がテレ端あるいはその近傍にある場合である。この場合、全景を画角に収めることができず、風景撮影に適していないから、撮影シーンはＡＵＴＯと判断する。

Ｓ１２８では、ＳＲ＝風景に設定する。そして、module[2]の後に続く処理に進む。

Ｓ１２９では、ＳＲ＝ＡＵＴＯに設定する。そして、module[2]の後に続く処理に進む。

図１１は、シーン判定サブルーチン（夜景判定、module[3]）の詳細を示すフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。

Ｓ１３１では、制御回路７４の測光した被写界輝度が、ＲＯＭ６８に記憶された所定の閾値よりも低いか否かを判断する。“Ｙｅｓ”の場合はＳ１３２、“Ｎｏ”の場合はＳ１５２に進む。

Ｓ１３２では、レリーズボタンの半押し（Ｓ１）がロックされているか否かを判断する。“Ｙｅｓ”の場合はＳ１４７、“Ｎｏ”の場合はＳ１３３に進む。

Ｓ１３３では、ＲＡＭ６９に記憶されている半押し（Ｓ１）前の夜景判定フラグがオンに設定さているか否かを判断する。“Ｙｅｓ”の場合はＳ１３４、“Ｎｏ”の場合はＳ１５２に進む。

Ｓ１３４では、操作部１１からの入力あるいはＲＯＭ６８に記憶されたパラメータにより夜景判定で距離情報を使うか否かのいずれが設定されているかを判断する。夜景判定で距離情報を使う設定がされている場合はＳ１３５、夜景判定で距離情報を使う設定がされていない場合はＳ１４９に進む。

Ｓ１３５では、設定メニューや操作部１１を介して予めＣＡＦの実行が設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１３６、“Ｎｏ”の場合はＳ１５２に進む。

Ｓ１３６では、本撮像前ＡＦ処理部８１の算出したＡＦ評価値が、ＲＯＭ６８に記憶された所定の閾値よりも高いか否かを判断する。“Ｙｅｓ”の場合はＳ１３７、“Ｎｏ”の場合はＳ１４２に進む。なお、本ステップＳ１３６を省略してもよい。この場合、Ｓ１３５で“Ｙｅｓ”の場合はＳ１３７に進み、また、Ｓ１３６で“Ｎｏ”と判断された場合に続く諸処理も省略される。

Ｓ１３７では、E_AUTOSR_CHECK_CAFSTATUS_HIGH=0であるか否かを判断する。“Ｙｅｓ
”の場合はＳ１３８、“Ｎｏ”の場合はＳ１３９に進む。

Ｓ１３８では、ＣＡＦの結果定まった合焦位置が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。

Ｓ１３９では、E_AUTOSR_CHECK_CAFSTATUS_HIGH=1であるか否かを判断する。“Ｙｅｓ
”の場合はＳ１４０、“Ｎｏ”の場合はＳ１４１に進む。

Ｓ１４０では、ＣＡＦの結果、ＡＦ評価値の極大点が検出され、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。

Ｓ１４１では、ＣＡＦの結果、ＡＦ評価値の極大点が検出されるかまたはＡＦ評価値がその極大点の近傍にあり（例えば本出願人による特開２００３−３４８４２６号公報段落００４１の「微動調整」の段階にある場合）、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。

Ｓ１４２では、E_AUTOSR_CHECK_CAFSTATUS_LOW=0であるか否かを判断する。“Ｙｅｓ”の場合はＳ１４３、“Ｎｏ”の場合はＳ１４４に進む。

Ｓ１４３では、ＣＡＦの結果定まった合焦位置が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。

Ｓ１４４では、E_AUTOSR_CHECK_CAFSTATUS_LOW=1であるか否かを判断する。“Ｙｅｓ”の場合はＳ１４５、“Ｎｏ”の場合はＳ１４６に進む。

Ｓ１４５では、ＣＡＦの結果、ＡＦ評価値の極大点が検出され、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。

Ｓ１４６では、ＣＡＦの結果、ＡＦ評価値の極大点が検出されるかまたはＡＦ評価値がその極大点の近傍にあり（例えば本出願人による特開２００３−３４８４２６号公報段落００４１の「微動調整」の段階にある場合）、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。

Ｓ１４７では、操作部１１からの入力あるいはＲＯＭ６８に記憶されたパラメータにより夜景判定で距離情報を使うか否かのいずれが設定されているかを判断する。夜景判定で距離情報を使う設定がされている場合はＳ１４８、夜景判定で距離情報を使う設定がされていない場合はＳ１４９に進む。

Ｓ１４８では、ＡＦ処理部６２のＡＦ処理により合焦位置が決定され、かつその合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。

Ｓ１４９では、ＲＯＭ６８の設定パラメータとしてあるいは操作部１１から、予め夜景ズーム情報フラグがオンに設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１５０、“Ｎｏ”の場合はＳ１５１に進む。

Ｓ１５０では、ズームレンズ位置が所定範囲内、例えば所定位置よりもワイド側にあるか否かを判断する。“Ｙｅｓ”の場合はＳ１５１、“Ｎｏ”の場合はＳ１５２に進む。なお、ズーム位置が所定範囲内にないとは、例えばズームレンズ位置がテレ端あるいはその近傍にある場合である。この場合、入射光量の乏しいバック遠景を画角に収めることができず、夜景撮影に適していないから、ＡＵＴＯと判定する。

Ｓ１５１では、ＳＲ＝夜景に設定する。そして、module[3]の後に続く処理に進む。

Ｓ１５２では、ＳＲ＝ＡＵＴＯに設定する。そして、module[3]の後に続く処理に進む
。

図１２は、シーン判定サブルーチン（夜景判定、module[3]）の他の一例を示すフロー
チャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。夜景判定は、図１１または１２のいずれかを採用すれば足りる。いずれか一方を選択的に実行できてもよい。

Ｓ１６１では、制御回路７４の測光した被写界輝度が、ＲＯＭ６８に記憶された所定の閾値よりも低いか否かを判断する。“Ｙｅｓ”の場合はＳ１６２、“Ｎｏ”の場合はＳ１６８に進む。なお、この閾値は、補助光制御部２５へ発光を指示するか否かを判別する閾値と同じであってもよいし異なっていてもよい。

Ｓ１６２では、レリーズボタンの半押し（Ｓ１）がロックされているか否かを判断する。“Ｙｅｓ”の場合はＳ１６３、“Ｎｏ”の場合はＳ１６８に進む。

Ｓ１６３では、補助光制御部２５に補助光２６の発光を指示したか否かを判断する。“Ｙｅｓ”の場合はＳ１６４、“Ｎｏ”の場合はＳ１６８に進む。

Ｓ１６４では、補助光制御部２５が補助光発光部２６を発光させる直前と直後にそれぞれ制御回路７４の測光した被写界輝度の差が、ＲＯＭ６８に記憶された所定の閾値を超えているか否かを判断する。“Ｙｅｓ”の場合はＳ１６８、“Ｎｏ”の場合はＳ１６５に進む。なお、当該差が当該閾値を超えておらず、微小であれば、補助光照射による被写体輝度の増加の寄与がほとんどなく、被写体が近くないといえる。

Ｓ１６５では、ＲＯＭ６８の設定パラメータとしてあるいは操作部１１から、予め夜景ズーム情報フラグがオンに設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１６６、“Ｎｏ”の場合はＳ１６７に進む。

Ｓ１６６では、ズームレンズ位置が所定範囲内、例えば所定位置よりもワイド側にあるか否かを判断する。“Ｙｅｓ”の場合はＳ１６７、“Ｎｏ”の場合はＳ１６８に進む。なお、ズーム位置が所定範囲内にないとは、例えばズームレンズ位置がテレ端あるいはその近傍にある場合である。この場合、バック遠景を画角に収めることができず、夜景撮影に適していない。

Ｓ１６７では、ＳＲ＝夜景に設定する。そして、module[3]の後に続く処理に進む。

Ｓ１６８では、ＳＲ＝ＡＵＴＯに設定する。そして、module[3]の後に続く処理に進む
。

図１３は、シーン判定サブルーチン（接写判定、module[4]）の詳細を示すフローチャ
ートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。

Ｓ１７１では、レリーズボタンの半押し（Ｓ１）がロックされているか否かを判断する。“Ｙｅｓ”の場合はＳ１８４、“Ｎｏ”の場合はＳ１７２に進む。

Ｓ１７２では、設定メニューや操作部１１を介して予めＣＡＦの実行が設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１７３、“Ｎｏ”の場合はＳ１８８に進む。

Ｓ１７３では、本撮像前ＡＦ処理部８１の算出したＡＦ評価値が、ＲＯＭ６８に記憶された所定の閾値よりも高いか否かを判断する。“Ｙｅｓ”の場合はＳ１７４、“Ｎｏ”の場合はＳ１７９に進む。なお、本ステップＳ１７３を省略してもよい。この場合、Ｓ１７２で“Ｙｅｓ”の場合はＳ１７４に進み、また、Ｓ１７３で“Ｎｏ”と判断された場合に続く諸処理も省略される。

Ｓ１７４では、E_AUTOSR_CHECK_CAFSTATUS_HIGH=0であるか否かを判断する。“Ｙｅｓ
”の場合はＳ１７５、“Ｎｏ”の場合はＳ１７６に進む。

Ｓ１７５では、ＣＡＦの結果定まった合焦位置が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。

Ｓ１７６では、E_AUTOSR_CHECK_CAFSTATUS_HIGH=1であるか否かを判断する。“Ｙｅｓ
”の場合はＳ１７７、“Ｎｏ”の場合はＳ１７８に進む。

Ｓ１７７では、ＣＡＦの結果、ＡＦ評価値の極大点が検出され、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。

Ｓ１７８では、ＣＡＦの結果、ＡＦ評価値の極大点が検出されるかまたはＡＦ評価値がその極大点の近傍にあり（例えば本出願人による特開２００３−３４８４２６号公報段落００４１の「微動調整」の段階にある場合）、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。

Ｓ１７９では、E_AUTOSR_CHECK_CAFSTATUS_LOW=0であるか否かを判断する。“Ｙｅｓ”の場合はＳ１８０、“Ｎｏ”の場合はＳ１８１に進む。

Ｓ１８０では、ＣＡＦの結果定まった合焦位置が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。

Ｓ１８１では、E_AUTOSR_CHECK_CAFSTATUS_LOW=1であるか否かを判断する。“Ｙｅｓ”の場合はＳ１８２、“Ｎｏ”の場合はＳ１８３に進む。

Ｓ１８２では、ＣＡＦの結果、ＡＦ評価値の極大点が検出され、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。

Ｓ１８３では、ＣＡＦの結果、ＡＦ評価値の極大点が検出されるかまたはＡＦ評価値がその極大点の近傍にあり（例えば本出願人による特開２００３−３４８４２６号公報段落００４１の「微動調整」の段階にある場合）、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。

Ｓ１８４では、ＡＦ処理部６２のＡＦ処理により合焦位置が決定され、かつその合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。

Ｓ１８５では、ＲＯＭ６８の設定パラメータとしてあるいは操作部１１から、予め接写ズーム情報フラグがオンに設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１８６、“Ｎｏ”の場合はＳ１８７に進む。

Ｓ１８６では、ズームレンズ位置がＲＯＭ６８に記憶された所定範囲内、例えば所定位置よりもワイド側にあるか否かを判断する。“Ｙｅｓ”の場合はＳ１８７、“Ｎｏ”の場合はＳ１８８に進む。なお、ズーム位置が所定範囲内にないとは、例えばズームレンズ位置がワイド端あるいはその近傍にある場合以外である。この場合、近接被写体の合焦ができず、近接撮影に適していない。

Ｓ１８７では、ＳＲ＝接写に設定する。そして、module[4]の後に続く処理に進む。

Ｓ１８８では、ＳＲ＝ＡＵＴＯに設定する。そして、module[4]の後に続く処理に進む。

図９〜図１３のシーン判定の結果は、ＣＰＵ７５が表示部１１に表示するよう制御する。

例えば、図１４に示すように、シーン判定の結果である「風景」、「ＡＵＴＯ」、「人物」、「夜景」、「接写」といった文字を、スルー画像にあるいはレリーズボタン全押し後の記録用画像に重畳して、表示部１１に表示する。シーン判定の結果を示す文字列、アイコン、記号その他の情報は、図示しないＯＳＤ回路によって生成される。カメラ１に音声処理回路やスピーカが備えられていれば、シーン判定の結果に対応する報知音を出力するようＣＰＵ７５が制御してもよい。「自動シーン認識ＯＦＦ」が設定されていれば、シーン判定結果は表示されない。

以上の処理により、ユーザが撮ろうとしている、もしくは撮ったシーンが、どのようなシーンであるのかを認識できる。認識した結果は、図１４に示すように、テキストやアイコン表示でユーザに分かりやすい形で通知される。認識可能なシーンは、人物（図９）、風景（図１０）、夜景（図１１・１２）、接写（図１３）である。シーン判定結果がこれらのどのシーンにもあてはまらない場合は、ＡＵＴＯとなる。

図２のメイン処理では、シーン変動時にシーン認識を行う。前回のシーン認識結果が確定されたときのフレームの状態と、現フレームの状態の変動を監視する（Ｓ４、図３）。変化があった場合にシーン変動ありと判断されると（Ｓ５）、status=サーチ状態となり
（Ｓ６）、シーン変動のタイミングで認識部が動作する（Ｓ９）。

図３のフレーム変動チェックでは、変動を検知する因子を複数持つことが可能で、順序の入れ換えなども、E_AUTOSR_FRAME_CHECK1〜3の設定により可能である。そして、変動を検知した場合には、フレーム変動の指標となるchange_measureの値をインクリメントする（Ｓ２４、Ｓ２８、Ｓ３２）。change_measureの値がE_AUTOSR_FRAME_CHANGE_MEASURE以
上の場合には（Ｓ２５、Ｓ２９、Ｓ３３で“Ｙｅｓ”）、フレーム変動ありと判断される（Ｓ３５）。

ここでは、フレーム変動を検知する具体的な処理として、測光値変動チェック（図４）、フォーカス位置変動チェック（図５）、顔有無変動チェック（図６）を示している。なお図示は省略するが、本撮像前ＡＦ処理部８１の合焦検出の有無に応じてフレーム変動を検知してもよい。

図４の測光値変動チェックでは、測光値の変動量の指標となるdelta_evは、Ｎ分割の分割エリアごとに測光値変動量を算出し、各エリアに対応した重みをかけて総和をとったものである。そして、delta_evの値がE_AUTOSP_FRAME_DELTA_EV以上の場合に、測光値変動
ありと判断する。

図５のフォーカス位置変動チェックでは、フォーカス位置の変動量の指標となるdelta_focal_pointは、基準情報のフォーカス位置と今回のフォーカス位置の差分によって算出
される。delta_focal_pointの値がフォーカス位置変動閾値以上の場合に、フォーカス位
置変動ありと判断する。なお、ここで使用される閾値は、ズーム位置ごとにＲＯＭ６８に設定されているものとする。

図６の顔有無変動チェックでは、基準情報の顔有無結果と今回の顔有無結果が異なる場合に、顔有無変動ありと判断する。

認識部動作の差異に使用するシーン認識履歴は、自動シーン認識の結果として採用するＳＲを求めた後にクリアする（Ｓ８）。これは、認識部は常時動作することを想定しておらず、離れた時刻の情報を参照することがないようにするためである。

ここで、シーン認識履歴がクリアされるために、サーチ状態となってから（Ｓ６）、トータルシーン認識の際に必要な数だけの単独シーン認識結果が得られるように、その数と同じ回数分だけ認識部が動作するまでは（Ｓ１１で“Ｙ”となるまでは）、ＳＲが更新されない仕組みとなる。

また、ＳＲを決定した際、フレーム変動をチェックするためのフレーム変動基準情報として、採用されたＳＲが最大頻度になった（最新側の）時点の撮影情報を記憶する（Ｓ１３）。

なお、決定したＳＲがＡＵＴＯ以外の場合は、statusは「確定状態」となり（Ｓ１６）、シーンが変動するまでは認識部は動作しない。これに対し、決定したＳＲがＡＵＴＯの場合は「サーチ状態」となり（Ｓ１５）、引き続き認識部を動作させる。これはシーン変動の途中で認識した結果に基づいてstatusを「確定状態」にすることで、シーン変動を正しく検知できなくなってしまう可能性があるためである。

仮に、シーン変動の途中の状態をフレーム変動基準情報として登録した後、フレーム変動をチェックしてしまうと、最終的にシーン変動が完了した状態で認識部に動作してほしいと思っても、基準情報との差分が小さい故に、認識部が動作しない現象が起こってしまう。そこで、これを回避するため、上記のように確定したシーンに対応する撮影情報に基づいてフレーム変動基準情報を更新する処理を行う（Ｓ１３）。

シーン認識は結果が安定しないと、出力結果がユーザの混乱を招く。そこで、撮影シーンがどのようなシーンであるのかという判断をする処理（Ｓ７〜Ｓ１６）と、認識したシーンから変動があったかという監視をする処理（Ｓ４〜Ｓ６）とを混合的に動作させることにより、正確で安定したシーン認識を行うことが可能となる。

＜第２実施形態＞
図１５は第２実施形態に係るフレーム変動チェックサブルーチンのフローチャートである。この処理は、図３の処理に換えて実行させることができる。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。

Ｓ２０１〜Ｓ２０３は、Ｓ２１〜２３と同様である。

Ｓ２０４では、ＲＡＭ６９のパラメータchange_measureに、１回目のフレーム変動チェックに対応する重みE_AUTOSP_FRAME_CHECK1を加えた値を新たなchange_measureに設定する。E_AUTOSP_FRAME_CHECK1は予めＲＯＭ６８に記憶されている。

Ｓ２０５〜Ｓ２０７は、Ｓ２５〜２７と同様である。

Ｓ２０８では、ＲＡＭ６９のパラメータchange_measureに、２回目のフレーム変動チェックに対応する重みE_AUTOSP_FRAME_CHECK2を加えた値を新たなchange_measureに設定する。E_AUTOSP_FRAME_CHECK2は予めＲＯＭ６８に記憶されている。

Ｓ２０９〜Ｓ２１１は、Ｓ２９〜２７と同様である。

Ｓ２１２では、ＲＡＭ６９のパラメータchange_measureに、３回目のフレーム変動チェックに対応する重みE_AUTOSP_FRAME_CHECK3を加えた値を新たなchange_measureに設定する。E_AUTOSP_FRAME_CHECK3は予めＲＯＭ６８に記憶されている。

Ｓ２１３〜Ｓ２１５は、Ｓ３３〜３５と同様である。

図１６は、ＲＯＭ６８に記憶された、１〜３回目のフレーム変動チェックに対応する重みE_AUTOSP_FRAME_CHECK1〜3の一例と、１〜３回目のフレーム変動チェックによる変化の有無に応じたchange_measureの値の一例との関係を示すテーブルである。

ここでは一例として、１回目のフレーム変動チェックは顔有無変動（図６）、２回目のフレーム変動チェックはフォーカス位置変動（図５）、３回目のフレーム変動チェックは測光値変動（図４）であり、E_AUTOSP_FRAME_CHECK1=2、E_AUTOSP_FRAME_CHECK2=1、E_AUTOSP_FRAME_CHECK3=1とされている。すなわち顔有無変動は、フォーカス位置変動や測光値変動に比べて重みが大きい。

テーブルでは１〜３回目のフレーム変動チェックで想定される変動結果の組み合わせの全てが網羅されているが、図示は省略している。例えば、E_AUTOSP_FRAME_CHANGE_MEASURE=2の場合、１回目のフレーム変動チェック（顔有無変動）で変化ありと判断されれば、change_measure=2=E_AUTOSP_FRAME_CHANGE_MEASUREとなるから、Ｓ２０５で“Ｙｅｓ”と判定され、Ｓ２１５に進み、フレーム変動ありと判断される。すなわち、顔有無変動に対応する重みが大きいため、顔有無変動があっただけで即座にフレーム変動ありとなる。

一方。１回目のフレーム変動チェック（顔有無変動）で変化なしと判断された場合、２回目のフレーム変動チェック（フォーカス位置変動）で変化ありと判断されても、change_measure=1<E_AUTOSP_FRAME_CHANGE_MEASUREとなる。よって、３回目のフレーム変動チェックで変化ありと判断されない限り、Ｓ２１３で“Ｎｏ”と判定され、Ｓ２１４に進み、フレーム変動なしと判断される。すなわち、フォーカス位置変動に対応する重みが小さいため、フォーカス位置変動があっただけで即座にフレーム変動ありとはならず、他の要因の変動があって初めて変化ありと判断される。

図１６のテーブルの内容、すなわち各回のフレーム変動チェックに対応する重み、E_AUTOSP_FRAME_CHANGE_MEASUREの値は、表示部７１に表示された「重要項目選択」画面から、操作部１１を介してユーザが自由に設定できる。

こうすることで、シーンが変動しているのか判断する因子が複数存在する場合に、それぞれに対応する重みを自由に設定可能にすることで、シーン変動チェックの基準を多様な形で表現できる。ユーザがシーン変動ありと判断される条件を自由に設定できれば、シーン変動基準をカスタマイズでき、ユーザが重視する因子の変化をシーン変動の判断に強く反映できる。

＜第３実施形態＞
図１７は第３実施形態に係るメイン処理のフローチャートである。この処理は、図２の処理に換えて実行させることができる。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。本実施形態では、フレーム変動基準情報に基づいてフレーム変動チェック（単独フレーム変動チェック）を複数回行い、さらに、フレーム変動チェック結果をフレーム変動履歴として蓄積し、そのフレーム変動履歴に基づいてフレーム変動チェック（トータルフレーム変動チェック）を行う。

Ｓ３０１〜３０３は、Ｓ１〜３と同様である。ただし、Ｓ３０２では、フレーム変動履歴も初期化する。

Ｓ３０４では、ＲＡＭ６９に記憶されたフレーム変動履歴を一世代古い方に繰り上げる。すなわち、フレーム変動履歴をスライドさせる。図１８では一例として、新しいものから５個の履歴１、１、０、０、１がスライドされる。その結果、最新の履歴は「空き(null)」になり、それよりも古い履歴は１、１、０、０となる。なお、履歴の数は５個でなくてもよい。

Ｓ３０５は、取り込まれた最新フレームについて、フレーム変動チェック（単独フレーム変動チェック）を行い、その結果を最新の単独フレーム変動チェック結果としてフレーム変動履歴に加える。

Ｓ３０６では、Ｓ３０５の結果、フレーム変動があったか否かの判断を行う。“Ｙｅｓ”の場合はＳ３０７，“Ｎｏ”の場合はＳ３０１に戻る。

Ｓ３０７では、ＲＡＭ６９に記憶されたフレーム変動履歴のうち最新の単独フレーム変動チェック結果の変動フラグをＯＮに設定する。図１８では一例として、最新フレームについてフレーム変動ありと判断され、フレーム変動履歴は１、１、１、０、０となっている。

Ｓ３０８は、Ｓ４と同様である。

以下のＳ３０９及びＳ３１０において、フレーム変動履歴に基づくフレーム変動チェック（トータルフレーム変動チェック）を行う。Ｓ３０９では、ＲＡＭ６９に記憶されたフレーム変動履歴を参照し、変動のあった回数(E_AUTOSR_FRAME_CHECK_HISTORY)をカウントする。

Ｓ３０９では、フレーム変動履歴に含まれる過去のＭ（図１８ではＭ＝５）個の単独フレーム変動チェック結果のうち、Ｓ３０９でカウントされた変動のあった回数(E_AUTOSR_FRAME_CHECK_HISTORY)が、ＲＯＭ６８に記憶された所定のシーン変動判断閾値(E_AUTOSR_SCENE_CHANGE_JUDGE)以上であるか否かを判断する。“Ｙｅｓ”の場合はＳ３１０、“Ｎｏ”の場合はＳ３０１に戻る。

Ｓ３１０では、シーン変動ありと判断し、statusをサーチ状態とし、ＲＡＭ６９のフレーム変動履歴をクリアする。すなわち、図１８のフレーム変動履歴１、１、１、０、０は全てクリアされ、新たにＭ個の単独フレーム変動チェック結果が蓄積されるまでシーン変動の有無（トータルフレーム変動チェック）は判断されない。

Ｓ３１１では、シーン認識履歴保持フラグがＯＮであるか否かを判断する。“Ｙｅｓ”の場合はＳ３１３、“Ｎｏ”の場合はＳ３１２に進む。

Ｓ３１２では、ＲＡＭ６９のシーン認識カウンタを０に設定し、シーン認識履歴をクリアし、半押し（Ｓ１）後認識時参照用シーン認識履歴をクリアする。

Ｓ３１３〜Ｓ３２１は、それぞれＳ９〜Ｓ１７と同様である。

本処理では、前回のシーン認識結果ＳＲが確定されていたときのフレーム状態と比べて、現フレームの状態が変動しているかを監視する。このフレーム変動状態はフレーム変動履歴として古いものから新しいものまで順次所定個数格納されていく。E_AUTOSR_FRAME_CHECK_HISTORY回分の履歴の中で、「フレーム変動あり」と判断された回数が、E_AUTOSR_SCENE_CHANGE_JUDGE以上であれば（Ｓ３０９で“Ｙｅｓ”）、「シーン変動あり」と判断され（Ｓ３１０）、認識部が動作する（Ｓ３１３）。

このように、シーン変動を判断する際に、フレーム変動履歴を使うことで、ハンチングを防止し、確実なシーン変動判断を行うことができる。

＜第４実施形態＞
図１９は第４実施形態に係るメイン処理（シーン変動認識・周期的認識併存型）のフローチャートである。この処理は、図２（または図１７）の処理と選択的に実行させることができる。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。

Ｓ４０１はＳ１と同様である。

Ｓ４０２は、ＲＡＭ６９のフレーム変動履歴を初期化し、フレーム変動基準情報を初期化し、status=サーチ状態とし、チェックカウンタ=0とし、シーン認識履歴保持フラグ=OFFとする。

Ｓ４０３では、status=確定状態か否かを判断する。“Ｙｅｓ”の場合はＳ４０４、“
Ｎｏ”の場合はＳ４１５に進む。

Ｓ４０４では、周期的に認識部を動作させる旨のフラグが設定されているか（E_AUTOSR_RECOGNIZE_CYCLE_TYPE=0）否かを判断する。“Ｙｅｓ”の場合はＳ４０５、“Ｎｏ”の場合はＳ４１２に進む。E_AUTOSR_RECOGNIZE_CYCLE_TYPEの値は、操作部１１からユーザが任意に入力できてもよいし、予めメーカ側でＲＯＭ６８に記憶されていてもよい。周期の単位も任意であり、かつそれをユーザが操作部１１から任意に入力できてもよい。例えば、５フレームごと、２秒間などの周期を設定できる。周期的に認識部を動作させることにより、認識結果は目まぐるしく変わることはなく、安定性が向上する。また、周期的にチェックをするため、一旦不適切な認識をしたとしても、その結果以後継続して出力されたままとはならない。

Ｓ４０５〜Ｓ４１１は、それぞれＳ３０４〜Ｓ３１０と同様である。

Ｓ４１２〜４１４では、シーン認識を行う固定周期の到来の有無に応じてstatus=サーチ状態にする。すなわち、Ｓ４１２では、チェックカウンタを１だけインクリメントし、Ｓ４１３では、チェックカウンタがＲＯＭ６８に記憶された所定のサーチ周期E_AUTOSR_CONST_SEARCH_CYCLEに到達したか否かを判断する。“Ｙｅｓ”の場合はＳ４１４に進む。“Ｎｏ”の場合はＳ４０１に戻る。Ｓ４１４では、status=サーチ状態にし、チェックカウンタを０にする。

Ｓ４１５〜Ｓ４２５は、それぞれＳ３１１〜Ｓ３２１と同様である。

認識部が動作するタイミング、つまりシーン認識を行うタイミングをシーン変動時にする場合と一定周期ごとにする場合とでは、それぞれ一長一短がある。シーン変動時にシーン認識を行う場合は、応答性が一定周期ごとに行う場合と比べると高い。これに対し、一定周期ごとシーン認識を行う場合は、安定性に優れ、一旦間違ったシーン判定（シーン認識）をした場合であっても、それが画面上に出力されることはない。そのため、どちらの方式を採用するかをユーザに選択可能にすることで、ユーザ独自の使いやすさの向上につなげることが可能となる。

また、認識部が動作するタイミングをユーザ選択によって決定することとせず、設計者が予め選択する場合であっても、共通のファームウェアをベースに、パラメータの違いにより両者の動作を実現させることが可能となる。そのため、ファームウェアの変更なしに、異なるカメラ製品（機種）のターゲットとするユーザ別に制御を変えることも可能である。

６２：ＡＦ処理部、６３：ＡＥ／ＡＷＢ処理部、７５：ＣＰＵ、８０：顔検出処理部、８１：本撮像前ＡＦ処理部

Claims (14)

1. 撮影シーンの情報である撮影情報を取得する撮影情報取得手段と、
   前記撮影シーンの変動を判別するための基準情報を記憶する基準情報記憶手段と、
   前記基準情報記憶手段に記憶された前記基準情報と前記撮影情報取得手段により取得された前記撮影情報から、前記撮影シーンが変動したか否かを判別するシーン変動判別手段と、
   前記シーン変動判別手段により撮影シーンが変動したことが判別されたことに応じて、前記撮影情報取得手段により取得した前記撮影情報に基づいて撮影シーンを認識するシーン認識手段と、
   前記シーン認識手段が認識したシーン認識結果に対応する撮影情報に基づく新たな基準情報を前記基準情報として前記基準情報記憶手段に記憶する処理手段と、
   前記シーン認識手段が認識したシーン認識結果に応じて、表示制御、撮影制御、信号処理制御および情報記録制御のうち少なくとも１つを行う制御手段と、を備え、
   前記シーン認識手段は、前記認識した撮影シーンが特定のシーンの場合、前記撮影シーンのシーン認識を継続し、前記認識した撮影シーンが特定のシーン以外の場合、前記撮影シーンのシーン認識を確定して、前記シーン変動判別手段により前記撮影シーンが変動したと判別されるまでシーン認識しない撮像装置。
2. 前記シーン認識手段は、
   前記シーン変動判別手段により前記撮影シーンが変動したことが判別されたことに応じて、前記撮影情報取得手段により取得した撮影情報に基づいて単独シーン認識を行う単独シーン認識手段と、
   前記単独シーン認識手段による単独シーン認識結果の履歴をシーン認識履歴として記憶するシーン認識履歴記憶手段と、
   を備え、
   前記処理手段は、前記シーン認識履歴の中で出現頻度が最大となる単独シーン認識結果のうち、最も新しい単独シーン認識結果を得る時点に用いられた撮影情報に基づく新たな基準情報を前記基準情報記憶手段に記憶する請求項１に記載の撮像装置。
3. 前記シーン認識履歴に基づいて前記撮影シーンのシーン認識を行うトータルシーン認識手段を備える請求項２に記載の撮像装置。
4. 前記トータルシーン認識手段は、前記シーン認識履歴から最大頻度の単独シーン認識結果が示す撮影シーンを検出し、前記最大頻度の単独シーン認識結果が示す撮影シーンを、前記シーン変動判別手段により撮影シーンが変動したと判別された後の撮影シーンとして認識する請求項３に記載の撮像装置。
5. 前記トータルシーン認識手段は、前記最大頻度の単独シーン認識結果が示す撮影シーンが複数検出された場合には、前記複数の最大頻度の単独シーン認識結果が示す撮影シーンの中の最新の撮影シーンを、前記シーン変動判別手段により撮影シーンが変動したと判別された後の撮影シーンとして認識する請求項４に記載の撮像装置。
6. 前記撮影情報取得手段は、前記撮影シーン中に人物の顔があるか否かを示す顔有無情報、被写体距離に関する被写体距離情報および被写体の明るさに関する測光情報のうちの少なくとも１つの情報を、前記撮影情報として取得する請求項１から５のいずれかに記載の撮像装置。
7. 前記撮影情報取得手段は、撮影シーン中に人物の顔があるか否かを示す顔検出結果情報、被写体距離に関する被写体距離および被写体の明るさに関する測光情報のうちの２以上の情報を、前記撮影情報として取得し、
   前記シーン変動判別手段は、前記撮影情報取得手段により取得された前記撮影情報と前記基準情報記憶手段に記憶された前記撮影情報に対応する前記基準情報とから前記撮影シーンが変動したか否かを判別する請求項１から６のいずれかに記載の撮像装置。
8. 前記シーン変動判別手段は、前記撮影情報取得手段により取得された前記２以上の情報と前記基準情報記憶手段に記憶された前記２以上の情報に対応する前記基準情報とに、それぞれ情報別の重み付けを行う重み付け設定手段を有する請求項７に記載の撮像装置。
9. 前記シーン変動判別手段は、
   前記基準情報記憶手段に記憶された前記基準情報と前記撮影情報取得手段により取得された前記撮影情報とから逐次撮影シーンの変動の有無を判別する単独シーン変動判別手段と、
   前記単独シーン変動判別手段による単独シーン変動判別の結果の履歴をシーン変動履歴として記憶するシーン変動履歴記憶手段と、
   前記シーン変動履歴に基づいて前記撮影シーンが変動したか否かを判別するトータルシーン変動判別手段と、
   を備える請求項１から８のいずれかに記載の撮像装置。
10. 前記撮影シーンのシーン認識をシーン変動時に行うか、又は所定の周期毎に行うかを選択する選択手段と、
    前記シーン認識を行う所定の周期を設定する周期設定手段と、を更に備え、
    前記選択手段により撮影シーンのシーン認識を所定の周期毎に行うことが選択されると、前記シーン認識手段は、前記シーン変動判別手段により前記撮影シーンが変動したことが判別されたときに代えて、前記周期設定手段により設定された所定の周期毎に前記撮影情報取得手段により取得された前記撮影情報に基づいて前記撮影シーンのシーン認識を行う請求項１から９のいずれかに記載の撮像装置。
11. 前記周期設定手段により設定される前記所定の周期は、予め設定された周期、又はユーザにより任意に設定可能な周期である請求項１０に記載の撮像装置。
12. 撮影シーンの情報である撮影情報を取得するステップと、
    前記撮影シーンの変動を判別するための基準情報を記憶するステップと、
    前記記憶された基準情報と前記取得された撮影情報から前記撮影シーンが変動したか否かを判別するステップと、
    前記撮影シーンが変動したことが判別されたことに応じて、前記撮影情報に基づいて前記撮影シーンを認識するステップと、
    前記認識した撮影シーンの認識結果に対応する撮影情報に基づく新たな基準情報を前記基準情報として記憶するステップと、
    前記認識した撮影シーンの認識結果に応じて、表示制御、撮影制御、信号処理制御および情報記録制御のうち少なくとも１つを行うステップと、を含み、
    前記撮影シーンを認識するステップは、前記認識した撮影シーンが特定のシーンの場合、前記撮影シーンのシーン認識を継続し、前記認識した撮影シーンが特定のシーン以外の場合、前記撮影シーンのシーン認識を確定して、前記撮影シーンが変動したと判別されるまでシーン認識しないステップを含む撮像方法。
13. 前記撮影シーンが変動したことが判別されたことに応じて、前記取得した撮影情報に基づいて単独シーン認識を行うステップと、
    前記単独シーン認識結果の履歴をシーン認識履歴として記憶するステップと、
    前記シーン認識履歴の中で出現頻度が最大となる単独シーン認識結果のうち、最も新しい単独シーン認識結果を得る時点に用いられた撮影情報に基づく新たな基準情報を前記基準情報として記憶するステップと、
    を含む請求項１２に記載の撮像方法。
14. 前記シーン認識履歴に基づいて前記撮影シーンのシーン認識を行うステップを含む請求項１３に記載の撮像方法。

Images