JP4953971B2 - 画像処理装置、画像処理装置の制御方法、および、これを実行させるためのプログラム - Google Patents

Description

本発明は、画像から被写体を認識し、認識した被写体の位置を示す指標を表示する機能に関するものである。

近年、デジタルスチルカメラ、デジタルビデオカメラのような、撮像素子を用いた撮像装置の高機能化が進んでいる。これらの撮像装置は、撮影者が手動でフォーカス距離を合わせずとも、一定の条件に従い自動的にフォーカスを合わせるオートフォーカス（以下、ＡＦという）機能を搭載している。

またＡＦの対象とする領域も、用途に応じて様々な方法が考え出されている。単純に画角の中央でＡＦするもの、ユーザーが任意で指定した位置でＡＦするものの他に、被写体の特徴を捉えて自動的にＡＦの対象とすべき位置を決定するものなどが知られている。

また、被写体の特徴として顔検出を行い、検出できた複数の顔の間にて、主被写体を切り替える機能も提案されている（特許文献１を参照）。
特開２００６−１４５６２９

しかしながら、画像から被写体認識を行ってＡＦを行う際に、被写体の検出状況や主被写体を決定する方法に違いがあると、単に主被写体を示す枠を表示するだけでは不都合が生じる場合がある。

被写体認識の例として、人物の顔を検出する顔検出機能を用いて説明する。

主被写体を決定する１つの方法として、検出された複数の顔の中から、そのときのそれぞれの顔の位置や大きさに応じて、撮像装置が自動的に主被写体となる顔を選択する顔自動選択モードが考えられる。

顔自動選択モードの場合、顔が移動すれば、それぞれの顔の位置や大きさに変化が生じるため、主被写体としての顔が別の顔に変更されることがある。そのため、主被写体以外の顔に対しても、主被写体になり得る候補として、顔検出されたことを示す指標を表示することが望ましい。例えば、撮像した画像を表示する撮像装置の画面において、検出されたそれぞれの顔に対して、その顔を囲う枠を表示し、主被写体としての顔を囲う枠だけ、他の枠と異なる色で表示する仕様が考えられる。

また、主被写体を決定する別の１つの方法として、検出された複数の顔の中から、ユーザーの指示によって主被写体となる顔を任意に選択する顔指定モードが考えられる。

例えば、ユーザーが撮像装置に設けられた十字キーを操作することによって、検出された顔の中から、１つの顔を主被写体として選択する。あとは撮像装置が顔検出に成功するたびに、顔の位置、大きさ、あるいは、顔の特徴情報から同一人物とみなせる顔を追尾していく。顔指定モードの場合は、ユーザーの意図によって主被写体とする顔が固定されているため、検出された他の顔に対して、顔検出されたことを示す指標を表示する必要はない。すなわち、撮像した画像を表示する撮像装置の画面において、ユーザーによって選択された顔に対してだけ、顔検出されたことを示す指標を表示すればよい。

ここで、顔自動選択モードと顔指定モードを切り替えることが可能な撮像装置においては、以下の問題が生じる。

顔が複数存在する場合に、ユーザーは顔自動選択モードであれば顔を検出したことを示す指標が複数表示され、顔指定モードであれば顔を検出したことを示す指標は１つのみ表示されると考える。

しかしながら、顔検出機能は顔の大きさや向きによっては検出に失敗することもあるため、撮影画角には複数の顔が存在していたとしても、１つの顔しか検出できないこともある。このとき、撮像装置の画面には１つの指標しか表示されていないため、ユーザーが顔指定モードが設定されているものと勘違いしてしまうおそれがある。

本発明は、このような課題に鑑みてなされたものであり、検出した複数の被写体の中から選択された主被写体に対して指標を表示する際に、ユーザーの利便性を向上させることを目的とする。

上記課題を解決するため、本願に係る画像処理装置は、画像信号の中から目的とする対象を含んだ領域を検出する領域検出手段と、前記領域検出手段によって検出された領域を認識できるようにするための指標を、前記画像信号から生成された画像に重畳して表示する表示手段と、前記領域検出手段にて検出された複数の領域からいずれかの領域を主たる領域として自動的に選択する自動選択モードと、前記領域検出手段にて検出された複数の領域からいずれかの領域を主たる領域としてユーザーからの指示に応じて選択する指定モードを設定可能な設定手段と、を備え、前記表示手段は、前記自動選択モードにおいては前記複数の領域に前記指標を表示するのに対して、前記指定モードにおいては前記複数の領域のうちの主たる領域にのみ前記指標を表示するものであり、かつ、前記自動選択モードと前記指定モードとで、前記主たる領域を認識できるようにするための指標の表示形態を異ならせることを特徴とする。

同様に上記課題を解決するため、本願に係る制御方法は、画像信号の中から目的とする対象を含んだ領域を検出する領域検出手段と、前記領域検出手段によって検出された領域を認識できるようにするための指標を、前記画像信号から生成された画像に重畳して表示する表示手段と、前記領域検出手段にて検出された複数の領域からいずれかの領域を主たる領域として自動的に選択する自動選択モードと、前記領域検出手段にて検出された複数の領域からいずれかの領域を主たる領域としてユーザーからの指示に応じて選択する指定モードを設定可能な設定手段と、を備えた画像処理装置の制御方法において、前記自動選択モードにおいては前記複数の領域に前記指標を表示するのに対して、前記指定モードにおいては前記複数の領域のうちの主たる領域にのみ前記指標を表示するものであり、かつ、前記自動選択モードと前記指定モードとで、前記主たる領域を認識できるようにするための指標の表示形態を異ならせる工程を備えることを特徴とする。

本発明の撮像装置によれば、検出した複数の被写体の中から選択された主被写体に対して指標を表示する際に、ユーザーの利便性を向上させることができる。

以下、図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。

以下の実施形態では、撮像装置の一例としてのデジタルスチルカメラに本発明を適用した例を説明する。しかし、本発明はデジタルスチルカメラに限らず、画像を電気信号又はデジタルデータとして記録する任意の撮像装置（例えば、デジタルビデオカメラ、デジタルスチルカメラ）に適用することが可能である。更に、このような撮像装置を内蔵もしくは利用可能な任意の装置、例えば、撮像機能を有するパーソナルコンピュータ等の情報処理装置や、撮像機能を有する携帯電話機等の携帯端末に適用することが可能である。

（構成の説明）
図１は、本実施形態における撮像装置１００の構成を示すブロック図である。

撮像装置１００は、撮像用レンズである光学系１０を介して被写体像を撮像するように構成されている。光学系１０は、ズームレンズとフォーカスレンズを用いて構成されている。

撮像装置１００はまた、撮像素子１４を用いて、撮像された画像を電子的に切り取る（トリミング）ことによる電子的なズーム機能（いわゆる電子ズーム）を有するように構成されうる。

なお、撮像装置１００は、光学ズーム及び電子ズームのいずれか一方の機能のみを有するように構成される場合もある。また、光学系１０は、交換可能であってもよく、この場合は、撮像装置１００のズーム制御部４４から光学系１０に対して電気信号を送ることにより、光学系１０内の駆動機構が変倍用のレンズを駆動してズーム機能を実現してもよい。又は、撮像装置１００に光学系１０内の変倍用のレンズを機械的に駆動する駆動機構を設けてもよい。

光学系１０を透過した被写体からの光線（光学的な画角内から入射する光線）は、絞り機能を備えるシャッター１２の開口を通して撮像素子１４の撮像面に被写体の光学像を形成する。撮像素子１４には、例えば、ＣＣＤセンサやＣＭＯＳセンサなどの光電変換素子を用いることができる。撮像素子１４は、この光学像を電気的なアナログ画像信号に変換して出力する。

Ａ／Ｄ変換器１６は、撮像素子１４から提供されるアナログ画像信号をデジタル画像信号に変換する。

撮像素子１４及びＡ／Ｄ変換器１６は、タイミング発生回路１８から提供されるクロック信号や制御信号によって制御される。タイミング発生回路１８は、メモリ制御部２２及びシステム制御部５０により制御される。

画像処理部２０は、Ａ／Ｄ変換器１６から提供される画像信号（デジタル画像信号）又はメモリ制御部２２から提供される画像信号に対して画素補間処理や色変換処理等の画像処理を行う。また、画像処理部２０は、撮像素子１４で得られた画像信号に基づいて、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光による自動調光）処理のためのデータを演算する。画像処理部２０は、演算により得られたデータをシステム制御部５０に提供する。

システム制御部５０は、このデータに基づいて露光制御部４０、焦点制御部４２を制御し、ＡＥ機能およびＡＦ機能を実現する。さらに、画像処理部２０は、撮像素子１４で得られた画像信号に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）も実行する。

メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、及び、圧縮伸長部３２を制御する。

Ａ／Ｄ変換器１６から出力される画像信号は、画像処理部２０及びメモリ制御部２２を介して、又は、画像処理部２０を介することなく直接メモリ制御部２２を介して、画像表示メモリ２４又はメモリ３０に書き込まれる。

画像表示メモリ２４に書き込まれた表示用の画像信号は、Ｄ／Ａ変換器２６によって表示用のアナログ画像信号に変換されて画像表示部２８に提供され、これにより画像表示部２８に撮像画像が表示される。また、画像表示部２８に撮像画像を連続的に表示することにより、被写体像をリアルタイムで表示する電子ビューファインダ（ＥＶＦ）機能が実現される。画像表示部２８はＥＶＦ機能を実現中に、表示されている画像に重畳させて検出された顔領域を囲う顔枠を表示することによって、検出されている顔領域をユーザーに知らしめることができる。また、画像表示部２８は、システム制御部５０からの指令によって任意に表示をオン／オフされうる。表示をオフにして使用することにより、撮像装置１００の電力消費を低減することができる。

メモリ３０は、撮像（記憶媒体に記録する画像として撮像）した静止画像や動画像を格納するために使用される。メモリ３０の容量やアクセス速度（書き込み速度、読み出し速度）は、任意に設計されうるが、複数枚の静止画像を連続して撮像する連写撮像やパノラマ撮像を可能にするためには、それに応じた容量やアクセス速度を与える必要がある。メモリ３０は、システム制御部５０の作業領域としても使用されうる。

圧縮伸長部３２は、例えば適応離散コサイン変換（ＡＤＣＴ）等により画像信号を圧縮伸長する回路である。圧縮伸長部３２は、メモリ３０に格納された画像信号を読み込んで圧縮処理又は伸長処理を行い、処理を終えた画像信号をメモリ３０に書き込むように構成される。

露光制御部４０は、システム制御部５０から提供される情報に基づいて、絞り機能を備えるシャッター１２を制御する。露光制御部４０はまた、フラッシュ４８（発光装置）と連携したフラッシュ調光機能も有しうる。フラッシュ４８は、フラッシュ調光機能及びＡＦ補助光の投光機能を有する。

焦点制御部４２は、システム制御部５０から提供される情報に基づいて、光学系１０のフォーカスレンズの焦点位置を調整する。ズーム制御部４４は、光学系１０のズームレンズの位置を調整する。バリア制御部４６は、光学系１０を保護するバリア１０２の動作を制御する。

システム制御部５０は、撮像装置１００全体を制御するように構成されている。システム制御部５０は、画像表示部２８に表示する撮像条件及び撮像装置１００の状態を示すオブジェクト（表示物）のうち少なくともいずれかを描画する処理等を実行する画像処理部を含む。

メモリ５２は、システム制御部５０の動作用の定数、変数、プログラム、さらには、画像表示部２８にオブジェクトを表示するためのオブジェクトデータ等を記憶する。オブジェクトデータは、撮像によって生成される画像信号とは異なり、画像信号を一時的に保持するメモリ領域とは異なるメモリ領域に保持される。オブジェクトデータは、典型的には、撮像装置１００の出荷前にメモリ５２に書き込まれる。オブジェクトデータはまた、撮像装置１００の出荷後に、電気通信回線を通じてダウンロードされるデータ又は記憶媒体に収めてユーザーに提供されるデータに基づいてユーザーによって書き換えられてもよいし、サービスセンター等において書き換えられてもよい。

表示部５４は、例えば、ＬＣＤやＬＥＤによって構成される。表示部５４は１又は複数の素子で構成され、システム制御部５０におけるプログラムの実行に応じて、文字、画像等により動作状態やメッセージ等を出力するように構成され、撮像装置１００の適所に配置される。表示部５４を構成する一部の表示素子は、光学ファインダ１０４内に配置されうる。

表示部５４に表示される情報のうち、ＬＣＤ等に表示される情報としては、例えば、シングルショット／連写撮像表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮像可能枚数表示、シャッタースピード表示などがある。この他にも、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮像表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示などがある。さらには、外部記憶媒体１２０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示などがある。

また、表示部５４に表示される情報のうち、光学ファインダ１０４内に表示される情報としては、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などがある。

不揮発性メモリ５６は、例えばＥＥＰＲＯＭ等の、電気的に消去・記録が可能なメモリである。前述のオブジェクトデータは、不揮発性メモリ５６に格納されてもよい。

モードスイッチ６０は、図２に示すモードスイッチ３１２と同一部材であり、撮像装置１００の状態を「撮像モード」や「再生モード」などに設定（切り替え）するためのスイッチである。

第１シャッタースイッチＳＷ１（６２）は、シャッターボタン３１０の操作途中（半押し）でオンとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の開始をシステム制御部５０に指示する。

第２シャッタースイッチＳＷ２（６４）は、シャッターボタン３１０の操作完了（全押し）でオンとなる。ＳＷ２（６４）は、撮像素子１４から画像信号を読み出してＡ／Ｄ変換器１６でデジタル画像信号に変換した後にこれを画像処理部２０で処理し、メモリ制御部２２を介してメモリ３０に書き込む処理の開始をシステム制御部５０に指示する。ＳＷ２（６４）はまた、メモリ３０から画像信号を読み出して圧縮伸長部３２で圧縮し、その圧縮された画像信号を外部記憶媒体１２０に書き込む処理を含む一連の処理（撮像処理）の開始をシステム制御部５０に指示する。

６６は画像表示オン／オフスイッチで、画像表示部２８のオン／オフを設定することが出来る。この機能により、光学ファインダ１０４を用いて撮影を行う際に、ＬＣＤ等から成る画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。

６８はクイックレビューオン／オフスイッチで、撮影直後に撮影した画像信号を自動再生するクイックレビュー機能を設定する。なお、本実施例では特に、画像表示部２８をオフとした場合におけるクイックレビュー機能の設定をする機能を備えるものとする。

操作部７０は、図２に示すボタン又はボタン３０１〜３０８、及び、３１１を含む。操作部７０は、電源をオン／オフしたり、撮像条件を設定或いは変更したり、撮像条件を確認したり、撮像装置１００の状態を確認したり、撮像済みの画像を確認したりする際に使用される。

電源制御部８０は、例えば、電源検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等を含む。電源制御部８０は、電源の有無、電源の種類、電池残量の検出を行い、その検出結果とシステム制御部５０からの指令に従ってＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間に各ブロックに供給する。撮像装置１００の本体、電源８６は、それぞれコネクタ８２、８４を有し、これによって接続される。電源８６は、例えば、アルカリ電池やリチウム電池等の一次電池や、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプタ等である。

９０はメモリカード等の外部記録媒体と画像信号の送受信を行うカードコントローラ、９１はメモリカード等の外部記録媒体とのインタフェース、９２はメモリカード等の外部記録媒体と接続を行うコネクタである。９８はコネクタ９２に外部記録媒体１２０が装着されているか否かを検知する記録媒体着脱検知手段である。

なお、本実施例では記録媒体を取り付けるインタフェースやコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。インタフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。

さらに、インタフェース９１、そしてコネクタ９２をＰＣＭＣＩＡカード等の規格に準拠したものを用いて構成することもできる。この場合、ＬＡＮカードやモデムカード等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像信号や画像信号に付属した管理情報を転送し合うことができる。通信カードとしては、他に、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カードが考えられる。

１０１は、目的とする対象（本実施形態では人物の顔）を検出する領域検出手段としての顔検出部である。画像処理部２０で処理された画像信号や画像表示メモリ２４に保存されている画像信号の解析を行い、画像信号内の顔と思われる領域を検出する。顔検出部１０１では、顔を思われる領域を検出した際に、人間の顔と思われる確からしさ、入力画像信号中の位置、サイズなどが出力される。また、検出した顔の各々の特徴点の特徴量を出力することもできる。

本実施形態では、画像から顔領域を検出する顔検出モードとして、顔自動選択モードと顔指定モードを備えており、これらの顔検出モードを切り替えることができる。

顔自動選択モードでは、検出された複数の顔の中から、そのときのそれぞれの顔の位置や大きさに応じて、撮像装置が自動的に主被写体となる顔を選択する。顔自動選択モードの場合、顔が移動すれば、それぞれの顔の位置や大きさに変化が生じるため、主被写体としての顔が別の顔に変更されることがある。

顔指定モードでは、検出された複数の顔の中から、ユーザーの指示によって主被写体となる顔を任意に選択する。例えば、ユーザーが撮像装置に設けられた十字キーを操作することによって、検出された顔の中から、１つの顔を主被写体として選択する。あとは顔検出結果を得るたびに、入力画像信号中の位置、サイズ、顔の各々の特徴量を用いて主被写体として選択された人物と同一人物とみなせる顔を追尾する。

光学ファインダ１０４は、画像表示部２８によるＥＶＦ機能を使用することなしに撮像を行うことを可能にする。光学ファインダ１０４内には、表示部５４の一部を構成する表示素子、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などを行うための表示素子が配置されうる。

図２は、撮像装置１００の外観構成の一例を示す図である。なお、図２においては、説明のために不要な構成部分は図示していない。

メニューボタン３０１は、各種の撮像条件の設定のため、及び、撮像装置１００の状態を表示させるためのメニューを表示するためのボタンである。メニューは、選択可能な、及び、値を変更可能な複数の項目のうち少なくともいずれかを含むように構成される。このメニューから、顔の検出結果を利用する顔自動選択モードによるＡＦと、顔の検出結果を利用しない至近優先モードあるいは中央固定モードによるＡＦとを切り替えることができる。

決定ボタン３０２は、メニューや各操作面において、値や項目を決定または選択するためのボタンである。システム制御部５０は、決定ボタン３０２が押下されると、その時に選択されている値や項目を決定又は選択する。

キャンセルボタン３０３は、決定ボタン３０２とは逆に、メニューや各操作面において、値や項目を決定せずに取りやめるためのボタンである。システム制御部５０は、キャンセルボタン３０３が押下されると、その時に選択されている値や項目を決定せずにその状態から抜ける。また、顔指定モードを解除する際にも、このキャンセルボタン３０３が操作される。

顔指定モードボタン３０４は、顔指定モードへ切り替えるためのボタンである。顔自動選択モードか設定されているか、至近優先モードあるいは中央固定モードが設定されているかによらず、顔指定モードボタン３０４が操作されることによって、顔指定モードへと切り替えられる。

方向ボタン３０５〜３０８は、メニュー表示等にて、複数の選択肢の中で選択されている選択肢（例えば、項目、画像）を変更するためのボタンである。また、選択されている顔指定モードにて主被写体とする顔を変更するためにも用いられる。方向ボタン３０５〜３０８は、また、数値（例えば、補正値や日時等を示す数値など）を増減させるためなどにも使用されうる。

電源ボタン３１１は、撮像装置１００を起動及び停止させるため、又は、撮像装置１００の主電源をオン／オフするためのボタンである。

シャッターボタン３１０は半押しされることで第１シャッタースイッチＳＷ１（６２）がオンとなり、全押しされることで第２シャッタースイッチＳＷ２（６４）がオンとなる。

モードスイッチ３１２は図１に示すモードスイッチ６０と同一部材である。このモードスイッチ３１２の操作に応じて、撮像装置１００は画像を撮影するための撮影モードと画像を再生するための再生モードを切り替える。

以下、各図を参照して、本実施形態の撮像装置１００における主被写体を示す指標の表示について説明する。

図３は本実施形態における顔自動選択モード、顔手動選択モード、および、顔指定モードでの主被写体を示す指標の表示例を示す図である。

まず顔自動選択モードにおける顔検出結果を示す指標の表示例について説明する。

メニュー表示から顔自動選択モードが選択された場合、撮像装置１００が被写体の状態と構図及び諸条件をもとに主被写体を判断する。顔が１つしか検出されなければその検出された顔を主被写体とし、顔が複数検出されれば人間の顔と思われる確からしさ、入力画像信号中の位置、サイズなどから主被写体としての顔を１つ選択する。

撮像装置１００が主被写体と判断した人物の顔には、図３のＳ０１に示す様な顔枠が被写体の顔部分に表示される。この顔枠は主被写体とされた顔が存在する領域を囲うように設定され、図３のＳ０１では、各辺の中央部を切り欠いた黒枠の正方形にて表現されている。この主被写体を示す顔枠は、主被写体としての顔の位置や大きさの変化に応じて、この顔枠の位置や大きさも変化する。また、撮像装置１００にて主被写体とされなかった残りの顔に対して、主被写体とは異なる色で顔領域を囲うように顔枠を表示する。顔自動選択モードでは、被写体の状態や構図の変化によって撮像装置１００が自動的に主被写体となる顔を切り替える。以下、主被写体に対して表示される枠を主枠、主被写体以外の残りの被写体に対して表示される枠を副枠と言う。

そして、シャッターボタン３１０が半押しされ、第１シャッタースイッチＳＷ１（６２）がオンとなると、その時点で主枠が表示されている領域の評価値を用いてＡＦを行う。

次に顔指定モードにおける顔検出結果を示す指標の表示例について説明する。

顔指定モードボタン３０４が押下されて顔指定モードへの変更が指示されると、まずは顔手動選択モードへ遷移し、図３のＳ０３に示すように顔を選択する旨のメッセージが表示されるとともに、主枠の形態が変化する。本実施形態の顔手動選択モードおよび顔指定モードでは、主枠は、主被写体とされた顔が存在する領域を囲うように、各辺の中央部を切り欠いた二重の黒枠の正方形にて表現される。

上述したように、顔指定モードでは顔検出部１０１によって検出された顔が複数あったとしても、副枠は表示されず、主枠のみが表示される。撮影者は方向ボタン３０５あるいは３０６を操作することで、Ｓ０３ａやＳ０３ｂに示すように、主枠の対象とする顔を選択できる。所望の顔を選択した後、決定ボタン３０２を押下することにより、その顔を主被写体としてＳ０２に示す顔指定モードに遷移する。顔指定モードでは、新たに得られた顔検出結果から、顔の位置、サイズ、顔の各々の特徴量を用いて、主被写体として選択された人物と同一人物とみなせる顔を追尾する。また、Ｓ０２に示す顔指定モードに遷移した後でも、顔指定モードボタン３０４を押下することによって、再びＳ０３に示す顔手動選択モードに遷移することができる。

ここで、顔検出部１０１は被写体の顔の向きによっては顔が検出できない場合がある。よって、複数の顔が横を向いてしまっていると、ユーザーは画面上に複数の人物がいることを認識しているにも関わらず、顔検出結果が１つしか得られない場合も生じる。このとき、顔自動選択モードが設定されていれば、その検出された顔に主枠が表示されるのみで、他の顔に対して副枠は表示されないことになる。

したがって、顔自動選択モードと顔指定モードで主枠が同じ形態で表示されてしまうと、現状どちらの顔検出モードに設定されているのか判断が難しい。

そこで、本実施形態では、Ｓ０１に示す顔自動選択モードの主枠と、Ｓ０２に示す顔指定モードの主枠の表示形態を異ならせている。そのため、顔検出部１０１にてたまたま１つの顔しか検出できなかった場合であっても、ユーザーはどちらの顔検出モードに設定されているかを容易に認識することができる。

なお、Ｓ０３の顔手動選択モード、あるいは、Ｓ０２の顔指定モードが設定されている状態で、キャンセルボタン３０３が操作されると、顔指定モードボタンが操作される前の顔自動選択モードへ遷移する。

以上のように、顔自動選択モードから顔手動選択モードを介して顔指定モードへ遷移する例について説明を行った。本実施形態では、さらに至近優先モードから顔手動選択モードを介して顔指定モードへ遷移することもできる。

図４は本実施形態における至近優先モード、顔手動選択モード、および、顔指定モードでの主被写体を示す指標の表示例を示す図である。

例えば図４のＳ’０１に示す至近優先モードに設定された状態で、顔指定モードボタン３０４を押下されると、Ｓ’０３に示す顔手動選択モードに遷移する。このＳ’０３の顔手動選択モードでは、図３のＳ０３と同様に、顔を選択する旨のメッセージが表示されるとともに、主枠の形態が変化する。撮影者が方向ボタン３０５あるいは３０６を操作すれば、Ｓ’０３ａやＳ’０３ｂに示すように、主枠の対象とする顔が選択される。そして、決定ボタン３０２を押下することにより、その顔を主被写体としてＳ’０２に示す顔指定モードに遷移する。キャンセルボタン３０３が操作されると、顔指定モードボタンが操作される前の至近優先モードへ遷移する。これは至近優先モードではなく中央固定モードが設定されていた場合でも同様である。

なお、図３のＳ０３、図５のＳ’０３に示す顔手動選択モードにおいて、顔検出部１０１が検出できた顔の個数が１つか、２つ以上かによって、主枠の形態を変化させてもよい。

その様子を図５に示す。この主枠は色によって形態を変化させても良いし、主被写体が選択可能なガイダンスを表示するか否かによって形態を変化させてもよい。

図５（ａ）は複数の顔が検出されたときの主枠の表示例であり、図５（ｂ）は１つの顔のみ検出されたときの主枠の表示例である。図５（ａ）では方向ボタン３０５及び３０６により主被写体の切り替えが可能である旨を矢印で表している。これに対し、図５（ｂ）では他に選択できる顔が無いため、主被写体の切り替えが可能である旨を表わす矢印を表示していない。この表示の違いにより、撮影者はその時点において主被写体の切り替えが可能であるかどうかを知ることができるともに、他の顔が検出できたか否かについて知ることもできる。よって、他の顔の検出に失敗しており主被写体の切り替えができないのにも関わらず、方向ボタン３０５あるいは３０６に無駄に操作してしまう手間を抑制することができる。また、１つの顔しか検出できなかった場合に、「顔を選択してください」というメッセージの代わりに「他に選択できる顔はありません」等のメッセージを表示するようにしても良い。

さらに、顔指定モードボタン３０４が押下されたときに、１つも顔が検出されていなかった場合の動作について説明する。

画角中に顔が一つも無い、あるいは画角中に顔があっても顔検出部１０１が顔の検出に失敗した場合には、顔自動選択モードでは顔枠の表示を行うことができない。よって、顔が検出されなかった場合には、顔自動選択モードでは主枠が表示されず、顔指定モードボタン３０４を押下して顔手動選択モードへ遷移しても、図６（ａ）に示すように主枠が表示されない。このとき、顔を選択する旨のガイダンスも非表示としてもよいし、あるいは顔が一つも検出されていない旨をガイダンス表示しても良い。

これに対し、中央固定モードから顔手動選択モードに遷移した場合に顔が検出されなかった場合には、異なる動作を行う。もともと中央固定モードでは常に中央にＡＦの対象領域とするための主枠が表示されている。この状態から顔指定モードボタン３０４を押下して顔手動選択モードへ遷移し、かつ、顔が検出されていなければ、図６（ｂ）に示すように、顔手動選択モードであるにも関わらず画角の中央に主枠を表示する。

これは、もともとユーザーは画角の中央に位置する被写体を主被写体としていたと考えられるため、顔が検出できないのであれば、顔手動選択モードが設定されているとしても画角中央部に主枠を表示している。これにより、顔が検出できない状況であっても、ユーザーの意図に近い被写体を主被写体として扱うことができる可能性が高くなると考えられるためである。

ただし、いずれの場合も、顔が検出できない場合には顔指定モードボタン３０４が押下されたとしても、顔手動選択モードに遷移しない構成としても良い。

なお、上記の実施形態では、顔領域を示す指標として顔領域を囲む括弧枠を示したが、この枠の表示形態はこれに限定されるものではなく、円形や八角形等でも構わない。また、顔領域以外の領域に対して色処理を施したり、ローパルフィルタをかけたり、反対に顔領域に対して色処理を施したり、ローパスフィルタをかけたり、コントラストを強調したりして、顔領域を識別できるような処理を施しても構わない。さらに、本発明は画像信号から目的とする対象物を複数検出し、その検出した領域を示す構成であれば適用できるため、検出対象は必ずしも人の顔でなくとも構わない。例えば、人の顔以外の検出対象としては、特定の動物や、特定の車種、特定の車のナンバー、特定の形状と色を備えた物体などが考えられる。また、人の顔を更に詳細に分析して、人物認識を行って、特定の個人を検出する構成としても構わない。

＜その他の実施形態＞
本発明は、どのように被写体認識結果を用いて主被写体を決定するかという方法に応じて主枠の形態を変化させるものに関するものであって、主枠の具体的な変化のさせ方は上記実施形態の記載に限定されるものではない。例えば主枠表示に付随させる情報として、検出している顔の個数を表示しても良いし、主枠の点滅を用いた表現方法の変化でも良い。

また上述した実施の形態の処理は、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に提供してもよい。そして、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって、前述した実施形態の機能を実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることもできる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれている。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含むものである。

本発明の実施形態における撮像装置１００の構成を示す機能ブロック図である。 図１の撮像装置１００の外観構成を示す図である。 本発明の実施形態における顔自動選択モード、顔手動選択モード、および、顔指定モードでの主被写体を示す指標の表示例を示す図である。 本発明の実施形態における至近優先モード、顔手動選択モード、および、顔指定モードでの主被写体を示す指標の表示例を示す図である。 本発明の実施形態における顔手動選択モードでの指標の表示例の違いを説明するための図である。 本発明の実施形態における顔手動選択モードで顔が検出できなかった場合の指標の表示例を説明するための図である。

符号の説明

１０ 撮影レンズ
１２ シャッター
１４ 撮像素子
１６ Ａ／Ｄ変換器
１８ タイミング発生回路
２０ 画像処理部
２２ メモリ制御回路
２４ 画像表示メモリ
２６ Ｄ／Ａ変換器
２８ 画像表示部
３０ メモリ
３２ 画像圧縮／伸長回路
４０ 露光制御手段
４２ 焦点制御手段
４４ ズーム制御手段
４６ バリア制御手段
４８ フラッシュ
５０ システム制御回路
５２ メモリ
５４ 表示部
５６ 不揮発性メモリ
６０、３１２ モードスイッチ
６２ シャッタースイッチＳＷ１
６４ シャッタースイッチＳＷ２
６６ 画像表示オン／オフスイッチ
６８ クイックレビューオン／オフスイッチ
７０ 操作部
８０ 電源制御手段
８２ コネクタ
８４ コネクタ
８６ 電源手段
９０ カードコントローラ
９１ インタフェース
９２ コネクタ
９８ 記録媒体着脱検知手段
１００ デジタルカメラ
１０１ 顔検出部
１０２ 保護手段
１０４ 光学ファインダ
１２０ 外部記録媒体
３０１ メニューボタン
３０２ 決定ボタン
３０３ キャンセルボタン
３０４ 顔指定モードボタン
３０５、３０６、３０７、３０８ 方向ボタン
３１０ シャッターボタン
３１１ 電源ボタン

Claims (9)

1. 画像信号の中から目的とする対象を含んだ領域を検出する領域検出手段と、
   前記領域検出手段によって検出された領域を認識できるようにするための指標を、前記画像信号から生成された画像に重畳して表示する表示手段と、
   前記領域検出手段にて検出された複数の領域からいずれかの領域を主たる領域として自動的に選択する自動選択モードと、前記領域検出手段にて検出された複数の領域からいずれかの領域を主たる領域としてユーザーからの指示に応じて選択する指定モードを設定可能な設定手段と、を備え、
   前記表示手段は、前記自動選択モードにおいては前記複数の領域に前記指標を表示するのに対して、前記指定モードにおいては前記複数の領域のうちの主たる領域にのみ前記指標を表示するものであり、かつ、前記自動選択モードと前記指定モードとで、前記主たる領域を認識できるようにするための指標の表示形態を異ならせることを特徴とする画像処理装置。
2. 前記設定手段は、前記領域検出手段にて検出された複数の領域からいずれかの領域を主たる領域としてユーザーに選択させるための手動選択モードを設定可能であり、前記指定モードでは前記手動選択モードにおいて選択された領域を主たる領域として選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記表示手段は、前記手動選択モードに遷移した際に前記領域検出手段にて１つも前記領域が検出されなかった場合には、前記手動選択モードに遷移する前のモードに応じて、前記主たる領域を認識できるようにするための指標の表示に関する処理を異ならせることを特徴とする請求項２に記載の画像処理装置。
4. 前記表示手段は、前記自動選択モードから前記手動選択モードに遷移した際に、前記領域検出手段にて１つも前記領域が検出されなかった場合には、前記主たる領域を認識できるようにするための指標を表示せず、主たる領域を認識できるようにするための指標を画像の固定した位置に表示するモードから前記手動選択モードに遷移した際に、前記領域検出手段にて１つも前記領域が検出されなかった場合には、画像の前記固定した位置に前記主たる領域を認識できるようにするための指標を表示することを特徴とする請求項３に記載の画像処理装置。
5. 前記表示手段は、前記手動選択モードに遷移した際に、前記領域検出手段にて検出された領域の数が１つか複数かに応じて、前記主たる領域を認識できるようにするための指標の表示形態を異ならせることを特徴とする請求項２乃至４のいずれかに記載の画像処理装置。
6. 前記設定手段は、前記領域検出手段の検出結果を用いずに主たる領域を選択する別のモードを設定可能であり、前記自動選択モードに設定されているか前記別のモードに設定されているかによらず、操作されることによって設定されているモードから前記手動選択モードに遷移させる操作手段を有することを特徴とする請求項２乃至５のいずれかに記載の画像処理装置。
7. レンズを透過した被写体からの光線を前記画像信号に変換する撮像手段と、
   前記主たる領域の画像信号に基づいて、前記レンズの焦点位置を制御するための焦点制御手段を有することを特徴とする請求項１乃至６のいずれかに記載の画像処理装置。
8. 画像信号の中から目的とする対象を含んだ領域を検出する領域検出手段と、前記領域検出手段によって検出された領域を認識できるようにするための指標を、前記画像信号から生成された画像に重畳して表示する表示手段と、前記領域検出手段にて検出された複数の領域からいずれかの領域を主たる領域として自動的に選択する自動選択モードと、前記領域検出手段にて検出された複数の領域からいずれかの領域を主たる領域としてユーザーからの指示に応じて選択する指定モードを設定可能な設定手段と、を備えた画像処理装置の制御方法において、
   前記自動選択モードにおいては前記複数の領域に前記指標を表示するのに対して、前記指定モードにおいては前記複数の領域のうちの主たる領域にのみ前記指標を表示するものであり、かつ、前記自動選択モードと前記指定モードとで、前記主たる領域を認識できるようにするための指標の表示形態を異ならせる工程を備えることを特徴とする画像処理装置の制御方法。
9. 請求項８に記載の制御方法を画像処理装置に実行させることを特徴とするプログラム。

Images