JP7337865B2

JP7337865B2 - 画像処理装置およびその制御方法、撮像装置、プログラム

Info

Publication number: JP7337865B2
Application number: JP2021026990A
Authority: JP
Inventors: 謙太郎渡邉
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2021-02-24
Filing date: 2021-02-24
Publication date: 2023-09-04
Anticipated expiration: 2041-02-24
Also published as: US20220270399A1; JP2022128652A; US12327427B2; US20250336232A1

Description

本発明は、撮像された画像から被写体の検出および設定を行う技術に関する。

撮像装置は、撮像素子により取得した画像から被写体を検出し、被写体に対する焦点合わせが可能である。被写体が複数の特徴的な部位を有する場合、複数の部位をそれぞれ検出することにより、いずれかの部位の検出に失敗したときに別の部位を焦点合わせに使用して焦点合わせの成功率を高めることができる。

特許文献１には画像から人物の顔の検出および全身または上半身の検出を低い信頼度閾値で行い、両方が検出されていた場合、少なくとも一方を高い信頼度閾値で検出し直すことによって検出の信頼性を向上させる技術が開示されている。顔または全身の一方しか検出されなかった場合には、検出されているどちらかの部位を使用して焦点合わせが行われる。

国際公開第２０１２／１４４１９５号

特許文献１では、人物に合焦できる可能性は上がるものの、より焦点合わせを優先すべき対象である顔にピントが合うかどうかは各被写体の検出精度で決まってしまう。
上記課題に鑑み、本発明の目的は、画像内の被写体に係る複数の部位を検出する画像処理装置または画像処理方法においてにより精度の高い主被写体検出および設定を可能にすることである。

本発明の一実施形態の装置は、特定被写体に対して、画像から処理の対象となる対象被写体領域を決定する画像処理装置であって、前記画像から前記特定被写体の第１の特徴を有する部位に対応する第１の領域を検出する第１の検出手段と、前記画像から前記特定被写体の第２の特徴を有する部位に対応する第２の領域を検出する第２の検出手段と、前記第１の検出手段により検出された前記第１の領域と前記第２の検出手段により検出された前記第２の領域とを関連付ける関連付け手段と、前記第１の検出手段により検出された前記第１の領域と、前記第２の検出手段により検出された前記第２の領域とを含む前記画像のいずれかの領域を前記対象被写体領域に決定する決定手段と、を備える。前記第２の領域は、前記第１の領域よりも誤検出の可能性が高い。前記決定手段は、第１のフレームにて前記第１の領域あるいは前記第２の領域を前記対象被写体領域として決定した場合であって、第２のフレームにて前記第１の検出手段により前記第１の領域が検出されず、前記第１のフレームにおける前記第２の領域に対応する前記第２のフレームにおける前記第２の領域が前記第２の検出手段により検出された場合、前記第２のフレームにおいて前記第２の領域を前記対象被写体領域として決定し、前記第２のフレームまでに前記第２の領域が検出される前記特定被写体に対応する前記第１の領域が検出されない場合、前記第２のフレームにて前記第２の領域が検出されたとしても、前記第２の領域を前記対象被写体領域としては決定しない。

本発明によれば、画像内の被写体に係る複数の部位を検出する場合、誤検出の発生を抑制し、より精度の高い主被写体検出および設定が可能である。

本発明の実施形態の撮像装置の構成を示す図である。本実施形態における人物検出部の構成を示す図である。実施例１における全体の動作を説明するフローチャートである。実施例１におけるＡＦ対象被写体決定処理のフローチャートである。図４の対象決定処理（前回頭部）のフローチャートである。図４の対象決定処理（前回瞳）のフローチャートである。図４の対象決定処理（前回胴体）のフローチャートである。実施例２における対象決定処理（前回頭部）のフローチャートである。実施例２における対象決定処理（前回瞳）のフローチャートである。実施例２における対象決定処理（前回胴体）のフローチャートである。

以下に本発明の実施形態について、図面を参照して詳細に説明する。実施形態では本発明に係る画像処理装置を適用した実施例として、画像中の人物の瞳、頭部、胴体を検出する検出手段と、指定領域に焦点を合わせるＡＦ（自動焦点調節）処理手段を有する撮像装置を示す。
人物の全身や胴体は、人物の特定部位である顔、頭部、瞳と比べて、姿勢や服装等によって特徴が大きく変化するので、検出の難易度が高い。また、人物を撮影する際にユーザが期待するピント位置は人物の顔や頭部の領域内であることが多い。そのため、全身や胴体領域を用いた焦点合わせは相対的に主被写体としての価値が低い傾向がある。従って、本発明では、より主被写体として優先されるべき被写体が検出されるように被写体検出処理を行うことを特徴とする。

［実施例１］
図１は本実施例に係る撮像装置の構成例を示す図である。瞳ＡＦ機能を搭載したミラーレスカメラの構成例を示す。交換レンズ１００は、撮像装置の本体部１２０に装着可能な光学機器のうちの一つである。交換レンズ１００の撮影レンズユニット１０１は、主撮像光学系１０２、光量調節を行う絞り１０３、および焦点調節を行うフォーカスレンズ群１０４を備える。

レンズシステム制御用マイクロコンピュータ（以下、レンズ制御部という）１１１は、交換レンズ１００の制御を行う。絞り制御部１１２は絞り１０３の動作を制御し、フォーカスレンズ制御部１１３はフォーカスレンズ群１０４の動作を制御する。例えばフォーカスレンズ制御部１１３は、本体部１２０から取得したフォーカスレンズ駆動情報に基づいてフォーカスレンズ群１０４を撮影レンズユニット１０１の光軸方向に駆動させることで、撮像光学系の焦点調節制御を行う。なお、フォーカスレンズ群１０４は、複数のフォーカスレンズを有していても、１枚のフォーカスレンズのみを有していてもよい。図１では図示の簡略化のため、交換レンズの例として単焦点レンズを示しているが、焦点距離を変更可能なレンズ（ズームレンズ）であってもよい。その場合、レンズ制御部１１１はズームレンズ位置を検出するエンコーダ出力から焦点距離情報を取得する。また、手振れ補正機能を有する交換レンズの場合、レンズ制御部１１１は、像ブレ補正用のシフトレンズ群の制御を行う。

本体部１２０は、露出制御に用いるシャッター１２１や、ＣＭＯＳ（相補型金属酸化膜半導体）センサ等の撮像素子１２２を備える。撮像素子１２２の出力する撮像信号は、アナログ信号処理回路１２３で処理された後、カメラ信号処理回路１２４に送信される。
カメラシステム制御用マイクロコンピュータ（以下、カメラ制御部という）１３１は、撮像装置全体を制御する。例えば、カメラ制御部１３１は不図示のシャッター駆動用のモータを制御し、シャッター１２１の駆動制御を行う。

メモリカード１２５は撮影された画像のデータ等を記録する記録媒体である。カメラ制御部１３１は、撮影者によって操作されるレリーズスイッチ１８１の押下状態に基づいて撮像画像のデータをメモリカード１２５に記録する処理を行う。

画像表示部１７１は液晶パネル（ＬＣＤ）等の表示デバイスを備える。画像表示部１７１は、撮影者がカメラで撮影しようとしている画像のモニタ表示や、撮影した画像の表示を行う。タッチパネル１７２は撮影者が指やタッチペン等により画像表示部１７１における座標を指定する際に使用する操作部であり、画像表示部１７１と一体的に構成することができる。例えば、タッチパネル１７２を、光の透過率が画像表示部１７１の表示を妨げないように構成し、画像表示部１７１の表示面の内部に組み込む内蔵型（インセル型）のデバイスがある。タッチパネル１７２上の入力座標と、画像表示部１７１上の表示座標とが対応付けられる。これにより、あたかもユーザが画像表示部１７１に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザーインターフェース）を構成することができる。タッチパネル１７２への操作状態はカメラ制御部１３１によって管理される。

本体部１２０は、交換レンズ１００とのマウント面に、交換レンズ１００と通信を行うための通信端子であるマウント接点部１６１を備える。一方、交換レンズ１００は、本体部１２０とのマウント面に、本体部１２０と通信を行うための通信端子であるマウント接点部１１４を備える。

レンズ制御部１１１とカメラ制御部１３１は、マウント接点部１１４，１６１を介して所定のタイミングでシリアル通信を行うことができる。この通信により、カメラ制御部１３１からレンズ制御部１１１にフォーカスレンズ駆動情報、絞り駆動情報等が送られ、またレンズ制御部１１１からカメラ制御部１３１へ焦点距離等の光学情報が送られる。

カメラ信号処理回路１２４はアナログ信号処理回路１２３からの信号を取得して信号処理を行う。カメラ信号処理回路１２４は人物検出部１４１を備える。人物検出部１４１は画像から人物の複数の部位を検出し、検出情報を出力する。人物検出部１４１については図２において詳説する。人物検出部１４１による人物検出結果はカメラ制御部１３１に送られる。

カメラ制御部１３１は時系列相関処理部１５０、関連付け処理部１５１、表示枠設定部１５２、ＡＦ対象設定部１５３、焦点検出部１５４を有する。各部はカメラ制御部１３１が備えるＣＰＵ（中央演算処理装置）がプログラムを実行することにより実現される。

時系列相関処理部１５０は時間的に前後する検出結果を比較し、同一の対象を検出しているかどうかを判定する。関連付け処理部１５１は人物検出部１４１からの人物検出結果に含まれる人物の部位それぞれに対して関連付け処理を行う。

表示枠設定部１５２は、画像表示部１７１に表示させるための検出枠を設定する。ＡＦ対象設定部１５３は、指定された領域に対応する、ＡＦ制御を行うべき被写体（対象被写体とも称する）を焦点検出部１５４に通知する。表示枠設定部１５２およびＡＦ対象設定部１５３は人物検出部１４１の出力に基づいて動作する。

焦点検出部１５４は、ＡＦ対象設定部１５３によって通知された、焦点合わせの対象被写体に対応する画像信号に基づいて焦点検出処理を行う。焦点検出処理は、例えば位相差検出式やコントラスト検出式等で実行される。位相差検出式の場合、視差を有する一対の像信号の相関演算により像ずれ量が算出される。像ずれ量から更にデフォーカス量に変換する処理が行われる。デフォーカス量は、交換レンズ１００のレンズ駆動時の敏感度等を考慮することで、さらにフォーカスレンズ駆動量へと変換することができる。またコントラスト検出式の場合、撮像された画像のコントラスト評価情報に基づいて焦点状態の検出処理が行われる。

カメラ制御部１３１は、焦点検出部１５４によって検出された焦点検出結果（像ずれ量またはデフォーカス量）、あるいは焦点検出結果に基づいて算出されたフォーカスレンズ駆動量をレンズ制御部１１１に送信する。フォーカスレンズ制御部１１３は、カメラ制御部１３１から取得したフォーカスレンズ駆動情報に基づいて、フォーカスレンズの駆動制御を行う。換言すると、カメラ制御部１３１がフォーカスレンズ制御部１１３を介してフォーカスレンズの駆動制御を行う。

図２を参照して、人物検出部１４１の構成について説明する。図２は人物検出部１４１の構成例を示すブロック図である。人物検出部１４１は頭部検出部２０１、瞳検出部２０２、胴体検出部２０３を有する。

頭部検出部２０１は、撮像された画像から人物の頭部領域を検出する。頭部検出には特徴的なエッジやパターンを検出した結果による方法や、顔領域をマシンラーニングによって学習したアルゴリズムによる方法等の、公知の方法を用いることができる。瞳検出部２０２は、頭部検出部２０１の出力した頭部領域に基づき、撮像された画像から瞳を検出する。瞳検出にはパターンマッチングによる方法や、瞳領域をマシンラーニングによって学習したアルゴリズムによる方法等の、公知の方法を用いることができる。

胴体検出部２０３は、撮像された画像から胴体領域を検出する。胴体領域は本実施形態では、人体の首から下、腰から上の胴体部分を含み、腕部を含まない矩形領域である。頭部検出部２０１、瞳検出部２０２と同様、胴体検出にはパターンマッチングによる方法や、胴体領域をマシンラーニングによって学習したアルゴリズムによる方法等の、公知の方法を用いることができる。胴体領域は上記定義に限らず、被写体の領域のうち、頭部あるいは顔以外の部位の少なくとも一部を含む領域で定義されてもよいものとする。

図３から図７を参照して、対象被写体の決定処理について説明する。図３は、人物検出部１４１が人物を検出してから、カメラ制御部１３１がＡＦ制御を行うまでの全体の動作を説明するフローチャートである。

図３のＳ３０１で頭部検出部２０１は、撮像された画像から頭部検出を行い、Ｓ３０２の処理に進む。Ｓ３０２で瞳検出部２０２は、撮像された画像とＳ３０１で取得された頭部検出結果を用いて瞳検出を行う。このとき、Ｓ３０１にて頭部検出結果が取得されない場合には、瞳検出は行われず、Ｓ３０３の処理に進む。

Ｓ３０２の次にＳ３０３で胴体検出部２０３は、撮像された画像から胴体検出を行い、Ｓ３０４の処理に進む。Ｓ３０４で人物検出部１４１はＳ３０１、Ｓ３０２、およびＳ３０３で得られた各検出結果をまとめて人物検出結果とする。この人物検出結果の情報は関連付け処理部１５１へ送られる。このとき、Ｓ３０１、Ｓ３０２、Ｓ３０３での検出において、いずれも検出結果が得られなかった場合には、空の人物検出結果の情報が関連付け処理部１５１へ送られて、Ｓ３０５の処理に進む。

Ｓ３０５で関連付け処理部１５１は、同一被写体に属すると判断した瞳と頭部のペア、および頭部と胴体のペアを関連付ける処理を行う。このとき、同一被写体の瞳と関連付けられた頭部が、胴体と関連付けられていてもよい。例えば関連付け処理にてそれぞれの検出座標同士を比較し、距離が所定距離（閾値）より近いペアが関連すると決定する方法がある。また、マシンラーニングによってそれぞれの検出結果の関連度合いを出力するように学習させたアルゴリズムを用いる方法がある。複数の公知の方法を組み合わせて、関連付け精度を高めるように処理を行ってもよい。次にＳ３０６の処理に進む。

Ｓ３０６で関連付け処理部１５１は、Ｓ３０５で取得された関連付け結果を人物検出結果に付与した情報を生成して、ＡＦ対象設定部１５３に送る。次にＳ３０７でＡＦ対象設定部１５３は、関連付け結果が付与された人物検出結果を用いて対象被写体決定処理を行う。処理対象とされる対象被写体の決定処理の詳細な内容については後述する。Ｓ３０８では、設定された対象被写体、対象部位の情報を用いてＡＦ処理が行われる。

図４は、図３のＳ３０７でＡＦ対象設定部１５３が行う対象被写体設定処理を説明するフローチャートである。Ｓ４０１でＡＦ対象設定部１５３は、前回の対象被写体情報を保持しているか否かの判定を行う。前回の対象被写体情報は、前回のＡＦ処理で選択された対象被写体の情報であり、対象部位や座標等がメモリに記憶されている。前回のＡＦ処理で対象被写体が設定されなかった場合には、前回の対象被写体情報は保持されない。Ｓ４０１にて前回の対象被写体情報が保持されている場合、Ｓ４０２の処理に進み、前回の対象被写体情報が保持されていない場合にはＳ４０６の処理に進む。

Ｓ４０２では、保持していた対象被写体情報から、前回の対象部位を判別する処理が実行される。前回の対象部位が頭部であると判別された場合にＳ４０３、瞳であると判別された場合にＳ４０４、胴体であると判別された場合にＳ４０５の各処理に進む。

Ｓ４０３では、前回の対象部位が頭部であった場合の対象部位決定処理が実行される。Ｓ４０４では、前回の対象部位が瞳であった場合の対象部位決定処理が実行される。Ｓ４０５では、前回の対象部位が胴体であった場合の対象部位決定処理が実行される。Ｓ４０３乃至Ｓ４０５の詳細な処理内容については後述する。Ｓ４０３乃至Ｓ４０５の後、Ｓ４０９の処理に進む。

Ｓ４０６でＡＦ対象設定部１５３は人物検出結果の有無を判定する。検出された部位があると判定された場合、Ｓ４０７の処理に進む。検出された部位が無いと判定された場合には対象被写体決定処理を中断して対象被写体決定処理を終了する。

Ｓ４０７でＡＦ対象設定部１５３は、人物検出結果にて瞳検出結果または頭部検出結果があるかどうかを判定する。瞳検出結果または頭部検出結果があると判定された場合、Ｓ４０８の処理に進む。瞳検出結果または頭部検出結果が無いと判定された場合には対象被写体決定処理を中断して対象被写体決定処理を終了する。例えば、人物検出結果にて胴体検出結果があったとしても対象被写体決定処理を終了する。

Ｓ４０８では対象部位が決定される。瞳検出結果がある場合、ＡＦ対象設定部１５３は瞳を対象部位とし、瞳検出結果が無い場合には頭部を対象部位とする。そしてＳ４０９の処理に進む。Ｓ４０９でＡＦ対象設定部１５３は、対象部位を決定したかどうかを判断する。対象部位が決定された場合、Ｓ４１０の処理に進み、対象部位が決定されていない場合、Ｓ４１１の処理に進む。

Ｓ４１０でＡＦ対象設定部１５３は、決定した対象部位を持つ被写体を対象被写体として設定し、当該対象被写体の情報を保持する。またＳ４１１でＡＦ対象設定部１５３は、保持している対象被写体情報を破棄する。この場合、対象被写体は設定されない。Ｓ４１０、Ｓ４１１の後、対象被写体決定処理を終了する。

図５から図７を参照して、図４のＳ４０３、Ｓ４０４、Ｓ４０５の処理内容について説明を行う。図５は、前回の対象被写体に対してＡＦを行う際に用いた検出部位（対象部位）が頭部であった場合の対象決定処理（Ｓ４０３）を示すフローチャートである。図６は、前回の対象部位が瞳であった場合の対象決定処理（Ｓ４０４）を示すフローチャートである。図７は、前回の対象部位が胴体であった場合の対象決定処理（Ｓ４０５）を示すフローチャートである。

図５のＳ５０１で時系列相関処理部１５０は、受け取った人物検出結果の各部位と保持している対象被写体の各部位との間で時系列相関処理を行う。時系列相関処理は、ある検出結果に対して時間的に前の検出結果や対象被写体の情報を比較し、それらが同一の被写体や部位を示すものかどうかを判定する処理である。時系列相関処理では、例えば比較する結果の画像中での位置がそれぞれ所定範囲より近い場合に同一の被写体またはその部位であると判定する方法がある。また、テンプレートマッチングを用いて特徴が近いと認識された場合に同一の被写体またはその部位と判定する方法等がある。公知の方法を組み合わせて用いてもよい。

Ｓ５０１の次にＳ５０２でＡＦ対象設定部１５３は、保持している対象被写体の頭部と同一対象と判定された頭部検出結果があるか否かを判断する。当該頭部検出結果があると判断された場合、Ｓ５０３の処理に進み、当該頭部検出結果が無いと判断された場合にはＳ５０６の処理に進む。

Ｓ５０３でＡＦ対象設定部１５３は、頭部検出結果と関連付けられた瞳検出結果があるか否かを判断する。当該瞳検出結果があると判断された場合、Ｓ５０４の処理に進み、当該瞳検出結果が無いと判断された場合にはＳ５０５の処理に進む。Ｓ５０４では、瞳を対象部位として決定する処理が実行され、対象部位の決定処理を終了する。Ｓ５０５では、頭部を対象部位として決定する処理が実行され、対象部位の決定処理を終了する。

また、Ｓ５０２からＳ５０６に進む場合、Ｓ５０６でＡＦ対象設定部１５３は、保持している対象被写体の頭部に関連付けられた胴体の情報を保持しているか否かを判断する。当該胴体の情報が保持されていると判断された場合、Ｓ５０７の処理に進み、当該胴体の情報が保持されていないと判断された場合には対象部位の決定処理を終了する。

Ｓ５０７でＡＦ対象設定部１５３は、保持している対象被写体の胴体と同一対象であると判定された胴体検出結果があるか否かを判断する。当該胴体検出結果があると判断された場合、Ｓ５０８の処理に進み、当該胴体検出結果が無いと判断された場合には対象部位の決定処理を終了する。Ｓ５０８でＡＦ対象設定部１５３は、胴体を対象部位として決定し、対象部位の決定処理を終了する。

次に図６を参照して、対象決定処理（図４：Ｓ４０４）の詳細な内容を説明する。Ｓ６０１で時系列相関処理部１５０は、図５のＳ５０１と同様に時系列相関処理を行い、Ｓ６０２の処理に進む。

Ｓ６０２でＡＦ対象設定部１５３は、保持している対象被写体の瞳と同一対象であると判定された瞳検出結果があるか否かを判断する。当該瞳検出結果があると判断された場合、Ｓ６０３の処理に進み、当該瞳検出結果が無いと判断された場合にはＳ６０４の処理に進む。Ｓ６０３では、瞳を対象部位として決定する処理が実行され、対象部位の決定処理を終了する。

Ｓ６０４でＡＦ対象設定部１５３は、保持している対象被写体の頭部と同一対象であると判定された頭部検出結果があるか否かを判断する。当該頭部検出結果があると判断された場合、Ｓ６０５の処理に進み、当該頭部検出結果が無いと判断された場合、Ｓ６０６の処理に進む。Ｓ６０５では、頭部を対象部位として決定する処理が実行され、対象部位の決定処理を終了する。

Ｓ６０６でＡＦ対象設定部１５３は、保持している対象被写体の頭部に関連付けられた胴体の情報を保持しているか否かを判断する。当該胴体の情報が保持されていると判断された場合、Ｓ６０７の処理に進み、当該胴体の情報が保持されていないと判断された場合には対象部位の決定処理を終了する。

Ｓ６０７でＡＦ対象設定部１５３は、保持している対象被写体の胴体と同一対象であると判定された胴体検出結果があるか否かを判断する。当該胴体検出結果があると判断された場合、Ｓ６０８の処理に進み、当該胴体検出結果が無いと判断された場合には対象部位の決定処理を終了する。Ｓ６０８では、胴体を対象部位として決定する処理が実行され、対象部位の決定処理を終了する。

図７を参照して、対象決定処理（図４：Ｓ４０５）の詳細な内容を説明する。Ｓ７０１で時系列相関処理部１５０は、図５のＳ５０１と同様に時系列相関処理を行い、Ｓ７０２の処理に進む。Ｓ７０２でＡＦ対象設定部１５３は、保持している対象被写体の胴体と同一対象であると判定された胴体検出結果があるか否かを判断する。当該胴体検出結果があると判断された場合、Ｓ７０３の処理に進み、当該胴体検出結果が無いと判断された場合には対象部位の決定処理を終了する。

Ｓ７０３でＡＦ対象設定部１５３は、胴体検出結果と関連付けられた頭部検出結果があるか否かを判断する。当該頭部検出結果があると判断された場合、Ｓ７０４の処理に進み、当該頭部検出結果が無いと判断された場合にはＳ７０７の処理に進む。Ｓ７０４でＡＦ対象設定部１５３は、頭部検出結果と関連付けられた瞳検出結果があるか否かを判断する。当該瞳検出結果があると判断された場合、Ｓ７０５の処理に進み、当該瞳検出結果が無いと判断された場合にはＳ７０６の処理に進む。

Ｓ７０５では、瞳を対象部位として決定する処理が実行され、Ｓ７０６では、頭部を対象部位として決定する処理が実行される。Ｓ７０７では、胴体を対象部位として決定する処理が実行される。Ｓ７０５、Ｓ７０６、Ｓ７０７の後、対象部位の決定処理を終了する。

本実施例では、対象部位の決定処理において、胴体が対象部位として決定されるケースは以下の２通りに制限されている。第１のケースは、時系列相関処理で同一と判定された胴体と関連付けられた頭部、または当該頭部に関連付けられた瞳が前回の対象部位であり、かつ頭部検出結果が無い場合である。第２のケースは、前回の対象部位が胴体であり、今回の対象部位が前回の胴体と時系列相関処理で同一であると判定された場合である。このように胴体がＡＦ処理の対象として設定される条件を制限することにより、誤検出の可能性がある胴体や、主被写体らしさの尤度が低い胴体に対してＡＦ処理を行われることを抑制または防止できる。また、本実施例では瞳と頭部についても関連付け処理部１５１が関連付けを行う。例えば頭部検出結果が無い場合に瞳検出結果は使用されないが、頭部検出結果に関連付けられる瞳検出結果が無くても頭部が対象部位として設定される。

本実施例によれば、被写体に係る複数の部位を検出して主被写体認定あるいはＡＦ処理を行う撮像装置において、指定部位の誤検出の頻度を低減し、主被写体らしさの尤度が低い被写体に対する主被写体認定あるいはＡＦ処理の発生を抑制することができる。
また、撮像時あるいは再生時の画面制御について説明すると、本実施形態では、検出された頭部（顔）、瞳、対象となる領域をそれぞれ他の領域と区別可能に表示する。具体的には表示枠設定部１５２が対象領域を含む所定範囲の領域をそれぞれ表示枠として設定し、カメラ制御部１３１が表示部１７１に表示を行う。このとき、頭部、瞳は検出された領域についてそれぞれ枠表示を行う。しかし、胴体領域については検出されただけでは枠表示を行わず、主被写体として設定されている頭部あるいは瞳が見失われたＳ５０８で胴体領域が主被写体（AF対象領域）として設定された場合に枠表示を行うようにする。上記に限らず、たとえば主被写体にかかる胴体領域は常に表示する、同一被写体と認定される頭部、瞳が検出されている胴体については枠表示する、これらの表示形態をモードによって切り替え（設定）可能とするなどしてもよい。

［実施例２］
図８から図１０を参照して、実施例２を説明する。本実施例では、ユーザによる被写体指定の指示が行われたかどうかの判定を行い、対象部位を決定する動作について説明する。本実施例において実施例１と同様の事項については詳細な説明を省略し、主に相違点を説明する。

ユーザによる被写体指定に関しては、タッチパネル１７２へのタッチ操作を行うことによる座標指定や、レリーズスイッチ１８１の押下時点で画像表示部１７１に表示されている表示枠の座標指定が可能である。カメラ制御部１３１は座標指定を受け付けると、指定された座標と人物検出結果に基づいて指定被写体を決定し、被写体指定の指示情報をメモリに保持する。

図４のＳ４０３、Ｓ４０４、Ｓ４０５での対象部位の決定処理において、ユーザによる被写体指定の指示が行われたかどうかの判定処理を追加した場合の動作について、図８から図１０を用いて説明する。

図８は、図５の対象決定処理（前回頭部）にて、ユーザによる被写体指定の指示が行われたかどうかの判定を追加した場合の動作を説明するフローチャートである。Ｓ８０１からＳ８０５の処理はそれぞれ、図５のＳ５０１からＳ５０５と同様である。またＳ８０７からＳ８０９の処理はそれぞれ、図５のＳ５０６からＳ５０８と同様である。Ｓ８０６の判定処理が追加されている点が相違点である。

Ｓ８０１での時系列相関処理の後、Ｓ８０２でＡＦ対象設定部１５３は、保持している対象被写体の頭部と同一対象であると判定された頭部検出結果があるか否かを判断する。当該頭部検出結果があると判断された場合、実施例１と同様にＳ８０３からＳ８０５の処理が実行される。つまり、頭部検出結果に関連付けられた瞳検出結果の有無に応じて、瞳または頭部が対象部位に決定される。

一方、Ｓ８０２で、保持されている対象被写体の頭部と同一対象であると判定された頭部検出結果が無いと判断された場合、Ｓ８０６の処理に進む。Ｓ８０６でＡＦ対象設定部１５３は、ユーザによる被写体指定の指示があるか否かを判定する。ユーザによる被写体指定の指示があると判定された場合、Ｓ８０７の処理に進み、Ｓ８０７からＳ８０９の処理が実行される。Ｓ８０６でユーザによる被写体指定の指示が無いと判定された場合には対象部位の決定処理を終了する。

図９は、図６の対象決定処理（前回瞳）にて、ユーザによる被写体指定の指示が行われたかどうかの判定を追加した場合の動作を説明するフローチャートである。Ｓ９０１からＳ９０５の処理はそれぞれ、図６のＳ６０１からＳ６０５と同様である。またＳ９０７からＳ９０９の処理はそれぞれ、図６のＳ６０６からＳ６０８と同様である。Ｓ９０６の判定処理が追加されている点が相違点である。

Ｓ９０２からＳ９０４に進み、保持されている対象被写体の頭部と同一対象であると判定された頭部検出結果が無いと判定された場合、Ｓ９０６の処理に進む。Ｓ９０６でＡＦ対象設定部１５３は、ユーザによる被写体指定の指示があるか否かを判定する。ユーザによる被写体指定の指示があると判定された場合、Ｓ９０７からＳ９０９の処理が実行される。Ｓ９０６で、ユーザによる被写体指定の指示が無いと判定された場合には対象部位の決定処理を終了する。

図１０は、図７の対象決定処理（前回胴体）にて、ユーザによる被写体指定の指示が行われたかどうかの判定を追加した場合の動作を説明するフローチャートである。Ｓ１００１からＳ１００６の処理はそれぞれ、図７のＳ７０１からＳ７０６と同様である。またＳ１００８の処理は図７のＳ７０７と同様である。Ｓ１００７の判定処理が追加されている点が相違点である。

Ｓ１００３にて、胴体検出結果と関連付けられた頭部検出結果が無いと判定された場合、Ｓ１００７の処理に進む。Ｓ１００７でＡＦ対象設定部１５３は、ユーザによる被写体指定の指示があるか否かを判定する。ユーザによる被写体指定の指示があると判定された場合、Ｓ１００８の処理が実行される。Ｓ１００７でユーザによる被写体指定の指示が無いと判定された場合には対象部位の決定処理を終了する。

本実施例では、ユーザによる被写体指定の指示の有無が判定される。ユーザによる被写体指定の指示が無いと判定された場合、胴体が対象部位として決定されることはない。例えば図４のＳ４０５に示される対象決定処理（前回胴体）にて、前回の対象部位が胴体であり、今回の対象部位が前回の胴体と同一であると判定された胴体検出結果が取得された場合を想定する。この場合、ユーザによる被写体指定の指示が無いときには胴体が対象部位に決定されることはない。

本実施例は、画像中に複数の人物が検出される状態において効果を発揮する。例えばユーザによる被写体指定の指示が無いときには、頭部検出結果の情報が失われた被写体が対象被写体として設定され続けることを回避できる。頭部や瞳が検出されている対象被写体を自動で選択することが容易となる。一方で、ユーザによる被写体指定の指示があったときには、頭部検出結果の情報が失われても胴体検出によって対象被写体の設定を継続することで、ユーザの狙う被写体への焦点合わせを継続することができる。本実施例によれば、ユーザの意図に沿った被写体検出結果に基づく撮像装置の動作を実現できる。

前記実施例では、画像から被写体の複数の部位を検出して所定の処理（ＡＦや被写体追尾等）を行う画像処理装置にて処理対象（対象被写体）として設定される条件を制限する。尚、撮像画像から特定被写体を探索して追尾する制御は公知であるため、その詳細な説明を省略する。

前記実施例によれば、指定部位の誤検出を抑制し、主被写体らしさの尤度が低い被写体が処理対象として決定される頻度を低減することができる。

［その他の実施例］
前記実施例によって本発明の実施形態を詳述したが、本発明はこのような特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。例えば、被写体は人物でなくともよく、犬、猫といった動物、または無生物でもよく、特定の対象には限定されない。

また、前記実施例では関連付けにおいて異なる部位の検出結果を１対１の組み合わせとして関連付けられるものとして説明した。これに限らず、関連付けの関係については１対多、または多対多でもよい。さらには、１対多、多対多の関係である場合、多となる検出結果の群の中で更に関連付けを行ってもよい。特定被写体である人物の各部位を検出して関連付けることは例示である。関連付けの組み合わせについては別種の被写体同士であってもよい。例えば、人物と動物もしくは無生物との組み合わせであってもよい。

本発明は、前記実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１２２撮像素子
１２４カメラ信号処理回路
１３１カメラ制御部
１４１人物検出部
１５０時系列相関処理部
１５１関連付け処理部
１５２表示枠設定部
１５３ＡＦ対象設定部
１５４焦点検出部

Claims

特定被写体に対して、画像から処理の対象となる対象被写体領域を決定する画像処理装置であって、
前記画像から前記特定被写体の第１の特徴を有する部位に対応する第１の領域を検出する第１の検出手段と、
前記画像から前記特定被写体の第２の特徴を有する部位に対応する第２の領域を検出する第２の検出手段と、
前記第１の検出手段により検出された前記第１の領域と前記第２の検出手段により検出された前記第２の領域とを関連付ける関連付け手段と、
前記第１の検出手段により検出された前記第１の領域と、前記第２の検出手段により検出された前記第２の領域とを含む前記画像のいずれかの領域を前記対象被写体領域に決定する決定手段と、を備え、
前記第２の領域は、前記第１の領域よりも誤検出の可能性が高く、
前記決定手段は、
第１のフレームにて前記第１の領域あるいは前記第２の領域を前記対象被写体領域として決定した場合であって、第２のフレームにて前記第１の検出手段により前記第１の領域が検出されず、前記第１のフレームにおける前記第２の領域に対応する前記第２のフレームにおける前記第２の領域が前記第２の検出手段により検出された場合、前記第２のフレームにおいて前記第２の領域を前記対象被写体領域として決定し、
前記第２のフレームまでに前記第２の領域が検出される前記特定被写体に対応する前記第１の領域が検出されない場合、前記第２のフレームにて前記第２の領域が検出されたとしても、前記第２の領域を前記対象被写体領域としては決定しない
ことを特徴とする画像処理装置。
前記特定被写体は人物であり、前記第１の特徴を有する部位は人物の頭部であり、前記第２の特徴を有する部位は人物の胴体である
ことを特徴とする請求項１に記載の画像処理装置。
前記画像から前記特定被写体の第３の特徴を有する部位に対応する第３の領域を検出する第３の検出手段をさらに備え、
前記第３の特徴を有する部位は、前記第１の特徴を有する部位内に含まれ、
前記決定手段は、
前記第１のフレームにおいて前記第１の領域を前記対象被写体領域として決定し、前記第２のフレームにおいて前記第１および第３の検出手段により前記第１の領域および当該領域と関連付けられた前記第３の領域が検出された場合、前記第３の領域を前記対象被写体領域として決定する
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
前記特定被写体は人物であり、前記第１の特徴を有する部位は人物の頭部であり、前記第３の特徴を有する部位は人物の瞳である
ことを特徴とする請求項３に記載の画像処理装置。
特定被写体に対して、画像から処理の対象となる対象被写体領域を決定する画像処理装置であって、
前記画像から前記特定被写体の頭部に対応する第１の領域を検出する第１の検出手段と、
前記画像から前記特定被写体の胴体に対応する第２の領域を検出する第２の検出手段と、
前記第１の検出手段により検出された前記第１の領域と前記第２の検出手段により検出された前記第２の領域とを関連付ける関連付け手段と、
前記第１の検出手段により検出された前記第１の領域と、前記第２の検出手段により検出された前記第２の領域とを含む前記画像のいずれかの領域を前記対象被写体領域に決定する決定手段と、を備え、
前記決定手段は、
第１のフレームにて前記第１の領域あるいは前記第２の領域を前記対象被写体領域として決定した場合であって、第２のフレームにて前記第１の検出手段により前記第１の領域が検出されず、前記第１のフレームにおける前記第２の領域に対応する前記第２のフレームにおける前記第２の領域が前記第２の検出手段により検出された場合、前記第２のフレームにおいて前記第２の領域を前記対象被写体領域として決定し、
前記第２のフレームまでに前記第２の領域が検出される前記特定被写体に対応する前記第１の領域が検出されない場合、前記第２のフレームにて前記第２の領域が検出されたとしても、前記第２の領域を前記対象被写体領域としては決定しない
ことを特徴とする画像処理装置。
前記画像から前記特定被写体の瞳に対応する第３の領域を検出する第３の検出手段をさらに備え、
前記決定手段は、
前記第１のフレームにおいて前記第１の領域を前記対象被写体領域として決定し、前記第２のフレームにおいて前記第１および第３の検出手段により前記第１の領域および当該領域と関連付けられた前記第３の領域が検出された場合、前記第３の領域を前記対象被写体領域として決定する
ことを特徴とする請求項５に記載の画像処理装置。
前記特定被写体を指定する指定手段を備え、
前記決定手段は、前回に決定された前記対象被写体領域が前記第１の領域に対応する被写体領域であって、かつ前記第１の検出手段による次の検出処理で前記第１の領域が検出されず、前記指定手段によって前記特定被写体の指定が行われた場合、前記第１の領域と関連付けられた前記第２の領域に対応する対象被写体領域を決定する
ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
前記関連付け手段は、同一の被写体に属する前記第１の領域と前記第２の領域とを関連付ける処理を行い、または、同一の被写体に属する前記第３の領域と関連付けられた前記第１の領域を前記第２の領域と関連付ける処理を行う
ことを特徴とする請求項３または請求項６に記載の画像処理装置。
検出された被写体の画像領域と、保持されている前記対象被写体領域の情報が示す前記対象被写体領域との間で相関処理を行って比較する相関処理手段を備え、
前記決定手段は、前記相関処理手段の出力から前記対象被写体領域を新たに決定するか否かを判定し、前記対象被写体領域を新たに決定すると判定した場合、決定された対象被写体領域の情報を保持し、前記対象被写体領域を新たに決定しないと判定した場合、保持している前記対象被写体領域の情報を破棄する処理を行う
ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
請求項１から９のいずれか１項に記載の画像処理装置を備える
ことを特徴とする撮像装置。
撮像された画像および該画像にて、前記対象被写体領域を区別可能に表示部に表示する表示手段を備える
ことを特徴とする請求項１０に記載の撮像装置。
特定被写体に対して、画像から処理の対象となる対象被写体領域を決定する画像処理装置にて実行される制御方法であって、
前記画像から前記特定被写体の第１の特徴を有する部位に対応する第１の領域を第１の検出手段によって検出し、前記画像から前記特定被写体の第２の特徴を有する部位に対応する第２の領域を第２の検出手段によって検出する工程と、
前記第１の検出手段により検出された前記第１の領域と前記第２の検出手段により検出された前記第２の領域とを関連付ける工程と、
決定手段が、前記第１の検出手段により検出された前記第１の領域と、前記第２の検出手段により検出された前記第２の領域とを含む前記画像のいずれかの領域を前記対象被写体領域に決定する決定工程と、を有し、
前記第２の領域は、前記第１の領域よりも誤検出の可能性が高く、
前記決定工程にて前記決定手段は、
第１のフレームにて前記第１の領域あるいは前記第２の領域を前記対象被写体領域として決定した場合であって、第２のフレームにて前記第１の検出手段により前記第１の領域が検出されず、前記第１のフレームにおける前記第２の領域に対応する前記第２のフレームにおける前記第２の領域が前記第２の検出手段により検出された場合、前記第２のフレームにおいて前記第２の領域を前記対象被写体領域として決定し、
前記第２のフレームまでに前記第２の領域が検出される前記特定被写体に対応する前記第１の領域が検出されない場合、前記第２のフレームにて前記第２の領域が検出されたとしても、前記第２の領域を前記対象被写体領域としては決定しない
ことを特徴とする制御方法。
特定被写体に対して、画像から処理の対象となる対象被写体領域を決定する画像処理装置にて実行される制御方法であって、
前記画像から前記特定被写体の頭部に対応する第１の領域を第１の検出手段によって検出し、前記画像から前記特定被写体の胴体に対応する第２の領域を第２の検出手段によって検出する工程と、
前記第１の検出手段により検出された前記第１の領域と前記第２の検出手段により検出された前記第２の領域とを関連付ける工程と、
決定手段が、前記第１の検出手段により検出された前記第１の領域と、前記第２の検出手段により検出された前記第２の領域とを含む前記画像のいずれかの領域を前記対象被写体領域に決定する決定工程と、を有し、
前記決定工程にて前記決定手段は、
第１のフレームにて前記第１の領域あるいは前記第２の領域を前記対象被写体領域として決定した場合であって、第２のフレームにて前記第１の検出手段により前記第１の領域が検出されず、前記第１のフレームにおける前記第２の領域に対応する前記第２のフレームにおける前記第２の領域が前記第２の検出手段により検出された場合、前記第２のフレームにおいて前記第２の領域を前記対象被写体領域として決定し、
前記第２のフレームまでに前記第２の領域が検出される前記特定被写体に対応する前記第１の領域が検出されない場合、前記第２のフレームにて前記第２の領域が検出されたとしても、前記第２の領域を前記対象被写体領域としては決定しない
ことを特徴とする制御方法。
請求項１２または請求項１３に記載の各工程を画像処理装置のコンピュータに実行させるプログラム。