JP7549453B2 - 画像処理装置及びその制御方法、撮像装置、プログラム、記憶媒体 - Google Patents

Description

本発明は、画像から被写体を検出する技術に関する。

従来より、撮像した画像から被写体を検出する技術が知られている。

例えば、特許文献１には、撮像画像から被写体領域を抽出する場合に、撮像画像の指定された領域をクロップするかしないかの選択を前回の撮像画像の検出結果に応じて切り替える技術が開示されている。画像全体ではなくクロップされた範囲のみを被写体検出のための入力画像とすることにより、小さな被写体の検出性能を向上させることが可能となる。

特開２００８－１７２３６８号公報

特許文献１では、前回検出された被写体のうちの少なくとも一つのサイズや位置に基づいてクロップの範囲を決定している。しかしながら、この方法では、ユーザが現在の主被写体以外の被写体に興味が無い場合でも、主被写体以外の被写体も検出しようとして、クロップ範囲を広げてしまうことがある。この場合、主被写体の検出率が相対的に犠牲になってしまうこともある。

逆に、現在の主被写体以外の被写体を検出し、新たな主被写体として好ましい被写体に切り替えたい場合でも、狭い領域でクロップを行ってしまって、主被写体以外の被写体が検出されないことがある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、よりユーザの意図に合致した被写体検出を行うことが可能な画像処理装置を提供することである。

本発明に係わる画像処理装置は、撮像手段により撮像された画像から被写体を検出する検出手段と、前記画像における前記検出手段により被写体を検出する候補の領域である候補領域を設定する第１の設定手段と、前記候補領域に対して、目的とする被写体を検出するための切り出し領域を設定する第２の設定手段と、撮像装置の動作を、検出された現在の主被写体に追従させ続けるか、他の被写体に切り替えるかの程度を決める乗り移り度合いを設定する第３の設定手段と、を備え、前記候補領域は、前記切り出し領域と前記現在の主被写体の領域を含むように設定され、前記第２の設定手段は、前記乗り移り度合いに基づいて、前記候補領域に対する前記切り出し領域の位置を設定することを特徴とする。

本発明によれば、よりユーザの意図に合致した被写体検出を行うことが可能な画像処理装置を提供することが可能となる。

本発明の一実施形態に係わる撮像装置の構成を示すブロック図。 被写体検出部の入力画像を説明する図。 一実施形態における全体処理手順を示すフローチャート。 一実施形態におけるクロップ領域を示す模式図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（撮像装置の構成）
図１は、本発明の一実施形態に係わる撮像装置１００の構成を示すブロック図である。図１を参照して、撮像装置１００の構成について説明する。

撮像装置１００は、被写体を撮影して、動画や静止画のデータをテープや固体メモリ、光ディスクや磁気ディスクなどの各種メディアに記録可能なデジタルスチルカメラやビデオカメラなどであるが、これらに限定されるものではない。撮像装置１００内の各ユニットは、バス１６０を介して接続されている。また各ユニットは、ＣＰＵ１５１（中央演算処理装置）により制御される。

レンズユニット１０１は、固定１群レンズ１０２、ズームレンズ（２群レンズ）１１１、絞り１０３、固定３群レンズ１２１、および、フォーカスレンズ１３１を備えて構成される。フォーカスレンズ１３１は、焦点調節用レンズであり、図１には単レンズで簡略的に示されているが、通常複数のレンズで構成される。

絞り制御部１０５は、ＣＰＵ１５１の指令に従い、絞りモータ１０４（ＡＭ）を介して絞り１０３を駆動することにより、絞り１０３の開口径を調整して撮影時の光量調節を行う。ズーム制御部１１３は、ズームモータ１１２（ＺＭ）を介してズームレンズ１１１を駆動することにより、焦点距離を変更する。フォーカス制御部１３３は、レンズユニット１０１のピント方向のずれ量（デフォーカス量）に基づいてフォーカスモータ１３２（ＦＭ）を駆動する駆動量を決定する。加えてフォーカス制御部１３３は、フォーカスモータ１３２（ＦＭ）を介してフォーカスレンズ１３１を駆動することにより、焦点調節状態を制御する。フォーカス制御部１３３およびフォーカスモータ１３２によるフォーカスレンズ１３１の移動制御により、ＡＦ（オートフォーカス）制御が実現される。

レンズユニット１０１を介して撮像素子１４１上に結像した被写体像は、撮像素子１４１により電気信号に変換される。撮像素子１４１は、被写体像（光学像）を電気信号に変換する光電変換素子である。撮像素子１４１は、横方向にｍ画素、縦方向にｎ画素の受光素子が配置されて構成されている。撮像素子１４１上に結像されて光電変換された画像信号は、撮像信号処理部１４２により画像データとして整えられ、撮像面の画像を取得することができる。

撮像信号処理部１４２から出力される画像データは、撮像制御部１４３に送られ、一時的にＲＡＭ１５４（ランダム・アクセス・メモリ）に蓄積される。ＲＡＭ１５４に蓄積された画像データは、画像圧縮解凍部１５３において圧縮された後、画像記録媒体１５７に記録される。これと並行して、ＲＡＭ１５４に蓄積された画像データは、画像処理部１５２に送られる。画像処理部１５２は、画像信号を処理し、画像データに対して最適なサイズへの縮小・拡大処理や画像データ同士の類似度算出等を行う。最適なサイズに処理された画像データを、適宜モニタディスプレイ１５０に送って表示することによりプレビュー画像表示やスルー画像表示を行うことができる他、被写体検出部１６２の被写体検出結果を画像データに重畳表示することもできる。またＲＡＭ１５４をリングバッファとして用いることにより、所定期間内に撮像された複数の画像データや、画像データ毎に対応した被写体検出部１６２の検出結果、位置姿勢変化取得部１６１が取得した撮像装置の位置姿勢変化等をバッファリングできる。

操作スイッチ１５６は、タッチパネルやボタンなどを含む入力インターフェイスであり、モニタディスプレイ１５０に表示される種々の機能アイコンを選択操作することなどにより、様々な操作を行うことができる。

ＣＰＵ１５１は、操作スイッチ１５６から入力されたユーザからの指示、あるいは、一時的にＲＡＭ１５４に蓄積された画像データの画素信号の大きさに基づき、撮像素子１４１の蓄積時間、撮像素子１４１から撮像信号処理部１４２へ出力を行う際のゲインの設定値を決定する。撮像制御部１４３は、ＣＰＵ１５１から蓄積時間、ゲインの設定値の指示を受け取り、撮像素子１４１を制御する。

被写体検出部１６２では、画像信号を用いて所定の被写体が存在する領域（主被写体領域）を決定する。被写体検出部１６２は、パターンマッチングなどの公知の方法で被写体を検出する。フォーカス制御部１３３では、特定の被写体領域に対するＡＦ制御（自動焦点調節動作）を行うことができる。絞り制御部１０５では、特定の被写体領域の輝度値を用いた露出制御（露出調節動作）を行う。画像処理部１５２では、被写体領域に基づいたガンマ補正、ホワイトバランス処理などを行う。

モニタディスプレイ（表示部）１５０では、画像や被写体検出結果を矩形などで表示する。バッテリ１５９は、電源管理部１５８により適切に管理され、撮像装置１００の全体に安定した電源供給を行う。

フラッシュメモリ１５５には、撮像装置１００の動作に必要な制御プログラムや、各部の動作に用いるパラメータ等が記録されている。ユーザの操作により撮像装置１００が起動されると（電源ＯＦＦ状態から電源ＯＮ状態へ移行すると）、フラッシュメモリ１５５に格納された制御プログラム及びパラメータがＲＡＭ１５４の一部に読み込まれる。ＣＰＵ１５１は、ＲＡＭ１５４にロードされた制御プログラム及び定数に従って撮像装置１００の動作を制御する。

位置姿勢変化取得部１６１は、例えばジャイロセンサや加速度センサ、電子コンパス等の位置姿勢センサにより構成され、撮像装置１００の撮影シーンに対する位置姿勢変化を計測する。取得した位置姿勢変化はＲＡＭ１５４に保存される。

深度算出部１６３では、画像中の任意の被写体について撮像装置からの距離を算出する。生成された距離情報はＲＡＭ１５４に保存され、画像処理部１５２により参照される。

なお、上記で説明した構成は、撮像装置の構成の一例に過ぎない。

（被写体検出の前提）
次に、被写体検出部１６２の入力画像を生成する際の本実施形態における前提と、本実施形態の方法を適用しなかった場合の課題について、図２を用いて説明する。ここでは被写体検出部１６２は例えば犬を検出できるものとする。

図２（ａ）は、撮像信号処理部１４２で生成される高解像度の第１の画像を示している。以下、これを画像ａとする。画像ａに対して低解像度、例えば縦横それぞれ半分の画素数の第２の画像を生成し、それを被写体検出部１６２の入力とする。図２（ｂ）は、単純に画像ａの全体を縮小して第２の画像を生成した結果を示している。これを画像ｂとする。被写体検出部１６２の検出性能（検出率や領域の一致度）は被写体の入力画像上のサイズに依存することがあり、画像ｂを被写体検出部１６２の入力とすると、縮小に伴って小さくなった被写体の検出性能は低くなる。

図２（ｃ）は、主被写体が存在する場合、その周辺をクロップ（全画角のうちの一部の画像を切り出す処理）して第２の画像を生成した結果を示している。これを画像ｃとする。画像ｂと違い、縮小処理を行っていないため、主被写体の解像度は画像ａの解像度と同じであり、縮小に伴う検出性能の低下を抑制できる。結果として主被写体を安定的に検出し、追尾し続けることができる。その一方で、主被写体の近傍に存在しない他の被写体は検出されないという課題がある。

すなわち、画像ｂを被写体検出部１６２の入力とすることにより、多くの被写体を被写体検出部１６２の検出範囲に含めるか、画像ｃを被写体検出部１６２の入力とすることにより、小さい主被写体でも高精度で検出できる様にするかはトレードオフの関係にある。

（合焦候補領域と乗り移り度合いについて）
本実施形態において、ユーザは合焦候補領域を設定する。ここで合焦候補領域とは、その領域に存在する目的の被写体を優先的に主被写体として選択し、ＡＦ（オートフォーカス）により焦点を合わせる領域のことを指す。

また、ユーザは撮影前に被写体の乗り移り度合いを設定する。乗り移り度合いとは、撮影時、主被写体を追尾中（追従中）に他の被写体が存在した場合に、現在の主被写体の追尾を継続しやすいか、他の被写体を新たな主被写体として選択しやすいかの度合いを示す値である。乗り移り度合いは、例えば乗り移り度合い大と小の２値に設定したり、あるいは多段階に設定したりすることができる。なお、乗り移り度合いの値が大きいほど、他の被写体を新たな主被写体として選択しやすい（乗り移りやすい）ことを意味するものとする。

ここで、「現在の主被写体よりも合焦候補領域の中心に近い被写体が存在する」という条件が所定の時間続いた場合、その被写体を新たな主被写体として選択する処理があるとする。このとき、この所定の時間を乗り移り度合いに応じて変更することができる。例えば乗り移り度合いが、設定できるなかで最大のものであれば、上記の所定の時間を短くして即座に乗り移りを行う。乗り移り度合いが、設定できるなかで最小のものであれば、主被写体を見失わない限り乗り移りを行わない。それ以外であれば、この所定の時間を乗り移り度合いに比例したものに設定する、という設計を行うことができる。

乗り移りを行う条件として被写体の位置関係の例を示したが、これに限る必要はなく、例えば主被写体よりも大きい別の被写体が存在した場合に、乗り移り度合いが閾値以上である場合に限り乗り移る、といった設計を行うことも可能である。

（全体処理フロー）
本実施形態における全体処理の流れを、図３、図４を用いて説明する。本実施形態においては、被写体の乗り移り度合いを大、中、小の３段階で設定することができ、ユーザは撮影にあたって事前にこれを設定しているものとする。

まず、ステップＳ２００において、ＣＰＵ１５１は、撮像制御部１４３から各部へ入力画像を供給する。

次にステップＳ２０１において、ＣＰＵ１５１は、主被写体の追尾中か否か（主被写体が存在するか否か）を判定する。追尾中であれば、ステップＳ２０２に進み、追尾中で無ければステップＳ２０８に進む。

次にステップＳ２０２において、ＣＰＵ１５１は、事前にユーザが設定した乗り移り度合いを参照する。乗り移り度合いが小、すなわち現在の主被写体に対する追尾をなるべく長く継続したいという設定であった場合、ステップＳ２０３に進む。乗り移り度合いが中であった場合は、ステップＳ２０４に、大であった場合はステップＳ２０５に進む。ステップＳ２０３、ステップＳ２０４、ステップＳ２０５ではクロップする領域の中心を決定する。

ステップＳ２０３においては、ＣＰＵ１５１は、図４（ａ）の様に、主被写体領域の中心を中心としてクロップを行う。ここで主被写体領域は前フレームの検出結果をそのまま用いても良いし、前フレームの検出結果に対して簡易的なテンプレートマッチングを行い、現フレームにおける主被写体領域を概算してもよい。こうして求めた領域の中心でクロップを行うことにより、現フレームにおける前フレームと同じ被写体領域の検出精度を高めることができる。一方、その近傍に存在しない被写体を検出することは出来なくなる。しかしこれは、乗り移り度合い小、すなわち現在の主被写体をなるべく安定的に検出することを重視したユーザの設定に整合したものであるといえる。

ステップＳ２０４においては、ＣＰＵ１５１は、図４（ｂ）の様に、主被写体領域の中心と合焦候補領域の中心の中点をクロップの中心とする。これは、現在の主被写体をなるべく検出範囲に含めつつも、合焦候補領域に存在する他の被写体も検出し、場合によっては、焦点を合わせる対象をその被写体に切り替える（乗り移る）ことを可能とするためである。

ステップＳ２０５においては、ＣＰＵ１５１は、図４（ｃ）の様に、合焦候補領域の中心をクロップの中心とする。これは、現在の主被写体の検出率は重要視せず、合焦候補領域に存在する他の被写体の検出を優先するためである。

ステップＳ２０６においては、ＣＰＵ１５１は、主被写体のサイズに応じてクロップ領域のサイズを決定する。詳細は後述する。その後、ステップＳ２０７に進む。

ステップＳ２０７においては、ＣＰＵ１５１は、クロップ領域を被写体検出部１６２の入力画像サイズに合わせて拡縮し、被写体検出部１６２に入力する。

ステップＳ２０８においては、ＣＰＵ１５１は、全画角範囲をそのまま被写体検出部１６２の入力画像サイズに合わせて拡縮し、被写体検出部１６２に入力する。

（クロップ領域のサイズ）
本実施形態では、画像ａ（図２（ａ）に示す画像）においてクロップする領域のサイズ（縦、横それぞれの画素数）は主被写体のサイズに依存し、事前に調整された、被写体検出部１６２が最も得意とするサイズに拡縮されるように決定する。

例えば被写体検出部１６２の入力画像上の主被写体の幅が画角の２０％以上である場合に所望の検出率が満足されるとわかっている場合を考える。画像ａにおける主被写体の幅が画角に対して２０％であった場合、図２の（ｂ）のように画像ａ全体をそのまま縮小して被写体検出部１６２の入力画像とする。画像ａにおける主被写体の幅が画角に対して１６％であった場合には、画像ａの縦横８０％の領域をクロップし、それを縮小して被写体検出部１６２の入力画像とする。これにより、被写体検出部１６２の入力画像上では主被写体のサイズを画角のおよそ２０％にすることができる。

上記の方法に従ってクロップサイズを決定した結果、クロップサイズが被写体検出部１６２の入力画像サイズを下回った場合、画像の拡大が必要となるが、これを避けるためにクロップサイズに下限を設けてもよい。

なお、上述の実施形態ではクロップ領域のサイズを主被写体のサイズによって決定したが、これを乗り移り度合いに基づいて決定することもできる。

具体的には、クロップサイズの下限を設け、その下限を乗り移り度合いが高いほど大きく（広範囲がクロップ領域に含まれるように）設定する。すなわち、乗り移り度合いが小さい場合、主被写体が検出されやすいクロップサイズに決定する一方で、乗り移り度合いが大きい場合、たとえ主被写体が小さい場合でも一定以上の範囲をクロップ領域に含める。これにより、他の被写体が被写体検出部１６２の対象に含まれやすいようにする。

また、乗り移り度合いが中間程度の既定の設定であった場合、現在の主被写体の位置から大きくかけ離れた位置の被写体に乗り移らないように、合焦候補領域の中心から既定の距離以上にある被写体領域を乗り移る被写体領域として選択しないようにしてもよい。

また、モニタディスプレイ１５０は、被写体が複数検出された場合、主被写体以外の少なくとも一つの被写体の領域を表示するようにしてもよい。

以上説明したように、本実施形態によれば、主被写体の検出に特化したクロップ領域と主被写体以外の被写体の検出も行えるクロップ領域とを、ユーザの設定に基づいて決定することが可能となる。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：撮像装置、１０１：レンズユニット、１３３：フォーカス制御部、１４１：撮像素子、１４２：撮像信号処理部、１４３：撮像制御部、１５１：ＣＰＵ、１５２：画像処理部、１６２：被写体検出部

Claims (17)

1. 撮像手段により撮像された画像から被写体を検出する検出手段と、
   前記画像における前記検出手段により被写体を検出する候補の領域である候補領域を設定する第１の設定手段と、
   前記候補領域に対して、目的とする被写体を検出するための切り出し領域を設定する第２の設定手段と、
   撮像装置の動作を、検出された現在の主被写体に追従させ続けるか、他の被写体に切り替えるかの程度を決める乗り移り度合いを設定する第３の設定手段と、を備え、
   前記候補領域は、前記切り出し領域と前記現在の主被写体の領域を含むように設定され、前記第２の設定手段は、前記乗り移り度合いに基づいて、前記候補領域に対する前記切り出し領域の位置を設定することを特徴とする画像処理装置。
2. 前記第１の設定手段は、ユーザからの指示により、前記候補領域を設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記第３の設定手段は、ユーザからの指示により、前記乗り移り度合いを設定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記切り出し領域は、前記候補領域において、前記目的とする被写体を検出しやすくするための領域であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記撮像装置の動作とは、焦点調節動作であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記撮像装置の動作とは、露出調節動作であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記第２の設定手段は、前記切り出し領域の中心の位置を、前記現在の主被写体の領域の中心と、前記候補領域の中心とに基づいて設定することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記第２の設定手段は、前記切り出し領域の中心の位置を、前記乗り移り度合いが大きいほど、前記候補領域の中心に近い位置に設定することを特徴とする請求項７に記載の画像処理装置。
9. 前記第２の設定手段は、前記切り出し領域の中心の位置を、前記乗り移り度合いが小さいほど、前記現在の主被写体の領域の中心に近い位置に設定することを特徴とする請求項７または８に記載の画像処理装置。
10. 前記第２の設定手段は、前記切り出し領域のサイズを、前記現在の主被写体のサイズに応じて設定することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記第２の設定手段は、前記乗り移り度合いが大きいほど、前記切り出し領域のサイズを大きく設定することを特徴とする請求項１０に記載の画像処理装置。
12. 前記乗り移り度合いが既定の設定であった場合、前記候補領域の中心から既定の距離以上にある被写体を乗り移る被写体としないことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記画像と被写体の領域を表示する表示手段をさらに備え、該表示手段は、被写体が複数検出された場合に、前記現在の主被写体以外の少なくとも一つの被写体の領域を表示することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 請求項１乃至１３のいずれか１項に記載の画像処理装置と、
    前記撮像手段と、
    被写体に焦点を合わせる焦点調節手段と、
    を備えることを特徴とする撮像装置。
15. 撮像手段により撮像された画像から被写体を検出する検出工程と、
    前記画像における前記検出工程により被写体を検出する候補の領域である候補領域を設定する第１の設定工程と、
    前記候補領域に対して、目的とする被写体を検出するための切り出し領域を設定する第２の設定工程と、
    撮像装置の動作を、検出された現在の主被写体に追従させ続けるか、他の被写体に切り替えるかの程度を決める乗り移り度合いを設定する第３の設定工程と、を有し、
    前記候補領域は、前記切り出し領域と前記現在の主被写体の領域を含むように設定され、前記第２の設定工程では、前記乗り移り度合いに基づいて、前記候補領域に対する前記切り出し領域の位置を設定することを特徴とする画像処理装置の制御方法。
16. 請求項１５に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
17. 請求項１５に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images