JP5868145B2

JP5868145B2 - 画像処理装置及びその制御方法

Info

Publication number: JP5868145B2
Application number: JP2011259691A
Authority: JP
Inventors: 昭雄藤井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-11-29
Filing date: 2011-11-29
Publication date: 2016-02-24
Anticipated expiration: 2031-11-29
Also published as: JP2013115597A

Description

本発明は、高解像度画像から低解像度の縮小画像を生成する画像処理装置及びその制御方法に関する。

近年、デジタルビデオカメラ等の動画像データを記録再生できる装置で、ＨＤ（High Definition）等の高解像度の動画像データを撮影し、記録再生できる装置がある。

ＨＤやそれ以上の高解像度で撮影して記録された動画像データを視聴する場合、撮影した装置の表示装置で視聴することが考えられる。しかし、携帯機器に付属する表示装置は画面が小さいので、一般的には、ＨＤ対応のＴＶ等を接続して視聴する。

しかし、ＴＶによっては低解像度（ＳＤ：Standard Definition）にのみ対応するＴＶもある。ＳＤ解像度のＴＶに接続した場合は、ＨＤ解像度の画像データをＳＤ解像度の画像データにダウンコンバートして、ＳＤ対応のＴＶに入力する必要がある。

最近では、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）に動画像データを転送し、ＰＣで視聴することもある。

インターネット等の回線を介してサーバに動画像データをアップロードし、サーバの動画像データをＰＣや携帯端末等にダウンロードして再生して視聴することもある。

このように、高解像度で撮影した動画像データを再生して視聴する環境は多様であり、高解像度で撮影しても、撮影時の高解像度のまま再生視聴されるとは限らない。

高解像度（ＨＤ）のＴＶに接続して再生視聴する場合を除くと、一般的には、伝送帯域の制限と表示装置の解像度の制限から、低解像度の動画像データに変換して再生視聴されることが多い。

高解像度の動画像データを低解像度の動画像データに変換して表示する場合、図１９に示すように、低解像度画像の画角に合わせて高解像度画像の一部を切り出し、切り出した画像データを低解像度に縮小する。または、図２０に示すように、高解像度画像の全体を低解像度画像の画角に収まるように縮小し、データの無い部分に黒データを埋める。

しかし、図１９及び図２０に示すような方法では、人物等が小さく撮影されている場合に、変換後の低解像度画像上で人物の顔を認識できなくなる。

特許文献１には、入力画像の全体を低解像度化するか、その一部を切り出すかをユーザに選択させる技術が記載されている。すなわち、ＭＰＥＧ符号化におけるマクロブロックの動きベクトルが大きい領域を検出して抽出領域とし、ユーザには、抽出領域を切り出して出力画像を生成することを選択可能とする。

特開２００５−３４１０９３号公報

撮影状況を想定すると、撮影者は撮影している対象（人物等）とその周辺環境も含めて撮影することが多い。そのような状況では、低解像度化後であっても、対象がきれいにわかるだけではなく、その場の風景、雰囲気もある程度わかるように変換されるのが望ましい。

特許文献１に記載の技術では、元の高精細画像全体を縮小するか、抽出領域を切り出すかの選択しかない。従って、対象がある程度高精細に維持しつつ、その周辺も認識しやすいような低解像度画像を生成することができない。

また、抽出領域を簡単に変更できないので、人物が動いたり、カメラがパンしたりした場合や、カメラがズームなどして人物の大きさが変わってしまった場合などに対応できない。抽出領域をユーザが選択するのも煩雑である。

本発明は、このような問題点を解決し、対象物（人物）の解像度を保持しつつも周囲の様子を識別しやすいように高解像度画像から縮小画像を生成する画像処理装置及びその制御方法を提示することを目的とする。

本発明に係る画像処理装置は、画像を入力する画像入力手段と、前記画像入力手段により入力される画像から顔を検出する顔検出手段と、前記顔検出手段により検出される前記顔に従い、前記画像入力手段から入力される前記画像の抽出領域を決定する領域決定手段と、前記領域決定手段で決定される前記抽出領域の画像から、前記画像入力手段により入力される前記画像の解像度より低い解像度の縮小画像を生成する縮小手段とを具備し、前記領域決定手段は、前記画像入力手段により入力される前記画像の大きさと前記縮小画像の大きさの比である縮小率を決定し、前記縮小率が所定量より小さい場合は、前記顔検出手段で検出される顔のサイズと、前記縮小手段による前記縮小画像の解像度で顔検出可能な顔検出可能サイズとに従い、前記抽出領域を決定することを特徴とする。

本発明に係る画像処理装置は、画像を、前記画像から検出される顔を示す顔情報つきで入力する画像入力手段と、前記顔情報に従い、前記画像入力手段から入力される前記画像の抽出領域を決定する領域決定手段と、前記領域決定手段で決定される前記抽出領域の画像から、前記画像入力手段により入力される前記画像の解像度より低い解像度の縮小画像を生成する縮小手段とを具備し、前記領域決定手段は、前記画像入力手段により入力される前記画像の大きさと前記縮小画像の大きさの比である縮小率を決定し、前記縮小率が所定量より小さい場合は、前記顔情報が示す顔のサイズと、前記縮小手段による前記縮小画像の解像度で顔検出可能な顔検出可能サイズとに従い、前記抽出領域を決定する
ことを特徴とする。
本発明に係る画像処理装置の制御方法は、画像を入力する画像入力部を具備する画像処理装置の制御方法であって、前記画像入力部により入力される画像から顔を検出する顔検出ステップと、前記顔検出ステップにより検出される前記顔に従い、前記画像入力部から入力される前記画像の抽出領域を決定する領域決定ステップと、前記領域決定ステップで決定される前記抽出領域の画像から、前記画像入力部により入力される前記画像の解像度より低い解像度の縮小画像を生成する縮小ステップとを具備し、前記領域決定ステップは、前記画像入力部により入力される前記画像の大きさと前記縮小画像の大きさの比である縮小率を決定し、前記縮小率が所定量より小さい場合は、前記顔検出ステップで検出される顔のサイズと、前記縮小ステップによる前記縮小画像の解像度で顔検出可能な顔検出可能サイズとに従い、前記抽出領域を決定する
ことを特徴とする。
本発明に係る画像処理装置の制御方法は、画像を、前記画像から検出される顔を示す顔情報つきで入力する画像入力部を具備する画像処理装置の制御方法であって、前記顔情報に従い、前記画像入力部から入力される前記画像の抽出領域を決定する領域決定ステップと、前記領域決定ステップで決定される前記抽出領域の画像から、前記画像入力部により入力される前記画像の解像度より低い解像度の縮小画像を生成する縮小ステップとを具備し、前記領域決定手段は、前記画像入力部により入力される前記画像の大きさと前記縮小画像の大きさの比である縮小率を決定し、前記縮小率が所定量より小さい場合は、前記顔情報が示す顔のサイズと、前記縮小ステップによる前記縮小画像の解像度で顔検出可能な顔検出可能サイズとに従い、前記抽出領域を決定することを特徴とする。

本発明によれば、入力画像から、そこに含まれる人物の顔を含みつつ、見やすい縮小画像を自動生成できる。

本発明の一実施例の概略構成ブロック図である。本実施例の動作フローチャートを示す。第１実施例の処理例である。第１実施例のアスペクト比が異なる場合の処理例である。第２実施例の動作フローチャートである。図５の切出し位置決定処理の詳細なフローチャートである。図５の切出し位置決定処理の詳細なフローチャートである。図６Ａ及び図６Ｂの説明例である。図６Ａ及び図６Ｂの別の説明例である。図３の、画面間での相対位置に依存する説明例である。主たる人物のフレーム間の位置の説明図である。図６Ａ及び図６Ｂの、人物が追加される場合の説明例である。本実施例の第３の動作フローチャートを示す。図１２の切出し位置決定処理の詳細なフローチャートである。図１３の説明例である。図１３の説明例である。図１３の説明例である。図１３の説明例である。図１３の説明例である。従来の解像度変換の説明例である。従来の解像度変換の説明例である。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明に係る画像処理装置の一実施例の概略構成ブロック図を示す。１００は、不図示のカメラ又は他の機器から画像データを入力する画像データ入力回路である。１０１は動画像データをＭＰＥＧ−２等の動画圧縮符号化方式で符号化をする符号化回路である。１０２は圧縮符号化された動画像データを復号化する復号化回路である。１０３は、復号化した動画像データ及び符号化した動画像データ等を一時記憶し、各回路のワーク領域として機能するメモリである。

１０４は記録媒体１０５に符号化動画像データを記録し、再生する記録再生回路である。１０６は、動画像データの各画像を低解像度化、すなわち、縮小する縮小回路である。１０７は動画像データの各画像を縮小する際の縮小領域（又は縮小対象となる抽出領域）を決定する縮小領域決定回路である。１０８は再生された動画像データを表示する表示回路である。

１０９は動画像データの顔検出を行なう顔検出回路である。１１０は動画像データの顔認識を行う顔認識回路である。

１１１は各ブロックを制御する制御回路である。１１２はユーザの操作情報等が入力される入力端子である。１１３は動画像データを外部に出力するＩＦ回路である。

図２は、本実施例の動作フローチャートを示す。図２を参照して、本実施例の動作を説明する。

ユーザから入力端子１１２を介して高解像度画像から低解像度画像への変換要求がくると、Ｓ２０１で、制御回路１１１は、図２に示す制御フローをスタートする。Ｓ２０２で、制御回路１１１は変換後の画像の解像度Ｄｓｉｚｅを取得する。

Ｓ２０３で、制御回路１１１は、記録媒体１０５から元画像である高解像度動画像データを再生する。すなわち、記録再生回路１０４は、元画像である高解像度動画像データと再生に必要な付随情報等を記録媒体１０５から読み出し、メモリ１０３に格納する。

Ｓ２０４で、制御回路１１１は、メモリ１０３に記憶された元画像データの付随情報から元画像データの解像度Ｓｓｉｚｅを取得する。

Ｓ２０５で、制御回路１１１は、元画像と変換後の画像の解像度から縮小率Ｒａを
Ｒａ＝Ｄｓｉｚｅ／Ｓｓｉｚｅ
で計算する。元画像と変換後の画像のアスペクト比が異なる場合は、変換後のアスペクト比で切り出せる最大サイズから縮小率Ｒａを決定する。

Ｓ２０６で、制御回路１１１は、再生される元画像データに顔情報があるか否かを確認する。これは、元画像データの記録の際に、顔情報が認識され付随情報として元画像データに記録されている場合は、その顔情報を利用する。記録時に顔情報が記録されていない場合、制御回路１１１は、顔検出回路１０９に顔を検出させる。すなわち、復号回路１０２が、記録媒体１０５から読み出されメモリ１０３に記憶された圧縮動画像データを復号化する。そして、顔検出回路１０９が、復号化された動画像データの各画像データ（元画像データ）から目、鼻及び口などの特徴を抽出することで顔を検出する。

顔情報がない場合、Ｓ２１５に進み、顔情報が付加されている場合、Ｓ２０７に進む。

Ｓ２０７で、制御回路１１１は、元画像データで検出された顔の数、位置及びサイズを取得する。さらに、制御回路１１１は、顔認識回路１１０を使って、その顔が誰であるかの認識情報を取得する。もちろん、記録時に顔認識情報が画像データに付加されて記録されている場合、その顔認識情報を利用する。顔認識回路１１０は、人物の顔の目、鼻、口、大きさ及び配置等の特徴量を、予め各人について登録した特徴量のデータベースと照合することで、人物を特定し認識する。

さらに、制御回路１１１は、主たる顔を一つ特定し、顔サイズＳＦｓｉｚｅ（Ｓ）を決定する。主たる顔の決定法として、以下の方法が考えられる。すなわち、（１）予め記録されている顔がある場合は、その顔を主たる顔とする。（２）検出される顔が一人である場合はその顔を主たる顔とする。（３）顔認識された場合はその顔を主たる顔とする。（４）複数の顔が認識され、優先度が付いている場合には、優先度の高い顔を主たる顔とする。（５）複数の顔が認識されるが、優先度が付いていない場合は、一番大きい顔を主たる顔とする。（６）何れの顔も認識されない場合、画面の中央に近い顔又は一番サイズの大きい顔を主たる顔とする。制御回路１１１は、このように決定した主たる顔の人物を主被写体とし、顔サイズＳＦｓｉｚｅ（Ｓ）を決定する。但し、（５）のケースでは、認識された一番小さいサイズで映っている顔のサイズを顔サイズＳＦｓｉｚｅ（Ｓ）とする。また、（６）のケースでは、顔検出されたサイズ順の中央値にくる顔のサイズを顔サイズＳＦｓｉｚｅ（Ｓ）とする。

Ｓ２０８で、制御回路１１１は、変換後の画像データの解像度Ｄｓｉｚｅに対し、顔検出回路１０９で検出可能な顔最小サイズＤＦｍｉｎ、すなわち顔検出可能サイズを決定する。そして、制御回路１１１は縮小領域決定回路１０７を制御して、元画像の主被写体を縮小しても顔検出できる限界縮小率Ｒｂ
Ｒｂ＝ＤＦｍｉｎ／ＳＦｓｉｚｅ（Ｓ）
を計算させる。

Ｓ２０９で、制御回路１１１は、元画像データ全体を縮小した場合の縮小率Ｒａと、Ｓ２０８で求めた限界縮小率Ｒｂを比較し、ＲｂがＲａ以下の場合はＳ２１５に進み、ＲｂがＲａより大きい場合はＳ２１０に進む。

Ｓ２１０で、制御回路１１１は、元画像において縮小後でも顔検出可能な領域の大きさＭａｓｉｚｅを下記式
Ｍａｓｉｚｅ＝Ｄｓｉｚｅ／Ｒｂ
に従いを算出する。

Ｓ２１１で、制御回路１１１は、図３に示すように、元画像に対して、領域Ｍａ（大きさＭａｓｉｚｅ）の切出し位置ｐを決定する。図３（１）は、元画像を示し、同（２）はリサイズ後の画像（縮小画像）を示す。例えば、主たる顔（図３の場合は人物Ａ）が領域Ｍａの中心に来るように、切出し位置ｐを決定する。

Ｓ２１２で、制御回路１１１は、縮小領域決定回路１０７で決定した切出し位置ｐ及び大きさＭａｓｉｚｅの情報をもとに縮小回路１０６を制御する。すなわち、縮小回路１０６は、メモリ１０３の元画像データから切出し位置ｐ及び大きさＭａｓｉｚｅの縮小領域Ｍａの画像データを切り出し、限界縮小率Ｒｂでリサイズして変換後の画像データ（縮小画像データ）を作成する。図３（２）は、図３（１）に示す元画像に対する縮小画像例を示す。縮小回路１０６は、作成した変換後の画像データをメモリ１０３にする。制御回路１１１は、Ｓ２１３に進む。

Ｓ２１５では、制御回路１１１は、元画像全体を縮小して変換後の画像を作成する。元画像と変換後の画像でアスペクト比が異なる場合、図４に示すように、変換後の画像のアスペクト比で、元画像の全体から切り出せる最大の領域Ｍｂのサイズを求める。図４（１）は元画像を示し、同（２）は変換後の画像又は切り出した縮小画像を示す。元画像の中心位置に合うように、また、顔がある場合は、主たる顔が中心にくるように、切り出し、圧縮率Ｒａでリサイズする。制御回路１１１は、変換後の画像データをメモリ１０３に格納し、Ｓ２１３に進む。

Ｓ２１３で、制御回路１１１は、メモリ１０３の変換後の画像データを符号化回路１０１に符号化させ、圧縮画像データをメモリ１０３に格納させる。制御回路１１１は、記録再生回路１０４を制御して、メモリ１０３の圧縮画像データを記録媒体１０５に記録させる。制御回路１１１はまた、メモリ１０３の圧縮画像データを、ＩＦ回路１１３を介して別の記録装置、再生装置又はサーバ等に転送する。

Ｓ２１４で、制御回路１１１は、記録媒体１０５に未再生の動画像データがまだあるかどうかを確認し、再生すべき動画像データがある場合はＳ２０３に戻り、無い場合は処理を終了する。

元画像として記録媒体１０５の記録画像データを使用したが、画像入力回路１００で入力されるカメラ等で撮影された画像データを元画像としてもよい。

以上、説明したように、元画像データである高解像度画像を低解像度画像に変換する際に、ユーザによる面倒な操作無しで、注目すべき人物（の顔）部分を、変換後でも認識可能な程度以上に高画質にできる。また、撮影者の意図した画角をなるべく保持する縮小画像を生成できる。

図５は、本実施例の別の動作フローチャートを示す。図２と同じ処理手順には、同じ符号を付してある。

図２との相違部分を詳細に説明する。具体的には、ステップＳ２１１の処理に代えて、ステップＳ２３０ｂを実行する。

Ｓ２３０ｂで、縮小領域決定回路１０７は、主たる顔と、それ以外の認識された顔との位置関係から、縮小に使用する領域Ｍａの切出し位置ｐを決定する。図６Ａ及び図６Ｂは、Ｓ２３０ｂの詳細なフローチャートを示す。

Ｓ３０２で、制御回路１１１は、Ｓ２０７で取得した認識済み顔のサイズと位置情報を登録する。

Ｓ３０３で、制御回路１１１は、再生開始時かどうかを判断する。

再生開始時の場合、制御回路１１１は、Ｓ３０４で、変数ｎ＝０をセットし、再生時間を管理する変数Ｓｓ，Ｓｃに０を代入し、Ｓ３０５に進む。

Ｓ３０５で、制御回路１１１は、図７に示すように、大きさＭａｓｉｚｅ（ｔ０）の切り出しに対して、主たる人物（人物Ａ）が中心になるように切出し位置ｐ（ｔ０）を決定し、ｐ＝ｐ（ｔ０）とする。図７（１）は元画像を示し、同（２）は切り出した画像、すなわちリサイズ後の縮小画像を示す。

Ｓ３０６では、制御回路１１１は、切出し位置ｐ（ｔ０）で切り出した領域Ｍａ（ｔ０）に入る認識済み人物を人物群Ｈａ（ｔ０）として登録する。また、制御回路１１１は、領域Ｍａ（ｔ０）に入っていない認識済み人物を人物群Ｈｂ（ｔ０）として登録する。図７に示す例では、Ｈａ（ｔ０）＝｛人物Ａ、人物Ｃ、人物Ｄ｝、Ｈｂ（ｔ０）＝｛人物Ｂ｝である。

Ｓ３０７で、制御回路１１１は、主たる人物の領域Ｍａ（ｔ０）内での相対的位置をＰａ（ｔ０）として記憶する。図７に示す例では、主たる人物は人物Ａである。従って、
Pa(t0)={Ma(xt0)/2/Ma(xt0),Ma(yt0)/2/Ma(yt0)}={0.5,0.5}
となる。この後、図５のステップＳ２１２に戻る。

Ｓ２１２以降は、実施例１と同様に、切出し位置ｐで切り出してリサイズし、図７（２）に示すような縮小画像が得られる。Ｓ２１２以降は、実施例１と同様である。

Ｓ３０３で再生開始時でない場合、制御回路１１１は、Ｓ３０８で、変数ｎをインクリメントし、Ｓｃに現在の再生時間（再生開始からの経過時間）を代入する。

Ｓ３０９で、制御回路１１１は、Ｓｃ−Ｓｓ＜Ｔかどうか判定する。Ｔは予め設定された閾値である。差がＴより小さい場合、Ｓ３１０に進み、そうでない場合、Ｓ３１８に進む。

Ｓ３１０で、制御回路１１１は、今回認識した人物の中で、前回の領域Ｍａ（ｔｎ−１）に入っていた人物（人物群Ｈａ（ｔｎ−１））にも登録されている人物を検索し、人物群Ｈａ’（ｔｎ）として登録する。図８に示す例では、人物群Ｈａ（ｔｎ−１）に登録されていた人物Ａ，Ｃ，Ｄを見つけるので、これらを人物群Ｈａ’（ｔｎ）として登録する。

Ｓ３１１で、制御回路１１１は、主たる人物が領域Ｍａ（ｔｎ）内に収まって、さらに人物群Ｈａ’（ｔｎ）が領域Ｍａ（ｔｎ）内に収まる切出し位置を求め、仮切出し位置ｐ’（ｔｎ）とする。

Ｓ３１２で、制御回路１１１は、切出し位置ｐ’（ｔｎ）で切り出した時の領域Ｍａ（ｔｎ）内の主たる人物（人物Ａ）の相対的位置Ｐａ’（ｔｎ）＝｛α’（ｔｎ）、β’（ｔｎ）｝を求める。Ｓ３１３で、制御回路１１１は、図９に例示するように、前回の主たる人物の領域Ｍａ（ｔｎ−１）での相対的切出し位置Ｐａ（ｔｎ−１）と、今回の領域Ｍａ（ｔｎ）での相対的位置Ｐａ’（ｔｎ）の距離を比較する。そして、
｜Ｐａ’（ｔｎ）−Ｐａ（ｔｎ−１）｜＜δ
において、距離がδ以内であれば、Ｓ３１４に進み、そうでなければ、Ｓ３２１に進む。δは予め決められた閾値である。

Ｓ３１４で、制御回路１１１は、主たる人物（人物Ａ）の領域Ｍａ（ｔｎ）内での相対的な位置Ｐａ（ｔｎ）を
Ｐａ（ｔｎ）＝Ｐａ’（ｔｎ）
として記憶する。

Ｓ３１５で、制御回路１１１は、主たる人物の領域Ｍａ（ｔｎ）内の相対的位置Ｐａ（ｔｎ）から切出し位置ｐ（ｔｎ）を求める。すなわち、
ｐ＝ｐ（ｔｎ）
とする。

Ｓ３１６で、制御回路１１１は、決定した切出し位置ｐでの領域Ｍａ（ｔｎ）内に入っている認識済み人物を人物群Ｈａ（ｔｎ）として登録し、領域Ｍａ（ｔｎ）内に入っていない認識済み人物を人物群Ｈｂ（ｔｎ）として登録する。図８に示す例では、Ｈａ（ｔｎ）＝｛人物Ａ，人物Ｃ，人物Ｄ｝、Ｈｂ（ｔｎ）＝｛人物Ｂ｝である。

以後、制御回路１１１は、Ｓ２１２に戻り、先に説明したのと同様の処理を実行する。

Ｓ３１３で、距離｜Ｐａ’（ｔｎ）−Ｐａ（ｔｎ−１）｜がδ以上である場合、制御回路１１１は、Ｓ３２１で、図１０に示すように、主たる人物の領域Ｍａ（ｔｎ）での相対的位置を
Pa(tn)={q(α(tn)’-α(tn-1)),q(β(tn)’-β(tn-1))}
と記憶する。ここでｑは、
q=δ/((α(tn)’-α(tn-1))²+(β(tn)’-β(tn-1))²)^1/2
である。

Ｓ３０９でＳｃ−ＳｓがＴ以上である場合、制御回路１１１は、Ｓ３１８で、Ｓｓに現在の再生開始からの経過時間Ｓｃを代入する。

Ｓ３１９で、制御回路１１１は、認識した人物の中から前回の領域Ｍａ（ｔｎ−１）に入っていた人物群Ｈａ（ｔｎ−１）にはいない人物を検索し、主たる人物と共に人物群Ｈａ’（ｔｎ）として登録する。図１１に示す例では、Ｈａ’（ｔｎ）＝｛人物Ａ，人物Ｂ｝と登録される。

Ｓ３２０で、制御回路１１１は、Ｓ３１１と同様に、主たる人物Ａが領域Ｍａ（ｔｎ）内に収まり、さらに人物群Ｈａ’（ｔｎ）が領域Ｍａ（ｔｎ）内に収まる仮りの切出し位置ｐ（ｔｎ）を求める。Ｓ３１１の処理と異なるのは、主たる人物Ａと、前フレームでの切り出し領域Ｍａ（ｔｎ−１）内には入っていなかった人物Ｂが領域Ｍａ（ｔｎ）に入るようにすることである。

このように、本実施例では、元画像で認識される顔のサイズと、変換後の解像度で顔検出できる最小サイズとから元画像の縮小領域を決定し、主たる人物が入るように領域を切り出す。

切り出した画角に入る認識された顔を記憶し、所定の時間間隔でその時のフレームで認識された顔の中で、過去に切り出した画角に入らなかった顔がある場合は、当該顔が主たる顔と共に画角に入るように切出し位置を決定する。これにより、高解像度の動画像データから、対象人物（顔）の解像度を保持しつつ周辺の人物（顔）も認識できるような縮小画像の動画像データを生成できる。

また、所定時間間隔Ｔで切出し位置を見直し、それ以外は切り出し後の主たる人物の相対的位置を大きく変動しないようにすることで、動画像としての連続性も保てるようになり、視聴して違和感のない動画像が得られる。

図１２は、本実施例の第３の動作フローチャートを示す。図２と同じ処理手順には、同じ符号を付してある。

図２との相違部分を詳細に説明する。具体的には、ステップＳ２１１の処理に代えて、ステップＳ２６０ｃを実行する。

Ｓ２６０ｃで、縮小領域決定回路１０７は、主たる顔とそれ以外に認識された顔の位置関係から縮小に使う領域Ｍａの切出し位置ｐを決定する。図１３は、ステップＳ２６０ｃの詳細なフローチャートを示す。

Ｓ４０２で、制御回路１１１は、再生開始時かどうかを判断し、再生開始時であればＳ４０３に進み、再生開始時でなければＳ４０５に進む。

Ｓ４０３で、制御回路１１１は、変数ｎ、及び再生時間を管理する変数Ｓｒ，Ｓｑに０を代入し、切り出し領域Ｍａに入った人物を管理する管理テーブルＨｓを初期化する。

Ｓ４０４で、制御回路１１１は、認識された人物の顔位置及びサイズ情報をＨｆ（ｔ０）として登録する。図１４は、再生開始時の例を示す。この場合、Ｈｆ（ｔ０）＝｛人物Ａ，人物Ｂ，人物Ｃ，人物Ｄ｝となる。

Ｓ４０８で、制御回路１１１は、主たる人物が領域Ｍａ内に収まる切出し位置ｐを決定する。例えば、図１４に示す例では、主たる人物Ａが切出し領域Ｍａの中心に来るように切出し位置ｐを決定する。図１４（１）は元画像を示し、同（２）は縮小後の変換後画像を示す。以後、制御回路１１１は、Ｓ２１２に戻り、先に説明したのと同様の処理を実行し、図１４（２）に示す縮小画像が得られる。

Ｓ４０２で再生開始時では無い場合、制御回路１１１は、Ｓ４０５で、変数ｎをインクリメントし、再生開始からの経過時間を取得して、再生時間を管理する変数Ｓｑに記憶する。

Ｓ４０６で、制御回路１１１は、認識された人物の顔位置及びサイズ情報をＨｆ（ｔｎ）として登録する。

Ｓ４０７で、制御回路１１１は、再生時間の経過条件と人物条件を判定する。再生時間の経過条件は、再生時の経過時間（Ｓｑ−Ｓｒ）が予め設定された所定時間Ｓを越えたかどうか（Ｓｑ−Ｓｒ＞Ｓ）である。人物条件は、１フレーム前の認識人物情報Ｈｆ（ｔｎ−１）に対し現在の認識人物情報Ｈｆ（ｔｎ）に新規の人物がいるかどうかである。再生時間の経過条件と人物条件の何れも満たされない場合には、Ｓ４０８に進み、どちらかを満たす場合、Ｓ４０９に進む。

Ｓ４０８に進んだ場合は、先に説明したのと同様に処理される。

Ｓ４０９では、制御回路１１１は、現フレームをまずポーズし、Ｓ４１０に進む。Ｓ４１０で、制御回路１１１は、切出し領域Ｍａに入った人物を管理する管理テーブルＨｓに登録されている人物がいるかどうか判断する。登録されている人物がいない場合、Ｓ４１１に進み、登録されている人物がいる場合、Ｓ４１３に進む。

Ｓ４１１では、制御回路１１１は、主たる人物が領域Ｍａ内に収まる切出し位置ｐを求める。図１５に示す例では、主たる人物Ａが切出し領域Ｍａの中心に来るように切出し位置ｐが決定される。

Ｓ４１２で、制御回路１１１は、決定した切出し位置ｐによる領域Ｍａに入っている認識済み人物をＨｓに追加登録する。図１５に示す例では、Ｈｓ＝｛人物Ａ｝である。以後、制御回路１１１は、Ｓ２１２に戻り、上述した実施例１，２と同様の処理をして、図１５（２）に示す縮小画像を得る。

Ｓ４１３で、制御回路１１１は、Ｈｓに登録されている人物が、現在のフレーム内で認識されている人物（Ｈｆ（ｔｎ））と全て一致するかどうかを判断する。全て一致する場合、Ｓ４１５に進み、いずれか一人でも一致しない場合、Ｓ４１４に進む。

Ｓ４１４では、制御回路１１１は、現フレームで認識されている人物Ｈｆ（ｔｎ）と過去に領域Ｍａ内に入った人物を管理する管理テーブルＨｓにある人物とを比較する。そして、制御回路１１１は、Ｈｆ（ｔｎ）にあってＨｓにいない人物を検索し、その人物が領域Ｍａに入るように切出し位置ｐを決定する。図１６に示す例では、Ｈｓ＝｛人物Ａ｝、Ｈｆ（ｔｎ）＝｛人物Ａ，人物Ｂ，人物Ｃ，人物Ｄ｝であるとする。このとき、制御回路１１１は、人物Ｂ、Ｃ又はＤが領域Ｍａに入るように切出し位置ｐを決定する。例えば、主たる人物Ａの左側から左回りに検索して、まず人物Ｂを選び、人物Ｂが領域Ｍａに入るように切出し位置ｐを決める。そしてＳ４１２に進む。

Ｓ４１２で、制御回路１１１は、決定した切出し位置ｐでの領域Ｍａに入っている人物をＨｓに追加登録する。図１６に示す例では、Ｈｓ＝｛人物Ａ，人物Ｂ｝となる。以後、制御回路１１１は、Ｓ２１２に戻り、上述した実施例１，２と同様の処理をして、図１６（２）に示す縮小画像を得る。

図１７に示す例ではＨｓ＝｛人物Ａ，人物Ｂ｝、Ｈｆ（ｔｎ）＝｛人物Ａ，人物Ｂ，人物Ｃ，人物Ｄ｝となっている。上述のように、Ｓ４１４では、制御回路１１１は、図１７に示す例に対し、人物Ｃ又はＤが領域Ｍａ内に入るように切出し位置ｐを決定する。Ｓ４１２で、制御回路１１１は、Ｓ４１４で決定した切出し位置ｐでの領域Ｍａに入っている人物をＨｓに追加登録する。図１７に示す例では、Ｈｓ＝｛人物Ａ，人物Ｂ，人物Ｃ，人物Ｄ｝となる。

ステップＳ４１３からステップＳ４１５に進んだ場合、ステップＳ４１５で、制御回路１１１は、図１８に示すように、主たる人物（人物Ａ）が領域Ｍａ内に収まる切出し位置ｐを求める。例えば、制御回路１１１は、主たる人物Ａが切り出し領域Ｍａの中心に来るように切出し位置ｐを決定する。つまり、図１５に示すようなポーズに入った時の切出し位置と同じになる。Ｓ４１６で、制御回路１１１は、Ｓｒに記憶している再生時間ＳｒにＳｑを代入し、切り出し領域Ｍａに入った人物を管理する管理テーブルＨｓを初期化する。Ｓ４１７で、制御回路１１１はポーズを解除し、Ｓ４１８に進む。以後、制御回路１１１は、Ｓ２１２に戻り、上述した実施例１，２と同様の処理をして、図１８（２）に示す縮小画像を得る。

再生開始時には主たる顔の人物を中心にして切り出すようにして再生を始めるようにしたが、再生開始時はポーズから始めてもよい。その場合は、ステップＳ４０４の後にステップＳ４０９に進むようにする。また、ポーズの表示時間をユーザに設定できるようにしてもよい。

以上、説明したように、基本的には、記録時又は再生時に検出された顔情報と認識された顔認識情報に従い、主たる人物の顔が入るように、元画像の切出し領域を決定する。更には、フレーム毎に新規な顔が検出されるか、又は、所定時間の経過により間隔が経過することで再生画像をポーズする。そして、既存の切出し領域に入らない新規な顔がある場合に、切出し範囲を変更する。このような処理により、高解像度の動画像から人物の顔部分の解像度を保持しつつ、周辺の人物（顔）も認識できるような縮小画像データを生成できる。

Claims

画像を入力する画像入力手段と、
前記画像入力手段により入力される画像から顔を検出する顔検出手段と、
前記顔検出手段により検出される前記顔に従い、前記画像入力手段から入力される前記画像の抽出領域を決定する領域決定手段と、
前記領域決定手段で決定される前記抽出領域の画像から、前記画像入力手段により入力される前記画像の解像度より低い解像度の縮小画像を生成する縮小手段
とを具備し、
前記領域決定手段は、前記画像入力手段により入力される前記画像の大きさと前記縮小画像の大きさの比である縮小率を決定し、前記縮小率が所定量より小さい場合は、前記顔検出手段で検出される顔のサイズと、前記縮小手段による前記縮小画像の解像度で顔検出可能な顔検出可能サイズとに従い、前記抽出領域を決定する
ことを特徴とする画像処理装置。
前記領域決定手段は、
前記縮小画像の大きさから前記顔検出可能サイズを決定し、
前記顔検出手段で検出された顔のサイズと、前記顔検出可能サイズとの比である限界縮小率を求め、
前記縮小率が前記限界縮小率より小さい場合は、前記顔検出可能サイズを元に前記抽出領域の切り出しサイズを決定し、大きい場合は前記画像入力手段により入力される前記画像を前記抽出領域として決定する
ことを特徴とする請求項１に記載の画像処理装置。
前記領域決定手段は、前記顔検出手段で検出された顔が含まれるように、前記画像入力手段により入力される前記画像における前記抽出領域の位置を決定することを特徴とする請求項１又は２に記載の画像処理装置。
更に顔認識手段を備え、
前記領域決定手段は、前記顔検出手段で検出された顔のうちで、前記顔認識手段により認識された顔のサイズに従い、前記抽出領域のサイズを決定する
ことを特徴とする請求項１ないし３の何れか１項に記載の画像処理装置。
前記領域決定手段は、前記顔認識手段により認識された顔を含むように、前記画像入力手段により入力される前記画像における前記抽出領域の位置を決定することを特徴とする請求項４に記載の画像処理装置。
前記画像入力手段に入力される画像データは動画像データであることを特徴とする請求項１ないし５の何れか１項に記載の画像処理装置。
画像を、前記画像から検出される顔を示す顔情報つきで入力する画像入力手段と、
前記顔情報に従い、前記画像入力手段から入力される前記画像の抽出領域を決定する領域決定手段と、
前記領域決定手段で決定される前記抽出領域の画像から、前記画像入力手段により入力される前記画像の解像度より低い解像度の縮小画像を生成する縮小手段
とを具備し、
前記領域決定手段は、前記画像入力手段により入力される前記画像の大きさと前記縮小画像の大きさの比である縮小率を決定し、前記縮小率が所定量より小さい場合は、前記顔情報が示す顔のサイズと、前記縮小手段による前記縮小画像の解像度で顔検出可能な顔検出可能サイズとに従い、前記抽出領域を決定する
ことを特徴とする画像処理装置。
前記領域決定手段は、
前記縮小画像の大きさから前記顔検出可能サイズを決定し、
前記顔のサイズと前記顔検出可能サイズとの比である限界縮小率を求め、
前記縮小率が前記限界縮小率より小さい場合は、前記顔検出可能サイズ（ＤＦｍｉｎ）を元に前記抽出領域の切り出しサイズを決定し、大きい場合は前記画像入力手段により入力される前記画像を前記抽出領域として決定する
ことを特徴とする請求項７に記載の画像処理装置。
前記領域決定手段は、前記顔情報が示す顔が含まれるように、前記画像入力手段により入力される前記画像における前記抽出領域の位置を決定することを特徴とする請求項７又は８に記載の画像処理装置。
前記画像には前記顔情報が示す顔の内で顔認識された顔を示す顔認識情報が付加され、
前記領域決定手段は、前記顔認識情報が示す顔のサイズに従い、前記抽出領域のサイズを決定する
ことを特徴とする請求項７ないし９の何れか１項に記載の画像処理装置。
前記領域決定手段は、前記顔認識情報が示す顔を含むように、前記画像入力手段により入力される前記画像における前記抽出領域の位置を決定することを特徴とする請求項１０に記載の画像処理装置。
前記画像入力手段に入力される画像データは動画像データであることを特徴とする請求項７ないし１１の何れか１項に記載の画像処理装置。
画像を入力する画像入力部を具備する画像処理装置の制御方法であって、
前記画像入力部により入力される画像から顔を検出する顔検出ステップと、
前記顔検出ステップにより検出される前記顔に従い、前記画像入力部から入力される前記画像の抽出領域を決定する領域決定ステップと、
前記領域決定ステップで決定される前記抽出領域の画像から、前記画像入力部により入力される前記画像の解像度より低い解像度の縮小画像を生成する縮小ステップ
とを具備し、
前記領域決定ステップは、前記画像入力部により入力される前記画像の大きさと前記縮小画像の大きさの比である縮小率を決定し、前記縮小率が所定量より小さい場合は、前記顔検出ステップで検出される顔のサイズと、前記縮小ステップによる前記縮小画像の解像度で顔検出可能な顔検出可能サイズとに従い、前記抽出領域を決定する
ことを特徴とする画像処理装置の制御方法。
画像を、前記画像から検出される顔を示す顔情報つきで入力する画像入力部を具備する画像処理装置の制御方法であって、
前記顔情報に従い、前記画像入力部から入力される前記画像の抽出領域を決定する領域決定ステップと、
前記領域決定ステップで決定される前記抽出領域の画像から、前記画像入力部により入力される前記画像の解像度より低い解像度の縮小画像を生成する縮小ステップ
とを具備し、
前記領域決定ステップは、前記画像入力部により入力される前記画像の大きさと前記縮小画像の大きさの比である縮小率を決定し、前記縮小率が所定量より小さい場合は、前記顔情報が示す顔のサイズと、前記縮小ステップによる前記縮小画像の解像度で顔検出可能な顔検出可能サイズとに従い、前記抽出領域を決定する
ことを特徴とする画像処理装置の制御方法。