JP5870835B2 - 動画像処理装置、動画像処理方法および動画像処理プログラム - Google Patents

Description

本発明は、動画像処理装置、動画像処理方法および動画像処理プログラムに関する。

監視カメラ等で撮影された映像では、犯罪や事件等が発生したとき、犯人の顔等の関心領域（ＲＯＩ：Region of Interest）を拡大して精細に表示することが要求される。なお、犯罪や事件等が発生していないときでは、特定の領域を拡大して精細に表示する必要はない。画像全体を高解像度で記録する方法では、記憶容量が膨大になり、記録コストが増加する。なお、例えば、関心領域の圧縮率を関心領域以外の領域の圧縮率より低くすることにより、データ量の増加を抑制しつつ、関心領域の画質を関心領域以外の領域の画質より高くする技術が知られている。

また、搭載されているＣＰＵの処理能力に合わせて、復号する画像データを選択する画像再生装置が提案されている（例えば、特許文献１参照。）。例えば、画像再生装置は、元の画像から一部の画素を間引いた縮小画像を圧縮符号化した圧縮縮小画像データと、間引きの対象となった部分を圧縮符号化した付加情報とを受ける。そして、例えば、所定の基準値より高い処理能力のＣＰＵが搭載された画像再生装置は、圧縮縮小画像データおよび付加情報の両方を復元して、縮小画像より高い画質の再生画像を生成する。また、例えば、所定の基準値より低い処理能力のＣＰＵが搭載された画像再生装置は、一定の再生速度を維持するために、圧縮縮小画像データのみを復元して再生画像を生成する。

特開平８−２８９２９０号公報

関心領域の圧縮率を関心領域以外の領域の圧縮率より低くする方法では、関心領域の解像度は、関心領域以外の領域の解像度と同様である。このため、関心領域の圧縮率を関心領域以外の領域の圧縮率より低くする方法では、関心領域を拡大して表示しても、関心領域が精細に表示されるとは限らない。また、復号する画像データをＣＰＵの処理能力に合わせて選択する方法では、画像全体を高解像度で記録したデータ（例えば、圧縮縮小画像データおよび付加情報）が必要であるため、データ量が膨大になる。

１つの側面では、本発明の目的は、データ量の増加を抑制しつつ、関心領域を拡大して精細に表示可能にすることである。

本発明の一形態では、動画像処理装置は、入力画像を予め設定された縮小率で縮小した第１画像に対応する第１画像データを生成する第１画像生成部と、入力画像内の関心領域を縮小率に対応する間引き率で間引いて複数の関心領域画像に分割し、複数の関心領域画像の少なくとも１つを含む第２画像に対応する第２画像データを生成する第２画像生成部と、第１画像データおよび第２画像データを符号化してストリームデータを生成し、第２画像データを符号化するとき、第２画像に対応付けられた時刻に対応する第１画像に基づいて予測処理を実施可能な画像符号化部とを有している。

データ量の増加を抑制しつつ、関心領域を拡大して精細に表示可能にできる。

一実施形態における動画像処理システムの例を示している。 図１に示した動画像符号化装置の一例を示している。 関心領域画像の分割の一例を示している。 関心領域画像の割り付けの一例を示している。 関心領域画像の割り付けの別の例を示している。 関心領域画像の割り付けの別の例を示している。 符号化の際のフレームの参照関係の一例を示している。 図２に示した動画像符号化装置の動作の一例を示している。 図１に示した動画像再生装置の一例を示している。 図９に示した動画像再生装置の動作の一例を示している。 別の実施形態における動画像符号化装置の一例を示している。 図１１に示した動画像符号化装置の動作の一例を示している。 ストリーム構成の一例を示している。 図１１に示した動画像符号化装置に対応した動画像再生装置の一例を示している。 図１４に示した動画像再生装置の動作の一例を示している。

以下、実施形態を図面を用いて説明する。

図１は、一実施形態における動画像処理システムＳＹＳの例を示している。動画像処理システムＳＹＳは、動画像処理装置の一態様である動画像符号化装置１０と、動画像符号化装置１０で生成された圧縮ストリームＳＴＲＭを記憶するストリーム記憶部１００と、圧縮ストリームＳＴＲＭを復号する動画像再生装置１１０とを有している。なお、動画像再生装置１１０も動画像処理装置の一態様である。また、動画像処理システムＳＹＳも動画像処理装置の一態様である。

動画像符号化装置１０は、例えば、Ｈ．２６４等に準拠した符号化方式を用いて、画像データＩＩＭＧに基づく圧縮ストリームＳＴＲＭを生成する。画像データＩＩＭＧは、入力画像の画像データである。以下、画像データに対応する画像を、画像データと同様の符号で示す。例えば、符号ＩＩＭＧは、入力画像および入力画像データを示す。動画像符号化装置１０は、例えば、縮小画像生成部２０、関心画像生成部３０および画像符号化部４０を有している。

縮小画像生成部２０は、画像データＩＩＭＧを受け、入力画像ＩＩＭＧを縮小した画像の画像データＲＩＭＧ（以下、縮小画像データＲＩＭＧとも称する）を生成する。すなわち、縮小画像生成部２０は、入力画像ＩＩＭＧを予め設定された縮小率で縮小した縮小画像ＲＩＭＧに対応する縮小画像データＲＩＭＧを生成する。

関心画像生成部３０は、画像データＩＩＭＧを受け、入力画像ＩＩＭＧ内の関心領域（ＲＯＩ：Region of Interest）を表示するための画像データＳＩＭＧ（以下、関心画像データＳＩＭＧとも称する）を生成する。関心領域は、例えば、人の顔である。例えば、関心画像生成部３０は、入力画像ＩＩＭＧ内の関心領域を縮小画像ＲＩＭＧの縮小率に対応する間引き率で間引いて複数の関心領域画像に分割する。そして、関心画像生成部３０は、複数の関心領域画像の少なくとも１つを含む関心画像ＳＩＭＧに対応する関心画像データＳＩＭＧを生成する。

このように、関心画像データＳＩＭＧは、例えば、関心領域を拡大して精細に表示するための画像データを有している。例えば、関心画像データＳＩＭＧに基づいて生成される関心領域の画像は、縮小画像データＲＩＭＧに基づいて生成される縮小画像ＲＩＭＧ内の関心領域より、高解像度である。

画像符号化部４０は、縮小画像データＲＩＭＧおよび関心画像データＳＩＭＧを符号化して圧縮ストリームＳＴＲＭを生成する。圧縮ストリームＳＴＲＭは、例えば、縮小画像データＲＩＭＧを符号化したデータと関心画像データＳＩＭＧを符号化したデータとを含むストリームデータである。例えば、画像符号化部４０は、縮小画像生成部２０で生成された縮小画像データＲＩＭＧおよび関心画像生成部３０で生成された関心画像データＳＩＭＧを受ける。そして、画像符号化部４０は、縮小画像データＲＩＭＧおよび関心画像データＳＩＭＧをＨ．２６４等に準拠した符号化方式で符号化し、圧縮ストリームＳＴＲＭを生成する。

例えば、画像符号化部４０は、縮小画像データＲＩＭＧおよび関心画像データＳＩＭＧを、Ｈ．２６４のＭＶＣ（Multiview Video Coding）に準拠した符号化方式で符号化する。以下、縮小画像データＲＩＭＧを符号化したデータを縮小画像データＲＩＭＧの符号化データとも称し、関心画像データＳＩＭＧを符号化したデータを関心画像データＳＩＭＧの符号化データとも称する。

Ｈ．２６４のＭＶＣに準拠した符号化方式では、画像符号化部４０は、縮小画像データＲＩＭＧをベースビューのフレームとして符号化し、関心画像データＳＩＭＧを非ベースビューのフレームとして符号化する。例えば、関心画像データＳＩＭＧは、縮小画像データＲＩＭＧや他の関心画像データＳＩＭＧを参照して符号化される。これにより、Ｈ．２６４のＭＶＣに準拠した圧縮ストリームＳＴＲＭが生成される。すなわち、画像符号化部４０は、関心画像データＳＩＭＧを符号化するとき、関心画像ＳＩＭＧに対応付けられた時刻に対応する縮小画像ＲＩＭＧに基づいて予測処理を実行可能である。

動画像符号化装置１０で生成された圧縮ストリームＳＴＲＭは、ストリーム記憶部１００に記憶される。ストリーム記憶部１００に記憶されている圧縮ストリームＳＴＲＭは、例えば、動画像再生装置１１０で復号される。例えば、動画像再生装置１１０は、ストリーム記憶部１００に記憶されている圧縮ストリームＳＴＲＭを読み出し、圧縮ストリームＳＴＲＭを復号する。すなわち、動画像再生装置１１０は、動画像符号化装置１０で生成された圧縮ストリームＳＴＲＭを復号する。これにより、ディスプレイ等に表示する画像ＯＩＭＧが生成される。

例えば、動画像再生装置１１０は、Ｈ．２６４等に準拠したエンコーダとして機能する画像復号部１２０と、表示画像生成部１３０とを有している。画像復号部１２０は、ストリーム記憶部１００から受けた圧縮ストリームＳＴＲＭを復号し、縮小画像データＲＤＩＭＧおよび関心画像データＳＤＩＭＧを生成する。なお、関心領域の精細表示の指示等（例えば、関心領域の精細表示要求や関心領域指定）がないとき、画像復号部１２０は、関心画像データＳＤＩＭＧを生成しなくてもよい。すなわち、画像復号部１２０は、関心領域の精細表示の指示等がないとき（例えば、通常時）、関心画像データＳＩＭＧの符号化データを復号しなくてもよい。

表示画像生成部１３０は、画像復号部１２０で生成された縮小画像データＲＤＩＭＧおよび関心画像データＳＤＩＭＧを受ける。そして、表示画像生成部１３０は、例えば、縮小画像データＲＤＩＭＧおよび関心画像データＳＤＩＭＧを合成して、表示画像の画像データＯＩＭＧ（以下、表示画像データＯＩＭＧとも称する）を生成する。なお、関心領域の精細表示の指示等がないとき（通常時）、表示画像生成部１３０は、例えば、縮小画像データＲＤＩＭＧを表示画像データＯＩＭＧとして出力する。

また、関心領域の精細表示の指示等があるときは、表示画像生成部１３０は、例えば、ユーザに指示された関心領域を関心画像ＳＤＩＭＧから抽出し、抽出した関心領域を縮小画像ＲＤＩＭＧに合成する。これにより、注目する関心領域（ユーザに指示された関心領域）を精細に表示するための画像データを含む表示画像データＯＩＭＧが生成される。このように、この実施形態では、注目する関心領域（ユーザに指示された関心領域）を他の領域に比べて高精細にした画像を、表示できる。

図２は、図１に示した動画像符号化装置１０の一例を示している。図２の例では、画像データＩＩＭＧ等の転送は、メモリ５０を介して実行される。例えば、動画像符号化装置１０は、縮小画像生成部２０、関心画像生成部３０、画像符号化部４０およびメモリ５０を有している。なお、メモリ５０は、画像符号化部４０等のモジュール内に設けられてもよいし、動画像符号化装置１０の外部に設けられてもよい。

メモリ５０は、デジタルビデオカメラ等により撮影された画像ＩＩＭＧの画像データＩＩＭＧを順次記憶する。縮小画像生成部２０は、画像データＩＩＭＧをメモリ５０から読み出し、画像ＩＩＭＧを予め設定された縮小率（例えば、水平１／２、垂直１／２の縮小率）で縮小して縮小画像データＲＩＭＧを生成する。そして、縮小画像生成部２０は、縮小画像データＲＩＭＧをメモリ５０に書き込む。縮小画像データＲＩＭＧは、画像符号化部４０の第１符号化部４２で符号化される。

関心画像生成部３０は、例えば、関心領域検出部３２、切り出し部３４および画像合成部３６を有している。関心領域検出部３２は、ローカルデコード画像データＬＤＥＣ１をメモリ５０から読み出し、顔検出のアルゴリズム等を用いて関心領域を検出する。ローカルデコード画像データＬＤＥＣ１は、縮小画像データＲＩＭＧの符号化データを復号した画像データであり、第１符号化部４２の符号化処理時に生成される。

関心領域検出部３２により検出される関心領域の個数、位置およびサイズは、顔検出のアルゴリズム等の所定のアルゴリズムを使用することにより、ローカルデコード画像ＬＤＥＣ１（検出対象の画像）に対して一意的に決まる。関心領域検出部３２は、検出した関心領域に関する関心領域情報ＣＩＮＦ（関心領域の個数、位置、サイズ等）を、切り出し部３４および画像合成部３６に通知する。

切り出し部３４は、画像データＩＩＭＧをメモリ５０から読み出し、画像ＩＩＭＧから関心領域を関心領域情報ＣＩＮＦに基づいて切り出す。これにより、画像ＩＩＭＧ内の関心領域に対応する関心領域画像ＲＯＩが生成される。以下、関心領域画像ＲＯＩに対応する画像ＩＩＭＧ内の関心領域を、関心領域画像と同様の符号（ＲＯＩ等）で示す。

ここで、関心領域情報ＣＩＮＦが示す関心領域の位置（座標）等は、画像ＩＩＭＧを縮小した画像（ローカルデコード画像ＬＤＥＣ１）を基準にした値である。このため、切り出し部３４は、画像ＩＩＭＧから関心領域ＲＯＩを切り出す際、関心領域情報ＣＩＮＦが示す関心領域の位置（座標）等を画像ＩＩＭＧの画像サイズに合わせた値に補正する。例えば、切り出し部３４は、縮小画像ＲＩＭＧの水平方向および垂直方向のそれぞれの縮小率が１／２倍のとき、関心領域情報ＣＩＮＦが示す関心領域の座標を、水平方向および垂直方向にそれぞれ２倍する。

切り出し部３４は、画像ＩＩＭＧから切り出した関心領域ＲＯＩの画像データＲＯＩ（以下、関心領域画像データＲＯＩとも称する）を、画像合成部３６に出力する。なお、切り出し部３４は、関心領域画像データＲＯＩをメモリ５０に書き込んでもよい。このときには、画像合成部３６は、関心領域画像データＲＯＩをメモリ５０から読み出す。

画像合成部３６は、切り出し部３４から受けた関心領域画像データＲＯＩに基づいて、関心画像データＳＩＭＧを生成する。そして、画像合成部３６は、関心画像データＳＩＭＧをメモリ５０に書き込む。なお、関心画像ＳＩＭＧは、例えば、縮小画像ＲＩＭＧと同様の画像サイズになるように生成される。例えば、画像合成部３６は、切り出し部３４により切り出された関心領域画像ＲＯＩの画素を、画像ＩＭＧに対する縮小画像ＲＩＭＧの縮小率に対応する間引き率で間引く。これにより、関心領域画像（例えば、図３に示す関心領域画像ＳＲＯＩ）は、縮小画像ＲＩＭＧ内の関心領域と同様の画像サイズに生成される。この際、画像合成部３６は、例えば、間引き対象の画素が異なる複数の関心領域画像を生成する。

例えば、画像合成部３６は、縮小画像ＲＩＭＧの水平方向および垂直方向のそれぞれの縮小率が１／２倍のとき、関心領域画像ＲＯＩの画素を４つのサンプリング位相で間引いてサンプリングする。これにより、関心領域画像ＲＯＩは、図３に示すように、４つのサンプリング位相の画像（関心領域画像ＳＲＯＩａ、ＳＲＯＩｂ、ＳＲＯＩｃ、ＳＲＯＩｄ）に分割される。なお、複数の関心領域ＲＯＩが検出されたときには、画像合成部３６は、各関心領域画像ＲＯＩに対して、上述の分割処理（異なるサンプリング位相を用いた間引きサンプリング）を実行する。

そして、画像合成部３６は、分割した関心領域画像を組み合わせて、関心画像データＳＩＭＧを生成する。分割された関心領域画像は、例えば、図４に示すように、１つの関心画像ＳＩＭＧに割り付けられる。あるいは、分割された関心領域画像は、例えば、図５や図６に示すように、複数の関心画像ＳＩＭＧに割り付けられてもよい。

画像符号化部４０は、第１符号化部４２、第２符号化部４４およびストリーム合成部４６を有している。第１符号化部４２は、縮小画像データＲＩＭＧをメモリ５０から読み出し、縮小画像データＲＩＭＧを符号化して圧縮ストリームＣＳＴ１を生成する。例えば、第１符号化部４２は、Ｈ．２６４のＭＶＣに準拠した符号化方式で、縮小画像データＲＩＭＧをベースビューのフレームとして符号化する。そして、第１符号化部４２は、縮小画像データＲＩＭＧを符号化して生成した圧縮ストリームＣＳＴ１を、ストリーム合成部４６に出力する。

なお、第１符号化部４２は、縮小画像データＲＩＭＧの符号化処理中に生成したローカルデコード画像データＬＤＥＣ１を、メモリ５０に書き込む。例えば、第１符号化部４２は、縮小画像データＲＩＭＧの符号化処理時に、ローカルデコード画像データＬＤＥＣ１を参照画像として必要に応じて使用する。

第２符号化部４４は、関心画像データＳＩＭＧをメモリ５０から読み出し、関心画像データＳＩＭＧを符号化して圧縮ストリームＣＳＴ２を生成する。例えば、第２符号化部４４は、Ｈ．２６４のＭＶＣに準拠した符号化方式で、関心画像データＳＩＭＧを非ベースビューのフレームとして符号化する。そして、第２符号化部４２は、関心画像データＳＩＭＧを符号化して生成した圧縮ストリームＣＳＴ２を、ストリーム合成部４６に出力する。

なお、第２符号化部４２は、関心画像データＳＩＭＧの符号化処理中に生成したローカルデコード画像データＬＤＥＣ２を、メモリ５０に書き込む。例えば、第２符号化部４４は、関心画像データＳＩＭＧの符号化処理時に、ローカルデコード画像データＬＤＥＣ２を参照画像として必要に応じて使用する。ローカルデコード画像データＬＤＥＣ２は、関心画像データＳＩＭＧの符号化データを復号した画像データである。

また、第２符号化部４４は、関心画像データＳＩＭＧの符号化処理時に、ローカルデコード画像データＬＤＥＣ１をビュー間予測の参照画像として必要に応じて使用する。例えば、第２符号化部４４は、ビュー間予測を実行するとき、ローカルデコード画像データＬＤＥＣ１をメモリ５０から読み出す。

ストリーム合成部４６は、第１符号化部４２で生成された圧縮ストリームＣＳＴ１および第２符号化部４４で生成された圧縮ストリームＣＳＴ２を受け、圧縮ストリームＣＳＴ１、ＣＳＴ２をＨ．２６４のＭＶＣに準拠した形式で合成する。そして、ストリーム合成部４６は、圧縮ストリームＣＳＴ１、ＣＳＴ２を合成した圧縮ストリームＳＴＲＭを、図１に示したストリーム記憶部１００等に出力する。

なお、動画像符号化装置１０の構成は、この例に限定されない。例えば、ストリーム合成部４６は、圧縮ストリームＣＳＴ１、ＣＳＴ２を第１符号化部４２および第２符号化部４４からメモリ５０を介して受けてもよい。このときには、第１符号化部４２は、圧縮ストリームＣＳＴ１をメモリ５０に書き込み、第２符号化部４４は、圧縮ストリームＣＳＴ２をメモリ５０に書き込む。

図３は、関心領域画像ＲＯＩの分割の一例を示している。なお、図３は、縮小画像ＲＩＭＧの水平方向および垂直方向のそれぞれの縮小率が１／２倍のときの関心領域画像ＲＯＩの分割の一例を示している。図３の左側に示した関心領域画像ＲＯＩは、切り出し部３４により画像ＩＩＭＧから切り出された関心領域ＲＯＩである。画素Ｐａ、Ｐｂ、Ｐｃ、Ｐｄは、４つのサンプリング位相Ａ、Ｂ、Ｃ、Ｄでサンプリングされるそれぞれの画素Ｐを示している。なお、図３では、左側に示した関心領域画像ＲＯＩの一番上の行を奇数番目の行とし、一番左の列を奇数番目の列として、各画素Ｐの位置を説明する。

例えば、関心領域画像ＲＯＩの奇数行でかつ奇数列の画素Ｐａは、サンプリング位相Ａでサンプリングされる。これにより、サンプリング位相Ａの関心領域画像ＳＲＯＩａが生成される。すなわち、画像合成部３６は、関心領域画像ＲＯＩの画素Ｐ（Ｐａ）をサンプリング位相Ａで間引きサンプリングすることにより、関心領域画像ＲＯＩを水平方向および垂直方向に１／２倍した関心領域画像ＳＲＯＩａを生成する。

関心領域画像ＲＯＩの奇数行でかつ偶数列の画素Ｐｂは、例えば、サンプリング位相Ｂでサンプリングされる。これにより、サンプリング位相Ｂの関心領域画像ＳＲＯＩｂが生成される。すなわち、画像合成部３６は、関心領域画像ＲＯＩの画素Ｐ（Ｐｂ）をサンプリング位相Ｂで間引きサンプリングすることにより、関心領域画像ＲＯＩを水平方向および垂直方向に１／２倍した関心領域画像ＳＲＯＩｂを生成する。

関心領域画像ＲＯＩの偶数行でかつ奇数列の画素Ｐｃは、例えば、サンプリング位相Ｃでサンプリングされる。これにより、サンプリング位相Ｃの関心領域画像ＳＲＯＩｃが生成される。すなわち、画像合成部３６は、関心領域画像ＲＯＩの画素Ｐ（Ｐｃ）をサンプリング位相Ｃで間引きサンプリングすることにより、関心領域画像ＲＯＩを水平方向および垂直方向に１／２倍した関心領域画像ＳＲＯＩｃを生成する。

関心領域画像ＲＯＩの偶数行でかつ偶数列の画素Ｐｄは、例えば、サンプリング位相Ｄでサンプリングされる。これにより、サンプリング位相Ｄの関心領域画像ＳＲＯＩｄが生成される。すなわち、画像合成部３６は、関心領域画像ＲＯＩの画素Ｐ（Ｐｄ）をサンプリング位相Ｃで間引きサンプリングすることにより、関心領域画像ＲＯＩを水平方向および垂直方向に１／２倍した関心領域画像ＳＲＯＩｄを生成する。

このように、画像合成部３６は、縮小画像ＲＩＭＧの水平方向および垂直方向のそれぞれの縮小率が１／２倍のとき、関心領域画像ＲＯＩを４つの関心領域画像ＳＲＯＩａ、ＳＲＯＩｂ、ＳＲＯＩｃ、ＳＲＯＩｄに分割する。なお、関心領域画像ＲＯＩを関心領域画像ＳＲＯＩａ、ＳＲＯＩｂ、ＳＲＯＩｃ、ＳＲＯＩｄに分割する際の間引き率は、縮小画像ＲＩＭＧの縮小率に対応している。これにより、この実施形態では、関心領域画像ＳＲＯＩａ、ＳＲＯＩｂ、ＳＲＯＩｃ、ＳＲＯＩｄを、縮小画像ＲＩＭＧと同様の解像度にできる。

図４は、関心領域画像ＲＯＩの割り付けの一例を示している。なお、図４は、縮小画像ＲＩＭＧの水平方向および垂直方向のそれぞれの縮小率が１／２倍のときの関心領域画像ＲＯＩの割り付けの一例を示している。図４の破線は、マクロブロック（１６×１６画素）の境界を示している。図４の例では、入力画像ＩＩＭＧから２つの関心領域ＲＯＩ１、ＲＯＩ２が検出されている。縮小画像ＲＩＭＧ内の関心領域ＲＲＯＩ１、ＲＲＯＩ２は、入力画像ＩＩＭＧ内の関心領域ＲＯＩ１、ＲＯＩ２を縮小した画像にそれぞれ対応している。

関心画像ＳＩＭＧ内の関心領域ＳＲＯＩ１ａ、ＳＲＯＩ１ｂ、ＳＲＯＩ１ｃ、ＳＲＯＩ１ｄは、入力画像ＩＩＭＧから切り出された関心領域ＲＯＩ１をサンプリング位相Ａ、Ｂ、Ｃ、Ｄでサンプリングしたときの画像である。また、関心画像ＳＩＭＧ内の関心領域ＳＲＯＩ２ａ、ＳＲＯＩ２ｂ、ＳＲＯＩ２ｃ、ＳＲＯＩ２ｄは、入力画像ＩＩＭＧから切り出された関心領域ＲＯＩ２をサンプリング位相Ａ、Ｂ、Ｃ、Ｄでサンプリングしたときの画像である。

なお、各関心領域ＲＯＩ（ＲＯＩ１、ＲＯＩ２等）は、例えば、各サンプリング位相の関心領域画像ＳＲＯＩ（ＳＲＯＩ１ａ−ＳＲＯＩ１ｄ、ＳＲＯＩ２ａ−ＳＲＯＩ２ｄ等）をマクロブロック単位で処理できるように、入力画像ＩＩＭＧから切り出される。例えば、関心領域ＲＯＩ１は、各サンプリング位相の関心領域画像ＳＲＯＩ１ａ、ＳＲＯＩ１ｂ、ＳＲＯＩ１ｃ、ＳＲＯＩ１ｄのサイズがマクロブロックのサイズの倍数になるように、入力画像ＩＩＭＧから切り出される。同様に、関心領域ＲＯＩ２は、各サンプリング位相の関心領域画像ＳＲＯＩ２ａ、ＳＲＯＩ２ｂ、ＳＲＯＩ２ｃ、ＳＲＯＩ２ｄのサイズがマクロブロックのサイズの倍数になるように、入力画像ＩＩＭＧから切り出される。

図４の例では、縮小画像ＲＩＭＧ内の関心領域ＲＲＯＩ１および関心画像ＳＩＭＧ内の関心領域ＳＲＯＩ１ａ、ＳＲＯＩ１ｂ、ＳＲＯＩ１ｃ、ＳＲＯＩ１ｄのサイズは、３２×３２画素である。また、縮小画像ＲＩＭＧ内の関心領域ＲＲＯＩ２および関心画像ＳＩＭＧ内の関心領域ＳＲＯＩ２ａ、ＳＲＯＩ２ｂ、ＳＲＯＩ２ｃ、ＳＲＯＩ２ｄのサイズは、４８×４８画素である。

関心領域ＲＯＩを分割した関心領域画像ＳＲＯＩは、１つの精細な関心領域ＲＯＩの画像データとなるように、例えば、１つの関心画像ＳＩＭＧ内にまとめて配置される。例えば、関心領域画像ＳＲＯＩ１がまとめて配置されているブロックでは、サンプリング位相Ａ、Ｂ、Ｃ、Ｄの関心領域画像ＳＲＯＩ１ａ、ＳＲＯＩ１ｂ、ＳＲＯＩ１ｃ、ＳＲＯＩ１ｄは、左上、右上、左下、右下にそれぞれ配置されている。

このように、関心画像生成部３０は、入力画像ＩＩＭＧから切り出した関心領域ＲＯＩを分割して、１つの関心画像ＳＩＭＧ内に割り付ける。すなわち、関心画像生成部３０は、複数の関心領域画像ＳＲＯＩ１を共通の関心画像ＳＩＭＧに割り付け、複数の関心領域画像ＳＲＯＩ１が割り付けられた関心画像ＳＩＭＧに対応する関心画像データＳＩＭＧを生成する。

なお、複数の関心領域ＲＯＩが検出されたときには、例えば、関心領域ＲＯＩを分割した関心領域画像ＳＲＯＩをまとめたブロック（ＳＲＯＩ１ａ−ＳＲＯＩ１ｄのブロック、ＳＲＯＩ２ａ−ＳＲＯＩ２ｄのブロック等）が、関心領域画像ＲＯＩ毎に左上から順に配置される。すなわち、複数の関心領域ＲＯＩが検出されたときにも、各関心領域ＲＯＩを分割した関心領域画像ＳＲＯＩは、各関心領域ＲＯＩを精細に表示する画像データとなるように、１つの関心画像ＳＩＭＧ内に割り付けられる。

また、関心画像生成部３０は、例えば、検出された複数の関心領域ＲＯＩのサイズの総和が関心画像ＳＩＭＧのサイズより大きいとき、各関心領域ＲＯＩに優先順位を付ける。そして、関心画像生成部３０は、優先順位の高い関心領域ＲＯＩから順に、分割した関心領域画像ＳＲＯＩを関心画像ＳＩＭＧ内に割り付ける。関心画像ＳＩＭＧ内に割り付けられなかった関心領域ＲＯＩ（相対的に優先順位の低い関心領域ＲＯＩ）は、精細に復号可能な関心領域ＲＯＩの候補から外れる。

この実施形態では、関心画像生成部３０により割り付けられる関心領域画像ＳＲＯＩの配置は、検出された関心領域ＲＯＩに対して一意的に決まる。これにより、動画像再生装置１１０は、例えば、縮小画像ＲＤＩＭＧ（縮小画像データＲＩＭＧの符号化データを復号した画像）内の関心領域ＲＲＯＩ（ＲＲＯＩ１、ＲＲＯＩ２等）を検出することにより、関心画像ＳＤＩＭＧ内の関心領域画像ＳＲＯＩの配置を認識できる。

関心画像ＳＩＭＧ内の関心領域画像ＳＲＯＩ以外の領域は、復号側で必要とされない領域であるため、どのような画像を挿入してもよい。例えば、関心画像ＳＩＭＧ内の関心領域画像ＳＲＯＩ以外の領域は、縮小画像ＲＩＭＧの対応する位置の画像のコピーでもよいし、固定色（単色）の画像でもよい。この実施形態では、関心画像ＳＩＭＧ内の関心領域画像ＳＲＯＩ以外の領域を縮小画像ＲＩＭＧの対応する位置の画像のコピー等にすることにより、関心画像ＳＩＭＧ内の関心領域画像ＲＯＩ以外の領域の画像データの圧縮率を高くすることができる。

また、この実施形態では、図３で説明したように、関心領域画像ＳＲＯＩは、縮小画像ＲＩＭＧの縮小率に対応する間引き率で、関心領域画像ＲＯＩの画素を間引いて生成される。これにより、関心領域画像ＳＲＯＩのサイズおよび解像度は、縮小画像ＲＩＭＧのサイズおよび解像度と同様になる。ここで、例えば、入力画像ＩＩＭＧ内の関心領域ＲＯＩがそのままコピーされた関心画像ＳＩＭＧでは、縮小画像ＲＩＭＧを参照しても、関心領域のサイズや解像度が異なるため、圧縮率向上は、見込めない。

これに対し、この実施形態では、上述したように、各関心領域画像ＳＲＯＩのサイズや解像度は、各関心領域画像ＳＲＯＩに対応する縮小画像ＲＩＭＧ内の各関心領域ＲＲＯＩのサイズや解像度と同様である。このため、この実施形態では、関心画像ＳＩＭＧと縮小画像ＲＩＭＧとのビュー間での予測が当たる確率を向上できる。この結果、この実施形態では、関心領域画像ＳＲＯＩを符号化する際の圧縮率を高くすることができ、データ量の増加を抑制できる。

さらに、この実施形態では、関心画像ＳＩＭＧ内の各関心領域画像ＳＲＯＩと縮小画像ＲＩＭＧ内の各関心領域ＲＲＯＩとの位置関係が分っているため、動きベクトルを求める際の探索範囲を狭くできる。これにより、この実施形態では、動きベクトルの探索処理を効率よく実行できる。

なお、各サンプリング位相Ａ、Ｂ、Ｃ、Ｄの関心領域画像ＳＲＯＩの配置は、この例に限定されない。例えば、サンプリング位相Ａ、Ｂ、Ｃ、Ｄの関心領域画像ＳＲＯＩ１ａ、ＳＲＯＩ１ｂ、ＳＲＯＩ１ｃ、ＳＲＯＩ１ｄは、左側から右側に順に配置されてもよい。また、例えば、縮小画像ＲＩＭＧが画素の間引きにより生成されているときには、縮小画像ＲＩＭＧを生成したときのサンプリング位相に対応するサンプリング位相の関心領域画像ＳＲＯＩは、関心画像ＳＩＭＧ内に割り付けられなくてもよい。

あるいは、画像合成部３６は、縮小画像ＲＩＭＧの縮小率に応じて算出される複数のサンプリング位相から少なくとも１つのサンプリング位相を選択して、選択したサンプリング位相の関心領域画像ＳＲＯＩのみを関心画像ＳＩＭＧ内に割り付けてもよい。このときには、縮小画像ＲＩＭＧの縮小率に応じて算出される全てのサンプリング位相の関心領域画像ＳＲＯＩを関心画像ＳＩＭＧ内に割り付けるときに比べて、データ量を低減できる。

関心画像ＳＩＭＧ内に割り付ける関心領域画像ＳＲＯＩを選択する動画像処理システムＳＹＳでは、動画像再生装置１１０は、例えば、選択されなかったサンプリング位相に対応する画素Ｐを、選択されたサンプリング位相に対応する画素Ｐを用いて補間する。このときにも、関心領域ＲＯＩに関する画像情報は、縮小画像ＲＩＭＧのみを使用するときに比べて多くなるため、縮小画像ＲＩＭＧのみを使用するときに比べて高精細な関心領域ＲＯＩを表示できる。

図５は、関心領域画像ＲＯＩの割り付けの別の例を示している。なお、図５は、縮小画像ＲＩＭＧの水平方向および垂直方向のそれぞれの縮小率が１／２倍のときの関心領域画像ＲＯＩの割り付けの一例を示している。図５の破線の意味は、図４と同様である。入力画像ＩＩＭＧおよび縮小画像ＲＩＭＧは、図４の例と同様である。例えば、入力画像ＩＩＭＧから２つの関心領域ＲＯＩ１、ＲＯＩ２が検出されている。

図５の例では、縮小画像ＲＩＭＧの縮小率に応じて算出される複数のサンプリング位相の関心領域画像ＳＲＯＩは、共通の時刻の複数の関心画像ＳＩＭＧにそれぞれ割り付けられる。関心画像ＳＩＭＧａ、ＳＩＭＧｂ、ＳＩＭＧｃ、ＳＩＭＧｄは、共通の時刻の関心画像ＳＩＭＧである。例えば、関心画像ＳＩＭＧａ、ＳＩＭＧｂ、ＳＩＭＧｃ、ＳＩＭＧｄは、互いに異なる系列の非ベースビューのフレームとしてそれぞれ符号化される。

例えば、４つのサンプリング位相の関心領域画像ＳＲＯＩ１ａ、ＳＲＯＩ１ｂ、ＳＲＯＩ１ｃ、ＳＲＯＩ１ｄは、４つの関心画像ＳＩＭＧａ、ＳＩＭＧｂ、ＳＩＭＧｃ、ＳＩＭＧｄにそれぞれ割り付けられる。なお、各関心画像ＳＩＭＧ内の関心領域画像ＳＲＯＩ１は、例えば、縮小画像ＲＩＭＧ内の関心領域ＲＲＯＩ１に対応する位置（例えば、同じ座標）に配置される。同様に、関心領域画像ＳＲＯＩ２ａ、ＳＲＯＩ２ｂ、ＳＲＯＩ２ｃ、ＳＲＯＩ２ｄは、縮小画像ＲＩＭＧ内の関心領域ＲＲＯＩ２に対応する位置（例えば、同じ座標）で、関心画像ＳＩＭＧａ、ＳＩＭＧｂ、ＳＩＭＧｃ、ＳＩＭＧｄにそれぞれ割り付けられる。

このように、関心画像生成部３０は、複数のサンプリング位相の関心領域画像ＳＲＯＩを、各関心画像ＳＩＭＧに１位相ずつ割り付ける。関心画像ＳＩＭＧ内の関心領域画像ＳＲＯＩ以外の領域は、例えば、縮小画像ＲＩＭＧの対応する位置の画像をコピーした画像である。このときには、関心画像ＳＩＭＧ内の関心領域画像ＳＲＯＩ以外の領域で、ローカルデコード画像ＬＤＥＣ１（縮小画像データＲＩＭＧの符号化データを復号した画像データ）を参照画像としたビュー間予測での差分値および動きベクトルをほぼゼロにできる。なお、関心画像ＳＩＭＧ内の関心領域画像ＳＲＯＩ以外の領域は、例えば、固定色（単色）の画像でもよい。このときにも、関心画像ＳＩＭＧ内の関心領域画像ＲＯＩ以外の領域の画像データの圧縮率を高くすることができる。

このように、図５に示した方法においても、図４に示した方法と同様の効果を得ることができる。例えば、図５に示した方法においても、関心画像ＳＩＭＧと縮小画像ＲＩＭＧとのビュー間での予測が当たる確率を向上できる。また、図５に示した方法においても、動きベクトルを求める際の探索範囲を狭くでき、動きベクトルの探索処理を効率よく実行できる。

さらに、図５に示した方法では、関心画像ＳＩＭＧ内の関心領域画像ＳＲＯＩの座標（位置）が縮小画像ＲＩＭＧ内の関心領域ＲＲＯＩの座標（位置）と等しくなるように、関心領域画像ＳＲＯＩが関心画像ＳＩＭＧに割り付けられる。このため、図５に示した方法では、動きベクトルの符号量を図４に示した方法に比べて低減できる。

なお、各サンプリング位相Ａ、Ｂ、Ｃ、Ｄの関心領域画像ＳＲＯＩの配置は、この例に限定されない。例えば、縮小画像ＲＩＭＧが画素の間引きにより生成されているときには、縮小画像ＲＩＭＧを生成したときのサンプリング位相に対応するサンプリング位相の関心領域画像ＳＲＯＩは、関心画像ＳＩＭＧ内に割り付けられなくてもよい。このときには、縮小画像ＲＩＭＧの縮小率に応じて算出される複数のサンプリング位相にそれぞれ対応する関心画像ＳＩＭＧを生成するときに比べて、共通の時刻の関心画像ＳＩＭＧの数を低減でき、圧縮ストリームＳＴＲＭのデータ量を低減できる。

また、例えば、画像合成部３６は、縮小画像ＲＩＭＧの縮小率に応じて算出される複数のサンプリング位相から少なくとも１つのサンプリング位相を選択して、選択したサンプリング位相の関心領域画像ＳＲＯＩのみを関心画像ＳＩＭＧ内に割り付けてもよい。このときにも、縮小画像ＲＩＭＧの縮小率に応じて算出される複数のサンプリング位相にそれぞれ対応する関心画像ＳＩＭＧを生成するときに比べて、共通の時刻の関心画像ＳＩＭＧの数を低減でき、圧縮ストリームＳＴＲＭのデータ量を低減できる。

図６は、関心領域画像ＲＯＩの割り付けの別の例を示している。なお、図６は、縮小画像ＲＩＭＧの水平方向および垂直方向のそれぞれの縮小率が１／２倍のときの関心領域画像ＲＯＩの割り付けの一例を示している。図６の各フレーム時刻ｔ（ｔ０、ｔ１、ｔ２、ｔ３、・・・）は、例えば、縮小画像ＲＩＭＧ等に対応付けられた時刻を示している。図６では、各フレーム時刻ｔ（ｔ０、ｔ１、ｔ２、ｔ３、・・・）に対応する縮小画像ＲＩＭＧおよび関心画像ＳＩＭＧには、フレーム時刻ｔの符号の末尾の数字を、符号の末尾に付している。例えば、縮小画像ＲＩＭＧ０および関心画像ＳＩＭＧ０は、フレーム時刻ｔ０の縮小画像ＲＩＭＧおよび関心画像ＳＩＭＧである。

また、図６では、入力画像ＩＩＭＧの記載を省略している。例えば、縮小画像ＲＩＭＧ０および関心画像ＳＩＭＧ０に対応する時刻（フレーム時刻ｔ０）の入力画像ＩＩＭＧは、図４に示した入力画像ＩＩＭＧと同様である。したがって、縮小画像ＲＩＭＧ０は、図４に示した縮小画像ＲＩＭＧと同様である。また、図６の破線の意味は、図４と同様である。なお、図６の関心画像ＳＩＭＧ１、ＳＩＭＧ２、ＳＩＭＧ３では、図を見やすくするために、破線の記載を省略している。

図６の例では、１つの関心画像ＳＩＭＧは、複数の領域ＡＲ（ＡＲ０−ＡＲ３）に分けられ、複数の領域ＡＲは、縮小画像ＲＩＭＧの異なる時刻の複数のフレーム（画像）にそれぞれ対応している。例えば、縮小画像ＲＩＭＧの縮小率に応じて算出される複数のサンプリング位相の関心領域画像ＳＲＯＩは、異なるフレーム時刻ｔの複数の関心画像ＳＩＭＧの所定の領域ＡＲにそれぞれ割り付けられる。すなわち、関心画像生成部３０は、複数のサンプリング位相の関心領域画像ＳＲＯＩを、異なるフレーム時刻ｔの複数の関心画像ＳＩＭＧに１位相ずつ割り付ける。

例えば、関心画像ＳＩＭＧ内の左上の領域ＡＲ０には、フレーム時刻ｔ０、ｔ４、ｔ８、・・・の入力画像ＩＩＭＧ内の関心領域ＲＯＩを分割した関心領域画像ＳＲＯＩ（ＳＯＩ１０ａ等）が割り付けられる。また、関心画像ＳＩＭＧ内の右上の領域ＡＲ１には、例えば、フレーム時刻ｔ１、ｔ５、ｔ９、・・・の入力画像ＩＩＭＧ内の関心領域ＲＯＩを分割した関心領域画像ＳＲＯＩ（ＳＯＩ１１ａ等）が割り付けられる。

そして、関心画像ＳＩＭＧ内の左下の領域ＡＲ２には、例えば、フレーム時刻ｔ２、ｔ６、ｔ１０、・・・の入力画像ＩＩＭＧ内の関心領域ＲＯＩを分割した関心領域画像ＳＲＯＩ（ＳＯＩ１２ａ等）が割り付けられる。また、関心画像ＳＩＭＧ内の右下の領域ＡＲ３には、例えば、フレーム時刻ｔ３、ｔ９、ｔ１１、・・・の入力画像ＩＩＭＧ内の関心領域ＲＯＩを分割した関心領域画像ＳＲＯＩ（ＳＯＩ１３ａ等）が割り付けられる。

すなわち、フレーム時刻ｔ０の入力画像ＩＩＭＧの関心領域ＲＯＩを分割したサンプリング位相Ａの関心領域画像ＳＲＯＩ１０ａ、ＳＲＯＩ２０ａは、フレーム時刻ｔ０の関心画像ＳＩＭＧ０の領域ＡＲ０に割り付けられる。そして、サンプリング位相Ｂの関心領域画像ＳＲＯＩ１０ｂ、ＳＲＯＩ２０ｂは、フレーム時刻ｔ１の関心画像ＳＩＭＧ１の領域ＡＲ０に割り付けられる。サンプリング位相Ｃの関心領域画像ＳＲＯＩ１０ｃ、ＳＲＯＩ２０ｃは、フレーム時刻ｔ２の関心画像ＳＩＭＧ２の領域ＲＡ０に割り付けられる。サンプリング位相Ｄの関心領域画像ＳＲＯＩ１０ｄ、ＳＲＯＩ２０ｄは、フレーム時刻ｔ３の関心画像ＳＩＭＧ３の領域ＲＡ０に割り付けられる。

同様に、フレーム時刻ｔ１の入力画像ＩＩＭＧの関心領域ＲＯＩを分割したサンプリング位相Ａ、Ｂ、Ｃ、Ｄの関心領域画像ＳＲＯＩは、フレーム時刻ｔ１−ｔ４の関心画像ＳＩＭＧの領域ＲＡ１にそれぞれ割り付けられる。そして、フレーム時刻ｔ２の入力画像ＩＩＭＧの関心領域ＲＯＩを分割したサンプリング位相Ａ、Ｂ、Ｃ、Ｄの関心領域画像ＳＲＯＩは、フレーム時刻ｔ２−ｔ５の関心画像ＳＩＭＧの領域ＲＡ２にそれぞれ割り付けられる。また、フレーム時刻ｔ３の入力画像ＩＩＭＧの関心領域ＲＯＩを分割したサンプリング位相Ａ、Ｂ、Ｃ、Ｄの関心領域画像ＳＲＯＩは、フレーム時刻ｔ３−ｔ６の関心画像ＳＩＭＧの領域ＲＡ３にそれぞれ割り付けられる。

各フレーム時刻ｔの関心画像ＳＩＭＧ内の関心領域画像ＳＲＯＩ以外の領域は、例えば、各フレーム時刻ｔの縮小画像ＲＩＭＧの対応する位置の画像のコピーでもよいし、固定色（単色）の画像でもよい。図６に示した方法においても、図４に示した方法と同様の効果を得ることができる。例えば、図６に示した方法においても、関心画像ＳＩＭＧと縮小画像ＲＩＭＧとのビュー間での予測が当たる確率を向上できる。また、図６に示した方法においても、動きベクトルを求める際の探索範囲を狭くでき、動きベクトルの探索処理を効率よく実行できる。

さらに、図６に示した方法では、関心画像ＳＩＭＧのフレーム間予測（インター予測）で、共通の入力画像ＩＩＭＧから生成された異なるサンプリング位相の関心領域画像ＳＲＯＩを参照することも可能である。例えば、図６に示した方法では、関心画像ＳＩＭＧ１の関心領域画像ＳＲＯＩ１０ｂを符号化する際に、関心画像ＳＩＭＧ０の関心領域画像ＳＲＯＩ１０ａを参照できる。このため、図６に示した方法では、ビュー間予測とフレーム間予測とで圧縮率の高い方の予測を選択でき、圧縮率を向上できる。

なお、各サンプリング位相Ａ、Ｂ、Ｃ、Ｄの関心領域画像ＳＲＯＩの配置は、この例に限定されない。例えば、縮小画像ＲＩＭＧが画素の間引きにより生成されているときには、縮小画像ＲＩＭＧを生成したときのサンプリング位相に対応するサンプリング位相の関心領域画像ＳＲＯＩは、関心画像ＳＩＭＧ内に割り付けられなくてもよい。また、例えば、画像合成部３６は、縮小画像ＲＩＭＧの縮小率に応じて算出される複数のサンプリング位相から少なくとも１つのサンプリング位相を選択して、選択したサンプリング位相の関心領域画像ＳＲＯＩのみを関心画像ＳＩＭＧ内に割り付けてもよい。

図７は、符号化の際のフレームの参照関係の一例を示している。なお、図７は、Ｈ．２６４のＭＶＣに準拠した符号化方式で符号化するときのフレームの参照関係の一例を示している。図中の括弧内のＩ、Ｐは、それぞれＩフレーム、Ｐフレームを示している。動画像符号化装置１０は、例えば、縮小画像ＲＩＭＧをベースビューのフレームとして処理し、関心画像ＳＩＭＧを非ベースビューのフレームとして処理する。

ベースビューとして処理される縮小画像ＲＩＭＧのＩフレームは、例えば、フレーム内予測（イントラ予測）を用いて符号化される。また、縮小画像ＲＩＭＧのＰフレームは、フレーム間予測を用いて符号化される。非ベースビューとして処理される関心画像ＳＩＭＧのＰフレームは、例えば、非ベースビューのフレームを参照するフレーム間予測やベースビューの対応するフレームを参照するビュー間予測を用いて符号化される。動画像符号化装置１０は、ビュー間予測を用いることにより、符号量の大きいＩフレームを用いずに、非ベースビューの関心画像ＳＩＭＧを符号化できる。この結果、この実施形態では、圧縮ストリームＳＴＲＭのデータ量の増加を抑制できる。

図８は、図２に示した動画像符号化装置１０の動作の一例を示している。図８の動作は、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。例えば、動画像処理プログラム等のソフトウエアは、コンピュータに図８の動作を実行させる。

処理Ｓ１００では、動画像符号化装置１０は、入力画像ＩＩＭＧを取得する。例えば、動画像符号化装置１０は、デジタルビデオカメラ等により撮影された画像ＩＩＭＧの画像データＩＩＭＧをメモリ５０に順次記憶する。

処理Ｓ１１０では、縮小画像生成部２０は、入力画像ＩＩＭＧの縮小画像ＲＩＭＧを生成する。例えば、縮小画像生成部２０は、画像データＩＩＭＧをメモリ５０から読み出し、画像ＩＩＭＧを予め設定された縮小率で縮小して縮小画像データＲＩＭＧを生成する。縮小画像データＲＩＭＧは、例えば、メモリ５０に記憶される。

処理Ｓ１２０では、第１符号化部４２は、処理Ｓ１１０で生成された縮小画像ＲＩＭＧをベースビューのフレームとして符号化する。例えば、第１符号化部４２は、縮小画像データＲＩＭＧをメモリ５０から読み出し、縮小画像データＲＩＭＧを符号化して圧縮ストリームＣＳＴ１を生成する。なお、縮小画像データＲＩＭＧの符号化処理中に生成されたローカルデコード画像データＬＤＥＣ１は、例えば、メモリ５０に記憶される。メモリ５０に記憶されたローカルデコード画像データＬＤＥＣ１は、必要に応じて参照画像として使用される。例えば、第１符号化部４２は、フレーム間予測を実行するとき、ローカルデコード画像データＬＤＥＣ１をメモリ５０から読み出す。

処理Ｓ１３０では、関心領域検出部３２は、処理Ｓ１２０の符号化処理中に生成されたローカルデコード画像ＬＤＥＣ１を用いて、関心領域を検出する。例えば、関心領域検出部３２は、ローカルデコード画像データＬＤＥＣ１をメモリ５０から読み出し、顔検出のアルゴリズム等を用いて関心領域を検出する。

処理Ｓ１４０では、切り出し部３４は、処理Ｓ１３０の検出結果に基づいて、入力画像ＩＩＭＧから関心領域ＲＯＩを切り出す。例えば、切り出し部３４は、入力画像データＩＩＭＧをメモリ５０から読み出し、処理Ｓ１３０で検出された関心領域に対応する関心領域画像データＲＯＩを入力画像データＩＩＭＧから抽出する。なお、切り出し部３４は、図２で説明したように、関心領域画像データＲＯＩを入力画像データＩＩＭＧから抽出する際、処理Ｓ１３０で検出された関心領域ＲＯＩに関する情報（座標等）を入力画像ＩＩＭＧの画像サイズに合わせた値に補正している。すなわち、切り出し部３４は、処理Ｓ１３０の検出結果に基づいて、入力画像ＩＩＭＧ内の関心領域ＲＯＩの位置を算出する。

処理Ｓ１５０では、画像合成部３６は、処理Ｓ１４０で切り出された関心領域ＲＯＩを複数のサンプリング位相の関心領域画像ＳＲＯＩに分割し、分割した関心領域画像ＳＲＯＩを合成する。これにより、関心領域画像ＳＲＯＩの合成画像である関心画像ＳＩＭＧが生成される。例えば、画像合成部３６は、図４−図６に示した関心領域画像ＲＯＩの割り付け方法の１つを用いて、関心画像ＳＩＭＧを生成する。なお、画像合成部３６は、図４−図６に示した関心領域画像ＲＯＩの割り付け方法以外の方法を用いて、関心画像ＳＩＭＧを生成してもよい。関心領域画像ＳＲＯＩは、例えば、メモリ５０に記憶される。

処理Ｓ１６０では、第２符号化部４４は、処理Ｓ１５０で生成された合成画像（関心画像ＳＩＭＧ）を非ベースビューのフレームとして符号化する。例えば、第２符号化部４４は、関心画像データＳＩＭＧをメモリ５０から読み出し、関心画像データＳＩＭＧを符号化して圧縮ストリームＣＳＴ２を生成する。なお、関心画像データＳＩＭＧの符号化処理中に生成されたローカルデコード画像データＬＤＥＣ２は、例えば、メモリ５０に記憶される。

メモリ５０に記憶されたローカルデコード画像データＬＤＥＣ１、ＬＤＥＣ２は、必要に応じて参照画像として使用される。例えば、第２符号化部４４は、非ベースビューのフレームを参照するフレーム間予測を実行するとき、ローカルデコード画像データＬＤＥＣ２をメモリ５０から読み出す。また、例えば、第２符号化部４４は、ビュー間予測を実行するとき、ローカルデコード画像データＬＤＥＣ１をメモリ５０から読み出す。

処理Ｓ１７０では、ストリーム合成部４６は、処理Ｓ１２０で生成された圧縮ストリームＣＳＴ１と処理Ｓ１６０で生成された圧縮ストリームＣＳＴ２とを合成し、圧縮ストリームＳＴＲＭを生成する。すなわち、圧縮ストリームＳＴＲＭは、縮小画像データＲＩＭＧの符号化データと関心画像データＳＩＭＧの符号化データとを有している。

動画像符号化装置１０は、処理Ｓ１００−Ｓ１７０を繰り返すことにより、入力画像ＩＩＭＧを順次符号化する。なお、圧縮ストリームＳＴＲＭは、例えば、図１に示したストリーム記憶部１００に記憶される。ストリーム記憶部１００に記憶された圧縮ストリームＳＴＲＭは、例えば、図１に示した動画像再生装置１１０により再生される。

なお、動画像符号化装置１０の動作は、この例に限定されない。例えば、関心画像生成部３０は、関心領域ＲＯＩを複数の関心領域画像ＳＲＯＩに分割する処理を、入力画像ＩＩＭＧのフレーム間隔（例えば、図６に示したフレーム時刻ｔ０からフレーム時刻ｔ１までの間隔）より大きい間隔で実行してもよい。すなわち、関心領域検出部３２は、例えば、関心領域の検出をフレーム間隔より大きい間隔で実行してもよい。また、切り出し部３４は、関心領域ＲＯＩの切り出し処理（入力画像ＩＩＭＧから関心領域ＲＯＩを切り出す処理）を、フレーム間隔より大きい間隔で実行してもよい。

関心領域ＲＯＩの切り出し処理が実行されないフレームの関心画像ＳＩＭＧは、例えば、前のフレームの関心画像ＳＩＭＧと同様である。なお、関心領域ＲＯＩの切り出し処理が実行されないフレームの関心画像ＳＩＭＧは、前のフレームの関心画像ＳＩＭＧと同一でもよい。このため、切り出し処理の実行間隔がフレーム間隔より大きい動画像符号化装置１０では、関心画像データＳＩＭＧの符号化データを含む圧縮ストリームＣＳＴ１のデータ量を、切り出し処理をフレーム毎に実行するときに比べて低減できる。

図９は、図１に示した動画像再生装置１１０の一例を示している。図９の例では、画像データＲＤＩＭＧ等の転送は、メモリ１４０を介して実行される。例えば、動画像再生装置１１０は、画像復号部１２０、表示画像生成部１３０およびメモリ１４０を有している。なお、メモリ１４０は、画像復号部１２０等のモジュール内に設けられてもよいし、動画像再生装置１１０の外部に設けられてもよい。

画像復号部１２０は、例えば、ストリーム分離部１２２、第１復号部１２４および第２復号部１２６を有している。ストリーム分離部１２２は、例えば、図１に示したストリーム記憶部１００から圧縮ストリームＳＴＲＭを受ける。そして、ストリーム分離部１２２は、圧縮ストリームＳＴＲＭを、ベースビュー用の圧縮ストリームＣＳＴ１と非ベースビュー用の圧縮ストリームＣＳＴ２とに分離する。圧縮ストリームＣＳＴ１は、縮小画像データＲＩＭＧの符号化データを有し、圧縮ストリームＣＳＴ２は、関心画像データＳＩＭＧの符号化データを有している。

第１復号部１２４は、圧縮ストリームＣＳＴ１をストリーム分離部１２２から受け、圧縮ストリームＣＳＴ１を復号する。例えば、第１復号部１２４は、Ｈ．２６４に準拠したベースビューの復号処理を圧縮ストリームＣＳＴ１に対して実行する。これにより、圧縮ストリームＣＳＴ１が復号され、縮小画像データＲＤＩＭＧが生成される。例えば、第１復号部１２４は、縮小画像データＲＤＩＭＧをメモリ１４０に書き込む。

縮小画像データＲＤＩＭＧは、縮小画像データＲＩＭＧの符号化データを復号したデコード画像データＬＤＥＣ１であり、表示画像として使用される。以下、縮小画像データＲＤＩＭＧをデコード画像データＬＤＥＣ１とも称する。デコード画像データＬＤＥＣ１は、復号処理の参照画像として必要に応じて使用される。例えば、第１復号部１２４は、復号処理の参照画像としてデコード画像データＬＤＥＣ１を使用するとき、デコード画像データＬＤＥＣ１をメモリ１４０から読み出す。

第２復号部１２６は、圧縮ストリームＣＳＴ２をストリーム分離部１２２から受ける。そして、第２復号部１２６は、例えば、関心領域の精細表示の指示等があるとき、圧縮ストリームＣＳＴ２を復号する。例えば、第２復号部１２６は、Ｈ．２６４に準拠した非ベースビューの復号処理を圧縮ストリームＣＳＴ２に対して実行する。これにより、圧縮ストリームＣＳＴ２が復号され、関心画像データＳＤＩＭＧが生成される。例えば、第２復号部１２６は、関心画像データＳＤＩＭＧをメモリ１４０に書き込む。

関心画像データＳＤＩＭＧは、関心画像データＳＩＭＧの符号化データを復号したデコード画像データＬＤＥＣ２であり、関心領域を精細に表示するときに使用される。以下、関心画像データＳＤＩＭＧをデコード画像データＬＤＥＣ２とも称する。デコード画像データＬＤＥＣ２は、復号処理の参照画像として必要に応じて使用される。例えば、第２復号部１２６は、復号処理の参照画像としてデコード画像データＬＤＥＣ２を使用するとき、デコード画像データＬＤＥＣ２をメモリ１４０から読み出す。

表示画像生成部１３０は、例えば、関心領域検出部１３２、切り出し部１３４および表示画像合成部１３６を有している。関心領域検出部１３２は、例えば、関心領域の精細表示の指示等があるとき、縮小画像データＲＤＩＭＧをメモリ５０から読み出す。そして、関心領域検出部１３２は、読み出した縮小画像データＲＤＩＭＧを用いて関心領域を検出する。すなわち、関心領域検出部１３２は、関心領域の精細表示の指示等があるとき、関心領域を検出する。

例えば、関心領域検出部１３２は、動画像符号化装置１０の関心領域検出部３２で実行される関心領域の検出アルゴリズムを用いて、関心領域を検出する。そして、関心領域検出部３２は、検出した関心領域に関する関心領域情報ＣＩＮＦ（関心領域の個数、位置、サイズ等）を、切り出し部１３４および表示画像合成部１３６に通知する。

ここで、関心領域検出部１３２および関心領域検出部３２で使用される関心領域の検出アルゴリズムでは、検出される関心領域の個数、位置およびサイズは、検出対象の画像に対して一意的に決まる。例えば、縮小画像データＲＤＩＭＧは、縮小画像データＲＩＭＧの符号化データを復号した画像データであるため、関心領域検出部３２で使用されるローカルデコード画像データＬＤＥＣ１と同様の画像データである。

したがって、関心領域検出部１３２は、動画像符号化装置１０の関心領域検出部３２で検出された関心領域と同様の関心領域を検出する。このため、この実施形態では、動画像符号化装置１０は、関心領域の位置情報等を圧縮ストリームＳＴＲＭ内に埋め込まなくてもよい。

切り出し部１３４は、例えば、関心領域の精細表示の指示等があるとき、関心画像データＳＤＩＭＧをメモリ１４０から読み出す。そして、切り出し部１３４は、指示された関心領域に対応する関心領域画像ＳＲＯＩを、関心画像ＳＤＩＭＧから関心領域情報ＣＩＮＦに基づいて切り出す。この実施形態では、動画像符号化装置１０の関心画像生成部３０により割り付けられる関心領域画像ＳＲＯＩの配置は、検出された関心領域に対して一意的に決まる。このため、切り出し部１３４は、例えば、関心領域情報ＣＩＮＦを用いることにより、関心画像ＳＤＩＭＧ内の関心領域画像ＳＲＯＩの配置を認識できる。

表示画像合成部１３６は、縮小画像データＲＤＩＭＧをメモリ１４０から読み出す。そして、表示画像合成部１３６は、関心領域の精細表示の指示等がないとき（通常時）、縮小画像データＲＤＩＭＧを表示画像データＯＩＭＧとして出力する。また、表示画像合成部１３６は、関心領域の精細表示の指示等があるとき、縮小画像データＲＤＩＭＧと切り出し部１３４から受けた関心領域画像データＳＲＯＩとを関心領域情報ＣＩＮＦ等に基づいて合成して、表示画像データＯＩＭＧを生成する。これにより、注目する関心領域（ユーザに指示された関心領域）を精細に表示するための画像データを含む表示画像データＯＩＭＧが生成される。

例えば、表示画像合成部１３６は、関心領域の精細表示の指示等があるとき、切り出し部１３４で切り出された関心領域の関心領域画像データＳＲＯＩを受ける。そして、表示画像合成部１３６は、注目する関心領域（ユーザに指示された関心領域）の関心領域画像データＲＯＩを、切り出し部１３４から受けた各サンプリング位相の関心領域画像データＳＲＯＩを用いて生成する。

これにより、縮小画像ＲＤＩＭＧより精細な関心領域画像ＲＯＩが生成される。関心領域画像データＳＲＯＩに基づいて生成された関心領域画像データＲＯＩは、縮小画像データＲＤＩＭＧと合成され、表示画像データＯＩＭＧに含まれる。これにより、この実施形態では、指示された関心領域ＲＯＩを縮小画像ＲＩＭＧより精細に表示できる。

例えば、表示画像合成部１３６は、縮小画像ＲＩＭＧの水平方向および垂直方向のそれぞれの縮小率が１／２倍のとき、縮小画像ＲＤＩＭＧを水平方向および垂直方向に２倍した拡大画像と関心領域画像データＳＲＯＩから生成した関心領域画像ＲＯＩとを合成して表示画像ＯＩＭＧを生成する。なお、表示画像合成部１３６は、関心領域画像データＳＲＯＩから生成した関心領域画像ＲＯＩ（縮小画像ＲＤＩＭＧに対して拡大された関心領域画像ＲＯＩ）を縮小画像ＲＤＩＭＧの任意の位置に配置して、表示画像ＯＩＭＧを生成してもよい。

図１０は、図９に示した動画像再生装置１１０の動作の一例を示している。図１０の動作は、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。例えば、動画像処理プログラム等のソフトウエアは、コンピュータに図１０の動作を実行させる。

処理Ｓ２００では、動画像再生装置１１０は、圧縮ストリームＳＴＲＭを取得する。例えば、ストリーム分離部１２２は、図１に示したストリーム記憶部１００から圧縮ストリームＳＴＲＭを受ける。

処理Ｓ２１０では、ストリーム分離部１２２は、処理Ｓ２００で取得した圧縮ストリームＳＴＲＭを、ベースビュー用の圧縮ストリームＣＳＴ１と非ベースビュー用の圧縮ストリームＣＳＴ２とに分離する。

処理Ｓ２２０では、第１復号部１２４は、処理Ｓ２１０で分離された圧縮ストリームＣＳＴ１に対して、例えば、Ｈ．２６４に準拠したベースビューの復号処理を実行する。これにより、縮小画像データＲＩＭＧの符号化データが復号され、縮小画像データＲＤＩＭＧが生成される。縮小画像データＲＤＩＭＧは、例えば、メモリ１４０に記憶される。

処理Ｓ２３０では、表示画像合成部１３６は、処理Ｓ２２０で復号された縮小画像データＲＤＩＭＧを表示画像データＯＩＭＧとして出力する。これにより、縮小画像データＲＤＩＭＧに基づく表示画像ＯＩＭＧが表示される。なお、表示画像ＯＩＭＧを表示する表示装置は、動画像再生装置１１０の一部として設けられてもよいし、動画像再生装置１１０の外部に設けられてもよい。

処理Ｓ２４０では、動画像再生装置１１０は、関心領域の精細表示要求があるか否かを判定する。例えば、ユーザは、関心領域を精細に表示したいときに、動画像再生装置１１０のユーザインターフェース等を用いて、精細表示要求を動画像再生装置１１０に通知する。これにより、表示画像生成部１３０等は、関心領域の精細表示要求があるとき、ユーザインターフェース等から精細表示要求を受ける。

関心領域の精細表示要求がないとき（処理Ｓ２４０のＮｏ）、動画像再生装置１１０は、一連の処理を終了する。すなわち、ベースビュー用の圧縮ストリームＣＳＴ１（縮小画像データＲＩＭＧの符号化データ）に対しては、復号処理が常に実行される。そして、ユーザからの精細表示要求がないときには、縮小画像ＲＤＩＭＧに基づく画像のみが表示される。一方、関心領域の精細表示要求があるとき（処理Ｓ２４０のＹｅｓ）、動画像再生装置１１０の動作は、処理Ｓ２５０に移る。

処理Ｓ２５０では、関心領域検出部１３２は、処理Ｓ２２０で復号された縮小画像データＲＤＩＭＧを用いて関心領域を検出する。なお、動画像再生装置１１０は、検出した関心領域を示すマーク等を、表示画像に反映してもよい。

処理Ｓ２６０では、動画像再生装置１１０は、精細表示する関心領域の指定があるか否かを判定する。例えば、ユーザは、関心領域を精細に表示したいときに、動画像再生装置１１０のユーザインターフェース等を用いて、精細表示する関心領域を指定する。これにより、画像復号部１２０、表示画像生成部１３０等は、例えば、指定された関心領域を示す情報をユーザインターフェース等から受ける。関心領域指定がないとき（処理Ｓ２６０のＮｏ）、動画像再生装置１１０は、一連の処理を終了する。一方、関心領域指定があるとき（処理Ｓ２６０のＹｅｓ）、動画像再生装置１１０の動作は、処理Ｓ２７０に移る。

処理Ｓ２７０では、第２復号部１２６は、処理Ｓ２１０で分離された圧縮ストリームＣＳＴ２に対して、例えば、Ｈ．２６４に準拠した非ベースビューの復号処理を実行する。これにより、関心画像データＳＩＭＧの符号化データが復号され、関心画像データＳＤＩＭＧが生成される。すなわち、非ベースビュー用の圧縮ストリームＣＳＴ２（関心画像データＳＩＭＧの符号化データ）に対しては、関心領域指定があるとき、復号処理が実行される。関心画像データＳＤＩＭＧは、例えば、メモリ１４０に記憶される。

処理Ｓ２８０では、切り出し部１３４は、指定された関心領域に対応する関心領域画像ＳＲＯＩを、処理Ｓ２５０で検出された関心領域に関する関心領域情報ＣＩＮＦに基づいて、関心画像ＳＤＩＭＧから切り出す。

処理Ｓ２９０では、処理Ｓ２８０で切り出された関心領域画像ＳＲＯＩと処理Ｓ２２０で復号された縮小画像ＲＤＩＭＧとを合成し、表示画像ＯＩＭＧを生成する。これにより、処理Ｓ３００において、他の領域より高精細な関心領域を含む合成画像（表示画像ＯＩＭＧ）が表示される。このように、この実施形態では、指定された関心領域ＲＯＩを縮小画像ＲＩＭＧより高精細に表示できる。例えば、この実施形態では、関心領域ＲＯＩを拡大して精細に表示できる。

以上、この実施形態では、動画像処理システムＳＹＳは、入力画像ＩＩＭＧの縮小画像ＲＩＭＧと入力画像ＩＩＭＧ内の関心領域ＲＯＩを精細表示するための関心画像ＳＩＭＧとを符号化する動画像符号化装置１０を有している。例えば、動画像符号化装置１０は、図３で説明したように、入力画像ＩＩＭＧ内の関心領域ＲＯＩを縮小画像ＲＩＭＧの縮小率に対応する間引き率で間引いて、関心画像ＳＩＭＧに割り付ける。

そして、動画像符号化装置１０は、例えば、関心画像ＳＩＭＧを符号化する際に、縮小画像ＲＩＭＧを参照画像として必要に応じて使用する。これにより、この実施形態では、関心領域画像ＳＲＯＩを含む関心画像ＳＩＭＧを符号化する際の圧縮率を高くすることができ、データ量の増加を抑制できる。なお、関心領域ＲＯＩを分割した複数の関心領域画像ＳＲＯＩは、例えば、図４−図６で説明したように、１つの関心画像ＳＩＭＧに割り付けられてもよいし、複数の関心画像ＳＩＭＧにそれぞれ割り付けられてもよい。

例えば、この実施形態では、関心画像生成部３０は、図５に示すように、複数の関心領域画像ＳＲＯＩを共通の時刻の複数の関心画像ＳＩＭＧにそれぞれ割り付け、複数の関心画像ＳＩＭＧにそれぞれ対応する関心画像データＳＩＭＧを生成する。これにより、この実施形態では、動きベクトルの符号量を相対的に低減できる。

また、例えば、この実施形態では、関心画像生成部３０は、図６に示すように、複数の関心領域画像ＳＲＯＩを互いに異なる時刻の複数の関心画像ＳＩＭＧにそれぞれ割り付け、複数の関心画像ＳＩＭＧにそれぞれ対応する関心画像データＳＩＭＧを生成してもよい。これにより、この実施形態では、関心画像ＳＩＭＧを符号化する際に、ビュー間予測とフレーム間予測とで圧縮率の高い方の予測を選択でき、圧縮率を向上できる。

さらに、この実施形態では、動画像処理システムＳＹＳは、動画像符号化装置１０で生成された圧縮ストリームＳＴＲＭを復号する動画像再生装置１１０を有している。動画像再生装置１１０は、例えば、関心領域の位置を算出する関心領域検出部１３２を有している。

関心領域検出部１３２は、動画像符号化装置１０の関心領域検出部３２による関心領域ＲＯＩの位置の算出方法を用いて、入力画像ＩＩＭＧ内の関心領域ＲＯＩの位置を算出する。例えば、関心領域検出部１３２は、縮小画像データＲＩＭＧの符号化データを復号した縮小画像データＲＤＩＭＧから関心領域を検出し、検出結果に基づいて、入力画像ＩＩＭＧ内の関心領域ＲＯＩの位置を算出する。これにより、この実施形態では、動画像符号化装置１０は、関心領域の位置情報等を圧縮ストリームＳＴＲＭ内に埋め込まなくてもよい。この結果、この実施形態では、圧縮ストリームＳＴＲＭのデータ量を低減できる。

図１１は、別の実施形態における動画像符号化装置１０Ａの一例を示している。図１−図１０で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。この実施形態では、動画像処理システムＳＹＳは、例えば、動画像符号化装置１０Ａと、図１に示したストリーム記憶部１００と、図１４に示す動画像再生装置１１０Ａとを有している。動画像符号化装置１０Ａは、図２に示した関心画像生成部３０および画像符号化部４０の代わりに、関心画像生成部３０Ａおよび画像符号化部４０Ａを有している。動画像符号化装置１０Ａのその他の構成は、図１−図１０で説明した実施形態と同様である。

例えば、動画像符号化装置１０Ａは、縮小画像生成部２０、関心画像生成部３０Ａ、画像符号化部４０Ａおよびメモリ５０を有している。縮小画像生成部２０は、図１−図１０で説明した実施形態と同様である。例えば、縮小画像生成部２０は、図２で説明した縮小画像生成部２０と同一である。関心画像生成部３０Ａは、例えば、関心領域検出部３２Ａ、切り出し部３４および画像合成部３６を有している。関心領域検出部３２Ａは、画像データＩＩＭＧをメモリ５０から読み出し、顔検出のアルゴリズム等を用いて関心領域ＲＯＩを検出する。

すなわち、関心領域検出部３２Ａは、入力画像ＩＩＭＧから関心領域ＲＯＩを検出する。そして、関心領域検出部３２Ａは、検出した関心領域ＲＯＩに関する関心領域情報ＣＩＮＦ（関心領域ＲＯＩの個数、位置、サイズ等）を、切り出し部３４、画像合成部３６および画像符号化部４０Ａに通知する。なお、関心領域情報ＣＩＮＦが示す関心領域の位置（座標）等は、画像ＩＩＭＧを基準にした値である。

切り出し部３４および画像合成部３６は、図１−図１０で説明した実施形態と同様である。なお、切り出し部３４は、関心領域情報ＣＩＮＦの値（座標等）が画像ＩＩＭＧを基準にした値であるため、関心領域情報ＣＩＮＦの値を補正する必要がない。

画像符号化部４０Ａは、第１符号化部４２、第２符号化部４４およびストリーム合成部４６Ａを有している。第１符号化部４２および第２符号化部４４は、図１−図１０で説明した実施形態と同様である。例えば、第１符号化部４２および第２符号化部４４は、図２で説明した第１符号化部４２および第２符号化部４４と同一である。

ストリーム合成部４６Ａは、第１符号化部４２で生成された圧縮ストリームＣＳＴ１および第２符号化部４４で生成された圧縮ストリームＣＳＴ２を受けるとともに、関心領域情報ＣＩＮＦを関心領域検出部３２Ａから受ける。そして、ストリーム合成部４６Ａは、圧縮ストリームＣＳＴ１、ＣＳＴ２をＨ．２６４のＭＶＣに準拠した形式で合成する。さらに、ストリーム合成部４６Ａは、関心領域ＲＯＩの位置情報等（例えば、関心領域情報ＣＩＮＦ）を、圧縮ストリームＣＳＴ１、ＣＳＴ２を合成した圧縮ストリームＳＴＲＭ内に埋め込む。

すなわち、圧縮ストリームＳＴＲＭは、縮小画像データＲＩＭＧの符号化データと、関心画像データＳＩＭＧの符号化データと、関心領域ＲＯＩの位置情報とを有している。このように、ストリーム合成部４６Ａは、圧縮ストリームＣＳＴ１、ＣＳＴ２および関心領域ＲＯＩの位置情報を１つの圧縮ストリームＳＴＲＭとして、図１に示したストリーム記憶部１００等に出力する。

なお、動画像符号化装置１０Ａの構成は、この例に限定されない。例えば、動画像符号化装置１０Ａは、図２に示した動画像符号化装置１０の機能を含み、動画像符号化装置１０の動作を必要に応じて実行してもよい。

図１２は、図１１に示した動画像符号化装置１０Ａの動作の一例を示している。図１２の動作は、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。例えば、動画像処理プログラム等のソフトウエアは、コンピュータに図１２の動作を実行させる。図１２の動作では、図８に示した処理Ｓ１３０、Ｓ１７０の代わりに、処理Ｓ１３２、Ｓ１７２が実行される。図８で説明した処理については、詳細な説明を省略する。

処理Ｓ１３２では、関心領域検出部３２Ａは、処理Ｓ１００で取得した入力画像ＩＩＭＧを用いて、関心領域ＲＯＩを検出する。例えば、関心領域検出部３２は、入力画像データＩＩＭＧをメモリ５０から読み出し、顔検出のアルゴリズム等を用いて関心領域ＲＯＩを検出する。

処理Ｓ１７２では、ストリーム合成部４６Ａは、処理Ｓ１２０で生成された圧縮ストリームＣＳＴ１と処理Ｓ１６０で生成された圧縮ストリームＣＳＴ２とを合成し、圧縮ストリームＳＴＲＭを生成する。さらに、ストリーム合成部４６Ａは、処理Ｓ１３２で検出された関心領域ＲＯＩの位置情報等（例えば、関心領域情報ＣＩＮＦ）を、圧縮ストリームＣＳＴ１、ＣＳＴ２を合成した圧縮ストリームＳＴＲＭ内に埋め込む。これにより、関心領域ＲＯＩの位置情報と縮小画像データＲＩＭＧの符号化データと関心画像データＳＩＭＧの符号化データとを含む圧縮ストリームＳＴＲＭが生成される。

なお、動画像符号化装置１０Ａの動作は、この例に限定されない。例えば、関心画像生成部３０Ａは、関心領域ＲＯＩを複数の関心領域画像ＳＲＯＩに分割する処理を、入力画像ＩＩＭＧのフレーム間隔（例えば、図６に示したフレーム時刻ｔ０からフレーム時刻ｔ１までの間隔）より大きい間隔で実行してもよい。すなわち、関心領域検出部３２Ａは、例えば、関心領域ＲＯＩの検出をフレーム間隔より大きい間隔で実行してもよい。また、切り出し部３４は、関心領域ＲＯＩの切り出し処理をフレーム間隔より大きい間隔で実行してもよい。このときには、関心画像データＳＩＭＧの符号化データを含む圧縮ストリームＣＳＴ１のデータ量を、切り出し処理をフレーム毎に実行するときに比べて低減できる。

図１３は、ストリーム構成の一例を示している。なお、図１３は、Ｈ．２６４のＭＶＣに準拠した圧縮ストリームＳＴＲＭの構成の一例を示している。圧縮ストリームＳＴＲＭは、少なくとも１つのシーケンスＳＥＱを有している。シーケンスＳＥＱは、少なくとも１つのアクセスユニットＡＵを有している。アクセスユニットは、ＡＵＤ（Access Unit Delimiter）、ＳＰＳ（Sequence Parameter Set）、ＰＰＳ（Picture Parameter Set）、ＳＥＩ（Supplemental Enhancement Information）の各種ヘッダ情報と、ビューコンポーネントＶＣとを有している。

なお、ＡＵＤ、ＳＰＳ、ＰＰＳ、ＳＥＩは、省かれてもよい。この実施形態では、関心領域ＲＯＩの位置情報は、例えば、ｕｓｅｒ＿ｄａｔａ ＳＥＩの１つとして、ＳＥＩに埋め込まれる。ＳＥＩに埋め込まれる関心領域ＲＯＩの位置情報は、例えば、入力画像ＩＩＭＧにおける関心領域ＲＯＩの座標、サイズおよび関心画像ＳＩＭＧ内での関心領域ＳＲＯＩの座標である。

ベースビューの画像データ（縮小画像データＲＩＭＧの符号化データ）および非ベースビューの画像データ（関心画像データＳＩＭＧの符号化データ）は、ビューコンポーネントＶＣにそれぞれ埋め込まれる。各ビューコンポーネントＶＣは、例えば、スライスＳＬを有している。スライスＳＬは、複数のマクロブロックＭＢを有している。

図１４は、図１１に示した動画像符号化装置１０Ａに対応した動画像再生装置１１０Ａの一例を示している。図１−図１０で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。この実施形態の動画像再生装置１１０Ａは、図９に示した画像復号部１２０および表示画像生成部１３０の代わりに、画像復号部１２０Ａおよび表示画像生成部１３０Ａを有している。動画像再生装置１１０Ａのその他の構成は、図１−図１０で説明した実施形態と同様である。

例えば、動画像再生装置１１０Ａは、画像復号部１２０Ａ、表示画像生成部１３０Ａおよびメモリ１４０を有している。画像復号部１２０Ａは、例えば、ストリーム分離部１２２Ａ、第１復号部１２４および第２復号部１２６を有している。

ストリーム分離部１２２Ａは、例えば、図１に示したストリーム記憶部１００から圧縮ストリームＳＴＲＭを受ける。そして、ストリーム分離部１２２Ａは、圧縮ストリームＳＴＲＭを、ベースビュー用の圧縮ストリームＣＳＴ１と非ベースビュー用の圧縮ストリームＣＳＴ２とに分離する。圧縮ストリームＣＳＴ１は、縮小画像データＲＩＭＧの符号化データを有し、圧縮ストリームＣＳＴ２は、関心画像データＳＩＭＧの符号化データを有している。

さらに、ストリーム分離部１２２Ａは、関心領域情報ＣＩＮＦ（関心領域ＲＯＩの位置情報等）を圧縮ストリームＳＴＲＭから取得する。そして、ストリーム分離部１２２Ａは、圧縮ストリームＣＳＴ１、ＣＳＴ２を第１復号部１２４および第２復号部１２６にそれぞれ出力するとともに、関心領域情報ＣＩＮＦを表示画像生成部１３０Ａに出力する。第１復号部１２４および第２復号部１２６は、図１−図１０で説明した実施形態と同様である。例えば、第１復号部１２４および第２復号部１２６は、図９で説明した第１復号部１２４および第２復号部１２６と同一である。

表示画像生成部１３０Ａは、例えば、図９に示した表示画像生成部１３０から関心領域検出部１３２が省かれている。例えば、表示画像生成部１３０Ａは、切り出し部１３４および表示画像合成部１３６を有している。切り出し部１３４および画像合成部１３６は、図１−図１０で説明した実施形態と同様である。なお、切り出し部１３４および画像合成部１３６は、関心領域情報ＣＩＮＦをストリーム分離部１２２Ａから受ける。これにより、表示画像生成部１３０Ａは、例えば、関心領域の精細表示の指示等があるとき、指示された関心領域ＲＯＩを縮小画像ＲＩＭＧより高精細に表示できる。

なお、動画像再生装置１１０Ａの構成は、この例に限定されない。例えば、動画像再生装置１１０Ａは、図９に示した動画像再生装置１１０の機能を含み、動画像再生装置１１０の動作を必要に応じて実行してもよい。

図１５は、図１４に示した動画像再生装置１１０Ａの動作の一例を示している。図１５の動作は、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。例えば、動画像処理プログラム等のソフトウエアは、コンピュータに図１５の動作を実行させる。図１５の動作では、図１０に示した処理Ｓ２１０、Ｓ２５０の代わりに、処理Ｓ２１２、Ｓ２５２が実行される。図１０で説明した処理については、詳細な説明を省略する。

処理Ｓ２１２では、ストリーム分離部１２２Ａは、処理Ｓ２００で取得した圧縮ストリームＳＴＲＭを、ベースビュー用の圧縮ストリームＣＳＴ１と非ベースビュー用の圧縮ストリームＣＳＴ２とに分離する。さらに、ストリーム分離部１２２Ａは、関心領域ＲＯＩの位置情報（関心領域情報ＣＩＮＦ）を圧縮ストリームＳＴＲＭから取得する。

処理Ｓ２５２は、関心領域の精細表示要求があるとき（処理Ｓ２４０のＹｅｓ）実行される。なお、関心領域の精細表示要求がないとき（処理Ｓ２４０のＮｏ）の動画像再生装置１１０Ａの動作は、動画像再生装置１１０と同様である。

処理Ｓ２５２では、動画像再生装置１１０Ａは、処理Ｓ２１２で取得した関心領域ＲＯＩの位置情報（関心領域情報ＣＩＮＦ）を、有効な情報として処理する。例えば、動画像再生装置１１０は、検出した関心領域を示すマーク等を、表示画像に反映してもよい。そして、動画像再生装置１１０Ａは、処理Ｓ２６０−Ｓ３００を実行することにより、指定された関心領域ＲＯＩを縮小画像ＲＩＭＧより高精細に表示できる。なお、処理Ｓ２５２は、省かれてもよい。例えば、処理Ｓ２５２が省かれた動作では、関心領域指定があるとき（処理Ｓ２６０のＹｅｓ）、処理Ｓ２１２で取得した関心領域ＲＯＩの位置情報（関心領域情報ＣＩＮＦ）が有効な情報として処理され、処理Ｓ２７０−Ｓ３００が実行される。

以上、この実施形態においても、図１−図１０で説明した実施形態と同様の効果を得ることができる。さらに、この実施形態では、動画像再生装置１１０Ａは、関心領域検出部１３２を有さなくてもよい。このため、この実施形態では、動画像再生装置１１０Ａの構成を簡易にできる。

以上の実施形態において説明した発明を整理して、付記として開示する。
（付記１）
入力画像を予め設定された縮小率で縮小した第１画像に対応する第１画像データを生成する第１画像生成部と、
前記入力画像内の関心領域を前記縮小率に対応する間引き率で間引いて複数の関心領域画像に分割し、前記複数の関心領域画像の少なくとも１つを含む第２画像に対応する第２画像データを生成する第２画像生成部と、
前記第１画像データおよび前記第２画像データを符号化してストリームデータを生成し、前記第２画像データを符号化するとき、前記第２画像に対応付けられた時刻に対応する前記第１画像に基づいて予測処理を実施可能な画像符号化部と
を備えていることを特徴とする動画像処理装置。
（付記２）
前記第２画像生成部は、前記複数の関心領域画像を共通の時刻の複数の前記第２画像にそれぞれ割り付け、前記複数の第２画像にそれぞれ対応する前記第２画像データを生成すること
を特徴とする付記１記載の動画像処理装置。
（付記３）
前記第２画像生成部は、前記複数の関心領域画像を互いに異なる時刻の複数の前記第２画像にそれぞれ割り付け、前記複数の第２画像にそれぞれ対応する前記第２画像データを生成すること
を特徴とする付記１記載の動画像処理装置。
（付記４）
前記第２画像生成部は、前記複数の関心領域画像を共通の前記第２画像に割り付け、前記複数の関心領域画像が割り付けられた前記第２画像に対応する前記第２画像データを生成すること
を特徴とする付記１記載の動画像処理装置。
（付記５）
前記第２画像生成部は、前記関心領域を前記複数の関心領域画像に分割する処理を、前記入力画像のフレーム間隔より大きい間隔で実施すること
を特徴とする付記１ないし付記４のいずれか１項に記載の動画像処理装置。
（付記６）
前記第２画像生成部は、前記第１画像データを符号化する際に生成されるローカルデコード画像データを用いて前記関心領域を検出し、検出結果に基づいて前記入力画像内の前記関心領域の位置を算出すること
を特徴とする付記１ないし付記５のいずれか１項に記載の動画像処理装置。
（付記７）
付記６記載の動画像処理装置で生成される前記ストリームデータを復号する動画像処理装置において、
前記第１画像データを符号化したデータを復号した画像データを用い、前記ストリームデータを生成した符号化側で実行された前記関心領域の検出方法で、前記関心領域を検出する検出部を備えていること
を特徴とする動画像処理装置。
（付記８）
前記画像符号化部は、前記入力画像内の前記関心領域の位置を示す位置情報を、前記ストリームデータに含めること
を特徴とする付記１ないし付記５のいずれか１項に記載の動画像処理装置。
（付記９）
付記８記載の動画像処理装置で生成される前記ストリームデータを復号する動画像処理装置において、
前記ストリームデータに含まれる前記位置情報に基づいて、前記関心領域の位置を算出する第３画像生成部を備えていること
を特徴とする動画像処理装置。
（付記１０）
動画像を符号化する際の動画像処理方法であって、
入力画像を予め設定された縮小率で縮小した第１画像に対応する第１画像データを生成し、
前記入力画像内の関心領域を前記縮小率に対応する間引き率で間引いて複数の関心領域画像に分割し、前記複数の関心領域画像の少なくとも１つを含む第２画像に対応する第２画像データを生成し、
前記第１画像データおよび前記第２画像データを符号化してストリームデータを生成し、
前記第２画像データを符号化する符号化処理は、前記第２画像に対応付けられた時刻に対応する前記第１画像に基づいて予測処理を実施可能であること
を特徴とする動画像処理方法。
（付記１１）
前記複数の関心領域画像を共通の時刻の複数の前記第２画像にそれぞれ割り付け、前記複数の第２画像にそれぞれ対応する前記第２画像データを生成すること
を特徴とする付記１０記載の動画像処理方法。
（付記１２）
前記複数の関心領域画像を互いに異なる時刻の複数の前記第２画像にそれぞれ割り付け、前記複数の第２画像にそれぞれ対応する前記第２画像データを生成すること
を特徴とする付記１０記載の動画像処理方法。
（付記１３）
前記複数の関心領域画像を共通の前記第２画像に割り付け、前記複数の関心領域画像が割り付けられた前記第２画像に対応する前記第２画像データを生成すること
を特徴とする付記１０記載の動画像処理方法。
（付記１４）
前記関心領域を前記複数の関心領域画像に分割する処理を、前記入力画像のフレーム間隔より大きい間隔で実施すること
を特徴とする付記１０ないし付記１３のいずれか１項に記載の動画像処理方法。
（付記１５）
前記第１画像データを符号化する際に生成されるローカルデコード画像データを用いて前記関心領域を検出し、検出結果に基づいて前記入力画像内の前記関心領域の位置を算出すること
を特徴とする付記１０ないし付記１４のいずれか１項に記載の動画像処理方法。
（付記１６）
付記１５記載の動画像処理方法で生成される前記ストリームデータを復号する動画像処理方法において、
前記第１画像データを符号化したデータを復号した画像データを用い、前記ストリームデータを生成した符号化側で実行された前記関心領域の検出方法で、前記関心領域を検出すること
を特徴とする動画像処理方法。
（付記１７）
前記入力画像内の前記関心領域の位置を示す位置情報を、前記ストリームデータに含めること
を特徴とする付記１０ないし付記１４のいずれか１項に記載の動画像処理方法。
（付記１８）
付記１７記載の動画像処理方法で生成される前記ストリームデータを復号する動画像処理方法において、
前記ストリームデータに含まれる前記位置情報に基づいて、前記関心領域の位置を算出すること
を特徴とする動画像処理方法。
（付記１９）
コンピュータに実行させる動画像処理プログラムであって、
前記コンピュータを付記１ないし付記９のいずれか１項に記載の動画像処理装置として動作させる動画像処理プログラム。
（付記２０）
入力画像を予め設定された縮小率で縮小した第１画像に対応する第１画像データを生成する第１画像生成処理と、
前記入力画像内の関心領域を前記縮小率に対応する間引き率で間引いて複数の関心領域画像に分割し、前記複数の関心領域画像の少なくとも１つを含む第２画像に対応する第２画像データを生成する第２画像生成処理と、
前記第１画像データおよび前記第２画像データを符号化してストリームデータを生成し、前記第２画像データを符号化するとき、前記第２画像に対応付けられた時刻に対応する前記第１画像に基づいて予測処理を実施可能な画像符号化処理と
をコンピュータに実行させることを特徴とする動画像処理プログラム。
（付記２１）
前記第２画像生成処理では、前記複数の関心領域画像を共通の時刻の複数の前記第２画像にそれぞれ割り付け、前記複数の第２画像にそれぞれ対応する前記第２画像データを生成すること
を特徴とする付記２０記載の動画像処理プログラム。
（付記２２）
前記第２画像生成処理では、前記複数の関心領域画像を互いに異なる時刻の複数の前記第２画像にそれぞれ割り付け、前記複数の第２画像にそれぞれ対応する前記第２画像データを生成すること
を特徴とする付記２０記載の動画像処理プログラム。
（付記２３）
前記第２画像生成処理では、前記複数の関心領域画像を共通の前記第２画像に割り付け、前記複数の関心領域画像が割り付けられた前記第２画像に対応する前記第２画像データを生成すること
を特徴とする付記２０記載の動画像処理プログラム。
（付記２４）
前記第２画像生成処理では、前記関心領域を前記複数の関心領域画像に分割する処理を、前記入力画像のフレーム間隔より大きい間隔で実施すること
を特徴とする付記２０ないし付記２３のいずれか１項に記載の動画像処理プログラム。
（付記２５）
前記第２画像生成処理では、前記第１画像データを符号化する際に生成されるローカルデコード画像データを用いて前記関心領域を検出し、検出結果に基づいて前記入力画像内の前記関心領域の位置を算出すること
を特徴とする付記２０ないし付記２４のいずれか１項に記載の動画像処理プログラム。
（付記２６）
付記２５記載の動画像処理プログラムを用いて生成される前記ストリームデータを復号する動画像処理プログラムにおいて、
前記第１画像データを符号化したデータを復号した画像データを用い、前記ストリームデータを生成した符号化側で実行された前記関心領域の検出方法で、前記関心領域を検出する検出処理をコンピュータに実行させることを特徴とする動画像処理プログラム。
（付記２７）
前記画像符号化処理では、前記入力画像内の前記関心領域の位置を示す位置情報を、前記ストリームデータに含めること
を特徴とする付記２０ないし付記２４のいずれか１項に記載の動画像処理プログラム。
（付記２８）
付記２７記載の動画像処理プログラムを用いて生成される前記ストリームデータを復号する動画像処理プログラムにおいて、
前記ストリームデータに含まれる前記位置情報に基づいて、前記関心領域の位置を算出する第３画像生成処理をコンピュータに実行させることを特徴とする動画像処理プログラム。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。

１０、１０Ａ‥動画像符号化装置；２０‥縮小画像生成部；３０、３０Ａ‥関心画像生成部；３２、３２Ａ、１３２‥関心領域検出部；３４、１３４‥切り出し部；３６‥画像合成部；４０、４０Ａ‥画像符号化部；４２‥第１符号化部；４４‥第２符号化部；４６、４６Ａ‥ストリーム合成部；５０、１４０‥メモリ；１００‥ストリーム記憶部；１１０‥動画像再生装置；１２０、１２０Ａ‥画像復号部；１２２、１２２Ａ‥ストリーム分離部；１２４‥第１復号部；１２６‥第２復号部；１３０、１３０Ａ‥表示画像生成部；１３６‥表示画像合成部；ＳＹＳ‥動画像処理システム

Claims (8)

1. 入力画像を予め設定された縮小率で縮小した第１画像に対応する第１画像データを生成する第１画像生成部と、
   前記入力画像内の関心領域を前記縮小率に対応する間引き率で間引いて複数の関心領域画像に分割し、前記複数の関心領域画像の少なくとも１つを含む第２画像に対応する第２画像データを生成する第２画像生成部と、
   前記第１画像データおよび前記第２画像データを符号化してストリームデータを生成し、前記第２画像データを符号化するとき、前記第２画像に対応付けられた時刻に対応する前記第１画像に基づいて予測処理を実施可能な画像符号化部と
   を備えていることを特徴とする動画像処理装置。
2. 前記第２画像生成部は、前記複数の関心領域画像を共通の時刻の複数の前記第２画像にそれぞれ割り付け、前記複数の第２画像にそれぞれ対応する前記第２画像データを生成すること
   を特徴とする請求項１記載の動画像処理装置。
3. 前記第２画像生成部は、前記複数の関心領域画像を互いに異なる時刻の複数の前記第２画像にそれぞれ割り付け、前記複数の第２画像にそれぞれ対応する前記第２画像データを生成すること
   を特徴とする請求項１記載の動画像処理装置。
4. 前記第２画像生成部は、前記関心領域を前記複数の関心領域画像に分割する処理を、前記入力画像のフレーム間隔より大きい間隔で実施すること
   を特徴とする請求項１ないし請求項３のいずれか１項に記載の動画像処理装置。
5. 前記第２画像生成部は、前記第１画像データを符号化する際に生成されるローカルデコード画像データを用いて前記関心領域を検出し、検出結果に基づいて前記入力画像内の前記関心領域の位置を算出すること
   を特徴とする請求項１ないし請求項４のいずれか１項に記載の動画像処理装置。
6. 請求項５記載の動画像処理装置で生成される前記ストリームデータを復号する動画像処理装置において、
   前記第１画像データを符号化したデータを復号した画像データを用い、前記ストリームデータを生成した符号化側で実行された前記関心領域の検出方法で、前記関心領域を検出する検出部を備えていること
   を特徴とする動画像処理装置。
7. 動画像を符号化する際の動画像処理方法であって、
   入力画像を予め設定された縮小率で縮小した第１画像に対応する第１画像データを生成し、
   前記入力画像内の関心領域を前記縮小率に対応する間引き率で間引いて複数の関心領域画像に分割し、前記複数の関心領域画像の少なくとも１つを含む第２画像に対応する第２画像データを生成し、
   前記第１画像データおよび前記第２画像データを符号化してストリームデータを生成し、
   前記第２画像データを符号化する符号化処理は、前記第２画像に対応付けられた時刻に対応する前記第１画像に基づいて予測処理を実施可能であること
   を特徴とする動画像処理方法。
8. コンピュータに実行させる動画像処理プログラムであって、
   前記コンピュータを請求項１ないし請求項６のいずれか１項に記載の動画像処理装置として動作させる動画像処理プログラム。

Images