JP4645707B2 - コンテンツデータ処理装置 - Google Patents

Description

この発明は、コンテンツデータ処理装置に関する。詳しくは、この発明は、各フレームの画像データの安定度に対応したスコアを算出し、このスコアに基づいて再生区間を選択することにより、再生区間として、安定した画像部分を選択でき、例えば手振れ等による乱れた画像部分が選択されることを回避するようにしたコンテンツデータ処理装置に関する。

従来、テレビ放送に係るコンテンツデータ、あるいはビデオカメラで得られたコンテンツデータ等をＤＶＤレコーダ、あるいはＨＤＤレコーダ等の記録再生装置に蓄積して利用することが広く行われている。

従来の記録再生装置において、長時間記録した記録内容を短時間で再生してその内容を把握するために、例えば、特許文献１、特許文献２、特許文献３等に記載されているように、選択された再生区間のみを再生するダイジェスト再生が考えられている。
特開２００６−５４６１９号公報 特開２００２−３４４８７２号公報 特開２０００−２６１７５４号公報

上述のダイジェスト再生において、例えば、機械的に一定時間間隔、例えば３分、５分、１０分等の間隔毎に再生区間を設定する場合、例えば手振れ等による乱れた画像部分が再生区間として選択される等の不都合がある。

この発明の目的は、ダイジェスト再生における再生区間を適切に選択可能とすることにある。

この発明の概念は、
コンテンツデータを構成する各フレームの画像データに基づいて、該各フレームの画像の安定度に対応した安定度スコアを算出する安定度スコア算出部と、
上記安定度スコア算出部で算出された安定度スコアに基づいて、上記コンテンツデータから、再生区間を選択する再生区間選択部とを備え、
上記安定度スコア算出部は、
フレーム間差分が第１の閾値より小さな区間を検出し、該区間が一定の区間長より長いとき安定画区間とし、該安定画区間において、上記第１の閾値から上記フレーム間差分を減算して得られた減算結果の平均値に基づいて第１の安定度スコアを算出し、
一定期間毎に、上記第１の閾値より大きな第２の閾値から上記フレーム間差分を減算して得られた減算結果の平均値に基づいて第２の安定度スコアを算出する
コンテンツデータ処理装置にある。

この発明において、安定度スコア算出部では、コンテンツデータにおける各フレームの画像の安定度に対応した安定度スコアが算出される。例えば、以下のように、第１の安定度スコアおよび第２の安定度スコアが算出される。

例えば、フレーム間差分が第１の閾値より小さな区間が検出され、この区間が一定の区間長より長いとき安定画区間とされ、この安定画区間において、第１の閾値からフレーム間差分が減算されて得られた減算結果の平均値に基づいて、第１の安定度スコアが算出される。この場合、安定画区間以外では第１の安定度スコアは０となり、また、安定画区間ではフレーム間差分が小さい程安定度スコアは大きくなる。

また、例えば、一定期間毎に、第１の閾値より大きな第２の閾値からフレーム間差分を減算して得られた減算結果の平均値に基づいて、第２の安定度スコアが算出される。この場合、フレーム間差分が小さい程第２の安定度スコアは大きくなる。この第２の安定度スコアを導入することで、上述の安定画区間の中でもより安定したシーンを再生区間として選択することが可能となる。

再生区間選択部では、安定度スコア算出部で算出された安定度スコアに基づいて、コンテンツデータから再生区間が選択される。このように、安定度スコアに基づいて再生区間が選択されることで、再生区間として安定した画像部分を選択でき、例えば手振れ等による乱れた画像部分が再生区間として選択されること等が抑制される。例えば、再生区間選択部では、コンテンツデータにおける安定画区間の総時間が目標再生総時間以上のとき、再生区間の全てが安定画区間から選択される。

この発明は、例えば、コンテンツデータを構成する各フレームの画像データに基づいて、この各フレームの画像の単純度に対応した単純度スコアを算出する単純度スコア算出部をさらに備え、再生区間選択部は、安定度スコア算出部で算出された安定度スコアおよび単純度スコア算出部で算出された単純度スコアに基づいて、コンテンツデータから再生区間を選択する、ようにされてもよい。

例えば、画面内に設定された検出領域に含まれる各画素の輝度値の分散または標準偏差の統計処理値が閾値より小さい区間が検出されて単純画区間とされ、この単純画区間において、閾値から統計処理値が減算されて得られた減算結果の平均値に基づいて、第１の単純度スコアが算出される。この場合、単純画区間以外では第１の単純度スコアは０となり、また、単純画区間では統計処理値が小さく、単純な画像ほど、第１の単純度スコアは大きくなる。

また、例えば、一定期間毎に、この一定期間で統計処理値が閾値より大きいとき、統計処理値から閾値を減算して得られた減算結果の平均値に基づいて、第２の単純度スコアが算出される。この場合、統計処理値が大きく、複雑な画像ほど、第２の単純度スコアは大きくなる。

再生区間選択部では、安定度スコア算出部で算出された安定度スコアおよび単純度スコア算出部で算出された単純度スコアに基づいて、コンテンツデータから再生区間が選択される。このように、安定度スコアの他に単純度スコアを導入して再生区間の選択が行われることで、地面撮り、空撮りおよびキャップがかぶさったままの撮影等による単純な画像の区間が再生区間として選択されることを回避できる。

また、この発明は、例えば、コンテンツデータを構成する各フレームの画像データに基づいて、この各フレームの画像の類似を判別し、類似する画像毎に、少なくとも出現頻度または出現時間に対応した出現スコアを算出する出現スコア算出部をさらに備え、再生区間選択部は、安定度スコア算出部で算出された安定度スコア、単純度スコア算出部で算出された単純度スコアおよび出現スコア算出部で算出された出現スコアに基づいて、コンテンツデータから再生区間を選択する、ようにされてもよい。このように、安定度スコアおよび単純度スコアの他に類似度スコアを導入して再生区間の選択が行われることで、出現頻度が多い、あるいは、出現時間が長い画像の区間が再生区間として選択されやすくできる。

なお、この場合、再生区間選択部では、所定の再生区間が選択されるとき、この所定の再生区間に含まれる画像に対応して出現スコア算出部で算出された出現スコアから所定値を減算する、ようにされてもよい。これにより、類似する画像の区間が重複して再生区間として選択されることを抑制できる。

また、この発明は、例えば、コンテンツデータを構成する各フレームの画像データに基づいて、この各フレームの画像に含まれる顔画像を検出し、該顔画像の少なくとも位置、大きさ、個数のいずれかに対応した顔検出スコアを算出する顔検出スコア算出部をさらに備え、再生区間選択部は、安定度スコア算出部で算出された安定度スコア、単純度スコア算出部で算出された単純度スコアおよび顔検出スコア算出部で算出された顔検出スコアに基づいて、コンテンツデータから再生区間を選択する、ようにされてもよい。このように、安定度スコアおよび単純度スコアの他に顔検出スコアを導入して再生区間の選択が行われることで、顔が存在する画像の区間が再生区間として選択されやすくできる。

また、この発明は、コンテンツデータを構成する各フレームの画像データに対応した音声データに基づいて、この各フレームの音声特徴を検出し、この音声特徴に対応した音声スコアを算出する音声スコア算出部をさらに備え、再生区間選択部は、安定度スコア算出部で算出された安定度スコア、単純度スコア算出部で算出された単純度スコアおよび音声スコア算出部で算出された音声スコアに基づいて、コンテンツデータから再生区間を選択する、ようにされてもよい。このように、安定度スコアおよび単純度スコアの他に音声スコアを導入して再生区間の選択が行われることで、例えば、音声レベルの高くなる画像の区間が再生区間として選択されやすくできる。

また、この発明は、コンテンツデータを構成する画像データの各フレームに関連してカメラモーションを検出するカメラモーション検出部と、このカメラモーション検出部で特定のカメラモーションが検出されたとき、安定度スコア算出部で算出される安定度スコアを増加する方向に調整するスコア調整部とをさらに備える、ようにされてもよい。ズーム、パン、チルト等のカメラモーションを伴って撮像された画像は重要なシーンであることが多い。この場合、画像が動いているので、安定度スコアは低下する。しかし、上述したように安定度スコアが増加する方向に調整されることで、ズーム、パン、チルト等のカメラモーションを伴って撮像された画像の区間が再生区間から外れることを抑制できる。

この発明によれば、各フレームの画像データの安定度に対応したスコアを算出し、このスコアに基づいて再生区間を選択するものであり、再生区間として、例えば手振れ等による乱れた画像部分が選択されることを回避でき、再生区間を適切に選択できる。

以下、発明を実施するための最良の形態（以下、「実施の形態」という）について説明する。

［記録再生装置の構成］
図１は、実施の形態としての記録再生装置１００の構成例を示している。この記録再生装置１００は、制御部１０１と、ユーザ操作部１０２と、画像データ入力端子１０３Ｖと、音声データ入力端子１０３Ａと、記録再生処理部１０４と、コンテンツデータ処理部１０５と、光ディスクドライブ１０６と、記録媒体としてのＤＶＤ１０７と、画像データ出力端子１０９Ｖと、音声データ出力端子１０９Ａと、モニタ１１０を有している。

制御部１０１は、記録再生装置１００の各部の動作を制御する。制御部１０１は、ＣＰＵ１０１ａおよびメモリ部１０１ｂを備えている。メモリ部１０１ｂは、フラッシュＲＯＭ、ＳＤＲＡＭ等を有している。フラッシュＲＯＭは、ＣＰＵ１０１ａの制御プログラム等を記憶している。ＳＤＲＡＭは、ＣＰＵ１０１ａの制御処理に必要なデータの一時記憶等に用いられる。ＣＰＵ１０１ａは、フラッシュＲＯＭから読み出したプログラムやデータをＳＤＲＡＭ上に展開してプログラムを起動し、記録再生装置１００の各部の動作を制御する。

ユーザ操作部１０２は、ユーザインタフェースを構成し、制御部１０１に接続されている。ユーザは、このユーザ操作部１０２により、記録再生に係る種々の操作を行うことができる。ユーザ操作部１０２は、記録再生装置１００の、図示しない筐体面に配置されたキー、釦、ダイアル、あるいはリモコンの送受信機等で構成されている。

記録再生処理部１０４は、記録時には、入力端子１０３Ｖ，１０３Ａに入力される、コンテンツデータを構成する画像データ、音声データに対して、記録フォーマットに応じた圧縮符号化等の記録処理を施して記録データを生成して、光ディスクドライブ１０６に供給する。

例えば、記録再生処理部１０４は、画像データに対してＭＰＥＧ（Moving Picture Expert Group）方式でエンコード処理して、ビデオのエレメンタリストリーム（ＥＳ：Elementary Stream）を生成すると共に、音声データに対してＭＰＥＧ方式でエンコード処理して、オーディオのエレメンタリストリームを生成する。そして、記録再生処理部１０４は、ビデオおよびオーディオのエレメンタリストリームおよび各種制御信号を、マルチプレクス処理して記録データとしてのトランスポートストリーム（ＴＳ：Transport Stream）を生成する。

また、記録再生処理部１０４は、再生時には、光ディスクドライブ１０６で再生されたデータに対して復号化処理等を施して、コンテンツデータを構成する画像データおよび音声データを生成する。例えば、記録再生処理部１０４は、再生データからビデオおよびオーディオのエレメンタリストリームを分離し、それぞれに対してＭＰＥＧ（Moving Picture Expert Group）方式でデコード処理して、画像データ出力端子１０９Ｖに再生画像データを出力し、音声データ号出力端子１０９Ａに再生音声データを出力する。

また、コンテンツデータ処理部１０５は、記録される、あるいは再生されたコンテンツデータを処理して、ダイジェスト再生のための再生区間（シーン）を選択してプレイリストを作成する。ここで、プレイリストは、コンテンツデータから選択された各再生区間の開始位置および終了位置を示す時刻情報（画像データに付加されて記録されるタイムコードと関連付けされた時刻情報）である。

また、コンテンツデータ処理部１０５は、記録される、あるいは再生されたコンテンツデータを処理して、コンテンツデータのサムネイルを構成する画像データフレームを選択してサムネイルリストを作成する。ここで、サムネイルリストは、コンテンツデータから選択されたサムネイルを構成するフレームの時刻情報（画像データに付加されて記録されるタイムコードと関連付けされた時刻情報）である。

上述のコンテンツデータ処理部１０５におけるプレイリストおよびサムネイルリストの作成処理は、例えば、ユーザがユーザ操作部１０２を操作することで行われるか、あるいは自動的に行われる。このようにコンテンツデータ処理部１０５で作成されたプレイリストおよびサムネイルリストは、制御部１０１内のメモリ部１０１ｂに保持される。コンテンツデータ処理部１０５の詳細については後述する。

光ディスクドライブ１０６は、記録媒体としてのＤＶＤ１０７に対して記録再生を行う。すなわち、この光ディスクドライブ１０６は、記録時には、記録再生処理部１０４で生成された記録データをＤＶＤ１０７に記録する。また、光ディスクドライブ１０６は、再生時には、ＤＶＤ１０７からデータを再生して記録再生処理部１０４に供給する。

［記録再生装置の動作］
図１に示す記録再生装置１００の動作を説明する。まず、記録時の動作について説明する。入力端子１０３Ｖ，１０３Ａに入力される、コンテンツデータを構成する画像データ、音声データは、記録再生処理部１０４に供給される。この記録再生処理部１０４では、入力端子１０３Ｖ，１０３Ａに入力されるが画像データ、音声データに対して、記録フォーマットに応じた圧縮符号化等の記録処理が施されて、記録データが生成される。このように記録再生処理部１０４で生成された記録データは、光ディスクドライブ１０６により、ＤＶＤ１０７に記録される。

次に、再生時（ダイジェスト再生時も含む）の動作について説明する。光ディスクドライブ１０６でＤＶＤ１０７からデータが再生され、この再生データは記録再生処理部１０４に供給される。記録再生処理部１０４では、再生データに対して、復号化処理等が施されて、画像データおよび音声データが生成される。

記録再生処理部１０４で生成された画像データ、音声データは、出力端子１０９Ｖ，１０９Ａに出力される。そのため、出力端子１０９Ｖ，１０９Ａに接続されているモニタ１１０には、当該画像データおよび音声データが供給され、再生画像が表示されると共に、再生音声が出力される。

次に、プレイリストおよびサムネイルリストの作成時の動作を説明する。上述したように、このリスト作成処理は、記録時、あるいは記録後に、ユーザの指示、あるいは自動的に行われる。リスト作成処理が記録時に行われる場合、入力端子１０３Ｖ，１０３Ａに入力される画像データ、音声データが、リスト作成対象のコンテンツデータを構成する画像データ、音声データとして、記録再生処理部１０４を通じてコンテンツデータ処理部１０５に供給される。一方、リスト作成処理が記録後に行われる場合、記録後に再生されて記録再生処理部１０４で得られた、リスト作成対象のコンテンツデータを構成する画像データ、音声データが、コンテンツデータ処理部１０５に供給される。

コンテンツデータ処理部１０５では、画像データ、あるいは画像データおよび音声データが処理されて、ダイジェスト再生のための再生区間が選択されてプレイリストが作成される。また、このコンテンツデータ処理部１０５では、画像データ、あるいは画像データおよび音声データが処理されて、コンテンツデータのサムネイルを構成する画像データフレームが選択されてサムネイルリストが作成される。

このようにコンテンツデータ処理部１０５で作成されたプレイリストおよびサムネイルリストは、制御部１０１内のメモリ部１０１ｂに保持される。メモリ部１０１ｂに保持されたプレイリストは、ダイジェスト再生時における再生位置情報として利用される。また、メモリ部１０１ｂに保持されたサムネイルリストは、コンテンツデータのサムネイルを表示する際に、フレーム画像データを取得するために利用される。

［コンテンツデータ処理部の構成］
次に、コンテンツデータ処理部１０５について説明する。図２は、コンテンツデータ処理部１０５の構成例を示している。このコンテンツデータ処理部１０５は、画像データだけを処理して、プレイリストおよびサムネイルリストを作成する例である。

図２において、コンテンツデータ処理部１０５は、画像特徴抽出部２０１と、カット境界検出部２０２と、安定画検出部２０３と、単純画検出部２０４と、類似画検出部２０５と、顔検出部２０６を有している。また、コンテンツデータ処理部１０５は、スコア計算部２０７と、シーン選択部２０８と、サムネイル選択部２０９を有している。

画像特徴抽出部２０１には、リスト作成対象のコンテンツデータを構成する画像データＳＶが入力される。この画像特徴抽出部２０１は、画像データＳＶを処理して、各検出部の処理に必要な種々の特徴情報を生成する。すなわち、画像特徴抽出部２０１は、カット境界検出部２０２の処理のために、画像データＳＶのフレーム毎に、フレーム間差分ｄ(t)を算出する。また、画像特徴抽出部２０２は、安定画検出部２０３の処理のために、フレーム間差分ｄ(t)にメディアンフィルタを適用してパルス状のピークおよびノイズを除去した、フレーム間差分ｄ′(t)を算出する。

また、画像特徴抽出部２０１は、単純画検出部２０４の処理のために、画像データＳＶのフレーム毎に、統計処理値である分散Ｖ(t)を算出する。なお、分散Ｖ(t)の代わりに標準偏差でもよい。また、画像特徴抽出部２０１は、類似画検出部２０５の処理のために、各フレームの画像間の類似を判別し、画像が類似する各フレームに同一のＩＤ（識別子）を付与する。なお、画像特徴抽出部２０１に入力される画像データＳＶの各フレームに予め上述したと同様のＩＤが付与されている場合には、画像特徴抽出部２０１でＩＤを付与する処理を省略できる。

また、画像特徴抽出部２０１は、顔検出部２０６の処理のために、画像データＳＶのフレーム毎に、顔画像を検出し、顔画像の位置情報、サイズ情報、個数情報を取得する。なお、顔画像の検出処理は、必ずしも各フレームで行う必要はなく、処理能力によっては、所定数のフレーム期間毎に行って、その期間を代表する情報を取得するようにしてもよい。

「フレーム間差分ｄ(t)，ｄ′(t)」
フレーム間差分ｄ(t)，ｄ′(t)の算出処理について説明する。図３は、各フレームの画像Ｐが時系列的に並んでいることを示している。フレーム間差分ｄ(t)を算出するために、対象フレーム（時刻ｔ）の画像と、この対象フレームに対して１フレーム前の画像は、図４に示すように、水平方向にＮ分割、垂直方向にＭ分割され、Ｎ×Ｎ個のブロックに分割される。そして、各ブロックに含まれる画素（ピクセル）の輝度平均値をｙijとして、（１）式により、フレーム間差分ｄ(t)が求められる。この（１）式で、ｙij(t)は対象フレームの画像の輝度平均値であり、ｙij(t-1)は１フレーム前の画像の輝度平均値である。

また、フレーム間差分ｄ(t)に対して、（２）式に示すように、メディアンフィルタのフィルタ演算が行われて、フレーム間差分ｄ′(t)が求められる。この（２）式で、median(ｄ(t))は、時刻ｔに対してｔ±Δｔに含まれるサンプル値の中央値を出力することを意味している。

ｄ′(t)＝median(ｄ(t)) ・・・（２）

「分散Ｖ(t)」
分散Ｖ(t)の算出処理について説明する。図５に示すように、各フレームの画像において、周辺部（Ｈｍ，Ｖｍ）を除く、破線で囲まれた領域が検出領域とされる。対象フレーム（時刻ｔ）の画像の分散Ｖ(t)として、（３）式により、検出領域に含まれるＮ個の画素（ピクセル）ｉの輝度値の分散が求められる。この（３）式で、ｙi(t)は画素ｉの輝度値であり、ｙ(t)バーはＮ個の画素ｉの輝度平均値である。

「ＩＤの付与」
各フレームの画像について、当該画像が複数分割、例えば図６に示すように２５分割され、各分割画面領域に対応する領域のＤＣＴの平均ＤＣ係数が演算され、その演算された複数の平均ＤＣ係数をベクトル要素とする特徴ベクトルが生成される。各フレームの画像について、上述の特徴ベクトルの他のフレームの画像の特徴ベクトルとの間のベクトル間距離、つまり対応するベクトル要素毎の差分絶対値の総和が求められて、他のフレームの画像との類似判断が行われる。なお、特徴ベクトルのベクトル要素は、上述した各分割画面領域の平均ＤＣ係数に限定されるものではなく、例えば、各分割画面領域の平均輝度値、さらには平均色差信号値などを用いてもよい。

そして、画像が類似する各フレームに同一のＩＤ（識別子）が付与される。例えば、ＩＤの初期値が１とされ、各フレームが順次ＩＤ付与処理の対象フレームとされる。最初の対象フレームにはＩＤ＝１が付与される。次以降の対象フレームに関しては、既に処理されている他の所定フレームの画像との間のベクトル間距離が閾値以下となる場合には、当該他の所定フレームに付与されているＩＤと同じＩＤが付与される。また、この次以降の対象フレームに関しては、既に処理されている他の全てのフレームの画像との間のベクトル間距離が閾値より大きくなる場合には、既に付与されているＩＤの最大値に１を加算したＩＤが付与される。

図７は、一連のコンテンツデータに対するＩＤ付与後の状態の一例を示している。この例の場合、全体としてＩＤ１〜ＩＤｎまでのｎ個のＩＤが付与されている。つまり、このコンテンツデータはｎ個の類似区間からなっていることがわかる。

「顔画像の検出」
画像特徴抽出部２０１における顔検出部は、各フレームの画像に対して、以下の顔画像検出処理を行って、顔画像の位置情報、サイズ情報、個数情報を取得する。

顔検出部は、画像ＩＭ-0が図８（ａ）に示すようであるとき、図８（ｂ）に破線枠で囲んで示すように、撮像画像ＩＭ-0に含まれている顔画像ＩＭ-1を検出する。

顔画像の検出処理では、図９に示すように、撮像画像ＩＭ-0上に、所定サイズ、例えば、水平サイズがＳピクセル、垂直サイズがＳピクセルである、検出枠ＦＲ-faが設定される。Ｓピクセルは、例えば、８０ピクセル以上とされる。この検出枠ＦＲ-faは、図９に矢印で示すように、撮像画像ＩＭ-0上を走査され、その位置が順次変化するようにされる。そして、各位置の検出枠ＦＲ-faで囲まれる画像に対し、顔辞書を用いて顔スコアSCORE_faの測定が行われ、当該顔スコアSCORE_faに基づいて、顔画像であるか否かの判定が行われる。

顔辞書は、図１０（ｂ）に示すように、ｔ４組（数百ペア）の、pix_fa1(i)，pix_fa2(i)、θ_fa(i)、およびα_fa(i)の組みあわせからなっている。ここで、pix_fa1(i)，pix_fa2(i)は、図１１に示すように、検出枠ＦＲ-faで囲まれる画像における２点の位置を示している。なお、図１１には、図面の簡単化のため、３組だけを示している。θ_fa(i)は、pix_fa1(i)の輝度値およびpix_fa2(i)の輝度値の差に関する閾値を示している。また、α_fa(i)は、pix_fa1(i)の輝度値およびpix_fa2(i)の輝度値の差と閾値θ_fa(i)の比較結果に基づいて加算または減算される重みを示している。これらpix_fa1(i)，pix_fa2(i)、θ_fa(i)、およびα_fa(i)の各値は、詳細説明は省略するが、アダブースト（AdaBoost）等の機械学習アルゴリズムにより学習されて取得されたものである。

顔スコアSCORE_faの測定は、図１０（ａ）に示すように、顔辞書のpix_fa1(i)，pix_fa2(i)、θ_fa(i)、およびα_fa(i)の各組に対応して、（４）式を満たすか否かを判断し、満たす場合には（５）式の演算を行い、一方、満たさない場合には（６）式の演算を行うことで、行われる。なお、（４）式で、pix_fa1(i)はその位置の輝度値を示し、pix_fa2(i)はその位置の輝度値を示している。

pix_fa1(i)−pix_fa2(i)＜θ_fa(i) ・・・（４）
SCORE_fa＝SCORE_fa＋α_fa(i) ・・・（５）
SCORE_fa＝SCORE_fa−α_fa(i) ・・・（６）

検出枠ＦＲ-faで囲まれる画像が顔画像であるか否かの判定は、上述したように測定された顔スコアSCORE_faに基づいて行われる。なお、上述の顔スコアSCORE_faの測定において、（４）式を満たす場合はｈ(i)＝１とし、逆に、（４）式を満たさない場合はｈ(i)＝−１とするとき、測定された顔スコアSCORE_faは、（７）式で表される。

顔スコアSCORE_faが０より大きいとき、検出枠ＦＲ-faで囲まれる画像は顔画像であると判定される。一方、顔スコアSCORE_faが０以下であるとき、検出枠ＦＲ-faで囲まれる画像は顔画像ではないと判定される。なお、判定の基準を０ではなく、０以外の多少調整された値が用いられることもある。

なお、撮像画像に含まれる顔画像には種々の大きさが考えられる。そのため、図９に示すように、撮像画像ＩＭ-0上に所定サイズの検出枠ＦＲ-faを設定して顔画像を検出するものにあっては、当該撮像画像ＩＭ-0に含まれる顔画像の内、当該検出枠ＦＲ-faのサイズに対応した顔画像だけしか検出できない。そこで、撮像画像ＩＭ-0に含まれる種々の顔画像を検出可能とするために、上述した顔画像の検出処理は、図１２に示すように、撮像画像ＩＭ-0の他に、この撮像画像ＩＭ-0を、適宜縮小した縮小画像ＩＭ-0a，ＩＭ-0b，・・・に対しても行われる。これにより、撮像画像ＩＭ-0から検出される顔画像のサイズは、段階的に設定された複数サイズのいずれかとなる。

図１３のフローチャートは、顔検出部における、顔画像検出処理の手順の一例を示している。

まず、顔検出部は、ステップＳＴ９１において、顔画像検出処理を開始し、その後に、ステップＳＴ９２に移る。このステップＳＴ９２において、顔検出部は、撮像画像ＩＭ-0の縮小段階Ｓ_NOを１に設定する。そして、顔検出部は、ステップＳＴ９３において、画像ＩＭ-0の画像情報を取得し、縮小段階Ｓ_NOのスケーリング（縮小処理）を施し、顔画像を検出するための縮小画像（縮小された撮像画像）を生成する。

なお、Ｓ_NO＝１であるとき、縮小率は１とされ、顔画像を検出するための縮小画像は、撮像画像ＩＭ-0と同じものとされる。また、縮小段階Ｓ_NOが大きくなるにつれて、縮小率は小さくなっていく。縮小率が小さな縮小画像で検出される顔画像ほど、撮像画像ＩＭ-0上では大きな顔画像である。顔検出情報に含まれるサイズ情報および位置情報は、撮像画像ＩＭ-0におけるものとされる。

次に、顔検出部は、ステップＳＴ９４において、ステップＳＴ９３で生成された縮小画像上の左上に検出枠ＦＲ-faを設定する。そして、顔検出部は、ステップＳＴ９５において、上述したように、顔辞書を用いて、顔スコアSCORE_faを測定する。

次に、顔検出部は、ステップＳＴ９６において、ステップＳＴ９５で測定された顔スコアSCORE_faに基づいて、検出枠ＦＲ-faで囲まれた画像が顔画像であるか否かを判定する。この場合、顔検出部は、SCORE_fa＞０であるとき顔画像であると判定し、SCORE_fa＞０でないとき顔画像ではないと判定する。

顔画像であると判定するとき、顔検出部は、ステップＳＴ９７に移る。このステップＳＴ９７において、顔検出部は、検出枠ＦＲ-faで囲まれている画像を顔画像として、その情報（位置情報、サイズ情報）を図示しない記憶装置部に記憶する。顔検出部は、ステップＳＴ９７の処理の後、ステップＳＴ９８に進む。ステップＳＴ９６で顔画像でないと判定するとき、顔検出部は、直ちに、ステップＳＴ９８に移る。

このステップＳＴ９８において、顔検出部は、検出枠ＦＲ-faが最後の位置まで移動したか否かを判定する。最後の位置まで移動していないとき、顔検出部は、ステップＳＴ９９において、検出枠ＦＲ-faを次の位置に移動し、その後に、上述したステップＳＴ９５に戻って、上述したと同様の処理を繰り返す。なお、検出枠ＦＲ-faは、ある垂直位置においては水平方向に１ピクセルずつ移動していき、当該垂直位置における水平方向の移動が終わると、垂直方向に１ピクセル移動して、次の垂直位置に移る。

ステップＳＴ９８で検出枠ＦＲ-faが最後の位置まで移動しているとき、顔検出部は、ステップＳＴ１００において、縮小段階Ｓ_NOが最後の段階Ｓ_NOmaxにあるか否かを判定する。Ｓ_NO＝Ｓ_NOmaxでないとき、顔検出部は、ステップＳＴ１０１において、縮小段階Ｓ_NOを次の段階とし、その後、ステップＳＴ９３に移り、上述したと同様の処理を繰り返す。

また、ステップＳＴ１００で、Ｓ_NO＝Ｓ_NOmaxであるとき、全ての縮小段階Ｓ_NOでの顔画像の検出処理が終了したことを意味するので、顔検出部は、ステップＳＴ１０２において、顔画像検出処理を終了する。

図２に戻って、カット境界検出部２０２は、画像データＳＶの各フレームを順にカット境界検出フレームとし、カット境界、つまりカット境界を構成するフレームを検出する。カット境界検出部２０２は、例えば、上述した画像特徴抽出部２０１で算出されたフレーム間差分ｄ(t)を用いて、カット境界を構成するフレームを検出する。

すなわち、カット境界検出部２０２は、フレーム間差分ｄ(t)とカット境界検出用のしきい値Ｄtcを比較し、ｄ(t)＞Ｄtcとなるフレームを、カット境界を構成するフレームとして検出する。カット境界を構成するフレームのフレーム間差分ｄ(t)は、パルス状のピークＰＰとして現れる。そのため、しきい値Ｄtcは、当該パルス状のピークＰＰを検出可能な値に予め設定されている。カット境界検出部２０２は、検出されたカット境界を構成するフレームの情報を、安定画検出部２０３に供給する。

図１４（ａ）は、画像特徴抽出部２０１で算出されて得られた、画像データＳＶの各フレームにおけるフレーム間差分ｄ(t)の一例を示している。図１４（ａ）の例では、時刻ｔ１，ｔ２，ｔ３のフレームでフレーム間差分ｄ(t)がパルス状のピークＰＰとなることから、ｄ(t)＞Ｄtcを満たし、当該フレームがカット境界を構成するフレームとして検出される。

なお、カット境界検出部２０２におけるカット境界の検出方法は、上述方法に限定されるものではなく、その他の方法であってもよい。例えば、カット境界検出部２０２は、対象フレームの特徴ベクトルと、この対象フレームの前または後に位置するフレームの特徴ベクトルを比較して、対象フレームがカット境界を構成するフレームであるか否かを判断する方法がある。

この場合、対象フレームの特徴ベクトルとこの対象フレームの前または後に位置するフレームの特徴ベクトルとのベクトル間距離が求められる。そして、このベクトル間距離が、予め設定されている閾値より大きいとき、当該対象フレームはカット境界を構成するフレームとして検出される。

なお、各フレームの特徴ベクトルは、上述の「ＩＤの付与」の項で説明したと同様に、例えば、以下のようにして生成される。すなわち、画像が複数分割、例えば図６に示すように２５分割され、各分割画面領域に対応する領域のＤＣＴの平均ＤＣ係数が演算される。そして、演算された複数の平均ＤＣ係数がベクトル要素とされることで、特徴ベクトルが得られる。

安定画検出部２０３は、各フレームの画像の安定度に対応した安定度スコアを算出する。この安定画検出部２０３は、第１の安定度スコアＳsiおよび第２の安定度スコアＳspを算出する。この安定画検出部２０３は、安定度スコア算出部を構成している。

「第１の安定度スコアＳsi」
第１の安定度スコアＳsiの算出方法について説明する。安定画検出部２０３は、画像特徴抽出部２０１で算出されたフレーム間差分ｄ′(t)に基づいて、しきい値ＤTLを用いて、安定画区間を検出する。図１４（ｂ）は、図１４（ａ）に示すフレーム間差分ｄ(t)に対応した、メディアンフィルタによるフィルタリング後のフレーム間差分ｄ′(t)を示している。しきい値ＤTLは、図示のように、低レベル値とされている。

なお、安定画検出部２０３では、このしきい値ＤTLの他に、第２の安定度スコアＳspを算出するためのしきい値ＤTHが用いられる。しきい値ＤTHは、図示のように、しきい値ＤTLより大きく、高レベル値とされている。

安定画検出部２０３は、フレーム間差分ｄ′(t)がしきい値ＤTLより小さな区間を検出する。この場合、安定画検出部２０３は、検出された区間に、上述のカット境界検出部２０２で検出されたカット境界が含まれるときは、このカット境界で区間を分割する。安定画検出部２０３は、検出された区間が一定の区間長Ｔａより長いとき、当該区間を安定画区間とする。

安定画検出部２０３は、安定画区間において、しきい値ＤTLからフレーム間差分ｄ′(t)を減算して得られた減算結果の平均値に基づいて、第１の安定度スコアＳsiを算出する。すなわち、安定画検出部２０３は、（８）式により、第１の安定度スコアＳsiを算出する。この（８）式において、Ｔｓは安定画区間の開始時刻を示し、Ｔｅは安定画区間の終了時刻を示している。また、この（８）式で、分母のＤTLは、ｄ′(t)＝０のとき、Ｓsi＝１となるように正規化を行うために設けられている。

フレーム間差分ｄ′(t)が、図１５（ａ）（図１４（ｂ）と同じ）に示すようであるとき、図示のように安定画区間が検出され、第１の安定度スコアＳsiは、図１５（ｂ）に示すように算出される。この場合、安定画区間以外では第１の安定度スコアＳsiは０となり、また、安定画区間ではフレーム間差分ｄ′(t)が小さいほど安定度スコアＳsiは大きくなる。

「第２の安定度スコアＳsp」
第２の安定度スコアＳspの算出方法について説明する。安定画検出部２０３は、一定期間Ｔｐ毎に、しきい値ＤTHからフレーム間差分ｄ′(t)を減算して得られた減算結果の平均値に基づいて、第２の安定度スコアＳspを算出する。すなわち、安定画検出部２０３は、（９）式により、第２の安定度スコアＳspを算出する。この（９）式において、ｔ−Ｔｐ/２は一定期間Ｔｐの開始時刻を示し、ｔ＋Ｔｐ/２は一定期間Ｔｐの終了時刻を示している。また、この（９）式で、分母のＤTHは、ｄ′(t)＝０のとき、Ｓsp＝１となるように正規化を行うために設けられている。

フレーム間差分ｄ′(t)が、図１５（ａ）に示すようであるとき、第２の安定度スコアＳspは、図１５（ｃ）に示すように算出される。この場合、フレーム間差分ｄ′(t)が小さい程第２の安定度スコアＳspは大きくなる。この第２の安定度スコアＳspを導入することで、上述の安定画区間の中でもより安定したシーンを再生区間として選択することが可能となる。

単純画検出部２０４は、各フレームの画像の単純度に対応した単純度スコアを算出する。この単純画検出部２０４は、第１の単純度スコアＳbiおよび第２の単純度スコアＳbpを算出する。この単純画検出部２０４は、単純度スコア算出部を構成している。

「第１の単純度スコアＳbi」
第１の単純度スコアＳbiの算出方法について説明する。単純画検出部２０４は、画像特徴抽出部２０１で算出された分散Ｖ(t)に基づいて、しきい値ＶTを用いて、単純画区間を検出する。図１６（ａ）は、画像データＳＶの各フレームにおける分散Ｖ(t)の一例を示している。しきい値ＶTは、図示のように、低レベル値とされている。

単純画検出部２０４は、分散Ｖ(t)がしきい値ＶTより小さな区間を、単純画区間として検出する。単純画検出部２０４は、単純画区間において、しきい値Ｖ(t)から分散Ｖ(t)を減算して得られた減算結果の平均値に基づいて、第１の単純度スコアＳbiを算出する。すなわち、単純画検出部２０４は、（１０）式により、第１の単純度スコアＳbiを算出する。この（１０）式において、Ｔｓは単純画区間の開始時刻を示し、Ｔｅは単純画区間の終了時刻を示している。また、この（１０）式で、分母のＶTは、Ｖ(t)＝０のとき、Ｓbi＝１となるように正規化を行うために設けられている。

分散Ｖ(t)が、図１６（ａ）に示すようであるとき、図示のように単純画区間が検出され、第１の単純度スコアＳbiは、図１６（ｂ）に示すように算出される。単純画区間以外では第１の単純度スコアＳbiは０となり、また、単純画区間では分散Ｖ(t)が小さく、単純な画像ほど、第１の単純度スコアＳbiは大きくなる。

「第２の単純度スコアＳbp」
第２の単純度スコアＳbpの算出方法について説明する。単純画検出部２０４は、一定期間Ｔｐ毎に、分散Ｖ(t)からしきい値ＶTを減算して得られた減算結果の平均値に基づいて、第２の単純度スコアＳbpを算出する。すなわち、単純画検出部２０４は、（１１）式により、第２の単純度スコアＳbpを算出する。この（１１）式において、ｔ−Ｔｐ/２は一定期間Ｔｐの開始時刻を示し、ｔ＋Ｔｐ/２は一定期間Ｔｐの終了時刻を示している。なお、単純画検出部２０４は、（１１）式で算出された第２の単純度スコアＳbpが所定の値Ｂmaxより大きいとき、Ｓbp＝Ｂmaxとする。

分散Ｖ(t)が、図１６（ａ）に示すようであるとき、第２の単純度スコアＳbpは、図１６（ｃ）に示すように算出される。この場合、分散Ｖ(t)が大きく、複雑な画像ほど、第２の単純度スコアＳbpは大きくなる。

類似画検出部２０５は、各フレームの画像の類似を判別し、類似する画像毎に、出現頻度および出現時間に対応した出現スコアＳidを算出する。この類似画検出部２０５は、出現スコア算出部を構成している。類似画検出部２０５は、画像特徴抽出部２０１で各フレームに付与されたＩＤ（識別子）に基づいて、各フレームの画像の類似を判別する。この場合、類似画検出部２０５は、同じＩＤが付与されたフレームの画像は類似していると判別する。

類似画検出部２０５は、類似する画像毎に、つまり、ＩＤ毎に、（１２）式により、出現スコアＳidを算出する。

Ｓid＝ｆid／Ｍ＋Ｋ＊Ｔid／Ｔtotal ・・・（１２）

この（１２）式において、Ｍは、同一のＩＤを持つフレームが連続した区間を同一ＩＤ区間として、コンテンツデータにおける当該同一ＩＤ区間の総個数を示している（図７参照）。また、（１２）式において、ｆidは、Ｍ個の同一ＩＤ区間のうち、対象ＩＤを持つ同一ＩＤ区間の個数を示している。また、（１２）式において、Ｔtotalはコンテンツデータの総時間を示し、Ｔidは対象ＩＤを持つ同一ＩＤ区間の総時間を示している。さらに、Ｋは所定の係数である。

この場合、対象ＩＤを持つ同一ＩＤ区間の個数が多くなるほど、つまりコンテンツデータにおいて対象ＩＤを持つ同一ＩＤ区間の出現頻度が高いほど、ｆid／Ｍの項が大きくなり、出現スコアＳidは大きくなる。また、対象ＩＤを持つ同一ＩＤ区間の総時間が長くなるほど、つまりコンテンツデータにおいて対象ＩＤを持つ同一ＩＤ区間の出現時間が長いほど、Ｋ＊Ｔid／Ｔtotalの項が大きくなり、出現スコアＳidは大きくなる。

なお、類似画検出部２０５は、上述したように出現頻度および出現時間に対応した出現スコアＳidを算出する代わりに、どちらか一方に対応した出現スコアＳidを算出してもよい。例えば、出現頻度だけに対応した出現スコアＳidは（１３）式により算出でき、また、出現時間だけに対応した出現スコアＳidは（１４）式により算出できる。

Ｓid＝ｆid／Ｍ ・・・（１３）
Ｓid＝Ｔid／Ｔtotal ・・・（１４）

顔検出部２０６は、各フレームの画像に含まれる顔画像に対応した顔検出スコアを算出する。顔検出部２０６は、画像特徴抽出部２０１における顔画像の検出処理で得られた、顔画像の位置情報、サイズ情報、個数情報に基づいて、第１の顔検出スコアＳfp、第２の顔検出スコアＳfsおよび第３の顔検出スコアＳfnを算出する。この顔検出部２０６は、顔検出スコア算出部を構成している。

「第１の顔検出スコアＳfp」
第１の顔検出スコアＳfpの算出方法について説明する。顔検出部２０６は、顔画像の位置情報に基づいて、第１の顔検出スコアＳfpを算出する。顔検出部２０６は、一定期間Ｔｐ毎に第１の顔検出スコアＳfpを算出する。顔検出部２０６は、一定期間Ｔｐに含まれる各フレームにおいて、検出された顔画像の中心座表が所定領域、例えば、画面中央領域に含まれる場合にＰ＝１とし、そうでない場合にＰ＝０とする。そして、顔検出部２０６は、一定期間Ｔｐに含まれる各フレームのＰ値の加算平均を求め、その値を第１の顔検出スコアＳfpとする。

すなわち、顔検出部２０６は、（１５）式により、第１の顔検出スコアＳfpを算出する。この（１５）式において、ｔ−Ｔｐ/２は一定期間Ｔｐの開始時刻を示し、ｔ＋Ｔｐ/２は一定期間Ｔｐの終了時刻を示している。この場合、一定期間Ｔｐの各フレームに顔画像が含まれており、その顔画像の中心座表が所定領域内にあるときには、第１の顔検出スコアＳfpは大きくなる。

「第２の顔検出スコアＳfs」
第２の顔検出スコアＳfsの算出方法について説明する。顔検出部２０６は、顔画像のサイズ情報に基づいて、第２の顔検出スコアＳfsを算出する。顔検出部２０６は、一定期間Ｔｐ毎に第２の顔検出スコアＳfsを算出する。顔検出部２０６は、一定期間Ｔｐに含まれる各フレームにおいて、検出された顔画像の面積Ｓの所定の最大面積Ｓmaxに対する割合を求める。そして、顔検出部２０６は、一定期間Ｔｐに含まれる各フレームの顔画像の面積割合の加算平均を求め、その値を第２の顔検出スコアＳfsとする。

すなわち、顔検出部２０６は、（１６）式により、第２の顔検出スコアＳfsを算出する。この（１６）式において、ｔ−Ｔｐ/２は一定期間Ｔｐの開始時刻を示し、ｔ＋Ｔｐ/２は一定期間Ｔｐの終了時刻を示している。この場合、一定期間Ｔｐの各フレームに顔画像が含まれており、その顔画像の面積が大きいほど、第２の顔検出スコアＳfsは大きくなる。

「第３の顔検出スコアＳfn」
第３の顔検出スコアＳfnの算出方法について説明する。顔検出部２０６は、顔画像の個数情報に基づいて、第３の顔検出スコアＳfnを算出する。顔検出部２０６は、一定期間Ｔｐ毎に第３の顔検出スコアＳfnを算出する。顔検出部２０６は、一定期間Ｔｐに含まれる各フレームにおいて、顔画像の検出個数ｎの所定の最大検出個数ｎmaxに対する割合を求める。そして、顔検出部２０６は、一定期間Ｔｐに含まれる各フレームの検出個数の割合の加算平均を求め、その値を第３の顔検出スコアＳfnとする。

すなわち、顔検出部２０６は、（１７）式により、第３の顔検出スコアＳfnを算出する。この（１７）式において、ｔ−Ｔｐ/２は一定期間Ｔｐの開始時刻を示し、ｔ＋Ｔｐ/２は一定期間Ｔｐの終了時刻を示している。この場合、一定期間Ｔｐの各フレームに顔画像が含まれており、その顔画像の検出個数が多いほど、第３の顔検出スコアＳfnは大きくなる。

スコア計算部２０７は、安定画検出部２０３、単純画検出部２０４、類似画検出部２０５および顔検出部２０６で算出された各スコアに基づいて、シーン選択部２０８およびサムネイル選択部２０９で使用する、画像データＳＶにおける各フレームのスコアScore(t)を算出する。スコア計算部２０７は、各スコアを重み付け加算することで、スコアScore(t)を求める。この場合、シーンとして選択したい画像に応じて重み付け係数が決定され、また加算すべきスコアの組み合わせが決定される。例えば、第１の単純度スコアＳbiの重み付け係数Ｋbiを負の値とすることで、コンテンツデータから単純画像の部分が再生区間として選択されることを積極的に排除できる。

（１８）式は、安定画検出部２０３、単純画検出部２０４および類似画検出部２０５で算出された各スコアに基づいてスコアScore(t)を算出する場合の算出式の一例を示している。この（１８）式で、Ｋsi，Ｋsp，Ｋbi，Ｋbp，Ｋidは、それぞれ、スコアＳsi，Ｓsp，Ｓbi，Ｓbp，Ｓidの重み付け係数を示している。また、この（１８）式で、Ｋoffsetはオフセット値を示している。

Score(t)＝ＫsiＳsi(t)＋ＫspＳsp(t)＋ＫbiＳbi(t)
＋ＫbpＳbp(t)＋ＫidＳid(t)＋Ｋoffset ・・・（１８）

また、（１９）式は、安定画検出部２０３、単純画検出部２０４および類似画検出部２０５の他に、さらに顔検出部２０６で算出された各スコアに基づいてスコアScore(t)を算出する場合の算出式の一例を示している。この（１９）式で、Ｋsi，Ｋsp，Ｋbi，Ｋbp，Ｋid，Ｋfp，Ｋfs，Ｋfnは、それぞれ、スコアＳsi，Ｓsp，Ｓbi，Ｓbp，Ｓid，Ｓfp，Ｓfs，Ｓfnの重み付け係数を示している。また、この（１９）式で、Ｋoffsetはオフセット値を示している。

Score(t)＝ＫsiＳsi(t)＋ＫspＳsp(t)＋ＫbiＳbi(t)＋ＫbpＳbp(t)
＋ＫbpＳbp(t)＋ＫfpＳfp(t)＋ＫfsＳfs(t)＋ＫfnＳfn(t)
＋Ｋoffset ・・・（１９）

シーン選択部２０８は、スコア計算部２０７で算出された各フレームのスコアScore(t)等に基づいて、コンテンツデータから、ダイジェスト再生を行うための再生区間（シーン）を選択する。このシーン選択部２０８は、再生区間選択部を構成している。シーン選択部２０８におけるシーン選択の処理手順を説明する。

図１７のフローチャートは、シーン選択部２０８におけるシーン選択の処理手順の一例を示している。シーン選択部２０８は、ステップＳＴ１において、シーン選択処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、シーン選択部２０８は、安定画区間の総時間Ｔtotalを求める。なお、上述していないが、安定画検出部２０３からシーン選択部２０８には、安定画区間の検出情報が供給されている。

次に、シーン選択部２０８は、ステップＳＴ３において、ターゲット時間Ｔｇが総時間Ｔtotalより長いか否かを判別する。ここで、ターゲット時間Ｔｇは、ダイジェスト再生で目標とする再生総時間を意味している。Ｔｇ＞Ｔtotalでないとき、シーン選択部２０８は、ステップＳＴ４において、選択区間の合計時間Ｔsumを０にリセットする。

次に、シーン選択部２０８は、ステップＳＴ５において、時間Ｔavgを求める。この場合、シーン選択部２０８は、総時間Ｔtotalから合計時間Ｔsumを減算し、減算結果を未選択の安定画区間の個数で除算することで、時間Ｔavgを算出する。そして、シーン選択部２０８は、ステップＳＴ６において、未選択の安定画区間で、スコアScore(t)が最大となる位置を探す。

次に、シーン選択部２０８は、ステップＳＴ７において、スコアScore(t)の最大位置を含む未選択の安定画区間に対して、区間長が時間Ｔavgより長いか否かを判別する。「Ｔavg＜区間長」であるとき、シーン選択部２０８は、ステップＳＴ８において、スコアScore(t)の最大位置を含む未選択の安定画区間において、時間Ｔavgの区間長で平均スコアが最大となる区間を見つけ、当該区間を選択する。

一方、ステップＳＴ７で「Ｔavg＜区間長」でないとき、シーン選択部２０８は、ステップＳＴ９において、未選択の安定画区間を選択する。シーン選択部２０は、ステップＳＴ８の処理の後、あるいはステップＳＴ９の処理の後、ステップＳＴ１０の処理に移る。

このステップＳＴ１０において、シーン選択部２０８は、ターゲット時間Ｔｇが、合計時間Ｔsumに選択区間長を加算した時間より、長いか否かを判別する。「Ｔｇ＞Ｔsum＋選択区間長」でないとき、加算時間の合計がターゲット時間Ｔｇを超えるので、シーン選択部２０８は、ステップＳＴ１１において、シーン選択処理を終了する。

ステップＳＴ１０で「Ｔｇ＞Ｔsum＋選択区間長」であるとき、加算時間がターゲット時間Ｔｇを超えないので、シーン選択部２０８は、ステップＳＴ１２の処理に移る。このステップＳＴ１２において、シーン選択部２０８は、ステップＳＴ８またはステップＳＴ９の処理で選択された区間を選択済みにする。

次に、シーン選択部２０８は、ステップＳＴ１３において、ステップＳＴ８またはステップＳＴ９の処理で選択された区間を含む安定画区間のスコアを所定値だけ減算する。これにより、同一の安定画区間内から複数回にわたって再生区間が選択されることが抑制される。

次に、シーン選択部２０８は、ステップＳＴ１４において、ステップＳＴ８またはステップＳＴ９の処理で選択された区間のフレームに付与されているＩＤに係る出現スコアＳidを所定値だけ減算する。これにより、類似するフレーム画像の区間が、再生区間として複数回にわたって選択されることが抑制される。

次に、シーン選択部２０８は、ステップＳＴ１５の処理に進み、未選択の安定画区間の全体が選択されなかった場合、区間を分割して、選択されなかった区間を、新たに未選択の安定画区間とする。また、シーン選択部２０８は、ステップＳＴ１６において、ステップＳＴ８またはステップＳＴ９の処理における選択区間が選択済区間と隣接する場合、選択区間を選択済区間に結合する。

次に、シーン選択部２０８は、ステップＳＴ１７において、ステップＳＴ８またはステップＳＴ９の処理で選択された区間を再生区間としてプレイリストに追加する。また、シーン選択部２０８は、ステップＳＴ１７において、合計時間Ｔsumに選択区間長を加算して、当該合計時間Ｔsumを更新する。シーン選択部２０８は、ステップＳＴ１７の処理の後、ステップＳＴ５に戻り、上述したと同様の処理を繰り返す。

また、ステップＳＴ３でＴｇ＞Ｔtotalであるとき、シーン選択部２０８は、ステップＳＴ２１の処理に移る。このステップＳＴ２１において、シーン選択部２０８は、合計時間Ｔsumを、コンテンツ長（コンテンツデータの総時間）からターゲット時間Ｔｇを減算した値に設定する。シーン選択部２０８は、ステップＳＴ２１の処理の後、ステップＳＴ２２の処理に移る。

このステップＳＴ２２において、シーン選択部２０８は、未選択区間でスコアScore(t)最小となる位置を探す。そして、シーン選択部２０８は、ステップＳＴ２３において、Score(t)が最小位置を含む未選択区間が最小区間長Ｔminより小さいとき、当該未選択区間を選択区間とする。また、シーン選択部２０８は、ステップＳＴ２３において、Score(t)が最小位置を含む未選択区間が最小区間長Ｔmin以上であるとき、時間Ｔminの区間長で平均スコアが最小となる区間を見つけ、当該区間を選択区間とする。

次に、シーン選択部２０８は、ステップＳＴ２４において、合計時間Ｔsumが選択区間長より長いか否かを判別する。合計時間Ｔsumが選択区間長より長いとき、シーン選択部２０８は、ステップＳＴ２５において、ステップＳＴ２３の処理における選択区間が選択済区間と隣接する場合、当該選択区間を選択済区間に結合する。

次に、シーン選択部２０８は、ステップＳＴ２６において、合計時間Ｔsumから選択区間長を減算して、当該合計時間Ｔsumを更新する。シーン選択部２０８は、ステップＳＴ２６の処理の後、ステップＳＴ２２の処理に戻り、上述したと同様の処理を繰り返す。

また、シーン選択部２０８は、ステップＳＴ２４で合計時間Ｔsumが選択区間長より長くないとき、未選択区間がターゲット時間Ｔｇより短くなるので、ステップＳＴ２７の処理に移る。このステップＳＴ２７において、シーン選択部２０８は、未選択区間をプレイリストとする。そして、シーン選択部２０８は、ステップＳＴ２８において、シーン選択処理を終了する。

シーン選択部２０８は、図１７のフローチャートに沿ってシーン選択処理を行うことで、コンテンツデータにおける安定画区間の総時間Ｔtotalがターゲット時間Ｔｇ（目標再生総時間）以上のとき、ダイジェスト再生のための再生区間の全てを、安定画区間から選択できる。また、シーン選択部２０８は、図１７のフローチャートに沿ってシーン選択処理を行うことで、コンテンツデータにおける安定画区間の総時間Ｔtotalがターゲット時間Ｔｇより短いとき、スコアScore(t)の小さな区間を優先的に除いていって再生区間を決定する。そのため、スコアScore(t)の大きい、例えば、安定した画像区間を再生区間として選択できる。

図１８のフローチャートは、シーン選択部２０８におけるシーン選択の処理手順の他の例を示している。シーン選択部２０８は、ステップＳＴ３１において、シーン選択処理を開始し、その後に、ステップＳＴ３２の処理に移る。このステップＳＴ３２において、シーン選択部２０８は、スコアScore(t)が負となる区間の総時間Ｔｎを求める。

次に、シーン選択部２０８は、ステップＳＴ３３において、ターゲット時間Ｔｇが、安定画区間の総時間Ｔtotalから総時間Ｔｎを減算して得られた時間より長いか否かを判別する。Ｔｇ＞Ｔtotal−Ｔｎでないとき、つまりスコアScore(t)が０以上の区間の総時間がターゲット時間Ｔｇより長いとき、シーン選択部２０８は、ステップＳＴ３４において、選択区間の合計時間Ｔsumを０にリセットする。

次に、シーン選択部２０８は、ステップＳＴ３５において、スコアScore(t)の最大値を探す。そして、シーン選択部２０８は、ステップＳＴ３６において、最大スコアがしきい値Ｓth以上であって、この最大スコアを含むスコアScore(t)がしきい値Ｓth以上となる区間の区間長Ｔｊが最小区間長Ｔminより長いか否かを判別する。

区間長Ｔｊが最小区間長Ｔminより長いとき、シーン選択部２０８は、ステップＳＴ３７の処理に移る。このステップＳＴ３７において、シーン選択部２０８は、スコアScore(t)がしきい値Ｓth以上となる区間の開始位置および終了位置を決定する。そして、シーン選択部２０８は、ステップＳＴ３８において、ターゲット時間Ｔｇが、合計時間Ｔsumに区間長Ｔｊを加算した時間より、長いか否かを判別する。Ｔｇ＞Ｔsum＋Ｔｊでないとき、加算時間の合計がターゲット時間Ｔｇを超えるので、シーン選択部２０８は、ステップＳＴ３９において、シーン選択処理を終了する。

ステップＳＴ３８でＴｇ＞Ｔsum＋Ｔｊであるとき、加算時間がターゲット時間Ｔｇを超えないので、シーン選択部２０８は、ステップＳＴ４０の処理に移る。このステップＳＴ４０において、シーン選択部２０８は、ステップＳＴ３７で開始位置および終了位置が決定された区間を、プレイリストに追加する。また、シーン選択部２０８は、ステップＳＴ４０において、合計時間Ｔsumに区間長Ｔｊを加算して、当該合計時間Ｔsumを更新する。

次に、シーン選択部２０８は、ステップＳＴ４１でプレイリストに追加された区間長Ｔｊの区間（選択区間）のフレームに付与されているＩＤに係る出現スコアＳidを所定値だけ減算する。これにより、類似するフレーム画像の区間が、再生区間として複数回にわたって選択されることが抑制される。

次に、シーン選択部２０８は、ステップＳＴ４２において、選択区間をマスキングし、当該区間が重複して選択されることが防止される。シーン選択部２０８は、ステップＳＴ４２の処理の後、ステップＳＴ５に戻り、上述したと同様の処理を繰り返す。

また、上述のステップＳＴ３３でＴｇ＞Ｔtotal−Ｔｎであるとき、つまりスコアScore(t)が０以上の区間の総時間がターゲット時間Ｔｇより短いとき、シーン選択部２０８は、ステップＳＴ５０の処理に移る。このステップＳＴ５０において、シーン選択部２０８は、スコアScore(t)が０以上の区間をプレイリストに追加する。また、シーン選択部２０８は、ステップＳＴ５０において、合計時間Ｔsumから総時間Ｔｎを減算して、当該合計時間Ｔsumを更新する。

次に、シーン選択部２０８は、ステップＳＴ５１において、スコアScore(t)が負の期間のうち、最も区間のスコアScore(t)が大きな区間（区間長Ｔｊ）を選択する。そして、シーン選択部２０８は、ステップＳＴ５２において、ターゲット時間Ｔｇが、合計時間Ｔsumに区間長Ｔｊを加算した時間より、長いか否かを判別する。Ｔｇ＞Ｔsum＋Ｔｊでないとき、加算時間の合計がターゲット時間Ｔｇを超えるので、シーン選択部２０８は、ステップＳＴ５４において、シーン選択処理を終了する。

ステップＳＴ５２でＴｇ＞Ｔsum＋Ｔｊであるとき、加算時間がターゲット時間Ｔｇを超えないので、シーン選択部２０８は、ステップＳＴ５３の処理に移る。このステップＳＴ５３において、シーン選択部２０８は、ステップＳＴ５１で選択された区間を、プレイリストに追加する。また、シーン選択部２０８は、ステップＳＴ５３において、合計時間Ｔsumに区間長Ｔｊを加算して、当該合計時間Ｔsumを更新する。シーン選択部２０８は、ステップＳＴ５３の処理の後、ステップＳＴ５１の処理に戻り、上述したと同様の処理を繰り返す。

シーン選択部２０８は、図１８のフローチャートに沿ってシーン選択処理を行うことで、コンテンツデータにおけるスコアScore(t)が０以上となる区間の総時間がターゲット時間Ｔｇ（目標再生総時間）以上のとき、ダイジェスト再生のための再生区間の全てを、スコアScore(t)が０以上となる区間から選択できる。また、シーン選択部２０８は、図１８のフローチャートに沿ってシーン選択処理を行うことで、コンテンツデータにおけるスコアScore(t)が０以上となる区間の総時間がターゲット時間Ｔｇより短いとき、スコアScore(t)が０以上となる区間を全て選択する他、スコアScore(t)が負の区間のうちスコアScore(t)の大きな区間を再生区間として選択する。したがって、全体として、スコアScore(t)の高い、例えば、安定した画像区間を再生区間として選択できる。

サムネイル選択部２０９は、スコア計算部２０７で算出された各フレームのスコアScore(t)の情報、シーン選択部２０８で選択された再生区間の情報等に基づいて、コンテンツデータのサムネイルを構成する画像データフレームを選択して、サムネイルリストを作成する。

サムネイル選択部２０９は、例えば、各安定画区間で、スコアScore(t)が最大となるフレームをサムネイルのデータフレームとして検出する。また、サムネイル選択部２０９は、例えば、上述したようにシーン選択部２０８で選択された各再生区間で、スコアScore(t)が最大となるフレームをサムネイルのデータフレームとして検出する。また、サムネイル選択部２０９は、例えば、最も出現スコアＳidが高いＩＤの画像区間からサムネイルのデータフレームを検出する。

［コンテンツデータ処理部の動作］
次に、コンテンツデータ処理部１０５の動作を説明する。リスト作成対象のコンテンツデータを構成する画像データＳＶが、画像特徴抽出部２０１に供給される。画像特徴抽出部２０１では、画像データＳＶが処理されて、後段の各検出部の処理に必要な種々の特徴情報が生成される。

すなわち、画像特徴抽出部２０１では、カット境界検出部２０２の処理のために、画像データＳＶのフレーム毎に、フレーム間差分ｄ(t)が算出される。また、画像特徴抽出部２０１では、安定画検出部２０３の処理のために、フレーム間差分ｄ(t)にメディアンフィルタを適用してパルス状のピークおよびノイズを除去した、フレーム間差分ｄ′(t)が算出される。

また、画像特徴抽出部２０１では、単純画検出部２０４の処理のために、画像データＳＶのフレーム毎に、統計処理値である分散Ｖ(t)が算出される。また、画像特徴抽出部２０１では、類似画検出部２０５の処理のために、各フレームの画像間の類似が判別され、画像が類似する各フレームに同一のＩＤ（識別子）が付与される。また、画像特徴抽出部２０１では、顔検出部２０６の処理のために、画像データＳＶのフレーム毎に、顔画像が検出され、顔画像の位置情報、サイズ情報、個数情報が取得される。

画像特徴抽出部２０１で算出されたフレーム間差分ｄ(t)は、カット境界検出部２０２に供給される。このカット境界検出部２０２では、例えば、フレーム間差分ｄ(t)がパルス状のピークＰＰとなるフレームが、カット境界を構成するフレームとして検出される。

また、画像特徴抽出部２０１で算出されたフレーム間差分ｄ′(t)、およびカット境界検出部２０２で得られたカット境界情報が、安定画検出部２０３に供給される。この安定画検出部２０３では、各フレームの画像の安定度に対応した、第１の安定度スコアＳsiおよび第２の安定度スコアＳspが算出される。

すなわち、安定画検出部２０３では、安定画区間において、しきい値ＤTLからフレーム間差分ｄ′(t)が減算されて得られた減算結果の平均値に基づいて、第１の安定度スコアＳsiが算出すれる。また、安定画検出部２０３では、一定期間Ｔｐ毎に、しきい値ＤTHからフレーム間差分ｄ′(t)が減算されて得られた減算結果の平均値に基づいて、第２の安定度スコアＳspが算出される。

また、画像特徴抽出部２０１で算出された分散Ｖ(t)は、単純画検出部２０４に供給される。この単純画検出部２０４では、各フレームの画像の単純度に対応した、第１の単純度スコアＳbiおよび第２の単純度スコアＳbpが算出される。

すなわち、単純画検出部２０４では、単純画区間において、しきい値Ｖ(t)から分散Ｖ(t)が減算されて得られた減算結果の平均値に基づいて、第１の単純度スコアＳbiが算出される。また、単純画検出部２０４では、一定期間Ｔｐ毎に、分散Ｖ(t)からしきい値ＶTが減算されて得られた減算結果の平均値に基づいて、第２の単純度スコアＳbpが算出される。

また、画像特徴抽出部２０１における画像データＳＶの各フレームへのＩＤ付与情報は類似画検出部２０５に供給される。類似画検出部２０５では、各フレームの画像の類似がＩＤによって判別され、類似する画像毎に、つまり、ＩＤ毎に、出現頻度および出現時間に対応した出現スコアＳidが算出される。

また、画像特徴抽出部２０１で検出された顔画像の情報（位置情報、サイズ情報、個数情報）は、顔検出部２０６に供給される。この顔検出部２０５では、顔画像の位置情報、サイズ情報、個数情報に基づいて、第１の顔検出スコアＳfp、第２の顔検出スコアＳfsおよび第３の顔検出スコアＳfnが算出される。すなわち、顔検出部２０６では、一定期間Ｔｐに含まれる各フレームにおいて、検出された顔画像の中心座表が所定領域、例えば、画面中央領域に含まれる場合にＰ＝１とされ、そうでない場合にＰ＝０とされ、当該一定期間Ｔｐに含まれる各フレームのＰ値の加算平均が、第１の顔検出スコアＳfpとして求められる。

また、顔検出部２０６では、一定期間Ｔｐに含まれる各フレームにおいて、検出された顔画像の面積Ｓの所定の最大面積Ｓmaxに対する割合が求められ、一定期間Ｔｐに含まれる各フレームの顔画像の面積割合の加算平均が、第２の顔検出スコアＳfsとして求められる。また、顔検出部２０６では、一定期間Ｔｐに含まれる各フレームにおいて、顔画像の検出個数ｎの所定の最大検出個数ｎmaxに対する割合を求められ、一定期間Ｔｐに含まれる各フレームの検出個数の割合の加算平均が、第３の顔検出スコアＳfnとして求められる。

検出部２０３〜２０６で算出された各スコアはスコア計算部２０７に供給される。スコア計算部２０７では、各スコアに基づいて、シーン選択部２０８およびサムネイル選択部２０９で使用する、画像データＳＶの各フレームにおけるスコアScore(t)が算出される。この場合、例えば、ユーザの操作により、選択を希望するシーンに応じて、加算すべきスコアの組み合わせが決定されると共に、各スコアの重み付け係数が決定される。

スコア計算部２０７で算出されたスコアScore(t)はシーン選択部２０８およびサムネイル選択部２０９に供給される。また、これらシーン選択部２０８およびサムネイル選択部２０９には、その他に必要とする情報が、各部から供給される。

シーン選択部２０８では、スコア計算部２０７で算出された各フレームのスコアScore(t)等に基づいて、コンテンツデータから、ダイジェスト再生を行うための再生区間（シーン）が選択されて、プレイリストが作成される。このようにシーン選択部２０８で選択されたプレイリストは、制御部１０１内のメモリ部１０１ｂに保持される。このプレイリストは、上述したように、ダイジェスト再生時における再生位置情報として利用される。

また、サムネイル選択部２０９では、スコア計算部２０７で算出された各フレームのスコアScore(t)の情報、シーン選択部２０８で選択された再生区間の情報等に基づいて、コンテンツデータのサムネイルを構成する画像データフレームが選択されて、サムネイルリストが作成される。このようにサムネイル選択部２０９で選択されたサムネイルリストは、制御部１０１内のメモリ部１０１ｂに保持される。このサムネイルリストは、上述したように、コンテンツデータのサムネイルを表示する際に、フレーム画像データを取得するために利用される。

以上説明したように、図２に示すコンテンツデータ処理部１０５において、スコア計算部２０７では、安定画検出部２０３からの各フレームの画像の安定度に対応した安定度スコアＳsi，Ｓspを含んで、各フレームのスコアScore(t)が計算される。そして、図２に示すコンテンツデータ処理部１０５において、シーン選択部２０８では、このスコアScore(t)に基づいて、ダイジェスト再生を行うための再生区間（シーン）が選択されて、プレイリストが生成される。したがって、図２に示すコンテンツデータ処理部１０５においては、ダイジェスト再生を行うための再生区間として、安定した画像部分を選択でき、例えば手振れ等による乱れた画像部分が選択されることを回避できる。

また、図２に示すコンテンツデータ処理部１０５において、スコア計算部２０７では、単純画検出部２０４からの各フレームの画像の単純度に対応した単純度スコアＳbi，Ｓbpを含んで、各フレームのスコアScore(t)が計算される。そして、図２に示すコンテンツデータ処理部１０５において、シーン選択部２０８では、このスコアScore(t)に基づいて、ダイジェスト再生を行うための再生区間（シーン）が選択されて、プレイリストが生成される。したがって、図２に示すコンテンツデータ処理部１０５においては、ダイジェスト再生を行うための再生区間として、地面撮り、空撮りおよびキャップがかぶさったままの撮影等による単純な画像の区間が選択されることを回避できる。

また、図２に示すコンテンツデータ処理部１０５において、スコア計算部２０７では、類似画検出部２０５からの、類似する画像毎（ＩＤ毎）の出現頻度および出現時間に対応した出現スコアＳidを含んで、各フレームのスコアScore(t)が計算される。そして、図２に示すコンテンツデータ処理部１０５において、シーン選択部２０８では、このスコアScore(t)に基づいて、ダイジェスト再生を行うための再生区間（シーン）が選択されて、プレイリストが生成される。したがって、図２に示すコンテンツデータ処理部１０５においては、出現頻度が多い、あるいは、出現時間が長い画像の区間が再生区間として選択されやすくできる。

また、図２に示すコンテンツデータ処理部１０５において、スコア計算部２０７では、顔検出部２０５からの各フレームの画像に含まれる顔画像に対応した顔検出スコアＳfp，Ｓfs，Ｓfnを含んで、各フレームのスコアScore(t)が計算される。そして、図２に示すコンテンツデータ処理部１０５において、シーン選択部２０８では、このスコアScore(t)に基づいて、ダイジェスト再生を行うための再生区間（シーン）が選択されて、プレイリストが生成される。したがって、図２に示すコンテンツデータ処理部１０５においては、顔が存在する画像の区間が再生区間として選択されやすくできる。

［コンテンツデータ処理部の他の構成例］
次に、コンテンツデータ処理部１０５の他の構成例について説明する。図１９は、コンテンツデータ処理部１０５の他の構成例を示している。この図１９において、図２と対応する部分には同一符号を付して示している。このコンテンツデータ処理部１０５は、図２に示すコンテンツデータ処理部１０５と同様に、画像データだけを処理して、プレイリストおよびサムネイルリストを作成する例である。

図１９において、コンテンツデータ処理部１０５は、画像特徴抽出部２０１Ａと、カット境界検出部２０２と、安定画検出部２０３と、単純画検出部２０４と、類似画検出部２０５と、顔検出部２０６を有している。また、コンテンツデータ処理部１０５は、スコア計算部２０７Ａと、シーン選択部２０８と、サムネイル選択部２０９と、モーション検出部２１０を有している。

図２に示すコンテンツデータ処理部１０５の画像特徴抽出部２０１は、上述したように、フレーム間差分ｄ(t)，ｄ′(t)の算出処理、分散Ｖ(t)の算出処理、ＩＤの付与処理、顔画像の検出処理を行う。これに対して、図１９に示すコンテンツデータ処理部１０５の画像特徴抽出部２０１Ａは、フレーム間差分ｄ(t)，ｄ′(t)の算出処理、分散Ｖ(t)の算出処理、ＩＤの付与処理、顔画像の検出処理の他に、動きベクトルの検出処理を行う。

例えば、画像特徴抽出部２０１Ａは、画像データＳＶにＭＰＥＧ(Moving Picture Expert Group)の動きベクトル情報が付加されている場合には、この動きベクトル情報を利用して、画像データＳＶの各フレームにおける動きベクトルを検出する。また、例えば、画像特徴抽出部２０１Ａは、ブロックマッチング法等の既知の手法により、画像データＳＶの各フレームにおける動きベクトルを検出する。

モーション検出部２１０は、画像特徴抽出部２０１Ａで検出された、画像データＳＶの各フレームの動きベクトルに基づいて、ズーム、パン、チルト等の特定のカメラモーションを検出する。この場合、モーション検出部２１０は、従来周知のように、動きベクトルをアフィン変換してカメラモーション特徴データを算出し、このカメラモーション特徴データに基づいて特定のカメラモーションであるか否かを判断する（特表２００５−５１３９２９号公報、特開２００３−２９８９８１号公報参照）。

図２に示すコンテンツデータ処理部１０５のスコア計算部２０７は、上述したように安定画検出部２０３、単純画検出部２０４、類似画検出部２０５および顔検出部２０６で算出された各スコアに基づいてスコアScore(t)を算出する。これに対して、図１９に示すコンテンツデータ処理部１０５のスコア計算部２０７Ａは、安定画検出部２０３、単純画検出部２０４、類似画検出部２０５および顔検出部２０６で算出された各スコアに基づいてスコアScore(t)を算出するが、その際、モーション検出部２１０の検出出力に基づいて、安定画検出部２０３で算出された第２の安定度スコアＳspの値を調整する。

すなわち、スコア計算部２０７Ａでは、モーション検出部２１０でズーム、パン、チルト等の特定のカメラモーションであると検出される各フレームにおいては、安定画検出部２０３で算出された第２の安定度スコアＳspが増加するように調整されて使用される。この場合、スコア計算部２０７Ａは、スコア調整部を構成している。

図１９に示すコンテンツデータ処理部１０５のその他は、図２に示すコンテンツデータ処理部１０５と同様に構成され、同様に動作する。

ズーム、パン、チルト等の特定のカメラモーションを伴って撮像された画像は重要なシーンであることが多い。この場合、画像が動いているので、安定画検出部２０３で算出される第２の安定度スコアＳspは低下する。そのため、当該特定のカメラモーションを伴って撮像された画像の区間は、ダイジェスト再生のための再生区間として、選択され難くなる。

しかし、図１９に示すコンテンツデータ処理部１０５のように、特定のカメラモーションであると検出される各フレームにおいて、安定画検出部２０３で算出された第２の安定度スコアＳspが増加するように調整されて使用されることで、ズーム、パン、チルト等の特定のカメラモーションを伴って撮像された画像の区間が再生区間から外れることを抑制できる。

［コンテンツデータ処理部の他の構成例］
次に、コンテンツデータ処理部１０５のさらに他の構成例について説明する。図２０は、コンテンツデータ処理部１０５の他の構成例を示している。この図２０において、図２と対応する部分には同一符号を付して示している。このコンテンツデータ処理部１０５は、図２に示すコンテンツデータ処理部１０５とは異なり、画像データの他に音声データも処理して、プレイリストおよびサムネイルリストを作成する例である。

図２０において、コンテンツデータ処理部１０５は、画像特徴抽出部２０１と、カット境界検出部２０２と、安定画検出部２０３と、単純画検出部２０４と、類似画検出部２０５と、顔検出部２０６を有している。また、コンテンツデータ処理部１０５は、スコア計算部２０７Ｂと、シーン選択部２０８と、サムネイル選択部２０９を有している。また、コンテンツデータ処理部１０５は、音声特徴抽出部２１１と、音声検出部２１２を有している。

音声特徴抽出部２１１は、画像データＳＶに対応した音声データＳＡに基づいて、音声検出部２１２の処理のために、画像データＳＶの各フレームに対応した音声特徴を検出する。例えば、音声特徴抽出部２１１は、音声特徴として、音声レベルを検出する。

音声検出部２１２は、音声特徴抽出部２１１で検出された音声特徴に基づいて、当該音声特徴に対応した音声スコアを算出する。この場合、音声検出部２１２では、例えば、音声特徴が音声レベルであるき、音声レベルが大きいほどスコアが大きくなるように、音声スコアが算出される。この音声検出部２１２は、音声スコア算出部を構成している。

図２に示すコンテンツデータ処理部１０５のスコア計算部２０７は、上述したように安定画検出部２０３、単純画検出部２０４、類似画検出部２０５および顔検出部２０６で算出された各スコアに基づいてスコアScore(t)を算出する。これに対して、図２０に示すコンテンツデータ処理部１０５のスコア計算部２０７Ａは、安定画検出部２０３、単純画検出部２０４、類似画検出部２０５および顔検出部２０６で算出された各スコアの他に、音声検出部２１２で算出された音声スコアをも加味して、スコアScore(t)を算出する。

図２０に示すコンテンツデータ処理部１０５のその他は、図２に示すコンテンツデータ処理部１０５と同様に構成され、同様に動作する。この図２０に示すコンテンツデータ処理部１０５においては、安定度スコア、単純度スコア等の他に音声スコアが導入されてスコアScore(t)が計算されるので、例えば、音声レベルの高くなる画像の区間が再生区間として選択されやすくできる。

なお、上述実施の形態におけるコンテンツデータ処理部１０５の各機能部は、ハードウェアおよびソフトウェアのいずれによっても実現できる。ソフトウェアで実現する場合には、コンピュータが、ＲＯＭまたはハードディスクに格納されているプログラムに基づいて、各機能部の処理を実行する。

図２１は、このような処理を実行するコンピュータ５００の内部構成例を示す図である。ＣＰＵ（Central Processing Unit）５０１は、ＲＯＭ（Read OnlyMemory）５０２に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Random AccessMemory）５０３には、ＣＰＵ５０１が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。

入出力インタフェース５０５は、上述したＣＰＵ５０１、ＲＯＭ５０２およびＲＡＭ５０３と共に、バス５０４に接続されている。入出力インタフェース５０５には、キーボードやマウスから構成される入力部５０６が接続されている。この入出力インタフェース５０５は、入力部５０６から入力された信号をＣＰＵ５０１に出力する。また、入出力インタフェース５０５には、ディスプレイやスピーカなどから構成される出力部５０７も接続されている。

また、入出力インタフェース５０５には、ハードディスクなどから構成される記憶部５０８、および、インターネットなどのネットワークを介して他の装置とデータの通信を行う通信部５０９も接続されている。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の記録媒体からデータを読み出し、あるいはそれにデータを書き込むときに用いられる。リスト作成対象のコンテンツデータを構成する画像データＳＶ、音声データＳaは、例えば、通信部５０９あるいはドライブ５１０から取り込まれ、ハードディスクなどから構成される記憶部５０８に格納される。

また、上述実施の形態においては、この発明を、ＤＶＤ１０７を記録媒体とする記録再生装置１００に適用したものであるが、この発明は、その他の記録媒体、例えば、ハードディスク、半導体メモリ等を取り扱う記録再生装置に、同様に適用できることは勿論である。また、このような記録再生装置を備える撮像装置等にも同様に適用できる。

この発明は、ダイジェスト再生用の再生区間として、例えば安定した画像部分を選択でき、ＤＶＤ、ＨＤ、半導体メモリ等を記録媒体とする記録再生装置、撮像装置等に適用できる。

この発明の実施の形態としての記録再生装置の構成例を示すブロック図である。 コンテンツデータ処理部の構成例を示すブロック図である。 各フレームの画像Ｐが時系列的に並んでいることを示す図であって、フレーム間差分ｄ(t)，ｄ′(t)の算出処理を説明するための図である。 各フレームの画像が水平方向にＮ分割、垂直方向にＭ分割され、Ｎ×Ｎ個のブロックに分割されることを示す図であって、フレーム間差分ｄ(t)，ｄ′(t)の算出処理を説明するための図である。 検出領域に含まれるＮ個の画素（ピクセル）ｉの輝度値に基づいて分散Ｖ(t)が求められることを説明するための図である。 各フレームの画像の特徴ベクトルが複数の分割画面領域のＤＣＴの平均ＤＣ係数をベクトル要素とすることを説明するための図である。 一連のコンテンツデータに対するＩＤ付与後の状態の一例を示す図である。 顔検出部における顔画像の検出動作を説明するための図である。 顔画像検出のために撮像画像ＩＭ-0上に設定される検出枠ＦＲ-faを説明するための図である。 顔画像検出時に用いる顔辞書と、この顔辞書を用いた顔スコアSCORE_faの測定を説明するための図である。 顔辞書の各組の位置情報と検出枠ＦＲ-faとの関係を説明するための図である。 顔画像検出時に使用する撮像画像ＩＭ-0と、その縮小画像ＩＭ-0a，ＩＭ-0b，・・・を示す図である。 顔検出部における顔画像検出処理の手順を示すフローチャートである。 画像特徴抽出部で算出されて得られた、画像データＳＶの各フレームにおけるフレーム間差分ｄ(t)，ｄ′(t)の一例を示す図である。 安定画検出部で算出される第１の安定度スコアＳsiおよび第２の安定度スコアＳspｍの一例を示す図である。 単純画検出部で算出される第１の単純度スコアＳbiおよび第２の単純度スコアＳbpの一例を示す図である。 コンテンツデータ処理部のシーン選択部におけるシーン選択の処理手順の一例を示すフローチャートである。 コンテンツデータ処理部のシーン選択部におけるシーン選択の処理手順の他の例を示すフローチャートである。 コンテンツデータ処理部の他の構成例を示すブロック図である。 コンテンツデータ処理部の他の構成例を示すブロック図である。 コンテンツデータ処理部の各機能部の処理を実行するコンピュータの内部構成例を示す図である。

符号の説明

１００・・・記録再生装置、１０１・・・制御部、１０１ａ・・・ＣＰＵ、１０１ｂ・・・メモリ部、１０２・・・ユーザ操作部、１０３Ｖ・・・画像データ入力端子、１０３Ａ・・・音声データ入力端子、１０４・・・記録再生処理部、１０５・・・コンテンツデータ処理部、１０６・・・光ディスクドライブ、１０７・・・ＤＶＤ、１０９Ｖ・・・画像データ出力端子、１０９Ａ・・・音声データ出力端子、１１０・・・モニタ、２０１，２０１Ａ・・・画像特徴抽出部、２０２・・・カット境界検出部、２０３・・・安定画検出部、２０４・・・単純画検出部、２０５・・・類似画検出部、２０６・・・顔検出部、２０７，２０７Ａ，２０７Ｂ・・・スコア計算部、２０８・・・シーン選択部、２０９・・・サムネイル選択部、２１０・・・モーションン検出部、２１１・・・音声特徴抽出部、２１２・・・音声検出部、５００・・・コンピュータ

Claims (10)

1. コンテンツデータを構成する各フレームの画像データに基づいて、該各フレームの画像の安定度に対応した安定度スコアを算出する安定度スコア算出部と、
   上記安定度スコア算出部で算出された安定度スコアに基づいて、上記コンテンツデータから、再生区間を選択する再生区間選択部とを備え、
   上記安定度スコア算出部は、
   フレーム間差分が第１の閾値より小さな区間を検出し、該区間が一定の区間長より長いとき安定画区間とし、該安定画区間において、上記第１の閾値から上記フレーム間差分を減算して得られた減算結果の平均値に基づいて第１の安定度スコアを算出し、
   一定期間毎に、上記第１の閾値より大きな第２の閾値から上記フレーム間差分を減算して得られた減算結果の平均値に基づいて第２の安定度スコアを算出する
   コンテンツデータ処理装置。
2. 上記再生区間選択部は、
   上記コンテンツデータにおける上記安定画区間の総時間が目標再生総時間以上のとき、上記再生区間の全てを上記安定画区間から選択する
   請求項１に記載のコンテンツデータ処理装置。
3. 上記コンテンツデータを構成する各フレームの画像データに基づいて、該各フレームの画像の単純度に対応した単純度スコアを算出する単純度スコア算出部をさらに備え、
   上記再生区間選択部は、上記安定度スコア算出部で算出された安定度スコアおよび上記単純度スコア算出部で算出された単純度スコアに基づいて、上記コンテンツデータから、上記再生区間を選択する
   請求項１に記載のコンテンツデータ処理装置。
4. 上記単純度スコア算出部は、
   画面内に設定された検出領域に含まれる各画素の輝度値の分散または標準偏差の統計処理値が閾値より小さい区間を検出して単純画区間とし、該単純画区間において、上記閾値から上記統計処理値を減算して得られた減算結果の平均値に基づいて第１の単純度スコアを算出し、
   一定期間毎に、該一定期間で上記統計処理値が上記閾値より大きいとき、上記統計処理値から上記閾値を減算して得られた減算結果の平均値に基づいて第２の単純度スコアを算出する
   請求項３に記載のコンテンツデータ処理装置。
5. 上記コンテンツデータを構成する各フレームの画像データに基づいて、該各フレームの画像の類似を判別し、類似する画像毎に、少なくとも出現頻度または出現時間に対応した出現スコアを算出する出現スコア算出部をさらに備え、
   上記再生区間選択部は、上記安定度スコア算出部で算出された安定度スコア、上記単純度スコア算出部で算出された単純度スコアおよび上記出現スコア算出部で算出された出現スコアに基づいて、上記コンテンツデータから、上記再生区間を選択する
   請求項３に記載のコンテンツデータ処理装置。
6. 上記再生区間選択部は、
   所定の再生区間が選択されるとき、該所定の再生区間に含まれる画像に対応して上記出現スコア算出部で算出された出現スコアから所定値を減算する
   請求項５に記載のコンテンツデータ処理装置。
7. 上記コンテンツデータを構成する各フレームの画像データに基づいて、該各フレームの画像に含まれる顔画像を検出し、該顔画像の少なくとも位置、大きさ、個数のいずれかに対応した顔検出スコアを算出する顔検出スコア算出部をさらに備え、
   上記再生区間選択部は、上記安定度スコア算出部で算出された安定度スコア、上記単純度スコア算出部で算出された単純度スコアおよび上記顔検出スコア算出部で算出された顔検出スコアに基づいて、上記コンテンツデータから、上記再生区間を選択する
   請求項３に記載のコンテンツデータ処理装置。
8. 上記コンテンツデータを構成する上記各フレームの画像データに対応した音声データに基づいて、該各フレームの音声特徴を検出し、該音声特徴に対応した音声スコアを算出する音声スコア算出部をさらに備え、
   上記再生区間選択部は、上記安定度スコア算出部で算出された安定度スコア、上記単純度スコア算出部で算出された単純度スコアおよび上記音声スコア算出部で算出された音声スコアに基づいて、上記コンテンツデータから、上記再生区間を選択する
   請求項３に記載のコンテンツデータ処理装置。
9. 上記コンテンツデータを構成する画像データの各フレームに関連してカメラモーションを検出するカメラモーション検出部と、
   上記カメラモーション検出部で特定のカメラモーションが検出されたとき、上記安定度スコア算出部で算出される安定度スコアを増加する方向に調整するスコア調整部とをさらに備える
   請求項３に記載のコンテンツデータ処理装置。
10. 上記コンテンツデータを構成する画像データの各フレームに関連してカメラモーションを検出するカメラモーション検出部と、
    上記カメラモーション検出部で特定のカメラモーションが検出されたとき、上記安定度スコア算出部で算出される安定度スコアを増加する方向に調整するスコア調整部とをさらに備える
    請求項１に記載のコンテンツデータ処理装置。
    

Images