JP5370170B2

JP5370170B2 - 要約映像生成装置および要約映像生成方法

Info

Publication number: JP5370170B2
Application number: JP2010006670A
Authority: JP
Inventors: つきみ若林; 渉猪羽; 慎中手
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2009-01-15
Filing date: 2010-01-15
Publication date: 2013-12-18
Anticipated expiration: 2030-01-15
Also published as: JP2010187374A

Description

本発明は、要約映像生成装置に係り、特に映像コンテンツの要約映像を生成する要約映像生成装置および要約映像生成方法に関する。

近年、家庭用ビデオカメラの普及により、誰でも気軽に身近なイベントや風景を映像として記録保存することができるようになった。しかしながら、こうした所謂撮りっ放し映像は、撮影直後は楽しく見るものの、後々まで映像コンテンツとして鑑賞され活用される機会は少ない。また、一般のユーザにより撮影された映像は、失敗や不要な場面を多く含み、同じような場面が何度も映っているなど冗長度が高い。そのため、撮影直後に関係者でイベントを振り返るには好適であるが、後々の鑑賞に堪える映像コンテンツとするには、撮影映像を素材として整理し、選択された素材を製作意図に沿ってつなぎ合わせる編集作業を要する。なお、パソコン等を使用して別途編集作業をすることは、煩わしい。

このような状況を背景に、自動で撮影データや音声データを編集して要約映像を生成する技術が各種提案されている。

例えば、特許文献１には、撮影画面間の画像の変化からシーン変化を検出し、動画像のシーンの長さ、シーン内の画像の変化度合を基に重要シーンを選択し要約再生する技術が開示されている。また、特許文献２には、動画像データを複数のシーンに分割し、複数の条件から再生シーンを選択する技術が開示されている。また、特許文献３には、顔検出技術を用いて人物シーンを抽出する技術が開示されている。更に、特許文献４では、データストリームの特徴量を基に撮影データの特徴的なシーンに対応する代表区間を選択すると共に、代表区間の導入部となるつなぎ区間を選択し、代表区間とつなぎ区間とを用いて要約映像を生成する技術が開示されている。

特開平６−１４９９０２号公報特開２００２−１４２１８９号公報特開２００７−２８１８５８号公報特開２００８−１７８０９０号公報

しかし、特許文献１に開示された技術のように、動きのあるシーンを重要選択するような設定では、動きの激しいシーンが次々と現れ、目まぐるしい要約映像になる、という問題がある。

また、特許文献２に開示された技術においては、画面の明るさや高周波成分など、シーンの評価に複数の条件を設定しているものの、各条件の評価結果からシーンを選択する基準は設定モード毎に一定であり、ある設定モードにおいては、重要と判定されるシーンと対極にあるような条件のシーンは選択されないため、やはり、同種のシーンが集まる、という問題がある。

また、特許文献３に開示された技術においては、顔という一般家庭ユーザにとって、中心的な被写体となる機会が多く、関心の深い特徴量を用いているが、ユーザが特定の１又は複数の人物を指定する必要がある、という問題がある。

また、特許文献４に開示された技術においては、データストリームの特徴量を基に撮影データの特徴的なシーンに対応する代表区間を選択すると共に、代表区間の導入部となるつなぎ区間を選択し、代表区間とつなぎ区間とを用いて要約映像を生成しているものの、人物の顔を特徴量として抽出することまでは開示していない。

更に、映画やテレビ番組の撮影データは、予め専門家によるシーン編集が施されているため、アクション区間に隣接するシーンを適宜組み合わせることにより、ある程度ストーリー性のある要約も可能であるが、一般のユーザがイベントや風景をスナップショット的に撮影した編集以前の素材映像においては、このような手法は有効ではない。

このように、上述のような従来の技術では、ある基準で選び出した重要シーンを発生時間順に次々と提示するため同種のシーンが続く可能性が高く、ユーザにとって必ずしも見易く退屈しない要約映像とはならないという問題があった。

そこで、本発明は、撮影データから人物を中心とし、かつ、変化のある要約映像を生成することができる要約映像生成装置および要約映像生成方法を提供することを目的とする。

上記した課題を解決するために、本発明は次の（ａ）〜（ｄ）の要約映像生成装置および（ｅ）〜（ｈ）の要約映像生成方法を提供する。
（ａ）映像から抽出された人物領域の映像特徴を示す人物特徴情報に基づいて前記映像を複数の映像区間に分割する人物特徴区間抽出部（９、６１６）と、前記複数の映像区間から所望の映像区間を選択する要約再生区間選択部（１３、６２）と、前記要約再生区間選択部が選択した映像区間の映像を用いて要約映像を生成する要約映像生成部（１４、６３）とを備え、前記人物特徴区間抽出部は、前記映像を前記人物特徴情報が所定の閾値以上である人物特徴区間と、前記人物特徴情報が前記閾値より小さい非人物特徴区間とに分割し、前記人物特徴情報に基づいて前記人物特徴区間および前記非人物特徴区間それぞれの人物特徴を示す特徴値を求め、前記要約再生区間選択部は、前記特徴植に対する重み付けを示す要約生成モードに基づいて前記人物特徴区間および前記非人物特徴区間を評価する評価値を求め、前記評価値に基づいて前記人物特徴区間および前記非人物特徴区間より要約映像を抽出する映像区間を選択し、前記要約映像を抽出する映像区間から要約再生区間を抽出し、前記要約映像生成部は、前記要約再生区間の映像を用いて前記要約映像を生成することを特徴とする要約映像生成装置（１、６００）。
（ｂ）前記要約再生区間選択部は、前記特徴値に対する重み付けを示す要約生成モードに基づいて前記人物特徴区間および前記非人物特徴区間を評価する評価値を求め、前記評価値に基づいて前記人物特徴区間より代表区間候補を選択し、前記代表区間候補より前記要約映像に使用する代表区間を抽出し、前記代表区間に基づいて前記人物特徴区間及び前記非人物特徴区間から前記要約映像に使用するつなぎ区間を抽出し、前記要約映像生成部は、前記代表区間および前記つなぎ区間の映像を用いて前記要約映像を生成することを特徴とする（ａ）記載の要約映像生成装置。
（ｃ）前記要約再生区間選択部は、前記特徴値に対する重み付けを、要約生成モードに複数設定したシーンタイプに対応付けて複数設定し、前記特徴値に対する重み付けを示す要約生成モードに基いて前記人物特徴区間および前記非人物特徴区間を評価する複数の評価値を前記シーンタイプに対応付けて求め、前記複数の評価値に基づいて前記人物特徴区間および前記非人物特徴区間より要約映像を抽出する映像区間を選択し、前記要約映像を抽出する映像区間から要約再生区間を抽出し、前記要約映像生成部は、前記要約再生区間の映像を用いて前記要約映像を生成することを特徴とする（ａ）記載の要約映像生成装置。
（ｄ）前記要約映像生成部は、前記要約再生区間の映像を用いて前記要約映像を再生リストとして生成する（ａ）から（ｃ）いずれか記載の要約映像生成装置。
（ｅ）映像を、前記映像から抽出された人物領域の映像特徴を示す人物特徴情報が所定の閾値以上である人物特徴区間と、前記人物特徴情報が前記閾値より小さい非人物特徴区間とに分割し、
前記人物特徴情報に基づいて前記人物特徴区間および前記非人物特徴区間それぞれの人物特徴を示す特徴値を求め、前記特徴植に対する重み付けを示す要約生成モードに基づいて前記人物特徴区間および前記非人物特徴区間を評価する評価値を求め、前記評価値に基づいて前記人物特徴区間および前記非人物特徴区間より要約映像を抽出する映像区間を選択し、前記要約映像を抽出する映像区間から要約再生区間を抽出し、前記要約再生区間の映像を用いて前記要約映像を生成することを特徴とする特徴とする要約映像生成方法。
（ｆ）前記特徴値に対する重み付けを示す要約生成モードに基いて前記人物特徴区間および前記非人物特徴区間を評価する評価値を求め、前記評価値に基づいて前記人物特徴区間より代表区間候補を選択し、前記代表区間候補より前記要約映像に使用する代表区間を抽出し、前記代表区間に基づいて前記要約映像に使用するつなぎ区間を抽出し、前記代表区間および前記つなぎ区間の映像を用いて前記要約映像を生成するを特徴とする（ｅ）の要約映像生成方法。
（ｇ）前記特徴値に対する重み付けを、要約生成モードに複数設定したシーンタイプに対応付けて複数設定し、前記特徴値に対する重み付けを示す要約生成モードに基づいて前記人物特徴区間および前記非人物特徴区間を評価する複数の評価値を前記シーンタイプに対応付けて求め、前記複数の評価値に基づいて前記人物特徴区間および前記非人物特徴区間より要約映像を抽出する映像区間を選択し、前記要約映像を抽出する映像区間から要約再生区間を抽出し、前記要約再生区間の映像を用いて前記要約映像を生成することを特徴とする（ｅ）記載の要約映像生成方法。
（ｈ）前記要約映像生成方法において、前記要約再生区間の映像を用いて前記要約映像を再生リストとして生成することを特徴とする（ｅ）から（ｇ）いずれか記載の要約映像生成方法。

本発明の要約映像生成装置および要約映像生成方法によれば、ストリームデータ中の撮影データから撮影画面における人物の顔の特徴量による特徴量に基づいて評価値を算出し、算出した評価値に基づいて撮影データから要約再生区間を選択し、選択された要約再生区間に基づいて撮影データから要約映像を生成するようにしたので、撮影データから人物を中心とし、かつ、変化のある要約映像を生成することができる。

本発明の実施形態１に係る要約映像生成装置の好適な使用形態を示す図である。本発明の実施形態１に係る要約映像生成装置の構成例を示すブロック図である。人物特徴区間および非人物特徴区間抽出の概念図を示す。再生リスト生成の概念図である。つなぎ区間から特徴区間への切り替えタイミングの例を示す概念図である。本発明の実施形態２に係る要約映像生成装置の構成例を示すブロック図である。本発明の実施形態２に係る要約映像生成装置の好適な使用形態を示す図である。撮影したショットの撮影情報を示す図である。要約再生区間選択処理を示す図である。各シーンタイプで高評価される映像例を示す図である。図１０に示す映像から求めた人物特徴量の得点例を示す図である。各シーンタイプの評価に用いるパラメータ例を示す図である。評価値例を示す図である。顔情報リストを示す図である。画面内の座標を説明する図である。時刻と顔情報の関係を示す図である。

以下、本発明の要約映像生成装置および要約映像生成方法を実施するための最良の形態について、図面を参照して説明する。
図１は、本発明の実施形態１である要約映像生成装置の接続例を示す図面である。

（実施形態１）
図１に本発明における要約映像生成装置を備える機器と他の機器との接続例を示す。要約映像生成装置は、ＨＤＤレコーダや、ＤＶＤレコーダ、ＢＤレコーダ等の各種コンテンツを蓄積するコンテンツ蓄積装置２１に内蔵される。図１に示すようにコンテンツ蓄積装置２１は、ビデオカメラ２３と接続され、更にテレビやモニタ等の表示装置２２と接続される。
ビデオカメラ２３に蓄積されたデータをコンテンツ蓄積装置２１に蓄積し、蓄積したデータを表示装置２２で視聴する。なお、要約映像生成装置は、表示装置２２やビデオカメラ２３に内蔵されていてもよい。

図２に本発明の実施形態１に係る要約映像生成装置１のブロック図を示す。
要約映像生成装置１は、ビデオカメラ、動画撮影機能を有するデジタルカメラや携帯電話等の撮影装置２（図１の撮影装置２３）および表示装置３（図１の表示装置２２）と接続され、撮影装置２が撮影した映像データおよび音声データを含む撮影データの要約映像を生成し、生成した要約映像を表示装置３に出力する。なお要約映像生成装置１は、撮影装置２が備える表示部（ディスプレイ）に要約映像を表示するように出力しても勿論よい。
また、要約映像生成装置１が撮影装置２内に設けられていても勿論よい。また撮影データには、映像データが含まれていれば音声データが含まれていなくても勿論よい。

図２に示すように、要約映像生成装置１は、記録制御部４と要約生成再生部６とを備える。要約映像生成装置１は、撮影装置２、表示装置３及び、要約映像生成装置１に対し各種パラメータを設定するパラメータ設定部５等にそれぞれ接続されている。
記録制御部４は、ストリームデータ入力部７と、人物特徴量抽出部８と、人物特徴区間抽出部９と、データ記録部１０とを有する。

ストリームデータ入力部７は、撮影装置２で撮影し録画された映像データ、この映像データに同期した音声データ、及び撮影データの撮影日時や画質などの撮影情報を含むストリームデータを取得し、取得したストリームデータから各データを分離する。ストリームデータは様々な形式が利用できる。
実施形態１及び後述する他の実施形態では、録画開始から録画停止までの撮影データの単位を１ショットと呼ぶ。１ショット毎に撮影データとその撮影情報を含むデータファイルが作成され保存され、１または複数のショットが集まりストリームデータとなる。ユーザにより設定が可能なタイトル情報も、メタデータとしてデータファイルに保存される。

撮影情報は、撮影時間情報と、撮影装置２がＧＰＳ受信機を搭載している場合はＧＰＳ撮影位置情報と、撮影時に使用した風景撮影モードやスポーツ撮影モード等の撮影モード情報、撮影画角が１６：９（ワイド）あるいは４：３（ノーマル）であることを示すワイド／ノーマルモード情報、手振れ補正がありか、なしかを示す手振れモード情報などの、各種情報を含む。
各ショットは、これらの撮影情報を用いて分類できる。同様の撮影情報を有する複数のショットを集めたものを撮影シーンとよぶ。

人物特徴量抽出部８は、各ショットの撮影データから人物特徴量を抽出する。実施形態１において人物特徴量とは、例えば、撮影画像における顔画像の有無、顔画像の大きさ、顔画像の画面上の位置、顔画像の顔の向き（顔画像の傾き）等を示す情報や個人識別情報などである。更に抽出した人物特徴量を基に得点を求める。
得点の求め方は、人物特徴量をそのまま得点としてもよいし、抽出された人物特徴量を正規化した値を得点としてもよい。正規化することで、複数の人物特徴量に重み付けして加算することが容易となる。
また、１つの撮影データを通じた人物特徴量の分布を基にしてそれぞれの人物特徴量の値を相対的に求め、求めた値を得点としてもよい。このように求めることで、撮影データ全体に均等に分布する人物特徴量については得点が低くなり、まばらに分布する人物特徴量については得点が高くなる。

人物特徴区間抽出部９は、人物特徴量抽出部８により抽出された人物特徴量に基づいて、撮影データ内で例えば人物が所定の基準値より大きい等の特徴的に撮影されている映像区間を人物特徴区間として抽出する。また抽出した人物特徴区間の時間軸上の位置等を示す人物特徴区間情報と、人物特徴区間以外の映像区間である非人物特徴区間の時間軸上の位置等を示す非人物特徴区間情報とを生成して出力する。なお、実施形態１では後述するように、非人物特徴区間を複数に分割する。

データ記録部１０は、ストリームデータ入力部７から出力されたストリームデータと、人物特徴量抽出部８で抽出された人物特徴量と、人物特徴区間抽出部９で抽出された人物特徴区間情報および非人物特徴区間情報とを受け取り、各ストリームデータにストリームデータを基にして求めた各情報を対応付ける。ここでは、ストリームデータに人物特徴量と人物特徴区間情報および非人物特徴区間情報とを対応付けする。なおデータ記録部１０における各情報の対応付けは、ユーザの指示に基づいて行ってもよい。
データ記録部１０は、対応付けしたストリームデータと各情報とを蓄積する。
データ記録部１０に蓄積されたストリームデータおよび各情報を、記録媒体１１に記録することもできる。図２では記録に用いる手段の図示を省略するが、既知の手段を採用すればよい。記録媒体１１は例えばＨＤＤやメモリ、ＤＶＤ、ＢＤ等で、要約映像生成装置１に予め備えられている固定式でもよいし、要約映像生成装置１に脱着可能な脱着式でもよい。

パラメータ設定部５は、要約映像再生時にユーザが選択した、ストリームデータ情報、要約生成モード、要約再生時間等をパラメータとして要約生成再生部６に指示する。ユーザは、要約映像を生成するストリームデータと要約映像を生成する要約生成モードとを選択し、選択したストリームデータ、要約生成モードおよび要約映像を再生する時間等を示すパラメータをパラメータ設定部５に対して設定する。設定は、公知の方法で行えばよい。ストリームデータの選択は、ストリームデータのタイトルを選択する等の方法で行えばよい。
また、パラメータ設定部５は、要約映像生成装置１に設けられていてもよい。

ここで、要約再生時間とは、要約映像生成装置１にて生成する要約映像の再生時間である。また、要約生成モードとは、記録した映像から要約映像をどのように生成するか、を示す情報である。
例えば、家族旅行に行って、はしゃぐ子供のアップや、観光地の風景や、モニュメントの前でポーズする親等の色々な被写体を撮影した時に、そのまま時系列で見てもよいが、雑多な要約映像となる。
ユーザは、記録した映像をどのような観点で要約した映像を視聴したいか、に応じた要約生成モードを選択すればよい。要約生成モードを変更することで、再生される要約映像のシーン構成を変更することができる。

例えば、「キッズ」、「旅行記念」、「風景」のような要約生成モードがあるとする。「キッズ」では、人物（特に子供）のアップシーンを主とし、人物の位置や向きに変化の有るシーンを加える。「旅行記念」では、人物は正面向きで余り大き過ぎずに映っていて人物と共に背景も楽しめるシーンを主とし、背景のみのシーンや人物の位置や向きに変化の有るシーンを加える。「風景」では、人物の映っていないシーンを主とし、所々顔の目立たない程度に人物が映っているシーンも加える。
要約生成モードを選択することで、ユーザは同じ撮影シーンから要約生成モード毎に異なった趣向の要約映像を再生することができる。

要約生成再生部６は、データ読出部１２と、要約再生区間選択部１３と、要約映像生成部１４と、再生処理部１５と、デコード部１６と、データ出力部１７とを有し、要約再生区間選択部１３は、代表区間選択部１３１と、つなぎ区間選択部１３２とを有する。

データ読出部１２は、パラメータ設定部５により設定されたパラメータに基づいて、ユーザより指定されたストリームデータと、ストリームデータに対応付けられた人物特徴量と、人物特徴区間情報および非人物特徴区間情報とをデータ記録部１０より読み出す。データ読出部１２は読み出したストリームデータ等を、要約再生区間選択部１３に出力する。
データ読出部１２は、ストリームデータおよび対応付けられた各情報を記録媒体１１より読み出してもよい。

要約再生区間選択部１３は、データ読出部１２から供給されたストリームデータと、パラメータ設定部５から供給されたパラメータ、ここでは特に要約生成モードを示すパラメータ、に基づいて、要約映像に使用する映像区間（要約再生区間）を選択する。要約再生区間には、人物特徴区間から選択した代表区間の映像を採用する。更に、代表区間の映像に対して導入映像となるような映像区間、あるいは、複数の代表区間をつなぐ映像となるような映像区間をつなぎ区間として採用することが好ましい。代表区間に加えてつなぎ区間を設けることで、要約映像の内容に変化が生じる。
代表区間選択部１３１は、要約生成モードに応じて各人物特徴区間の人物特徴量を評価し、人物特徴区間から代表区間を選択する。以下では、各人物特徴区間の評価値を算出し、評価値の高い人物特徴区間を代表区間として選択する方法について述べる。

実施形態１では、要約生成モードは、人物特徴量に対する重み付けを示す。具体的には要約生成モードは、人物特徴量抽出部８が抽出した人物特徴量に基づいて求めた得点に対する重み付けの程度を示す。評価値は、要約生成モードに基づいて得点を重み付けして算出した値である。
例えば上述した「キッズ」モードでは人物の顔のアップのシーンの評価値が高くなるように、顔のサイズに対応する特徴量に大きく重み付けして評価値を算出する。一方、「旅行記念」モードでは人物の顔が正面向きのシーンの評価値が高くなるように、顔の向きに対応する特徴量に大きく重み付けして評価値を算出する。このように要約生成モード毎に重み付けする特徴量を変更する。重み付けの量を変更する等で、要約生成モードに応じて異なるタイプのシーンの評価値が高くなるよう設定することができる。このようにして、視聴の趣向に応じた代表区間を選択できるようにする。

つなぎ区間選択部１３２は、代表区間以外の区間、すなわち非人物特徴区間と、代表区間にならなかった人物特徴区間とから、代表区間の導入部となるつなぎ区間を選択する。なお、つなぎ区間を非人物特徴区間のみから選択しても勿論よいし、代表区間にならなかった人物特徴区間のみから選択しても勿論よい。つなぎ区間を選択する方法は、パラメータ設定部５に設定された要約生成モードに応じて異なる。

要約映像生成部１４は、代表区間選択部１３１によって選択された代表区間と、つなぎ区間選択部１３２によって選択されたつなぎ区間とから、要約映像あるいは再生リストを生成する。例えば要約映像は、代表区間を撮影時刻順に並び替え、つなぎ区間を適宜並べた映像を生成し、再生リストは、ストリームデータから要約映像に使用する映像区間を指定したリストを生成すればよい。
なお、実施形態１の要約映像生成部１４は、ストリームデータから別途要約映像を生成するとして以下の説明を進める。再生リストを生成する方法は、後述する実施形態２の要約映像生成部６３（図６参照）において説明し、要約映像生成部１４は同様の方法を用いることができるとする。

再生処理部１５は、要約映像生成部１４によって生成された要約映像の再生処理を行う。
デコード部１６は、再生処理部１５から出力された要約映像をデコードしてデータ出力部１７へ出力する。
データ出力部１７は、デコードされた要約映像データを表示装置３へ出力する。

次に、実施形態１に係る要約映像生成装置１の動作について説明する。
まず、ストリームデータ入力部７は、撮影装置２で撮影し録画された撮影データとその撮影情報とを含むストリームデータを取得すると、取得したストリームデータから撮影データと撮影情報等の各データを分離する。撮影データは人物特徴量抽出部８へ出力し、撮影データ以外の各データはデータ記録部１０へ出力する。なお、ストリームデータ入力部７から出力する撮影データは、映像データのみのものでもよい。

人物特徴量抽出部８は、撮影データから人物特徴量を抽出し、人物特徴区間抽出部９と、データ記録部１０とに出力する。実施形態１では、人物特徴量抽出部８は、４種類の人物の顔の特徴を基にした４種類の人物特徴量を求める。４種類の特徴は、撮影画面における人物の、顔のサイズと顔の位置と顔の向きと顔の傾きとし、４種類の人物特徴量をそれぞれ求める。
なお、実施形態１では上記した４つの人物特徴量を用いて説明するが、全ての人物特徴量を用いる必要はない。顔のサイズと顔の位置等、任意の２つの特徴に基づいた２つの人物特徴量でも、任意の３つの特徴に基づいた３つの人物特徴量でも勿論よい。
人物特徴区間抽出部９は、４種類の人物特徴量に基づいて人物特徴区間を抽出する。

次に、一例として、顔のサイズに基づいた人物特徴量（以下、顔サイズ特徴量）の求め方を説明する。なお、顔の位置、顔の向き、顔の傾きに基づく人物特徴量も同様に求めればよい。
人物特徴量抽出部８は、撮影データ中に含まれる人物の画像を所定の間隔で検出する。実施形態１では、輝度検出や肌色検出等を用いた公知の顔認識方法により、顔画像の領域を人物領域として検出するが、人物の特徴を示す領域であればこれに限定するものではない。人物特徴量抽出部８は、検出した顔の画像に基づいて、顔画像の特徴を表す情報（以下、顔情報）を検出する。顔画像の特徴を顔のサイズで表す場合は、撮影画面サイズに対する顔の大きさ、すなわち顔の面積や、長さ、幅、長さと幅との合計、等の値を求め、時刻ｔの画像における顔情報Ｌｔとする。
また人物特徴量抽出部８は、顔が検出された画像フレームの撮影時刻と、顔画像が検出された領域を示すリスト（顔情報リスト）を作成する。顔情報リストの一部を図１４に示す。ここでは、顔のサイズに基づく顔情報（以下、顔サイズＬ１ｔ）と顔の位置に基づく顔情報（以下、顔の位置Ｌ２ｔ）とを顔情報として用いる。

図１５は、顔画像が検出された人物領域を示す座標について説明する図である。画面の左上を（ｘ，ｙ）＝（０，０）とし、画面の右下を（ｘ，ｙ）＝（ｗ，ｈ）とした時、顔画像が検出された人物領域を（ｘ１，ｙ１）−（ｘ２，ｙ２）で示す。
図１４に示す顔情報リストは、更に、顔サイズＬ１ｔを基にした顔サイズ特徴量（得点）Ｐ１ｔと、顔サイズＬ１ｔと顔の位置Ｌ２ｔとを基に分けた人物特徴区間、非人物特徴区間のＩＤを有する。なお、撮影時刻の代わりに画像フレームの撮影データ中の位置を示す、インデックス情報を用いてもよい。

次に人物特徴量抽出部８は、対象となる全ショットの顔情報Ｌｔから顔情報の平均値Ｌｍを求める。更に、人物特徴量抽出部８は下記の式（１）を用いて、時刻ｔの画像における顔情報Ｌｔを、第１の閾値Ｔｈ_１を基に判断する。第１の閾値Ｔｈ_１は、Ｔｈ_１＝Ｌｍ＋ｋ_１σ（ｋ_１は係数、σは顔情報Ｌｔの標準偏差）とする。
更に、時刻ｔにおける画像の人物特徴量Ｐｔを下記の式（２）で求める。ここで顔サイズＬ１ｔを顔情報Ｌｔとして用いた場合、顔情報Ｌｔの平均値Ｌｍは、顔サイズの平均値Ｌ１ｍ、顔情報Ｌｔの標準偏差σは、顔サイズの標準偏差σ１、人物特徴量Ｐｔは顔サイズ特徴量Ｐ１ｔとなる。顔情報Ｌｔが顔の位置、顔の向き、顔の傾き等に基づくとした場合も同様である。

Ｌｔ＞Ｔｈ_１…式（１）
Ｐｔ＝１０（Ｌｔ−Ｌｍ）／σ＋５０…式（２）

なお人物特徴量抽出部８が人物特徴量Ｐｔを求める際に、男性と女性とで重み付けを変える、子供と大人とで重み付けを変える等、性別や年齢に応じた重み付けを行ってもよいし、特定の人物に対する重み付けを行ってもよい。
人物特徴量抽出部８は、求めた顔情報Ｌｔと人物特徴量Ｐｔとを、人物特徴区間抽出部９と、データ記録部１０とに出力する。

人物特徴区間抽出部９は、人物特徴量抽出部８で抽出された顔情報Ｌｔと人物特徴量Ｐｔとに基づいて、撮影データ内の人物特徴区間および非人物特徴区間を抽出する。
人物特徴区間抽出部９は、まず、人物特徴量抽出部８が抽出した顔情報Ｌｔを基に、顔情報Ｌｔが第１の閾値Ｔｈ_１より大きい画像を含む映像区間を抽出する。そして人物特徴区間抽出部９は、第１の閾値Ｔｈ₁より大きい顔情報Ｌｔが検出された画像が連続する映像区間を人物特徴区間とする。

例えば、顔情報Ｌｔを顔サイズＬ１ｔとすると、顔サイズＬ１ｔを基に求めた第１の閾値Ｔｈ_１１より大きい顔サイズＬ１ｔが検出された撮影画像が連続する映像区間を人物特徴区間とする。図１６に、顔サイズＬ１ｔを基にした人物特徴区間および非人物特徴区間の抽出例を示す。図１６は顔情報Ｌｔ（顔サイズＬ１ｔ）の時刻ｔ方向での変動を示す。図１６において人物特徴区間は、時刻ｔ１から時刻ｔ２の区間および、時刻ｔ５から時刻ｔ６までの区間である。
人物の顔が含まれる画像が一時的に途切れる場合は、途切れる期間や、途切れる前後の画像における顔の位置や顔サイズを基に、途切れる前後の画像が一連の人物特徴区間であるか否かの連続性を評価する。人物（被写体）が横を向いた後、正面に向き直るような映像は、複数の人物特徴区間に分割される可能性があるが、このような評価をすることで連続した映像区間として扱うことができ、好ましい。

次に、人物特徴区間抽出部９は、人物特徴量抽出部８が抽出した人物特徴量Ｐｔの得点を算出する。人物特徴量Ｐｔの得点は、一区間内で算出された人物特徴量Ｐｔを基に求めればよく、例えば、時刻ｔ１から時刻ｔ２の区間の人物特徴量Ｐｔの得点は、時刻ｔ１〜ｔ２間の複数の人物特徴量Ｐｔに基づいて求める。
時刻ｔ１〜ｔ２間で人物特徴量Ｐｔが変化する場合には、時刻ｔ１〜ｔ２間の人物特徴量Ｐｔの得点を例えば、人物特徴量Ｐｔの平均を基に求める。また、時刻ｔｌ〜ｔ２間で人物特徴量Ｐｔの変化が大きい場合は、時刻ｔ１〜ｔ２の人物特徴区間を人物特徴量Ｐｔに応じて更に複数の区間に分割し、分割した各区間における人物特徴量Ｐｔの平均を基にして得点を求めてもよい。また、複数の顔情報に基づいた複数の人物特徴量を用いる場合は、その区間で変化が大きい人物特徴量に基づいて人物特徴区間を複数の区間に分割すればよい。

なお、人物特徴区間抽出部９は、手振れ、ピンボケなどのミスショット区間を、人物特徴量または撮影情報を基に検出し、人物特徴区間および非人物特徴区間として抽出されないようにしてもよい。

また、人物特徴区間抽出部９は、人物特徴量抽出部８が抽出した顔情報Ｌｔを基に、人物特徴区間以外の区間を非人物特徴区間として抽出する。
ここで、人物特徴区間以外の連続した区間を非人物特徴区間として一括して抽出してもよいが、実施形態１の人物特徴区間抽出部９では、非人物特徴区間を第１の非人物特徴区間と第２の非人物特徴区間とに分割する。これにより、映像区間の区分けがよりきめ細かく行える。
第１の非人物特徴区間は、人物が所定の基準値より小さく撮影されている、あるいは撮影されていない区間が連続する区間とし、第２の非人物特徴区間は、映像における人物特徴が人物特徴区間よりも小さく、第１の非人物特徴区間よりも大きい区間である。例えば、人物が撮影されているもののその顔は非常に短い時間しか現れない等の映像区間が相当する。

実施形態１の人物特徴区間抽出部９は、下記の式（３）を満たす時刻ｔの画像が連続する区間を抽出する。第２の閾値Ｔｈ_２は、Ｔｈ_２＝Ｌｍ＋ｋ_２σ（ｋ_２は係数、ｋ_１＞ｋ_２）とする。第２の閾値Ｔｈ_２は第１の閾値Ｔｈ_１より小さい。
顔情報Ｌｔが第２の閾値Ｔｈ_２より小さい画像は、顔が非常に小さく写っている画像であり、従って顔の特徴を検出することが難しい。このような画像が連続する区間と、人物の顔が全く映っていない区間とを第１の非人物特徴区間として、実施形態１の人物特徴区間抽出部９が抽出する。

Ｌｔ＜Ｔｈ_２…式（３）

そして、人物特徴区間抽出部９は、上述のように抽出した人物特徴区間および第１の非人物特徴区間以外の区間を、第２の非人物特徴区間として抽出する。
顔サイズＬ１ｔに基づいて人物特徴量Ｐ１ｔを算出した場合、第２の非人物特徴区間とされる画像は、人物特徴区間の画像より人物の顔のサイズが小さいものの、第１の非人物特徴区間の画像と比較すると、映っている人物の顔から特徴が検出できる程度に大きいサイズの顔画像が連続する映像区間となる。あるいは、連続する映像区間において一瞬だけ顔画像が出現するものも含む。

再び図１６を用いて、顔サイズＬ１ｔを基にした第１の非人物特徴区間および第２の非人物特徴区間の抽出例を示す。図１６において第１の非人物特徴区間は、顔サイズＬ１ｔが第２の閾値Ｔｈ_１２を下回る時刻ｔ３から時刻ｔ４の区間であり、第２の非人物特徴区間は時刻ｔ０から時刻ｔ１の区間、時刻ｔ２から時刻ｔ３の区間、時刻ｔ４から時刻ｔ５の区間である。
なお、ここでは人物特徴区間抽出部９は、顔情報Ｌｔを基にした人物特徴量Ｐｔを用いて上記各区間を抽出したが、輝度情報の変化量や画像から検出した顔以外の特徴に基づく特徴量を用いて各区間を抽出してもよい。

図３は、実施形態１における人物特徴区間および非人物特徴区間抽出の概念図を示している。
図３（ａ）は人物特徴量抽出部８が受け取るストリームデータの一例を示す。図３（ｂ）〜図３（ｉ）は、人物特徴量抽出部８が図３（ａ）のストリームデータより求めた人物特徴量Ｐｔを基に、人物特徴区間抽出部９が分割した特徴区間（人物特徴区間及び非人物特徴区間）及び分割した各特徴区間の人物特徴量に基づく得点を示す。
図３（ｂ）は顔サイズＬ１ｔに基づいた顔サイズ特徴量Ｐ１ｔで映像区間を分割した一例、図３（ｃ）は顔の位置Ｌ２ｔに基づいた顔位置特徴量Ｐ２ｔで分割した一例、図３（ｄ）は顔向きＬ３ｔに基づいた顔向き特徴量Ｐ３ｔで分割した一例、図３（ｅ）は顔傾きＬ４ｔに基づいた顔傾き特徴量Ｐ４ｔで分割した一例を示す。顔の位置Ｌ２ｔは、画面上の顔画像の位置を示し、顔向きＬ３ｔは、顔画像が画面でどちらの方向（左右）を向いているかを示し、顔傾きＬ４ｔは、顔画像が画面の垂直方向に対して傾いていることを示す。

また、図３（ｆ）は人物特徴区間抽出部９が顔サイズ特徴量Ｐ１ｔより算出した各映像区間の得点、図３（ｇ）は人物特徴区間抽出部９が顔位置特徴量Ｐ２ｔより算出した各映像区間の得点、図３（ｈ）は人物特徴区間抽出部９が顔向き特徴量Ｐ３ｔより算出した各映像区間の得点、図３（ｉ）は人物特徴区間抽出部９が顔傾き特徴量Ｐ４ｔより算出した各映像区間の得点を、それぞれ一例として示す。

顔位置特徴量Ｐ２ｔは、顔の位置Ｌ２ｔが中央位置を示すとき最も大きい値となり、顔向き特徴量Ｐ３ｔは、顔向きＬ３ｔが左右方向より中央方向を示すほうが大きい値となり、顔傾き特徴量Ｐ４ｔは顔傾きＬ４ｔが（上下方向角度）が垂直方向を向いているほうが大きい値となる。
図３（ｆ）〜（ｉ）に示す得点例では、顔サイズ特徴量Ｐ１ｔが大きく、顔位置特徴量Ｐ２ｔは顔の位置が画面中心にあり、顔向き特徴量Ｐ３ｔは顔が中央方向を向いており、顔の上下方向の傾き（角度）が垂直の場合を高得点とした。位置、向き、傾きについては、左・右・上・下の方向毎に、更に詳細に特徴量を評価してもよい。

実施形態１の人物特徴区間抽出部９は、顔情報Ｌｔに基づいて映像を人物特徴区間、第１の非人物特徴区間、第２の非人物特徴区間とに分割し、人物特徴量Ｐｔに基づいて各特徴区間の得点を算出する。人物特徴量Ｐｔは、映像から検出した人物の顔サイズ、画面上の顔位置、顔の向き、顔の傾き等の顔情報Ｌｔ毎に求める。
そして、人物特徴区間抽出部９は、人物特徴区間の時刻情報および得点、人物識別情報を含む人物特徴区間情報と、非人物特徴区間の時刻情報および得点を含む非人物区間情報を生成して出力する。

次に、データ記録部１０は、ストリームデータ入力部７から入力されるストリームデータと、人物特徴量抽出部８によって抽出された人物特徴量Ｐｔと、人物特徴区間抽出部９によって抽出された人物特徴区間情報および非人物特徴区間情報とを対応付けて記録媒体１１に保存する。

ここまでがストリームデータ記録時の動作である。次に、要約映像の再生動作を説明する。

(要約映像再生動作)
要約映像の再生時には、パラメータ設定部５が、ユーザより選択されたストリームデータ、要約生成モード、要約再生時間等をパラメータとして要約生成再生部６へ出力する。

データ読出部１２は、パラメータ設定部５に設定された情報の示すストリームデータと、そのストリームデータに対応する人物特徴量と、人物特徴区間情報および非人物特徴区間情報とを、データ記録部１０より読み出す。

次に、代表区間選択部１３１は、パラメータ設定部５より設定された要約生成モードに基づいて各人物特徴区間の得点を重み付け等して、各人物特徴区間の得点の合計を求めて評価値とし、その評価値の大小に基づき代表区間を選択する。ここで、ｎ種類の人物特徴量を用いて人物特徴区間を評価する際に、ｉ番目の人物特徴量Ｐｔに関する時刻ｔを含む人物特徴区間の得点をＰｉｔとする。設定された要約生成モードｍでの人物特徴区間の評価値Ｖｍｔは、下記の式（４）により求める。

ここで、Ｃｍｉは、要約生成モードｍでのｉ番目の人物特徴量の重み付け係数、Ａｍｉは、初期設定値である。初期設定値Ａｍｉは、０等の所定の値でよい。
例えば、子供の可愛い表情を中心とする要約映像であれば、要約生成モードｍに応じた重み付け係数Ｃｍｉにより、顔の大きさの得点Ｐｉｔに重み付けして評価値Ｖｍｔを算出することにより、子供のアップシーンを優先することができる。旅行時などの風景とともに人物を撮影した映像を主とする要約映像であれば、要約生成モードｍに応じた重み付け係数Ｃｍｉにより、顔の向きに重み付けして評価値Ｖｍｔを算出することにより、観光地における記念撮影のように顔の向きが正面に近い向きのシーンを優先することができる。

そして、代表区間選択部１３１は、人物特徴区間を評価値Ｖｍｔの大きい方から順に並べて代表区間候補とし、設定した要約再生時間を超えない範囲で、代表区間候補の上位から代表区間を選択する。各代表区間の長さは、見易さを損なわない最短の長さおよび設定要約再生時間に応じた最長の長さを範囲設定し、範囲内の長さとするよう特徴量を基に調整してもよい。

次に、つなぎ区間選択部１３２は、代表区間選択部１３１によって選択された代表区間に対し背景の親和性が高く、中心部に大きな動きの少ない落ち着いた映像区間を短時間、つなぎ区間として選択する。なお、つなぎ区間は、選択しなくても勿論よく、この場合には、つなぎ区間選択部１３２を省略することができる。また、つなぎ区間は、代表区間の前でなく、代表区間の後ろに挿入するようにしても、更には、代表区間の前後に挿入するようにしても勿論よい。

ここで、実施形態１では、代表区間と同一ショット内の映像区間をつなぎ区間として用い、つなぎ区間を代表区間の導入部として再生する。すなわち、つなぎ区間に続けて代表区間が再生される要約映像を生成する。

つなぎ区間を選択する第１の例としては、代表区間と同一ショット内の第１の非人物特徴区間から、動きの少ない区間や代表区間に近い時刻情報を有する区間で、所定時間（例えば、２秒〜３秒）の映像区間をつなぎ区間として選択する。

第１の非人物特徴区間は、上述したように、人物の顔が所定の基準値より小さく写っているか、または写っていない、人物の顔が十分に目立たない映像区間である。そのため、人物特徴区間から選択される代表区間との映像の特徴における差異が、第２の非人物特徴区間と代表区間との差異より大きい。従ってつなぎ区間を第１の非人物特徴区間から選択すると、その後に続けて再生される代表区間との映像の特徴において差異が大きいため、つなぎ区間と代表区間で映像の対比が生じ、要約映像に変化がでて、ユーザの退屈感を減少させることができる。

第２の例としては、代表区間と同一ショット内の第２の非人物特徴区間から動きの少ない区間や、代表区間に時間的に近い区間から所定時間（２秒〜３秒）の映像区間をつなぎ区間として選択する。
第２の非人物特徴区間は、上述したように人物が写っているものの一瞬だけ顔が出現したりする人物の有無として中途半端な区間である。そのため、第１の非人物特徴区間よりは代表区間と映像の特徴における差異が小さいものの、人物特徴区間内の他の映像と比較すれば代表区間との差異は大きい。従って第２の非人物特徴区間からつなぎ区間を選択すると、つなぎ区間は代表区間と対比的な映像区間となるため、要約映像に変化がでて、ユーザの退屈感を減少させることができる。

更に、第３の例としては、つなぎ区間を非人物特徴区間から選ばずに、人物特徴区間および非人物特徴区間に関係なく、ショット開始時点から所定時間（２秒〜３秒）の映像区間を選択する。これは、一般ユーザの撮影傾向として、ショット開始時は、撮影対象人物の周囲の風景等を撮り始めるという撮影行動特性が多く見られるためである。従って簡易に、ショット内のショット開始時から２秒〜３秒程度の映像区間をつなぎ区間として選択する。
上述したように、一般的にショット開始時点から２秒〜３秒程度の映像区間は落ち着いた映像区間であるため、つなぎ区間と代表区間との差異が大きく対比的な映像となり、要約映像に変化がでて、ユーザの退屈感を減少させることができる。

また更に、第４の例としては、ユーザの撮影したストリームデータではなく、予め記録媒体１１に蓄積された、撮影データおよび音声データを含むストリームデータを用い、代表区間と背景の特徴量の親和性が高いショットのうちからつなぎ区間を選択する。また、予めつなぎ用の映像を対応する特徴量と共にデータベース化し、代表区間の特徴量と親和性の高いつなぎ区間を選択してもよい。ここで、特徴量とは映像の撮影日時、タイトル、撮影場所、背景色分布、エッジ分布、動きアクティビティ、音量、音声の種類等であり、代表区間と代表区間以外の映像区間とにおける特徴量を比較して、その特徴量が代表区間のものと同様の値を有する映像区間をつなぎ区間とすればよい。

このようにユーザの撮影したストリームデータ以外からつなぎ区間を選択することにより、更に、代表区間に対し差異が大きくなるつなぎ区間を選択することができる。
なお、つなぎ区間を代表区間の前後に複数設ける場合には、上記第１〜第４の例を任意に組み合わせるようにしても勿論よい。

次に、要約映像生成部１４は、ストリームデータからそれぞれ選択された代表区間と、それぞれに対応するつなぎ区間とを代表区間の撮影時刻順に並び替え、再生リストまたは要約映像を生成する。

図４は、要約映像生成部１４の要約映像生成方法の一例を示す図である。
図４に示すように、要約映像生成部１４は、ストリームデータ４０から選択された代表区間４０Ａと対応するつなぎ区間４０Ｂ、ストリームデータ４１から選択された代表区間４１Ａと対応するつなぎ区間４１Ｂ、とを代表区間の撮影時刻順に並び替え、ストリームデータ４０、４１の要約映像を生成する。この場合、要約映像には、音声データが含まれていても含まれていなくてもかまわない。

要約映像生成部１４は、上述したようにストリームデータ４０、４１の一部分を抜き出して要約映像を生成するが、要約映像を生成せずに、ストリームデータ４０、４１の一部分を再生リストにより指定するようにしてもよい。ここで、再生リストとは、要約映像自体は生成せずに、ストリームデータから要約映像として再生する映像の範囲を時刻情報等により指定するものである。

再生処理部１５は、要約映像生成部１４がストリームデータから生成した要約映像を再生処理してデコード部１６へ出力する。デコード部１６は、再生処理部１５からの要約映像をデコードし、データ出力部１７へ出力する。
データ出力部１７は、デコード部１６によってデコードされた要約映像を、表示装置３へ出力して表示させる。その際、データ出力部１７は、つなぎ区間と代表区間との接続部分において、ディゾルブやフェードイン・フェードアウト効果を用いて、各区間の映像を滑らかに再生するようにしてもよい。

図５は、要約映像生成部１４による要約映像生成方法の他の例を示す図である。
図５に示す生成方法は、図４に示した生成方法とは異なり、映像データ（撮影データ）と音声データとを独立にずらして要約映像を生成する方法である。

図５に示す生成方法では、ストリームデータ５０から選択した映像データのつなぎ区間５１Ｂと代表区間５１Ａとが切り替わるタイミングと、つなぎ区間５１Ｂに対応する音声データのつなぎ区間５２Ｂと代表区間５１Ａに対応する音声データの代表区間５２Ａとが切り替わるタイミングとをずらして要約映像を生成する。
実施形態１では、音声データのつなぎ区間５２Ｂから代表区間５２Ａへの切り替えのタイミングを、映像データのつなぎ区間５１Ｂから代表区間５１Ａへの切り替えのタイミングより早い時間とする。これにより、ユーザは予め音声でつなぎ区間から代表区間への移行を認識できるため、映像が切り替わっても違和感が少なく視聴でき、短時間で内容を把握し易くなる。
同様に、ストリームデータ５１から選択した音声データのつなぎ区間５４Ｂから代表区間５４Ａへの切り替えのタイミングを、映像データのつなぎ区間５３Ｂから代表区間５３Ａへの切り替えのタイミングより早い時間となるよう要約映像を生成する。

以上説明したように、実施形態１によれば、ストリームデータの人物特徴量を基に撮影データに人物が存在する特徴的なシーンを人物特徴区間として選択し、その人物特徴区間から代表区間を選択し所定の順序に並べて再生リストまたは要約映像を生成するので、ユーザが映像内容を把握でき、中心的な被写体を参照可能な要約映像を生成することができる。

特に、実施形態１では、要約映像を生成する際、人物特徴区間から選択した代表区間だけでなく、非人物特徴区間からも、代表区間の導入部となるつなぎ区間を選択し、選択した代表区間とつなぎ区間とを並べて要約映像（または、再生リスト）を生成するので、ユーザが映像内容を把握でき、中心的な被写体を参照できることに加えて、見易く退屈しない要約映像を生成することができる。即ち、人物中心の代表区間と人物の存在しないつなぎ区間とを組み合わせることにより、メリハリの利いた要約映像を提供することができる。

なお、実施形態１で説明したように、今日普及している家庭用のビデオカメラにおいては、録画／停止の撮影ショット毎にインデックスを生成し記録する形式が一般的であるので、強いてショットチェンジ、すなわちショットの切れ目検出を行う必要のない場合が多いが、旧型の撮影機器で撮影したインデックスのない撮影データを処理する際には、撮影画面間の相関など公知の手法を用いて予めショット区切を検出し、実施形態１の処理を適用すればよい。

（実施形態２）
次に、本発明の実施形態２に係る要約映像生成装置および要約映像生成方法について説明する。実施形態２の要約映像生成装置は、人物特徴量抽出部を備えていない点で、実施形態１にて説明した要約映像生成装置１と異なる。
実施形態２では、ストリームデータを生成する撮影装置が人物特徴量抽出部を備え、人物特徴量抽出部はストリームデータから人物特徴量を抽出する。要約映像生成装置は、撮影装置が出力した人物特徴量が付加されたストリームデータを受け取り処理する。

図６に本発明の実施形態２に係る要約映像生成装置６００のブロック図を示す。
要約映像生成装置６００は、図６に示すように、記録制御部６０２と、要約生成再生部６０３とを有する。要約映像生成装置６００は、撮影装置６０１から出力された、撮影データと撮影データの撮影条件を示す撮影情報とを含むストリームデータ、および撮影データから人物の顔の特徴に基づいて抽出された人物特徴量とを受け取り、要約映像を生成する。

撮影装置６０１は、画像入力部６０５、音声入力部６０６、画像符号化部６０７、音声符号化部６０８、多重化処理部６０９、データ記憶部６１０、人物特徴量抽出部６１１、撮影情報出力部６１２を有する。撮影情報出力部６１２は、時計部６１３、センサ部６１４を含む。

記録制御部６０２は、ストリームデータ入力部６１５、人物特徴区間抽出部６１６、データ記録部６１７、再生制御処理情報生成部６１８を有する。

要約生成再生部６０３は、データ読出部６２１、再生制御処理実行部６２２、操作入力部６２３、デコード部６２４、データ出力部６２５を有する。そして、再生制御処理実行部６２２は、パラメータ設定処理部６１と、要約再生区間選択部６２と、要約映像生成部６３と、再生処理部６４とを有する。
なお、実施形態２の要約生成再生部６０３は、ストリームデータにて要約映像として使用する映像を指定する再生リストを生成する要約映像生成部（再生リスト生成部）６３を有するものとして説明するが、上述の実施形態１のように、ストリームデータから別途要約映像を生成する要約映像生成部１４（図２参照）を有しても勿論よい。

図７は、図６に示す要約映像生成装置６００を実際の製品に適用した一例を示す図である。
図７に示すビデオカメラ７１は、図６の撮影装置６０１に相当し、図７に示すレコーダ７２は図６の記録制御部６０２に相当し、図７に示すＢＤ等のディスク７３は図６の記録媒体６２６に相当する。ディスク７３に、ストリームデータが記録される。

また、図７に示すモニタ７４、及びモニタ７４が接続されたメディアプレーヤ７５（ＤＶＤまたはＢＤプレーヤや、ＨＤＤプレーヤ、メモリプレーヤ等）、あるいはメディアプレーヤ内蔵のコンピュータ７６は、図６の要約生成再生部６０３に相当し、ディスク７３に記録されたストリームデータ等を再生する。

次に、図６に戻り、実施形態２の要約映像生成装置６００の動作および要約映像生成方法を説明する。

撮影装置６０１の図示しないカメラ等の撮影部で撮影された撮影画像を、画像入力部６０５がデジタル画像信号に変換して画像符号化部６０７に送り、画像符号化部６０７がデジタル画像信号を符号化し、多重化処理部６０９へ出力する。ここで、デジタル画像信号は、画像入力部６０５から人物特徴量抽出部６１１にも送られ、人物特徴量抽出部６１１は、実施形態１の人物特徴量抽出部８と同様に、そのデジタル画像信号から人物特徴量を抽出する。人物特徴量は、実施形態１と同様に、例えば、撮影画像内の顔画像の有無、顔画像のサイズ、顔画像の画面上の位置、顔画像の顔の向き等を示す情報や個人識別情報などである。

また、音声入力部６０６は、撮像装置６０１が撮影画像と共に記録した音声信号をデジタル音声信号に変換して音声符号化部６０８へ出力する。音声符号化部６０８はデジタル音声信号を符号化し、多重化処理部６０９へ出力する。
多重化処理部６０９は、符号化されたデジタル画像信号およびデジタル音声信号を多重化し、メモリやＨＤＤ、ＢＤ等のデータ記憶部６１０へ出力する。

撮影情報出力部６１２は、撮影を開始した時刻や、撮影開始から撮影終了までの時間等を示す撮影時間情報を出力する時計部６１３と、撮影時のカメラの動きや、ズーム操作、画質設定等のカメラに実行された制御動作を示す情報や、図示しないＧＰＳ受信機やジャイロセンサ等のセンサが検出した撮影位置や撮影方位を示す情報、等の撮影環境を示す情報を出力するセンサ部６１４を備える。撮影情報出力部６１２はこれらの情報を撮影情報として、データ記憶部６１０へ出力する。

データ記憶部６１０は、多重化処理部６０９で多重化された画像信号及び音声信号（以降、単に撮影データ）と、撮影データの撮影時に撮影情報出力部６１２が取得した撮影情報とを関連付けて、ストリームデータとして記憶する。更にストリームデータの基となる画像信号から人物特徴量抽出部６１１が抽出した人物特徴量を、ストリームデータと対応付けて記憶する。ここまでが撮影装置６０１の動作である。

次に記録制御部６０２の動作を説明する。
まず、ストリームデータ入力部６１５が、撮影データと撮影データに対応付けられた撮影情報等とを含むストリームデータ及びストリームデータに付加された人物特徴量を、撮影装置６０１のデータ記憶部６１０から取得する。実施形態２では、実施形態１と同様に、ストリームデータは、録画開始から録画停止までのショット毎に作成される映像データ（画像信号）および音声データ（音声信号）からなる撮影データと、撮影データと対応付けられた撮影情報とを含むデータファイルが作成される形式として説明する。なお、撮影データと撮影情報と人物特徴量等をそれぞれ別のファイルとし、互いに対応するものとして扱ってもよい。
撮影情報としては、実施形態１と同様に、撮影時間情報や、撮影位置情報等を用いることができる。更に、ショットは、撮影情報を用いて、撮影シーン毎に分類整理することができる。

人物特徴区間抽出部６１６は、実施形態１の人物特徴区間抽出部９と同様のものである。人物特徴区間抽出部６１６は、人物特徴量に基づいて撮影シーン内の人物特徴区間を抽出し、人物特徴区間の時間軸上の位置等を示す人物特徴区間情報と、人物特徴区間以外の区間の時間軸上の位置等を示す非人物特徴区間情報とを生成して、データ記録部６１７へ出力する。その際、実施形態２でも、実施形態１と同様に、非人物特徴区間を複数の非人物特徴区間に分けてもよい。

また、再生制御処理情報生成部６１８は、記録対象のストリームデータの再生制御処理方法に関する再生制御処理情報を生成して、データ記録部６１７へ出力する。再生制御処理の詳細は後述する。

データ記録部６１７は、ストリームデータ入力部６１５からのストリームデータおよび人物特徴量と、人物特徴区間抽出部６１６で抽出された人物特徴区間情報および非人物特徴区間情報と、再生制御処理情報生成部６１８からの再生制御処理情報とを受け取り、各ストリームデータにストリームデータを基にして求めた各情報を対応付ける。実施形態２では、ストリームデータに人物特徴量、撮影情報、人物特徴区間情報および非人物特徴区間情報、再生制御処理情報を対応付けする。なお、要約映像の生成の際に、非人物特徴区間情報を利用しない場合には、非人物特徴区間情報のストリームデータへの対応付けは省略してもよい。以降、ストリームデータと、ストリームデータに対応付けられた上記情報を併せて、単にストリームデータ群とする。

データ記録部６１７は対応付けしたストリームデータ群を蓄積する。
データ記録部６１７に蓄積されたストリームデータ群を、記録媒体６２６に記録することもできる。図６では記録に用いる手段の図示を省略するが、既知の手段を採用すればよい。記録媒体６２６は、ＤＶＤ、ＢＤ、ＨＤＤ、半導体メモリ等のいずれでもよく、固定式でも脱着式でもよい。
以上が、記録制御部６０２の記録処理である。

(要約生成処理）
要約生成再生部６０３は、データ記録部６１７に記録されたストリームデータ群を基に、要約映像を生成して再生する。または要約生成再生部６０３は、記録媒体６２６に記録されたストリームデータ群を基にして要約映像を生成して再生してもよい。要約生成再生部６０３が記録媒体６２６に記録された情報を取得する手段は、既知の手段を採用すればよい。
以下では、要約生成再生部６０３がデータ記録部６１７からストリームデータ群を取得する場合について説明する。

データ読出部６２１は、データ記録部６１７よりストリームデータ群を読み出す。データ読出部６２１が読み出したストリームデータ群は、再生制御処理実行部６２２へ供給される。
データ記録部６１７からのストリームデータ群の読み出しは、操作入力部６２３を介しユーザが要約映像の生成および再生を指示した場合にのみ、データ読出部６２１が行うよう制御してもよい。

次に、再生制御処理実行部６２２は、データ読出部６２１から出力されたストリームデータ群に含まれる再生制御処理情報に従い、ストリームデータの要約映像再生を行う。
再生制御処理実行部６２２内では、まず、パラメータ設定処理部６１が操作入力部６２３より、ユーザが設定したパラメータを受け取る。ユーザは、操作入力部６２３に対して、要約映像を生成するストリームデータと要約生成モードおよび、要約映像を再生する時間等を示すパラメータを設定する。
パラメータ設定処理部６１は、受け取ったパラメータが示すストリームデータを含むストリームデータ群をデータ読出部６２１から読み出す。
パラメータ設定処理部６１は、読み出したストリームデータ群とパラメータを、要約再生区間選択部６２に供給する。要約再生区間選択部６２は、実施形態１の要約再生区間選択部１３と同様のものである。

要約再生区間選択部６２は、パラメータ設定処理部６１より受け取ったパラメータに基づいて、ストリームデータの各ショットを、そのストリームデータに対応付けられている各ショットの撮影開始時刻や撮影終了時刻等の撮影情報に基づいて撮影シーンに分類する。更に、ユーザより設定された要約生成モードにより各人物特徴区間および非人物特徴区間の得点を評価し、撮影シーン毎に要約再生区間を選択する。要約映像の生成の際に非人物特徴区間情報を利用しない場合には、ストリームデータ群に非人物特徴区間情報が含まれていても非人物特徴区間情報を読み出さなくてもよい。
以下に、実施形態２の要約再生区間選択部６２の詳細動作を説明する。

要約再生区間選択部６２は、パラメータ設定処理部６１より、パラメータとストリームデータ群を受け取る。上述の通り実施形態２では、ストリームデータ群はストリームデータと、ストリームデータに対応付けられた人物特徴量、撮影情報、人物特徴区間情報、非人物特徴区間情報とを含む。

要約再生区間選択部６２は、撮影時間情報を基にストリームデータを構成する各ショットを撮影シーンに分類する。例えば、あるシーンで撮影した後、移動し、次のシーンで撮影する、というユーザの撮影パターンを想定し、撮影時間情報を用いて、ショットが撮影された時間間隔の大きさ等により撮影シーンの区切りを決定しショットを分類する。または、ズーム操作の使用、カメラの動き、ＧＰＳなどのセンサ情報を用い、撮り方の変化に基づいてショットを分類してもよい。

次に、要約再生区間選択部６２は、設定された要約生成モードに基づいて各人物特徴区間および非人物特徴区間の得点を評価する。以降、実施形態２では人物特徴区間および非人物特徴区間をまとめて、特徴区間として扱う。
実施形態２では、要約生成モードに複数のシーンタイプを設定する。実施形態１では、１つの要約生成モードが、１種類の人物特徴量（得点）への重み付けを示すとした。実施形態２では、シーンタイプが重み付けする人物特徴量とその程度を示す。従って１つの要約生成モードには、複数の人物特徴量への重み付けが設定される。シーンタイプの詳細は後述する。
ここで、ｎ種類の人物特徴量Ｐｔを用いて特徴区間を評価する際に、ｉ番目の人物特徴量Ｐｔに関する時刻ｔを含む特徴区間の得点をＰｉｔとする。設定された要約生成モードｍおよびシーンタイプｓでの特徴区間の評価値Ｖｍｓｔは、下記の式（５）により求める。

ここで、Ｃｍｓｉは、要約生成モードｍおよびシーンタイプｓのｉ番目の人物特徴量Ｐｉｔの重み付け係数、Ａｍｓｉは初期設定値である。初期設定値Ａｍｓｉは、０等の所定の値でよい。

また、実施形態１と同様に、子供のアップシーンを優先する子供中心の要約生成モードや、風景と人物とが映っており、人物の顔の向きが正面向きである撮影シーンを優先する記念撮影の要約生成モード等の、要約生成モードｍの設定により、評価値Ｖｍｓｔを算出し、各要約生成モードｍに応じた要約映像を生成できる。

ここで、実施形態２で用いる式（５）は、シーンタイプｓを考慮して特徴区間の評価値Ｖｍｓｔを算出する。一方実施形態１では、式（４）を用いて評価値Ｖｍｔを求めたが、式（４）ではシーンタイプｓを考慮していない。
つまり、実施形態１では要約生成モードｍ毎に、式（４）により複数の映像区間から代表区間を選択する為の評価値を算出する。実施形態１の要約生成モードｍは、１種類の人物特徴量に対する重み付けを示すものである。そして代表区間以外の適当な区間をつなぎ区間として選択し、要約映像を構成する。

これに対し、実施形態２では要約生成モードｍに複数のシーンタイプｓを設定する。設定したシーンタイプｓ毎の評価値Ｖｍｓｔを式（５）により算出し、各シーンタイプｓでの評価値Ｖｍｓｔが高い映像区間からの映像を組み合わせて、要約映像を構成する。

例えば、子供中心の要約生成モードｍであれば、次のような３つのシーンタイプｓを想定できる。
シーンタイプ１．画面の中心に人が正面向きで大きく映っている
シーンタイプ２．人が大きく映っているが画面の端の方で向きにも変化がある
シーンタイプ３．人が大きく映ってはいない

つまり、実施形態２では、上述のように、要約生成モードｍ毎に任意のシーンタイプｓを設定して、要約生成モード毎に複数のシーンタイプｓで評価した映像区間から抽出した映像を組み合わせて変化のある要約映像を構成することができる。

上述したように実施形態１は、実施形態２に比べ、評価値の種類が少ないため処理がシンプルとなる。一方、実施形態２は、実施形態１に比べ、要約生成モードｍに複数のシーンタイプｓを設定するため、複数の評価方法で特徴区間を評価し、そこから抽出した映像を組み合わせて要約映像を生成できる。そのため、ユーザが選択した要約生成モードｍに沿って、映像の変化をきめ細かくコントロールすることができる。

要約再生区間選択部６２は、実施形態１の要約再生区間選択部１３と同様のものであり、撮影シーンの撮影時間を基に要約映像に使用するカット数を決定する。そして、複数のシーンタイプｓ毎に評価値算出パラメータを設定して各映像区間の評価値Ｖｍｓｔを算出し、評価値Ｖｍｓｔを基にして所定のカット数になるまで要約映像に使用する映像区間を選択する。映像区間の選択は、シーンタイプｓ毎の評価を巡回しながら行うことが好ましい。

要約再生区間選択部６２は更に、選択された映像区間から更に所定時間の映像区間を要約再生区間として抽出する。

実施形態２における、要約再生区間の選択手順を、ショットの一例を用いて説明する。

図８は、８ショット分に対応する撮影情報を一例として示す。
図８に示す例では、ショット番号Ｓ１〜Ｓ８の８ショットがある。それぞれのショットに対して、撮影開始日時と、撮影時間と、前のショットとの撮影間隔、等の撮影情報が付加され要約再生区間選択部６２に記憶されている。

図９は要約再生区間選択部６２の要約再生区間選択処理を示す。図８に示すショット例を使用して説明する。
要約再生区間選択部６２は、複数（ここでは、８つ）のショットＳ１〜Ｓ８を例えば各ショット間の撮影間隔に基づいて撮影シーンに分ける。例えば、３０分、１時間、３時間等の所定の閾値を設け、各ショット間の撮影間隔が閾値より小さいものをまとめて一つの撮影シーンとする。図８に示すショットＳ１〜Ｓ８の時系列の撮影ショットを閾値を３０分としてまとめる場合、ショットＳ１とショットＳ２との撮影間隔は１分２９秒であるため、同じ撮影シーンとする。次に、ショットＳ２とショットＳ３との撮影間隔は１時間２５秒であるため、ショットＳ２とショットＳ３とは別の撮影シーンとする。同様にショットＳ４〜Ｓ８についても判断する。
従って、図８に示す例ではショットＳ１とＳ２の撮影シーン１と、ショットＳ３〜Ｓ５の撮影シーン２と、ショットＳ６〜Ｓ８の撮影シーン３と、いう３つの撮影シーン１〜３に分けられる。撮影シーン１〜３について図９（ａ）、（ｂ）に示す。なお、ショットの分け方は所定の閾値と比較しなくてもよく、相対的に撮影間隔のあいている（大きい）ショット間を分けてもよい。また、位置情報を取得可能な場合は、撮影位置のまとまりによって分けてもよい。

次に、要約再生区間選択部６２は、撮影シーン１〜３毎の撮影時間を基に、要約再生用に抽出するカット数を決定する。図８に示す各ショットＳ１〜Ｓ８の撮影時間に基づいた撮影シーン１〜３の撮影時間を、図９（ｃ）に示す。例えば、撮影シーン１であれば、撮影時間が１分３１秒のショットＳ１と１分３５秒のショットＳ２とからなるため、撮影シーン１の撮影時間は３分０６秒（３：０６）となる。同様に撮影シーン２の撮影時間は２分１６秒（２：１６）、撮影シーン３の撮影時間は１分４５秒（１：４５）となる。
要約再生区間選択部６２は更に、各撮影シーンの撮影時間に応じて、抽出カット数を決定する。図９（ｃ）に示すように、撮影シーン１の撮影時間が最も長く、撮影シーン２、撮影シーン３の順に撮影時間が短い。ここでは、図９（ｄ）に示すように撮影シーン１から４カットを抽出し、撮影シーン２からは３カット、撮影シーン３からは２カット、と撮影時間の長さに準じて抽出カット数を決定する。

次に、要約再生区間選択部６２は、撮影シーン１〜３毎に、それぞれ要約として抽出する区間である要約再生区間（カット）を選択する。
実施形態２では、複数のシーンタイプを設定し、各シーンタイプでショットＳを構成する映像区間を評価して評価値を求める。シーンタイプは、映像の評価に際して、どの人物特徴量にどの程度重み付けをするかを設定したものであり、用いる人物特徴量および重み付けはシーンタイプ毎に異なる。
要約再生区間選択部６２は、各シーンタイプで評価した映像区間の評価値を基に、抽出する映像区間を選択する。例えば図９（ｅ）〜（ｇ）に示すように各シーンタイプで評価した評価値が高い映像区間を、先に定めた抽出カット数と同数となるまで選択する。要約再生区間選択部６２は選択した映像区間から、それぞれ所定時間（例えば、５秒〜１０秒）のカットを抽出する。
なお、要約再生区間選択部６２は、シーンタイプを設けずに、撮影シーン毎に要約再生区間または要約映像を生成するようにしても勿論よい。

図９を用いて、実施形態２の要約再生区間の選択方法を説明する。
要約再生区間選択部６２が、ショットＳ１とＳ２をシーンタイプ１〜シーンタイプ３でそれぞれ評価した評価値を図９（ｅ）〜（ｇ）に示す。要約再生区間選択部６２は、撮影シーン１の抽出カット数を４としたので、図９（ｅ）に示すシーンタイプ１（ＳＴ１）で評価したショットＳ１とショットＳ２、図９（ｆ）に示すシーンタイプ２（ＳＴ２）で評価したショットＳ１とショットＳ２、図９（ｇ）に示すシーンタイプ３（ＳＴ３）で評価したショットＳ１とショットＳ２、の中から合わせて４カットを抽出する。
要約再生区間選択部６２はまず、ＳＴ１〜ＳＴ３において、得点の最も高い映像区間をそれぞれ選択し、更にＳＴ１から２番目に得点の高い映像区間を選択して、４つのカットを抽出する映像区間を選択する。すなわち、図９（ｅ）に示すＳＴ１では、最も高い得点７０を示す映像区間と、２番目に高い得点５０を示す映像区間を選択し、図９（ｆ）に示すＳＴ２では、最も高い得点６０を示す映像区間を選択し、図９（ｇ）に示すＳＴ３では、最も高い得点０を示す映像区間を選択した。選択した映像区間は、図９（ｅ）〜（ｇ）に数字と矢印とを付して示す。数字は、要約再生区間選択部６２が映像区間を選択した順を示すが、これに限るものではない。また実施形態２では、ＳＴ１から順に映像区間の選択を行うが、これに限るものではない。

要約再生区間選択部６２は最後に、選択した４つの映像区間それぞれから、図９（ｈ）に斜線で示す所定時間のカットを抽出し、要約再生区間１〜４とする。各映像区間からの所定時間のカットの抽出方法は、各映像区間の開始時間から所定時間でもよいし、各映像区間の中心から所定時間でもよく、特に限定されない。実施形態２では、各映像区間の撮影時間における中心を含む所定時間の映像を、選択したカットとして抽出する。
抽出された要約再生区間１〜４は、要約映像生成部６３に出力される。なお、要約再生区間選択部６２は抽出した要約再生区間に基づいて、つなぎ区間を抽出してもよい。つなぎ区間の抽出は、実施形態１において説明した抽出例のいずれかを採用する。つなぎ区間を抽出した場合は、要約再生区間およびつなぎ区間を要約映像生成部６３に出力する。

また、撮影シーン２では抽出カット数を３カットとしたので、図９（ｅ）〜図９（ｇ）にそれぞれ示すように、ＳＴ１〜ＳＴ３から最も得点の高い映像区間、すなわちＳＴ１の得点５０の区間と、ＳＴ２の得点５０の区間と、ＳＴ３の得点０の区間をそれぞれ１つ選択した。図９（ｈ）に斜線で示す、選択した３つの映像区間それぞれから抽出した所定時間のカットを要約再生区間１〜３とする。

更に、撮影シーン３では、抽出カット数が２カットなので、ＳＴ１とＳＴ２から最も得点の高い映像区間、すなわちＳＴ１の得点３０の区間と、ＳＴ２の得点３０の区間を選択した。ＳＴ１とＳＴ２から映像区間を１つずつ選択したことで、抽出カット数２と同数の映像区間を選択したので、ＳＴ３で評価したものからは映像区間を選択しない。図９（ｈ）に斜線で示す、選択した２つの映像区間それぞれから抽出した所定時間のカットを、要約再生区間１、２とする。

図１０（ａ）〜（ｃ）はそれぞれ、シーンタイプ１〜３において高評価と判定される映像例を示す図である。
図１０（ａ）に示す映像は、人物が撮影画面の中心に大きく、顔が正面向きで映る特徴を有する。このような映像は人物撮影等のシーンに多く存在する。図１０（ｂ）に示す映像は、人物は撮影画面に大きく映っているが、その位置が撮影画面中心からずれて顔の向きも傾いている特徴を有する。このような映像は子供撮影や運動撮影等のシーンに多く存在する。図１０（ｃ）に示す映像は、人物が撮影画面内で小さく映っており、しかも中心からずれている特徴を有する。このような映像は風景重視撮影のシーンに多く存在する。

図１１は、図１０（ａ）〜（ｃ）の特徴を有する映像における、各人物特徴量Ｐｔの得点例を示す。実施形態２では、撮影画面における人物の顔のサイズ、顔の位置、顔の傾きの３種類の顔情報Ｌｔに基づいた、３種類の人物特徴量Ｐｔから得点を算出する。
図１０（ａ）の特徴を有する映像では、サイズ、位置及び傾きの全ての人物特徴量の得点が８０である。図１０（ｂ）の特徴を有する映像では、サイズの得点が８０、位置の得点が２０、傾きの得点が５０、図１０（ｃ）の特徴を有する映像では、サイズの得点が１０、位置の得点が２０、傾きの得点が８０である。

図１２は、以下の式（６）で示す評価値計算式に用いるパラメータＣｓｉ、Ａｓｉ（ｓ＝１〜ｎ）の、シーンタイプＳＴ１〜ＳＴ３毎の重み付けの一例を示している。

式（６）に示す評価値計算式は、シーンタイプＳＴへの適合度を示す評価値Ｖｓを算出する。

ここで、式（６）に示す評価値計算式において、パラメータＣｓｉ、Ａｓｉは、図１２に示す人物特徴量毎の重み付けパラメータ、Ｐｉは、図１１に示す各人物特徴量Ｐｔの得点である。
ｎ種類の人物特徴量Ｐｔのうち、ｉ番目の人物特徴量Ｐｔの得点をＰｉとする。また同様にｉ番目の人物特徴量Ｐｔの、重み付け係数をＣｓｉ、初期設定値をＡｓｉとする。

図１２より、シーンタイプ１でのパラメータＣ１ｉ、Ａ１ｉは、人物特徴量が顔画像のサイズの場合は（１，０）、顔画像の位置の場合は（１，０）、顔画像の傾きの場合は（１，０）である。シーンタイプ２でのパラメータＣ２ｉ、Ａ２ｉは、サイズの場合（１，０）、位置の場合（−１，１００）、傾きの場合（−１，１００）、シーンタイプ３でのパラメータＣ３ｉ、Ａ３ｉは、サイズの場合（−１，１００）、位置の場合（−１，１００）、傾きの場合（０，０）とした。

図１３は、図１０（ａ）〜（ｃ）に示す映像の評価値Ｖｓを、図１２に示すパラメータＣｓｉ、Ａｓｉを用いてシーンタイプ１〜３でそれぞれ求めた一例を示す。
図１０（ａ）のような人物の顔画像が撮影画面中心に位置し、かつ大きく映像の評価値Ｖｓを式（６）の評価値計算式により求めると、シーンタイプ１の評価値Ｖｓが最も高くなる。図１０（ｂ）のような人物の顔画像が撮影画面の端に映っており、かつ傾いているような映像、例えば、動きのある人物（子供やスポーツ選手等）を撮影した映像、の場合シーンタイプ２の評価値Ｖｓが最も高くなる。図１０（ｃ）のような人物の顔画像が小さく、背景の占める割合が大きい映像の場合、シーンタイプ３の評価値Ｖｓが最も高くなる。
要約再生区間選択部６２は、用いる人物特徴量ＰｔとパラメータＣｓｉ、Ａｓｉとを変更して、映像を複数のシーンタイプで評価すればよい。

要約映像生成部６３は、以上のようにして要約再生区間選択部６２で抽出、選択された図９（ｈ）に示す要約再生区間を用いて再生リストを作成する。再生リストは、撮影時刻情報に基づいた要約再生区間の再生順を示す。つなぎ区間を要約再生区間選択部６２より受け取った場合は、つなぎ区間の再生順も共に示した再生リストを作成する。要約映像生成部６３は、再生リストを再生処理部６４へ出力する。
なお、要約映像生成部６３が要約映像を生成する場合、その動作は実施形態１の要約映像生成部１４と同様である。

再生処理部６４は、要約映像生成部６３から供給された再生リストに基づいて、撮影データから要約再生区間を抽出し、デコード部６２４に出力する。
デコード部６２４は、要約再生区間の撮影データをデコードしてデータ出力部６２５へ出力し、データ出力部６２５は、表示装置６０４へ撮影データを出力する。

ここで、データ出力部６２５は、実施形態１のデータ出力部１７と同様に、要約再生区間の接続部分では、ディゾルブやフェードイン・フェードアウト効果を用いて、各区間が滑らかに再生されるようにしてもよい。また図５において説明したように、映像データにおけるつなぎ区間５１Ｂから代表区間５１Ａへの切り替えタイミングより、音声データにおけるつなぎ区間５２Ｂから代表区間５２Ａへの切り替えタイミングが早くなるよう、切り替え時刻の設定を調整してもよい。このようにすることで、ユーザは予め音声でつなぎ区間から代表区間への要約再生区間の移行を認識できるため、映像の切り替えを違和感なく視聴でき、短時間で内容を把握し易くなる。

以上説明したように、実施形態２によれば、ストリームデータの撮影間隔等の撮影情報に基づいて、複数のショットを撮影シーンに分類するとともに、撮影シーン毎に複数のシーンタイプで算出した評価値を用いて要約再生区間を選択し、再生リスト（または要約映像）を生成するので、色々なタイプの要約再生区間が撮影シーン毎にバランスよく配分される。

従って、かかる要約映像をユーザが視聴することにより、ユーザが全体の映像内容を把握でき、中心的な被写体を参照できることに加えて、見易く退屈しない要約映像を生成することができる。すなわち、人物中心の映像区間（シーンタイプ１）、人物の配置に変化の有る映像区間（シーンタイプ２）、人物が存在しないか中心に位置しない映像区間（シーンタイプ３）など、複数のシーンタイプでそれぞれ評価が高い映像区間から抽出したカットを組み合わせて要約映像を生成することにより、ユーザが映像内容を把握でき中心的な被写体を参照できることに加えて、再生シーンに変化を与え、見易く退屈しない、メリハリの利いた要約映像を提供することができる。

なお、実施形態２では、要約再生区間を選択する際に、代表区間とそのつなぎ区間というように分けて選択することはしなかったが、実施形態１のように人物特徴区間から代表区間を選択すると共に、代表区間のつなぎ区間を選択するようにしても勿論よい。
また、実施形態１では、要約再生区間を選択する際に、人物特徴区間から代表区間を選択すると共に、非人物特徴区間から代表区間のつなぎ区間を選択するように説明したが、実施形態２のように代表区間とそのつなぎ区間というように分けずに、人物特徴区間および非人物特徴区間から評価値に基づいて要約再生区間を選択するようにしても勿論よい。

また、実施形態２においては、抽出した要約再生区間を撮影時刻順に並べて再生リストとしたが、これは一例であり、要約再生区間の再生順をシーンタイプ毎の抽出順としてもよい。これは、１つの撮影シーン内であれば、ある程度内容の一貫性が有ることと、複数のシーンタイプを順番に用いて要約再生区間を抽出すれば、同じようなカットが続くことは無いので、内容を把握しやすいことに加えて変化の有る要約映像を見ることができるためである。

また、実施形態１，２においては、図２や図６等に示すように、本発明に係る要約映像生成装置を、ブロック図によりハードウェア的に構成して説明したが、本発明はこれに限るものではない。要約映像生成装置を、ＣＰＵと、本発明に係る要約映像生成方法をＣＰＵに実行させるためのプログラムとによりソフトウエア的に構成するようにしても勿論よい。
また、実施形態２の要約映像生成装置６００は、本発明における人物特徴量抽出部を備えていないが、要約映像生成装置６００が人物特徴量抽出部を備える際は、実施形態１の記録制御部４と同様に、記録制御部６０２内に設ければよい。

また、本発明に係る要約映像生成装置は、要約映像を表示する手段を含むことは任意であり、要約映像を生成する手段まで含んでいればよい。

１、６００要約映像生成装置
８、６１１人物特徴量抽出部
９、６１６人物特徴区間抽出部
１３、６２要約再生区間選択部
１４、６３要約映像生成部

Claims

映像から抽出された人物領域の映像特徴を示す人物特徴情報に基づいて前記映像を複数の映像区間に分割する人物特徴区間抽出部と、
前記複数の映像区間から所望の映像区間を選択する要約再生区間選択部と、
前記要約再生区間選択部が選択した映像区間の映像を用いて要約映像を生成する要約映像生成部とを備え、
前記人物特徴区間抽出部は、
前記映像を前記人物特徴情報が所定の閾値以上である人物特徴区間と、
前記人物特徴情報が前記閾値より小さい非人物特徴区間とに分割し、
前記人物特徴情報に基づいて前記人物特徴区間および前記非人物特徴区間それぞれの人物特徴を示す特徴値を求め、
前記要約再生区間選択部は、
前記特徴植に対する重み付けを示す要約生成モードに基づいて前記人物特徴区間および前記非人物特徴区間を評価する評価値を求め、
前記評価値に基づいて前記人物特徴区間および前記非人物特徴区間より要約映像を抽出する映像区間を選択し、
前記要約映像を抽出する映像区間から要約再生区間を抽出し、前記要約映像生成部は、前記要約再生区間の映像を用いて前記要約映像を生成することを特徴とする要約映像生成装置。
前記要約再生区間選択部は、
前記特徴値に対する重み付けを示す要約生成モードに基づいて前記人物特徴区間および前記非人物特徴区間を評価する評価値を求め、
前記評価値に基づいて前記人物特徴区間より代表区間候補を選択し、
前記代表区間候補より前記要約映像に使用する代表区間を抽出し、
前記代表区間に基づいて前記人物特徴区間及び前記非人物特徴区間から前記要約映像に使用するつなぎ区間を抽出し、
前記要約映像生成部は、前記代表区間および前記つなぎ区間の映像を用いて前記要約映像を生成することを特徴とする請求項１記載の要約映像生成装置。
前記要約再生区間選択部は、
前記特徴値に対する重み付けを、要約生成モードに複数設定したシーンタイプに対応付けて複数設定し、
前記特徴値に対する重み付けを示す要約生成モードに基いて前記人物特徴区間および前記非人物特徴区間を評価する複数の評価値を前記シーンタイプに対応付けて求め、
前記複数の評価値に基づいて前記人物特徴区間および前記非人物特徴区間より要約映像を抽出する映像区間を選択し、
前記要約映像を抽出する映像区間から要約再生区間を抽出し、
前記要約映像生成部は、前記要約再生区間の映像を用いて前記要約映像を生成することを特徴とする請求項１記載の要約映像生成装置。
前記要約映像生成部は、前記要約再生区間の映像を用いて前記要約映像を再生リストとして生成することを特徴とする請求項１から３のいずれか一項記載の要約映像生成装置。
映像を、前記映像から抽出された人物領域の映像特徴を示す人物特徴情報が所定の閾値以上である人物特徴区間と、前記人物特徴情報が前記閾値より小さい非人物特徴区間とに分割し、
前記人物特徴情報に基づいて前記人物特徴区間および前記非人物特徴区間それぞれの人物特徴を示す特徴値を求め、
前記特徴植に対する重み付けを示す要約生成モードに基づいて前記人物特徴区間および前記非人物特徴区間を評価する評価値を求め、
前記評価値に基づいて前記人物特徴区間および前記非人物特徴区間より要約映像を抽出する映像区間を選択し、
前記要約映像を抽出する映像区間から要約再生区間を抽出し、
前記要約再生区間の映像を用いて前記要約映像を生成することを特徴とする要約映像生成方法。
前記特徴値に対する重み付けを示す要約生成モードに基いて前記人物特徴区間および前記非人物特徴区間を評価する評価値を求め、
前記評価値に基づいて前記人物特徴区間より代表区間候補を選択し、
前記代表区間候補より前記要約映像に使用する代表区間を抽出し、
前記代表区間に基づいて前記要約映像に使用するつなぎ区間を抽出し、
前記代表区間および前記つなぎ区間の映像を用いて前記要約映像を生成することを特徴とする請求項5記載の要約映像生成方法。
前記特徴値に対する重み付けを、要約生成モードに複数設定したシーンタイプに対応付けて複数設定し、
前記特徴値に対する重み付けを示す要約生成モードに基づいて前記人物特徴区間および前記非人物特徴区間を評価する複数の評価値を前記シーンタイプに対応付けて求め、
前記複数の評価値に基づいて前記人物特徴区間および前記非人物特徴区間より要約映像を抽出する映像区間を選択し、
前記要約映像を抽出する映像区間から要約再生区間を抽出し、
前記要約再生区間の映像を用いて前記要約映像を生成する
ことを特徴とする請求項5記載の要約映像生成方法。
前記要約映像生成方法において、
前記要約再生区間の映像を用いて前記要約映像を再生リストとして生成することを特徴とする請求項5から７のいずれか一項記載の要約映像生成方法。