JP4881282B2 - トリミング処理装置およびトリミング処理プログラム - Google Patents

Description

本発明は、映像内の注目領域をトリミング処理するトリミング処理装置およびトリミング処理プログラムに関する。

近年、携帯電話や情報携帯端末（ＰＤＡ：Personal Digital Assistants）といったモバイル機器の普及に伴い、低解像度のディスプレイでコンテンツ（動画コンテンツ）を視聴する視聴環境が増大している。このコンテンツは、地上デジタル放送、ストリーミング、動画ファイル等の種々の形式で配信、配布されている。

しかし、モバイル機器での視聴環境を考慮して制作されたコンテンツは数少なく、ほとんどのコンテンツが、ハイビジョンテレビ等の高解像度のディスプレイを想定したコンテンツである。このため、このような高解像度用のコンテンツは、文字スーパのサイズや、ロングショットで撮影された際の登場人物が低解像度のディスプレイで視認するには小さすぎるという問題がある。

そこで、従来、コンテンツの映像をトリミングし、拡大表示させることで、コンテンツの視認性を改善させるトリミング処理の技術が開示されている（例えば、特許文献１，２参照）。この特許文献に開示されたトリミング処理では、コンテンツの映像内の動きベクトルにより視聴者が注目すべき領域（人物等）を判定し、当該領域をトリミング領域として決定している。
特開２００２−２８１５０６号公報 特開２００７−１０１８６７号公報

前記した従来の技術では、動きベクトルによりトリミング領域を決定しているため、動きベクトルの比較により映像に映っている人物等のオブジェクトの領域を他の領域と区別して追跡し、注目領域（トリミング領域）として抽出することは可能である。しかし、従来の技術では、画面全体の動きがほぼ一定の映像の場合、動きベクトルの動き量がほとんどないため、注目領域を抽出することは困難であるという問題がある。

また、従来の技術では、動きベクトルのみによって注目領域を抽出するため、例えば、フィールド内で行われるスポーツを撮影した映像から人物（選手）の領域を注目領域として抽出しようとする場合、観客席、電光掲示板等の予期せぬ映像が撮影されると当該映像内で注目領域を抽出してしまうことになる。このように、従来の技術は、予期せぬショットにより意味のない注目領域をトリミングしてしまうため、スポーツ映像を放送するための放送映像には適用することができないという問題がある。

さらに、従来の技術では、コンテンツの映像フォーマットが、動き補償データとして動きベクトルを抽出できるＭＰＥＧ（Moving Picture Expert Group）以外のフォーマットである場合、別途映像から動きベクトルを求める手段が必要となる。しかし、この動きベクトルを求めるためには、多大な計算が必要になるため、携帯電話、情報携帯端末等の計算能力が低い端末では、リアルタイムで動きベクトルを求めてトリミング領域を決定することは困難であるという問題がある。

本発明は、以上のような課題を解決するためになされたものであり、フィールド内で行われるスポーツを撮影した映像において、画面全体の動きがほぼ一定の映像であっても、また、画面内にフィールド以外の映像が予期せぬタイミングで撮影された場合であっても、フィールド内に登場する人物（選手）のみに注目した注目領域をトリミングすることを可能としたトリミング処理装置およびトリミング処理プログラムを提供することを目的とする。

本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載のトリミング処理装置は、フィールド内で行われるスポーツを撮影した映像の注目領域をトリミングして表示装置に出力するトリミング処理装置であって、画像分割手段と、画像特徴抽出手段と、ショット分類手段と、注目領域設定手段と、トリミング映像生成手段と、を備える構成とした。

かかる構成において、トリミング処理装置は、画像分割手段によって、映像を構成するフレーム画像を所定の大きさのブロックに分割する。そして、トリミング処理装置は、画像特徴抽出手段によって、画像分割手段で分割されたブロックにおける色情報および輝度情報を当該ブロックの画像特徴として抽出する。これによって、ブロック単位でフレーム画像内の特徴が抽出されることになる。

そして、トリミング処理装置は、ショット分類手段によって、画像特徴抽出手段で抽出された色情報と予め定めたフィールドの色情報とが類似するブロックであるフィールドブロックで形成されるフィールドブロック全体の形状の複雑度が、予め定めた基準値を超過するか否かに基づいて、映像を撮影したショットをロングショットであるか否かに分類する。例えば、ロングショットの場合、被写体である人物（選手）等が小さく撮影されているため、フィールドブロック全体の形状は、矩形に近い形状となる。また、ロングショット以外（非ロングショット）の場合、人物（選手）等のブロックがフィールドブロック全体の形状を侵食することで、フィールドブロック全体の形状が分離したり、凹凸が増加したり、穴あき形状となったり等、矩形に対して複雑な形状となる。そこで、ショット分類手段は、形状の複雑さにより、撮影ショットがロングショットであるか否かを判定することができる。

さらに、トリミング処理装置は、注目領域設定手段によって、ショット分類手段でショットがロングショットであると分類された場合に、ブロックの輝度情報に基づいて、輝度分散値が予め定めた輝度分散値よりも高いブロックである注目ブロックを含む領域を注目領域として設定する。これによって、輝度分散値がフィールド内で異なる領域である人物（選手）等を含んだ領域が抽出されることになる。

そして、トリミング処理装置は、トリミング映像生成手段によって、注目領域設定手段で設定された注目領域を含み、かつ、表示装置のアスペクト比に応じた領域をトリミング領域としてフレーム画像から抽出して出力する。これによって、注目領域が、表示装置の画面上に拡大されて表示されることになる。

また、請求項２に記載のトリミング処理装置は、請求項１に記載のトリミング処理装置において、画像縮小手段をさらに備える構成とした。

かかる構成において、トリミング処理装置は、画像縮小手段によって、映像を構成するフレーム画像を縮小する。そして、トリミング処理装置は、画像分割手段によって、画像縮小手段で縮小されたフレーム画像をブロックに分割する。

さらに、請求項３に記載のトリミング処理装置は、請求項１または請求項２に記載のトリミング処理装置において、ショット分類手段が、形状複雑度算出手段を備える構成とした。

かかる構成において、トリミング処理装置は、ショット分類手段の形状複雑度算出手段によって、フィールドブロック全体の形状の複雑度を、フィールドブロック全体を形成するブロック数に対する当該フィールドブロック全体の形状の周囲長の割合として算出する。なお、フィールドブロック全体の形状は、形状が複雑化すると凹凸の数が増加するため、周囲長が長くなればなるほど、複雑な形状であることを示すことになる。また、周囲長は、フィールドブロック全体の外周のみならず、形状に穴形状が発生している場合は内周も含んだ長さである。また、フィールドブロックが分離して形成されている場合はそれぞれの周囲長を足した長さである。

また、請求項４に記載のトリミング処理装置は、請求項３に記載のトリミング処理装置において、ショット分類手段が、占有割合算出手段をさらに備える構成とした。

かかる構成において、トリミング処理装置は、ショット分類手段の占有割合算出手段によって、フレーム画像の下部領域において、当該下部領域における全ブロック数に対するフィールドブロックのブロック数の割合をフィールド占有割合として算出する。そして、ショット分類手段は、フィールドブロック全体の形状の複雑度が予め定めた値より大きく、かつ、フィールド占有割合が予め定めた値よりも小さい場合に、ショットをロングショットであると分類する。

さらに、請求項５に記載のトリミング処理装置は、請求項１から請求項４のいずれか一項に記載のトリミング処理装置において、注目領域設定手段が、注目ブロック抽出手段と、クラスタリング手段と、クラス選択手段と、を備える構成とした。

かかる構成において、トリミング処理装置は、注目ブロック抽出手段によって、ブロックの輝度情報に基づいて、輝度分散値が予め定めた輝度分散値よりも高いブロックを注目ブロックとして抽出する。そして、トリミング処理装置は、クラスタリング手段によって、注目ブロック抽出手段で抽出された注目ブロックを予め定めた距離以下の近接するブロック同士でクラスタリングする。これによって、注目ブロックを含んだ１つ以上の領域が、注目領域の候補としてクラスタリングされることになる。そして、トリミング処理装置は、クラス選択手段によって、クラスタリング手段で注目ブロックが複数のクラスにクラスタリングされた場合に、予め定めた選択基準により、１つのクラスを注目領域として選択する。

また、請求項６に記載のトリミング処理プログラムは、フィールド内で行われるスポーツを撮影した映像の注目領域をトリミングして表示装置に出力するために、コンピュータを、画像分割手段、画像特徴抽出手段、ショット分類手段、注目領域設定手段、トリミング映像生成手段、として機能させる構成とした。

かかる構成において、トリミング処理プログラムは、画像分割手段によって、映像を構成するフレーム画像を所定の大きさのブロックに分割する。そして、トリミング処理プログラムは、画像特徴抽出手段によって、画像分割手段で分割されたブロックにおける色情報および輝度情報を当該ブロックの画像特徴として抽出する。そして、トリミング処理プログラムは、ショット分類手段によって、画像特徴抽出手段で抽出された色情報と予め定めたフィールドの色情報とが類似するブロックであるフィールドブロックで形成されるフィールドブロック全体の形状の複雑度が、予め定めた基準値を超過するか否かに基づいて、映像を撮影したショットをロングショットであるか否かに分類する。

さらに、トリミング処理プログラムは、注目領域設定手段によって、ショット分類手段でショットがロングショットであると分類された場合に、ブロックの輝度情報に基づいて、輝度分散値が予め定めた輝度分散値よりも高いブロックである注目ブロックを含む領域を注目領域として設定する。そして、トリミング処理プログラムは、トリミング映像生成手段によって、注目領域設定手段で設定された注目領域を含み、かつ、表示装置のアスペクト比に応じた領域をトリミング領域としてフレーム画像から抽出して出力する。

本発明は、以下に示す優れた効果を奏するものである。
請求項１，６に記載の発明によれば、フィールド内で行われるスポーツを撮影した映像において、ロングショット時の映像から注目領域を含んだ領域のみをトリミングして表示させることができる。これによって、本発明は、注目領域を拡大表示させることができ、低解像度の表示装置（ディスプレイ）において視認性を高めることができる。

また、請求項１，６に記載の発明によれば、動きベクトルを用いることなく、輝度情報により注目領域を設定してトリミングを行うことができる。これによって、本発明は、動きベクトルを用いる場合に比べて少ない計算量で注目領域を設定することができ、画面全体の動きがほぼ一定の映像であっても、トリミングを行うことができる。さらに、請求項１，６に記載の発明によれば、色情報により抽出したフィールドブロックの形状によって、ショットがロングショットであるか否かの判定を行うため、観客席等の予期せぬショットから注目領域をトリミングすることを防止することができる。これによって、本発明は、スポーツ映像を放送するための放送映像に対してトリミング処理を行うことができる。

請求項２に記載の発明によれば、フレーム画像を縮小するため、画像特徴の抽出や、ショットの判定等の処理における計算量を減らすことができる。これによって、本発明は、トリミング処理を高速に実現することができる。

請求項３に記載の発明によれば、フィールドブロック全体の形状の複雑度を、フィールドブロック全体のブロック数に対する当該フィールドブロック全体の形状の周囲長の割合で求めるため、定量的に複雑さを求めることができる。これによって、本発明は、一定の基準によりロングショットの判定を行うことができるため、安定してロングショットの判定を行うことが可能になる。

請求項４に記載の発明によれば、画面下部のフィールドブロックの割合によって、ロングショットの判定を行うことができる。これによって、本発明は、画面上部に観客席等が撮影された映像であっても、精度よくロングショットの判定を行うことができる。

請求項５に記載の発明によれば、クラスタリングよって、複数の注目ブロックを１つの注目領域として抽出するため、注目すべき場面が必要以上に細分化されることがない。これによって、本発明は、映像に対して、抽出された注目領域を含んでトリミングを行うことで、その場面における最適な大きさの注目領域を拡大して表示することができる。

以下、本発明の実施の形態について図面を参照して説明する。
［トリミング処理装置の構成］
まず、図１を参照して、本発明の実施の形態に係るトリミング処理装置の構成について説明する。図１は、本発明の実施の形態に係るトリミング処理装置の全体構成を示すブロック図である。

トリミング処理装置１は、フィールド内で行われるスポーツ（サッカー、ラグビー等）を撮影した映像の注目領域をトリミングするものである。また、このトリミング処理装置１は、携帯電話や情報携帯端末の内部に組み込まれ、入力された映像の注目領域を、携帯電話等の表示装置（ディスプレイ）の解像度やアスペクト比に応じてトリミングする。ここでは、トリミング処理装置１は、映像入力手段２と、画像縮小・分割手段３と、画像特徴抽出手段４と、ショット分類手段５と、注目領域設定手段６と、トリミング映像生成手段７とを備える。

映像入力手段２は、外部から映像を入力するものである。なお、映像は、例えば、デジタル放送等で使用されているＭＰＥＧ２−ＴＳ、パーソナルコンピュータ上で再生可能なＡＶＩ（オーディオビデオインターリーブ）ファイル等であって、映像フォーマットや解像度は特に限定するものではない。ここでは、映像入力手段２は、映像をフレーム画像ごとに入力し、図示を省略したメモリに書き込み、画像縮小・分割手段３に通知する。

画像縮小・分割手段３は、映像入力手段２で入力された映像のフレーム画像ごとに縮小し、所定の大きさのブロックに分割するものである。ここで、図２を参照（適宜図１参照）して、画像縮小・分割手段３の詳細な構成について説明する。図２は、画像縮小・分割手段の構成を示すブロック図である。ここでは、画像縮小・分割手段３は、画像縮小手段３１と、画像分割手段３２とを備える。

画像縮小手段３１は、フレーム画像を縮小するものである。例えば、画像縮小手段３１は、映像がハイビジョン映像の場合、１９２０×１０８０画素（横×縦）の解像度のフレーム画像を解像度２４０×１３５画素（横×縦）程度の解像度に縮小した縮小フレーム画像を生成する。この画像縮小手段３１における縮小処理は、一般的な処理を用いることができ、例えば、平均画素法、バイキュービック法等を用いることができる。

このように、フレーム画像を縮小することで、トリミング処理装置１は、後段の処理を高速に行うことが可能になる。なお、画像縮小手段３１における縮小比率は、特に限定するものではないが、例えば、トリミング処理装置１のＣＰＵの処理性能が低い場合は、より縮小比率の度合いを大きくすることとする。

画像分割手段３２は、画像縮小手段３１で生成された縮小フレーム画像を所定の大きさのブロックに分割するものである。例えば、画像分割手段３２は、縮小フレーム画像を１６×１６画素のマクロブロックに分割する。

この画像縮小手段３１で縮小され、画像分割手段３２で分割されたブロック（マクロブロック）は、画像特徴抽出手段４に出力される。なお、画像分割手段３２で分割されたブロックの縮小フレーム画像内における位置情報は、ブロックのデータとともに画像特徴抽出手段４に出力されるものとする。

なお、ここでは、画像分割手段３２は、画像縮小手段３１で生成された縮小フレーム画像をブロックに分割することとしたが、入力される映像の解像度が低い（例えば、表示装置の解像度と同じ）場合、あるいは、トリミング処理装置１のＣＰＵの処理性能が高い場合は、必ずしも縮小フレーム画像をブロックに分割する必要はなく、入力された映像を構成するフレーム画像を直接ブロックに分割することとしてもよい。この場合、構成から画像縮小手段３１を省くことができる。

ここで、図７を参照（適宜図２参照）して、画像縮小・分割手段３で行われる画像縮小・分割処理について、具体的な画像例で説明する。図７は、画像縮小・分割処理の内容を説明するための説明図であって、（ａ）は入力された映像を構成するフレーム画像、（ｂ）はフレーム画像を縮小した縮小フレーム画像、（ｃ）は縮小フレーム画像をマクロブロックに分割した状態をそれぞれ示している。

図７に示すように、画像縮小・分割手段３は、画像縮小手段３１によって、サッカー競技を撮影した映像を構成するフレーム画像である１９２０×１０８０画素のフレーム画像Ｈを、２４０×１３５画素の画像（縮小フレーム画像Ｌ）に縮小する。そして、画像縮小・分割手段３は、画像分割手段３２によって、縮小フレーム画像Ｌを１６×１６画素のマクロブロック（ブロックＢ，Ｂ…）に分割する。このブロックＢ，Ｂ…が、画像特徴抽出手段４（図１）の処理対象となる。図１に戻って、トリミング処理装置１の構成について説明を続ける。

画像特徴抽出手段４は、画像縮小・分割手段３の画像分割手段３２で分割されたブロックごとに色情報および輝度情報を当該ブロックの画像特徴として抽出（算出）するものである。ここでは、画像特徴抽出手段４は、ブロック内の色の平均値（色平均値）を色情報とし、輝度の分散（輝度分散値）を輝度情報として用いることとする。

例えば、ブロックのサイズが縦ｍ画素、横ｎ画素、ブロックを構成する画素のＲＧＢ値をそれぞれＲ（赤），Ｇ（緑），Ｂ（青）としたとき、画像特徴抽出手段４は、ブロックにおける色情報を以下の（１）式に示すようなＲ，Ｇ，Ｂの平均値として算出する。なお、ｋはブロックの画素数を示し、例えば、ｍ＝１６、ｎ＝１６の場合、ｋ＝２５６となる。

さらに、ブロックを構成する画素の輝度をＬとしたとき、画像特徴抽出手段４は、ブロックにおける輝度情報を以下の（２）式に示すような輝度値の分散（輝度分散値Ｓ^２）として算出する。

なお、ここでは、色情報としてＲＧＢ値の平均値を用いたが、色を表現する指標であればＲＧＢ値に限定されるものではない。例えば、ＨＳＶ（Ｈ：色相、Ｓ：彩度、Ｖ：明度）等を用いることとしてもよい。

ショット分類手段５は、画像特徴抽出手段４で抽出された色情報と予め定めたフィールドの色情報とが類似するブロックであるフィールドブロックで形成されるフィールドブロック全体の形状の複雑度（形状複雑度）が、予め定めた基準値を超過するか否かに基づいて、映像を撮影したショットがロングショットであるか否かに分類するものである。ここで、図３を参照（適宜図１参照）して、ショット分類手段５の詳細な構成について説明する。図３は、ショット分類手段の構成を示すブロック図である。ここでは、ショット分類手段５は、ブロック判定手段５１と、形状複雑度算出手段５２と、占有割合算出手段５３と、ショット判定手段５４とを備える。

ブロック判定手段５１は、画像特徴抽出手段４で抽出された色情報に基づいて、画像縮小・分割手段３で分割されたブロックが、フィールド部分が写っているブロック（フィールドブロック）であるか否かを判定するものである。例えば、入力された映像が、サッカー等の芝生上で行われるスポーツ映像の場合、芝生の緑色が多く含まれているブロックをフィールドブロックと判定することができる。また、例えば、入力された映像が、ラグビー等の土の上で行われるスポーツ映像の場合、土の茶色が多く含まれているブロックをフィールドブロックと判定することができる。

例えば、ブロック判定手段５１は、サッカーの映像でフィールドブロックを判定する場合、色情報であるＲＧＢの平均値を用いて、以下の（３）式の条件を満たすか否かによって、当該ブロックがフィールドブロックであるか否かを判定する。なお、（３）式において、α、βは定数であり、例えば、ＲＧＢを２５６階調としたとき、α＝５、β＝２５とすることで、芝生のフィールドブロックを判定することができる。

ここでは、ブロックがフィールドブロックであるか否かを判定するための基準としてフィールドの色情報を用いたが、このフィールドの色情報は、予め図示を省略したメモリ等に複数記憶しておくものとする。これによって、例えば、図示を省略した色情報選択手段によって、画面上にこれから視聴するスポーツ映像の種類をメニュー形式で視聴者に選択させることで、使用するフィールドの色情報を変えたり、デジタル放送で配信される番組表（ＥＰＧ：Electric Program Guide）から、視聴するスポーツ映像の種類を判別し、使用するフィールドの色情報を変えたり等、複数のスポーツ映像に対して適宜フィールドの色情報を変更することができる。

形状複雑度算出手段５２は、ブロック判定手段５１でフィールドブロックと判定されたブロック（フィールドブロック）全体の形状の複雑度（形状複雑度）を算出するものである。この形状複雑度算出手段５２で算出された形状複雑度は、ショット判定手段５４に出力される。

通常、ロングショットで撮影された映像は、被写体である人物（選手）等が小さく撮影されているため、フィールドブロック全体の形状は、矩形に近い形状となる。これに対し、ロングショット以外で撮影された映像は、被写体である人物が大きく撮影されているため、フレーム画像は非フィールドブロック（フィールドブロック以外のブロック）に侵食され、フィールドブロック全体の形状は、矩形に対して複雑さを増した形状となる。そこで、ここでは、形状複雑度を、フレーム画像がロングショットの画像であるか否かを分類するための指標として用いることとする。

なお、フィールドブロック全体の形状の凹凸が増えるほど形状が複雑であるといえるため、形状複雑度は、フィールドブロック全体のブロック数に対する当該フィールドブロック全体の形状の周囲長の割合で求めることができる。例えば、フィールドブロック全体の形状の周囲長を“Ｄ”、面積を“Ａ”とした場合、形状複雑度算出手段５２は、以下の（４）式により形状複雑度“Ｃ”を算出する。ここで、フィールドブロック全体の形状の周囲長“Ｄ”は、フィールドブロック以外のブロックに接しているフィールドブロックの数、面積“Ａ”は、フィールドブロックの数を用いることができる。

なお、フィールドブロック全体の形状が分離している場合であっても、前記（４）式により形状複雑度を算出することができる。また、フィールドブロック全体の形状が穴あき形状となった場合、周囲長“Ｄ”は、フィールドブロック全体の外周と、穴形状の内周を含んだ長さとする。

占有割合算出手段５３は、縮小フレーム画像において、全ブロック数に対するフィールドブロックのブロック数の割合（フィールド占有割合）を算出するものである。この占有割合算出手段５３で算出されたフィールド占有割合は、ショット判定手段５４に出力される。

通常、ロングショットで撮影された映像は、被写体である人物（選手）等が小さく撮影されているため、画面（縮小フレーム画像）内に占めるフィールドブロックの割合が大きくなる。そこで、ここでは、フィールド占有割合を、フレーム画像がロングショットの画像であるか否かを分類するための指標として用いることとする。

なお、一般に、フィールド内で行われるスポーツを撮影した映像は、画面上部に観客席等のフィールド以外の映像が含まれることがある。そこで、占有割合算出手段５３は、画面（縮小フレーム画像）の下部領域において、当該下部領域における全ブロック数に対するフィールドブロックのブロック数の割合をフィールド占有割合として算出することとする。

このフィールドブロック占有割合は、画面の下部領域（具体的には下半分）のブロック数をγ、当該領域におけるフィールドブロック数をＮ_ｄとした場合、占有割合算出手段５３は、以下の（５）式によりフィールド占有割合Ｒ_ｄを算出する。

例えば、縮小フレーム画像が２４０×１３５画素であって、１６×１６画素のブロック（マクロブロック）で分割されている場合、総ブロック数は“１２０”となるため、γの値には“６０”を用いる。

ショット判定手段５４は、形状複雑度算出手段５２で算出された形状複雑度と、占有割合算出手段５３で算出されたフィールドブロック占有割合とに基づいて、映像を構成するフレーム画像（縮小フレーム画像）がロングショットの画像であるか否かを判定するものである。ここでは、ショット判定手段５４は、形状複雑度が予め定めた閾値よりも小さく、かつ、フィールドブロック占有割合が予め定めた閾値よりも大きい場合に、「ロングショット」と判定し、それ以外の場合に、「非ロングショット」と判定する。この判定による分類されたフレーム画像の種別（「ロングショット」または「非ロングショット」）は、注目領域設定手段６およびトリミング映像生成手段７に出力される。

なお、ここでは、ショット判定手段５４は、形状複雑度とフィールドブロック占有割合との２つの指標を用いてロングショットの判定を行ったが、いずれか一方で判定することとしてもよい。しかし、判定の精度を高めるためには、この２つの指標を用いることが望ましい。図１に戻って、トリミング処理装置１の構成について説明を続ける。

注目領域設定手段６は、ショット分類手段５でフレーム画像がロングショットの画像と分類された場合に、画像特徴抽出手段４で抽出されたブロックの輝度情報に基づいて、輝度分散値が予め定めた輝度分散値よりも高いブロックである注目ブロックを含む領域を注目領域として設定するものである。ここで、図４を参照（適宜図１参照）して、注目領域設定手段６の詳細な構成について説明する。図４は、注目領域設定手段の構成を示すブロック図である。ここでは、注目領域設定手段６は、注目ブロック抽出手段６１と、クラスタリング手段６２と、クラス選択手段６３とを備える。

注目ブロック抽出手段６１は、画像特徴抽出手段４で抽出された輝度情報に基づいて、画像縮小・分割手段３で分割されたブロック（マクロブロック）から選手等を含んだ注目ブロックを抽出するものである。通常、輝度が一様なフィールドにおいて、選手等が写っている領域は輝度分散値が高くなる。そこで、注目ブロック抽出手段６１は、ブロックの輝度分散値が予め定めた輝度分散値よりも高いブロックを注目ブロックとして抽出することとする。

クラスタリング手段６２は、注目ブロック抽出手段６１で抽出された注目ブロックをクラスタリングするものである。ここでは、クラスタリング手段６２は、複数の注目ブロックを予め定めた距離以下の近接するブロック同士を同一のクラスとしてクラスタリングする。このように、クラスタリング手段６２は、近接した注目ブロックを１つのクラスとしてクラスタリングことで、１つ以上の注目領域の候補が形成されることになる。なお、クラスタリング結果として、１つのクラスのみがクラスタリングされた場合は、当該クラスが注目領域となる。これによって、注目ブロックが分離して存在している場合であっても、一定の距離以下のブロックを１つのクラスとすることができるため、注目すべき場面が必要以上に細分化されることがない。

クラス選択手段６３は、クラスタリング手段６２で注目ブロックが複数のクラスにクラスタリングされた場合に、予め定めた選択基準により、いずれか１つのクラスを注目領域として選択するものである。この選択基準は、注目領域の候補の位置や大きさを基準とすることができる。例えば、注目領域の候補の位置を基準とする場合、クラス選択手段６３は、各クラス（注目領域の候補）のうちで、縮小フレーム画像の中心位置に最も近いクラスを注目領域として選択する。また、例えば、注目領域の候補の大きさを基準とする場合、クラス選択手段６３は、各クラス（注目領域の候補）のうちで、最も占有面積が広いクラスを注目領域として選択する。

ここで、図８を参照（適宜図４参照）して、注目領域設定手段６で行われる注目領域設定処理について、具体的な画像例で説明する。図８は、注目領域設定処理の内容を説明するための説明図であって、（ａ）は縮小フレーム画像内において注目ブロックを抽出した状態、（ｂ）は注目ブロックに基づいて注目領域を設定した状態をそれぞれ示している。
図８に示すように、注目領域設定手段６は、注目ブロック抽出手段６１によって、ブロックの輝度分散値が予め定めた輝度分散値よりも高いブロックを注目ブロックとして抽出する。このように、輝度分散値が高いブロックを抽出することで、選手等が写っている領域を抽出することができる。なお、図８（ａ）では、注目ブロックが６個（Ｂ_Ｎ１〜Ｂ_Ｎ６）抽出された例を示している。

そして、注目領域設定手段６は、クラスタリング手段６２によって、近接するブロック同士を同一のクラスとしてクラスタリングする。ここでは、注目ブロック同士の距離が２ブロック以内のブロックを同一のクラスとしている。これによって、注目ブロックＢ_Ｎ１〜Ｂ_Ｎ３が１つのクラス、注目ブロックＢ_Ｎ４〜Ｂ_Ｎ６が１つのクラスとしてクラスタリングされ、図８（ｂ）に示すように、注目領域の候補Ｃ_１、Ｃ_２が選択されることになる。なお、中心位置に最も近いクラスを注目領域として選択する場合、あるいは、最も占有面積が広いクラスを注目領域として選択する場合、クラス選択手段６３は、注目領域の候補Ｃ_１を注目領域として選択することになる。図１に戻って、トリミング処理装置１の構成について説明を続ける。

トリミング映像生成手段７は、表示対象の表示装置（図示せず）のアスペクト比に応じた領域をトリミング領域としてフレーム画像から抽出して出力するものである。ここで、図５を参照（適宜図１参照）して、トリミング映像生成手段７の詳細な構成について説明する。図５は、トリミング映像生成手段の構成を示すブロック図である。ここでは、トリミング映像生成手段７は、トリミング領域設定手段７１と、トリミング領域抽出手段７２とを備える。

トリミング領域設定手段７１は、フレーム画像において、表示装置のアスペクト比に応じた領域をトリミング領域として設定するものである。ここで、ショット分類手段５において、フレーム画像がロングショットの画像であると分類された場合、トリミング領域設定手段７１は、少なくとも注目領域設定手段６で設定された注目領域を含み、かつ、表示装置のアスペクト比に応じた領域をトリミング領域として設定する。通常、注目領域設定手段６で設定された注目領域は、表示装置のアスペクト比とは同一とならない。そこで、トリミング領域設定手段７１は、注目領域に対して上下左右に領域を拡張することで、トリミング領域を設定する。あるいは、トリミング領域設定手段７１は、注目領域の上下または左右のいずれかに拡張することで、トリミング領域を設定することとしてもよい。

例えば、注目領域の縦横比とアスペクト比とを比較し、注目領域の縦の比率が大きい場合、トリミング領域設定手段７１は、注目領域の縦幅を固定し、縦横比がアスペクト比となるように、横幅（左右領域）を拡張してトリミング領域とする。また、注目領域の縦横比とアスペクト比とを比較し、注目領域の横の比率が大きい場合、トリミング領域設定手段７１は、注目領域の横幅を固定し、縦横比がアスペクト比となるように、縦幅（上下領域）を拡張してトリミング領域とする。

一方、ショット分類手段５において、フレーム画像が非ロングショットの画像であると分類された場合、トリミング領域設定手段７１は、フレーム画像の中心（画面中央）をトリミング領域の中心として、表示装置のアスペクト比分の最大領域をトリミング領域に設定する。

トリミング領域抽出手段７２は、トリミング領域設定手段７１で設定されたトリミング領域を、フレーム画像から抽出し、表示装置の解像度に応じて拡大または縮小した画像を生成するものである。このトリミング領域抽出手段７２で抽出され、拡大または縮小された画像は、映像のフレーム画像として逐次表示装置に出力される。これによって、トリミングされた領域の映像が表示装置に表示されることになる。

ここで、図９を参照（適宜図２参照）して、トリミング映像生成手段７で行われるトリミング領域を抽出する手法について、具体的な画像例で説明する。図９は、トリミング領域抽出処理の内容を説明するための説明図であって、（ａ）は「ロングショット」撮影時、（ｂ）は「非ロングショット」撮影時におけるそれぞれのトリミング領域を示している。

図９（ａ）に示すように、フレーム画像がロングショットの画像である場合、トリミング映像生成手段７は、トリミング領域設定手段７１によって、注目領域Ｃ_１に対して上下左右に領域を拡張することで、表示装置のアスペクト比に応じたトリミング領域Ｔ_１を設定する。なお、トリミング領域Ｔ_２は、注目領域がＣ_２のように縦の比率が大きい場合、注目領域Ｃ_２の縦幅を固定し、縦横比がアスペクト比となるように、横幅を拡張した例を示している。

また、図９（ｂ）に示すように、フレーム画像が非ロングショットの画像である場合、トリミング映像生成手段７は、トリミング領域設定手段７１によって、フレーム画像の中心をトリミング領域の中心として、アスペクト比分の最大領域をトリミング領域Ｔ_３に設定する。例えば、元のフレーム画像がハイビジョンのアスペクト比である１６：９の画像であって、表示装置のアスペクト比がＱＶＧＡの４：３である場合、図９（ｂ）に示すように、両サイドの画像がカットされたトリミング領域Ｔ_３が設定されることになる。

以上説明したようにトリミング処理装置１を構成することで、トリミング処理装置１は、フィールド内で行われるスポーツを撮影した映像を表示する際に、ロングショットであるか否かを判定し、ロングショットである場合に、フレーム画像全体を表示する場合に比べて、選手等が存在する注目領域を拡大して表示することができる。これによって、トリミング処理装置１は、高解像度のディスプレイを想定した映像（ハイビジョン映像）であっても、低解像度のディスプレイにおいて注目領域の視認性を高めて映像を表示することができる。

なお、トリミング処理装置１は、一般的なコンピュータを、前記した各手段として機能させるトリミング処理プログラムによって動作させることができる。また、このトリミング処理プログラムが、予め図示を省略した不揮発性のメモリ等に記憶しておき動作させることとしてもよいし、例えば、放送波や通信回線を介して取得し、動作させることとしてもよい。

［トリミング処理装置の動作］
次に、図６を参照（構成については適宜図１〜５参照）して、本発明の実施形態に係るトリミング処理装置の動作について説明する。図６は、本発明の実施形態に係るトリミング処理装置の動作を示すフローチャートである。

（映像入力）
まず、トリミング処理装置１は、映像入力手段２によって、外部から映像を入力する（ステップＳ１）。

（画像縮小・分割）
そして、トリミング処理装置１は、画像縮小・分割手段３によって、映像のフレーム画像ごとに画像縮小を行い、所定の大きさのブロックに分割する（ステップＳ２）。具体的には、トリミング処理装置１は、画像縮小・分割手段３の画像縮小手段３１によって、映像のフレーム画像ごとに画像縮小を行うことで、例えば、１９２０×１０８０画素の解像度のフレーム画像を２４０×１３５画素に縮小した縮小フレーム画像を生成する。そして、トリミング処理装置１は、画像分割手段３２によって、縮小フレーム画像を所定の大きさのブロック（例えば、１６×１６画素のマクロブロック）に分割する。

（画像特徴抽出）
そして、トリミング処理装置１は、画像特徴抽出手段４によって、ステップＳ２で分割されたブロック（マクロブロック）ごとに、色情報（色平均値）および輝度情報（輝度分散値）を当該ブロックの画像特徴として算出する（ステップＳ３）。

（ショット分類）
その後、トリミング処理装置１は、ショット分類手段５によって、ステップＳ３で算出されたブロックごとの色情報（色平均値）に基づいて、特定色（例えば、芝生の色）のフィールドブロック全体の形状複雑度およびフィールド占有割合を算出し（ステップＳ４）、撮影ショットがロングショットであるのか、それ以外（非ロングショット）であるのかを分類する（ステップＳ５）。

具体的には、トリミング処理装置１は、ショット分類手段５のブロック判定手段５１によって、各ブロックの色情報が特定色（例えば、芝生の色）の色情報に類似するか否かを判定することで、各ブロックが、フィールド部分が写っているブロック（フィールドブロック）であるか否かを判定する。

そして、トリミング処理装置１は、ショット分類手段５の形状複雑度算出手段５２によって、フィールドブロックと判定されたブロック（フィールドブロック）全体の形状の複雑さの度合いを示す形状複雑度を算出する。さらに、トリミング処理装置１は、ショット分類手段５の占有割合算出手段５３によって、全ブロック数に対するフィールドブロックのブロック数の割合（フィールド占有割合）を算出する（ステップＳ４）。

その後、トリミング処理装置１は、ショット分類手段５のショット判定手段５４によって、形状複雑度が予め定めた閾値よりも小さく、かつ、フィールドブロック占有割合が予め定めた閾値よりも大きい場合に、フレーム画像が「ロングショット」の画像であると判定し、それ以外の場合に、「非ロングショット」の画像であると判定する（ステップＳ５）。

（注目領域設定）
ステップＳ５でフレーム画像が「ロングショット」の画像であると判定された場合、トリミング処理装置１は、注目領域設定手段６によって、ステップＳ３で算出されたブロックごとの輝度情報（輝度分散値）に基づいて、注目すべきブロックを注目ブロックとして抽出し（ステップＳ６）、その注目ブロックを含む領域を注目領域として設定する（ステップＳ７）。

具体的には、トリミング処理装置１は、注目領域設定手段６の注目ブロック抽出手段６１によって、各ブロックの輝度分散値が予め定めた輝度分散値よりも高いブロックを注目ブロックとして抽出する（ステップＳ６）。

そして、トリミング処理装置１は、注目領域設定手段６のクラスタリング手段６２によって、複数の注目ブロックを予め定めた距離以下の近接するブロック同士を同一のクラスとしてクラスタリングする。これによって、１つ以上の注目領域の候補が形成されることになる。そして、トリミング処理装置１は、注目領域設定手段６のクラス選択手段６３によって、予め定めた選択基準（例えば、画面中心位置に最も近いクラスを選択）により、いずれか１つのクラスを注目領域として選択する（ステップＳ７）。

（トリミング領域設定）
そして、トリミング処理装置１は、トリミング映像生成手段７によって、表示対象の表示装置（図示せず）のアスペクト比に応じた領域をトリミング領域として設定し（ステップＳ８，Ｓ９）、当該トリミング領域をフレーム画像から抽出して表示する（ステップＳ１０）。

具体的には、トリミング処理装置１は、トリミング映像生成手段７のトリミング領域設定手段７１によって、少なくともステップＳ７で設定された注目領域を含み、かつ、表示装置のアスペクト比に応じた領域をトリミング領域として設定する（ステップＳ８）。なお、ステップＳ５でフレーム画像が「非ロングショット」の画像であると判定された場合、トリミング領域設定手段７１は、フレーム画像の中心（画面中央）をトリミング領域の中心として、表示装置のアスペクト比分の最大領域をトリミング領域に設定する（ステップＳ９）。

そして、トリミング処理装置１は、トリミング映像生成手段７のトリミング領域抽出手段７２によって、ステップＳ８またはステップＳ９で設定されたトリミング領域を、フレーム画像から抽出し、表示装置の解像度に応じて拡大または縮小した画像を生成し、表示装置に表示する（ステップＳ１０）。

以上の動作によって、トリミング処理装置１は、フィールド内で行われるスポーツを撮影した映像を表示する際に、ロングショットであるか否かを判定し、ロングショットである場合に、フレーム画像全体を表示する場合に比べて、選手等が存在する注目領域を拡大して表示することができる。

本発明の実施の形態に係るトリミング処理装置の全体構成を示すブロック図である。 本発明の実施の形態に係るトリミング処理装置の画像縮小・分割手段の構成を示すブロック図である。 本発明の実施の形態に係るトリミング処理装置のショット分類手段の構成を示すブロック図である。 本発明の実施の形態に係るトリミング処理装置の注目領域設定手段の構成を示すブロック図である。 本発明の実施の形態に係るトリミング処理装置のトリミング映像生成手段の構成を示すブロック図である。 本発明の実施形態に係るトリミング処理装置の動作を示すフローチャートである。 画像縮小・分割処理の内容を説明するための説明図である。 注目領域設定処理の内容を説明するための説明図である。 トリミング領域抽出処理の内容を説明するための説明図である。

符号の説明

１ トリミング処理装置
２ 映像入力手段
３ 画像縮小・分割手段
３１ 画像縮小手段
３２ 画像分割手段
４ 画像特徴抽出手段
５ ショット分類手段
５１ ブロック判定手段
５２ 形状複雑度算出手段
５３ 占有割合算出手段
５４ ショット判定手段
６ 注目領域設定手段
６１ 注目ブロック抽出手段
６２ クラスタリング手段
６３ クラス選択手段
７ トリミング映像生成手段
７１ トリミング領域設定手段
７２ トリミング領域抽出手段

Claims (6)

1. フィールド内で行われるスポーツを撮影した映像の注目領域をトリミングして表示装置に出力するトリミング処理装置であって、
   前記映像を構成するフレーム画像を所定の大きさのブロックに分割する画像分割手段と、
   この画像分割手段で分割されたブロックにおける色情報および輝度情報を当該ブロックの画像特徴として抽出する画像特徴抽出手段と、
   この画像特徴抽出手段で抽出された色情報と予め定めた前記フィールドの色情報とが類似するブロックであるフィールドブロックで形成されるフィールドブロック全体の形状の複雑度が、予め定めた基準値を超過するか否かに基づいて、前記映像を撮影したショットをロングショットであるか否かに分類するショット分類手段と、
   このショット分類手段で前記ショットがロングショットであると分類された場合に、前記ブロックの輝度情報に基づいて、輝度分散値が予め定めた輝度分散値よりも高いブロックである注目ブロックを含む領域を前記注目領域として設定する注目領域設定手段と、
   この注目領域設定手段で設定された注目領域を含み、かつ、前記表示装置のアスペクト比に応じた領域をトリミング領域として前記フレーム画像から抽出して出力するトリミング映像生成手段と、
   を備えることを特徴とするトリミング処理装置。
2. 前記フレーム画像を縮小する画像縮小手段をさらに備え、
   前記画像分割手段は、前記画像縮小手段で縮小されたフレーム画像を分割することを特徴とする請求項１に記載のトリミング処理装置。
3. 前記ショット分類手段は、
   前記形状の複雑度を、前記フィールドブロック全体を形成するブロック数に対する当該フィールドブロック全体の形状の周囲長の割合として算出する形状複雑度算出手段を備えることを特徴とする請求項１または請求項２に記載のトリミング処理装置。
4. 前記ショット分類手段は、
   前記フレーム画像の下部領域において、当該下部領域における全ブロック数に対する前記フィールドブロックのブロック数の割合をフィールド占有割合として算出する占有割合算出手段をさらに備え、前記複雑度が予め定めた値より大きく、かつ、前記フィールド占有割合が予め定めた値よりも小さい場合に、前記ショットをロングショットであると分類することを特徴とする請求項３に記載のトリミング処理装置。
5. 前記注目領域設定手段は、
   前記ブロックの輝度情報に基づいて、輝度分散値が予め定めた輝度分散値よりも高いブロックを前記注目ブロックとして抽出する注目ブロック抽出手段と、
   この注目ブロック抽出手段で抽出された注目ブロックを予め定めた距離以下の近接するブロック同士でクラスタリングするクラスタリング手段と、
   このクラスタリング手段で前記注目ブロックが複数のクラスにクラスタリングされた場合に、予め定めた選択基準により、１つのクラスを前記注目領域として選択するクラス選択手段と、
   を備えることを特徴とする請求項１から請求項４のいずれか一項に記載のトリミング処理装置。
6. フィールド内で行われるスポーツを撮影した映像の注目領域をトリミングして表示装置に出力するために、コンピュータを、
   前記映像を構成するフレーム画像を所定の大きさのブロックに分割する画像分割手段、
   この画像分割手段で分割されたブロックにおける色情報および輝度情報を当該ブロックの画像特徴として抽出する画像特徴抽出手段、
   この画像特徴抽出手段で抽出された色情報と予め定めた前記フィールドの色情報とが類似するブロックであるフィールドブロックで形成されるフィールドブロック全体の形状の複雑度が、予め定めた基準値を超過するか否かに基づいて、前記映像を撮影したショットをロングショットであるか否かに分類するショット分類手段、
   このショット分類手段で前記ショットがロングショットであると分類された場合に、前記ブロックの輝度情報に基づいて、輝度分散値が予め定めた輝度分散値よりも高いブロックである注目ブロックを含む領域を前記注目領域として設定する注目領域設定手段、
   この注目領域設定手段で設定された注目領域を含み、かつ、前記表示装置のアスペクト比に応じた領域をトリミング領域として前記フレーム画像から抽出して出力するトリミング映像生成手段、
   として機能させることを特徴とするトリミング処理プログラム。

Images