JP4128466B2 - コンテンツ表示装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、コンテンツ表示装置に関するものである。
【０００２】
【従来の技術】
従来のコンテンツ表示装置は、多数の動画または静止画のコンテンツをスクリーン上に表示しようとするとコンテンツの数や面積に応じて徐々に処理性能が劣化し、想定していたレートでの動画の表示ができなかったり、動きが遅れたりする問題があった。
【０００３】
従来のコンテンツ表示装置の例として、特許文献１には複数の画像を任意の位置に配置し、画面合成を行う技術が開示されている。また、合成した画面を一定間隔で表示することによって擬似動画を表示する技術が開示されている。
【０００４】
【特許文献１】
特開平６−３３９４７５号公報
【０００５】
【発明が解決しようとする課題】
従来のコンテンツ表示装置では、静止画や動画、文字列などの多数のコンテンツが混在した状態では、動画の性能を劣化させることなく全画面動画を合成し、表示することは実現されていなかった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、動画を含む多数のコンテンツを、処理性能を落とさずに表示できるコンテンツ表示装置を得ることを目的とする。
【０００７】
【課題を解決するための手段】
この発明に係るコンテンツ表示装置は、動画像のコンテンツおよび静止系のコンテンツからなる複数のコンテンツの画像データの、フレームメモリ上における格納位置を指定するレイアウト情報に基づいて、各コンテンツの配置位置を決定するコンテンツレイアウト部と、コンテンツレイアウト部により配置された全てのコンテンツを、動画像コンテンツ群と、動画像以外の静止系コンテンツ群に分別するコンテンツ分別部と、コンテンツレイアウト部によりフレームメモリ上における各コンテンツの格納位置が決定された状態で、動画像コンテンツ群の１つのフレーム画像を生成する処理を繰り返すことにより複数のフレーム画像を生成するフレーム生成部と、フレーム生成部で生成された複数のフレーム画像を集めることにより１つの合成動画像を生成する合成動画像生成部と、合成動画像の再生画像データをフレームメモリに格納する合成動画像再生部と、合成動画像再生部により格納された合成動画像が背景画像として重ねて表示されるように静止系コンテンツ群の画像データをフレームメモリに格納するコンテンツ描画部とを備えたものである。
【０００８】
【発明の実施の形態】
以下、この発明の実施の様々な形態を説明する。
実施の形態１．
図１は、この発明の実施の形態１によるコンテンツ表示装置の構成を示すブロック図である。
図に示すように、コンテンツ表示装置は、コンテンツレイアウト部１２、フレーム生成部１８、フレーム画像格納部８、合成動画像生成部３１、合成動画像再生部３２、フレームメモリ１７、スクリーン１６を備える。フレーム生成部１８は、コンテンツ再生部１９、フレーム合成部３０、再生時間設定部５１、フレーム数決定部５２、フレームレート設定部６１を備える。
コンテンツレイアウト部１２、フレーム生成部１８、コンテンツ再生部１９、フレーム合成部３０、再生時間設定部５１、フレーム数決定部５２、フレームレート設定部６１、合成動画像生成部３１、合成動画像再生部３２は、コンテンツ表示装置の中央演算処理装置を、該中央演算処理装置の動作を制御するプログラムのモジュールに従って便宜的に分割したものである。
【０００９】
次に動作について説明する。
ここでは、スクリーン１６上に、動画像１，３、静止画２、文字列４を表示する場合を考える。動画像１は３２０ｘ２４０の形状でフレームレートは３０ｆｒａｍｅ／ｓｅｃ、再生時間は１０ｓｅｃである。動画像３は、４００ｘ３００の形状でフレームレートは２０ｆｒａｍｅ／ｓｅｃ長さは１５ｓｅｃである。また、静止画２は４００ｘ３００、文字列４は８００ｘ２００の形状である。
【００１０】
コンテンツレイアウト部１２は、動画像１，３、静止画２、文字列４を読み込み、レイアウト情報ｂに基づいて各コンテンツのレイアウトを行う。
【００１１】
レイアウト情報ｂには、フレームメモリ１７内における各コンテンツのデータの格納位置が示されている。ここでは、動画像１を（６４０，５０）から、静止画２を（１００，１００）から、動画像３を（２００，６５０）から、文字列４を（３００，５１２）から配置するという情報が記されている。
図２に、レイアウト情報ｂに基づくレイアウトの結果を示す。
【００１２】
さらに、コンテンツレイアウト部１２は、クリップ領域情報ｃに基づいてレイアウトを再調整する。クリップ領域情報ｃには、スクリーン１６上でコンテンツを表示できない範囲に対応するフレームメモリ１７の領域（以下、クリップ領域という。）が示されている。ここでは、（８４０，０），（９４０，０），（９４０，１０２４），（８４０，１０２４）で囲まれた矩形の範囲がクリップ領域に指定されている。図３にクリップ領域情報ｃを反映したレイアウトを示す。図中、斜線で示されたクリップ領域は、動画像１と文字列４に重なるレイアウトになる。このため、動画像１と文字列４を分割して配置する必要がある。この際、動画像１と文字列４を途中で２つに分割して配置するのではなく、それぞれを２つ配置し、必要な部分の矩形領域のみを表示する。それぞれ１Ａ，１Ｂ，４Ａ，４Ｂとする。
【００１３】
具体的には、動画像１Ａを始点（６４０，５０）で配置して（６４０，５０），（８４０，５０），（８４０，２９０），（６４０，２９０）で示される矩形領域のみ表示するようにし、動画像１Ｂを始点（７４０，５０）で配置して（８６０，５０），（１０６０，５０），（１０６０，２９０），（８６０，２９０）で示される矩形領域のみ表示するようにする。また、文字列４Ａを始点（３００，５１２）で配置して（３００，５１２），（８４０，５１２），（８４０，７１２），（３００，７１２）で示される矩形領域のみ表示し、文字列４Ｂを始点（４００，５１２）で配置して（９４０，５１２），（１２００，５１２），（１２００，７１２），（９４０，１２００）で示される矩形領域のみ配表示する。
【００１４】
コンテンツレイアウト部１２は、これらのコンテンツデータ、レイアウト情報ｂ、およびクリップ領域情報ｃを、コンテンツ表示装置内から、あるいは電気通信回線を介して他のコンピュータから、または記録媒体等から取得する。
【００１５】
次に、コンテンツレイアウト部１２は、読み込まれたコンテンツのうち動画像１，３の再生時間を再生時間設定部５１に渡す。再生時間設定部５１は、動画像１の再生時間１０ｓｅｃと、動画像３の再生時間１５ｓｅｃの最小公倍数である３０ｓｅｃを再生時間として算出する。再生時間設定部５１は、算出結果をフレーム数決定部５２に通知する。
【００１６】
また、コンテンツレイアウト部１２は、読み込まれたコンテンツのうち動画像１，３のフレームレートをフレームレート設定部６１に渡す。フレームレート設定部６１は、動画像１のフレームレート３０ｆｒａｍｅ／ｓｅｃと、動画像３のフレームレート２０ｆｒａｍｅ／ｓｅｃのうちの最大値３０ｆｒａｍｅ／ｓｅｃをフレームレートとして算出する。フレームレート設定部６１は、算出結果をフレーム数決定部５２に通知する。
【００１７】
次に、フレーム数決定部５２は、フレームレート設定部６１から通知されたフレームレートと、再生時間設定部５１から通知された再生時間から、再生するフレーム数を決定する。ここでは、３０ｆｒａｍｅ／ｓｅｃのフレームレートで３０ｓｅｃの再生を行うため、フレーム数は９００ｆｒａｍｅとなる。
フレーム数決定部５２は、決定したフレーム数をコンテンツ再生部１９に通知する。
【００１８】
次にコンテンツ再生部１９は、コンテンツレイアウト部１２でレイアウトされた複数のコンテンツを１フレーム分再生し、再生した画像データをフレーム合成部３０に渡す。
【００１９】
フレーム合成部３０は、渡された再生画像を全画面の１フレーム分のフレーム画像７として出力し、フレーム画像格納部８に保管する。図４に出力される画像を示す。
【００２０】
コンテンツ再生部１９は、次の１フレームの画像を再生し、同様にフレーム合成部３０に渡す。フレーム合成部３０はフレーム画像７を出力し、フレーム画像格納部８に保管する。
これらの処理をフレーム数決定部５２により決定された９００ｆｒａｍｅ分繰り返す。その際、動画像データが終端まで言った場合には繰り返し再生を行う。すなわち、３００ｆｒａｍｅで構成される動画像１は３回繰り返される。また、動画像３については、２０ｆｒａｍｅ／ｓｅｃのフレームレートを３０ｆｒａｍｅ／ｓｅｃに変換する必要があるので２フレームに１回同じフレームを再生し画像を補間する必要がある。このため、繰り返し回数は２回となる。
【００２１】
次にフレーム画像格納部８は、格納された９００フレーム分のフレーム画像を合成動画像生成部３１に渡す。
【００２２】
次に合成動画像生成部３１は、渡された９００フレーム分のフレーム画像を用いて１つの動画像データを生成し、合成動画像９として合成動画像再生部３２に渡す。
【００２３】
次に、合成動画像再生部３２は、合成動画像９をフレームメモリ１７に展開し、スクリーン１６に表示する。図５にスクリーン１６に表示された結果を示す。図に示すように、非常口等の存在により、表示できない範囲がある場合には、その部分を避けてコンテンツ画像が表示される。
【００２４】
以上のように、この実施の形態１によれば、コンテンツレイアウト部１２が動画像や静止画を含む複数のコンテンツをレイアウトし、フレーム生成部１８がレイアウトされた複数のコンテンツを１フレームずつ再生して、全画面のフレーム画像を複数生成し、生成された複数のフレーム画像から、合成動画像生成部３１が１つの合成動画像を生成するようにした。これにより、コンテンツが多数になっても、１つの合成動画像として処理できるので、処理性能を落とさず再生表示を行うことができる。また、動画像間の同期が完全に保証される。また、同じコンテンツを同じレイアウトで表示するのであれば、１度合成動画像を生成しておくことにより、合成動画像再生部３２のみでコンテンツ表示を行うことができる。
【００２５】
さらに、コンテンツレイアウト部１２は、コンテンツが表示できないクリップ領域も含めてコンテンツのレイアウトを行うので、スクリーン上で表示できない部分を避けてコンテンツを表示することができる。
【００２６】
また、再生時間設定部５１が複数の動画像の再生時間の最小公倍数を、合成動画像の再生時間として設定し、フレーム数決定部５２が設定された再生時間を基に生成するフレーム画像数を決定するようにしたので、複数の動画像が含まれる場合に、両方の画像を同時に最後まで取り込むことができる。
【００２７】
また、フレームレート設定部６１が複数の動画像のフレームレートの最大値を、合成動画像のフレームレートとして設定し、フレーム数決定部５２が設定されたフレームレートを基に生成するフレーム画像数を決定するようにしたので、複数の動画像が含まれる場合に、コマ落ちなどを防ぐことができる。
【００２８】
実施の形態２．
実施の形態２では、動画像のみを合成動画像として再構成し、背景動画像としてスクリーンに表示する。動画像以外のコンテンツは背景動画像の上に重ねて表示する。
【００２９】
図６は、この発明の実施の形態２によるコンテンツ表示装置の構成を示すブロック図である。図１と同一の符号は同一の構成要素を表している。実施の形態２のコンテンツ表示装置は、コンテンツ分別部２１、コンテンツ描画部１４を備えている。また、フレーム生成部２８は、図１のフレーム生成部１８に相当する構成要素であるが、フレーム生成部２８は、コンテンツ再生部１９、フレーム合成部３０、および外接矩形切り出し部４１を有している。
コンテンツレイアウト部１２、コンテンツ分別部２１、コンテンツ描画部１４、フレーム生成部２８、コンテンツ再生部１９、フレーム合成部３０、外接矩形切り出し部４１、合成動画像生成部３１、および合成動画像再生部３２は、コンテンツ表示装置の中央演算処理装置を、該中央演算処理装置の動作を制御するプログラムのモジュールに従って便宜的に分割したものである。
【００３０】
次に動作について説明する。
実施の形態１と同様に、スクリーン１６上に、動画像１，３、静止画２、文字列４を表示する場合を考える。動画像１は３２０ｘ２４０の形状でフレームレートは３０ｆｒａｍｅ／ｓｅｃ、再生時間は１０ｓｅｃである。動画像３は、４００ｘ３００の形状でフレームレートは２０ｆｒａｍｅ／ｓｅｃ長さは１５ｓｅｃである。また、静止画２は４００ｘ３００、文字列４は８００ｘ２００の形状である。
【００３１】
コンテンツレイアウト部１２は、動画像１，３、静止画２、文字列４を読み込み、レイアウト情報ｂに基づいて各コンテンツのレイアウトを行う。
【００３２】
レイアウト情報ｂには、フレームメモリ１７内における各コンテンツのデータの格納位置が示されている。ここでは、動画像１を（６４０，５０）から、静止画２を（１００，１００）から、動画像３を（２００，６５０）から、文字列４を（３００，５１２）から配置するという情報が記されている。
図２に、レイアウト情報ｂに基づくレイアウトの結果を示す。
【００３３】
次に、コンテンツ分別部２１は、コンテンツを動画像（動画像コンテンツ群）と動画像以外の静止系コンテンツ（静止系コンテンツ群）に振り分ける。動画像はフレーム生成部２８において処理され、静止系コンテンツはコンテンツ描画部１４において処理される。
【００３４】
ここでは、動画像１，３がフレーム生成部２８に渡される。また、静止画２および文字列４が静止系のコンテンツとなり、コンテンツ描画部１４に渡される。
【００３５】
フレーム生成部２８においては、コンテンツ再生部１９がコンテンツレイアウト部１２でレイアウトされたコンテンツを１フレーム分再生し、結果をフレーム合成部３０に渡す。
【００３６】
フレーム合成部３０は、渡された再生画像を全画面の１フレーム分のフレーム画像７として出力し、外接矩形切り出し部４１に渡す。
【００３７】
外接矩形切り出し部４１は、フレーム画像７から、動画像１，３に接する外接矩形を切り出し、フレーム画像７Ａとして出力し、フレーム画像格納部８に保管する。図７に出力される画像を示す。
【００３８】
コンテンツ再生部１９は、次の１フレームの画像を再生し、同様にフレーム合成部３０に渡す。フレーム合成部３０はフレーム画像７を出力し、外接矩形切り出し部４１に渡す。外接矩形切り出し部４１は、フレームメモリ１７を動画像１，３に接する外接矩形を切り出し、フレーム生成部２８に格納する。
これらの処理を繰り返し、フレーム画像格納部８にフレーム画像を蓄積していく。
【００３９】
次にフレーム画像格納部８は、格納された複数のフレーム画像を合成動画像生成部３１に渡す。
【００４０】
次に合成動画像生成部３１は、渡された複数のフレーム画像を用いて１つの動画像データを生成し、合成動画像９として合成動画像再生部３２に渡す。
【００４１】
次に、合成動画像再生部３２は、合成動画像９をフレームメモリ１７に展開する。この際、合成動画像９がスクリーン１６上で背景画像として表示されるようにフレームメモリ１７に格納する。
【００４２】
コンテンツ描画部１４は、コンテンツレイアウト部１２でレイアウトされた静止画２および文字列４の画像データをフレームメモリ１７に格納する。図８にコンテンツ描画部１４により格納される画像を示す。
この際、スクリーン１６上で背景画像として表示される合成動画像９の上に重ねて表示されるようにフレームメモリ１７に静止画２と文字列４を格納する。その結果、スクリーン１６上には、図２のような画像が表示される。
【００４３】
以上のように、この実施の形態２によれば、コンテンツ分別部２１が、レイアウトされたコンテンツを動画像と静止系コンテンツに振り分け、動画像のみから合成動画像を生成する。合成動画像は合成動画像再生部３２によりスクリーン上に背景画像として表示されるようフレームメモリ１７に展開すると共に、静止系コンテンツはコンテンツ描画部１４により合成動画像の上に表示されるようにフレームメモリ１７に格納する。これにより、静止画や文字列の画質劣化を防ぐことができる。また、静止画や文字列の入れ替えも容易である。
【００４４】
また、動画像については、動画像同士の同期が保証され、コンテンツ数の増加による性能劣化も防ぐことができる。また、動画像の外接矩形で切り出しを行うことにより動画のデータ量が削減され、処理効率のよい合成動画像が得られる。
【００４５】
【発明の効果】
以上のように、この発明によれば、動画を含む多数のコンテンツを、処理性能を落とさずに表示できるコンテンツ表示装置を得られるという効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１によるコンテンツ表示装置の構成を示すブロック図である。
【図２】 この発明の実施の形態１によるコンテンツレイアウト部によるレイアウト情報に基づくレイアウトを示す図である。
【図３】 この発明の実施の形態１によるコンテンツレイアウト部によるクリップ領域情報を反映したレイアウトを示す図である。
【図４】 この発明の実施の形態１によるフレーム画像の例である。
【図５】 この発明の実施の形態１によるスクリーンに表示される画像の例である。
【図６】 この発明の実施の形態２によるコンテンツ表示装置の構成を示すブロック図である。
【図７】 この発明の実施の形態２によるフレーム画像の例である。
【図８】 この発明の実施の形態２によるコンテンツ描画部によりフレームメモリに格納される画像データに対応する画像の例である。
【符号の説明】
８ フレーム画像格納部、１２ コンテンツレイアウト部、１４ コンテンツ描画部、１６ スクリーン、１７ フレームメモリ、１８ フレーム生成部、１９ コンテンツ再生部、２１ コンテンツ分別部、２８ フレーム生成部、３０ フレーム合成部、３１ 合成動画像生成部、３２ 合成動画像再生部、４１ 外接矩形切り出し部、５１ 再生時間設定部、５２ フレーム数決定部、６１ フレームレート設定部。

Claims (6)

1. 動画像のコンテンツおよび静止系のコンテンツからなる複数のコンテンツの画像データの、フレームメモリ上における格納位置を指定するレイアウト情報に基づいて、各コンテンツの配置位置を決定するコンテンツレイアウト部と、
   上記コンテンツレイアウト部により配置された全てのコンテンツを、動画像コンテンツ群と、動画像以外の静止系コンテンツ群に分別するコンテンツ分別部と、
   上記コンテンツレイアウト部により上記フレームメモリ上における各コンテンツの格納位置が決定された状態で、上記動画像コンテンツ群の１つのフレーム画像を生成する処理を繰り返すことにより複数のフレーム画像を生成するフレーム生成部と、
   上記フレーム生成部で生成された複数のフレーム画像を集めることにより１つの合成動画像を生成する合成動画像生成部と、
   上記合成動画像の再生画像データを上記フレームメモリに格納する合成動画像再生部と、
   上記合成動画像再生部により格納された上記合成動画像が背景画像として重ねて表示されるように上記静止系コンテンツ群の画像データを上記フレームメモリに格納するコンテンツ描画部とを備えたコンテンツ表示装置。
2. フレーム生成部は、
   上記動画像コンテンツ群の全てのコンテンツの１フレーム分を再生するコンテンツ再生部と、
   上記コンテンツ再生部により再生された１フレーム分の画像を上記動画像コンテンツ群の全てのコンテンツ分合成し、フレーム画像として出力するフレーム合成部とを備えたことを特徴とする請求項１記載のコンテンツ表示装置。
3. コンテンツレイアウト部は、コンテンツが表示できない領域を指定するクリップ情報に基づいて、コンテンツが表示できない位置にコンテンツが配置されないように、各コンテンツの配置位置を決定することを特徴とする請求項１または請求項２記載のコンテンツ表示装置。
4. フレーム生成部は、１フレーム分のフレーム画像から、複数の動画像が配置された領域のみを抽出してフレーム画像とするフレーム領域切り出し部を備えたことを特徴とする請求項１または請求項２記載のコンテンツ表示装置。
5. フレーム生成部は、生成するフレームの再生時間を、レイアウトされた全ての動画の再生時間の長さの最小公倍数に設定する再生時間設定部と、
   上記再生時間設定部により設定された再生時間を用いて、生成するフレーム画像数を決定するフレーム数決定部を備えることを特徴とする請求項１または請求項２記載のコンテンツ表示装置。
6. フレーム生成部は、生成するフレームのフレームレートを、レイアウトされた全ての動画のフレームレートのうち一番速いフレームレートの値に設定するフレームレート設定部と、
   上記フレームレート設定部により設定されたフレームレートを用いて、生成するフレーム画像数を決定するフレーム数決定部を備えることを特徴とする請求項１または請求項２記載のコンテンツ表示装置。

Images