JP4645356B2 - 映像表示方法、映像表示方法のプログラム、映像表示方法のプログラムを記録した記録媒体及び映像表示装置 - Google Patents

Description

本発明は、番組を視聴する際の臨場感を向上させる場合に用いて好適な映像表示方法、映像表示方法のプログラム、映像表示方法のプログラムを記録した記録媒体及び映像表示装置に関する。

従来、映像信号の処理に関して、臨場感を向上する方法が種々に提案されるようになされており、例えば、特許文献１においては、被写体までの距離を映像から検出し、この検出結果に基づいてユーザの視点移動に対応するように映像信号を処理する方法が提案されている。

ところで実生活において、視点の移動に伴い目の焦点が変化し、これにより遠景、近景の何れを目視する場合でも、焦点の合った風景を見て取ることができる。またこのような目の焦点の変化により、さらには両目を用いた立体視により、遠近感を知覚することができる。

一方、テレビジョン放送等が提供する番組の中には、遠景のシーン、近景のシーン等を組み合わせて構成されるものもあるが、どのシーンにおいても視聴者から一定の距離に配置された表示画面上に表示される。

特開平９−８１７４６号公報

このように、テレビジョン放送等が提供する番組は、実生活で感じる遠近感を視聴者に提供することができないため、視聴者は、番組を視聴する際に臨場感を感じとることが困難であった。

本発明は、以上の点を考慮してなされたもので、テレビジョン放送等により提供される番組について、従来に比べて臨場感を向上することができる映像表示方法、映像表示方法のプログラム、映像表示方法のプログラムを記録した記録媒体及び映像表示装置を提案するものである。

上述した目的を達成するために本発明は、少なくとも１つの映像信号による画像を複数の表示画面に表示する際、画像における被写体までの奥行き距離に基づいて、映像信号を分類し、この分類した映像信号による画像を複数の表示画面上に表示し、被写体までの奥行き距離と表示画面を視聴する視聴者から表示画面までの距離とが対応するように表示画面を視聴者に対して奥行き方向の前後に移動させる。

本発明によれば、テレビジョン放送等により提供される番組について、従来に比べて臨場感を向上させることができる。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

本発明を適用した実施の形態に係る映像視聴システムは、映像信号から奥行きデータを推定し、この推定結果に基づいて映像を分類し、図１に示すように、奥行き方向に配置した複数のディスプレイ１Ａ，１Ｂ，１Ｃに被写体の奥行き値の異なる映像を順次表示する。例えば、実世界において、図２（Ａ）に示すように、ユーザが目視して被写体２の背後に被写体３が存在しない場合でも、図２（Ｂ）に示すように、ユーザより奥行き方向に配置したディスプレイ２Ａ及びディスプレイ２Ｂにそれぞれ被写体２及び被写体３を、ディスプレイ２Ａには小さく、ディスプレイ２Ｂには大きく表示することによって、ユーザは、２つの映像を同時に、また、遠近感を感じながら視聴することが可能となる。

図３に示すように、ディスプレイ１４ａとディスプレイ１４ｂとをユーザより同じ奥行き距離の位置に配置した場合、ユーザは、ディスプレイ１４ａとディスプレイ１４ｂとに同時に目の焦点が合う場合がある。これに対して、図４に示すように、ディスプレイ１４ａとディスプレイ１４ｂとを奥行き方向に手前から順次配置した場合、ユーザは、何れか１つのディスプレイにのみ目の焦点が合い、もう１つのディスプレイには目の焦点が合わないようになる。すなわち、ユーザの目の焦点変化によって生じる遠近感及び両目の立体視による遠近感によれば、映像視聴における臨場感を向上させることが可能となる。

図５は、本発明を適用した第１の実施の形態に係る映像視聴システムを示すブロック図である。図５に示すように、この映像視聴システム１０は、複数の映像ソース１１（映像ソース１１１，１１２，・・・，１１ｍ）と、複数の奥行き分類部１２（奥行き分類部１２１，１２２，・・・，１２ｍ）と、出力先選択部１３と、複数のディスプレイ１４（ディスプレイ１４１，１４２，・・・，１４ｎ）と、メモリ１５とを備えて構成される。ここで、ｍは映像ソース数であり、ｎはディスプレイ数である。

なお、映像ソース１１は、例えば、テレビジョンチューナ、ＤＶＤ（Digital Versatile Disk）プレイヤ、ビデオテープレコーダ等により構成される。これにより映像視聴システム１０は、映像ソース１１が供給する各種の映像コンテンツをユーザに提供する。

映像視聴システム１０は、図６に示すように、映像信号Ｖ１，Ｖ２，・・・，Ｖｍを被写体の奥行きデータに基づいて分類し、その分類結果から、被写体の奥行きデータの小さい映像より順次ディスプレイ１４１，１４２，・・・，１４ｎへと表示する。

複数のディスプレイ１４は、図７に示すように、ユーザが各ディスプレイを見ることができ、また、奥ほど広がって見えるように、ユーザより奥行き方向に、ディスプレイ１４１からディスプレイ１４２，１４３，・・・の順に配置され、被写体までの奥行きに応じて、それぞれ映像ソース１１が供給する映像信号を選択的に動画により表示する。
奥行き分類部１２は、各映像の特徴から奥行きデータを推定して算出する。

奥行き分類部１２は、図８に示すように、特徴量検出部１２Ａと分類決定部１２Ｂとから構成される。

特徴量検出部１２Ａは、図９に示すように、映像信号Ｖによる映像中の動きベクトルを検出する動きベクトル検出部６１と、この動きベクトルにより動きの有無を判断する動き判断部６２と、動き判断部６２により動きがあると判断した場合、この動きがカメラ動きに係るものか否かを判断するカメラ動き判断部６３と、動きがカメラ動きに係るものである場合、動きがない領域を抽出してこの抽出した領域の面積を算出する動きなし領域抽出部６４と、動きがカメラ動きに係るものでない場合に、動きの領域を抽出してこの抽出した領域の面積を算出する動き領域抽出部６５とを備える。また、特徴量検出部１２Ａは、動き判断部６２により動きがないと判断した場合、バストショットまたはクローズアップであるか否かを判断するバストショットクローズアップ判断部６６と、バストショットまたはクローズアップでないと判断した場合に画像を分割し、この分割した領域毎に色ヒストグラムを算出する色ヒストグラム算出部６７と、この色ヒストグラム算出部６７による色ヒストグラムを用いて相関係数を算出する相関係数算出部６８とを備える。

分類決定部１２Ｂは、図１０に示す計算テーブルを用いて各特徴量から奥行きデータを決定し、これらの奥行きデータに基づいて映像を分類する。

ここで、奥行き分類部１２が行う処理動作について図１１のフローチャートを示しながら詳細に説明する。

奥行き分類部１２は、映像信号Ｖが供給されて処理動作を開始すると、ステップＳ１１において、動きベクトル検出部６１が、動きベクトルの検出単位であるマクロブロックにより画像中の動きベクトルを順次検出する。

このステップＳ１１において、動きベクトル検出部６１は、背景に対してオブジェクトが動いている場合、撮影されたオブジェクトが位置するマクロブロックでは、他のマクロブロックに対して異なる動きベクトルを検出する。これに対して、動きベクトル検出部６１は、一定の領域を撮影した状態で、この領域に動きがない場合、画像中の全てのマクロブロックで値０の動きベクトルを検出する。

また、ステップＳ１１において、動きベクトル検出部６１は、図１２（Ａ）及び図１２（Ｂ）に示すように、テレビジョンカメラがパンしている場合、このパンの方向及び速度に応じた動きベクトルを全てのマクロブロックで同一に検出し、図１３（Ａ）及び図１３（Ｂ）に示すように、テレビジョンカメラがチルトしている場合、このチルトの方向及び速度に応じた動きベクトルを全てのマクロブロックで同一に検出する。

また、ステップＳ１１において、動きベクトル検出部６１は、図１４に示すように、例えば、一定の領域を撮影した状態で、この領域をオブジェクトである人物Ａが横方向に移動する場合、背景に対応するマクロブロックでは、値０の動きベクトルを検出し、人物Ａに対応するマクロブロックでは、人物Ａの動きに応じた動きベクトルを検出する。これに対して、図１５に示すように、このような移動する人物Ａをカメラが追いかけている場合、または、静止した人物Ａの背景が移動している場合、動きベクトル検出部６１は、背景に対応するマクロブロックでは、一定値の動きベクトルを検出し、人物Ａに対応するマクロブロックでは、値０の動きベクトルを検出する。このように、背景とは値の異なる動きベクトルを検出するマクロブロックには、オブジェクトが割り当てられていると判断することができる。

ステップＳ１２において、動き判断部６２は、動きベクトルが所定の閾値以上であるマクロブロックが１つでも存在するか否かを判断することにより、この映像中に動きが存在するか否かを判断する。

このステップＳ１２において、動き判断部６２が、動きがあると判断した場合、ステップＳ１３に移り、カメラ動き判断部６３は、背景と考えられるマクロブロックの動きベクトルが所定の閾値であるか否かを判断することにより、この映像中にカメラ動きがあるか否かを判断する。一方、動き判断部６２が、ステップＳ１２において動きがないと判断した場合、ステップＳ１６に移る。

ステップＳ１３において、カメラ動き判断部６３が、カメラ動きがあると判断した場合、ステップＳ１４に移り、動きなし領域抽出部６４は、背景のマクロブロックの動きベクトルとは異なる値を有する動きベクトルのマクロブロック数を集計することにより、オブジェクトの面積を算出する。その後、ステップＳ１９に移る。

一方、ステップＳ１３において、カメラ動き判断部６３が、カメラ動きがないと判断した場合、ステップＳ１５に移り、動き領域抽出部６５は、動きが検出されているマクロブロックを集計することにより、オブジェクトの面積を算出する。その後、ステップＳ１９に移る。

ステップＳ１６において、バストショットクローズアップ判断部６６は、１人の人物Ａがある程度の大きさにより撮影されているか否か、すなわち、図１６に示すように、人物Ａが、いわゆるバストショットにより撮影されているか否か、または、図１７に示すように、人物Ａが、いわゆるクローズアップにより撮影されているか否かを判断する。

このステップＳ１６において、バストショットクローズアップ判断部６６が、１人の人物Ａがある程度の大きさにより撮影されていると判断した場合、ステップＳ１６からステップＳ１９に移る。バストショットまたはクローズアップ映像は、オブジェクトにある程度接近して撮影した映像であると判断することができるため、バストショットクローズアップ判断部６６が、動きベクトルによりオブジェクトまでの距離が検出できない場合、顔の大きさを算出することによって、オブジェクトにより接近した状態であると判断するように構成されている。

一方、このステップＳ１６において、バストショットクローズアップ判断部６６が、人物Ａがある程度の大きさにより撮影されていないと判断した場合、ステップＳ１６からステップＳ１７に移る。このステップＳ１７において、色ヒストグラム算出部６７は、処理対象の映像を等分割する複数の領域を設定し、色の分布を検出する。色ヒストグラム算出部６７は、この色の分布の検出を、各領域の色のヒストグラムの算出により実行する。また、図１８（Ａ）及び図１８（Ｂ）に示すように、処理対象の映像を水平方向に３等分して領域Ｌ、領域Ｃ及び領域Ｒの３つの領域を設定し、これら３つの領域でそれぞれ色のヒストグラムを算出する。

ここで、図１８（Ａ）に示すように、風景等の遠景を撮影している場合、領域Ｌ、領域Ｃ及び領域Ｒの３つの領域における色の分布はほぼ等しくなり、これにより色のヒストグラムは、ほぼ同様の形状となる。

また、図１８（Ｂ）に示すように、特定のオブジェクトを撮影している場合、オブジェクトが背景に比べて色彩等が異なることにより領域Ｌ、領域Ｃ及び領域Ｒの各領域に占めるこのオブジェクトの大きさに応じて、色のヒストグラムが相違するようになる。すなわち、オブジェクトを遠くから撮影することにより映像中のオブジェクトが小さくなり、例えば、領域Ｃに納まる場合、この領域Ｃの色のヒストグラムのみがこのオブジェクトの影響を受ける。これに対して、オブジェクトを近くから撮影することにより映像中のオブジェクトが大きくなり、例えば、領域Ｃに納まらず、領域Ｌ及び領域Ｒにも及ぶ場合、これら領域Ｌ及び領域Ｒの色のヒストグラムもオブジェクトの影響を受ける。

このことから、３つの領域、領域Ｌ、領域Ｃ及び領域Ｒにおける色のヒストグラムの相違の程度が大きい程、近くのオブジェクトを撮影していると判断することができる。

色ヒストグラム算出部６７が領域Ｌ、領域Ｃ及び領域Ｒの各領域の色のヒストグラムを求めると、ステップＳ１７からステップＳ１８に移り、このステップＳ１８において、相関係数算出部６８は、例えば、領域Ｃに係る色ヒストグラムにおける各レベルの度数と領域Ｌ及び領域Ｃの色ヒストグラムにおける各レベルの度数との差分絶対値和を計算することにより、領域Ｌ、領域Ｃ及び領域Ｒの色のヒストグラム間で、類似の程度を示す相関係数を算出する。その後、ステップＳ１９に移る。

なお、相関係数の算出は、中央の領域である領域Ｃを基準にして左右の領域である領域Ｌ及び領域Ｒの色ヒストグラムを処理する場合に限らず、例えば、最も色のヒストグラムが異なる領域を基準にして他の領域の色のヒストグラムを処理する場合等、種々の処理の基準を適用することができる。

特徴量検出部１２Ａは、ステップＳ１４及びステップＳ１５で算出したオブジェクトの面積と、ステップＳ１６で検出したバストショットまたはクローズアップ映像と、ステップＳ１８で算出した色ヒストグラム間の相関係数とを特徴量とし、これらの特徴量のデータを、続く分類決定部１２Ｂに供給する。

ステップＳ１９において、分類決定部１２Ｂは、これらの特徴量と被写体までの距離である奥行きデータとを定義した図１０に示す計算テーブルを用いて、各映像における奥行きデータを決定する。ここで、奥行きデータＤ１，Ｄ２，Ｄ３は、この順に被写体の奥行き距離が大きくなることを示す。

図１０（Ａ）の計算テーブルは、オブジェクトの面積に対応する奥行きデータを定義する。奥行き分類部１２は、特徴量検出部１２Ａが動きベクトルによりオブジェクトの面積を算出した場合、分類決定部１２Ｂは、このオブジェクトの面積により計算テーブルをアクセスして特定画像の奥行きデータを決定する。ここで、図１０（Ａ）の計算テーブルは、オブジェクトの面積を順次段階的に区分し、オブジェクトの面積が大きくなるに従って値が小さくなるように奥行きデータを定義する。

また図１０（Ｂ）の計算テーブルは、特徴量検出部１２Ａがバストショットまたはクローズアップ映像と判断した場合の奥行きデータを定義し、この場合、分類決定部１２Ｂは、この計算テーブルをアクセスして特定映像の奥行きデータを決定する。

また、図１０（Ｃ）の計算テーブルは、色のヒストグラムによる相関係数の値と奥行きデータとの関係を定義し、特徴量検出部１２Ａが相関係数を算出した場合には、この計算テーブルをアクセスして特定映像の奥行きデータを決定する。

奥行き分類部１２は、このステップＳ１９において、分類決定部１２Ｂが決定した各映像の奥行きデータを、続く出力先選択部１３に供給する。

出力先選択部１３は、この奥行きデータを基に、どの映像信号をどのディスプレイに供給するかを決定する。

すなわち、出力先選択部１３は、先ず、奥行き分類部１２から奥行きデータが供給されると、各映像の奥行きデータを分類する。ここで、テレビジョンカメラからの距離が最も近い被写体が映る映像の奥行きデータから、Ｄ１，Ｄ２，・・・，Ｄｍとし、この奥行きデータが最も小さい値である映像から、１番目、２番目、・・・、ｍ番目（ｉ＝１，２，・・・，ｍ）の映像とする。次に、出力先選択部１３は、ｎ個のディスプレイを、それぞれテレビジョンカメラからの距離が最も近い位置にあるものから、１番目、２番目、・・・、ｎ番目（ｉ＝１，２，・・・，ｎ）のディスプレイとして特定する。その後、出力先選択部１３は、映像信号を順次メモリ１５に記録し、このメモリ１５に記録した映像信号を順次ディスプレイ１４に出力する。例えば、出力先選択部１３は、ｉ番目のディスプレイに、奥行きデータがｉ番目である映像信号を出力する。

上述したように、第１の実施の形態に係る映像視聴システム１０は、被写体までの距離が遠い程、奥側のディスプレイに映像を表示するため、ユーザが各表示画面を目視する際、焦点の変化により、さらには両目による立体視により、遠近感を知覚して番組を視聴することができ、従来に比べて、映像視聴の際の臨場感を向上させることが可能となる。

また、映像視聴システム１０は、距離により映像信号を分類し、映像信号においては、動きベクトルを検出し、背景に対して値の異なる動きベクトルによりオブジェクトの大きさを検出するため、時間軸方向における映像の変化による特徴量が検出できる。また、動きベクトルにより特徴量を検出できない場合には、肌色の部分の形状により顔の部分を検出し、この顔の部分の面積によりオブジェクトまでの距離が所定距離以下であることを示す色特徴量が検出できる。また、このような顔の部分が所定値より小さい場合には、映像に複数の領域を設定して領域間の色分布を検出し、色分布の相違の程度を示す相関係数により色特徴量が検出できる。

本発明を適用した第２の実施の形態では、１つの映像ソース１１１から１つの映像信号Ｖ１を奥行き分類部１２１に供給する映像視聴システムを提供する。

この第２の実施の形態に係る映像視聴システムの構成を図１９に示す。なお、図１の映像視聴システム１０と同様の構成については、同一符号を付して詳細な説明を省略する。

映像視聴システム２０では、１つの映像ソース１１１が映像信号Ｖ１を奥行き分類部１２１に供給すると、奥行き分類部１２１は、図１０に示す計算テーブルを用いて、映像中の各被写体の特徴値から奥行きデータを算出し、映像列を奥行きデータごとの時間領域に区分する。メモリ１５は、奥行きデータごとに分割した映像列をそれぞれ格納するメモリ領域１５１，１５２，１５３，・・・を備え、出力先選択部１３は、メモリ領域１５１，１５２，１５３，・・・に格納された各奥行きデータの映像列を時系列順に取り出して、奥行きデータに対応したディスプレイにそれぞれ映像を表示する。

このように、第２の実施の形態に係る映像視聴システム２０は、１つの映像信号から複数の映像をそれぞれ奥行きデータに対応したディスプレイに表示させることができる。

また、映像視聴システム２０は、例えば、図２０に示すように、１つの入力映像ｘを奥行きデータに応じたディスプレイ表示すると同時に、入力映像ｘの奥行きデータとは異なる奥行きデータを有する別映像ｙ，ｚをメモリ１５から取り出して、別映像ｙ，ｚを、これら映像の奥行きデータに応じた各ディスプレイに表示するため、ユーザは、１つの番組を各被写体までの奥行きデータに応じた距離感を感じながら視聴することができる。

また、本発明を適用した実施の形態に係る映像視聴システムは、第３の実施の形態として、上述した第１の実施の形態に係る映像視聴システム１０における奥行き分類部１２に代えて、映像変換部を備えた映像視聴システムを提供する。

この第３の実施の形態に係る映像視聴システムの構成を図２１に示す。なお、図１の映像視聴システム１０と同様の構成については同一符号を付して詳細な説明を省略する。

映像視聴システム３０では、映像ソース１１１が映像信号Ｖ１を映像変換部３２に供給すると、映像変換部３２は、奥行きの異なる複数映像に変換する。出力先選択部１３は、各映像の奥行きデータに応じて、出力するディスプレイ１４（ディスプレイ１４１，１４２，・・・，１４ｎ）を決める。

図２２に、映像変換部３２のブロック図を示す。奥行き分類部１２は入力された映像信号Ｖ１から奥行きデータを推定し、映像を奥行きデータとともにメモリ３３に記録する。映像抽出部３４は、入力映像の奥行きデータとは異なる奥行きデータの映像を出力する数だけメモリ３３から取り出す。つまり、入力映像が近景なら遠景の映像をメモリ３３から取り出し、入力映像が遠景なら近景の映像をメモリ３３から取り出す。

ここで、映像抽出部３４が行う動作について図２３のフローチャートを示しながら説明する。

映像抽出部３４は、映像抽出処理の処理動作を開始すると、先ず、ステップＳ２１において入力映像の奥行きデータを推定する。

次に、映像抽出部３４は、ステップＳ２２において前フレームから奥行きデータが変化したか否かを判断する。

ステップＳ２２において、映像抽出部３４は、現在のフレームが前フレームと比べて奥行きデータが変化していると判断した場合、ステップＳ２２からステップＳ２３に移り、図２４（Ａ）に示すように、入力映像ｘの奥行きデータのラベル１とは異なる奥行きデータのラベル２，３をそれぞれ持つ別映像ｙ，別映像ｚのシーンの先頭を探し、奥行きデータごとの映像を出力する。その後、映像抽出部３４は、ステップＳ２３からステップＳ２７に移る。

一方、ステップＳ２２において、映像抽出部３４は、現在のフレームが前フレームと比べて奥行きデータが変化していないと判断した場合、ステップＳ２２からステップＳ２４に移り、図２４（Ｂ）に示すように、別映像ｙ，ｚについて、それぞれ次のフレームを探す。その後、映像抽出部３４は、ステップＳ２４からステップＳ２５に移る。

ステップＳ２５において、映像抽出部３４は、別映像ｙ，ｚの次のフレームで奥行きデータが変化しているか否かを判断する。

このステップＳ２５において、図２４（Ｃ）に示すように、例えばｚである別映像の次のフレームで、別映像のシーンが入力映像ｘのシーンより短いために奥行きデータが変化してしまう場合、ステップＳ２６に移り、映像抽出部３４は、その別映像ｚにおける現在のシーンの先頭に戻る。その後、映像抽出部３４は、ステップＳ２６からステップＳ２７に移る。

一方、このステップＳ２５において、別映像ｙ，ｚの次のフレームで奥行きデータが変化していないと判断した場合、映像抽出部３４は、ステップＳ２７に移る。

このステップＳ２７において、映像抽出部３４は、奥行きデータごとに映像を出力し、映像抽出処理を終了する。

このように、第３の実施の形態に係る映像視聴システム３０では、例えば、入力映像が近景なら遠景の別映像をメモリ３３から取り出し、また、入力映像が遠景なら近景の別映像をメモリ３３から取り出すというように、時系列の異なる複数の映像を、奥行きデータに基づいて選択的にディスプレイ１４に表示することが可能となる。

例えば、図２５に示すように、最も近景の入力映像ｘと、奥行きデータの異なる別映像ｙ及びｚとを、メモリ３３から取り出して、奥行きデータに基づく各ディスプレイに表示するため、ユーザは、１つの番組を奥行きデータに応じた被写体までの距離感を感じながら視聴することができる。

また、本発明を適用した実施の形態に係る映像視聴システムは、第４の実施の形態として、上述した第１の実施の形態に係る映像視聴システム１０における出力先選択部１３に代えて可動制御部を備えた映像視聴システムを提供する。

この第４の実施の形態に係る映像視聴システムでは、図２６に示すように、ディスプレイ１４ａ及びディスプレイ１４ｂは、車輪等の可動機構２５を備えており、映し出される映像の奥行きデータに合わせてユーザに対して奥行き方向に前後に移動する。

この第４の実施の形態に係る映像視聴システムの構成を図２７に示す。なお、図１の映像視聴システム１０と同様の構成については同一符号を付して詳細な説明を省略する。

図２７に示すように、映像視聴システム４０では、各奥行き分類部１２（奥行き分類部１２１，１２２，・・・，１２ｍ）が奥行きデータのデータを続く各可動制御部４４（可動制御部４４１，４４２，・・・，４４ｍ）に供給すると、各可動制御部４４は、この奥行きデータのデータに基づいて、例えば、奥行きデータが小さい場合は前進し、奥行きデータが大きい場合は後退するというように、奥行きデータとユーザからディスプレイ１４までの距離とが対応するように、各映像を映し出したディスプレイ１４１，１４２，・・・，１４ｎをユーザに対して前後方向に移動させる。

例えば、図２８に示すように、ディスプレイ１４１，１４２，１４３がスポーツの異なる３試合の映像を映し出した場合、奥行き分類部１２は、３試合の映像を奥行きデータで分類し、可動制御部４４が、各試合の映像を映し出した各ディスプレイを奥行きデータに対応した距離に移動させることにより、ユーザは、３試合の映像を同時に奥行きや迫力を感じながら視聴することが可能となる。

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

上述した実施の形態では、一連の処理プログラムは、システムにプリインストールされているが、このようなプリインストールによる提供に代えて、インターネット等のネットワークを介したダウンロードにより提供してもよく、または、各種の記録媒体を介して提供してもよい。このような記録媒体としては、例えばＣＤ−ＲＯＭ、ＤＶＤ等の光ディスク、フロッピー（登録商標）ディスク等の磁気ディスク、駆動機構と一体構成による着脱可能なハードディスク装置、メモリカード等、種々の記録媒体を適用することができる。

また、上述した実施の形態では、各機能ブロックを組み合わせた構成を備える映像表示装置がディスプレイに各映像を表示させているが、ディスプレイ内に上述した映像表示システムを搭載してもよい。

本発明は、例えば、遠景のシーンと近景のシーンとを切り換えてなる番組の視聴に適用することができる。

奥行き方向に配置した複数のディスプレイに映像を表示した様子を示した図である。 （Ａ）は、実世界におけるユーザと２つの被写体との位置関係を示した図であり、（Ｂ）は、ユーザと被写体を表示した複数のディスプレイとの位置関係を示した図である。 ２つのディスプレイを横方向に配置した場合の様子を示した図である。 ２つのディスプレイを奥行き方向に配置した場合の様子を示した図である。 本実施の形態に係る映像視聴システムを示すブロック図である。 複数の映像を複数のディスプレイに表示する様子を示した図である。 映像視聴システムにおける複数のディスプレイの配置を示す図である。 奥行き分類部のシステムを示すブロック図である。 特徴量検出部のシステムを示すブロック図である。 特徴量と奥行きデータとを定義した計算テーブルを示す図である。 奥行き分類部の処理手順を示すフローチャートである。 テレビジョンカメラがパンしている場合の動きベクトルを示す模式図である。 テレビジョンカメラがチルトしている場合の動きベクトルを示す模式図である。 静止した背景に対してオブジェクトが移動している場合の動きベクトルを示す模式図である。 移動するオブジェクトをテレビジョンカメラが追いかけている場合の動きベクトルを示す模式図である。 バストショットで撮影したオブジェクトを示す平面図である。 クローズアップで撮影したオブジェクトを示す平面図である。 撮影領域を３つに分割した場合の平面図である。 本実施の形態に係る映像視聴システムを示すブロック図である。 入力映像と、入力映像と時系列の異なる映像とを再生する場合の一例を示す模式図である。 本実施の形態に係る映像視聴システムを示すブロック図である。 映像変換部のシステムを示すブロック図である。 映像抽出部の処理手順を示すフローチャートである。 出力画像の抽出方法を示す模式図である。 入力映像と異なる時系列の映像を再生する場合の一例を示す模式図である。 可動機構を備えたディスプレイを示す図である。 実施の形態に係る映像視聴システムを示すブロック図である。 可動機構を備えたディスプレイを示す図である。

符号の説明

１０ 映像視聴システム、１１ 映像ソース、１２ 奥行き分類部、１３ 出力先選択部、１４ ディスプレイ、１５ メモリ、２０ 映像視聴システム、２４ 可動制御部、３０ 映像視聴システム、３２ 映像変換部、３３ メモリ、３４ 映像抽出部、６１ 動きベクトル検出部、６２ 動き判断部、６３ カメラ動き判断部、６４ 動きなし領域抽出部、６５ 動き領域抽出部、６６ バストショットクローズアップ判断部、６７ 色ヒストグラム算出部、６８ 相関係数算出部

Claims (4)

1. 少なくとも１つの映像信号による画像を複数の表示画面に表示する映像表示装置であって、
   前記画像における被写体までの奥行き距離に基づいて、前記映像信号を分類する分類手段と、
   前記分類手段で分類した前記映像信号による画像を複数の前記表示画面上に表示し、前記奥行き距離と該表示画面を視聴する視聴者から該表示画面までの距離とが対応するように該表示画面を該視聴者に対して奥行き方向の前後に移動させる可動制御手段と
   を備えることを特徴とする映像表示装置。
2. 少なくとも１つの映像信号による画像を複数の表示画面に表示する映像表示方法であって、
   前記画像における被写体までの奥行き距離に基づいて、前記映像信号を分類する分類工程と、
   前記分類工程で分類した前記映像信号による画像を複数の前記表示画面上に表示し、前記奥行き距離と該表示画面を視聴する視聴者から該表示画面までの距離が対応するように該表示画面を該視聴者に対して奥行き方向の前後に移動させる可動制御工程と
   を有することを特徴とする映像表示方法。
3. 演算処理手段に所定の処理手順を実行させることにより、映像信号による画像を複数の表示画面に表示する映像表示方法のプログラムであって、
   前記所定の処理手順が、
   前記画像における被写体までの奥行き距離に基づいて、前記映像信号を分類する分類工程と、
   前記分類工程で分類した前記映像信号による画像を複数の前記表示画面上に表示し、前記奥行き距離と該表示画面を視聴する視聴者から該表示画面までの距離とが対応するように該表示画面を該視聴者に対して奥行き方向の前後に移動させる可動制御工程と
   を有することを特徴とする映像表示方法のプログラム。
4. 演算処理手段に所定の処理手順を実行させることにより、映像信号による画像を複数の表示画面に表示する映像表示方法のプログラムを記録した記録媒体であって、
   前記所定の処理手順が、
   前記画像における被写体までの奥行き距離に基づいて、前記映像信号を分類する分類工程と、
   前記分類工程で分類した前記映像信号による画像を複数の前記表示画面上に表示し、前記奥行き距離と該表示画面を視聴する視聴者から該表示画面までの距離とが対応するように該表示画面を該視聴者に対して奥行き方向の前後に移動させる可動制御工程と
   を有することを特徴とする映像表示方法のプログラムを記録した記録媒体。

Images