JP7567582B2 - 立体映像表示装置、立体映像表示方法およびプログラム - Google Patents

Description

本発明は、立体映像表示装置、立体映像表示方法およびプログラムに関する。

近年、高速なＣＰＵなどの進化により立体画像を空中に浮かんでいるように表示し、立体映像を周囲から観察することができる立体映像表示装置が提案されている。例えば、円筒形状をなす透明なケースの内部に平面形状をなすスクリーンを配置し、スクリーンに映像を表示する。そして、周囲にいる観察者を追跡し、観察者の位置に対向するようにスクリーンを回転すると共に、スクリーンの映像を観察者に位置に応じて見える映像に切り替えていく。このような立体映像表示装置としては、例えば、下記特許文献１に記載されたものがある。

特開平８－８８８７０号公報

従来の立体映像表示装置は、観察者の位置に応じてスクリーンが回転し、スクリーンに観察者の位置応じた映像を表示しており、観察者は、３６０度にわたって立体映像を見ることができる。ところが、観察者が立体表示装置の周囲を移動するとき、スクリーンに映る表示物体の映像は切り替わっていくものの、表示物体の背景の画像は変わらない。そのため、背景上に映し出される表示物体の映像が観察者に対して違和感を与えてしまうという課題がある。

本発明は、上記に鑑みてなされたものであって、観察者に違和感を与えることがない立体映像を表示することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る立体映像表示装置は、画像を表示する画像表示部と、周囲にいる観察者の位置を検出する観察者位置検出部と、前記観察者位置検出部が検出した観察者の位置に応じた仮想オブジェクトの画像を形成するレンダリング部と、前記観察者位置検出部が検出した観察者に対向する位置に前記画像表示部を回転させる回転部と、前記画像表示部の後方の背景画像を取得する背景画像取得部と、前記背景画像取得部が取得した背景画像の手前に前記レンダリング部が形成した仮想オブジェクトの画像を重畳した合成画像を生成して前記画像表示部に表示する画像合成処理部と、を備える。

本発明に係る立体映像表示方法は、周囲にいる観察者の位置を検出するステップと、観察者の位置に応じた仮想オブジェクトの画像を形成するステップと、観察者に対向する位置に画像を表示する画像表示部を回転させるステップと、前記画像表示部の後方の背景画像を取得するステップと、前記背景画像の手前に前記仮想オブジェクトの画像を重畳した合成画像を生成して前記画像表示部に表示するステップと、を含む。

本発明に係るプログラムは、周囲にいる観察者の位置を検出するステップと、観察者の位置に応じた仮想オブジェクトの画像を形成するステップと、観察者に対向する位置に画像を表示する画像表示部を回転させるステップと、前記画像表示部の後方の背景画像を取得するステップと、前記背景画像の手前に前記仮想オブジェクトの画像を重畳した合成画像を生成して前記画像表示部に表示するステップと、をコンピュータに実行させる。

本発明によれば、観察者に違和感を与えることがない立体映像を表示することができるという効果を奏する。

図１は、第１実施形態に係る立体映像表示装置を表す斜視図である。 図２は、立体映像表示装置を表す縦断面図である。 図３は、立体映像表示を表す平面図である。 図４は、立体映像表示装置の制御系統を表すブロック図である。 図５は、立体映像表示装置の作動を表す説明図である。 図６は、観察者の位置に応じた立体映像表示範囲を表す概略図である。 図７は、観察者の位置に応じた立体映像表示内容を表す概略図である。 図８は、第２実施形態に係る立体映像表示装置の制御系統を表すブロック図である。 図９は、観察者の位置に応じた立体映像表示内容を表す説明図である。 図１０は、第２実施形態に係る立体映像表示装置における観察者の位置に応じた立体映像表示内容の変形例を表す説明図である。

以下に添付図面を参照して、本発明に係る立体映像表示装置、立体映像表示方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

＜第１実施形態＞
［立体映像表示装置］
図１は、第１実施形態に係る立体映像表示装置を表す斜視図、図２は、立体映像表示装置を表す縦断面図、図３は、立体映像表示を表す平面図である。

第１実施形態において、図１から図３に示すように、立体映像表示装置（立体映像表示部）１０は、ケース１１と、ディスプレイ（画像表示装置（画像表示部））１２と、ターンテーブル（テーブル回転装置（テーブル部））１３と、ターンテーブル駆動装置（回転装置（回転部））１４と、カメラ（背景画像取得装置（背景画像取得部））１５とを備える。

ケース１１は、中空の円筒形状をなす。ケース１１は、天井部２１と、円筒部２２と、底部２３とを有する。天井部２１および底部２３は、円板形状をなし、円筒形状をなす円筒部２２の上部と下部に固定される。天井部２１は、透過性である。円筒部２２は、上部の透過部２２ａと、下部の非透過部２２ｂを有する。底部２３は、非透過性である。

ターンテーブル１３は、円板形状をなす。ターンテーブル１３は、ケース１１の内部で、円筒部２２における透過部２２ａと非透過部２２ｂとの間に配置される。ターンテーブル１３は、水平方向に沿って配置され、ケース１１に対して中心Ｏを支点に水平方向に回転自在に支持される。

ディスプレイ１２は、平面形状をなす液晶ディスプレイである。ディスプレイ１２は、画像を表示可能である。ディスプレイ１２は、矩形状をなし、ターンテーブル１３の上部に直交する方向に沿って配置される。ディスプレイ１２は、ターンテーブル１３の中心Ｏを通るように径方向に沿って配置される。ディスプレイ１２は、ケース１１の内部で、円筒部２２における透過部２２ａに配置される。そのため、観察者は、ケース１１の外部から透過部２２ａを通してディスプレイ１２に表示された画像を視認することができる。

ターンテーブル駆動装置１４は、ケース１１の内部であって、底部２３の上面部に固定される。ターンテーブル駆動装置１４は、例えば、モータおよび減速機を有し、ケース１１の中心Ｏに沿う出力軸２４を有する。ターンテーブル駆動装置１４は、出力軸２４がターンテーブル１３に連結される。そのため、ターンテーブル駆動装置１４を駆動すると、ターンテーブル１３を正転方向および逆回転方向に回転することができる。そして、ターンテーブル１３が回転することで、ターンテーブル１３上のディスプレイ１２を回転することができる。

カメラ１５は、ケース１１の外周部の上部に固定される。カメラ１５は、複数（本実施形態では、４個）配置される。但し、カメラ１５の個数は、４個に限定されない。カメラ１５は、ケース１１に周方向に所定間隔（好ましくは、等間隔）を空けて配置される。カメラ１５は、ケース１１の外方を撮影可能である。本実施形態では、ケース１１に４個のカメラ１５を配置することで、ケース１１の外側の周囲の全範囲（３６０度）にわたって撮影可能である。カメラ１５は、ケース１１（ディスプレイ１２）の周囲にいる観察者や背景画像を撮影して取得することができる。

［立体映像表示装置の制御系統］
図４は、立体映像表示装置の制御系統を表すブロック図である。

図４に示すように、立体映像表示装置１０は、ケース１１（図１参照）、ディスプレイ１２、ターンテーブル１３、ターンテーブル駆動装置１４、カメラ１５に加えて、画像処理装置（画像処理部）３１と、顔位置検出装置（観察者位置検出装置（観察者位置検出部））３２と、レンダリング装置（レンダリング部）３３と、背景画像処理装置（背景画像処理部）３４と、画像合成処理装置（画像合成処理部）３５と、ターンテーブル制御装置（回転制御装置（回転制御部））３６とを備える。複数のカメラ１５は、撮影した画像を画像処理装置３１に送信する。

画像処理装置３１は、複数のカメラ１５が撮影した画像を合成処理することで、立体映像表示装置１０の外側の周囲の全範囲（３６０度）の連続した全周画像を生成する。画像処理装置３１は、全周画像を顔位置検出装置３２および背景画像処理装置３４に送信する。顔位置検出装置３２は、立体映像表示装置１０の周囲にいる観察者の位置を検出する。この場合、顔位置検出装置３２は、画像処理装置３１が生成した全周画像に基づいて、観察者の顔や目を機械学習などの手法により検出し、観察者の位置を特定する。顔位置検出装置３２は、例えば、観察者の位置を基準角度に対する角度として特定する。顔位置検出装置３２は、検出した観察者の位置をレンダリング装置３３、背景画像処理装置３４、ターンテーブル制御装置３６へ送信する。

レンダリング装置３３は、顔位置検出装置３２が検出した観察者の位置に応じた仮想オブジェクトの画像を形成する。レンダリング装置３３は、仮想オブジェクトの画像を立体画像（３ＤＣＧ）として生成し、ディスプレイ１２に表示する。このとき、レンダリング装置３３は、ディスプレイ１２に表示される仮想オブジェクトの画像を観察者の視点に応じた画像になるようにレンダリングを行う。例えば、観察者が基準位置にいるとき、レンダリング装置３３は、仮想オブジェクトの正面画像を生成し、ディスプレイ１２に表示する。そして、観察者が基準位置から周方向に９０度ずれた位置にいるとき、レンダリング装置３３は、仮想オブジェクトの側面画像を生成し、ディスプレイ１２に表示する。レンダリング装置３３は、仮想オブジェクトの画像を画像合成処理装置３５へ送信する。

背景画像処理装置３４は、ディスプレイ１２の後方の背景画像を取得する。背景画像処理装置３４は、画像処理装置３１が生成した全周画像からディスプレイ１２の後方の背景画像を切り出して取得する。背景画像処理装置３４は、ディスプレイ１２の後方の背景画像を画像合成処理装置３５へ送信する。

画像合成処理装置３５は、背景画像処理装置３４が取得した背景画像の手前に、レンダリング装置３３が形成した仮想オブジェクトの画像を重畳した合成画像を生成し、生成した仮想オブジェクトの画像および背景画像をディスプレイ１２に送信する。ディスプレイ１２は、仮想オブジェクトおよび背景画像を表示する。

ターンテーブル制御装置３６は、顔位置検出装置３２が検出した観察者の位置にディスプレイ１２が対向するように制御信号を生成し、ターンテーブル１３に送信する。ターンテーブル１３は、取得した制御信号に基づいて回転する。

なお、画像処理装置３１と、顔位置検出装置３２と、レンダリング装置３３と、背景画像処理装置３４と、画像合成処理装置３５と、ターンテーブル制御装置３６は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの全て又は少なくとも一つによって構成される。また、画像処理装置３１と、顔位置検出装置３２と、レンダリング装置３３と、背景画像処理装置３４と、画像合成処理装置３５と、ターンテーブル制御装置３６は一体であってもよく、またはそれぞれ別体であってもよい。画像処理装置３１と、顔位置検出装置３２と、レンダリング装置３３と、背景画像処理装置３４と、画像合成処理装置３５は、例えば、ターンテーブル駆動装置１４に含まれて備えつけられているが、それぞれ、ケース１１、ディスプレイ１２、ターンテーブル１３、ターンテーブル駆動装置１４、カメラ１５のいずれかに含まれて備えつけられていればよい。

［立体映像表示方法］
ここで、立体映像表示装置１０による立体映像表示方法について説明する。図５は、立体映像表示装置の作動を表す説明図、図６は、観察者の位置に応じた立体映像表示範囲を表す概略図、図７は、観察者の位置に応じた立体映像表示内容を表す概略図である。

第１実施形態の立体映像表示方法は、ディスプレイ１２の周囲にいる観察者の位置を検出するステップと、観察者の位置に応じた仮想オブジェクトの画像を形成するステップと、観察者の位置に対向するようにディスプレイ１２を回転するステップと、ディスプレイ１２の後方の背景画像を取得するステップと、背景画像の手前に仮想オブジェクトの画像を重畳した合成画像を生成してディスプレイ１２に表示するステップとを含む。

図４および図５に示すように、複数のカメラ１５は、立体映像表示装置１０の外方の全範囲を撮影する。画像処理装置３１は、複数のカメラ１５が撮影した画像を合成処理することで、立体映像表示装置１０の外方離の全範囲の連続した全周画像を生成する。顔位置検出装置３２は、画像処理装置３１が合成処理した全周画像に基づいて観察者の位置を検出する。観察者Ａが位置Ａａにいるとき、顔位置検出装置３２は、位置Ａａを基準位置に対する角度として特定する。例えば、位置Ａａを基準位置としたとき、観察者Ａの位置Ａａを角度θ０として特定する。

ターンテーブル制御装置３６は、顔位置検出装置３２が検出した観察者の位置Ａａにディスプレイ１２が対向するようにターンテーブル１３を回転してディスプレイ１２ａを移動させる。レンダリング装置３３は、顔位置検出装置３２が検出した観察者の位置Ａａに応じた仮想オブジェクトの画像を形成する。例えば、レンダリング装置３３は、仮想オブジェクトの正面画像を形成する。また、背景画像処理装置３４は、画像処理装置３１が合成処理した全周囲の連続した画像からディスプレイ１２ａの後方の背景画像を切り出して取得する。そして、画像合成処理装置３５は、背景画像処理装置３４が取得した背景画像の手前に、レンダリング装置３３が形成した仮想オブジェクトの画像を重畳した合成画像を生成し、生成した仮想オブジェクトの画像と背景画像の合成画像をディスプレイ１２ａに表示させる。

観察者Ａが位置Ａａから位置Ａｂに移動すると、顔位置検出装置３２は、例えば、位置Ａａを基準位置としたときの観察者Ａの位置Ａｂを角度θｂとして特定する。ターンテーブル制御装置３６は、顔位置検出装置３２が検出した観察者の位置Ａｂにディスプレイ１２が対向するようにターンテーブル１３を角度θｂだけ回転させ、ディスプレイ１２ｂを移動させる。レンダリング装置３３は、顔位置検出装置３２が検出した観察者の位置Ａｂに応じた仮想オブジェクトの画像を形成する。例えば、レンダリング装置３３は、仮想オブジェクトの右斜め画像を形成する。また、背景画像処理装置３４は、画像処理装置３１が合成処理した全周囲の連続した画像からディスプレイ１２ｂの後方の背景画像を切り出して取得する。そして、画像合成処理装置３５は、背景画像処理装置３４が取得した背景画像の手前に、レンダリング装置３３が形成した仮想オブジェクトの画像を重畳した合成画像を生成し、生成した仮想オブジェクトの画像と背景画像の合成画像をディスプレイ１２ｂに表示させる。

一方、観察者Ａが位置Ａａから位置Ａｃに移動すると、顔位置検出装置３２は、例えば、位置Ａａを基準位置としたときの観察者Ａの位置Ａｃを角度θｃとして特定する。ターンテーブル制御装置３６は、顔位置検出装置３２が検出した観察者の位置Ａｃにディスプレイ１２が対向するようにターンテーブル１３を角度θｃだけ回転させ、ディスプレイ１２ｃを移動させる。レンダリング装置３３は、顔位置検出装置３２が検出した観察者の位置Ａｃに応じた仮想オブジェクトの画像を形成する。例えば、レンダリング装置３３は、仮想オブジェクトの左斜め画像を形成する。また、背景画像処理装置３４は、画像処理装置３１が合成処理した全周囲の連続した画像からディスプレイ１２ｃの後方の背景画像を切り出して取得する。そして、画像合成処理装置３５は、背景画像処理装置３４が取得した背景画像の手前に、レンダリング装置３３が形成した仮想オブジェクトの画像を重畳した合成画像を生成し、生成した仮想オブジェクトの画像と背景画像の合成画像をディスプレイ１２ｃに表示させる。

図６（ａ）に示すように、観察者Ａが位置Ａａにいるとき、ディスプレイ１２を観察者Ａの位置Ａａに対向するようにディスプレイ１２ａに移動させる。レンダリング装置３３は、観察者の位置Ａａに応じた仮想オブジェクト１０１の正面画像を形成する。背景画像処理装置３４は、ディスプレイ１２ａの後方の背景画像（例えば、テレビ１０２など）を切り出して取得する。図７（ａ）に示すように、画像合成処理装置３５は、仮想オブジェクト１０１の正面画像の後方にテレビ１０２の中部の画像を重畳した合成画像を生成し、ディスプレイ１２ａに表示させる。

図６（ｂ）に示すように、観察者Ａが位置Ａｂにいるとき、ディスプレイ１２を観察者Ａの位置Ａｂに対向するようにディスプレイ１２ｂに移動させる。レンダリング装置３３は、観察者の位置Ａｂに応じた仮想オブジェクト１０１の左斜め画像を形成する。背景画像処理装置３４は、ディスプレイ１２ｂの後方の背景画像（例えば、テレビ１０２など）を切り出して取得する。図７（ｂ）に示すように、画像合成処理装置３５は、仮想オブジェクト１０１の左斜め画像の後方にテレビ１０２の左側の画像を重畳した合成画像を生成し、ディスプレイ１２ｂに表示させる。

また、図６（ｃ）に示すように、観察者Ａが位置Ａｃにいるとき、ディスプレイ１２を観察者Ａの位置Ａｃに対向するようにディスプレイ１２ｃに移動させる。レンダリング装置３３は、観察者の位置Ａｃに応じた仮想オブジェクト１０１の右斜め画像を形成する。背景画像処理装置３４は、ディスプレイ１２ｃの後方の背景画像（例えば、テレビ１０２など）を切り出して取得する。図７（ｃ）に示すように、画像合成処理装置３５は、仮想オブジェクト１０１の右斜め画像の後方にテレビ１０２の右側の画像を重畳した合成画像を生成し、ディスプレイ１２ｃに表示させる。

＜第２実施形態＞
図８は、第２実施形態に係る立体映像表示装置の制御系統を表すブロック図、図９は、観察者の位置に応じた立体映像表示内容を表す説明図である。なお、上述した第１実施形態と同様の機能を有する部材には、同一の符号を付して詳細な説明は省略する。

第２実施形態において、図８に示すように、立体映像表示装置１０Ａは、ケース１１（図１参照）と、ディスプレイ１２と、ターンテーブル１３と、ターンテーブル駆動装置１４と、カメラ１５と、画像処理装置３１と、顔位置検出装置３２と、レンダリング装置３３と、背景画像処理装置３４と、画像合成処理装置３５と、ターンテーブル制御装置３６と、ターンテーブル位置検出装置（回転位置検出装置）３７とを備える。なお、ターンテーブル制御装置３６は、制御信号をターンテーブル位置検出装置３７へ送信する。

ケース１１、ディスプレイ１２、ターンテーブル１３、ターンテーブル駆動装置１４、カメラ１５、画像処理装置３１、顔位置検出装置３２、ターンテーブル制御装置３６は、第１実施形態と同様であることから、説明は省略する。

ターンテーブル位置検出装置３７は、ターンテーブル制御装置３６の制御信号に基づいてターンテーブル１３の位置、つまり、ターンテーブル１３と一体のディスプレイ１２の回転位置を検出する。なお、ターンテーブル位置検出装置３７は、ターンテーブル駆動装置１４におけるモータ回転数からターンテーブル１３の位置を算出したり、ターンテーブル１３の回転位置を直接検出したりしてもよい。

ターンテーブル位置検出装置３７は、ターンテーブル１３の実際の回転位置を検出する。すなわち、図８および図９に示すように、観察者Ａが位置Ａａから位置Ａｅに移動するとき、ターンテーブル制御装置３６は、ターンテーブル駆動装置１４を駆動制御し、ディスプレイ１２が観察者Ａの位置Ａｅに対向するように、ターンテーブル１３を所定の位置まで回転し、ディスプレイ１２ｅの位置とする。このとき、観察者Ａが位置Ａａから位置Ａｅに素早く移動すると、ターンテーブル制御装置３６による制御遅れやターンテーブル駆動装置１４を駆動時間によりディスプレイ１２が遅れてディスプレイ１２ｅに移動する。すなわち、観察者Ａが位置Ａｅに到達したとき、ディスプレイ１２は、まだ、観察者Ａの位置Ａｄに対向するディスプレイ１２ｄの位置にある。ターンテーブル位置検出装置３７は、ターンテーブル１３の実際の回転位置をレンダリング装置３３へ送信する。

そのため、第２実施形態にて、観察者Ａが位置Ａｅに到達したにもかかわらずディスプレイ１２ｄの位置にあるとき、レンダリング装置３３は、ターンテーブル位置検出装置３７が検出したターンテーブル１３の実際の回転位置、つまり、実際のディスプレイ１２ｄの位置に応じた仮想オブジェクトの画像を形成する。また、背景画像処理装置３４も、ターンテーブル１３の実際の回転位置、つまり、実際のディスプレイ１２ｄの位置に応じて、ディスプレイ１２ｄの後方の背景画像を切り出して取得する。画像合成処理装置３５は、仮想オブジェクト１０１の画像の後方に背景画像を重畳した合成画像を生成し、ディスプレイ１２ｄに表示させる。

その後、ターンテーブル１３が回転し、ディスプレイ１２が観察者Ａの位置Ａｅに対向するディスプレイ１２ｅの位置に到達すると、レンダリング装置３３は、ディスプレイ１２ｅの位置に応じた仮想オブジェクトの画像を形成し、背景画像処理装置３４は、ディスプレイ１２ｅの後方の背景画像を切り出して取得する。画像合成処理装置３５は、仮想オブジェクト１０１の画像の後方に背景画像を重畳した合成画像を生成し、ディスプレイ１２ｅに表示させる。

なお、ターンテーブル位置検出装置３７は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの全て又は少なくとも一つによって構成される。また、ターンテーブル位置検出装置３７は、画像処理装置３１と、顔位置検出装置３２、レンダリング装置３３、背景画像処理装置３４、画像合成処理装置３５、ターンテーブル制御装置３６と一体であってもよく、またはそれぞれ別体であってもよい。ターンテーブル位置検出装置３７は、例えば、ターンテーブル駆動装置１４に含まれて備えつけられているが、それぞれ、ケース１１、ディスプレイ１２、ターンテーブル１３、ターンテーブル駆動装置１４、カメラ１５のいずれかに含まれて備えつけられていればよい。

＜第２実施形態の変形例＞
図１０は、第２実施形態に係る立体映像表示装置における観察者の位置に応じた立体映像表示内容の変形例を表す説明図である。

図８および図１０に示すように、ターンテーブル制御装置３６は、顔位置検出装置３２が検出した観察者の位置にディスプレイ１２が対向するようにターンテーブル１３を回転させる。このとき、ターンテーブル制御装置３６は、顔位置検出装置３２が検出した観察者Ａの位置が予め設定された所定時間内に角度θｂ，θｃを超えて移動したときに、観察者Ａの位置に対向するようにターンテーブル１３およびディスプレイ１２を回転させる。

観察者Ａが微小量だけ移動するごとにディスプレイ１２を回転させると、ターンテーブル駆動装置１４は、頻繁にターンテーブル１３を回転させることとなり、常時、モータの駆動音が発生し、観察者Ａがモータの駆動音を騒音として感じやすい。そのため、ターンテーブル制御装置３６は、観察者Ａの位置が角度θｂ，θｃ内での移動するとき、ターンテーブル１３を回転させない。但し、レンダリング装置３３は、観察者Ａが微小移動した位置に応じた仮想オブジェクトの画像を形成し、背景画像処理装置３４は、観察者Ａが微小移動した位置に対応したディスプレイ１２ｅの後方の背景画像を切り出して取得する。画像合成処理装置３５は、仮想オブジェクト１０１の画像の後方に背景画像を重畳した合成画像を生成し、ディスプレイ１２ｅに表示させる。

なお、ターンテーブル制御装置３６は、顔位置検出装置３２が検出した観察者Ａの位置が予め設定された所定時間を超えて角度θｂ，θｃ内で移動しているときは、ターンテーブル１３を回転させてもよい。つまり、ターンテーブル１３が停止した状態にあり、観察者Ａが角度θｂ，θｃ内で移動しているとき、ターンテーブル１３が停止してから所定時間が経過したら、ディスプレイ１２が観察者Ａに対向するようにターンテーブル１３を回転させてもよい。

また、ターンテーブル制御装置３６によるターンテーブル１３の回転速度に上限値を設定することが好ましい。ターンテーブル１３を低速で回転することで、モータの大きな駆動音の発生を抑制したり、ターンテーブル１３の回転振動を抑制したり、消費駆動電力量を低減したりすることができる。

［実施形態の作用効果］
本実施形態では、画像を表示するディスプレイ（画像表示部）１２と、周囲にいる観察者の位置を検出する顔位置検出装置（観察者位置検出部）３２と、顔位置検出装置３２が検出した観察者の位置に応じた仮想オブジェクトの画像を形成するレンダリング装置３３と、顔位置検出装置３２が検出した観察者に対向する位置にディスプレイ１２を回転させるターンテーブル駆動装置１４（回転部）と、ディスプレイ１２の後方の背景画像を取得するカメラ（背景画像取得部）１５と、背景画像の手前に仮想オブジェクトの画像を重畳した合成画像を生成してディスプレイ１２に表示する画像合成処理部装置３５とを備える。

そのため、観察者の位置に応じて適切な仮想オブジェクト１０１の画像および背景画像をディスプレイ１２ｄに表示することができる。その結果、観察者に違和感を与えることがない立体映像を表示することができる。

本実施形態では、ディスプレイ１２の回転位置を検出するターンテーブル位置検出装置（回転位置検出部）３７を設け、レンダリング装置３３は、ターンテーブル位置検出装置３７が検出した回転位置に応じた仮想オブジェクトの画像を形成し、背景画像処理装置３４は、回転位置検出装置３７が検出した回転位置に応じた背景画像を形成する。そのため、ディスプレイ１２の移動遅れがあっても、ディスプレイ１２ｄに適切な画像を表示することができる。

本実施形態では、ターンテーブル制御装置３６は、顔位置検出装置３２が検出した観察者の位置が予め設定された所定時間内に所定角度を超えて移動したときに、観察者に対向する位置にディスプレイ１２を回転させる。そのため、必要以上のディスプレイ１２の回転をやめ、頻繁なターンテーブル駆動装置１４におけるモータの駆動音の発生を抑制することで、観察者に不快感を与えることを抑制することができる。

これまで本発明に係る立体映像表示装置１０について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよい。

図示した立体映像表示装置１０の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

立体映像表示装置１０の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

また、立体映像表示装置１０の基本的な構成は、上記の実施形態に限定されるものではない。例えば、ケース１１に対するディスプレイ１２、ターンテーブル１３、ターンテーブル駆動装置１４の位置は、適宜設定すればよいものである。また、ターンテーブル駆動装置１４は、ターンテーブル１３を回転することで、ターンテーブル１３と一体のディスプレイ１２を回転可能としたが、直接ディスプレイ１２を回転可能としてもよい。

１０ 立体映像表示装置
１１ ケース
１２ ディスプレイ（画像表示装置）
１３ ターンテーブル（テーブル装置）
１４ ターンテーブル駆動装置（回転装置）
１５ 、カメラ（背景画像取得装置）
２１ 天井部
２２ 円筒部
２３ 底部
２４ 出力軸
３１ 画像処理装置
３２ 顔位置検出装置（観察者位置検出装置）
３３ レンダリング装置
３４ 背景画像処理装置
３５ 画像合成処理装置
３６ ターンテーブル制御装置（回転制御装置）
３７ ターンテーブル位置検出装置（回転位置検出装置）

Claims (5)

1. 画像を表示する画像表示部と、
   周囲にいる観察者の位置を検出する観察者位置検出部と、
   前記観察者位置検出部が検出した観察者の位置に応じた仮想オブジェクトの画像を形成するレンダリング部と、
   前記観察者位置検出部が検出した観察者に対向する位置に前記画像表示部を回転させる回転部と、
   前記画像表示部の後方の背景画像を取得する背景画像取得部と、
   前記背景画像取得部が取得した背景画像の手前に前記レンダリング部が形成した仮想オブジェクトの画像を重畳した合成画像を生成して前記画像表示部に表示する画像合成処理部と、
   を備える立体映像表示装置。
2. 前記画像表示部の回転位置を検出する回転位置検出部を設け、
   前記レンダリング部は、前記回転位置検出部が検出した回転位置に応じた仮想オブジェクトの画像を形成し、前記背景画像取得部は、前記回転位置検出部が検出した回転位置に応じた背景画像を取得する、
   請求項１に記載の立体映像表示装置。
3. 前記回転部は、前記観察者位置検出部が検出した観察者の位置が予め設定された所定時間内に所定角度を超えて移動したときに、観察者に対向する位置に前記画像表示部を回転させる、
   請求項１または請求項２に記載の立体映像表示装置。
4. 周囲にいる観察者の位置を検出するステップと、
   観察者の位置に応じた仮想オブジェクトの画像を形成するステップと、
   観察者に対向する位置に画像を表示する画像表示部を回転させるステップと、
   前記画像表示部の後方の背景画像を取得するステップと、
   前記背景画像の手前に前記仮想オブジェクトの画像を重畳した合成画像を生成して前記画像表示部に表示するステップと、
   を含む立体映像表示方法。
5. 周囲にいる観察者の位置を検出するステップと、
   観察者の位置に応じた仮想オブジェクトの画像を形成するステップと、
   観察者に対向する位置に画像を表示する画像表示部を回転させるステップと、
   前記画像表示部の後方の背景画像を取得するステップと、
   前記背景画像の手前に前記仮想オブジェクトの画像を重畳した合成画像を生成して前記画像表示部に表示するステップと、
   をコンピュータに実行させるプログラム。
   

Images