JP4634863B2

JP4634863B2 - 立体視画像生成装置及び立体視画像生成プログラム

Info

Publication number: JP4634863B2
Application number: JP2005158089A
Authority: JP
Inventors: 摂小宮山
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2005-05-30
Filing date: 2005-05-30
Publication date: 2011-02-16
Anticipated expiration: 2025-05-30
Also published as: JP2006333400A

Description

本発明は、右眼用の画像と左眼用の画像とから、２眼式立体映像を表示するための画像を生成する立体視画像生成装置及び立体視画像生成プログラムに関する。

右眼用の画像と左眼用の画像とによって立体視を与える映像を表示する２眼式立体映像の表示技術としては、フィルタメガネ方式、時分割方式などのメガネを用いる方式と、レンチキュラ方式やパララックスバリア方式のようなメガネを用いない方式とがある。

フィルタメガネ方式では、２台のプロジェクタに偏光板を装着して、各々右眼用の画像と左眼用の画像とをスクリーンに投影する。そして、観察者はプロジェクタの偏光板と同じ向きの偏光板を有するメガネを装着してスクリーンを見ることで、右眼では右眼用の画像、左眼では左眼用の画像を見ることができ、視差によって立体映像を見ることができる。

時分割方式では、右眼用の画像と左眼用の画像とを交互に表示画面に表示し、観察者は、液晶シャッタグラスをかけて表示画面を見ることで、右眼では右眼用の画像、左眼では左眼用の画像を交互に見ることができる。

レンチキュラ方式では、蒲鉾型のレンズを横方向に複数並べたレンチキュラレンズを表示画面の前に設置し、表示画面に右眼用の画像と左眼用の画像とを横方向に交互に並べて表示する。そして、右眼から見ると右眼用の画像に焦点が合い、左眼から見ると左眼用の画像に焦点が合うようにすることで、観察者は立体映像を見ることができる。

パララックスバリア方式は、スリットを横方向に複数並べたパララックスバリアを、表示画面の前に設置し、表示画面に右眼用の画像と左眼用の画像とを横方向に交互に並べて表示する。そして、右眼ではスリットの間から右眼用の画像が見え、左眼ではスリットの間から左眼用の画像が見えるようにすることで、観察者は立体映像を見ることができる。

また、これらの２眼式立体映像を表示する際に、２つの映像を撮影する際に予め設定された表示装置と、実際に表示する表示装置とで、表示画面のサイズが異なる場合に、左眼用の映像と右眼用の映像とをずらして表示し、映像の立体感を調整する装置が開示されている（特許文献１参照）。
特開２００４−１８００６９号公報（段落番号００１０〜００６３）

しかしながら、従来の２眼式立体映像の表示方式では、人間の左右の眼の瞳孔の間隔と、画像を表示する表示画面のサイズとを予め設定して右眼用の画像と左眼用の画像を撮影するため、実際に表示される表示画面の大きさが設定された大きさと異なると、立体像の大きさや奥行きが正しく表示されない。例えば、設定された大きさより小さい表示画面に表示すると、表示画面上での視差は小さくなり、奥行きが少なくて、物体そのものも小さく感じられる、いわゆる箱庭効果が生じるという問題がある。そして、この問題は、観察者から表示画面までの距離（視距離）を短くして、観察者の網膜上の像を大きくしても、輻輳が変化するために主観的な大きさは大きくならない。

一方、設定された表示画面より大きい表示画面に表示すると表示画面上での視差が大きくなり、無限遠の被写体の視差が瞳孔の間隔を超える、いわゆる開散状態になる。このため、ひずみのない立体映像を表示するためには、撮影時に予めスクリーンの大きさと視距離とを想定して撮影し、その想定された大きさの表示画面に、設定された視距離から見る必要がある。

しかし、立体テレビジョンの映像では、表示画面の大きさはそれぞれ異なり、数十から数百インチの表示画面に表示する可能性があるため、撮影時に予めスクリーンの大きさと視距離とを想定して撮影することは困難である。更に、観察者が表示画面に正対せず、斜めから２眼式立体映像を見る場合、幾何学的な歪みが生じる。

また、観察者が立体映像を見る場合、表示画面上の映像の大きさを、網膜上の像の大きさだけではなく、表示画面までの距離によって判断している。つまり、網膜上で同じ大きさでも、近いものは小さく、遠いものは大きいと判断する。そして、表示画面までの距離を表示画面の枠の位置で判断する。ところが、特許文献１に記載の装置では、表示画面の枠はそのままで表示画面全体に映像が表示されるため、オフセットを付けて表示しても、観察者は、表示画面までの距離を実際より遠く、あるいは、近くに感じにくい。そのため、観察者は疲労や、距離感の歪みを感じやすくなるという問題がある。更に、斜めから観察した場合に映像の幾何学的な歪みは、特許文献１に記載の装置では解決されない。

本発明は、前記従来技術の問題を解決するために成されたもので、映像の撮影時に想定された大きさとは異なる大きさの表示画面に表示して、設定された視距離とは異なる距離から見ても、撮影されたものの距離感を正しく表現でき、かつ、観察者に対して、表示画面の枠を意識させることなく疲労や距離感の歪みを与えない、２眼式立体映像を表示するための画像を生成することができる立体視画像生成装置及び立体視画像生成プログラムを提供することを目的とする。

前記課題を解決するため、請求項１に記載の立体視画像生成装置は、右眼用の画像と左眼用の画像とを、表示画面の大きさと視距離とに基づいて変換して、右眼用立体視画像と左眼用立体視画像とを生成する立体視画像生成装置であって、仮想空間設定手段と、右眼用画像領域設定手段と、左眼用画像領域設定手段と、右眼用画像生成手段と、左眼用画像生成手段と、を備える構成とした。

かかる構成によれば、立体視画像生成装置は、仮想空間設定手段によって、右眼用立体視画像と左眼用立体視画像とを表示する表示画面の大きさと、観察者の位置と、表示画面の位置とを示す表示画面情報に基づいて、観察者の右眼及び左眼の位置と、表示画面の領域と、観察者の位置に対応して予め設定された右眼用の画像及び左眼用の画像の表示領域とを、仮想空間上において仮想右眼位置と、仮想左眼位置と、仮想表示画面領域と、仮想標準表示領域として設定する。

また、立体視画像生成装置は、右眼用画像領域設定手段によって、仮想空間上において、仮想右眼位置から仮想表示画面領域に対して仮想標準表示領域を透視投影して仮想右眼用画像領域を仮想表示画面領域内に設定し、左眼用画像領域設定手段によって、仮想空間上において、仮想左眼位置から仮想表示画面領域に対して仮想標準表示領域を透視投影して仮想左眼用画像領域を仮想表示画面領域内に設定する。

更に、立体視画像生成装置は、右眼用画像生成手段によって、仮想表示画面領域に対する仮想右眼位置からの仮想標準表示領域の透視投影を行う変換を右眼用の画像に行い、仮想表示画面領域内における仮想右眼用画像領域にはめ込んで、右眼用立体視画像を生成し、左眼用画像生成手段によって、仮想表示画面領域に対する仮想左眼位置からの仮想標準表示領域の透視投影を行う変換を左眼用の画像に行い、仮想表示画面領域内における仮想左眼用画像領域にはめ込んで、左眼用立体視画像を生成する。

これによって、立体視画像生成装置は、右眼用の画像及び左眼用の画像を撮影した際に想定された大きさとは異なる表示画面に表示して、設定された視距離とは異なる位置から見ても、観察者の右眼及び左眼によって、右眼用の画像及び左眼用の画像の各々を、撮影時に想定された大きさで、設定された距離だけ観察者から離れた位置に表示した場合と同じように見ることができる右眼用立体視画像と左眼用立体視画像とを生成することができる。

また、請求項２に記載の立体視画像生成装置は、請求項１に記載の立体視画像生成装置において、前記仮想空間設定手段が、前記表示画面情報に基づいて、前記観察者の位置から前記表示画面の中心への方向である視線方向を、前記仮想空間上において仮想視線方向として設定し、かつ、前記仮想空間上において、前記仮想右眼位置と前記仮想左眼位置とを結ぶ直線が当該仮想視線方向に直交するように、前記仮想右眼位置と前記仮想左眼位置を設定するとともに、前記仮想標準表示領域を前記仮想視線方向に対して直交する向きに設定する構成とした。

これによって、立体視画像生成装置は、観察者が、表示画面に対して斜めの向きから見たときに生じる歪みを補正した右眼用立体視画像と左眼用立体視画像とを生成することができる。

また、請求項３に記載の立体視画像生成プログラムは、右眼用の画像と左眼用の画像とを、表示画面の大きさと視距離とに基づいて変換して、右眼用立体視画像と左眼用立体視画像とを生成するためにコンピュータを、仮想空間設定手段、右眼用画像領域設定手段、左眼用画像領域設定手段、右眼用画像生成手段、左眼用画像生成手段として機能させることとした。

かかる構成によれば、立体視画像生成プログラムは、仮想空間設定手段によって、右眼用立体視画像と左眼用立体視画像とを表示する表示画面の大きさと、観察者の位置と、表示画面の位置とを示す表示画面情報に基づいて、観察者の右眼及び左眼の位置と、表示画面の領域と、観察者の位置に対応して予め設定された右眼用の画像及び左眼用の画像の表示領域とを、仮想空間上において仮想右眼位置と、仮想左眼位置と、仮想表示画面領域と、仮想標準表示領域として設定する。

また、立体視画像生成プログラムは、右眼用画像領域設定手段によって、仮想空間上において、仮想右眼位置から仮想表示画面領域に対して仮想標準表示領域を透視投影して仮想右眼用画像領域を仮想表示画面領域内に設定し、左眼用画像領域設定手段によって、仮想空間上において、仮想左眼位置から仮想表示画面領域に対して仮想標準表示領域を透視投影して仮想左眼用画像領域を仮想表示画面領域内に設定する。

更に、立体視画像生成プログラムは、右眼用画像生成手段によって、仮想表示画面領域に対する仮想右眼位置からの仮想標準表示領域の透視投影を行う変換を右眼用の画像に行い、仮想表示画面領域内における仮想右眼用画像領域にはめ込んで、右眼用立体視画像を生成し、左眼用画像生成手段によって、仮想表示画面領域に対する仮想左眼位置からの仮想標準表示領域の透視投影を行う変換を左眼用の画像に行い、仮想表示画面領域内における仮想左眼用画像領域にはめ込んで、左眼用立体視画像を生成する。

これによって、立体視画像生成プログラムは、右眼用の画像及び左眼用の画像を撮影した際に想定された大きさとは異なる表示画面に表示して、設定された視距離とは異なる位置から見ても、観察者の右眼及び左眼によって、右眼用の画像及び左眼用の画像の各々を、撮影時に想定された大きさで、設定された距離だけ観察者から離れた位置に表示した場合と同じように見ることができる右眼用立体視画像と左眼用立体視画像とを生成することができる。

本発明に係る立体視画像生成装置及び立体視画像生成プログラムでは、以下のような優れた効果を奏する。

請求項１又は請求項３に記載の発明によれば、右眼用の画像及び左眼用の画像を撮影した際に想定された大きさとは異なる表示画面に表示しても、観察者は、撮影時に想定された大きさで、設定された距離だけ観察者から離れた位置に表示した場合と同じように立体映像を見ることができる右眼用立体視画像と左眼用立体視画像とを生成することができる。

また、表示画面に表示された右眼用立体視画像と左眼用立体視画像とを観察者が見ると、観察者には、右眼及び左眼によって、各々右眼用の画像がはめ込まれている領域と、左眼用の画像がはめ込まれている領域が見える。そして、観察者は、右眼と左眼の視差によって、撮影時に設定された距離だけ観察者から離れた位置に、設定された表示画面の大きさの、２つの領域が重なり合う表示領域を見ることができる。そして、右眼用立体視画像と左眼用立体視画像とを表示している表示画面の枠から観察者までの距離ではなく、この視差によって仮想的に形成された表示領域の枠から観察者までの距離に基づいて立体映像全体の大きさを判断できるため、観察者は、表示画面の枠を意識することなく、距離感を正しく認識することができる右眼用立体視画像と左眼用立体視画像となる。

請求項２に記載の発明によれば、観察者が右眼用立体視画像と左眼用立体視画像とを表示する表示画面に対して正対しない斜めの位置にいる場合でも、観察者には、右眼及び左眼によって、各々右眼用の画像がはめ込まれている領域と、左眼用の画像がはめ込まれている領域が見える。そして、観察者には、右眼と左眼の視差によって、撮影時に設定された距離だけ観察者から離れた位置において観察者に対して正対する向きに表示領域を見ることができる。そのため、歪みのない立体映像を観察者に提示できる右眼用立体視画像と左眼用立体視画像とを生成することができる。

以下、本発明の実施の形態について図面を参照して説明する。
［立体視画像生成装置の構成］
図１を参照して、本発明の実施の形態である立体視画像生成装置１の構成について説明する。図１は、本発明における立体視画像生成装置の構成を示したブロック図である。立体視画像生成装置１は、外部から右眼用の画像（右眼用画像）と左眼用の画像（左眼用画像）を入力し、表示画面（図示せず）の大きさに合わせて変換した右眼用立体視画像と左眼用立体視画像とを生成するものである。この立体視画像生成装置１は、情報入力手段１０と、仮想空間設定手段１１と、右眼用画像領域設定手段１２と、左眼用画像領域設定手段１３と、右眼用画像生成手段１４と、左眼用画像生成手段１５とを備える。また、ここでは、立体視画像生成装置１には、外部に図示しない立体表示装置が接続され、当該立体表示装置の表示画面に右眼用立体視画像及び左眼用立体視画像が表示されることとした。

なお、この右眼用画像及び左眼用画像には、撮影時に当該右眼用画像及び左眼用画像を表示すると想定された表示画面（標準表示画面）の大きさと、観察者から標準表示画面までの距離とが標準条件として予め設定されており、この標準条件で表示することによって観察者は当該画像の制作者が意図する大きさ及び奥行きの画像を見ることができる。そして、ここでは、立体視画像生成装置１は、この標準条件を示す標準条件情報を外部から入力することとした。

情報入力手段１０は、当該立体視画像生成装置１によって生成される右眼用立体視画像及び左眼用立体視画像を表示する表示画面の大きさ、及び、観察者と表示画面との位置を示す情報である表示画面情報と、右眼用画像及び左眼用画像の撮影時に制作者によって予め設定された当該２つの画像を表示する標準表示画面の大きさ、及び、観察者から標準表示画面までの距離を示す情報である標準条件情報とを外部から入力するものである。ここで入力された表示画面情報及び標準条件情報は、仮想空間設定手段１１に出力される。

仮想空間設定手段１１は、情報入力手段１０から入力された表示画面情報及び標準条件情報に基づいて、右眼用立体視画像及び左眼用立体視画像を表示する表示画面の領域、観察者の表示画面への視線方向、右眼の位置、左眼の位置、及び、標準条件によって示される標準表示画面の領域を、仮想空間上において、仮想表示画面領域、仮想視線方向、仮想右眼位置、仮想左眼位置及び仮想標準表示領域として設定するものである。ここで、仮想空間設定手段１１は、表示画面領域設定部１１ａと、視線方向設定部１１ｂと、両眼位置設定部１１ｃと、標準表示領域設定部１１ｄとを備える。

表示画面領域設定部１１ａは、情報入力手段１０から入力された表示画面情報に基づいて、仮想空間の座標軸を設定し、この仮想空間上に、実空間上における観察者の位置と表示画面の領域とに対応する仮想観察者位置と仮想表示画面領域とを設定するものである。ここで設定された仮想観察者位置及び仮想表示画面領域の情報は、視線方向設定部１１ｂ、両眼位置設定部１１ｃ、標準表示領域設定部１１ｄ、右眼用画像領域設定手段１２及び左眼用画像領域設定手段１３に出力される。

視線方向設定部１１ｂは、表示画面領域設定部１１ａによって設定された仮想観察者位置から仮想表示画面への方向である仮想視線方向を、仮想空間上に設定するものである。ここでは、視線方向設定部１１ｂは、仮想空間上における仮想観察者位置から仮想表示画面領域の中心への向きを仮想視線方向として設定することとした。ここで設定された仮想視線方向の情報は、両眼位置設定部１１ｃ及び標準表示領域設定部１１ｄに出力される。

両眼位置設定部１１ｃは、表示画面領域設定部１１ａによって設定された仮想観察者位置と、視線方向設定部１１ｂによって設定された仮想視線方向とに基づいて、実空間上における観察者の右眼及び左眼に対応する仮想右眼位置及び仮想左眼位置を仮想空間上に設定するものである。ここで、両眼位置設定部１１ｃは、仮想観察者位置を挟み、仮想視線方向に直交する水平の方向に、ある間隔だけ離隔した２点の位置を設定して、仮想視線方向を向いて右側を仮想右眼位置、左側を仮想左眼位置とすることとした。なお、この仮想右眼位置及び仮想左眼位置の間隔は、所定の値（例えば、６５ｍｍなど）であってもよいし、外部から入力されることとしてもよい。ここで設定された仮想右眼位置及び仮想左眼位置の情報は、右眼用画像領域設定手段１２と、左眼用画像領域設定手段１３とに出力される。

標準表示領域設定部１１ｄは、情報入力手段１０から入力された標準条件情報と、表示画面領域設定部１１ａによって設定された仮想観察者位置と、視線方向設定部１１ｂによって設定された仮想視線方向とに基づいて、右眼用画像及び左眼用画像の撮影時に制作者によって予め設定された標準表示画面の領域に対応する仮想標準表示領域を仮想空間上に設定するものである。ここで、標準表示領域設定部１１ｄは、仮想観察者位置から仮想視線方向に向かって、標準条件情報によって示される視距離だけ離れた位置に、仮想視線方向に直交するように、標準条件情報によって示される標準表示画面の大きさの領域を仮想標準表示領域として設定する。ここで設定された仮想標準表示領域の情報は、右眼用画像領域設定手段１２と、左眼用画像領域設定手段１３とに出力される。

右眼用画像領域設定手段１２は、仮想空間設定手段１１によって設定された仮想右眼位置から、仮想表示画面領域に対して仮想標準表示領域を透視投影した仮想右眼用画像領域を仮想表示画面領域内に設定するものである。ここで設定された仮想右眼用画像領域の情報は、右眼用画像生成手段１４に出力される。

左眼用画像領域設定手段１３は、仮想空間設定手段１１によって設定された仮想左眼位置から、仮想表示画面領域に対して仮想標準表示領域を透視投影した仮想左眼用画像領域を仮想表示画面領域内に設定するものである。ここで設定された仮想左眼用画像領域の情報は、左眼用画像生成手段１５に出力される。

ここで、図２を参照（適宜図１参照）して、右眼用画像領域設定手段１２及び左眼用画像領域設定手段１３が、仮想右眼用画像領域及び仮想左眼用画像領域を仮想表示画面領域内に設定する方法について説明する。図２は、仮想空間上において、右眼用画像領域設定手段と左眼用画像領域設定手段とが、仮想右眼位置と、仮想左眼位置と、仮想表示画面領域と、仮想標準表示領域とに基づいて、仮想右眼用画像領域及び仮想左眼用画像領域を設定する方法を説明するための説明図であり、（ａ）は、観察者が表示画面に正対する場合において、仮想空間を上から見た例を模式的に示す模式図、（ｂ）は、（ａ）において、右眼用画像領域設定手段及び左眼用画像領域設定手段によって設定された仮想右眼用画像領域及び仮想左眼用画像領域を模式的に示す模式図、（ｃ）は、観察者が表示画面に正対しない場合において、仮想空間を上から見た例を模式的に示す模式図、（ｄ）は、（ｃ）において、右眼用画像領域設定手段及び左眼用画像領域設定手段によって設定された仮想右眼用画像領域及び仮想左眼用画像領域を模式的に示す模式図である。

まず、図２（ａ）と図２（ｂ）とを参照して、観察者が表示画面に対して正対している場合について説明する。図２（ａ）に示すように、仮想空間設定手段１１によって、表示画面情報に基づいて、仮想空間上に仮想観察者位置Ｖと仮想表示画面領域Ｄｖとが設定され、仮想観察者位置Ｖから仮想表示画面領域Ｄｖの中心ｃへの方向である仮想視線方向Ａｖが設定されている。更に、仮想空間設定手段１１によって、仮想観察者位置Ｖを挟んで、仮想視線方向Ａｖに直交する方向にある間隔だけ離隔した仮想右眼位置Ｒと仮想左眼位置Ｌとが設定され、標準条件情報に基づいて、仮想視線方向Ａｖに直交する向きに仮想標準表示領域Ｃｖが設定されている。なお、図２（ａ）は上から見た図であるため、仮想表示画面領域Ｄｖ及び仮想標準表示領域Ｃｖは直線で示されているが、これらは仮想空間上において矩形の平面の領域である。

すると、右眼用画像領域設定手段１２は、仮想右眼位置Ｒから仮想表示画面領域Ｄｖに対して、仮想標準表示領域Ｃｖを透視投影する。そして、右眼用画像領域設定手段１２は、図２（ｂ）に示すように、仮想標準表示領域Ｃｖを透視投影した矩形の領域である仮想右眼用画像領域Ｒｖを、仮想表示画面領域Ｄｖ内に設定することができる。また、左眼用画像領域設定手段１３は、図２（ａ）に示すように、仮想左眼位置Ｌから仮想表示画面領域Ｄｖに対して、仮想標準表示領域Ｃｖを透視投影する。そして、左眼用画像領域設定手段１３は、図２（ｂ）に示すように、仮想左眼用画像領域Ｌｖを仮想表示画面領域Ｄｖ内に設定することができる。

なお、右眼用画像領域設定手段１２及び左眼用画像領域設定手段１３による透視投影は、一般的な透視投影変換のアルゴリズムを適用して実現することができる。

なお、表示画面の大きさに比べて視距離が長くなるほど、右眼用画像領域設定手段１２及び左眼用画像領域設定手段１３によって設定される仮想右眼用画像領域Ｒｖ及び仮想左眼用画像領域Ｌｖは大きくなり、仮想表示画面領域Ｄｖ内において一部が欠けることも考えられるが、実際には、表示画面が小さいと観察者は表示画面に近づくため視距離は小さくなる。そのため、標準条件情報において、標準表示画面の大きさと視距離とが適切に設定されていれば、右眼用画像領域設定手段１２及び左眼用画像領域設定手段１３は、仮想右眼用画像領域Ｒｖ及び仮想左眼用画像領域Ｌｖを欠けさせることなく、仮想表示画面領域Ｄｖ内に設定することができる。

次に、図２（ｃ）と図２（ｄ）とを参照して、観察者が表示画面に対して正対しない場合について説明する。図２（ｃ）に示すように、仮想空間設定手段１１によって、表示画面情報に基づいて、仮想空間上に仮想観察者位置Ｖと仮想表示画面領域Ｄｖとが設定され、仮想観察者位置Ｖから仮想表示画面領域Ｄｖの中心ｃへの方向である仮想視線方向Ａｖが設定されている。ここで、観察者が表示画面に対して正対しないため、仮想表示画面領域Ｄｖは仮想視線方向Ａｖに直交しない。更に、仮想空間設定手段１１によって、仮想観察者位置Ｖを挟んで、仮想視線方向Ａｖに直交する方向にある間隔だけ離隔した仮想右眼位置Ｒと仮想左眼位置Ｌとが設定され、標準条件情報に基づいて、仮想視線方向Ａｖに直交する向きに仮想標準表示領域Ｃｖが設定されている。

すると、右眼用画像領域設定手段１２は、仮想右眼位置Ｒから仮想表示画面領域Ｄｖに対して、仮想標準表示領域Ｃｖを透視投影する。そして、右眼用画像領域設定手段１２は、図２（ｄ）に示すように、仮想標準表示領域Ｃｖを透視投影した四角形の領域である仮想右眼用画像領域Ｒｖを、仮想表示画面領域Ｄｖ内に設定することができる。また、左眼用画像領域設定手段１３は、図２（ｃ）に示すように、仮想左眼位置Ｌから仮想表示画面領域Ｄｖに対して、仮想標準表示領域Ｃｖを透視投影する。そして、左眼用画像領域設定手段１３は、図２（ｄ）に示すように、仮想左眼用画像領域Ｌｖを仮想表示画面領域Ｄｖ内に設定することができる。

このように、仮想空間設定手段１１が仮想視線方向Ａｖを設定し、この仮想視線方向Ａｖに直交する仮想標準表示領域Ｃｖを設定して、右眼用画像領域設定手段１２及び左眼用画像領域設定手段１３が、この仮想標準表示領域Ｃｖを仮想表示画面領域Ｄｖに透視投影するため、後記する右眼用画像生成手段１４及び左眼用画像生成手段１５によって、この仮想右眼用画像領域Ｒｖ及び仮想左眼用画像領域Ｌｖに対応する領域に右眼用画像及び左眼用画像がはめ込まれた右眼用立体視画像及び左眼用立体視画像を表示画面に表示すると、観察者が表示画面に対して正対しない場合にも、この右眼用画像及び左眼用画像がはめ込まれた領域が、右眼と左眼の視差のため、標準条件情報に示される視距離の位置において観察者に対して正対する向きに標準表示画面を形成するように見える。そのため、歪みのない立体映像を観察者に提示することができる。

図１に戻って説明を続ける。右眼用画像生成手段１４は、表示画面領域設定部１１ａによって設定された仮想表示画面領域に対応する画像領域内において、右眼用画像領域設定手段１２によって設定された仮想右眼用画像領域に対応する領域に、外部から入力された右眼用画像を投影変換してはめ込み、右眼用立体視画像を生成するものである。なお、右眼用画像生成手段１４は、右眼用画像領域設定手段１２による仮想標準表示領域の透視投影と同じ投影条件で、右眼用画像を投影変換する。ここで生成された右眼用立体視画像は、図示しない立体表示装置に出力される。

左眼用画像生成手段１５は、表示画面領域設定部１１ａによって設定された仮想表示画面領域に対応する画像領域内において、左眼用画像領域設定手段１３によって設定された仮想左眼用画像領域に対応する領域に、外部から入力された左眼用画像を投影変換してはめ込み、左眼用立体視画像を生成するものである。なお、左眼用画像生成手段１５は、左眼用画像領域設定手段１３による仮想標準表示領域の透視投影と同じ投影条件で、左眼用画像を投影変換する。ここで生成された左眼用立体視画像は、図示しない立体表示装置に出力される。

そして、右眼用画像及び左眼用画像は、撮影時に予め設定された標準条件で表示しないと観察者は、当該画像の制作者が意図する被写体の大きさ及び奥行きの立体映像を見ることができなかったが、以上のように立体視画像生成装置１を構成することで、撮影時に想定された大きさとは異なる表示画面に表示しても、標準条件で表示した場合と同じ立体映像を見ることができる右眼用立体視画像及び左眼用立体視画像を生成することができる。

ここで、図３を参照して、立体視画像生成装置１によって生成された右眼用立体視画像及び左眼用立体視画像を図示しない立体表示装置の表示画面に表示した際に、観察者によって見える立体映像について説明する。図３は、観察者の右眼及び左眼の位置と、この位置から見たときに、右眼用画像及び左眼用画像上における被写体によって形成される立体像との配置を上から見た模式図であり、（ａ）は、右眼用画像及び左眼用画像を標準条件で表示した場合を説明するための説明図、（ｂ）は、標準条件によって設定された表示画面より小さい表示画面に右眼用画像及び左眼用画像を表示し、設定された視距離より短い視距離で観察した場合を説明するための説明図、（ｃ）は、標準条件によって設定された表示画面より小さい表示画面に、立体視画像生成装置によって生成された右眼用立体視画像及び左眼用立体視画像を表示し、設定された視距離より短い視距離で観察した場合を説明するための説明図である。

まず、図３（ａ）を参照して、右眼用画像及び左眼用画像を撮影した際に予め設定された大きさの標準表示画面（図示せず）に、この右眼用画像及び左眼用画像を重ねて表示し、設定された視距離（標準視距離）から観察者がこの画像を見た場合の例について説明する。ここで、図３（ａ）に示すように、標準表示画面に右眼用画像Ｒａと左眼用画像Ｌａとが表示され、観察者は、例えば、偏光メガネ等を用いて、観察者の右眼の位置である右眼位置Ｒｐから右眼用画像Ｒａを、左眼の位置である左眼位置Ｌｐから左眼用画像Ｌａを見ることができる。

ここで、右眼用画像Ｒａ上には、被写体Ｒａ₁、Ｒａ₂があり、左眼用画像Ｌａ上には、被写体Ｌａ₁、Ｌａ₂が表示されているとする。すると、両眼視差によって、右眼用画像Ｒａの中央より右に表示された被写体Ｒａ₁と、左眼用画像Ｌａの中央より左に表示された被写体Ｌａ₁とから、観察者は、標準表示画面より更に奥に立体像Ｉａ₁を見ることができる。また、右眼用画像Ｒａの中央に表示された被写体Ｒａ₂と、左眼用画像Ｌａの中央に表示された被写体Ｌａ₂とから、観察者は、標準表示画面の中央に立体像（図示せず）を見ることができる。そして、ここで観察者が見ることができる立体映像が、制作者の意図する映像である。

次に、図３（ｂ）を参照して、右眼用画像及び左眼用画像を撮影した際に予め設定された大きさより小さい表示画面（図示せず）に、この右眼用画像及び左眼用画像を重ねて表示し、標準視距離より近くから観察者がこの画像を見た場合の例について説明する。ここで、図３（ｂ）に示すように、表示画面（図示せず）に右眼用画像Ｒｂと左眼用画像Ｌｂとが表示され、観察者は、右眼位置Ｒｐから、右眼用画像Ｒａが縮小された右眼用画像Ｒｂを、左眼位置Ｌｐから、左眼用画像Ｌａが縮小された左眼用画像Ｌｂを見ることができる。

そして、右眼用画像Ｒｂ上には、縮小された被写体Ｒｂ₁、Ｒｂ₂があり、左眼用画像Ｌｂ上には、縮小された被写体Ｌｂ₁、Ｌｂ₂が表示されている。すると、両眼視差は、図３（ａ）に比べて小さくなり、被写体Ｒｂ₁と被写体Ｌｂ₁とから、観察者は、立体像Ｉａ₁より近い位置に、縮小された立体像Ｉｂ₁を見ることができる。また、被写体Ｒｂ₂と被写体Ｌｂ₂とから、観察者は、標準視距離より近い位置にある表示画面の中央に縮小された立体像（図示せず）を見ることができる。このようにして、予め設定された大きさより小さい表示画面にそのまま右眼用画像及び左眼用画像を表示する従来の２眼式立体映像の表示方法で立体映像を表示すると、箱庭効果によって、観察者は、奥行きが少なく、物体そのものも小さく感じる。

続いて、図３（ｃ）を参照して、右眼用画像及び左眼用画像を撮影した際に予め設定された大きさより小さい表示画面（図示せず）に、立体視画像生成装置１によって生成された右眼用立体視画像及び左眼用立体視画像を重ねて表示し、標準視距離より近くから観察者がこの画像を見た場合の例について説明する。ここで、図３（ｃ）に示すように、表示画面には、一部の領域に右眼用画像Ｒｃがはめ込まれた右眼用立体視画像（図示せず）と、一部の領域に左眼用画像Ｌｃがはめ込まれた左眼用立体視画像（図示せず）が表示され、観察者は、右眼位置Ｒｐから、右眼用画像Ｒａが縮小あるいは変形された右眼用画像Ｒｃを、左眼位置Ｌｐから、左眼用画像Ｌａが縮小あるいは変形された左眼用画像Ｌｃを見ることができる。

ここで、この右眼用立体視画像には、前記したように、右眼用画像領域設定手段１２によって仮想空間上において設定された仮想右眼用画像領域Ｒｖ（図２）に対応する位置に右眼用画像Ｒｃがはめ込まれている。また、左眼用立体視画像には、左眼用画像領域設定手段１３によって仮想空間上において設定された仮想左眼用画像領域Ｌｖ（図２）に対応する位置に左眼用画像Ｌｃがはめ込まれている。そして、仮想空間上における仮想右眼位置Ｒ及び仮想左眼位置Ｌ（図２）は、右眼位置Ｒｐ及び左眼位置Ｌｐに対応し、仮想標準表示領域Ｃｖ（図２）は、標準表示画面（図示せず）に対応する。そのため、両眼視差によって、右眼用画像Ｒｃと、左眼用画像Ｌｃとから、観察者は、標準表示画面（図示せず）の位置に、標準表示画面の大きさで重ねて表示された右眼用画像及び左眼用画像（図示せず）を見ることができる。

そして、両眼視差によって、被写体Ｒｃ₁と被写体Ｌｃ₁とから、観察者は、標準表示画面の位置より更に奥に立体像Ｉｃ₁を見ることができる。また、被写体Ｒｃ₂と被写体Ｌｃ₂とから、観察者は、標準表示画面の位置の中央に立体像Ｉｃ₂を見ることができる。ここで観察者が見ることができる立体映像は、図３（ａ）において標準表示画面に表示された右眼用画像Ｒａと左眼用画像Ｌａとから見ることができる立体映像と同じものであり、制作者の意図する映像と同じものとなる。そして、オフセットを設定して、右眼用画像と左眼用画像をずらす従来の方法によって生成された画像と異なり、立体視画像生成装置１によって生成された右眼用立体視画像及び左眼用立体視画像によれば、観察者は、奥行きや物体の大きさが正しく表現された立体映像を見ることができる。

なお、ここでは、立体視画像生成装置１は、情報入力手段１０によって、外部から表示画面情報及び標準条件情報を入力することとしたが、予め設定された表示画面情報及び標準条件情報のうちの、一部あるいは全部を記憶する記憶装置（図示せず）を備え、仮想空間設定手段１１によって、この記憶装置に記憶された表示画面情報及び標準条件情報を参照することとしてもよい。

また、立体視画像生成装置１は、観察者の位置を検出する位置検出手段（図示せず）を備え、この位置検出手段によって検出された観察者の位置と、表示画面の大きさ及び標準条件情報に基づいて、仮想空間設定手段１１によって仮想視線方向、仮想右眼位置、仮想左眼位置、仮想表示画面領域及び仮想標準表示領域を設定することとしてもよい。更に、立体視画像生成装置１は、予め設定された、あるいは、検出された観察者の右眼及び左眼の位置を外部から入力し、この観察者の右眼及び左眼の位置によって観察者の位置が示されることとしてもよい。

更に、視線方向設定部１１ｂは、仮想表示画面領域を含む平面に直交する方向を仮想視線方向として設定することとしてもよい。また、仮想空間設定手段１１は視線方向設定部１１ｂを備えず、両眼位置設定部１１ｃが、予め設定された、あるいは、検出された右眼及び左眼の位置に基づいて仮想空間上に仮想右眼位置及び仮想左眼位置を設定し、標準表示領域設定部１１ｄが、この仮想右眼位置及び仮想左眼位置に基づいて仮想標準表示領域を設定することとしてもよい。

また、右眼用画像及び左眼用画像が、フレーム画像あるいはフィールド画像であり、立体視画像生成装置１が、右眼用立体視画像及び左眼用立体視画像のフレーム画像あるいはフィールド画像を生成し、立体映像の動画像を生成することとしてもよい、

更に、ここでは、立体視画像生成装置１は、外部に接続された図示しない立体表示装置の表示画面に右眼用立体視画像及び左眼用立体視画像を表示することとしたが、例えば、右眼用立体視画像及び左眼用立体視画像の各々を投影する、異なる向きの偏光板を備えた２台のプロジェクタに出力することとしてもよい。

なお、本発明の立体視画像生成装置１は、フィルタメガネ方式、時分割方式、レンチキュラ方式及びパララックスバリア方式のような様々な２眼式立体映像の表示方式に対応する右眼用立体視画像及び左眼用立体視画像を生成することができる。

また、立体視画像生成装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して、立体視画像生成プログラムとして動作させることも可能である。

［立体視画像生成装置の動作］
次に、図４を参照（適宜図１参照）して、本発明における立体視画像生成装置１の動作について説明する。図４は、本発明における立体視画像生成装置が右眼用立体視画像及び左眼用立体視画像を生成する動作を示したフローチャートである。

立体視画像生成装置１は、情報入力手段１０によって、外部から表示画面情報と標準条件情報とを入力する（ステップＳ１０）。そして、立体視画像生成装置１は、仮想空間設定手段１１の表示画面領域設定部１１ａによって、ステップＳ１０において入力された表示画面情報に基づいて仮想空間の座標軸を設定し、この仮想空間上に仮想観察者位置と仮想表示画面領域とを設定する（ステップＳ１１）。続いて、立体視画像生成装置１は、仮想空間設定手段１１の視線方向設定部１１ｂによって、仮想空間上に、ステップＳ１１において設定された仮想観察者位置から仮想表示画面領域の中心への方向を仮想視線方向として設定する（ステップＳ１２）。

そして、立体視画像生成装置１は、仮想空間設定手段１１の両眼位置設定部１１ｃによって、仮想空間上に、ステップＳ１１において設定された仮想観察者位置を挟み、ステップＳ１２において設定された仮想視線方向に直交する方向に、ある間隔だけ離隔した位置を仮想右眼位置及び仮想左眼位置として設定する（ステップＳ１３）。更に、立体視画像生成装置１は、仮想空間設定手段１１の標準表示領域設定部１１ｄによって、ステップＳ１０において入力された標準条件情報に基づいて、仮想空間上に、ステップＳ１２において設定された仮想視線方向に直交する向きに仮想標準表示領域を設定する（ステップＳ１４）。

続いて、立体視画像生成装置１は、右眼用画像領域設定手段１２によって、ステップＳ１３において設定された仮想右眼位置から、ステップＳ１１において設定された仮想表示画面領域に対して、ステップＳ１４において設定された仮想標準表示領域を透視投影した仮想右眼用画像領域を仮想表示画面領域内に設定する（ステップＳ１５）。

更に、立体視画像生成装置１は、左眼用画像領域設定手段１３によって、ステップＳ１３において設定された仮想左眼位置から、ステップＳ１１において設定された仮想表示画面領域に対して、ステップＳ１４において設定された仮想標準表示領域を透視投影した仮想左眼用画像領域を仮想表示画面領域内に設定する（ステップＳ１６）。

そして、立体視画像生成装置１は、右眼用画像生成手段１４によって、ステップＳ１１において設定された仮想表示画面領域に対応する画像領域内に、ステップＳ１５において設定された仮想右眼用画像領域に対応する領域に、外部から入力された右眼用画像を透視投影変換してはめ込み、右眼用立体視画像を生成する（ステップＳ１７）。

更に、立体視画像生成装置１は、左眼用画像生成手段１５によって、ステップＳ１１において設定された仮想表示画面領域に対応する画像領域内に、ステップＳ１６において設定された仮想左眼用画像領域に対応する領域に、外部から入力された左眼用画像を透視投影変換してはめ込み、左眼用立体視画像を生成する（ステップＳ１８）。

本発明における立体視画像生成装置の構成を示したブロック図である。本発明における立体視画像生成装置の右眼用画像領域設定手段と左眼用画像領域設定手段とが、仮想空間上において、仮想右眼位置と、仮想左眼位置と、仮想表示画面領域と、仮想標準表示領域とに基づいて、仮想右眼用画像領域及び仮想左眼用画像領域を設定する方法を説明するための説明図であり、（ａ）は、観察者が表示画面に正対する場合において、仮想空間を上から見た例を模式的に示す模式図、（ｂ）は、（ａ）において、右眼用画像領域設定手段及び左眼用画像領域設定手段によって設定された仮想右眼用画像領域及び仮想左眼用画像領域を模式的に示す模式図、（ｃ）は、観察者が表示画面に正対しない場合において、仮想空間を上から見た例を模式的に示す模式図、（ｄ）は、（ｃ）において、右眼用画像領域設定手段及び左眼用画像領域設定手段によって設定された仮想右眼用画像領域及び仮想左眼用画像領域を模式的に示す模式図である。観察者の右眼及び左眼の位置と、この位置から見たときに、右眼用画像及び左眼用画像上における被写体によって形成される立体像との配置を上から見た模式図であり、（ａ）は、右眼用画像及び左眼用画像を標準条件で表示した場合を説明するための説明図、（ｂ）は、標準条件によって設定された表示画面より小さい表示画面に右眼用画像及び左眼用画像を表示し、設定された視距離より短い視距離で観察した場合を説明するための説明図、（ｃ）は、標準条件によって設定された表示画面より小さい表示画面に、本発明の立体視画像生成装置によって生成された右眼用立体視画像及び左眼用立体視画像を表示し、設定された視距離より短い視距離で観察した場合を説明するための説明図である。本発明における立体視画像生成装置が右眼用立体視画像及び左眼用立体視画像を生成する動作を示したフローチャートである。

符号の説明

１立体視画像生成装置
１０情報入力手段
１１仮想空間設定手段
１１ａ表示画面領域設定部
１１ｂ視線方向設定部
１１ｃ両眼位置設定部
１１ｄ標準表示領域設定部
１２右眼用画像領域設定手段
１３左眼用画像領域設定手段
１４右眼用画像生成手段
１５左眼用画像生成手段

Claims

右眼用の画像と左眼用の画像とを、表示画面の大きさと視距離とに基づいて変換して、右眼用立体視画像と左眼用立体視画像とを生成する立体視画像生成装置であって、
前記右眼用立体視画像と前記左眼用立体視画像とを表示する前記表示画面の大きさと、観察者の位置と、前記表示画面の位置とを示す表示画面情報に基づいて、前記観察者の右眼及び左眼の位置と、前記表示画面の領域と、前記観察者の位置に対応して予め設定された前記右眼用の画像及び前記左眼用の画像の表示領域とを、仮想空間上において仮想右眼位置と、仮想左眼位置と、仮想表示画面領域と、仮想標準表示領域として設定する仮想空間設定手段と、
前記仮想空間上において、前記仮想右眼位置から前記仮想表示画面領域に対して前記仮想標準表示領域を透視投影して仮想右眼用画像領域を前記仮想表示画面領域内に設定する右眼用画像領域設定手段と、
前記仮想空間上において、前記仮想左眼位置から前記仮想表示画面領域に対して前記仮想標準表示領域を透視投影して仮想左眼用画像領域を前記仮想表示画面領域内に設定する左眼用画像領域設定手段と、
前記仮想表示画面領域に対する前記仮想右眼位置からの前記仮想標準表示領域の透視投影を行う変換を前記右眼用の画像に行い、前記仮想表示画面領域内における前記仮想右眼用画像領域にはめ込んで、前記右眼用立体視画像を生成する右眼用画像生成手段と、
前記仮想表示画面領域に対する前記仮想左眼位置からの前記仮想標準表示領域の透視投影を行う変換を前記左眼用の画像に行い、前記仮想表示画面領域内における前記仮想左眼用画像領域にはめ込んで、前記左眼用立体視画像を生成する左眼用画像生成手段と、
を備えることを特徴とする立体視画像生成装置。
前記仮想空間設定手段が、前記表示画面情報に基づいて、前記観察者の位置から前記表示画面の中心への方向である視線方向を、前記仮想空間上において仮想視線方向として設定し、かつ、前記仮想空間上において、前記仮想右眼位置と前記仮想左眼位置とを結ぶ直線が当該仮想視線方向に直交するように、前記仮想右眼位置と前記仮想左眼位置とを設定するとともに、前記仮想標準表示領域を前記仮想視線方向に対して直交する向きに設定することを特徴とする請求項１に記載の立体視画像生成装置。
右眼用の画像と左眼用の画像とを、表示画面の大きさと視距離とに基づいて変換して、右眼用立体視画像と左眼用立体視画像とを生成するためにコンピュータを、
前記右眼用立体視画像と左眼用立体視画像とを表示する前記表示画面の大きさと、観察者の位置と、前記表示画面の位置とを示す表示画面情報に基づいて、前記観察者の右眼及び左眼の位置と、前記表示画面の領域と、前記観察者の位置に対応して予め設定された前記右眼用の画像及び前記左眼用の画像の表示領域とを、仮想空間上において仮想右眼位置と、仮想左眼位置と、仮想表示画面領域と、仮想標準表示領域として設定する仮想空間設定手段、
前記仮想空間上において、前記仮想右眼位置から前記仮想表示画面領域に対して前記仮想標準表示領域を透視投影して仮想右眼用画像領域を前記仮想表示画面領域内に設定する右眼用画像領域設定手段、
前記仮想空間上において、前記仮想左眼位置から前記仮想表示画面領域に対して前記仮想標準表示領域を透視投影して仮想左眼用画像領域を前記仮想表示画面領域内に設定する左眼用画像領域設定手段、
前記仮想表示画面領域に対する前記仮想右眼位置からの前記仮想標準表示領域の透視投影を行う変換を前記右眼用の画像に行い、前記仮想表示画面領域内における前記仮想右眼用画像領域にはめ込んで、前記右眼用立体視画像を生成する右眼用画像生成手段、
前記仮想表示画面領域に対する前記仮想左眼位置からの前記仮想標準表示領域の透視投影を行う変換を前記左眼用の画像に行い、前記仮想表示画面領域内における前記仮想左眼用画像領域にはめ込んで、前記左眼用立体視画像を生成する左眼用画像生成手段、
として機能させることを特徴とする立体視画像生成プログラム。