JP6502701B2 - 要素画像群生成装置及びそのプログラム、並びにデジタル放送受信装置 - Google Patents

Description

本発明は、任意の視点から視認することができるインテグラル方式を用いた立体テレビ用の要素画像群生成装置及びそのプログラム、並びにデジタル放送受信装置に関する。

立体映像方式は、例えば、二眼方式、多眼方式、空間像再生方式に大別することができる。ここで、空間像再生方式は、被写体を光学的な空間像として再現する方式であり，インテグラル方式やホログラフィー方式が代表的な方式である。
二眼方式は、左右の目にそれぞれ対応した映像を提示することで立体像を知覚させている。二眼方式は、左右の眼に対応した１対の映像だけを用いるため運動視差を再現できない欠点がある。

多眼方式は、横に並んだ多視点の映像をレンチキュラーレンズなどを用いて左右の眼に提示する方式であり、水平方向の視点移動に伴った運動視差を再現することができる。この多眼方式は、視点数は８視点程度の場合が多く、視差画像の数が二眼方式よりも多いが、その原理は二眼方式と同様である。
ホログラフィー方式は、被写体からの光の波面を記録・再生する方式であり，理想的な空間像を再現することができる利点があるものの、ディスプレイにはインテグラル方式より多数の画素数を必要とする欠点がある。

インテグラル方式は、高精細映像システムとレンズ群（レンズアレイ）で構成される撮像・表示装置を用いて被写体の光学的な空間像を記録・再生する方式である。空間像が再現されるため、水平・垂直方向の運動視差を再現することができる。また、多眼方式の視点数が８視点程度であるのに比べ、インテグラル方式の視点数は例えば２０×２０視点と桁外れに多く、実物を見るのと同様の条件が整うため、輻輳点と調節点が一致する。

また、立体映像表示方式は、３Ｄ眼鏡といった特殊な眼鏡を必要とする表示方式なのか、又は裸眼立体表示方式なのかといった分類もすることができる。これに伴い、立体映像表示方式で再生される映像コンテンツも同様に分類することができる。例えば、３Ｄ映画を視聴するために３Ｄ眼鏡を用いる二眼方式は、実用化されている立体表示方式であり、実用化されている３Ｄ映画は、特殊な眼鏡を必要とする表示方式の映像コンテンツである。

一方、インテグラル方式は裸眼立体表示方式である。そして、インテグラル方式は、任意視点から視認することができる将来の立体テレビ用の撮像方式の１つとして期待されているものであり、使用されるレンズアレイには平面上または球面上にレンズ群が配列されている。図１５は、インテグラル方式を採用した立体テレビシステムの撮影から表示に至るまでの構成を模式的に示す説明図である。なお、近年、複数台のカメラで撮影した多視点映像から要素画像群を生成する方法も提案されている。

図１５に示す立体テレビシステムでは、凸レンズ２０２を介して被写体２０１の像をレンズアレイ２０３の近辺に結像させる。また、この結像を、テレビカメラ２０４で撮影し、画像信号の出力に変換した後の出力信号を、液晶パネル２０５に表示している。この液晶パネル２０５の近傍にもレンズアレイ２０６が設けられているので、操作者は、このレンズアレイ２０６を介した画像により、特殊な眼鏡を掛けることなく、立体画像を視認することができる。この例では、レンズアレイ２０６の手前に見える像（被写体２０１の像）が、インテグラル方式の映像コンテンツである。

図１５の符号２０７は、例えばレンズアレイ２０６上に得られる画像の映像拡大図を示す。この映像拡大図２０７からも分かるように、レンズアレイ２０６が具備する要素レンズの各々には、被写体２０１を様々な角度から撮影した画像の１つが要素画像として写し出されている。つまり、テレビカメラ２０４の出力信号は、レンズアレイ２０３のレンズ群から得られる要素画像信号が集積されたものとなっている。

ここで、撮影される際の立体像の解像度は、撮影に使用するテレビカメラ２０４の個数、又は、テレビカメラ２０４の撮像素子の個数及びレンズアレイ２０３のレンズ群を構成するレンズ（以下、要素レンズと表記）の個数に関係することが知られている。
将来、例えば、レンズアレイ２０３のレンズ群を構成する要素レンズの個数が増大していき、また、その１つの要素レンズに割り当てられる複数の画素（以下、要素画像と表記）の個数（画素数）が多くなれば、撮影される際の立体像の解像度も増大することになる。同様に、インテグラル方式による立体像の表示の際にも、自然な立体像を表示するために、レンズアレイ２０６のレンズ群にはより多くの要素レンズが必要になり、また、その要素画像にはより多くの画素が必要になると考えられている。

また、従来、提案や試作がされている裸眼立体表示方式のうち、インテグラル方式以外の裸眼立体方式としては、例えば、二眼方式の立体視が基本であるパララックスバリア方式や、多眼方式の立体視が基本であるレンチキュラー方式が知られている。
このようなレンチキュラーレンズを通して立体像を表示する為に例えばスクリーンに投射される画像や、パララックスバリアを通して立体像を表示する為に例えば液晶パネルに表示される画像は、それぞれ提示しようとする映像コンテンツの元となる被写体の多視点映像をもとに生成されている。そのため、元になる多視点画像から各方式の表示装置に合った画像に変換するための画像処理が必要とされている。同様に、特殊な眼鏡を必要とする二眼方式であっても、元になる多視点画像からActive方式やPassive方式に適合した画像に変換する処理が必要とされる。このような画像処理は表示装置の仕様に大きく影響される。

レンチキュラーレンズを用いた場合、横（水平方向）に並んだ例えば８視点の映像は、レンチキュラー方式の表示装置に合った画像に変換する前の元の多視点画像である。この多視点画像は映像コンテンツの元であるが、ここでは、この元になる多視点画像自体も映像コンテンツと呼ぶことにする。インテグラル方式以外の裸眼立体方式（レンチキュラー方式、パララックスバリア方式）の映像コンテンツは、インテグラル方式の映像コンテンツと同様に、二眼方式の映像コンテンツと比較してコンテンツ数が少ないのが現状である。

一方、従来、３Ｄ視聴モードに応じて、立体映像表示方式として、二眼方式又は３視差以上の多眼方式を選択できる映像処理装置が知られている（特許文献１参照）。特許文献１に記載された映像処理装置は、液晶パネルとレンチキュラーレンズとを備えており、二眼方式の映像コンテンツの入力信号が入力された場合、そのまま二眼方式の映像で再生したり、又は、入力信号を変換した上で３視差以上の多眼方式に適した映像として再生したりする。この技術を用いることで、レンチキュラー方式の映像コンテンツ数を（見かけ上）増加させることが可能である。

特許第５１２９３７６号公報

将来のテレビ放送では、デジタル放送を受信するインテグラル方式のディスプレイによって表示できる多数の映像コンテンツを必要とすることが予想される。そこで、コンテンツ数の多い二眼方式等の映像コンテンツを画像処理してインテグラル方式のディスプレイで表示できる映像コンテンツに変換し、インテグラル方式で提示できるような映像コンテンツの数を増加させることが考えられる。しかしながら、従来、二眼方式等の入力信号からインテグラル方式のディスプレイに適した映像に変換する技術は知られていなかった。

特許文献１に記載された映像処理装置はレンチキュラー方式に関するものであり、インテグラル方式とは原理が大きく異なるため、インテグラル方式のディスプレイに適した映像に変換することはできない。その理由は、インテグラル方式のディスプレイは図１５の符号２０７で示すように多数の要素画像（要素画像群）の存在を前提としているのに対して、二眼方式や多眼方式の映像コンテンツは水平視差のみに対応しているコンテンツだからである。

本発明は、以上のような問題点に鑑みてなされたものであり、インテグラル方式のディスプレイに表示できる映像コンテンツの数を効率よく増加させることのできる要素画像群生成装置及びそのプログラム、並びにデジタル放送受信装置を提供することを課題とする。

前記課題を解決するために、本発明に係る要素画像群生成装置は、レンズアレイを介して立体映像を提示するために表示パネルに表示するインテグラル方式の複数の要素画像である要素画像群を生成する要素画像群生成装置であって、視点合成処理手段と、多視点映像補正手段と、映像切替手段と、要素画像生成手段と、多視点映像記録転送手段と、を備えることとした。

かかる構成によれば、要素画像群生成装置は、視点合成処理手段によって、視点間の水平視差のみに対応している複数視点のそれぞれの視点映像で構成された映像が入力されたときに、前記レンズアレイのレンズピッチの情報を含むレンズアレイ情報に基づいて当該水平視差を持った複数の視点映像から視点を合成し、前記入力された映像よりも視点数を増加させた視点映像で構成された多視点映像を生成する。
そして、要素画像群生成装置は、多視点映像補正手段によって、前記視点合成処理手段により生成された多視点映像をインテグラル方式の要素画像生成法に適した投影方式の映像に補正する。
そして、要素画像群生成装置は、映像切替手段によって、所定の多視点映像を選択して単位時間毎の多視点映像である多視点画像を、メモリ上に定められた多視点画像配置領域の水平方向及び垂直方向に割り当てて複数の多視点画像からなる多視点画像群を生成する処理を時分割で繰り返し行う。
そして、要素画像群生成装置は、要素画像生成手段によって、前記多視点画像群から前記インテグラル方式の要素画像生成法によって要素画像を生成する処理を繰り返すことで前記要素画像群を生成する。
そして、要素画像群生成装置は、多視点映像記録転送手段によって、前記多視点映像補正手段の補正により生成された多視点映像を記録バッファに記録すると共に前記記録バッファから前記映像切替手段に転送する。
そして、要素画像群生成装置は、映像切替手段によって、前記多視点映像記録転送手段から転送される多視点映像に基づき、前記多視点画像配置領域の水平方向に対しては、前記視点合成処理手段により生成された水平成分の視点映像を割り当てると共に、前記多視点画像配置領域の垂直方向に対しては、同じ水平位置の視点映像を繰り返し割り当てることで前記多視点画像群を生成する処理を行うことを特徴とする。

また、本発明は、コンピュータを、前記要素画像群生成装置として機能させるための要素画像群生成プログラムで実現することもできる。

また、前記課題を解決するために、本発明に係るデジタル放送受信装置は、前記要素画像群生成装置と、前記表示パネルと、前記レンズアレイと、放送波を受信する放送受信手段と、通信ネットワークを介して外部との間で情報を送受信する通信手段と、を備えるデジタル放送受信装置であって、表示切替手段を備えることとした。

かかる構成によれば、デジタル放送受信装置は、表示切替手段によって、前記放送受信手段によって放送波から水平視差のみの多視点映像を受信するときに、当該放送受信した水平視差のみの多視点映像に基づいて生成した垂直視差の無いインテグラル立体像の表示と、前記放送波で受信する水平視差のみの多視点映像以外の多視点映像を前記通信手段によって前記通信ネットワークを介して受信して当該ネットワーク受信した多視点映像も併用して生成した水平視差及び垂直視差の両方を有するインテグラル立体像の表示と、を切り替える。

なお、水平視差及び垂直視差の両方を有するインテグラル立体像を生成するにあたり、前記放送波で受信する水平視差のみの多視点映像をＨＤＤ等の記録装置にあらかじめ録画し、録画された水平視差のみの多視点映像と、放送波の受信とは異なる時間において前記通信ネットワークを介して受信して当該ネットワーク受信した多視点映像とを併用しても良い。

本発明によれば、水平視差のみに対応している映像からインテグラル方式の要素画像群を生成することができる。したがって、本発明によれば、将来のテレビ放送で必要とされるインテグラル方式のディスプレイに表示できるような映像コンテンツの数を効率よく増加させることができる。

本発明の第１実施形態に係る要素画像群生成装置の構成を模式的に示すブロック図である。 図１の要素画像群生成装置の動作の説明図であって、（ａ）は入力映像の一例、（ｂ）は記録バッファの記憶構造の一例、（ｃ）は視点映像の割り当て例を示している。 図１の要素画像群生成装置の映像切替手段の動作の説明図であって、多視点画像群の一例の模式図である。 図１の要素画像群生成装置の要素画像生成手段の動作の説明図であって、要素画像群の一例の模式図である。 図１の要素画像群生成装置の動作の説明図であって、（ａ）〜（ｃ）は垂直成分の視点映像割当ての遷移の一例を示している。 視域の境目での立体像の見え方の一例を示す概念図である。 右目と左目の間に視域の境目が位置するときの様子を模式的に示す平面図である。 多視点映像中の視点映像が視域の境目で不連続に切り替わる様子を模式的に示すグラフである。 本発明の第２実施形態に係る要素画像群生成装置の構成を模式的に示すブロック図である。 図９の要素画像群生成装置によって仮想空間で要素画像を生成する手法の説明図であって、（ａ）は要素レンズを通過する光線毎の斜投影、（ｂ）は複数の要素レンズを通過する平行光を示している。 図９の要素画像群生成装置によって視域の境目で連続性を持たせるように多視点映像を選択して映像を差替える一例を模式的に示すグラフである。 図９の要素画像群生成装置によって視域の境目で連続性を持たせるように多視点映像を選択して映像を差替える他の例を模式的に示すグラフである。 本発明の実施形態に係るデジタル放送受信装置を含む放送通信連携システムを模式的に示す構成図である。 本発明の第３実施形態に係る要素画像群生成装置を含むデジタル放送受信装置を模式的に示すブロック図である。 従来のインテグラル方式の立体テレビカメラの構造を模式的に示す図である。

以下、図面を参照して本発明の要素画像群生成装置を実施するための形態（以下「実施形態」という）について詳細に説明する。

［１−１．要素画像群生成装置の構成］
図１に示す要素画像群生成装置１０は、立体映像を提示するためにインテグラル方式にとって必要な複数の要素画像である要素画像群を生成するものである。この要素画像群生成装置１０は、例えば一般的なコンピュータに組み込まれる要素画像群生成プログラム又コンピュータで構成され、モニタ（表示パネル）とレンズアレイとを併せて利用することで立体映像を提示することができる。あるいは、詳細は後記するが、図１４に示すように、例えばモニタ７０とレンズアレイ８０とを備えたデジタル放送受信装置３（インテグラル立体テレビ）として利用することもできる。

以下では、要素画像群生成装置１０は、一般的なコンピュータと同様な構成要素、すなわち、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等を備えていることとする。ここでは、要素画像群生成装置１０は、その機能を果たすために、図１に示すように、入力インタフェイス１１と、レンズアレイ情報記憶手段１２と、視点合成処理手段１３と、多視点映像補正手段１４と、多視点映像記録転送手段１５と、映像切替手段１６と、要素画像生成手段１７と、出力インタフェイス１８と、を備えている。

入力インタフェイス１１は、外部から入力映像Ｖを入力するための所定のインタフェイスである。入力映像Ｖは、例えば、ディスクドライブ装置、所定のケーブル等を用いた有線通信、無線通信、あるいは放送波等によって入力される。

入力映像Ｖは、動画であってもよいし静止画であってもよい。この入力映像Ｖは、例えば二眼方式、多眼方式、あるいはインテグラル方式等の視点映像の集合である多視点映像である。
ここで、視点映像は、ある１つの視点から被写体を見たときのカメラ映像又は仮想カメラの映像である。視点映像は、二眼方式では、両眼に対応した２つの視差映像のうちの１つである。多眼方式では、水平視差を有した視点映像が３つ以上、例えば８つの視差映像のうちの１つである。インテグラル方式では、視点映像は、水平及び垂直方向にそれぞれ複数存在している。例えば、縦横３×３視点、それ以上の視点、あるいは、下段が２視点：中段が３視点：上段が２視点である３段構成のカメラアレイや仮想カメラが想定される。

なお、ここでは、多視点とは２視点以上であるものとする。多視点映像というとき、上記３視点以上の視点数の視点映像があることを前提にしている立体表示方式の場合のほか、二眼方式であっても、視点合成処理をして視点数を増やした場合、多視点映像という。さらに、その立体表示方式、又は視点数を増やした系において空間上で想定している複数の多視点映像の組を、（同一フレームの）多視点映像群ともいう。

入力映像Ｖがインテグラル方式の多視点映像の場合、その入力映像Ｖは、水平視差及び垂直視差の両方を有している。入力映像Ｖが二眼方式の多視点映像（２つの視差映像）や多眼方式の多視点映像の場合、その入力映像Ｖは、水平視差のみを有している。
なお、視点映像や多視点映像に関して、記憶された画像やフレーム単位の画像等を特に指す場合、視点画像や多視点画像と呼ぶ場合もある。

レンズアレイ情報記憶手段１２は、レンズアレイ８０のレンズピッチの情報を含むレンズアレイ情報を記憶するものであり、例えば、半導体メモリ等の一般的な記憶媒体で構成することができる。レンズアレイ情報としては、レンズピッチのほか、例えば各レンズの中心の位置、レンズの大きさ、レンズの個数、レンズ配置パターン、仮想カメラの視点からレンズアレイ面までの距離等を挙げることができる。

視点合成処理手段１３は、視点間の水平視差のみに対応している複数視点のそれぞれの視点映像で構成された映像が入力されたときに、レンズアレイのレンズピッチの情報を含むレンズアレイ情報に基づいて当該水平視差を持った複数の視点映像から視点を合成し、入力映像Ｖよりも視点数を増加させた視点映像で構成された多視点映像を生成するものである。なお、増加させた後の合計の視点数についてはレンズアレイの情報（インテグラル方式の表示情報）を元に予め決めておくことができる。

本実施形態では、視点合成処理手段１３は、入力映像Ｖから視点合成の必要を判断することとした。この判定方法としては、例えば、入力映像Ｖの同一フレームに含まれる視点映像の個数が、後段で生成する多視点映像群を構成する多視点映像の設定数に満たない場合、視点合成が必要であると判定すればよい。一例を挙げれば、多視点映像の設定数を、予めインテグラル方式の多視点映像の個数（例えば水平方向２０個×垂直方向２０個）の条件に設定しておき、入力映像Ｖの同一フレームに含まれる視点映像の個数が条件を満たせば、入力映像Ｖに視点合成処理は不要と判断し、条件を満たさなければ視点合成処理は必要と判断することができる。なお、上記判断は必須ではなく、視点合成処理手段１３に対して、予め視点合成が必要か否かの情報を与えてもよい。

そして、視点合成処理手段１３は、視点合成処理が不要の場合、すなわち入力映像Ｖがインテグラル方式の多視点映像の場合、視点合成をすることなく、処理を多視点映像補正手段１４に渡す。
一方、視点合成処理が必要の場合、すなわち入力映像Ｖが二眼方式や多眼方式の多視点映像の場合、視点合成処理手段１３は、二眼方式や多眼方式の映像コンテンツの元となる多視点画像からインテグラル方式の映像コンテンツの元となる多視点画像へ変換するために、水平視差を持った複数の映像を基に、レンズアレイの情報を参照して、視点合成を行って視点数を増やす。そして、生成した多視点映像を、多視点映像補正手段１４に出力する。

ここで、視点合成とは、入力映像Ｖの各視点映像の間に１つの補間映像を作成したり、各視点映像の間に複数の補間映像を作成したりする視点内挿の処理を行うことである。なお、視点数はレンズアレイの情報を元に決めればよい。視点内挿の処理としては例えばデプスマップを利用する方法などが知られており、これを利用することができる。なお、デプスマップを利用する方法については、例えば下記参考文献に記載されているので、ここでは説明を省略する。
（参考文献）ISO/IEC JTC1/SC29/WG11 MPEG2013/M31520

多視点映像補正手段１４は、視点合成処理手段１３により生成された多視点映像をインテグラル方式の要素画像生成法に適した投影方式の映像に補正するものである。インテグラル方式の要素画像生成法では、例えば斜投影で取得した画像をもとに要素画像を生成する。そこで、本実施形態では、一例として、視点内挿処理で視点数を増やした多視点映像の各視点映像を斜投影画像に変換する補正処理を施すこととした。

多視点映像補正手段１４は、斜投影処理手段１４１と、第１判定手段１４２と、を備えている。
斜投影処理手段１４１は、透視投影から平行投影の画像に変換する処理を行うものである。これは、二眼方式や多眼方式のコンテンツはカメラから取得した映像であるため通常は正射影であることが多いためである。
斜投影処理手段１４１は、視点合成処理手段１３で生成された多視点映像を、レンズピッチなどのレンズアレイ情報に基づいて、透視投影の画像から平行投影の画像に変換し、変換された映像信号を、多視点映像記録転送手段１５及び映像切替手段１６に送る。

第１判定手段１４２は、記録バッファ１５１を参照して、着目する多視点映像と、当該多視点映像に時間的に隣接するフレームの画像データ、又は空間的に隣接する画像データとを比較することで、当該要素画像群生成装置１０にフレーム毎に入力する、視点映像の集合である多視点映像に、当該映像を構成する視点映像の欠落があるか否か判定するものである。第１判定手段１４２は、比較の結果、着目する多視点映像のデータが存在しない場合、視点映像の欠落があると判定する。第１判定手段１４２は、欠落の有無の情報を多視点映像記録転送手段１５に通知する。なお、このような判定を行う理由は、要素画像群生成装置１０へ入力する入力映像Ｖのうち一部の情報が、要素画像群生成装置１０へ入力する前の伝送などにて欠落する虞があるからである。

多視点映像補正手段１４は、インテグラル方式の多視点映像が入力された場合、斜投影処理手段１４１による処理を行うことなく、第１判定手段１４２の処理を行った上で映像信号を、多視点映像記録転送手段１５及び映像切替手段１６に送る。

多視点映像記録転送手段１５は、多視点映像補正手段１４の補正により生成された多視点映像を記録バッファ１５１に記録する共に多視点映像を記録バッファ１５１から映像切替手段１６に転送するものである。
この多視点映像記録転送手段１５は、入力映像Ｖのうち二眼方式や多眼方式の映像コンテンツの元となる多視点映像については、多視点映像補正手段１４で補正処理が施された多視点映像を記録バッファ１５１に記録する。
本実施形態では、多視点映像記録転送手段１５は、記録バッファ１５１と、画像出力手段１５２と、補正手段１５３と、を備えることとした。

記録バッファ１５１は、多視点映像を記録するものであり、例えば、半導体メモリ等の一般的な記憶媒体で構成することができる。なお、記録バッファ１５１への多視点映像の記録は一時的なものである。
画像出力手段１５２は、記録バッファ１５１から多視点映像（多視点画像）を読み出して映像切替手段１６に出力するものである。
記録バッファ１５１と画像出力手段１５２との関係は、所謂スキップバックレコーダーのようなもので、多視点映像記録転送手段１５に対して時系列に入力される多視点映像を、記録バッファ１５１に一時的に記憶し、予め定められた時間だけ（例えば数秒）遅延させて多視点映像（多視点画像）を映像切替手段１６に出力する。

補正手段（第１補正手段）１５３は、視点映像に不具合がある場合、記録バッファ１５１に記憶された情報を用いて補正するものである。なお、補正された情報は画像出力手段１５２によって出力される。
本実施形態では、補正手段１５３は、第１判定手段１４２によって視点映像の欠落があると判定された場合、当該欠落箇所に対して時間的に隣接するフレームの画像データ、又は空間的に隣接する画像データを記録バッファ１５１から読み出して用いて当該欠落箇所の画像を補正する。例えば、補正手段１５３は、記録バッファ１５１上で、所定フレームにおいて欠落となっている視点画像が配置されるメモリ領域のデータ（ｎｕｌｌ）を、当該フレームに隣接する前のフレームの視点画像と後のフレームの視点画像とを用いて補間し生成した視点画像のデータで差し替える。

映像切替手段１６は、多視点映像補正手段１４又は多視点映像記録転送手段１５から送られる映像（所定の多視点映像）が入力され、要素画像生成手段１７に出力するものである。
映像切替手段１６は、多視点映像補正手段１４から送られる映像についてはそのまま要素画像生成手段１７に出力する。
映像切替手段１６は、多視点映像記録転送手段１５から送られる多視点映像を選択して単位時間毎の多視点映像である多視点画像を、メモリ上に定められた多視点画像配置領域の水平方向及び垂直方向に割り当てて複数の多視点画像からなる多視点画像群を生成する処理を時分割で繰り返し行う。

本実施形態では、映像切替手段１６は、多視点映像記録転送手段１５から転送される多視点映像に基づき、多視点画像配置領域の水平方向に対しては、視点合成処理手段１３により生成された水平成分の視点映像を割り当てると共に、多視点画像配置領域の垂直方向に対しては、同じ水平位置の視点映像を繰り返し割り当てることで多視点画像群を生成する処理を行う。なお、具体例については後記する。

要素画像生成手段１７は、多視点画像群からインテグラル方式の要素画像生成法によって要素画像を生成する処理を繰り返すことで要素画像群を生成するものである。インテグラル方式の要素画像生成法については、例えば斜投影によるインテグラル立体像の生成手法を用いることができる。この手法は、特開２０１２−８４１０５号公報に詳細に記載されているので、ここでは説明を省略する。

出力インタフェイス１８は、要素画像生成手段１７で生成された要素画像群を、例えば、液晶ディスプレイ等の表示パネル（モニタ７０）に出力したり、ハードディスクレコーダ等の蓄積手段に出力したりする。なお、表示パネル（モニタ７０）には、インテグラル方式のレンズアレイ８０が設置され、表示パネルが要素画像群を表示すると、立体像が再生される。

［１−２．要素画像群生成装置による処理の全体の流れ］
第１実施形態に係る要素画像群生成装置１０による処理の全体の流れについて図１を参照して説明する。

要素画像群生成装置１０の視点合成処理手段１３は、レンズアレイ情報記憶手段１２からのレンズピッチなどの情報を受けて、入力映像Ｖから、視点合成の必要を判断する。
視点合成処理手段１３は、判定の結果、視点合成が必要な場合、合成処理を行い、例えば、視点映像を作成後、多視点映像補正手段１４に映像を出力し、視点合成が不要な場合、合成処理をせずに、多視点映像補正手段１４に映像を出力する。視点合成処理手段１３は、入力映像Ｖが入力されている間、上記処理を順次繰り返す。

多視点映像補正手段１４は、視点合成処理手段１３で視点合成された映像を受けると、レンズアレイ情報記憶手段１２からレンズピッチなどの情報をもとに、視点合成された映像について、透視投影から平行投影に変換を行い、変換された映像信号を、多視点映像記録転送手段１５に送る。また、多視点映像補正手段１４は、視点合成が不要な映像を受けると、多視点映像記録転送手段１５及び映像切替手段１６に送る。さらに、多視点映像補正手段１４は、視点合成処理手段１３から映像を受けると、視点映像の欠落がないか否かを判定し、判定結果を多視点映像記録転送手段１５に通知する。多視点映像補正手段１４は、入力映像Ｖが入力されている間、上記処理を順次繰り返す。

多視点映像記録転送手段１５は、多視点映像補正手段１４から送られてきた映像を、記録バッファ１５１に記録すると共に、その映像を映像切替手段１６に送る。また、多視点映像記録転送手段１５は、多視点映像補正手段１４から、視点映像の欠落が通知された場合、記録バッファ１５１に記録したデータを用いて視点映像を補正してから映像切替手段１６に送る。多視点映像記録転送手段１５は、入力映像Ｖが入力されている間、上記処理を順次繰り返す。

映像切替手段１６は、多視点映像記録転送手段１５から多視点映像を受けると、時分割で多視点画像として配置し、多視点画像を繰り返し要素画像生成手段１７に出力する。映像切替手段１６は、入力映像Ｖが入力されている間、上記処理を順次繰り返す。また、映像切替手段１６は、多視点映像補正手段１４から受ける多視点映像と、多視点映像記録転送手段１５から受ける多視点映像とを切り替えて出力する。この映像切り替えは、要素画像群生成装置１０の操作者による指示操作により、動作を行う前等の所定のタイミングに切り替えればよい。

要素画像生成手段１７は、映像切替手段１６から受け取った多視点画像からインテグラル方式の要素画像生成法によって要素画像を生成する処理を繰り返すことで要素画像群を生成する。要素画像生成手段１７は、映像切替手段１６から多視点画像が入力している間、上記処理を順次繰り返す。

［１−３．入力映像がインテグラル方式の多視点映像の場合の処理の流れ］
この場合の要素画像群生成装置１０による処理の流れについて図２乃至図４を参照（適宜図１参照）して説明する。ここでは、一例として、９台のカメラを垂直方向に３行、水平方向に３列となるように並べたカメラアレイを用意して、円柱とその手前に配置された立方体とを被写体として撮影した３×３視点の映像を想定する。このときの入力映像の一例を図２（ａ）に示す。ここでは、カメラアレイの側から被写体を見たときに、左上（座標＝（１，１）；以下同様）、正面上（１，２）、右上（１，３）、左中（２，１）、正面中（２，２）、右中（２，３）、左下（３，１）、正面下（３，２）、右下（３，３）のそれぞれに写った視点映像を入力映像Ｖ１〜Ｖ９とする。これら入力映像Ｖ１〜Ｖ９は、同じフレームの映像である。

インテグラル方式の多視点映像の場合、図２（ａ）に示すように、多視点映像は、水平視差及び垂直視差の両方を有している。そこで、要素画像群生成装置１０は、視点合成や斜投影の処理を行わず、多視点映像記録転送手段１５は、図２（ｂ）に模式的に示すように、入力映像（多視点映像）Ｖ１〜Ｖ９を記録バッファ１５１に記録すると共に、その映像を映像切替手段１６に送る。そして、映像切替手段１６は、撮影に用いたカメラアレイのカメラ配置に対応させてメモリ上に形成された、図２（ｃ）に模式的に示す多視点画像配置領域６１の水平方向及び垂直方向の３行３列の領域に、入力映像（多視点映像）Ｖ１〜Ｖ９を並び変えながら割り当てる。

図３は、このときに映像切替手段１６がメモリ上で入力映像（多視点映像）Ｖ１〜Ｖ９を割り当てることで生成された多視点画像群６２の模式図である。要素画像生成手段１７は、映像切替手段１６から取得する多視点画像群６２から要素画像群を生成する。なお、その途中には後記する正規化要素画像を生成してもよい。

ここで、多視点画像群から要素画像を生成する方法について図３及び図４を参照して説明する。図４は、あるフレームに対応する、完成した要素画像群６３の一例の模式図である。図４に表示された太い実線で囲まれた６個の正方形は、要素画像群６３を構成する要素画像の一例である。各要素画像は３ピクセル×３ピクセルの要素画像で構成されている。図４の各要素画像において破線で区切られた領域は、図３に示す多視点画像群を構成する画素を示している。また、図４の各要素画像において被写体の絵の代わりに記入された数字は、図３に示す多視点画像群を構成する画素の位置を表している。

図３の多視点画像群６２において、左上（１，１）に配置された多視点画像の一部の矩形領域を拡大して示すように、当該矩形領域には、２ピクセル×３ピクセルの画素が配置されている。この拡大した矩形領域において被写体の絵の代わりに記入された数字は、当該矩形領域における画素の位置を表している。多視点画像群６２において、その他の多視点画像についても同様なので詳細な説明は省略する。

要素画像生成手段１７は、多視点画像群６２を構成する各多視点画像から互いに同じ座標位置にある画素を集めることで、１つの要素画像を生成する。具体的には、図３の各多視点画像の矩形領域の左上に配置された画素を、多視点画像群６２の全体の配置を保ったまま集積すると、図４の要素画像群６３を構成する左上隅の要素画像を生成することができる。他の要素画像も同様に生成することができる。

［１−４．入力映像が多眼方式の多視点映像の場合の処理の流れ］
この場合の要素画像群生成装置１０による処理の流れについて図５を参照（適宜図１乃至図４参照）して説明する。ここでは、前提として、仮にインテグラル方式であれば例えば６×６視点の映像を用いるような場合を想定する。すなわち、要素画像群生成装置１０の映像切替手段１６は、図５（ａ）に模式的に示すように多視点画像配置領域６４の水平方向及び垂直方向の６行６列の領域に、入力映像（多視点映像）を並び変えながら割り当てることになる。なお、視点数はレンズアレイの情報を元に決めればよい。

この前提の下、多眼方式の撮影のために水平方向に３台のカメラを用意して、円柱とその手前に配置された立方体とを被写体として撮影した３視点の映像を想定する。ここで、これら多視点映像を、左の映像（１，１）、中央の映像（１，３）、右の映像（１，６）と呼ぶ。この場合、要素画像群生成装置１０の視点合成処理手段１３は、例えば次のように視点数を増やす。左の映像（１，１）と中央の映像（１，３）との間の中点に内挿により映像（１，２）を生成する。また、中央の映像（１，３）と右の映像（１，６）と間の２箇所に例えば線形補間により映像（１，４）と映像（１，５）を生成する。以上の視点合成により生成された、合計６視点の多視点映像群は、多視点映像補正手段１４によって、透視投影の画像から平行投影の画像に変換される。そして、多視点映像記録転送手段１５は、多視点映像補正手段１４で補正処理が施された多視点映像を記録バッファ１５１に一時的に記録する。

そして、映像切替手段１６は、レンズアレイの情報で決められる視点数（ここでは６×６）に対応させてメモリ上に形成された、図５（ａ）に模式的に示す多視点画像配置領域６４の水平方向及び垂直方向の６行６列の領域に、多視点映像を並び変えながら割り当てる。このとき、要素画像群生成装置１０は、要素画像を生成する際に、水平成分の視点映像については、視点合成により既に生成しているため、映像切替手段１６は、図５（ｂ）に示すように容易に割り当てることができる。ただし、多眼方式の視点映像の場合、そもそも視点映像は水平視差のみの映像であり、垂直成分の視点映像はそれぞれの水平成分で１点しかないため正確な視点内挿も難しい。仮に図５（ｂ）の多視点画像群６５をもとにした場合、要素画像生成手段１７は、図３及び図４を参照して説明した方法では要素画像群を生成できないことになる。

しかしながら、要素画像群生成装置１０では、水平視差のみの視点映像については、映像切替手段１６は、記録バッファ１５１に記録してある同じ映像を垂直成分の視点映像として割り当てる。こうして図５（ｃ）に模式的に示す多視点画像群６５が生成される。これにより、要素画像生成手段１７は、図３及び図４を参照して説明した方法によって要素画像群を生成することができる。

以上説明したように、本実施形態に係る要素画像群生成装置１０は、二眼方式や多眼方式のコンテンツのように水平視差を持った視点映像を基に視点合成を行い、その画像をインテグラル方式の斜投影による要素画像生成法に適した画像に補正処理を行った上で、記録バッファ１５１に一時的に保存し、保存された映像を割り当てて要素画像を生成する。ここで、垂直成分の映像の割り当てについては同じ水平位置の視点映像を繰り返し使用している。

したがって、要素画像群生成装置１０によれば、水平視差映像にのみ対応している映像コンテンツをインテグラル立体用ディスプレイで表示することができる。要するに、二眼方式や多眼方式の映像コンテンツをインテグラル方式のディスプレイに表示することが可能となる。その結果、インテグラル方式のディスプレイに表示できる映像コンテンツの数を効率よく増加させることができる。

また、要素画像群生成装置１０は、記録バッファ１５１を備えており、これをスキップバックレコーダーのように利用することで、入力映像Ｖのうち、要素画像群生成装置１０へ入力する前の伝送などにて多視点映像の一部の情報（視点映像）が欠落した場合であってもその視点映像を補間して生成することができる。

（第２実施形態）
第２実施形態に係る要素画像群生成装置は、第１実施形態に係る要素画像群生成装置の構成に加えて、より自然な立体像を表示する機能を付加したものである。装置構成を説明する前に、この付加機能の背景及び解決しようとする課題について詳細に説明する。

将来の立体テレビ用の表示方式として、個人視聴者宅での視聴形態以外にも、例えば人々が通行する場所に、平面ディスプレイやプロジェクタなどを用いたデジタル・サイネージを設置して、立体映像を表示することも期待されている。インテグラル方式による立体像を正しく見ることができる範囲を視域という。視域は要素画像が要素レンズによって投影される角度に相当し、要素レンズの焦点距離と要素画像サイズに関係している。インテグラル方式による立体像を表示したモニタの前を観測者が横切りながらモニタを見ると二重像が見えてしまうことがある（図６参照）。

ここで、二重像が発生する主な理由として考えられる２つの原因について図６及び図７を参照して説明する。図６は、立体像の見え方の一例を示す概念図であり、図７は、右目と左目の間に視域の境目が位置するときの様子を模式的に示す平面図である。図７の説明図の前提をいくつか説明する。

モニタ（表示パネル）７０には、水平方向（図７において上下方向）に、例えば８個の要素画像の部分が表示されている。モニタ７０の前（図７において右）には、所定距離だけ離間してレンズアレイ８０が配置されている。ここでは、水平方向に例えば８個の要素レンズ８１が所定のレンズピッチで配置されている部分が記載されている。また、１つの視域には、一例として水平方向に左（図７において下）から視点１〜視点１１の１１個の視点映像が連続的に観測できるようになっている。１つの視域の左右には、隣の視域が存在している。図示した状態では、観測者の左目の位置は視域内の視点１１の近傍にあり、観測者の右目の位置は、その右隣の視域内の視点１の近傍にある。つまり、観測者の右目と左目の間には２つの視域の境目が位置している。なお、要素画像７１、要素レンズ８１及び視域についての観測者にとっての水平方向の関係は、観測者にとっての上下方向（紙面に垂直な方向）においても同様に成り立っている。

二重像が発生する１つ目の原因は、図６及び図７に示すように、右目と左目の間に視域の境目が位置することであり、そのタイミングでは右目と左目とで異なる視域の映像が観測されるため、観測者には二重像が視認される。つまり、図６のように視域の境目をまたいで提示される２つの映像６７が同時に観測されるため、観測者にとって二重像６８となって視認される。視域は、立体像を表示するモニタやレンズ構造によって限られることから、例えばデジタル・サイネージのモニタの前を観測者が横切る時には、どうしてもインテグラル立体像の視域の境目を通過してしまう。そのため、ちょうど観測者の視点が視域の境目にあるときにモニタを見ると、右目と左目とで異なる視域の映像が観測されるため、二重像が見えてしまうことになる。そして、右目と左目に映る映像が異なっていれば異なっているほど二重像が二重に見える度合いがそれだけ大きくなってしまう。

次にもう１つの原因について図１０（ａ）を参照して説明する。図１０（ａ）の説明図の前提をいくつか説明する。ここでは仮想空間（ＣＧ空間）を想定している。この仮想空間にはレンズアレイ１８０が配置されている。ここでは、水平方向（図１０（ａ）において上下方向）に例えば２個の要素レンズ１８１が所定のレンズピッチで配置されている部分が記載されている。被写体１８２は、３次元ＣＧで作成されたものであり、被写体１８２の表面を構成する画素に所定の画素値（輝度値）が与えられている。この例では、図示しない観測者の視点は、図１０（ａ）において左側に位置しており、要素レンズ１８１の右側に要素画像が位置するものとしている。なお、水平方向の関係は垂直方向においても同様に成り立っているが、以下では水平方向の関係だけを用いて説明する。

インテグラル方式による要素画像の生成では、レンズピッチとモニタの画素ピッチが整数比になっていない場合、要素画像群生成処理の過程において、レンズピッチとモニタの画素ピッチとが整数比になるような正規化要素画像という大きな画像を、仮想空間上で一時的に生成する。なお、正規化要素画像については、例えば特開２０１２−８４１０５号公報に詳細に記載されているので、ここでは説明を省略する。
そして、最終的にモニタに表示される要素画像群は、この正規化要素画像を縮小することで求められている。そして、縮小するために、視域の境目での映像を構成する要素画像の端にある画素部分は、例えば右に隣接する要素画像の逆側の端にある画素との間で内挿処理が施される。

具体的には、例えば、図１０（ａ）において下に位置する要素レンズ１８１を介して生成される要素画像は、１１個の画素、すなわち、光線１ａ〜光線１１ａの照射先で表される。同様に、図１０（ａ）において上に位置する要素レンズ１８１を介して生成される要素画像は、１１個の画素、すなわち、光線１ｂ〜光線１１ｂの照射先で表される。そして、正規化要素画像を縮小するために、一方の要素画像の端の画素（光線１ａの先）と、他方の要素画像の端の画素（光線１１ｂの先）との間で内挿処理を施すと、その際に、図１０（ａ）に示された光線１ａから得られる映像の成分と、光線１１ｂから得られる映像の成分との両方を含むことになる。そのため、二重像が発生してしまう原因となる。

また、レンズピッチとモニタの画素ピッチとの関係によっては、視域の境目でワイプがかかったように視点が切り替わることがある。このワイプ発生時の立体像は、２つの視点映像が同時に表示されるため、ワイプ部分では立体像にずれが生じ、表示コンテンツによっては二重像のように見えてしまうことがある。

図７において観測者（右目、左目）の代わりにカメラを用い、このカメラで得られる視点映像が、視域の境目で不連続に切り替わる様子について図７及び図８を参照して説明する。図８において、横軸は観測位置を表し図７の説明図に対応しており、横軸の左側は観測位置も左であることを示し、横軸の右側は観測位置も右であることを示している。縦軸は、視点１〜視点１１に対応してカメラでそれぞれ得られる映像（視点映像ｎ；ｎ＝１〜１１）を示している。つまり、図８は、インテグラル方式のディスプレイ（図７のモニタ７０、レンズアレイ８０）を向いたカメラがディスプレイ面に対して平行であって左から右に移動したときに映る視点映像の切り替わりをグラフで示したものである。

図８では、横軸には約４つの視域に相当する観測位置を表示している。例えば、ディスプレイの視域角が約１０〜３０°程度となっている場合、ディスプレイの前を観測者（ここではカメラ）が横切るように移動すると、視域の境目が何度か発生する。図８に示すように、視域の境目では映像が不連続に切替わっている。

ここで、映像が連続であるとは、例えば視点映像６とそのすぐ左に隣接する視点映像５との関係、又は視点映像６とすぐ右に隣接する視点映像７との関係を意味する。また、視点映像６と例えば左へ１つ飛ばした視点映像４との関係や、視点映像６と例えば右へ２つ飛ばした視点映像８との関係は、ほぼ連続するとも言える。
そして、視域の両端においては、片側だけ２つの視点映像が連続することになる。図８の例の場合、例えば視点映像１はすぐ右に隣接する視点映像２との関係だけが連続であるといい、視点映像１１はすぐ左に隣接する視点映像１０との関係だけが連続であるという。したがって、図８の例の場合、視域の境目において、視点映像１１のすぐ右に視点映像１が観測されることは、視点映像が不連続に切り替わるというのである。

要するに、展示会などにおいて、展示に適したインテグラル立体コンテンツを空中浮遊させるディスプレイをデモンストレーションする表示の場合や、コンテンツ本来の魅力を引き出すために運動視差による表現を多く必要としないコンテンツの場合に、従来は観測位置と視点映像の関係が図８のように視域の境目で不連続になってしまうことがあった。

［２−１．要素画像群生成装置の構成］
図９に示す第２実施形態に係る要素画像群生成装置１０Ａにおいて、図１に示す要素画像群生成装置１０と同じ構成には同じ符号を付して説明を適宜省略する。
要素画像群生成装置１０Ａは、図９に示すように、入力インタフェイス１１と、レンズアレイ情報記憶手段１２と、視点合成処理手段１３と、多視点映像補正手段１４と、多視点映像記録転送手段１５と、映像切替手段１６Ａと、要素画像生成手段１７と、出力インタフェイス１８と、三次元モデル生成手段１９と、斜投影処理手段２０とを備えている。

三次元モデル生成手段１９は、三次元スキャナの入力信号又は、３以上の複数視点のそれぞれの視点映像の集合である多視点映像で構成された入力映像Ｖ、を受けてＣＧ上で三次元モデルを生成するものである。三次元モデルの生成方法は、本発明では特に限定されないため、ここでは説明を省略する。なお、例えば特開２０１２−８４１０５号公報及び当該公報記載の先行文献に詳細に記載されている。

本実施形態では、三次元モデル生成手段１９は、第２判定手段１９１を備えている。
第２判定手段１９１は、生成された三次元モデルにおいて被写体の重なり等のオクルージョンが発生しているか否かを判定するものである。第２判定手段１９１は、オクルージョンが発生しているか否かを多視点映像記録転送手段１５に通知する。
ここでの判定方法は特に限定されないが、例えば、前フレームに表示されている被写体（３次元ＣＧ）の領域の形状情報と、現時点での当該被写体（３次元ＣＧ）の領域の形状情報とを比較し、その変化量が予め設定されている閾値よりも大きくなったときにオクルージョンが発生したと判断し、それ以外はオクルージョンが発生していないと判断すればよい。ここで、被写体（３次元ＣＧ）の領域の形状情報としては、例えば、被写体（３次元ＣＧ）の領域の囲む外接矩形の面積等を用いることができる。

本実施形態では、多視点映像記録転送手段１５の補正手段１５３は、第１実施形態で説明した機能（第１補正手段の機能）に加えて次の機能（第２補正手段の機能）を有する。すなわち、補正手段１５３は、第２判定手段１９１でオクルージョンが発生していると判定した場合、オクルージョンが発生している三次元モデルを投影して生成されたオクルージョンが発生している視点映像に対して時間的に隣接するフレームの画像データ、又は空間的に隣接する画像データを記録バッファ１５１から読み出して用いて当該オクルージョンが発生している視点映像を補正することとした。

斜投影処理手段２０は、インテグラル方式の要素画像生成法において斜投影で取得した画像を用いているので、レンズアレイ情報に基づいて、平行投影による手法を用いて任意の視点から三次元モデルを投影して多視点映像を生成するものである。

ここで、斜投影による要素画像の生成手法について図１０（ｂ）を参照して簡単に説明する。図１０（ｂ）の説明図の前提は図１０（ａ）と概ね同様であり、仮想空間内に、基準となるレンズアレイ１８０を配置する際には、被写体の３次元モデルをレンズアレイ１８０付近に配置する。図１０（ｂ）では、要素レンズ１８１の光軸を破線で示している。

この例では、図示しない観測者の視点は、図１０（ｂ）において左側に位置しているものとしている、そして、３次元モデルである被写体１８２は、レンズアレイ１８０の手前（図１０（ｂ）において左）に配置されており、他の３次元モデルである被写体１８３は、レンズアレイ１８０の手前と奥（図１０（ｂ）において右）とをまたぐように配置されている。なお、３次元モデルはレンズアレイ１８０の奥に配置してもよい。

要素画像群の表示面（仮想ディスプレイ）１８４は、レンズアレイ１８０から、レンズアレイ１８０の焦点距離だけ（図１０（ｂ）において右に）離した位置に設置される。
例えば、斜投影による要素画像の生成手法では、図１０（ｂ）に示すように、要素レンズ１８１の中心を通過する光線の方向、すなわち要素レンズ１８１の光軸の向きから角度θだけ傾いた方向に着目し、その光線の方向から要素画像内の画素位置を求めることができ、また、その光線の強度から画素値を求めることができる。さらに、図１０（ｂ）の斜投影による方法を、図１０（ａ）に示された光線１ａ〜光線１１ａのように光線の角度毎に繰り返すことで、要素画像の全画素値を求めることできる。

言い換えて要素画像群の表示面１８４上の画素の側から説明すると、当該画素とその画素から最近傍の要素レンズ１８１の中心（光学主点）とを結ぶ直線（図１０（ａ）の光線）を想定し、この直線と対象の３次元モデルとが交差する交点のうち、最も視点に近い交点の画素値を、要素画像の画素に付与する。そして、この処理を全ての画素について実行すると、要素画像群を生成することができる。

多視点映像記録転送手段１５は、三次元モデルを投影して生成された多視点映像を記録バッファ１５１に一時的に記録する機能も有している。
映像切替手段１６Ａは、三次元モデルを投影して生成された多視点映像、視点合成処理手段１３で生成された多視点映像、多視点映像補正手段１４の補正により生成された多視点映像、記録バッファ１５１に記録した多視点映像のうちのいずれか１つを選択して出力することを時分割で繰り返し行う。これらの映像切り替えは、要素画像群生成装置１０Ａの操作者による指示操作により、動作を行う前等の所定のタイミングに切り替えればよい。

映像切替手段１６Ａは、多視点映像記録転送手段１５から転送される多視点映像を選択する際、つまり、多視点画像を要素画像生成手段１７に出力する際に、次の（第１のケース）、（第２のケース）もしくは（第３のケース）のようにして多視点映像を選択する。なお、ここで、図３及び図４を参照（適宜図９参照）して要素画像の画素の位置について補足的に例示しながら説明する。

（第１のケース）
映像切替手段１６Ａは、後段の要素画像生成手段１７が、図４の例えば左上の要素画像を生成する際に、当該要素画像の左端（例えば図３の画素位置１１）と右端（例えば図３の画素位置３１）にそれぞれ位置する画素の各画素値が連続性のある値を持つような要素画像となるように、多視点映像を選択してメモリ上で割り当て多視点画像群を生成する（図３参照）。

（第２のケース）
映像切替手段１６Ａは、後段の要素画像生成手段１７が、図４の例えば左上の要素画像を生成する際に、当該要素画像の上端（例えば図３の画素位置１１）と下端（例えば図３の画素位置７１）にそれぞれ位置する画素の各画素値が連続性のある値を持つような要素画像となるように、多視点映像を選択してメモリ上で割り当て多視点画像群を生成する（図３参照）。

（第３のケース）
映像切替手段１６Ａは、後段の要素画像生成手段１７が、図４の例えば左上の要素画像を生成する際に、当該要素画像の上下左右のうちのいずれか３つの端部として、例えば上端（例えば図３の画素位置１１）と、下端（例えば図３の画素位置７１）と、上端に対する右端（例えば図３の画素位置３１）と、にそれぞれ位置する画素の各画素値が連続性のある値を持つような要素画像となるように、多視点映像を選択してメモリ上で割り当て多視点画像群を生成する（図３参照）。

映像切替手段１６Ａのこれらの機能は、第１実施形態に係る要素画像群生成装置１０の構成に対して、より自然な立体像を表示するために付加した機能である。なお、この付加機能の具体例については、後記する。

［２−２．要素画像群生成装置による処理の全体の流れ］
第２実施形態に係る要素画像群生成装置１０Ａによる処理の全体の流れについて、図９を参照して第１実施形態との重複を除いて説明する。第１実施形態では、多視点映像からの要素画像生成例を説明したが、ここでは、３次元モデルから要素画像を生成する処理について説明する。

要素画像群生成装置１０Ａの三次元モデル生成手段１９は、３次元スキャナの入力信号Ｓや多視点映像などの入力映像Ｖが入力されると、３次元モデルを生成する。そして、斜投影処理手段２０は、レンズアレイ情報記憶手段１２からレンズピッチなどの情報を受け、生成された３次元モデルに対してある視点からの斜投影を行い、斜投影によって得られた視点画像を映像切替手段１６と多視点映像記録転送手段１５に出力する。

そして、多視点映像記録転送手段１５の記録バッファ１５１では一時的に視点映像の集合である多視点映像を記録する。そして、映像切替手段１６Ａは、三次元モデルにおいてオクルージョンの発生がなければ、多視点映像をそのまま要素画像生成手段１７に出力する。一方、オクルージョンが発生していた場合、多視点映像記録転送手段１５では、記録バッファ１５１から呼び出した隣接するフレームからの視点画像などと比較し映像を補正処理した上で要素画像生成手段１７に出力する。

［２−３．映像切替手段の付加機能の処理］
映像切替手段の付加機能の処理について、以下、図１０〜図１２を参照（適宜図７及び図８参照）して説明する。斜投影による要素画像の生成手法では、図１０（ｂ）に示すように、要素レンズ１８１の中心を通過する光線の方向、すなわち要素レンズ１８１の光軸の向きから角度θだけ傾いた方向に着目している。ここで、図１０（ａ）に示すように、光線１ａと、光線１ａの隣の要素レンズ１８１を通過する光線１ｂとは同じ向きとなり、視点１を平行投影したときの一部分と考えることができる。同様に、光線１１ａと光線１１ｂとは、視点１１を平行投影したときの一部分と考えることができる。

一方で、要素画像群生成装置１０Ａは、斜投影処理手段２０によって、平行投影による手法を用いて任意の視点（例えば上記視点１や視点１１）から三次元モデルを投影して多視点画像を生成している。そのため、多視点映像記録転送手段１５の記録バッファ１５１には、この例の上記の視点１から視点１１までの平行光の映像が一時的に記録されることになる。したがって、映像切替手段１６Ａは、記録バッファ１５１に記録された視点１から視点１１までの平行光の映像、すなわち、１１視点の多視点画像群の中から、必要な分だけ多視点画像を選択してメモリ上でその配置を並べ替えて割り当てることが可能である。

言い換えると、映像切替手段１６Ａは、記録バッファ１５１に記録された多視点画像が不連続にならないように映像を差替える処理を行うことができる。図１１は、連続性を持たせるように映像を差替えた場合のグラフである。図１１のグラフの見方は、図８のグラフと同様である。比較例となる図８のグラフの場合、前記したように、図７の水平方向の視域の１区切りに対応した視点１〜視点１１までの合計１１枚の多視点映像を順番に１１回分読み込むことを前提としたグラフを表している。これに対して、映像切替手段１６Ａは、図１１に示すように、視域の１区切りに対応して、多視点画像を「視点１→視点２→視点３→視点４→視点５→視点６→視点７→視点８→視点６→視点４→視点２」として読み込み要素画像を生成することとしている。

つまり、視域の１区切りに対応したすべての視点を用いているわけではないが、多視点映像が、連続又はほぼ連続するように合計１１回分読み込んでいる。これにより、一部の区間で、例えば「視点８→視点６」のように逆視になることもある。ただし、その代わりとして、視域の境目で右目と左目に入る映像の視差は、図８の場合には「視点１１→視点１」であったのに対して、図１１の場合には「視点２→視点１」のようになったので、視差を少なくする効果を奏する。加えて、この映像切替手段１６Ａの処理によれば、正規化要素画像から縮小して要素画像群を生成する際の要素画像両端の画素値の差分を小さくすることができ、結果的に二重像を低減できている。

図１２は、視域の境目での二重像を完全に消すことを目的として映像を差替えた場合のグラフである。図１２のグラフの見方は、図８のグラフと同様である。この場合、映像切替手段１６Ａは、図１２に示すように、多視点画像を、「視点４→視点５→視点６→視点７→視点８→視点９→視点８→視点７→視点６→視点５→視点４」として読み込み要素画像を生成する。つまり、視域の１区切りに対応した１１視点すべてを用いているわけではないが、多視点映像が連続するように合計１１回分読み込んでいる。

また、図１２のグラフにおいて、視域の境目に注目すると、視点映像４の次に同じ視点映像４が配置されることになる。このような配置も、視点映像の「連続」とみなすことができる。映像切替手段１６Ａが、このように多視点映像を選択してメモリ上で割り当て多視点画像群を生成することによって、例えば図４の要素画像を構成する画素群の中で両端に配置される画素の画素値（以下、単に、要素画像両端の画素値という）が、同じ視点映像（ここでは、視点映像４）を用いて生成されることになる。

図１２の場合も図１１と同様に一部の区間で逆視になるデメリットもあるが、右目と左目に映る視域差をほぼ連続的なものにすることができる効果を奏する。さらに、二重像の発生の２つ目の原因に正規化要素画像から要素画像群に縮小により生じるものがあるが、図１２の例では、要素画像両端の画素値を同じ値にすることで、二重像を消すことが可能になる。

以上説明したように本実施形態に係る要素画像群生成装置１０Ａによれば、比較例となる図８のグラフ中の視域の境目で例えば視点１から視点１１へと不連続に切り替わるようなことを避けるように、例えば視点１から視点１１までの映像を多視点映像記録転送手段１５の記録バッファ１５１に一時的に記録し、視域の境目で視点映像が連続的に切替わるように映像を差替える処理を行う。これにより、視域の境目の二重像を低減させている。

同様に、要素画像群生成装置１０Ａによれば、例えば視点１から視点１１までの平行光の映像を多視点映像記録転送手段１５の記録バッファ１５１に一時的に記録し、平行光の映像を適宜差し替えることで、２つ目の原因となる「レンズピッチとモニタの画素ピッチが整数比でないことから正規化要素画像を生成し更に正規化要素画像を縮小すること」によって生じる二重像についても低減することができる。

また、要素画像群生成装置１０Ａによれば、上記のような記録バッファ１５１を用いた差し替え処理によって、ワイプ発生時にワイプ部で発生する立体像のずれによる二重像も同様に低減することができる。
さらに、要素画像群生成装置１０Ａによれば、３次元モデルにオクルージョンが発生した場合であっても視点映像を補正して生成することができる。

（第３実施形態）
［３−１．放送通信連携システム]
本発明の実施形態に係るデジタル放送受信装置を含む放送通信連携システムについて図１３を参照して説明する。図１３に示すように、放送通信連携システム１は、サービス提供システム２と、デジタル放送受信装置３（３ａ，３ｂ）とを備える。視聴者は、デジタル放送受信装置３によって番組コンテンツを視聴する。以下、ユーザという場合、視聴者を指す。

サービス提供システム２は、所定のサービスとして通信ネットワークＮを用いた立体映像コンテンツを視聴者に提供するシステムであり、放送局で使用され映像コンテンツを放送するデジタル放送送信装置４と、放送コンテンツを補う通信コンテンツを提供するＷｅｂサーバ５とを備える。

放送局側のデジタル放送送信装置４及びＷｅｂサーバ５と、視聴者側のデジタル放送受信装置３は、例えば図１４に示すような機能ブロックで構成される。以下、各装置の構成の詳細について説明する。

［３−２．デジタル放送送信装置］
デジタル放送送信装置４は、番組コンテンツを放送するものであって、１サービスとして立体映像コンテンツを視聴者に提供する。このデジタル放送送信装置４は、コンテンツ記憶手段４１と、放送制御手段４２と、放送送出手段４３と、を備えている。

コンテンツ記憶手段４１は、デジタル放送の番組コンテンツやデータ放送コンテンツ等の各種コンテンツを記憶するものであって、ハードディスク等の記憶装置である。このコンテンツ記憶手段４１は、番組コンテンツとして、例えば水平視差及び垂直視差を有した多視点映像（映像コンテンツ）や、水平視差のみの視点映像の集合である多視点映像（映像コンテンツ）を記憶している。

放送制御手段４２は、コンテンツ記憶手段４１から、番組コンテンツ、データ放送コンテンツ等を読み出して、放送送出手段４３に出力するものである。なお、放送制御手段４２は、詳細な説明は省略するが、デジタル放送の限定受信システムに対応してコンテンツのスクランブル、鍵情報の暗号化等の各種の制御を行う。
放送送出手段４３は、放送制御手段４２から出力される番組コンテンツ、データ放送のデータ等を多重化して、データカルーセルで伝送（配信）するものである。

［３−３．Ｗｅｂサーバ］
Ｗｅｂサーバ５は、サービス事業者によって用意され、ＣＧＩ（Common Gateway Interface）やＰＨＰ（Hypertext Preprocessor）といったサーバである。なお、本実施形態では、放送局（放送事業者）がサービス事業者を兼ねている。

Ｗｅｂサーバ５は、例えば、ＣＰＵ（Central Processing Unit）等の演算装置と、メモリ、ハードディスク等の記憶装置（記憶手段）と、外部との各種情報の送受信を行うインタフェイス装置と、を備え、前記したハードウェア資源がプログラムによって制御されることにより実現され、図１４に示すように、コンテンツ記憶手段５１と、コンテンツ配信手段５２と、を備える。

コンテンツ記憶手段５１は、通信コンテンツを記憶するものであり、メモリやハードディスク等の記憶装置から構成される。ここでは、放送波Ｗで水平視差のみの視点映像の集合である多視点映像（映像コンテンツ）が提供されるときのその映像コンテンツの垂直視差のある視点映像の集合である多視点映像を通信コンテンツとして記憶する。
コンテンツ配信手段５２は、通信ネットワークＮに接続されたデジタル放送受信装置３ａに対して通信コンテンツを配信するものである。なお、放送波Ｗで伝送される映像コンテンツと、通信ネットワークＮで配信される映像コンテンツは、協定世界時刻（UTC：Coordinated Universal Time）をベースとした時刻を用いることにより、同期を取って再生することが可能である。また、コンテンツ配信手段５２はデジタル放送受信装置３の操作者の操作によるリクエストを受けることで、任意のタイミングにおいて映像コンテンツを配信する機能を持つ。

［３−４．デジタル放送受信装置］
デジタル放送受信装置３は、放送波Ｗ等により、番組コンテンツおよびデータ放送を受信するものである。ここでは、デジタル放送受信装置３は、放送受信手段３１と、ユーザ操作手段３２と、通信手段３３と、コンテンツ蓄積手段３４と、プログラム記憶手段３５と、受信制御手段３６と、モニタ７０と、レンズアレイ８０と、を備えている。そして、デジタル放送受信装置３は、セキュリティモジュールである個別情報記憶カード３７を装着されることで、デジタル放送の受信を可能としている。個別情報記憶カード３７は、例えば、Ｂ−ＣＡＳカードである。

放送受信手段３１は、デジタル放送送信装置４から送出されるデジタル放送を受信するチューナ等から構成され、個別情報記憶カード３７の装着時に受信したデジタル信号を受信制御手段３６に出力するものである。
ユーザ操作手段３２は、ユーザの操作により指定されるコマンドを受信制御手段３６に出力するものであり、例えば、リモコン装置等である。

通信手段３３は、通信ネットワークＮを介して外部との間で情報を送受信するものである。通信手段３３は、放送波Ｗで水平視差のみの視点映像の集合である多視点映像（映像コンテンツ）が提供されるときのその映像コンテンツの垂直視差の視点映像の集合である多視点映像をＷｅｂサーバ５から受信し、要素画像群生成装置１０Ｂに出力する。

コンテンツ蓄積手段３４は、放送受信手段３１で受信したデジタル放送番組等のコンテンツを記憶するものであり、ハードディスク等で構成される。
プログラム記憶手段３５は、受信制御手段３６等の動作プログラムやその処理結果等を記憶するものであり、メモリやハードディスク等で構成される。

受信制御手段３６は、放送受信手段３１や通信手段３３で受信したデジタル信号の再生・表示を制御するものである。ここでは、受信制御手段３６は、コンテンツ再生制御手段３６１と、表示制御手段３６２と、要素画像群生成装置１０Ｂと、を備えている。

コンテンツ再生制御手段３６１は、例えば放送波Ｗで受信した多重化されたデジタル信号から暗号化鍵情報やコンテンツ等を分離し、鍵情報を復号して、コンテンツをデスクランブルすることでコンテンツを再生する制御を行うものである。

表示制御手段３６２は、コンテンツ再生制御手段３６１で再生されたコンテンツをモニタ７０に表示させるものである。なお、表示制御手段３６２は、データ放送の電子文書であるＢＭＬを解析し、表示制御を行う。また、表示制御手段３６２は、ハイブリッドキャストのHTML5を解析し、番組の追加情報を表示してもよい。

要素画像群生成装置１０Ｂは、表示切替手段２１以外の構成は図９の要素画像群生成装置１０Ａと同様なものとしたので、詳細な説明は省略する。なお、要素画像群生成装置１０Ｂにおけるレンズアレイ情報記憶手段１２や記録バッファ１５１は、例えばプログラム記憶手段３５と兼用することとする。
当該デジタル放送受信装置３は、この要素画像群生成装置１０Ｂで生成された要素画像群からインテグラル方式の立体像を表示する。

表示切替手段２１は、垂直視差の無いインテグラル方式の立体像の表示と、水平視差及び垂直視差の両方を有するインテグラル方式の立体像の表示と、を切り替えるものである。ここでは、垂直視差の無いインテグラル方式の立体像を表示するモードを第１モード、水平視差及び垂直視差の両方を有するインテグラル方式の立体像を表示するモードを第２モードと呼ぶ。

第１モードでは、デジタル放送受信装置３は、放送受信手段３１によって放送波Ｗから水平視差のみの多視点映像を受信するときに、当該放送受信した水平視差のみの多視点映像に基づいて要素画像群生成装置１０Ｂで生成した垂直視差の無いインテグラル方式の立体像を表示する。

また、第２モードでは、デジタル放送受信装置３は、放送受信手段３１によって放送波Ｗから水平視差のみの多視点映像を受信するときに、それ以外の多視点映像を通信手段３３によって通信ネットワークＮを介して受信して当該ネットワーク受信した多視点映像と放送波Ｗから受信する多視点映像とを併用して要素画像群生成装置１０Ｂで生成された水平視差及び垂直視差の両方を有するインテグラル方式の立体像を表示する。

受信制御手段３６は、デジタル放送受信装置３に内蔵されたコンピュータを、前記した各手段として機能させる受信機プログラムにより動作させることで実現することができる。この受信機プログラムは、デジタル放送送信装置４からデータ放送を介して提供される。また、受信機プログラムのうちの一部である要素画像群生成プログラムは、コンピュータを、要素画像群生成装置１０Ｂとして機能させるためのプログラムである。

モニタ（表示パネル）７０は、受信制御手段３６の処理結果として復号されたデジタル放送番組、データ放送を画面上に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）等である。レンズアレイ８０は、インテグラル方式に適用できるレンズ群を備えていれば特に限定されない。

［３−５．要素画像群生成装置の動作］
第１モードでは、要素画像群生成装置１０Ｂは、第１実施形態の要素画像群生成装置１０と同様の動作を行う。
第２モードでは、要素画像群生成装置１０Ｂは、通信手段３３によって受信した通信コンテンツ（垂直視差のある視点映像の集合である多視点映像）を、多視点映像記録転送手段１５に出力する。なお、必要があれば、視点合成処理手段１３及び／又は多視点映像補正手段１４を経由してそれぞれの処理を行う。そして、要素画像群生成装置１０Ｂは、映像切替手段１６によって、記録バッファ１５１（プログラム記憶手段３５）に記録された、垂直視差のある視点映像と、同様に記録バッファ１５１に記録された、水平視差のみの視点映像とを併用して、例えば図２（ｃ）の多視点画像配置領域６１に割り当てる。そして、要素画像群生成装置１０Ｂは、要素画像生成手段１７によって、水平視差及び垂直視差のある多視点画像から要素画像を生成する。

以上説明したように、本実施形態によれば、将来のテレビ放送で必要とされるインテグラル方式のディスプレイに表示できるような映像コンテンツの数を効率よく増加させることができる。

以上、実施形態に基づいて本発明に係る要素画像群生成装置について説明したが、本発明はこれらに限定されるものではない。例えば、前記実施形態では、インテグラル方式の要素画像生成法として例えば斜投影で取得した画像をもとに要素画像を生成することとしたが、投影法は斜投影に限定されるものではない。
また、視点映像の欠落判定やオクルージョンの発生判定を行う手段は、実施形態に係る装置のブロック構成の位置に設けることに限定されず、また、第２実施形態では、２つの手段を集約して１つのブロック構成として配置してもよい。
また、第２実施形態では、補正手段１５３の機能を分けて、視点映像の欠落があるときに補正する第１補正手段と、オクルージョンが発生しているときに補正する第２補正手段とを備えるようにしてもよい。

また、図２の説明では、３×３視点の映像をカメラアレイで撮影してインテグラル方式の多視点映像を説明したが、視点数は、これに限定されるものではなく、例えば２０×２０視点や、それ以上であってもよい。
インテグラル方式の立体表示に用いるレンズアレイにおいて、要素レンズの配列は、縦横に揃った正方配列に限らず、ある１列の要素レンズの配列に対して垂直方向および水平方向それぞれに要素レンズをずらして俵積み状態になるように配列されたものでもよい。

図４の要素画像は正方形であるものとしたが、円形等の他の形状であってもよい。
また、要素画像の配列方向に対して傾けた方向にレンズ配列方向が向くようにレンズアレイ全体を傾けて配置してもよい。
また、レンズアレイは、図７に示した平面状に配列された凸レンズ群に限らず、他のレンズ群あるいはピンホール群を配設したものでもよい。

第３実施形態に係るデジタル放送受信装置３は、垂直視差の無いインテグラル方式の立体像の表示と、水平視差及び垂直視差の両方を有するインテグラル方式の立体像の表示と、を切り替えるために表示切替手段２１を備えることとしたが、デジタル放送受信装置３が自動で判定する構成を持っていてもよいし、又は、通信ネットワークＮから受信するデータに切り替えフラグを重畳しておいてこのフラグにより切り替えるようにしてもよい。

第３実施形態に係るデジタル放送受信装置３は、水平視差及び垂直視差の両方を有するインテグラル方式の立体像を表示するために、放送波Ｗから取得する情報と、通信ネットワークＮから取得する情報との両方を用いることとして説明したが、その表示のために必要な全ての情報を、通信ネットワークＮから取得してもよい。
同様に、水平視差及び垂直視差の両方を有するインテグラル方式の立体像の表示のために必要な全ての情報を放送波Ｗから取得してもよい。このようにした場合、図１３のデジタル放送受信装置３ｂのように、インターネットなどの通信ネットワークＮに接続されていなくてもよい。

１ 放送通信連携システム
２ サービス提供システム
３，３ａ，３ｂ デジタル放送受信装置
４ デジタル放送送信装置
５ Ｗｅｂサーバ
１０，１０Ａ，１０Ｂ 要素画像群生成装置
１１ 入力インタフェイス
１２ レンズアレイ情報記憶手段
１３ 視点合成処理手段
１４ 多視点映像補正手段
１４１ 斜投影処理手段
１４２ 第１判定手段
１５ 多視点映像記録転送手段
１５１ 記録バッファ
１５２ 画像出力手段
１５３ 補正手段（第１補正手段、第２補正手段）
１６ 映像切替手段
１７ 要素画像生成手段
１８ 出力インタフェイス
１９ 三次元モデル生成手段
１９１ 第２判定手段
２０ 斜投影処理手段
２１ 表示切替手段
３１ 放送受信手段
３２ ユーザ操作手段
３３ 通信手段
３４ コンテンツ蓄積手段
３５ プログラム記憶手段
３６ 受信制御手段
３６１ コンテンツ再生制御手段
３６２ 表示制御手段
３７ 個別情報記憶カード
４１ コンテンツ記憶手段
４２ 放送制御手段
４３ 放送送出手段
５１ コンテンツ記憶手段
５２ コンテンツ配信手段
６１，６４ 多視点画像配置領域
６２，６５，６６ 多視点画像群
６３ 要素画像群
７０ モニタ（表示パネル）
７１ 要素画像
８０，１８０ レンズアレイ
８１，１８１ 要素レンズ
１８２，１８３ 被写体（３次元ＣＧ）
１８４ 要素画像群の表示面（仮想ディスプレイ）

Claims (7)

1. レンズアレイを介して立体映像を提示するために表示パネルに表示するインテグラル方式の複数の要素画像である要素画像群を生成する要素画像群生成装置であって、
   視点間の水平視差のみに対応している複数視点のそれぞれの視点映像で構成された映像が入力されたときに、前記レンズアレイのレンズピッチの情報を含むレンズアレイ情報に基づいて当該水平視差を持った複数の視点映像から視点を合成し、前記入力された映像よりも視点数を増加させた視点映像で構成された多視点映像を生成する視点合成処理手段と、
   前記視点合成処理手段により生成された多視点映像をインテグラル方式の要素画像生成法に適した投影方式の映像に補正する多視点映像補正手段と、
   所定の多視点映像を選択して単位時間毎の多視点映像である多視点画像を、メモリ上に定められた多視点画像配置領域の水平方向及び垂直方向に割り当てて複数の多視点画像からなる多視点画像群を生成する処理を時分割で繰り返し行う映像切替手段と、
   前記多視点画像群から前記インテグラル方式の要素画像生成法によって要素画像を生成する処理を繰り返すことで前記要素画像群を生成する要素画像生成手段と、
   前記多視点映像補正手段の補正により生成された多視点映像を記録バッファに記録すると共に前記記録バッファから前記映像切替手段に転送する多視点映像記録転送手段と、を備え、
   前記映像切替手段は、
   前記多視点映像記録転送手段から転送される多視点映像に基づき、前記多視点画像配置領域の水平方向に対しては、前記視点合成処理手段により生成された水平成分の視点映像を割り当てると共に、前記多視点画像配置領域の垂直方向に対しては、同じ水平位置の視点映像を繰り返し割り当てることで前記多視点画像群を生成する処理を行うことを特徴とする要素画像群生成装置。
2. 前記映像切替手段は、
   前記多視点映像記録転送手段から転送される前記多視点映像を選択する際に、
   前記要素画像の左端と右端にそれぞれ位置する画素の各画素値、または、上端と下端にそれぞれ位置する画素の各画素値、もしくは、上下左右のうちのいずれか３つの端部にそれぞれ位置する画素の各画素値が、連続性のある値を持つような要素画像となるように、前記多視点映像を選択して前記要素画像生成手段に出力することを特徴とする請求項１に記載の要素画像群生成装置。
3. 前記記録バッファを参照して、着目する多視点映像と、当該多視点映像に時間的に隣接するフレームの画像データ、又は空間的に隣接する画像データとを比較することで、当該要素画像群生成装置にフレーム毎に入力する前記視点映像で構成された映像に、当該映像を構成する視点映像の欠落があるか否か判定する第１判定手段と、
   前記視点映像の欠落がある場合、当該欠落箇所に対して時間的に隣接するフレームの画像データ、又は空間的に隣接する画像データを前記記録バッファから読み出して用いて当該欠落箇所の画像を補正する第１補正手段と、
   を備えることを特徴とする請求項１又は請求項２に記載の要素画像群生成装置。
4. 三次元スキャナの入力信号又は３以上の複数視点のそれぞれの視点映像の集合である多視点映像で構成された入力映像を受けてＣＧ上で三次元モデルを生成する三次元モデル生成手段と、
   前記レンズアレイ情報に基づいて、平行投影による手法を用いて任意の視点から前記三次元モデルを投影して多視点映像を生成する投影処理手段と、を備え、
   前記多視点映像記録転送手段は、前記三次元モデルを投影して生成された多視点映像を前記記録バッファに記録し、
   前記映像切替手段は、
   前記三次元モデルを投影して生成された多視点映像、前記視点合成処理手段で生成された多視点映像、前記多視点映像補正手段の補正により生成された多視点映像、前記記録バッファに記録した多視点映像のうちのいずれか１つを選択して出力することを時分割で繰り返し行うことを特徴とする請求項１から請求項３のいずれか一項に記載の要素画像群生成装置。
5. 前記生成された三次元モデルにオクルージョンが発生しているか否かを判定する第２判定手段と、
   前記オクルージョンが発生している三次元モデルを投影して生成されたオクルージョンが発生している視点映像に対して時間的に隣接するフレームの画像データ、又は空間的に隣接する画像データを前記記録バッファから読み出して用いて当該オクルージョンが発生している視点映像を補正する第２補正手段と、
   を備えることを特徴とする請求項４に記載の要素画像群生成装置。
6. コンピュータを、請求項１から請求項５のいずれか一項に記載の要素画像群生成装置として機能させるための要素画像群生成プログラム。
7. 請求項１から請求項５のいずれか一項に記載の要素画像群生成装置と、前記表示パネルと、前記レンズアレイと、放送波を受信する放送受信手段と、通信ネットワークを介して外部との間で情報を送受信する通信手段と、を備え、前記要素画像群生成装置で生成された要素画像群からインテグラル方式の立体像を表示するデジタル放送受信装置であって、
   前記放送受信手段によって放送波から水平視差のみの多視点映像を受信するときに、
   当該放送受信した水平視差のみの多視点映像に基づいて生成した垂直視差の無いインテグラル方式の立体像の表示と、
   前記放送波で受信する水平視差のみの多視点映像以外の多視点映像を前記通信手段によって前記通信ネットワークを介して受信して当該ネットワーク受信した多視点映像と放送波から受信する多視点映像とを併用して生成した水平視差及び垂直視差の両方を有するインテグラル方式の立体像の表示と、
   を切り替える表示切替手段を備えることを特徴とするデジタル放送受信装置。

Images