JP2017134244A

JP2017134244A - Display device

Info

Publication number: JP2017134244A
Application number: JP2016014112A
Authority: JP
Inventors: 橋川　広和; Hirokazu Hashikawa; 広和橋川
Original assignee: Pioneer Electronic Corp
Current assignee: Pioneer Corp
Priority date: 2016-01-28
Filing date: 2016-01-28
Publication date: 2017-08-03

Abstract

PROBLEM TO BE SOLVED: To provide a display device capable of display having a sense of depth without causing uncomfortable feeling even when a view point is shifted.SOLUTION: A display device 1 includes a screen 166 which displays a 2D image 176 generated based on a two-dimensional image having depth information for a display object, a screen 163 which is located being separated in a direction overlapping with the screen 166 and which displays a 2D image 173 generated based on the depth information for a specified range of the two-dimensional image, and a screen and a shutter driving device 172 which displays the 2D image 176 and the 2D image 173 at different times. A control unit displays the display object of the 2D image 176 and a display object of the 2D image 173 on the screens 166, 163 such that the objects overlap with each other .SELECTED DRAWING: Figure 6

Description

本発明は、画像等の映像を表示する表示装置に関する。 The present invention relates to a display device that displays an image such as an image.

従来から物体の奥行き感を表した表示（三次元表示或いは立体表示とも呼ばれる）を行う表示装置は、様々な方式が提案されている。例えば、特許文献１には、観察者から見て異なった奥行き位置にある複数の表示面に対して二次元像を生成し、生成された二次元像の輝度を表示面毎に各々独立に変化させて、生成された二次元像を複数の表示面に表示することで三次元の再現像を再構成することが記載されている。 Conventionally, various methods have been proposed for display devices that perform display (also referred to as three-dimensional display or three-dimensional display) representing the depth of an object. For example, in Patent Document 1, a two-dimensional image is generated for a plurality of display surfaces at different depth positions as viewed from an observer, and the luminance of the generated two-dimensional image is changed independently for each display surface. It is described that three-dimensional redevelopment is reconstructed by displaying the generated two-dimensional image on a plurality of display surfaces.

また、特許文献２には、分割領域ごとに透過状態又は散乱状態に切り替え可能なスクリーンを複数重ね、画像の深さ情報に応じた部分のスクリーンを散乱状態にすることで立体的に表示することが記載されている。 Further, in Patent Document 2, a plurality of screens that can be switched to a transmission state or a scattering state are overlapped for each divided region, and a portion of the screen corresponding to the depth information of the image is changed to a scattering state to display in three dimensions. Is described.

特許第３０２２５５８号公報Japanese Patent No. 3022558 特許第４３６７０２７号公報Japanese Patent No. 4367027

特許文献１に記載された方法の場合、観察者の視点から見た再現像の位置と奥行き情報から、再現像の輝度を変調し三次元物体を再現する原理であるため、観察者の視点が動いたり、あるいは観察者の近くにいる別の観察者が再現像を見た場合、観察像に明暗の斑が発生し、奥行き表示の再現が極めて困難になるという問題があった。 In the case of the method described in Patent Document 1, the principle of reproducing the three-dimensional object by modulating the re-development brightness from the position and depth information of the redevelopment viewed from the observer's viewpoint. When another observer who is moving or near the observer sees redevelopment, there is a problem that bright and dark spots appear in the observation image, and reproduction of the depth display becomes extremely difficult.

一方、特許文献２に記載された方法の場合、画像部分の背面には何も表示されていないので、視線を少しでもずらすと画像にスリットが入ったように見えてしまうという問題があった。 On the other hand, in the case of the method described in Patent Document 2, since nothing is displayed on the back of the image portion, there is a problem that the image looks like a slit when the line of sight is shifted even a little.

そこで、本発明は、上述した問題に鑑み、例えば、視点をずらしても違和感なく奥行き感を表した表示をすることができる表示装置を提供することを目的とする。 Therefore, in view of the above-described problems, an object of the present invention is to provide a display device that can display a sense of depth without discomfort even when the viewpoint is shifted.

上記課題を解決するために、請求項１に記載された発明は、表示対象物体の奥行情報を有する二次元画像に基づいて生成された第１画像を表示する第１表示部と、前記第１表示部と視線方向に重なるように離間して配置され、前記奥行情報が所定の範囲にあるものから生成された第２画像を表示する第２表示部と、前記第１画像と前記第２画像とを異なる時間に表示させる制御部と、を備え、前記制御部は、前記第１画像の前記表示対象物体と前記第２画像の前記表示対象物体とが重なるように表示させる、ことを特徴とする表示装置である。 In order to solve the above-described problem, the invention described in claim 1 includes a first display unit that displays a first image generated based on a two-dimensional image having depth information of a display target object, and the first display unit. A second display unit arranged to be separated from the display unit so as to overlap the line-of-sight direction, and displaying a second image generated from the depth information in a predetermined range; the first image and the second image; And a control unit that displays the display target object of the first image and the display target object of the second image so as to overlap each other. Display device.

請求項７に記載された発明は、表示対象物体を表示する表示装置の表示方法であって、第１表示部に前記表示対象物体の奥行情報を有する二次元画像に基づいて生成された第１画像を表示させる第１表示工程と、前記第１表示部と視線方向に重なるように離間して配置されている第２表示部に前記奥行情報が所定の範囲にあるものから生成された第２画像を表示させる第２表示工程と、前記第１画像と前記第２画像とを異なる時間に表示させる制御工程と、を含み、前記制御工程は、前記第１画像の前記表示対象物体と前記第２画像の前記表示対象物体とが重なるように表示させる、ことを特徴とする表示方法である。 The invention described in claim 7 is a display method of a display device for displaying a display target object, wherein the first display unit is generated based on a two-dimensional image having depth information of the display target object on a first display unit. A first display step of displaying an image, and a second display unit generated from the depth information in a predetermined range on a second display unit arranged to be separated from the first display unit in the line-of-sight direction. A second display step of displaying an image, and a control step of displaying the first image and the second image at different times, wherein the control step includes the display target object of the first image and the first The display method is characterized in that two images are displayed so as to overlap the display target object.

請求項８に記載された発明は、請求項７に記載の表示方法を、コンピュータにより実行させることを特徴とする表示プログラムである。 The invention described in claim 8 is a display program characterized by causing a computer to execute the display method according to claim 7.

請求項９に記載された発明は、請求項８に記載の表示プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体である。 The invention described in claim 9 is a computer-readable recording medium in which the display program according to claim 8 is stored.

本発明の一実施例にかかる表示装置の原理の説明図である。It is explanatory drawing of the principle of the display apparatus concerning one Example of this invention. 図１に示された説明図において三次元物体が表示面１０１上にある場合の図である。FIG. 2 is a diagram when a three-dimensional object is on the display surface 101 in the explanatory view shown in FIG. 1. 図１に示された説明図において三次元物体が表示面１０１と表示面１０２との間にある場合の図である。FIG. 2 is a diagram in the case where a three-dimensional object is between a display surface 101 and a display surface 102 in the explanatory view shown in FIG. 1. 図１に示された説明図において三次元物体が表示面１０１と表示面１０２との間にある場合の図である。FIG. 2 is a diagram in the case where a three-dimensional object is between a display surface 101 and a display surface 102 in the explanatory view shown in FIG. 1. 図１に示された説明図において三次元物体が表示面１０２上にある場合の図である。FIG. 2 is a diagram when a three-dimensional object is on the display surface 102 in the explanatory view shown in FIG. 1. 本発明の一実施例にかかる表示装置の具体例の構成を示した概略構成図である。It is the schematic block diagram which showed the structure of the specific example of the display apparatus concerning one Example of this invention. 図６に示されたスクリーンの模式的な断面図である。It is typical sectional drawing of the screen shown by FIG. 図６に示された映像送出装置から送出される画像の説明図である。It is explanatory drawing of the image sent from the video transmission apparatus shown by FIG. 図６に示された画像上下分割装置から出力される画像の説明図である。It is explanatory drawing of the image output from the image up-and-down division | segmentation apparatus shown by FIG. 図６に示された表示装置の動作のフローチャートである。It is a flowchart of operation | movement of the display apparatus shown by FIG. 図６に示された表示装置の動作のタイミングチャートの例である。7 is an example of a timing chart of the operation of the display device shown in FIG. 6. 本発明の他の具体例の構成を示した概略構成図である。It is the schematic block diagram which showed the structure of the other specific example of this invention. 本発明の他の具体例の構成を示した概略構成図である。It is the schematic block diagram which showed the structure of the other specific example of this invention.

以下、本発明の一実施形態にかかる表示装置を説明する。本発明の一実施形態にかかる表示装置は、表示対象物体の奥行情報を有する二次元画像である第１画像を表示する第１表示部と、第１表示部と視線方向に重なるように離間して配置され、奥行情報が所定の範囲にあるものから生成された第２画像を表示する第２表示部と、第１画像と第２画像とを異なる時間に表示させる制御部と、を備えている。そして、制御部は、第１画像の表示対象物体と第２画像の表示対象物体とが重なるように表示させている。このようにすることにより、例えば、第２表示部が第１表示部よりも手前側に配置されている場合は、表示対象物体のうち手前側に位置する部分を奥行情報に基づいて抜き出して第２画像とし、その部分が重なるように異なる時間に表示することができる。したがって、表示対象物体を立体的に表示させるとともに、視点をずらしても違和感なく奥行き感を表した表示をすることができる。 Hereinafter, a display device according to an embodiment of the present invention will be described. A display device according to an embodiment of the present invention includes a first display unit that displays a first image that is a two-dimensional image having depth information of a display target object, and a first display unit that is spaced apart from the first display unit in the line-of-sight direction. And a second display unit that displays the second image generated from the depth information within a predetermined range, and a control unit that displays the first image and the second image at different times. Yes. The control unit displays the first image display target object and the second image display target object so as to overlap each other. In this way, for example, when the second display unit is disposed on the near side of the first display unit, the portion located on the near side of the display target object is extracted based on the depth information. Two images can be displayed at different times so that the portions overlap. Therefore, it is possible to display the display target object in a three-dimensional manner and display a sense of depth without discomfort even when the viewpoint is shifted.

また、二次元画像を複数に分割した領域毎に付されている奥行情報に基づいて第１画像及び第２画像を生成する生成部を更に備える。このようにすることにより、表示する画像のうち奥行きを持たせる部分について第２画像として取り出すことができ、１つの二次元画像から立体表示をするための第１画像と第２画像とを容易に生成することができる。 In addition, the image forming apparatus further includes a generation unit that generates the first image and the second image based on the depth information assigned to each region obtained by dividing the two-dimensional image into a plurality of regions. By doing in this way, the part which gives depth among the images to display can be taken out as a 2nd image, and the 1st image and 2nd image for carrying out a stereoscopic display from one two-dimensional image can be made easy. Can be generated.

また、奥行情報が、二次元画像の画素毎に付されていてもよい。このようにすることにより、より細かい単位で第二画像の切り出し領域を指定することができる。 Moreover, depth information may be attached | subjected for every pixel of a two-dimensional image. In this way, it is possible to specify the cutout area of the second image in a finer unit.

また、生成部は、第１画像と前記第２画像とを左右に並べた画像として生成してもよい。このようにすることにより、第１画像と第２画像とを１つの画像に含めることができるので、第１画像と第２画像との同期が容易となる。 The generation unit may generate the first image and the second image as an image arranged side by side. By doing in this way, since a 1st image and a 2nd image can be included in one image, a synchronization with a 1st image and a 2nd image becomes easy.

また、第１表示部及び第２表示部は、光を透過する透過状態と透過状態よりも光の散乱が大きい散乱状態とに変化するスクリーンで構成されていてもよい。このようにすることにより、散乱状態時に第１画像や第２画像をそれぞれの表示部に表示させることができる。したがって、散乱状態を互いにずらすことで奥行き感を表した表示をすることができる。 Further, the first display unit and the second display unit may be configured by a screen that changes between a transmission state that transmits light and a scattering state in which light scattering is larger than the transmission state. By doing in this way, a 1st image and a 2nd image can be displayed on each display part at the time of a scattering state. Therefore, it is possible to display a sense of depth by shifting the scattering state from each other.

また、制御部は、第１表示部が散乱状態のときに第１画像を表示させ、第２表示部が散乱状態のときに第２画像を表示させる。このようにすることにより、重ねられるように離間して配置されている第１表示部と第２表示部に対して同じ側から第１画像及び第２画像の２つの画像を投影することができる。 In addition, the control unit displays the first image when the first display unit is in the scattering state, and displays the second image when the second display unit is in the scattering state. By doing in this way, it is possible to project the two images of the first image and the second image from the same side with respect to the first display unit and the second display unit that are arranged so as to be overlapped with each other. .

また、本発明の一実施形態にかかる表示方法は、第１表示部に表示対象物体の奥行情報を有する二次元画像に基づいて生成された第１画像を表示させる第１表示工程と、第１表示部と視線方向に重なるように離間して配置されている第２表示部に奥行情報が所定の範囲にあるものから生成された第２画像を表示させる第２表示工程と、第１画像と第２画像とを異なる時間に表示させる制御工程と、を含んでいる。そして、制御工程は、第１画像の表示対象物体と第２画像の表示対象物体とが重なるように表示させる。このようにすることにより、例えば、第２表示部が第１表示部よりも手前側に配置されている場合は、表示対象物体のうち手前側に位置する部分を奥行情報に基づいて抜き出して第２画像とし、その部分が重なるように異なる時間に表示することができる。したがって、表示対象物体を立体的に表示させるとともに、視点をずらしても違和感なく奥行き感を表した表示をすることができる。 A display method according to an embodiment of the present invention includes a first display step of displaying a first image generated based on a two-dimensional image having depth information of a display target object on a first display unit; A second display step of displaying a second image generated from the depth information in a predetermined range on a second display unit arranged to be separated from the display unit so as to overlap the line-of-sight direction; And a control step of displaying the second image at different times. In the control step, the display target object of the first image and the display target object of the second image are displayed so as to overlap each other. In this way, for example, when the second display unit is disposed on the near side of the first display unit, the portion located on the near side of the display target object is extracted based on the depth information. Two images can be displayed at different times so that the portions overlap. Therefore, it is possible to display the display target object in a three-dimensional manner and display a sense of depth without discomfort even when the viewpoint is shifted.

また、上述した表示方法をコンピュータにより実行させる表示プログラムとしてもよい。このようにすることにより、コンピュータを利用して表示対象物体のうち手前側に位置する部分を奥行情報に基づいて抜き出して第２画像とし、その部分が重なるように異なる時間に表示することができる。したがって、表示対象物体を立体的に表示させるとともに、視点をずらしても違和感なく奥行き感を表した表示をすることができる。 Moreover, it is good also as a display program which performs the display method mentioned above by computer. By doing in this way, it is possible to extract a portion located on the near side of the display target object using the computer based on the depth information to be a second image and display it at different times so that the portions overlap. . Therefore, it is possible to display the display target object in a three-dimensional manner and display a sense of depth without discomfort even when the viewpoint is shifted.

また、上述した表示プログラムをコンピュータ読み取り可能な記録媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。 Further, the display program described above may be stored in a computer-readable recording medium. In this way, the program can be distributed as a single unit in addition to being incorporated in the device, and version upgrades can be easily performed.

本発明の一実施例にかかる表示装置１を有する表示システム１００を図１乃至図５を参照して説明する。図１乃至５は、本実施例にかかる表示装置１における立体表示の原理を説明する図である。 A display system 100 having a display device 1 according to an embodiment of the present invention will be described with reference to FIGS. 1 to 5 are diagrams for explaining the principle of stereoscopic display in the display device 1 according to the present embodiment.

図１に示すように、観察者１０の前面に複数の表示面１０１、１０２を設置し、これらの表示面１０１、１０２にそれぞれ二次元像を例えばプロジェクタを用いて表示する。ここで、表示面１０１は、表示面１０２よりも観察者１０側に配置されており、表示面１０１と表示面１０２とは所定の距離だけ離間している。なお、離間させる距離は立体表示として視認させる範囲等に応じて適宜設定される。図１の場合、表示面１０１が第２表示部、表示面１０２が第１表示部となる。 As shown in FIG. 1, a plurality of display surfaces 101 and 102 are installed in front of the observer 10, and a two-dimensional image is displayed on each of these display surfaces 101 and 102 using, for example, a projector. Here, the display surface 101 is disposed closer to the viewer 10 than the display surface 102, and the display surface 101 and the display surface 102 are separated by a predetermined distance. Note that the distance to be separated is appropriately set according to the range to be visually recognized as a stereoscopic display. In the case of FIG. 1, the display surface 101 is a second display unit, and the display surface 102 is a first display unit.

また、少なくとも観察者側に配置される表示面１０１は、画像を表示させる状態と、光を透過する透過状態とが切り替え可能となっており、表示面１０１を透過して表示面１０２に表示された画像が視認可能となっている。 Further, at least the display surface 101 arranged on the viewer side can switch between a state in which an image is displayed and a transmission state in which light is transmitted, and the display surface 101 is transmitted through the display surface 101 and displayed on the display surface 102. The image is visible.

次に、図２に示すように、観察者１０に提示したい三次元物体１０４（表示対象物体；ケーキ）を、観察者１０の視線方向から、表示面１０１、１０２へ射影した像である２Ｄ（二次元）化像１０５、１０６を生成する。この２Ｄ化像１０５、１０６の生成方法としては、例えば、視線方向から三次元物体１０４をカメラで撮影した二次元像を用いる方法、また別の方向から撮影した複数枚の二次元像から合成する方法、あるいはコンピュータグラフィックによる合成技術やモデル化を用いる方法など種々の方法が挙げられる。 Next, as illustrated in FIG. 2, 2D (2D) is an image obtained by projecting a three-dimensional object 104 (display target object; cake) to be presented to the viewer 10 onto the display surfaces 101 and 102 from the viewing direction of the viewer 10. Two-dimensional) images 105 and 106 are generated. As a method of generating the 2D images 105 and 106, for example, a method using a two-dimensional image obtained by photographing the three-dimensional object 104 with a camera from the line-of-sight direction, or a combination of a plurality of two-dimensional images taken from different directions. Various methods such as a method, a computer graphic synthesis technique, and a method using modeling may be used.

２Ｄ化像１０５、１０６は、それぞれ、表示面１０１と表示面１０２に、観察者１０から見て重なるように交互に表示する。これは、例えば、２Ｄ化像１０５、１０６の各々の中心位置の平行移動と、各々の像の拡大・縮小などの相似変形を行うことで可能となる。また、交互に表示する際には、２Ｄ化像１０６を表示しているときは表示面１０１は透過状態となっている。 The 2D images 105 and 106 are alternately displayed on the display surface 101 and the display surface 102 so as to overlap each other when viewed from the observer 10. This can be achieved, for example, by performing parallel movement of the center position of each of the 2D images 105 and 106 and similar deformation such as enlargement / reduction of each image. Moreover, when displaying alternately, when the 2D image 106 is displayed, the display surface 101 is in a transmissive state.

ここで、観察者１０に近い表示面１０１に表示させる２Ｄ化像１０５は、その表示領域を、三次元物体１０４の奥行きに対応した奥行情報に対応して決定する。奥行情報は、三次元物体１０４を撮影等して得られた二次元画像に付加される情報である。例えば、図２に示すように、三次元物体１０４が表示面１０１上（近傍）にあるように表示装置１に表示したい場合には、表示面１０１に表示する２Ｄ化像１０５は三次元物体１０４の全体を表示し、表示面１０２に表示する２Ｄ化像１０６も三次元物体１０４の全体を表示する。 Here, the 2D image 105 displayed on the display surface 101 close to the observer 10 determines the display area corresponding to the depth information corresponding to the depth of the three-dimensional object 104. The depth information is information added to a two-dimensional image obtained by photographing the three-dimensional object 104 or the like. For example, as shown in FIG. 2, when it is desired to display the 3D object 104 on the display device 1 so as to be on (near) the display surface 101, the 2D image 105 displayed on the display surface 101 is the 3D object 104. The 2D image 106 displayed on the display surface 102 also displays the entire 3D object 104.

次に、図３に示すように、三次元物体１０４が観察者１０より少し遠ざかって表示面１０１より表示面１０２側に少し寄った位置にある場合には、２Ｄ化像１０５のうち、奥行き位置の遠い部分（最も表示面１０２側に近い部分）にあたる領域を表示せず、奥行き位置の遠い部分より手前部分にあたる領域を表示し、２Ｄ化像１０６は三次元物体１０４の全体を表示する。即ち、２Ｄ化像１０５は、二次元画像のうち所定の範囲の奥行情報に基づいて生成された第２画像となり、２Ｄ化像１０６は、二次元画像に基づいて生成された第１画像となる。 Next, as illustrated in FIG. 3, when the three-dimensional object 104 is slightly away from the viewer 10 and is slightly closer to the display surface 102 side than the display surface 101, the depth position of the 2D image 105 is displayed. The region corresponding to the farther part (the part closest to the display surface 102 side) is not displayed, but the area corresponding to the front part of the part far from the depth position is displayed, and the 2D image 106 displays the entire three-dimensional object 104. That is, the 2D image 105 is a second image generated based on depth information within a predetermined range in the two-dimensional image, and the 2D image 106 is a first image generated based on the two-dimensional image. .

さらに、図４に示すように、三次元物体１０４が観察者１０よりさらに遠ざかって表示面１０１より表示面１０２側にさらに近づいた位置にある場合には、２Ｄ化像１０５の内、奥行きの最も手前部分より遠い部分にあたる領域を表示せず、奥行きの最も手前部分にあたる領域のみを表示し、２Ｄ化像１０６は三次元物体１０４の全体を表示する。 Furthermore, as shown in FIG. 4, when the three-dimensional object 104 is further away from the viewer 10 and is closer to the display surface 102 than the display surface 101, the depth of the 2D image 105 is the highest. The region corresponding to the portion farther from the front portion is not displayed, but only the region corresponding to the front portion of the depth is displayed, and the 2D image 106 displays the entire three-dimensional object 104.

そして、三次元物体１０４が表示面１０２上にある場合には、図５に示すように、表示面１０１の２Ｄ化像１０５では表示対象物体を表示せず、表示面１０２にのみ三次元物体１０４の全体を２Ｄ化像１０６として表示する。 When the three-dimensional object 104 is on the display surface 102, as shown in FIG. 5, the display target object is not displayed in the 2D image 105 of the display surface 101, and the three-dimensional object 104 is displayed only on the display surface 102. Is displayed as a 2D image 106.

このように表示することにより、観察者１０の生理的あるいは心理的要因あるいは錯覚により、表示しているのが２Ｄ化像１０５、１０６であっても、観察者１０にはあたかも表示面１０１、１０２の中間に三次元物体１０４が位置しているように感じられる。例えば、表示面１０１、１０２に、それぞれ三次元物体１０４と同じ明るさの２Ｄ化像１０５、１０６を表示した場合には、観察者１０の視線のピント面は最も近い表示面１０１の奥行き位置に合致し、もう一方の表示面１０２上に表示された２Ｄ化像１０６をマスキングする効果が働き、三次元物体１０４は表示面１０１の位置にあるように感じられる。 By displaying in this way, even if the 2D images 105 and 106 are displayed due to the physiological or psychological factors or illusions of the observer 10, the observer 10 feels as if the display surfaces 101 and 102 are displayed. It is felt that the three-dimensional object 104 is located in the middle of the above. For example, when 2D images 105 and 106 having the same brightness as the three-dimensional object 104 are displayed on the display surfaces 101 and 102, the focus plane of the line of sight of the observer 10 is at the closest depth position of the display surface 101. The two-dimensional image 106 displayed on the other display surface 102 is masked, and the three-dimensional object 104 is felt to be at the position of the display surface 101.

また、手前にある明るい映像が、奥にある同程度の明るさをもった映像をマスキングする効果は部分領域であっても発生し、表示面１０１上に表示された２Ｄ化像１０５の表示領域を変えることで、表示面１０１、１０２の中間位置に三次元物体１０４が位置しているように感じられる。さらに、このマスキング効果を利用した奥行き表示方法においては、観察者１０が動いて視点位置を変えても、それぞれの面の間に位置する三次元物体１０４の奥行きの見え方が大きく損なわれることがない。 In addition, the effect of masking the bright image in the foreground with the image having the same brightness at the back occurs even in a partial region, and the display region of the 2D image 105 displayed on the display surface 101 Is changed, it can be felt that the three-dimensional object 104 is positioned at an intermediate position between the display surfaces 101 and 102. Further, in the depth display method using this masking effect, even if the observer 10 moves and changes the viewpoint position, the depth appearance of the three-dimensional object 104 located between the respective surfaces may be greatly impaired. Absent.

次に、上述した原理に基づく表示装置１を有する表示システム１００の具体例を図６に示す。表示システム１００は、図６に示すように、プロジェクタ１６１、１６２と、スクリーン１６３、１６４、１６５、１６６と、シャッタ１６７、１６８と、映像送出装置１６９と、画像上下分割装置１７０と、３Ｄ同期信号受信部１７１と、スクリーンおよびシャッタ駆動装置１７２と、を有している。表示装置１は、前記したスクリーン１６３、１６４、１６５、１６６と、シャッタ１６７、１６８と、映像送出装置１６９と、３Ｄ同期信号受信部１７１と、スクリーンおよびシャッタ駆動装置１７２と、を有して構成されている。 Next, a specific example of the display system 100 having the display device 1 based on the above-described principle is shown in FIG. As shown in FIG. 6, the display system 100 includes projectors 161 and 162, screens 163, 164, 165, and 166, shutters 167 and 168, a video transmission device 169, an image vertical division device 170, and a 3D synchronization signal. A receiving unit 171 and a screen and shutter driving device 172 are included. The display device 1 includes the screens 163, 164, 165, and 166, shutters 167 and 168, a video transmission device 169, a 3D synchronization signal receiving unit 171, and a screen and shutter driving device 172. Has been.

プロジェクタ１６１、１６２は、スクリーン１６３、１６４、１６５、１６６を挟んで観察者１０の反対側に配置されている（観察者１０側に配置してもよい）。プロジェクタ１６１、１６２は、スクリーン１６３、１６４、１６５、１６６へ映像情報により変調された映像光を投影できるものであればよい。特に本実施例におけるプロジェクタ１６１、１６２は、サイドバイサイド方式の３Ｄ映像信号が入力されて立体映像（３Ｄ映像）を投影可能な周知の３Ｄプロジェクタとなっている。 The projectors 161 and 162 are disposed on the opposite side of the observer 10 with the screens 163, 164, 165, and 166 interposed therebetween (may be disposed on the observer 10 side). The projectors 161 and 162 may be any projectors that can project video light modulated by video information onto the screens 163, 164, 165, and 166. In particular, the projectors 161 and 162 in the present embodiment are well-known 3D projectors capable of projecting stereoscopic images (3D images) by inputting side-by-side 3D image signals.

プロジェクタ１６１、１６２は、一般に、サイドバイサイド方式の映像信号として左目用の映像信号と右目用の映像信号とが左右に並んだ信号として１映像周期内に１回入力され、左目用、右目用の映像信号を時間をずらして投射する。つまり、入力された左目用の映像信号又は右目用の映像信号に応じてＬＥＤやレーザー等の光源を駆動して左目用の映像と右目用の映像とを交互に表示、いわゆる時分割表示による立体映像を投射する。本実施例では、左目用、右目用の映像の代わりに、奥行情報に応じた２Ｄ化像を交互に投射する。 In general, the projectors 161 and 162 receive a left-eye video signal and a right-eye video signal as a side-by-side video signal that are input once in one video cycle as a side-by-side video signal. Project the signal at different times. That is, a left-eye image and a right-eye image are alternately displayed by driving a light source such as an LED or a laser in accordance with the input left-eye image signal or right-eye image signal. Project an image. In this embodiment, instead of the left-eye and right-eye images, 2D images corresponding to depth information are alternately projected.

また、プロジェクタ１６１、１６２は、一般に、入力された映像信号より同期信号を抽出する。そして抽出された同期信号より左目用映像、右目用映像に対応した所定の信号（３Ｄ同期信号）を発生し、３Ｄ表示用の眼鏡に対して赤外線等の無線信号として出力する。但し、本実施例では、３Ｄ表示用の眼鏡は使用せず、後述するように、３Ｄ同期信号を利用してスクリーンやシャッタの制御を行う。 The projectors 161 and 162 generally extract a synchronization signal from the input video signal. Then, a predetermined signal (3D synchronization signal) corresponding to the left-eye image and the right-eye image is generated from the extracted synchronization signal, and is output as a wireless signal such as infrared rays to the glasses for 3D display. However, in this embodiment, glasses for 3D display are not used, and the screen and shutter are controlled using a 3D synchronization signal as described later.

なお、プロジェクタ１６１からの映像光はスクリーン１６４の全域をカバーしながら、フォーカス位置はスクリーン１６４とスクリーン１６３の中間を狙うとよい。プロジェクタ１６２からの映像光はスクリーン１６６の全域をカバーしながら、フォーカス位置はスクリーン１６６とスクリーン１６５の中間を狙うとよい。このようにすることにより、各スクリーンに表示される画像の焦点が合いやすくなる。 Note that the image light from the projector 161 may cover the entire area of the screen 164 while the focus position is aimed at the middle between the screen 164 and the screen 163. The image light from the projector 162 may cover the entire area of the screen 166, and the focus position may aim at the middle between the screen 166 and the screen 165. By doing so, the images displayed on the respective screens can be easily focused.

スクリーン１６３、１６４、１６５、１６６は、所定距離だけ互いに離間して配置されている。図６の例ではスクリーンは４つであるが上記原理で説明したように２以上であればよい。スクリーンが２つの場合、プロジェクタ１６１及びシャッタ１６７、又は、プロジェクタ１６２及びシャッタ１６８の一方は不要となる。スクリーン１６３、１６４、１６５、１６６は、電圧の印加により光学状態を変化できるものであればよい。スクリーン１６３、１６４、１６５、１６６の光学状態は、散乱状態が映像状態であり、それよりも入射光の散乱が小さく且つ平行光線透過率が高い透明な透過状態が非映像状態である。即ち、光に対し透過状態と散乱状態とに変化（切り替え）可能となっている。以下、スクリーン１６３を代表として説明するが、スクリーン１６４、１６５、１６６も同様の構成である。なお、以下、スクリーン１６３に表示される２Ｄ化像に１７３の符号を付し、スクリーン１６４に表示される２Ｄ化像に１７４の符号を付し、スクリーン１６５に表示される２Ｄ化像に１７５の符号を付し、スクリーン１６６に表示される２Ｄ化像に１７６の符号を付して説明する。 The screens 163, 164, 165, 166 are arranged apart from each other by a predetermined distance. In the example of FIG. 6, there are four screens, but it may be two or more as described in the above principle. When there are two screens, one of the projector 161 and the shutter 167 or the projector 162 and the shutter 168 is unnecessary. The screens 163, 164, 165, and 166 may be any screens that can change the optical state by applying a voltage. As for the optical states of the screens 163, 164, 165 and 166, the scattering state is the image state, and the transparent transmission state in which the scattering of incident light is smaller and the parallel light transmittance is higher than that is the non-image state. That is, the light can be changed (switched) between a transmission state and a scattering state. Hereinafter, the screen 163 will be described as a representative, but the screens 164, 165, and 166 have the same configuration. In the following description, the 2D image displayed on the screen 163 is denoted by reference numeral 173, the 2D image displayed on the screen 164 is denoted by reference numeral 174, and the 2D image displayed on the screen 165 is denoted by 175. A 2D image displayed on the screen 166 will be described with a reference numeral 176.

スクリーン１６３は、例えば、液晶材料を用い、散乱状態と入射光の散乱が小さい透明な透過状態を変化させる調光スクリーンなどでよい。調光スクリーンには、例えば、高分子分散液晶などの液晶素子を用いたもの、透明セル内の白色粉体を移動させることで散乱状態と入射光の散乱が小さい透明な透過状態を制御する素子などを用いたものなどがある。 The screen 163 may be, for example, a dimming screen that uses a liquid crystal material and changes a scattering state and a transparent transmission state with small scattering of incident light. The light control screen uses, for example, a liquid crystal element such as a polymer-dispersed liquid crystal, or an element that controls a transparent transmission state with small scattering of incident light by moving white powder in a transparent cell. There are things that use etc.

図７に、光学状態を制御可能なスクリーン１６３の模式的な断面図を示す。図７に示したスクリーン１６３は、一対の透明なガラス板２３、２４の間に液晶を含む複合材料等を挟み込んだ光学層２５を有する。一方のガラス板２４の光学層２５側には、全面に対向電極２６が形成される。他方のガラス板２３の光学層２５側には、全面に制御電極２７が配置される。なお、電極２６、２７と光学層２５との間に、絶縁体からなる中間層を形成してもよい。 FIG. 7 shows a schematic cross-sectional view of a screen 163 capable of controlling the optical state. The screen 163 illustrated in FIG. 7 includes an optical layer 25 in which a composite material including liquid crystal is sandwiched between a pair of transparent glass plates 23 and 24. A counter electrode 26 is formed on the entire surface of one glass plate 24 on the optical layer 25 side. A control electrode 27 is disposed on the entire surface of the other glass plate 23 on the optical layer 25 side. An intermediate layer made of an insulator may be formed between the electrodes 26 and 27 and the optical layer 25.

また、対向電極２６および制御電極２７は、たとえばＩＴＯ（酸化インジウム・スズ）により、透明電極として形成される。光学層２５は、制御電極２７と対向電極２６との間に配置される。 The counter electrode 26 and the control electrode 27 are formed as transparent electrodes by using, for example, ITO (indium tin oxide). The optical layer 25 is disposed between the control electrode 27 and the counter electrode 26.

スクリーン１６３は、第１電極としての対向電極２６と第２電極としての制御電極２７との間に電位差を生じるように電圧が印加される。光学層２５内の光学状態は、対向電極２６と制御電極２７の印加電圧により変化する。 A voltage is applied to the screen 163 so as to generate a potential difference between the counter electrode 26 as the first electrode and the control electrode 27 as the second electrode. The optical state in the optical layer 25 varies depending on the voltage applied to the counter electrode 26 and the control electrode 27.

スクリーン１６３は、電位差を生じるように電圧が印加された際の状態によりリバースモードとノーマルモードに分類される。リバースモードで動作するスクリーン１６３は、電圧を印加していない通常状態において、スクリーン１６３が透明な透過状態となる。電圧を印加すると、印加電圧に応じた平行光線の散乱率の散乱状態となる。ノーマルモードで動作するスクリーンでは、電圧を印加していない通常状態において、スクリーンが散乱状態となる。電圧を印加すると、印加電圧に応じた平行光線透過率の透明な透過状態となる。そして、スクリーン１６３の光学状態は、所定の散乱状態が映像状態に対応し、それよりも平行光線透過率が高い透明な透過状態が非映像状態に対応する。なお、本実施例では、リバースモードで説明するが、ノーマルモードでも適用できる。 The screen 163 is classified into a reverse mode and a normal mode according to a state when a voltage is applied so as to generate a potential difference. The screen 163 operating in the reverse mode is in a transparent transmissive state in a normal state where no voltage is applied. When a voltage is applied, it becomes a scattering state with a scattering rate of parallel rays according to the applied voltage. In a screen operating in the normal mode, the screen is in a scattering state in a normal state where no voltage is applied. When a voltage is applied, a transparent transmission state with parallel light transmittance corresponding to the applied voltage is obtained. As for the optical state of the screen 163, a predetermined scattering state corresponds to an image state, and a transparent transmission state having a higher parallel light transmittance corresponds to a non-image state. In this embodiment, the reverse mode is described, but the normal mode is also applicable.

シャッタ１６７は、プロジェクタ１６１の前面（プロジェクタ１６１とスクリーン１６６との間）に配置されている。そして、シャッタ１６７をスクリーンおよびシャッタ駆動装置１７２が開閉制御することで、プロジェクタ１６１が出射する映像光の透過または遮断の制御を行い、スクリーン１６３、１６４が散乱状態の期間に映像光が投射されるようにしている。 The shutter 167 is disposed on the front surface of the projector 161 (between the projector 161 and the screen 166). Then, the shutter and the shutter driving device 172 control opening and closing of the shutter 167, thereby controlling transmission or blocking of the image light emitted from the projector 161, and the image light is projected during a period in which the screens 163 and 164 are in a scattering state. I am doing so.

シャッタ１６８は、プロジェクタ１６２の前面（プロジェクタ１６２とスクリーン１６６との間）に配置されている。そして、シャッタ１６８をスクリーンおよびシャッタ駆動装置１７２が開閉制御することで、プロジェクタ１６２が出射する映像光の透過または遮断の制御を行い、スクリーン１６５、１６６が散乱状態の期間に映像光が投射されるようにしている。 The shutter 168 is disposed on the front surface of the projector 162 (between the projector 162 and the screen 166). Then, the shutter and the shutter driving device 172 control opening and closing of the shutter 168, thereby controlling the transmission or blocking of the image light emitted by the projector 162, and the image light is projected during the period in which the screens 165 and 166 are in the scattering state. I am doing so.

シャッタ１６７、１６８は、例えば、一部分が透明な黒色円板を回転させる光チョッパー式などで構成された機械式シャッタとその円盤を回転させる駆動装置等を含んでいる。そして、機械式シャッタの部分がプロジェクタ１６１やプロジェクタ１６２の投射光が出射されるレンズ等の前面に設けられている。なお、シャッタ１６７、１６８は、光チョッパー式に限らず、例えば、１枚ないし複数枚のシャッタ羽根により光路を開閉する方式など、開閉制御されることによって映像光の透過または遮断が制御できるものであれば他の方式の機械式シャッタでもよい。勿論シャッタ１６７はプロジェクタ１６１内に組み込んでもよい（シャッタ１６８はプロジェクタ１６２内に組み込んでもよい）。また、機械式シャッタに限らず、周知の液晶式シャッタによるものであってもよい。液晶式シャッタすることで、モータ等の駆動装置が不要となり、設置スペースの縮小や耐久性・安全性などを高めることができる。 The shutters 167 and 168 include, for example, a mechanical shutter constituted by a light chopper type that rotates a partially transparent black disk, a driving device that rotates the disk, and the like. A mechanical shutter portion is provided on the front surface of a lens or the like from which the projection light of the projector 161 or the projector 162 is emitted. The shutters 167 and 168 are not limited to the optical chopper type, and can control the transmission or blocking of image light by being controlled to open and close, for example, a system in which an optical path is opened and closed by one or a plurality of shutter blades. Any other type of mechanical shutter may be used. Of course, the shutter 167 may be incorporated in the projector 161 (the shutter 168 may be incorporated in the projector 162). Further, not only a mechanical shutter but also a known liquid crystal shutter may be used. By using a liquid crystal shutter, a driving device such as a motor becomes unnecessary, and the installation space can be reduced and the durability and safety can be improved.

映像送出装置１６９は、スクリーン１６３、１６４、１６５、１６６に表示する映像（画像）を画像上下分割装置１７０に送出する。映像送出装置１６９は、スクリーン１６３、１６４、１６５、１６６に表示する画像として、図８に示すように、表示対象物体の奥行情報に基づいて生成した４つの画像を、１つにまとめた画像とした（画面分割した）形式で作成し送出する。 The video transmission device 169 transmits the video (image) to be displayed on the screens 163, 164, 165, 166 to the image vertical division device 170. As shown in FIG. 8, the video transmission device 169 includes four images generated based on the depth information of the display target object as images displayed on the screens 163, 164, 165, and 166. Created and sent in the format (split screen).

図８において、（１）はスクリーン１６３に表示する２Ｄ化像１７３、（２）はスクリーン１６４に表示する２Ｄ化像１７４、（３）はスクリーン１６５に表示する２Ｄ化像１７５、（４）はスクリーン１６６に表示する２Ｄ化像１７６、をそれぞれ示している。図８には表示対象物体としてケーキが描画されている。 8, (1) is a 2D image 173 to be displayed on the screen 163, (2) is a 2D image 174 to be displayed on the screen 164, (3) is a 2D image 175 to be displayed on the screen 165, (4) is A 2D image 176 to be displayed on the screen 166 is shown. In FIG. 8, a cake is drawn as a display target object.

図８の画像は、映像送出装置１６９内部に保持或いは外部から取得する表示対象物体を撮影等した二次元画像から生成する。当該二次元画像には奥行情報として周知のデプスマップが付加されている。デプスマップは画素毎に付加されており、例えば、奥行きに応じて−５０〜＋５０の値を持つとする（＋値が大きくなるほど奥の情報とする）。この場合、スクリーン１６６には全ての値の画素を表示、つまり、元の画像を全て表示する（図８の（４））。スクリーン１６５には−５０〜＋２５の範囲（所定の範囲）の値を持つ画素を抽出する（図８の（３））。スクリーン１６４には−５０〜０の範囲の値を持つ画素を抽出する（図８の（２））。スクリーン１６３には−５０〜−２５の範囲の値を持つ画素を抽出する（図８の（１））。このようにすることにより、図８のように奥行き位置に応じた画像を生成することができる。 The image in FIG. 8 is generated from a two-dimensional image obtained by photographing a display target object held inside or acquired from the video transmission device 169. A depth map known as depth information is added to the two-dimensional image. The depth map is added for each pixel. For example, it is assumed that the depth map has a value of −50 to +50 according to the depth (the greater the + value, the deeper the information). In this case, all the values of the pixels are displayed on the screen 166, that is, all the original images are displayed ((4) in FIG. 8). Pixels having values in the range of −50 to +25 (predetermined range) are extracted from the screen 165 ((3) in FIG. 8). Pixels having values in the range of −50 to 0 are extracted from the screen 164 ((2) in FIG. 8). Pixels having values in the range of −50 to −25 are extracted from the screen 163 ((1) in FIG. 8). By doing in this way, the image according to the depth position can be generated as shown in FIG.

即ち、本実施例の場合、表示対象物体を撮影等した二次元画像がデプスマップを有する二次元画像であり、２Ｄ化像１７６が第１画像、２Ｄ化像１７５、１７４、１７３が第２画像となる。したがって、スクリーン１６６が第１表示部、スクリーン１６５、１６４、１６３が第２表示部となる。 That is, in this embodiment, a two-dimensional image obtained by photographing a display target object is a two-dimensional image having a depth map, a 2D image 176 is a first image, and 2D images 175, 174, and 173 are second images. It becomes. Accordingly, the screen 166 is the first display unit, and the screens 165, 164, and 163 are the second display unit.

なお、本実施例では、デプスマップは画素毎に値が付加されているとしているが、例えば複数画素×複数画素からなる領域等の所定の領域毎に付加されていてもよい。この場合、デプスマップのデータサイズを削減することができる。 In this embodiment, a value is added to each pixel in the depth map. However, the depth map may be added to each predetermined region such as a region composed of a plurality of pixels × a plurality of pixels. In this case, the data size of the depth map can be reduced.

画像上下分割装置１７０は、映像送出装置１６９で生成した画像が入力され、上下に分割して、２つのプロジェクタ１６１、１６２に出力する。上下分割の例を図９に示す。図９は図８を上下分割した例である。図９に示したように、図８において上側に配置されている（１）、（２）を上側画像、下側に配置されている（３）、（４）を下側画像として分割する。このように分割することにより、２つのプロジェクタ１６１、１６２にはサイドバイサイド方式の映像信号として入力される。即ち、映像送出装置１６９及び画像上下分割装置１７０は、二次元画像に付されている奥行情報に基づいて第１画像及び第２画像を生成する生成部として機能する。 The image vertical division device 170 receives the image generated by the video transmission device 169, divides the image vertically, and outputs it to the two projectors 161 and 162. An example of vertical division is shown in FIG. FIG. 9 shows an example in which FIG. As shown in FIG. 9, (1) and (2) arranged on the upper side in FIG. 8 are divided as upper images, and (3) and (4) arranged on the lower side are divided as lower images. By dividing in this way, the two projectors 161 and 162 are input as side-by-side video signals. That is, the video transmission device 169 and the image vertical division device 170 function as a generating unit that generates the first image and the second image based on the depth information attached to the two-dimensional image.

３Ｄ同期信号受信部１７１は、プロジェクタ１６２から無線等により送信される３Ｄ同期信号を受信し、映像同期信号を生成してスクリーンおよびシャッタ駆動装置１７２に出力する。なお、３Ｄ同期信号受信部１７１は、プロジェクタ１６２から３Ｄ同期信号を受信するに限らず、プロジェクタ１６１であってもよいし、両方から受信するようにしてもよい。 The 3D synchronization signal receiving unit 171 receives a 3D synchronization signal transmitted from the projector 162 by wireless or the like, generates a video synchronization signal, and outputs the video synchronization signal to the screen and shutter driving device 172. The 3D synchronization signal receiving unit 171 is not limited to receiving the 3D synchronization signal from the projector 162, but may be the projector 161 or may be received from both.

スクリーンおよびシャッタ駆動装置１７２は、３Ｄ同期信号受信部１７１から入力された映像同期信号に基づいて、映像光が投影されるスクリーン１６３、１６４、１６５、１６６の各光学層２５を、透過状態または散乱状態に制御する。また、スクリーンおよびシャッタ駆動装置１７２は、３Ｄ同期信号受信部１７１から入力された映像同期信号に基づいて、シャッタ１６７、１６８の開閉状態を制御する。つまり、スクリーンおよびシャッタ駆動装置１７２は、映像同期信号に基づいて、スクリーン１６３、１６４、１６５、１６６がそれぞれ散乱状態のときにシャッタ１６７、１６８を開制御してプロジェクタ１６１、１６２が投射する映像光が適切に投影されるようにしている。 The screen and shutter driving device 172 transmits or scatters the optical layers 25 of the screens 163, 164, 165, and 166 onto which the image light is projected based on the image synchronization signal input from the 3D synchronization signal receiving unit 171. Control to the state. The screen and shutter driving device 172 controls the open / close state of the shutters 167 and 168 based on the video synchronization signal input from the 3D synchronization signal receiving unit 171. That is, the screen and shutter driving device 172 controls the image light projected by the projectors 161 and 162 by opening the shutters 167 and 168 when the screens 163, 164, 165, and 166 are in the scattering state based on the image synchronization signal. Is projected properly.

なお、スクリーンおよびシャッタ駆動装置１７２は、ＣＰＵ（Central Processing Unit）やメモリ等を備え、メモリ等の記録装置に記録されたプログラムの実行により動作が制御されるコンピュータで構成されてもよいし、ＡＳＩＣ（Application Specific Integrated Circuit）などから構成された専用のハードウェアでもよい。 Note that the screen and shutter driving device 172 may include a CPU (Central Processing Unit), a memory, and the like, and may be configured by a computer whose operation is controlled by executing a program recorded in a recording device such as a memory. Dedicated hardware configured by (Application Specific Integrated Circuit) or the like may be used.

次に、上述した表示システム１００の動作について図１０のフローチャートを参照して説明する。図１０（ａ）は映像送出装置１６９における画像生成からプロジェクタ１６１、１６２における映像光の投射までのフローチャート、図１０（ｂ）は、３Ｄ同期信号受信部１７１が３Ｄ同期信号を受信してからスクリーンおよびシャッタ駆動装置１７２がスクリーン１６３、１６４、１６５、１６６及びシャッタ１６７、１６８を制御するまでのフローチャートである。 Next, the operation of the display system 100 described above will be described with reference to the flowchart of FIG. 10A is a flowchart from image generation in the video transmission device 169 to projection of video light in the projectors 161 and 162. FIG. 10B is a screen after the 3D synchronization signal receiving unit 171 receives the 3D synchronization signal. 4 is a flowchart until the shutter driving device 172 controls the screens 163, 164, 165, 166 and the shutters 167, 168.

まず、図１０（ａ）のフローチャートから説明する。ステップＳ１１において、映像送出装置１６９は、表示する画像に含まれているデプスマップに基づいてスクリーン１６３、１６４、１６５、１６６のそれぞれに表示するための図８に示したような画像を生成する。次に、ステップＳ１２において、画像上下分割装置１７０は、映像送出装置１６９から入力された画像を図９に示したように上下に分割する。そして、ステップＳ１３において、プロジェクタ１６１、１６２は、画像上下分割装置１７０から入力された画像をスクリーン１６３、１６４、１６５、１６６へ投射する。プロジェクタ１６１、１６２では、上述したようにサイドバイサイド方式の３Ｄ映像信号と同様にして画像処理し、１映像周期毎に、プロジェクタ１６１は図９の（１）と（２）の２つの画像（即ち、２Ｄ化像１７３、１７４）を交互にスクリーン１６３、１６４に投射する。プロジェクタ１６２は図９の（３）と（４）の２つの画像（即ち、２Ｄ化像１７５、１７６）を交互にスクリーン１６５、１６６に投射する。これらの２Ｄ化像１７３、１７４、１７５、１７６は、観察者１０から見て重なるように投影される。即ち、図１０（ａ）のフローチャートが第１表示工程、第２表示工程として機能する。 First, the flowchart of FIG. 10A will be described. In step S11, the video transmission device 169 generates an image as shown in FIG. 8 to be displayed on each of the screens 163, 164, 165, and 166 based on the depth map included in the image to be displayed. Next, in step S12, the image vertical division device 170 divides the image input from the video transmission device 169 vertically as shown in FIG. In step S <b> 13, the projectors 161 and 162 project the images input from the image vertical division device 170 onto the screens 163, 164, 165, and 166. As described above, the projectors 161 and 162 perform image processing in the same manner as the side-by-side 3D video signal, and for each video cycle, the projector 161 has two images (1) and (2) in FIG. 2D images 173 and 174) are alternately projected onto the screens 163 and 164. The projector 162 projects the two images (3) and (4) of FIG. 9 (that is, 2D images 175 and 176) alternately on the screens 165 and 166. These 2D images 173, 174, 175, and 176 are projected so as to overlap when viewed from the observer 10. That is, the flowchart of FIG. 10A functions as the first display process and the second display process.

次に、図１０（ｂ）のフローチャートを説明する。ステップＳ２１において、３Ｄ同期信号受信部１７１は、プロジェクタ１６２から３Ｄ表示用の眼鏡に対して出力している３Ｄ同期信号を受信する。つまり、本実施例では、３Ｄ表示用の眼鏡に対して出力している３Ｄ同期信号を以降の制御信号等の生成に利用している。次に、ステップＳ２２において、３Ｄ同期信号受信部１７１は、受信した３Ｄ同期信号から１映像周期に同期した映像同期信号を生成する。そして、ステップＳ２３において、スクリーンおよびシャッタ駆動装置１７２は、３Ｄ同期信号受信部１７１から入力された映像同期信号に基づいて、１映像周期の期間内に、プロジェクタ１６１、１６２の投射タイミングに合わせてスクリーン１６３、１６４、１６５、１６６の透過状態と散乱状態の切り替え制御やシャッタ１７１、１７２の開閉制御を行う。また、２Ｄ化像１７３、１７４、１７５、１７６は、１映像周期内でそれぞれ時間的にずらして表示されるので、上述した原理のようなマスキング効果が働き奥行き感を得られる。即ち、スクリーンおよびシャッタ駆動装置１７２は、２Ｄ化像１７６（第１画像）のケーキ（表示対象物体）と例えば２Ｄ化像１７３（第２画像）のケーキの一部（表示対象物体）とが重なるようにスクリーン１６３（第１表示部）及びスクリーン１６６（第２表示部）に表示させている。また、図１０（ｂ）のフローチャートが制御工程として機能する。 Next, the flowchart of FIG. 10B will be described. In step S <b> 21, the 3D synchronization signal receiving unit 171 receives the 3D synchronization signal output from the projector 162 to the glasses for 3D display. In other words, in this embodiment, the 3D synchronization signal output to the glasses for 3D display is used for generating subsequent control signals and the like. Next, in step S22, the 3D synchronization signal receiving unit 171 generates a video synchronization signal synchronized with one video cycle from the received 3D synchronization signal. In step S23, the screen and shutter driving device 172 selects the screen in accordance with the projection timing of the projectors 161 and 162 within the period of one video cycle based on the video synchronization signal input from the 3D synchronization signal receiver 171. Switching control between the transmission state and the scattering state of 163, 164, 165, and 166 and opening / closing control of the shutters 171 and 172 are performed. Further, since the 2D images 173, 174, 175, and 176 are displayed while being shifted in time within one video period, the masking effect as described above works to obtain a sense of depth. That is, in the screen and shutter driving device 172, the cake (display target object) of the 2D image 176 (first image) overlaps, for example, a part of the cake (display target object) of the 2D image 173 (second image). In this way, the image is displayed on the screen 163 (first display unit) and the screen 166 (second display unit). Moreover, the flowchart of FIG.10 (b) functions as a control process.

図１１に上述した表示システム１００のプロジェクタ１６１、１６２の映像出力（投射）と、３Ｄ同期信号受信部１７１、スクリーンおよびシャッタ駆動装置１７２と、の動作例のタイミングチャートを示す。 FIG. 11 shows a timing chart of an operation example of the video output (projection) of the projectors 161 and 162 of the display system 100 described above, the 3D synchronization signal receiver 171, the screen and shutter driving device 172.

図１１（ａ）はプロジェクタ１６１の映像出力（投射）を示し、（ｂ）はプロジェクタ１６２の映像出力を示し、（ｃ）は３Ｄ同期信号受信部１７１がプロジェクタ１６２からの３Ｄ同期信号に基づいて生成した映像同期信号を示し、（ｄ）は映像同期信号のタイミングを基準としてスクリーンおよびシャッタ駆動装置１７２が生成したシャッタ１６７の駆動信号（開閉制御信号）を示し、（ｅ）はシャッタ１６７の動作を示している。 11A shows the video output (projection) of the projector 161, FIG. 11B shows the video output of the projector 162, and FIG. 11C shows the 3D synchronization signal receiving unit 171 based on the 3D synchronization signal from the projector 162. (D) shows a drive signal (opening / closing control signal) of the shutter 167 generated by the screen and shutter driving device 172 with reference to the timing of the video synchronization signal, and (e) shows an operation of the shutter 167. Is shown.

図１１（ｆ）は映像同期信号のタイミングを基準としてスクリーンおよびシャッタ駆動装置１７２が生成したスクリーン１６３の駆動信号を示し、（ｇ）はスクリーン１６３の状態を示し、（ｈ）はスクリーン１６３の透過率を示している。 FIG. 11F shows the drive signal of the screen 163 generated by the screen and shutter drive device 172 with reference to the timing of the video synchronization signal, (g) shows the state of the screen 163, and (h) shows the transmission through the screen 163. Shows the rate.

図１１（ｉ）は映像同期信号のタイミングを基準としてスクリーンおよびシャッタ駆動装置１７２が生成したスクリーン１６４の駆動信号を示し、（ｊ）はスクリーン１６４の状態を示し、（ｋ）はスクリーン１６４の透過率を示している。 FIG. 11 (i) shows the drive signal of the screen 164 generated by the screen and shutter drive device 172 with reference to the timing of the video synchronization signal, (j) shows the state of the screen 164, and (k) shows the transmission through the screen 164. Shows the rate.

図１１（ｌ）は映像同期信号のタイミングを基準としてスクリーンおよびシャッタ駆動装置１７２が生成したシャッタ１６８の駆動信号（開閉制御信号）を示し、（ｍ）はシャッタ１６８の動作を示している。 FIG. 11L shows a driving signal (opening / closing control signal) of the shutter 168 generated by the screen and shutter driving device 172 on the basis of the timing of the video synchronization signal, and FIG. 11M shows the operation of the shutter 168.

図１１（ｎ）は映像同期信号のタイミングを基準としてスクリーンおよびシャッタ駆動装置１７２が生成したスクリーン１６５の駆動信号を示し、（ｏ）はスクリーン１６５の状態を示し、（ｐ）はスクリーン１６５の透過率を示している。 FIG. 11 (n) shows the drive signal of the screen 165 generated by the screen and shutter drive device 172 with reference to the timing of the video synchronization signal, (o) shows the state of the screen 165, and (p) shows the transmission through the screen 165. Shows the rate.

図１１（ｑ）は映像同期信号のタイミングを基準としてスクリーンおよびシャッタ駆動装置１７２が生成したスクリーン１６６の駆動信号を示し、（ｒ）はスクリーン１６６の状態を示し、（ｓ）はスクリーン１６６の透過率を示している。 FIG. 11 (q) shows the driving signal of the screen 166 generated by the screen and shutter driving device 172 with reference to the timing of the video synchronization signal, (r) shows the state of the screen 166, and (s) shows the transmission of the screen 166. Shows the rate.

図１１に示した例の場合、（ｄ）のシャッタ１６７の駆動信号、（ｆ）のスクリーン１６３の駆動信号、（ｉ）のスクリーン１６４の駆動信号、（ｌ）のシャッタ１６８の駆動信号、（ｎ）のスクリーン１６５の駆動信号、（ｑ）のスクリーン１６６の駆動信号は、（ｃ）の映像同期信号を基準としてそれぞれ１映像周期未満の信号遅延が与えられて４つの２Ｄ化像の表示が時間的に重ならないようにタイミングが調整されている。 In the case of the example shown in FIG. 11, (d) the drive signal of the shutter 167, (f) the drive signal of the screen 163, (i) the drive signal of the screen 164, (l) the drive signal of the shutter 168, ( The driving signal for the screen 165 in n) and the driving signal for the screen 166 in (q) are each given a signal delay of less than one video period on the basis of the video synchronization signal in (c), so that four 2D images can be displayed. The timing is adjusted so that they do not overlap in time.

図１１に示した駆動信号によって、プロジェクタ１６１の（１）映像表示のタイミングに合わせてシャッタ１６７が開かれ、プロジェクタ１６１からの映像光が４枚のスクリーン１６３、１６４、１６５、１６６に届き、この時唯一散乱状態となっているスクリーン１６３上に、２Ｄ化像１７３を表示する。プロジェクタ１６１からの（２）映像表示のタイミングに合わせてシャッタ１６７が開かれると、プロジェクタ１６１からの映像光が４枚の透過／散乱スクリーン１６３、１６４、１６５、１６６に届き、この時唯一散乱状態となっているスクリーン１６４上に、２Ｄ化像１７４を表示する。 With the drive signal shown in FIG. 11, the shutter 167 is opened at the timing of (1) video display of the projector 161, and the video light from the projector 161 reaches the four screens 163, 164, 165, 166. A 2D image 173 is displayed on the screen 163 that is in the only scattering state at that time. When the shutter 167 is opened in synchronization with the timing of (2) video display from the projector 161, the video light from the projector 161 reaches the four transmission / scattering screens 163, 164, 165, and 166. A 2D image 174 is displayed on the screen 164.

さらに、プロジェクタ１６１と同様にプロジェクタ１６２からの（３）映像表示のタイミングに合わせてシャッタ１６８が開かれ、スクリーン１６５上に、２Ｄ化像１７５を表示し、プロジェクタ１６２からの（４）映像表示のタイミングに合わせてシャッタ１６８が開かれ、スクリーン１６６上に、２Ｄ化像１７６を表示する。 Further, similarly to the projector 161, the shutter 168 is opened in accordance with the timing of (3) video display from the projector 162, the 2D image 175 is displayed on the screen 165, and (4) video display from the projector 162 is displayed. The shutter 168 is opened in accordance with the timing, and a 2D image 176 is displayed on the screen 166.

図１１の例では、スクリーンの散乱の順序が観察者１０に近い順又は遠い順となっていないが、順序がバラバラであってもマスキング効果は働くため表示した際の奥行き感に影響はない。勿論スクリーンの配置順に散乱させるようにしてもよいことはいうまでもない。 In the example of FIG. 11, the order of screen scattering is not close to or far from the observer 10, but even if the order is disjoint, the masking effect works, so there is no effect on the sense of depth when displayed. Of course, it goes without saying that it may be scattered in the order of screen arrangement.

本実施例によれば、表示装置１は、表示対象物体の奥行情報を有する二次元画像に基づいて生成された２Ｄ化像１７６を表示するスクリーン１６６と、スクリーン１６６と重なる方向に離間して配置され、二次元画像のうち所定の範囲の奥行情報に基づいて生成された２Ｄ化像１７３を表示するスクリーン１６３、同様に２Ｄ化像１７４を表示するスクリーン１６４、同様に２Ｄ化像１７５を表示するスクリーン１６５と、２Ｄ化像１７６と２Ｄ化像１７３とを異なる時間に表示させるスクリーンおよびシャッタ駆動装置１７２と、を備えている。そして、制御部は、２Ｄ化像１７６の表示対象物体と２Ｄ化像１７３の表示対象物体とが重なるようにスクリーン１６６、１６３に表示させている。このようにすることにより、例えば、スクリーン１６３がスクリーン１６６よりも手前側に配置されている場合は、２Ｄ化像１７６のうち手前側に位置する部分を抜き出して２Ｄ化像１６３とし、その部分が重なるように異なる時間に表示することができる。したがって、立体的に表示させるとともに、視点をずらしても違和感なく奥行き感を表した表示をすることができる。 According to the present embodiment, the display device 1 is arranged so as to be separated from the screen 166 that displays the 2D image 176 generated based on the two-dimensional image having the depth information of the display target object, in the direction overlapping the screen 166. The screen 163 for displaying the 2D image 173 generated based on the depth information within a predetermined range of the two-dimensional image, the screen 164 for displaying the 2D image 174, and the 2D image 175 are displayed. A screen 165 and a screen and shutter driving device 172 for displaying the 2D image 176 and the 2D image 173 at different times are provided. Then, the control unit displays on the screens 166 and 163 so that the display target object of the 2D image 176 and the display target object of the 2D image 173 overlap each other. In this way, for example, when the screen 163 is disposed on the front side of the screen 166, a portion located on the near side of the 2D image 176 is extracted to form a 2D image 163, and the portion is It can be displayed at different times to overlap. Therefore, it is possible to display in a three-dimensional manner and display a sense of depth without a sense of incongruity even if the viewpoint is shifted.

また、デプスマップ（奥行情報）が二次元画像の画素毎に付されていている。このようにすることにより、より細かい単位で２Ｄ化像１７３等の切り出し領域を指定することができる。 A depth map (depth information) is attached to each pixel of the two-dimensional image. In this way, it is possible to specify a cutout region such as the 2D image 173 in a finer unit.

また、スクリーン１６３、１６４、１６５、１６６は、光を透過する透過状態と透過状態よりも光の散乱が大きい散乱状態とに変化するスクリーンで構成されていている。このようにすることにより、散乱状態時に２Ｄ化像１７３、１７４、１７５、１７６をそれぞれのスクリーンに表示させることができる。したがって、散乱状態を互いにずらすことで奥行き感を表した表示をすることができる。 The screens 163, 164, 165, and 166 are composed of screens that change between a transmission state in which light is transmitted and a scattering state in which light scattering is larger than that in the transmission state. By doing so, the 2D images 173, 174, 175, and 176 can be displayed on the respective screens in the scattering state. Therefore, it is possible to display a sense of depth by shifting the scattering state from each other.

また、スクリーンおよびシャッタ駆動装置１７２は、スクリーン１６６が散乱状態のときに２Ｄ化像１７６を表示させ、例えばスクリーン１６３が散乱状態のときに２Ｄ化像１７３を表示させる。このようにすることにより、重ねられるように離間して配置されているスクリーン１６６とスクリーン１６３に対して同じ側から２Ｄ化像１７６及び２Ｄ化像１７３の２つの画像を投影することができる。 Further, the screen and shutter driving device 172 displays the 2D image 176 when the screen 166 is in the scattering state, and displays the 2D image 173 when the screen 163 is in the scattering state, for example. By doing in this way, it is possible to project two images of the 2D image 176 and the 2D image 173 from the same side with respect to the screen 166 and the screen 163 that are arranged so as to be overlapped with each other.

また、映像送出装置１６９でサイドバイサイド方式の画像を画像上下分割装置１７０で上下に分割して３Ｄプロジェクタで投射するので、４つの２Ｄ化像の同期をとるのが容易となる。 In addition, since the side-by-side image is vertically divided by the image vertical dividing device 170 and projected by the 3D projector by the video transmission device 169, it is easy to synchronize the four 2D images.

なお、上述した実施例では、表示する画像の同期を容易にするために画像上下分割装置１７０を用いていたが、同期がとれるのであれば用いなくてもよい。図１２に画像上下分割装置１７０を用いない例を示す。図１２の場合、プロジェクタ１６１用の映像送出装置１６９ａとプロジェクタ１６２用の映像送出装置１６９ｂとを設ける。３Ｄ同期信号受信部１７１はプロジェクタ１６１、１６２の双方から３Ｄ同期信号を受信し、映像同期信号を生成する。 In the above-described embodiment, the image vertical division device 170 is used to facilitate synchronization of images to be displayed. However, it may not be used as long as synchronization is achieved. FIG. 12 shows an example in which the image vertical division device 170 is not used. In the case of FIG. 12, a video transmission device 169a for the projector 161 and a video transmission device 169b for the projector 162 are provided. The 3D synchronization signal receiving unit 171 receives the 3D synchronization signal from both the projectors 161 and 162 and generates a video synchronization signal.

また、３Ｄプロジェクタを用いなくてもよい。図１３は通常の２Ｄプロジェクタを用いた例である。図１３の場合、スクリーンの数だけプロジェクタとシャッタを用意している。このようにしても、上述した原理により奥行き感を持った表示をすることができる。なお、図１３の場合、スクリーンおよびシャッタ駆動装置１７２は、映像送出装置２７１、２７２、２７３、２７４またはプロジェクタ２６１、２６２、２６３、２６４から映像同期信号を取得してスクリーン１６３、１６４、１６５、１６６およびシャッタ２８１、２８２、２８３、２８４を制御する。図１３では、１つのスクリーン当たり１／６０秒で表示する場合、４系統の映像を１／２４０秒ずつずらしたタイミングで同期させて動かす必要があるが、図８に示したように水平、垂直方向の解像度を落とす必要が無く画質は最良となる。但し、図８に示した形態であっても、例えば映像信号ソースとして４Ｋ（超高精細）映像を用いれば、投影される１枚１枚の映像情報量としてはＨＤ（高精細）を確保できる。 Further, a 3D projector may not be used. FIG. 13 shows an example using a normal 2D projector. In the case of FIG. 13, projectors and shutters are prepared as many as the number of screens. Even in this case, display with a sense of depth can be performed by the above-described principle. In the case of FIG. 13, the screen and shutter driving device 172 acquires the video synchronization signal from the video transmission devices 271, 272, 273, 274 or the projectors 261, 262, 263, 264, and screens 163, 164, 165, 166. And controls the shutters 281, 282, 283, and 284. In FIG. 13, when displaying at 1/60 seconds per screen, it is necessary to move the four images in synchronization at a timing shifted by 1/240 seconds. However, as shown in FIG. There is no need to reduce the direction resolution, and the image quality is the best. However, even in the form shown in FIG. 8, for example, if 4K (ultra high definition) video is used as the video signal source, HD (high definition) can be secured as the amount of video information to be projected one by one. .

さらには、プロジェクタは１つであってもよい。例えば、スクリーン毎に表示する２Ｄ化像を１映像周期毎に順次表示させることであっても奥行き感を持った表示をすることができる。例えば図６のように４つのスクリーンがある場合は、４映像周期に１回の周期で各スクリーンが散乱状態となりそれぞれの２Ｄ化像を表示する。 Furthermore, there may be one projector. For example, it is possible to display with a sense of depth even by sequentially displaying a 2D image to be displayed for each screen every video cycle. For example, when there are four screens as shown in FIG. 6, each screen is in a scattering state and displayed as a 2D image at a cycle of once every four video cycles.

また、上述した実施例は、スクリーン１６３等に表示する画像は静止画で説明したが、動画であってもよい。動画の場合は表示させる内容の変化に応じて画素の付与されているデプスマップの値が表示対象物体の動きによって変化するため、映像送出装置１６９では、デプスマップの変化に応じてスクリーンごとに表示する画像を生成する必要がある。 In the above-described embodiment, the image displayed on the screen 163 or the like is described as a still image, but it may be a moving image. In the case of a moving image, the value of the depth map to which the pixel is added changes according to the movement of the display target object in accordance with the change in the content to be displayed. Therefore, the video transmission device 169 displays each screen according to the change in the depth map. It is necessary to generate an image to be used.

また、本発明は上記実施例に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の表示装置の構成を具備する限り、勿論、本発明の範疇に含まれるものである。 Further, the present invention is not limited to the above embodiment. That is, those skilled in the art can implement various modifications in accordance with conventionally known knowledge without departing from the scope of the present invention. Of course, such modifications are included in the scope of the present invention as long as the configuration of the display device of the present invention is provided.

１表示装置
１０１表示面（第２表示部）
１０２表示面（第１表示部）
１０５２Ｄ化像（第２画像）
１０６２Ｄ化像（第１画像）
１６３スクリーン（第２表示部）
１６４スクリーン（第２表示部）
１６５スクリーン（第２表示部）
１６６スクリーン（第１表示部）
１６９映像送出装置（生成部）
１７０画像上下分割装置（生成部）
１７２スクリーンおよびシャッタ駆動装置（制御部） DESCRIPTION OF SYMBOLS 1 Display apparatus 101 Display surface (2nd display part)
102 Display surface (first display section)
105 2D image (second image)
106 2D image (first image)
163 screen (second display)
164 screen (second display)
165 screen (second display)
166 screen (first display)
169 Video transmission device (generation unit)
170 Image top / bottom division device (generator)
172 Screen and shutter driving device (control unit)

Claims

A first display unit for displaying a first image generated based on a two-dimensional image having depth information of a display target object;
A second display unit arranged to be spaced apart from the first display unit in the line-of-sight direction and displaying a second image generated from the depth information in a predetermined range;
A controller that displays the first image and the second image at different times;
The control unit displays the display target object of the first image and the display target object of the second image so as to overlap each other.
A display device characterized by that.

2. The display according to claim 1, further comprising: a generation unit configured to generate the first image and the second image based on depth information attached to each area obtained by dividing the two-dimensional image into a plurality of regions. apparatus.

The display device according to claim 2, wherein the depth information is attached to each pixel of the two-dimensional image.

The display device according to claim 2, wherein the generation unit generates the first image and the second image as an image arranged side by side.

The said 1st display part and the said 2nd display part are comprised by the screen which changes into the permeation | transmission state which permeate | transmits light, and the scattering state whose light scattering is larger than the said permeation | transmission state. 5. The display device according to any one of items 4 to 4.

The control unit displays the first image when the first display unit is in the scattering state, and displays the second image when the second display unit is in the scattering state. Item 6. The display device according to Item 5.

A display method of a display device for displaying a display target object,
A first display step of displaying a first image generated based on a two-dimensional image having depth information of the display target object on a first display unit;
A second display step of displaying a second image generated from the depth information in a predetermined range on a second display unit disposed so as to be overlapped with the first display unit in the line-of-sight direction;
A control step of displaying the first image and the second image at different times,
In the control step, the display target object of the first image and the display target object of the second image are displayed so as to overlap each other.
A display method characterized by that.

A display program that causes a computer to execute the display method according to claim 7.

A computer-readable recording medium storing the display program according to claim 8.