以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、本発明は実施例の説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものには、同一の符号を付与し、その繰り返しの説明は省略する場合がある。なお、以下の実施例の説明において、空間に浮遊する映像を「空間浮遊映像」という用語で表現している。この用語の代わりに、「空中像」、「空間像」、「空中浮遊映像」、「表示映像の空間浮遊光学像」、「表示映像の空中浮遊光学像」などと表現してもかまわない。実施例の説明で主として用いる「空間浮遊映像」との用語は、これらの用語の代表例として用いている。
The following describes in detail the embodiments of the present invention with reference to the drawings. The present invention is not limited to the description of the embodiments, and various changes and modifications can be made by those skilled in the art within the scope of the technical ideas disclosed in this specification. In addition, in all the drawings for explaining the present invention, the same reference numerals are given to parts having the same functions, and repeated explanations may be omitted. In the following description of the embodiments, the image floating in space is expressed by the term "floating image in space". Instead of this term, it is acceptable to express it as "aerial image", "spatial image", "floating image in space", "floating optical image of a displayed image", "floating optical image of a displayed image", etc. The term "floating image in space" used mainly in the description of the embodiments is used as a representative example of these terms.
以下の実施例は、映像発光源からの映像光による映像を、ガラス等の空間を仕切る透明な部材を介して透過して、前記透明な部材の外部に空間浮遊映像として表示することが可能な映像表示装置に関する。
The following embodiment relates to an image display device that can transmit an image generated by image light from an image light source through a transparent member that divides a space, such as glass, and display the image as a floating image outside the transparent member.
以下の実施例によれば、例えば、銀行のＡＴＭや駅の券売機やデジタルサイネージ等において好適な映像表示装置を実現できる。例えば、現状、銀行のＡＴＭや駅の券売機等では、通常、タッチパネルが用いられているが、透明なガラス面や光透過性の板材を用いて、このガラス面や光透過性の板材上に高解像度な映像情報を空間浮遊した状態で表示可能となる。この時、出射する映像光の発散角を小さく、即ち鋭角とし、さらに特定の偏波に揃えることで、再帰反射部材に対して正規の反射光だけを効率良く反射させるため、光の利用効率が高く、従来の再帰反射方式での課題となっていた主空間浮遊像の他に発生するゴースト像を抑えることができ、鮮明な空間浮遊映像を得ることができる。また、本実施例の光源を含む装置により、消費電力を大幅に低減することが可能な、新規で利用性に優れた空間浮遊映像表示装置（空間浮遊映像表示システム）を提供することができる。また、例えば、車両において車両内部および／または外部において視認可能である、いわゆる、一方向性の空間浮遊映像表示が可能な車両用空間浮遊映像表示装置を提供することができる。なお、以下の実施例では、いずれの場合も再帰反射部材として板状のものを用いてよい。この場合、再帰反射板と表現してもよい。
According to the following embodiment, for example, a suitable image display device can be realized for bank ATMs, station ticket vending machines, digital signage, etc. For example, currently, touch panels are usually used in bank ATMs, station ticket vending machines, etc., but by using a transparent glass surface or a light-transmitting plate material, high-resolution image information can be displayed in a floating state on this glass surface or light-transmitting plate material. At this time, by making the divergence angle of the emitted image light small, i.e., an acute angle, and further aligning it with a specific polarization, only the normal reflected light is efficiently reflected by the retroreflective member, so that the light utilization efficiency is high, and ghost images that occur in addition to the main floating image, which was a problem in the conventional retroreflective method, can be suppressed, and a clear floating image can be obtained. In addition, a device including the light source of this embodiment can provide a new and highly usable floating image display device (floating image display system) that can significantly reduce power consumption. In addition, for example, a floating image display device for vehicles that can display a floating image in one direction, which is visible inside and/or outside the vehicle, can be provided. In the following examples, a plate-shaped retroreflective member may be used in any case. In this case, it may be referred to as a retroreflective plate.
一方、従来の技術では、高解像度なカラー表示映像源１５０として有機ＥＬパネルや液晶パネルを再帰反射部材１５１と組合せる。従来の技術では映像光が広角で拡散するため、再帰反射部材１５１で正規に反射する反射光の他に、図２４に示すように、再帰反射部材２aに斜めから入射する映像光によってゴースト像３０１及び３０２が発生し、空間浮遊映像の画質を損ねていた。また、図２３に示すように、正規な空間浮遊映像３００の他に第１ゴースト像３０１や第２ゴースト像３０２などが複数発生する。このため監視者以外にもゴースト像である同一空間浮遊映像を監視されてしまいセキュリティ上大きな課題があった。
On the other hand, in conventional technology, an organic EL panel or a liquid crystal panel is combined with a retroreflective member 151 as a high-resolution color display image source 150. In conventional technology, image light is diffused at a wide angle, so in addition to the light reflected normally by the retroreflective member 151, ghost images 301 and 302 are generated by image light that is obliquely incident on the retroreflective member 2a as shown in FIG. 24, impairing the image quality of the floating in space image. Also, as shown in FIG. 23, in addition to the normal floating in space image 300, multiple first ghost images 301 and second ghost images 302 are generated. For this reason, the same floating in space image, which is a ghost image, can be observed by people other than the observer, which poses a major security issue.
＜空間浮遊映像表示装置＞
図１は、本発明の一実施例に係る空間浮遊映像表示装置の使用形態の一例を示す図であり、本実施例に係る空間浮遊映像表示装置の全体構成を示す図である。空間浮遊映像表示装置の具体的な構成については、図２等を用いて詳述するが、映像表示装置１から挟角な指向特性でかつ特定偏波の光が、映像光束として出射し、再帰反射部材２に一旦入射し、再帰反射して透明な部材１００（ガラス等）を透過して、ガラス面の外側に、実像である空中像（空間浮遊映像３）を形成する。
<Space-floating image display device>
Fig. 1 is a diagram showing an example of the usage form of a space-floating image display device according to an embodiment of the present invention, and is a diagram showing the overall configuration of the space-floating image display device according to this embodiment. The specific configuration of the space-floating image display device will be described in detail using Fig. 2, etc., but light with a narrow angle directional characteristic and specific polarization is emitted from the image display device 1 as an image light beam, once enters the retroreflective member 2, is retroreflected and passes through a transparent member 100 (glass, etc.), and forms a real aerial image (space-floating image 3) on the outside of the glass surface.
また、店舗等においては、ガラス等の透光性の部材であるショーウィンド（「ウィンドガラス」とも言う）１０５により空間が仕切られている。本実施例の空間浮遊映像表示装置によれば、かかる透明な部材を透過して、浮遊映像を店舗（空間）の外部および／または内部に対して一方向に表示することが可能である。
In addition, in stores and the like, the space is divided by a show window (also called "window glass") 105, which is a translucent material such as glass. According to the spatial floating image display device of this embodiment, it is possible to transmit the floating image through such a transparent material and display it in one direction to the outside and/or inside of the store (space).
図１（Ａ）では、ウィンドガラス１０５の内側（店舗内）を奥行方向にしてその外側（例えば、歩道）が手前になるように示している。他方、ウィンドガラス１０５に特定偏波を反射する手段を設けることで反射させ、店内の所望の位置に空中像を形成することもできる。
In FIG. 1(A), the inside of the window glass 105 (inside the store) is shown in the depth direction, with the outside (e.g., the sidewalk) in the foreground. On the other hand, by providing the window glass 105 with a means for reflecting a specific polarized wave, it is possible to reflect the wave and form an aerial image at a desired position inside the store.
図１（Ｂ）は、上述した表示装置１の構成を示す概略ブロック図である。表示装置１は、空中像の原画像を表示する映像表示部と、入力された映像をパネルの解像度に合わせて変換する映像制御部と、映像信号を受信する映像信号受信部とを含んでいる。映像信号受信部は、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）入力など有線での入力信号への対応と、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）などの無線入力信号への対応を行い、映像受信・表示装置として単独で機能するものでもあり、タブレット、スマートフォンなどからの映像情報を表示することもできる。更にステックＰＣなどを接続すれば、計算処理や映像解析処理などの能力を持たせることもできる。
Figure 1 (B) is a schematic block diagram showing the configuration of the display device 1 described above. The display device 1 includes a video display unit that displays the original image of the aerial image, a video control unit that converts the input video to match the resolution of the panel, and a video signal receiving unit that receives a video signal. The video signal receiving unit supports wired input signals such as HDMI (High-Definition Multimedia Interface) input, and wireless input signals such as Wi-Fi (Wireless Fidelity), and functions independently as a video receiving and display device, and can also display video information from a tablet, smartphone, etc. Furthermore, by connecting a stick PC or the like, it can be given the ability to perform calculation processing, video analysis processing, etc.
図２は、本発明の一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。図２を用いて、空間浮遊映像表示装置の構成をより具体的に説明する。図２（Ａ）に示すように、ガラス等の透明な部材１００の斜め方向には、特定偏波の映像光を挟角に発散させる表示装置１を備える。表示装置１は、液晶表示パネル１１と、挟角な拡散特性を有する特定偏波の光を生成する光源装置１３とを備えている。
Figure 2 is a diagram showing an example of the main components and retroreflection components of a space-floating image display device according to one embodiment of the present invention. The configuration of the space-floating image display device will be described in more detail using Figure 2. As shown in Figure 2 (A), a display device 1 that disperses specific polarized image light at a narrow angle is provided in the diagonal direction of a transparent member 100 such as glass. The display device 1 includes a liquid crystal display panel 11 and a light source device 13 that generates specific polarized light with a narrow-angle diffusion characteristic.
表示装置１からの特定偏波の映像光は、透明な部材１００に設けた特定偏波の映像光を選択的に反射する膜を有する偏光分離部材１０１（図中は偏光分離部材１０１をシート状に形成して透明な部材１００に粘着している）で反射され、再帰反射部材２に入射する。再帰反射部材２の映像光入射面にはλ／４板２１を設ける。映像光は、再帰反射部材２への入射のときと出射のときの２回、λ／４板２１を通過させられることで、特定偏波から他方の偏波へ偏光変換される。ここで、特定偏波の映像光を選択的に反射する偏光分離部材１０１は偏光変換された他方の偏波の偏光は透過する性質を有するので、偏光変換後の特定偏波の映像光は、偏光分離部材１０１を透過する。偏光分離部材１０１を透過した映像光が、透明な部材１００の外側に、実像である空間浮遊映像３を形成する。
The image light of a specific polarization from the display device 1 is reflected by the polarization separation member 101 (in the figure, the polarization separation member 101 is formed into a sheet shape and adhered to the transparent member 100) having a film that selectively reflects the image light of a specific polarization provided on the transparent member 100, and enters the retroreflective member 2. A λ/4 plate 21 is provided on the image light incidence surface of the retroreflective member 2. The image light is polarized and converted from a specific polarization to the other polarization by passing through the λ/4 plate 21 twice, when it enters the retroreflective member 2 and when it exits. Here, the polarization separation member 101 that selectively reflects the image light of a specific polarization has the property of transmitting the polarized light of the other polarization that has been polarized and converted, so the image light of the specific polarization after polarization conversion passes through the polarization separation member 101. The image light that has passed through the polarization separation member 101 forms a real image, a floating image 3, outside the transparent member 100.
なお、空間浮遊映像３を形成する光は再帰反射部材２から空間浮遊映像３の光学像へ収束する光線の集合であり、これらの光線は、空間浮遊映像３の光学像を通過後も直進する。よって、空間浮遊映像３は、一般的なプロジェクタなどでスクリーン上に形成される拡散映像光とは異なり、高い指向性を有する映像である。よって、図２の構成では、矢印Ａの方向からユーザが視認する場合は、空間浮遊映像３は明るい映像として視認される。しかし、矢印Ｂの方向から他の人物が視認する場合は、空間浮遊映像３は映像として一切視認することはできない。この特性は、高いセキュリティが求められる映像や、ユーザに正対する人物には秘匿したい秘匿性の高い映像を表示するシステムに採用する場合に非常に好適である。
The light that forms the floating image 3 is a collection of light rays that converge from the retroreflective member 2 to the optical image of the floating image 3, and these light rays continue to travel straight even after passing through the optical image of the floating image 3. Therefore, the floating image 3 is an image with high directionality, unlike the diffuse image light formed on a screen by a general projector, etc. Therefore, in the configuration of FIG. 2, when a user views the floating image 3 from the direction of arrow A, the floating image 3 is seen as a bright image. However, when another person views the floating image 3 from the direction of arrow B, the floating image 3 cannot be seen as an image at all. This characteristic is very suitable for use in a system that displays images that require high security or highly confidential images that should be kept secret from people directly facing the user.
なお、再帰反射部材２の性能によっては、反射後の映像光の偏光軸が不揃いになることがある。この場合、偏光軸が不揃いになった一部の映像光は、上述した偏光分離部材１０１で反射され表示装置１に戻る。この光が、表示装置１を構成する液晶表示パネル１１の映像表示面で再反射し、ゴースト像を発生させ空間浮遊像の画質を低下させる可能性がある。
Depending on the performance of the retroreflective member 2, the polarization axis of the reflected image light may become misaligned. In this case, some of the image light with a misaligned polarization axis is reflected by the polarization separation member 101 described above and returns to the display device 1. This light may be reflected again by the image display surface of the liquid crystal display panel 11 that constitutes the display device 1, generating a ghost image and degrading the image quality of the spatial floating image.
そこで、本実施例では、表示装置１の映像表示面に吸収型偏光板１２を設ける。表示装置１から出射する映像光は吸収型偏光板１２を透過させ、偏光分離部材１０１から戻ってくる反射光は吸収型偏光板１２で吸収させることで、上記再反射を抑制できる。これにより、空間浮遊像のゴースト像による画質低下を防止することができる。
Therefore, in this embodiment, an absorptive polarizer 12 is provided on the image display surface of the display device 1. The image light emitted from the display device 1 is transmitted through the absorptive polarizer 12, and the reflected light returning from the polarization separation member 101 is absorbed by the absorptive polarizer 12, thereby suppressing the above-mentioned re-reflection. This makes it possible to prevent degradation of image quality due to ghost images of the spatially floating image.
上述した偏光分離部材１０１は、例えば反射型偏光板や特定偏波を反射させる金属多層膜などで形成すればよい。
The polarization separation member 101 described above may be formed, for example, from a reflective polarizing plate or a metal multilayer film that reflects a specific polarized wave.
次に、図２（Ｂ）に、代表的な再帰反射部材２として、今回の検討に用いた日本カーバイト工業株式会社製の再帰反射部材の表面形状を示す。規則的に配列された６角柱の内部に入射した光線は、６角柱の壁面と底面で反射され再帰反射光として入射光に対応した方向に出射し、表示装置１に表示した映像に基づき実像である空間浮遊映像を表示する。
Next, Figure 2 (B) shows the surface shape of a typical retroreflective member 2 manufactured by Nippon Carbide Industries Co., Ltd., which was used in this study. Light rays incident on the interior of the regularly arranged hexagonal prisms are reflected by the walls and bottoms of the hexagonal prisms and emitted as retroreflected light in a direction corresponding to the incident light, and a real image floating in space is displayed based on the image displayed on the display device 1.
この空間浮遊像の解像度は、液晶表示パネル１１の解像度の他に、図２（Ｂ）で示す再帰反射部材２の再帰反射部の外形ＤとピッチＰに大きく依存する。例えば、７インチのＷＵＸＧＡ（１９２０×１２００画素）液晶表示パネルを用いる場合には、１画素（１トリプレット）が約８０μｍであっても、例えば再帰反射部の直径Ｄが２４０μｍでピッチが３００μｍであれば、空間浮遊像の１画素は３００μｍ相当となる。このため、空間浮遊映像の実効的な解像度は１／３程度に低下する。
The resolution of this floating image in space depends heavily on the resolution of the liquid crystal display panel 11 as well as the outer shape D and pitch P of the retroreflective portion of the retroreflective member 2 shown in FIG. 2(B). For example, when using a 7-inch WUXGA (1920 x 1200 pixels) liquid crystal display panel, even if one pixel (one triplet) is about 80 μm, if the diameter D of the retroreflective portion is 240 μm and the pitch is 300 μm, one pixel of the floating image in space will be equivalent to 300 μm. As a result, the effective resolution of the floating image in space will be reduced to about 1/3.
そこで、空間浮遊映像の解像度を表示装置１の解像度と同等にするためには、再帰反射部の直径とピッチを液晶表示パネルの１画素に近づけることが望まれる。他方、再帰反射部材と液晶表示パネルの画素によるモアレの発生を抑えるため、それぞれのピッチ比を１画素の整数倍から外して設計すると良い。また、形状は、再帰反射部のいずれの一辺も液晶表示パネルの１画素のいずれの一辺と重ならないように配置すると良い。
Therefore, in order to make the resolution of the spatial floating image equivalent to that of the display device 1, it is desirable to make the diameter and pitch of the retroreflective portion close to that of one pixel of the liquid crystal display panel. On the other hand, in order to suppress the occurrence of moire caused by the retroreflective material and the pixels of the liquid crystal display panel, it is advisable to design the pitch ratio of each to be a different integer multiple of one pixel. In addition, it is advisable to arrange the shape so that none of the sides of the retroreflective portion overlaps with any of the sides of one pixel of the liquid crystal display panel.
一方、再帰反射部材を低価格で製造するためには、ロールプレス法を用いて成形すると良い。具体的には、再帰部を整列させフィルム上に賦形する方法であり、賦形する形状の逆形状をロール表面に形成し、固定用のベース材の上に紫外線硬化樹脂を塗布しロール間を通過させることで、必要な形状を賦形し紫外線を照射して硬化させ、所望形状の再帰反射部材２を得る。
On the other hand, in order to manufacture retroreflective members at low cost, it is advisable to use the roll press method. Specifically, this method aligns the retroreflective parts and shapes them on the film. The inverse shape of the shape to be shaped is formed on the roll surface, and ultraviolet-curable resin is applied onto the base material for fixing and passed between the rolls to form the required shape and cure it by irradiating ultraviolet light, obtaining the retroreflective member 2 of the desired shape.
＜＜空間浮遊映像表示装置の設置方法＞＞
次に、空間浮遊映像表示装置の設置方法について説明する。空間浮遊映像表示装置は、使用形態に応じて設置方法を自在に変更することが可能である。図３Ａは、空間浮遊映像表示装置の設置方法の一例を示す図である。図３Ａに示す空間浮遊映像表示装置は、空間浮遊映像３が形成される側の面が上方を向くように横置きにして設置される。すなわち、図３Ａでは、空間浮遊映像表示装置は、透明な部材１００が上方を向くように設置され、空間浮遊映像３が、空間浮遊映像表示装置の上方に形成される。
<<How to install the space floating image display device>>
Next, a method of installing the space-floating image display device will be described. The installation method of the space-floating image display device can be freely changed according to the usage form. Fig. 3A is a diagram showing an example of a method of installing the space-floating image display device. The space-floating image display device shown in Fig. 3A is installed horizontally so that the surface on which the space-floating image 3 is formed faces upward. That is, in Fig. 3A, the space-floating image display device is installed so that the transparent member 100 faces upward, and the space-floating image 3 is formed above the space-floating image display device.
図３Ｂは、空間浮遊映像表示装置の設置方法の他の例を示す図である。図３Ｂに示す空間浮遊映像表示装置は、空間浮遊映像３が形成される側の面が側方（ユーザ２３０の方向）を向くように縦置きにして設置される。すなわち、図３Ｂでは、空間浮遊映像表示装置は、透明な部材１００が側方を向くように設置され、空間浮遊映像３が、空間浮遊映像表示装置の側方（ユーザ２３０の方向）に形成される。
Figure 3B is a diagram showing another example of a method for installing a space-floating image display device. The space-floating image display device shown in Figure 3B is installed vertically so that the surface on which the space-floating image 3 is formed faces to the side (towards the user 230). That is, in Figure 3B, the space-floating image display device is installed so that the transparent member 100 faces to the side, and the space-floating image 3 is formed to the side of the space-floating image display device (towards the user 230).
＜＜空間浮遊映像表示装置の構成＞＞
次に、空間浮遊映像表示装置１０００の構成について説明する。図３Ｃは、空間浮遊映像表示装置１０００の内部構成の一例を示すブロック図である。
<<Configuration of the space floating image display device>>
Next, a description will be given of the configuration of the space-floating image display device 1000. Fig. 3C is a block diagram showing an example of the internal configuration of the space-floating image display device 1000.
空間浮遊映像表示装置１０００は、再帰反射部１１０１、映像表示部１１０２、導光体１１０４、光源１１０５、電源１１０６、操作入力部１１０７、不揮発性メモリ１１０８、メモリ１１０９、制御部１１１０、映像信号入力部１１３１、音声信号入力部１１３３、通信部１１３２、空中操作検出センサ１３５１、空中操作検出部１３５０、音声出力部１１４０、映像制御部１１６０、ストレージ部１１７０、撮像部１１８０等を備えている。
The floating-in-space image display device 1000 includes a retroreflection unit 1101, an image display unit 1102, a light guide 1104, a light source 1105, a power source 1106, an operation input unit 1107, a non-volatile memory 1108, a memory 1109, a control unit 1110, an image signal input unit 1131, an audio signal input unit 1133, a communication unit 1132, an aerial operation detection sensor 1351, an aerial operation detection unit 1350, an audio output unit 1140, an image control unit 1160, a storage unit 1170, an imaging unit 1180, etc.
空間浮遊映像表示装置１０００の各構成要素は、筐体１１９０に配置されている。なお、図３Ｃに示す撮像部１１８０および空中操作検出センサ１３５１は、筐体１１９０の外側に設けられてもよい。
The components of the space floating image display device 1000 are arranged in a housing 1190. Note that the imaging unit 1180 and the aerial operation detection sensor 1351 shown in FIG. 3C may be provided on the outside of the housing 1190.
図３Ｃの再帰反射部１１０１は、図２の再帰反射部材２に対応している。再帰反射部１１０１は、映像表示部１１０２により変調された光を再帰反射する。再帰反射部１１０１からの反射光のうち、空間浮遊映像表示装置１０００の外部に出力された光により空間浮遊映像３が形成される。
The retroreflective portion 1101 in FIG. 3C corresponds to the retroreflective member 2 in FIG. 2. The retroreflective portion 1101 retroreflects light modulated by the image display portion 1102. The light reflected from the retroreflective portion 1101 is output to the outside of the space-floating image display device 1000 to form the space-floating image 3.
図３Ｃの映像表示部１１０２は、図２の液晶表示パネル１１に対応している。図３Ｃの光源１１０５は、図２の光源装置１３と対応している。そして、図３Ｃの映像表示部１１０２、導光体１１０４、および光源１１０５は、図２の表示装置１に対応している。
The image display unit 1102 in FIG. 3C corresponds to the liquid crystal display panel 11 in FIG. 2. The light source 1105 in FIG. 3C corresponds to the light source device 13 in FIG. 2. The image display unit 1102, the light guide 1104, and the light source 1105 in FIG. 3C correspond to the display device 1 in FIG. 2.
映像表示部１１０２は、後述する映像制御部１１６０による制御により入力される映像信号に基づいて、透過する光を変調して映像を生成する表示部である。映像表示部１１０２は、図２の液晶表示パネル１１に対応している。映像表示部１１０２として、例えば透過型液晶パネルが用いられる。また、映像表示部１１０２として、例えば反射する光を変調する方式の反射型液晶パネルやＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ：登録商標）パネル等が用いてられてもよい。
The video display unit 1102 is a display unit that generates an image by modulating transmitted light based on a video signal input under the control of the video control unit 1160 described later. The video display unit 1102 corresponds to the liquid crystal display panel 11 in FIG. 2. For example, a transmissive liquid crystal panel is used as the video display unit 1102. Also, for example, a reflective liquid crystal panel that modulates reflected light or a DMD (Digital Micromirror Device: registered trademark) panel may be used as the video display unit 1102.
光源１１０５は、映像表示部１１０２用の光を発生するもので、ＬＥＤ光源、レーザ光源等の固体光源である。電源１１０６は、外部から入力されるＡＣ電流をＤＣ電流に変換し、光源１１０５に電力を供給する。また、電源１１０６は、空間浮遊映像表示装置１０００内の各部に、それぞれ必要なＤＣ電流を供給する。
The light source 1105 generates light for the image display unit 1102 and is a solid-state light source such as an LED light source or a laser light source. The power supply 1106 converts AC current input from the outside into DC current and supplies power to the light source 1105. The power supply 1106 also supplies the necessary DC current to each part in the space floating image display device 1000.
導光体１１０４は、光源１１０５で発生した光を導光し、映像表示部１１０２に照射させる。導光体１１０４と光源１１０５とを組み合わせたものを、映像表示部１１０２のバックライトと称することもできる。導光体１１０４と光源１１０５との組み合わせには、さまざまな方式が考えられる。導光体１１０４と光源１１０５との組み合わせについての具体的な構成例については、後で詳しく説明する。
The light guide 1104 guides the light generated by the light source 1105 and irradiates it onto the image display unit 1102. The combination of the light guide 1104 and the light source 1105 can also be called the backlight of the image display unit 1102. There are various possible combinations of the light guide 1104 and the light source 1105. Specific configuration examples of the combination of the light guide 1104 and the light source 1105 will be described in detail later.
空中操作検出センサ１３５１は、ユーザ２３０の指による空間浮遊映像３の操作を検出するセンサである。空中操作検出センサ１３５１は、例えば空間浮遊映像３の表示範囲の全部と重畳する範囲をセンシングする。なお、空中操作検出センサ１３５１は、空間浮遊映像３の表示範囲の少なくとも一部と重畳する範囲のみをセンシングしてもよい。
The aerial operation detection sensor 1351 is a sensor that detects an operation of the floating-in-space image 3 by the finger of the user 230. The aerial operation detection sensor 1351 senses, for example, an area that overlaps with the entire display area of the floating-in-space image 3. Note that the aerial operation detection sensor 1351 may only sense an area that overlaps with at least a portion of the display area of the floating-in-space image 3.
空中操作検出センサ１３５１の具体例としては、赤外線などの非可視光、非可視光レーザ、超音波等を用いた距離センサが挙げられる。また、空中操作検出センサ１３５１は、複数のセンサを複数組み合わせ、２次元平面の座標を検出できるように構成されたものでもよい。また、空中操作検出センサ１３５１は、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式のＬｉＤＡＲ(Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ)や、画像センサで構成されてもよい。
Specific examples of the aerial operation detection sensor 1351 include a distance sensor that uses invisible light such as infrared light, an invisible light laser, ultrasonic waves, etc. The aerial operation detection sensor 1351 may also be configured to detect coordinates on a two-dimensional plane by combining multiple sensors. The aerial operation detection sensor 1351 may also be configured with a ToF (Time of Flight) type LiDAR (Light Detection and Ranging) or an image sensor.
空中操作検出センサ１３５１は、ユーザが指で空間浮遊映像３として表示されるオブジェクトに対するタッチ操作等を検出するためのセンシングができればよい。このようなセンシングは、既存の技術を用いて行うことができる。
The mid-air operation detection sensor 1351 only needs to be capable of sensing to detect touch operations, etc., made by the user with his/her finger on an object displayed as the floating-in-space image 3. Such sensing can be performed using existing technology.
空中操作検出部１３５０は、空中操作検出センサ１３５１からセンシング信号を取得し、センシング信号に基づいてユーザ２３０の指による空間浮遊映像３のオブジェクトに対する接触の有無や、ユーザ２３０の指とオブジェクトとが接触した位置（接触位置）の算出等を行う。空中操作検出部１３５０は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の回路で構成される。また、空中操作検出部１３５０の一部の機能は、例えば制御部１１１０で実行される空間操作検出用プログラムによりソフトウェアで実現されてもよい。
The aerial operation detection unit 1350 acquires a sensing signal from the aerial operation detection sensor 1351, and performs operations such as determining whether the finger of the user 230 has touched an object in the floating-in-space image 3 and calculating the position (contact position) where the finger of the user 230 has touched the object based on the sensing signal. The aerial operation detection unit 1350 is configured with a circuit such as an FPGA (Field Programmable Gate Array). Some of the functions of the aerial operation detection unit 1350 may be realized by software, for example, by a spatial operation detection program executed by the control unit 1110.
空中操作検出センサ１３５１および空中操作検出部１３５０は、空間浮遊映像表示装置１０００に内蔵された構成としてもよいが、空間浮遊映像表示装置１０００とは別体で外部に設けられてもよい。空間浮遊映像表示装置１０００と別体で設ける場合、空中操作検出センサ１３５１および空中操作検出部１３５０は、有線または無線の通信接続路や映像信号伝送路を介して空間浮遊映像表示装置１０００に情報や信号を伝達できるように構成される。
The aerial operation detection sensor 1351 and the aerial operation detection unit 1350 may be configured to be built into the space-floating image display device 1000, or may be provided separately from the space-floating image display device 1000. When provided separately from the space-floating image display device 1000, the aerial operation detection sensor 1351 and the aerial operation detection unit 1350 are configured to transmit information and signals to the space-floating image display device 1000 via a wired or wireless communication connection path or image signal transmission path.
また、空中操作検出センサ１３５１および空中操作検出部１３５０が別体で設けられてもよい。これにより、空中操作検出機能の無い空間浮遊映像表示装置１０００を本体として、空中操作検出機能のみをオプションで追加できるようなシステムを構築することが可能である。また、空中操作検出センサ１３５１のみを別体とし、空中操作検出部１３５０が空間浮遊映像表示装置１０００に内蔵された構成でもよい。空間浮遊映像表示装置１０００の設置位置に対して空中操作検出センサ１３５１をより自由に配置したい場合等には、空中操作検出センサ１３５１のみを別体とする構成に利点がある。
Also, the aerial operation detection sensor 1351 and the aerial operation detection unit 1350 may be provided separately. This makes it possible to build a system in which the air-floating image display device 1000 without the aerial operation detection function is the main body, and only the aerial operation detection function can be added as an option. Also, a configuration in which only the aerial operation detection sensor 1351 is a separate unit, and the aerial operation detection unit 1350 is built into the air-floating image display device 1000 may be used. In cases where it is desired to more freely position the aerial operation detection sensor 1351 relative to the installation position of the air-floating image display device 1000, a configuration in which only the aerial operation detection sensor 1351 is a separate unit is advantageous.
撮像部１１８０は、イメージセンサを有するカメラであり、空間浮遊映像３付近の空間、および／またはユーザ２３０の顔、腕、指などを撮像する。撮像部１１８０は、複数設けられてもよい。複数の撮像部１１８０を用いることで、あるいは深度センサ付きの撮像部を用いることで、ユーザ２３０による空間浮遊映像３のタッチ操作の検出処理の際、空中操作検出部１３５０を補助することができる。撮像部１１８０は空間浮遊映像表示装置１０００と別体で設けられてもよい。撮像部１１８０を空間浮遊映像表示装置１０００と別体で設ける場合、有線または無線の通信接続路などを介して空間浮遊映像表示装置１０００に撮像信号を伝達できるように構成すればよい。
The imaging unit 1180 is a camera with an image sensor, and captures the space near the floating-in-space image 3 and/or the face, arms, fingers, etc. of the user 230. A plurality of imaging units 1180 may be provided. By using a plurality of imaging units 1180, or by using an imaging unit with a depth sensor, the aerial operation detection unit 1350 can be assisted in the detection process of the touch operation of the floating-in-space image 3 by the user 230. The imaging unit 1180 may be provided separately from the floating-in-space image display device 1000. When the imaging unit 1180 is provided separately from the floating-in-space image display device 1000, it is sufficient to configure it so that an imaging signal can be transmitted to the floating-in-space image display device 1000 via a wired or wireless communication connection path, etc.
例えば、空中操作検出センサ１３５１が、空間浮遊映像３の表示面を含む平面（侵入検出平面）を対象として、この侵入検出平面内への物体の侵入の有無を検出する物体侵入センサとして構成された場合、侵入検出平面内に侵入していない物体（例えば、ユーザの指）が侵入検出平面からどれだけ離れているのか、あるいは物体が侵入検出平面にどれだけ近いのかといった情報を、空中操作検出センサ１３５１では検出できない場合がある。
For example, if the aerial operation detection sensor 1351 is configured as an object intrusion sensor that detects whether an object has intruded into a plane (intrusion detection plane) that includes the display surface of the floating-in-space image 3, the aerial operation detection sensor 1351 may not be able to detect information such as how far an object that has not intruded into the intrusion detection plane (e.g., a user's finger) is from the intrusion detection plane, or how close the object is to the intrusion detection plane.
このような場合、複数の撮像部１１８０の撮像画像に基づく物体の深度算出情報や深度センサによる物体の深度情報等の情報を用いることにより、物体と侵入検出平面との距離を算出することができる。そして、これらの情報や、物体と侵入検出平面との距離等の各種情報は、空間浮遊映像３に対する各種表示制御に用いられる。
In such a case, the distance between the object and the intrusion detection plane can be calculated by using information such as object depth calculation information based on the captured images of the multiple image capturing units 1180 and object depth information from the depth sensor. These pieces of information and various other information such as the distance between the object and the intrusion detection plane are then used for various display controls for the floating in space image 3.
また、空中操作検出センサ１３５１を用いずに、撮像部１１８０の撮像画像に基づき、空中操作検出部１３５０がユーザ２３０による空間浮遊映像３のタッチ操作を検出するようにしてもよい。
In addition, without using the aerial operation detection sensor 1351, the aerial operation detection unit 1350 may detect a touch operation of the floating-in-space image 3 by the user 230 based on the captured image of the imaging unit 1180.
また、撮像部１１８０が空間浮遊映像３を操作するユーザ２３０の顔を撮像し、制御部１１１０がユーザ２３０の識別処理を行うようにしてもよい。また、空間浮遊映像３を操作するユーザ２３０の周辺や背後に他人が立っており、他人が空間浮遊映像３に対するユーザ２３０の操作を覗き見ていないか等を判別するため、撮像部１１８０は、空間浮遊映像３を操作するユーザ２３０と、ユーザ２３０の周辺領域とを含めた範囲を撮像するようにしてもよい。
The imaging unit 1180 may also capture an image of the face of the user 230 who is operating the floating image 3, and the control unit 1110 may perform an identification process for the user 230. In addition, the imaging unit 1180 may capture an image of a range including the user 230 who is operating the floating image 3 in space and the surrounding area of the user 230, in order to determine whether or not another person is standing around or behind the user 230 who is operating the floating image 3 and peeking at the user 230's operation of the floating image 3.
操作入力部１１０７は、例えば操作ボタンやリモートコントローラの受光部であり、ユーザ２３０による空中操作（タッチ操作）とは異なる操作についての信号を入力する。空間浮遊映像３をタッチ操作する前述のユーザ２３０とは別に、操作入力部１１０７は、例えば管理者が空間浮遊映像表示装置１０００を操作するために用いられてもよい。
The operation input unit 1107 is, for example, an operation button or a light receiving unit of a remote controller, and inputs a signal for an operation different from the aerial operation (touch operation) by the user 230. In addition to the above-mentioned user 230 who touches the floating-in-space image 3, the operation input unit 1107 may be used, for example, by an administrator to operate the floating-in-space image display device 1000.
映像信号入力部１１３１は、外部の映像出力装置を接続して映像データを入力する。音声信号入力部１１３３は、外部の音声出力装置を接続して音声データを入力する。音声出力部１１４０は、音声信号入力部１１３３に入力された音声データに基づいた音声出力を行うことが可能である。また、音声出力部１１４０は内蔵の操作音やエラー警告音を出力してもよい。
The video signal input unit 1131 connects to an external video output device and inputs video data. The audio signal input unit 1133 connects to an external audio output device and inputs audio data. The audio output unit 1140 is capable of outputting audio based on the audio data input to the audio signal input unit 1133. The audio output unit 1140 may also output built-in operation sounds and error warning sounds.
不揮発性メモリ１１０８は、空間浮遊映像表示装置１０００で用いる各種データを格納する。不揮発性メモリ１１０８に格納されるデータには、例えば、空間浮遊映像３に表示する各種操作用のデータ、表示アイコン、ユーザの操作が操作するためのオブジェクトのデータやレイアウト情報等が含まれる。メモリ１１０９は、空間浮遊映像３として表示する映像データや装置の制御用データ等を記憶する。
The non-volatile memory 1108 stores various data used by the space floating image display device 1000. The data stored in the non-volatile memory 1108 includes, for example, data for various operations to be displayed on the space floating image 3, display icons, data for objects to be operated by user operations, layout information, etc. The memory 1109 stores image data to be displayed as the space floating image 3, data for controlling the device, etc.
制御部１１１０は、接続される各部の動作を制御する。また、制御部１１１０は、メモリ１１０９に記憶されるプログラムと協働して、空間浮遊映像表示装置１０００内の各部から取得した情報に基づく演算処理を行ってもよい。通信部１１３２は、有線または無線のインタフェースを介して、外部機器や外部のサーバ等と通信を行う。通信部１１３２を介した通信により、映像データ、画像データ、音声データ等の各種データが送受信される。
The control unit 1110 controls the operation of each connected unit. The control unit 1110 may also work with a program stored in the memory 1109 to perform calculations based on information acquired from each unit in the space floating image display device 1000. The communication unit 1132 communicates with external devices, external servers, etc. via a wired or wireless interface. Various types of data such as video data, image data, and audio data are sent and received by communication via the communication unit 1132.
ストレージ部１１７０は、映像データ、画像データ、音声データ等の各種データ＆の各種情報を記録する記憶装置である。ストレージ部１１７０には、例えば、製品出荷時に予め映像データ、画像データ、音声データ等の各種データ等の各種情報が記録されていてもよい。また、ストレージ部１１７０は、通信部１１３２を介して外部機器や外部のサーバ等から取得した映像データ、画像データ、音声データ等の各種データ等の各種情報を記録してもよい。
The storage unit 1170 is a storage device that records various types of data and information such as video data, image data, and audio data. For example, various types of information such as video data, image data, and audio data may be recorded in advance in the storage unit 1170 at the time of product shipment. In addition, the storage unit 1170 may record various types of information such as various types of data such as video data, image data, and audio data acquired from an external device or an external server via the communication unit 1132.
ストレージ部１１７０に記録された映像データ、画像データ等は、映像表示部１１０２と再帰反射部１１０１とを介して空間浮遊映像３として出力される。空間浮遊映像３として表示される、表示アイコンやユーザが操作するためのオブジェクト等の映像データ、画像データ等も、ストレージ部１１７０に記録される。
The video data, image data, etc. recorded in the storage unit 1170 are output as the space floating image 3 via the video display unit 1102 and the retroreflection unit 1101. The video data, image data, etc. of the display icons and objects for the user to operate, which are displayed as the space floating image 3, are also recorded in the storage unit 1170.
空間浮遊映像３として表示される表示アイコンやオブジェクト等のレイアウト情報や、オブジェクトに関する各種メタデータの情報等もストレージ部１１７０に記録される。ストレージ部１１７０に記録された音声データは、例えば音声出力部１１４０から音声として出力される。
Layout information such as display icons and objects displayed as the floating-in-space image 3, and various metadata information related to the objects are also recorded in the storage unit 1170. The audio data recorded in the storage unit 1170 is output as audio from the audio output unit 1140, for example.
映像制御部１１６０は、映像表示部１１０２に入力する映像信号に関する各種制御を行う。映像制御部１１６０は、例えば、メモリ１１０９に記憶させる映像信号と、映像信号入力部１１３１に入力された映像信号（映像データ）等のうち、どの映像信号を映像表示部１１０２に入力するかといった映像切り替えの制御等を行う。
The video control unit 1160 performs various controls related to the video signal input to the video display unit 1102. For example, the video control unit 1160 controls video switching, such as which video signal is to be input to the video display unit 1102 between the video signal to be stored in the memory 1109 and the video signal (video data) input to the video signal input unit 1131.
また、映像制御部１１６０は、メモリ１１０９に記憶させる映像信号と、映像信号入力部１１３１から入力された映像信号とを重畳した重畳映像信号を生成し、重畳映像信号を映像表示部１１０２に入力することで、合成映像を空間浮遊映像３として形成する制御を行ってもよい。
The image control unit 1160 may also generate a superimposed image signal by superimposing the image signal to be stored in the memory 1109 and the image signal input from the image signal input unit 1131, and input the superimposed image signal to the image display unit 1102, thereby controlling the formation of a composite image as a floating-in-space image 3.
また、映像制御部１１６０は、映像信号入力部１１３１から入力された映像信号やメモリ１１０９に記憶させる映像信号等に対して画像処理を行う制御を行ってもよい。画像処理としては、例えば、画像の拡大、縮小、変形等を行うスケーリング処理、輝度を変更するブライト調整処理、画像のコントラストカーブを変更するコントラスト調整処理、画像を光の成分に分解して成分ごとの重みづけを変更するレティネックス処理等がある。
The video control unit 1160 may also control image processing of the video signal input from the video signal input unit 1131 and the video signal to be stored in the memory 1109. Examples of image processing include scaling processing to enlarge, reduce, or deform an image, brightness adjustment processing to change the brightness, contrast adjustment processing to change the contrast curve of an image, and Retinex processing to decompose an image into light components and change the weighting of each component.
また、映像制御部１１６０は、映像表示部１１０２に入力する映像信号に対して、ユーザ２３０の空中操作（タッチ操作）を補助するための特殊効果映像処理等を行ってもよい。特殊効果映像処理は、例えば、空中操作検出部１３５０によるユーザ２３０のタッチ操作の検出結果や、撮像部１１８０によるユーザ２３０の撮像画像に基づいて行われる。
The video control unit 1160 may also perform special effect video processing, etc., to assist the user 230 in performing an aerial operation (touch operation) on the video signal input to the video display unit 1102. The special effect video processing is performed, for example, based on the detection result of the touch operation of the user 230 by the aerial operation detection unit 1350, or on an image of the user 230 captured by the imaging unit 1180.
ここまで説明したように空間浮遊映像表示装置１０００には、さまざまな機能が搭載されている。ただし、空間浮遊映像表示装置１０００は、これらのすべての機能を備える必要はなく、空間浮遊映像３を形成する機能があればどのような構成でもよい。
As explained above, the space-floating image display device 1000 is equipped with various functions. However, the space-floating image display device 1000 does not need to have all of these functions, and can have any configuration as long as it has the function of forming the space-floating image 3.
＜空間浮遊映像表示装置２＞
図４は、本発明の一実施例に係る空間浮遊映像表示装置の主要部構成の他の例を示す図である。表示装置１は、映像表示素子である液晶表示パネル１１と、挟角な拡散特性を有する特定偏波の光を生成する光源装置１３とを備える。表示装置１は、例えば、画面サイズが５インチ程度の小型のものから８０インチを超える大型な液晶表示パネルで構成される。折り返しミラー２２は、透明な部材１００を基板とする。透明な部材１００の表示装置１側の表面には、反射型偏光板のような特定偏波の映像光を選択的に反射する偏光分離部材１０１を設け、液晶表示パネル１１からの映像光を再帰反射板２に向けて反射する。これにより、折り返しミラー２２はミラーとしての機能を有する。表示装置１からの特定偏波の映像光は、透明な部材１００に設けた偏光分離部材１０１（図中はシート状の偏光分離部材１０１を粘着）で反射され、再帰反射板２に入射する。なお、偏光分離部材１０１の代わりに、透明な部材１００の表面に偏光分離特性を有する光学膜を蒸着してもよい。
<Space-floating image display device 2>
FIG. 4 is a diagram showing another example of the main part configuration of a space floating image display device according to an embodiment of the present invention. The display device 1 includes a liquid crystal display panel 11, which is an image display element, and a light source device 13 that generates light of a specific polarized wave having a narrow angle diffusion characteristic. The display device 1 is composed of a liquid crystal display panel having a screen size of, for example, a small one having a screen size of about 5 inches to a large one having a screen size of more than 80 inches. The folding mirror 22 has a transparent member 100 as a substrate. A polarization separation member 101 that selectively reflects image light of a specific polarized wave, such as a reflective polarizing plate, is provided on the surface of the transparent member 100 on the display device 1 side, and reflects the image light from the liquid crystal display panel 11 toward the retroreflector 2. As a result, the folding mirror 22 has a function as a mirror. The image light of a specific polarized wave from the display device 1 is reflected by the polarization separation member 101 (a sheet-shaped polarization separation member 101 is adhered in the figure) provided on the transparent member 100, and enters the retroreflector 2. Instead of the polarization separation member 101, an optical film having polarization separation properties may be vapor-deposited on the surface of the transparent member 100.
再帰反射板の光入射面にはλ／４板２１を設け、映像光を２度通過させることで偏光変換し特定偏波を、位相が９０°異なる他方の偏波に変換する。これにより、再帰反射後の映像光について偏光分離部材１０１を透過させ、透明な部材１００の外側に実像である空間浮遊映像３を表示する。
A λ/4 plate 21 is provided on the light incidence surface of the retroreflector, and the image light is passed through it twice to convert the polarization, converting a specific polarized wave into the other polarized wave with a phase difference of 90°. This allows the image light after retroreflection to pass through the polarization separation member 101, and displays a real image, a floating image 3, on the outside of the transparent member 100.
ここで、上述した偏光分離部材１０１では再帰反射することで偏光軸が不揃いになるため、一部の映像光は反射し表示装置１に戻る。この光が再度表示装置１を構成する液晶表示パネル１１の映像表示面で反射し、ゴースト像を発生させ空間浮遊像の画質を著しく低下させる。
Here, the polarization separation member 101 described above causes the polarization axis to become misaligned due to retroreflection, so some of the image light is reflected back to the display device 1. This light is reflected again by the image display surface of the liquid crystal display panel 11 that constitutes the display device 1, generating a ghost image and significantly degrading the image quality of the spatial floating image.
そこで、本実施例では表示装置１の映像表示面に吸収型偏光板１２を設けてもよい。表示装置１から発せられる映像光は透過させ、上述した偏光分離部材１０１からの反射光を吸収させることで空間浮遊像のゴースト像による画質低下を防止する。また、セット外部の太陽光や照明光による画質低下を軽減するため、透明な部材１００の映像光透過出力側の表面に吸収型偏光板１０２を設けると良い。
Therefore, in this embodiment, an absorptive polarizing plate 12 may be provided on the image display surface of the display device 1. The image light emitted from the display device 1 is transmitted, and the reflected light from the above-mentioned polarized light separation member 101 is absorbed, thereby preventing degradation of image quality due to ghost images of the spatially floating images. Also, in order to reduce degradation of image quality due to sunlight or illumination light outside the set, it is advisable to provide an absorptive polarizing plate 102 on the surface of the transparent member 100 on the image light transmission output side.
次に、上述した空間浮遊映像表示装置により得られた空間浮遊映像に対して対象物とセンサ４４の距離と位置の関係をセンシングするように、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｙ）機能を有するセンサ４４を図５に示すように複数層に配置して、対象物の平面方向の座標の他に奥行方向の座標と対象物の移動方向、移動速度も感知することが可能となる。２次元の距離と位置を読み取るために赤外線発光部と受光部の組み合わせを複数直線的に配置し、発光点からの光を対象物に照射し反射した光を受光部で受光する。発光した時間と受光した時間との差と、光速の積により、対象物との距離が明確になる。また、平面上の座標は、複数の発光部と受光部で、発光時間と受光時間の差が最も小さい部分での座標から読み取ることができる。以上により、平面（２次元）での対象物の座標と、前述したセンサを複数組み合わせることで、３次元の座標情報を得ることもできる。
Next, in order to sense the distance and position relationship between the object and the sensor 44 for the space floating image obtained by the space floating image display device described above, sensors 44 with TOF (Time of Fly) function are arranged in multiple layers as shown in FIG. 5, and it becomes possible to sense not only the coordinates of the object in the planar direction, but also the coordinates in the depth direction and the moving direction and moving speed of the object. In order to read the two-dimensional distance and position, multiple combinations of infrared light emitting units and light receiving units are arranged in a straight line, light from the light emitting point is irradiated onto the object, and the reflected light is received by the light receiving unit. The distance to the object becomes clear by the product of the difference between the time of light emission and the time of light reception and the speed of light. In addition, the coordinates on the plane can be read from the coordinates at the part where the difference between the time of light emission and the time of light reception is the smallest with multiple light emitting units and light receiving units. As described above, by combining the coordinates of the object on the plane (two dimensions) with multiple sensors described above, three-dimensional coordinate information can also be obtained.
更に、上述した空間浮遊映像表示装置として３次元の空間浮遊映像を得る方法について、図６を用いて説明する。図６は、空間浮遊映像表示装置で用いる３次元映像表示の原理の説明図である。図４に示す表示装置１の液晶表示パネル１１の映像表示画面の画素に合わせて水平レンチキュラーレンズを配置する。この結果、図６に示すように画面水平方向の運動視差Ｐ１、Ｐ２、Ｐ３の３方向からの運動視差を表示するには、３方向からの映像を３画素ごとに１つのブロックとして、１画素ごとに３方向からの映像情報を表示し、対応するレンチキュラーレンズ（図６中に縦線で示す）の作用により光の出射方向を制御して３方向に分離出射する。この結果、３視差の立体像が表示可能となる。
Furthermore, a method for obtaining a three-dimensional space-floating image using the above-mentioned space-floating image display device will be described with reference to FIG. 6. FIG. 6 is an explanatory diagram of the principle of three-dimensional image display used in the space-floating image display device. A horizontal lenticular lens is arranged to match the pixels of the image display screen of the liquid crystal display panel 11 of the display device 1 shown in FIG. 4. As a result, in order to display motion parallax from three directions, P1, P2, and P3 in the horizontal direction of the screen as shown in FIG. 6, images from the three directions are treated as one block for every three pixels, and image information from the three directions is displayed for each pixel, and the light emission direction is controlled by the action of the corresponding lenticular lens (shown by vertical lines in FIG. 6) to separate and emit in three directions. As a result, a three-parallax stereoscopic image can be displayed.
＜反射型偏光板＞
本実施例の空間浮遊映像表示装置において、偏光分離部材１０１は、映像の画質を決めるコントラスト性能を、一般的なハーフミラーよりも向上させるために用いられる。本実施例の偏光分離部材１０１の一例として、反射型偏光板の特性を説明する。図７は、反射型偏光板の特性を評価した測定系の説明図である。図７の反射型偏光板の偏光軸に対して垂直方向からの光線入射角に対する透過特性と反射特性を、Ｖ－ＡＯＩとして、図８及び図９にそれぞれ示す。同様に、反射型偏光板の偏光軸に対して水平方向からの光線入射角に対する透過特性と反射特性を、Ｈ－ＡＯＩとして、図１０及び図１１にそれぞれ示す。
<Reflective polarizing plate>
In the space floating image display device of this embodiment, the polarization separation member 101 is used to improve the contrast performance, which determines the image quality, more than a general half mirror. As an example of the polarization separation member 101 of this embodiment, the characteristics of a reflective polarizing plate will be described. FIG. 7 is an explanatory diagram of a measurement system for evaluating the characteristics of a reflective polarizing plate. The transmission characteristics and reflection characteristics of the reflective polarizing plate in FIG. 7 with respect to the incident angle of a light beam from a direction perpendicular to the polarization axis are shown in FIGS. 8 and 9, respectively, as V-AOI. Similarly, the transmission characteristics and reflection characteristics of the reflective polarizing plate with respect to the incident angle of a light beam from a direction horizontal to the polarization axis are shown in FIGS. 10 and 11, respectively, as H-AOI.
なお、図８～図１１の特性グラフ（各々カラーで表示している）において、右側の欄外に示す角度（ｄｅｇ）の値は、縦軸すなわち透過率（％）の値が高い順に、上から示している。例えば、図８では、横軸が略４００ｎｍ～８００ｎｍの波長の光を示す範囲において、垂直（Ｖ）方向の角度が０度（ｄｅｇ）の場合が最も透過率が高く、１０度、２０度、３０度、４０度の順に透過率が低くなる。また、図９では、横軸が略４００ｎｍ～８００ｎｍの波長の光を示す範囲において、垂直（Ｖ）方向の角度が０度（ｄｅｇ）の場合が最も透過率が高く、１０度、２０度、３０度、４０度の順に透過率が低くなる。また、図１０では、横軸が略４００ｎｍ～８００ｎｍの波長の光を示す範囲において、水平（Ｈ）方向の角度が０度（ｄｅｇ）の場合が最も透過率が高く、１０度、２０度の順に透過率が低くなる。また、図１１では、横軸が略４００ｎｍ～８００ｎｍの波長の光を示す範囲において、水平（Ｈ）方向の角度が０度（ｄｅｇ）の場合が最も透過率が高く、１０度、２０度の順に透過率が低くなる。
In the characteristic graphs of Figures 8 to 11 (each shown in color), the angle (deg) values shown in the margin on the right side are shown from the top in order of the highest value on the vertical axis, i.e., the transmittance (%). For example, in Figure 8, in the range where the horizontal axis indicates light with a wavelength of approximately 400 nm to 800 nm, the transmittance is highest when the vertical (V) angle is 0 degrees (deg), and the transmittance decreases in the order of 10 degrees, 20 degrees, 30 degrees, and 40 degrees. In Figure 9, in the range where the horizontal axis indicates light with a wavelength of approximately 400 nm to 800 nm, the transmittance is highest when the vertical (V) angle is 0 degrees (deg), and the transmittance decreases in the order of 10 degrees, 20 degrees, 30 degrees, and 40 degrees. In Figure 10, in the range where the horizontal axis indicates light with a wavelength of approximately 400 nm to 800 nm, the transmittance is highest when the horizontal (H) angle is 0 degrees (deg), and the transmittance decreases in the order of 10 degrees and 20 degrees. Also, in FIG. 11, in the range where the horizontal axis indicates light with wavelengths of approximately 400 nm to 800 nm, the transmittance is highest when the angle in the horizontal (H) direction is 0 degrees (deg), and the transmittance decreases in the order of 10 degrees and 20 degrees.
図８及び図９に示すように、グリッド構造の反射型偏光板は、偏光軸に対して垂直方向からの光についての特性は低下する。このため、偏光軸に沿った仕様が望ましく、液晶表示パネルからの出射映像光を挟角で出射可能な本実施例の光源が理想的な光源となる。また、水平方向の特性も同様に、斜めからの光については特性低下がある。以上の特性を考慮して、以下、液晶表示パネルからの出射映像光をより挟角に出射可能な光源を液晶表示パネルのバックライトとして使用する、本実施例の構成例について説明する。これにより、高コントラストな空間浮遊映像が提供可能となる。
As shown in Figures 8 and 9, the reflective polarizing plate with a grid structure has poor characteristics for light coming from a direction perpendicular to the polarization axis. For this reason, specifications along the polarization axis are desirable, and the light source of this embodiment, which can emit the image light from the liquid crystal display panel at a narrow angle, is an ideal light source. Similarly, the characteristics in the horizontal direction also deteriorate for light coming from an oblique angle. Taking the above characteristics into consideration, below, we will explain an example configuration of this embodiment, in which a light source capable of emitting the image light from the liquid crystal display panel at a narrower angle is used as the backlight for the liquid crystal display panel. This makes it possible to provide a high-contrast floating image.
＜表示装置＞
次に、本実施例の表示装置１について、図を用いて説明する。本実施例の表示装置１は、映像表示素子１１（液晶表示パネル）と共に、その光源を構成する光源装置１３を備えており、図１２では、光源装置１３を液晶表示パネルと共に展開斜視図として示している。
<Display Device>
Next, the display device 1 of this embodiment will be described with reference to the drawings. The display device 1 of this embodiment includes an image display element 11 (liquid crystal display panel) and a light source device 13 that constitutes the light source thereof. In Fig. 12, the light source device 13 is shown together with the liquid crystal display panel as an exploded perspective view.
この液晶表示パネル（映像表示素子１１）は、図１２に矢印３０で示すように、バックライト装置である光源装置１３からの光により挟角な拡散特性を有する、即ち、指向性（直進性）が強く、かつ、偏光面を一方向に揃えたレーザ光に似た特性の照明光束を受光する。液晶表示パネル（映像表示素子１１）は、入力される映像信号に応じて受光した照明光速を変調する。変調された映像光は、再帰反射部材２により反射し、透明な部材１００を透過して、実像である空間浮遊像を形成する（図１参照）。
As shown by the arrow 30 in Figure 12, this liquid crystal display panel (image display element 11) receives an illumination light beam from the light source device 13, which is a backlight device, that has a narrow-angle diffusion characteristic, i.e., has strong directivity (straightness) and characteristics similar to laser light with a polarization plane aligned in one direction. The liquid crystal display panel (image display element 11) modulates the speed of the received illumination light in accordance with the input video signal. The modulated image light is reflected by the retroreflective member 2 and passes through the transparent member 100 to form a real image, which is a floating image in space (see Figure 1).
また、図１２では、表示装置１を構成する液晶表示パネル１１と、更に、光源装置１３からの出射光束の指向特性を制御する光方向変換パネル５４、および、必要に応じ挟角拡散板（図示せず）を備えて構成されている。即ち、液晶表示パネル１１の両面には偏光板が設けられ、特定の偏波の映像光が映像信号により光の強度を変調して出射する（図１２の矢印３０を参照）構成となっている。これにより、所望の映像を指向性（直進性）の高い特定偏波の光として、光方向変換パネル５４を介して、再帰反射部材２に向けて投写し、再帰反射部材２で反射後、店舗（空間）の外部の監視者の眼に向けて透過して空間浮遊映像３を形成する。なお、上述した光方向変換パネル５４の表面には保護カバー５０（図１３、図１４を参照）を設けてよい。
In addition, in FIG. 12, the display device 1 is configured to include a liquid crystal display panel 11, a light direction conversion panel 54 that controls the directional characteristics of the light beam emitted from the light source device 13, and a narrow-angle diffusion plate (not shown) as necessary. That is, polarizing plates are provided on both sides of the liquid crystal display panel 11, and image light of a specific polarization is modulated in intensity by a video signal and emitted (see arrow 30 in FIG. 12). As a result, the desired image is projected as light of a specific polarization with high directivity (linearity) through the light direction conversion panel 54 toward the retroreflective member 2, and after reflection by the retroreflective member 2, it is transmitted toward the eyes of a monitor outside the store (space) to form a space-floating image 3. In addition, a protective cover 50 (see FIG. 13 and FIG. 14) may be provided on the surface of the above-mentioned light direction conversion panel 54.
本実施例では、光源装置１３からの出射光束３０の利用効率を向上させ、消費電力を大幅に低減するために、光源装置１３と液晶表示パネル１１を含んで構成される表示装置１において、光源装置１３からの光（図１２の矢印３０を参照）を、再帰反射部材２に向けて投写し、再帰反射部材２で反射後、透明な部材１００（ウィンドガラス１０５等）の表面に設けた透明シート（図示せず）により、浮遊映像を所望の位置に形成するよう指向性を制御することもできる。具体的には、この透明シートは、フレネルレンズやリニアフレネルレンズ等の光学部品によって高い指向性を付与したまま浮遊映像の結像位置を制御する。かかる構成によれば、表示装置１からの映像光は、レーザ光のようにショーウィンド１０５の外側（例えば、歩道）にいる観察者に対して高い指向性（直進性）で効率良く届く。その結果、高品位な浮遊映像を高解像度で表示すると共に、光源装置１３のＬＥＤ素子２０１を含む表示装置１による消費電力を著しく低減することが可能となる。
In this embodiment, in order to improve the utilization efficiency of the emitted light flux 30 from the light source device 13 and to significantly reduce power consumption, in a display device 1 including a light source device 13 and a liquid crystal display panel 11, light from the light source device 13 (see arrow 30 in FIG. 12) is projected toward the retroreflective member 2, and after reflection by the retroreflective member 2, a transparent sheet (not shown) provided on the surface of a transparent member 100 (such as a window glass 105) can be used to control the directivity so that a floating image is formed at a desired position. Specifically, this transparent sheet controls the imaging position of the floating image while providing high directivity with optical components such as a Fresnel lens or a linear Fresnel lens. According to this configuration, the image light from the display device 1 efficiently reaches an observer outside the show window 105 (for example, a sidewalk) with high directivity (straightness) like laser light. As a result, it is possible to display a high-quality floating image with high resolution and significantly reduce the power consumption of the display device 1 including the LED elements 201 of the light source device 13.
＜表示装置の例１＞
図１３には、表示装置１の具体的な構成の一例を示す。図１３では、図１２の光源装置１３の上に液晶表示パネル１１と光方向変換パネル５４を配置している。この光源装置１３は、図１２に示したケース上に、例えば、プラスチックなどにより形成され、その内部にＬＥＤ素子２０１、導光体２０３を収納して構成されており、導光体２０３の端面には、図１２等にも示したように、それぞれのＬＥＤ素子２０１からの発散光を略平行光束に変換するために、受光部に対して対面に向かって徐々に断面積が大きくなる形状を有し、内部を伝搬する際に複数回全反射することで発散角が徐々に小さくなるような作用を有するレンズ形状を設けている。表示装置１における上面には、かかる表示装置１を構成する液晶表示パネル１１が取り付けられている。また、光源装置１３のケースのひとつの側面（本例では左側の端面）には、半導体光源であるＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）素子２０１や、その制御回路を実装したＬＥＤ基板２０２が取り付けられると共に、ＬＥＤ基板２０２の外側面には、ＬＥＤ素子および制御回路で発生する熱を冷却するための部材であるヒートシンクが取り付けられてもよい。
<Display Device Example 1>
FIG. 13 shows an example of a specific configuration of the display device 1. In FIG. 13, a liquid crystal display panel 11 and a light direction conversion panel 54 are arranged on the light source device 13 of FIG. 12. This light source device 13 is formed, for example, from plastic on the case shown in FIG. 12, and is configured by storing an LED element 201 and a light guide 203 inside. As shown in FIG. 12, the end surface of the light guide 203 has a shape in which the cross-sectional area gradually increases toward the opposite side to the light receiving part in order to convert the divergent light from each LED element 201 into a substantially parallel light beam, and a lens shape is provided that has an effect of gradually decreasing the divergence angle by total reflection multiple times during propagation inside. The liquid crystal display panel 11 constituting the display device 1 is attached to the upper surface of the display device 1. Furthermore, LED (Light Emitting Diode) elements 201, which are semiconductor light sources, and an LED board 202, which has a control circuit for the LED elements mounted thereon, are attached to one side surface (the left end surface in this example) of the case of the light source device 13, and a heat sink, which is a member for cooling heat generated by the LED elements and the control circuit, may be attached to the outer surface of the LED board 202.
また、光源装置１３のケースの上面に取り付けられる液晶表示パネルのフレーム（図示せず）には、当該フレームに取り付けられた液晶表示パネル１１と、更に、当該液晶表示パネル１１に電気的に接続されたＦＰＣ（Ｆｌｅｘｉｂｌｅ Ｐｒｉｎｔｅｄ Ｃｉｒｃｕｉｔｓ：フレキシブル配線基板）（図示せず）などが取り付けられて構成される。即ち、映像表示素子である液晶表示パネル１１は、固体光源であるＬＥＤ素子２０１と共に、電子装置を構成する制御回路（図示せず）からの制御信号に基づいて、透過光の強度を変調することによって表示映像を生成する。この時、生成される映像光は拡散角度が狭く特定の偏波成分のみとなるため、映像信号により駆動された面発光レーザ映像源に近い、従来にない新しい映像表示装置が得られることとなる。なお、現状では、レーザ装置により、上述した表示装置１で得られる画像と同等のサイズのレーザ光束を得ることは、技術的にも安全上からも不可能である。そこで、本実施例では、例えば、ＬＥＤ素子を備えた一般的な光源からの光束から、上述した面発光レーザ映像光に近い光を得る。
The frame (not shown) of the liquid crystal display panel attached to the top surface of the case of the light source device 13 is configured by attaching the liquid crystal display panel 11 attached to the frame, and further by attaching an FPC (Flexible Printed Circuits: flexible wiring board) (not shown) electrically connected to the liquid crystal display panel 11. That is, the liquid crystal display panel 11, which is an image display element, generates a display image by modulating the intensity of transmitted light based on a control signal from a control circuit (not shown) constituting an electronic device together with the LED element 201, which is a solid light source. At this time, the generated image light has a narrow diffusion angle and contains only specific polarization components, so that a new image display device that is similar to a surface-emitting laser image source driven by a video signal is obtained. Note that, at present, it is technically and safety impossible to obtain a laser light beam of the same size as the image obtained by the above-mentioned display device 1 using a laser device. Therefore, in this embodiment, light similar to the above-mentioned surface-emitting laser image light is obtained from a light beam from a general light source equipped with an LED element, for example.
続いて、光源装置１３のケース内に収納されている光学系の構成について、図１３と共に、図１４を参照しながら詳細に説明する。
Next, the configuration of the optical system housed in the case of the light source device 13 will be described in detail with reference to Figures 13 and 14.
図１３および図１４は断面図であるため、光源を構成する複数のＬＥＤ素子２０１が１つだけ示されており、これらは導光体２０３の受光端面２０３ａの形状により略コリメート光に変換される。このため、導光体端面の受光部とＬＥＤ素子は、所定の位置関係を保って取り付けられている。
Because Figures 13 and 14 are cross-sectional views, only one of the multiple LED elements 201 that make up the light source is shown, and this is converted into approximately collimated light by the shape of the light-receiving end surface 203a of the light guide 203. For this reason, the light-receiving part of the light guide end surface and the LED element are attached while maintaining a specified positional relationship.
なお、この導光体２０３は、各々、例えば、アクリル等の透光性の樹脂により形成されている。図１３および図１４には示されないが、この導光体２０３の一端側におけるＬＥＤ光の受光面は、例えば、放物断面を回転して得られる円錐凸形状の外周面を有し、かかる外周面の頂側の中央領域には、凸部（即ち、凸レンズ面）を形成した凹部を有する。また、導光体２０３の他端側における平面部の中央領域には、外側に突出した凸レンズ面（あるいは、内側に凹んだ凹レンズ面でも良い）を有する。これらの構成は、図１６等の説明で後述する。なお、ＬＥＤ素子２０１を取り付ける導光体の受光部外形形状は、円錐形状の外周面を形成する放物面形状をなし、ＬＥＤ素子から周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内において設定され、あるいは、反射面が形成されている。
The light guide 203 is formed of a translucent resin such as acrylic. Although not shown in Figs. 13 and 14, the light receiving surface of the LED light at one end of the light guide 203 has a convex outer circumferential surface obtained by rotating a parabolic cross section, and the central area of the top side of the outer circumferential surface has a concave portion forming a convex portion (i.e., a convex lens surface). The central area of the flat portion at the other end of the light guide 203 has a convex lens surface protruding outward (or a concave lens surface recessed inward). These configurations will be described later in the explanation of Fig. 16 and the like. The outer shape of the light receiving portion of the light guide to which the LED element 201 is attached is a parabolic shape that forms a conical outer circumferential surface, and is set within an angle range in which the light emitted from the LED element in the peripheral direction can be totally reflected inside, or a reflective surface is formed.
他方、ＬＥＤ素子２０１は、その回路基板である、ＬＥＤ基板２０２の表面上の所定の位置にそれぞれ配置されている。このＬＥＤ基板２０２は、ＬＥＤコリメータ（受光端面２０３ａ）に対して、その表面上のＬＥＤ素子２０１が、それぞれ、前述した凹部の中央部に位置するように配置されて固定される。
On the other hand, the LED elements 201 are arranged at predetermined positions on the surface of the LED board 202, which is the circuit board. The LED board 202 is arranged and fixed so that the LED elements 201 on its surface are located in the center of the recessed portion described above with respect to the LED collimator (light receiving end surface 203a).
かかる構成によれば、導光体２０３の受光端面２０３ａの形状によって、ＬＥＤ素子２０１から放射される光は略平行光として取り出すことが可能となり、発生した光の利用効率を向上することが可能となる。
With this configuration, the shape of the light receiving end surface 203a of the light guide 203 makes it possible to extract the light emitted from the LED element 201 as approximately parallel light, thereby improving the efficiency of use of the generated light.
以上述べたように、光源装置１３は、導光体２０３の端面に設けた受光部である受光端面２０３ａに光源であるＬＥＤ素子２０１を複数並べた光源ユニットを取り付けて構成される。そして、光源装置１３は、ＬＥＤ素子２０１からの発散光束を、導光体端面の受光端面２０３ａのレンズ形状によって略平行光として、矢印で示すように、導光体２０３内部を導光し（図面に平行な方向）、光束方向変換手段２０４によって、導光体２０３に対して略平行に配置された液晶表示パネル１１に向かって（図面から手前に垂直な方向に）出射する。導光体内部または表面の形状によって、この光束方向変換手段２０４の分布（密度）を最適化することで、液晶表示パネル１１に入射する光束の均一性を制御することができる。
As described above, the light source device 13 is configured by attaching a light source unit in which a plurality of LED elements 201 serving as light sources are arranged to the light receiving end surface 203a, which is a light receiving portion provided on the end surface of the light guide 203. The light source device 13 converts the divergent light beam from the LED elements 201 into approximately parallel light by the lens shape of the light receiving end surface 203a of the light guide end surface, guides the light inside the light guide 203 as shown by the arrow (in a direction parallel to the drawing), and emits it toward the liquid crystal display panel 11 arranged approximately parallel to the light guide 203 (in a direction perpendicular to the front of the drawing) by the light beam direction conversion means 204. The uniformity of the light beam incident on the liquid crystal display panel 11 can be controlled by optimizing the distribution (density) of this light beam direction conversion means 204 depending on the shape inside or on the surface of the light guide.
上述した光束方向変換手段２０４は、導光体表面の形状により、あるいは導光体内部に例えば屈折率の異なる部分を設けることで、導光体内を伝搬した光束を、導光体２０３に対して略平行に配置された液晶表示パネル１１に向かって（図面から手前に垂直な方向に）出射する。この時、液晶表示パネル１１を画面中央に正対し画面対角寸法と同じ位置に視点を置いた状態で画面中央と画面周辺部の輝度を比較した場合の相対輝度比が２０％以上あれば実用上問題なく、３０％を超えていれば更に優れた特性となる。
The light beam direction conversion means 204 described above emits the light beam propagated within the light guide toward the liquid crystal display panel 11 arranged approximately parallel to the light guide 203 (in a direction perpendicular to the front of the drawing) by using the shape of the light guide surface or by providing a portion with a different refractive index inside the light guide. At this time, if the relative brightness ratio between the brightness at the center of the screen and the brightness at the periphery of the screen is compared while facing the liquid crystal display panel 11 directly at the center of the screen and placing the viewpoint at the same position as the diagonal dimension of the screen, there is no practical problem if the relative brightness ratio is 20% or more, and if it exceeds 30%, it will be an even better characteristic.
なお、図１３は上述した導光体２０３とＬＥＤ素子２０１を含む光源装置１３において、偏光変換する本実施例の光源の構成とその作用を説明するための断面配置図である。図１３において、光源装置１３は、例えば、プラスチックなどにより形成される表面または内部に光束方向変換手段２０４を設けた導光体２０３、光源としてのＬＥＤ素子２０１、反射シート２０５、位相差板２０６、レンチキュラーレンズなどから構成されており、その上面には、光源光入射面と映像光出射面に偏光板を備える液晶表示パネル１１が取り付けられている。
Figure 13 is a cross-sectional layout diagram for explaining the configuration and operation of the light source of this embodiment that performs polarization conversion in the light source device 13 including the above-mentioned light guide 203 and LED element 201. In Figure 13, the light source device 13 is composed of a light guide 203 formed of, for example, plastic or the like and having a light beam direction conversion means 204 on its surface or inside, an LED element 201 as a light source, a reflective sheet 205, a retardation plate 206, a lenticular lens, etc., and a liquid crystal display panel 11 equipped with polarizing plates on the light source light entrance surface and the image light exit surface is attached to the upper surface.
また、光源装置１３に対応した液晶表示パネル１１の光源光入射面（図の下面）にはフィルムまたはシート状の反射型偏光板４９を設けており、ＬＥＤ素子２０１から出射した自然光束２１０のうち片側の偏波（例えばＰ波）２１２を選択的に反射させ、導光体２０３の一方（図の下方）の面に設けた反射シート２０５で反射して、再度、液晶表示パネル１１に向かうようにする。そこで、反射シート２０５と導光体２０３の間もしくは導光体２０３と反射型偏光板４９の間に位相差板（λ／４板）を設けて反射シート２０５で反射させ、２回通過させることで反射光束をＰ偏光からＳ偏光に変換し、映像光としての光源光の利用効率を向上する。液晶表示パネル１１で映像信号により光強度を変調された映像光束は（図１３の矢印２１３）、再帰反射部材２に入射して、図１に示したように、反射後にウィンドガラス１０５を透過して店舗（空間）の内部または外部に実像である空間浮遊像を得ることができる。
In addition, a film or sheet-like reflective polarizing plate 49 is provided on the light source light incidence surface (lower surface in the figure) of the liquid crystal display panel 11 corresponding to the light source device 13, and selectively reflects one side of the polarized wave (e.g. P wave) 212 of the natural light beam 210 emitted from the LED element 201, and reflects it on the reflecting sheet 205 provided on one surface (lower surface in the figure) of the light guide 203, so that it heads toward the liquid crystal display panel 11 again. Therefore, a retardation plate (lambda/4 plate) is provided between the reflecting sheet 205 and the light guide 203 or between the light guide 203 and the reflective polarizing plate 49, and the reflected light beam is reflected by the reflecting sheet 205 and passes through it twice to convert the reflected light beam from P polarized light to S polarized light, improving the utilization efficiency of the light source light as image light. The image light beam, whose light intensity has been modulated by the image signal in the liquid crystal display panel 11 (arrow 213 in Figure 13), enters the retroreflective member 2, and after reflection, as shown in Figure 1, passes through the window glass 105 to produce a real image, or a floating image, inside or outside the store (space).
図１４は、図１３と同様に、導光体２０３とＬＥＤ素子２０１を含む光源装置１３において、偏光変換する本実施例の光源の構成と作用を説明するための断面配置図である。光源装置１３も、同様に、例えばプラスチックなどにより形成される表面または内部に光束方向変換手段２０４を設けた導光体２０３、光源としてのＬＥＤ素子２０１、反射シート２０５、位相差板２０６、レンチキュラーレンズなどから構成されている。光源装置１３における上面には、映像表示素子として、光源光入射面と映像光出射面に偏光板を備える液晶表示パネル１１が取り付けられている。
Figure 14, like Figure 13, is a cross-sectional layout diagram for explaining the configuration and action of the light source of this embodiment that performs polarization conversion in a light source device 13 including a light guide 203 and an LED element 201. Similarly, the light source device 13 is composed of a light guide 203 formed of, for example, plastic, on the surface or inside of which a light beam direction conversion means 204 is provided, an LED element 201 as a light source, a reflective sheet 205, a retardation plate 206, a lenticular lens, etc. A liquid crystal display panel 11 equipped with polarizing plates on the light source light entrance surface and the image light exit surface is attached to the upper surface of the light source device 13 as an image display element.
また、光源装置１３に対応した液晶表示パネル１１の光源光入射面（図の下面）にはフィルムまたはシート状の反射型偏光板４９を設け、ＬＥＤ光源２０１から出射した自然光束２１０うち片側の偏波（例えばＳ波）２１１を選択的に反射させ、導光体２０３の一方（図の下方）の面に設けた反射シート２０５で反射して、再度液晶表示パネル１１に向かう。反射シート２０５と導光体２０３の間もしくは導光体２０３と反射型偏光板４９の間に位相差板（λ／４板）を設けて反射シート２０５で反射させ、２回通過させることで反射光束をＳ偏光からＰ偏光に変換し、映像光として光源光の利用効率を向上する。液晶表示パネル１１で映像信号により光強度変調された映像光束は（図１４の矢印２１４）、再帰反射部材２に入射して、図１に示すように、反射後にウィンドガラス１０５を透過して店舗（空間）の内部または外部に実像である空間浮遊像を得ることができる。
A film or sheet-like reflective polarizing plate 49 is provided on the light source light incidence surface (lower surface in the figure) of the liquid crystal display panel 11 corresponding to the light source device 13, and selectively reflects one side of the polarized wave (e.g., S wave) 211 of the natural light beam 210 emitted from the LED light source 201, and is reflected by a reflective sheet 205 provided on one surface (lower surface in the figure) of the light guide 203, and then directed again toward the liquid crystal display panel 11. A retardation plate (lambda/4 plate) is provided between the reflective sheet 205 and the light guide 203 or between the light guide 203 and the reflective polarizing plate 49, and the reflected light beam is reflected by the reflective sheet 205 and passes through it twice to convert the reflected light beam from S polarized light to P polarized light, improving the efficiency of use of the light source light as image light. The image light beam, which has been intensity modulated by the image signal in the liquid crystal display panel 11 (arrow 214 in Figure 14), enters the retroreflective member 2, and after reflection, as shown in Figure 1, passes through the window glass 105 to produce a real image, a floating image, inside or outside the store (space).
図１３および図１４に示す光源装置においては、対応する液晶表示パネル１１の光入射面に設けた偏光板の作用の他に、反射型偏光板で片側の偏光成分を反射するため、理論上得られるコントラスト比は、反射型偏光板のクロス透過率の逆数と液晶表示パネルに付帯した２枚の偏光板により得られるクロス透過率の逆数を乗じたものとなる。これにより、高いコントラスト性能が得られる。実際には、表示画像のコントラスト性能が１０倍以上向上することを実験により確認した。この結果、自発光型の有機ＥＬに比較しても遜色ない高品位な映像が得られた。
In the light source device shown in Figures 13 and 14, in addition to the action of the polarizing plate provided on the light incident surface of the corresponding liquid crystal display panel 11, the polarized component on one side is reflected by the reflective polarizing plate, so the theoretically obtained contrast ratio is the reciprocal of the cross transmittance of the reflective polarizing plate multiplied by the reciprocal of the cross transmittance obtained by the two polarizing plates attached to the liquid crystal display panel. This results in high contrast performance. In fact, it was confirmed by experiments that the contrast performance of the displayed image was improved by more than 10 times. As a result, a high-quality image was obtained that was comparable to that of a self-luminous organic EL.
＜表示装置の例２＞
図１５には、表示装置１の具体的な構成の他の一例を示す。図１５の光源装置１３は、図１７等の光源装置と同様である。この光源装置１３は、例えばプラスチックなどのケース内にＬＥＤ、コリメータ、合成拡散ブロック、導光体等を収納して構成されており、その上面には液晶表示パネル１１が取り付けられている。また、光源装置１３のケースのひとつの側面には、半導体光源であるＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）素子１４ａ、１４ｂや、その制御回路を実装したＬＥＤ基板が取り付けられると共に、ＬＥＤ基板の外側面には、ＬＥＤ素子および制御回路で発生する熱を冷却するための部材であるヒートシンク１０３が取り付けられている（図１７、図１８等も参照）。
<Display Device Example 2>
Fig. 15 shows another example of a specific configuration of the display device 1. The light source device 13 in Fig. 15 is similar to the light source device in Fig. 17 and the like. This light source device 13 is configured by housing LEDs, a collimator, a composite diffusion block, a light guide, and the like in a case made of, for example, plastic, and has a liquid crystal display panel 11 attached to its upper surface. In addition, LED (Light Emitting Diode) elements 14a and 14b, which are semiconductor light sources, and an LED board on which a control circuit is mounted are attached to one side of the case of the light source device 13, and a heat sink 103, which is a member for cooling heat generated by the LED elements and the control circuit, is attached to the outer side of the LED board (see also Figs. 17, 18, and the like).
また、ケースの上面に取り付けられた液晶表示パネルフレームには、当該フレームに取り付けられた液晶表示パネル１１と、更に、液晶表示パネル１１に電気的に接続されたＦＰＣ（Ｆｌｅｘｉｂｌｅ Ｐｒｉｎｔｅｄ Ｃｉｒｃｕｉｔｓ：フレキシブル配線基板）４０３（図７参照）などが取り付けられて構成されている。即ち、液晶表示素子である液晶表示パネル１１は、固体光源であるＬＥＤ素子１４ａ，１４ｂと共に、電子装置を構成する制御回路（ここでは図示せず）からの制御信号に基づいて、透過光の強度を変調することによって、表示映像を生成する。
The liquid crystal display panel frame attached to the top surface of the case is configured by mounting the liquid crystal display panel 11 attached to the frame, and further mounting an FPC (Flexible Printed Circuits) 403 (see FIG. 7) electrically connected to the liquid crystal display panel 11. That is, the liquid crystal display panel 11, which is a liquid crystal display element, generates a display image by modulating the intensity of transmitted light based on a control signal from a control circuit (not shown here) that constitutes the electronic device, together with the LED elements 14a and 14b, which are solid-state light sources.
＜表示装置の例２の光源装置の例１＞
続いて、ケース内に収納されている光源装置等の光学系の構成について、図１７と共に、図１８（ａ）および（ｂ）を参照しながら、詳細に説明する。
<Example 1 of Light Source Device of Example 2 of Display Device>
Next, the configuration of the optical system, such as the light source device housed in the case, will be described in detail with reference to FIG. 17 as well as FIGS. 18(a) and (b).
図１７および図１８には、光源を構成するＬＥＤ１４ａ、１４ｂが示されており、これらはＬＥＤコリメータ１５に対して所定の位置に取り付けられている。なお、このＬＥＤコリメータ１５は、各々、例えばアクリル等の透光性の樹脂により形成されている。そして、このＬＥＤコリメータ１５は、図１８（ｂ）にも示すように、放物断面を回転して得られる円錐凸形状の外周面１５６を有する。また、ＬＥＤコリメータ１５の頂部（ＬＥＤ基板１０２に対向する側）における中央部には、凸部（即ち、凸レンズ面）１５７を形成した凹部１５３を有する。また、ＬＥＤコリメータ１５の平面部（上記の頂部とは逆の側）の中央部には、外側に突出した凸レンズ面（あるいは、内側に凹んだ凹レンズ面でも良い）１５４を有している。なお、ＬＥＤコリメータ１５の円錐形状の外周面を形成する放物面１５６は、ＬＥＤ１４ａ、１４ｂから周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内において設定され、あるいは、反射面が形成されている。
17 and 18 show LEDs 14a and 14b constituting the light source, which are attached at predetermined positions relative to the LED collimator 15. Each of the LED collimators 15 is made of a translucent resin such as acrylic. As shown in FIG. 18(b), the LED collimator 15 has a cone-shaped outer peripheral surface 156 obtained by rotating a parabolic cross section. The LED collimator 15 has a concave portion 153 in which a convex portion (i.e., a convex lens surface) 157 is formed at the center of the top (the side facing the LED substrate 102). The LED collimator 15 has a convex lens surface 154 protruding outward (or a concave lens surface recessed inward) at the center of the flat surface (the side opposite the top). The parabolic surface 156 that forms the outer peripheral surface of the cone shape of the LED collimator 15 is set within an angle range that allows the light emitted in the peripheral direction from the LEDs 14a and 14b to be totally reflected within it, or a reflective surface is formed.
また、ＬＥＤ１４ａ、１４ｂは、その回路基板である、ＬＥＤ基板１０２の表面上の所定の位置にそれぞれ配置されている。このＬＥＤ基板１０２は、ＬＥＤコリメータ１５に対して、その表面上のＬＥＤ１４ａまたは１４ｂが、それぞれ、その凹部１５３の中央部に位置するように配置されて固定される。
The LEDs 14a and 14b are arranged at predetermined positions on the surface of the LED board 102, which is the circuit board. The LED board 102 is arranged and fixed to the LED collimator 15 so that the LEDs 14a and 14b on its surface are located in the center of the recess 153.
かかる構成によれば、上述したＬＥＤコリメータ１５によって、ＬＥＤ１４ａまたは１４ｂから放射される光のうち、特に、その中央部分から上方（図の右方向）に向かって放射される光は、ＬＥＤコリメータ１５の外形を形成する２つの凸レンズ面１５７、１５４により集光されて平行光となる。また、その他の部分から周辺方向に向かって出射される光は、ＬＥＤコリメータ１５の円錐形状の外周面を形成する放物面によって反射され、同様に、集光されて平行光となる。換言すれば、その中央部に凸レンズを構成すると共に、その周辺部に放物面を形成したＬＥＤコリメータ１５によれば、ＬＥＤ１４ａまたは１４ｂにより発生された光のほぼ全てを平行光として取り出すことが可能となり、発生した光の利用効率を向上することが可能となる。
According to this configuration, the light emitted from the LED 14a or 14b by the LED collimator 15 described above, particularly the light emitted upward from the center (to the right in the figure), is collected and made parallel by the two convex lens surfaces 157, 154 that form the outer shape of the LED collimator 15. The light emitted from other parts toward the periphery is reflected by the parabolic surface that forms the conical outer surface of the LED collimator 15, and is similarly collected and made parallel. In other words, the LED collimator 15, which has a convex lens in its center and a parabolic surface formed on its periphery, makes it possible to extract almost all of the light generated by the LED 14a or 14b as parallel light, thereby improving the utilization efficiency of the generated light.
なお、ＬＥＤコリメータ１５の光の出射側には偏光変換素子２１が設けられている。この偏光変換素子２１は、図１８からも明らかなように、断面が平行四辺形である柱状（以下、平行四辺形柱）の透光性部材と、断面が三角形である柱状（以下、三角形柱）の透光性部材とを組み合わせ、ＬＥＤコリメータ１５からの平行光の光軸に対して直交する面に平行に、複数、アレイ状に配列して構成されている。更に、これらアレイ状に配列された隣接する透光性部材間の界面には、交互に、偏光ビームスプリッタ（以下、「ＰＢＳ膜」と省略する）２１１と反射膜２１２とが設けられている。また、偏光変換素子２１へ入射してＰＢＳ膜２１１を透過した光が出射する出射面には、λ／２位相板２１３が備えられている。
The polarization conversion element 21 is provided on the light exit side of the LED collimator 15. As is clear from FIG. 18, the polarization conversion element 21 is configured by combining a columnar translucent member with a parallelogram cross section (hereinafter, parallelogram column) and a columnar translucent member with a triangular cross section (hereinafter, triangular column), and arranging them in an array in parallel to a plane perpendicular to the optical axis of the parallel light from the LED collimator 15. Furthermore, a polarizing beam splitter (hereinafter, abbreviated as "PBS film") 211 and a reflective film 212 are alternately provided at the interface between adjacent translucent members arranged in an array. In addition, a λ/2 phase plate 213 is provided on the exit surface from which the light incident on the polarization conversion element 21 and transmitted through the PBS film 211 exits.
この偏光変換素子２１の出射面には、更に、図１８（ａ）にも示す矩形状の合成拡散ブロック１６が設けられている。即ち、ＬＥＤ１４ａまたは１４ｂから出射された光は、ＬＥＤコリメータ１５の働きにより平行光となって合成拡散ブロック１６へ入射し、出射側のテクスチャー１６１により拡散された後、導光体１７に到る。
The exit surface of this polarization conversion element 21 is further provided with a rectangular composite diffusion block 16, also shown in FIG. 18(a). That is, the light emitted from the LED 14a or 14b is collimated by the action of the LED collimator 15 and enters the composite diffusion block 16, where it is diffused by the texture 161 on the exit side before reaching the light guide 17.
導光体１７は、例えばアクリル等の透光性の樹脂により断面が略三角形（図１８（ｂ）参照）の棒状に形成された部材である。そして、導光体１７は、図１７からも明らかなように、合成拡散ブロック１６の出射面に第１の拡散板１８ａを介して対向する導光体光入射部（面）１７１と、斜面を形成する導光体光反射部（面）１７２と、第２の拡散板１８ｂを介して、液晶表示素子である液晶表示パネル１１と対向する導光体光出射部（面）１７３とを備えている。
The light guide 17 is a rod-shaped member made of a translucent resin such as acrylic and having a substantially triangular cross section (see FIG. 18(b)). As is clear from FIG. 17, the light guide 17 includes a light guide light entrance portion (surface) 171 that faces the exit surface of the composite diffusion block 16 via a first diffusion plate 18a, a light guide light reflection portion (surface) 172 that forms an inclined surface, and a light guide light exit portion (surface) 173 that faces the liquid crystal display panel 11, which is a liquid crystal display element, via a second diffusion plate 18b.
この導光体１７の導光体光反射部（面）１７２には、その一部拡大図である図１７にも示すように、多数の反射面１７２ａと連接面１７２ｂとが交互に鋸歯状に形成されている。そして、反射面１７２ａ（図では右上がりの線分）は、図において一点鎖線で示す水平面に対してαｎ（ｎ：自然数であり、本例では、例えば、１～１３０である）を形成しており、その一例として、ここでは、αｎを４３度以下（ただし、０度以上）に設定している。
As shown in Fig. 17, which is an enlarged partial view, the light guide light reflecting portion (surface) 172 of this light guide 17 has a sawtooth pattern of alternating reflecting surfaces 172a and connecting surfaces 172b. Reflecting surface 172a (a line segment slanting upward to the right in the figure) forms an angle αn (n: natural number, for example, 1 to 130 in this example) with respect to the horizontal plane shown by the dashed line in the figure, and as an example, αn is set to 43 degrees or less (but 0 degrees or more).
導光体光入射部（面）１７１は、光源側に傾斜した湾曲の凸形状に形成されている。これによれば、合成拡散ブロック１６の出射面からの平行光は、第１の拡散板１８ａを介して拡散されて入射し、図からも明らかなように、導光体光入射部（面）１７１により上方に僅かに屈曲（偏向）しながら導光体光反射部（面）１７２に達し、ここで反射して図の上方の出射面に設けた液晶表示パネル１１に到る。
The light guide light entrance portion (surface) 171 is formed in a curved convex shape inclined toward the light source. As a result, the parallel light from the exit surface of the composite diffusion block 16 is diffused and enters through the first diffusion plate 18a, and as is clear from the figure, it is slightly bent (deflected) upward by the light guide light entrance portion (surface) 171 and reaches the light guide light reflection portion (surface) 172, where it is reflected and reaches the liquid crystal display panel 11 provided on the exit surface at the top of the figure.
以上に詳述した表示装置１によれば、光利用効率やその均一な照明特性をより向上すると同時に、モジュール化されたＳ偏光波の光源装置を含め、小型かつ低コストで製造することが可能となる。なお、上記の説明では、偏光変換素子２１をＬＥＤコリメータ１５の後に取り付けるものとして説明したが、本発明はそれに限定されることなく、液晶表示パネル１１に到る光路中に設けることによっても同様の作用・効果が得られる。
The display device 1 described above in detail improves the light utilization efficiency and uniform illumination characteristics, while at the same time enabling compact and low-cost manufacturing, including a modularized S-polarized light source device. In the above explanation, the polarization conversion element 21 is described as being attached after the LED collimator 15, but the present invention is not limited to this, and similar effects and advantages can be obtained by providing it in the optical path leading to the liquid crystal display panel 11.
なお、導光体光反射部（面）１７２には、多数の反射面１７２ａと連接面１７２ｂとが交互に鋸歯状に形成されており、照明光束は、各々の反射面１７２ａ上で全反射されて上方に向かい、更には、導光体光出射部（面）１７３には挟角拡散板を設けて略平行な拡散光束として指向特性を制御する光方向変換パネル５４に入射し、斜め方向から液晶表示パネル１１へ入射する。本実施例では光方向変換パネル５４を導光体出射部（面）１７３と液晶表示パネル１１の間に設けたが、液晶表示パネル１１の出射面に光方向変換パネル５４を設けても、同様の効果が得られる。
The light guide light reflecting portion (surface) 172 has a number of alternating reflective surfaces 172a and connecting surfaces 172b formed in a sawtooth pattern, and the illumination light beam is totally reflected on each reflective surface 172a and directed upward. The light guide light exiting portion (surface) 173 is provided with a narrow-angle diffuser plate to make the light beam into a substantially parallel diffused beam, which then enters the light direction changing panel 54, which controls the directional characteristics, and enters the liquid crystal display panel 11 from an oblique direction. In this embodiment, the light direction changing panel 54 is provided between the light guide exiting portion (surface) 173 and the liquid crystal display panel 11, but the same effect can be obtained by providing the light direction changing panel 54 on the exit surface of the liquid crystal display panel 11.
＜表示装置の例２の光源装置の例２＞
光源装置１３等の光学系の構成について、他の例を図１９に示す。図１９に示す例は、図１８に示した例と同様に、光源を構成する複数（本例では、２個）のＬＥＤ１４ａ、１４ｂが示されており、これらはＬＥＤコリメータ１５に対して所定の位置に取り付けられている。なお、このＬＥＤコリメータ１５は、各々、例えばアクリル等の透光性の樹脂により形成されている。
<Example 2 of Light Source Device of Example 2 of Display Device>
Another example of the configuration of the optical system of the light source device 13 and the like is shown in Fig. 19. In the example shown in Fig. 19, similar to the example shown in Fig. 18, a plurality of (two in this example) LEDs 14a, 14b constituting the light source are shown, which are attached at predetermined positions relative to the LED collimator 15. Each of the LED collimators 15 is formed of a light-transmitting resin such as acrylic.
そして、図１８に示した例と同様に、図１９に示すＬＥＤコリメータ１５は、放物断面を回転して得られる円錐凸形状の外周面１５６を有する。また、ＬＥＤコリメータ１５の頂部（頂側）における中央部には、凸部（即ち、凸レンズ面）１５７を形成した凹部１５３（図１８（ｂ）を参照）を有する。
Similar to the example shown in FIG. 18, the LED collimator 15 shown in FIG. 19 has a cone-shaped outer circumferential surface 156 obtained by rotating a parabolic cross section. Also, the LED collimator 15 has a recess 153 (see FIG. 18(b)) in the center of the top (top side) of the LED collimator 15, forming a convex portion (i.e., a convex lens surface) 157.
また、ＬＥＤコリメータ１５の平面部の中央部には、外側に突出した凸レンズ面（あるいは、内側に凹んだ凹レンズ面でも良い）１５４（図１８（ｂ）を参照）を有している。なお、ＬＥＤコリメータ１５の円錐形状の外周面を形成する放物面１５６は、ＬＥＤ１４ａから周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内において設定され、あるいは、反射面が形成されている。
The center of the flat surface of the LED collimator 15 has a convex lens surface (or a concave lens surface) 154 (see FIG. 18(b)) that protrudes outward. The parabolic surface 156 that forms the outer peripheral surface of the cone shape of the LED collimator 15 is set within an angle range that allows the light emitted from the LED 14a in the peripheral direction to be totally reflected therein, or a reflective surface is formed.
また、ＬＥＤ１４ａ、１４ｂは、その回路基板である、ＬＥＤ基板１０２の表面上の所定の位置にそれぞれ配置されている。このＬＥＤ基板１０２は、ＬＥＤコリメータ１５に対して、その表面上のＬＥＤ１４ａまたは１４ｂが、それぞれ、その凹部１５３の中央部に位置するように配置されて固定される。
The LEDs 14a and 14b are arranged at predetermined positions on the surface of the LED board 102, which is the circuit board. The LED board 102 is arranged and fixed to the LED collimator 15 so that the LEDs 14a and 14b on its surface are located in the center of the recess 153.
かかる構成によれば、上述したＬＥＤコリメータ１５によって、ＬＥＤ１４ａまたは１４ｂから放射される光のうち、特に、その中央部分から上方（図の右方向）に向かって放射される光は、ＬＥＤコリメータ１５の外形を形成する２つの凸レンズ面１５７、１５４により集光されて平行光となる。また、その他の部分から周辺方向に向かって出射される光は、ＬＥＤコリメータ１５の円錐形状の外周面を形成する放物面によって反射され、同様に、集光されて平行光となる。換言すれば、その中央部に凸レンズを構成すると共に、その周辺部に放物面を形成したＬＥＤコリメータ１５によれば、ＬＥＤ１４ａまたは１４ｂにより発生された光のほぼ全てを平行光として取り出すことが可能となり、発生した光の利用効率を向上することが可能となる。
According to this configuration, the light emitted from the LED 14a or 14b by the LED collimator 15 described above, particularly the light emitted upward from the center (to the right in the figure), is collected and made parallel by the two convex lens surfaces 157, 154 that form the outer shape of the LED collimator 15. The light emitted from other parts toward the periphery is reflected by the parabolic surface that forms the conical outer surface of the LED collimator 15, and is similarly collected and made parallel. In other words, the LED collimator 15, which has a convex lens in its center and a parabolic surface formed on its periphery, makes it possible to extract almost all of the light generated by the LED 14a or 14b as parallel light, thereby improving the utilization efficiency of the generated light.
なお、ＬＥＤコリメータ１５の光の出射側には第一の拡散板１８aを介して導光体１７０が設けられている。導光体１７０は、例えばアクリル等の透光性の樹脂により断面が略三角形（図１９（ａ）参照）の棒状に形成された部材である。そして、導光体１７０は、図１９（ａ）からも明らかなように、拡散ブロック１６の出射面に第１の拡散板１８ａを介して対向する導光体光入射部（面）１７１と、斜面を形成する導光体光反射部（面）１７２と、反射式偏光板２００を介して液晶表示素子である液晶表示パネル１１と対向する導光体光出射部（面）１７３とを備えている。
The light guide 170 is provided on the light emission side of the LED collimator 15 via a first diffusion plate 18a. The light guide 170 is a rod-shaped member made of a translucent resin such as acrylic, with a cross section of a substantially triangular shape (see FIG. 19(a)). As is clear from FIG. 19(a), the light guide 170 includes a light guide light entrance portion (surface) 171 that faces the emission surface of the diffusion block 16 via the first diffusion plate 18a, a light guide light reflection portion (surface) 172 that forms an inclined surface, and a light guide light emission portion (surface) 173 that faces the liquid crystal display panel 11, which is a liquid crystal display element, via a reflective polarizing plate 200.
この反射型偏光板２００は、例えばＰ偏光を反射（Ｓ偏光は透過）させる特性を有する物を選択すれば、光源であるＬＥＤから発した自然光のうちＰ偏光を反射し、図１９（ｂ）に示した導光体光反射部１７２に設けたλ／４板２０２を通過して反射面２０１で反射し、再びλ／４板２０２を通過することでＳ偏光に変換され、液晶表示パネル１１に入射する光束は全てＳ偏光に統一される。
If this reflective polarizing plate 200 is selected to have the property of reflecting P-polarized light (transmitting S-polarized light), for example, it will reflect the P-polarized light from the natural light emitted from the LED light source, pass through the λ/4 plate 202 provided in the light guide light reflecting section 172 shown in Figure 19 (b), be reflected by the reflecting surface 201, and be converted into S-polarized light by passing through the λ/4 plate 202 again, and all the light beams entering the liquid crystal display panel 11 will be unified into S-polarized light.
同様に、反射型偏光板２００としてＳ偏光を反射（Ｐ偏光は透過）させる特性を有する物を選択すれば、光源であるＬＥＤから発した自然光のうちＳ偏光を反射し、図１９（ｂ）に示した導光体光反射部１７２に設けたλ／４板２０２を通過して反射面２０１で反射し、再びλ／４板２０２を通過することでＰ偏光に変換され、液晶表示パネル５２に入射する光束は全てＰ偏光に統一される。以上述べた構成でも偏光変換が実現できる。
Similarly, if a reflective polarizing plate 200 is selected that has the property of reflecting S-polarized light (transmitting P-polarized light), it will reflect the S-polarized light from the natural light emitted by the LED light source, pass through the λ/4 plate 202 provided in the light guide light reflecting section 172 shown in Figure 19 (b), be reflected by the reflecting surface 201, and pass through the λ/4 plate 202 again to be converted into P-polarized light, and all the light beams entering the liquid crystal display panel 52 will be unified into P-polarized light. Polarization conversion can also be achieved with the configuration described above.
＜表示装置の例３＞
続いて、図１６を用いて表示装置１の具体的な構成の他の例（表示装置の例３）を説明する。この表示装置１の光源装置は、ＬＥＤからの光（Ｐ偏光とＳ偏光が混在）の発散光束をコリメータ１８により略平行光束に変換し、該変換された光束を、反射型導光体３０４の反射面により、液晶表示パネル１１に向けて反射する。かかる反射光は、液晶表示パネル１１と反射型導光体３０４の間に配置された反射型偏光板４９に入射する。反射型偏光板４９は、特定の偏波の光（例えばＰ偏光）を透過させ、透過した偏波光を液晶表示パネル１１に入射させる。ここで、特定の偏波以外の他の偏波（例えばＳ偏光）は、反射型偏光板４９で反射されて、再び反射型導光体３０４へ向かう。
<Display Device Example 3>
Next, another example of the specific configuration of the display device 1 (Example 3 of the display device) will be described with reference to Fig. 16. The light source device of this display device 1 converts the divergent light flux of the light (mixture of P-polarized and S-polarized light) from the LED into a substantially parallel light flux by the collimator 18, and reflects the converted light flux toward the liquid crystal display panel 11 by the reflecting surface of the reflective light guide 304. Such reflected light is incident on the reflective polarizing plate 49 arranged between the liquid crystal display panel 11 and the reflective light guide 304. The reflective polarizing plate 49 transmits light of a specific polarized wave (e.g., P-polarized light) and causes the transmitted polarized light to be incident on the liquid crystal display panel 11. Here, polarized waves other than the specific polarized wave (e.g., S-polarized light) are reflected by the reflective polarizing plate 49 and head toward the reflective light guide 304 again.
反射型偏光板４９は、反射型導光体３０４の反射面からの光の主光線に対して垂直とならないように、液晶表示パネル１１に対して傾きを以て設置されている。そして、反射型偏光板４９で反射された光の主光線は、反射型導光体３０４の透過面に入射する。反射型導光体３０４の透過面に入射した光は、反射型導光体３０４の背面を透過し、位相差板であるλ／４板２７０を透過し、反射板２７１で反射される。反射板２７１で反射された光は、再びλ／４板２７０を透過し、反射型導光体３０４の透過面を透過する。反射型導光体３０４の透過面を透過した光は再び反射型偏光板４９に入射する。
The reflective polarizing plate 49 is installed at an angle to the liquid crystal display panel 11 so that it is not perpendicular to the main ray of light from the reflective surface of the reflective light guide 304. The main ray of light reflected by the reflective polarizing plate 49 is incident on the transmission surface of the reflective light guide 304. The light incident on the transmission surface of the reflective light guide 304 passes through the back surface of the reflective light guide 304, passes through the λ/4 plate 270, which is a retardation plate, and is reflected by the reflector 271. The light reflected by the reflector 271 passes through the λ/4 plate 270 again, and passes through the transmission surface of the reflective light guide 304. The light that passes through the transmission surface of the reflective light guide 304 is incident on the reflective polarizing plate 49 again.
このとき、反射型偏光板４９に再度入射する光は、λ／４板２７０を２回通過しているため、反射型偏光板４９を透過する偏波（例えば、Ｐ偏光）へ偏光が変換されている。よって、偏光が変換されている光は反射型偏光板４９を透過し、液晶表示パネル１１に入射する。なお、偏光変換に係る偏光設計について、上述の説明から偏波を逆に構成（Ｓ偏光とＰ偏光を逆にする）してもかまわない。
At this time, the light that re-enters the reflective polarizing plate 49 has passed through the λ/4 plate 270 twice, and therefore its polarization has been converted to a polarized wave (e.g., P-polarized light) that passes through the reflective polarizing plate 49. Therefore, the light whose polarization has been converted passes through the reflective polarizing plate 49 and enters the liquid crystal display panel 11. Note that, with regard to the polarization design related to the polarization conversion, the polarization may be configured in reverse from the above explanation (reversing S-polarized light and P-polarized light).
この結果、ＬＥＤからの光は特定の偏波（例えばＰ偏光）に揃えられ、液晶表示パネル１１に入射し、映像信号に合わせて輝度変調されパネル面に映像を表示する。上述の例と同様に光源を構成する複数のＬＥＤが示されており（ただし、縦断面のため図１６では１個のみ図示している）、これらはコリメータ１８に対して所定の位置に取り付けられている。
As a result, the light from the LED is aligned to a specific polarization (e.g., P polarization), enters the liquid crystal display panel 11, and is brightness-modulated according to the video signal to display an image on the panel surface. As in the above example, multiple LEDs that make up the light source are shown (however, because this is a vertical cross section, only one is shown in Figure 16), and these are attached at a predetermined position relative to the collimator 18.
なお、コリメータ１８は、各々、例えばアクリル等の透光性の樹脂またはガラスにより形成されている。そして、このコリメータ１８は、放物断面を回転して得られる円錐凸形状の外周面を有してもよい。コリメータ１８の頂部では、その中央部に凸部（即ち、凸レンズ面）を形成した凹部を有してもよい。また、その平面部の中央部には、外側に突出した凸レンズ面（あるいは、内側に凹んだ凹レンズ面でも良い）を有している。なお、コリメータ１８の円錐形状の外周面を形成する放物面は、ＬＥＤから周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内において設定され、あるいは、反射面が形成されている。
The collimators 18 are each formed of a translucent resin such as acrylic or glass. The collimators 18 may have a cone-shaped outer periphery obtained by rotating a parabolic cross section. The top of the collimator 18 may have a concave portion with a convex portion (i.e., a convex lens surface) formed in the center. The center of the flat portion has a convex lens surface protruding outward (or a concave lens surface recessed inward). The parabolic surface forming the cone-shaped outer periphery of the collimator 18 is set within an angle range that allows the light emitted from the LED in the peripheral direction to be totally reflected within it, or a reflective surface is formed.
なお、ＬＥＤは、その回路基板である、ＬＥＤ基板１０２の表面上の所定の位置にそれぞれ配置されている。このＬＥＤ基板１０２は、コリメータ１８に対して、その表面上のＬＥＤが、それぞれ、円錐凸形状の頂部の中央部（頂部に凹部が有る場合はその凹部）に位置するように配置されて固定される。
The LEDs are arranged at predetermined positions on the surface of the LED board 102, which is the circuit board. The LED board 102 is arranged and fixed to the collimator 18 so that the LEDs on its surface are located at the center of the apex of the convex cone shape (or in the concave portion if the apex has a concave portion).
かかる構成によれば、コリメータ１８によって、ＬＥＤから放射される光のうち、特に、その中央部分から放射される光は、コリメータ１８の外形を形成する凸レンズ面により集光されて平行光となる。また、その他の部分から周辺方向に向かって出射される光は、コリメータ１８の円錐形状の外周面を形成する放物面によって反射され、同様に、集光されて平行光となる。換言すれば、その中央部に凸レンズを構成すると共に、その周辺部に放物面を形成したコリメータ１８によれば、ＬＥＤにより発生された光のほぼ全てを平行光として取り出すことが可能となり、発生した光の利用効率を向上することが可能となる。
With this configuration, the collimator 18 focuses the light emitted from the LED, particularly the light emitted from the center, into parallel light by the convex lens surface that forms the outer shape of the collimator 18. Light emitted from other parts toward the periphery is reflected by the parabolic surface that forms the outer peripheral surface of the cone shape of the collimator 18, and is similarly focused into parallel light. In other words, the collimator 18, which has a convex lens in its center and a parabolic surface formed on its periphery, makes it possible to extract almost all of the light generated by the LED as parallel light, thereby improving the efficiency of use of the generated light.
以上の構成は図１７、図１８等に示した映像表示装置の光源装置と同様の構成である。さらに、図１６に示したコリメータ１８により略平行光に変換された光は、反射型導光体３０４で反射される。当該光のうち、反射型偏光板４９の作用により特定の偏波の光は反射型偏光板４９を透過し、反射型偏光板４９の作用により反射された他方の偏波の光は再度導光体３０４を透過する。当該光は、反射型導光体３０４に対して、液晶表示パネル１１とは逆の位置にある反射板２７１で反射する。この時、当該光は位相差板であるλ／４板２７０を２度通過することで偏光変換される。反射板２７１で反射した光は、再び導光体３０４を透過して、反対面に設けた反射型偏光板４９に入射する。当該入射光は、偏光変換がなされているので、反射型偏光板４９を透過して、偏光方向を揃えて液晶表示パネル１１に入射される。この結果、光源の光を全て利用できるので光の幾何光学的な利用効率が２倍になる。また、反射型偏光板の偏光度（消光比）もシステム全体の消光比に乗せられるので、本実施例の光源装置を用いることで表示装置全体としてのコントラスト比が大幅に向上する。なお、反射型導光体３０４の反射面の面粗さおよび反射板２７１の面粗さを調整することで、それぞれの反射面での光の反射拡散角を調整することができる。液晶表示パネル１１に入射する光の均一性がより好適になるように、設計毎に、反射型導光体３０４の反射面の面粗さおよび反射板２７１の面粗さを調整すればよい。
The above configuration is the same as that of the light source device of the image display device shown in Figures 17 and 18. Furthermore, the light converted into approximately parallel light by the collimator 18 shown in Figure 16 is reflected by the reflective light guide 304. Of the light, the light of a specific polarized wave passes through the reflective polarizing plate 49 due to the action of the reflective polarizing plate 49, and the light of the other polarized wave reflected by the action of the reflective polarizing plate 49 passes through the light guide 304 again. The light is reflected by the reflector 271 located opposite the liquid crystal display panel 11 with respect to the reflective light guide 304. At this time, the light is polarized and converted by passing twice through the λ/4 plate 270, which is a retardation plate. The light reflected by the reflector 271 passes through the light guide 304 again and enters the reflective polarizing plate 49 provided on the opposite surface. Since the incident light has been polarized, it passes through the reflective polarizing plate 49 and enters the liquid crystal display panel 11 with the polarization direction aligned. As a result, all the light from the light source can be used, and the geometrical optical efficiency of light is doubled. In addition, the degree of polarization (extinction ratio) of the reflective polarizer is also included in the extinction ratio of the entire system, so by using the light source device of this embodiment, the contrast ratio of the entire display device is significantly improved. By adjusting the surface roughness of the reflective surface of the reflective light guide 304 and the surface roughness of the reflector 271, the reflection diffusion angle of light at each reflective surface can be adjusted. The surface roughness of the reflective surface of the reflective light guide 304 and the surface roughness of the reflector 271 can be adjusted for each design so that the uniformity of the light incident on the liquid crystal display panel 11 is more optimal.
なお、図１６の位相差板であるλ／４板２７０は、必ずしもλ／４板２７０へ垂直に入射した偏光に対する位相差がλ／４である必要はない。図１６の構成において、偏光が２回通過することで、位相が９０°（λ／２）変わる位相差板であればよい。位相差板の厚さは偏光の入射角度分布に応じて調整すればよい。
The λ/4 plate 270, which is the retardation plate in FIG. 16, does not necessarily have to have a phase difference of λ/4 with respect to polarized light that is perpendicularly incident on the λ/4 plate 270. In the configuration of FIG. 16, any retardation plate can be used as long as the phase changes by 90° (λ/2) when polarized light passes through it twice. The thickness of the retardation plate can be adjusted according to the incidence angle distribution of the polarized light.
＜表示装置の例４＞
さらに、表示装置の光源装置等の光学系の構成についての他の例（表示装置の例４）を、図２５を用いて説明する。表示装置の例３の光源装置において、反射型導光体３０４の代わりに拡散シートを用いる場合の構成例である。具体的には、コリメータ１８の光の出射側には図面の垂直方向と水平方向（図の前後方向で図示せず）の拡散特性を変換する光学シートを２枚用い（光学シート２０７Ａおよび光学シート２０７Ｂ）、コリメータ１８からの光を２枚の光学シート（拡散シート）の間に入射させる。この光学シートは、２枚構成ではなく１枚としても良い。1枚構成とする場合には1枚の光学シートの表面と裏面の微細形状で垂直と水平の拡散特性を調整する。また、拡散シートを複数枚使用して作用を分担しても良い。ここで、図２５の例では、光学シート２０７Ａと光学シート２０７Ｂの表面形状と裏面形状による反射拡散特性について、液晶表示パネル１１から出射する光束の面密度が均一になるように、ＬＥＤの数量とＬＥＤ基板（光学素子）１０２からの発散角およびコリメータ１８の光学仕様を設計パラメータとして最適設計すると良い。つまり、導光体の代わりに複数の拡散シートの表面形状により拡散特性を調整する。図２５の例では偏光変換は上述した表示装置の例３と同様の方法で行われる。すなわち、図２５の例において、反射型偏光板４９はＳ偏光を反射（Ｐ偏光は透過）させる特性を有するように構成すればよい。その場合、光源であるＬＥＤから発した光のうちＰ偏光を透過して、透過した光は液晶表示パネル１１に入射する。光源であるＬＥＤから発した光のうちＳ偏光を反射し、反射した光は、図２５に示した位相差板２７０を通過する。位相差板２７０を通過した光は、反射面２７１で反射される。反射面２７１で反射した光は、再び位相差板２７０を通過することでＰ偏光に変換される。偏光変換された光は、反射型変更板４９を透過し、液晶表示パネル１１に入射する。
<Display Device Example 4>
Further, another example (Example 4 of the display device) of the configuration of the optical system such as the light source device of the display device will be described with reference to FIG. 25. This is a configuration example in which a diffusion sheet is used instead of the reflective light guide 304 in the light source device of Example 3 of the display device. Specifically, two optical sheets (optical sheet 207A and optical sheet 207B) that convert the diffusion characteristics in the vertical direction and horizontal direction (not shown in the front and back directions of the figure) of the drawing are used on the light emission side of the collimator 18, and the light from the collimator 18 is made to enter between the two optical sheets (diffusion sheets). This optical sheet may be one sheet instead of two sheets. In the case of a one sheet configuration, the vertical and horizontal diffusion characteristics are adjusted by the fine shapes on the front and back surfaces of the one optical sheet. In addition, a plurality of diffusion sheets may be used to share the function. Here, in the example of FIG. 25, the reflection diffusion characteristics due to the front and rear shapes of the optical sheets 207A and 207B may be optimally designed with the number of LEDs, the divergence angle from the LED substrate (optical element) 102, and the optical specifications of the collimator 18 as design parameters so that the surface density of the light flux emitted from the liquid crystal display panel 11 is uniform. In other words, the diffusion characteristics are adjusted by the surface shapes of multiple diffusion sheets instead of the light guide. In the example of FIG. 25, the polarization conversion is performed in the same manner as in the above-mentioned display device example 3. That is, in the example of FIG. 25, the reflective polarizing plate 49 may be configured to have a characteristic of reflecting S-polarized light (transmitting P-polarized light). In that case, the reflective polarizing plate 49 transmits P-polarized light out of the light emitted from the LED, which is the light source, and the transmitted light enters the liquid crystal display panel 11. The reflective polarizing plate 49 reflects S-polarized light out of the light emitted from the LED, which is the light source, and the reflected light passes through the retardation plate 270 shown in FIG. 25. The light that passes through the retardation plate 270 is reflected by the reflection surface 271. The light reflected by the reflecting surface 271 is converted to P-polarized light by passing through the phase difference plate 270 again. The polarized light is transmitted through the reflective polarizing plate 49 and enters the liquid crystal display panel 11.
なお、図２５の位相差板であるλ／４板２７０は、必ずしもλ／４板２７０へ垂直に入射した偏光に対する位相差がλ／４である必要はない。図２５の構成において、偏光が２回通過することで、位相が９０°（λ／２）変わる位相差板であればよい。位相差板の厚さは偏光の入射角度分布に応じて調整すればよい。なお、図２５においても、偏光変換に係る偏光設計について、上述の説明から偏波を逆に構成（Ｓ偏光とＰ偏光を逆にする）してもかまわない。
Note that the λ/4 plate 270, which is the retardation plate in FIG. 25, does not necessarily have to have a phase difference of λ/4 with respect to polarized light that is perpendicularly incident on the λ/4 plate 270. In the configuration of FIG. 25, any retardation plate that changes the phase by 90° (λ/2) when polarized light passes through it twice may be used. The thickness of the retardation plate may be adjusted according to the distribution of the incident angles of the polarized light. Note that, in FIG. 25 as well, the polarization design related to the polarization conversion may be configured in reverse (reversing the S-polarized light and the P-polarized light) based on the above explanation.
液晶表示パネル１１からの出射光は、一般的なＴＶ用途の装置では画面水平方向（図２２（ａ）Ｘ軸で表示）と画面垂直方向（図２２（ｂ）Ｙ軸で表示）ともに同様な拡散特性を持っている。これに対して、本実施例の液晶表示パネルからの出射光束の拡散特性は、例えば図２２の例１に示すように輝度が正面視（角度０度）の５０％になる視野角が１３度とすることで、従来の６２度に対して１／５となる。同様に垂直方向の視野角は上下不均等として上側の視野角を下側の視野角に対して１／３程度に抑えるように反射型導光体の反射角度と反射面の面積等を最適化する。この結果、従来の液晶ＴＶに比べ監視方向に向かう映像光量が大幅に向上し、輝度は５０倍以上となる。
In a typical TV device, the light emitted from the liquid crystal display panel 11 has similar diffusion characteristics in both the horizontal direction of the screen (shown on the X-axis in FIG. 22(a)) and the vertical direction of the screen (shown on the Y-axis in FIG. 22(b)). In contrast, the diffusion characteristics of the light flux emitted from the liquid crystal display panel of this embodiment are 1/5 of the conventional 62 degrees when the viewing angle at which the luminance is 50% of the front view (angle 0 degrees) is set to 13 degrees, as shown in Example 1 of FIG. 22. Similarly, the vertical viewing angle is made uneven between the top and bottom, and the reflection angle and the area of the reflection surface of the reflective light guide are optimized to suppress the upper viewing angle to about 1/3 of the lower viewing angle. As a result, the amount of image light heading in the monitoring direction is significantly improved compared to conventional LCD TVs, and the luminance is more than 50 times higher.
更に、図２２の例２に示す視野角特性とすれば輝度が正面視（角度０度）の５０％になる視野角が５度とすることで従来の６２度に対して１／１２となる。同様に垂直方向の視野角は上下均等として視野角を従来に対して１／１２程度に抑えるように反射型導光体の反射角度と反射面の面積等を最適化する。この結果、従来の液晶ＴＶに比べ監視方向に向かう映像光量が大幅に向上し、輝度は１００倍以上となる。以上述べたように視野角を挟角とすることで監視方向に向かう光束量を集中できるので光の利用効率が大幅に向上する。この結果、従来のＴＶ用の液晶表示パネルを使用しても、光源装置の光拡散特性を制御することで同様な消費電力で大幅な輝度向上が実現可能で、明るい屋外に向けての情報表示システムに対応した映像表示装置とすることができる。
Furthermore, if the viewing angle characteristics shown in Example 2 of FIG. 22 are used, the viewing angle at which the brightness is 50% of the front view (angle 0 degrees) is set to 5 degrees, which is 1/12 of the conventional 62 degrees. Similarly, the vertical viewing angle is equal from top to bottom, and the reflection angle and the area of the reflection surface of the reflective light guide are optimized to suppress the viewing angle to about 1/12 of the conventional viewing angle. As a result, the amount of image light heading in the monitoring direction is significantly improved compared to conventional LCD TVs, and the brightness is more than 100 times higher. As described above, by setting the viewing angle to a narrow angle, the amount of light flux heading in the monitoring direction can be concentrated, so the light utilization efficiency is significantly improved. As a result, even if a conventional TV LCD panel is used, a significant improvement in brightness can be achieved with similar power consumption by controlling the light diffusion characteristics of the light source device, and an image display device that is compatible with information display systems facing bright outdoors can be obtained.
大型の液晶表示パネルを使用する場合には、画面周辺の光は画面中央を監視者が正対した場合に監視者の方向に向かうように内側に向けることで、画面明るさの全面性が向上する。図２０は監視者のパネルからの距離Ｌと、パネルサイズ（画面比１６：１０）とをパラメータとしたときのパネル長辺と短辺の収斂角度を求めたものである。画面を縦長として監視する場合には、短辺に合わせて収斂角度を設定すればよく、例えば２２“パネルの縦使いで監視距離が０．８ｍの場合には収斂角度を１０度とすれば画面４コーナからの映像光を有効に監視者に向けることができる。
When using a large LCD panel, the overall brightness of the screen can be improved by directing the light around the periphery of the screen inwards so that it faces the observer when he or she is facing the center of the screen. Figure 20 shows the convergence angle of the long and short sides of the panel when the observer's distance from the panel L and the panel size (screen ratio 16:10) are used as parameters. When monitoring with the screen vertically long, the convergence angle can be set to match the short side. For example, when using a 22" panel vertically and the monitoring distance is 0.8 m, a convergence angle of 10 degrees will allow the image light from the four corners of the screen to be effectively directed towards the observer.
同様に、１５”パネルの縦使いで監視する場合には監視距離が０．８ｍの場合には収斂角度を７度とすれば画面４コーナからの映像光を有効に監視者に向けることができる。以上述べたように液晶表示パネルのサイズ及び縦使いか横使いかによって画面周辺の映像光を、画面中央を監視するのに最適な位置にいる監視者に向けることで画面明るさの全面性を向上できる。
Similarly, when monitoring with a 15" panel in portrait orientation and the monitoring distance is 0.8 m, a convergence angle of 7 degrees will allow the image light from the four corners of the screen to be effectively directed towards the observer. As mentioned above, depending on the size of the LCD panel and whether it is used in portrait or landscape orientation, the overall brightness of the screen can be improved by directing the image light from the periphery of the screen towards the observer who is in the optimum position to monitor the centre of the screen.
基本構成としては、上述の図１６などに示すように光源装置により挟角な指向特性の光束を液晶表示パネル１１に入射させ、映像信号に合わせて輝度変調することで、液晶表示パネル１１の画面上に表示した映像情報を、再帰反射部材で反射させ得られた空間浮遊映像を、透明な部材１００を介して室外または室内に表示する。
As a basic configuration, as shown in FIG. 16 and other figures, a light source device emits a light beam with a narrow angle of directivity into the liquid crystal display panel 11, and the light is luminance-modulated according to the video signal. The video information displayed on the screen of the liquid crystal display panel 11 is then reflected by the retroreflective member, and the resulting floating-in-space image is displayed indoors or outdoors via the transparent member 100.
＜レンチキュラーレンズ＞
液晶表示パネル１１からの映像光の拡散分布を制御するためには、光源装置１３と液晶表示パネル１１の間、あるいは、液晶表示パネル１１の表面に、レンチキュラーレンズを設けてレンズ形状を最適化することで、一方向の出射特性を制御できる。更に、マイクロレンズアレイをマトリックス状に配置することで表示装置１からの映像光束をＸ軸およびＹ軸方向に出射特性を制御することができ、この結果所望の拡散特性を有する映像表示装置を得ることができる。
<Lenticular lens>
In order to control the diffusion distribution of the image light from the liquid crystal display panel 11, it is possible to control the emission characteristics in one direction by optimizing the lens shape by providing a lenticular lens between the light source device 13 and the liquid crystal display panel 11 or on the surface of the liquid crystal display panel 11. Furthermore, by arranging a microlens array in a matrix, it is possible to control the emission characteristics of the image light flux from the display device 1 in the X-axis and Y-axis directions, and as a result, it is possible to obtain an image display device with desired diffusion characteristics.
レンチキュラーレンズによる作用について説明する。レンチキュラーレンズは、レンズ形状を最適化することで、上述した表示装置１から出射されて透明な部材１００を透過又は反射して効率良く空間浮遊像を得ることが可能となる。即ち、表示装置１からの映像光に対し、２枚のレンチキュラーレンズを組み合わせ、またはマイクロレンズアレイをマトリックス状に配置して拡散特性を制御するシートを設けて、Ｘ軸およびＹ軸方向において、映像光の輝度（相対輝度）をその反射角度（垂直方向を０度）に応じて制御することができる。本実施例では、このようなレンチキュラーレンズにより、従来に比較し、図２２（ｂ）に示すように垂直方向の輝度特性を急峻にし、更に上下（Ｙ軸の正負方向）方向の指向特性のバランスを変化させることで反射や拡散による光の輝度（相対輝度）を高めることにより、面発光レーザ映像源からの映像光のように、拡散角度が狭く（高い直進性）かつ特定の偏波成分のみの映像光とし、従来技術による映像表示装置を用いた場合に再帰反射部材で発生していたゴースト像を抑え、効率良く監視者の眼に再帰反射による空間浮遊像が届くように制御できる。
The effect of the lenticular lens will be explained. By optimizing the lens shape, the lenticular lens can efficiently obtain a floating image in space by transmitting or reflecting the light emitted from the display device 1 described above through the transparent member 100. That is, by combining two lenticular lenses or providing a sheet that controls the diffusion characteristics by arranging a microlens array in a matrix, the brightness (relative brightness) of the image light from the display device 1 can be controlled in the X-axis and Y-axis directions according to its reflection angle (vertical direction is 0 degrees). In this embodiment, such a lenticular lens makes the vertical brightness characteristic steeper than in the past, as shown in FIG. 22(b), and further changes the balance of the directional characteristics in the up and down directions (positive and negative directions of the Y axis) to increase the brightness (relative brightness) of the light due to reflection and diffusion. This makes it possible to obtain image light with a narrow diffusion angle (high straightness) and containing only specific polarization components, like image light from a surface-emitting laser image source, suppressing ghost images that were generated by the retroreflective material when using image display devices using conventional technology, and efficiently controlling the floating image in space due to retroreflection to reach the observer's eyes.
また上述した光源装置により、図２２の（ａ）（ｂ）に示した一般的な液晶表示パネルからの出射光拡散特性特性（図中では従来と表記）に対してＸ軸方向およびＹ軸方向ともに大幅に挟角な指向特性とすることで、特定方向に対して平行に近い映像光束を出射する特定偏波の光を出射する映像表示装置が実現できる。
The light source device described above also provides a directional characteristic with a significantly narrower angle in both the X-axis and Y-axis directions compared to the diffusion characteristic of light emitted from a typical liquid crystal display panel shown in Figures 22(a) and 22(b) (represented as "conventional" in the figure), thereby realizing an image display device that emits light of a specific polarization that emits an image light beam that is nearly parallel to a specific direction.
図２１には、本実施例で採用するレンチキュラーレンズの特性の一例を示している。この例では、特に、Ｘ方向（垂直方向）における特性を示しており、特性Ｏは、光の出射方向のピークが垂直方向（０度）から上方に３０度付近の角度であり上下に対称な輝度特性を示している。また、図２１の特性ＡやＢは、更に、３０度付近においてピーク輝度の上方の映像光を集光して輝度（相対輝度）を高めた特性の例を示している。このため、これらの特性ＡやＢでは、３０度を超えた角度において、特性Ｏに比較して、急激に光の輝度（相対輝度）が低減する。
Figure 21 shows an example of the characteristics of the lenticular lens used in this embodiment. This example particularly shows the characteristics in the X direction (vertical direction), with characteristic O showing a luminance characteristic that is symmetrical up and down, with the peak of the light emission direction at an angle of approximately 30 degrees upward from the vertical direction (0 degrees). Characteristics A and B in Figure 21 also show examples of characteristics in which the image light above the peak luminance is concentrated at approximately 30 degrees to increase the luminance (relative luminance). For this reason, with characteristics A and B, the luminance (relative luminance) of light drops sharply at angles exceeding 30 degrees compared to characteristic O.
即ち、上述したレンチキュラーレンズを含んだ光学系によれば、表示装置１からの映像光束を再帰反射部材２に入射させる際、光源装置１３で挟角に揃えられた映像光の出射角度や視野角を制御でき再帰反射シート（再帰反射部材２）の設置の自由度を大幅に向上できる。その結果透明な部材１００を反射又は透過して所望の位置に結像する空間浮遊像の結像位置の関係の自由度を大幅に向上できる。この結果、拡散角度が狭く（高い直進性）かつ特定の偏波成分のみの光として効率良く室外または室内の監視者の眼に届くようにすることが可能となる。このことによれば、映像表示装置からの映像光の強度（輝度）が低減しても、監視者は映像光を正確に認識して情報を得ることができる。換言すれば、映像表示装置の出力小さくすることにより、消費電力の低い空間浮遊映像表示装置を実現することが可能となる。
That is, according to the optical system including the lenticular lens described above, when the image light beam from the display device 1 is incident on the retroreflective member 2, the light source device 13 can control the emission angle and viewing angle of the image light aligned to a sandwiched angle, and the degree of freedom in installing the retroreflective sheet (retroreflective member 2) can be greatly improved. As a result, the degree of freedom in the relationship of the image formation position of the space floating image that is reflected or transmitted through the transparent member 100 and formed at the desired position can be greatly improved. As a result, it is possible to efficiently reach the eyes of an observer outside or inside the room as light with a narrow diffusion angle (high straightness) and only a specific polarized component. As a result, even if the intensity (brightness) of the image light from the image display device is reduced, the observer can accurately recognize the image light and obtain information. In other words, by reducing the output of the image display device, it is possible to realize a space floating image display device with low power consumption.
＜タッチ操作の補助機能＞
次に、ユーザに対するタッチ操作の補助機能について説明する。まず、補助機能を備えていない場合のタッチ操作について説明する。なお、ここでは、ユーザが２つのボタン（オブジェクト）のいずれかを選択してタッチする場合を例にして説明するが、以下の内容は、例えば、銀行等のＡＴＭ、駅等の券売機、デジタルサイネージ等に対しても好適に適用可能である。
<Touch operation assistance function>
Next, the assist function of the touch operation for the user will be described. First, the touch operation without the assist function will be described. Note that, here, the case where the user selects and touches one of two buttons (objects) will be described as an example, but the following content can also be suitably applied to, for example, ATMs in banks, ticket vending machines in stations, digital signage, and the like.
図２６は、空間浮遊映像表示装置１０００の表示例とタッチ操作を説明する図である。図２６に示す空間浮遊映像３には、「ＹＥＳ」と表示された第１ボタンＢＵＴ１、および「ＮＯ」と表示された第２ボタンＢＵＴ２が含まれている。ユーザは、空間浮遊映像３へ向けて指２１０を動かし、第１ボタンＢＵＴ１または第２ボタンＢＵＴ２をタッチすることで「ＹＥＳ」または「ＮＯ」を選択する。なお、図２６および図２７～２９の例では、第１ボタンＢＵＴ１と第２ボタンＢＵＴ２は異なる色の表示がなされているものとする。ここで、空間浮遊映像３における第１ボタンＢＵＴ１と第２ボタンＢＵＴ２以外の領域には、映像を表示させず透明としてもよいが、その場合は、後述する仮想影の効果が及ぶ範囲が表示されるボタンの領域（第１ボタンＢＵＴ１の表示領域と第２ボタンＢＵＴ２の表示領域）のみとなる。よって、以下の説明では、より好適な例として、空間浮遊映像３における第１ボタンＢＵＴ１と第２ボタンＢＵＴ２以外の領域には、第１ボタンＢＵＴ１の表示領域と第２ボタンＢＵＴ２の表示領域を含むより広い領域について、第１ボタンＢＵＴ１と第２ボタンＢＵＴ２と異なる色または異なる輝度の映像が表示されているものとする。
26 is a diagram for explaining a display example and touch operation of the space floating image display device 1000. The space floating image 3 shown in FIG. 26 includes a first button BUT1 displayed as "YES" and a second button BUT2 displayed as "NO". The user moves the finger 210 toward the space floating image 3 and touches the first button BUT1 or the second button BUT2 to select "YES" or "NO". In the examples of FIG. 26 and FIG. 27 to FIG. 29, the first button BUT1 and the second button BUT2 are displayed in different colors. Here, the areas other than the first button BUT1 and the second button BUT2 in the space floating image 3 may be transparent without displaying images, but in that case, the range of the effect of the virtual shadow described later will be only the areas of the displayed buttons (the display area of the first button BUT1 and the display area of the second button BUT2). Therefore, in the following explanation, as a more suitable example, it is assumed that in the area of the floating image 3 other than the first button BUT1 and the second button BUT2, an image of a different color or brightness than that of the first button BUT1 and the second button BUT2 is displayed in a larger area including the display area of the first button BUT1 and the display area of the second button BUT2.
空間浮遊映像表示装置ではない一般的なタッチパネル付き映像表示装置では、ユーザが選択する、ボタンは、タッチパネル面に表示される映像ボタンで構成される。このため、ユーザは、タッチパネル面を視認することで、タッチパネル面上に表示されるオブジェクト（例えば、ボタン）と自身の指の距離感を認識することができる。しかし、空間浮遊映像表示装置では、空間浮遊映像３が空中に浮遊しているため、ユーザは空間浮遊映像３の奥行きを認識することが容易ではない場合がある。よって、空間浮遊映像３に対するタッチ操作では、ユーザは、空間浮遊映像３に表示されるボタンと自身の指の距離感を認識することが容易ではない場合がある。また、空間浮遊映像表示装置ではない一般的なタッチパネル付き映像表示装置では、ユーザは、触れたときの感触で、ボタンをタッチしたか否かを容易に判断することができる。しかし、空間浮遊映像３に対するタッチ操作では、オブジェクト（例えばボタン）にタッチしたときの感触がないため、ユーザは、オブジェクトにタッチできたのか否かを判断できない場合がある。以上の状況を考慮して、本実施の形態では、ユーザに対するタッチ操作の補助機能が設けられている。
In a general touch panel image display device that is not a space floating image display device, the button selected by the user is composed of an image button displayed on the touch panel surface. Therefore, the user can recognize the distance between the object (e.g., a button) displayed on the touch panel surface and his/her finger by visually checking the touch panel surface. However, in a space floating image display device, since the space floating image 3 floats in the air, it may not be easy for the user to recognize the depth of the space floating image 3. Therefore, in a touch operation on the space floating image 3, it may not be easy for the user to recognize the distance between the button displayed on the space floating image 3 and his/her finger. Also, in a general touch panel image display device that is not a space floating image display device, the user can easily determine whether or not the button has been touched by the feeling when touched. However, in a touch operation on the space floating image 3, since there is no feeling when an object (e.g., a button) is touched, the user may not be able to determine whether or not the object has been touched. In consideration of the above situation, in this embodiment, a function to assist the user in touch operation is provided.
なお、以下の説明で、ユーザの指の位置に基づく処理が説明されるが、ユーザの指の位置の具体的な検出方法については後述する。
Note that the following explanation describes processing based on the position of the user's finger, but the specific method for detecting the position of the user's finger will be described later.
＜＜仮想影を用いたタッチ操作の補助（１）＞＞
図２７～図２９は、仮想影を用いたタッチ操作の補助方法の一例を説明する図である。図２７～図２９の例では、ユーザは、第１ボタンＢＵＴ１をタッチして、「ＹＥＳ」を選択するものとする。本実施例の空間浮遊映像表示装置１０００は、空間浮遊映像３の表示映像上に仮想影を表示することにより、ユーザのタッチ操作を補助する。ここで、「空間浮遊映像３の表示映像上に仮想影を表示する」とは、空間浮遊映像３として表示する映像について、指を模した形状の一部の領域について映像信号の輝度を低減することにより、あたかも映像上に影が投影されたように見せる映像表示処理である。具体的には、映像制御部１１６０または制御部１１１０の演算により、当該処理を行えばよい。仮想影の表示処理においては、指を模した形状の一部の領域について映像信号の輝度を完全に０にしても構わない。しかし、指を模した形状の一部の領域について映像信号の輝度を完全に０にするよりも、当該領域において、低減された輝度で映像が表示されている方が、影としてより自然に認識されるため好適である。この場合、仮想影の表示処理においては、指を模した形状の一部の領域について映像信号の輝度を低減するのみならず、映像信号の彩度を低減してもよい。
<< Assisting touch operations using virtual shadows (1) >>
27 to 29 are diagrams for explaining an example of a method for assisting a touch operation using a virtual shadow. In the examples of FIG. 27 to FIG. 29, the user touches the first button BUT1 to select "YES". The space-floating image display device 1000 of this embodiment assists the user's touch operation by displaying a virtual shadow on the display image of the space-floating image 3. Here, "displaying a virtual shadow on the display image of the space-floating image 3" refers to an image display process in which the brightness of the image signal is reduced for a part of the area of the shape that resembles a finger for the image displayed as the space-floating image 3, so that the image appears as if a shadow is projected on the image. Specifically, the image control unit 1160 or the control unit 1110 may perform this process by calculation. In the display process of the virtual shadow, the brightness of the image signal may be completely set to 0 for a part of the area of the shape that resembles a finger. However, it is preferable to display an image with reduced brightness in the part of the area of the shape that resembles a finger, since the shadow is more naturally recognized as a shadow. In this case, in the process of displaying the virtual shadow, not only the luminance of the video signal for a part of the region of the shape resembling a finger may be reduced, but also the saturation of the video signal may be reduced.
空間浮遊映像３は、物理的な接触面が存在しない空中に存在し、本来通常の環境では、指の影が投影されないことはない。しかし、本実施例の仮想影の表示処理によれば、本来指の影が投影されない空中であっても、空間浮遊映像３中にあたかも影が存在するかのように見せることにより、ユーザに対して空間浮遊映像３の奥行き認識の向上と空間浮遊映像３の実在間の向上を図ることができる。
The floating-in-space image 3 exists in the air where there is no physical contact surface, and in a normal environment, the shadow of a finger is always projected. However, according to the virtual shadow display process of this embodiment, even in the air where the shadow of a finger is not normally projected, it is possible to improve the user's perception of the depth of the floating-in-space image 3 and the reality of the floating-in-space image 3 by making it appear as if a shadow exists in the floating-in-space image 3.
図２７はユーザが指２１０により空間浮遊映像３の表示面３ａの第１ボタンＢＵＴ１へのタッチ操作を試みる第１の時点の状態を示し、図２８は図２７よりも指２１０が空間浮遊映像３に近づいている第２の時点の状態を示し、図２９は、指２１０が空間浮遊映像３の表示面３ａの第１ボタンＢＵＴ１にタッチした第３の時点の状態を示している。また、図２７～図２９の（Ａ）は、空間浮遊映像３の表示面３ａを正面(表示面３ａの法線方向)から見たときの状態を示し、図２７～図２９の（Ｂ）は、空間浮遊映像３の表示面３ａを側方(表示面３ａと平行な方向)から見たときの状態を示している。なお、図２７～図２９において、ｘ方向は空間浮遊映像３の表示面３ａにおける水平方向であり、ｙ方向は空間浮遊映像３の表示面３ａ内においてｘ軸と直交する方向であり、ｚ方向は空間浮遊映像３の表示面３ａの法線方向（表示面３ａに対する高さ方向）である。なお、図２７～３３の説明図において、空間浮遊映像３は説明上の見やすさのために奥行き方向に厚みを有するように図示されているが、実際には、表示装置１の映像表示面が平面であれば、空間浮遊映像３も平面であり、奥行き方向に厚みはない。この場合、空間浮遊映像３と表示面３ａは同一平面にある。本実施例の説明において、表示面３ａは空間浮遊映像３が表示されうる面を意味し、空間浮遊映像３は実際に空間浮遊映像が表示されている部分を意味する。
Figure 27 shows the state at a first time point when the user attempts to touch the first button BUT1 on the display surface 3a of the floating-in-space image 3 with the finger 210, Figure 28 shows the state at a second time point when the finger 210 is closer to the floating-in-space image 3 than in Figure 27, and Figure 29 shows the state at a third time point when the finger 210 touches the first button BUT1 on the display surface 3a of the floating-in-space image 3. Also, (A) of Figures 27 to 29 shows the state when the display surface 3a of the floating-in-space image 3 is viewed from the front (the normal direction of the display surface 3a), and (B) of Figures 27 to 29 shows the state when the display surface 3a of the floating-in-space image 3 is viewed from the side (a direction parallel to the display surface 3a). In addition, in Figures 27 to 29, the x direction is the horizontal direction on the display surface 3a of the space floating image 3, the y direction is the direction perpendicular to the x axis in the display surface 3a of the space floating image 3, and the z direction is the normal direction of the display surface 3a of the space floating image 3 (the height direction relative to the display surface 3a). In addition, in the explanatory diagrams of Figures 27 to 33, the space floating image 3 is illustrated as having a thickness in the depth direction for ease of explanation, but in reality, if the image display surface of the display device 1 is flat, the space floating image 3 is also flat and has no thickness in the depth direction. In this case, the space floating image 3 and the display surface 3a are on the same plane. In the explanation of this embodiment, the display surface 3a means the surface on which the space floating image 3 can be displayed, and the space floating image 3 means the part where the space floating image is actually displayed.
図２７、図２８、図２９において、指２１０の検出処理は、例えば、撮像部１１８０で生成される撮像画像や、空中操作検出センサ１３５１のセンシング信号を用いて行われる。指２１０の検出処理では、例えば、空間浮遊映像３の表示面３ａにおける指２１０の先端の位置（ｘ座標、ｙ座標）、表示面３ａに対する指２１０の先端の高さ位置（ｚ座標）等が検出される。ここで、空間浮遊映像３の表示面３ａにおける指２１０の先端の位置（ｘ座標、ｙ座標）とは、空間浮遊映像３の表示面３ａへの指２１０の先端からの垂線の交点の表示面３ａにおける位置座標である。なお、表示面３ａに対する指２１０の先端の高さ位置は、表示面３ａに対する指２１０の深度を表す深度情報でもある。なお、指２１０等の検出を行う撮像部１１８０や空中操作検出センサ１３５１の配置等については、後で詳しく説明する。
27, 28, and 29, the detection process of the finger 210 is performed using, for example, an image generated by the imaging unit 1180 and a sensing signal of the aerial operation detection sensor 1351. In the detection process of the finger 210, for example, the position (x coordinate, y coordinate) of the tip of the finger 210 on the display surface 3a of the floating in space image 3, the height position (z coordinate) of the tip of the finger 210 relative to the display surface 3a, etc. are detected. Here, the position (x coordinate, y coordinate) of the tip of the finger 210 on the display surface 3a of the floating in space image 3 is the position coordinate on the display surface 3a of the intersection of the tip of the finger 210 to the display surface 3a of the floating in space image 3. Note that the height position of the tip of the finger 210 relative to the display surface 3a is also depth information that indicates the depth of the finger 210 relative to the display surface 3a. Note that the arrangement of the imaging unit 1180 and the aerial operation detection sensor 1351 that detect the finger 210, etc. will be described in detail later.
図２７が示す第１の時点では、図２８が示す第２の時点や、図２８が示す第３の時点に比べて、指２１０は空間浮遊映像３の表示面３ａから最も離れた位置にあるものとする。このときの指２１０の先端と空間浮遊映像３の表示面３ａとの距離（高さ位置）をｄｚ１とする。すなわち、距離ｄｚ１は、ｚ方向における空間浮遊映像３の表示面３ａに対する指２１０の高さを示している。
At the first time point shown in FIG. 27, the finger 210 is in a position farthest from the display surface 3a of the floating-in-space image 3 compared to the second time point shown in FIG. 28 and the third time point shown in FIG. 28. The distance (height position) between the tip of the finger 210 and the display surface 3a of the floating-in-space image 3 at this time is dz1. In other words, the distance dz1 indicates the height of the finger 210 relative to the display surface 3a of the floating-in-space image 3 in the z direction.
なお、図２７で示される距離ｄｚ１および後述する図２８で示される距離ｄｚ２等は、空間浮遊映像３の表示面３ａに対してユーザ側を正側とし、表示面３ａに対してユーザとは反対側を負側とする。すなわち、指２１０が表示面３ａに対しユーザ側にあれば、距離ｄｚ１および距離ｄｚ２は正の値となり、指２１０が表示面３ａに対しユーザとは反対側にあれば、距離ｄｚ１および距離ｄｚ２は負の値となる。
Note that distance dz1 shown in FIG. 27 and distance dz2 shown in FIG. 28 described later are positive on the user side with respect to display surface 3a of floating-in-space image 3, and negative on the opposite side of display surface 3a from the user. In other words, if finger 210 is on the user side with respect to display surface 3a, distance dz1 and distance dz2 will be positive values, and if finger 210 is on the opposite side of display surface 3a from the user, distance dz1 and distance dz2 will be negative values.
本実施の形態では、空間浮遊映像３の表示面３ａに対しユーザ側に仮想光源１５００があるものと仮定する。ここで、仮想光源１５００の設置方向の設定は、空間浮遊映像表示装置１０００の不揮発性メモリ１１０８やメモリ１１０９において、実際に情報として格納されていてもよい。また、仮想光源１５００の設置方向の設定は、設計上にのみ存在するパラメータであってもよい。仮想光源１５００の設置方向の設定が設計上にのみ存在するパラメータである場合でも、後述するユーザの指の位置と仮想影の表示位置の関係から、仮想光源１５００の設計上の設置方向は一意に定まるものである。ここで、図２７～図２９の例では、仮想光源１５００は、表示面３ａに対しユーザ側であって、ユーザから見て表示面３ａの右側方に設けられている。そして、仮想光源１５００から照射される光により形成される指２１０の影を模した仮想影１５１０が空間浮遊映像３に表示される。図２７～図２９の例では、仮想影１５１０は、指２１０の左側に表示される。この仮想影１５１０により、ユーザに対するタッチ操作の補助が行われる。
In this embodiment, it is assumed that the virtual light source 1500 is located on the user side relative to the display surface 3a of the space floating image 3. Here, the setting of the installation direction of the virtual light source 1500 may be actually stored as information in the non-volatile memory 1108 or memory 1109 of the space floating image display device 1000. In addition, the setting of the installation direction of the virtual light source 1500 may be a parameter that exists only in the design. Even if the setting of the installation direction of the virtual light source 1500 is a parameter that exists only in the design, the design installation direction of the virtual light source 1500 is uniquely determined from the relationship between the position of the user's finger and the display position of the virtual shadow, which will be described later. Here, in the example of FIG. 27 to FIG. 29, the virtual light source 1500 is located on the user side relative to the display surface 3a, and is provided on the right side of the display surface 3a as seen from the user. Then, a virtual shadow 1510 that imitates the shadow of the finger 210 formed by the light irradiated from the virtual light source 1500 is displayed on the space floating image 3. In the examples of Figures 27 to 29, a virtual shadow 1510 is displayed to the left of the finger 210. This virtual shadow 1510 assists the user in performing a touch operation.
図２７（Ｂ）の状態では、図２８（Ｂ）の状態および図２９（Ｂ）の状態と比べて、指２１０の先端は、空間浮遊映像３の表示面３ａからの法線方向の距離において最も離れている。このため、図２７（Ａ）において、仮想影１５１０の先端は、図２８（Ａ）の状態および図２９（Ａ）の状態と比べて、タッチしようとする第１ボタンＢＵＴ１から水平方向において最も離れた位置に形成される。したがって、図２７（Ａ）において、空間浮遊映像３の表示面３ａを正面から見たときの指２１０の先端と仮想影１５１０の先端との水平方向の距離は、図２８（Ａ）の状態および図２９（Ａ）の状態と比べて、最も大きくなる。図２７（Ａ）では、空間浮遊映像３の表示面３ａの水平方向における指２１０の先端と仮想影１５１０の先端との距離をｄｘ１としている。
27(B), the tip of the finger 210 is farthest in the normal direction from the display surface 3a of the floating image 3 compared to the states of FIG. 28(B) and FIG. 29(B). Therefore, in FIG. 27(A), the tip of the virtual shadow 1510 is formed at a position farthest in the horizontal direction from the first button BUT1 to be touched compared to the states of FIG. 28(A) and FIG. 29(A). Therefore, in FIG. 27(A), the horizontal distance between the tip of the finger 210 and the tip of the virtual shadow 1510 when the display surface 3a of the floating image 3 is viewed from the front is the largest compared to the states of FIG. 28(A) and FIG. 29(A). In FIG. 27(A), the distance between the tip of the finger 210 and the tip of the virtual shadow 1510 in the horizontal direction of the display surface 3a of the floating image 3 is dx1.
そして、図２８（Ｂ）では、図２７（Ｂ）よりも指２１０が空間浮遊映像３に近づいている。よって、図２８（Ｂ）では、指２１０の先端と空間浮遊映像３の表示面３ａとの法線方向の距離ｄｚ２は、ｄｚ１よりも小さい。このとき、図２８（Ａ）では、仮想影１５１０は、空間浮遊映像３の表示面３ａの水平方向における指２１０の先端と仮想影１５１０の先端との距離が、ｄｘ１よりも小さいｄｘ２となる位置に表示される。すなわち、図２８の例では、仮想光源１５００が表示面３ａに対しユーザ側であってユーザから見て表示面３ａの右側方に設けられているため、指２１０の先端と空間浮遊映像３の表示面３ａとの法線方向の距離に連動して、空間浮遊映像３の表示面３ａを正面から見たときの指２１０の先端と仮想影１５１０の先端との水平方向の距離が変化することとなる。
28(B), the finger 210 is closer to the floating image 3 than in FIG. 27(B). Therefore, in FIG. 28(B), the distance dz2 in the normal direction between the tip of the finger 210 and the display surface 3a of the floating image 3 is smaller than dz1. At this time, in FIG. 28(A), the virtual shadow 1510 is displayed at a position where the distance between the tip of the finger 210 and the tip of the virtual shadow 1510 in the horizontal direction of the display surface 3a of the floating image 3 is dx2, which is smaller than dx1. That is, in the example of FIG. 28, the virtual light source 1500 is provided on the user side of the display surface 3a and on the right side of the display surface 3a as seen from the user, so that the horizontal distance between the tip of the finger 210 and the tip of the virtual shadow 1510 when the display surface 3a of the floating image 3 is viewed from the front changes in conjunction with the distance in the normal direction between the tip of the finger 210 and the display surface 3a of the floating image 3.
そして、指２１０の先端と仮想影１５１０の先端とが接すると、図２９に示すように、指２１０の先端と空間浮遊映像３の表示面３ａとの法線方向の距離が0になる。このとき、仮想影１５１０は、空間浮遊映像３の表示面３ａの水平方向における指２１０と仮想影１５１０との距離がゼロとなるように表示される。これにより、ユーザは、指２１０が空間浮遊映像３の表示面３ａにタッチしたことを認識できる。このとき、指２１０の先端が第１ボタンＢＵＴ１の領域に触れていれば、ユーザは、第１ボタンＢＵＴ１にタッチしたことを認識することができる。すなわち、図２９の例でも、仮想光源１５００が表示面３ａに対しユーザ側であってユーザから見て表示面３ａの右側方に設けられているため、指２１０の先端と空間浮遊映像３の表示面３ａとの法線方向の距離に連動して、空間浮遊映像３の表示面３ａを正面から見たときの指２１０の先端と仮想影１５１０の先端との水平方向の距離が変化したこととなる。すなわち、仮想影１５１０の先端の表示位置は、仮想光源１５００の位置とユーザの指２１０の先端の位置の位置関係により特定される位置であり、ユーザの指２１０の先端の位置の変化に連動して変化するものである。
When the tip of finger 210 and the tip of virtual shadow 1510 come into contact, the distance in the normal direction between the tip of finger 210 and display surface 3a of floating-in-space image 3 becomes 0, as shown in FIG. 29. At this time, virtual shadow 1510 is displayed so that the distance between finger 210 and virtual shadow 1510 in the horizontal direction of display surface 3a of floating-in-space image 3 becomes zero. This allows the user to recognize that finger 210 has touched display surface 3a of floating-in-space image 3. At this time, if the tip of finger 210 is touching the area of first button BUT1, the user can recognize that first button BUT1 has been touched. That is, even in the example of FIG. 29, since virtual light source 1500 is provided on the user side of display surface 3a and to the right of display surface 3a as seen from the user, the horizontal distance between the tip of finger 210 and the tip of virtual shadow 1510 when display surface 3a of floating-in-space image 3 is viewed from the front changes in conjunction with the distance in the normal direction between the tip of finger 210 and display surface 3a of floating-in-space image 3. That is, the display position of the tip of virtual shadow 1510 is a position specified by the positional relationship between the position of virtual light source 1500 and the position of the tip of user's finger 210, and changes in conjunction with the change in the position of the tip of user's finger 210.
以上説明した「仮想影を用いたタッチ操作の補助（１）」の構成および処理によれば、タッチ操作時、ユーザは、指２１０と仮想影１５１０との空間浮遊映像３の表示面３ａにおける水平方向の位置関係から、指２１０と空間浮遊映像３の表示面３ａとの法線方向の距離（奥行き）をより好適に認識することが可能となる。また、指２１０が空間浮遊映像３であるオブジェクト（例えばボタン）に触れた場合は、ユーザは、オブジェクトにタッチしたことを認識することが可能となる。これにより、より好適な空間浮遊映像表示装置を提供することが可能となる。
According to the configuration and processing of "Touch operation assistance using virtual shadow (1)" described above, when performing a touch operation, the user can more appropriately recognize the normal distance (depth) between the finger 210 and the display surface 3a of the floating-in-space image 3 from the horizontal positional relationship between the finger 210 and the virtual shadow 1510 on the display surface 3a of the floating-in-space image 3. Furthermore, when the finger 210 touches an object (e.g., a button) that is the floating-in-space image 3, the user can recognize that the object has been touched. This makes it possible to provide a more appropriate floating-in-space image display device.
＜＜仮想影を用いたタッチ操作の補助（２）＞＞
次に、仮想影を用いたタッチ操作の補助方法の他の例として、仮想光源１５００がユーザから見て表示面３ａの左側方に設けられた場合について説明する。図３０～図３２は、仮想影を用いたタッチ操作の補助方法の他の例を説明する図である。図３０は、図２７と対応しており、ユーザが指２１０により空間浮遊映像３の表示面３ａの第１ボタンＢＵＴ１へのタッチ操作を試みる第１の時点の状態を示している。図３１は、図２８と対応しており、図３０よりも指２１０が空間浮遊映像３に近づいている第２の時点の状態を示している。図３２は、図２９と対応しており、指２１０が空間浮遊映像３にタッチしたときの状態を示している。なお、図３０～図３２の（Ｂ）では、説明の便宜上、図２７～図２９の(Ｂ)とは反対の向きから見た図で示している。
<<Touch operation assistance using virtual shadows (2)>>
Next, as another example of the method of assisting the touch operation using a virtual shadow, a case where the virtual light source 1500 is provided on the left side of the display surface 3a as seen from the user will be described. FIGS. 30 to 32 are diagrams for explaining another example of the method of assisting the touch operation using a virtual shadow. FIG. 30 corresponds to FIG. 27, and shows a state at a first time point when the user attempts to perform a touch operation on the first button BUT1 on the display surface 3a of the floating-in-space image 3 with the finger 210. FIG. 31 corresponds to FIG. 28, and shows a state at a second time point when the finger 210 is closer to the floating-in-space image 3 than in FIG. 30. FIG. 32 corresponds to FIG. 29, and shows a state when the finger 210 touches the floating-in-space image 3. Note that in (B) of FIG. 30 to FIG. 32, for convenience of explanation, the figures are shown in the opposite direction to (B) of FIG. 27 to FIG. 29.
図３０～図３２では、仮想光源１５００は、表示面３ａに対しユーザ側であって、ユーザから見て表示面３ａの左側方に設けられている。そして、仮想光源１５００から照射される光により形成される指２１０の影を模した仮想影１５１０が、空間浮遊映像３に表示される。図３０～図３２では、仮想影１５１０は、指２１０の右側に表示される。この仮想影１５１０により、ユーザに対するタッチ操作の補助が行われる。
In Figs. 30 to 32, virtual light source 1500 is provided on the user side of display surface 3a, to the left of display surface 3a as seen by the user. A virtual shadow 1510 that imitates the shadow of finger 210 formed by light irradiated from virtual light source 1500 is displayed in the floating-in-space image 3. In Figs. 30 to 32, virtual shadow 1510 is displayed to the right of finger 210. This virtual shadow 1510 assists the user in performing a touch operation.
図３０（Ｂ）の状態では、図３１（Ｂ）および図３２（Ｂ）の状態と比べて、指２１０の先端は、空間浮遊映像３の表示面３ａからの法線方向の距離において最も離れている。図３０（Ｂ）では、このときの指２１０の先端と空間浮遊映像３の表示面３ａとの法線方向の距離はｄｚ１０である。また、図３０（Ａ）では、このときの空間浮遊映像３の表示面３ａの水平方向における指２１０の先端と仮想影１５１０の先端との距離はｄｘ１０である。
In the state of FIG. 30(B), compared to the states of FIG. 31(B) and FIG. 32(B), the tip of the finger 210 is the furthest away in the normal direction from the display surface 3a of the floating-in-space image 3. In FIG. 30(B), the distance in the normal direction between the tip of the finger 210 and the display surface 3a of the floating-in-space image 3 at this time is dz10. Also, in FIG. 30(A), the distance in the horizontal direction between the tip of the finger 210 and the tip of the virtual shadow 1510 on the display surface 3a of the floating-in-space image 3 at this time is dx10.
図３１（Ｂ）では、図２７（Ｂ）よりも指２１０が空間浮遊映像３に近づいている。よって、図３１（Ｂ）では、指２１０の先端と空間浮遊映像３の表示面３ａとの法線方向の距離ｄｚ２０はｄｚ１０よりも小さい。このとき、図３１（Ａ）では、仮想影１５１０は、空間浮遊映像３の表示面３ａの水平方向における指２１０の先端と仮想影１５１０の先端との距離が、ｄｘ１０よりも小さいｄｘ２０となる位置に表示される。すなわち、図３１の例では、仮想光源１５００が表示面３ａに対しユーザ側であってユーザから見て表示面３ａの左側方に設けられているため、指２１０の先端と空間浮遊映像３の表示面３ａとの法線方向の距離に連動して、空間浮遊映像３の表示面３ａを正面から見たときの指２１０の先端と仮想影１５１０の先端との水平方向の距離が変化することとなる。
31(B), the finger 210 is closer to the floating image 3 than in FIG. 27(B). Therefore, in FIG. 31(B), the distance dz20 in the normal direction between the tip of the finger 210 and the display surface 3a of the floating image 3 is smaller than dz10. At this time, in FIG. 31(A), the virtual shadow 1510 is displayed at a position where the distance between the tip of the finger 210 and the tip of the virtual shadow 1510 in the horizontal direction of the display surface 3a of the floating image 3 is dx20, which is smaller than dx10. That is, in the example of FIG. 31, the virtual light source 1500 is provided on the user side of the display surface 3a and on the left side of the display surface 3a as seen from the user, so that the horizontal distance between the tip of the finger 210 and the tip of the virtual shadow 1510 when the display surface 3a of the floating image 3 is viewed from the front changes in conjunction with the distance in the normal direction between the tip of the finger 210 and the display surface 3a of the floating image 3.
そして、指２１０の先端と仮想影１５１０の先端とが接すると、図３２に示すように、指２１０の先端と空間浮遊映像３の表示面３ａとの法線方向の距離が0になる。このとき、仮想影１５１０は、空間浮遊映像３の表示面３ａの水平方向における指２１０と仮想影１５１０との距離がゼロとなるように表示される。これにより、ユーザは、指２１０が空間浮遊映像３の表示面３ａにタッチしたことを認識できる。このとき、指２１０の先端が第１ボタンＢＵＴ１の領域に触れていれば、ユーザは、第１ボタンＢＵＴ１にタッチしたことを認識することができる。すなわち、図３２の例でも、仮想光源１５００が表示面３ａに対しユーザ側であってユーザから見て表示面３ａの左側方に設けられているため、指２１０の先端と空間浮遊映像３の表示面３ａとの法線方向の距離に連動して、空間浮遊映像３の表示面３ａを正面から見たときの指２１０の先端と仮想影１５１０の先端との水平方向の距離が変化したこととなる。
Then, when the tip of finger 210 and the tip of virtual shadow 1510 come into contact, the distance in the normal direction between the tip of finger 210 and display surface 3a of floating-in-space image 3 becomes 0, as shown in FIG. 32. At this time, virtual shadow 1510 is displayed so that the distance between finger 210 and virtual shadow 1510 in the horizontal direction of display surface 3a of floating-in-space image 3 becomes zero. This allows the user to recognize that finger 210 has touched display surface 3a of floating-in-space image 3. At this time, if the tip of finger 210 is touching the area of first button BUT1, the user can recognize that first button BUT1 has been touched. That is, in the example of FIG. 32, since virtual light source 1500 is provided on the user's side of display surface 3a and to the left of display surface 3a as seen from the user, the horizontal distance between the tip of finger 210 and the tip of virtual shadow 1510 when display surface 3a of floating-in-space image 3 is viewed from the front changes in conjunction with the normal distance between the tip of finger 210 and display surface 3a of floating-in-space image 3.
以上説明した「仮想影を用いたタッチ操作の補助（２）」の構成および処理においても、図２７～図２９の構成と同様の効果が得られる。
The configuration and processing of "assisting touch operations using virtual shadows (2)" described above also provides the same effects as the configurations in Figures 27 to 29.
ここで、空間浮遊映像表示装置１０００に、上述した、「仮想影を用いたタッチ操作の補助（１）」の処理および／または「仮想影を用いたタッチ操作の補助（２）」の処理を実装する場合、以下の複数の実装例がありえる。
Here, when implementing the above-mentioned process of "assisting touch operation using a virtual shadow (1)" and/or the process of "assisting touch operation using a virtual shadow (2)" in the space floating image display device 1000, there are several possible implementation examples.
第１の実装例としては、空間浮遊映像表示装置１０００に「仮想影を用いたタッチ操作の補助（１）」のみを実装する方法である。この場合、仮想光源１５００が表示面３ａに対しユーザ側であってユーザから見て表示面３ａの右側方に設けられているため、仮想影１５１０は、ユーザから見てユーザの指２１０の先端の左側に表示される。よって、ユーザの指２１０が右手の指であれば、仮想影１５１０の表示の視認性はユーザの右手や右腕によって遮られることがなく好適である。よって、統計的に右利きのユーザが多いという傾向からすると、空間浮遊映像表示装置１０００に「仮想影を用いたタッチ操作の補助（１）」のみを実装しても、仮想影１５１０の表示が良好に視認できる確率は十分高く好適である。
The first implementation example is a method of implementing only "assistance of touch operation using virtual shadow (1)" in the floating-in-space image display device 1000. In this case, since the virtual light source 1500 is provided on the user side of the display surface 3a and on the right side of the display surface 3a as seen from the user, the virtual shadow 1510 is displayed on the left side of the tip of the user's finger 210 as seen from the user. Therefore, if the user's finger 210 is a finger of the right hand, the visibility of the display of the virtual shadow 1510 is not blocked by the user's right hand or right arm, which is preferable. Therefore, considering the statistical tendency that there are more right-handed users, even if only "assistance of touch operation using virtual shadow (1)" is implemented in the floating-in-space image display device 1000, the probability that the display of the virtual shadow 1510 can be well viewed is sufficiently high and preferable.
また、第１の実装例としては、「仮想影を用いたタッチ操作の補助（１）」の処理と、「仮想影を用いたタッチ操作の補助（２）」の処理の両者を実装し、ユーザが、右手か左手かどちらの手でタッチ操作を行うかに応じていずれの処理を行うかを切り替える構成としてもよい。この場合、仮想影１５１０の表示が良好に視認できる確率をさらに高めることが可能であり、ユーザの利便性が向上する。
As a first implementation example, both the process of "assisting touch operation using a virtual shadow (1)" and the process of "assisting touch operation using a virtual shadow (2)" may be implemented, and the process to be performed may be switched depending on whether the user uses the right hand or the left hand to perform the touch operation. In this case, it is possible to further increase the probability that the display of the virtual shadow 1510 can be clearly seen, improving user convenience.
具体的には、ユーザが右手でタッチ操作を行っている場合には、図２７～図２９の構成を用いて、指２１０の左側に仮想影１５１０を表示する。この場合、仮想影１５１０の表示の視認性はユーザの右手や右腕によって遮られることがなく好適である。一方、ユーザが左手でタッチ操作を行っている場合には、図３０～図３２の構成を用いて、指２１０の右側に仮想影１５１０を表示する。この場合、仮想影１５１０の表示の視認性はユーザの左手や左腕によって遮られることがなく好適である。これにより、ユーザが右手でタッチ操作をおこなう場合も左手でタッチ操作をおこなう場合も、ユーザが視認しやすい位置に仮想影１５１０が表示され、ユーザの利便性が向上する。
Specifically, when the user is performing a touch operation with his/her right hand, the configurations of Figs. 27 to 29 are used to display the virtual shadow 1510 to the left of the finger 210. In this case, the visibility of the display of the virtual shadow 1510 is not obstructed by the user's right hand or right arm, which is preferable. On the other hand, when the user is performing a touch operation with his/her left hand, the configurations of Figs. 30 to 32 are used to display the virtual shadow 1510 to the right of the finger 210. In this case, the visibility of the display of the virtual shadow 1510 is not obstructed by the user's left hand or left arm, which is preferable. As a result, whether the user is performing a touch operation with his/her right hand or left hand, the virtual shadow 1510 is displayed in a position that is easy for the user to view, improving user convenience.
ここで、右手でタッチ操作を行っているか左手でタッチ操作を行っているかの判定は、例えば、撮像部１１８０により生成された撮像画像に基づいて行えばよい。例えば、制御部１１１０は、撮像画像に対する画像処理を行い、撮像画像からユーザの顔、腕、手、指を検出する。そして、撮像部１１８０は、検出したこれら（顔、腕、手、指）の配置からユーザの姿勢または動作を推定し、ユーザが右手でタッチ操作を行っているか左手でタッチ操作を行っているかを判定すればよい。なお、当該判定において、ユーザの体の左右方向の中心付近が他の部分から判定できれば、顔の撮像は必ずしも必要ではない。また、腕の配置のみから上記判定を行ってもよい。手の配置のみから上記判定を行ってもよい。腕の配置と手の配置の組み合わせから上記判定を行ってもよい。またこれらの判定の際に、顔の配置を組み合わせて判定を行ってもよい。
Here, the determination of whether the touch operation is performed with the right hand or the left hand may be performed based on, for example, the captured image generated by the imaging unit 1180. For example, the control unit 1110 performs image processing on the captured image and detects the user's face, arms, hands, and fingers from the captured image. The imaging unit 1180 then estimates the user's posture or movement from the arrangement of these detected (face, arms, hands, fingers) and determines whether the user is performing the touch operation with the right hand or the left hand. In this determination, if the vicinity of the center in the left-right direction of the user's body can be determined from other parts, it is not necessarily necessary to capture an image of the face. In addition, the above determination may be performed only from the arrangement of the arms. The above determination may be performed only from the arrangement of the hands. The above determination may be performed from a combination of the arrangement of the arms and the arrangement of the hands. In addition, when making these determinations, the determination may be made in combination with the arrangement of the face.
なお、図２７～図２９および図３０～図３２では、実際の指２１０の延在方向に対応する角度で延在する仮想影１５１０が示されている。実際の指２１０の延在方向は、既に説明したいずれかの撮像部で指を撮像して算出すればよい。ここで、指２１０の延在方向に対応する角度を反映させずに、延在方向を所定の角度に固定した仮想影１５１０を表示させるようにしてもよい。これにより、仮想影１５１０の表示制御を行う映像制御部１１６０または制御部１１１０の負荷が軽減される。
Note that in Figures 27 to 29 and Figures 30 to 32, a virtual shadow 1510 is shown extending at an angle corresponding to the extension direction of the actual finger 210. The extension direction of the actual finger 210 may be calculated by capturing an image of the finger using any of the imaging units already described. Here, the virtual shadow 1510 may be displayed with the extension direction fixed at a predetermined angle without reflecting the angle corresponding to the extension direction of the finger 210. This reduces the load on the image control unit 1160 or the control unit 1110 that controls the display of the virtual shadow 1510.
例えば、指２１０が右手の指であれば、ユーザは、空間浮遊映像３の表示面３ａの手前右側から腕を伸ばし、空間浮遊映像３の表示面３ａに向かって左上を指２１０が差す状態で、空間浮遊映像３の表示面３ａにタッチを試みるのが自然である。よって、指２１０が右手の指である場合は、仮想影１５１０が示す指の影が空間浮遊映像３の表示面３ａに向かって右上の方向を示す所定の方向に表示されるように構成すれれば、指２１０に対応する角度を反映させなくとも自然な表示となる。
For example, if finger 210 is a finger of the right hand, it is natural for the user to extend his/her arm from the front right side of display surface 3a of floating-in-space image 3, and attempt to touch display surface 3a of floating-in-space image 3 with finger 210 pointing toward the upper left as facing display surface 3a of floating-in-space image 3. Therefore, if finger 210 is a finger of the right hand, a natural display can be achieved by configuring the virtual shadow 1510 to be displayed in a predetermined direction that indicates the upper right direction as facing display surface 3a of floating-in-space image 3, without reflecting the angle corresponding to finger 210.
また、例えば、指２１０が左手の指であれば、ユーザは、空間浮遊映像３の表示面３ａの手前左側から腕を伸ばし、空間浮遊映像３の表示面３ａに向かって右上を指２１０が差す状態で、空間浮遊映像３の表示面３ａにタッチを試みるのが自然である。よって、指２１０が左手の指である場合は、仮想影１５１０が示す指の影が空間浮遊映像３の表示面３ａに向かって左上の方向を示す所定の方向に表示されるように構成すれれば、指２１０に対応する角度を反映させなくとも自然な表示となる。
For example, if finger 210 is a finger of the left hand, it is natural for the user to extend his/her arm from the left side in front of display surface 3a of floating-in-space image 3, and attempt to touch display surface 3a of floating-in-space image 3 with finger 210 pointing to the upper right as facing display surface 3a of floating-in-space image 3. Therefore, if finger 210 is a finger of the left hand, a natural display can be achieved by configuring the virtual shadow 1510 to be displayed in a predetermined direction indicating the upper left direction as facing display surface 3a of floating-in-space image 3, without reflecting the angle corresponding to finger 210.
なお、ユーザの指２１０が、空間浮遊映像３の表示面３ａに対しユーザとは反対側にある場合、指２１０が空間浮遊映像３の裏側にありタッチできない状態であることをユーザが認識できる表示を行えばよく、例えば、指２１０が空間浮遊映像３の裏側にありタッチできない状態であることをユーザに伝えるメッセージを空間浮遊映像３に表示してもよい。または、例えば仮想影１５１０を赤色など通常と異なる色に変えて表示するようにしてもよい。これにより、より好適にユーザに対して、指２１０を適切な位置に戻すことを促すことが可能となる。
When the user's finger 210 is on the opposite side of the display surface 3a of the floating image 3 from the user, a display may be made that allows the user to recognize that the finger 210 is behind the floating image 3 and cannot be touched. For example, a message may be displayed on the floating image 3 informing the user that the finger 210 is behind the floating image 3 and cannot be touched. Alternatively, the virtual shadow 1510 may be displayed in a different color from normal, such as red. This makes it possible to more appropriately prompt the user to return the finger 210 to the appropriate position.
＜＜仮想光源の設定条件の一例＞＞
ここで、仮想光源１５００の設定方法について説明する。図３３は、仮想光源の設定方法を説明する図である。図３３には、ユーザが左手でタッチ操作を行う状況が示されているが、以下で説明する内容は、ユーザが右手でタッチ操作を行う場合にも好適に適用される。
<<Example of virtual light source setting conditions>>
Here, a method for setting virtual light source 1500 will be described. Fig. 33 is a diagram for explaining the method for setting a virtual light source. Fig. 33 shows a situation in which a user performs a touch operation with the left hand, but the contents described below are also preferably applied to a case in which a user performs a touch operation with the right hand.
図３３には、空間浮遊映像３の表示面３ａの中央の点Ｃからユーザ側に向かって延びる表示面３ａの法線Ｌ１、仮想光源１５００と法線Ｌ１が表示面３ａと交差する点Ｃとを結ぶ線Ｌ２、法線Ｌ１と線Ｌ２との間の角度で規定される仮想光源設置角度αが示されている。図３３では、説明を簡単にするため、線Ｌ２上にユーザの指２１０の先端がある瞬間を示している。
Figure 33 shows a normal line L1 of the display surface 3a of the floating-in-space image 3 extending from a point C at the center of the display surface 3a toward the user, a line L2 connecting the virtual light source 1500 and the point C where the normal line L1 intersects with the display surface 3a, and a virtual light source installation angle α defined by the angle between the normal line L1 and line L2. For ease of explanation, Figure 33 shows the moment when the tip of the user's finger 210 is on line L2.
ここで、図２７～３３まで、説明を簡単にするために、仮想光源１５００は、空間浮遊映像３の表示面３ａやユーザの指２１０からさほど遠くない位置に配置するように図示されている。仮想光源１５００をこのような位置に設定しても構わないが、最も好適な設定例は次の通りである。すなわち、仮想光源１５００と空間浮遊映像３の表示面３ａの中央の点Ｃとの距離は無限遠に設定することが望ましい。その理由は以下の通りである。仮に、図２７～３２の空間浮遊映像３の表示面３ａと同じ座標系に接触面を有する物体平面があり、仮想光源でなく太陽が光源であった場合、太陽の距離はほぼ無限遠として近似できるため、ユーザの指の先端と当該物体平面の距離(ｚ方向)の変化に対して、現実の物体平面上のユーザの指の影の先端の水平方向（ｘ方向）の位置は線形に変化する。よって、本実施例の図２７～３３に示す仮想光源１５００の設定においても、仮想光源１５００と空間浮遊映像３の表示面３ａの中央の点Ｃとの距離は無限遠に設定し、ユーザの指２１０の先端と空間浮遊映像３の表示面３ａの距離(ｚ方向)の変化に対して、空間浮遊映像３での仮想影１５１０の先端の水平方向（ｘ方向）の位置が線形に変化するように構成すると、ユーザにとってより自然に認識できる仮想影を表現できる。
Here, in Figs. 27 to 33, for the sake of simplicity, the virtual light source 1500 is illustrated as being placed at a position not far from the display surface 3a of the floating-in-space image 3 and the user's finger 210. The virtual light source 1500 may be set at such a position, but the most suitable setting example is as follows. That is, it is desirable to set the distance between the virtual light source 1500 and the center point C of the display surface 3a of the floating-in-space image 3 to infinity. The reason is as follows. If there is an object plane having a contact surface in the same coordinate system as the display surface 3a of the floating-in-space image 3 of Figs. 27 to 32, and the light source is the sun rather than a virtual light source, the distance of the sun can be approximated as almost infinity, so the horizontal (x-direction) position of the tip of the shadow of the user's finger on the real object plane changes linearly with respect to the change in the distance (z-direction) between the tip of the user's finger and the object plane. Therefore, even in the setting of the virtual light source 1500 shown in Figures 27 to 33 of this embodiment, if the distance between the virtual light source 1500 and the center point C of the display surface 3a of the floating-in-space image 3 is set to infinity, and the horizontal (x-direction) position of the tip of the virtual shadow 1510 in the floating-in-space image 3 changes linearly with changes in the distance (z-direction) between the tip of the user's finger 210 and the display surface 3a of the floating-in-space image 3, a virtual shadow that can be perceived more naturally by the user can be expressed.
仮想光源１５００は、空間浮遊映像３の表示面３ａやユーザの指２１０からさほど遠くない位置に配置するように設定すると、ユーザの指２１０の先端と空間浮遊映像３の表示面３ａの距離(ｚ方向)の変化に対して、空間浮遊映像３での仮想影１５１０の先端の水平方向（ｘ方向）の位置が非線形に変化し、仮想影１５１０の先端の水平方向（ｘ方向）の位置を算出する演算が多少煩雑になる。これに対し、仮想光源１５００と空間浮遊映像３の表示面３ａの中央の点Ｃとの距離は無限遠に設定すれば、ユーザの指２１０の先端と空間浮遊映像３の表示面３ａの距離(ｚ方向)の変化に対して、空間浮遊映像３での仮想影１５１０の先端の水平方向（ｘ方向）の位置が線形に変化するので、仮想影１５１０の先端の水平方向（ｘ方向）の位置を算出する演算を単純化することができる、という効果もある。
When the virtual light source 1500 is set to be placed at a position not far from the display surface 3a of the floating image 3 or the user's finger 210, the horizontal (x-direction) position of the tip of the virtual shadow 1510 in the floating image 3 changes nonlinearly with respect to the change in the distance (z-direction) between the tip of the user's finger 210 and the display surface 3a of the floating image 3, making the calculation to calculate the horizontal (x-direction) position of the tip of the virtual shadow 1510 somewhat complicated. In contrast, if the distance between the virtual light source 1500 and the center point C of the display surface 3a of the floating image 3 is set to infinity, the horizontal (x-direction) position of the tip of the virtual shadow 1510 in the floating image 3 changes linearly with respect to the change in the distance (z-direction) between the tip of the user's finger 210 and the display surface 3a of the floating image 3, so that the calculation to calculate the horizontal (x-direction) position of the tip of the virtual shadow 1510 can be simplified.
仮想光源設置角度αが小さい場合、ユーザから見て、仮想光源１５００と指２１０とを結ぶ線と法線Ｌ１との間の角度を大きくすることができないため、空間浮遊映像３の表示面３ａの水平方向（ｘ方向）における、指２１０の先端と仮想影１５１０の先端との距離が短くなってしまう。これにより、指２１０の先端がタッチ操作を行う際の仮想影１５１０の位置の変化がユーザに視認しづらくなってしまい、タッチ操作におけるユーザの奥行き認識の効果が低下するおそれがある。これを避けるため、仮想光源１５００と点Ｃとを結ぶ線Ｌ２と法線Ｌ１との間の角度が、例えば２０°以上となるよう、仮想光源１５００が設置されることが望ましい。
When the virtual light source installation angle α is small, the angle between the normal line L1 and the line connecting the virtual light source 1500 and the finger 210 cannot be increased as seen by the user, so the distance between the tip of the finger 210 and the tip of the virtual shadow 1510 in the horizontal direction (x direction) of the display surface 3a of the floating-in-space image 3 becomes short. This makes it difficult for the user to visually recognize the change in the position of the virtual shadow 1510 when the tip of the finger 210 performs a touch operation, and there is a risk that the effect of the user's depth perception in the touch operation will decrease. To avoid this, it is desirable to install the virtual light source 1500 so that the angle between the normal line L1 and the line L2 connecting the virtual light source 1500 and point C is, for example, 20° or more.
一方、仮想光源１５００と指２１０とを結ぶ線と法線Ｌ１との間の角度が、９０°付近になると、指２１０の先端と仮想影１５１０の先端との距離が非常に長くなってしまう。そうすると、仮想影１５１０の表示位置が空間浮遊映像３の範囲外になる確率が高まり、仮想影１５１０を空間浮遊映像３中に表示できない確率が高まる。このため、仮想光源１５００と点Ｃとを結ぶ線Ｌ２と法線Ｌ１との間の角度が、例えば９０°に近づきすぎないよう、仮想光源１５００の設置角度αは７０°以下が望ましい。
On the other hand, when the angle between the normal line L1 and the line connecting virtual light source 1500 and finger 210 approaches 90°, the distance between the tip of finger 210 and the tip of virtual shadow 1510 becomes very long. This increases the probability that the display position of virtual shadow 1510 will be outside the range of floating-in-space image 3, and increases the probability that virtual shadow 1510 will not be displayed in floating-in-space image 3. For this reason, it is desirable to set the installation angle α of virtual light source 1500 to 70° or less so that the angle between line L2 connecting virtual light source 1500 and point C and normal line L1 does not approach too close to 90°, for example.
すなわち、仮想光源１５００は、指２１０を通る法線を含む面に近づきすぎず、空間浮遊映像３の表示面３ａを含む面に近づきすぎない位置に設置されることが望ましい。
In other words, it is desirable to place the virtual light source 1500 in a position that is not too close to a plane that includes a normal line passing through the finger 210, and not too close to a plane that includes the display surface 3a of the floating-in-space image 3.
本実施例の空間浮遊映像表示装置１０００は、上述のように仮想影を表示することができる。これは、ユーザのタッチ操作の補助のために所定のマークを映像に重畳して表示する場合よりも、物理的に自然な演出となる映像処理となる。よって、本実施例の空間浮遊映像表示装置１０００の上述の仮想影の表示によるタッチ操作補助技術は、ユーザがより自然に対してタッチ操作における奥行きを認識できる状況を提供することができる。
The floating-in-space image display device 1000 of this embodiment can display virtual shadows as described above. This is image processing that produces a more physically natural effect than when a specific mark is superimposed on an image to assist the user's touch operation. Therefore, the touch operation assistance technology of the floating-in-space image display device 1000 of this embodiment, which uses the above-mentioned virtual shadow display, can provide a situation in which the user can more naturally recognize the depth of touch operations.
＜＜指の位置の検出方法＞＞
次に、指２１０の位置の検出方法について説明する。以下では、ユーザ２３０の指２１０の位置を検出する構成を具体的に説明する。
<<How to detect finger position>>
Next, a method for detecting the position of the finger 210 will be described. A configuration for detecting the position of the finger 210 of the user 230 will be specifically described below.
＜＜＜指の位置の検出方法（１）＞＞＞
図３４は、指の位置の検出方法の一例を示す構成図である。図３４に示す例では、１つの撮像部１１８０、および１つの空中操作センサ１３５１を用いて指２１０の位置が検出される。なお、本発明の実施例における撮像部はいずれも撮像センサを有する。
<<<<Finger position detection method (1)>>>
Fig. 34 is a configuration diagram showing an example of a method for detecting the position of a finger. In the example shown in Fig. 34, the position of a finger 210 is detected using one imaging unit 1180 and one air operation sensor 1351. Note that each imaging unit in the embodiment of the present invention has an imaging sensor.
第１撮像部１１８０ａ（１１８０）は、空間浮遊映像３に対してユーザ２３０と反対側に設置される。第１撮像部１１８０ａは、図３４に示すように筐体１１９０に設置されてもよいし、筐体１１９０から離れた場所に設置されてもよい。
The first imaging unit 1180a (1180) is installed on the opposite side of the user 230 with respect to the space floating image 3. The first imaging unit 1180a may be installed in the housing 1190 as shown in FIG. 34, or may be installed at a location away from the housing 1190.
第１撮像部１１８０ａの撮像領域は、例えば空間浮遊映像３の表示領域、ユーザ２３０の指、手、腕、顔等を含むように設定される。第１撮像部１１８０ａは、空間浮遊映像３に対するタッチ操作を行うユーザ２３０を撮像し、第１撮像画像を生成する。なお、空間浮遊映像３の表示領域を第１撮像部１１８０ａから撮像しても空間浮遊映像３の指向性光束の進行方向の逆側からの撮影になるので、空間浮遊映像３自体は映像として視認できない。ここで、指の位置の検出方法（１）の例では、第１撮像部１１８０ａは単なる撮像部ではなく、撮像センサに加えて深度センサを内蔵している。深度センサの構成と処理は既存の技術を使用すればよい。第１撮像部１１８０ａの深度センサは、第１撮像部１１８０ａの撮像画像における各部(例えば、ユーザの指、手、腕、顔等)の奥行きを検出し、深度情報を生成する。
The imaging area of the first imaging unit 1180a is set to include, for example, the display area of the floating image 3, the fingers, hands, arms, face, etc. of the user 230. The first imaging unit 1180a images the user 230 performing a touch operation on the floating image 3, and generates a first captured image. Note that even if the display area of the floating image 3 is captured by the first imaging unit 1180a, the image is captured from the opposite side of the traveling direction of the directional light beam of the floating image 3, so the floating image 3 itself cannot be seen as an image. Here, in the example of the finger position detection method (1), the first imaging unit 1180a is not just an imaging unit, but has a built-in depth sensor in addition to an imaging sensor. The configuration and processing of the depth sensor may use existing technology. The depth sensor of the first imaging unit 1180a detects the depth of each part (for example, the user's fingers, hands, arms, face, etc.) in the captured image of the first imaging unit 1180a, and generates depth information.
空中操作センサ１３５１は、空間浮遊映像３の表示面３ａをセンシング対象面としてセンシングできる位置に設置される。図３４では、空中操作センサ１３５１は、空間浮遊映像３の表示面３ａの下方に設置されているが、表示面３ａの側方や上方に設置されてもよい。空中操作センサ１３５１は、図３４に示すように筐体１１９０に設置されてもよいし、筐体１１９０から離れた場所に設置されてもよい。
The aerial operation sensor 1351 is installed in a position where it can sense the display surface 3a of the floating-in-space image 3 as the sensing target surface. In FIG. 34, the aerial operation sensor 1351 is installed below the display surface 3a of the floating-in-space image 3, but it may also be installed to the side or above the display surface 3a. The aerial operation sensor 1351 may be installed in the housing 1190 as shown in FIG. 34, or may be installed in a location away from the housing 1190.
図３４での空中操作検出センサ１３５１は、空間浮遊映像３の表示面３ａと指２１０が接触または重畳する位置を検出するセンサである。すなわち、空間浮遊映像３の表示面３ａのユーザ側から、指２１０の先端が空間浮遊映像３の表示面３ａに近づく場合、空中操作検出センサ１３５１は、空間浮遊映像３の表示面３ａに対する指２１０の接触を検出することができる。
The aerial operation detection sensor 1351 in FIG. 34 is a sensor that detects the position where the finger 210 contacts or overlaps with the display surface 3a of the floating-in-space image 3. That is, when the tip of the finger 210 approaches the display surface 3a of the floating-in-space image 3 from the user's side of the display surface 3a of the floating-in-space image 3, the aerial operation detection sensor 1351 can detect the contact of the finger 210 with the display surface 3a of the floating-in-space image 3.
例えば図３Ｃに示す制御部１１１０は、画像処理を行うプログラムや、仮想影１５１０の表示させるプログラムを不揮発性メモリ１１０８から読み出す。制御部１１１０は、第１撮像部１１８０ａの撮像センサで生成された第１撮像画像に対する第１画像処理を行い、指２１０の検出、および指２１０の位置（ｘ座標、ｙ座標）を算出する。制御部１１１０は、第１撮像部１１８０ａの撮像センサで生成された第１撮像画像と、第１撮像部１１８０ａの深度センサが生成した深度情報とに基づいて、空間浮遊映像３に対する指２１０の先端の位置（ｚ座標）を算出する。
For example, the control unit 1110 shown in FIG. 3C reads out a program for performing image processing and a program for displaying a virtual shadow 1510 from the non-volatile memory 1108. The control unit 1110 performs first image processing on the first captured image generated by the imaging sensor of the first imaging unit 1180a, detects the finger 210, and calculates the position (x coordinate, y coordinate) of the finger 210. The control unit 1110 calculates the position (z coordinate) of the tip of the finger 210 relative to the floating-in-space image 3 based on the first captured image generated by the imaging sensor of the first imaging unit 1180a and the depth information generated by the depth sensor of the first imaging unit 1180a.
図３４の例では、第１撮像部１１８０ａの撮像センサおよび深度センサ、空中操作センサ１３５１、空中操作検出部１３５０、制御部１１１０により、ユーザの指の位置の検出および空間浮遊映像３のオブジェクトに対するタッチの検出を行うタッチ検出部が構成される。これにより、指２１０の位置（ｘ座標、ｙ座標、ｚ座標）が算出される。また、空中操作検出部１３５０の検出結果または空中操作検出部１３５０の検出結果と第１撮像部１１８０aが生成する情報の組み合わせにより、タッチ検出結果が算出される。
In the example of FIG. 34, the image sensor and depth sensor of the first imaging unit 1180a, the aerial operation sensor 1351, the aerial operation detection unit 1350, and the control unit 1110 constitute a touch detection unit that detects the position of the user's finger and detects a touch on an object in the floating in space image 3. This allows the position (x coordinate, y coordinate, z coordinate) of the finger 210 to be calculated. In addition, the touch detection result is calculated based on the detection result of the aerial operation detection unit 1350 or a combination of the detection result of the aerial operation detection unit 1350 and information generated by the first imaging unit 1180a.
そして、制御部１１１０は、指２１０の位置（ｘ座標、ｙ座標、ｚ座標）、および仮想光源１５００の位置に基づき、仮想影１５１０を表示させる位置（表示位置）を算出し、算出した表示位置に基づく仮想影１５１０の映像データを生成する。
Then, the control unit 1110 calculates the position (display position) at which to display the virtual shadow 1510 based on the position (x coordinate, y coordinate, z coordinate) of the finger 210 and the position of the virtual light source 1500, and generates video data of the virtual shadow 1510 based on the calculated display position.
なお、制御部１１１０による、映像データにおける仮想影１５１０の表示位置の算出は、指２１０の位置の算出のたびに行ってもよい。映像データにおける仮想影１５１０の表示位置の算出を、指２１０の位置の算出のたびには行わずに、予め指２１０の複数箇所の位置のそれぞれの位置に対応する仮想影１５１０の表示位置を算出した表示位置マップのデータを不揮発性メモリ１１０８に格納しておき、指２１０の位置の算出をおこなったら、不揮発性メモリ１１０８に格納されている表示位置マップのデータに基づいて仮想影１１５０の映像データを生成してもよい。また、制御部１１１０は、第１画像処理で指２１０の先端および指２１０の延在方向を算出しておき、指２１０の先端の表示位置、および延在方向に対応する仮想影１５１０の延在方向を算出し、これらに基づいて、実際の指２１０の向きに対応した表示角度に調整した仮想影１５１０の映像データを生成してもよい。
The control unit 1110 may calculate the display position of the virtual shadow 1510 in the video data each time the position of the finger 210 is calculated. Instead of calculating the display position of the virtual shadow 1510 in the video data each time the position of the finger 210 is calculated, data of a display position map in which the display positions of the virtual shadow 1510 corresponding to each of the multiple positions of the finger 210 are calculated in advance may be stored in the non-volatile memory 1108, and after the position of the finger 210 is calculated, video data of the virtual shadow 1150 may be generated based on the display position map data stored in the non-volatile memory 1108. The control unit 1110 may also calculate the tip of the finger 210 and the extension direction of the finger 210 in the first image processing, calculate the display position of the tip of the finger 210 and the extension direction of the virtual shadow 1510 corresponding to the extension direction, and generate video data of the virtual shadow 1510 adjusted to a display angle corresponding to the actual orientation of the finger 210 based on these.
制御部１１１０は、生成した仮想影１５１０の映像データを映像制御部１１６０へ出力する。映像制御部１１６０は、仮想影１５１０の映像データとオブジェクト等の他の映像データとを重畳した映像データ（重畳映像データ）を生成し、仮想影１５１０の映像データを含む重畳映像データを映像表示部１１０２へ出力する。
The control unit 1110 outputs the generated image data of the virtual shadow 1510 to the image control unit 1160. The image control unit 1160 generates image data (superimposed image data) in which the image data of the virtual shadow 1510 is superimposed on other image data such as an object, and outputs the superimposed image data including the image data of the virtual shadow 1510 to the image display unit 1102.
映像表示部１１０２は、仮想影１５１０の映像データを含む重畳映像データに基づく映像を表示することで、仮想影１５１０とオブジェクト等とが重畳した空間浮遊映像３が表示される。
The image display unit 1102 displays an image based on the superimposed image data including the image data of the virtual shadow 1510, thereby displaying a floating-in-space image 3 in which the virtual shadow 1510 is superimposed with an object or the like.
オブジェクトに対するタッチの検出は、例えば以下のようにして実行される。空中操作検出部１３５０および空中操作検出センサ１３５１は、図３で説明したように構成され、空間浮遊映像３の表示面３ａを含む平面に指２１０が接触または重畳した場合、その位置を検出し、指２１０が表示面３ａに接触または重畳したその位置を示すタッチ位置情報を制御部１１１０へ出力する。そして、制御部１１１０は、タッチ位置情報が入力されると、第１画像処理により算出した指２１０の位置（ｘ座標、ｙ座標）が、空間浮遊映像３の表示面３ａに表示される各オブジェクトの表示範囲に含まれるか否かを判定する。そして、制御部１１１０は、指２１０の位置がいずれかのオブジェクトの表示範囲に含まれる場合、このオブジェクトに対するタッチが行われたと判定する。
Detection of a touch on an object is performed, for example, as follows. The aerial operation detection unit 1350 and the aerial operation detection sensor 1351 are configured as described in FIG. 3, and when the finger 210 touches or overlaps a plane including the display surface 3a of the floating-in-space image 3, they detect the position and output touch position information indicating the position where the finger 210 touches or overlaps the display surface 3a to the control unit 1110. When the touch position information is input, the control unit 1110 determines whether the position (x coordinate, y coordinate) of the finger 210 calculated by the first image processing is included in the display range of each object displayed on the display surface 3a of the floating-in-space image 3. When the position of the finger 210 is included in the display range of any object, the control unit 1110 determines that the object has been touched.
以上説明した検出方法によれば、撮像センサと深度センサを有する１つの撮像部１１８０（第１撮像部１１８０ａ）と１つの空中操作検出センサ１３５１とを組み合わせた簡便な構成で指２１０の位置の検出およびタッチ操作の検出を行うことが可能となる。
The detection method described above makes it possible to detect the position of the finger 210 and detect touch operations with a simple configuration that combines one imaging unit 1180 (first imaging unit 1180a) having an image sensor and a depth sensor with one aerial operation detection sensor 1351.
なお、指の位置の検出方法（１）の変形例として、空中操作検出部１３５０および空中操作検出センサ１３５１による検出結果を用いずに、制御部１１１０が、第１撮像部１１８０ａの撮像センサで生成された第１撮像画像と、第１撮像部１１８０ａの深度センサが生成した深度情報に基づき、のみで指２１０によるタッチ操作を検出してもよい。例えば、通常動作動作時は、第１撮像部１１８０ａの撮像センサの撮像画像と深度センサの検出結果と、空中操作検出センサ１３５１の検出結果を組み合わせて指２１０によるタッチ操作を検出するモードとなるように構成し、空中操作検出センサ１３５１や空中操作検出部１３５０の動作に何らかの不具合がある場合に、空中操作検出部１３５０および空中操作検出センサ１３５１による検出結果を用いずに、制御部１１１０が、第１撮像部１１８０ａの撮像センサで生成された第１撮像画像と、第１撮像部１１８０ａの深度センサが生成した深度情報に基づき、のみで指２１０によるタッチ操作を検出するモードに切り替えてもよい。
As a modified example of the finger position detection method (1), the control unit 1110 may detect a touch operation by the finger 210 solely based on the first captured image generated by the imaging sensor of the first imaging unit 1180a and the depth information generated by the depth sensor of the first imaging unit 1180a, without using the detection results by the aerial operation detection unit 1350 and the aerial operation detection sensor 1351. For example, during normal operation, the mode is configured to detect a touch operation by the finger 210 by combining the captured image of the imaging sensor of the first imaging unit 1180a, the detection result of the depth sensor, and the detection result of the aerial operation detection sensor 1351, and if there is some malfunction in the operation of the aerial operation detection sensor 1351 or the aerial operation detection unit 1350, the control unit 1110 may switch to a mode in which the touch operation by the finger 210 is detected only based on the first captured image generated by the imaging sensor of the first imaging unit 1180a and the depth information generated by the depth sensor of the first imaging unit 1180a, without using the detection results of the aerial operation detection unit 1350 and the aerial operation detection sensor 1351.
＜＜指の位置の検出方法（２）＞＞
図３５は、指の位置の検出方法の他の例を示す構成図である。図３５に示す例では、２つの撮像部を用いて指２１０の位置が検出される。第２撮像部１１８０ｂ（１１８０）、第３撮像部１１８０ｃ（１１８０）は、いずれも空間浮遊映像３に対してユーザ２３０と反対側に設けられる。
<<Finger position detection method (2)>>
Fig. 35 is a configuration diagram showing another example of a method for detecting the position of a finger. In the example shown in Fig. 35, the position of the finger 210 is detected using two imaging units. The second imaging unit 1180b (1180) and the third imaging unit 1180c (1180) are both provided on the opposite side of the user 230 with respect to the floating-in-space image 3.
第２撮像部１１８０ｂは、例えばユーザ２３０から見て右側に設置される。第２撮像部１１８０ｂの撮像領域は、例えば空間浮遊映像３、ユーザ２３０の指、手、腕、顔等を含むように設定される。第２撮像部１１８０ｂは、空間浮遊映像３に対するタッチ操作を行うユーザ２３０をユーザ２３０の右側から撮像し、第２撮像画像を生成する。
The second imaging unit 1180b is installed, for example, on the right side as seen from the user 230. The imaging area of the second imaging unit 1180b is set to include, for example, the floating-in-space image 3, and the fingers, hands, arms, face, etc. of the user 230. The second imaging unit 1180b images the user 230 performing a touch operation on the floating-in-space image 3 from the right side of the user 230, and generates a second captured image.
第３撮像部１１８０ｃは、例えばユーザ２３０から見て左側に設置される。第３撮像部１１８０ｃの撮像領域は、例えば空間浮遊映像３、ユーザ２３０の指、手、腕、顔等を含むように設定される。第３撮像部１１８０ｃは、空間浮遊映像３に対しタッチ操作を行うユーザ２３０をユーザ２３０の左側から撮像し、第３撮像画像を生成する。このように、図３５の例では、第２撮像部１１８０ｂおよび第３撮像部１１８０ｃは、いわゆるステレオカメラを構成する。
The third imaging unit 1180c is installed, for example, on the left side as seen by the user 230. The imaging area of the third imaging unit 1180c is set to include, for example, the floating-in-space image 3, and the fingers, hands, arms, face, etc. of the user 230. The third imaging unit 1180c images the user 230 performing a touch operation on the floating-in-space image 3 from the left side of the user 230, and generates a third captured image. Thus, in the example of FIG. 35, the second imaging unit 1180b and the third imaging unit 1180c form a so-called stereo camera.
第２撮像部１１８０ｂ、第３撮像部１１８０ｃは、図３５に示すように筐体１１９０に設置されてもよいし、筐体１１９０から離れた場所に設置されてもよい。また、一方の撮像部が筐体１１９０に設置され、他方の撮像部が筐体１１９０から離れた位置に設置されてもよい。
The second imaging unit 1180b and the third imaging unit 1180c may be installed in the housing 1190 as shown in FIG. 35, or may be installed at a location away from the housing 1190. Also, one imaging unit may be installed in the housing 1190, and the other imaging unit may be installed at a location away from the housing 1190.
制御部１１１０は、第２撮像画像に対する第２画像処理、第３撮像画像に対する第３画像処理をそれぞれ行う。そして、制御部１１１０は、第２画像処理の結果（第２画像処理結果）および第３画像処理の結果（第３画像処理結果）に基づき、指２１０の位置（ｘ座標、ｙ座標、ｚ座標）を算出する。
The control unit 1110 performs second image processing on the second captured image and third image processing on the third captured image. The control unit 1110 then calculates the position (x coordinate, y coordinate, z coordinate) of the finger 210 based on the result of the second image processing (second image processing result) and the result of the third image processing (third image processing result).
図３５の例では、第２撮像部１１８０ｂ、第３撮像部１１８０ｃ、制御部１１１０により、ユーザの指の位置の検出および空間浮遊映像３のオブジェクトに対するタッチの検出を行うタッチ検出部が構成される。そして、指２１０の位置（ｘ座標、ｙ座標、ｚ座標）が位置検出結果あるいはタッチ検出結果として算出される。
In the example of FIG. 35, the second imaging unit 1180b, the third imaging unit 1180c, and the control unit 1110 constitute a touch detection unit that detects the position of the user's finger and detects a touch on an object in the floating-in-space image 3. Then, the position (x coordinate, y coordinate, z coordinate) of the finger 210 is calculated as the position detection result or the touch detection result.
このように、図３５の例では、第２画像処理結果および第３画像処理結果に基づき算出した指２１０の位置に基づき仮想影１５１０が生成される。また、第２画像処理結果および第３画像処理結果に基づき算出した指２１０の位置に基づき、オブジェクトに対するタッチの有無の判定が行われる。
In this way, in the example of FIG. 35, a virtual shadow 1510 is generated based on the position of the finger 210 calculated based on the second image processing result and the third image processing result. In addition, based on the position of the finger 210 calculated based on the second image processing result and the third image processing result, a determination is made as to whether or not an object has been touched.
この構成によれば、深度センサを有する撮像部を採用する必要はない。また、この構成によれば、第２撮像部１１８０ｂおよび第３撮像部１１８０ｃをステレオカメラとして用いることで、指２１０の位置の検出精度を向上させることが可能となる。特に、図３４の例と比較して、ｘ座標およびｙ座標の検出精度を向上させることができる。このため、オブジェクトがタッチされたか否かの判定をより正確に行うことが可能となる。
With this configuration, there is no need to employ an imaging unit with a depth sensor. Furthermore, with this configuration, the second imaging unit 1180b and the third imaging unit 1180c are used as a stereo camera, making it possible to improve the detection accuracy of the position of the finger 210. In particular, compared to the example of FIG. 34, the detection accuracy of the x coordinate and y coordinate can be improved. This makes it possible to more accurately determine whether an object has been touched.
また、指の位置の検出方法（２）の変形例として、ユーザの指の位置の検出（ｘ座標、ｙ座標、ｚ座標）は、上述のとおり、第２撮像部１１８０ｂによる第２撮像画像および第３撮像部１１８０ｃによる第３撮像画像に基づいて行い、これにより仮想影１５１０の表示を制御するようにし、空間浮遊映像３のオブジェクトに対するタッチの有無は、空中操作検出センサ１３５１による検出結果に基づいて空中操作検出部１３５０または制御部１１１０が検出するように構成すればよい。この変形例によれば、空間浮遊映像３の表示面３ａをセンシング対象面としてセンシングする空中操作センサ１３５１を用いるため、空間浮遊映像３の表示面３ａに対するユーザの指２１０の接触の検出については、第２撮像部１１８０ｂと第３撮像部１１８０ｃによるステレオカメラによる奥行き方向の検出精度よりも高い精度で検出することが可能である。
As a modified example of the finger position detection method (2), the detection of the user's finger position (x coordinate, y coordinate, z coordinate) is performed based on the second captured image by the second imaging unit 1180b and the third captured image by the third imaging unit 1180c as described above, and the display of the virtual shadow 1510 is controlled based on this, and the presence or absence of a touch on the object of the floating in space image 3 may be detected by the aerial operation detection unit 1350 or the control unit 1110 based on the detection result by the aerial operation detection sensor 1351. According to this modified example, since the aerial operation sensor 1351 that senses the display surface 3a of the floating in space image 3 as the sensing target surface is used, the touch of the user's finger 210 on the display surface 3a of the floating in space image 3 can be detected with higher accuracy than the detection accuracy in the depth direction by the stereo camera of the second imaging unit 1180b and the third imaging unit 1180c.
＜＜＜指の位置の検出方法（３）＞＞＞
図３６は、指の位置の検出方法のその他の例を示す構成図である。図３６に示す例においても、２つの撮像部を用いて指２１０の位置が検出される。図３６の例は、図３５の例とは異なり、撮像部の一つである第４撮像部１１８０ｄ（１１８０）が空間浮遊映像３の表示面３ａを側面から撮像する位置に配置された構成となっている。また、図３４の例のように、第１撮像部１１８０a（１１８０）が、空間浮遊映像３に対してユーザ２３０と反対側に設置される。図３６の例では、第１撮像部１１８０a（１１８０）は撮像ができればよく深度センサを備える必要はない。
<<<<Finger position detection method (3)>>>
FIG. 36 is a configuration diagram showing another example of a method for detecting the position of a finger. In the example shown in FIG. 36, the position of the finger 210 is detected using two imaging units. The example of FIG. 36 is different from the example of FIG. 35 in that the fourth imaging unit 1180d (1180), which is one of the imaging units, is arranged at a position where it images the display surface 3a of the space floating image 3 from the side. Also, as in the example of FIG. 34, the first imaging unit 1180a (1180) is installed on the opposite side of the user 230 with respect to the space floating image 3. In the example of FIG. 36, the first imaging unit 1180a (1180) only needs to be able to capture an image and does not need to be equipped with a depth sensor.
したがって、第４撮像部１１８０ｄは、空間浮遊映像３の表示面３ａの周辺に設置される。図３６では、第４撮像部１１８０ｄは、空間浮遊映像３の表示面３ａの側面下方に設置されているが、表示面３ａの側方や上方に設置されてもよい。第４撮像部１１８０ｄは、図３６に示すように筐体１１９０に設置されてもよいし、筐体１１９０から離れた場所に設置されてもよい。
The fourth imaging unit 1180d is therefore installed around the periphery of the display surface 3a of the floating-in-space image 3. In FIG. 36, the fourth imaging unit 1180d is installed below the side of the display surface 3a of the floating-in-space image 3, but it may also be installed to the side or above the display surface 3a. The fourth imaging unit 1180d may be installed in the housing 1190 as shown in FIG. 36, or may be installed in a location away from the housing 1190.
第４撮像部１１８０ｄの撮像領域は、例えば空間浮遊映像３、ユーザ２３０の指、手、腕、顔等を含むように設定される。第４撮像部１１８０ｄは、空間浮遊映像３に対するタッチ操作を行うユーザ２３０を、空間浮遊映像３の表示面３ａの周辺から撮像し、第４撮像画像を生成する。
The imaging area of the fourth imaging unit 1180d is set to include, for example, the floating-in-space image 3, and the fingers, hands, arms, face, etc. of the user 230. The fourth imaging unit 1180d images the user 230 performing a touch operation on the floating-in-space image 3 from the periphery of the display surface 3a of the floating-in-space image 3, and generates a fourth captured image.
制御部１１１０は、第４撮像画像に対する第４画像処理を行い、空間浮遊映像３の表示面３ａと指２１０の先端との距離（ｚ座標）を算出する。そして、制御部１１１０は、上述した第１撮像部１１８０aによる第1撮像画像についての第１画像処理により算出した指２１０の位置（ｘ座標、ｙ座標）、および第４画像処理により算出した指２１０の位置（ｚ座標）に基づき、仮想影１５１０に関する処理や、オブジェクトに対するタッチの有無の判定を行う。
The control unit 1110 performs a fourth image processing on the fourth captured image, and calculates the distance (z coordinate) between the display surface 3a of the floating in space image 3 and the tip of the finger 210. The control unit 1110 then performs processing related to the virtual shadow 1510 and determines whether or not an object has been touched, based on the position (x coordinate, y coordinate) of the finger 210 calculated by the first image processing on the first captured image by the first imaging unit 1180a described above, and the position (z coordinate) of the finger 210 calculated by the fourth image processing.
図３６の例では、第１撮像部１１８０ａ、第４撮像部１１８０ｄ、制御部１１１０により、ユーザの指の位置の検出およびオブジェクトに対するタッチの検出を行うタッチ検出部が構成される。そして、指２１０の位置（ｘ座標、ｙ座標、ｚ座標）が位置検出結果あるいはタッチ検出結果として算出される。
In the example of FIG. 36, the first imaging unit 1180a, the fourth imaging unit 1180d, and the control unit 1110 constitute a touch detection unit that detects the position of the user's finger and detects a touch on an object. Then, the position (x coordinate, y coordinate, z coordinate) of the finger 210 is calculated as the position detection result or the touch detection result.
この構成によれば、空間浮遊映像３の表示面３ａと指２１０の先端との距離、すなわち空間浮遊映像３の表示面３ａに対する指２１０の奥行の検出精度を、図３５のステレオカメラの構成の例よりも向上させることが可能となる。
This configuration makes it possible to improve the detection accuracy of the distance between the display surface 3a of the floating-in-space image 3 and the tip of the finger 210, i.e., the depth of the finger 210 relative to the display surface 3a of the floating-in-space image 3, compared to the example of the stereo camera configuration in Figure 35.
また、指の位置の検出方法（３）の変形例として、ユーザの指の位置の検出（ｘ座標、ｙ座標、ｚ座標）は、上述のとおり、第１撮像部１１８０ａによる第１撮像画像および第４撮像部１１８０ｄによる第４撮像画像に基づいて行い、これにより仮想影１５１０の表示を制御するようにし、空間浮遊映像３のオブジェクトに対するタッチの有無は、空中操作検出センサ１３５１による検出結果に基づいて空中操作検出部１３５０または制御部１１１０が検出するように構成すればよい。この変形例によれば、空間浮遊映像３の表示面３ａをセンシング対象面としてセンシングする空中操作センサ１３５１を用いるため、空間浮遊映像３の表示面３ａに対するユーザの指２１０の接触の検出については、第４撮像部１１８０ｄによる第４撮像画像による検出精度よりも高い精度で検出することが可能である。
As a modified example of the finger position detection method (3), the detection of the user's finger position (x coordinate, y coordinate, z coordinate) is performed based on the first captured image by the first imaging unit 1180a and the fourth captured image by the fourth imaging unit 1180d as described above, and the display of the virtual shadow 1510 is controlled based on this, and the presence or absence of a touch on the object of the floating in space image 3 may be detected by the aerial operation detection unit 1350 or the control unit 1110 based on the detection result by the aerial operation detection sensor 1351. According to this modified example, since the aerial operation sensor 1351 that senses the display surface 3a of the floating in space image 3 as the sensing target surface is used, the touch of the user's finger 210 on the display surface 3a of the floating in space image 3 can be detected with higher accuracy than the detection accuracy based on the fourth captured image by the fourth imaging unit 1180d.
＜＜入力内容を表示してタッチ操作を補助する方法＞＞
ユーザのタッチ操作を他の方法で補助する例を説明する。例えば、入力した内容を表示してタッチ操作を補助することも可能である。図３７は、入力した内容を表示してタッチ操作を補助する方法を説明する図である。図３７には、タッチ操作により数字を入力する場合が示されている。
<<How to display input content and assist touch operation>>
An example of assisting the user's touch operation by another method will be described. For example, it is possible to assist the touch operation by displaying the input contents. Fig. 37 is a diagram for explaining a method of assisting the touch operation by displaying the input contents. Fig. 37 shows a case where numbers are input by touch operation.
図３７の空間浮遊映像３には、例えば、数字等を入力する複数のオブジェクト、入力内容を消去するオブジェクト１６０１、入力内容を決定するオブジェクト１６０３等を含む複数のオブジェクトを含むキー入力ＵＩ(ユーザインタフェース)表示領域１６００、入力内容を表示する入力内容表示領域１６１０が含まれる。
The floating-in-space image 3 in FIG. 37 includes a key input UI (user interface) display area 1600 that includes multiple objects including, for example, multiple objects for inputting numbers, etc., an object 1601 for erasing the input content, and an object 1603 for deciding the input content, and an input content display area 1610 that displays the input content.
入力内容表示領域１６１０には、左端から右方向に向かい、タッチ操作により入力された内容（例えば数字）が空間浮遊映像３に順次表示される。ユーザは、入力内容表示領域１６１０を見ながらタッチ操作により入力した内容を確認することがでできる。そして、ユーザは、所望のすべての数字を入力すると、オブジェクト１６０３をタッチする。これにより、入力内容表示領域１６１０に表示された入力内容が登録される。空間浮遊映像３へのタッチ操作は、表示デバイスの表面上への物理的な接触と異なり、ユーザが接触した感触を得ることができない。そのため、入力内容を別途、入力内容表示領域１６１０に表示することで、ユーザは自身のタッチ操作が有効に行われたか否かを確認しながら操作を進めることができ、好適である。
In the input content display area 1610, the contents (e.g., numbers) input by touch operation are displayed in sequence on the floating-in-space image 3 from the left end to the right. The user can check the contents input by touch operation while looking at the input content display area 1610. Then, when the user has input all the desired numbers, he or she touches the object 1603. This registers the input contents displayed in the input content display area 1610. Unlike physical contact with the surface of the display device, the touch operation on the floating-in-space image 3 does not give the user a tactile sensation of contact. Therefore, by separately displaying the input contents in the input content display area 1610, the user can proceed with the operation while checking whether or not their touch operation has been performed effectively, which is preferable.
一方、タッチするオブジェクトを間違えた場合等、所望のものと異なる内容を入力した場合、ユーザは、オブジェクト１６０１をタッチすることで最後に入力した内容（ここでは「９」）を消去することができる。そして、ユーザは、数字等の入力用のオブジェクトに対するタッチ操作を引き続き行う。ユーザは、所望のすべての数字を入力すると、オブジェクト１６０３をタッチする。
On the other hand, if the user inputs content different from what he or she intended, such as by touching the wrong object, the user can erase the last input content (here, "9") by touching object 1601. The user then continues to perform touch operations on objects for inputting numbers, etc. When the user has input all the desired numbers, he or she touches object 1603.
このように、入力内容表示領域１６１０に入力内容を表示することで、ユーザに、入力内容を確認させることができ、利便性を向上させることが可能となる。また、ユーザが誤ったオブジェクトをタッチした場合には、入力内容を修正させることができ、利便性を向上させることが可能となる。
In this way, by displaying the input contents in the input content display area 1610, the user can confirm the input contents, which improves convenience. In addition, if the user touches the wrong object, the input contents can be corrected, which improves convenience.
＜＜入力内容を強調表示してタッチ操作を補助する方法＞＞
次に、入力内容を強調表示してタッチ操作を補助することも可能である。図３８は、入力内容を強調表示してタッチ操作を補助する方法を説明する図である。
<<How to highlight input content to assist touch operation>>
Next, it is also possible to assist the touch operation by highlighting the input contents. Fig. 38 is a diagram for explaining a method of assisting the touch operation by highlighting the input contents.
図３８には、タッチ操作により入力された数字が強調表示された例が示されている。図３８に沿って述べると、数字「６」に対応するオブジェクトがタッチされると、タッチされたオブジェクトが消去され、このオブジェクトが表示されていた領域に、入力された数字「６」が表示される。
Figure 38 shows an example in which a number entered by a touch operation is highlighted. In relation to Figure 38, when an object corresponding to the number "6" is touched, the touched object is erased, and the input number "6" is displayed in the area where this object was displayed.
このように、タッチしたオブジェクトに対応する数字が、オブジェクトに代わって表示されることで、ユーザに対し、オブジェクトにタッチしたことを認識させることが可能となり、利便性を向上させることが可能となる。タッチしたオブジェクトに対応する数字は、タッチされたオブジェクトに差し替える、差し替えオブジェクトと称してもよい。
In this way, the number corresponding to the touched object is displayed in place of the object, allowing the user to recognize that an object has been touched, improving convenience. The number corresponding to the touched object may be called a replacement object, which replaces the touched object.
入力内容を強調表示する他の方法として、例えば、ユーザがタッチしたオブジェクトを明るく点灯させてもよいし、ユーザがタッチしたオブジェクトを点滅させてもよい。ここでは図示していないが、図２７～図２８の実施例で説明した指２１０と表示面３ａとの距離を認識することで、表示面に指が近づくにつれタッチしようとしているオブジェクトが周囲のオブジェクトよりも明るく変化し、最終的に表示面に振れた段階で、強調度合いが最高に達したり、さらに明るく点灯したり、点滅させることも可能である。このような構成においても、ユーザに、オブジェクトにタッチしたことを認識させることが可能となり、利便性を向上させることが可能となる。
As another method for highlighting the input contents, for example, the object touched by the user may be lit brightly or may blink. Although not shown here, by recognizing the distance between the finger 210 and the display surface 3a as described in the embodiment of Figures 27-28, the object to be touched may become brighter than the surrounding objects as the finger approaches the display surface, and finally, when the finger reaches the display surface, it may be highlighted to the maximum degree, or may be lit even brighter or may blink. Even with such a configuration, it is possible to make the user aware that an object has been touched, and convenience can be improved.
＜＜振動によりタッチ操作を補助する方法（１）＞＞
次に、振動によりタッチ操作を補助する方法について説明する。図３９は、振動によりタッチ操作補助を行う方法の一例を説明する図である。図３９では、指２１０に代えてタッチペン（タッチ入力装置）１７００を用いてタッチ操作が行われる場合が示されている。タッチペン１７００は、例えば空間浮遊映像表示装置等の装置との間で信号やデータ等の各種情報を送受信する通信部、および入力された信号に基づき振動する振動機構等が搭載されている。
<<Method of assisting touch operation by vibration (1)>>
Next, a method of assisting a touch operation by vibration will be described. Fig. 39 is a diagram for explaining an example of a method of assisting a touch operation by vibration. Fig. 39 shows a case where a touch operation is performed using a touch pen (touch input device) 1700 instead of a finger 210. The touch pen 1700 is equipped with a communication unit that transmits and receives various information such as signals and data between a device such as a space floating image display device, and a vibration mechanism that vibrates based on an input signal.
ユーザは、タッチペン１７００を操作し、空間浮遊映像３のキー入力ＵＩ表示領域１６００に表示されるオブジェクトをタッチペン１７００でタッチしたとする。このとき、例えば制御部１１００は、オブジェクトに対するタッチを検出したことを示すタッチ検出信号を通信部１１３２から送信する。タッチペン１７００がタッチ検出信号を受信すると、タッチ検出信号に基づいて振動機構が振動を発生させる。これにより、タッチペン１７００が振動する。そして、タッチペン１７００の振動がユーザに伝わり、ユーザは、オブジェクトにタッチしたことを認識する。このように、タッチペン１７００の振動によりタッチ操作の補助が行われる。
Suppose that the user operates the touch pen 1700 and touches an object displayed in the key input UI display area 1600 of the floating-in-space image 3 with the touch pen 1700. At this time, for example, the control unit 1100 transmits a touch detection signal from the communication unit 1132 indicating that a touch on the object has been detected. When the touch pen 1700 receives the touch detection signal, the vibration mechanism generates vibrations based on the touch detection signal. This causes the touch pen 1700 to vibrate. The vibration of the touch pen 1700 is then transmitted to the user, who recognizes that he or she has touched the object. In this way, the vibration of the touch pen 1700 assists the touch operation.
この構成によれば、オブジェクトにタッチしたことを、振動によりユーザに認識させることが可能となる。
This configuration allows the user to recognize that they have touched an object through vibration.
ここでは、空間浮遊映像装置から送信されたタッチ検出信号をタッチペン１７００が受信する場合について述べたが、これ以外の構成でもよい。例えば、オブジェクトに対するタッチを検出すると、空間浮遊映像表示装置は、上位装置にオブジェクトに対するタッチを検出したことを通知する。そして、上位装置は、タッチペン１７００に対しタッチ検出信号を送信する。
Here, we have described a case where the touch detection signal transmitted from the floating-in-space image device is received by the touch pen 1700, but other configurations are also possible. For example, when a touch on an object is detected, the floating-in-space image display device notifies a higher-level device that a touch on the object has been detected. The higher-level device then transmits a touch detection signal to the touch pen 1700.
あるいは、空間浮遊映像表示装置および上位装置は、ネットワークを介してタッチ検出信号を送信してもよい。このように、タッチペン１７００は、空間浮遊映像表示装置から間接的にタッチ検出信号を受信してもよい。
Alternatively, the floating-in-space image display device and the higher-level device may transmit the touch detection signal via a network. In this way, the touch pen 1700 may indirectly receive the touch detection signal from the floating-in-space image display device.
＜＜振動によりタッチ操作を補助する方法（２）＞＞
次に、振動によりタッチ操作を補助する他の方法について説明する。ここでは、ユーザが所有する端末を振動させることにより、オブジェクトにタッチしたことをユーザに認識させる。図４０は、振動によるタッチ操作の補助方法の他の例を説明する図である。図４０の例では、腕時計型のウェアラブル端末１８００を装着しているユーザ２３０が、タッチ操作を行う。
<<Method of assisting touch operation by vibration (2)>>
Next, another method of assisting a touch operation by vibration will be described. Here, the user is made aware that an object has been touched by vibrating the terminal owned by the user. Fig. 40 is a diagram for explaining another example of the method of assisting a touch operation by vibration. In the example of Fig. 40, a user 230 wearing a wristwatch-type wearable terminal 1800 performs a touch operation.
ウェアラブル端末１８００は、例えば空間浮遊映像表示装置等の装置との間で信号やデータ等の各種情報を送受信する通信部、および入力された信号に基づき振動する振動機構等が搭載されている。
The wearable device 1800 is equipped with a communication unit that transmits and receives various information such as signals and data between devices such as a floating-in-space image display device, and a vibration mechanism that vibrates based on an input signal.
ユーザは、指２１０でタッチ操作を行い、空間浮遊映像３のキー入力ＵＩ表示領域１６００に表示されるオブジェクトをタッチしたとする。このとき、例えば制御部１１００は、オブジェクトに対するタッチを検出したことを示すタッチ検出信号を通信部１１３２から送信する。ウェアラブル端末１８００がタッチ検出信号を受信すると、タッチ検出信号に基づいて振動機構が振動を発生させる。これにより、ウェアラブル端末１８００が振動する。そして、ウェアラブル端末１８００の振動がユーザに伝わり、ユーザは、オブジェクトにタッチしたことを認識する。このように、ウェアラブル端末１８００の振動によりタッチ操作の補助が行われる。ここでは、腕時計型のウェアラブル端末を例にとって説明したが、ユーザが身に着けているスマートフォンなどでもよい。
Suppose that the user performs a touch operation with the finger 210 and touches an object displayed in the key input UI display area 1600 of the floating-in-space image 3. At this time, for example, the control unit 1100 transmits a touch detection signal indicating that a touch on the object has been detected from the communication unit 1132. When the wearable device 1800 receives the touch detection signal, the vibration mechanism generates vibrations based on the touch detection signal. This causes the wearable device 1800 to vibrate. The vibrations of the wearable device 1800 are then transmitted to the user, and the user recognizes that an object has been touched. In this way, the vibrations of the wearable device 1800 assist the touch operation. Here, a wristwatch-type wearable device has been described as an example, but a smartphone worn by the user may also be used.
なお、ウェアラブル端末１８００は、前述のタッチペン１７００と同様、上位装置からタッチ検出信号を受信してもよい。なお、ウェアラブル端末１８００は、ネットワークを介してタッチ検出信号を受信してもよい。なお、ウェアラブル端末１８００の他にも、例えば、ユーザが所有するスマートフォン等の情報処理端末を用いてタッチ操作の補助を行うことも可能である。
The wearable terminal 1800 may receive a touch detection signal from a higher-level device, similar to the touch pen 1700 described above. The wearable terminal 1800 may receive a touch detection signal via a network. In addition to the wearable terminal 1800, it is also possible to assist the touch operation using an information processing terminal such as a smartphone owned by the user.
この構成によれば、ユーザが所有するウェアラブル端末１８００等の各種端末を介して、オブジェクトにタッチしたことをユーザに認識させることが可能となる。
This configuration allows the user to recognize that he or she has touched an object via various devices, such as a wearable device 1800, that the user owns.
＜＜振動によりタッチ操作を補助する方法（３）＞＞
次に、振動によりタッチ操作を補助するその他の方法について説明する。図４１は、振動によるタッチ操作の補助方法のその他の例を説明する図である。図４１の例では、ユーザ２３０は、振動板１９００の上に立ってタッチ操作を行う。振動板１９００は、ユーザ２３０がタッチ操作を行う所定の位置に設置される。実際の使用形態としては、振動板１９００は、例えば図示しないマットの下に配置され、ユーザ２３０は、マットを介して振動板１９００の上に立つこととなる。
<<Method of assisting touch operation by vibration (3)>>
Next, another method of assisting a touch operation by vibration will be described. FIG. 41 is a diagram for explaining another example of a method of assisting a touch operation by vibration. In the example of FIG. 41, the user 230 stands on the vibration plate 1900 and performs a touch operation. The vibration plate 1900 is installed at a predetermined position where the user 230 performs a touch operation. In an actual usage form, the vibration plate 1900 is placed, for example, under a mat (not shown), and the user 230 stands on the vibration plate 1900 via the mat.
振動板１９００は、図４１に示すように、ケーブル１９１０を介して、例えば空間浮遊映像表示装置１０００の通信部１１３２と接続される。オブジェクトに対するタッチが検出されると、例えば制御部１１１０は、通信部１１３２を介して所定の時間、振動板１９００へ交流電圧を供給させる。振動板１９００は、交流電圧が供給されている間振動する。すなわち当該交流電圧は、通信部１１３２から出力される、振動板１９００を振動させるための制御信号である。振動板１９００で発生した振動が、足元からユーザ２３０に伝わり、ユーザ２３０は、オブジェクトにタッチしたことを認識することができる。このように、振動板１９００の振動によりタッチ操作の補助が行われる。
As shown in FIG. 41, the diaphragm 1900 is connected to, for example, the communication unit 1132 of the space floating image display device 1000 via a cable 1910. When a touch on an object is detected, for example, the control unit 1110 causes an AC voltage to be supplied to the diaphragm 1900 for a predetermined time via the communication unit 1132. The diaphragm 1900 vibrates while the AC voltage is being supplied. In other words, the AC voltage is a control signal for vibrating the diaphragm 1900, which is output from the communication unit 1132. The vibration generated by the diaphragm 1900 is transmitted from the feet to the user 230, and the user 230 can recognize that an object has been touched. In this way, the vibration of the diaphragm 1900 assists the touch operation.
交流電圧の周波数は、ユーザ２３０が振動を感じることができる範囲内の値に設定される。人が感じることができる振動の周波数は、おおよそ０．１Ｈｚ～５００Ｈｚの範囲内である。このため、交流電圧の周波数は、この範囲内に設定されることが望ましい。
The frequency of the AC voltage is set to a value within the range in which the user 230 can feel the vibration. The frequencies of vibrations that people can feel are in the range of approximately 0.1 Hz to 500 Hz. For this reason, it is desirable to set the frequency of the AC voltage within this range.
また、交流電圧の周波数は、振動板１９００の特性によって適宜変更されることが望ましい。例えば、振動板１９００が鉛直方向に振動する場合、人は、４１０Ｈｚ程度の振動に対する感度が最も高いとされている。また、振動板１９００が水平方向に振動する場合、人は、１２Ｈｚ程度の振動に対する感度が最も高いとされている。さらに、３４Ｈｚ以上の周波数では、人は、水平方向より鉛直方向に対する感度が高いとされている。
Furthermore, it is desirable that the frequency of the AC voltage be changed as appropriate depending on the characteristics of the diaphragm 1900. For example, when the diaphragm 1900 vibrates vertically, humans are said to be most sensitive to vibrations of about 410 Hz. Also, when the diaphragm 1900 vibrates horizontally, humans are said to be most sensitive to vibrations of about 12 Hz. Furthermore, at frequencies of 34 Hz or higher, humans are said to be more sensitive to the vertical direction than to the horizontal direction.
そこで、振動板１９００が鉛直方向に振動する場合、交流電圧の周波数は、例えば、４１０Ｈｚを含む範囲内の値に設定されることが望ましい。また、振動板１９００が水平方向に振動する場合、交流電圧の周波数は、例えば、１２Ｈｚを含む範囲内の値に設定されることが望ましい。なお、振動板１９００の性能に応じて、交流電圧のピーク電圧や周波数は適宜調整されてもよい。
Therefore, when the diaphragm 1900 vibrates in the vertical direction, it is desirable to set the frequency of the AC voltage to a value within a range including, for example, 410 Hz. Also, when the diaphragm 1900 vibrates in the horizontal direction, it is desirable to set the frequency of the AC voltage to a value within a range including, for example, 12 Hz. Note that the peak voltage and frequency of the AC voltage may be adjusted as appropriate depending on the performance of the diaphragm 1900.
この構成によれば、オブジェクトに対するタッチが行われたことを、足元からの振動によりユーザ２３０に認識させることが可能となる。また、この構成の場合、オブジェクトに対するタッチが行われたときに空間浮遊映像３の表示が変わらないように設定することも可能であり、他者がタッチ操作を覗き込んだ場合でも、入力内容が知られてしまう可能性が低減され、セキュリティをより向上させることが可能となる。
This configuration allows the user 230 to recognize that an object has been touched by vibrations from under the user's feet. This configuration also makes it possible to set the display of the floating image 3 not to change when an object is touched, reducing the possibility that the input contents will be discovered even if a third party peeks at the touch operation, making it possible to further improve security.
＜＜オフジェクト表示の変形例１＞＞
空間浮遊映像表示装置１０００による空間浮遊映像３でのオブジェクト表示の他の例について説明する。空間浮遊映像表示装置１０００では、表示装置１が表示する矩形の映像の光学像である空間浮遊映像３を表示する構成となっている。表示装置１が表示する矩形の映像と空間浮遊映像３とは対応関係にある。よって、表示装置１の表示範囲全面に輝度を有する映像を表示すると、空間浮遊映像３は表示範囲全面に輝度を有する映像が表示される。この場合、矩形である空間浮遊映像３全体としての空中浮遊感は得られるものの、空間浮遊映像３内に表示される各オブジェクト自体の空中浮遊感が得られ難いという課題がある。これに対し、空間浮遊映像３のうち、オブジェクトの部分だけを輝度を有する映像として表示する方法もあり得る。しかしながら、オブジェクトの部分だけを輝度を有する映像として表示する方法はオブジェクトの浮遊感は好適に得られるが、一方でオブジェクトの奥行が認識しがたいという課題があった。
<<Modification 1 of Object Display>>
Another example of object display in the space floating image 3 by the space floating image display device 1000 will be described. The space floating image display device 1000 is configured to display the space floating image 3, which is an optical image of a rectangular image displayed by the display device 1. The rectangular image displayed by the display device 1 and the space floating image 3 are in a corresponding relationship. Therefore, when an image having brightness is displayed over the entire display range of the display device 1, the space floating image 3 displays an image having brightness over the entire display range. In this case, although the sense of floating in the air can be obtained for the rectangular space floating image 3 as a whole, there is a problem that it is difficult to obtain the sense of floating in the air for each object itself displayed in the space floating image 3. In response to this, there is also a method of displaying only the object part of the space floating image 3 as an image having brightness. However, the method of displaying only the object part as an image having brightness can obtain a floating sense of the object, but on the other hand, there is a problem that it is difficult to recognize the depth of the object.
そこで、本実施例に係る図４２Ａの表示例では、空間浮遊映像３の表示範囲４２１０内において、「ＹＥＳ」と表示された第１ボタンＢＵＴ１、および「ＮＯ」と表示された第２ボタンＢＵＴ２の２つのオブジェクトを表示している。第１ボタンＢＵＴ１、および「ＮＯ」と表示された第２ボタンＢＵＴ２の２つのオブジェクト領域は、表示装置１において輝度を有する映像が含まれている領域である。この２つのオブジェクトの表示領域の周辺に、オブジェクトの表示領域を取り囲むように黒表示領域４２２０が配置されている。
In the display example of FIG. 42A according to this embodiment, two objects, a first button BUT1 displayed as "YES" and a second button BUT2 displayed as "NO", are displayed within the display range 4210 of the floating-in-space image 3. The two object regions of the first button BUT1 and the second button BUT2 displayed as "NO" are regions on the display device 1 that contain images with luminance. A black display region 4220 is arranged around the display regions of these two objects so as to surround the display regions of the objects.
黒表示領域４２２０とは、表示装置１において黒を表示する領域である。すなわち、黒表示領域４２２０は、表示装置１において輝度を有しない映像情報を有する領域である。言い換えれば、黒表示領域４２２０は、輝度を有する映像情報がない領域である。表示装置１で黒が表示されている領域は、光学像である空間浮遊映像３ではユーザに何も見えない空間領域となる。さらに、図４２Ａの表示例では、表示範囲４２１０内において、黒表示領域４２２０を取り囲む形で、枠映像表示領域４２５０が配置されている。
The black display area 4220 is an area that displays black on the display device 1. That is, the black display area 4220 is an area that has image information that does not have luminance on the display device 1. In other words, the black display area 4220 is an area that does not have image information that has luminance. An area where black is displayed on the display device 1 is a spatial area in which nothing is visible to the user in the spatial floating image 3, which is an optical image. Furthermore, in the display example of FIG. 42A, a frame image display area 4250 is arranged within the display range 4210 in a manner that surrounds the black display area 4220.
枠映像表示領域４２５０は、表示装置１では、輝度を有する映像を用いて疑似的な枠を表示する領域である。ここで、枠映像表示領域４２５０における疑似的な枠は、単色の色を表示して枠映像としてもよい。あるいは、枠映像表示領域４２５０におけるかかる疑似的な枠は、意匠性のある画像を用いて表示する枠映像としてもよい。あるいは、枠映像表示領域４２５０は、破線のような枠を表示してもよい。
The frame image display area 4250 is an area in the display device 1 that displays a pseudo frame using an image having luminance. Here, the pseudo frame in the frame image display area 4250 may be a frame image that displays a single color. Alternatively, such a pseudo frame in the frame image display area 4250 may be a frame image that is displayed using an image with a design element. Alternatively, the frame image display area 4250 may display a frame such as a dashed line.
上記のような枠映像表示領域４２５０の枠映像を表示することにより、ユーザは、第１ボタンＢＵＴ１、および第２ボタンＢＵＴ２の２つのオブジェクトの属する平面を認識しやすくなり、第１ボタンＢＵＴ１、および第２ボタンＢＵＴ２の２つのオブジェクトの奥行位置を認識しやすくなる。それでありながら、これらのオブジェクトの周辺には、ユーザには何も見えない黒表示領域４２２０が存在するため、第１ボタンＢＵＴ１、および第２ボタンＢＵＴ２の２つのオブジェクトの空中浮遊感を強調することができる。なお、空間浮遊映像３において、枠映像表示領域４２５０は表示範囲４２１０の最外周に存在するが、場合によっては、表示範囲４２１０の最外周でなくともよい。
By displaying the frame image of the frame image display area 4250 as described above, the user can easily recognize the plane to which the two objects, the first button BUT1 and the second button BUT2, belong, and can easily recognize the depth positions of the two objects, the first button BUT1 and the second button BUT2. However, since there is a black display area 4220 around these objects that is invisible to the user, the floating feeling of the two objects, the first button BUT1 and the second button BUT2, can be emphasized. Note that in the space floating image 3, the frame image display area 4250 exists on the outermost periphery of the display range 4210, but in some cases it does not have to be on the outermost periphery of the display range 4210.
以上のように、図４２Ａの表示例によれば、空間浮遊映像３に表示するオブジェクトの空中浮遊感と奥行位置の認識をより好適に両立することができる。
As described above, the display example of FIG. 42A makes it possible to more effectively balance the sense of floating in the air and the perception of the depth position of the object displayed in the floating-in-space image 3.
＜＜オフジェクト表示の変形例２＞＞
図４２Ｂは、図４２Ａのオブジェクト表示の変形例である。第１ボタンＢＵＴ１および第２ボタンＢＵＴ２などのユーザがタッチ操作可能なオブジェクトの近傍に「タッチ操作が可能である」旨のメッセージ表示を行う表示例である。ここで、図４２Ｂにように、ユーザがタッチ操作可能なオブジェクトを指し示す矢印などのマークの表示を行っても良い。このようにすれば、ユーザはタッチ操作が可能なオブジェクトの容易に認識することができる。
<<Modification 2 of Object Display>>
Fig. 42B is a modified example of the object display in Fig. 42A. This is a display example in which a message "touch operation is possible" is displayed near an object that can be touched by the user, such as the first button BUT1 and the second button BUT2. Here, as shown in Fig. 42B, a mark such as an arrow pointing to an object that can be touched by the user may be displayed. In this way, the user can easily recognize the object that can be touched.
ここで、このようなメッセージ表示やマーク表示も、黒表示領域４２２０に取り囲まれるように表示することで空中浮遊感を得ることができる。
Here, such message displays and mark displays can be displayed so that they are surrounded by the black display area 4220, creating a sense of floating in the air.
＜＜空間浮遊映像表示装置の変形例＞＞
次に、空間浮遊映像表示装置の変形例について、図４３を用いて説明する。図４３の空間浮遊映像表示装置は、図３Ａの空間浮遊映像表示装置の変形例である。図３Ａに記載の構成要素と同じ構成要素については同一の符号を付している。図４３の説明では、図３Ａに記載の構成要素と異なる点を説明し、図３Ａに記載の構成要素と同じ構成要素については、図３Ａで既に説明済のため、繰り返しの説明は省略する。
<<Modification of the space floating image display device>>
Next, a modified example of the space-floating image display device will be described with reference to FIG. 43. The space-floating image display device of FIG. 43 is a modified example of the space-floating image display device of FIG. 3A. The same components as those in FIG. 3A are given the same reference numerals. In the description of FIG. 43, differences from the components in FIG. 3A will be described, and the same components as those in FIG. 3A will not be described again because they have already been described in FIG. 3A.
ここで、図４３の空間浮遊映像表示装置は、図３Ａの空間浮遊映像表示装置と同様に、偏光分離部材１０１、λ／４板２１、および再帰反射部材２を介することにより、表示装置１からの映像光を空間浮遊映像３に変換する。
Here, the space-floating image display device of FIG. 43 converts the image light from the display device 1 into a space-floating image 3 through a polarization separation member 101, a λ/4 plate 21, and a retroreflective member 2, similar to the space-floating image display device of FIG. 3A.
図４３の空間浮遊映像表示装置は、図３Ａの空間浮遊映像表示装置と異なり、空間浮遊映像３を周辺から取り囲むように物理枠４３１０が設けられている。ここで、物理枠４３１０には、空間浮遊映像３の外周に沿って開口窓が設けられており、ユーザは、物理枠４３１０の開口窓の位置に空間浮遊映像３を視認することができる。空間浮遊映像３が矩形である場合には、物理枠４３１０の開口窓の形状も矩形となる。
The space-floating image display device of FIG. 43 differs from the space-floating image display device of FIG. 3A in that a physical frame 4310 is provided to surround the space-floating image 3 from the periphery. Here, the physical frame 4310 has an opening window provided along the outer periphery of the space-floating image 3, and the user can visually recognize the space-floating image 3 at the position of the opening window of the physical frame 4310. If the space-floating image 3 is rectangular, the opening window of the physical frame 4310 will also be rectangular in shape.
図４３の例では、物理枠４３１０の開口窓の一部に空中操作検出センサ１３５１が設けられている。空中操作検出センサ１３５１は、図３Ｃで既に説明したとおり、空間浮遊映像３に表示されるオブジェクトにユーザの指によるタッチ操作を検出することができる。
In the example of FIG. 43, an aerial operation detection sensor 1351 is provided in a part of the opening window of the physical frame 4310. As already explained in FIG. 3C, the aerial operation detection sensor 1351 can detect a touch operation with the user's finger on an object displayed in the floating-in-space image 3.
図４３の例では、物理枠４３１０は空間浮遊映像表示装置の上面において、偏光分離部材１０１を覆うカバー構造を有している。なお、当該カバー構造が覆うのは、偏光分離部材１０１に限られず、表示装置１および再帰反射部材２の格納部を覆うように構成すればよい。ただし、図４３の物理枠４３１０は、本実施例の一例にすぎず、必ずしもカバー構造を有する必要はない。
In the example of FIG. 43, the physical frame 4310 has a cover structure that covers the polarization separation member 101 on the top surface of the space floating image display device. Note that the cover structure does not necessarily cover the polarization separation member 101, but may be configured to cover the storage section of the display device 1 and the retroreflective member 2. However, the physical frame 4310 in FIG. 43 is merely one example of this embodiment, and does not necessarily have to have a cover structure.
ここで、空間浮遊映像３が表示されていないときの、図４３の空間浮遊映像表示装置の物理枠４３１０と開口窓４４５０とを図４４に示す。このとき、当然ユーザは、空間浮遊映像３を視認することはできない。
Here, FIG. 44 shows the physical frame 4310 and the opening window 4450 of the space floating image display device of FIG. 43 when the space floating image 3 is not displayed. At this time, the user cannot see the space floating image 3, of course.
これに対し、本実施例の図４３の空間浮遊映像表示装置の物理枠４３１０の開口窓４４５０の構成と空間浮遊映像３の表示の例の一例を、図４５を用いて示す。図４５の例では、開口窓４４５０は、空間浮遊映像３の表示範囲４２１０と略一致するように構成されている。
In response to this, an example of the configuration of the opening window 4450 of the physical frame 4310 of the space floating image display device of FIG. 43 of this embodiment and an example of the display of the space floating image 3 is shown in FIG. 45. In the example of FIG. 45, the opening window 4450 is configured to approximately coincide with the display range 4210 of the space floating image 3.
さらに、図４５の空間浮遊映像３の表示例は、例えば、図４２Ａの例に近いオブジェクト表示を行う。具体的には、ユーザがタッチ操作可能なオブジェクト、例えば第１ボタンＢＵＴ１および第２ボタンＢＵＴ２を表示する。これらのユーザがタッチ操作可能なオブジェクトは、黒表示領域４２２０に囲まれており、空間浮遊感を好適に得ている。
Furthermore, the display example of the floating-in-space image 3 in FIG. 45 displays objects similar to the example in FIG. 42A. Specifically, objects that the user can touch and operate, such as the first button BUT1 and the second button BUT2, are displayed. These objects that the user can touch and operate are surrounded by a black display area 4220, which creates a good sense of floating in space.
黒表示領域４２２０を取り囲む外周には、枠映像表示領域４４７０が設けられている。枠映像表示領域４４７０の外周は表示範囲４２１０であり、空間浮遊映像表示装置の開口窓４４５０の縁は表示範囲４２１０と略一致するように配置されている。
A frame image display area 4470 is provided on the outer periphery surrounding the black display area 4220. The outer periphery of the frame image display area 4470 is the display range 4210, and the edge of the opening window 4450 of the space floating image display device is positioned so as to approximately coincide with the display range 4210.
ここで、図４５の表示例では、枠映像表示領域４４７０の枠の映像は、開口窓４４５０周辺の物理枠４３１０の色と同系色の色で表示する。例えば、物理枠４３１０が白色であれば、枠映像表示領域４４７０の枠の映像も白色で表示する。物理枠４３１０が灰色であれば、枠映像表示領域４４７０の枠の映像も灰色で表示する。例えば、物理枠４３１０が黄色であれば、枠映像表示領域４４７０の枠の映像も黄色で表示する。
Here, in the display example of FIG. 45, the frame image in the frame image display area 4470 is displayed in a color similar to the color of the physical frame 4310 around the opening window 4450. For example, if the physical frame 4310 is white, the frame image in the frame image display area 4470 is also displayed in white. If the physical frame 4310 is gray, the frame image in the frame image display area 4470 is also displayed in gray. For example, if the physical frame 4310 is yellow, the frame image in the frame image display area 4470 is also displayed in yellow.
このように、枠映像表示領域４４７０の枠の映像は、開口窓４４５０周辺の物理枠４３１０の色と同系色で表示することで、物理枠４３１０と枠映像表示領域４４７０の枠の映像の空間連続性をユーザに強調して伝えることができる。
In this way, by displaying the frame image in the frame image display area 4470 in a color similar to the color of the physical frame 4310 surrounding the opening window 4450, the spatial continuity between the physical frame 4310 and the frame image in the frame image display area 4470 can be emphasized and conveyed to the user.
一般に、ユーザは、空間浮遊映像よりも物理的構成に対して、より好適に空間認識が可能である。よって、図４５の表示例のように、空間浮遊映像を物理枠の空間連続性を強調するように表示することによって、ユーザは、空間浮遊映像の奥行をより好適に認識しやすくなる。
In general, users are able to better perceive space in terms of physical structures than in terms of floating-in-space images. Therefore, by displaying the floating-in-space image in a way that emphasizes the spatial continuity of the physical frame, as in the display example of FIG. 45, users can more easily perceive the depth of the floating-in-space image.
さらに、図４５の表示例では、ユーザがタッチ操作可能なオブジェクト、例えば第１ボタンＢＵＴ１および第２ボタンＢＵＴ２の空間浮遊像は枠映像表示領域４４７０と同一平面上に結像していることから、ユーザは、物理枠４３１０と枠映像表示領域４４７０の奥行認識に基づいて、第１ボタンＢＵＴ１および第２ボタンＢＵＴ２の奥行をより好適に認識することができる。
Furthermore, in the display example of FIG. 45, the floating images of objects that the user can touch, such as the first button BUT1 and the second button BUT2, are formed on the same plane as the frame image display area 4470, so the user can more appropriately recognize the depth of the first button BUT1 and the second button BUT2 based on the depth recognition of the physical frame 4310 and the frame image display area 4470.
すなわち、図４５の表示例によれば、空間浮遊映像３に表示するオブジェクトの空中浮遊感と奥行位置の認識をより好適に両立することができる。かつ、図４２Ａの表示例よりも好適に空間浮遊映像３に表示するオブジェクトの奥行位置の認識を容易にすることが可能となる。
In other words, the display example of FIG. 45 makes it possible to more effectively balance the feeling of floating in the air and the recognition of the depth position of the object displayed in the floating-in-space image 3. Furthermore, it becomes possible to more effectively make it easier to recognize the depth position of the object displayed in the floating-in-space image 3 than in the display example of FIG. 42A.
また、図４５の表示例においても、図４２Ｂの表示例のように、ユーザがタッチ操作可能なオブジェクトを指し示す矢印などのマークの表示を行っても良い。
In addition, in the display example of FIG. 45, a mark such as an arrow pointing to an object that can be touched by the user may be displayed, as in the display example of FIG. 42B.
なお、図４３の空間浮遊映像表示装置の構成の変形例として、図４６に示すように、物理枠４３１０のカバー構造の内側に、光反射率の低い黒い表面を有する遮光板４６１０や遮光板４６２０を設けてもよい。このように遮光板を設けることで、ユーザが開口窓から空間浮遊映像表示装置内部を覗きこんでも、空間浮遊映像３と関係のない部品等を視認することを防ぐことができる。これにより、図４２Ａなどの黒表示領域４２２０の後ろ側に、空間浮遊映像３と関係のない実物体が視認されて、空間浮遊映像３が視認しづらくなる、ということを防ぐことができる。また、空間浮遊映像３に基づく迷光の発生も防止することができる。
As a modified example of the configuration of the space-floating image display device of FIG. 43, as shown in FIG. 46, a light shielding plate 4610 or a light shielding plate 4620 having a black surface with low light reflectance may be provided inside the cover structure of the physical frame 4310. By providing a light shielding plate in this manner, even if the user peers into the inside of the space-floating image display device through the opening window, it is possible to prevent the user from viewing parts and the like that are unrelated to the space-floating image 3. This makes it possible to prevent a real object that is unrelated to the space-floating image 3 from being viewed behind the black display area 4220 such as FIG. 42A, making it difficult to view the space-floating image 3. It is also possible to prevent the generation of stray light based on the space-floating image 3.
ここで、遮光板４６１０や遮光板４６２０は、空間浮遊映像３の矩形に対応する筒型の四角柱を構成するものであり、空間浮遊映像表示装置の開口窓近傍から表示装置１および再帰反射部材２の格納部に向かって延伸する構成としてもよい。また、光の発散角およびユーザの視点の自由度確保を考慮して、向かい合った遮光板が平行でない四角錐台形状を含む構成とし、空間浮遊映像表示装置の開口窓近傍から表示装置１および再帰反射部材２の格納部に向かって延伸する構成としてもよい。この場合、当該四角錐台形状は、空間浮遊映像表示装置の開口窓近傍から表示装置１および再帰反射部材２の格納部に向かって広がっていく形状となる。
Here, the light shielding plates 4610 and 4620 form a cylindrical quadrangular prism corresponding to the rectangular shape of the space-floating image 3, and may be configured to extend from near the opening window of the space-floating image display device toward the storage section of the display device 1 and the retroreflective member 2. In addition, in consideration of the divergence angle of light and ensuring the freedom of the user's viewpoint, the opposing light shielding plates may be configured to include non-parallel quadrangular pyramid shapes and extend from near the opening window of the space-floating image display device toward the storage section of the display device 1 and the retroreflective member 2. In this case, the quadrangular pyramid shape will be a shape that expands from near the opening window of the space-floating image display device toward the storage section of the display device 1 and the retroreflective member 2.
なお、図４６のカバー構造と、遮光板は、図４５の表示例以外の表示を行う空間浮遊映像表示装置において用いてもよい。すなわち、必ずしも枠映像表示領域４４７０を表示する必要はない。空間浮遊映像表示装置のカバー構造の物理枠４３１０が空間浮遊映像３の表示範囲４２１０を囲むように配置されていれば、図４５において枠映像表示領域４４７０がなくとも、表示されるオブジェクトの奥行位置の認識向上に寄与することができる。
The cover structure and light shielding plate in FIG. 46 may be used in a space-floating image display device that performs a display other than the display example in FIG. 45. In other words, it is not necessary to display the frame image display area 4470. If the physical frame 4310 of the cover structure of the space-floating image display device is arranged to surround the display range 4210 of the space-floating image 3, it can contribute to improving the recognition of the depth position of the displayed object even without the frame image display area 4470 in FIG. 45.
以上、種々の実施例について詳述したが、しかしながら、本発明は、上述した実施例のみに限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するためにシステム全体を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
Although various embodiments have been described above in detail, the present invention is not limited to the above-mentioned embodiments, and various modified examples are included. For example, the above-mentioned embodiments are detailed descriptions of the entire system in order to clearly explain the present invention, and are not necessarily limited to those having all of the configurations described. It is also possible to replace part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. It is also possible to add, delete, or replace part of the configuration of each embodiment with other configurations.
本実施例に係る技術では、高解像度かつ高輝度な映像情報を空間浮遊した状態で表示することにより、例えば、ユーザは感染症の接触感染に対する不安を感じることなく操作することを可能にする。不特定多数のユーザが使用するシステムに本実施例に係る技術を用いれば、感染症の接触感染のリスクを低減し、不安を感じることなく使用できる非接触ユーザインタフェースを提供することを可能にする。これにより、国連の提唱する持続可能な開発目標（ＳＤＧｓ：Sustainable Development Goals）の「3すべての人に健康と福祉を」に貢献する。
The technology according to this embodiment displays high-resolution, high-brightness image information in a state where it floats in space, allowing users to operate the device without feeling anxious about contact infection. If the technology according to this embodiment is used in a system used by an unspecified number of users, it is possible to provide a contactless user interface that can be used without anxiety, reducing the risk of contact infection. This contributes to the achievement of "Good health and well-being for all," one of the Sustainable Development Goals (SDGs) advocated by the United Nations.
また、本実施例に係る技術では、出射する映像光の発散角を小さく、さらに特定の偏波に揃えることで、再帰反射部材に対して正規の反射光だけを効率良く反射させるため、光の利用効率が高く、明るく鮮明な空間浮遊映像を得ることを可能にする。本実施例に係る技術によれば、消費電力を大幅に低減することが可能な、利用性に優れた非接触ユーザインタフェースを提供することができる。これにより、国連の提唱する持続可能な開発目標（ＳＤＧｓ：Sustainable Development Goals）の「9産業と技術革新の基盤をつくろう」および「11住み続けられるまちづくりを」に貢献する。
In addition, the technology according to this embodiment reduces the divergence angle of the emitted image light and aligns it to a specific polarization, so that only the normal reflected light is efficiently reflected by the retroreflective material, making it possible to obtain a bright and clear floating image with high light utilization efficiency. The technology according to this embodiment can provide a highly usable non-contact user interface that can significantly reduce power consumption. This contributes to the achievement of "9 Build resilient infrastructure, promote inclusive and sustainable industrialization, and promote technological innovation" and "11 Make cities and towns sustainable" of the Sustainable Development Goals (SDGs) proposed by the United Nations.
さらに、本実施例に係る技術では、指向性（直進性）の高い映像光による空間浮遊映像を形成することを可能にする。本実施例に係る技術では、銀行のＡＴＭや駅の券売機等における高いセキュリティが求められる映像や、ユーザに正対する人物には秘匿したい秘匿性の高い映像を表示する場合でも、指向性の高い映像光を表示することで、ユーザ以外に空間浮遊映像を覗き込まれる危険性が少ない非接触ユーザインタフェースを提供することを可能にする。これにより、国連の提唱する持続可能な開発目標（ＳＤＧｓ：Sustainable Development Goals）の「11住み続けられるまちづくりを」に貢献する。
Furthermore, the technology according to this embodiment makes it possible to form a floating image using highly directional (linear) image light. Even when displaying images that require high security, such as those in bank ATMs or ticket vending machines at train stations, or highly confidential images that should be concealed from people directly facing the user, the technology according to this embodiment makes it possible to provide a non-contact user interface with little risk of people other than the user peering at the floating image by displaying highly directional image light. This contributes to "Sustainable cities and communities," one of the Sustainable Development Goals (SDGs) advocated by the United Nations.