JP7604966B2 - Display device, display control method, and display control program - Google Patents
Display device, display control method, and display control program Download PDFInfo
- Publication number
- JP7604966B2 JP7604966B2 JP2021046052A JP2021046052A JP7604966B2 JP 7604966 B2 JP7604966 B2 JP 7604966B2 JP 2021046052 A JP2021046052 A JP 2021046052A JP 2021046052 A JP2021046052 A JP 2021046052A JP 7604966 B2 JP7604966 B2 JP 7604966B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- image
- lens
- light
- gaze
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
Description
本発明は、表示装置、表示制御方法、及び表示制御プログラムに関する。 The present invention relates to a display device, a display control method, and a display control program.
ユーザの右眼と左眼に異なる視差の画像を視認させて、輻輳の違いを利用して立体画像を表示させる表示装置が知られている。このような表示装置としては、ユーザの頭部に搭載されるいわゆるヘッドマウントディスプレイ（ＨＭＤ）がある。例えば特許文献１には、ディスプレイと光学系との間にマイクロレンズアレイを配置するヘッドマウントディスプレイが記載されている。
There is a known display device that displays a stereoscopic image by allowing the user's right and left eyes to view images with different parallax and utilizing the difference in convergence. One such display device is a so-called head-mounted display (HMD) that is mounted on the user's head. For example,
ここで、画像を表示する表示装置においては、ユーザに適切に画像を提供することが求められている。 Here, display devices that display images are required to provide appropriate images to users.
本発明は、上記課題に鑑み、ユーザに適切に画像を提供可能な表示装置、表示制御方法、及び表示制御プログラムを提供することを目的とする。 In view of the above problems, the present invention aims to provide a display device, a display control method, and a display control program that can provide appropriate images to a user.
本発明の一態様にかかる表示装置は、光を照射することでユーザに画像を提供する表示部と、前記表示部よりも前記ユーザ側に設けられ、焦点を変更可能なレンズと、前記ユーザの視線の検出結果を取得する視線情報取得部と、前記ユーザの視線の検出結果と前記画像の奥行き方向の位置を示す奥行き情報とに基づき、前記レンズの焦点を設定する焦点位置設定部と、を含み、前記視線情報取得部は、前記視線の検出結果に基づき、前記画像のうちで前記ユーザが注視している注視位置を検出し、前記焦点位置設定部は、前記注視位置の奥行き情報に基づき、前記光の光束の開き角と、前記注視位置での奥行き方向の位置から前記ユーザに向けて前記光を照射した場合の光束の開き角との差分が所定範囲内となる前記レンズの焦点の位置を、前記レンズの焦点の位置として設定し、前記レンズの焦点の位置を、所定の周期で移動させる駆動制御部と、前記レンズの焦点の位置に基づき、前記光の照射タイミングを、画素毎に設定するタイミング設定部と、をさらに含む。 A display device according to one aspect of the present invention includes a display unit that provides an image to a user by irradiating light, a lens that is located on the user side of the display unit and has an adjustable focus, a gaze information acquisition unit that acquires a detection result of the user's gaze, and a focus position setting unit that sets the focus of the lens based on the detection result of the user's gaze and depth information indicating a depth position of the image, wherein the gaze information acquisition unit detects a gaze position in the image at which the user is gazing based on the gaze detection result, and the focus position setting unit sets, based on the depth information of the gaze position, the focus position of the lens as the focus position of the lens at which the difference between the opening angle of the light flux of the light and the opening angle of the light flux when the light is irradiated toward the user from a depth position at the gaze position is within a predetermined range, and further includes a drive control unit that moves the focus position of the lens at a predetermined period, and a timing setting unit that sets the timing of irradiating the light for each pixel based on the focus position of the lens.
本発明の一態様にかかる表示制御方法は、表示部から光を照射することでユーザに画像を提供する表示ステップと、前記ユーザの視線の検出結果を取得する視線情報取得ステップと、前記ユーザの視線の検出結果と前記画像の奥行き方向の位置を示す奥行き情報とに基づき、前記表示部よりも前記ユーザ側に設けられ焦点を変更可能なレンズの焦点を設定する焦点位置設定ステップと、を含み、前記視線情報取得ステップにおいては、前記視線の検出結果に基づき、前記画像のうちで前記ユーザが注視している注視位置を検出し、前記焦点位置設定ステップにおいては、前記注視位置の奥行き情報に基づき、前記光の光束の開き角と、前記注視位置での奥行き方向の位置から前記ユーザに向けて前記光を照射した場合の光束の開き角との差分が所定範囲内となる前記レンズの焦点の位置を、前記レンズの焦点の位置として設定し、前記レンズの焦点の位置を、所定の周期で移動させるステップと、前記レンズの焦点の位置に基づき、前記光の照射タイミングを、画素毎に設定するステップと、をさらに含む。 A display control method according to one aspect of the present invention includes a display step of providing an image to a user by irradiating light from a display unit, a gaze information acquisition step of acquiring a detection result of the user's gaze, and a focus position setting step of setting the focus of a lens that is located on the user side of the display unit and has a variable focus based on the detection result of the user's gaze and depth information indicating a depth position of the image, wherein the gaze information acquisition step detects a gaze position in the image at which the user is gazing based on the gaze detection result, and the focus position setting step sets, based on the depth information of the gaze position, a focus position of the lens at which a difference between an opening angle of a luminous flux of the light and an opening angle of a luminous flux when the light is irradiated toward the user from a depth position at the gaze position, within a predetermined range, as the focus position of the lens, and moves the focus position of the lens at a predetermined period, and further includes a step of setting the irradiation timing of the light for each pixel based on the focus position of the lens.
本発明の一態様にかかる表示制御プログラムは、表示部から光を照射することでユーザに画像を提供する表示ステップと、前記ユーザの視線の検出結果を取得する視線情報取得ステップと、前記ユーザの視線の検出結果と前記画像の奥行き方向の位置を示す奥行き情報とに基づき、前記表示部よりも前記ユーザ側に設けられ焦点を変更可能なレンズの焦点を設定する焦点位置設定ステップと、を、コンピュータに実行させ、前記視線情報取得ステップにおいては、前記視線の検出結果に基づき、前記画像のうちで前記ユーザが注視している注視位置を検出し、前記焦点位置設定ステップにおいては、前記注視位置の奥行き情報に基づき、前記光の光束の開き角と、前記注視位置での奥行き方向の位置から前記ユーザに向けて前記光を照射した場合の光束の開き角との差分が所定範囲内となる前記レンズの焦点の位置を、前記レンズの焦点の位置として設定し、前記レンズの焦点の位置を、所定の周期で移動させるステップと、前記レンズの焦点の位置に基づき、前記光の照射タイミングを、画素毎に設定するステップと、をさらに含む。 A display control program according to one aspect of the present invention causes a computer to execute a display step of providing an image to a user by irradiating light from a display unit, a gaze information acquisition step of acquiring a detection result of the user's gaze, and a focus position setting step of setting the focus of a lens that is located on the user side of the display unit and has a variable focus based on the detection result of the user's gaze and depth information indicating a depth position of the image. In the gaze information acquisition step, a gaze position at which the user is gazing at in the image is detected based on the gaze detection result, and in the focus position setting step, a focus position of the lens at which a difference between an opening angle of a luminous flux of the light and an opening angle of the luminous flux when the light is irradiated toward the user from a depth position at the gaze position is within a predetermined range is set as the focus position of the lens, based on the depth information of the gaze position, and the focus position setting step further includes a step of moving the focus position of the lens at a predetermined period, and a step of setting the irradiation timing of the light for each pixel based on the focus position of the lens.
本発明によれば、ユーザに適切に画像を提供できる。 The present invention allows appropriate images to be provided to the user.
以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。 The following describes in detail an embodiment of the present invention with reference to the drawings. Note that the present invention is not limited to the embodiment described below.
（輻輳調節矛盾）
図１は、輻輳調節矛盾を説明するための模式図である。立体画像を表示する表示装置は、ユーザの右眼と左眼に異なる視差の画像を視認させて、輻輳の違いを利用して立体画像を表示させる。立体画像を表示する場合には、実際に画像が表示される表示面がユーザの眼の焦点位置となり、左右の眼の視線が交差する位置が輻輳位置となる。しかし、図１の例に示すように、立体画像においては、立体画像の奥行き方向であるＺ方向における焦点位置ＰＯ１と輻輳位置ＰＯ２との位置がずれることがある。焦点位置ＰＯ１と輻輳位置ＰＯ２との位置がずれると、いわゆる輻輳調節矛盾が起こり、眼精疲労やいわゆる３Ｄ酔いなどの原因となる。そのため、輻輳調節矛盾を抑制することが求められている。なお、図１の（Ａ）は、焦点位置ＰＯ１が輻輳位置ＰＯ２よりもユーザの眼ＥＹ側にあり、図１の（Ｂ）は、輻輳位置ＰＯ２が焦点位置ＰＯ１よりもユーザの眼ＥＹ側にある例を示している。
(Convergence regulation conflict)
FIG. 1 is a schematic diagram for explaining the convergence accommodation conflict. A display device for displaying a stereoscopic image displays a stereoscopic image by making the right eye and the left eye of a user view images with different parallax and utilizing the difference in convergence. When displaying a stereoscopic image, the display surface on which the image is actually displayed becomes the focal position of the user's eyes, and the position where the lines of sight of the left and right eyes intersect becomes the convergence position. However, as shown in the example of FIG. 1, in a stereoscopic image, the positions of the focal position PO1 and the convergence position PO2 in the Z direction, which is the depth direction of the stereoscopic image, may shift. If the positions of the focal position PO1 and the convergence position PO2 shift, a so-called convergence accommodation conflict occurs, which causes eye fatigue and so-called 3D sickness. Therefore, it is required to suppress the convergence accommodation conflict. Note that (A) of FIG. 1 shows an example in which the focal position PO1 is closer to the user's eye EY than the convergence position PO2, and (B) of FIG. 1 shows an example in which the convergence position PO2 is closer to the user's eye EY than the focal position PO1.
（第１実施形態）
（表示装置の全体構成）
図２は、第１実施形態に係る表示装置の模式図である。第１実施形態に係る表示装置１は、立体画像を表示する表示装置である。図２に示すように、表示装置１は、ユーザＵの頭部に装着される、いわゆるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）である。例えば、表示装置１は、ユーザＵの眼ＥＹに面した位置に表示部１０が装着される。そして、表示装置１は、表示部１０に画像を表示させて、ユーザＵにコンテンツを提供する。なお、図２に示した表示装置１の構成は一例である。例えば、表示装置１は、ユーザＵの耳に装着される音声出力部（スピーカ）を備えていてもよい。
First Embodiment
(Overall configuration of the display device)
FIG. 2 is a schematic diagram of a display device according to the first embodiment. The
表示装置１は、このようにユーザＵに装着されるため、ユーザＵの眼ＥＹに対する位置が固定される。表示装置１は、ユーザＵに装着されるＨＭＤであることに限られず、設備に固定された表示装置などであってもよい。このような場合でも、表示装置１は、例えばユーザＵの座席に対する位置が固定されるなど、ユーザＵの眼ＥＹに対する位置が固定されることが好ましい。
Since the
図３は、第１実施形態に係る表示装置の各構成の模式図である。図３に示すように、表示装置１は、表示部１０と、接眼レンズ２０と、レンズ３０と、視線検出部４０と、制御装置５０とを有する。
Figure 3 is a schematic diagram of each component of the display device according to the first embodiment. As shown in Figure 3, the
（表示部）
表示部１０は、立体画像を表示する装置である。表示部１０は、表示パネル１２と光源部１４とを有する。表示パネル１２は、マトリクス状に並ぶ複数の画素を有するディスプレイである。本実施形態の例では、表示パネル１２は、マトリクス状に並ぶ複数の画素電極と、液晶素子が充填される液晶層とを有する液晶表示パネルである。表示パネル１２で画像が表示される面を表示面１０Ａとする。以下、表示面１０ＡからユーザＵの眼ＥＹへ向かう方向を、方向Ｚ１とし、方向Ｚ１と反対方向を、すなわちユーザＵの眼ＥＹから表示面１０Ａに向かう方向を、方向Ｚ２とする。方向Ｚ１、Ｚ２を区別しない場合は、方向Ｚと記載する。なお、図３では、表示パネル１２のユーザＵの眼ＥＹ側の表面を表示面１０Ａとしているが、表示面１０Ａは、ユーザＵの眼ＥＹ側の表面であることに限られず、ユーザＵの眼ＥＹ側の表面よりも内側にあってもよい。なお、表示部１０は、後述する制御装置５０から表示パネル１２を駆動させる駆動信号や光源部１４の光の照射タイミングを制御する制御信号を受信する。
(Display)
The
光源部１４は、表示パネル１２に光を照射する光源である。本実施形態では、光源部１４は、表示パネル１２の表示面１０Ａとは反対側の表面に設けられる、いわゆるバックライドである。光源部１４の設けられる位置はこれに限られず任意であり、例えば表示パネル１２の横にあるサイドライトであってもよい。本実施形態では、光源部１４は、表示パネル１２の全ての画素に対して一様に光を照射するものであり、言い換えれば、画素毎に個別に光の照射を制御するものではない。ただし、光源部１４は、表示パネル１２の全ての画素に一様に光を照射するものに限られず、例えば複数の画素毎に光の照射を調整可能な、例えば画面全体をいくつかの区画に分け区画ごとに光の強度を調整可能な、いわゆるローカルディミングの方式のものであってもよい。
The
このように、表示部１０は、表示パネル１２と光源部１４とを有する。表示部１０は、光源部１４から表示パネル１２に照射された光である画像光ＬをユーザＵの眼ＥＹに到達させることで、ユーザＵに立体画像を提供する。本実施形態の例では、光源部１４から照射された光は、表示パネル１２の各画素を透過して、画像光ＬとしてユーザＵの眼ＥＹに入射する。より詳しくは、表示パネル１２は、左眼用画像と右眼用画像とが提供されるように、例えば画素電極の電圧が制御されつつ、表示パネル１２に向けて光源部１４からの光が照射される。光源部１４からの光のうち、左眼用画像に対応する画素を透過した画像光ＬがユーザＵの左眼に入射し、右眼用画像に対応する画素を透過した画像光ＬがユーザＵの左眼に入射することで、ユーザＵに立体画像が提供される。
In this way, the
なお、表示部１０の構成は以上のものに限られず、例えば、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）やいわゆるマイクロＬＥＤなど、画素毎に点灯制御が可能な自発光型のディスプレイであってよい。また、表示部１０が反射型の液晶表示装置であってもよい。
The configuration of the
（接眼レンズ）
接眼レンズ２０は、表示部１０のＺ１方向側に設けられる。接眼レンズ２０は、光（画像光）を透過する光学素子である。さらに言えば、接眼レンズ２０は、レンズ３０を除き、表示装置１で最もユーザＵの眼ＥＹ側にある光学素子（レンズ）である。表示パネル１２から出射された画像光Ｌは、接眼レンズ２０及びレンズ３０を通って、ユーザＵの眼ＥＹに入射する。なお、本実施形態では、レンズ３０からユーザＵの眼ＥＹまでの画像光Ｌの光路における光軸方向が、方向Ｚともいえる。
(Eyepiece)
The
なお、図３の例では、表示部１０のＺ１方向側の光学素子として、接眼レンズ２０とレンズ３０のみが示されているが、それに限られず、それら以外の光学素子が設けられていてもよい。
In the example of FIG. 3, only the
（レンズ）
レンズ３０は、画像光Ｌの光軸方向において、表示部１０よりもユーザＵ側に設けられている。さらに言えば、レンズ３０は、接眼レンズ２０よりもユーザＵ側に設けられている。ただしそれに限られず、レンズ３０は、接眼レンズ２０よりも表示部１０側に設けられてもよい。レンズ３０は、Ｚ方向（画像光Ｌの光軸方向）における焦点の位置（レンズ３０から焦点までの距離）を変化可能な、いわゆる可変焦点レンズである。レンズ３０は、任意の構造であってよいが、例えば電圧の印加によりレンズ３０の厚みを変化させることで、焦点の位置を変化可能なものであってよい。より詳しくは、例えば、レンズ３０は、弾性ポリマー膜で封入された光学リキッドで構成されるレンズコアと、レンズコアに取り付けられる電磁式のアクチュエータとを有し、アクチュエータへの電圧印加によりアクチュエータが駆動し、アクチュエータによりレンズコアが圧力を受けて変形することで、レンズ３０の厚みを変化させて、焦点の位置を変化させるものであってよい。なお、レンズ３０のアクチュエータは、後述する制御装置５０から、焦点の位置の制御を行う信号を取得する。
(lens)
The
（視線検出部）
視線検出部４０は、ユーザＵの眼ＥＹが向いている方向、すなわちユーザＵの視線を検出する。視線検出部４０は、ユーザＵの視線を検出可能な任意のセンサであってよいが、例えば、ユーザＵの眼ＥＹを撮像するカメラであってよい。視線検出部４０は、制御装置５０へ視線の検出結果を送出する。
(Gaze detection unit)
The
（制御装置）
制御装置５０は、表示装置１の各部を制御する装置である。図４は、第１実施形態に係る制御装置の模式的なブロック図である。制御装置５０は、本実施形態ではコンピュータであり、記憶部５２と制御部５４とを有する。記憶部５２は、制御部５４の演算内容やプログラムなどの各種情報を記憶するメモリであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）のような主記憶装置と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの外部記憶装置とのうち、少なくとも１つ含む。記憶部５２が記憶する制御部５４用のプログラムは、制御装置５０が読み取り可能な記録媒体に記憶されていてもよい。
(Control device)
The
制御部５４は、演算装置であり、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算回路を含む。制御部５４は、画像情報取得部６０と、視線情報取得部６２と、照射制御部６４と、焦点位置設定部６６と、駆動制御部６８とを含む。制御部５４は、記憶部５２からプログラム（ソフトウェア）を読み出して実行することで、画像情報取得部６０と視線情報取得部６２と照射制御部６４と焦点位置設定部６６と駆動制御部６８とを実現して、それらの処理を実行する。なお、制御部５４は、１つのＣＰＵによってこれらの処理を実行してもよいし、複数のＣＰＵを備えて、それらの複数のＣＰＵで、処理を実行してもよい。また、画像情報取得部６０と視線情報取得部６２と照射制御部６４と焦点位置設定部６６と駆動制御部６８との少なくとも１つを、ハードウェア回路で実現してもよい。
The control unit 54 is a calculation device and includes a calculation circuit such as a CPU (Central Processing Unit). The control unit 54 includes an image information acquisition unit 60, a line of sight information acquisition unit 62, an irradiation control unit 64, a focal position setting unit 66, and a drive control unit 68. The control unit 54 reads out a program (software) from the
（画像情報取得部）
画像情報取得部６０は、表示部１０が表示する立体画像の画像データを取得する。すなわち、画像情報取得部６０は、左眼用画像の画像データと、右眼用画像の画像データとを取得する。また、画像情報取得部６０は、立体画像の奥行き方向における位置を示す奥行き情報を取得する。立体画像の奥行き方向における位置とは、表示面１０Ａに画像を表示した際にユーザＵに視認される虚像の、奥行き方向における位置を指す。奥行き方向とは、表示部１０の表示面１０Ａに直交する方向であるとも言え、本実施形態ではＺ方向である。奥行き情報は、画像データに関連付けられている。さらに言えば、立体画像は、１フレームに含まれる各画像について、奥行き方向における位置が設定されており、言い換えれば、表示面１０Ａ上の位置毎に、奥行き方向における位置が設定されている。そのため、画像情報取得部６０は、立体画像についての、表示面１０Ａ上の位置毎の奥行き情報を取得するといえる。なお、立体画像は、画素毎に奥行き方向における位置が設定されているが、１つの画像を構成する複数の画素に対しては、奥行き方向における位置が同じとなるように設定されていてもよい。画像情報取得部６０は、任意の方法で画像データ及び奥行き情報を取得してよく、記憶部５２に予め記憶されていた画像データ及び奥行き情報を読み出してもよいし、図示しない通信部を介して画像データ及び奥行き情報を受信してもよい。また、画像情報取得部６０は、画像データに基づき奥行き方向の位置を算出することで、奥行き情報を取得してもよい。
(Image information acquisition unit)
The image information acquisition unit 60 acquires image data of a stereoscopic image displayed by the
（視線情報取得部）
視線情報取得部６２は、視線検出部４０を制御して、視線検出部４０にユーザＵの視線を検出させ、視線検出部４０による視線の検出結果を取得する。本実施形態では、視線情報取得部６２は、視線の検出結果に基づき、ユーザＵが注視している注視位置を検出する。注視位置とは、立体画像のうちでユーザＵが注視している画像の表示面１０Ａ上での位置を指し、言い換えれば、表示面１０Ａの全域のうちでユーザＵが注視している位置を指す。本実施形態では、視線情報取得部６２は、ユーザＵの視線の検出結果からユーザＵの輻輳位置を検出し、輻輳位置と重なる位置にある虚像に対応する画像の、表示面１０Ａでの位置を、注視位置として検出する。すなわち例えばユーザＵの輻輳位置が、立体画像における車の虚像に重なっている場合には、その車の画像の表示面１０Ａでの位置が、注視位置とされる。ただし、注視位置の検出方法はそれに限られず、ユーザＵの視線の検出結果から任意の方法で検出してよい。
(Gaze information acquisition unit)
The gaze information acquisition unit 62 controls the
（照射制御部）
照射制御部６４は、画像データに基づき、表示部１０からユーザＵに向けて画像光Ｌを照射させる。本実施形態においては、照射制御部６４は、画像データに基づいて表示パネル１２の各画素を駆動しつつ、光源部１４から光を照射させることで、各画素からユーザＵに向けて画像光Ｌを照射させて、ユーザＵに立体画像を提供する。さらに言えば、照射制御部６４は、画像データに基づいて、表示パネル１２の画素電極毎の印加電圧を制御して液晶素子を配向させつつ、光源部１４から光を照射させる。これにより、光源部１４からの光が液晶層を透過して、立体画像用の画像光ＬとしてユーザＹの眼ＥＹに向けて出射される。なお、例えば表示部１０が自発光式である場合、照射制御部６４は、画像データに基づき各画素を発光させて、各画素から画像光Ｌを照射させる。
(Irradiation control unit)
The irradiation control unit 64 irradiates image light L from the
(焦点位置設定部)
焦点位置設定部６６は、ユーザＵの視線の検出結果に基づき、画像光Ｌの光軸方向（方向Ｚ）におけるレンズ３０の焦点の位置とする設定焦点位置を設定する。さらに言えば、焦点位置設定部６６は、ユーザＵの視線の検出結果と立体画像の奥行き情報とに基づき、設定焦点位置を設定する。以下、設定焦点位置の設定についてより具体的に説明する。
(Focus position setting unit)
Based on the detection result of the line of sight of the user U, the focal position setting unit 66 sets a set focal position that is the focal position of the
図５から図７は、照射タイミングの設定を説明するための模式図である。例えば図５に示すように、表示部１０から出射された画像光Ｌは、所定の開き角をもつ光束として、ユーザＵの眼ＥＹに入射する。この場合、ユーザＵは、この光束の開き角に合うように、眼球の水晶体の厚さを無意識に変えて、網膜に焦点が合うように調節している。輻輳調節矛盾は、左右の眼の輻輳度合い（左右の眼のより度合い）と、光束の開き角に焦点を合わせた状態とが、合致していないことを指す。それに対して、本実施形態の表示装置１は、虚像（輻輳位置）から光が出射されて眼ＥＹに入射したと仮定した場合の開き角である虚像開き角（図５の例では角度θ１Ａ）と、実際に表示部１０から画像光Ｌが出射されて眼ＥＹに入射した場合の画像光Ｌの開き角との差分が小さくなるように、画像光Ｌを出射させる。ここで、画像光Ｌは、レンズ３０を通る際に光束の開き角が変化するため（すなわち屈折するため）、光束の開き角の変化度合いは、レンズ３０の焦点の位置に応じて決まる。従って、焦点位置設定部６６は、虚像開き角と画像光Ｌの開き角との差分が小さくなるレンズ３０の焦点位置を、設定焦点位置として設定する。
5 to 7 are schematic diagrams for explaining the setting of the irradiation timing. For example, as shown in FIG. 5, the image light L emitted from the
より詳しくは、焦点位置設定部６６は、視線情報取得部６２が検出した注視位置における、奥行き情報を取得する。すなわち、焦点位置設定部６６は、注視位置の奥行き方向（Ｚ方向）における位置の情報を取得する。言い換えれば、焦点位置設定部６６は、ユーザＵが注視している虚像のＺ方向における位置の情報を取得する。そして、焦点位置設定部６６は、注視位置における奥行き情報に基づき、設定焦点位置を設定する。焦点位置設定部６６は、注視位置での奥行き方向の位置（ユーザＵが注視している虚像の位置）から眼ＥＹに光が照射された場合の光束の開き角（注視位置からの虚像開き角）に、画像光Ｌの開き角が一致する際の、Ｚ方向におけるレンズ３０の焦点の位置を、設定焦点位置として設定する。ただし、虚像開き角と実際の画像光Ｌの開き角が厳密に一致する位置を、設定焦点位置とすることに限られない。例えば、虚像開き角と実際の画像光Ｌの開き角との差分が所定範囲内となる際のレンズ３０の焦点位置を、設定焦点位置としてよい。ここでの所定範囲は任意に設定してよいが、輻輳調節矛盾を小さくするために、虚像開き角と画像光Ｌの開き角との差分が小さくなるような値に、設定されることが好ましい。また、焦点位置設定部６６は、奥行き方向を量子化した値を、設定焦点位置の設定に用いる注視位置の奥行き方向における位置として用いてよい。すなわち例えば、奥行き方向を複数の数値範囲に区分し、それぞれの数値範囲に対して、その数値範囲内にある所定値を基準位置として設定しておく。そして、焦点位置設定部６６は、取得した注視位置の奥行き方向における位置が含まれる数値範囲を抽出し、その数値範囲に対する基準位置を、設定焦点位置の設定に用いる注視位置の奥行き方向における位置として扱う。
More specifically, the focal position setting unit 66 acquires depth information at the gaze position detected by the line-of-sight information acquisition unit 62. That is, the focal position setting unit 66 acquires information on the position in the depth direction (Z direction) of the gaze position. In other words, the focal position setting unit 66 acquires information on the position in the Z direction of the virtual image on which the user U is gazing. Then, the focal position setting unit 66 sets the set focal position based on the depth information at the gaze position. The focal position setting unit 66 sets the position of the focus of the
駆動制御部６８は、レンズ３０を制御して、レンズ３０の焦点の位置をＺ方向に移動させる。駆動制御部６８は、例えば、レンズ３０が有するアクチュエータに対する電圧の印加を制御することで、レンズ３０の焦点の位置をＺ方向に移動させる。駆動制御部６８は、レンズ３０の焦点のＺ方向の位置を、設定焦点位置に移動させる。そのため、眼ＥＹに入射する画像光Ｌの光束の開き角は、注視位置（ユーザＵが注視している虚像）からの虚像開き角に近くなり、輻輳調節矛盾を小さくすることができる。
The drive control unit 68 controls the
以上説明した設定焦点位置の設定の例を、図５から図７を用いて説明する。以下では、家の画像と車の画像とヘリコプタの画像とが立体画像として表示され、車の画像、家の画像、ヘリコプタの画像の順で、奥行き方向（Ｚ方向）の位置がユーザＵの眼ＥＹから遠くなる場合を例にする。すなわち、車の画像の虚像Ｐ２は、家の画像の虚像Ｐ１よりもＺ１方向側に位置し、ヘリコプタの画像の虚像Ｐ３は、家の画像の虚像Ｐ１よりもＺ２方向側に位置する。 An example of setting the set focal position described above will be described with reference to Figures 5 to 7. In the following, an example will be taken in which an image of a house, an image of a car, and an image of a helicopter are displayed as a stereoscopic image, with the image of the car, the image of the house, and the image of the helicopter being positioned further away from the eye EY of the user U in the depth direction (Z direction) in that order. That is, the virtual image P2 of the car image is located further in the Z1 direction than the virtual image P1 of the house image, and the virtual image P3 of the helicopter image is located further in the Z2 direction than the virtual image P1 of the house image.
図５は、ユーザＵが家の画像の虚像Ｐ１を注視している場合の例である。図５の例では、虚像Ｐ１（注視位置の奥行き方向の位置）から眼ＥＹに光が照射された場合の光束の開き角（注視位置からの虚像開き角）を、角度θ１Ａとする。そして、Ｚ方向におけるレンズ３０の焦点の位置が第１位置である場合に、家の画像を構成する画素からの画像光Ｌの光束の開き角が、角度θ１Ａとなるとする。この場合、第１位置が設定焦点位置となり、焦点位置設定部６６は、レンズ３０の焦点を第１位置に移動させる。これにより、家の画像の虚像Ｐ１からの虚像開き角と、実際にユーザＵの眼ＥＹに入射する画像光Ｌの開き角とが一致し、輻輳調節矛盾を小さくすることができる。なお、本実施形態では、表示パネル１２の全体に光が照射されるため、車の画像の虚像Ｐ２やヘリコプタの画像の虚像Ｐ３もユーザＵに視認される。この場合、虚像Ｐ２、Ｐ３に対する虚像開き角と、実際にユーザＵの眼ＥＹに入射する画像光Ｌの開き角とが一致しないこととなる。しかし、虚像Ｐ２、Ｐ３はユーザＵの注視している領域の範囲外であるためユーザＵへの影響が少なく、ユーザＵの注視している領域の範囲内である虚像Ｐ１の虚像開き角とは一致しているため、ユーザＵへの負担を小さくできる。なお、以上の説明では、虚像開き角と画像光Ｌの開き角が一致する第１位置を設定焦点位置としていたが、それに限られず、虚像開き角と画像光Ｌの開き角との差分が所定範囲となる位置を設定焦点位置としてよい。
5 is an example in which the user U is gazing at a virtual image P1 of a house image. In the example of FIG. 5, the opening angle of the light beam (virtual image opening angle from the gaze position) when light is irradiated from the virtual image P1 (depth direction position of the gaze position) to the eye EY is set to angle θ1A. Then, when the position of the focus of the
図６は、ユーザＵが車の画像の虚像Ｐ２を注視している場合の例である。図６の例では、虚像Ｐ２（車の画像を構成する画素Ｐの奥行き方向の位置）から眼ＥＹに光が照射された場合の光束の開き角（虚像開き角）を、角度θ２Ａとする。そして、Ｚ方向におけるレンズ３０の焦点の位置が第２位置である場合に、車の画像を構成する画素Ｐからの画像光Ｌの光束の開き角が、角度θ２Ａとなるとする。なお、虚像Ｐ２は虚像Ｐ１よりもＺ１方向に視認されるため、角度θ２Ａは図５の角度θ１Ａより大きく、第１位置が焦点である場合よりも第２位置が焦点である場合の方が、レンズ３０による光束の開き角の拡大度合いが大きくなる（又は縮小度合いが小さくなる）。この場合、第２位置が設定焦点位置となり、焦点位置設定部６６は、レンズ３０の焦点を第２位置に移動させる。これにより、車の画像の虚像Ｐ２からの虚像開き角と、実際にユーザＵの眼ＥＹに入射する画像光Ｌの開き角とが一致し、輻輳調節矛盾を小さくすることができる。なお、以上の説明では、虚像開き角と画像光Ｌの開き角が一致する第２位置を設定焦点位置としていたが、それに限られず、虚像開き角と画像光Ｌの開き角との差分が所定範囲となる位置を設定焦点位置としてよい。
Figure 6 is an example of a case where the user U is gazing at a virtual image P2 of a car image. In the example of Figure 6, the opening angle of the light beam (virtual image opening angle) when light is irradiated from the virtual image P2 (the depth direction position of the pixel P constituting the car image) to the eye EY is set to angle θ2A. Then, when the position of the focus of the
図７は、ユーザＵがヘリコプタの画像の虚像Ｐ３を注視している場合の例である。図７の例では、虚像Ｐ３（ヘリコプタの画像を構成する画素Ｐの奥行き方向の位置）から眼ＥＹに光が照射された場合の光束の開き角（虚像開き角）を、角度θ３Ａとする。そして、Ｚ方向におけるレンズ３０の焦点の位置が第３位置である場合に、ヘリコプタの画像を構成する画素Ｐからの画像光Ｌの光束の開き角が、角度θ３Ａとなるとする。なお、虚像Ｐ３は虚像Ｐ１よりもＺ２方向に視認されるため、角度θ３Ａは、図５の角度θ１Ａより小さく、第１位置が焦点である場合よりも第３位置が焦点である場合の方が、レンズ３０による光束の開き角の拡大度合いが小さくなる(又は縮小度合いが大きくなる)。この場合、第３位置が設定焦点位置となり、焦点位置設定部６６は、レンズ３０の焦点を第３位置に移動させる。これにより、車の画像の虚像Ｐ２からの虚像開き角と、実際にユーザＵの眼ＥＹに入射する画像光Ｌの開き角とが近くなり、輻輳調節矛盾を小さくすることができる。この場合、第３位置が設定焦点位置となり、焦点位置設定部６６は、レンズ３０の焦点を第３位置に移動させる。
Figure 7 shows an example in which the user U is gazing at a virtual image P3 of a helicopter image. In the example of Figure 7, the opening angle of the light beam (virtual image opening angle) when light is irradiated from the virtual image P3 (the depth direction position of the pixel P constituting the helicopter image) to the eye EY is set to angle θ3A. When the focal position of the
（処理フロー）
次に、以上説明した制御装置５０の処理フローを説明する。図８は、本実施形態に係る制御装置の処理フローを説明するフローチャートである。制御装置５０は、照射制御部６４により、画像データに基づき表示パネル１２の画素を駆動しつつ、光源部１４から光を照射させる。制御装置５０は、視線情報取得部６２により、ユーザＵの視線の検出結果を取得し（ステップＳ１０）、視線の検出結果に基づき、注視位置を検出する（ステップＳ１２）。そして、制御装置５０は、焦点位置設定部６６により、注視位置の奥行き情報から、設定焦点位置を設定する（ステップＳ１４）。制御装置５０は、駆動制御部６８により、レンズ３０の焦点の位置を、設定焦点位置とする（ステップＳ１６）。処理を終了しない場合は（ステップＳ１８；Ｎｏ）、ステップＳ１０に戻り処理を続け、処理を終了する場合（ステップＳ１８；Ｙｅｓ）、本処理を終了する。
(Processing flow)
Next, the process flow of the
（効果）
以上説明したように、本実施形態に係る表示装置１は、ユーザＵに立体画像を提供するものであって、表示部１０と、レンズ３０と、視線情報取得部６２と、焦点位置設定部６６と、駆動制御部６８とを含む。表示部１０は、複数の画素を含み、画像光ＬをユーザＵに到達させることでユーザＵに立体画像を提供する。視線情報取得部６２は、ユーザＵの視線の検出結果を取得する。焦点位置設定部６６は、ユーザＵの視線の検出結果と立体画像の奥行き方向の位置を示す奥行き情報とに基づき、画像光Ｌの光軸方向におけるレンズ３０の焦点の位置とする設定焦点位置を設定する。駆動制御部６８は、レンズ３０の焦点の位置を設定焦点位置に移動させる。
(effect)
As described above, the
ここで、立体画像を表示する場合には、ユーザに適切に立体画像を提供することが求められている。それに対し、本実施形態においては、ユーザＵの視点と立体画像の奥行き方向の位置とに基づき設定した設定焦点位置に、レンズ３０の焦点位置を移動させる。従って、本実施形態によると、ユーザＵの視線と立体画像の奥行き方向の位置に基づいた適切な光束の開き角でユーザＵに画像光Ｌを到達させることが可能となり、ユーザＵに立体画像を適切に提供できる。さらに言えば、上述のように、立体画像を表示する際には、輻輳調節矛盾が起こる場合がある。それに対して、本実施形態においては、画像光Ｌの光束の開き角を適切に調整して、輻輳調節矛盾を小さくすることができる。
Here, when displaying a stereoscopic image, it is required to provide the user with an appropriate stereoscopic image. In response to this, in this embodiment, the focal position of the
また、視線情報取得部６２は、視線の検出結果に基づき、立体画像のうちでユーザＵが注視している注視位置を検出する。そして、焦点位置設定部６６は、注視位置の奥行き情報に基づき、画像光Ｌの光束の開き角と、注視位置の奥行き方向の位置からユーザＵに向けて画像光Ｌを照射した場合の光束の開き角（注視位置からの虚像開き角）との差分が所定範囲内となるような、画像光Ｌの光軸方向におけるレンズ３０の焦点の位置を、設定焦点位置として設定する。本実施形態によると、画像光Ｌの光束の開き角を、ユーザＵが注視している虚像からの虚像開き角に近づけることができるため、輻輳調節矛盾を適切に小さくすることができる。
The gaze information acquisition unit 62 detects the gaze position in the stereoscopic image at which the user U is gazing, based on the gaze detection result. The focus position setting unit 66 sets, as the set focus position, the position of the focus of the
また、表示装置１は、ヘッドマウントディスプレイである。そのため、ヘッドマウントディスプレイにより立体画像を適切に提供できる。
The
（第２実施形態）
次に、第２実施形態について説明する。第２実施形態においては、レンズ３０の焦点位置を所定周期で変化させる点で、第１実施形態とは異なる。第２実施形態において第１実施形態と構成が共通する箇所は、説明を省略する。
Second Embodiment
Next, a second embodiment will be described. The second embodiment differs from the first embodiment in that the focal position of the
図９は、第２実施形態に係る制御装置の模式的なブロック図である。図９に示すように、第２実施形態に係る制御装置５０ａの制御部５４ａは、画像情報取得部６０と、視線情報取得部６２と、照射制御部６４ａと、タイミング設定部６６ａと、駆動制御部６８ａとを含む。制御部５４ａは、記憶部５２からプログラム（ソフトウェア）を読み出して実行することで、画像情報取得部６０と視線情報取得部６２と照射制御部６４ａとタイミング設定部６６ａと駆動制御部６８ａとを実現して、それらの処理を実行する。なお、制御部５４ａは、１つのＣＰＵによってこれらの処理を実行してもよいし、複数のＣＰＵを備えて、それらの複数のＣＰＵで、処理を実行してもよい。また、画像情報取得部６０と視線情報取得部６２と照射制御部６４ａとタイミング設定部６６ａと駆動制御部６８ａとの少なくとも１つを、ハードウェア回路で実現してもよい。
FIG. 9 is a schematic block diagram of a control device according to the second embodiment. As shown in FIG. 9, the control unit 54a of the control device 50a according to the second embodiment includes an image information acquisition unit 60, a line of sight information acquisition unit 62, an irradiation control unit 64a, a timing setting unit 66a, and a drive control unit 68a. The control unit 54a reads out a program (software) from the
（駆動制御部）
第２実施形態においては、駆動制御部６８ａは、レンズ３０の焦点の位置を、Ｚ方向に沿って所定の周期で移動させる。駆動制御部６８ａは、レンズ３０の焦点の位置がＺ１方向に所定距離移動した後にＺ２方向に所定距離移動するＺ方向の往復移動（振動）を繰り返し行うように、レンズ３０の焦点の位置を移動させる。言い換えれば、駆動制御部６８ａは、レンズ３０の焦点のＺ方向の往復移動を、所定の周期で行わせる。本実施形態では、Ｚ方向の往復移動の周期（焦点がＺ方向において元の位置に戻ってくるまでの時間）は一定であるが、一定であることに限られず、周期を変化させてもよい。
(Drive control unit)
In the second embodiment, the drive control unit 68a moves the position of the focal point of the
（タイミング設定部及び照射制御部）
タイミング設定部６６ａは、光源部１４の光の照射タイミングを設定する。照射制御部６４ａは、タイミング設定部６６ａが設定した照射タイミングで、光源部１４に光を照射させる。タイミング設定部６６ａは、ユーザＵの視線の検出結果と、レンズ３０の焦点のＺ方向（画像光Ｌの光軸方向）における位置とに基づき、照射タイミングを設定する。さらに言えば、タイミング設定部６６ａは、ユーザＵの視線の検出結果と、立体画像の奥行き情報と、レンズ３０の焦点のＺ方向における位置とに基づき、照射タイミングを設定する。以下、タイミング設定部６６ａの設定についてより具体的に説明する。
(Timing setting unit and irradiation control unit)
The timing setting unit 66a sets the timing of emitting light from the
タイミング設定部６６ａは、注視位置からの虚像開き角と画像光Ｌの開き角との差分が小さくなる位置にレンズ３０の焦点が到達したタイミングを、照射タイミングとして設定する。より詳しくは、タイミング設定部６６ａは、視線情報取得部６２が検出した注視位置における、奥行き情報を取得する。すなわち、タイミング設定部６６ａは、注視位置の奥行き方向（Ｚ方向）における位置の情報を取得する。そして、タイミング設定部６６ａは、注視位置の奥行き情報に基づき、光源部１４に光の照射を開始させる際のレンズ３０の焦点の位置である照射位置を設定する。タイミング設定部６６ａは、注視位置での奥行き方向の位置（ユーザＵが注視している虚像の位置）から眼ＥＹに光が照射された場合の光束の開き角（虚像開き角）に、その画素Ｐからレンズ３０を通って眼ＥＹに実際に入射する画像光Ｌの開き角が一致する際の、Ｚ方向におけるレンズ３０の焦点の位置を、照射位置として設定する。そして、タイミング設定部６６ａは、照射位置との距離が所定距離範囲内となる位置にレンズ３０の焦点が到達するタイミングを、照射タイミングとして設定する。ここでの所定距離は任意に設定してよいが、輻輳調節矛盾を小さくするために、注視位置からの虚像開き角と画像光Ｌの開き角との差分が小さくなるような距離に、設定されることが好ましい。
The timing setting unit 66a sets the timing when the focus of the
本実施形態では、タイミング設定部６６ａは、Ｚ方向におけるレンズ３０の焦点の位置の情報を逐次取得し、Ｚ方向におけるレンズ３０の焦点の位置が照射位置に対して所定距離まで近づいたら、照射タイミングとなったと判断する。タイミング設定部６６ａは、Ｚ方向におけるレンズ３０の焦点の位置の情報を任意の方法で取得してよい。例えば、レンズ３０の焦点を所定の周期でＺ方向に往復運動させている場合には、時刻毎のレンズ３０の焦点のＺ方向における位置（予測位置）を把握できる。従って、タイミング設定部６６ａは、時刻情報からレンズ３０の焦点のＺ方向における位置の情報を取得してもよい。この場合、タイミング設定部６６ａは、時刻毎のレンズ３０の焦点の予測位置の情報と照射位置の情報とに基づき、レンズ３０の焦点が照射位置から所定距離に到達する時刻を照射タイミングとして設定し、現在の時刻が照射タイミングに達したら、レンズ３０の焦点が照射位置に到達したと判断して、光源部１４に画像光Ｌを照射させてもよい。
In this embodiment, the timing setting unit 66a sequentially acquires information on the position of the focal point of the
タイミング設定部６６ａは、このようにして照射タイミングを設定する。さらに、タイミング設定部６６ａは、照射タイミングより後のタイミングを照射停止タイミングとして設定する。照射制御部６４ａは、タイミング設定部６６ａによって照射タイミングに到達したと判断されたら、光源部１４に光の照射を開始させる。照射制御部６４ａは、照射タイミングから照射停止タイミングまでの間、光源部１４に光を照射させ、照射停止タイミングに到達したら、光源部１４に光の照射を停止させる。なお、照射停止タイミングは任意に設定してよく、例えば照射タイミングから所定時間後を照射停止タイミングとして設定してもよいし、照射タイミングの直後に、レンズ３０の焦点と照射位置との距離が所定距離範囲外となるタイミングを、照射停止タイミングとして設定してもよい。
The timing setting unit 66a sets the irradiation timing in this manner. Furthermore, the timing setting unit 66a sets a timing after the irradiation timing as the irradiation stop timing. When the timing setting unit 66a determines that the irradiation timing has been reached, the irradiation control unit 64a causes the
第２実施形態では、このように、照射タイミングに到達したら光源部１４に光を照射させ、照射停止タイミングに到達したら光の照射を停止させる。画像光Ｌは、照射タイミングから照射停止タイミングの間に、ユーザＵの眼ＥＹに入射する。従って、眼ＥＹに入射する画像光Ｌの光束の開き角は、注視位置（ユーザＵが注視している虚像）からの虚像開き角に近くなり、輻輳調節矛盾を小さくすることができる。なお、レンズ３０の焦点は、Ｚ方向に往復運動するため、照射位置との距離が所定距離範囲内になることと所定距離範囲外になることとを繰り返す。制御装置５０ａは、レンズ３０の焦点と照射位置との距離が所定距離範囲となる度に、すなわち照射タイミングに到達する度に、光源部１４に光を照射させる。そのため、ユーザＵには、立体画像が動画像として視認される。また、レンズ３０の焦点はＺ方向に往復移動するため、往復移動の１周期で、照射位置との距離が所定距離になるタイミングが２回ある。そのため、レンズ３０の焦点の往復移動の振動数は、立体画像のフレームレートの１／２倍以上にすることが望ましい。ただし、レンズ３０の焦点の往復移動の振動数（周期）は任意に設定してよい。
In the second embodiment, the
（処理フロー）
次に、以上説明した制御装置５０ａの処理フローを説明する。図１０は、本実施形態に係る制御装置の処理フローを説明するフローチャートである。制御装置５０ａは、照射制御部６４ａにより、画像データに基づき表示パネル１２の画素を駆動しつつ、駆動制御部６８ａにより、レンズ３０の焦点を所定周期でＺ方向に往復移動させる。制御装置５０ａは、画素を駆動させつつレンズ３０の焦点を往復移動させながら、視線情報取得部６２により、ユーザＵの視線の検出結果を取得し（ステップＳ２０）、視線の検出結果に基づき、注視位置を検出する（ステップＳ２２）。そして、制御装置５０ａは、タイミング設定部６６ａにより、注視位置の奥行き情報から、照射位置を設定する（ステップＳ２４）。制御装置５０ａは、レンズ３０の焦点のＺ方向における位置を逐次取得し、レンズ３０の焦点が照射位置から所定距離内に到達したかを判断する（ステップＳ２６）。レンズ３０の焦点が照射位置から所定距離内に到達したら（ステップＳ２６；Ｙｅｓ）、タイミング設定部６６ａは、照射タイミングに到達したと判断し、照射制御部６４ａは、光源部１４に光を照射させる（ステップＳ２８）。その後、照射停止タイミングで光の照射を停止させ、処理を終了しない場合は（ステップＳ３０；Ｎｏ）、ステップＳ２０に戻り処理を続ける。一方、レンズ３０の焦点が照射位置から所定距離内に到達していない場合には（ステップＳ２６；Ｎｏ）、ステップＳ２６に戻り、レンズ３０の焦点が照射位置から所定距離内に到達するまで光源部１４に光を照射させない。なお、レンズ３０の焦点が照射位置から所定距離内に到達していない場合、すなわちステップＳ２６でＮｏの場合も、ステップＳ２０に戻ってよい。ステップＳ３０で処理を終了する場合（ステップＳ３０；Ｙｅｓ）、本処理を終了する。
(Processing flow)
Next, the process flow of the control device 50a described above will be described. FIG. 10 is a flowchart for explaining the process flow of the control device according to this embodiment. The control device 50a drives the pixels of the
（効果）
以上説明したように、第２実施形態に係る表示装置１ａは、ユーザＵに立体画像を提供するものであって、表示部１０と、レンズ３０と、視線情報取得部６２と、駆動制御部６８ａと、タイミング設定部６６ａと、照射制御部６４ａとを含む。表示部１０は、複数の画素を含む表示パネル１２と、表示パネル１２に光を照射する光源部１４とを有し、光源部１４から表示パネル１２に照射された光である画像光ＬをユーザＵに到達させることで、ユーザＵに立体画像を提供する。レンズ３０は、画像光Ｌの光軸方向において表示部１０よりもユーザＵ側に設けられ、焦点を変更可能である。視線情報取得部６２は、ユーザＵの視線の検出結果を取得する。駆動制御部６８ａは、レンズ３０の焦点を、画像光Ｌの光軸方向（本実施形態ではＺ方向）に沿って所定の周期で移動させる。タイミング設定部６６ａは、ユーザＵの視線の検出結果と、レンズ３０の焦点の光軸方向（本実施形態ではＺ方向）における位置とに基づき、光源部１４の光の照射タイミングを設定する。照射制御部６４ａは、照射タイミングで、光源部１４に光を照射させる。
(effect)
As described above, the display device 1a according to the second embodiment provides a stereoscopic image to the user U, and includes the
ここで、立体画像を表示する場合には、ユーザに適切に立体画像を提供することが求められている。それに対し、本実施形態においては、レンズ３０の焦点を光軸方向に移動させておき、ユーザＵの視点とレンズ３０の焦点の光軸方向の位置とに基づき、光の照射タイミングを設定する。従って、本実施形態によると、ユーザＵの視点とレンズ３０の焦点の光軸方向の位置とに基づいて、適切なタイミングでユーザＵに画像光Ｌを到達させることが可能となり、ユーザＵに立体画像を適切に提供できる。さらに言えば、本実施形態においては、レンズ３０の焦点を光軸方向に移動させつつ、ユーザＵの視点とレンズ３０の焦点の位置とに基づき、光の照射タイミングを設定することで、画像光Ｌの光束の開き角を適切に調整して、輻輳調節矛盾を小さくすることができる。さらに言えば、本実施形態においては、画像光Ｌの光束の開き角が適切となる位置にレンズ３０の焦点をその都度移動させずに、レンズ３０の焦点は所定周期で移動させておき、画像光Ｌの光束の開き角が適切となるタイミングで光源部１４の光照射を制御している。このように光照射を制御することで、制御遅れが抑制されて、画像光Ｌの光束の開き角を適切に調整できる。
Here, when displaying a stereoscopic image, it is required to provide the user with an appropriate stereoscopic image. In contrast, in this embodiment, the focus of the
また、タイミング設定部６６ａは、立体画像の奥行き方向（本実施形態ではＺ方向）の位置を示す奥行き情報にも基づき、照射タイミングを設定する。本実施形態によると、奥行き情報も用いて照射タイミングを設定するため、表示される立体画像に合わせて画像光Ｌの光束の開き角を適切に調整することが可能となり、輻輳調節矛盾を小さくすることができる。 The timing setting unit 66a also sets the irradiation timing based on depth information indicating the position in the depth direction (Z direction in this embodiment) of the stereoscopic image. According to this embodiment, since the irradiation timing is set using the depth information as well, it is possible to appropriately adjust the opening angle of the light flux of the image light L according to the stereoscopic image to be displayed, and it is possible to reduce the convergence accommodation contradiction.
また、視線情報取得部６２は、視線の検出結果に基づき、立体画像のうちでユーザが注視している注視位置を検出する。タイミング設定部６６ａは、注視位置の奥行き情報に基づき、画像光Ｌの光束の開き角が、注視位置での奥行き方向の位置からユーザＵに向けて画像光Ｌを照射した場合の光束の開き角（虚像開き角）に対応するような、レンズ３０の焦点の光軸方向における位置である、照射位置の情報を取得する。タイミング設定部６６ａは、レンズ３０の焦点が照射位置に対して所定距離範囲内となるタイミングを、照射タイミングとして設定する。本実施形態によると、画像光Ｌの光束の開き角を、ユーザＵが注視している虚像からの虚像開き角に近づけることができるため、輻輳調節矛盾を適切に小さくすることができる。
The gaze information acquisition unit 62 detects the gaze position in the stereoscopic image at which the user is gazing, based on the gaze detection result. The timing setting unit 66a acquires irradiation position information, which is a position in the optical axis direction of the focus of the
（第３実施形態）
次に、第３実施形態について説明する。第３実施形態は、表示部が自発光型である点で、第２実施形態とは異なる。第３実施形態において第２実施形態と構成が共通する箇所は、説明を省略する。
Third Embodiment
Next, a third embodiment will be described. The third embodiment differs from the second embodiment in that the display unit is a self-luminous type. Descriptions of the configurations of the third embodiment and the second embodiment will be omitted.
図１１は、第３実施形態に係る表示装置の各構成の模式図である。図１１に示すように、第３実施形態に係る表示装置１ｂは、表示部１０ｂを有する。なお、表示装置１ｂには、視線検出部４０が設けられてない。表示部１０ｂは、マトリクス状に並び自発光する複数の画素Ｐ（表示素子）を有するディスプレイである。表示部１０ｂが有する各画素Ｐは自発光するため、表示部１０ｂは、画素Ｐ毎に個別に発光（光の照射）の制御が可能である。表示部１０ｂの各画素Ｐは、例えば有機発光ダイオードであってもよいし、無機発光ダイオードであってもよい。第３実施形態においては、表示部１０ｂは、制御装置５０ｂから画素Ｐの光の照射タイミングを制御する制御信号を受信する。また、レンズ３０のアクチュエータは、制御装置５０ｂから、焦点の位置の制御を行う信号を取得する。
Figure 11 is a schematic diagram of each component of the display device according to the third embodiment. As shown in Figure 11, the
図１２は、第３実施形態に係る制御装置の模式的なブロック図である。図１２に示すように、第３実施形態に係る制御装置５０ｂの制御部５４ｂは、画像情報取得部６０と、照射制御部６４ｂと、タイミング設定部６６ｂと、駆動制御部６８ｂとを含む。第３実施形態においては、視線情報取得部６２が含まれない。
Figure 12 is a schematic block diagram of a control device according to the third embodiment. As shown in Figure 12, the control unit 54b of the
（駆動制御部）
駆動制御部６８ｂは、第２実施形態と同様に、レンズ３０の焦点の位置を、Ｚ方向に沿って所定の周期で移動させる。
(Drive control unit)
The drive control unit 68b moves the focal position of the
（タイミング設定部及び照射制御部）
タイミング設定部６６ｂは、画像光Ｌの照射タイミングを、画素Ｐ毎に設定する。照射制御部６４ｂは、画像データに基づき、画素Ｐを制御して画素Ｐに画像光Ｌを照射させる。照射制御部６４ｂは、タイミング設定部６６ｂが設定した画素Ｐ毎の照射タイミングで、画素Ｐ毎に画像光Ｌを照射させる。すなわち、照射制御部６４ｂは、画素Ｐについて設定された照射タイミングで、その画素Ｐに画像光Ｌを照射させる。タイミング設定部６６ｂは、Ｚ方向（画像光Ｌの光軸方向）におけるレンズ３０の焦点の位置に基づき、照射タイミングを設定する。さらに言えば、タイミング設定部６６ｂは、立体画像の奥行き情報と、Ｚ方向におけるレンズ３０の焦点の位置とに基づき、照射タイミングを設定する。以下、より詳しく説明する。
(Timing setting unit and irradiation control unit)
The timing setting unit 66b sets the irradiation timing of the image light L for each pixel P. The irradiation control unit 64b controls the pixel P based on the image data to irradiate the pixel P with the image light L. The irradiation control unit 64b irradiates the pixel P with the image light L at the irradiation timing for each pixel P set by the timing setting unit 66b. That is, the irradiation control unit 64b irradiates the pixel P with the image light L at the irradiation timing set for the pixel P. The timing setting unit 66b sets the irradiation timing based on the position of the focal point of the
タイミング設定部６６ｂは、画素Ｐ毎の奥行き情報を取得する。すなわち、タイミング設定部６６ｂは、画素Ｐ毎の奥行き方向（Ｚ方向）における位置の情報を取得する。そして、タイミング設定部６６ｂは、画素Ｐの奥行き情報に基づき、その画素Ｐに画像光Ｌの照射を開始させる際のレンズ３０の焦点の位置である照射位置を設定する。タイミング設定部６６ｂは、画素Ｐによって表示される立体画像の部分の奥行き方向の位置（その画素Ｐによって形成される虚像の位置）から眼ＥＹに光が照射された場合の光束の開き角（虚像開き角）に、その画素Ｐからレンズ３０を通って眼ＥＹに実際に入射する画像光Ｌの開き角が一致する際の、Ｚ方向におけるレンズ３０の焦点の位置を、その画素Ｐについての照射位置として設定する。そして、タイミング設定部６６ｂは、照射位置との距離が所定距離範囲内となる位置にレンズ３０の焦点が到達するタイミングを、その画素Ｐについての照射タイミングとして設定する。タイミング設定部６６ｂは、画素Ｐ毎に照射位置を設定し、画素Ｐ毎に照射タイミングを設定する。このように、タイミング設定部６６ｂは、画素Ｐ毎に照射位置や照射タイミングを設定するが、画素Ｐ毎に照射位置や照射タイミングが異なることに限られず、例えば１つの画像を構成する一群の画素Ｐ（例えば図５の家の画像を表示する一群の画素Ｐなど）の照射位置や照射タイミングを、同じに設定してよい。
The timing setting unit 66b acquires depth information for each pixel P. That is, the timing setting unit 66b acquires information on the position in the depth direction (Z direction) for each pixel P. Then, based on the depth information of the pixel P, the timing setting unit 66b sets the irradiation position, which is the position of the focus of the
なお、第３実施形態では、画素Ｐ毎に照射タイミングを設定するため、１フレームでは一部の画素Ｐしか点灯しない場合もあり、例えば図５のタイミングでは家の画像のみが表示され、図６のタイミングでは車の画像のみが表示され、図７のタイミングではヘリコプタの画像のみが表示される。ただし、複数フレームを連続させることによる残像効果で、ユーザＵには家、車、ヘリコプタの一つの画像に写っていると認識される。また、１フレームの表示時間内で画像全体（ここでは家、車、ヘリコプタの全て）を表示する構成にしてもよい。この場合、駆動制御部６８ｂは、１フレームの表示時間内でレンズ３０の焦点の位置を少なくとも往復移動の半周期分移動させればよい。これにより、１フレームの表示時間内で、往復移動内における全ての焦点の位置を網羅することができ、画像全体を表示することが可能となる。
In the third embodiment, since the illumination timing is set for each pixel P, in one frame, only some of the pixels P may be lit. For example, only the image of the house is displayed at the timing of FIG. 5, only the image of the car is displayed at the timing of FIG. 6, and only the image of the helicopter is displayed at the timing of FIG. 7. However, due to the afterimage effect caused by consecutively displaying multiple frames, the user U recognizes that he or she is in a single image of the house, car, and helicopter. Also, the entire image (here, all of the house, car, and helicopter) may be displayed within the display time of one frame. In this case, the drive control unit 68b only needs to move the focal position of the
（処理フロー）
次に、以上説明した制御装置５０ｂの処理フローを説明する。図１３は、本実施形態に係る制御装置の処理フローを説明するフローチャートである。制御装置５０ｂは、駆動制御部６８ｂにより、レンズ３０の焦点の位置を所定周期でＺ方向に往復移動させる。制御装置５０ｂは、タイミング設定部６６ｂにより、画素Ｐ毎の奥行き情報から、画素Ｐ毎の照射位置を設定する（ステップＳ４０）。制御装置５０ｂは、レンズ３０の焦点のＺ方向における位置を逐次取得し、レンズ３０の焦点が照射位置から所定距離内に到達したかを、画素Ｐ毎に判断する（ステップＳ４２）。レンズ３０の焦点が照射位置から所定距離内に到達したら（ステップＳ４２；Ｙｅｓ）、すなわちレンズ３０の焦点が照射位置から所定距離内に到達したと判断される画素Ｐがある場合には、タイミング設定部６６ｂは、その画素Ｐが照射タイミングに到達したと判断し、照射制御部６４ｂは、画像データに基づき、その画素Ｐに画像光Ｌを照射させる（ステップＳ４４）。その後、照射停止タイミングで画像光Ｌの照射を停止させ、処理を終了しない場合は（ステップＳ４６；Ｎｏ）、ステップＳ４０に戻り処理を続ける。一方、レンズ３０の焦点が照射位置から所定距離内に到達していない場合には（ステップＳ４２；Ｎｏ）、すなわちレンズ３０の焦点が照射位置から所定距離内に到達したと判断される画素Ｐが無い場合には、ステップＳ４２に戻り、レンズ３０の焦点が照射位置から所定距離内に到達するまで画素Ｐに光を照射させない。ステップＳ４６で処理を終了する場合（ステップＳ４６；Ｙｅｓ）、本処理を終了する。
(Processing flow)
Next, the process flow of the
（効果）
以上説明したように、第３実施形態に係る表示装置１ｂは、ユーザＵに立体画像を提供するものであって、表示部１０と、レンズ３０と、駆動制御部６８ｂと、タイミング設定部６６ｂと、照射制御部６４ｂとを含む。表示部１０は、自発光する複数の画素Ｐを含み、画素Ｐからの画像光ＬをユーザＵに到達させることで、ユーザＵに立体画像を提供する。レンズ３０は、画像光Ｌの光軸方向において表示部１０よりもユーザＵ側に設けられ、焦点を変更可能である。駆動制御部６８ｂは、レンズ３０の焦点の位置を、画像光Ｌの光軸方向（本実施形態ではＺ方向）に沿って所定の周期で移動させる。タイミング設定部６６ｂは、レンズ３０の焦点の光軸方向（本実施形態ではＺ方向）における位置に基づき、画像光Ｌの照射タイミングを画素Ｐ毎に設定する。照射制御部６４ｂは、照射タイミングで、画素Ｐに画像光Ｌを照射させる。
(effect)
As described above, the
ここで、立体画像を表示する場合には、ユーザに適切に立体画像を提供することが求められている。それに対し、本実施形態においては、レンズ３０の焦点を光軸方向に移動させておき、焦点の位置に基づき、画像光Ｌの照射タイミングを設定する。従って、本実施形態によると、焦点の光軸方向の位置に基づいた適切なタイミングでユーザＵに画像光Ｌを到達させることが可能となり、ユーザＵに立体画像を適切に提供できる。さらに言えば、上述のように、立体画像を表示する際には、輻輳調節矛盾が起こる場合がある。それに対して、本実施形態においては、レンズ３０の焦点を光軸方向に移動させつつ、焦点の光軸方向の位置に基づき、画像光Ｌの照射タイミングを設定することで、画像光Ｌの光束の開き角を適切に調整して、輻輳調節矛盾を小さくすることができる。
Here, when displaying a stereoscopic image, it is required to provide the user with an appropriate stereoscopic image. In this embodiment, the focus of the
また、タイミング設定部６６ｂは、立体画像の奥行き方向（本実施形態ではＺ方向）の位置を示す奥行き情報にも基づき、照射タイミングを設定する。本実施形態によると、奥行き情報も用いて照射タイミングを設定するため、表示される立体画像に合わせて画像光Ｌの光束の開き角を適切に調整することが可能となり、輻輳調節矛盾を小さくすることができる。 The timing setting unit 66b also sets the irradiation timing based on depth information indicating the position in the depth direction (Z direction in this embodiment) of the stereoscopic image. According to this embodiment, since the irradiation timing is set using the depth information as well, it is possible to appropriately adjust the opening angle of the light flux of the image light L according to the stereoscopic image to be displayed, and it is possible to reduce the convergence accommodation contradiction.
また、タイミング設定部６６ｂは、画素Ｐからの画像光Ｌの光束の開き角が、その画素Ｐによって表示される立体画像の部分での奥行き方向の位置からユーザＵに向けて画像光Ｌを照射した場合の光束の開き角（虚像開き角）に対応するような、レンズ３０の焦点の光軸方向における位置である、照射位置の情報を取得する。タイミング設定部６６ｂは、レンズ３０の焦点が照射位置に対して所定距離範囲内となるタイミングを、その画素Ｐについての照射タイミングとして設定する。本実施形態によると、光束の開き角と虚像開き角とが近い画素Ｐに発光させて、光束の開き角と虚像開き角とが遠い画素Ｐに発光させないことが可能となるため、輻輳調節矛盾を適切に小さくすることができる。
The timing setting unit 66b also acquires information on the irradiation position, which is the position in the optical axis direction of the focus of the
（変形例）
次に、変形例について説明する。変形例に係る表示装置１ｃは、接眼レンズ２０の替わりに凹面鏡２０Ｃでディスプレイを拡大する点で、第１実施形態とは異なる。変形例において第１実施形態と構成が共通する箇所は、説明を省略する。
(Modification)
Next, a modified example will be described. The display device 1c according to the modified example differs from the first embodiment in that the display is enlarged by a
図１４は、変形例に係る表示装置の模式図である。図１４に示すように、変形例に係る表示装置１ｃは、接眼レンズ２０が設けられておらず、画像光Ｌの光軸方向において表示部１０よりもユーザＵの眼ＥＹ側に、ハーフミラー２０Ｂと凹面鏡２０Ｃとが設けられている。ハーフミラー２０Ｂと凹面鏡２０Ｃも、光学素子であるといえる。変形例においては、表示部１０から出射された画像光Ｌは、ハーフミラー２０Ｂで反射されて凹面鏡２０Ｃに入射する。凹面鏡２０Ｃに入射した画像光Ｌは、凹面鏡２０Ｃで若干の広がり角を持ちつつほぼ平行光になって、ハーフミラー２０Ｂを透過してユーザＵの眼ＥＹに入射する。
Figure 14 is a schematic diagram of a display device according to a modified example. As shown in Figure 14, the display device 1c according to the modified example does not have an
変形例においては、第１実施形態と同様にレンズ３０の焦点位置を制御する。そのため、変形例のような構成であっても、第１実施形態と同様に、ユーザＵに立体画像を適切に提供でき、画像光Ｌの光束の開き角を適切に調整して、輻輳調節矛盾を小さくすることができる。
In the modified example, the focal position of the
なお、変形例は、第２実施形態及び第３実施形態にも適用可能である。また、表示装置の構成は、各実施形態や図１２で挙げた変形例以外のものであってもよい。 The modified example can also be applied to the second and third embodiments. The configuration of the display device may be other than those of each embodiment or the modified example shown in FIG. 12.
以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能であり、各実施形態の構成を組み合わせることも可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。 Although the embodiments of the present invention have been described above, the contents of these embodiments do not limit the embodiments. The above-mentioned components include those that a person skilled in the art can easily imagine, those that are substantially the same, and those that are within the so-called equivalent range. Furthermore, the above-mentioned components can be combined as appropriate, and the configurations of each embodiment can also be combined. Furthermore, various omissions, substitutions, or modifications of the components can be made without departing from the spirit of the above-mentioned embodiments.
１ 表示装置
１０ 表示部
２０ 接眼レンズ
３０ レンズ
５０ 制御装置
６０ 画像情報取得部
６２ 視線情報取得部
６４ 照射制御部
６６ 焦点位置設定部
６８ 駆動制御部
Ｌ 画像光
Ｕ ユーザ
REFERENCE SIGNS
Claims (3)
前記表示部よりも前記ユーザ側に設けられ、焦点を変更可能なレンズと、
前記ユーザの視線の検出結果を取得する視線情報取得部と、
前記ユーザの視線の検出結果と前記画像の奥行き方向の位置を示す奥行き情報とに基づき、前記レンズの焦点を設定する焦点位置設定部と、
を含み、
前記視線情報取得部は、前記視線の検出結果に基づき、前記画像のうちで前記ユーザが注視している注視位置を検出し、
前記焦点位置設定部は、前記注視位置の奥行き情報に基づき、前記光の光束の開き角と、前記注視位置での奥行き方向の位置から前記ユーザに向けて前記光を照射した場合の光束の開き角との差分が所定範囲内となる前記レンズの焦点の位置を、前記レンズの焦点の位置として設定し、
前記レンズの焦点の位置を、所定の周期で移動させる駆動制御部と、前記レンズの焦点の位置に基づき、前記光の照射タイミングを、画素毎に設定するタイミング設定部と、
をさらに含む、
表示装置。 A display unit that provides an image to a user by emitting light;
a lens that is provided closer to the user than the display unit and has a variable focus;
a gaze information acquisition unit for acquiring a detection result of the user's gaze;
a focal position setting unit that sets a focal point of the lens based on a detection result of the user's line of sight and depth information indicating a position in a depth direction of the image;
Including,
The line-of-sight information acquisition unit detects a gaze position at which the user is gazing in the image based on a result of the line-of-sight detection,
the focal position setting unit sets, based on depth information of the gaze position, a focal position of the lens such that a difference between an opening angle of a luminous flux of the light and an opening angle of a luminous flux when the light is irradiated from a position in a depth direction at the gaze position toward the user falls within a predetermined range; and
a drive control unit that moves a focal position of the lens at a predetermined cycle; and a timing setting unit that sets the irradiation timing of the light for each pixel based on the focal position of the lens;
Further comprising:
Display device.
前記ユーザの視線の検出結果を取得する視線情報取得ステップと、
前記ユーザの視線の検出結果と前記画像の奥行き方向の位置を示す奥行き情報とに基づき、前記表示部よりも前記ユーザ側に設けられ焦点を変更可能なレンズの焦点を設定する焦点位置設定ステップと、
を含み、
前記視線情報取得ステップにおいては、前記視線の検出結果に基づき、前記画像のうちで前記ユーザが注視している注視位置を検出し、
前記焦点位置設定ステップにおいては、前記注視位置の奥行き情報に基づき、前記光の光束の開き角と、前記注視位置での奥行き方向の位置から前記ユーザに向けて前記光を照射した場合の光束の開き角との差分が所定範囲内となる前記レンズの焦点の位置を、前記レンズの焦点の位置として設定し、
前記レンズの焦点の位置を、所定の周期で移動させるステップと、
前記レンズの焦点の位置に基づき、前記光の照射タイミングを、画素毎に設定するステップと、
をさらに含む、
表示制御方法。 a display step of providing an image to a user by irradiating light from a display unit;
A gaze information acquisition step of acquiring a detection result of the user's gaze;
a focus position setting step of setting a focus of a lens that is provided on the user side of the display unit and has a variable focus based on a detection result of the line of sight of the user and depth information indicating a position in a depth direction of the image;
Including,
In the line-of-sight information acquisition step, a gaze position at which the user is gazing in the image is detected based on a result of the line-of-sight detection,
In the focal position setting step, a difference between an opening angle of a luminous flux of the light and an opening angle of a luminous flux when the light is irradiated from a depth direction position at the gaze position toward the user is within a predetermined range based on depth information of the gaze position, and
moving the focal position of the lens at a predetermined period;
setting the light irradiation timing for each pixel based on a focal position of the lens;
Further comprising:
Display control method.
前記ユーザの視線の検出結果を取得する視線情報取得ステップと、
前記ユーザの視線の検出結果と前記画像の奥行き方向の位置を示す奥行き情報とに基づき、前記表示部よりも前記ユーザ側に設けられ焦点を変更可能なレンズの焦点を設定する焦点位置設定ステップと、
を、コンピュータに実行させ、
前記視線情報取得ステップにおいては、前記視線の検出結果に基づき、前記画像のうちで前記ユーザが注視している注視位置を検出し、
前記焦点位置設定ステップにおいては、前記注視位置の奥行き情報に基づき、前記光の光束の開き角と、前記注視位置での奥行き方向の位置から前記ユーザに向けて前記光を照射した場合の光束の開き角との差分が所定範囲内となる前記レンズの焦点の位置を、前記レンズの焦点の位置として設定し、
前記レンズの焦点の位置を、所定の周期で移動させるステップと、
前記レンズの焦点の位置に基づき、前記光の照射タイミングを、画素毎に設定するステップと、
をさらに含む、
表示制御プログラム。 a display step of providing an image to a user by irradiating light from a display unit;
A gaze information acquisition step of acquiring a detection result of the user's gaze;
a focus position setting step of setting a focus of a lens that is provided on the user side of the display unit and has a variable focus based on a result of the detection of the user's line of sight and depth information indicating a position in a depth direction of the image;
The computer executes the following:
In the line-of-sight information acquisition step, a gaze position at which the user is gazing in the image is detected based on a result of the line-of-sight detection,
In the focal position setting step, a difference between an opening angle of a luminous flux of the light and an opening angle of a luminous flux when the light is irradiated from a depth direction position at the gaze position toward the user is within a predetermined range based on depth information of the gaze position, and
moving the focal position of the lens at a predetermined period;
setting the light irradiation timing for each pixel based on a focal position of the lens;
Further comprising:
Display control program.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021046052A JP7604966B2 (en) | 2021-03-19 | 2021-03-19 | Display device, display control method, and display control program |
| PCT/JP2022/012769 WO2022196809A1 (en) | 2021-03-19 | 2022-03-18 | Display device, display control method, and display control program |
| US18/464,301 US12574494B2 (en) | 2021-03-19 | 2023-09-11 | Display device, display control method, and computer-readable storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021046052A JP7604966B2 (en) | 2021-03-19 | 2021-03-19 | Display device, display control method, and display control program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022144863A JP2022144863A (en) | 2022-10-03 |
| JP7604966B2 true JP7604966B2 (en) | 2024-12-24 |
Family
ID=83454646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021046052A Active JP7604966B2 (en) | 2021-03-19 | 2021-03-19 | Display device, display control method, and display control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7604966B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4322526A4 (en) | 2021-06-22 | 2024-10-09 | Samsung Electronics Co., Ltd. | AUGMENTED REALITY DEVICE COMPRISING A VARIABLE FOCAL LENS AND METHOD OF OPERATING THE SAME |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003334221A (en) | 2002-05-20 | 2003-11-25 | Nikon Corp | Image display device and eye fatigue eliminating device |
| JP2017515162A (en) | 2014-03-05 | 2017-06-08 | アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ | Wearable 3D augmented reality display |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06235885A (en) * | 1993-02-08 | 1994-08-23 | Nippon Hoso Kyokai <Nhk> | Stereoscopic picture display device |
| JP3556389B2 (en) * | 1996-05-01 | 2004-08-18 | 日本電信電話株式会社 | Head mounted display device |
-
2021
- 2021-03-19 JP JP2021046052A patent/JP7604966B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003334221A (en) | 2002-05-20 | 2003-11-25 | Nikon Corp | Image display device and eye fatigue eliminating device |
| JP2017515162A (en) | 2014-03-05 | 2017-06-08 | アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ | Wearable 3D augmented reality display |
Non-Patent Citations (2)
| Title |
|---|
| HU, Xinda , et al.，High-resolution optical see-through multi-focal-plane head-mounted display using freeform optics，Optics Express，米国，2014年，Vol.22, No.11，13896-13903，DOI: 10.1364/OE.22.013896 |
| 陶山史朗，液晶可変焦点レンズを利用した体積型三次元表示，光学，日本，2011年，第４０巻、第１２号，６１６－６２１ |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022144863A (en) | 2022-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12183310B2 (en) | Depth based foveated rendering for display systems | |
| US12189128B2 (en) | Depth based foveated rendering for display systems | |
| CN114868069B (en) | Predictive eye tracking system and method with foveal rendering of electronic displays | |
| JP2023027369A (en) | Operable foveal display | |
| US20130286053A1 (en) | Direct view augmented reality eyeglass-type display | |
| US12574494B2 (en) | Display device, display control method, and computer-readable storage medium | |
| JP7604966B2 (en) | Display device, display control method, and display control program | |
| JP7600802B2 (en) | Display device, display control method, and display control program | |
| JP7567594B2 (en) | Display device, display control method, and display control program | |
| JP7848912B2 (en) | Display device, display control method, and display control program | |
| JP7567593B2 (en) | Display device, display control method, and display control program | |
| JP7604965B2 (en) | Display device, display control method, and display control program | |
| JP7604967B2 (en) | Display device, display control method, and display control program | |
| KR20210070799A (en) | Apparatus for display |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240723 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240924 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241112 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241125 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7604966 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |