JP7790863B2 - Display System - Google Patents
Display SystemInfo
- Publication number
- JP7790863B2 JP7790863B2 JP2020099253A JP2020099253A JP7790863B2 JP 7790863 B2 JP7790863 B2 JP 7790863B2 JP 2020099253 A JP2020099253 A JP 2020099253A JP 2020099253 A JP2020099253 A JP 2020099253A JP 7790863 B2 JP7790863 B2 JP 7790863B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- marker
- display area
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、映像を表示していないときに透明となる映像表示領域に映像を表示するディスプレイを用いる表示システムに関するものである。 The present invention relates to a display system that uses a display that displays images in an image display area that is transparent when no images are being displayed.
映像を表示していないときに透明となる映像表示領域に映像を表示するディスプレイとしては、有機ＥＬ（Electoro Luminescence）を用いた透明ディスプレイ（たとえば、特許文献１）や、コーナーリフレクタを用いた空中ディスプレイ（たとえば、特許文献２、３）等が知られている。 Known examples of displays that display images in an image display area that is transparent when not displaying an image include transparent displays that use organic electroluminescence (EL) (e.g., Patent Document 1) and aerial displays that use corner reflectors (e.g., Patent Documents 2 and 3).
また、映像を表示していないときに透明となる映像表示領域に映像を表示するディスプレイを用いる表示システムとしては、透明ディスプレイを自動車の、ドライバから見てフロントウインドシールドに重なる位置に配置し、透明ディスプレイを用いて、自動車前方の風景に重なるように各種情報を表示する表示システムが知られている(たとえば、特許文献４）。 Another known display system uses a display that displays images in an image display area that is transparent when not displaying an image. This system places a transparent display in a position that overlaps the front windshield as seen by the driver, and uses the transparent display to display various information superimposed on the scenery ahead of the vehicle (see, for example, Patent Document 4).
透明ディスプレイや空中ディスプレイなどの映像を表示していないときに透明となる映像表示領域に映像を表示するディスプレイを用いる場合、映像が表示される映像表示領域は、映像を表示していないときには視認する対象が存在しない状態となる。 When using a display that displays images in an image display area that is transparent when not displaying an image, such as a transparent display or aerial display, the image display area in which the image is displayed will be in a state where there is no object to be viewed when the image is not being displayed.
このため、映像の表示を開始すると、何もない空間に映像が突如現れることとなり、ユーザの目が映像に合焦して良好に視認できるようになるまでに時間を要すると共に、良好に視認できるようになるまでの間、ユーザの注意が乱れてしまうことがある。 As a result, when an image starts to be displayed, it suddenly appears in an empty space, and it takes time for the user's eyes to focus on the image and become able to see it clearly, and the user's attention may be distracted until they can see it clearly.
そこで、本発明は、映像を表示していないときに透明となる映像表示領域に映像を表示するディスプレイを用いる表示システムにおいて、映像の表示開始後にユーザが速やかに映像を良好に視認できるようにすることを課題とする。 The present invention aims to provide a display system that uses a display that displays images in an image display area that is transparent when no images are being displayed, allowing the user to quickly and clearly view the image after the image starts to be displayed.
前記課題達成のために、本発明は、所定の映像表示領域に映像を表示する、当該映像を表示していないときに前記映像表示領域が透明となるディスプレイを用いる表示システムに、前記映像表示領域の近傍に配置されたマーカーと、ユーザの注視位置を検出する注視点検出手段と、前記ディスプレイの映像の表示を制御する映像表示制御手段とを備えたものである。ここで、前記映像表示制御手段は、前記ディスプレイが映像を表示していないときに、前記ユーザが前記マーカーを注視していることを表す注視位置を前記注視点検出手段が検出したときに、前記ディスプレイを用いた前記映像表示領域への映像の表示を開始する。 To achieve the above object, the present invention provides a display system that uses a display that displays an image in a predetermined image display area, the image display area being transparent when the image is not being displayed, and that includes a marker placed near the image display area, a gaze point detection means for detecting the user's gaze position, and an image display control means for controlling the display of the image on the display. Here, when the display is not displaying an image, the image display control means begins displaying the image in the image display area using the display when the gaze point detection means detects a gaze position that indicates that the user is gazing at the marker.
ここで、この表示システムは、前記マーカーを、発光体としてもよい。
このような表示システムによれば、ユーザがマーカーを注視すると、おおよそディスプレイの映像表示領域に目の焦点が合うので、ユーザは、マーカーの注視に応答して行われるディスプレイの表示の開始後、表示された映像に速やかに焦点を合わせて、その視認を行うことができる。
Here, in this display system, the marker may be an illuminant.
With such a display system, when a user gazes at a marker, their eyes focus roughly on the image display area of the display, so that after the display begins to display in response to the user's gaze at the marker, the user can quickly focus on the displayed image and view it.
また、前記課題達成のために、本発明は、所定の映像表示領域に映像を表示する、当該映像を表示していないときに前記映像表示領域が透明となるディスプレイを用いる表示に、前記映像表示領域の近傍に配置された発光の有無を制御可能な発光体であるマーカーと、ユーザの注視位置を検出する注視点検出手段と、前記ディスプレイの映像の表示を制御する映像表示制御手段とを備えたものである。ここで、前記映像表示制御手段は、前記マーカーが発光しておらず、前記ディスプレイが映像を表示していない状態で、前記ディスプレイを用いた前記映像表示領域への映像の表示を開始する際に、前記マーカーを発光させ、その後、前記ユーザが前記マーカーを注視していることを表す注視位置を前記注視点検出手段が検出するのを待って、前記ディスプレイを用いた前記映像表示領域への映像の表示を開始する。 Furthermore, to achieve the above object, the present invention provides a display that displays an image in a predetermined image display area, the image display area of which is transparent when the image is not being displayed, and that includes a marker that is an illuminant positioned near the image display area and whose emission can be controlled; a gaze point detection means that detects the user's gaze position; and an image display control means that controls the display of the image on the display. Here, when starting to display an image in the image display area using the display while the marker is not emitting light and the display is not displaying an image, the image display control means causes the marker to emit light, and then waits for the gaze point detection means to detect a gaze position that indicates that the user is gazing at the marker before starting to display the image in the image display area using the display.
このような表示システムによれば、映像の表示を開始する際にマーカーを発光させてユーザのマーカーの注視を促し、ユーザがマーカーを注視したならば映像の表示を開始する。ユーザがマーカーを注視すると、おおよそディスプレイの映像表示領域に、目の焦点が合うので、ユーザは、このようにマーカーの注視に応答して行われるディスプレイの表示の開始後、表示された映像に速やかに焦点を合わせて、その視認を行うことができる。 With this type of display system, when the image starts to be displayed, the marker is illuminated to prompt the user to gaze at the marker, and once the user gazes at the marker, the image starts to be displayed. When the user gazes at the marker, their eyes generally focus on the image display area of the display, so once the display starts to display in response to the user's gaze at the marker, the user can quickly focus on the displayed image and view it.
ここで、以上の表示システムは、前記映像表示制御手段において、前記ディスプレイを用いた前記映像表示領域への映像の表示の開始時に、前記映像表示領域の前記マーカーに近い位置から前記マーカーに対して遠ざかる方向に向かって所定の表示位置まで映像がせり出していくように映像を表示するように構成してもよい。 Here, the above display system may be configured such that, when the display starts displaying an image in the image display area using the display, the image is displayed so that the image protrudes from a position close to the marker in the image display area in a direction away from the marker to a predetermined display position.
このようにすることにより、マーカーから表示される映像へ、焦点や視認対象をスムーズに移行することができる。
ここで、以上の表示システムは自動車に搭載された表示システムであって良く、この場合、前記ユーザを、前記自動車のドライバとし、前記ディスプレイを、前記自動車のダッシュボード上に配置された、映像を表示していないときに透明体となる透明ディスプレイとし、前記マーカーを、透明ディスプレイの不透明な枠や、前記透明ディスプレイの上もしくは左右の側面に固定されている発光体としてよい。
By doing so, the focus and the visual target can be smoothly shifted from the marker to the displayed image.
Here, the above display system may be a display system installed in an automobile, in which case the user may be the driver of the automobile, the display may be a transparent display placed on the dashboard of the automobile that is transparent when not displaying an image, and the marker may be an opaque frame of the transparent display or an illuminant fixed to the top or left and right sides of the transparent display.
または、自動車に搭載された表示システムとする場合に、前記ユーザを、前記自動車のドライバとし、前記ディスプレイを、前記自動車のダッシュボードの直ぐ上の空間を前記映像表示領域として映像を表示する空中ディスプレイとし、前記マーカーを、前記ダッシュボードの上の前記映像表示領域の下辺近くの位置に配置してもよい。 Alternatively, in the case of a display system mounted on a vehicle, the user may be the driver of the vehicle, the display may be an aerial display that displays images in the space directly above the vehicle's dashboard as the image display area, and the marker may be positioned near the bottom edge of the image display area above the dashboard.
また、本発明は、併せて、自動車に搭載された表示システムとして、前記自動車のダッシュボード上に配置された、映像を表示していないときに透明体となる透明ディスプレイと、前記透明ディスプレイの上もしくは左右の側面に固定された発光体であるマーカーとを有する表示システムを提供する。 The present invention also provides a display system mounted on an automobile, which includes a transparent display placed on the dashboard of the automobile and which is transparent when not displaying an image, and markers that are light-emitting bodies fixed above or to the left and right sides of the transparent display.
また、本発明は、併せて、自動車に搭載された表示システムとして、前記自動車のダッシュボードの直ぐ上の空間に映像を表示する空中ディスプレイと、前記ダッシュボードの上の、前記空中ディスプレイが映像を表示する領域である映像表示領域の下辺近くの位置に配置されたマーカーとを有する表示システムを提供する。ここで、この表示システムにおいて、前記マーカーは、発光体としてもよい。 The present invention also provides a display system mounted on an automobile, which includes an aerial display that displays an image in the space immediately above the dashboard of the automobile, and a marker positioned above the dashboard near the bottom edge of the image display area in which the aerial display displays an image. In this display system, the marker may be an illuminant.
これらのような表示システムにおいても、ユーザはマーカーを目安として、表示される映像に速やかに合焦して映像を良好に視認できるようになる。 Even with these display systems, users can use the marker as a guide to quickly focus on the displayed image and view it clearly.
以上のように、本発明によれば、映像を表示していないときに透明となる映像表示領域に映像を表示するディスプレイを用いる表示システムにおいて、映像の表示開始後にユーザが速やかに映像を良好に視認できるようになる。 As described above, according to the present invention, in a display system that uses a display that displays an image in an image display area that is transparent when no image is being displayed, the user can quickly and clearly view the image after the image begins to be displayed.
以下、本発明の実施形態について説明する。
まず、第１の実施形態について説明する。
図１に、本第１実施形態に係る表示システムの構成を示す。
表示システムは、自動車に搭載されるシステムであり、車内カメラ１、ＤＭＳ２（Driver Monitoring System２）、空中ディスプレイ３、マーカー４、周辺装置５、データ処理装置６を備えている。周辺装置５は、たとえば、入力装置や、記憶装置や、自動車前方を撮影する前方カメラや、周辺の物体を検出するレーダ装置等である。
Hereinafter, an embodiment of the present invention will be described.
First, the first embodiment will be described.
FIG. 1 shows the configuration of a display system according to the first embodiment.
The display system is a system mounted on an automobile, and includes an in-car camera 1, a DMS 2 (Driver Monitoring System 2), an aerial display 3, a marker 4, peripheral devices 5, and a data processing device 6. The peripheral devices 5 are, for example, an input device, a storage device, a forward camera that captures images in front of the automobile, a radar device that detects surrounding objects, etc.
車内カメラ１は、図２に示すように自動車車室内の運転席前方に配置された近赤外線カメラであり、当該位置よりドライバの映像を撮影する。
そして、ＤＭＳ２は、車内カメラ１で撮影した映像よりドライバの眼球の位置と向きを認識してドライバが見ている位置である注視点を算出する。
空中ディスプレイ３は、データ処理装置６が表示出力に用いる表示装置であり、図３ａに示すように、ダッシュボード内に搭載され、図３ｂに示すように、ダッシュボードの天板上方の空中の映像表示領域３００中に、ドライバから見て自動車前方の風景に重なるように映像を表示する。
The in-vehicle camera 1 is a near-infrared camera placed in front of the driver's seat inside the vehicle cabin as shown in FIG. 2, and captures an image of the driver from that position.
The DMS 2 recognizes the position and direction of the driver's eyes from the image captured by the in-vehicle camera 1 and calculates the gaze point, which is the position where the driver is looking.
The aerial display 3 is a display device used by the data processing device 6 for display output, and is mounted inside the dashboard as shown in Figure 3a. As shown in Figure 3b, the aerial display 3 displays an image in an aerial image display area 300 above the top panel of the dashboard so that the image is superimposed on the scenery in front of the vehicle as seen by the driver.
ここで、映像表示領域３００は、自動車のおおよそ前後方向を法線とする四角形の平面であり、映像表示領域３００の下辺は、おおよそダッシュボードの天板の上面上を延びるように設定されている。 Here, the image display area 300 is a rectangular plane whose normal is roughly in the longitudinal direction of the vehicle, and the bottom edge of the image display area 300 is set to extend roughly above the top surface of the dashboard top panel.
また、空中ディスプレイ３が映像を表示していないときには、図３ａに示すように、ダッシュボードの天板上方の空中は空となり視認する対象が存在しない状態となる。
空中ディスプレイ３は、たとえば、図３ｃに示すように、映像を表示するディスプレイ３１、ビームスプリッタ３２、リフレクタ３３で構成することができる。ディスプレイ３１が表示した像３１０は、ビームスプリッタ３２でリフレクタ３３に向かって反射し、リフレクタ３３は、ビームスプリッタ３２から入射した光をビームスプリッタ３２に再帰反射する。そして、ビームスプリッタ３２を透過した光が集まって空中に映像３２０が表示される。
Furthermore, when the aerial display 3 is not displaying an image, the space above the top of the dashboard is empty, and there is nothing to be seen, as shown in Figure 3a.
As shown in Fig. 3c, the aerial display 3 can be composed of a display 31 that displays an image, a beam splitter 32, and a reflector 33. The image 310 displayed by the display 31 is reflected by the beam splitter 32 toward the reflector 33, and the reflector 33 retro-reflects the light incident from the beam splitter 32 back to the beam splitter 32. Then, the light that has passed through the beam splitter 32 is gathered together to display an image 320 in the air.
次に、マーカー４は、LED等で形成した発光体であり、マーカー４の発光の有無はデータ処理装置６から制御することができる。
マーカー４は、図３ａ、ｂに示すように、空中ディスプレイ３の映像表示領域３００の下辺に沿って左右に延びる発光部分と、映像表示領域３００の左下端を通って前後に延びる発光部分と、映像表示領域３００の右下端を通って前後に延びる発光部分とを備えており、マーカー４の発光時に、ドライバがマーカー４の位置と形状から、空中ディスプレイ３の映像表示領域３００の下辺の位置と範囲を認識できるようになっている。
Next, the marker 4 is a light-emitting body formed of an LED or the like, and whether or not the marker 4 emits light can be controlled by the data processing device 6.
As shown in Figures 3a and 3b, the marker 4 has an illuminating portion extending left and right along the bottom edge of the video display area 300 of the aerial display 3, an illuminating portion extending front and back through the bottom left edge of the video display area 300, and an illuminating portion extending front and back through the bottom right edge of the video display area 300.When the marker 4 emits light, the driver can recognize the position and range of the bottom edge of the video display area 300 of the aerial display 3 from the position and shape of the marker 4.
さて、本第１実施形態では、データ処理装置６は、所定の表示開始イベント発生時に、空中ディスプレイ３を用いた映像の表示を行う。
たとえば、データ処理装置６は、周辺装置５として備えた前方カメラやレーダ装置で障害物を検出したときに、注意喚起を表すマークを空中ディスプレイ３を用いて映像表示領域３００に表示する。または、たとえば、データ処理装置６は、現在位置の算出や目的地までのルート設定を行うナビゲーションアプリケーションをバックグランドで実行しつつ、ルートに沿って進路を変更すべき地点に所定距離に近づいたときに進路変更地点までの距離と進路変更方向を案内する映像を空中ディスプレイ３を用いて映像表示領域３００に表示する。
In the first embodiment, the data processing device 6 displays an image using the aerial display 3 when a predetermined display start event occurs.
For example, when the data processing device 6 detects an obstacle using a forward camera or a radar device provided as the peripheral device 5, it displays a mark calling attention in the video display area 300 using the aerial display 3. Alternatively, for example, the data processing device 6 may execute a navigation application in the background that calculates the current position and sets a route to the destination, and when the data processing device 6 approaches within a predetermined distance a point along the route where a course change should be made, it may display an image in the video display area 300 using the aerial display 3 that provides information on the distance to the course change point and the course change direction.
そして、データ処理装置６は、このような、空中ディスプレイ３を用いた映像の表示の開始を、図４に示す表示開始処理によって行う。
図示するように、データ処理装置６は、表示開始処理において、まず、マーカー４を点灯する（ステップ４０２）。なお、マーカー４の初期状態は消灯である。
そして、ＤＭＳ２が検出しているドライバの注視点が、マーカー４の位置となるのを待つ（ステップ４０４）。
そして、ドライバの注視点がマーカー４の位置となったならば、映像表示領域３００中において映像を下から上へ正規の表示位置までせり上げ、以降は正規の表示位置に映像を表示する形態で映像の表示を開始する（ステップ４０６）。すなわち、所謂、下から上へのスライドトランジッションで映像の表示を開始する。
The data processing device 6 then starts displaying the image using the aerial display 3 in this manner by the display start process shown in Figure 4.
As shown in the figure, in the display start processing, the data processing device 6 first turns on the marker 4 (step 402). Note that the initial state of the marker 4 is off.
Then, the process waits for the driver's gaze point detected by the DMS 2 to reach the position of the marker 4 (step 404).
When the driver's gaze point reaches the position of marker 4, the image is raised from bottom to top in image display area 300 to the normal display position, and the image starts to be displayed in the normal display position thereafter (step 406). That is, the image starts to be displayed with a so-called bottom-to-top slide transition.
そして、映像の正規の表示位置までのせり上がりが完了したならば（ステップ４０８）、マーカー４を消灯し（ステップ４１０）、表示開始処理を終了し、正規の表示位置での映像の表示を継続する。
なお、データ処理装置６は、このようにして映像の表示を開始した後、所定の表示終了イベントが発生したならば、空中ディスプレイ３を用いた映像の表示を終了する。たとえば、障害物を検出し注意喚起を表すマークを空中ディスプレイ３を用いて表示している場合には、障害物が無くなったならば、空中ディスプレイ３を用いた映像の表示を終了し、進路変更地点までの距離と進路変更方向を案内する映像を表示している場合には、進路変更地点を通過したならば、空中ディスプレイ３を用いた映像の表示を終了する。
Then, when the image has risen to the normal display position (step 408), the marker 4 is turned off (step 410), the display start process ends, and the image continues to be displayed at the normal display position.
After starting to display the image in this manner, if a predetermined display end event occurs, the data processing device 6 ends the display of the image using the aerial display 3. For example, if an obstacle is detected and a mark indicating a warning is displayed using the aerial display 3, the display of the image using the aerial display 3 ends once the obstacle is gone, and if an image guiding the distance to a course change point and the course change direction is displayed, the display of the image using the aerial display 3 ends once the course change point has been passed.
さて、以上のような表示開始処理によれば、図５ａに示すように、マーカー４が消灯し空中ディスプレイ３を用いた表示が行われていない状態において、表示開始イベントが発生して、映像の表示を開始する際には、まず、図５ｂに示すようにマーカー４を点灯し、ドライバのマーカー４の注視を促す。 Now, according to the display start processing described above, when a display start event occurs and video display begins while marker 4 is off and no display is being performed using aerial display 3, as shown in Figure 5a, marker 4 is first turned on as shown in Figure 5b to prompt the driver to look at marker 4.
ここで、ドライバが、発光したマーカー４を注視すると、おおよそ空中ディスプレイ３の映像表示領域３００に、ドライバの目の焦点が合うこととなる。
そして、ドライバが点灯したマーカー４を注視したならば、図５ｃ、ｄに示すように、マーカー４の位置から、ダッシュボード上方の空間に映像がせり上がっていく。
この映像の表示の前、ドライバの目の焦点は、マーカー４の位置にあっているので、ドラバイは、マーカー４の位置から上方にせり上がる映像に速やかに焦点を移行し、その視認を行うことができる。
Here, when the driver looks at the illuminated marker 4, the driver's eyes will be focused approximately on the image display area 300 of the aerial display 3.
When the driver gazes at the illuminated marker 4, an image rises from the position of the marker 4 into the space above the dashboard, as shown in FIGS. 5c and 5d.
Before this image is displayed, the driver's eyes are focused on the position of marker 4, so the driver can quickly shift his focus to the image rising upward from the position of marker 4 and view it.
そして、図５ｅに示す正規の表示位置にまで映像が達したならば、マーカー４が消灯し、以降は、その位置での映像の表示が行われる。
以上、本発明の第１実施形態について説明した。
ところで、以上の第１実施形態では、マーカー４を発光体としたが、マーカー４を発光体とせずに、マーカー４をドライバが明瞭に視認できる色を備えた物体や標示としても良い。また、以上の第１実施形態は、表示開始時に映像のせり上げを行わずに、最初から正規の表示位置に映像を表示してもよい。
Then, when the image reaches the normal display position shown in FIG. 5e, the marker 4 goes out, and thereafter the image is displayed at that position.
The first embodiment of the present invention has been described above.
In the first embodiment described above, the marker 4 is an illuminant, but the marker 4 may not be an illuminant, and may be an object or sign with a color that is clearly visible to the driver. Also, in the first embodiment described above, the image may not be raised at the start of display, and the image may be displayed in the normal display position from the beginning.
これらようにしても、ドライバがマーカー４を注視すると、おおよそ空中ディスプレイ３の映像表示領域３００に目の焦点が合うので、ドライバは、空中ディスプレイ３の表示の開始後、表示された映像に速やかに焦点を合わせて、その視認を行うことができる。 Even with this, when the driver looks at the marker 4, their eyes will generally focus on the image display area 300 of the aerial display 3, so once the aerial display 3 starts displaying the image, the driver can quickly focus on the displayed image and view it.
以下、本発明の第２実施形態について説明する。
本第２実施形態に係る表示システムの構成は、図１に示した第１実施形態に係る表示システムの構成と同じである。
ただし、本第２実施形態では、データ処理装置６が、空中ディスプレイ３を用いた映像の表示を図６に示す表示制御処理によって制御する。本第２実施形態で表示する映像は、たとえば、車速や時刻などの状態の表示や、目的地への到着予想時刻の表示や、目的地までのルートの表示などである。
A second embodiment of the present invention will now be described.
The configuration of the display system according to the second embodiment is the same as the configuration of the display system according to the first embodiment shown in FIG.
However, in the second embodiment, the data processing device 6 controls the display of images using the aerial display 3 by the display control process shown in Fig. 6. The images displayed in the second embodiment include, for example, display of vehicle status such as vehicle speed and time, display of estimated arrival time at the destination, display of route to the destination, and the like.
すなわち、データ処理装置６は、表示制御処理において、ＤＭＳ２が検出しているドライバの注視点が、マーカー４の位置となるのを監視する（ステップ６０２）。なお、本第２実施形態においてマーカー４の初期状態は点灯である。 That is, in the display control process, the data processing device 6 monitors whether the driver's gaze point detected by the DMS 2 is at the position of the marker 4 (step 602). Note that in this second embodiment, the initial state of the marker 4 is lit.
そして、ドライバの注視点がマーカー４の位置となったならば、映像を下から上へ正規の表示位置までせり上げ、以降は正規の表示位置に映像を表示する形態で映像の表示を開始する（ステップ６０４）。すなわち、所謂、下から上へのスライドトランジッションで映像の表示を開始する。 Then, when the driver's gaze point reaches the position of marker 4, the image is raised from bottom to top to the normal display position, and the image begins to be displayed in the normal display position thereafter (step 604). In other words, the image begins to be displayed with a so-called bottom-to-top slide transition.
次に、マーカー４を消灯し（ステップ６０６）、ＤＭＳ２が検出しているドライバの注視点が映像表示領域３００内の位置でなくなるのを監視する（ステップ６０８）。
そして、注視点が映像表示領域３００内の位置でなくなったならば、空中ディスプレイ３を用いた映像の表示を停止し（ステップ６１０）、マーカー４を点灯して（ステップ６１２）、ステップ６０２からの処理に戻る。
Next, the marker 4 is turned off (step 606), and the DMS 2 monitors whether the driver's gaze point detected by the DMS 2 is no longer within the image display area 300 (step 608).
Then, if the point of gaze is no longer located within the image display area 300, the display of the image using the aerial display 3 is stopped (step 610), the marker 4 is turned on (step 612), and the process returns to step 602.
以上、データ処理装置６が行う表示制御処理について説明した。
このような表示制御処理によれば、ドライバがマーカー４を注視して、空中ディスプレイ３の映像を見る意図を示したときだけ映像を表示するので、ドライバが映像を必要としていないときにまで映像を表示して、ドライバの前方の状況の確認を当該映像によって妨げてしまうことを抑制できる。
The display control process performed by the data processing device 6 has been described above.
According to this type of display control processing, the image is displayed only when the driver is gazing at the marker 4 and indicates an intention to view the image on the aerial display 3, thereby preventing the image from being displayed even when the driver does not need it, thereby preventing the image from interfering with the driver's confirmation of the situation ahead.
また、空中ディスプレイ３の映像の表示は、ドライバがマーカー４を注視しドライバの目の焦点がマーカー４の位置に合っている状態で開始されるので、ドラバイは、マーカー４の位置から上方にせり上がる映像に速やかに焦点を移行し、その視認を行うことができる。 In addition, the image on the aerial display 3 begins to be displayed when the driver is gazing at the marker 4 and the driver's eyes are focused on the position of the marker 4, so the driver can quickly shift their focus to the image rising upward from the position of the marker 4 and visually confirm it.
以上、本発明の第２実施形態について説明した。
ところで、以上の第２実施形態は、データ処理装置６において、空中ディスプレイ３の映像の表示を常時行うと共に、表示制御処理のステップ６０４を、空中ディスプレイ３が表示する映像の不透明度を大きくする処理とし、ステップ６１０を空中ディスプレイ３が表示する映像の透明度を大きくする処理としてもよい。
The second embodiment of the present invention has been described above.
In the second embodiment described above, the data processing device 6 constantly displays the image on the aerial display 3, and step 604 of the display control process can be a process of increasing the opacity of the image displayed by the aerial display 3, and step 610 can be a process of increasing the transparency of the image displayed by the aerial display 3.
また、以上の第２実施形態においても、表示開始時に映像のせり上げを行わずに、最初から正規の表示位置に映像を表示してもよい。
これらようにしても、ドライバがマーカー４を注視すると、おおよそ空中ディスプレイ３の映像表示領域３００に、ドライバの目の焦点が合うので、ドライバは、空中ディスプレイ３の表示の開始後、表示された映像に速やかに焦点を合わせて、その視認を行うことができる。
Also, in the second embodiment described above, the image may be displayed in the normal display position from the beginning without being raised at the start of display.
Even in this way, when the driver looks at the marker 4, the driver's eyes will focus roughly on the image display area 300 of the aerial display 3, so after the display on the aerial display 3 begins, the driver can quickly focus on the displayed image and view it.
以上、本発明の実施形態について説明した。
ここで、以上の第１実施形態、第２実施形態では、空中ディスプレイ３に代えて、有機ＥＬ（Electoro Luminescence）等を用いた透明ディスプレイを用いるようにしてもよい。
The embodiments of the present invention have been described above.
In the first and second embodiments described above, a transparent display using organic EL (Electro Luminescence) or the like may be used instead of the aerial display 3.
すなわち、この場合には、図７ａに示すように、ダッシュボードの天板の上に透明ディスプレイ７を、ドライバから見て自動車前方の風景に重なるダッシュボードの上方に位置に映像を表示するように配置する。 In this case, as shown in Figure 7a, a transparent display 7 is placed on the top panel of the dashboard so that it displays an image above the dashboard that overlaps with the scenery ahead of the vehicle as seen by the driver.
また、図７ａ、ｂに示すように、透明ディスプレイ７の周囲を囲むように不透明の狭い枠７１を設ける。また、マーカー４としては、透明ディスプレイ７の左上角と右上角に発光体を設ける。 As shown in Figures 7a and 7b, a narrow, opaque frame 71 is provided around the periphery of the transparent display 7. Furthermore, light-emitting elements are provided at the upper left and upper right corners of the transparent display 7 as markers 4.
そして、第１実施形態において、透明ディスプレイ７を用いる場合には、図４に示した表示開始処理を同様に行う。ただし、ステップ４０６では、たとえば、図８ａ、ｂ、ｃ、ｄに示すように、透明ディスプレイ７の表示領域を映像表示領域３００として、映像が枠７１の上辺から映像表示領域３００に徐々に表れるように下降し、正規の表示位置に映像が表示されるようになったならば、以降は正規の表示位置に映像を表示する形態で映像の表示を開始するようにする。すなわち、所謂、上から下へのスライドトランジッションで映像の表示を開始する。
ただし、ステップ４０６は、最初から正規の表示位置に映像を表示してもよい。
In the first embodiment, when the transparent display 7 is used, the display start process shown in Fig. 4 is performed in the same manner. However, in step 406, for example, as shown in Figs. 8a, 8b, 8c, and 8d, the display area of the transparent display 7 is set to the image display area 300, and the image gradually descends from the upper side of the frame 71 to appear in the image display area 300. Once the image is displayed in the normal display position, the image is subsequently displayed in the normal display position. That is, the image display is started with a so-called top-to-bottom slide transition.
However, in step 406, the image may be displayed in the normal display position from the beginning.
また、第２実施形態において、透明ディスプレイ７を用いる場合には、図６に示した表示制御処理を同様に行う。ただし、ステップ６０２は、ドライバのマーカー４もしくは枠７１の注視が行われている場合、ステップ６０４に進む処理とする。また、ステップ６０４では、たとえば、図８ａ、ｂ、ｃ、ｄに示すように、透明ディスプレイ７の表示領域を映像表示領域３００として、映像が枠７１の上辺から映像表示領域３００に徐々に表れるように下降し、正規の表示位置に映像が表示されるようになったならば、以降は正規の表示位置に映像を表示する形態で映像の表示を開始するようにする。すなわち、所謂、上から下へのスライドトランジッションで映像の表示を開始する。
ただし、ステップ６０４は、最初から正規の表示位置に映像を表示してもよい。
Furthermore, in the second embodiment, when the transparent display 7 is used, the display control process shown in FIG. 6 is performed in the same manner. However, in step 602, if the driver is gazing at the marker 4 or the frame 71, the process proceeds to step 604. Also, in step 604, for example, as shown in FIGS. 8a, 8b, 8c, and 8d, the display area of the transparent display 7 is set to the image display area 300, and the image gradually descends from the upper side of the frame 71 to appear in the image display area 300. Once the image is displayed in the normal display position, the image is subsequently displayed in the normal display position. That is, the image display starts with a so-called top-to-bottom slide transition.
However, in step 604, the image may be displayed in the normal display position from the beginning.
このように透明ディスプレイ７を用いる場合にも、空中ディスプレイ３を用いる場合と同様に、ドライバは、透明ディスプレイ７の表示の開始後、表示された映像に速やかに焦点を合わせて、その視認を行うことができる。 When using the transparent display 7 in this way, just as when using the aerial display 3, the driver can quickly focus on the displayed image and view it after the transparent display 7 begins displaying it.
なお、第１実施形態、第２実施形態において、透明ディスプレイ７を用いる場合、枠７１のみを設け、マーカー４を設けないようにしてもよい。または、マーカー４のみを設け、枠７１を設けないようにしてもよい。また、マーカー４を発光体とせずに、マーカー４をドライバが明瞭に視認できる色を備えた物体や標示としても良い。 In the first and second embodiments, when a transparent display 7 is used, only the frame 71 may be provided, and no marker 4 may be provided. Alternatively, only the marker 4 may be provided, and no frame 71 may be provided. Furthermore, instead of using a light-emitting body, the marker 4 may be an object or sign with a color that can be clearly seen by the driver.
これらようにしても、ドライバがマーカー４や枠７１を注視すると、おおよそ透明ディスプレイ７の映像表示領域３００に、ドライバの目の焦点が合うので、ドライバは、透明ディスプレイ７の表示の開始後、表示された映像に速やかに焦点を合わせて、その視認を行うことができる。 Even with this configuration, when the driver looks at the marker 4 or frame 71, the driver's eyes will generally focus on the image display area 300 of the transparent display 7, so once the transparent display 7 starts displaying the image, the driver can quickly focus on the displayed image and view it.
１…車内カメラ、２…ＤＭＳ、３…空中ディスプレイ、４…マーカー、５…周辺装置、６…データ処理装置、７…透明ディスプレイ、３１…ディスプレイ、３２…ビームスプリッタ、３３…リフレクタ、６１…枠、３００…映像表示領域。 1...in-vehicle camera, 2...DMS, 3...aerial display, 4...marker, 5...peripheral device, 6...data processing device, 7...transparent display, 31...display, 32...beam splitter, 33...reflector, 61...frame, 300...image display area.
Claims (7)
前記映像表示領域の近傍に配置されたマーカーと、
ユーザの注視位置を検出する注視点検出手段と、
前記ディスプレイの映像の表示を制御する映像表示制御手段とを有し、
前記映像表示制御手段は、前記ディスプレイが映像を表示していないときに、前記ユーザが前記マーカーを注視していることを表す注視位置を前記注視点検出手段が検出したときに、前記ディスプレイを用いた前記映像表示領域への映像の表示を開始することを特徴とする表示システム。 A display system using a display that displays an image in a predetermined image display area, and the image display area is transparent when the image is not being displayed,
a marker arranged near the video display area;
a gaze point detection means for detecting a gaze position of a user;
a video display control means for controlling the display of the video on the display,
The display system is characterized in that the video display control means starts displaying video in the video display area using the display when the gaze point detection means detects a gaze position indicating that the user is gazing at the marker while the display is not displaying video.
前記マーカーは、発光体であることを特徴とする表示システム。 2. The display system of claim 1,
A display system characterized in that the marker is an illuminant.
前記映像表示領域の近傍に配置された発光の有無を制御可能な発光体であるマーカーと、
ユーザの注視位置を検出する注視点検出手段と、
前記ディスプレイの映像の表示を制御する映像表示制御手段とを有し、
前記映像表示制御手段は、前記マーカーが発光しておらず、前記ディスプレイが映像を表示していない状態で、前記ディスプレイを用いた前記映像表示領域への映像の表示を開始する際に、前記マーカーを発光させ、その後、前記ユーザが前記マーカーを注視していることを表す注視位置を前記注視点検出手段が検出するのを待って、前記ディスプレイを用いた前記映像表示領域への映像の表示を開始することを特徴とする表示システム。 A display system using a display that displays an image in a predetermined image display area, and the image display area is transparent when the image is not being displayed,
a marker that is a light-emitting body that is arranged near the image display area and whose light emission can be controlled;
a gaze point detection means for detecting a gaze position of a user;
a video display control means for controlling the display of the video on the display,
A display system characterized in that the image display control means, when starting to display an image in the image display area using the display while the marker is not illuminated and the display is not displaying an image, causes the marker to illuminate, and then waits for the gaze point detection means to detect a gaze position indicating that the user is gazing at the marker before starting to display an image in the image display area using the display.
前記映像表示制御手段は、前記ディスプレイを用いた前記映像表示領域への映像の表示の開始時に、前記映像表示領域の前記マーカーに近い位置から前記マーカーに対して遠ざかる方向に向かって所定の表示位置まで映像がせり出していくように映像を表示することを特徴とする表示システム。 4. A display system according to claim 1, 2 or 3,
A display system characterized in that, when the image display control means starts displaying the image in the image display area using the display, the image is displayed so that the image extends from a position close to the marker in the image display area in a direction away from the marker to a predetermined display position.
前記ユーザは、前記自動車のドライバであり、
前記ディスプレイは、前記自動車のダッシュボード上に配置された、映像を表示していないときに透明となるパネルに映像を表示するものであり、
前記パネルは前記自動車のフロントウインドウではなく、
前記マーカーは前記パネルの不透明な枠であることを特徴とする表示システム。 10. The display system according to claim 1, which is mounted on a vehicle,
the user is a driver of the vehicle;
the display displays an image on a panel that is disposed on a dashboard of the automobile and that is transparent when no image is displayed;
The panel is not a front window of the vehicle,
A display system characterized in that the marker is an opaque frame of the panel .
前記ユーザは、前記自動車のドライバであり、
前記ディスプレイは、前記自動車のダッシュボード上に配置された、映像を表示していないときに透明となるパネルに映像を表示するものであり、
前記パネルは前記自動車のフロントウインドウではなく、
前記マーカーは前記パネルの上もしくは左右の側面に固定されていることを特徴とする表示システム。 4. The display system according to claim 2 or 3, which is mounted on a vehicle,
the user is a driver of the vehicle;
the display displays an image on a panel that is disposed on a dashboard of the automobile and that is transparent when no image is displayed;
The panel is not a front window of the vehicle,
A display system characterized in that the markers are fixed on the top or left and right sides of the panel .
前記ユーザは、前記自動車のドライバであり、
前記ディスプレイは、前記自動車のダッシュボードの直ぐ上の空間を前記映像表示領域として映像を表示する空中ディスプレイであり、
前記マーカーは、前記ダッシュボードの上の前記映像表示領域の下辺近くの位置に配置されていることを特徴とする表示システム。 4. The display system according to claim 1, 2 or 3, which is mounted on a vehicle,
the user is a driver of the vehicle;
the display is an aerial display that displays an image in a space immediately above a dashboard of the automobile as the image display area,
A display system characterized in that the marker is arranged at a position near the bottom edge of the image display area on the dashboard.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020099253A JP7790863B2 (en) | 2020-06-08 | 2020-06-08 | Display System |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020099253A JP7790863B2 (en) | 2020-06-08 | 2020-06-08 | Display System |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021193414A JP2021193414A (en) | 2021-12-23 |
| JP7790863B2 true JP7790863B2 (en) | 2025-12-23 |
Family
ID=79168801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020099253A Active JP7790863B2 (en) | 2020-06-08 | 2020-06-08 | Display System |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7790863B2 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006301650A (en) | 2005-04-21 | 2006-11-02 | Crf Soc Consortile Per Azioni | Transparent LED display and manufacturing method thereof |
| JP2007296889A (en) | 2006-04-28 | 2007-11-15 | Honda Motor Co Ltd | Operation device for on-vehicle equipment |
| WO2012176535A1 (en) | 2011-06-20 | 2012-12-27 | 本田技研工業株式会社 | Automotive instrument operating device and alert device |
| JP2015130173A (en) | 2014-01-03 | 2015-07-16 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | Eye vergence detection on display |
| JP2015531964A (en) | 2012-08-13 | 2015-11-05 | バイエル・マテリアルサイエンス・アクチェンゲゼルシャフトＢａｙｅｒ ＭａｔｅｒｉａｌＳｃｉｅｎｃｅ ＡＧ | Lighting device for LCD |
| JP2016126791A (en) | 2014-12-30 | 2016-07-11 | ビステオン グローバル テクノロジーズ インコーポレイテッド | Tracking system and method with sensory feedback |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4906380B2 (en) * | 2006-03-22 | 2012-03-28 | トヨタ自動車株式会社 | Visual noise generator |
| EP2650162B1 (en) * | 2010-12-08 | 2020-05-06 | Toyota Jidosha Kabushiki Kaisha | Information conveyance device for use in vehicle |
| FR3029648B1 (en) * | 2014-12-05 | 2018-02-02 | Valeo Comfort And Driving Assistance | HEAD-UP DISPLAY WITH ADJUSTABLE VIEW-WINDOW |
| JP2018039407A (en) * | 2016-09-08 | 2018-03-15 | 日本精機株式会社 | Head-up display device |
| JP2019008204A (en) * | 2017-06-27 | 2019-01-17 | 日本精機株式会社 | Head-mounted display device |
| JP7099239B2 (en) * | 2018-10-10 | 2022-07-12 | 株式会社デンソー | Display device and display control device |
| JP7165566B2 (en) * | 2018-11-14 | 2022-11-04 | 本田技研工業株式会社 | Control device, agent device and program |
| JP7298456B2 (en) * | 2019-11-29 | 2023-06-27 | トヨタ自動車株式会社 | Vehicle display control device, vehicle display control method, and vehicle display control program |
| WO2021171346A1 (en) * | 2020-02-25 | 2021-09-02 | 三菱電機株式会社 | Display control device, head-up display, and display control method |
-
2020
- 2020-06-08 JP JP2020099253A patent/JP7790863B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006301650A (en) | 2005-04-21 | 2006-11-02 | Crf Soc Consortile Per Azioni | Transparent LED display and manufacturing method thereof |
| JP2007296889A (en) | 2006-04-28 | 2007-11-15 | Honda Motor Co Ltd | Operation device for on-vehicle equipment |
| WO2012176535A1 (en) | 2011-06-20 | 2012-12-27 | 本田技研工業株式会社 | Automotive instrument operating device and alert device |
| JP2015531964A (en) | 2012-08-13 | 2015-11-05 | バイエル・マテリアルサイエンス・アクチェンゲゼルシャフトＢａｙｅｒ ＭａｔｅｒｉａｌＳｃｉｅｎｃｅ ＡＧ | Lighting device for LCD |
| JP2015130173A (en) | 2014-01-03 | 2015-07-16 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | Eye vergence detection on display |
| JP2016126791A (en) | 2014-12-30 | 2016-07-11 | ビステオン グローバル テクノロジーズ インコーポレイテッド | Tracking system and method with sensory feedback |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021193414A (en) | 2021-12-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8049609B2 (en) | In-vehicle display device | |
| EP2607941B1 (en) | Vehicle windshield display with obstruction detection | |
| JP4843517B2 (en) | Visual assist device for vehicles | |
| US8810381B2 (en) | Vehicular heads up display with integrated bi-modal high brightness collision warning system | |
| JP6123761B2 (en) | Vehicle display device | |
| JP5742937B2 (en) | Visibility support device for vehicle | |
| CN103153678B (en) | There is the automobile for affecting pilot's line of vision direction device | |
| US20210155159A1 (en) | Vehicle display apparatus | |
| JP6865006B2 (en) | Vehicle display device | |
| US20180067307A1 (en) | Heads-up display windshield | |
| US20130038712A1 (en) | Device for displaying information on the windscreen of an automobile | |
| JP2020024578A (en) | Display device, display control method, and program | |
| CN110831840B (en) | Method for assisting a user of a motor vehicle in avoiding an obstacle, driver assistance device and motor vehicle | |
| JP6734340B2 (en) | Display device, display control method, and program | |
| EP3355096A1 (en) | Display system for a vehicle | |
| JP2009292223A (en) | Warning display device for vehicle | |
| JP2017065388A (en) | Electronic mirror device, display control program and display control method | |
| JP2023148875A (en) | Safety support device | |
| WO2020090221A1 (en) | Vehicular display device | |
| EP3650276A1 (en) | Passenger imaging device | |
| US9783055B2 (en) | Driver assistance system | |
| CN105313780A (en) | Driver information system in a vehicle | |
| JP2023067908A (en) | notification device | |
| JP7790863B2 (en) | Display System | |
| JP2014106635A (en) | Lighting fixture system for vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230302 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240221 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240604 |
|
| RD07 | Notification of extinguishment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7427 Effective date: 20250306 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20251211 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7790863 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |