JP7587754B2 - Display method and device - Google Patents
Display method and device Download PDFInfo
- Publication number
- JP7587754B2 JP7587754B2 JP2021028230A JP2021028230A JP7587754B2 JP 7587754 B2 JP7587754 B2 JP 7587754B2 JP 2021028230 A JP2021028230 A JP 2021028230A JP 2021028230 A JP2021028230 A JP 2021028230A JP 7587754 B2 JP7587754 B2 JP 7587754B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle speed
- driver
- information
- display
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Instrument Panels (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、HUD(ヘッドアップディスプレイ)を利用したディスプレイ表示方法および表示装置に関するものである。 The present invention relates to a display method and display device that utilizes a HUD (head-up display).
最近の車両では、HUDを利用して、フロントウインドガラスの前方に運転者に対して提示する提示情報を投影するものが増加している。運転者は、HUDにより投影された提示情報を、虚像の形態で目視することになる。 In recent vehicles, an increasing number of vehicles use HUDs to project information to be presented to the driver onto the front windshield. The driver sees the information projected by the HUD in the form of a virtual image.
HUDを利用してフロントウインドガラスの前方に提示情報を表示することは、運転者は、遠い前方を目視している状態からHUDによる提示情報を注視する状態へと移行する際の視線移動が少なくてすみ、提示情報を運転者に明確かつすみやかに知覚させるという点で好ましいものである。 Using a HUD to display presented information in front of the windshield is preferable because it requires less eye movement when the driver goes from looking at the distant view ahead to gazing at the information presented by the HUD, and allows the driver to perceive the presented information clearly and quickly.
ところで、車両の走行中(前進走行中)にあっては、フロントウインドガラスを通して目視される前方の景色が後方へと流れるオプティカルフローを生じることになる。オプティカルフローは、速度成分と方向成分とを有するベクトルとなり、運転者は目視せざるを得ないものである。 When a vehicle is moving (driving forward), the view ahead seen through the windshield flows backwards, creating an optical flow. Optical flow is a vector that has a speed component and a directional component, and the driver has no choice but to see it.
特許文献1には、車室内のディスプレイを、車両走行時における運転者が視認するオプティカルフローが通る位置に設定して、ディスプレイで提供される必要情報がオプティカルフローに沿って表示されるようにした技術が開示されている。
特許文献2には、自車両周辺に存在する対象物に関するシンボル画像を、オプティカルフローを考慮して運動させてHUDで表示する技術が開示されている。
上記各特許文献共に、オプティカルフローが運転者の視覚刺激となって、運転者の焦点調整に影響を与えるという点についてはなんら認識されていない。 None of the above patent documents acknowledge that optical flow is a visual stimulus to the driver and affects the driver's focus adjustment.
HUDによる提示情報を、フロントウインドガラスの前方所定距離に表示する場合、走行中に、提示情報が知覚しずらかったり、その周辺がぼやけたりするという問題が生じる、ということが判明した。このような場合でも、提示情報を比較的長い時間をかけて注視すれば、提示情報を明確に知覚できるようになるが、明確な知覚に至るまでの応答性が悪いものとなる。 It has been found that when information presented by a HUD is displayed on the windshield at a specified distance in front of the vehicle, problems arise in that the presented information is difficult to perceive while driving, and the surroundings become blurred. Even in such cases, if the driver gazes at the presented information for a relatively long period of time, the presented information can be clearly perceived, but the responsiveness required to achieve clear perception is poor.
上述のような問題が生じる原因を追及したところ、走行中に生じるオプティカルフローが運転者の視覚を刺激して、運転者の焦点距離にかなりの変化を及ぼすためである、ということが判明した。具体的には、車速が大きいときは車速が小さいときに比して、運転者の焦点距離が遠方へと変化する、ということが判明した。すなわち、例えば停車時や低車速領域で提示情報を明確に知覚している状態であっても、車速が増大して高車速領域になった場合においては、オプティカルフローの影響によって焦点距離が低車速領域時よりも遠方になることから、提示情報を明確に知覚しずらいものとなり、またその周辺のぼやけ方もひどくなる、ということになっていた。 Investigating the cause of the above problems, it was found that the optical flow that occurs while driving stimulates the driver's vision and causes a significant change in the driver's focal length. Specifically, it was found that when the vehicle is traveling at high speed, the driver's focal length shifts to a longer distance compared to when the vehicle is traveling at low speed. In other words, even if the presented information is clearly perceived when the vehicle is stopped or traveling at low speeds, when the vehicle speed increases to a high speed range, the optical flow causes the focal length to shift to a longer distance than when the vehicle is traveling at low speeds, making it difficult to clearly perceive the presented information and causing the surrounding area to become blurred.
本発明は以上のような事情を考慮してなされたもので、その目的は、HUDによって表示される映像を、車速の相違にかかわらず明確かつ応答よく運転者に知覚させることのできるようにしたディスプレイ表示方法および表示装置を提供することにある。 The present invention was made in consideration of the above circumstances, and its purpose is to provide a display method and display device that allows the driver to perceive the image displayed by the HUD clearly and responsively regardless of differences in vehicle speed.
前記目的を達成するため、本発明表示方法にあっては次のような解決手法を採択してある。すなわち、請求項1に記載のように、
フロントウインドガラス前方に運転者に対する提示情報を投影するようにしたディスプレイ表示方法であって、
車速を検出するステップと、
運転者が前記提示情報を注視したときの運転者の眼球状態を検出するステップと、
前記検出された運転者の眼球状態に基づいて、運転者が該提示情報を注視しているときの注視距離を推定するステップと、
前記推定された運転者の注視距離と検出された車速との関係に基づいて、運転者が前記提示情報を知覚しやすくなるように、車速が大きいときは小さいときに比して該提示情報が表示される位置が前方位置となるように該提示情報が表示される前後位置を変更するステップと、
を備えているようにしてある。
In order to achieve the above object, the display method of the present invention adopts the following solution. That is, as described in
A display method for projecting information to be presented to a driver onto a front windshield, comprising:
Detecting a vehicle speed;
detecting an eye state of the driver when the driver gazes at the presented information;
estimating a gaze distance when the driver is gazing at the presented information based on the detected eye state of the driver;
a step of changing a front -rear position at which the presentation information is displayed so that the presentation information is displayed at a more forward position when the vehicle speed is high than when the vehicle speed is low, based on a relationship between the estimated gaze distance of the driver and the detected vehicle speed, so that the driver can easily perceive the presentation information;
It is designed to be equipped with the following.
上記解決手法によれば、車速に応じて、知覚しやすくなるように提示情報の表示位置が変更されることから、運転者は、車速の相違にかかわらず常に提示情報を明確かつ応答よく知覚することができる。以上に加えて、車速が大きいときは車速が小さいときに比して焦点距離が遠方へと変化するのに対応して、提示情報の表示位置を適切に変更して、車速の相違にかかわらず提示情報を明確かつ応答よく知覚することができる。また、運転者毎の視覚特性の相違や、運転者の体格や運転席への着座位置の相違(運転者の眼の位置の相違)等に対応して、車速の相違にかかわらず提示情報を明確かつ応答よく知覚させることができる。 According to the above-mentioned solution, the display position of the presented information is changed according to the vehicle speed so that the information can be easily perceived, so that the driver can always perceive the presented information clearly and responsively regardless of the difference in the vehicle speed. In addition, when the vehicle speed is high, the display position of the presented information is appropriately changed in response to the focal length changing to a farther position compared to when the vehicle speed is low, so that the presented information can be perceived clearly and responsively regardless of the difference in the vehicle speed. Also, the presented information can be perceived clearly and responsively regardless of the difference in the vehicle speed in response to the difference in the visual characteristics of each driver, the difference in the driver's physique and the seating position in the driver's seat (the difference in the driver's eye position), etc.
上記表示方法を前提とした好ましい態様は、次のとおりである。 The preferred embodiment based on the above display method is as follows:
車速が複数の領域に分けられて、該複数の領域毎に、前記提示情報が表示される位置が前後方向に相違される、ようにしてある(請求項2対応)。この場合、提示情報の前後位置の変更を極力少なくする上で好ましいものとなる。 The vehicle speed is divided into a plurality of ranges, and the position where the presented information is displayed is different in the front-rear direction for each of the plurality of ranges (corresponding to claim 2 ). In this case, it is preferable to minimize the change in the front-rear position of the presented information.
車速があらかじめ設定した所定車速範囲のときは、前記提示情報の表示が基準の表示態様とされ、
車速が前記所定車速範囲外のときは、前記表示態様の変更によって前記提示情報が前記基準の表示態様に比してより目立つように表示される、
ようにしてある(請求項3対応)。この場合、車速に応じた焦点距離の変化を、提示情報が目立ちやすくなる表示態様へと変更することにより補償して、車速の相違にかかわらず提示情報を明確かつ応答よく知覚させることができる。なお、上記提示情報を常時目立ちやすくする表示位置とすることも考えられるが、この場合は、運転者が提示情報に対してわずらわしさを感じることにもなりかねないので、このわずらわしさを運転者に対して極力感じさせないようにする上でも好ましいものとなる。
When the vehicle speed is within a predetermined vehicle speed range, the presentation information is displayed in a standard display mode.
When the vehicle speed is outside the predetermined vehicle speed range, the display manner is changed so that the presentation information is displayed more conspicuously than in the standard display manner.
(Corresponding to claim 3 ). In this case, the change in focal length according to the vehicle speed is compensated for by changing the display mode to one that makes the presented information more noticeable, so that the presented information can be perceived clearly and responsively regardless of the difference in vehicle speed. It is also possible to set the display position of the presented information so that it is always more noticeable, but in this case, the driver may feel annoyed by the presented information, so this is preferable in terms of minimizing the driver's feeling of annoyance.
前記目的を達成するため、本発明表示装置にあっては次のような解決手法を採択してある。すなわち、請求項4に記載のように、
フロントウインドガラス前方に運転者に対する提示情報を投影するHUD(ヘッドアップディスプレイ)と、
車速を検出する車速検出手段と、
運転者が前記提示情報を注視したときの運転者の眼球状態を検出する眼球状態検出手段と、
前記眼球状態検出手段で検出された運転者の眼球状態に基づいて、運転者が該提示情報を注視しているときの注視距離を推定する推定手段と、
前記推定された運転者の注視距離と検出された車速との関係に基づいて前記HUDを制御して、運転者が前記提示情報を知覚しやすくなるように、車速が大きいときは小さいときに比して、該提示情報が表示される位置が前方位置となるように該提示情報の表示位置の変更を行う制御手段と、
を備えているようにしてある。上記解決手法によれば、請求項1に対応した表示方法を実行するための表示装置が提供される。
In order to achieve the above object, the display device of the present invention adopts the following solution.
A head-up display (HUD) that projects information to the driver on the front windshield;
A vehicle speed detection means for detecting a vehicle speed;
eye state detection means for detecting an eye state of the driver when the driver gazes at the presented information;
an estimation means for estimating a gaze distance when the driver is gazing at the presented information based on the eye state of the driver detected by the eye state detection means;
a control means for controlling the HUD based on a relationship between the estimated gaze distance of the driver and the detected vehicle speed , and changing a display position of the presentation information so that the presentation information is displayed at a more forward position when the vehicle speed is high than when the vehicle speed is low , so that the driver can easily perceive the presentation information;
According to the above solution, a display device is provided for carrying out the display method according to
上記表示装置を前提とした好ましい態様は、次のとおりである。 Preferred aspects based on the above display device are as follows:
前記制御手段は、車速を複数の領域に分けて、該複数の領域毎に、前記提示情報が表示される位置が前後方向に相違するように制御する、ようにしてある(請求項5対応)。この場合、請求項2に対応した表示方法を実行するための表示装置が提供される。
The control means divides the vehicle speed into a plurality of ranges and controls the display position of the presented information to differ in the front-rear direction for each of the plurality of ranges. In this case, a display device for executing the display method according to
前記制御手段は、車速があらかじめ設定した所定車速範囲のときは前記提示情報の表示が基準の表示態様となるように制御する一方、車速が前記所定車速範囲外のときは該提示情報が該基準の表示態様に比してより目立つ表示となるように制御する、ようにしてある(請求項6対応)。この場合、請求項3に対応した表示方法を実行するための表示装置が提供される。 The control means controls the display of the presented information to be in a standard display mode when the vehicle speed is within a predetermined vehicle speed range that has been set in advance, and controls the presented information to be displayed in a more noticeable manner compared to the standard display mode when the vehicle speed is outside the predetermined vehicle speed range (corresponding to claim 6 ). In this case, a display device for executing the display method corresponding to claim 3 is provided.
本発明によれば、HUDによって表示される映像を、車速の相違にかかわらず明確かつ応答よく運転者に知覚させることができる。 The present invention allows the driver to perceive the image displayed by the HUD clearly and responsively regardless of differences in vehicle speed.
図1は、提示情報をフロントウインドガラスの前方に投影するための構成例を示すものである。図中、1はフロントウインドガラス、2はインストルメントパネル、Eは運転席に着座している運転者の眼である。インストルメントパネル2内には、HUD(ヘッドアップディスプレイ)10が装備されている。インストルメントパネル2の上面には、HUD10の直上方位置において開口部2aが形成されている。
Figure 1 shows an example of a configuration for projecting presented information forward onto the windshield. In the figure, 1 is the windshield, 2 is the instrument panel, and E is the eye of the driver sitting in the driver's seat. A HUD (head-up display) 10 is installed inside the
HUD10からの画像つまり提示情報が、開口部2aを通して、フロントウインドガラス1の内面に投影されるようになっており、この投影部位が符号11で示される。運転者(の眼E)は、投影部位11を通して前方を目視したときに、HUD10からの画像を、フロントウインドガラス1の前方に表示された虚像20の形態でもって視認することになる。
The image from the
HUD10によって虚像20として運転者に提示される提示情報としては、例えば自車両の車速、ACC(オートクルーズコントロール)の設定車速、自車両の左右側方から接近してくる他車両の存在を報知する警報、現在走行している道路の各種情報(例えば制限速度)、ナビゲーション装置における曲がり方向とそこまでの距離等の表示が行われる。HUD10は、例えばその投影焦点距離の調整や反射ミラーの角度調整等によって虚像20の上下位置および前後方向位置を変更可能である。また、HUD10は、虚像20の輝度(明るさ)、大きさ、色、模様等が変更可能である。
The information presented to the driver as a
運転者(の眼E)から上記虚像20までの距離は、2.5m程度に設定された基準距離となるように設定されている。この基準距離は、実施形態では、多用されることの多い中車速領域で運転者が遠方を見ている状態から虚像20を注視したときに、虚像20に焦点が合うまでの時間が極力短くなり、かつ運転者が虚像20を見ている状態から遠方を注視したときに遠方に焦点が合うまでの時間が極力短くなるような距離として設定されている。そして、本実施形態では、車速に応じた虚像20の表示態様の変更を、上記基準距離を変更(補正)することによって行うようにしてある。
The distance from the driver (the driver's eye E) to the
図2は、左右の眼球の間の距離と焦点距離との関係を示す。いま、距離L2に存在すものを見ている状態から、より近い距離L1に存在するものを見る状態へと変化したときは、寄り眼となって、平面視において左右の眼球の間隔が小さくなり、焦点距離が小さくなる。このときの左右の眼球の焦点位置に対する視線方向がなす角度となる水平輻輳角は大きくなる方向へと変化する。逆に、距離L2よりも遠くの距離L3に存在するものを見るときは、離れ眼となって、平面視において左右の眼球の間隔が大きくなり、焦点距離が大きくなる。このときの左右の眼球の焦点位置に対する視線方向がなす角度となる水平輻輳角は小さくなる方向へと変化する。 Figure 2 shows the relationship between the distance between the left and right eyeballs and the focal length. When you change from looking at an object at distance L2 to looking at an object at closer distance L1, your eyes will cross, the distance between the left and right eyeballs will become smaller in a planar view, and the focal length will become smaller. At this time, the horizontal convergence angle, which is the angle between the line of sight and the focal positions of the left and right eyeballs, will change to a larger angle. Conversely, when you look at an object at distance L3, which is farther than distance L2, your eyes will spread apart, the distance between the left and right eyeballs will become larger in a planar view, and the focal length will become larger. At this time, the horizontal convergence angle, which is the angle between the line of sight and the focal positions of the left and right eyeballs, will change to a smaller angle.
図3は、眼球の回旋を示す。内回旋は、正面視において、左右の眼球がそれぞれ耳から鼻に向けて回旋する状況である。また、外回旋は、正面視において、左右の眼球がそれぞれ鼻にから耳に向けて回旋する状況である。この回旋運動(回旋輻輳)は、周辺知覚軸の傾きに影響を与えて、主として注視点の周辺のぼやけ方に影響を与える他、奥行き感にも少なからず影響を与える。 Figure 3 shows eye rotation. Inward rotation is when the left and right eyeballs rotate from the ears to the nose when looking straight ahead. Outward rotation is when the left and right eyeballs rotate from the nose to the ears when looking straight ahead. This rotational movement (rotatory convergence) affects the inclination of the peripheral perception axis, primarily affecting the degree of blurring around the point of gaze, but also has a significant impact on the sense of depth.
ここで、運転者がフロントウインドガラス1を通して静止している提示情報としての虚像20を注視している場合を考える。自車両が停止しているとき、運転者は、虚像20を静止画として注視している状態である。一方、自車両が走行しているときは、前方の景色が後方へと流れるオプティカルフローを生じる。このオプティカルフローは、虚像20の周辺にも生じることから、運転者は、虚像20を動画として注視している状態となる。
Now consider the case where the driver is gazing at a
上記オプティカルフローによって運転者の視覚刺激が行われて、運転者の眼球状態が、静止画を見ている状態とは異なる状態へと変化する。図4は、車速に応じて水平輻輳角が変化することを示すデータである。また、図5は、車速に応じて回旋が生じることを示すデータである。各データは、複数の被験者について、シミュレーション装置を利用して、車速0から180km/kの間の複数の車速領域でもって、取得されたものである。シミュレーションは、次のように行った。まず、前方風景と虚像20に対応した虚像とを擬似的にディスプレイに表示する。また、ディスプレイに対向するように着座された被験者の頭部を、固定具で固定した状態とする。この状態で、被験者に上記虚像を注視させる。複数の車速領域に応じた前方風景の流れつまりオプティカルフローを生成し、このときの被験者車の眼球状態をアイカメラで撮影して、上記データを取得した。勿論、車速0のときは、前方風景は変化せず、オプティカルフローは生じていないものとされる。
The optical flow stimulates the driver's vision, and the driver's eye state changes to a state different from the state when the driver is looking at a still image. FIG. 4 shows data indicating that the horizontal convergence angle changes according to the vehicle speed. FIG. 5 shows data indicating that rotation occurs according to the vehicle speed. Each data was acquired for a plurality of subjects at a plurality of vehicle speed ranges between 0 and 180 km/k using a simulation device. The simulation was performed as follows. First, a forward view and a virtual image corresponding to the
図4は、ある所定車速範囲での水平輻輳角を基準値0としてある。上記所定車速範囲よりも低速となる低速領域では、水平輻輳角が基準値0よりもプラスになって(大きくなって)、焦点距離がより手前に変化している状況を示す。また、上記所定車速範囲よりも高速となる高速領域では、水平輻輳角がマイナスになって(小さくなって)、焦点距離がより遠方に変化している状況を示す。 In Figure 4, the horizontal convergence angle in a certain specified vehicle speed range is set to a reference value of 0. In low-speed areas slower than the specified vehicle speed range, the horizontal convergence angle becomes positive (larger) than the reference value of 0, indicating that the focal length has changed toward the front. Also, in high-speed areas faster than the specified vehicle speed range, the horizontal convergence angle becomes negative (smaller), indicating that the focal length has changed toward the rear.
図5は、上記所定車速範囲での回旋角を基準値0としてある。上記所定車速範囲よりも低速の低速領域では、回旋角が基準値0よりも内旋側になって、後述するように焦点距離がより手前に変化している状況を示す。また、上記所定車速範囲よりも高速の高速領域では、回旋角が基準値から外旋側になって、後述するように焦点距離がより遠方に変化している状況を示す。
In Figure 5, the rotation angle in the above-mentioned specified vehicle speed range is set to a reference value of 0. In low-speed areas slower than the above-mentioned specified vehicle speed range, the rotation angle is more inward than the
水平輻輳角の変化は、主として中心知覚の距離感(奥行き感)に大きな影響を与えると共に、周辺知覚のぼやけ方にも少なからず影響を与えることになる。また、回旋角の変化は、主として周辺知覚のぼやけ方に影響を与えると共に、距離感にも少なからず影響を与える。 Changes in the horizontal convergence angle have a major impact primarily on the sense of distance (depth) in central perception, and also have a significant impact on the blurring of peripheral perception. Changes in the angle of rotation primarily affect the blurring of peripheral perception, and also have a significant impact on the sense of distance.
図6、図7は、車両が停止している状態で、虚像20が中心に位置するホロプター面H1を想定したものである。ホロプター面H1は、注視点と等距離にあると知覚する面であり、既知のように、上方に向かうにつれて前方へ位置する一方、左右方向に離れるにしたがって後方(運転者側)に向けて湾曲した面とされる。前述したオプティカルフローによる視覚刺激により生じる回旋運動により、ホロプター面H1の傾きが変化する。具体的には、低車速時には、ホロプター面H1の上部が手前側(運転者に近づく方向)へと変化する。また、高車速時には、ホロプター面H1の上部が遠方側(運転者から離れる方向)へと変化する。
6 and 7 are diagrams illustrating an example of a horopter plane H1 with a
図8、図9は、内旋と外旋とがホロプター面に対する影響、つまり焦点距離への影響を示す。図8中、実線は回旋なしのホロプター面、破線が内旋が生じたときのホロプター面、一点鎖線が外旋が生じたときのホロプター面を、それぞれ側面視で示す。 Figures 8 and 9 show the effect of internal rotation and external rotation on the horopter plane, i.e., the effect on focal length. In Figure 8, the solid line shows the horopter plane without rotation, the dashed line shows the horopter plane when internal rotation occurs, and the dashed line shows the horopter plane when external rotation occurs, all in side view.
図8に示すように、外旋が生じると、回旋なしの場合に比して、ホロプター面の前上がりの度合いが大きくなり、ホロプター面の上部(注視点よりも上方位置)においては前方へ向けて変化し、ホロプター面の下部(注視点よりも下方位置)においては若干手前に変化する。逆に、内旋が生じると、回旋なしの場合に比して、ホロプター面の上部(注視点よりも上方位置)においては手前へ向けて変化し、ホロプター面の下部(注視点よりも下方位置)においては若干遠方に変化する。 As shown in Figure 8, when external rotation occurs, the degree of front elevation of the horopter surface increases compared to when there is no rotation, with the upper part of the horopter surface (above the gaze point) moving forward and the lower part of the horopter surface (below the gaze point) moving slightly forward. Conversely, when internal rotation occurs, compared to when there is no rotation, the upper part of the horopter surface (above the gaze point) moving forward and the lower part of the horopter surface (below the gaze point) moving slightly away.
一方、ホロプター面を水平視で示す図9においては、回旋なしと内旋と外旋とで、ホロプター面は前後方向に殆ど変化しない。 On the other hand, in Figure 9, which shows the horopter plane in a horizontal view, the horopter plane hardly changes in the front-to-back direction with no rotation, internal rotation, and external rotation.
上述の説明から明かなように、オプティカルフローによる視覚刺激の影響として、低速走行時には眼球が内回旋することから、近距離面の方が知覚しやすく、また周辺のぼやけ方が小さいものとなる。逆に、高速走行時は、眼球が外回旋して遠距離面が知覚しやすく、また周辺のぼやけ方が小さいものとなる。 As is clear from the above explanation, the visual stimulation caused by optical flow causes the eyeball to rotate inward when driving at low speeds, making it easier to perceive close-up surfaces and reducing the amount of peripheral blur. Conversely, when driving at high speeds, the eyeball rotates outward, making it easier to perceive distant surfaces and reducing the amount of peripheral blur.
このように、オプティカルフローによる視覚刺激の影響として生じる眼球の回旋と水平輻輳角の変化の両方の要素を考慮すれば、低速走行時には近距離面とする方が、知覚しやすいものとなり、かつ周辺のぼやけ方も小さいものとなる。また、高速走行時には遠距離面とする方が、知覚しやすいものとなり、かつ周辺のぼやけ方も小さいものとなる。 In this way, if we take into account both the rotation of the eyeball and the change in horizontal convergence angle that occurs as a result of visual stimuli caused by optical flow, the near-distance surface is easier to perceive and results in less peripheral blur when driving at low speeds. On the other hand, the far-distance surface is easier to perceive and results in less peripheral blur when driving at high speeds.
以上のことから、虚像20の表示位置を、低速走行時には手前側(車両後方側)とし、高速走行時には遠方側(車両前方側)寄りとすることにより、運転者は、虚像20を明確に知覚しやしいものとなる。このことは、遠方を見ている状態から虚像20を注視する状態へ変化したときに、虚像20に焦点が合うまでの時間が短いものですむことになり、虚像20によって提示される提示情報を明確かつすみかに認識させる上で極めて好ましいものとなる。特に、提示情報が多くなると、虚像20の表示範囲(面積範囲)がかなり大きくなるが、車速に応じて虚像20を表示する前後方向距離を上述のように変更することによって、大きな表示範囲でもその全体にわたって明確かつすみやかに知覚させることが可能となる。
From the above, by positioning the display position of the
図10は、オプティカルフローの影響を受けない静止画状態で固視点を目視している静止画注視時と、高速走行により生じるオプティカルフローの影響を受けて動画状態で固視点を注視している動画注視時の状況を左右に並べて示す。眼球から固視点までの前後距離は、静止画注視時と動画注視時とで同じ距離LAである。ただし。動画注視時には、距離LAよりも遠方となる輻輳距離LBの仮想注視点を注視することになる。つまり、仮想注視点までの輻輳距離LBと前後距離LAとの差分が、焦点距離が変化したことによる距離の変化量となる。したがって、この距離の変化量に応じて虚像20の表示位置を前後方向に変更(移動)させて、虚像20を仮想注視点の位置に表示させることにより、車速の相違にかかわらず虚像20を明確かつ応答よく知覚させることが可能となる。
Figure 10 shows a situation where the fixation point is viewed in a still image state not affected by optical flow, and a situation where the fixation point is viewed in a video state affected by optical flow generated by high-speed driving, side by side. The longitudinal distance from the eyeball to the fixation point is the same distance LA when viewing a still image and when viewing a video. However, when viewing a video, the eye is gazed at a virtual fixation point at a convergence distance LB that is farther away than the distance LA. In other words, the difference between the convergence distance LB to the virtual fixation point and the longitudinal distance LA is the change in distance due to the change in focal length. Therefore, by changing (moving) the display position of the
静止画注視時と動画注視時とにおける両眼の瞳孔間距離は2dで同じである。また、静止画注視時の水平輻輳角が2θAで示され、動画注視時の水平輻輳角が2θBで示される。 The interpupillary distance between the two eyes when gazing at a still image and when gazing at a moving image is the same, 2d. Furthermore, the horizontal convergence angle when gazing at a still image is indicated by 2θA, and the horizontal convergence angle when gazing at a moving image is indicated by 2θB.
静止画注視時における水平輻輳角2θAとの前後距離LAとの関係は、次式(1)で示される。同様に、動画注視時における水平輻輳角2θBと前後距離LBとの関係は、次式(2)で示される。そして、式(1)、式(2)から、式(3)を導くことができる。 The relationship between the horizontal convergence angle 2θA and the front-to-back distance LA when gazing at a still image is shown in the following formula (1). Similarly, the relationship between the horizontal convergence angle 2θB and the front-to-back distance LB when gazing at a moving image is shown in the following formula (2). Formula (3) can then be derived from formulas (1) and (2).
tanθA=d/LA ・・・(1)
tanθB=d/LB ・・・(2)
LB=LA・tanθA/tanθB ・・・(3)
tanθA=d/LA...(1)
tanθB=d/LB...(2)
LB=LA・tanθA/tanθB...(3)
車速に応じた虚像20の前後方向の表示位置を変更する場合、車速を複数の車速域に分けて、段階的に表示位置の変更を行うのが好ましい。例えば、車速が30km/h~60km/hを基準車速領域として、この基準車速領域よりも低速な低車速領域と、基準車速領域よりも高速な高速領域との3つの車速領域に分けて表示位置の変更を行うことができる。より具体的には、虚像20の前後方向の表示位置を、例えば基準車速領域のときは標準体格の運転者の眼から基準距離に設定し、低車速領域では例えば「基準距離-α」(α>0)に設定し、高車速領域では例えば「基準距離+β」(β>0)に設定することができる。勿論、車速領域の数は、3つに限らず、2あるいは4以上とすることもできるが、3段階~5段階の範囲で変化させるのが好ましい。
When changing the display position of the
運転者毎の視覚特性の相違(つまりオプティカルフローの影響の度合いの相違)や、運転席に着座したときの運転者の眼の位置の相違等に応じて、虚像20の前後方向表示位置をより最適化することもできる。すなわち、図10に示す仮想注視点までの距離LBは、両眼の瞳孔間の距離2dと水平輻輳角2θBが分かれば、上記式(2)から求めることができる。そして、運転者の両眼付近を撮影する車内カメラを利用して、運転者が虚像20を注視する毎に、距離2dを測定し、また両眼の瞳孔の視線方向を測定して水平輻輳角2θBを算出して、輻輳距離LBを算出(推定)することが可能である。この仮想注視点までの距離LBを、走行中に、運転者毎に車速の相違に応じてあらかじめ決定しておくことにより(データベース化)、運転者毎に、車速に応じた好ましい虚像20の前後方向の表示位置を設定することができる。上記データベースを最新の情報に基づいて更新することにより、運転者の視覚特性の変化や着座姿勢の変化等に追従したものとすることができる。
The display position of the
図11は、虚像20の前後方向の表示位置変更の制御を行うための制御系統例が示される。図中Uは、マイクロコンピュータを利用して構成されたコントローラである。このコントローラUには、車速を検出する車速センサ30からの信号と、運転者の眼球およびその付近を撮影するカメラからの映像信号が入力される。また、コントローラUによって、HUD10が制御される。
Figure 11 shows an example of a control system for controlling the change of the display position of the
コントローラUは、画像生成部41と視線算出部42とを有する。画像生成部41は、図示略各種信号に基づいて、運転者に提示すべき提示情報を決定して、HUD10に出力する。HUD10は、コントローラUから受信した提示情報を虚像20として表示する。また、視線算出部42は、前述の図10について説明したように、運転者毎に車速に応じた輻輳距離LBを決定するためのもので、両眼の瞳孔の視線方向に基づいて水平輻輳角2θBを決定(推定)するためのものである。なお、両眼の瞳孔間の距離2dは、車両の停止時に、基準距離の位置にある虚像20を運転者が注視したときにあらかじめ測定されて記憶されているが、視線方向検出毎に瞳孔間の距離2dを検出するようにしてもよい。
The controller U has an
上記コントローラUが行う制御例について、図1、図13のフローチャートを参照しつつ説明する。なお、以下の説明でQはステップを示す。 An example of the control performed by the controller U will be described with reference to the flowcharts in Figures 1 and 13. In the following explanation, Q indicates a step.
まず、図12のQ1において、車速Vが読み込まれる。次いで、Q2において、車速Vが、所定車速VAとVBとの所定車速範囲にあるか否かが判別される(VA<VB)。このQ2の判別でYESのときは、Q3において、虚像20の前後方向距離LTが、基準距離LBに設定される。この後、Q4において、虚像20が距離LTの位置に表示される。
First, in Q1 of FIG. 12, the vehicle speed V is read. Next, in Q2, it is determined whether the vehicle speed V is within a predetermined vehicle speed range between predetermined vehicle speeds VA and VB (VA<VB). If the determination in Q2 is YES, in Q3, the longitudinal distance LT of the
前記Q2の判別でNOのときは、Q5において、車速VがVA未満の低車速領域にあるか否かが判別される。このQ5の判別でYESのときは、Q6において、調整距離(補正距離)が「-△LS」(△LS>0)として決定される。この後、Q7において、基準距離LBに調整距離-△LSを加算して、虚像20の前後方向距離LTが算出される。この後は、Q4に移行される。Q5からQ7を経る処理は、虚像20の前後方向表示位置が、基準距離よりも短くなる方向(運転者に近づく方向)への調整となる。
If the answer to the question Q2 is NO, then in Q5 it is determined whether the vehicle speed V is in the low vehicle speed range below VA. If the answer to the question Q5 is YES, then in Q6 the adjustment distance (correction distance) is determined as "-△LS" (△LS>0). Then in Q7 the adjustment distance -△LS is added to the reference distance LB to calculate the longitudinal distance LT of the
前記Q5の判別でNOのときは、車速VがVBよりも高車速となる高車速領域のときである。このときは、Q8において、調整距離が「△LH」(△LH>0)として決定される。この後、Q9において、基準距離LBに調整距離△LHを加算して、虚像20の前後方向距離LTが算出される。この後は、Q4に移行される。Q5からQ9を経る処理は、虚像20の前後方向表示位置が、基準距離よりも長くなる方向(運転者から離れる方向)への調整となる。
If the answer to the question Q5 is NO, the vehicle is in the high vehicle speed range, where the vehicle speed V is higher than VB. In this case, the adjustment distance is determined to be "ΔLH" (ΔLH>0) in Q8. Then, in Q9, the adjustment distance ΔLH is added to the reference distance LB to calculate the longitudinal distance LT of the
図13は、運転者毎に、車速に応じた最適な虚像20の表示位置を決定するための制御例であり、図12における調整距離「-△LS」と「△LH」を決定する処理となる。すなわち、Q21において、運転者が、虚像20を注視しているか否かが判別される。このQ21の判別でNOのときは、そのままリターンされる。なお、このQ21での判別は、虚像20の注視を開始した初期段階であるか否かを判別するのが好ましい。
Figure 13 shows an example of control for determining the optimal display position of the
上記Q21の判別でYESのときは、Q22において、車速Vが読み込まれる。次いで、Q23において、車内カメラ312によって検出された両眼の視線方向に基づいて水平輻輳角θX(図10の2θB対応)が決定(推定)される。この後、Q24において、水平輻輳角θXから注視距離LX(図10の輻輳距離LB対応)が決定される。この後、Q25において、注視距離LXから前記基準距離LBを差し引くことにより、調整距離△LXが算出される。 If the answer to Q21 is YES, then in Q22, the vehicle speed V is read. Next, in Q23, the horizontal convergence angle θX (corresponding to 2θB in FIG. 10) is determined (estimated) based on the gaze direction of both eyes detected by the in-vehicle camera 312. After this, in Q24, the gaze distance LX (corresponding to the convergence distance LB in FIG. 10) is determined from the horizontal convergence angle θX. After this, in Q25, the adjustment distance ΔLX is calculated by subtracting the reference distance LB from the gaze distance LX.
Q25の後、Q26において、調整距離△LXが、車速(車速領域)と対応づけて記憶される。 After Q25, in Q26, the adjustment distance ΔLX is stored in association with the vehicle speed (vehicle speed range).
Q26の後、Q27において、車速に応じた調整距離△LXの記憶数が所定数(例えば5)以上であるか否かが判別される。このQ27の判別でNOのときは、データ数が不十分であるとして、Q21へ戻る。 After Q26, in Q27, it is determined whether the number of stored adjustment distances ΔLX according to the vehicle speed is equal to or greater than a predetermined number (e.g., 5). If the determination in Q27 is NO, it is determined that the number of data is insufficient, and the process returns to Q21.
図27の判別でYESのときは、Q28において、車速(車速領域)に応じた図12で用いた調整距離△LSと△LHとが、調整距離△LXに基づいて決定される(例えば所定数の調整距離△LXの相加平均値として決定)。なお、調整距離△LXがマイナスの値のときは、△LSはマイナスの値として決定され(図12における「-△LS」として決定)、調整距離LXがプラスのときは、調整距離△LHがプラスの値として決定される。 When the answer in FIG. 27 is YES, in Q28, the adjustment distances ΔLS and ΔLH used in FIG. 12 according to the vehicle speed (vehicle speed range) are determined based on the adjustment distance ΔLX (for example, determined as the arithmetic mean value of a predetermined number of adjustment distances ΔLX). Note that when the adjustment distance ΔLX is a negative value, ΔLS is determined as a negative value (determined as "-ΔLS" in FIG. 12), and when the adjustment distance LX is positive, the adjustment distance ΔLH is determined as a positive value.
図13の例とは異なるが、複数の車速領域毎に、Q24で示す注視距離LXを所定数以上集積して、例えばその相加平均値を車速領域毎の虚像20の前後方向表示位置(前後方向距離)として決定するようにしてもよい。この場合、基準距離LBは、虚像20の前後方向表示位置を最終的に決定するまでの初期値として用いればよい。
Although different from the example of FIG. 13, a predetermined number or more of the gaze distances LX indicated by Q24 may be accumulated for each of a number of vehicle speed ranges, and the arithmetic mean value may be determined as the longitudinal display position (longitudinal distance) of the
なお、虚像20の前後方向の表示位置の変更は、運転者が虚像20を注視していないタイミング(例えば数十m先の遠方を注視しているときや、サイドミラーを目視したとき等)で行うのが、表示位置変更に伴う違和感を運転者に与えないようにする上で好ましいものとなる。
Note that it is preferable to change the display position of the
以上実施形態について説明したが、本発明は、実施形態に限定されるものではなく、特許請求の範囲の記載された範囲において適宜の変更が可能である。車速に応じて提示情報としての虚像20の表示態様の変更としては、前後方向の表示位置変更に代えて、あるいは加えて、虚像20がより目立つ方向への変更とすることができ、例えば表示を大きくする変更、表示の輝度(明るさ)を増大する変更、色づけする変更、模様の変更等を行うことができる。特に、虚像20の前後方向位置を変更しない場合は、車速が所定車速範囲から外れる低車速時および高車速時の両方共に、所定車速範囲よりも虚像20がより目立つ表示態様へと変更することができる。これにより、オプティカルフローの影響を受けて虚像20への焦点が前後方向にずれたとしても、虚像20が目立つ表示へと変更されることにより、運転者は虚像20およびその周辺付近を明確かつ応答よく知覚することが可能となる。勿論、本発明の目的は、明記されたものに限らず、実質的に好ましいあるいは利点として表現されたものを提供することをも暗黙的に含むものである。
Although the embodiment has been described above, the present invention is not limited to the embodiment, and appropriate modifications are possible within the scope of the claims. As a change in the display mode of the
本発明は、ヘッドアップディスプレイによる提示情報の表示に関する技術として好ましいものである。 The present invention is a preferred technology for displaying presented information using a head-up display.
1:フロントウインドガラス
2:インストルメントパネル
2a:開口部
10:ヘッドアップディスプレイ
11:投影位置(フロントウインドガラス位置)
20:虚像(表示された提示情報)
U:コントローラ(制御手段)
30:車速センサ
31:車内カメラ
41:画像生成部
42:視線算出部
1: Windshield 2:
20: Virtual image (displayed information)
U: Controller (control means)
30: Vehicle speed sensor 31: In-vehicle camera 41: Image generator 42: Line-of-sight calculator
Claims (6)
車速を検出するステップと、
運転者が前記提示情報を注視したときの運転者の眼球状態を検出するステップと、
前記検出された運転者の眼球状態に基づいて、運転者が該提示情報を注視しているときの注視距離を推定するステップと、
前記推定された運転者の注視距離と検出された車速との関係に基づいて、運転者が前記提示情報を知覚しやすくなるように、車速が大きいときは小さいときに比して該提示情報が表示される位置が前方位置となるように該提示情報が表示される前後位置を変更するステップと、
を備えていることを特徴とするディスプレイ表示方法。 A display method for projecting information to be presented to a driver onto a front windshield, comprising:
Detecting a vehicle speed;
detecting an eye state of the driver when the driver gazes at the presented information;
estimating a gaze distance when the driver is gazing at the presented information based on the detected eye state of the driver;
a step of changing a front -rear position at which the presentation information is displayed so that the presentation information is displayed at a more forward position when the vehicle speed is high than when the vehicle speed is low, based on a relationship between the estimated gaze distance of the driver and the detected vehicle speed, so that the driver can easily perceive the presentation information;
A display method comprising:
車速が複数の領域に分けられて、該複数の領域毎に、前記提示情報が表示される位置が前後方向に相違される、ことを特徴とするディスプレイ表示方法。 In claim 1 ,
A display method, comprising: dividing a vehicle speed into a plurality of ranges; and varying a position in the front-rear direction at which the presented information is displayed for each of the plurality of ranges.
車速があらかじめ設定した所定車速範囲のときは、前記提示情報の表示が基準の表示態様とされ、
車速が前記所定車速範囲外のときは、前記表示態様の変更によって前記提示情報が前記基準の表示態様に比してより目立つように表示される、
ことを特徴とするディスプレイ表示方法。 In claim 1 or 2 ,
When the vehicle speed is within a predetermined vehicle speed range, the presentation information is displayed in a standard display mode.
When the vehicle speed is outside the predetermined vehicle speed range, the display manner is changed so that the presentation information is displayed more conspicuously than in the standard display manner.
A display method comprising:
車速を検出する車速検出手段と、
運転者が前記提示情報を注視したときの運転者の眼球状態を検出する眼球状態検出手段と、
前記眼球状態検出手段で検出された運転者の眼球状態に基づいて、運転者が該提示情報を注視しているときの注視距離を推定する推定手段と、
前記推定された運転者の注視距離と検出された車速との関係に基づいて前記HUDを制御して、運転者が前記提示情報を知覚しやすくなるように、車速が大きいときは小さいときに比して、該提示情報が表示される位置が前方位置となるように該提示情報の表示位置の変更を行う制御手段と、
を備えていることを特徴とするディスプレイ表示装置。 A head-up display (HUD) that projects information to the driver on the front windshield;
A vehicle speed detection means for detecting a vehicle speed;
eye state detection means for detecting an eye state of the driver when the driver gazes at the presented information;
an estimation means for estimating a gaze distance when the driver is gazing at the presented information based on the eye state of the driver detected by the eye state detection means;
a control means for controlling the HUD based on a relationship between the estimated gaze distance of the driver and the detected vehicle speed , and changing a display position of the presentation information so that the presentation information is displayed at a more forward position when the vehicle speed is high than when the vehicle speed is low , so that the driver can easily perceive the presentation information;
A display device comprising:
前記制御手段は、車速を複数の領域に分けて、該複数の領域毎に、前記提示情報が表示される位置が前後方向に相違するように制御する、ことを特徴とするディスプレイ表示装置。 In claim 4 ,
The display device, wherein the control means divides vehicle speed into a plurality of ranges and controls the position at which the presented information is displayed to differ in the forward/rearward direction for each of the plurality of ranges.
前記制御手段は、車速があらかじめ設定した所定車速範囲のときは前記提示情報の表示が基準の表示態様となるように制御する一方、車速が前記所定車速範囲外のときは該提示情報が該基準の表示態様に比してより目立つ表示となるように制御する、ことを特徴とするディスプレイ表示装置。 In claim 4 ,
The display device is characterized in that the control means controls the display of the presented information to be in a standard display mode when the vehicle speed is within a predetermined vehicle speed range, and controls the displayed information to be more noticeable compared to the standard display mode when the vehicle speed is outside the predetermined vehicle speed range.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021028230A JP7587754B2 (en) | 2021-02-25 | 2021-02-25 | Display method and device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021028230A JP7587754B2 (en) | 2021-02-25 | 2021-02-25 | Display method and device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022129529A JP2022129529A (en) | 2022-09-06 |
| JP7587754B2 true JP7587754B2 (en) | 2024-11-21 |
Family
ID=83151113
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021028230A Active JP7587754B2 (en) | 2021-02-25 | 2021-02-25 | Display method and device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7587754B2 (en) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150234458A1 (en) | 2014-02-20 | 2015-08-20 | Coretronic Corporation | Head-up display |
| JP2016094189A (en) | 2014-11-13 | 2016-05-26 | ビステオン グローバル テクノロジーズ インコーポレイテッド | Adapting display on transparent electronic display |
| JP2016203850A (en) | 2015-04-24 | 2016-12-08 | 株式会社リコー | Information providing device, information providing method and control program for providing information |
| US20170329143A1 (en) | 2016-05-11 | 2017-11-16 | WayRay SA | Heads-up display with variable focal plane |
| JP2017226292A (en) | 2016-06-21 | 2017-12-28 | 株式会社デンソー | On-vehicle display device |
| JP2018001906A (en) | 2016-06-30 | 2018-01-11 | 国立大学法人東京工業大学 | Vehicle information display device |
| JP2019077394A (en) | 2017-10-26 | 2019-05-23 | 三菱自動車工業株式会社 | Vehicular head-up display device |
| JP2021000961A (en) | 2019-06-24 | 2021-01-07 | パナソニックIpマネジメント株式会社 | Display control device, display device, display control method, and program |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06115381A (en) * | 1992-10-08 | 1994-04-26 | Y N S:Kk | Virtual image control method in head-up display and virtual image control device |
| JPH08197981A (en) * | 1995-01-23 | 1996-08-06 | Aqueous Res:Kk | Display device for vehicle |
-
2021
- 2021-02-25 JP JP2021028230A patent/JP7587754B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150234458A1 (en) | 2014-02-20 | 2015-08-20 | Coretronic Corporation | Head-up display |
| JP2016094189A (en) | 2014-11-13 | 2016-05-26 | ビステオン グローバル テクノロジーズ インコーポレイテッド | Adapting display on transparent electronic display |
| JP2016203850A (en) | 2015-04-24 | 2016-12-08 | 株式会社リコー | Information providing device, information providing method and control program for providing information |
| US20170329143A1 (en) | 2016-05-11 | 2017-11-16 | WayRay SA | Heads-up display with variable focal plane |
| JP2017226292A (en) | 2016-06-21 | 2017-12-28 | 株式会社デンソー | On-vehicle display device |
| JP2018001906A (en) | 2016-06-30 | 2018-01-11 | 国立大学法人東京工業大学 | Vehicle information display device |
| JP2019077394A (en) | 2017-10-26 | 2019-05-23 | 三菱自動車工業株式会社 | Vehicular head-up display device |
| JP2021000961A (en) | 2019-06-24 | 2021-01-07 | パナソニックIpマネジメント株式会社 | Display control device, display device, display control method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022129529A (en) | 2022-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102224443B (en) | Vehicle display device and display method | |
| JP7005115B2 (en) | Display device for vehicles | |
| JP2010070066A (en) | Head-up display | |
| CN105988220A (en) | Method and control device for operating vision field display device for vehicle | |
| US11106045B2 (en) | Display system, movable object, and design method | |
| JP2005301144A (en) | Virtual image display device and program | |
| JP7375753B2 (en) | heads up display device | |
| JP7478919B2 (en) | DISPLAY CONTROL DEVICE, IMAGE DISPLAY SYSTEM, MOBILE BODY, DISPLAY CONTROL METHOD, AND PROGRAM | |
| JP6152833B2 (en) | Vehicle driving sense adjustment device | |
| CN117294823A (en) | Display method, display device, storage medium and vehicle | |
| JP7503239B2 (en) | Head-up display device | |
| JP5223289B2 (en) | Visual information presentation device and visual information presentation method | |
| CN110794590A (en) | Virtual reality display system and display method thereof | |
| KR20130059650A (en) | Focus control device for contents of head up display and method for the same | |
| JP7377740B2 (en) | In-vehicle display device, method for controlling in-vehicle display device, and computer program | |
| JP7587754B2 (en) | Display method and device | |
| US20190283607A1 (en) | Display device and electronic mirror | |
| JP7006498B2 (en) | Head-up display | |
| JP4929768B2 (en) | Visual information presentation device and visual information presentation method | |
| JP7521268B2 (en) | Vehicle image processing device | |
| JP2024048865A (en) | Display control device, display device | |
| JP2024081406A (en) | Image processing device and method, program, and storage medium | |
| JP2020154107A (en) | Virtual image display system and virtual image display method | |
| JP6793480B2 (en) | Information display device | |
| JP2016004481A (en) | In-vehicle display device and display method therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240614 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240620 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240724 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240731 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241011 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241024 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7587754 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |