JP5842589B2 - Vehicle alert device - Google Patents
Vehicle alert device Download PDFInfo
- Publication number
- JP5842589B2 JP5842589B2 JP2011274721A JP2011274721A JP5842589B2 JP 5842589 B2 JP5842589 B2 JP 5842589B2 JP 2011274721 A JP2011274721 A JP 2011274721A JP 2011274721 A JP2011274721 A JP 2011274721A JP 5842589 B2 JP5842589 B2 JP 5842589B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- driver
- line
- sight
- flickering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Description
本発明は、車両のドライバーの視線方向に応じた注意喚起を行う車両用注意喚起装置に関するものである。 The present invention relates to a vehicle alert device that performs alerts in accordance with the line-of-sight direction of a driver of a vehicle.
従来、ドライバーの視線方向を特定し、特定した視線方向に基づいた注意喚起を行う車両用注意喚起装置の技術が知られている（例えば、特許文献１、２参照）。
2. Description of the Related Art Conventionally, a technology for a vehicle alert device that identifies a driver's line-of-sight direction and calls attention based on the identified line-of-sight direction is known (see, for example,
しかし、上記特許文献１、２のような技術では、ある瞬間の視線方向に基づいた注意喚起のみを行っているに過ぎないので、ドライバーに対して効果的な注意喚起がなされない場合がある。具体的には、特許文献１、２では、適正な方向（例えば正面）とそれ以外の方向（例えば車載器）を交互に見ているような状態（以下、チラチラ見状態という）について想定されていない。そのため、チラチラ見状態において、全く注意喚起がなされないか、あるいは、視線が適正方向から外に動く度に注意喚起してしまうことになる。
However, in the techniques as described in
本発明は上記点に鑑み、車両のドライバーの視線方向に応じた注意喚起を行う車両用注意喚起装置において、チラチラ見状態において適切な注意喚起を行うことを目的とする。 SUMMARY OF THE INVENTION In view of the above points, an object of the present invention is to provide appropriate alerting in a flickering viewing state in a vehicle alerting device that performs alerting according to the line-of-sight direction of a driver of a vehicle.
上記目的を達成するための請求項１に記載の発明は、車両のドライバーが撮影されたドライバー撮影画像に基づいて、ドライバーの視線方向を特定する視線方向特定手段（１２５）と、前記視線方向特定手段（１２５）が特定した視線方向が、適正な方向と適正でない方向とを繰り返し交互に向いていることに基づいて、ドライバーの視線状況がチラチラ見であることを検出するチラチラ見検出手段（１３０〜１７５）と、ドライバーの視線状況がチラチラ見であることを前記チラチラ見検出手段（１３０〜１７５）が検出したことに基づいて、ドライバーに注意喚起を行う注意喚起手段（３１０、３２０）と、を備えた車両用注意喚起装置である。このように、ドライバー撮影画像に基づいて特定した視線方向が、適正な方向と適正でない方向とを繰り返し交互に向いていることに基づいて、ドライバーの視線状況がチラチラ見であることを検出して注意喚起を行うことで、チラチラ見状態において適切な注意喚起を行うことができる。
In order to achieve the above object, the invention according to
また、請求項１に記載の車両用注意喚起装置において、前記チラチラ見検出手段（１３０〜１７５）は、前記視線方向特定手段（１２５）が特定した視線方向が適正な方向以外にある複数種別の車載器のいずれかから適正な方向に戻ったことに基づいて、チラチラ見回数を増加させるカウントアップ手段（１７０）と、前記視線方向特定手段（１２５）が特定した視線方向が、適正な方向以外から適正な方向に戻った後に、基準時間以上適正な方向に留まったことに基づいて、前記チラチラ見回数をゼロ回に戻し、また、前記視線方向特定手段（１２５）が特定した視線方向が、適正な方向以外から適正な方向に戻った後に、前記基準時間が経過する前に再度適正な方向以外に移ったことに基づいて、前記チラチラ見回数をゼロ回に戻さないリセット制御手段（１４５、１５０）と、前記チラチラ見回数が閾値（Ｒｂ）以上となったことに基づいて、ドライバーの視線状況がチラチラ見であることを検出する検出手段（１７５）と、を有することを特徴とする。
Further , in the vehicle alert system according to
このように、視線方向が適正な方向以外にある複数種別の車載器のいずれかから適正な方向に戻った後に、基準時間以上適正な方向に留まっているか否かで、チラチラ見回数をリセットするか否かを決めることで、より適正なチラチラ見の検出を行うことができる。 In this way, after returning to an appropriate direction from any of a plurality of types of in-vehicle devices that have a line-of-sight direction other than the appropriate direction, the number of times of flickering is reset depending on whether or not the direction remains in an appropriate direction for a reference time or more. By determining whether or not, it is possible to detect more appropriate flickering.
また、請求項２に記載の発明は、請求項１に記載の車両用注意喚起装置において、前記閾値（Ｒｂ）は、前記車両の前方の物体から前記車両までの距離が短いほど小さくなることを特徴とする。このようになっていることで、危険度が高いほどチラチラ見にたいする注意喚起を早く行うことができる。
Further, the invention according to
なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。 In addition, the code | symbol in the bracket | parenthesis in the said and the claim shows the correspondence of the term described in the claim, and the concrete thing etc. which illustrate the said term described in embodiment mentioned later. .
以下、本発明の一実施形態について説明する。図１に、本実施形態に係る車載システムの構成を示す。この車載シス テムは、車両用注意喚起装置１、車速センサ２、車両前方カメラ３、ドライバー監視カメラ４、および各種車載器５を有している。
Hereinafter, an embodiment of the present invention will be described. FIG. 1 shows a configuration of an in-vehicle system according to the present embodiment. This in-vehicle system includes a
車両用注意喚起装置１は、車速センサ２、車両前方カメラ３、ドライバー監視カメラ４から出力された信号を取得し、取得した信号に応じてドライバーの視線方向を特定し、特定した視線方向に応じた注意喚起を、各種車載器５に含まれる報知装置を用いて行う。このような車両用注意喚起装置１としては、例えば、周知のマイクロコントローラを採用することができる。
The
車速センサ２は、車両の車速に応じた信号を出力するセンサである。車両前方カメラ３は、車両の前方を繰り返し（例えば１秒あたり３０回）撮影し、撮影結果の画像（以下、前方撮影画像という）の信号を逐次出力する。ドライバー監視カメラ４は、車室内のドライバーの上半身（顔および手を含む）を撮影し、撮影結果の画像（以下、ドライバー撮影画像という）の信号を逐次出力する。
The
各種車載器５は、音声出力装置、車載ナビゲーション装置、インストルメントパネル内のディスプレイ、メーター等、車両内に取り付けられた装置群から構成される。これら車載器のうち、音声または画像で情報を出力できる報知装置（例えば、音声出力装置、車載ナビゲーション装置のディスプレイ）は、車両用注意喚起装置１からの制御に従って情報を出力できるようになっている。また、各種車載器５のうち、ユーザの操作を受け付けることのできる装置（例えば、車載ナビゲーション装置）は、ユーザによって操作されているときは、操作されていることを示す信号を車両用注意喚起装置１に出力する。
The various vehicle-mounted
以下、上記のような構成の車載器の作動について説明する。図２〜図４に、車両用注意喚起装置１が実行する処理のフローチャートを示す。図２は、ドライバー注視状況判定処理のフローチャートであり、図３は、ドライバー操作状況判定処理のフローチャートであり、図４は、注意喚起処理のフローチャートである。車両用注意喚起装置１は、これら３つの処理をマルチタスクで並列的（すなわち、同時並行的）に実行する。
Hereinafter, the operation of the vehicle-mounted device configured as described above will be described. The flowchart of the process which the
まず、１つの事例において図２のドライバー注視状況判定処理によって実現する処理について説明する。車両用注意喚起装置１が起動すると、図３、４の処理と共に図２の処理を開始する。
First, a process realized by the driver gaze situation determination process of FIG. 2 in one case will be described. When the
［Ａ］車両用注意喚起装置１は、まずステップ１０５で、パラメータの初期化を行う。具体的には、前方不注意タイマーＴＭの値をゼロにリセットし、チラチラ見回数の値をゼロにリセットする。またドライバー視線状況の値を「前方注視」状態とすることで、前方不注意状況を解除する。ここで、前方不注意タイマーＴＭは、前方不注意の継続時間をカウントするための変数であり、チラチラ見回数は、視線が車載器から車載器以外に移った回数を表す変数である。
[A] The
ステップ１１０では、車速センサ２からの出力に基づいて自車速度を取得すると共に、車両前方カメラ３から取得した車両前方の撮影画像に基づいて、周知の画像認識処理を行うことで、自車両の前方に存在する他車両から自車両までの距離を算出する。
In
続いてステップ１１５では、閾値Ｒａ、Ｒｂを決定する。閾値Ｒａは、前方不注意タイマーＴＭと比較する前方不注意タイマー閾値であり、閾値Ｒｂは、チラチラ見回数と比較するチラチラ見回数閾値である。閾値Ｒａ、Ｒｂとも、ステップ１１０で算出した自車速度および自車両前の他車両までの距離に基づき決定する。
Subsequently, in
前方不注意タイマー閾値Ｒａが小さければ、少しの脇見でも「車載器注視」と判定されやすくなる。チラチラ見回数閾値Ｒｂが小さければ、前方と車載器を交互に見る回数が少なくても「車載器チラチラ見」と判定されやすくなる。 If the forward careless timer threshold Ra is small, it is easy to determine that “a vehicle-mounted device gaze” is a little aside. If the number of times of flickering viewing Rb is small, it is easy to determine “on-vehicle device flickering viewing” even if the number of times of alternately looking forward and on-vehicle devices is small.
例えば、自車速が８０ｋｍ／ｈ以上で、自車両から前方の２００ｍの範囲内に車両が存在しない場合、Ｒａを３秒とし、Ｒｂを３回とする。また、自車速が８０ｋｍ／ｈ以上で、自車両に最も近い自車両前方の他車両が、自車両から２００ｍ以内かつ１００メートルよりも遠くの前方に存在する場合、Ｒａを１秒とし、Ｒｂを２回とする。また、自車速８０ｋｍ／ｈ以上で、自車両から１００ｍ以内の前方に他車両が存在する場合、Ｒａを０．５秒とし、Ｒｂを２回とする。 For example, when the own vehicle speed is 80 km / h or more and there is no vehicle in the range of 200 m ahead of the own vehicle, Ra is 3 seconds and Rb is 3 times. In addition, when the host vehicle speed is 80 km / h or more and another vehicle ahead of the host vehicle closest to the host vehicle is present within 200 m from the host vehicle and farther than 100 meters, Ra is set to 1 second, and Rb is set to 2 times. Further, when the host vehicle speed is 80 km / h or more and another vehicle is present within 100 m from the host vehicle, Ra is set to 0.5 seconds and Rb is set to twice.
また、自車速４０ｋｍ／ｈ以上８０ｋｍ／ｈ未満で、自車両から５０ｍ以内の前方に他車両が存在しない場合、Ｒａを３秒とし、Ｒｂを２回とする。また、自車速４０ｋｍ／ｈ以上８０ｋｍ／ｈ未満で、自車両から５０ｍ以内の前方に他車両が存在し、自車両から２０ｍ以内の前方に車両が存在しない場合、Ｒａを１秒とし、Ｒｂを２回とする。また、自車速４０ｋｍ／ｈ以下で、自車両から２０ｍ以内に車両が存在しない場合Ｒａを２秒とし、Ｒｂを２回とする。 Further, when the host vehicle speed is 40 km / h or more and less than 80 km / h and there is no other vehicle within 50 m from the host vehicle, Ra is 3 seconds and Rb is 2 times. In addition, when the own vehicle speed is 40 km / h or more and less than 80 km / h, there is another vehicle in front of the host vehicle within 50 m, and there is no vehicle in front of the host vehicle within 20 m, Ra is set to 1 second and Rb is set to 2 times. Further, when the host vehicle speed is 40 km / h or less and there is no vehicle within 20 m from the host vehicle, Ra is set to 2 seconds and Rb is set to 2 times.
つまり、車速が同じなら、自車両から前方の対象物までの距離が短いほど前方不注意タイマー閾値Ｒａが短くなり、チラチラ見回数閾値Ｒｂも小さくなる。また、自車両から前方の対象物までの距離が同じなら、車速が大きくなるほど前方不注意タイマー閾値Ｒａが短くなる。また、自車両から前方の対象物までの距離が同じなら、車速が大きくなるほどチラチラ見回数閾値Ｒｂが小さくなるようにしてもよい。 That is, if the vehicle speed is the same, the forward careless timer threshold Ra is shortened and the flicker look count threshold Rb is also reduced as the distance from the host vehicle to the front object is shorter. Further, if the distance from the host vehicle to the front object is the same, the forward careless timer threshold Ra becomes shorter as the vehicle speed increases. Further, if the distance from the host vehicle to the front object is the same, the flicker look count threshold value Rb may decrease as the vehicle speed increases.
続いてステップ１２０では、ドライバー監視カメラ４から最新のドライバー撮影画像を取得する。ステップ１２５では、取得したドライバー撮影画像に基づいて、周知の画像認識技術を用いて、ドライバーの視線方向を特定する。
Subsequently, in
続いてステップ１３０では、ステップ１２５で特定した視線方向が車載器の方向を向いているか否かを判定する。視線方向が車載器の方向を向いているか否かは、車両用注意喚起装置１の記憶媒体（例えばＲＯＭ）にあらかじめ記録された視線分類テーブルを用いて算出する。
Subsequently, in
視線分類テーブルには、視線方向を複数の視線方向範囲に区切り、各視線方向範囲について、その視線方向範囲が車載器の方向であるか否かの判別情報、および、車載器の方向であるならば、どの種別の車載器の方向であるかを示す車載器ＩＤ情報が、含まれている。これら視線方向範囲毎の判別情報および車載器ＩＤ情報は、車内に実際に搭載される車載器の位置および標準的なドライバーの目の位置を基準として、あらかじめ作成される。本事例では、ドライバーは車両の進行方向（前方）を向いているとする。したがって、車両用注意喚起装置１は、ステップ１２５で特定した視線方向を視線分類テーブルに適用することで、ドライバーの視線方向が車載器の方向を向いていないと判定し、ステップ１３５に進む。
In the line-of-sight classification table, the line-of-sight direction is divided into a plurality of line-of-sight direction ranges, and for each line-of-sight direction range, whether the line-of-sight direction range is the direction of the vehicle-mounted device, and the direction of the vehicle-mounted device For example, OBE ID information indicating which type of OBE is in the direction is included. The discrimination information and the vehicle-mounted device ID information for each line-of-sight direction range are created in advance on the basis of the position of the vehicle-mounted device actually mounted in the vehicle and the position of the standard driver's eyes. In this case, it is assumed that the driver is facing the traveling direction (forward) of the vehicle. Therefore, the
ステップ１３５では、前方不注意タイマーＴＭの増加を停止させる。本例では既に停止しているので、何もしない。ステップ１４０では、前方不注意タイマーＴＭがゼロか否かを判定する。本例ではゼロなので、ゼロであると判定してステップ１４５に進む。
In
ステップ１４５では、前方不注意タイマーＴＭが停止し続けている時間が基準時間（例えば３秒）以上であるか否かを判定する。本例では、車両用注意喚起装置１が起動してからまだ基準時間が経過していないので、基準時間以上ではないと判定し、ステップ１１０に戻る。
In
［Ｂ］その後、ドライバーが進行方向を注視しており、かつ、前方不注意タイマーＴＭが停止し続けている時間（以下、ＴＭ停止時間という）が基準時間未満となっている間は、ステップ１１０、１１５、１２０、１２５を上記と同様に処理し、ステップ１３０で視線が車載器方向でないと判定してステップ１３５に進み、ステップ１３５に続く１４０で前方不注意タイマーＴＭがゼロであると判定してステップ１４５に進み、ステップ１４５でＴＭ停止時間が基準時間未満であると判定してステップ１１０に戻るという手順を繰り返す。
[B] After that, while the driver is gazing at the traveling direction and the forward careless timer TM continues to stop (hereinafter referred to as TM stop time) is less than the reference time,
［Ｃ］そしてドライバーが進行方向を注視したまま、ＴＭ停止時間が基準時間を経過すると、上記［Ｂ］の繰り返しにおいてステップ１４５で、ＴＭ停止時間が基準時間以上となったと判定し、ステップ１５０に進む。
[C] When the TM stop time has passed the reference time while the driver is gazing at the direction of travel, it is determined in
ステップ１５０では、チラチラ見回数をゼロにリセットし、ドライバー視線状況の値を「前方注視」状態とすることで、前方不注意状況を解除する。本例ではチラチラ見回数は既にゼロであり、ドライバー視線状況の値は既に「前方注視」なので、何もしない。ステップ１５０の後、ステップ１１０に戻る。
In
［Ｄ］その後、ドライバーが進行方向を注視し続けている間は、ステップ１１０、１１５、１２０、１２５を上記と同様に処理し、ステップ１３０で視線が車載器方向でないと判定してステップ１３５に進み、ステップ１３５を経たステップ１４０で前方不注意タイマーＴＭがゼロであると判定してステップ１４５に進み、ステップ１４５でＴＭ停止時間が基準時間以上であると判定し、ステップ１５０で何もせずにステップ１１０に戻るという手順を繰り返す。
[D] After that, while the driver keeps gazing at the traveling direction, Steps 110, 115, 120, and 125 are processed in the same manner as described above, and in
［Ｅ］その後、ドライバーが車載器（例えばナビゲーション装置のディスプレイ）を見たとする。すると、車両用注意喚起装置１は、ステップ１１０、１１５、１２０、１２５を上記と同様に処理し、ステップ１３０で視線が車載器方向であると判定してステップ１５５に進む。
[E] After that, it is assumed that the driver sees the vehicle-mounted device (for example, the display of the navigation device). Then, the
ステップ１５５では、前方不注意タイマーＴＭのカウントアップをスタートする。これにより、前方不注意タイマーＴＭは、図２の処理とは並列的に、時間の経過と共に増加していく。
In
続いてステップ１６０では、前方不注意タイマーＴＭが閾値Ｒａ以上であるか否か判定する。本例では、まだ前方不注意タイマーＴＭのカウントアップが始まったばかりなので、前方不注意タイマーＴＭが閾値Ｒａ以上でないと判定し、ステップ１６５に進む。ステップ１６５では、チラチラ見回数が閾値Ｒｂ以上であるか否かを判定する。本例では、チラチラ見回数が０回なので、チラチラ見回数が閾値Ｒｂ以上でないと判定してステップ１１０に戻る。
Subsequently, at
［Ｆ］その後、ドライバーが車載器を見続けたとする。すると、車載器を見続ける時間が閾値Ｒａ未満の間は、車両用注意喚起装置１は、ステップ１１０、１１５、１２０、１２５を上記と同様に処理し、ステップ１３０で視線が車載器方向であると判定してステップ１５５に進む。ステップ１５５では既に前方不注意タイマーＴＭのカウントアップがスタートしているので何もせずにステップ１６０に進み、ステップ１６０で前方不注意タイマーＴＭが閾値Ｒａ未満であると判定してステップ１６５に進み、ステップ１６５でチラチラ見回数が閾値Ｒｂ未満であると判定してステップ１１０に戻す手順を繰り返す。その間にも、前方不注意タイマーＴＭの値が時間の経過と共に増加していく。
[F] After that, it is assumed that the driver continues to look at the vehicle-mounted device. Then, while the time of continuing to watch the vehicle-mounted device is less than the threshold value Ra, the
［Ｇ］そして、ドライバーが車載器を見続けている時間が閾値Ｒａに達したとき、車両用注意喚起装置１は、ステップ１１０、１１５、１２０、１２５を上記と同様に処理し、ステップ１３０で視線が車載器方向あると判定してステップ１５５に進む。ステップ１５５では既に前方不注意タイマーＴＭのカウントアップがスタートしているので何もせずにステップ１６０に進み、ステップ１６０で前方不注意タイマーＴＭが閾値Ｒａ以上であると判定してステップ１６３に進む。
[G] When the time during which the driver continues to watch the vehicle-mounted device reaches the threshold Ra, the
ステップ１６３では、ドライバー視線状況の値を「車載器注視」に設定すると共に、視線方向の先にある車載器の種別（ナビゲーション装置、メーター等）を、視線分類テーブルの車載器ＩＤ情報に基づいて特定し、更に、チラチラ見回数をゼロにリセットし、ステップ１１０に戻る。これにより、後述するように、「車載器注視」に応じた注意喚起が行われる。
In
［Ｈ］ドライバーが車載器を見続けている時間が閾値Ｒａに達した後も、ドライバーがそのまましばらく車載器を見続けている間は、車両用注意喚起装置１は、ステップ１１０、１１５、１２０、１２５を上記と同様に処理し、ステップ１３０で視線が車載器方向でないと判定してステップ１５５に進み、ステップ１５５では既に前方不注意タイマーＴＭのカウントアップがスタートしているので何もせずにステップ１６０に進み、ステップ１６０で前方不注意タイマーＴＭが閾値Ｒａ以上であると判定してステップ１６３に進み、ステップ１６３でドライバー視線状況の値を「車載器注視」に設定し、視線方向の先にある車載器の種別を特定し、ステップ１１０に戻るという手順を繰り返す。
[H] After the time that the driver continues to watch the vehicle-mounted device reaches the threshold value Ra, the
［Ｉ］その後、ドライバーが視線を車両進行方向に戻したとする。すると車両用注意喚起装置１は、ステップ１１０、１１５、１２０、１２５を上記と同様に処理し、ステップ１３０で視線が車載器方向でないと判定してステップ１３５に進む。ステップ１３５では、前方不注意タイマーＴＭのカウントアップを停止させる。
[I] Thereafter, it is assumed that the driver returns his line of sight to the vehicle traveling direction. Then, the
続いてステップ１４０では、前方不注意タイマーＴＭがゼロか否かを判定するが、本事例では、直前まで前方不注意タイマーＴＭのカウントアップが続いていたので、前方不注意タイマーＴＭがゼロでないと判定し、ステップ１７０に進む。ステップ１７０では、チラチラ見回数を１回分だけカウントアップすると共に、前方不注意タイマーＴＭをゼロにリセットし、ステップ１１０に戻る。このように、ドライバーが車載器を見ている状況から車両進行方向を見ている状況に変化したとき、チラチラ見回数が１回分カウントアップされる。また、ドライバーが車載器を見ている状況から車両進行方向を見ている状況に変化したとき、前方不注意タイマーＴＭがゼロにリセットされる。
Subsequently, in
［Ｊ］その後、ドライバーが進行方向を注視し続け、ＴＭ停止時間が基準時間未満となっている間は、上記［Ｂ］の通りである。そしてドライバーが進行方向を注視したまま、ＴＭ停止時間が基準時間を経過した場合は、上記［Ｃ］の通りである。ただし、ステップ１５０では、チラチラ見回数が１回からゼロ回にリセットされると共に、ドライバー視線状況の値が「車載器注視」から「前方注視」に変化する。その後、ドライバーが進行方向を注視し続けている間は、上記［Ｄ］の通りである。
[J] After that, while the driver continues to watch the direction of travel and the TM stop time is less than the reference time, the process is as described in [B] above. Then, when the TM stop time has passed the reference time while the driver is gazing at the traveling direction, it is as described in [C] above. However, in
［Ｋ］その後、ドライバーが車載器（例えばナビゲーション装置のディスプレイ）を見た場合は、上記［Ｅ］の通り、前方不注意タイマーＴＭのカウントアップがゼロから再スタートする。その後、ドライバーが車載器を見続けたとする。車載器を見続ける時間が閾値Ｒａ未満の間は、上記［Ｆ］の通りである。 [K] After that, when the driver looks at the vehicle-mounted device (for example, the display of the navigation device), the count-up of the forward careless timer TM restarts from zero as described in [E] above. Then, suppose that the driver continued to look at the vehicle-mounted device. While the time for which the on-vehicle device is continuously viewed is less than the threshold value Ra, the process is as described in [F] above.
［Ｌ］そして、車載器を見続ける時間が閾値Ｒａを超える前にドライバーが視線を車両進行方向に戻したとする。すると、上記［Ｉ］の通り、チラチラ見回数がゼロから１回に変化し、前方不注意タイマーＴＭがゼロにリセットされる。その後、ドライバーが進行方向を注視しており、前方不注意タイマーＴＭが停止し続けている時間（以下、ＴＭ停止時間という）が基準時間未満となっている間は、上記［Ｂ］の通りである。なお、この間は、ドライバー視線状況の値は「前方注視」のままである。 [L] Then, it is assumed that the driver returns his / her line of sight to the vehicle traveling direction before the time during which the user keeps watching the vehicle-mounted device exceeds the threshold value Ra. Then, as described in [I] above, the number of flickering changes from zero to one, and the forward careless timer TM is reset to zero. After that, while the driver is gazing at the direction of travel and the forward careless timer TM has been stopped for a while (hereinafter referred to as the TM stop time) is less than the reference time, as described in [B] above. is there. During this time, the value of the driver's line-of-sight situation remains “forward gaze”.
［Ｍ］その後、ＴＭ停止時間が基準時間未満となっている間に、ドライバーが再度車載器を見始めたとする。すると、車両用注意喚起装置１は、上記［Ｅ］の通りの処理を行う。ただし、ステップ１６５では、チラチラ見回数がリセットされておらず１回となっているが、この１回は閾値Ｒｂ（２回以上である）よりは小さい。その後、ドライバーが車載器を見続けたとする。車載器を見続ける時間が閾値Ｒａ未満の間は、上記［Ｆ］の通りである。
[M] After that, it is assumed that the driver starts looking at the vehicle-mounted device again while the TM stop time is less than the reference time. Then, the
［Ｎ］そして、車載器を見続ける時間が閾値Ｒａを超える前にドライバーが視線を車両進行方向に戻したとする。すると、上記［Ｉ］の通り、ステップ１７０でチラチラ見回数が１回分カウントアップされるので、チラチラ見回数が１回から２回に変化し、また、前方不注意タイマーＴＭがゼロにリセットされる。その後、ドライバーが進行方向を注視しており、ＴＭ停止時間が基準時間未満となっている間は、上記［Ｂ］の通りである。
[N] Then, it is assumed that the driver returns his / her line of sight to the vehicle traveling direction before the time during which he / she continues to watch the vehicle-mounted device exceeds the threshold value Ra. Then, as described in [I] above, since the number of flickering is counted up by one in
［Ｐ−１］上記［Ｎ］の作動の後、ＴＭ停止時間が基準時間未満となっている間に、ドライバーが再度車載器を見始めたとする。すると、車両用注意喚起装置１は、ステップ１６０から１６５に進むまでは上記［Ｅ］の通りの処理を行う。そして、ステップ１６５では、チラチラ見回数が閾値Ｒｂ以上であるか否か判定する。
[P-1] It is assumed that after the operation of [N], the driver starts looking at the vehicle-mounted device again while the TM stop time is less than the reference time. Then, the
本事例では、閾値Ｒｂが２であったとする。すると、ステップ１６５では、チラチラ見回数（本事例では２回）が閾値Ｒｂ（本事例では２回）以上であると判定し、ステップ１７５に進む。ステップ１７５では、ドライバーの視線状況の値を「前方注視」から「チラチラ見」に変更し、特定した視線方向の先にある車載器の種別（ナビゲーション装置、メーター等）を、視線分類テーブルの車載器ＩＤ情報に基づいて特定し、ステップ１１０に戻る。これにより、後述するように、「車載器注視」に応じた注意喚起が行われる。
In this example, it is assumed that the threshold value Rb is 2. Then, in
このように、ドライバーが閾値Ｒａの時間未満で車載器を見続けた後、視線を車載器から車両進行方向に移し、その後基準時間以内に視線を車両進行方向から車載器に移すという行為を閾値Ｒｂの回数以上繰り返すことで、車両用注意喚起装置１は、ドライバーの視線状況の値を「前方注視」から「チラチラ見」に変更する。
Thus, after the driver continues to look at the vehicle-mounted device for less than the threshold Ra, the action of moving the line of sight from the vehicle-mounted device to the vehicle traveling direction and then moving the line of sight from the vehicle traveling direction to the vehicle-mounted device within the reference time is the threshold value. By repeating the number of times of Rb or more, the
［Ｐ−２］なお、上記［Ｐ−１］とは異なり、上記［Ｎ］の作動の後、ドライバーが車両進行方向を見続け、ＴＭ停止時間が基準時間を経過すると、上記［Ｃ］の通り、ステップ１５０を実行するので、チラチラ見回数が２回からゼロ回にリセットされ、ドライバーの視線状況の値が「前方注視」のままとなる。そして、その後、ドライバーが再度車載器を見始めたとしても、ステップ１６５でチラチラ見回数が閾値Ｒｂ未満なので、ステップ１７５をバイパスしてステップ１１０に処理を戻す。
[P-2] Unlike [P-1], after the operation of [N], when the driver continues to look in the vehicle traveling direction and the TM stop time has passed the reference time, the above [C] As described above, since
次に、このような図２のドライバー注視状況判定処理と並列的に実行されるドライバー操作状況判定処理について、図３を参照して説明する。このドライバー操作状況判定処理では、ドライバー撮影画像に基づいてドライバーの車載器操作状況を特定する。 Next, the driver operation situation determination process executed in parallel with the driver gaze situation determination process of FIG. 2 will be described with reference to FIG. In the driver operation status determination process, the on-vehicle device operation status of the driver is specified based on the driver photographed image.
車両用注意喚起装置１が起動すると、ドライバー操作状況判定処理を開始し、まずステップ２０５で、ドライバー車載器操作状況の値を「未操作」に初期化する。続いてステップ２１０では、ドライバー監視カメラ４から最新のドライバー撮影画像を取得する。続いてステップ２１５では、取得したドライバー撮影画像に基づいて周知の画像認識技術を用いて、ドライバーの手の位置を特定する。
When the
続いてステップ２２０では、ステップ２１５で特定した手の位置に基づいて、ドライバーの手が車載器の近くにあるか否かを判定する。ドライバーの手が車載器の近くにあるか否かは、車両用注意喚起装置１の記憶媒体（例えばＲＯＭ）にあらかじめ記録された手位置分類テーブルを用いて算出する。
Subsequently, in
手位置分類テーブルには、手の位置を複数の位置範囲に区切り、各位置範囲について、その位置範囲が車載器を操作できる程度に車載器に近い位置であるか否かの判別情報、および、操作できる程度に車載器に近い位置であるならば、どの種別の車載器を操作できる位置であるかを示す車載器ＩＤ情報が、含まれている。これら位置範囲毎の判別情報および車載器ＩＤ情報は、車内に実際に搭載される車載器の位置を基準として、あらかじめ作成される。 In the hand position classification table, the position of the hand is divided into a plurality of position ranges, and for each position range, determination information as to whether or not the position range is close to the on-vehicle device to the extent that the on-vehicle device can be operated, and If the position is close to the vehicle-mounted device to the extent that it can be operated, the vehicle-mounted device ID information indicating which type of vehicle-mounted device can be operated is included. The discrimination information for each position range and the vehicle-mounted device ID information are created in advance with reference to the position of the vehicle-mounted device actually mounted in the vehicle.
ステップ２２でドライバーが車載器を操作していないと判定した場合は、ステップ２２５に進み、ドライバー車載器操作状況の値を「未操作」とする。これにより、仮に車載器が他の乗員に操作され、その情報を取得するようになっていたとしても、それはドライバーの操作ではないと判断できる。ステップ２２５の後、ステップ２１０に戻る。
When it is determined in step 22 that the driver is not operating the vehicle-mounted device, the process proceeds to step 225, and the value of the driver vehicle-mounted device operation status is set to “not operated”. Thereby, even if the vehicle-mounted device is operated by another occupant to acquire the information, it can be determined that it is not an operation of the driver. After
ステップ２２０でドライバーが車載器を操作していると判定した場合は、ステップ２３０に進み、ドライバーの手が近くにある車載器について、操作有無の情報を取得する。具体的には、手位置分類テーブルの車載器ＩＤ情報に基づいて、ドライバーの手が操作可能な程度に近い車載器の種別を特定し、特定した車載器から、現在操作されているか否かの操作情報を取得する。
When it is determined in
続いてステップ２３５では、ステップ２３０で車載器から取得した操作情報に基づいて、当該車載器が実際に操作されているか否かを判定する。操作されていないと判定した場合は、ステップ２１０に戻り、操作されていると判定した場合は、ステップ２４０に進む。ステップ２４０では、ドライバー車載器操作状況の値を「操作中」にし、ステップ２１０に戻る。
Subsequently, in
このようになっていることで、まず、ドライバーの手がどの車載器にも近づいていない状態では、ステップ２１０、２１５、２２０、２２５を繰り返し実行するので、ドライバー信号機Ｓｈさいき操作状況の値が「未操作」となる。 In this way, first, in a state where the driver's hand is not approaching any on-vehicle device, Steps 210, 215, 220, and 225 are repeatedly executed. "No operation".
その後、ドライバーの手がある車載器Ａの付近にあるが、当該車載器Ａが操作されていない状態になると、ステップ２１０、２１５、２２０、２３０、２３５がこの順に繰り返されるので、ドライバー車載器操作状況の値は、「未操作」のまま変化しない。
After that, when the driver's hand is near the vehicle-mounted device A, but the vehicle-mounted device A is not operated,
その後、ドライバーの手が車載器Ａの付近にあり、かつ、当該車載器Ａが操作されている状態になると、ステップ２１０、２１５、２２０、２３０、２３５、２４０がこの順に繰り返されるので、ドライバー車載器操作状況の値は、「操作中」に変化する。
Thereafter, when the driver's hand is in the vicinity of the vehicle-mounted device A and the vehicle-mounted device A is operated,
その後、ドライバーの手が車載器Ａの付近に残っているが、当該車載器Ａが操作されていない状態になると、ステップ２１０、２１５、２２０、２３０、２３５がこの順に繰り返されるので、ドライバー車載器操作状況の値は、「操作中」のまま変化しない。このように、操作中にまだ手が車載器付近にあるということは、操作はしていないが、操作する可能性が高いと判断し、ドライバー車載器操作状況の値を「操作中」のままにする。
After that, when the driver's hand remains in the vicinity of the vehicle-mounted device A but the vehicle-mounted device A is not operated,
次に、上記のような図２のドライバー注視状況判定処理および図３のドライバー操作状況判定処理と並列的に実行される注意喚起処理について、図４を参照して説明する。この注意喚起処理は、まずステップ３１０で、注意喚起判定データを取得する。注意喚起判定データは、図２の処理で設定および更新されるドライバー視線状況の最新値、および、図３の処理で設定および更新されるドライバー車載器操作状況の最新値である。
Next, the alerting process executed in parallel with the driver gaze situation determination process of FIG. 2 and the driver operation situation determination process of FIG. 3 will be described with reference to FIG. In this attention calling process, first, in
続いてステップ３２０では、車両用注意喚起装置１の記憶媒体（例えばＲＯＭ）に記憶されている注意パターンテーブル（図５参照）を用いて、ステップ３１０で読み出した注記喚起判定データに対応する注意喚起の有無および方法を特定し、特定した注意喚起方法を実行するよう、車載器を制御する。
Subsequently, in
具体的には、ドライバー視線状況の最新値が「前方注視」である場合は、ドライバー車載器操作状況の値にかかわらず、注意喚起を行わない。 Specifically, when the latest value of the driver's line-of-sight status is “forward gaze”, no alert is given regardless of the value of the driver on-vehicle device operation status.
また、ドライバー視線状況の最新値が「車載器チラチラ見」であり、ドライバー車載器操作状況の最新値が「未操作」である場合は、音声出力装置を制御して、前方車両の動きに注意するよう促す音声警告を行う。 Also, if the latest value of the driver ’s line-of-sight status is “on-vehicle device flickering” and the latest value of the driver ’s on-vehicle device operation status is “not operated”, control the audio output device to be careful of the movement of the vehicle ahead. Make an audio alert to encourage you to do so.
また、ドライバー視線状況の最新値が「車載器チラチラ見」であり、ドライバー車載器操作状況の最新値が「操作中」である場合は、音声出力装置を制御して、車載器の操作を控えるよう促すと共に、前方車両の動きに注意するよう促す音声警告を行う。 Also, if the latest value of the driver ’s line-of-sight status is “on-vehicle device flickering” and the latest value of the driver ’s on-vehicle device operation status is “in operation”, control the audio output device and refrain from operating the on-vehicle device. And an audio warning that prompts attention to the movement of the vehicle ahead.
また、ドライバー視線状況の最新値が「車載器注視」であり、ドライバー車載器操作状況の最新値が「未操作」である場合は、音声出力装置を制御して、前方をしっかり見るよう促す音声警告を行うと共に、視線方向にある車載器（図２の処理のステップ１６３において特定済み）の画像表示装置を制御して、当該画像表示装置に、車両前方カメラ３による前方撮影画像を表示させる。
In addition, when the latest value of the driver ’s line-of-sight status is “on-vehicle device gaze” and the latest value of the driver ’s on-vehicle device operation status is “not operated”, the voice that controls the audio output device to promptly look ahead While giving a warning, the image display device of the vehicle-mounted device (identified in
また、ドライバー視線状況の最新値が「車載器注視」であり、ドライバー車載器操作状況の最新値が「操作中」である場合は、音声出力装置を制御して、車載器の操作を控えるよう促すと共に前方をしっかり見るよう促す音声警告を行い、さらに、視線方向にある車載器の画像表示装置を制御して、当該画像表示装置に、車両前方カメラ３による前方撮影画像を表示させる。ステップ３２０の後、ステップ３１０に戻る。
Also, if the latest value of the driver ’s line-of-sight status is “on-vehicle device gaze” and the latest value of the driver ’s on-vehicle device operation status is “operating”, control the audio output device to refrain from operating the on-vehicle device. An audio warning is given to promptly look forward, and the image display device of the vehicle-mounted device in the line-of-sight direction is controlled to display an image captured in front of the
以上説明した通り、本実施形態の車両用注意喚起装置１は、車両のドライバーが撮影されたドライバー撮影画像に基づいて、ドライバーの視線方向を特定し（ステップ１２５）、特定した視線方向が、適正な方向（具体的には車載器以外の方向、例えば車両進行方向）と適正でない方向（具体的には車載器の方向）とを繰り返し交互に向いていることに基づいて、ドライバーの視線状況がチラチラ見であることを検出し（ステップ１３０〜１７５）、ドライバーの視線状況がチラチラ見であることを検出したことに基づいて、ドライバーに注意喚起を行う。
As described above, the
このように、ドライバー撮影画像に基づいて特定した視線方向が、適正な方向と適正でない方向とを繰り返し交互に向いていることに基づいて、ドライバーの視線状況がチラチラ見であることを検出して注意喚起を行うことで、チラチラ見状態において適切な注意喚起を行うことができる。 Thus, based on the fact that the line-of-sight direction specified based on the driver-captured image is repeatedly directed alternately between the appropriate direction and the inappropriate direction, it is detected that the driver's line-of-sight situation is flickering. By calling attention, it is possible to call attention appropriately in a flickering state.
また車両用注意喚起装置１は、特定した視線方向が適正な方向以外から適正な方向に戻ったことに基づいて、チラチラ見回数を増加させ、視線方向が適正な方向以外から適正な方向に戻った後に、基準時間以上適正な方向に留まったことに基づいて、チラチラ見回数をゼロ回に戻し、また、視線方向が適正な方向以外から適正な方向に戻った後に、基準時間が経過する前に再度適正な方向以外に移ったことに基づいて、チラチラ見回数をゼロ回に戻さない。そして、チラチラ見回数が閾値Ｒｂ以上となったことに基づいて、ドライバーの視線状況がチラチラ見であることを検出する。
Further, the
このように、視線方向が適正な方向以外から適正な方向に戻った後に、基準時間以上適正な方向に留まっているか否かで、チラチラ見回数をリセットするか否かを決めることで、より適正なチラチラ見の検出を行うことができる。 In this way, it is more appropriate to decide whether or not to reset the number of times of flickering according to whether or not the direction of the line of sight has returned in an appropriate direction from a direction other than the appropriate direction and stayed in an appropriate direction for a reference time or more. It is possible to detect flickering.
また、閾値（Ｒｂ）は、車両の前方の物体から車両までの距離が短いほど小さくなる。このようになっていることで、危険度が高いほどチラチラ見にたいする注意喚起を早く行うことができる。 The threshold value (Rb) decreases as the distance from the object ahead of the vehicle to the vehicle decreases. In this way, the higher the degree of danger, the faster the alerting for flickering can be made.
なお、上記実施形態において、車両用注意喚起装置１が、ステップ１２５を実行することで、の一例として機能し、ステップ１３０〜１７５を実行することで、の一例として機能し、ステップ３１０、３２０を実行することで、の一例として機能し、ステップ１７０を実行することで、の一例として機能し、ステップ１４５、１５０を実行することで、の一例として機能し、ステップ１７５を実行することで、の一例として機能する。
In the above embodiment, the
（他の実施形態）
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。
(Other embodiments)
As mentioned above, although embodiment of this invention was described, the scope of the present invention is not limited only to the said embodiment, The various form which can implement | achieve the function of each invention specific matter of this invention is included. It is.
例えば、車両用注意喚起装置１は、図３の処理を行わないようになっていてもよい。その場合、車両用注意喚起装置１は、ドライバー車載器操作状況の値が常に「未操作」となっている状態で、図２、図４の処理を行うようになっていればよい。
For example, the
また例えば、上記実施形態では、車両前方カメラ３の前方撮影画像に基づいて、前方の他車両までの距離を特定していたが、車両前方カメラ３に代えて障害物センサ（例えばミリ波レーダー）を用いて前方の車両までの距離を測定するようになっていてもよい。
Further, for example, in the above-described embodiment, the distance to the other vehicle in front is specified based on the front captured image of the
１ 車両用注意喚起装置
２ 車速センサ
３ 車両前方カメラ
４ ドライバー監視カメラ
５ 車載器
DESCRIPTION OF
Claims (2)
前記視線方向特定手段（１２５）が特定した視線方向が、適正な方向と適正でない方向とを繰り返し交互に向いていることに基づいて、ドライバーの視線状況がチラチラ見であることを検出するチラチラ見検出手段（１３０〜１７５）と、
ドライバーの視線状況がチラチラ見であることを前記チラチラ見検出手段（１３０〜１７５）が検出したことに基づいて、ドライバーに注意喚起を行う注意喚起手段（３１０、３２０）と、を備え、
前記チラチラ見検出手段（１３０〜１７５）は、
前記視線方向特定手段（１２５）が特定した視線方向が適正な方向以外にある複数種別の車載器のいずれかから適正な方向に戻ったことに基づいて、チラチラ見回数を増加させるカウントアップ手段（１７０）と、
前記視線方向特定手段（１２５）が特定した視線方向が、適正な方向以外から適正な方向に戻った後に、基準時間以上適正な方向に留まったことに基づいて、前記チラチラ見回数をゼロ回に戻し、また、前記視線方向特定手段（１２５）が特定した視線方向が、適正な方向以外から適正な方向に戻った後に、前記基準時間が経過する前に再度適正な方向以外に移ったことに基づいて、前記チラチラ見回数をゼロ回に戻さないリセット制御手段（１４５、１５０）と、
前記チラチラ見回数が閾値（Ｒｂ）以上となったことに基づいて、ドライバーの視線状況がチラチラ見であることを検出する検出手段（１７５）と、を有することを特徴とする車両用注意喚起装置。 Line-of-sight direction specifying means (125) for specifying the line-of-sight direction of the driver based on a driver-captured image captured by the driver of the vehicle;
Glitter viewing for detecting that the driver's gaze status is flickering based on the fact that the gaze direction identified by the gaze direction identifying means (125) repeatedly alternates between an appropriate direction and an inappropriate direction. Detecting means (130 to 175);
Alerting means (310, 320) for alerting the driver based on the fact that the flickering detection means (130 to 175) detects that the driver's line-of-sight status is flickering ;
The flickering detection means (130 to 175)
Counting-up means for increasing the number of times of flicker viewing based on the return of the gaze direction specified by the gaze direction specifying means (125) to the appropriate direction from any of a plurality of types of vehicle-mounted devices other than the appropriate direction. 170)
Based on the fact that the line-of-sight direction specified by the line-of-sight direction specifying means (125) has remained in an appropriate direction for a reference time or more after returning from an appropriate direction to a proper direction, the number of flicker viewings is reduced to zero. The line of sight specified by the line-of-sight direction specifying means (125) has returned to an appropriate direction from a direction other than the appropriate direction, and has again moved to a direction other than the appropriate direction before the reference time has elapsed. Based on the reset control means (145, 150) that does not return the flickering count to zero times,
A vehicle alerting device , comprising: detecting means (175) for detecting that the driver's line of sight is flickering based on the number of times of flickering being equal to or greater than a threshold value (Rb). .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011274721A JP5842589B2 (en) | 2011-12-15 | 2011-12-15 | Vehicle alert device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011274721A JP5842589B2 (en) | 2011-12-15 | 2011-12-15 | Vehicle alert device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013125462A JP2013125462A (en) | 2013-06-24 |
| JP5842589B2 true JP5842589B2 (en) | 2016-01-13 |
Family
ID=48776647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011274721A Expired - Fee Related JP5842589B2 (en) | 2011-12-15 | 2011-12-15 | Vehicle alert device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5842589B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015204603A (en) * | 2014-04-16 | 2015-11-16 | シャープ株式会社 | Information processing device, information processing method, and program |
| JP2018088119A (en) * | 2016-11-29 | 2018-06-07 | パイオニア株式会社 | Control device, control method, and program |
| JP7227106B2 (en) * | 2019-08-22 | 2023-02-21 | 本田技研工業株式会社 | Operation control device, operation control method, and program |
| JP2024049224A (en) * | 2022-09-28 | 2024-04-09 | トヨタ自動車株式会社 | Driving Support Devices |
| US20250214647A1 (en) * | 2024-01-02 | 2025-07-03 | Ford Global Technologies, Llc | Operator engagement based vehicle component actuation |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001260776A (en) * | 2000-03-22 | 2001-09-26 | Mazda Motor Corp | Obstacle warning device for vehicles |
| JP2005284975A (en) * | 2004-03-30 | 2005-10-13 | Honda Motor Co Ltd | Travel safety device |
| JP2007286959A (en) * | 2006-04-18 | 2007-11-01 | Matsushita Electric Ind Co Ltd | Driving assistance device |
-
2011
- 2011-12-15 JP JP2011274721A patent/JP5842589B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013125462A (en) | 2013-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9694680B2 (en) | System and method for determining drowsy state of driver | |
| RU2656933C2 (en) | Method and device for early warning during meeting at curves | |
| US10220778B2 (en) | Vehicle-mounted alert system and alert control device | |
| JP6350145B2 (en) | Face orientation detection device and vehicle warning system | |
| CN102712317B (en) | Vehicular safety systems combining driver and environment sensing | |
| JP6103383B2 (en) | Vehicle driving evaluation system | |
| US9913607B2 (en) | Collision avoidance system and collision avoidance method | |
| JP5842589B2 (en) | Vehicle alert device | |
| EP2402201B1 (en) | Inattention determining apparatus | |
| WO2017199529A1 (en) | Driving assistance device and driving assistance program | |
| JP5601930B2 (en) | Vehicle display device | |
| JP6595219B2 (en) | Object notification device and object notification method | |
| CN104200542A (en) | Vehicle pre-warning method, vehicle pre-warning device, terminal and travelling data recorder | |
| KR20180129044A (en) | Driver assistance apparatus in vehicle and method for guidance a safety driving thereof | |
| JP2018097515A (en) | Drive assisting device, drive assisting method, and program thereof | |
| JP2010033106A (en) | Driver support device, driver support method, and driver support processing program | |
| JP6213435B2 (en) | Over-attention state determination device and over-attention state determination program | |
| JP2016066231A (en) | Collision prevention device, collision prevention method, collision prevention program, and recording medium | |
| JP2010186227A (en) | Warning device | |
| JP6344105B2 (en) | Vehicle warning system | |
| GB2536474B (en) | Situational awareness monitoring method and apparatus | |
| JP6193177B2 (en) | Motion support system and object recognition device | |
| JP7294483B2 (en) | Driving support device, driving support method and program | |
| JP2023002810A (en) | output device | |
| KR20140073383A (en) | Lane change guiding method and apparatus performing the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140908 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150415 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150421 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150617 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151020 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151102 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5842589 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |