JP5842589B2

JP5842589B2 - 車両用注意喚起装置

Info

Publication number: JP5842589B2
Application number: JP2011274721A
Authority: JP
Inventors: 友紀杉浦
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2011-12-15
Filing date: 2011-12-15
Publication date: 2016-01-13
Anticipated expiration: 2031-12-15
Also published as: JP2013125462A

Description

本発明は、車両のドライバーの視線方向に応じた注意喚起を行う車両用注意喚起装置に関するものである。

従来、ドライバーの視線方向を特定し、特定した視線方向に基づいた注意喚起を行う車両用注意喚起装置の技術が知られている（例えば、特許文献１、２参照）。

特開２００７−１２８４３０号公報特開２００８−１６２５５０号公報

しかし、上記特許文献１、２のような技術では、ある瞬間の視線方向に基づいた注意喚起のみを行っているに過ぎないので、ドライバーに対して効果的な注意喚起がなされない場合がある。具体的には、特許文献１、２では、適正な方向（例えば正面）とそれ以外の方向（例えば車載器）を交互に見ているような状態（以下、チラチラ見状態という）について想定されていない。そのため、チラチラ見状態において、全く注意喚起がなされないか、あるいは、視線が適正方向から外に動く度に注意喚起してしまうことになる。

本発明は上記点に鑑み、車両のドライバーの視線方向に応じた注意喚起を行う車両用注意喚起装置において、チラチラ見状態において適切な注意喚起を行うことを目的とする。

上記目的を達成するための請求項１に記載の発明は、車両のドライバーが撮影されたドライバー撮影画像に基づいて、ドライバーの視線方向を特定する視線方向特定手段（１２５）と、前記視線方向特定手段（１２５）が特定した視線方向が、適正な方向と適正でない方向とを繰り返し交互に向いていることに基づいて、ドライバーの視線状況がチラチラ見であることを検出するチラチラ見検出手段（１３０〜１７５）と、ドライバーの視線状況がチラチラ見であることを前記チラチラ見検出手段（１３０〜１７５）が検出したことに基づいて、ドライバーに注意喚起を行う注意喚起手段（３１０、３２０）と、を備えた車両用注意喚起装置である。このように、ドライバー撮影画像に基づいて特定した視線方向が、適正な方向と適正でない方向とを繰り返し交互に向いていることに基づいて、ドライバーの視線状況がチラチラ見であることを検出して注意喚起を行うことで、チラチラ見状態において適切な注意喚起を行うことができる。

また、請求項１に記載の車両用注意喚起装置において、前記チラチラ見検出手段（１３０〜１７５）は、前記視線方向特定手段（１２５）が特定した視線方向が適正な方向以外にある複数種別の車載器のいずれかから適正な方向に戻ったことに基づいて、チラチラ見回数を増加させるカウントアップ手段（１７０）と、前記視線方向特定手段（１２５）が特定した視線方向が、適正な方向以外から適正な方向に戻った後に、基準時間以上適正な方向に留まったことに基づいて、前記チラチラ見回数をゼロ回に戻し、また、前記視線方向特定手段（１２５）が特定した視線方向が、適正な方向以外から適正な方向に戻った後に、前記基準時間が経過する前に再度適正な方向以外に移ったことに基づいて、前記チラチラ見回数をゼロ回に戻さないリセット制御手段（１４５、１５０）と、前記チラチラ見回数が閾値（Ｒｂ）以上となったことに基づいて、ドライバーの視線状況がチラチラ見であることを検出する検出手段（１７５）と、を有することを特徴とする。

このように、視線方向が適正な方向以外にある複数種別の車載器のいずれかから適正な方向に戻った後に、基準時間以上適正な方向に留まっているか否かで、チラチラ見回数をリセットするか否かを決めることで、より適正なチラチラ見の検出を行うことができる。

また、請求項２に記載の発明は、請求項１に記載の車両用注意喚起装置において、前記閾値（Ｒｂ）は、前記車両の前方の物体から前記車両までの距離が短いほど小さくなることを特徴とする。このようになっていることで、危険度が高いほどチラチラ見にたいする注意喚起を早く行うことができる。

なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。

本発明の実施形態に係る車載システムの構成図である。ドライバー注視状況判定処理のフローチャートである。ドライバー操作状況判定処理のフローチャートである。注意喚起処理のフローチャートである。注意パターンテーブルである。

以下、本発明の一実施形態について説明する。図１に、本実施形態に係る車載システムの構成を示す。この車載システムは、車両用注意喚起装置１、車速センサ２、車両前方カメラ３、ドライバー監視カメラ４、および各種車載器５を有している。

車両用注意喚起装置１は、車速センサ２、車両前方カメラ３、ドライバー監視カメラ４から出力された信号を取得し、取得した信号に応じてドライバーの視線方向を特定し、特定した視線方向に応じた注意喚起を、各種車載器５に含まれる報知装置を用いて行う。このような車両用注意喚起装置１としては、例えば、周知のマイクロコントローラを採用することができる。

車速センサ２は、車両の車速に応じた信号を出力するセンサである。車両前方カメラ３は、車両の前方を繰り返し（例えば１秒あたり３０回）撮影し、撮影結果の画像（以下、前方撮影画像という）の信号を逐次出力する。ドライバー監視カメラ４は、車室内のドライバーの上半身（顔および手を含む）を撮影し、撮影結果の画像（以下、ドライバー撮影画像という）の信号を逐次出力する。

各種車載器５は、音声出力装置、車載ナビゲーション装置、インストルメントパネル内のディスプレイ、メーター等、車両内に取り付けられた装置群から構成される。これら車載器のうち、音声または画像で情報を出力できる報知装置（例えば、音声出力装置、車載ナビゲーション装置のディスプレイ）は、車両用注意喚起装置１からの制御に従って情報を出力できるようになっている。また、各種車載器５のうち、ユーザの操作を受け付けることのできる装置（例えば、車載ナビゲーション装置）は、ユーザによって操作されているときは、操作されていることを示す信号を車両用注意喚起装置１に出力する。

以下、上記のような構成の車載器の作動について説明する。図２〜図４に、車両用注意喚起装置１が実行する処理のフローチャートを示す。図２は、ドライバー注視状況判定処理のフローチャートであり、図３は、ドライバー操作状況判定処理のフローチャートであり、図４は、注意喚起処理のフローチャートである。車両用注意喚起装置１は、これら３つの処理をマルチタスクで並列的（すなわち、同時並行的）に実行する。

まず、１つの事例において図２のドライバー注視状況判定処理によって実現する処理について説明する。車両用注意喚起装置１が起動すると、図３、４の処理と共に図２の処理を開始する。

［Ａ］車両用注意喚起装置１は、まずステップ１０５で、パラメータの初期化を行う。具体的には、前方不注意タイマーＴＭの値をゼロにリセットし、チラチラ見回数の値をゼロにリセットする。またドライバー視線状況の値を「前方注視」状態とすることで、前方不注意状況を解除する。ここで、前方不注意タイマーＴＭは、前方不注意の継続時間をカウントするための変数であり、チラチラ見回数は、視線が車載器から車載器以外に移った回数を表す変数である。

ステップ１１０では、車速センサ２からの出力に基づいて自車速度を取得すると共に、車両前方カメラ３から取得した車両前方の撮影画像に基づいて、周知の画像認識処理を行うことで、自車両の前方に存在する他車両から自車両までの距離を算出する。

続いてステップ１１５では、閾値Ｒａ、Ｒｂを決定する。閾値Ｒａは、前方不注意タイマーＴＭと比較する前方不注意タイマー閾値であり、閾値Ｒｂは、チラチラ見回数と比較するチラチラ見回数閾値である。閾値Ｒａ、Ｒｂとも、ステップ１１０で算出した自車速度および自車両前の他車両までの距離に基づき決定する。

前方不注意タイマー閾値Ｒａが小さければ、少しの脇見でも「車載器注視」と判定されやすくなる。チラチラ見回数閾値Ｒｂが小さければ、前方と車載器を交互に見る回数が少なくても「車載器チラチラ見」と判定されやすくなる。

例えば、自車速が８０ｋｍ／ｈ以上で、自車両から前方の２００ｍの範囲内に車両が存在しない場合、Ｒａを３秒とし、Ｒｂを３回とする。また、自車速が８０ｋｍ／ｈ以上で、自車両に最も近い自車両前方の他車両が、自車両から２００ｍ以内かつ１００メートルよりも遠くの前方に存在する場合、Ｒａを１秒とし、Ｒｂを２回とする。また、自車速８０ｋｍ／ｈ以上で、自車両から１００ｍ以内の前方に他車両が存在する場合、Ｒａを０．５秒とし、Ｒｂを２回とする。

また、自車速４０ｋｍ／ｈ以上８０ｋｍ／ｈ未満で、自車両から５０ｍ以内の前方に他車両が存在しない場合、Ｒａを３秒とし、Ｒｂを２回とする。また、自車速４０ｋｍ／ｈ以上８０ｋｍ／ｈ未満で、自車両から５０ｍ以内の前方に他車両が存在し、自車両から２０ｍ以内の前方に車両が存在しない場合、Ｒａを１秒とし、Ｒｂを２回とする。また、自車速４０ｋｍ／ｈ以下で、自車両から２０ｍ以内に車両が存在しない場合Ｒａを２秒とし、Ｒｂを２回とする。

つまり、車速が同じなら、自車両から前方の対象物までの距離が短いほど前方不注意タイマー閾値Ｒａが短くなり、チラチラ見回数閾値Ｒｂも小さくなる。また、自車両から前方の対象物までの距離が同じなら、車速が大きくなるほど前方不注意タイマー閾値Ｒａが短くなる。また、自車両から前方の対象物までの距離が同じなら、車速が大きくなるほどチラチラ見回数閾値Ｒｂが小さくなるようにしてもよい。

続いてステップ１２０では、ドライバー監視カメラ４から最新のドライバー撮影画像を取得する。ステップ１２５では、取得したドライバー撮影画像に基づいて、周知の画像認識技術を用いて、ドライバーの視線方向を特定する。

続いてステップ１３０では、ステップ１２５で特定した視線方向が車載器の方向を向いているか否かを判定する。視線方向が車載器の方向を向いているか否かは、車両用注意喚起装置１の記憶媒体（例えばＲＯＭ）にあらかじめ記録された視線分類テーブルを用いて算出する。

視線分類テーブルには、視線方向を複数の視線方向範囲に区切り、各視線方向範囲について、その視線方向範囲が車載器の方向であるか否かの判別情報、および、車載器の方向であるならば、どの種別の車載器の方向であるかを示す車載器ＩＤ情報が、含まれている。これら視線方向範囲毎の判別情報および車載器ＩＤ情報は、車内に実際に搭載される車載器の位置および標準的なドライバーの目の位置を基準として、あらかじめ作成される。本事例では、ドライバーは車両の進行方向（前方）を向いているとする。したがって、車両用注意喚起装置１は、ステップ１２５で特定した視線方向を視線分類テーブルに適用することで、ドライバーの視線方向が車載器の方向を向いていないと判定し、ステップ１３５に進む。

ステップ１３５では、前方不注意タイマーＴＭの増加を停止させる。本例では既に停止しているので、何もしない。ステップ１４０では、前方不注意タイマーＴＭがゼロか否かを判定する。本例ではゼロなので、ゼロであると判定してステップ１４５に進む。

ステップ１４５では、前方不注意タイマーＴＭが停止し続けている時間が基準時間（例えば３秒）以上であるか否かを判定する。本例では、車両用注意喚起装置１が起動してからまだ基準時間が経過していないので、基準時間以上ではないと判定し、ステップ１１０に戻る。

［Ｂ］その後、ドライバーが進行方向を注視しており、かつ、前方不注意タイマーＴＭが停止し続けている時間（以下、ＴＭ停止時間という）が基準時間未満となっている間は、ステップ１１０、１１５、１２０、１２５を上記と同様に処理し、ステップ１３０で視線が車載器方向でないと判定してステップ１３５に進み、ステップ１３５に続く１４０で前方不注意タイマーＴＭがゼロであると判定してステップ１４５に進み、ステップ１４５でＴＭ停止時間が基準時間未満であると判定してステップ１１０に戻るという手順を繰り返す。

［Ｃ］そしてドライバーが進行方向を注視したまま、ＴＭ停止時間が基準時間を経過すると、上記［Ｂ］の繰り返しにおいてステップ１４５で、ＴＭ停止時間が基準時間以上となったと判定し、ステップ１５０に進む。

ステップ１５０では、チラチラ見回数をゼロにリセットし、ドライバー視線状況の値を「前方注視」状態とすることで、前方不注意状況を解除する。本例ではチラチラ見回数は既にゼロであり、ドライバー視線状況の値は既に「前方注視」なので、何もしない。ステップ１５０の後、ステップ１１０に戻る。

［Ｄ］その後、ドライバーが進行方向を注視し続けている間は、ステップ１１０、１１５、１２０、１２５を上記と同様に処理し、ステップ１３０で視線が車載器方向でないと判定してステップ１３５に進み、ステップ１３５を経たステップ１４０で前方不注意タイマーＴＭがゼロであると判定してステップ１４５に進み、ステップ１４５でＴＭ停止時間が基準時間以上であると判定し、ステップ１５０で何もせずにステップ１１０に戻るという手順を繰り返す。

［Ｅ］その後、ドライバーが車載器（例えばナビゲーション装置のディスプレイ）を見たとする。すると、車両用注意喚起装置１は、ステップ１１０、１１５、１２０、１２５を上記と同様に処理し、ステップ１３０で視線が車載器方向であると判定してステップ１５５に進む。

ステップ１５５では、前方不注意タイマーＴＭのカウントアップをスタートする。これにより、前方不注意タイマーＴＭは、図２の処理とは並列的に、時間の経過と共に増加していく。

続いてステップ１６０では、前方不注意タイマーＴＭが閾値Ｒａ以上であるか否か判定する。本例では、まだ前方不注意タイマーＴＭのカウントアップが始まったばかりなので、前方不注意タイマーＴＭが閾値Ｒａ以上でないと判定し、ステップ１６５に進む。ステップ１６５では、チラチラ見回数が閾値Ｒｂ以上であるか否かを判定する。本例では、チラチラ見回数が０回なので、チラチラ見回数が閾値Ｒｂ以上でないと判定してステップ１１０に戻る。

［Ｆ］その後、ドライバーが車載器を見続けたとする。すると、車載器を見続ける時間が閾値Ｒａ未満の間は、車両用注意喚起装置１は、ステップ１１０、１１５、１２０、１２５を上記と同様に処理し、ステップ１３０で視線が車載器方向であると判定してステップ１５５に進む。ステップ１５５では既に前方不注意タイマーＴＭのカウントアップがスタートしているので何もせずにステップ１６０に進み、ステップ１６０で前方不注意タイマーＴＭが閾値Ｒａ未満であると判定してステップ１６５に進み、ステップ１６５でチラチラ見回数が閾値Ｒｂ未満であると判定してステップ１１０に戻す手順を繰り返す。その間にも、前方不注意タイマーＴＭの値が時間の経過と共に増加していく。

［Ｇ］そして、ドライバーが車載器を見続けている時間が閾値Ｒａに達したとき、車両用注意喚起装置１は、ステップ１１０、１１５、１２０、１２５を上記と同様に処理し、ステップ１３０で視線が車載器方向あると判定してステップ１５５に進む。ステップ１５５では既に前方不注意タイマーＴＭのカウントアップがスタートしているので何もせずにステップ１６０に進み、ステップ１６０で前方不注意タイマーＴＭが閾値Ｒａ以上であると判定してステップ１６３に進む。

ステップ１６３では、ドライバー視線状況の値を「車載器注視」に設定すると共に、視線方向の先にある車載器の種別（ナビゲーション装置、メーター等）を、視線分類テーブルの車載器ＩＤ情報に基づいて特定し、更に、チラチラ見回数をゼロにリセットし、ステップ１１０に戻る。これにより、後述するように、「車載器注視」に応じた注意喚起が行われる。

［Ｈ］ドライバーが車載器を見続けている時間が閾値Ｒａに達した後も、ドライバーがそのまましばらく車載器を見続けている間は、車両用注意喚起装置１は、ステップ１１０、１１５、１２０、１２５を上記と同様に処理し、ステップ１３０で視線が車載器方向でないと判定してステップ１５５に進み、ステップ１５５では既に前方不注意タイマーＴＭのカウントアップがスタートしているので何もせずにステップ１６０に進み、ステップ１６０で前方不注意タイマーＴＭが閾値Ｒａ以上であると判定してステップ１６３に進み、ステップ１６３でドライバー視線状況の値を「車載器注視」に設定し、視線方向の先にある車載器の種別を特定し、ステップ１１０に戻るという手順を繰り返す。

［Ｉ］その後、ドライバーが視線を車両進行方向に戻したとする。すると車両用注意喚起装置１は、ステップ１１０、１１５、１２０、１２５を上記と同様に処理し、ステップ１３０で視線が車載器方向でないと判定してステップ１３５に進む。ステップ１３５では、前方不注意タイマーＴＭのカウントアップを停止させる。

続いてステップ１４０では、前方不注意タイマーＴＭがゼロか否かを判定するが、本事例では、直前まで前方不注意タイマーＴＭのカウントアップが続いていたので、前方不注意タイマーＴＭがゼロでないと判定し、ステップ１７０に進む。ステップ１７０では、チラチラ見回数を１回分だけカウントアップすると共に、前方不注意タイマーＴＭをゼロにリセットし、ステップ１１０に戻る。このように、ドライバーが車載器を見ている状況から車両進行方向を見ている状況に変化したとき、チラチラ見回数が１回分カウントアップされる。また、ドライバーが車載器を見ている状況から車両進行方向を見ている状況に変化したとき、前方不注意タイマーＴＭがゼロにリセットされる。

［Ｊ］その後、ドライバーが進行方向を注視し続け、ＴＭ停止時間が基準時間未満となっている間は、上記［Ｂ］の通りである。そしてドライバーが進行方向を注視したまま、ＴＭ停止時間が基準時間を経過した場合は、上記［Ｃ］の通りである。ただし、ステップ１５０では、チラチラ見回数が１回からゼロ回にリセットされると共に、ドライバー視線状況の値が「車載器注視」から「前方注視」に変化する。その後、ドライバーが進行方向を注視し続けている間は、上記［Ｄ］の通りである。

［Ｋ］その後、ドライバーが車載器（例えばナビゲーション装置のディスプレイ）を見た場合は、上記［Ｅ］の通り、前方不注意タイマーＴＭのカウントアップがゼロから再スタートする。その後、ドライバーが車載器を見続けたとする。車載器を見続ける時間が閾値Ｒａ未満の間は、上記［Ｆ］の通りである。

［Ｌ］そして、車載器を見続ける時間が閾値Ｒａを超える前にドライバーが視線を車両進行方向に戻したとする。すると、上記［Ｉ］の通り、チラチラ見回数がゼロから１回に変化し、前方不注意タイマーＴＭがゼロにリセットされる。その後、ドライバーが進行方向を注視しており、前方不注意タイマーＴＭが停止し続けている時間（以下、ＴＭ停止時間という）が基準時間未満となっている間は、上記［Ｂ］の通りである。なお、この間は、ドライバー視線状況の値は「前方注視」のままである。

［Ｍ］その後、ＴＭ停止時間が基準時間未満となっている間に、ドライバーが再度車載器を見始めたとする。すると、車両用注意喚起装置１は、上記［Ｅ］の通りの処理を行う。ただし、ステップ１６５では、チラチラ見回数がリセットされておらず１回となっているが、この１回は閾値Ｒｂ（２回以上である）よりは小さい。その後、ドライバーが車載器を見続けたとする。車載器を見続ける時間が閾値Ｒａ未満の間は、上記［Ｆ］の通りである。

［Ｎ］そして、車載器を見続ける時間が閾値Ｒａを超える前にドライバーが視線を車両進行方向に戻したとする。すると、上記［Ｉ］の通り、ステップ１７０でチラチラ見回数が１回分カウントアップされるので、チラチラ見回数が１回から２回に変化し、また、前方不注意タイマーＴＭがゼロにリセットされる。その後、ドライバーが進行方向を注視しており、ＴＭ停止時間が基準時間未満となっている間は、上記［Ｂ］の通りである。

［Ｐ−１］上記［Ｎ］の作動の後、ＴＭ停止時間が基準時間未満となっている間に、ドライバーが再度車載器を見始めたとする。すると、車両用注意喚起装置１は、ステップ１６０から１６５に進むまでは上記［Ｅ］の通りの処理を行う。そして、ステップ１６５では、チラチラ見回数が閾値Ｒｂ以上であるか否か判定する。

本事例では、閾値Ｒｂが２であったとする。すると、ステップ１６５では、チラチラ見回数（本事例では２回）が閾値Ｒｂ（本事例では２回）以上であると判定し、ステップ１７５に進む。ステップ１７５では、ドライバーの視線状況の値を「前方注視」から「チラチラ見」に変更し、特定した視線方向の先にある車載器の種別（ナビゲーション装置、メーター等）を、視線分類テーブルの車載器ＩＤ情報に基づいて特定し、ステップ１１０に戻る。これにより、後述するように、「車載器注視」に応じた注意喚起が行われる。

このように、ドライバーが閾値Ｒａの時間未満で車載器を見続けた後、視線を車載器から車両進行方向に移し、その後基準時間以内に視線を車両進行方向から車載器に移すという行為を閾値Ｒｂの回数以上繰り返すことで、車両用注意喚起装置１は、ドライバーの視線状況の値を「前方注視」から「チラチラ見」に変更する。

［Ｐ−２］なお、上記［Ｐ−１］とは異なり、上記［Ｎ］の作動の後、ドライバーが車両進行方向を見続け、ＴＭ停止時間が基準時間を経過すると、上記［Ｃ］の通り、ステップ１５０を実行するので、チラチラ見回数が２回からゼロ回にリセットされ、ドライバーの視線状況の値が「前方注視」のままとなる。そして、その後、ドライバーが再度車載器を見始めたとしても、ステップ１６５でチラチラ見回数が閾値Ｒｂ未満なので、ステップ１７５をバイパスしてステップ１１０に処理を戻す。

次に、このような図２のドライバー注視状況判定処理と並列的に実行されるドライバー操作状況判定処理について、図３を参照して説明する。このドライバー操作状況判定処理では、ドライバー撮影画像に基づいてドライバーの車載器操作状況を特定する。

車両用注意喚起装置１が起動すると、ドライバー操作状況判定処理を開始し、まずステップ２０５で、ドライバー車載器操作状況の値を「未操作」に初期化する。続いてステップ２１０では、ドライバー監視カメラ４から最新のドライバー撮影画像を取得する。続いてステップ２１５では、取得したドライバー撮影画像に基づいて周知の画像認識技術を用いて、ドライバーの手の位置を特定する。

続いてステップ２２０では、ステップ２１５で特定した手の位置に基づいて、ドライバーの手が車載器の近くにあるか否かを判定する。ドライバーの手が車載器の近くにあるか否かは、車両用注意喚起装置１の記憶媒体（例えばＲＯＭ）にあらかじめ記録された手位置分類テーブルを用いて算出する。

手位置分類テーブルには、手の位置を複数の位置範囲に区切り、各位置範囲について、その位置範囲が車載器を操作できる程度に車載器に近い位置であるか否かの判別情報、および、操作できる程度に車載器に近い位置であるならば、どの種別の車載器を操作できる位置であるかを示す車載器ＩＤ情報が、含まれている。これら位置範囲毎の判別情報および車載器ＩＤ情報は、車内に実際に搭載される車載器の位置を基準として、あらかじめ作成される。

ステップ２２でドライバーが車載器を操作していないと判定した場合は、ステップ２２５に進み、ドライバー車載器操作状況の値を「未操作」とする。これにより、仮に車載器が他の乗員に操作され、その情報を取得するようになっていたとしても、それはドライバーの操作ではないと判断できる。ステップ２２５の後、ステップ２１０に戻る。

ステップ２２０でドライバーが車載器を操作していると判定した場合は、ステップ２３０に進み、ドライバーの手が近くにある車載器について、操作有無の情報を取得する。具体的には、手位置分類テーブルの車載器ＩＤ情報に基づいて、ドライバーの手が操作可能な程度に近い車載器の種別を特定し、特定した車載器から、現在操作されているか否かの操作情報を取得する。

続いてステップ２３５では、ステップ２３０で車載器から取得した操作情報に基づいて、当該車載器が実際に操作されているか否かを判定する。操作されていないと判定した場合は、ステップ２１０に戻り、操作されていると判定した場合は、ステップ２４０に進む。ステップ２４０では、ドライバー車載器操作状況の値を「操作中」にし、ステップ２１０に戻る。

このようになっていることで、まず、ドライバーの手がどの車載器にも近づいていない状態では、ステップ２１０、２１５、２２０、２２５を繰り返し実行するので、ドライバー信号機Ｓｈさいき操作状況の値が「未操作」となる。

その後、ドライバーの手がある車載器Ａの付近にあるが、当該車載器Ａが操作されていない状態になると、ステップ２１０、２１５、２２０、２３０、２３５がこの順に繰り返されるので、ドライバー車載器操作状況の値は、「未操作」のまま変化しない。

その後、ドライバーの手が車載器Ａの付近にあり、かつ、当該車載器Ａが操作されている状態になると、ステップ２１０、２１５、２２０、２３０、２３５、２４０がこの順に繰り返されるので、ドライバー車載器操作状況の値は、「操作中」に変化する。

その後、ドライバーの手が車載器Ａの付近に残っているが、当該車載器Ａが操作されていない状態になると、ステップ２１０、２１５、２２０、２３０、２３５がこの順に繰り返されるので、ドライバー車載器操作状況の値は、「操作中」のまま変化しない。このように、操作中にまだ手が車載器付近にあるということは、操作はしていないが、操作する可能性が高いと判断し、ドライバー車載器操作状況の値を「操作中」のままにする。

次に、上記のような図２のドライバー注視状況判定処理および図３のドライバー操作状況判定処理と並列的に実行される注意喚起処理について、図４を参照して説明する。この注意喚起処理は、まずステップ３１０で、注意喚起判定データを取得する。注意喚起判定データは、図２の処理で設定および更新されるドライバー視線状況の最新値、および、図３の処理で設定および更新されるドライバー車載器操作状況の最新値である。

続いてステップ３２０では、車両用注意喚起装置１の記憶媒体（例えばＲＯＭ）に記憶されている注意パターンテーブル（図５参照）を用いて、ステップ３１０で読み出した注記喚起判定データに対応する注意喚起の有無および方法を特定し、特定した注意喚起方法を実行するよう、車載器を制御する。

具体的には、ドライバー視線状況の最新値が「前方注視」である場合は、ドライバー車載器操作状況の値にかかわらず、注意喚起を行わない。

また、ドライバー視線状況の最新値が「車載器チラチラ見」であり、ドライバー車載器操作状況の最新値が「未操作」である場合は、音声出力装置を制御して、前方車両の動きに注意するよう促す音声警告を行う。

また、ドライバー視線状況の最新値が「車載器チラチラ見」であり、ドライバー車載器操作状況の最新値が「操作中」である場合は、音声出力装置を制御して、車載器の操作を控えるよう促すと共に、前方車両の動きに注意するよう促す音声警告を行う。

また、ドライバー視線状況の最新値が「車載器注視」であり、ドライバー車載器操作状況の最新値が「未操作」である場合は、音声出力装置を制御して、前方をしっかり見るよう促す音声警告を行うと共に、視線方向にある車載器（図２の処理のステップ１６３において特定済み）の画像表示装置を制御して、当該画像表示装置に、車両前方カメラ３による前方撮影画像を表示させる。

また、ドライバー視線状況の最新値が「車載器注視」であり、ドライバー車載器操作状況の最新値が「操作中」である場合は、音声出力装置を制御して、車載器の操作を控えるよう促すと共に前方をしっかり見るよう促す音声警告を行い、さらに、視線方向にある車載器の画像表示装置を制御して、当該画像表示装置に、車両前方カメラ３による前方撮影画像を表示させる。ステップ３２０の後、ステップ３１０に戻る。

以上説明した通り、本実施形態の車両用注意喚起装置１は、車両のドライバーが撮影されたドライバー撮影画像に基づいて、ドライバーの視線方向を特定し（ステップ１２５）、特定した視線方向が、適正な方向（具体的には車載器以外の方向、例えば車両進行方向）と適正でない方向（具体的には車載器の方向）とを繰り返し交互に向いていることに基づいて、ドライバーの視線状況がチラチラ見であることを検出し（ステップ１３０〜１７５）、ドライバーの視線状況がチラチラ見であることを検出したことに基づいて、ドライバーに注意喚起を行う。

このように、ドライバー撮影画像に基づいて特定した視線方向が、適正な方向と適正でない方向とを繰り返し交互に向いていることに基づいて、ドライバーの視線状況がチラチラ見であることを検出して注意喚起を行うことで、チラチラ見状態において適切な注意喚起を行うことができる。

また車両用注意喚起装置１は、特定した視線方向が適正な方向以外から適正な方向に戻ったことに基づいて、チラチラ見回数を増加させ、視線方向が適正な方向以外から適正な方向に戻った後に、基準時間以上適正な方向に留まったことに基づいて、チラチラ見回数をゼロ回に戻し、また、視線方向が適正な方向以外から適正な方向に戻った後に、基準時間が経過する前に再度適正な方向以外に移ったことに基づいて、チラチラ見回数をゼロ回に戻さない。そして、チラチラ見回数が閾値Ｒｂ以上となったことに基づいて、ドライバーの視線状況がチラチラ見であることを検出する。

このように、視線方向が適正な方向以外から適正な方向に戻った後に、基準時間以上適正な方向に留まっているか否かで、チラチラ見回数をリセットするか否かを決めることで、より適正なチラチラ見の検出を行うことができる。

また、閾値（Ｒｂ）は、車両の前方の物体から車両までの距離が短いほど小さくなる。このようになっていることで、危険度が高いほどチラチラ見にたいする注意喚起を早く行うことができる。

なお、上記実施形態において、車両用注意喚起装置１が、ステップ１２５を実行することで、の一例として機能し、ステップ１３０〜１７５を実行することで、の一例として機能し、ステップ３１０、３２０を実行することで、の一例として機能し、ステップ１７０を実行することで、の一例として機能し、ステップ１４５、１５０を実行することで、の一例として機能し、ステップ１７５を実行することで、の一例として機能する。

（他の実施形態）
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。

例えば、車両用注意喚起装置１は、図３の処理を行わないようになっていてもよい。その場合、車両用注意喚起装置１は、ドライバー車載器操作状況の値が常に「未操作」となっている状態で、図２、図４の処理を行うようになっていればよい。

また例えば、上記実施形態では、車両前方カメラ３の前方撮影画像に基づいて、前方の他車両までの距離を特定していたが、車両前方カメラ３に代えて障害物センサ（例えばミリ波レーダー）を用いて前方の車両までの距離を測定するようになっていてもよい。

１車両用注意喚起装置
２車速センサ
３車両前方カメラ
４ドライバー監視カメラ
５車載器

Claims

車両のドライバーが撮影されたドライバー撮影画像に基づいて、ドライバーの視線方向を特定する視線方向特定手段（１２５）と、
前記視線方向特定手段（１２５）が特定した視線方向が、適正な方向と適正でない方向とを繰り返し交互に向いていることに基づいて、ドライバーの視線状況がチラチラ見であることを検出するチラチラ見検出手段（１３０〜１７５）と、
ドライバーの視線状況がチラチラ見であることを前記チラチラ見検出手段（１３０〜１７５）が検出したことに基づいて、ドライバーに注意喚起を行う注意喚起手段（３１０、３２０）と、を備え、
前記チラチラ見検出手段（１３０〜１７５）は、
前記視線方向特定手段（１２５）が特定した視線方向が適正な方向以外にある複数種別の車載器のいずれかから適正な方向に戻ったことに基づいて、チラチラ見回数を増加させるカウントアップ手段（１７０）と、
前記視線方向特定手段（１２５）が特定した視線方向が、適正な方向以外から適正な方向に戻った後に、基準時間以上適正な方向に留まったことに基づいて、前記チラチラ見回数をゼロ回に戻し、また、前記視線方向特定手段（１２５）が特定した視線方向が、適正な方向以外から適正な方向に戻った後に、前記基準時間が経過する前に再度適正な方向以外に移ったことに基づいて、前記チラチラ見回数をゼロ回に戻さないリセット制御手段（１４５、１５０）と、
前記チラチラ見回数が閾値（Ｒｂ）以上となったことに基づいて、ドライバーの視線状況がチラチラ見であることを検出する検出手段（１７５）と、を有することを特徴とする車両用注意喚起装置。
前記閾値（Ｒｂ）は、前記車両の前方の物体から前記車両までの距離が短いほど小さくなることを特徴とする請求項１に記載の車両用注意喚起装置。