JP7792861B2 - 運転支援装置、運転支援方法、およびプログラム - Google Patents

Description

本発明は、運転支援装置、運転支援方法、およびプログラムに関する。

従来、移動体の乗員の視線を検出し、検出された視線に基づいて、当該乗員による移動体の運転を支援する技術が知られている。例えば、特許文献１には、移動体が走行状態にあり、かつ検出された視線の向きが所定領域を向いていない場合に、移動体の操作部に対する受付を制限する技術が開示されている。

特開２０２１－３３５７０号公報

しかしながら、従来技術では、移動体の乗員の視線の向きや時間に応じて、柔軟に運転支援を実行することができない場合があった。

本発明は、このような事情を考慮してなされたものであり、乗員の視線の向きや時間に応じて、柔軟に運転支援を実行することができる運転支援装置、運転支援方法、およびプログラムを提供することを目的の一つとする。

この発明に係る運転支援装置、運転支援方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る運転支援装置は、移動体の周辺にある物標を認識する物標認識部と、前記移動体の乗員が、前記移動体の構造体上に存在する注視対象と前記物標とを含む複数の注視対象のうち、いずれの注視対象へ視線を向けているか推定する視線推定部と、前記乗員が、前記複数の注視対象のうちいずれかに第１所定期間以上、視線を向けていると推定された場合、前記乗員が当該注視対象を視認していると判定する視認判定部と、前記視認判定部の判定結果に基づいて、前記移動体の運転支援を実行する運転支援部と、を備え、前記視認判定部は、前記乗員がある注視対象を視認していると判定した後、前記乗員が当該注視対象を外したと推定された場合、前記視認していると判定された注視対象を前記乗員が視認しているとする判定結果を、前記乗員が当該注視対象を外したと推定された時点から第２所定期間、維持するものである。

（２）：上記（１）の態様において、前記視線推定部は、前記視線と、前記注視対象を視認している確率を表す視線の確率分布との一致度合いとに基づいて、前記乗員が、前記複数の注視対象のうち、いずれの注視対象へ視線を向けているか推定するものである。

（３）：上記（２）の態様において、前記視線推定部は、前記移動体の乗員の頭部を中心とする極座標によって表される前記視線と、前記頭部を中心とする極座標によって表される、前記注視対象の中心角度および角度の幅と、に基づいて、前記一致度合いを算出し、前記乗員が、前記複数の注視対象のうち、いずれの注視対象へ視線を向けているか推定するものである。

（４）：上記（１）の態様において、前記視認判定部は、前記複数の注視対象の種類に応じて、前記第２所定期間の長さを変更するものである。

（５）：上記（１）の態様において、前記視認判定部は、前記視線推定部によって、前記乗員が前記注視対象を視認していると判定された期間が長いほど、前記第２所定期間を長くするものである。

（６）：上記（１）の態様において、前記視認判定部は、前記物標認識部によって認識された物標を前記乗員が視認した回数が多いほど、前記第２所定期間を長くするものである。

（７）：上記（２）の態様において、前記視認判定部は、前記視線推定部によって算出された前記一致度合いの大きさに応じて、前記第２所定期間の長さを変更するものである。

（８）：上記（１）の態様において、前記運転支援部は、前記視認判定部によって前記乗員が前記注視対象を視認していると判定され、かつ前記注視対象を視認することによって、前記注視対象に含まれる物標を認識可能であると判定された場合、前記物標に対する警戒度を低くする傾向で前記運転支援を実行するものである。

（９）：この発明の別の態様に係る運転支援方法は、コンピュータが、移動体の周辺にある物標を認識し、前記移動体の乗員が、前記移動体の構造体上に存在する注視対象と前記物標とを含む複数の注視対象のうち、いずれの注視対象へ視線を向けているか推定し、前記乗員が、前記複数の注視対象のうちいずれかに第１所定期間以上、視線を向けていると推定された場合、前記乗員が当該注視対象を視認していると判定し、前記視認の判定結果に基づいて、前記移動体の運転支援を実行し、前記乗員がある注視対象を視認していると判定した後、前記乗員が当該注視対象を外したと推定された場合、前記視認していると判定された注視対象を前記乗員が視認しているとする判定結果を、前記乗員が当該注視対象を外したと推定された時点から第２所定期間、維持するものである。

（１０）：この発明の別の態様に係るプログラムは、コンピュータに、移動体の周辺にある物標を認識させ、前記移動体の乗員が、前記移動体の構造体上に存在する注視対象と前記物標とを含む複数の注視対象のうち、いずれの注視対象へ視線を向けているか推定させ、前記乗員が、前記複数の注視対象のうちいずれかに第１所定期間以上、視線を向けていると推定された場合、前記乗員が当該注視対象を視認していると判定させ、前記視認の判定結果に基づいて、前記移動体の運転支援を実行させ、前記乗員がある注視対象を視認していると判定した後、前記乗員が当該注視対象を外したと推定された場合、前記視認していると判定された注視対象を前記乗員が視認しているとする判定結果を、前記乗員が当該注視対象を外したと推定された時点から第２所定期間、維持させるものである。

（１）～（１０）の態様によれば、乗員の視線の向きや時間に応じて、柔軟に運転支援を実行することができる。

実施形態の運転支援装置１００が搭載される車両Ｍの構成図である。 運転支援装置１００が搭載される車両Ｍにおけるドライバモニタカメラ６０の配置位置の一例を示す図である。 視線推定部１２０が運転者の視線ＬＳを検出する方法を説明するための図である。 視線推定部１２０が注視対象の中心角度および角度の幅を算出する方法を説明するための図である。 視認判定部１３０が運転者による注視対象の視認を判定する方法を説明するための図である。 視認判定部１３０がラップ率を考慮して第２所定期間を算出する方法を説明するための図である。 運転支援部１４０によって実行される運転支援を説明するための図である。 運転支援部１４０によって実行される運転支援を説明するための別の図である。 運転支援装置１００によって実行される動作の流れの一例を示すフローチャートである。

以下、図面を参照し、本発明の運転支援装置、運転支援方法、およびプログラムの実施形態について説明する。

［全体構成］
図１は、実施形態の運転支援装置１００が搭載される車両Ｍの構成図である。車両Ｍは、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。車両Ｍは、「移動体」の一例である。

車両Ｍには、例えば、カメラ１０と、レーダ装置１２と、ＬＩＤＡＲ（Light Detection and Ranging）１４と、物体認識装置１６と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、ナビゲーション装置５０と、ドライバモニタカメラ６０と、運転操作子７０と、運転支援装置１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とが搭載される。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両システム１が搭載される車両（以下、車両Ｍ）の任意の箇所に取り付けられる。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ１０は、例えば、周期的に繰り返し車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。

レーダ装置１２は、車両Ｍの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、車両Ｍの任意の箇所に取り付けられる。レーダ装置１２は、ＦＭ－ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。

ＬＩＤＡＲ１４は、車両Ｍの周辺に光（或いは光に近い波長の電磁波）を照射し、散乱光を測定する。ＬＩＤＡＲ１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ＬＩＤＡＲ１４は、車両Ｍの任意の箇所に取り付けられる。

物体認識装置１６は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置１６は、認識結果を運転支援装置１００に出力する。物体認識装置１６は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４の検出結果をそのまま運転支援装置１００に出力してよい。車両システム１から物体認識装置１６が省略されてもよい。

ＨＭＩ３０は、車両Ｍの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、各種表示装置、スピーカ、ブザー、振動発生装置（バイブレータ）、タッチパネル、スイッチ、キーなどを含む。

車両センサ４０は、車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、車両Ｍの向きを検出する方位センサ等を含む。

ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機や案内制御部、地図情報を記憶した記憶部等を有する。ＧＮＳＳ受信機は、ＧＮＳＳ衛星から受信した信号に基づいて、車両Ｍの位置を特定する。車両Ｍの位置は、車両センサ４０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。案内制御部は、例えば、ＧＮＳＳ受信機により特定された車両Ｍの位置（或いは入力された任意の位置）から、乗員により入力された目的地までの経路を、地図情報を参照して決定し、車両Ｍが経路に沿って走行するようにＨＭＩ３０に案内情報を出力させる。地図情報は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。地図情報は、道路の曲率やＰＯＩ（Point Of Interest）情報などを含んでもよい。ナビゲーション装置５０は、通信装置を介してナビゲーションサーバに車両Ｍの現在位置と目的地を送信し、ナビゲーションサーバから経路を取得してもよい。

ドライバモニタカメラ６０は、例えば、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用したデジタルカメラである。ドライバモニタカメラ６０は、自車両Ｍの運転席に着座した乗員（以下、運転者）の頭部を正面から（顔面を撮像する向きで）撮像可能な位置および向きで、自車両Ｍにおける任意の箇所に取り付けられる。ドライバモニタカメラ６０は、配置された位置から自車両Ｍの運転者を含む車室内を撮影した画像を、運転支援装置１００に出力する。

図２は、運転支援装置１００が搭載される車両Ｍにおけるドライバモニタカメラ６０の配置位置の一例を示す図である。図２において、ＲＶＭは、ルームミラーを表し、ＦＷＳは、フロントガラスを表し、ＬＳＭは、左サイドミラーを表し、ＬＷＳは、左サイドガラスを表し、ＲＳＭは、右サイドミラーを表し、ＲＷＳは、右サイドガラスを表し、ＤＢは、ダッシュボードを表し、ＳＷは、ステアリングホイールを表し、ＯＢは、物体認識装置１６によって認識された車外の物標（歩行者）を表す。図２に示す通り、ドライバモニタカメラ６０は、例えば、自車両Ｍのインストルメントパネルの中央部に設けられたディスプレイ装置（ＨＭＩ３０）の下部に取り付けられ、運転者の頭部を正面から撮像する。ルームミラーＲＶＭ、フロントガラスＦＷＳ、左サイドミラーＬＳＭ、左サイドガラスＬＷＳ、右サイドミラーＲＳＭ、右サイドガラスＲＷＳ、ダッシュボードＤＢ、物標ＯＢは、運転者による「注視対象」の一例であり、後述する視線推定部１２０によって、いずれの注視対象に運転者の視線が向けられているかが判断されるものである。

運転操作子７０は、例えば、アクセルペダル、ブレーキペダル、ステアリングホイール、シフトレバー、その他の操作子を含む。運転操作子７０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一部または全部に出力される。

走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ＥＣＵは、運転支援装置１００から入力される情報、或いは運転操作子７０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ＥＣＵとを備える。ＥＣＵは、運転支援装置１００から入力される情報、或いは運転操作子７０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子７０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、運転支援装置１００から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。

ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、運転支援装置１００から入力される情報、或いは運転操作子７０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

［運転支援装置］
運転支援装置１００は、例えば、物標認識部１１０と、視線推定部１２０と、視認判定部１３０と、運転支援部１４０と、を備える。これらの機能部は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め運転支援装置１００のＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで運転支援装置１００のＨＤＤやフラッシュメモリにインストールされてもよい。

物標認識部１１０は、物体認識装置１６による認識結果に基づいて、車両Ｍの周辺に存在する物標を認識する。物標認識部１１０は、車両Ｍの周辺に存在するあらゆる物標を認識しても良いし、例えば、レーダ装置１２やＬＩＤＡＲ１４を用いて、車両Ｍの周辺に存在する移動物標（リスク物標）のみを認識してもよい。

視線推定部１２０は、カメラ１０およびドライバモニタカメラ６０の出力画像に基づいて、車両Ｍの運転者が、車両Ｍの構造体上に存在する注視対象と物標認識部１１０によって認識された物標とを含む複数の注視対象のうち、いずれの注視対象へ視線を向けているか推定する。

図３は、視線推定部１２０が運転者の視線ＬＳを検出する方法を説明するための図である。視線推定部１２０は、まず、ドライバモニタカメラ６０によって撮像された車両Ｍの運転者を含む画像を取得すると、当該運転者の視線を任意のアルゴリズム（例えば、角膜反射法）によって検出する。視線推定部１２０は、検出した視線を、例えば、運転者の頭部を中心Ｏとする極座標によって表現する。代替的に、視線推定部１２０は、例えば、運転者の眉間を中心Ｏとする極座標によって表現してもよいし、より一般的に、中心Ｏは、運転者の両目の近傍に設定されれば良い。以下、時点ｔにおいて視線推定部１２０によって検出された視線ＬＳの極座標をｓ_ｔ（φ_ｓ＿ｔ，θ_ｓ＿ｔ）と表す。

視線推定部１２０は、さらに、カメラ１０によって撮像された物標を含む画像を取得すると、運転者の頭部を中心Ｏとする極座標によって表される、当該物標を含む複数の注視対象の中心角度および角度の幅を算出する。ここで、注視対象とは、上述した通り、車両Ｍの運転者によって注視される候補を表し、例えば、ルームミラーＲＶＭ、フロントガラスＦＷＳ、左サイドミラーＬＳＭ、左サイドガラスＬＷＳ、右サイドミラーＲＳＭ、右サイドガラスＲＷＳ、ダッシュボードＤＢ、物標ＯＢを含むものである。

図４は、視線推定部１２０が注視対象の中心角度および角度の幅を算出する方法を説明するための図である。図４は、一例として、視線推定部１２０が、注視対象として、物標ＯＢの角度および角度の幅を算出する例を表している。図４において、ＲＰは、物標ＯＢの基準点（例えば、重心などの物標ＯＢを代表する点）を表す。視線推定部１２０は、基準点ＲＰを、極座標によって算出し、以下、時点ｔにおいて視線推定部１２０によって算出された、ｎ番目の注視対象の基準点ＲＰの極座標を中心角度（φ_{ｏｂｊ＿ｎ，ｔ}，θ_{ｏｂｊ＿ｎ，ｔ}）と表す。さらに、視線推定部１２０は、中心Ｏを基準とする、物標ＯＢの角度の幅（換言すると、物標ＯＢの角度（φ，θ）の上下左右方向の広がり）を算出し、以下、時点ｔにおいて視線推定部１２０によって算出された、ｎ番目の注視対象の角度の幅を角度幅（Φ_{ｏｂｊ＿ｎ，ｔ}，Θ_{ｏｂｊ＿ｎ，ｔ}）と表す。Φは、φ方向の角度幅を表し、Θは、θ方向の角度幅を表す。視線推定部１２０は、同様に、ルームミラーＲＶＭ、フロントガラスＦＷＳ、左サイドミラーＬＳＭ、左サイドガラスＬＷＳ、右サイドミラーＲＳＭ、右サイドガラスＲＷＳ、ダッシュボードＤＢに対しても、中心Ｏを基準とする中心角度と角度幅とを算出するが、これら運転席からの位置関係が固定的である注視対象の中心角度と角度幅は、事前に算出および記憶されていてもよい。

視線推定部１２０は、時刻ｔにおいて、視線ＬＳの極座標ｓ_ｔ（φ_ｓ＿ｔ，θ_ｓ＿ｔ）と、各注視対象についての中心角度（φ_{ｏｂｊ＿ｎ，ｔ}，θ_{ｏｂｊ＿ｎ，ｔ}）および角度幅（Φ_{ｏｂｊ＿ｎ，ｔ}，Θ_{ｏｂｊ＿ｎ，ｔ}）を算出すると、これらの値を以下の式（１）によって表される確率モデルに入力することによって、運転者が各注視対象に視線を向けている確率値を算出する。

式（１）の左辺Ｐ（ｔａｒｇ＝ｎ｜ｓ_０：ｔ，ｏｂｊ_{１：Ｎ，０：ｔ}）は、時点０から時点ｔにおける視線ＬＳの極座標と、時点０から時点ｔにおける１番目からＮ番目までの注視対象の中心角度および角度幅を前提として、運転者がｎ番目の注視対象に視線を向けている確率を表す。

式（１）の右辺において、ｐ（ｓ_ｔ｜ｔａｒｇ＝ｎ，ｏｂｊ_ｎ，ｔ）は、運転者がオブジェクトｎに視線を向けていると仮定した場合の視線ｓ_ｔの確率密度を表す。注視対象が、ルームミラーＲＶＭ、フロントガラスＦＷＳ、左サイドミラーＬＳＭ、左サイドガラスＬＷＳ、右サイドミラーＲＳＭ、右サイドガラスＲＷＳ、ダッシュボードＤＢのうちの１つである場合、運転者が注視対象に視線を向けている確率密度ｐ（ｓ_ｔ｜ｔａｒｇ＝ｎ，ｏｂｊ_ｎ，ｔ）は、一様分布によって定義される。一方、注視対象が物標ＯＢである場合、確率密度ｐ（ｓ_ｔ｜ｔａｒｇ＝ｎ，ｏｂｊ_ｎ，ｔ）は、多次元正規分布を表す以下の式（２）によって定義されるものである。

式（２）は、物標ＯＢの中心角度（φ_{ｏｂｊ＿ｎ，ｔ}，θ_{ｏｂｊ＿ｎ，ｔ}）を平均とし、角度幅（Φ_{ｏｂｊ＿ｎ，ｔ}，Θ_{ｏｂｊ＿ｎ，ｔ}）を標準偏差とする正規分布を表わす。換言すると、式（２）は、視線ＬＳの方向ｓ_ｔ（φ_ｓ＿ｔ，θ_ｓ＿ｔ）が、物標ＯＢの中心方向（φ_{ｏｂｊ＿ｎ，ｔ}，θ_{ｏｂｊ＿ｎ，ｔ}）に近ければ近いほど、運転者が当該物標ＯＢに視線を向けている確率を高く評価するものである。式（２）において、分散σ_φ（Φ_{ｏｂｊ＿ｎ，ｔ}）および分散σ_θ（Θ_{ｏｂｊ＿ｎ，ｔ}）は、事前に固定値として定められるパラメータΦ_ｂａｓｅおよびΘ_ｂａｓｅによって、以下の式（３）および（４）によってそれぞれ定義されるものである。

さらに、式（１）の右辺において、Ｐ（ｔａｒｇ＝ｎ｜ｓ_{０：ｔ－１}，ｏｂｊ_{１：Ｎ，０：ｔ－１}）は、運転者がｎ番目の注視対象に視線を向けている前回の確率を表し、その初期値は、固定値または車両Ｍの周辺に存在するオブジェクト数に応じて、事前に設計するものである。このように、前回の確率値Ｐ（ｔａｒｇ＝ｎ｜ｓ_{０：ｔ－１}，ｏｂｊ_{１：Ｎ，０：ｔ－１}）を確率密度ｐ（ｓ_ｔ｜ｔａｒｇ＝ｎ，ｏｂｊ_ｎ，ｔ）に乗算することにより、前回の確率値を考慮して今回の確率値をロバストに算出することができる。さらに、式（１）の右辺において、ｐ（ｓ_ｔ｜ｓ_{０：ｔ－１}，ｏｂｊ_{１：Ｎ，０：ｔ}）は、確率値を調整するための正規化パラメータであり、以下の式（５）が成立するように、定められるものである。

視認判定部１３０は、運転者が、複数の注視対象のうちいずれかに第１所定期間以上、視線を向けていると推定された場合、運転者が当該注視対象を視認していると判定する。図５は、視認判定部１３０が、運転者による注視対象の視認を判定する方法を説明するための図である。図５に示す通り、まず、視認判定部１３０は、時点ｔ１において、ある注視対象に対応する確率値が閾値ｐ_ｔｈ以上であると認識する。その後、第１所定期間Ｔ１が経過する時点ｔ２までの間、当該確率値が閾値ｐ_ｔｈ以上である場合、視認判定部１３０は、運転者が当該注視対象を視認していると判定する。その後、時点ｔ３に到達するまで、確率値は閾値ｐ_ｔｈ以上であるため、視認判定部１３０は、運転者が当該注視対象を視認していると継続的に判定する。

その後、時点ｔ３を過ぎると、確率値は閾値ｐ_ｔｈ未満となる。しかし、確率値が閾値ｐ_ｔｈ未満となった場合であっても、視認判定部１３０は、その後、第２所定期間Ｔ２、運転者が当該注視対象を視認しているとの判定結果を維持する。これは、運転者が、少なくとも第１所定期間Ｔ１、注視対象に対して視線を向けていた場合、仮に当該注視対象から視線を外した後であっても、運転者は、しばらくの期間、注視対象に関する状況を認識していることが想定されるためである。このように、運転者が注視対象から視線を外した後も、一定期間、判定結果を維持することにより、後述する運転支援部１４０は、より運転者の実態に即した運転支援を実行することができる。より具体的には、一定期間、当該判定結果を維持することにより、運転支援部１４０は、運転者による認識の自覚と運転支援強度との乖離や、乖離にともなう運転支援警告への煩わしさが低減された運転支援を提供することができる。

なお、このとき、視認判定部１３０は、視認を判定するために用いる第１所定期間および第２所定期間の長さを、注視対象の種類に応じて、変更しても良い。例えば、視認判定部１３０は、フロントガラスＦＷＳ、左サイドガラスＬＷＳ、右サイドガラスＲＷＳ、ダッシュボードＤＢのように、注視対象が車両Ｍの前方又は側方を確認するために用いられるものである場合には、ルームミラーＲＶＭ、左サイドミラーＬＳＭ、右サイドミラーＲＳＭのように、注視対象が車両Ｍの後方を確認するために用いられるものである場合に比して、第１所定期間を短くするか、又は第２所定期間を長くしても良い。

また、例えば、視認判定部１３０は、運転者が注視対象に視線を向けていた期間、すなわち、確率値が閾値ｐ_ｔｈ以上である期間（図５では、時点ｔ１と時点ｔ３との間の期間）が長ければ長いほど、第２所定期間を長くしても良い。また、例えば、視認判定部１３０は、確率値が閾値ｐ_ｔｈ以上である期間にわたって確率値（又は確率値と閾値ｐ_ｔｈの差分）を積分し、積分値が大きければ大きいほど、第２所定期間を長くしても良い。

また、例えば、視認判定部１３０は、物標認識部１１０によって過去の一定期間のうちに認識された複数の物標のうち、運転者によって視認された物標の数（回数）が多ければ多いほど（これは、運転者の運転スキルが高いことを意味する）、第２所定期間を長くしても良い。この場合、視認判定部１３０は、過去の一定期間のうちに認識された複数の物標のうち、運転者が高リスクの物標を視認するほど、第２所定期間をより長くしても良い。例えば、視認判定部１３０は、車両Ｍと物標とのＴＴＣ（ｔｉｍｅ ｔｏ ｃｏｌｌｉｓｉｏｎ）を算出し、運転者が視認した物標のＴＴＣがより小さいほど、視認された物標のリスクを高く判定して、第２所定期間を長くしても良い。

また、例えば、視認判定部１３０は、車両Ｍと物標とのラップ率を算出し、運転者が視認した物標のラップ率が大きいほど、視認された物標のリスクを高く判定して、第２所定期間を長くしても良い。図６は、視認判定部１３０がラップ率を考慮して第２所定期間を算出する方法を説明するための図である。例えば、視認判定部１３０は、車両Ｍの車幅αを進行方向に向けて延伸させた領域と、物標ＯＢである歩行者の領域との重なり量（図６の例では、車幅方向の距離）をラップ量βとして導出する。視認判定部１３０は、ラップ量βを車幅αで除算した値に１００を乗じた値（（β／α）×１００）をラップ率［％］として導出する。視認判定部１３０は、運転者が視認した物標のラップ率がより大きいほど、視認された物標のリスクを高く判定して、第２所定期間を長くしても良い。このような処理により、より運転者の実態に即して、判定結果を維持する期間を決定することができる。

運転支援部１４０は、視認判定部１３０による判定結果に基づいて、車両Ｍの運転支援を実行する。より具体的には、運転支援部１４０は、視認判定部１３０によって運転者がある注視対象を視認していると判定され、かつ当該注視対象を視認することによって当該注視対象に含まれる物標を認識可能であると判定された場合、当該物標に対する警戒度を低くする傾向で運転支援を実行する。

図７は、運転支援部１４０によって実行される運転支援を説明するための図である。図７は、一例として、運転者が左サイドミラーＬＳＭを視認した状況において運転支援部１４０が運転支援を実行する場面を表している。図７において、符号Ｍ１およびＭ２は他車両を表し、符号ＬＳＭ＿Ｒは、左サイドミラーＬＳＭを視認することによって認識可能な物標の範囲を表す。ここで、認識範囲ＬＳＭ＿Ｒは、他車両Ｍ１を含む一方、他車両Ｍ２を含まない。すなわち、運転者は、左サイドミラーＬＳＭを視認することによって他車両Ｍ１を認識していることが想定される一方、他車両Ｍ２を認識していないことが想定される。

そのため、運転支援部１４０は、他車両Ｍ１に対する警戒度を低くする（他車両Ｍ２に対する警戒度を高くする）傾向で、運転支援を行う。図８は、運転支援部１４０によって実行される運転支援を説明するための別の図である。図８に示す通り、運転支援部１４０は、例えば、ＨＭＩ３０上に、認識範囲ＬＳＭ＿Ｒに含まれていない他車両Ｍ２（バイク）に注意して車両Ｍを運転するよう警告するメッセージを表示させる。また、例えば、運転支援部１４０は、他車両Ｍ２に注意して車両Ｍを運転するよう警告するメッセージをスピーカから出力しても良い。また、例えば、運転支援部１４０は、認識範囲ＬＳＭ＿Ｒに含まれていない他車両Ｍ２から遠ざかるように自車両Ｍを走行させるよう、ステアリング装置２２０に指令値を出力しても良い。このように、注視対象を視認することによって認識される範囲に含まれる物標に対してのみ、運転支援の警戒度を下げることによって、より運転者の実態に即した運転支援を実行することができる。

［動作の流れ］
次に、図９を参照して、運転支援装置１００によって実行される動作の流れについて説明する。図９は、運転支援装置１００によって実行される動作の流れの一例を示すフローチャートである。図９に示すフローチャートの処理は、車両Ｍが走行中、運転支援装置１００が所定の制御サイクルで繰り返し実行するものである。

まず、物標認識部１１０は、物体認識装置１６による認識結果に基づいて、車両Ｍの周辺に存在する物標を認識する（ステップＳ１００）。次に、視線推定部１２０は、認識された物標を含む複数の注視対象について、運転者が視線を向けている確率値をそれぞれ算出し、算出された確率値が閾値ｐ_ｔｈ以上である注視対象を、運転者が視線を向けている注視対象として推定する（ステップＳ１０２）。

次に、視認判定部１３０は、視線推定部１２０によって運転者が視線を向けていると推定された注視対象について、算出された確率値が閾値ｐ_ｔｈ以上である期間が第１所定期間Ｔ１以上であるか否かを判定する（ステップＳ１０４）。算出された確率値が閾値ｐ_ｔｈ以上である期間が第１所定期間Ｔ１未満であると判定された場合、視認判定部１３０は、処理をステップＳ１０２に戻し、視認判定部１３０は、再度、運転者が視線を向けている注視対象を推定する。

一方、算出された確率値が閾値ｐ_ｔｈ以上である期間が第１所定期間Ｔ１以上であると判定された場合、視認判定部１３０は、運転手が当該注視対象を視認していると判定する（ステップＳ１０６）。次に、視認判定部１３０は、運転手が当該注視対象から視線を外したか否か（換言すると、確率値が閾値ｐ_ｔｈ未満になったか否か）を判定する（ステップＳ１０８）。運転手が注視対象から視線を外していないと判定された場合、視認判定部１３０は、処理をステップＳ１０６に戻し、視認判定部１３０は、継続的に、運転手が当該注視対象を視認していると判定する。

運転手が当該注視対象から視線を外したと判定された場合、視認判定部１３０は、運転者が注視対象を視認しているとする判定結果を、運転者が視線を外してから第２所定期間Ｔ２、維持する（ステップＳ１１０）。次に、運転支援部１４０は、第２所定期間Ｔ２の間、当該注視対象への警戒度（より具体的には、当該注視対象を視認することによって認識される範囲に含まれる物標への警戒度）を低くして、車両Ｍの運転支援を実行する（ステップＳ１１２）。これにより、本フローチャートの処理が終了する。

以上の通り説明した本実施形態によれば、移動体の周辺にある物標を認識し、認識された物標を含む複数の注視対象のうち、移動体の乗員がいずれの注視対象へ視線を向けているかを推定し、乗員が第１所定期間以上、注視対象に視線を向けていると推定された場合、乗員が当該注視対象を視認していると判定し、乗員が注視対象から視線を外した後、第２所定期間、乗員が当該注視対象を視認しているとする判定結果を維持し、乗員が視認していると判定された注視対象への警戒度を低くする傾向で移動体の運転支援を実行する。これにより、乗員の視線の向きや時間に応じて、柔軟に運転支援を実行することができる。

上記説明した実施形態は、以下のように表現することができる。
コンピュータによって読み込み可能な命令（computer-readable instructions）を格納する記憶媒体（storage medium）と、
前記記憶媒体に接続されたプロセッサと、を備え、
前記プロセッサは、前記コンピュータによって読み込み可能な命令を実行することにより（the processor executing the computer-readable instructions to:）
移動体の周辺にある物標を認識し、
前記移動体の乗員が、前記移動体の構造体上に存在する注視対象と前記物標とを含む複数の注視対象のうち、いずれの注視対象へ視線を向けているか推定し、
前記乗員が、前記複数の注視対象のうちいずれかに第１所定期間以上、視線を向けていると推定された場合、前記乗員が当該注視対象を視認していると判定し、
前記視認の判定結果に基づいて、前記移動体の運転支援を実行し、
前記乗員がある注視対象を視認していると判定した後、前記乗員が当該注視対象を外したと推定された場合、前記視認していると判定された注視対象を前記乗員が視認しているとする判定結果を、前記乗員が当該注視対象を外したと推定された時点から第２所定期間、維持する、
ように構成されている、運転支援装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１０ カメラ
１２ レーダ装置
１４ ＬＩＤＡＲ
１６ 物体認識装置
３０ ＨＭＩ
４０ 車両センサ
５０ ナビゲーション装置
６０ ドライバモニタカメラ
７０ 運転操作子
１００ 運転支援装置
１１０ 物標認識部
１２０ 視線推定部
１３０ 視認判定部
１４０ 運転支援部
２００ 走行駆動力出力装置
２１０ ブレーキ装置
２２０ ステアリング装置

Claims (8)

1. 移動体の周辺にある物標を認識する物標認識部と、
   前記移動体の乗員が、前記移動体の構造体上に存在する注視対象と前記物標とを含む複数の注視対象のうち、いずれの注視対象へ視線を向けているか推定する視線推定部と、
   前記乗員が、前記複数の注視対象のうちいずれかに第１所定期間以上、視線を向けていると推定された場合、前記乗員が当該注視対象を視認していると判定する視認判定部と、
   前記視認判定部の判定結果に基づいて、前記移動体の運転支援を実行する運転支援部と、
   を備え、
   前記視認判定部は、前記乗員がある注視対象を視認していると判定した後、前記乗員が当該注視対象を外したと推定された場合、前記視認していると判定された注視対象を前記乗員が視認しているとする判定結果を、前記乗員が当該注視対象を外したと推定された時点から第２所定期間、維持し、
   前記運転支援部は、前記視認判定部によって前記乗員が前記注視対象を視認していると判定され、かつ前記注視対象を視認することによって、前記注視対象に含まれる物標を認識可能であると判定された場合、前記第２所定期間中、前記物標に対する警戒度を低くする傾向で前記運転支援を実行する、
   運転支援装置。
2. 前記視線推定部は、前記移動体の乗員の頭部を中心とする極座標によって表される前記視線の値を、前記頭部を中心とする極座標によって表される、前記注視対象の中心角度および角度の幅によって定義される確率分布であって、前記注視対象を視認している確率を表す視線の確率分布に入力することによって確率値を算出し、前記確率値に基づいて、前記乗員が、前記複数の注視対象のうち、いずれの注視対象へ視線を向けているか推定し、
   前記角度の幅は、前記中心を基準とする、前記注視対象の角度の上下左右方向の広がりを表す、
   請求項１に記載の運転支援装置。
3. 前記視認判定部は、前記複数の注視対象の種類に応じて、前記第２所定期間の長さを変更する、
   請求項１に記載の運転支援装置。
4. 前記視認判定部は、前記視線推定部によって、前記乗員が前記注視対象を視認していると判定された期間が長いほど、前記第２所定期間を長くする、
   請求項１に記載の運転支援装置。
5. 前記視認判定部は、前記物標認識部によって認識された物標を前記乗員が視認した回数が多いほど、前記第２所定期間を長くする、
   請求項１に記載の運転支援装置。
6. 前記視認判定部は、前記視線推定部によって算出された前記確率値を累積した値の大きさに応じて、前記第２所定期間の長さを変更する、
   請求項２に記載の運転支援装置。
7. コンピュータが、
   移動体の周辺にある物標を認識し、
   前記移動体の乗員が、前記移動体の構造体上に存在する注視対象と前記物標とを含む複数の注視対象のうち、いずれの注視対象へ視線を向けているか推定し、
   前記乗員が、前記複数の注視対象のうちいずれかに第１所定期間以上、視線を向けていると推定された場合、前記乗員が当該注視対象を視認していると判定し、
   前記視認の判定結果に基づいて、前記移動体の運転支援を実行し、
   前記乗員がある注視対象を視認していると判定した後、前記乗員が当該注視対象を外したと推定された場合、前記視認していると判定された注視対象を前記乗員が視認しているとする判定結果を、前記乗員が当該注視対象を外したと推定された時点から第２所定期間、維持し、
   前記乗員が前記注視対象を視認していると判定され、かつ前記注視対象を視認することによって、前記注視対象に含まれる物標を認識可能であると判定された場合、前記第２所定期間中、前記物標に対する警戒度を低くする傾向で前記運転支援を実行する、
   運転支援方法。
8. コンピュータに、
   移動体の周辺にある物標を認識させ、
   前記移動体の乗員が、前記移動体の構造体上に存在する注視対象と前記物標とを含む複数の注視対象のうち、いずれの注視対象へ視線を向けているか推定させ、
   前記乗員が、前記複数の注視対象のうちいずれかに第１所定期間以上、視線を向けていると推定された場合、前記乗員が当該注視対象を視認していると判定させ、
   前記視認の判定結果に基づいて、前記移動体の運転支援を実行させ、
   前記乗員がある注視対象を視認していると判定した後、前記乗員が当該注視対象を外したと推定された場合、前記視認していると判定された注視対象を前記乗員が視認しているとする判定結果を、前記乗員が当該注視対象を外したと推定された時点から第２所定期間、維持させ、
   前記乗員が前記注視対象を視認していると判定され、かつ前記注視対象を視認することによって、前記注視対象に含まれる物標を認識可能であると判定された場合、前記第２所定期間中、前記物標に対する警戒度を低くする傾向で前記運転支援を実行する、
   プログラム。