JP6470334B2

JP6470334B2 - 車両の表示システム及び車両の表示システムの制御方法

Info

Publication number: JP6470334B2
Application number: JP2017050345A
Authority: JP
Inventors: 武史鳥居; 能英瑠佐藤; 瑠一澄川
Original assignee: Subaru Corp
Current assignee: Subaru Corp
Priority date: 2017-03-15
Filing date: 2017-03-15
Publication date: 2019-02-13
Anticipated expiration: 2037-03-15
Also published as: US20180268230A1; CN108621794A; US10346698B2; JP2018156173A; CN108621794B; DE102018103263A1

Description

本発明は、車両の表示システム及び車両の表示システムの制御方法に関する。

従来、下記の特許文献１には、車内の既存の表示装置から出力される表示を、運転者の覚醒度に併せて最適な出力にして、より安全性の高い運転作業を可能にする車両用表示装置を提供することが記載されている。

また、近時では、顔の画像情報に基づいて人の状態を認識する技術が一般的となっている。例えば、下記の非特許文献１には、顔認識により運転中のドライバの状態を監視する技術が記載されている。

特開２００４−３１８２６６号公報

丸山勇人、松岡敦子、"ドライバーモニタシステムの紹介"、２０１２年１１月、ＯＫＩテクニカルレビュー第２２０号Ｖｏｌ．７９Ｎｏ．２

しかしながら、上記特許文献１に記載された技術では、運転者の覚醒度が低下している場合に表示の出力を最適化したとしても、運転者が表示を確実に認識することが困難になることが想定される。特に、運転者の覚醒度が著しく低下している場合は、運転者が表示を認識することができないため、所望の車両操作を行うことが出来なくなる問題がある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、運転者と同乗者の覚醒度に応じて、表示装置による表示を最適に制御することが可能な、新規かつ改良された車両の表示システム及び車両の表示システムの制御方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、車両の窓部に表示を行う表示装置と、ドライバと同乗者のそれぞれの覚醒状態を判定する判定部と、前記表示装置による表示を制御し、前記ドライバと前記同乗者のそれぞれの覚醒状態に応じて、前記表示装置による表示を変更する表示制御部と、を備え、前記表示制御部は、前記ドライバの覚醒度が低下していない場合は、前記窓部に前記ドライバに向けた表示を行うように制御し、前記表示装置により表示する画像の歪みを補正する歪補正処理部を備え、前記表示制御部は、前記窓部の前記ドライバと前記同乗者の中間に表示を行うように制御し、前記歪補正処理部は、前記ドライバに向けて前記表示の歪みを補正する、車両の表示システムが提供される。

前記表示制御部は、前記ドライバの覚醒度が低下していない場合は、前記窓部に前記ドライバに向けた表示を行うように制御するものであっても良い。

また、前記表示制御部は、前記ドライバの覚醒度が低下しており、前記同乗者の覚醒度も低下している場合は、前記窓部に前記ドライバに向けた表示を行うように制御するものであっても良い。

また、前記表示制御部は、前記窓部の前記ドライバの正面に表示を行うように制御するものであっても良い。

また、前記表示装置により表示する画像の歪みを補正する歪補正処理部を備え、前記表示制御部は、前記窓部の前記ドライバと前記同乗者の中間に表示を行うように制御し、前記歪補正処理部は、前記ドライバに向けて前記表示の歪みを補正するものであっても良い。

また、前記表示制御部は、前記ドライバの覚醒度が低下しており、前記同乗者の覚醒度が低下していない場合は、前記窓部の前記ドライバと前記同乗者の中間に表示を行うように制御するものであっても良い。

また、前記表示装置により表示する画像の歪みを補正する歪補正処理部を備え、前記歪補正処理部は、前記同乗者に向けて前記表示の歪みを補正するものであっても良い。

また、前記表示制御部は、前記ドライバが覚醒していない場合は、前記窓部の前記ドライバと前記同乗者の正面にそれぞれ表示を行うように制御するものであっても良い。

また、前記ドライバ及び前記同乗者の状態を撮像するカメラと、前記カメラから前記ドライバ及び前記同乗者の画像情報を取得する画像情報取得部と、を備え、前記判定部は、前記画像情報に基づいて前記ドライバ及び前記同乗者の前記覚醒状態を判定するものであっても良い。

また、上記課題を解決するために、本発明の別の観点によれば、車両の窓部に表示を行う表示装置を有する車両の表示システムの制御方法であって、ドライバと同乗者のそれぞれの覚醒状態を判定するステップと、前記ドライバと前記同乗者のそれぞれの覚醒状態に応じて、前記表示装置による表示内容を変更するステップであって、ドライバの覚醒度が低下していない場合は、前記窓部に前記ドライバに向けた表示を行い、前記窓部の前記ドライバと前記同乗者の中間に表示を行うように制御するステップと、前記表示装置により表示する画像の歪みを補正し、前記ドライバに向けて前記表示の歪みを補正するステップと、を備える、車両の表示システムの制御方法が提供される。

以上説明したように本発明によれば、運転者と同乗者の覚醒度に応じて、表示装置による表示を最適に制御することが可能となる。

本発明の一実施形態に係る車両システムの構成を示す模式図である。自発光中間膜を用いたＨＵＤ装置を示す模式図である。ドライバセンサがドライバを撮影している状態を示す模式図である。ドライバの顔領域に基づいて、顔が向いている角度等を算出する様子を示す模式図である。ドライバの口が開いているか否かを判定する開口検知を示す模式図である。ドライバの目が閉じているか否かを判定する様子を示す模式図である。ドライバ向けに表示を行った例を示す模式図である。ドライバと同乗者の双方から見易い位置に表示を行った例を示す模式図である。ドライバと同乗者のそれぞれに向けて表示を行った例を示す模式図である。ドライバに適合した歪み補正を行う例を示す模式図である。ドライバと同乗者の両方に適合した歪み補正を行う例を示す模式図である。同乗者に適合した歪み補正を行う例を示す模式図である。本実施形態に係る車両システムで行われる処理を示すフローチャートである。ドライバに適合した表示変形を行う例を示す模式図である。同乗者に適合した表示変形を行う例を示す模式図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

図１は、本発明の一実施形態に係る車両システム１０００の構成を示す模式図である。車両システム１０００は、基本的には自動車などの車両に構成されるシステムである。図１に示すように、車両システム１０００は、車外センサ１００、ドライバセンサ２００、同乗者センサ２１０、着座センサ３００、制御装置４００、ＨＵＤ装置５００、スピーカ６００、シート振動部７００を有して構成されている。

車外センサ１００は、ステレオカメラ、単眼カメラ、ミリ波レーダ、赤外線センサ等から構成され、自車両周辺の人や車両などの位置、速度を測定する。車外センサ１００がステレオカメラから構成される場合、ステレオカメラは、ＣＣＤセンサ、ＣＭＯＳセンサ等の撮像素子を有する左右１対のカメラを有して構成され、車両外の外部環境を撮像し、撮像した画像情報を制御装置４００へ送る。一例として、ステレオカメラは、色情報を取得可能なカラーカメラから構成され、車両のフロントガラスの上部に設置される。

ＨＵＤ（Ｈｅａｄ−ｕｐＤｉｓｐｌａｙ）装置５００は、人間の視野に直接情報を映し出す表示装置であって、自動車のフロントガラスやリアガラスなどのガラス上に実像を表示する。ＨＵＤは虚像を表示する装置が一般的に知られているが、本実施形態では、実像を映し出す表示装置を用いる。ＨＵＤ装置５００は、実像を表示しているため、視野角がほぼ３６０°あり、車内外から表示を視認することが可能である。

ＨＵＤ装置５００として、より具体的には、図２に示すような自発光中間膜５１０を用いる装置を用いることができる。この場合、車両のフロントガラス、リアガラス等において、表裏の２枚のガラス５２０で挟むように自発光中間膜５１０を配置する。自発光中間膜５１０には発光材料が含まれており、車内に設置するプロジェクター５３０からレーザ光を照射すると、照射された部分が発光し、文字や画像が表示される。表示物は全角度からの視認性を有し、運転席以外の席や、車両外部からも視認することができる。なお、ＨＵＤ装置５００は、自発光タイプのデバイスを車両のガラスに配置することで構成することもできる。この場合、例えば有機ＥＬ素子を用いた透明スクリーン、または透過型液晶装置等を用いることもできる。また、表示デバイスとして、ＨＵＤ装置５００以外のデバイスを用いても良く、例えばインパネに設置した大型液晶装置やＬＥＤ表示装置などを用いても良い。なお、以下では、表示装置として車両の窓部（ガラス）に表示を行うＨＵＤ装置５００を例に挙げて説明するが、本発明に係る表示装置はこれに限定されるものではなく、車両の内部又は外部に設けられた表示装置の全ての態様を含む。例えば、本実施形態に係る表示装置は、車両外部の窓部以外（ボディーなど）に設けられていても良く、車両内部の窓部以外（インパネ、座席など）に設けられていても良い。また、車両の内部に設けられた表示装置と車両の外部に設けられた表示装置は一体であっても良いし、別体であっても良い。

ドライバセンサ２００は、カメラ、視線センサ、モーションセンサ等から構成され、ドライバ（運転者）の頭や腕の動き、視線方向などを測定する。ドライバセンサ２００がカメラから構成される場合、カメラが撮像した画像を画像処理することで、頭や腕の動き、視線方向などを取得する。ドライバセンサ２００が視線センサから構成される場合、角膜反射法などの方法により視線検出を行う。着座センサ３００は、車両内の各座席に設けられ、座席に人が座ったか否かを判定する。スピーカ６００は、ＨＵＤ装置５００によって車両の内外へ警告を表示する際に、車両の内外へ警告音を発生させる。シート振動部７００は、車両の座席に設けられ、ＨＵＤ装置５００によって車両内へ警告を表示する際に、座席を振動することでドライバ、同乗者へ警告を行う。

制御装置４００は、車外センサ１００、ドライバセンサ２００等が検出した情報に基づいて、ＨＵＤ装置５００による表示を制御する。このため、制御装置４００は、環境情報取得部４０２、ドライバ情報取得部（画像情報取得部）４０４、同乗者情報取得部（画像情報取得部）４０５、ドライバ状態判定部４０６、同乗者状態判定部４０７、環境状態判定部４０８、歪補正処理部４１０、ＨＵＤ制御部（表示制御部）４１４を有している。なお、制御装置４００の各構成要素は、回路（ハードウェア）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）によって構成されることができる。

環境情報取得部４０２は、車外センサ１００を構成するステレオカメラの左右１組のカメラによって撮像した左右１組のステレオ画像対に対し、対応する位置のずれ量から三角測量の原理によって対象物までの距離情報を生成して取得することができる。同時に、環境情報取得部４０２は、画像情報から被写体の位置情報を取得することができる。また、環境情報取得部３０２は、三角測量の原理によって生成した距離情報に対して、周知のグルーピング処理を行い、グルーピング処理した距離情報を予め設定しておいた三次元的な立体物データ等と比較することにより、立体物データや白線データ等を検出する。これにより、制御装置３００は、人物、他車両、一時停止の標識、停止線、ＥＴＣゲートなどを認識することもできる。

また、環境情報取得部４０２は、三角測量の原理によって生成した人物、他車両との距離情報を用いて、人物や他車両との距離の変化量、相対速度を算出することができる。距離の変化量は、単位時間ごとに検知されるフレーム画像間の距離を積算することにより求めることができる。また、相対速度は、単位時間ごとに検知される距離を当該単位時間で割ることにより求めることができる。

このように、環境情報取得部４０２は、車外センサ１００から得られる車両外の画像情報を取得して画像分析処理を行い、画像情報を分析して車両外の環境情報を取得する。

図３は、ドライバセンサ２００がカメラから構成される場合に、ドライバセンサ２００がドライバを撮影している状態を示す模式図である。図３に示すように、ドライバセンサ２００は、一例としてステアリングコラムの上部に設置される。

ドライバセンサ２００がカメラから構成される場合、ドライバセンサ２００によって撮影された画像は、制御装置４００に入力される。ドライバ情報取得部４０４は、入力画像からエッジ検出、顔検出等の画像処理技術を用いてドライバの顔領域を取得し、顔領域に基づいて顔向きを取得する。ドライバ状態判定部４０６は、顔向きに基づいてドライバが脇見をしているか否かを判定する。また、ドライバ情報取得部４０４は、目、鼻、口など顔の各部位の特徴点の位置情報を検知し、ドライバ状態判定部４０６は、位置情報に基づいて眠気、居眠りなど前方不注意の可能性などドライバの状態を判定する。

図４は、検出されたドライバの顔領域１０に基づいて、顔が向いている角度等を算出する様子を示す模式図である。画像情報から得られるドライバの顔領域１０に基づいて、ドライバの顔向きが予め定めた領域を外れているか否かをモニタリングすることで、脇見の可能性を判定することができる。なお、ドライバの顔領域１０は、目、鼻、口など顔の各部位の特徴点の位置情報から設定できる。また、顔向きは、一例として、正面から見た時の目の間隔を基準とし、この基準と画像情報から得られる目の間隔とを比較することで推定することができる。画像情報から得られる目の間隔が基準値よりも小さい程、顔向きが正面から横向きにずれていると判断できる。

図４の右下には、検知結果２０を示している。検知結果２０には、縦軸に「顔の上下方向の角度」、横軸に「顔の左右方向の角度」を表示しており、×印３０は検知された顔向きを示している。検知結果２０において斜線を付した中央部の矩形は、ドライバが正面を向いていると判断する正面領域２２を示し、検知された顔向き（×印３０）が正面領域２２から左右の脇見領域２４に変化した場合、脇見の可能性があると判定する。正面領域２２と脇見領域２４を区別するしきい値は左右±２０°程度とすることができるが、適宜変更可能である。脇見をしているか否かの判定は、例えば基準時間に対して顔向きが脇見領域２４になった時間の比率が所定のしきい値を超えたか否かによって判定することができる。また、例えば顔向き角度が予め設定した範囲を一定時間連続して超えた場合、もしくは連続して顔の検出ができない場合は、脇見と判定することも可能である。

図５は、ドライバの口が開いているか否かを判定する開口検知を示す模式図である。図５に示すように、口の上下の特徴点間の距離Ｄ１から口の開閉状態を判定し、特徴点間の距離Ｄ１が所定値を超える場合（図５に示す開口状態）では、ドライバの口が開いている可能性があり、あくびの可能性があると判定することができる。また、例えば開口状態のまま一定時間が経過する状況が複数回検知される場合は、居眠りの危険性が増大していると判断できる。

図６は、ドライバの目が閉じているか否かを判定する様子を示す模式図である。図６に示すように、目の上下の特徴点間の距離Ｄ２から目が閉じていることを検知し、特徴点間の距離Ｄ２が所定値以下の場合（図６に示す目閉じ状態）では、居眠りの可能性があると判定することができる。居眠りをしているか否かの判定は、例えば基準時間に対して目が閉じている時間の比率（閉眼率）が所定のしきい値を超えたか否かによって判定することができる。また、目閉じ検知が複数回検知されると居眠りの危険性が増大していると判断できる。また、画像処理により瞬きを検出し、瞬きの回数に基づいて居眠りをしているか否かの判定を行っても良い。図５、図６に示す判定は、ドライバ状態判定部４０６によって行われる。

制御装置４００の環境状態判定部４０８は、環境情報取得部４０２が取得した環境情報に基づいて、車両外の環境情報を判定する。特に、環境状態判定部４０８は、車両外の対象として人物の状態を判定することができる。

同乗者センサ２１０は、同乗者の正面（助手席の場合、ダッシュボード上など）に設置される。同乗者センサ２１０は、ドライバセンサ２００と同様の手法で同乗者の画像を撮像する。同乗者情報取得部４０５は、入力画像からエッジ検出、顔検出等の画像処理技術を用いて同乗者の顔領域を取得し、顔領域に基づいて顔向きを取得する。同乗者状態判定部４０７は、顔向きに基づいて同乗者が脇見をしているか否かを判定する。また、同乗者情報取得部４０６は、目、鼻、口など顔の各部位の特徴点の位置情報からドライバの状態を検知し、同乗者状態判定部４０７は、これに基づいて眠気、居眠りなど前方不注意の可能性を判定する。

なお、同乗者センサ２１０はドライバセンサ２００と共通に構成されていても良い。この場合、同乗者情報取得部４０５はドライバ情報取得部４０４と共通に構成され、同乗者状態判定部４０７はドライバ状態判定部４０６と共通に構成される。

ＨＵＤ制御部（表示制御部）４１４は、ＨＵＤ装置５００による表示を制御する。ＨＵＤ制御部（表示制御部）４１４は、ドライバ状態判定部４０６、同乗者状態判定部４０７等の判定結果に基づいて、ＨＵＤ装置５００による表示を制御することができる。

本実施形態では、車外センサ１００により、車両周辺に人物や車両などが存在することが検出された場合、ＨＵＤ装置５００を用いてドライバに対して警告表示を行う。例えば、車両の走行中に進行方向前方に人物や車両などが存在する場合、ＨＵＤ装置５００による警告表示を行うことで、ドライバに対して警告を行うことができる。警告表示は車両外からも認識することができるため、警告表示を車両外部の人物、車両等に対して行うこともできる。この際、本実施形態では、ドライバ状態取得部４０４がドライバセンサ２００からドライバの状態を取得し、ドライバ状態判定部４０６によるドライバが正常であるか否かの判定結果に応じてＨＵＤ装置５００による表示を制御する。また、本実施形態では、同乗者情報取得部４０５が同乗者センサ２１０から同乗者の状態を取得し、同乗者状態判定部４０７による同乗者が正常であるか否かの判定結果に応じてＨＵＤ装置５００による表示を制御する。

ドライバ及び同乗者が正常であるか否かの判定では、脇見をしているか否かの判定結果、眠気、居眠りなど前方不注意の可能性の判定結果に基づいて、ドライバ及び同乗者の覚醒状態を判定する。そして、ドライバ及び同乗者の覚醒状態に応じてＨＵＤ装置５００による表示を最適に制御する。なお、覚醒度の判定は、眠気のレベルや病気起因の体調異常を基に行っても良い。

具体的には、ドライバと同乗者の覚醒度に応じて、以下のように表示を切り替え、ドライバの覚醒度及び同乗者の覚醒度に応じて、ドライバ向けか同乗者向けかの表示を行う。これにより、同乗者にとって煩わしい表示がされることを回避しつつ、ドライバの覚醒度が低下した場合であっても、できるだけ危険な状態を回避することが可能となる。

ドライバ状態判定部４０６及び同乗者状態判定部４０７は、脇見をしているか否かの判定、眠気、居眠りなど前方不注意の可能性の判定を行う際に、所定のしきい値を用いて覚醒度を上記表のように３つに分類する。上記表において、最左列はドライバの覚醒度を示している。判定のしきい値を２つ用いることで、ドライバが覚醒している状態（○）、覚醒度が低下している状態（△）、覚醒度していない状態（覚醒度が著しく低下している状態（×））の３つに分類される。また、上記表の１行目は同乗者の覚醒度を示している。同乗者についても、判定のしきい値を２つ用いることで、覚醒度が３つに分類される。

そして、覚醒度に基づいて、上記表に従って表示の切り替えが行われる。例えば、フロントガラス前面に表示する場合には、表示位置として、ドライバ正面位置、ドライバと助手席の間、ドライバと助手席のそれぞれ正面に表示する。これらの表示を切り替えることで、上記表のように「ドライバ向け提示」、「ドライバと同乗者の中央に提示」、「ドライバと同乗者の両者それぞれに提示」を切り替えることができる。

図７〜図９は、ドライバと同乗者の覚醒度に応じた表示例を示す模式図である。図７は、ドライバ向けに表示を行った例を示す模式図である。この場合、フロントガラス８０２上のドライバの正面に警告表示として「前方注意」が表示される。図８は、ドライバと同乗者の双方から見易い位置に表示を行った例を示す模式図である。この場合、フロントガラス８０２上のドライバと同乗者の中間に警告表示が行われる。図９は、ドライバと同乗者のそれぞれに向けて表示を行った例を示す模式図である。この場合、フロントガラス８０２上のドライバと同乗者のそれぞれの正面に警告表示が行われる。

上記表に示したように、ドライバが運転できるような覚醒度の場合は、できるだけドライバ向けに提示を行なう。同乗者の覚醒度が低下している場合は、無理に同乗者の覚醒度を上げる（眠い場合に起こす）のではなく、ドライバ向けに表示を行なう。ドライバが意識喪失などで覚醒度が著しく低下している場合は、同乗者にも提示することで、同乗者に対し、ドライバの運転サポートや危険回避のための準備行動を促すことができる。

警告表示は、予め定めた正面位置ではなく、対象者の顔向きや視線方向を考慮することもできる。フロントガラス８０２に表示する場合、フロントガラス８０２の曲率に応じた歪みが生じるが、覚醒度のレベルに応じて歪み補正を行い、ドライバ、助手席のそれぞれに表示を適合させるか、両者に表示を適合させるかを調整してもよい。

図１０〜図１２は、ドライバと同乗者の覚醒度に応じた歪み補正の例を示す模式図である。歪み補正は、歪補正処理部４１０によって行われる。ここで、図１０は、ドライバに適合した歪み補正を行う例を示す模式図である。図１０の例では、表示の右側の高さが左側に対して小さく設定される。これにより、ドライバ側から表示を見た場合に、表示の左右の高さが均等に視認される。また、図１１は、ドライバと同乗者の両方に適合した歪み補正を行う例を示す模式図である。図１１の例では、表示の左右の高さが均等とされる。また、図１２は、同乗者に適合した歪み補正を行う例を示す模式図である。図１２の例では、表示の左側の高さが右側に対して小さく設定される。これにより、同乗者側から表示を見た場合に、表示の左右の高さが均等に視認される。

図１４及び図１５は、ドライバと同乗者の覚醒度に応じた表示変形の例を示す模式図である。ここで、図１４は、ドライバに適合した表示変形を行う例を示す模式図である。図１４の例では、表示の右側の文字のサイズが左側の文字のサイズに対して小さく設定される。これにより、表示がドライバ方向を向いているように視認される。また、図１５は、同乗者に適合した表示変形を行う例を示す模式図である。図１５の例では、表示の左側の文字のサイズが右側の文字のサイズに対して小さく設定される。これにより、表示が同乗者方向を向いているように視認される。

次に、図１３のフローチャートに基づいて、本実施形態に係る車両システム１０００で行われる処理について説明する。図１３に示す処理は、制御装置４００の各構成要素によって行われ、所定の制御周期毎に繰り返し行われる。先ず、ステップＳ１０では、ドライバ情報取得部４０４がドライバの情報を取得し、ドライバ状態判定部４０６が、ドライバの覚醒度が低下しているか否かを判定し、ドライバの覚醒度が低下している場合は、ステップＳ１２へ進む。ステップＳ１２では、ドライバの覚醒度が著しく低下しているか否かを判定し、ドライバの覚醒度が著しく低下している場合は、ステップＳ１４へ進む。この場合、上記表の「ドライバが覚醒していない状態」に相当するため、ステップＳ１４では、図９に示したように、ドライバと同乗者の双方に向けた表示を行う。これにより、同乗者に対し、ドライバの運転サポートや危険回避のための準備行動を促すことができる。ステップＳ１０でドライバの覚醒度が低下していない場合は、図７に示したようにドライバ向けに表示を行う。

ステップＳ１２でドライバの覚醒度が著しく低下していない場合は、ステップＳ１６へ進む。ステップＳ１６では、同乗者の覚醒度が低下しているか否かを判定し、同乗者の覚醒度が低下している場合はステップＳ１８へ進む。この場合、上記表の「ドライバの覚醒度が低下している状態」であり、且つ「同乗者の覚醒度が低下している状態」又は「同乗者が覚醒していない状態」に相当するため、ステップＳ１８では、図７に示したように、ドライバ向けに表示を行う。この場合、同乗者の覚醒度が低下しているため、ドライバ向けに表示を行うことでドライバを覚醒させるようにする。スピーカ６００、シート振動部７００による警告を併用することが望ましい。

また、ステップＳ１６で同乗者の覚醒度が低下していない場合は、ステップＳ２０へ進む。この場合、上記表の「ドライバの覚醒度が低下している状態」であり、且つ「同乗者が覚醒している状態」に相当するため、ステップＳ２０では、図８に示したように、ドライバと同乗者の中央に表示を行う。これにより、ドライバと同乗者の双方を覚醒させるようにする。この場合もスピーカ６００、シート振動部７００による警告を併用することが望ましい。

ステップＳ１４，Ｓ１８，Ｓ２０の後はステップＳ２２へ進む。ステップＳ２２では、ドライバの覚醒度が正常になったか否かを判定し、ドライバの覚醒度が正常になった場合はステップＳ２４へ進む。ステップＳ２４では、ＨＵＤ装置５００による表示を終了し、本制御周期での処理を終了する（ＥＮＤ）。また、ステップＳ２２でドライバの覚醒度が正常になっていない場合は、ＨＵＤ装置５００による表示を終了することなく、本制御周期での処理を終了する（ＥＮＤ）。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１００車外センサ
４００制御装置
４０６ドライバ状態判定部
４０７同乗者状態判定部
４１４ＨＵＤ制御部
５００ＨＵＤ装置

Claims

車両の窓部に表示を行う表示装置と、
ドライバと同乗者のそれぞれの覚醒状態を判定する判定部と、
前記表示装置による表示を制御し、前記ドライバと前記同乗者のそれぞれの覚醒状態に応じて、前記表示装置による表示を変更する表示制御部と、
を備え、
前記表示制御部は、前記ドライバの覚醒度が低下していない場合は、前記窓部に前記ドライバに向けた表示を行うように制御し、
前記表示装置により表示する画像の歪みを補正する歪補正処理部を備え、
前記表示制御部は、前記窓部の前記ドライバと前記同乗者の中間に表示を行うように制御し、
前記歪補正処理部は、前記ドライバに向けて前記表示の歪みを補正することを特徴とする、車両の表示システム。
前記表示制御部は、前記ドライバの覚醒度が低下しており、前記同乗者の覚醒度も低下している場合は、前記窓部に前記ドライバに向けた表示を行うように制御することを特徴とする、請求項１に記載の車両の表示システム。
前記表示制御部は、前記窓部の前記ドライバの正面に表示を行うように制御することを特徴とする、請求項１又は２に記載の車両の表示システム。
前記表示制御部は、前記ドライバの覚醒度が低下しており、前記同乗者の覚醒度が低下していない場合は、前記窓部の前記ドライバと前記同乗者の中間に表示を行うように制御することを特徴とする、請求項１に記載の車両の表示システム。
前記表示装置により表示する画像の歪みを補正する歪補正処理部を備え、
前記歪補正処理部は、前記同乗者に向けて前記表示の歪みを補正することを特徴とする、請求項４に記載の車両の表示システム。
前記表示制御部は、前記ドライバが覚醒していない場合は、前記窓部の前記ドライバと前記同乗者の正面にそれぞれ表示を行うように制御することを特徴とする、請求項１に記載の車両の表示システム。
前記ドライバ及び前記同乗者の状態を撮像するカメラと、
前記カメラから前記ドライバ及び前記同乗者の画像情報を取得する画像情報取得部と、を備え、
前記判定部は、前記画像情報に基づいて前記ドライバ及び前記同乗者の前記覚醒状態を判定することを特徴とする、請求項１〜６のいずれかに記載の車両の表示システム。
車両の窓部に表示を行う表示装置を有する車両の表示システムの制御方法であって、
ドライバと同乗者のそれぞれの覚醒状態を判定するステップと、
前記ドライバと前記同乗者のそれぞれの覚醒状態に応じて、前記表示装置による表示内容を変更するステップであって、ドライバの覚醒度が低下していない場合は、前記窓部に前記ドライバに向けた表示を行い、前記窓部の前記ドライバと前記同乗者の中間に表示を行うように制御するステップと、
前記表示装置により表示する画像の歪みを補正し、前記ドライバに向けて前記表示の歪みを補正するステップと、
を備えることを特徴とする、車両の表示システムの制御方法。