JP7146466B2

JP7146466B2 - 車両制御システム

Info

Publication number: JP7146466B2
Application number: JP2018111939A
Authority: JP
Inventors: 賢太郎大友; 悠河原; 篤石橋; 正樹斉藤; 進一岡本
Original assignee: Yazaki Corp
Current assignee: Yazaki Corp
Priority date: 2018-06-12
Filing date: 2018-06-12
Publication date: 2022-10-04
Anticipated expiration: 2038-06-12
Also published as: CN112262068B; CN112262068A; US11372415B2; US20210089038A1; WO2019239629A1; JP2019215214A; DE112019003007T5

Description

本発明は、車両制御システムに関する。

従来、例えば、レーンキープ制御、アダプティブクルーズコントロールなどの車両が走行する進路を制御する進路制御を行う車両制御システムがある。一方、搭乗者の状態を検出するために、車両の搭乗者の視線の状態である視線状態を検出する視線状態撮像装置が設けられている（例えば、特許文献１）。

特開２０１７－０２１７３１号公報

ところで、搭乗者においては、進路制御が行われている状態で、現在の進路から車両外に設置されている看板を見ることにより、進路を変更したい場合がある。この場合、搭乗者は、進路制御が行われている状態から、自身が車両を操作する手動運転状態とすることで、進路変更を行うこととなり、搭乗者の動作が複雑であるという問題がある。

本発明は、上記の点に鑑みてなされるものであり、搭乗者の簡単な動作で、自動的に進路変更を行うことができる車両制御システムを提供することを目的とする。

上記目的を達成するため、本発明に係る車両制御システムは、車両の前方を撮像する前方撮像装置と、前記前方撮像装置により撮像された前方画像に基づいて、前記前方画像における看板の位置を検出する看板位置検出部と、前記車両の搭乗の視線を撮像する視線状態撮像装置と、前記視線状態撮像装置により撮像された視線画像に基づいて、前記視線の状態である視線状態を検出する視線状態検出部と、前記看板の位置と前記視線状態に基づいて、前記前方画像における前記看板に対応する看板領域に前記視線が位置するか否かを判定する第１視線判定部と、前記看板領域に前記視線が位置すると判定された場合に、地図情報から前記看板に対応する看板情報を取得する看板情報取得部と、前記看板情報に基づいて、前記看板情報において１以上の前記車両の進路に関する情報である看板進路情報を含むか否かを判定する看板情報判定部と、前記看板情報が前記看板進路情報を含むと判定された場合に、前記看板情報を表示する表示装置と、前記表示装置により表示される前記看板情報と前記視線状態に基づいて、前記看板情報における前記看板進路情報に対応する看板進路情報領域に前記視線が位置するか否かを判定する第２視線判定部と、前記第２視線判定部において、前記看板進路情報領域に前記視線が位置すると判定された場合に、前記視線が位置する前記看板進路情報領域に対応する前記看板進路情報を選択する選択部と、前記搭乗者が前記選択部により選択した前記看板進路情報に基づいた進路に、進路変更を行うと決定した場合に、進路変更決定に対応する入力を行う入力部と、前記入力部に対して前記進路変更決定に対応する入力が行われることで、前記看板進路情報に基づく進路変更処理を行う進路変更処理部と、を備える、ことを特徴とする。

また、上記車両制御システムにおいて、前記表示装置は、前記看板進路情報が選択されると、前記看板情報の表示態様を選択された前記看板進路情報を識別することができる表示態様とする、ものである。

本発明に係る車両制御システムにおいては、搭乗者の簡単な動作で、自動的に進路変更を行うことができるとういう効果を奏する。

図１は、実施形態における車両制御システムの構成例を示す図である。図２は、実施形態における車両制御システムのブロック図である。図３は、表示装置に表示された看板情報（通常表示態様）を示す図である。図４は、表示装置に表示された看板情報（識別表示態様）を示す図である。図５は、実施形態における車両制御システムのフロー図である。図６は、変形例における車両制御システムのフロー図である。

以下に、本発明に係る車両制御システムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記の実施形態における構成要素には、当業者が容易に想定できるもの、あるいは実質的に同一のものが含まれる。また、下記の実施形態における構成要素は、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。

〔実施形態〕
実施形態に係る車両制御システムについて説明する。図１は、実施形態における車両制御システムの構成例を示す図である。図２は、実施形態における車両制御システムのブロック図である。図３は、表示装置に表示された看板情報（通常表示態様）を示す図である。図４は、表示装置に表示された看板情報（識別表示態様）を示す図である。図５は、実施形態における車両制御システムのフロー図である。図６は、変形例における車両制御システムのフロー図である。

本実施形態に係る車両制御システム１は、例えば、自動運転のみ、手動運転および自動運転を行うことができる車両１００に適用するものであり、図１に示すように、車室１０１に設けられている。ここで、車室１０１には、車両前方に位置するウィンドシールド１０２の下側にインストルメントパネル１０３が設けられている。インストルメントパネル１０３には、メータ１０４が設けられている。インストルメントパネル１０３よりも車両後方には、ステアリングコラム１０５に回転自在に支持された後述するステアリング１０ａが設けられている。本実施形態における搭乗者２００は、ステアリング１０ａよりも車両方向に設けられた図示しないシートに着座した運転者であり、ウィンドシールド１０２を介して車両１００の前方、インストルメントパネル１０３を視認することができる。車両制御システム１は、図１および図２に示すように、前方撮像装置２と、視線状態撮像装置３と、ナビゲーション装置４と、表示装置５と、スピーカー６と、マイク７と、制御装置８と、車両制御ＥＣＵ９と、操作装置１０と、車両走行装置１１と、を備える。

前方撮像装置２は、車両１００の前方を撮像するものである。前方撮像装置２は、車両１００の前方を撮像できる位置、本実施形態ではインストルメントパネル１０３に取り付けられている。前方撮像装置２は、制御装置８と電気的に接続されており、撮像した画像を前方画像ＦＶとして制御装置８に出力する。前方撮像装置２は、カメラであり、連続する複数の前方画像ＦＶを生成する。ここで、前方画像は、搭乗者２００が前方を視認した場合に見ることができる看板３００などの視認対象を含む車両１００の前方における実風景である。なお、前方撮像装置２は、静止画像を連続的に撮像することで動画を生成するものであってもよい。

視線状態撮像装置３は、車両１００の搭乗者２００の目を撮像するものである。視線状態撮像装置３は、入力部であり、搭乗者２００が進路変更を行うと決定した場合に、進路変更決定に対応する入力を行うものである。本実施形態における視線状態撮像装置３は、赤外線を用いて搭乗者２００の２つの目２０１，２０２の視点から視線Ｌを撮像するものである。視線状態撮像装置３は、車室１０１のうち、各目２０１，２０２を検出することができる位置、本実施形態ではインストルメントパネル１０３に取り付けられている。視線状態撮像装置３は、制御装置８と電気的に接続されており、撮像された画像を視線画像として制御装置８に出力される。ここで、視線状態撮像装置３は、図示しない赤外線ＬＥＤと、赤外線カメラとを有する。赤外線ＬＥＤは、赤外線カメラにより撮像できる赤外光を照射するものである。赤外線ＬＥＤは、搭乗者２００の各目２０１，２０２を含む顔２０３に赤外光を照射するものである。赤外線カメラは、顔２０３において反射した赤外光に基づいて、少なくとも各目２０１，２０２を撮像し、連続する複数の視線画像ＬＶを生成する。

ナビゲーション装置４は、少なくとも車両１００の現在位置情報を取得するものであり、地図情報ＭＩを有する。ナビゲーション装置４は、ＧＰＳ（Global Positioning System）衛星からの位置情報等に基づいて車両１００の現在位置情報を取得する。ナビゲーション装置４は、車両１００の現在位置情報に基づいて、地図情報ＭＩのうち、車両１００の周辺の地図情報ＭＩを後述する表示装置５に表示するものである。また、ナビゲーション装置４は、搭乗者２００により目的地が設定されると、表示装置５における表示や、スピーカーからの音声により、搭乗者２００に対して目的地までルートを案内するものである。ナビゲーション装置４は、制御装置８と電気的に接続されており、制御装置８が地図情報ＭＩを取得することができる。ここで、地図情報ＭＩは、少なくとも車室１０１内から搭乗者２００が視認することができる車両１００が走行する道路周辺の看板３００の位置および看板情報ＳＩが含まれている。ここで、看板情報ＳＩは、種々の情報が含まれており、車両１００の進路に関する情報が含まれている看板３００に対応する看板情報ＳＩには、看板情報ＳＩに看板進路情報ＳＣＩが含まれる。本実施形態における看板情報ＳＩは、表示装置５に対応する看板画像ＳＶとして表示される。看板進路情報ＳＣＩは、車両１００の進路に関する情報である。本実施形態における看板進路情報ＳＣＩは、表示装置５に対応する進路画像ＣＶとして表示される。進路画像ＣＶは、例えば、文字、矢印などの図形、記号などの搭乗者２００が進路に関する情報であると認識できるものである。また、地図情報ＭＩは、車両１００に搭載された通信装置によって、外部から適宜取得してもよい。

表示装置５は、搭乗者２００が視認できるものである。表示装置５は、後述する看板情報判定部８ｅにおいて、看板情報ＳＩに看板進路情報ＳＣＩを含むと判定された場合に看板情報ＳＩを表示するものである。本実施形態における表示装置５は、図３に示すように、看板進路情報ＳＣＩに対応する進路画像ＣＶを含む看板情報ＳＩに対応する看板画像ＳＶを表示する。また、表示装置５は、看板進路情報ＳＣＩが選択されると、看板情報ＳＩの表示態様を選択された看板進路情報ＳＣＩを識別することができる表示態様とする。本実施形態における表示装置５は、図４に示すように、看板情報ＳＩの表示態様として、看板進路情報ＳＣＩに対応する進路画像ＣＶに注意画像ＷＶを重ねることで、選択された看板進路情報ＳＣＩを識別することができる表示態様とする。ここで、注意画像ＷＶは、搭乗者２００が選択した看板進路情報ＳＣＩに対応する進路画像ＣＶに注意を引くことができる画像であればよく、文字、矢印などの図形、記号などであり、通常表示または点滅表示などを行ってもよい。本実施形態における表示装置５は、インストルメントパネル１０３に設けられており、液晶パネル、有機ＥＬパネルなどのモニターである。表示装置５は、制御装置８と電気的に接続されており、制御装置８により表示制御が行われる。なお、表示装置５は、タッチパネル機能を有していてもよいし、ウィンドシールド１０２に表示情報を虚像として表示するヘッドアップディスプレイや、図示しないコンバイナに表示情報を表示するヘッドアップディスプレイであってよい。

スピーカー６は、報知装置であり、図１および図２に示すように、搭乗者２００が聴覚に基づいて認識することができる報知情報を出力するものである。スピーカー６は、制御装置８と電気的に接続されており、制御装置８により音声出力制御が行われる。本実施形態におけるスピーカー６は、確認部８ｉにおいて、搭乗者２００に決定した看板進路情報ＳＣＩに基づく進路に進路を変更することに対する最終確認のために、搭乗者２００が認識できる音声情報を出力するものである。

マイク７は、搭乗者２００の音声が入力されるものである。マイク７は、入力部であり、搭乗者２００が進路変更を行うと決定した場合に、進路変更決定に対応する入力を行うものである。マイク７は、制御装置８と電気的に接続されており、搭乗者２００が発した音声に基づいた音声情報が制御装置８に出力される。

制御装置８は、進路変更処理を行うものである。本実施形態における制御装置８は、搭乗者２００の視線Ｌに基づいて、進路の選択・決定・確認を行うものである。制御装置８は、看板位置検出部８ａと、視線状態検出部８ｂと、第１視線判定部８ｃと、看板情報取得部８ｄと、看板情報判定部８ｅと、第２視線判定部８ｆと、選択部８ｇと、決定部８ｈと、確認部８ｉと、進路変更処理部８ｊと、音声認識部８ｋとを有する。ここで、各部は、制御装置８が有する一機能である。ここで、制御装置８のハードウェア構成は、既知の制御装置８のハードウェア構成と同一であり、例えば、図示しないＣＰＵ、ＲＡＭ、ＲＯＭを有する。

看板位置検出部８ａは、前方撮像装置２により撮像された前方画像ＦＶに基づいて、前方画像ＦＶにおける看板３００の位置を検出するものである。本実施形態における看板位置検出部８ａは、前方画像ＦＶにおける看板３００に対応する看板領域ＳＥを検出するものである。

視線状態検出部８ｂは、視線状態撮像装置３により撮像された視線画像ＬＶに基づいて、視線Ｌの状態である視線状態を検出するものである。ここで、視線状態とは、少なくとも視線Ｌがある状態としての搭乗者２００の視線Ｌであり、視線Ｌがない状態としての各目２０１，２０２の目つぶりを含むものである。視線状態検出部８ｂは、連続する複数の視線画像ＬＶにおける目２０１，２０２の位置および赤外線カメラと搭乗者２００との相対位置に基づいて、搭乗者２００の視線Ｌ（視線Ｌの方向）を検出し、視線情報ＬＩを生成する。また、連続する複数の視線画像ＬＶにおける視点の検出の有無に基づいて、目つぶりを検出し目つぶり情報を生成する。

第１視線判定部８ｃは、看板３００の位置と視線状態に基づいて、前方画像ＦＶにおける看板３００に対応する看板領域ＳＥに視線Ｌが位置するか否かを判定するものである。本実施形態に係る第１視線判定部８ｃは、前方画像ＦＶにおける看板領域ＳＥ（２次元座標）と、視線状態検出部８ｂにより検出された視線Ｌに基づいた前方画像ＦＶにおける視点の位置とに基づいて、搭乗者２００が看板３００を視認しているか否かを判定する。

看板情報取得部８ｄは、看板領域ＳＥに視線Ｌが位置すると判定された場合に、地図情報ＭＩから看板３００に対応する看板情報ＳＩを取得するものである。本実施形態における看板情報取得部８ｄは、車両１００の現在位置および車両１００に対する看板３００の位置に基づいて、看板３００の地図情報ＭＩにおける位置（地図情報ＭＩ上の座標）を算出し、算出された看板３００の地図情報ＭＩにおける位置に一致またはほぼ一致する位置における看板情報ＳＩを取得する。

看板情報判定部８ｅは、看板情報ＳＩに基づいて、看板情報ＳＩにおいて１以上の看板進路情報ＳＣＩを含むか否かを判定するものである。

第２視線判定部８ｆは、表示装置５に看板進路情報ＳＣＩが含まれる看板情報ＳＩが表示されている場合に、看板情報ＳＩと視線状態に基づいて、看板情報ＳＩにおける看板進路情報ＳＣＩに対応する看板進路情報領域ＳＣＩＥに視線Ｌが位置するか否かを判定するものである。本実施形態に係る第２視線判定部８ｆは、表示装置５に表示されている看板情報に対応する看板画像ＳＶ（２次元座標）と、視線状態検出部８ｂにより検出された視線Ｌに基づいた看板画像ＳＶにおける視点の位置とに基づいて、搭乗者２００が表示装置５に表示されている看板進路情報ＳＣＩに対する進路画像ＣＶを視認しているか否かを判定する。

選択部８ｇは、第２視線判定部８ｆにおいて、看板進路情報領域ＳＣＩＥに視線Ｌの位置があると判定された場合に、視線Ｌの位置がある看板進路情報領域ＳＣＩＥに対応する看板進路情報ＳＣＩを選択するものである。本実施形態における選択部８ｇは、搭乗者２００が進路画像ＣＶを視認することで、視認した進路画像ＣＶに対応する看板進路情報ＳＣＩを搭乗者２００が選択した看板進路情報ＳＣＩとして選択する。

決定部８ｈは、搭乗者２００により、入力部に対して進路変更決定に対応する入力が行われることで、選択している看板進路情報ＳＣＩを、進路変更処理を行うための看板進路情報ＳＣＩとして決定するものである。本実施形態における決定部８ｈは、視線情報に基づいて、選択している看板進路情報ＳＣＩを視認し続けることで、進路変更処理を行うための看板進路情報ＳＣＩとして決定するものである。

確認部８ｉは、決定部８ｈにおいて決定した進路変更処理を行うための看板進路情報ＳＣＩに基づく進路変更処理を行うことを搭乗者２００に対して確認するものである。本実施形態における確認部８ｉは、スピーカー６により搭乗者２００に対して確認を促す進路変更確認情報ＸＩ、例えば「この進路でよろしいでしょうか？」を車室１０１内に出力し、確認情報に対する搭乗者２００の回答の有無を判定する。

進路変更処理部８ｊは、入力部に対して進路変更決定に対応する入力が行われることで、看板進路情報ＳＣＩに基づく進路変更処理を行うものである。本実施形態における進路変更処理部８ｊは、確認部８ｉにより搭乗者２００が確認した看板進路情報ＳＣＩに基づいて進路情報ＣＩを生成し、車両制御ＥＣＵ９に進路情報ＣＩを出力する。

音声認識部８ｋは、マイク７により入力された搭乗者２００の音声を識別するものであり、予め図示しない記憶部に記憶されている音声情報と比較することで、入力された搭乗者２００の音声に対応する音声情報を選択するものである。

車両制御ＥＣＵ９は、車両１００の走行状態を制御するものである。本実施形態における車両制御ＥＣＵ９は、車両１００を所定の車線上を走行させるレーンキープ制御、前方車両に対して所定の車間で追従走行する追従走行制御（アダプティブクルーズコントロール）などの進路制御を行うことができるものである。車両制御ＥＣＵ９は、入力された進路情報ＣＩに基づいて、例えば、レーンキープ制御中に現在の車線から他の車線へ車線変更、すなわちレーンチェンジ制御を行うことができる。

操作装置１０は、車両１００を手動運転するために、搭乗者２００が運転者として操作するものである。操作装置１０は、ステアリング１０ａと、アクセルペダル１０ｂと、ブレーキペダル１０ｃと、コンビネーションスイッチ１０ｄと、を有する。ステアリング１０ａは、回転自在に支持されており、搭乗者２００が手により回転操作することで、車両１００を旋回させるものであり、車両１００の転舵輪（主に、前輪）の転舵角を変更する。ステアリング１０ａは、図示しない回転角センサにより操舵角が検出される。アクセルペダル１０ｂは、揺動自在に支持されており、搭乗者２００が脚により踏み込むことで、車両１００を加速することで、前進・後進させるものであり、車両１００の駆動輪（主に、前輪あるいは後輪）に駆動力を変更するものである。アクセルペダル１０ｂは、図示しない踏み込み量センサによりアクセル踏み込み量が検出される。ブレーキペダル１０ｃは、揺動自在に支持されており、搭乗者２００が脚により踏み込むことで、車両１００を減速・停止させるものであり、車両１００の全輪に制動力を変更するものである。ブレーキペダル１０ｃは、図示しない踏み込み量センサによりブレーキ踏み込み量が検出される。コンビネーションスイッチ１０ｄは、搖動自在に支持されており、搭乗者２００が手により操作することで、後述する方向指示器（ウインカ）１１ｄの信号灯を点滅表示させるものである。コンビネーションスイッチ１０ｄは、図示しないウインカスイッチにより方向指示器１１ｄの操作の有無／方向指示が検出される。操作装置１０は、車両走行装置１１を介して車両制御ＥＣＵ９に接続されており、操舵角、アクセル踏み込み量、ブレーキ踏み込み量および方向指示器１１ｄの操作の有無／方向指示などの車両１００の走行制御を行うことができる操作量を車両制御ＥＣＵ９に出力する。

車両走行装置１１は、車両１００を走行させるためのものである。車両走行装置１１は、操舵装置１１ａと、駆動装置１１ｂと、制動装置１１ｃと、方向指示器１１ｄと、を有する。操舵装置１１ａは、例えば、モータなどの転舵アクチュエータにより、車両１００の転舵輪の転舵角を変更するステアリング装置である。駆動装置１１ｂは、例えば、車両１００の駆動輪に駆動力を発生するものであり、駆動源としてモータと、モータに電力を供給するバッテリおよびモータからの駆動力を駆動輪に伝達する変速機などを有する。制動装置１１ｃは、例えば、制動アクチュエータにより発生する油圧により、ブレーキパッドをブレーキロータに接触させる油圧ブレーキ装置である。方向指示器１１ｄは、例えば、信号灯を点滅表示させることで、視覚系出力として、車両１００の移動方向に関する方向指示情報を出力するものである。車両走行装置１１は、操舵角、アクセル踏み込み量、ブレーキ踏み込み量、および方向指示器１１ｄの操作の有無／方向指示などの操作量がステアリング１０ａ、アクセルペダル１０ｂ、ブレーキペダル１０ｃおよびコンビネーションスイッチ１０ｄから直接、あるいは電気的に接続されている車両制御ＥＣＵ９を介して、操舵装置１１ａ、駆動装置１１ｂ、制動装置１１ｃおよび方向指示器１１ｄにそれぞれ入力される。車両走行装置１１は、操作量に基づいて、操舵装置１１ａ、駆動装置１１ｂ、制動装置１１ｃおよび方向指示器１１ｄの操舵制御、駆動制御、制動制御および方向指示制御がそれぞれ行われる。

次に、本実施形態における車両制御システム１の動作について説明する。図５は、実施形態における車両制御システムのフロー図である。ここで、看板３００は、車両１００が走行している前方に存在する複数の分岐が看板進路情報ＳＣＩとして表示される看板情報ＳＩとする。

まず、車両制御システム１は、車両制御ＥＣＵ９により進路制御としてレーンキープ制御が行われている（ステップＳＴ１０１）。ここで、搭乗者２００は、レーンキープ制御を行っている場合、現在車両１００が走行中の車線を直進する進路を選択していることとなる。

次に、制御装置８は、前方撮像装置２から出力される前方画像ＦＶを取得する（ステップＳＴ１０２）。

次に、看板位置検出部８ａは、取得した前方画像ＦＶにおける看板３００の位置を検出する（ステップＳＴ１０３）。

次に、制御装置８は、視線画像ＬＶを取得する（ステップＳＴ１０４）。

次に、視線状態検出部８ｂは、視線状態を検出する(ステップＳＴ１０５)。

次に、第１視線判定部８ｃは、前方画像ＦＶにおける看板３００に対応する看板領域ＳＥに視線Ｌが位置するか否かを判定する（ステップＳＴ１０６）。

次に、看板情報取得部８ｄは、看板領域ＳＥに視線Ｌが位置すると判定される（ステップＳＴ１０６：Ｙｅｓ）と、地図情報ＭＩから看板３００に対応する看板情報ＳＩを取得する（ステップＳＴ１０７）。

次に、看板情報判定部８ｅは、看板情報ＳＩに看板進路情報ＳＣＩがあるか否かを判定する（ステップＳＴ１０８）。

次に、制御装置８は、看板情報判定部８ｅにより看板情報ＳＩに看板進路情報ＳＣＩがあると判定する（ステップＳＴ１０８：Ｙｅｓ）と、看板情報ＳＩを表示装置５に表示する（ステップＳＴ１０９）。ここでは、制御装置８は、図３に示すように、看板情報ＳＩに対応する看板画像ＳＶを表示装置５に表示する。なお、看板画像ＳＶは、看板情報ＳＩに基づいて看板３００と同一のものでも、近似したものも、簡略化したもの、搭乗者２００の視野と同じものでもよい。

次に、第２視線判定部８ｆは、図３に示すように、看板情報ＳＩにおける看板進路情報ＳＣＩに対応する看板進路情報領域ＳＣＩＥに視線Ｌが位置するか否かを判定する（ステップＳＴ１１０）。ここでは、第２視線判定部８ｆは、図３に示すように、看板情報ＳＩに対応する看板画像ＳＶを表示装置５に表示する。ここで、看板画像ＳＶには、複数の看板進路情報ＳＣＩ１～ＳＣＩ８にそれぞれ対応する進路画像ＣＶ１～ＣＶ８が含まれている。

次に、選択部８ｇは、看板進路情報領域ＳＣＩＥに視線Ｌが位置すると判定される（ステップＳＴ１１０：Ｙｅｓ）と、視線Ｌの位置がある看板進路情報領域ＳＣＩＥに対応する看板進路情報ＳＣＩを選択する（ステップＳＴ１１１）。ここでは、搭乗者２００により看板画像ＳＶのうち、例えば進路画像ＣＶ１を視認している場合は、看板進路情報ＳＣＩ１～ＳＣＩ８のうち、看板進路情報ＳＣＩ１が選択されることとなる。

次に、制御装置８は、看板情報ＳＩの表示態様を選択された看板進路情報ＳＣＩを識別することができる表示態様に変更する（ステップＳＴ１１２）。ここでは、制御装置８は、図４に示すように、看板情報ＳＩの表示態様として、看板進路情報ＳＣＩに対応する進路画像ＣＶに注意画像ＷＶを重ねて表示するように表示装置５の表示制御を行う。搭乗者２００が看板進路情報ＳＣＩ１を選択した場合は、看板進路情報ＳＣＩ１に対応する進路画像ＣＶ１に、例えば、進路画像ＣＶ１である矢印よりも、大きく、色が異なる矢印を注意画像ＷＶとして重ねて表示する。

次に、決定部８ｈは、図５に示すように、選択した看板進路情報ＳＣＩを視認し続けているか否かを判定する（ステップＳＴ１１３）。ここでは、決定部８ｈは、入力部に対して進路変更決定に対応する入力として、搭乗者２００が選択している看板進路情報ＳＣＩに対応する看板進路情報領域ＳＣＩＥに視線Ｌが位置する時間が所定時間（例えば、数秒）を超えているか否かを判定する。

次に、確認部８ｉは、選択した看板進路情報ＳＣＩを視認し続けていると判定する（ステップＳＴ１１３：Ｙｅｓ）と、搭乗者２００に進路変更確認情報ＸＩを報知する（ステップＳＴ１１４）。ここでは、確認部８ｉは、スピーカー６により、進路変更確認情報ＸＩとして、例えば、「この進路でよろしいですか」などの音声を出力する。

次に、音声認識部８ｋは、搭乗者２００が確認したか否かを判定する（ステップＳＴ１１５）。ここでは、音声認識部８ｋは、搭乗者２００が決定した看板進路情報ＳＣＩに基づく進路で良いか悪いかを選択するため、マイク７に音声を入力することで、音声情報が、搭乗者２００が決定した看板進路情報ＳＣＩに基づく進路で良いという意志に基づいた情報であるか否かを判定する。

次に、進路変更処理部８ｊは、搭乗者２００が確認したと判定する（ステップＳＴ１１５：Ｙｅｓ）と、進路変更処理を行う（ステップＳＴ１１６）。ここでは、進路変更処理部８ｊは、搭乗者２００が確認した看板進路情報ＳＣＩに基づいて進路情報ＣＩを生成し、車両制御ＥＣＵ９に進路情報ＣＩを出力する。車両制御ＥＣＵ９は、進路情報ＣＩに基づいて進路制御を行う。直進を維持する。搭乗者２００が看板進路情報ＳＣＩ１～ＳＣＩ８のうち、看板進路情報ＳＣＩ１を確認した場合に、看板進路情報ＳＣＩ１に対応する進路情報ＣＩを生成され、車両制御ＥＣＵ９は、車両１００を直進させる進路、すなわち現在の進路を維持する進路制御を行う。

また、看板領域ＳＥに視線Ｌが位置しないと判定される（ステップＳＴ１０６：Ｎｏ）、看板情報判定部８ｅにより看板情報ＳＩに看板進路情報ＳＣＩがないと判定する（ステップＳＴ１０８：Ｎｏ）、看板進路情報領域ＳＣＩＥに視線Ｌが位置しないと判定される（ステップＳＴ１１０：Ｎｏ）、選択した看板進路情報ＳＣＩを視認し続けていないと判定する（ステップＳＴ１１３：Ｎｏ）、搭乗者２００が確認していないと判定する（ステップＳＴ１１５：Ｎｏ）と、本制御周期を終了し、次の制御周期に移行する。

以上のように、本実施形態における車両制御システム１は、搭乗者２００が看板３００を視認し、看板３００に対応する看板情報ＳＩに看板進路情報ＳＣＩが含まれている場合に、表示装置５に看板情報ＳＩが表示され、看板情報ＳＩのうち、看板進路情報ＳＣＩを視認し続けている場合に、看板進路情報ＳＣＩに基づいた進路情報ＣＩを生成し、車両制御ＥＣＵ９により進路情報ＣＩに基づいて進路制御が行われる。つまり、搭乗者２００は、看板３００を視認する、表示装置５に表示されている看板進路情報ＳＣＩを視認するという簡単な動作で、進路変更処理を行うことができる。これにより、搭乗者２００の簡単な動作で、自動的に進路変更を行うことができる。

また、本実施形態における車両制御システム１は、看板３００に対応する看板情報ＳＩに看板進路情報ＳＣＩが含まれている場合に、表示装置５に看板情報ＳＩが表示し、搭乗者２００は表示装置５に表示される看板進路情報ＳＣＩを視認する。従って、走行中の車両１００が看板３００を通過しても、搭乗者２００は看板情報ＳＩに含まれる看板進路情報ＳＣＩを選択することができる。従って、搭乗者２００は、看板３００を視認し続けることなく、看板進路情報ＳＣＩの選択を行うことができる。これにより、搭乗者２００が進路変更を行うために、あわてることを抑制することができる。

また、本実施形態における車両制御システム１は、看板進路情報ＳＣＩが選択されると、表示装置５に表示されている看板情報ＳＩの表示態様を選択された看板進路情報ＳＣＩを識別することができる表示態様とする。従って、搭乗者２００が看板進路情報ＳＣＩに対応する進路画像ＣＶの視認を開始した場合に、看板情報ＳＩに対応する看板画像ＳＶが通常表示態様から、進路画像ＣＶに注意画像ＷＶが重なることで、識別表示態様に変化する。これにより、搭乗者２００は、自身が視認を開始した看板進路情報ＳＣＩに対応する進路画像ＣＶを車両制御システム１が認識していることを把握することができるとともに、進路画像ＣＶを自身が視認を開始したことを認識することができる。

なお、上記実施形態における車両制御システム１は、入力部として視線状態撮像装置３を用いた、本発明これに限定されるものではなく、入力部としてマイク７を用いてもよい。図６は、変形例における車両制御システムのフロー図である。ここで、変形例における車両制御システム１の基本的動作は、実施形態における車両制御システム１の基本的動作と同一またはほぼ同一であるので同一ステップは、その説明を省略または簡略化する。

制御装置８は、図６に示すように、進路制御中において（ステップＳＴ２０１）、前方画像ＦＶを取得し（ステップＳＴ２０２）、看板３００の位置を検出し（ステップＳＴ２０３）、視線画像ＬＶを取得し（ステップＳＴ２０４）し、視線状態を検出する(ステップＳＴ２０５)。

次に、制御装置８は、看板領域ＳＥに視線Ｌが位置すると判定される（ステップＳＴ２０６：Ｙｅｓ）と、地図情報ＭＩから看板３００に対応する看板情報ＳＩを取得し（ステップＳＴ２０７）、看板情報ＳＩに看板進路情報ＳＣＩがあると判定する（ステップＳＴ２０８：Ｙｅｓ）と、看板情報ＳＩを表示装置５に表示し、看板進路情報領域ＳＣＩＥに視線Ｌが位置すると判定される（ステップＳＴ２１０：Ｙｅｓ）と、視線Ｌの位置がある看板進路情報領域ＳＣＩＥに対応する看板進路情報ＳＣＩを選択し（ステップＳＴ２１１）看板情報ＳＩの表示態様を選択された看板進路情報ＳＣＩを識別することができる表示態様に変更する（ステップＳＴ２１２）。

次に、決定部８ｈは、搭乗者２００が決定したか否かを判定する（ステップＳＴ２１３）。ここで、制御装置８は、マイク７に対して音声を入力することで音声情報を取得した場合に、搭乗者２００が進路変更決定に対応する入力として、例えば、「この進路にする」、「そこに向かって」などと、進路変更決定するという意志に基づいた音声情報であるか否かを判定する。

次に、制御装置８は、搭乗者２００が決定したと判定し（ステップＳＴ２１３：Ｙｅｓ）と、搭乗者２００に進路変更確認情報ＸＩを報知し、搭乗者２００が確認したと判定し（ステップＳＴ１１５：Ｙｅｓ）、進路変更処理を行う（ステップＳＴ１１６）。

また、搭乗者２００が決定していないと判定する（ステップＳＴ２１３：Ｎｏ）と、本制御周期を終了し、次の制御周期に移行する。

以上のように、変形例における車両制御システム１は、搭乗者２００が看板３００を視認し、看板３００に対応する看板情報ＳＩに看板進路情報ＳＣＩが含まれている場合に、表示装置５に看板情報ＳＩが表示され、搭乗者２００が選択した看板進路情報ＳＣＩを音声により決定した場合に、看板進路情報ＳＣＩに基づいた進路情報ＣＩを生成し、車両制御ＥＣＵ９により進路情報ＣＩに基づいて進路制御が行われる。つまり、搭乗者２００は、看板３００を視認する、表示装置５に表示されている看板進路情報ＳＣＩに応じて音声を発するという簡単な動作で、進路変更処理を行うことができる。これにより、搭乗者２００の簡単な動作で、自動的に進路変更を行うことができる。

なお、本実施形態における車両制御システム１は、入力部として視線状態撮像装置３を用いて、視線Ｌに基づいて、選択した看板進路情報ＳＣＩの決定を行ってもよい。制御装置８は、例えば、視線状態として目をつぶっているか否かに基づいて、選択した看板進路情報ＳＣＩの決定を行ってもよい。

また、本実施形態における車両制御システム１は、表示装置５に看板画像ＳＶを表示する際に、図３および図４に示すように、進路変更の動作を終了するためのキャンセル画像ＰＶを看板画像ＳＶに重ねて表示してもよい。この場合は、第２視線判定部８ｆは、看板情報ＳＩにおけるキャンセル画像ＰＶが表示されているキャンセル画像領域ＰＶＥに視線Ｌが位置するか否かを判定し、キャンセル画像領域ＰＶＥに視線Ｌが位置すると判定すると、搭乗者２００にキャンセル確認情報ＹＩを報知する。ここでは、制御装置８は、スピーカー６により、キャンセル確認情報ＹＩとして例えば、「キャンセルしても良いですか」、「画面を閉じますか」などの音声を出力する。制御装置８は、搭乗者２００が確認したか否かを判定する。ここでは、音声認識部８ｋは、搭乗者２００が進路変更の動作を終了しても良いか悪いかを選択するため、マイク７に音声を入力することで、音声情報が、搭乗者２００が進路変更の動作を終了しても良いという意志に基づいた情報であるか否かを判定し、搭乗者２００が確認すると進路変更の動作を終了する。

また、本実施形態における車両制御システム１は、表示装置５に表示された看板画像ＳＶのうち看板進路情報ＳＣＩを選択した場合に、図４に示すように、選択した看板進路情報ＳＣＩに基づいたサブ情報ＳＢＩに対応する注意画像ＷＶ´を看板画像ＳＶに重ねて表示してもよい。ここで、サブ情報ＳＢＩとは、選択した看板進路情報ＳＣＩに基づく進路に関する情報であり、例えば、進路上のサービスエリア、ジャンクション、出口の名前、距離などを含む。サブ情報ＳＢＩが表示装置５に表示されることで、進路変更を決定する際に、搭乗者２００が進路に関する情報を入手することができるので、進路変更の決定を容易に行うことができる。

また、本実施形態における車両制御システム１は、搭乗者２００に、表示装置５に表示された看板情報ＳＩのうち看板進路情報ＳＣＩが選択されることで、進路変更を行うものであるが、看板情報ＳＩに目的地情報ＧＩが含まれている場合に、目的地情報ＧＩが選択されることで、ナビゲーション装置４の目的地を変更してもよい。また、車両制御ＥＣＵ９がナビゲーション装置４からルート情報を含む目的地情報を取得できる場合は、目的地までのルートに基づいた自動走行制御を行ってもよい。

１車両制御システム
２前方撮像装置
３視線状態撮像装置
４ナビゲーション装置
５表示装置
６スピーカー
７マイク
８制御装置
８ａ看板位置検出部
８ｂ視線状態検出部
８ｃ第１視線判定部
８ｄ看板情報取得部
８ｅ看板情報判定部
８ｆ第２視線判定部
８ｇ選択部
８ｈ決定部
８ｉ確認部
８ｊ進路変更処理部
８ｋ音声認識部
９車両制御ＥＣＵ
１０操作装置
１１車両走行装置
１００車両
１０１車室
１０２ウィンドシールド
１０３インストルメントパネル
２００搭乗者
２０１，２０２目
３００看板
ＣＩ進路情報
ＣＶ進路画像
ＭＩ地図情報
ＳＩ看板情報
ＳＣＩ看板進路情報
ＳＶ看板画像
ＷＶ注意画像
ＸＩ進路変更確認情報

Claims

車両の前方を撮像する前方撮像装置と、
前記前方撮像装置により撮像された前方画像に基づいて、前記前方画像における看板の位置を検出する看板位置検出部と、
前記車両の搭乗者の目を撮像する視線状態撮像装置と、
前記視線状態撮像装置により撮像された視線画像に基づいて、視線の状態である視線状態を検出する視線状態検出部と、
前記看板の位置と前記視線状態に基づいて、前記前方画像における前記看板に対応する看板領域に前記視線が位置するか否かを判定する第１視線判定部と、
前記看板領域に前記視線が位置すると判定された場合に、地図情報から前記看板に対応する看板情報を取得する看板情報取得部と、
前記看板情報に基づいて、前記看板情報において１以上の前記車両の進路に関する情報である看板進路情報を含むか否かを判定する看板情報判定部と、
前記看板情報が前記看板進路情報を含むと判定された場合に、前記看板情報を表示する表示装置と、
前記表示装置により表示される前記看板情報と前記視線状態に基づいて、前記看板情報における前記看板進路情報に対応する看板進路情報領域に前記視線が位置するか否かを判定する第２視線判定部と、
前記第２視線判定部において、前記看板進路情報領域に前記視線が位置すると判定された場合に、前記視線が位置する前記看板進路情報領域に対応する前記看板進路情報を選択する選択部と、
前記搭乗者が前記選択部により選択した前記看板進路情報に基づいた進路に、進路変更を行うと決定した場合に、進路変更決定に対応する入力を行う入力部と、
前記入力部に対して前記進路変更決定に対応する入力が行われることで、前記看板進路情報に基づく進路変更処理を行う進路変更処理部と、を備える、
ことを特徴とする車両制御システム。
請求項１に記載の車両制御システムにおいて、
前記表示装置は、前記看板進路情報が選択されると、前記看板情報の表示態様を選択された前記看板進路情報を識別することができる表示態様とする、
車両制御システム。