JP7382327B2

JP7382327B2 - 情報処理装置、移動体、情報処理方法及びプログラム

Info

Publication number: JP7382327B2
Application number: JP2020536442A
Authority: JP
Inventors: 弘和橋本; 秀明今井
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2018-08-09
Filing date: 2019-07-24
Publication date: 2023-11-16
Anticipated expiration: 2039-07-24
Also published as: CN112534487B; JPWO2020031695A1; EP3836119A1; US11590985B2; CN112534487A; WO2020031695A1; US20210300401A1; EP3836119A4; KR20210043566A

Description

本開示は、情報処理装置、移動体、情報処理方法及びプログラムに関する。

運転中の運転者の覚醒度を判定し、覚醒度が低い場合に、車両の周辺の障害物と車両との衝突の可能性を示す危険度に応じて、スピーカから発する警報の音量を変更する技術が知られている。

特開２００９－１１６６９３号公報

しかしながら、上記の従来技術では、運転者の覚醒度が高い場合には、処理がなされない。そのため、運転者の覚醒度が高い状態で、車両に衝突する可能性のある物体を運転者が認識していない場合には、警報が通知されず、その物体に対する運転者の認識が遅れてしまうという問題点がある。

そこで、本開示では、車両の周辺に存在する物体に対する運転者の認識度に応じて、運転者への通知内容を変更することができる情報処理装置、移動体、情報処理方法及びプログラムを提案する。

本開示によれば、情報処理装置は、外部検知部によって検知されたデータに基づいて、移動体の外部に存在する物体を検出する外部情報検出部と、内部検知部によって検知されたデータに基づいて、前記移動体の内部の運転者の顔の向きを検出する内部情報検出部と、前記外部情報検出部で検出された前記物体の位置と、前記内部情報検出部で検出された前記運転者の顔の向きと、が同一方向であるかを判定する判定部と、前記物体の位置が前記運転者の顔の向きと同一方向でない場合の前記運転者へのアラートを、前記物体の位置が前記運転者の顔の向きと同一方向である場合に比して、強く出力させる出力制御部と、を有する。

本開示によれば、車両の周辺に存在する物体に対する運転者の認識度に応じて、運転者への通知内容を変更することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な機能の構成例を示すブロック図である。車外情報を取得するデータ取得部の配置位置の一例を示す図である。車内情報を取得するデータ取得部の配置位置の一例を示す図である。運転者の顔の向きと認識の範囲の一例を示す図である。本開示の実施形態による情報処理方法の処理の一例を示すフローチャートである。運転者の顔の向きの検出処理の手順の一例を示すフローチャートである。実施形態による情報処理方法での状況認識用マップの一例を示す図である。実施形態による全体安全度と運転者の認識度との組み合わせに対する通知内容との一例を示す図である。運転者の顔の向きの一例を模式的に示す図である。実施形態による全体安全度と運転者の認識度との組み合わせに対する通知方法の一例を示す図である。車両内の表示装置の配置位置の一例を示す図である。実施形態の変形例による検出した動体と運転者の顔の向きのマッピング処理の手順の一例を示すフローチャートである。実施形態の変形例での運転者の顔の向きの一例を示す図である。実施形態による情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

（実施形態）
［実施形態に係るシステムの構成］
図１は、本技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な機能の構成例を示すブロック図である。

なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。

車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワーク又はバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。

なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２とが通信を行うと記載する。また、自動運転制御部１１２、出力制御部１０５、出力部１０６及び記憶部１１１が情報処理装置に相当する。

入力部１０１は、搭乗者が各種のデータ又は指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及びレバー等の操作デバイス、並びに、音声又はジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータ又は指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。

データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。

例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（inertial measurement unit：ＩＭＵ）、及びアクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。

また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサである外部検知部を備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及びその他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。

さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。

また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサである内部検知部を備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置（Driver Monitering System：以下、ＤＭＳという）、運転者の生体情報を検出する生体センサ、及び車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。ＤＭＳとして、カメラ又はＴｏＦカメラなどを用いることができる。特に、トンネル内又は夜間の暗闇でも高精度に運転者をモニタリングすることができるＴｏＦカメラを用いることが望ましい。また、ＤＭＳは、運転者の視線を検知する視線センサであってもよい。視線センサとして、例えば、赤外線を運転者の目に照射し、反射光の角膜上の位置と瞳孔の位置とに基づいて視線を検出するものなどを用いることができる。

図２Ａは、車外情報を取得するデータ取得部の配置位置の一例を示す図であり、図２Ｂは、車内情報を取得するデータ取得部の配置位置の一例を示す図である。図２Ａに示されるように、車外を撮像する撮像装置７９１０，７９１２，７９１４，７９１６は、それぞれ自車の車両７９００のフロントノーズ、サイドミラー、リアバンパに設けられる。フロントノーズに備えられる撮像装置７９１０は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像装置７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパに備えられる撮像装置７９１６は、主として車両７９００の後方の画像を取得する。フロントノーズの撮像装置７９１０は、フロントガラスの上部に設けられてもよい。リアバンパの撮像装置７９１６は、バックドアに設けられてもよい。

また、図２Ａには、それぞれの撮像装置７９１０，７９１２，７９１４，７９１６の撮像範囲ａ～ｄの一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像装置７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像装置７９１２，７９１４の撮像範囲を示す。また、撮像範囲ｄは、リアバンパに設けられた撮像装置７９１６の撮像範囲を示す。

なお、図２Ａでは、撮像装置７９１０，７９１２，７９１４，７９１６の配置位置の例を示したが、撮像装置以外の車外情報検出装置７９２０，７９２２，７９２４，７９２６，７９２８，７９３０であってもよい。例えば、車両７９００のフロント、リア、サイド、コーナー及び車内のフロントガラスの上部に、車外情報検出装置７９２０，７９２２，７９２４，７９２６，７９２８，７９３０である超音波センサ又はレーダ装置を配置してもよい。さらに、車両７９００のフロントノーズ、リアバンパ、バックドア又は車室内のフロントガラスの上部に、車外情報検出装置７９２０，７９２６，７９３０であるＬｉＤＡＲ装置を設けてもよい。

図２Ｂに示されるように、ＤＭＳ５０３０は、インストルメントパネル５０２０の上部のダッシュボード５０１０に設けられ、運転席に着座する運転者の顔を含む上半身を撮像する。

図１に戻り、通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。

例えば、通信部１０３は、無線ＬＡＮ、Bluetooth（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。

さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。

車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。

出力制御部１０５は、運転者に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。

また、例えば、出力制御部１０５は、運転者の物体に対する認識度に応じて、衝突に対するアラートである警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。このとき、出力制御部１０５は、データ取得部１０２の撮像装置により撮像された外部の画像に、運転者の認識度に応じた衝突に対するアラートである警告表示等を重ね合せた画像データを生成し、生成した画像データを含む出力信号を出力部１０６に供給してもよい。物体には、移動している物体（動体）と、静止している物体と、が含まれる。

出力制御部１０５は、物体の認識度だけではなく、自車に対する周囲の物体の安全度と運転者の物体に対する認識度との組み合わせに応じて音声データを生成してもよい。このとき、出力制御部１０５は、外部の画像に、物体の安全度と運転者の認識度との組み合わせに応じた画像データを生成してもよい。

出力部１０６は、自車の搭乗者に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。

駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。

駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。

ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。

ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。

記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。

自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。

検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、外部情報検出部である車外情報検出部１４１、内部情報検出部である車内情報検出部１４２、及び、車両状態検出部１４３を備える。

車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。

車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認識処理、及び運転者の状態の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、顔の向き等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

車内情報検出部１４２による顔の向きの検出は、データ取得部１０２のＤＭＳによる撮像データから、機械学習を用いて運転者の顔を認識することによって行われる。なお、以下では、運転者の顔の向きを検出する場合を説明するが、通常、視線方向と顔の向きとが一致する場合が多いので、運転者の顔の向きには、視線方向が含まれるものとする。また、顔の向きを検出する場合には、ＤＭＳとして、カメラが用いられるが、視線方向を検出する場合には、ＤＭＳとして、視線センサが用いられる。

車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。

状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、及び、判定部１５５を備える。

マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。

状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。

また、状況認識部１５３は、自車の周囲の状況及び運転者の顔の向きの認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）であってもよいし、ＳＬＡＭ等の技術を用いた高精度なマップであってもよい。状況認識用マップは、例えば、データ取得部１０２で取得された自車の外部の情報を示す座標系と、データ取得部１０２で取得された運転者の顔の向きを示す座標系とを合わせるための空間情報である。状況認識用マップは、例えば、自車の後輪軸の中心を原点とした座標系で表される。この状況認識用マップに、データ取得部１０２で検出された自車に対して相対速度を有する物体（以下、動体と称する）と、運転者の顔の向きと、がマッピングされる。

認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、並びに周囲の動体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、顔の向き、視線の動き、並びに、運転操作等が含まれる。

状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２、状況予測部１５４、及び判定部１５５等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。

状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。

予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。

状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、判定部１５５、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

例えば、本実施形態では、状況予測部１５４は、状況認識部１５３で認識されたそれぞれの動体について安全度を算出し、自車に対する全体的な安全度（以下、全体安全度という）を判定する。安全度は、例えば自車が動体に衝突するまでの時間（Time To Collision：以下、ＴＴＣと称する）を算出し、ＴＴＣの範囲によって分類することができる。以下では、安全度として、例えば、低安全度、中安全度及び高安全度の３段階に分類する場合を例に挙げる。低安全度は、判定時を基準として、判定対象の動体が第１期間内に自車と衝突する可能性がある場合であり、緊急に停止又はハンドル操作などをしないと自車が動体と衝突してしまう状況の場合である。中安全度は、判定時を基準として、判定対象の動体が第２期間内に自車と衝突する可能性がある場合であり、第１期間ほど緊急ではないが、動体との衝突を避けるために何らかの処理をしないといけないような状況の場合である。高安全度は、判定対象の動体が第３期間内に自車と衝突する可能性があると判定された場合、あるいは動体が自車と衝突する可能性がないと判定された場合である。衝突する可能性がない場合には、ＴＴＣは例えば無限大であるとされる。例えば、第１期間は、ＴＴＣが０秒以上０．７秒以下の期間に設定され、第２期間は、ＴＴＣが０．７秒より大きく１．４秒以下の期間に設定され、第３期間は、ＴＴＣが１．７秒より大きい期間に設定される。なお、これは一例であり、第１期間～第３期間を他の範囲とすることもできる。

安全度の算出に当たり、状況予測部１５４は、車外情報検出部１４１で検出された動体についての移動方向及び速さと、車両状態検出部１４３で検出される自車の移動方向、速さ及び加速度と、から自車と動体との動きを予測する。その結果、状況予測部１５４は、第１期間内に自車と衝突すると予測された動体を低安全度とし、第２期間内に自車と衝突すると予測された動体を中安全度とし、自車とは衝突しないあるいは第３期間内に自車と衝突すると予測された動体を高安全度とする。

そして、状況予測部１５４は、検知されたすべての動体について安全度を算出した後、自車に対する動体の全体安全度を判定する。具体的には、状況予測部１５４は、複数の動体のうち、最も安全度の低いものを全体安全度とする。例えば、状況予測部１５４は、複数の動体のうち最もＴＴＣが短いものを代表動体として選択し、この代表動体の安全度を全体安全度とする。状況予測部１５４は、代表動体についての情報と全体的な危険度を判定部１５５及び出力制御部１０５に出力する。

判定部１５５は、車内情報検出部１４２で検出された運転者の顔の向きに対する代表動体の存在位置にしたがって、運転者が代表動体を認識しているかを判定する。判定部１５５は、状況認識用マップ上で、運転者による代表動体の認識の有無を判定する。例えば、判定部１５５は、代表動体の位置が顔の向きと同一方向にあるかを判定し、代表動体の位置が顔の向きと同一方向にある場合に、運転者が動体を認識していると判定し、同一方向にない場合に、運転者が動体を認識していないと判定する。なお、この明細書では、代表動体の位置が顔の向きと同一方向にあるとは、顔の向きを中心にした所定の範囲に代表動体が存在することをいうものとする。

図３は、運転者の顔の向きと認識の範囲の一例を示す図である。図３に示されるように、一般的に、人間は、顔の向きＤを中心として±３５度の範囲、すなわち全体で７０度の範囲に存在する動体について、色彩まで確認することができると言われている。そのため、本実施形態では、運転者の顔の向きＤを中心とした±３５度、全体で７０度の範囲を認識範囲Ｒ_rとし、認識範囲Ｒ_rに動体が存在する場合に、運転者は動体を認識しているものとする。そのため、一つの例としては、判定部１５５は、状況認識用マップ上で、顔の向きＤを中心にして、代表動体が±３５度の範囲の認識範囲Ｒ_rに存在するか否かによって、運転者による代表動体の認識の有無（以下、認識度ともいう）を判定することができる。

判定部１５５は、運転者による代表動体の認識度を緊急事態回避部１７１及び出力制御部１０５に出力する。出力制御部１０５では、全体安全度と運転者による代表動体の認識度との組み合わせに応じた出力情報を出力部１０６に出力する。

例えば、出力制御部１０５は、出力部１０６であるオーディオスピーカに、代表動体についての通知内容を含む音声データを出力させる。さらに、出力制御部１０５は、出力部１０６である表示装置に、代表動体を強調表示した自車の周囲の画像データを表示させてもよい。

また、判定部１５５は、出力部１０６から通知内容が出力された後、所定のタイミングで通知内容の出力を停止する指示を出力制御部１０５に出力する。出力制御部１０５は、所定のタイミングで通知内容の出力を停止する指示を受領すると、出力部１０６への通知内容の出力を停止する。例えば車内情報検出部１４２によって検出された運転者の顔の向きが代表動体の方向に向いた場合を、所定のタイミングとすることができる。あるいは、データ取得部１０２によって運転者が代表動体を認識したことを示す音声を検出した場合を、所定のタイミングとすることができる。さらには、車両状態検出部１４３によって運転者によるハンドル操作又はブレーキ操作を検知した場合に、所定のタイミングとすることもできる。このように、所定のタイミングで通知内容を停止することで、運転者による通知の煩わしさを低減することができる。

計画部１３４は、自車及び周囲の状況の分析結果に基づいて、自車の移動に関する計画を作成する。計画部１３４は、ルート計画部１６１、行動計画部１６２、及び、動作計画部１６３を備える。

ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。

行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する。

動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。

動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。

緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。また、緊急事態回避部１７１は、判定部１５５による判定結果に基づいて、衝突、接触等の緊急事態の検出処理を行う。具体的には、緊急事態回避部１７１は、状況認識部１５３から低安全度の情報を取得した場合に、動体の自車への衝突についての緊急事態を検出する。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。

加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

［実施形態に係る情報処理手順］
つぎに、このような車両制御システム１００での情報処理方法について説明する。図４は、本開示の実施形態による情報処理方法の処理の一例を示すフローチャートである。まず、自車が運転可能な状態になると、車外情報検出部１４１は、データ取得部１０２から自車の外部の車外情報を取得する（ステップＳ１１）。車外情報を検出するデータ取得部１０２は、例えば撮像装置又は周囲情報検出センサである。また、運転可能な状態は、例えばエンジンがかけられた状態又は電源がオンにされた状態である。

車外情報検出部１４１は、車外情報を用いて、自車に対して相対速度を有する物体である動体の検出処理を行い（ステップＳ１２）、検出処理の結果、動体が存在するか否かを判定する（ステップＳ１３）。車外情報検出部１４１は、たとえば異なる時間に撮像した撮像データを用いて、動体が存在するかを判定する。動体が存在しない場合（ステップＳ１３でＮｏの場合）には、ステップＳ１１へと処理が戻る。

動体が存在する場合（ステップＳ１３でＹｅｓの場合）には、状況認識部１５３は、データ取得部１０２から取得した車外情報を用いて、検出した動体の動きを予測する（ステップＳ１４）。動体の動きとして、現在（検出時）の自車に対する位置、速さ及び移動方向などが例示される。

その後、車内情報検出部１４２は、データ取得部１０２であるＤＭＳから車内情報を取得する（ステップＳ１５）。ＤＭＳは、例えば運転者の顔を含む領域を撮像するカメラであり、車内情報は、車両を運転する運転者の撮像データである。ついで、車内情報検出部１４２は、車内情報を用いて、運転者の顔の向きの検出処理を行う（ステップＳ１６）。

図５は、運転者の顔の向きの検出処理の手順の一例を示すフローチャートである。車内のＤＭＳによって車内が撮像される。ＤＭＳは、運転者の顔を含む領域を撮像することができる位置に配置される。車内情報検出部１４２は、ＤＭＳで撮像されたフレームで顔を検出したかを判定する（ステップＳ５１）。フレームで顔を検出しない場合（ステップＳ５１でＮｏの場合）には、顔を検出するまで待ち状態となる。

フレームで顔を検出した場合（ステップＳ５１でＹｅｓの場合）には、車内情報検出部１４２は、仮トラッキングできたかを判定する（ステップＳ５２）。仮トラッキングは、顔を検出したフレーム以降にＤＭＳから送られてくるフレームでの顔の検出を行うものである。仮トラッキングできていない場合（ステップＳ５２でＮｏの場合）には、すなわち仮トラッキング中のフレームで顔を見失った場合には、再探索を行う（ステップＳ５７）。そして、ステップＳ５１へと戻る。

一方、仮トラッキングできた場合（ステップＳ５２でＹｅｓの場合）には、車内情報検出部１４２は、その後に取得したフレームを用いて顔検出を行う（ステップＳ５３）。また、車内情報検出部１４２は、取得したフレームで運転者の顔のトラッキングを行う（ステップＳ５４）。トラッキングでは、検出した運転者の顔の構成部材の配置関係などの情報を用いて、ＤＭＳに対する運転者の顔の向きが変化した場合でも、運転者の顔を特定する。

さらに、車内情報検出部１４２は、特定した運転者の顔の情報を用いて、運転者の顔の向きを算出する（ステップＳ５５）。トラッキングの場合と同様に、車内情報検出部１４２は、運転者が運転席に座って真正面を見た状態を基準として、フレーム中の検出した運転者の顔の構成部材の配置関係から顔の向きを特定する。例えば、顔は、上下方向に延在する軸、左右方向に延在する軸及び前後方向に延在する軸を中心にして回転することができるので、それぞれの軸の周りの回転角度を用いて、顔の向きを特定することができる。

その後、車内情報検出部１４２は、トラッキング中に運転者の顔の検出ができなくなったかを判定する（ステップＳ５６）。顔の検出ができている場合（ステップＳ５６でＹｅｓの場合）には、処理が図４に戻る。顔の検出ができなかった場合（ステップＳ５６でＮｏの場合）には、ステップＳ５７へと処理が移り、再探索が行われる。以上の処理が、データ取得部１０２で運転者の画像データが撮像されている間に行われる。

再び、図４に戻り、状況認識部１５３は、ステップＳ１３で検出した動体とステップＳ１６で検出した運転者の顔の向きのマッピング処理を行う（ステップＳ１７）。このマッピング処理では、例えば、自車の予め定められた位置を基準にした空間情報である状況認識用マップに、動体と、運転者の顔の向きと、がマッピングされる。予め定められた位置は、例えば、自車の車両の後輪軸の中心である。なお、動体を検出した座標系と、運転者の顔の向きを検出した座標系と、は異なるものであり、状況認識部１５３は、異なる２つの座標系で取得したデータを、１つの座標系にマッピングするものである。図６は、実施形態による情報処理方法での状況認識用マップの一例を示す図である。この図に示されるように、例えば、車の後輪軸の中心Ｏを基準とした座標系を有する状況認識用マップに、動体２１０の位置と、運転者ｄｒの顔の向きＤと、がマッピングされる。

ついで、状況予測部１５４は、状況認識用マップにマッピングされたすべての動体について、安全度を算出する（ステップＳ１８）。ここでは、状況予測部１５４は、ステップＳ１４で予測した動体の動きと、車両状態検出部１４３で得られる情報から予測した自車の動きと、を用いて、自車が動体と衝突する度合いを示す安全度を算出する。複数の動体が存在する場合には、それぞれの動体について安全度を算出する。例えば、状況予測部１５４は、１つの動体について演算を行う時点における動体の位置、速さ、及び移動方向に基づいて、動体の動きを予測する。また、状況予測部１５４は、車両状態検出部１４３から自車の速度、加速度及び移動方向に基づいて、自車の動きを予測する。そして、状況予測部１５４は、自車が動体と衝突するか否かを判定し、自車が動体と衝突すると予測した場合には、ＴＴＣを算出し、ＴＴＣの属する範囲によって、高安全度、中安全度又は低安全度に分類する。例えば、状況予測部１５４は、自車が動体と衝突しないと予測した場合、あるいはＴＴＣが第３期間にある場合には、高安全度に分類する。状況予測部１５４は、ＴＴＣが第２期間にある場合には、中安全度に分類し、ＴＴＣが第１期間にある場合には、低安全度に分類する。

すべての動体についての安全度が算出された後、状況予測部１５４は、全体安全度を算出する（ステップＳ１９）。具体的には、状況予測部１５４は、算出した安全度のうち、最もＴＴＣの短い動体を代表動体として選択し、この代表動体の安全度を全体安全度とする。ＴＴＣは、上記したように衝突までに要する時間である。そのため、最もＴＴＣが短いものを選択することは、最初に衝突する可能性のある動体を選択することであり、運転者にとって最も注意を払わなければならない対象となる。つまり、最もＴＴＣが短いものを選択することは、直近に生じうる衝突の可能性のある動体を１つ絞って、運転者の注意の喚起を容易にする。状況予測部１５４は、算出した全体安全度及び代表動体の安全度を出力制御部１０５及び判定部１５５に渡す。

その後、判定部１５５は、代表動体の安全度と運転者の顔の向きとがマッピングされた状況認識用マップを用いて、代表動体の位置が運転者の顔の向きと一致するかによって、運転者の代表動体に対する認識度を判定する（ステップＳ２０）。具体的には、判定部１５５は、状況認識用マップ中で、運転者の認識範囲Ｒ_r内に代表動体が存在するかを判定する。図３に示したように、運転者の認識範囲Ｒ_rは、例えば運転者の顔の向きＤを中心にして±３５度の範囲である。代表動体が認識範囲に存在する場合には、判定部１５５は、運転者は代表動体を認識しているものとする。また、代表動体が認識範囲に存在しない場合には、判定部１５５は、運転者が代表動体を認識していないものとする。判定部１５５は、運転者の認識度を出力制御部１０５及び緊急事態回避部１７１に渡す。

ついで、出力制御部１０５は、全体安全度と運転者の認識度との組み合わせに基づいて、出力部１０６への通知内容を決定する（ステップＳ２１）。図７は、実施形態による全体安全度と運転者の認識度との組み合わせに対する通知内容との一例を示す図である。この図では、安全度を「高」、「中」および「低」の３つに分類し、認識度を認識していることを示す「有」および認識していないことを示す「無」の２つに分類して、それぞれの組み合わせに対して、通知内容を設定している。通知内容として、通知音の通知の仕方を例示ししている。なお、通知内容は、運転者に対するアラートであればよく、通知音以外にもハプティクスまたはライトなどでの通知を用いてもよい。

高安全度の場合には、認識度に関わらず極めて弱い通知音を出力部１０６であるオーディオスピーカから出力する。また、中安全度であり、認識度が「有」である場合には、控えめの通知音をオーディオスピーカから出力する。中安全度であり、認識度が「無」である場合には、少し強めの通知音をオーディオスピーカから出力する。低安全度の場合には、認識度に関わらず極めて強い通知音をオーディオスピーカから出力する。

低安全度の場合には、認識度に関わらず極めて強い通知音を出力するようすることで、衝突の可能性が身近に迫っている場合には、運転者に対する警報的な通知を行うことができる。なお、通知音に関して、「きわめて弱い」、「控えめ」、「少し強め」および「強い」はこの順に音が強くなるものであり、この関係を満たす範囲において、音の強さを任意に設定することができる。

このように、全体安全度と運転者の認識度との組み合わせに応じて通知音を変えることで、運転者に対して、必要以上の注意の喚起、又は注意すべき動体の見逃しなどが抑えられる。その結果、高安全度の場合又は中安全度で運転者が動体を認識している場合には、運転者に与える煩わしさを抑制しながら、運転者に注意を喚起することができる。また、中安全度で運転者が動体を認識していない場合又は低安全度の場合には、運転者に対して強い注意の喚起を促すことができる。

出力制御部１０５は、決定した通知内容を出力部１０６に通知する（ステップＳ２２）。出力部１０６では、通知内容にしたがって通知する。

また、緊急事態回避部１７１は、判定部１５５から取得した全体安全度から緊急停止が必要かを判定する（ステップＳ２３）。例えば、緊急事態回避部１７１は、取得した全体安全度が低安全度である場合には、緊急停止が必要であると判定し、取得した全体安全度が高安全度又は中安全度である場合には、緊急停止が不要であると判定する。

緊急停止が必要でない場合（ステップＳ２３でＮｏの場合）には、処理がステップＳ１１へと戻る。また、緊急停止が必要である場合（ステップＳ２３でＹｅｓの場合）には、緊急事態回避部１７１は、自車を緊急停止させる指示を作成し、作成した指示を加減速制御部１７２などに渡す。加減速制御部１７２は、指示に基づいて駆動系制御部１０７に対して緊急停止を行うための制御処理を行う（ステップＳ２４）。これによって、駆動系制御部１０７は、駆動系システム１０８に対して緊急停止を指示し、自車が緊急停車する。以上によって、処理が終了する。

図８は、運転者の顔の向きの一例を模式的に示す図である。この図に示されるように、運転者ｄｒの顔の向きＤは、フロントガラス越しに外部を向いている。この場合、車外情報検出部１４１で検出された動体２１０（代表動体）と、車内情報検出部１４２で検出された運転者ｄｒの顔の向きＤと、が、状況認識部１５３によって図６に示されるような状況認識用マップにマッピングされる。そして、判定部１５５によって、運転者の代表動体に対する認識度が判定され、代表動体の安全度と、運転者の認識度と、の組み合わせに応じて、通知内容が決定される。

運転者がフロントガラス越し又はサイドガラス越しに外部を見ている場合には、動体の存在を音によって通知する方法が挙げられる。この場合には、図７に示したように、全体安全度と運転者の認識度との組み合わせによって、音の強さが変更されることになる。

また、このとき、出力制御部１０５は、通知音に加えて、車内の表示部にデータ取得部１０２で取得した画像中の代表動体を枠線で囲んで表示するなどの補助的な通知も可能となる。例えば、出力制御部１０５は、代表動体が選択された場合には、代表動体が映った画像データに、代表動体の位置を示す情報を付加した画像を車内の表示装置に出力するようにしてもよい。

図９は、実施形態による全体安全度と運転者の認識度との組み合わせに対する通知方法の一例を示す図である。ここでは、図７の音による通知内容に表示装置への通知内容を加えたものである。また、ここでは、車両の前方方向に代表動体が存在する場合を示している。表示装置には、前方のカメラで撮像した画像データ２７０が映し出され、画像データ２７０の中で代表動体が枠線２７１で囲まれて表示される。そのため、運転者は、通知内容を示す音が聞こえた場合に、表示装置の画像データ２７０を確認することで、代表動体の自車に対する位置を確認することが可能になる。

出力制御部１０５は、安全度に応じて枠線２７１の色を変えることができる。例えば、高安全度の場合には、枠線２７１の色を緑色とし、中安全度の場合には、枠線２７１の色を黄色とし、低安全度の場合には、枠線２７１の色を赤色とすることができる。もちろん、これは一例であり、他の色とすることもできる。また、安全度に応じて、枠線２７１の種類を変えたり、枠線２７１の太さを変えたりすることもできる。さらに、枠線２７１を点滅表示させることもできる。また、代表動体の位置を示す情報として、枠線２７１ではなく、矢印などであってもよい。

また、上記した例では、オーディオスピーカから出力される通知音に方向性はないが、方向性を付加することもできる。出力制御部１０５は、車外情報検出部１４１から取得した代表動体の位置に基づいて、運転者に対して代表動体の位置の方に音像が位置するように通知音を音像定位処理し、処理された通知音を車内のオーディオスピーカから出力してもよい。このように音像定位処理を施した通知音をオーディオスピーカから出力することで、運転者は、音像の位置の方に注意すべき動体が存在することを、音によって認識することができる。

以上のように、実施形態では、車外に存在する代表動体の位置を検知し、車内の運転者の顔の向きを検知し、運転者の顔の向きに代表動体が存在するか否かで、運転者への通知内容を選択した。これによって、運転者の顔の向きに代表動体が存在しない場合には、運転者の顔の向きに代表動体が存在する場合に比して、強めの通知音を出すなどの通知が行われる。その結果、運転者の顔の向きに代表動体が存在する場合には、運転者に煩わしさを与えない程度の内容で通知を行いながら、運転者の顔の向きに代表動体が存在しない場合には、注意喚起を行う内容で通知を行うことができる。

運転者の顔の向きに代表動体が存在するか否かの判定において、車外情報検出部１４１で検出した代表動体の位置と、車内情報検出部１４２で検出した運転者の顔の向きと、を同じ空間情報である状況認識用マップにマッピングした。これによって、異なる座標軸を持った代表動体の位置と運転者の顔の向きとを同じ座標軸上で示すことができる。

また、運転者の顔の向きに代表動体が存在するか否かの判定において、運転者の顔の向きを中心にして所定の範囲に代表動体が存在する場合を、運転者の顔の向きに代表動体が存在する場合とした。これによって、運転者が物体を認識できる範囲が顔の向きとされる。その結果、顔の向きを中心とした所定の範囲に代表動体が存在するか否かによって、運転者が代表動体を認識しているか否かを判定することができる。

運転者の顔の向きをＴＯＦセンサで検知するようにした。これによって、夜間又はトンネル内の暗闇でも、運転者の顔の向きを高精度にモニタリングすることができる。

また、運転者への通知内容の選択において、運転者の顔の向きに代表動体が存在する場合だけでなく、代表動体の自車への衝突可能性を示す安全度に応じて、通知内容を変えることもできる。例えば、安全度と、運転者の顔の向きへの代表動体の存在の有無と、の組み合わせに応じて、運転者に代表動体を認識させるための通知内容を選択し、出力するようにした。これによって、中安全度の場合で、運転者の顔の向きに代表動体が存在しない場合には、運転者の顔の向きに代表動体が存在する場合に比して強めの音を出すなどの通知が行われる。その結果、中安全度の場合で、運転者の顔の向きに代表動体が存在する場合には、運転者に煩わしさを与えない程度の内容で通知を行いながら、運転者の顔の向きに代表動体が存在しない場合には、注意喚起を行う内容で通知を行うことができる。

また、高安全度の場合には、中安全度で運転者の顔の向きに代表動体が存在する場合に比して弱めの音を出すなどの通知が行われる。その結果、運転者に対して煩わしさを与えない範囲で、注意喚起を行うことができ、万が一運転者が代表動体を認識していないときでも、代表動体に対する注意を運転者に与えることができる。

さらに、低安全度の場合には、中安全度で運転者の顔の向きに代表動体が存在しない場合に比して強めの音を出すなどの通知が行われる。これによって、運転者の顔の向きに代表動体が存在していない場合だけでなく、運転者の顔の向きに代表動体が存在している場合でも、強い通知が行われる。その結果、運転者に代表動体の自車への衝突の可能性がすぐ身近に迫っていることを警報することができる。また、このとき、加減速制御部１７２によって、緊急事態を回避するためのブレーキ操作又はハンドル操作などが行われる。その結果、代表動体の自車への衝突を回避したり、衝突の衝撃を和らげたりすることができる。

また、出力制御部１０５は、通知内容が出力された後、所定のタイミングで通知内容の出力が停止するようにした。所定のタイミングは、例えば、運転者の顔の向きが代表動体の位置と一致した場合、あるいは運転者による代表動体を認識した旨の音声を検知した場合、あるいは運転者によるハンドル又はブレーキの操作が行われた場合とすることができる。これによって、通知内容の原因となった代表動体の自車への衝突の可能性がなくなると、通知が停止される。その結果、通知内容の原因となった代表動体の自車への衝突の可能性がなくなった後も通知が継続される場合に比して、運転者へ与える煩わしさを低減することができる。

出力制御部１０５は、通知音を音像定位で出力するようにした。これによって、運転者によって感じられる車内での通知音の方向が代表動体の方向と一致する。その結果、運転者は音によって代表動体の方向の位置を認識することができる。また、無闇に代表動体の位置を探す場合に比して、運転者は短時間で代表動体の位置を把握することができる。

自車の周囲に複数の動体が存在する場合には、ＴＴＣが最も短い動体を代表動体とする。これによって、その時点で最も早い時間に衝突の可能性が高い動体が、運転者による認識の対象となる。衝突する可能性が遅い動体よりも衝突する可能性が早い動体を、運転者による認識の対象としたので、運転者に対する安全性を向上させることができる。

［実施形態の変形例］
上記した説明では、運転者の顔の向きが窓越しに外部を向いている場合を前提としていた。しかし、運転者は、フロントガラス越しから見る外部の風景だけでなく、車両内の電子ルームミラー、電子サイドミラーあるいは車両の後退時に車両後方の映像を映す表示装置なども見ることがある。図１０は、車両内の表示装置の配置位置の一例を示す図である。電子ルームミラー２２２は、車両の後方に設けられた撮像装置で撮像された画像を映す表示装置であり、フロントガラス上部の中央付近に設けられる。電子ルームミラー２２２は、ルームミラーと同等の機能を有するものである。電子ルームミラー２２２には、車両の後方の情報が表示される。電子サイドミラー２２４は、例えば図２Ａの車両外部の側面に設けられた撮像装置７９１２，７９１４で撮像された画像を映す表示装置であり、サイドミラーと同等の機能を有するものである。電子サイドミラー２２４は、例えばフロントドアの窓の前方付近に設けられる。電子サイドミラー２２４には、車両の後ろ側面の情報が表示される。カーナビゲーションシステム用の表示装置２２６には、地図情報のほかに、後進時に、例えば図２Ａのバックドア又はバックバンパーに設けられた撮像装置７９１６で撮像された画像が表示される。そこで、ここでは、車両の外部を表示する表示装置に移された代表動体についても運転者が認識しているか否かを判定することができる情報処理装置の変形例について説明する。

この変形例では、状況認識部１５３は、車内情報検出部１４２から顔の向きが車外であるか車内であるかを検知する。顔の向きが車外である場合には、実施形態で説明したように、状況認識部１５３は、車外情報検出部１４１での検出結果を状況認識用マップとして使用し、この状況認識用マップに運転者の顔の向きをマッピングする。また、状況認識部１５３は、顔の向きが車内の表示装置である場合には、車内前方の画像データ（以下、車内前方画像と称する）を状況認識用マップとして使用する。車内前方画像は、例えば図１０に示されるように、フロントガラス、電子ルームミラー２２２、電子サイドミラー２２４及びカーナビゲーションシステム用の表示装置２２６を含む領域が撮像された画像であればよく、運転者が映っていない状態で撮像された画像データでもよい。このとき、状況認識部１５３は、車内前方画像内の各表示装置の位置にその時点での車外の撮像データを表示させ、運転者の顔の向きをマッピングする。そして、判定部１５５は、表示装置内の代表動体が運転者の認識の範囲内にあるかを判定する。なお、その他の構成については、実施形態で説明したものと同様であるので、省略する。

変形例では、図４のフローチャートのステップＳ１７の処理が実施形態とは異なる。図１１は、実施形態の変形例による検出した動体と運転者の顔の向きのマッピング処理の手順の一例を示すフローチャートである。

検出した動体と運転者の顔の向きのマッピング処理では、まず、状況認識部１５３は、車内情報検出部１４２からの情報に基づいて、運転者の顔の向きは車内であるかを判定する（ステップＳ７１）。顔の向きが車内ではない場合（ステップＳ７１でＮｏの場合）には、状況認識部１５３は、データ取得部１０２で取得された自車の外部の位置を示す車外情報を状況認識用マップとして使用し（ステップＳ７２）、車外情報に運転者の顔の向きをマッピングし（ステップＳ７３）、処理が図４へと戻る。

顔の向きが車内である場合（ステップＳ７１でＹｅｓの場合）には、状況認識部１５３は、車内前方画像を状況認識用マップとして使用する（ステップＳ７４）。状況認識部１５３は、車内前方画像の各表示装置の位置に、その時点での車外の撮像データを重ね合せて表示する（ステップＳ７５）。なお、その時点の車内前方画像を撮像している場合には、ステップＳ７５の処理は必要ない。その後、車内前方画像に運転者の顔の向きをマッピングし（ステップＳ７６）、処理が図４へと戻る。なお、その他の処理については、実施形態で説明したものと同様であるので、省略する。

図１２は、実施形態の変形例での運転者の顔の向きの一例を示す図である。ここでは、車両は後進している状態で、車内のカーナビゲーションシステムの表示装置２２６には、車両後方の画像が表示されているものとする。表示装置２２６の画像内に動体２１０が表示されている。

この図に示されるように、運転者ｄｒの顔の向きＤは、車内の表示装置２２６を見ている。この場合、車外情報検出部１４１で検出された動体２１０（代表動体）と、車内情報検出部１４２で検出された運転者の顔の向きＤとが、状況認識部１５３によって、例えば図１２に示されるような状況認識用マップにマッピングされる。この場合、車内の表示装置２２６の位置に、運転者ｄｒの顔の向きＤが向いているので、判定部１５５は、運転者ｄｒは動体２１０を認識していると判定する。そして、判定部１５５によって、動体２１０の安全度と、運転者ｄｒの代表動体２１０に対する認識度と、の組み合わせに応じて、通知内容が決定される。

なお、上記した説明では、車内に設けられたＤＭＳによって、運転者の顔の向きを検出する場合を説明した。しかし、運転者の顔の向きではなく、直接に運転者の視線の向きを検出する視線センサをＤＭＳとして用いてもよい。視線センサを用いることで、より高精度に運転者の視線方向を検出することができる。これによって、窓越しの視線と車内の表示装置の視線を容易に区別することができる。また、窓越しの視線と車内の表示装置の視線の区別を目の焦点距離で判断してもよい。

また、運転者の顔を認識するＤＭＳを、図２Ｂのインストルメントパネル５０２０上部のダッシュボード５０１０だけでなく、運転者が側方を見た場合あるいは後方を振り返って見た場合にも認識することができるように、車内に複数のＤＭＳを設けてもよい。これによって、例えばダッシュボード５０１０に設けられたＤＭＳで運転者の顔を認識できなかった場合に、他のＤＭＳを用いて認識を行い、この他のＤＭＳで撮像した運転者の顔の向きを状況認識用マップにマッピングしてもよい。

変形例では、車両の側面に設けられたサイドカメラ又は車両の後方に設けられたバックカメラなどのカメラモニタリングシステム（Camera Monitoring System：以下、ＣＭＳという）で撮像された画像を車内の表示装置に表示した。ＣＭＳで撮像された画像内に代表動体が存在する場合に、運転者の顔の向きは、車内の表示装置か否かが判定される。その後、車内前方画像を状況認識用マップとして使用し、この状況確認用マップ内の表示装置内にその時点でのＣＭＳで撮像された画像をはめ込む。そして、運転者の顔の向きに表示装置の画像内の動体が存在するか否かで、運転者の代表動体に対する認識度を判定する。これによって、例えば運転者よりも前方に存在する動体だけでなく、運転者の側面及び後方に存在する動体であって、表示装置に表示される動体についても、運転者の認識度を判定することができる。その結果、運転者の側面又は後方に存在する代表動体についても、運転者に対して注意喚起を行うことができる。

また、変形例では、ＣＭＳで捉えられた代表動体の表示領域が運転者の顔の向きにあるか否かが判定される。これによって、代表動体の表示領域が運転者の顔の向きにない場合には、運転者は代表動体を認識していないと判定される。その結果、車内の表示装置を運転者が見ている場合でも、その顔の向きに代表動体の表示領域が存在しない場合には、運転者に注意喚起を行うことができる。

さらに、運転者の顔の向きとして視線センサで視線を検知することもできる。この場合には、運転者がフロントガラス越しに外部を見ているのか、車内の表示装置を見ているのかを、より高精度に特定することができる。また、表示装置内での運転者の視線の位置も、高精度に特定することができ、運転者に通知する通知内容を運転者の認識に従ったものに近づけることができる。

なお、本開示に係る技術（本技術）は、自動車だけではなく他の様々な製品へ応用することができる。例えば、本開示に係る技術は、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

［実施形態の情報処理装置のハードウェア構成］
図１３は、実施形態による情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。上述してきた実施形態に係る自動運転制御部１１２、出力制御部１０５、出力部１０６及び記憶部１１１を含む情報処理装置は、コンピュータ１０００によって実現される。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic Input Output System）等のブートプログラム、及びコンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、このプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。

通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボード又はマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイ、スピーカ又はプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、又は半導体メモリ等である。

例えば、コンピュータ１０００が実施形態に係る情報処理装置として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、検出部１３１、状況分析部１３３、動作制御部１３５、及び出力制御部１０５等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
外部検知部によって検知されたデータに基づいて、移動体の外部に存在する物体を検出する外部情報検出部と、
内部検知部によって検知されたデータに基づいて、前記移動体の内部の運転者の顔の向きを検出する内部情報検出部と、
前記外部情報検出部で検出された前記物体の位置と、前記内部情報検出部で検出された前記運転者の顔の向きと、が同一方向であるかを判定する判定部と、
前記物体の位置が前記運転者の顔の向きと同一方向でない場合の前記運転者へのアラートを、前記物体の位置が前記運転者の顔の向きと同一方向である場合に比して、強く出力させる出力制御部と、
を有する情報処理装置。
（２）
前記外部情報検出部で検出された前記物体の位置と、前記内部情報検出部で検出された前記運転者の顔の向きと、を同じ空間情報にマッピングする状況認識部をさらに有し、
前記判定部は、マッピングされた前記空間情報を用いて前記物体の位置と前記運転者の顔の向きとが同一方向であるかを判定する（１）に記載の情報処理装置。
（３）
前記判定部は、前記運転者の顔の向きを中心にして所定の範囲に前記物体の位置が存在する場合に、前記物体の位置と前記運転者の顔の向きとが同一方向であると判定する（２）に記載の情報処理装置。
（４）
前記移動体の側面又は後部に設けられる前記外部検知部によって撮像された画像データを表示する表示部をさらに有し、
前記判定部は、前記表示部上での前記運転者の顔の向きを用いて判定する（１）に記載の情報処理装置。
（５）
前記判定部は、前記表示部に表示された前記画像データ中の前記物体の位置と、前記運転者の顔の向きと、が同一であるかを判定する（４）に記載の情報処理装置。
（６）
前記内部情報検出部は、前記運転者の顔の向きとして前記運転者の視線を検出し、
前記判定部は、前記運転者の視線の位置で、窓越しの視線と前記表示部への視線との区別を判定する（５）に記載の情報処理装置。
（７）
前記内部検知部は、ＴＯＦセンサである（１）から（６）のいずれか１つに記載の情報処理装置。
（８）
前記移動体の動きと前記物体の動きとから前記物体の前記移動体への衝突予測時間を予測し、前記衝突予測時間の長さによって定められる安全度にしたがって前記物体を分類する状況予測部をさらに備え、
前記出力制御部は、中安全度である場合で、前記物体の位置が前記運転者の顔の向きと同一方向でない場合のアラートの大きさは、前記物体の位置が前記運転者の顔の向きと同一方向である場合のアラートの大きさよりも大きくする（１）から（７）のいずれか１つに記載の情報処理装置。
（９）
前記出力制御部は、低安全度である場合には、前記物体の位置が前記運転者の顔の向きと同一方向であるか否かにかかわらず、前記中安全度である場合で前記物体の位置が前記運転者の顔の向きと同一方向でない場合のアラートよりも大きくする（８）に記載の情報処理装置。
（１０）
前記出力制御部は、前記アラートを出力した後の所定のタイミングで前記アラートの出力を停止する（１）から（９）のいずれか１つに記載の情報処理装置。
（１１）
前記所定のタイミングは、前記運転者の顔の向きが前記物体の方向に向いたこと、前記運転者が前記物体を認識したことを示す音声を発したこと、あるいは運転者によるハンドル又はブレーキの操作が行われたことの判定が前記判定部によってなされたタイミングである（１０）に記載の情報処理装置。
（１２）
前記出力制御部は、前記アラートとして通知音を出力し、前記運転者に対して前記物体の位置の方に音像が位置するように前記通知音を音像定位処理する（１）から（１１）のいずれか１つに記載の情報処理装置。
（１３）
前記判定部は、前記外部情報検出部によって複数の前記物体が検出された場合に、前記移動体に衝突するまでの時間が最も短い物体について、前記物体の位置と前記運転者の顔の向きとが同一方向であるかを判定する（１）から（１２）のいずれか１つに記載の情報処理装置。
（１４）
移動体の外部に存在する物体を検知する外部検知部と、
前記移動体の内部の運転者を検知する内部検知部と、
前記外部検知部によって検知されたデータに基づいて、前記物体を検出する外部情報検出部と、
前記内部検知部によって検知されたデータに基づいて、前記運転者の顔の向きを検出する内部情報検出部と、
前記外部情報検出部で検出された前記物体の位置と、前記内部情報検出部で検出された前記運転者の顔の向きと、が同一方向であるかを判定する判定部と
前記物体の位置が前記運転者の顔の向きと同一方向でない場合の前記運転者へのアラートを、前記物体の位置が前記運転者の顔の向きと同一方向である場合に比して、強くする出力制御部と、
を有する移動体。
（１５）
外部検知部によって検知されたデータに基づいて、移動体の外部に存在する物体を検出し、
内部検知部によって検知されたデータに基づいて、前記移動体の内部の運転者の顔の向きを検出し、
前記物体の位置と、前記運転者の顔の向きと、が同一方向であるかを判定し、
前記物体の位置が前記運転者の顔の向きと同一方向でない場合の前記運転者へのアラートを、前記物体の位置が前記運転者の顔の向きと同一方向である場合に比して、強く出力させる
情報処理方法。
（１６）
コンピュータに、
外部検知部によって検知されたデータに基づいて、移動体の外部に存在する物体を検出するステップと、
内部検知部によって検知されたデータに基づいて、前記移動体の内部の運転者の顔の向きを検出するステップと、
前記物体の位置と、前記運転者の顔の向きと、が同一方向であるかを判定するステップと、
前記物体の位置が前記運転者の顔の向きと同一方向でない場合の前記運転者へのアラートを、前記物体の位置が前記運転者の顔の向きと同一方向である場合に比して、強く出力させるステップと、
を実行させるプログラム。

１００車両制御システム
１０１入力部
１０２データ取得部
１０５出力制御部
１０６出力部
１０７駆動系制御部
１０８駆動系システム
１０９ボディ系制御部
１１０ボディ系システム
１１１記憶部
１１２自動運転制御部
１２１通信ネットワーク
１３１検出部
１３３状況分析部
１３４計画部
１３５動作制御部
１４１車外情報検出部
１４２車内情報検出部
１４３車両状態検出部
１５３状況認識部
１５４状況予測部
１５５判定部
１７１緊急事態回避部
１７２加減速制御部
１７３方向制御部
２１０代表動体
２２２電子ルームミラー
２２４電子サイドミラー
２２６表示装置
５０１０ダッシュボード
５０２０インストルメントパネル
５０３０ＤＭＳ

Claims

外部検知部によって検知されたデータに基づいて、移動体の外部に存在する物体を検出する外部情報検出部と、
内部検知部によって検知されたデータに基づいて、前記移動体の内部の運転者の顔の向きを検出する内部情報検出部と、
前記外部情報検出部で検出された前記物体の位置と、前記内部情報検出部で検出された前記運転者の顔の向きと、が同一方向であるかを判定する判定部と、
前記物体の位置が前記運転者の顔の向きと同一方向でない場合の前記運転者へのアラートを、前記物体の位置が前記運転者の顔の向きと同一方向である場合に比して、強く出力させる出力制御部と、
前記移動体の側面又は後部に設けられる前記外部検知部によって撮像された画像データを表示する表示部と、
を有し、
前記判定部は、前記表示部上での前記運転者の顔の向きを用いて、前記表示部に表示された前記画像データ中の前記物体の位置と、前記運転者の顔の向きと、が同一であるかを判定する
情報処理装置。
前記内部情報検出部は、前記運転者の顔の向きとして前記運転者の視線を検出し、
前記判定部は、前記運転者の視線の位置で、窓越しの視線と前記表示部への視線との区別を判定する請求項１に記載の情報処理装置。
前記内部検知部は、ＴＯＦセンサである請求項１又は２に記載の情報処理装置。
移動体の外部に存在する物体を検知する外部検知部と、
前記移動体の内部の運転者を検知する内部検知部と、
前記外部検知部によって検知されたデータに基づいて、前記物体を検出する外部情報検出部と、
前記内部検知部によって検知されたデータに基づいて、前記運転者の顔の向きを検出する内部情報検出部と、
前記外部情報検出部で検出された前記物体の位置と、前記内部情報検出部で検出された前記運転者の顔の向きと、が同一方向であるかを判定する判定部と
前記物体の位置が前記運転者の顔の向きと同一方向でない場合の前記運転者へのアラートを、前記物体の位置が前記運転者の顔の向きと同一方向である場合に比して、強くする出力制御部と、
前記移動体の側面又は後部に設けられる前記外部検知部によって撮像された画像データを表示する表示部と、
を有し、
前記判定部は、前記表示部上での前記運転者の顔の向きを用いて、前記表示部に表示された前記画像データ中の前記物体の位置と、前記運転者の顔の向きと、が同一であるかを判定する
移動体。
外部検知部によって検知されたデータに基づいて、移動体の外部に存在する物体を検出し、
内部検知部によって検知されたデータに基づいて、前記移動体の内部の運転者の顔の向きを検出し、
前記移動体の側面又は後部に設けられる前記外部検知部によって撮像された画像データを表示部に表示し、
前記物体の位置と、前記運転者の顔の向きと、が同一方向であるかを判定し、
前記物体の位置が前記運転者の顔の向きと同一方向でない場合の前記運転者へのアラートを、前記物体の位置が前記運転者の顔の向きと同一方向である場合に比して、強く出力させ、
前記物体の位置と、前記運転者の顔の向きと、が同一方向であるかを判定する場合には、前記表示部上での前記運転者の顔の向きを用いて、前記表示部に表示された前記画像データ中の前記物体の位置と、前記運転者の顔の向きと、が同一であるかを判定する
情報処理方法。
コンピュータに、
外部検知部によって検知されたデータに基づいて、移動体の外部に存在する物体を検出するステップと、
内部検知部によって検知されたデータに基づいて、前記移動体の内部の運転者の顔の向きを検出するステップと、
前記移動体の側面又は後部に設けられる前記外部検知部によって撮像された画像データを表示部に表示するステップと、
前記物体の位置と、前記運転者の顔の向きと、が同一方向であるかを判定するステップと、
前記物体の位置が前記運転者の顔の向きと同一方向でない場合の前記運転者へのアラートを、前記物体の位置が前記運転者の顔の向きと同一方向である場合に比して、強く出力させるステップと、
を実行させ、
前記物体の位置と、前記運転者の顔の向きと、が同一方向であるかを判定するステップでは、前記表示部上での前記運転者の顔の向きを用いて、前記表示部に表示された前記画像データ中の前記物体の位置と、前記運転者の顔の向きと、が同一であるかを判定する
プログラム。