JP6969094B2 - Voice guidance method and voice guidance device - Google Patents
Voice guidance method and voice guidance device Download PDFInfo
- Publication number
- JP6969094B2 JP6969094B2 JP2016253183A JP2016253183A JP6969094B2 JP 6969094 B2 JP6969094 B2 JP 6969094B2 JP 2016253183 A JP2016253183 A JP 2016253183A JP 2016253183 A JP2016253183 A JP 2016253183A JP 6969094 B2 JP6969094 B2 JP 6969094B2
- Authority
- JP
- Japan
- Prior art keywords
- voice guidance
- discomfort
- driver
- classification
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、音声案内方法及び音声案内装置に関する。 The present invention relates to a voice guidance method and a voice guidance device.
特許文献1には、擬人化されたエージェントを画像と音声により車両内に出現させ、エージェントと運転者とがコミュニケーションを行うエージェント装置が開示されている。エージェント装置は、コミュニケーションを行う場合の会話を構成する音声(音質)を、車両状態や、エージェントに関するユーザの好み等に基づき、音声出力形態決定テーブルを使用して切り替える。
乗員の感覚や好みは、固定的なものではなく状況によって異なるものである。しかし、発生し得る状況を予め全て想定して、これらを網羅するように乗員に適した音声案内を提供することは困難であり、乗員とのスムーズなコミュニケーションができなくなる虞がある。
本発明は、様々な状況下において乗員とのスムーズなコミュニケーションが可能な音声案内を提供することを目的とする。
Crew sensations and preferences are not fixed and vary from situation to situation. However, it is difficult to anticipate all possible situations in advance and provide voice guidance suitable for the occupant so as to cover all of them, and there is a risk that smooth communication with the occupant may not be possible.
An object of the present invention is to provide voice guidance capable of smooth communication with an occupant under various situations.
本発明の一態様に係る音声案内方法では、音声案内に対する乗員の違和感を検出したか否かを判定し、乗員の違和感を検出したと判定した場合、違和感の検出態様に応じて異なる対話を乗員と行う。 In the voice guidance method according to one aspect of the present invention, it is determined whether or not the occupant's discomfort with respect to the voice guidance is detected. And do.
本発明の一態様によれば、様々な状況下において乗員とのスムーズなコミュニケーションが可能な音声案内を提供できる。 According to one aspect of the present invention, it is possible to provide voice guidance capable of smooth communication with an occupant under various situations.
以下において、図面を参照して本発明の実施形態を説明する。なお、以下に示す本発明の実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の材質、形状、構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. It should be noted that the embodiments of the present invention shown below exemplify devices and methods for embodying the technical idea of the present invention, and the technical idea of the present invention describes the materials, shapes, and shapes of constituent parts. The structure, arrangement, etc. are not specified to the following. The technical idea of the present invention may be modified in various ways within the technical scope specified by the claims described in the claims.
(第1実施形態)
(構成)
図1を参照する。車両1は、本発明の一態様に係る音声案内装置である案内装置10と、GPS(Global Positioning System)受信機20と、地図データベース21と、ビーコン受信機22と、通信機23を備える。また、車両1は、車両走行コントローラ40と、運転操作センサ群41と、車両制御アクチュエータ42と、車速センサ43を備える。なお、添付図面においてデータベースを「DB」と表記する。
(First Embodiment)
(composition)
See FIG. The
案内装置10は、経路探索、経路誘導、道路情報、及びその他の情報の音声案内及び表示等を行うナビゲーション装置である。
案内装置10は、運転者等の乗員により入力された目的地と、GPS受信機20を用いて取得した車両1の現在位置と、地図データベース21に記憶される地図データとに基づいて、現在位置から目的地までの車両1の走行経路を探索し、ディスプレイ装置14に表示する。
The
The
また、案内装置10は、探索した走行経路に基づいて車両1を目的地まで音声案内により乗員を誘導する。案内装置10は、例えば「この先しばらく直進です」、「50m先の交差点を左折です」、「次の交差点を左折です」、「まもなく左折です」、「目的地周辺です」などの音声による経路案内を提示する。なお、案内装置10は、乗員に注意を喚起する音声案内、例えば「この先にカーブがあります」、「この先に踏切があります」などの交通案内を提示してもよい。
Further, the
また、案内装置10は、GPS受信機20を用いて取得した車両1の現在位置と、ビーコン受信機22を用いて取得した道路交通情報(例えばVICS(登録商標)(Vehicle Information and Communication)情報)と、地図データベース21に格納された地図データとに基づいて、車両が走行する道路の種別、渋滞の発生状態、規制情報、駐車場情報等の道路情報を取得する。
Further, the
案内装置10は、取得した道路情報をディスプレイ装置14に表示するとともに、音声案内により乗員に提示する。案内装置10は、例えば「およそ10km先、渋滞です」、「およそ5km先、通行止めです」などの音声による交通案内を提示する。緊急情報や注意警戒情報を受信したときは、案内装置10は、例えば「緊急情報を受信しました」、「注意警戒情報を受信しました」などの音声案内を提示する。
The
また、案内装置10は、インターネット等のネットワークや通信回線網を介して車両1の外部のデータサーバと通信し、天気情報を取得し、取得した天気情報をディスプレイ装置14に表示するとともに、音声案内により乗員に提示する。通信機23は、案内装置10をインターネット等のネットワークや通信回線網へ接続する。
案内装置10は、例えば、「ここで天気情報を案内します。今日の天気は晴れ。明日の天気は曇りの予想です。週末は、土曜日から日曜日にかけて雨の予想となっています。」などの音声案内を提示する。
さらに、案内装置10は、インターネット等のネットワークや通信回線網を介して車両1の外部のデータサーバと通信し、特定の地点や施設や領域に関するPOI(Point Of Interest)情報を取得する。POI情報は、例えば建造物や、設備、店舗、会社、事務所、公共施設、娯楽施設、および、屋外施設、観光スポットや景勝地などの地点や地物や領域等の情報であってよい。
Further, the
The
Further, the
車両走行コントローラ40は、運転操作センサ群41が検出した乗員の運転操作に応じて車両の走行制御を行う電子制御ユニットである。車両走行コントローラ40は、プロセッサと、記憶装置等の周辺部品とを含む。プロセッサは、例えばCPU(Central Processing Unit)、やMPU(Micro-Processing Unit)であってよい。
記憶装置は、半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。記憶装置は、レジスタ、キャッシュメモリ、主記憶装置として使用されるROM(Read Only Memory)及びRAM(Random Access Memory)等のメモリを含んでよい。
なお、汎用の半導体集積回路中に設定される機能的な論理回路で車両走行コントローラ40を実現してもよい。例えば、車両走行コントローラ40はフィールド・プログラマブル・ゲート・アレイ(FPGA:Field-Programmable Gate Array)等のプログラマブル・ロジック・デバイス(PLD:Programmable Logic Device)等を有していてもよい。
The
The storage device may include any of a semiconductor storage device, a magnetic storage device, and an optical storage device. The storage device may include a memory such as a register, a cache memory, a ROM (Read Only Memory) and a RAM (Random Access Memory) used as the main storage device.
The
運転操作センサ群41は、アクセル開度センサ44と、ブレーキスイッチ45と、ステアリング操作量センサ46を含む。
アクセル開度センサ44は、運転操作として車両1のアクセル開度を検出し、アクセル開度を示す信号を車両走行コントローラ40へ出力する。例えばアクセル開度センサ44は、車両1のアクセルペダルの踏み込み量をアクセル開度として検出する。
ブレーキスイッチ45は、運転操作として乗員による車両のブレーキ操作の作動状態を検出し、作動状態を示す信号を車両走行コントローラ40へ出力する。例えばブレーキスイッチ45は、乗員がブレーキペダルを踏み込むとオン状態信号を出力し、乗員がブレーキペダルを開放するとオフ状態信号を出力する。
ブレーキスイッチ45は、例えばブレーキ操作の作動状態として車両1のブレーキペダルの踏み込み量を検出し、踏み込み量を示す信号を車両走行コントローラ40へ出力してもよい。
The
The
The
The
ステアリング操作量センサ46は、運転操作として車両1のステアリングホイールの操作量を検出し、検出した操作量を示す信号を車両走行コントローラ40へ出力する。ステアリング操作量センサ46は、ステアリング軸などに設けられる。ステアリング操作量センサ46は、操向輪の転舵角をステアリングホイールの操作量の情報として検出してもよい。
運転操作センサ群41から出力されるこれらのアクセル開度、ブレーキ操作の作動状態、及びステアリングホイールの操作量をそれぞれ示す信号を、総称して「車両信号」と表記することがある。
The steering
Signals indicating the accelerator opening, the operating state of the brake operation, and the operating amount of the steering wheel, which are output from the driving
車両走行コントローラ40は、車両信号に基づいて車両制御アクチュエータを駆動することにより車両1の走行を制御する。車両制御アクチュエータは、例えば、ステアリングアクチュエータと、アクセル開度アクチュエータと、ブレーキ制御アクチュエータを備えてよい。
ステアリングアクチュエータは、車両1のステアリングの操舵方向及び操舵量を制御する。アクセル開度アクチュエータは、車両1のアクセル開度を制御する。ブレーキ制御アクチュエータは、車両1のブレーキ装置の制動動作を制御する。
車速センサ43は、車両1の車輪速を検出し、車輪速に基づいて車両1の速度を算出する。車速センサ43は、算出した車速を示す車速信号を車両走行コントローラ40へ出力する。
The
The steering actuator controls the steering direction and steering amount of the steering of the
The
(案内装置10の構成)
続いて、案内装置10の構成例を説明する。案内装置10は、コントローラ11と、脳波センサ12と、スピーカ13と、ディスプレイ装置14と、マイク15を備える。
コントローラ11は、経路探索、経路誘導、道路情報、及び、その他の情報の音声案内と表示等を行う電子制御ユニットである。コントローラ11は、プロセッサ50と、記憶装置51等の周辺部品を含む。プロセッサ50は、例えばCPUやMPUであってよい。
(Structure of guidance device 10)
Subsequently, a configuration example of the
The controller 11 is an electronic control unit that performs voice guidance and display of route search, route guidance, road information, and other information. The controller 11 includes a
記憶装置51は、半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。記憶装置51は、レジスタ、キャッシュメモリ、主記憶装置として使用されるROM及びRAM等のメモリを含んでよい。
なお、汎用の半導体集積回路中に設定される機能的な論理回路でコントローラ11を実現してもよい。例えば、コントローラ11はフィールド・プログラマブル・ゲート・アレイ等のプログラマブル・ロジック・デバイス等を有していてもよい。
The
The controller 11 may be realized by a functional logic circuit set in a general-purpose semiconductor integrated circuit. For example, the controller 11 may have a programmable logic device such as a field programmable gate array.
記憶装置51には、プロセッサ50上で実行されてコントローラ11に経路探索、経路誘導、道路情報、及びその他の情報の音声案内及び表示等の処理を実行させるためのコンピュータプログラムが記憶される。
また、記憶装置51には、違和感データベース52及び案内データベース53が記憶される。
違和感データベース52には、乗員の違和感を検出するために使用される脳波パターンが記憶される。
案内データベース53には、案内装置10による音声案内処理に用いられる音声波形データが登録された音声波形辞書が記憶される。
The
Further, the
The
The
脳波センサ12は、乗員の生理指標として乗員の脳波を検出するセンサである。脳波センサ12は、検出した乗員の脳波に関する情報をコントローラ11へ出力する。コントローラ11は、脳波センサ12により検出された脳波の情報を受信する。コントローラ11は、脳波センサ12が検出した脳波に基づいて乗員の違和感を検出する。
The
図2を参照する。脳波センサ12は、車両の運転中に乗員の脳波信号をリアルタイムで測定する。脳波センサ12は複数の電極を有し、複数の電極が乗員の頭部に取り付けられる。脳波センサ12の複数の電極は、例えば、国際10−20法に準拠し、認知機能に関わる乗員の頭頂部Fz,Fcz,Cz,CPzに配置される。脳波センサ12が有する複数の電極の頭部への取り付け方法は特に限定されないが、例えば乗員の頭部に配置しやすいように装着型の電極帽子で構成されていてもよい。
See FIG. The
図1を参照する。コントローラ11は、リアルタイムで測定された現在の乗員の脳波のパターンを、違和感データベース52に記憶された予め測定された脳波パターンに照合することにより、現在の乗員の違和感の有無(乗員が違和感を覚えているか否か)を判定する。
マイク15は、乗員が発生した音声などを含んだ車室内の音声を電気的な音声信号に変換して、コントローラ11に出力する。マイク15は、案内装置10による音声案内において、案内装置10と対話する乗員の応答音声を採取するために使用される。
See FIG. The controller 11 collates the current occupant's brain wave pattern measured in real time with the pre-measured brain wave pattern stored in the
The
コントローラ11の機能構成例を図3に示す。コントローラ11は、違和感検出部60と、音声案内調整部61と、音声認識部62の機能を実現する。例えばコントローラ11は、記憶装置51に格納されたコンピュータプログラムをプロセッサ50で実行することにより違和感検出部60と、音声案内調整部61と、音声認識部62の機能を実現してよい。
An example of the functional configuration of the controller 11 is shown in FIG. The controller 11 realizes the functions of the
違和感データベース52には、例えば、乗員が違和感を覚えないイベントを発生させたときの乗員の脳波の電位と、違和感を覚えるようなイベントを発生させたときの脳波の電位の各々の特徴ベクトルPを、特徴空間にプロットした特徴空間マップを記憶してよい。
特徴ベクトルPは、例えば図4に示すように所定時間T(例えば500ミリ秒)の脳波信号からN個の特徴量p1,p2,…,pNを抽出し、これらを特徴ベクトルP=(p1,p2,…,pN)に変換することにより生成してよい。特徴量は、例えば一定の等間隔でサンプリングした値等を使用可能である。
図5に、特徴空間マップ80の一例を示す。ハッチングされた丸形のプロット点P1は、乗員が違和感を覚えているときの特徴ベクトルを示し、ハッチングされていない丸形のプロット点P2は、乗員が違和感を覚えていないときの特徴ベクトルを示す。
In the
For the feature vector P, for example, as shown in FIG. 4, N feature quantities p1, p2, ..., PN are extracted from the electroencephalogram signal at a predetermined time T (for example, 500 milliseconds), and these are used as the feature vector P = (p1, p1, p1,). It may be generated by converting to p2, ..., PN). As the feature amount, for example, a value sampled at regular intervals can be used.
FIG. 5 shows an example of the
乗員が違和感を覚えているときの特徴ベクトルP1は、特徴空間内の一定の領域に集中する傾向がある。また、乗員が違和感を覚えていないときの特徴ベクトルP2も同様に一定の領域に集中する傾向がある。
図5の例では、乗員が違和感を覚えているときの特徴ベクトルP1は、比較的左上の領域D1に集中しており、乗員が違和感を覚えていないときの特徴ベクトルP2は、比較的右下の領域D2に集中している。
The feature vector P1 when the occupant feels uncomfortable tends to concentrate in a certain area in the feature space. Further, the feature vector P2 when the occupant does not feel uncomfortable also tends to concentrate in a certain area as well.
In the example of FIG. 5, the feature vector P1 when the occupant feels uncomfortable is relatively concentrated in the upper left region D1, and the feature vector P2 when the occupant does not feel uncomfortable is relatively lower right. It is concentrated in the area D2 of.
このような乗員が違和感を覚えているときの特徴ベクトルP1及び乗員が違和感を覚えていないときの特徴ベクトルP2を特徴空間上にプロットして特徴空間マップ80を作成することにより、特徴ベクトルP1が取り得る範囲と、特徴ベクトルP2が取り得る範囲を区分する判別平面81を設定することができる。判別平面81は、例えば線形判別法を用いて設定することができる。
図5の例では、乗員の現在の脳波の特徴ベクトルPcが判別平面81よりも上に位置すれば、違和感検出部60は、乗員が違和感を覚えている、すなわち乗員の違和感を検出したと判定する。
乗員の現在の脳波の特徴ベクトルPcが判別平面81よりも下に位置すれば、違和感検出部60は、乗員が違和感を覚えていない、すなわち乗員の違和感を検出していないと判定する。違和感検出部60は、判定結果を音声案内調整部61へ出力する。
By plotting the feature vector P1 when the occupant feels uncomfortable and the feature vector P2 when the occupant does not feel uncomfortable on the feature space to create the
In the example of FIG. 5, if the feature vector Pc of the current brain wave of the occupant is located above the
If the occupant's current EEG feature vector Pc is located below the
図3を参照する。音声案内調整部61は、経路案内、交通案内、天気情報、POI情報などを音声で案内する音声案内を生成してスピーカ13から出力する。
また、音声案内調整部61は、音声案内に対する乗員の違和感を違和感検出部60が検出した場合に、乗員との対話により音声案内の適否を乗員に確認する。
音声案内調整部61は、内容設定部63と、案内情報取得部64と、検出態様判定部65と、対話処理部66と、提示方法設定部67を備える。
See FIG. The voice
Further, when the
The voice
内容設定部63は、音声案内の内容を設定する。音声案内の「内容」とは、音声案内の情報自体、すなわちコンテンツを意味するほか、音声案内の情報を表現するために使用される文言、すなわち言い回しやワーディングを意味する。以下、単に「音声案内の言い回し」と表記する。
例えば、音声案内のコンテンツが車両前方のT字路を左折することを案内する経路案内の場合を例に説明する。この場合、同じコンテンツに対して「次の交差点を左折です」、「次のT字路を左です」、「道なりに左です」などの複数の言い回しが存在する。
The
For example, a route guidance that guides the content of the voice guidance to turn left at the T-junction in front of the vehicle will be described as an example. In this case, there are multiple phrases such as "Turn left at the next intersection", "Turn left at the next T-junction", and "Left along the road" for the same content.
内容設定部63は、GPS受信機20を用いて車両1の現在位置と地図データベース21に記憶される地図データとに基づいて車両1を目的地まで誘導する音声案内のためのテキストを生成する。
また、内容設定部63は、GPS受信機20を用いて取得した車両1の現在位置と、ビーコン受信機22を用いて取得した道路交通情報に基づいて交通案内のためのテキストを生成する。
The
Further, the
また、内容設定部63は、外部のデータサーバから取得した天気情報やPOI情報を音声案内するためのテキストを生成する。案内情報取得部64は、これら天気情報やPOI情報を車両1の外部のデータサーバから取得する。
内容設定部63は、案内データベース53に記憶された音声波形辞書に基づいて、これら生成したテキストを音声データに変換することにより、音声案内用の音声データを生成する。
In addition, the
The
生成された音声データがスピーカ13から出力された時に、違和感検出部60は、音声案内に対する乗員の違和感を検出したか否かを判定する。
音声案内に対する乗員の違和感を検出したと判定された場合、検出態様判定部65は、音声案内に対する乗員の違和感の検出態様を判定する。
When the generated voice data is output from the
When it is determined that the occupant's discomfort with respect to the voice guidance is detected, the detection
例えば、検出態様判定部65は、違和感の検出態様として、違和感検出時に音声案内が十分に完結していたか否かを判定してよい。ここで「音声案内が十分に完結していた」とは、音声案内が完了していた場合を含むほか、例えば完了直前のように、音声案内の途中であっても音声案内の全ての内容が理解できる場合や、おおよそ見当がつく場合を含んでよい。
また例えば、違和感検出時に音声案内が十分に完結していない場合に、検出態様判定部65は、違和感の検出態様として、音声案内の途中で違和感が検出されたのか、音声案内の開始直後に違和感が検出されたのかを判定してよい。
For example, the detection
Further, for example, when the voice guidance is not sufficiently completed at the time of detecting the discomfort, the detection
例えば、検出態様判定部65は、音声案内を開始してから違和感を検出するまでに出力された音声案内に意味づけ可能であるか否かに応じて、音声案内の途中で違和感が検出されたのか、音声案内の開始直後に違和感が検出されたのかを判定してよい。
すなわち、検出態様判定部65は、音声案内を開始してから違和感を検出するまでに出力された音声案内に意味づけ可能である場合に、音声案内の途中で違和感が検出されたと判定してよい。また、検出態様判定部65は、音声案内を開始してから違和感を検出するまでに出力された音声案内に意味づけ不可能である場合に、音声案内の開始直後に違和感が検出されたと判定してよい。
For example, the detection
That is, the detection
例えば、出力された音声案内が文章として完結している、主語と述語を含んでいる、特徴的な固有名詞が含まれている場合に、検出態様判定部65は音声案内に意味づけ可能であると判定してよい。
また例えば、出力された音声案内の文章が途中で途切れている、特徴的な名詞が含まれていない、品詞が完結していない場合に、検出態様判定部65は音声案内に意味づけ不可能であると判定してよい。
例えば検出態様判定部65は、音声案内を開始してから違和感を検出するまでに出力された音声案内に含まれる固有名詞の数が、閾値THより大きい場合に意味づけ可能であると判定してよい。固有名詞の数が、閾値TH以下の場合に意味づけ不可能であると判定してよい。
For example, when the output voice guidance is completed as a sentence, contains a subject and a predicate, and contains a characteristic proper noun, the detection
Further, for example, when the output voice guidance sentence is interrupted in the middle, a characteristic noun is not included, or the part of speech is not completed, the detection
For example, the detection
例えば、内容設定部63により設定された案内内容に品詞等のラベリングがされている場合、検出態様判定部65は、ラベルを使用して名詞を検出してよい。内容設定部63に設定された案内内容がラベリングされていない場合、例えば検出態様判定部65は、自然言語理解処理技術で用いられている形態素解析を行って、案内内容の文章に含まれる語の品詞を判定してよい。
For example, when the guidance content set by the
乗員の違和感を検出したと判定した場合、対話処理部66は、音声案内の適否を乗員に確認するための対話処理を行う。
例えば対話処理部66は、音声案内が適切であるか否かを乗員に問い合わせる質問の質問音声をスピーカ13から出力する。
また例えば対話処理部66は、スピーカ13から出力された質問音声に対する乗員の応答を取得する。
When it is determined that the occupant's discomfort is detected, the
For example, the
Further, for example, the
スピーカ13から出力された質問音声に対する乗員の応答音声は、マイク15により採取されて電気的な音声信号に変換された後、音声認識部62に入力される。音声認識部62は、入力された音声信号に対して音声認識処理を行いテキストデータに変換して対話処理部66へ入力する。
対話処理部66は、応答音声のテキストデータに基づいて、質問音声に対する乗員の応答結果を判定してよい。
The occupant's response voice to the question voice output from the
The
対話処理部66は、違和感の検出態様に応じて異なる対話を乗員と行う。
例えば、違和感検出時に音声案内が十分に完結しておらず、且つ、違和感の検出が音声案内の開始直後でなく音声案内の途中である場合(すなわち音声案内開始から違和感検出までに出力された音声案内に意味づけ可能である場合)に、対話処理部66は、音声案内の言い回しに対して違和感を覚えたと判定する。
The
For example, when the voice guidance is not sufficiently completed at the time of detecting the discomfort, and the detection of the discomfort is not immediately after the start of the voice guidance but in the middle of the voice guidance (that is, the voice output from the start of the voice guidance to the detection of the discomfort). (When the guidance can be meaningful), the
この場合に対話処理部66は、単純に「大丈夫ですか?」等の聞き返しの質問音声を出力するか、直前に出力した単語を繰り返して「○○でよろしいですか?」等の質問音声を出力することにより、音声案内の言い回しの適否を確認する対話を行う。
対話処理部66は、音声案内の言い回しの適否を確認する質問音声に対する乗員の応答結果を判定する。
音声案内の言い回しが適切でないと対話処理部66が判定した場合(例えば応答音声が「No(いいえ)」等の場合)、内容設定部63は、音声案内の言い回しを変更する。
In this case, the
The
When the
例えば内容設定部63は、案内データベース53に記憶された複数の言い回しの中から、今回使用した言い回し以外の言い回しを抽出して、音声案内に使用してよい。
例えば、内容設定部63は、一般的な使用頻度が多い順に優先順位を設定しておき、優先順位が高い順序で言い回しを変更してよい。
For example, the
For example, the
また、内容設定部63は、言い回しを変更する度に、変更後の言い回しを出力し直してもよい。対話処理部66は、変更後の言い回しを出力する度に、音声案内の言い回しの適否を確認する質問音声を出力して、質問音声に対する乗員の応答結果を判定してもよい。内容設定部63は、音声案内の言い回しが適切だと対話処理部66が判定する(例えば応答音声が「Yes(はい)」等となる)まで言い回しを変えながら出力してもよい。
Further, the
また、違和感検出時に音声案内が十分に完結しておらず、且つ、違和感の検出が音声案内の開始直後の場合(すなわち音声案内開始から違和感検出までに出力された音声案内に意味づけできない場合)に、対話処理部66は、音声案内の提示方法に対して違和感を覚えたと判定する。
この場合に対話処理部66は、「音声が聞こえていますか?」、「音声はクリアですか?」、「話速は適切ですか?」、「音の高さは適切ですか」等の質問音声を出力することにより、音声案内の提示方法の適否を確認する対話を行う。
音声案内の「提示方法」とは、例えば、ノイズフィルタの適用の有無や強度、音声の音量、音声の音程(すなわち高さ)、話速、ピッチ、イントネーション、音声パターンを意味する。ここで、音声パターンとは音声案内の音質を意味し、例えば、声質とは、男性的な声、女性的な声、若者の声、中年の声、年配の声を含んでよい。
In addition, when the voice guidance is not sufficiently completed at the time of detecting the discomfort, and the detection of the discomfort is immediately after the start of the voice guidance (that is, when the voice guidance output from the start of the voice guidance to the detection of the discomfort cannot be meaningful). In addition, the
In this case, the
The "presentation method" of voice guidance means, for example, whether or not a noise filter is applied and its strength, voice volume, voice pitch (that is, pitch), speaking speed, pitch, intonation, and voice pattern. Here, the voice pattern means the sound quality of voice guidance, and for example, the voice quality may include a masculine voice, a feminine voice, a young voice, a middle-aged voice, and an elderly voice.
対話処理部66は、音声案内の提示方法の適否を確認する質問音声に対する乗員の応答結果を判定する。
音声案内の提示方法が適切でないと対話処理部66が判定した場合(例えば応答音声が「No(いいえ)」等の場合)、提示方法設定部67は音声案内の提示方法を変更する。
例えば、対話処理部66は、音声案内の提示方法を「ノイズフィルタの適用」、「音量」、「音程」、「話速」及び「音声パターン」等の複数の分類に分類分けし、それぞれの分類毎に提示方法が適切であるか否かを確認する質問音声をスピーカ13から出力してよい。提示方法設定部67は、適切でないと乗員が応答した分類の提示方法を変更してよい。
The
When the
For example, the
例えば、対話処理部66は、第1の分類(例えば「ノイズフィルタの適用」)について適切であるか否かを確認する質問音声を出力し、質問音声に対する乗員の応答結果を判定する。第1の分類の提示方法が適切でないと対話処理部66が判定した場合(例えば応答音声が「No(いいえ)」等の場合)、提示方法設定部67は、第1の分類の提示方法を変更する。
対話処理部66は、提示方法を変えて音声案内を出力する度に、音声案内の提示方法の適否を確認する質問音声を出力して、質問音声に対する乗員の応答結果を判定する。
内容設定部63は、第1の分類の提示方法が適切だと対話処理部66が判定する(例えば応答音声が「Yes(はい)」等となる)まで、提示方法を変えながら音声案内を出力する。
For example, the
Each time the
The
対話処理部66は、第1の分類の提示方法の変更が終了した後、又は初めから第1の分類の提示方法が適切だと対話処理部66が判定した場合、次の第2の分類(例えば「音量」)についても同様に、提示方法が適切であるか否かを乗員に確認する。提示方法設定部67は、提示方法が適切になるまで提示方法を変更する。
以下、第3の分類(例えば「音程」)以降のそれぞれの分類についても同様に、提示方法が適切であるか否かを乗員に確認する。提示方法設定部67は、提示方法が適切になるまで提示方法を変更する。
なお、提示方法の適否を確認する分類の順序は、例えば音声案内の聞きやすさへの影響が大きい順に(例えば、「ノイズフィルタの適用の有無や強度」、「音量」、「音程」、「話速」、「イントネーション」の順)に設定されていてよい。
When the
Hereinafter, for each of the classifications after the third classification (for example, "pitch"), the occupant is similarly confirmed whether or not the presentation method is appropriate. The presentation
The order of classification for confirming the suitability of the presentation method is, for example, in descending order of influence on the audibility of voice guidance (for example, "whether or not noise filter is applied and strength", "volume", "pitch", "pitch". It may be set in the order of "speaking speed" and "intonation").
また、違和感検出時に音声案内が十分に完結していた場合に、対話処理部66は、音声案内のコンテンツに対して違和感を覚えたと判定する。
この場合に対話処理部66は、「いまの内容に興味ありますか?」や「いまの案内は必要でしたか?」等の質問音声を出力することにより、音声案内の提示内容に興味があるか否かを確認する対話を行う。
Further, when the voice guidance is sufficiently completed at the time of detecting the discomfort, the
In this case, the
対話処理部66は、提示内容への興味の有無を確認する質問音声に対する乗員の応答結果を判定する。
提示内容に興味が無いと対話処理部66が判定した場合(例えば応答音声が「No(いいえ)」等の場合)、内容設定部63は、次回の音声案内の時に提示するコンテンツを変更する。
このように、案内装置10は、乗員に対して一方的に情報を提供するだけでなく、音声対話により乗員の応答を確認しながら、乗員とのスムーズなコミュニケーションが可能である。
The
When the
In this way, the
(動作)
次に、図6を参照を参照して第1実施形態に係る音声案内方法の一例を説明する。
ステップS1において音声案内調整部61は、音声案内を開始する。
ステップS2において違和感検出部60は、音声案内の方法を変える必要があるか否かを判断するために、ステップS1で開始した音声案内に対する乗員の違和感を検出したか否かを判定する。違和感を検出した場合(ステップS2:Y)に処理はステップS3へ進む。違和感を検出しない場合(ステップS2:N)には、音声案内の方法を変えるための以降の処理を実行することなく音声案内を完了させ、処理は終了する。
(motion)
Next, an example of the voice guidance method according to the first embodiment will be described with reference to FIG.
In step S1, the voice
In step S2, the
ステップS3において検出態様判定部65は、音声案内に対する違和感の要因を判断するために、違和感の検出態様を判定する検出態様判定処理を実行する。
図7を参照して、検出態様判定処理の一例を説明する。
ステップS10において検出態様判定部65は、違和感の検出態様として、違和感検出時に音声案内が十分に完結していたか否かを判定する。乗員が音声内容のコンテンツを十分に理解し、コンテンツに違和感を覚えたか否かを判断するためである。
In step S3, the detection
An example of the detection mode determination process will be described with reference to FIG. 7.
In step S10, the detection
音声案内が十分に完結していた場合(ステップS10:Y)に処理はステップS11へ進む。音声案内が十分に完結していない場合(ステップS10:N)には処理はステップS12へ進む。 When the voice guidance is sufficiently completed (step S10: Y), the process proceeds to step S11. If the voice guidance is not sufficiently completed (step S10: N), the process proceeds to step S12.
ステップS11において検出態様判定部65は、音声案内が十分に完結していた判定する。その後に検出態様判定処理は終了する。
ステップS12において検出態様判定部65は、音声案内を開始してから違和感を検出するまでに出力された音声案内の文章を品詞に分解する。検出態様判定部65は、音声案内を開始してから違和感を検出するまでに出力された音声案内に含まれる固有名詞の数を判断する。音声案内を開始してから違和感を検出するまでに出力された音声案内に意味づけ可能であるか否かに応じて、音声案内の言い回しに対して乗員が違和感を覚えたのか、それとも音声案内の提示方法に違和感を覚えたのかを判断するためである。
In step S11, the detection
In step S12, the detection
ステップS13において検出態様判定部65は、音声案内を開始してから違和感を検出するまでに出力された音声案内に含まれる固有名詞の数が閾値THより大きいか否かを判断する。固有名詞の数が閾値THより大きい場合(ステップS13:Y)に処理はステップS14へ進む。固有名詞の数が閾値TH以下の場合(ステップS13:N)には処理はステップS15へ進む。
In step S13, the detection
ステップS14において検出態様判定部65は、音声案内を開始してから違和感を検出するまでに出力された音声案内に意味づけ可能であると判定する。その後に検出態様判定処理は終了する。
ステップS15において検出態様判定部65は、音声案内を開始してから違和感を検出するまでに出力された音声案内に意味づけ不可能であると判定する。その後に検出態様判定処理は終了する。
In step S14, the detection
In step S15, the detection
図6を参照する。検出態様判定処理(S3)の終了後に処理はステップS4へ進む。ステップS4において対話処理部66は、検出態様判定部65の判定結果に基づいて、違和感検出時に音声案内が十分に完結していたか否かを判定する。
音声案内が十分に完結していた場合(ステップS4:Y)に、音声案内のコンテンツに違和感を覚えたと対話処理部66は判断し、処理はステップS8のコンテンツ変更処理へ進む。
音声案内が十分に完結していない場合(ステップS4:N)には、音声案内の提示方法又は言い回しのいずれに違和感を覚えたのか判断するために処理はステップS5へ進む。
See FIG. After the detection mode determination process (S3) is completed, the process proceeds to step S4. In step S4, the
When the voice guidance is sufficiently completed (step S4: Y), the
If the voice guidance is not sufficiently completed (step S4: N), the process proceeds to step S5 in order to determine whether the voice guidance presentation method or the wording feels uncomfortable.
ステップS5において対話処理部66は、検出態様判定部65の判定結果に基づいて、音声案内を開始してから違和感を検出するまでに出力された音声案内に意味づけ可能であるか否かを判定する。
意味づけ不可能の場合(ステップS5:N)に音声案内の提示方法に違和感を覚えたと対話処理部66は判断し、処理はステップS6の提示方法変更処理へ進む。意味づけ可能の場合(ステップS5:Y)に音声案内の言い回しに違和感を覚えたと対話処理部66は判断し、処理はステップS7の言い回し変更処理へ進む。
In step S5, the
When the meaning is impossible (step S5: N), the
ステップS6において対話処理部66と提示方法設定部67は、音声案内の提示方法に対する乗員の違和感を解消するため、音声案内の提示方法を変更する提示方法変更処理を実行する。
図8を参照して、提示方法変更処理を説明する。
ステップS20において対話処理部66は、提示方法の第1の分類であるノイズフィルタの適用の有無や強度の適否を乗員に確認するため、これらの適否を確認する質問音声を出力する。対話処理部66は、質問音声に対する乗員の応答を取得する。
In step S6, the
The presentation method change process will be described with reference to FIG.
In step S20, the
ステップS21において対話処理部66は、乗員の応答が「Yes(はい)」等であるか否か、すなわちノイズフィルタの適用の有無や強度が適切であるか否かを判定する。
乗員の応答が「Yes(はい)」等である場合(ステップS21:Y)に、提示方法の第2の分類である「音量」の適否を確認するステップS23へ進む。
乗員の応答が「No(いいえ)」等である場合(ステップS21:N)には処理はステップS22へ進む。ステップS22において提示方法設定部67は、適用するノイズフィルタの種類や強度を変更する。その後に処理はステップS20へ戻る。
In step S21, the
When the response of the occupant is "Yes" or the like (step S21: Y), the process proceeds to step S23 for confirming the suitability of "volume", which is the second category of the presentation method.
If the occupant's response is "No" or the like (step S21: N), the process proceeds to step S22. In step S22, the presentation
ステップS23において対話処理部66は、提示方法の第2の分類である音声案内の音量の適否を乗員に確認するため、その適否を確認する質問音声を出力する。対話処理部66は、質問音声に対する乗員の応答を取得する。
ステップS24において対話処理部66は、乗員の応答が「Yes(はい)」等であるか否か、すなわち音量が適切であるか否かを判定する。
In step S23, the
In step S24, the
乗員の応答が「Yes(はい)」等である場合(ステップS24:Y)に提示方法の第3の分類である「音程」の適否を確認するステップS26へ進む。
乗員の応答が「No(いいえ)」等である場合(ステップS24:N)には処理はステップS25へ進む。ステップS25において提示方法設定部67は音声案内の音量を変更する。その後に処理はステップS23へ戻る。
When the response of the occupant is "Yes" or the like (step S24: Y), the process proceeds to step S26 for confirming the suitability of "pitch", which is the third classification of the presentation method.
If the occupant's response is "No" or the like (step S24: N), the process proceeds to step S25. In step S25, the presentation
ステップS26において対話処理部66は、提示方法の第3の分類である音声案内の音程の適否を乗員に確認するため、その適否を確認する質問音声を出力する。対話処理部66は、質問音声に対する乗員の応答を取得する。
ステップS27において対話処理部66は、乗員の応答が「Yes(はい)」等であるか否か、すなわち音程が適切であるか否かを判定する。
In step S26, the
In step S27, the
乗員の応答が「Yes(はい)」等である場合(ステップS27:Y)に処理は提示方法の第4の分類である「話速」の適否を確認するステップS29へ進む。
乗員の応答が「No(いいえ)」等である場合(ステップS27:N)には処理はステップS28へ進む。ステップS28において提示方法設定部67は、音声案内の音程を変更する。その後に処理はステップSへ戻る。
When the occupant's response is "Yes" or the like (step S27: Y), the process proceeds to step S29 for confirming the suitability of "speaking speed", which is the fourth classification of the presentation method.
If the occupant's response is "No" or the like (step S27: N), the process proceeds to step S28. In step S28, the presentation
ステップS29において対話処理部66は、提示方法の第4の分類である音声案内の話速の適否を乗員に確認するため、その適否を確認する質問音声を出力する。対話処理部66は、質問音声に対する乗員の応答を取得する。
ステップS30において対話処理部66は、乗員の応答が「Yes(はい)」等であるか否か、すなわち話速が適切であるか否かを判定する。
In step S29, the
In step S30, the
乗員の応答が「Yes(はい)」等である場合(ステップS30:Y)に処理は提示方法の第5の分類である「声の好み」を確認するステップS32へ進む。
乗員の応答が「No(いいえ)」等である場合(ステップS30:N)には処理はステップS31へ進む。ステップS31において提示方法設定部67は、話速を変更する。その後に処理はステップS29へ戻る。
When the occupant's response is "Yes" or the like (step S30: Y), the process proceeds to step S32 for confirming "voice preference", which is the fifth classification of the presentation method.
If the occupant's response is "No" or the like (step S30: N), the process proceeds to step S31. In step S31, the presentation
ステップS32において対話処理部66は、提示方法の第5の分類である声の好みを乗員に確認するため、その適否を確認する質問音声を出力する。対話処理部66は、質問音声に対する乗員の応答を取得する。
ステップS30において対話処理部66は、乗員の応答が「Yes(はい)」等であるか否か、すなわち音声案内の声が乗員の好みに適合しているか否かを判定する。
In step S32, the
In step S30, the
乗員の応答が「Yes(はい)」等である場合(ステップS33:Y)に処理を終了する。
乗員の応答が「No(いいえ)」等である場合(ステップS33:N)には処理はステップS34へ進む。ステップS34において提示方法設定部67は音声案内の音声パターンを変更する、その後に処理はステップS32へ戻る。
The process ends when the occupant's response is "Yes" or the like (step S33: Y).
If the occupant's response is "No" or the like (step S33: N), the process proceeds to step S34. In step S34, the presentation
図6を参照する。ステップS7において対話処理部66と内容設定部63は、音声案内の言い回しに対する乗員の違和感を解消するため、音声案内の言い回しを変更する言い回し変更処理を実行する。
図9を参照して、言い回し変更処理を説明する。
ステップS40において対話処理部66は、音声案内の言い回しの適否を乗員に確認するため、その適否を確認する質問音声を出力する。対話処理部66は、質問音声に対する乗員の応答を取得する。
See FIG. In step S7, the
The wording change process will be described with reference to FIG.
In step S40, the
ステップS41において対話処理部66は、乗員の応答が「Yes(はい)」等であるか否か、すなわち言い回しが適切であるか否かを判定する。
乗員の応答が「Yes(はい)」等である場合(ステップS41:Y)に、言い回しを変更することなく処理を終了する。乗員の応答が「No(いいえ)」等である場合(ステップS41:N)には処理はステップS42へ進む。
In step S41, the
When the occupant's response is "Yes" or the like (step S41: Y), the process ends without changing the wording. If the occupant's response is "No" or the like (step S41: N), the process proceeds to step S42.
ステップS42において内容設定部63は、音声案内の言い回しに対する違和感を解消すべく、音声案内の言い回しを変更する。
例えば内容設定部63は、案内データベース53に記憶された複数の言い回しの中から、今回使用した言い回し以外の言い回しを抽出して、音声案内に使用する言い回しとして選択する。その後に処理は終了する。
In step S42, the
For example, the
図6を参照する。ステップS8において対話処理部66と内容設定部63は、音声案内のコンテンツに対する乗員の違和感を解消するため、音声案内のコンテンツを変更するコンテンツ変更処理を実行する。
図10を参照して、コンテンツ変更処理を説明する。
ステップS50において対話処理部66は、音声案内のコンテンツの適否を乗員に確認するため、その適否を確認する質問音声を出力する。対話処理部66は、質問音声に対する乗員の応答を取得する。
See FIG. In step S8, the
The content change process will be described with reference to FIG.
In step S50, the
ステップS51において対話処理部66は、乗員の応答が「Yes(はい)」等であるか否か、すなわちコンテンツが適切であるか否かを判定する。
乗員の応答が「Yes(はい)」等である場合(ステップS51:Y)に、次回提示するコンテンツの分類を変更することなく処理は終了する。
In step S51, the
When the occupant's response is "Yes" or the like (step S51: Y), the process ends without changing the classification of the content to be presented next time.
乗員の応答が「No(いいえ)」等である場合(ステップS51:N)には処理はステップS52へ進む。
ステップS52において内容設定部63は、次回提示するコンテンツの分類を変更する。その後に処理は終了する。
If the occupant's response is "No" or the like (step S51: N), the process proceeds to step S52.
In step S52, the
(第1実施形態の効果)
(1)音声案内調整部61は、スピーカから音声案内を出力する処理を実行する。違和感検出部60は、音声案内に対する乗員の違和感を検出したか否かを判定する処理を実行する。乗員の違和感を検出したと判定した場合、対話処理部66は、違和感の検出態様に応じて異なる対話を乗員と行う。
これにより、案内装置10は、乗員に対して一方的に情報を提供するだけでなく、違和感の検出態様に応じて対話を変えることができるので、乗員とのスムーズなコミュニケーションが可能になる。
(Effect of the first embodiment)
(1) The voice
As a result, the
(2)対話処理部66は、違和感の検出態様に応じて音声案内の適否を確認する対話を行う。
これにより、案内装置10は、乗員に対して一方的に情報を提供するだけでなく、対話により乗員の応答を確認しながら音声案内の適否を確認することができるので、乗員とのスムーズなコミュニケーションが可能になる。
(2) The
As a result, the
(3)違和感の検出が音声案内の開始直後の場合、例えば音声案内開始から違和感検出までに出力された音声案内に意味づけできない場合には、乗員が音声案内の提示方法に違和感を覚えている可能性が高い。
そこで、音声案内の開始直後に違和感を検出した場合に、対話処理部66は、音声案内の提示方法の適否を乗員に確認する対話を行う。提示方法設定部67は、対話の結果に応じて音声案内の提示方法を変更する。
これにより、音声案内の提示方法に違和感を覚えている可能性が高い状況で、音声案内の提示方法を変更することができる。
(3) If the detection of discomfort is immediately after the start of voice guidance, for example, if the voice guidance output from the start of voice guidance to the detection of discomfort cannot be meaningful, the occupant feels discomfort in the method of presenting the voice guidance. Probability is high.
Therefore, when a sense of incongruity is detected immediately after the start of the voice guidance, the
This makes it possible to change the method of presenting the voice guidance in a situation where there is a high possibility that the method of presenting the voice guidance feels uncomfortable.
(4)音声案内の提示方法は、ノイズフィルタの適用の有無や強度、音声の音量、音声の音程(すなわち高さ)、話速、ピッチ、イントネーション、音声パターン等、様々な要素から成り立っている。
そこで、対話処理部66は、提示方法を要素毎に分類分けし、音声案内の提示方法の適否を確認する対話を提示方法の分類毎に行う。提示方法設定部67は、不適切であると乗員が応答した分類の提示方法を変更する。
これにより、乗員が違和感を覚えていない要素については変更することなく、乗員が違和感を覚えない適切な提示方法の組み合わせを決定することが可能となる。
(4) The method of presenting voice guidance consists of various elements such as whether or not a noise filter is applied and its strength, voice volume, voice pitch (that is, pitch), speaking speed, pitch, intonation, voice pattern, and the like. ..
Therefore, the
This makes it possible to determine an appropriate combination of presentation methods that the occupant does not feel uncomfortable without changing the elements that the occupant does not feel uncomfortable with.
(5)違和感の検出が音声案内の途中の場合、例えば音声案内開始から違和感検出までに出力された音声案内に意味づけできる場合には、乗員が、言い回しなどの音声案内の内容に違和感を覚えている可能性が高い。
そこで、音声案内の途中で違和感を検出した場合に、対話処理部66は、音声案内を開始してから違和感を検出するまでの間に行われた音声案内の内容の適否を確認する対話を行う。
これにより、音声案内の内容に違和感を覚えている可能性が高い状況で、音声案内の内容を変更することができる。
(5) If the detection of discomfort is in the middle of voice guidance, for example, if the voice guidance output from the start of voice guidance to the detection of discomfort can be meaningful, the occupant feels discomfort in the content of the voice guidance such as wording. There is a high possibility that it is.
Therefore, when a discomfort is detected in the middle of the voice guidance, the
As a result, the content of the voice guidance can be changed in a situation where there is a high possibility that the content of the voice guidance feels strange.
(6)音声案内が十分完結した後に違和感を検出した場合には、乗員が、コンテンツなどの音声案内の内容に違和感を覚えている可能性が高い。
そこで、音声案内が完結した後に違和感を検出した場合に、対話処理部66は、乗員が音声案内の内容に興味があるか否かを確認する対話を行う。
これにより、音声案内の内容に違和感を覚えている可能性が高い状況で、音声案内の内容を変更することができる。
(7)乗員が音声案内の内容に興味がないと判定した場合に、内容設定部63は、出力する音声案内の内容の分類を変更する。
音声案内の内容の分類を変更することで、音声案内の内容に対する乗員の違和感を解消することができる。
(6) If a sense of discomfort is detected after the voice guidance is sufficiently completed, it is highly possible that the occupant feels a sense of discomfort in the content of the voice guidance such as the content.
Therefore, when a sense of incongruity is detected after the voice guidance is completed, the
As a result, the content of the voice guidance can be changed in a situation where there is a high possibility that the content of the voice guidance feels strange.
(7) When it is determined that the occupant is not interested in the content of the voice guidance, the
By changing the classification of the contents of the voice guidance, it is possible to eliminate the discomfort of the occupants with respect to the contents of the voice guidance.
(変形例)
(1)上記の検出態様判定処理において検出態様判定部65は、違和感の検出態様として、同じ内容の音声案内に過去に乗員が違和感を覚えたか否かを判定してもよい。
同じ内容に過去に乗員が違和感を覚えたと判定した場合に、対話処理部66は、音声案内の内容に乗員が違和感を覚えたと判定してよい。同じ内容に過去に乗員が違和感を覚えていなかったと判定した場合に、対話処理部66は、音声案内の提示方法に乗員が違和感を覚えたと判定してよい。
(Modification example)
(1) In the above-mentioned detection mode determination process, the detection
When it is determined that the occupant feels uncomfortable with the same content in the past, the
(2)案内装置10は、脳波センサ12に代えて、脳活動等を示す乗員の他の生理指標を検出するセンサを備えてもよい。例えば、生理指標を検出するセンサは、乗員の脳血流、心拍数、呼吸数、発汗量を生理指標として検出してもよい。例えば、生理指標を検出するセンサは、近赤外線の発光プローブと受光プローブを備え、近赤外線の吸光率から乗員の脳血流の状態を計測してよい。
違和感検出部60は、これらの生理指標に基づいて乗員の脳活動を測定し、違和感の有無を判断してよい。これにより乗員の違和感を適切に検出できる。
また、乗員の脳波に代えて、乗員の顔画像を生理指標として検出してもよい。案内装置10は、脳波センサ12に代えて、車両1の車室内の前方に乗員の正面に対向するように設置された撮像装置を備えてよい。違和感検出部60は、撮像装置が撮像した乗員の顔画像を画像解析し、解析結果から推定される乗員の脳活動に基づいて違和感の有無を判断してよい。これにより乗員の違和感を適切に検出できる。
また、乗員の脳波に代えて、乗員の自律神経活動量を生理指標として検出してもよい。違和感検出部60は、乗員の自律神経活動量に基づいて違和感の有無を判断してよい。これにより乗員の違和感を適切に検出できる。
(2) The
The
Further, instead of the occupant's brain wave, the occupant's face image may be detected as a physiological index. Instead of the
Further, instead of the occupant's brain wave, the occupant's autonomic nerve activity may be detected as a physiological index. The
(第2実施形態)
続いて、第2実施形態の案内装置10を説明する。第2実施形態の案内装置10の構成及びコントローラ11の機能構成は、それぞれ図1に示す構成及び図3に示す機能構成と同様である。
第2実施形態の案内装置10は、音声案内の内容を複数の分類に分類分けする。例えば、道路交通情報、POI情報及び天気情報などが含んでいるラベリングから、店舗、観光スポット、交通案内、天気情報等の分類に、音声案内の内容を分類分けする。
(Second Embodiment)
Subsequently, the
The
案内装置10は、乗員が第1の分類の内容の第1の音声案内に興味がないと判定した場合に、乗員が興味を持たない音声案内が属する分類として第1の分類を記憶装置51に記憶する。
When the
なお、案内装置10は、違和感検出部60が乗員の違和感を検出した場合に乗員が音声案内に興味がないと判定してよい。また、案内装置10は、対話処理部66により音声案内の提示内容に興味があるか否かを確認する対話を行うことで、音声案内に対する興味の有無を判定してもよい。
または、違和感検出部60が乗員の違和感を検出した場合に、対話処理部66により音声案内の提示内容に興味があるか否かを確認する対話を行うことで、音声案内に対する興味の有無を判定してもよい。
The
Alternatively, when the
次に、案内装置10は、記憶装置51に記憶された分類、すなわち同じ第1の分類内の第2の音声案内を出力する。例えば第1の分類が「飲食店」であり、第1の音声案内「近くにそば屋○○があります」を出力した場合に、案内装置10は、第2の音声案内として「近くにイタリア料理店△△があります」を出力する。
案内装置10は、第2の音声案内に乗員が興味を持つか否かを判定する。
Next, the
The
第2の音声案内に乗員が興味を持つと判定した場合に、内容設定部63は、適切でないのは第1の音声案内であり、第1の分類には問題がないと判断する。この場合、内容設定部63は、出力する音声案内の内容の分類を第1の分類から変更せず、第1の分類の内容の音声案内を継続する。例えば内容設定部63は、「イタリア料理店△△へ行く人はイタリア料理店××へもよく行きます」等の、第1の分類内の他の類似情報を出力する。
When it is determined that the occupant is interested in the second voice guidance, the
第2の音声案内に乗員が興味を持たないと判定した場合に、内容設定部63は、第1の分類に問題があると判断する。内容設定部63は、出力する音声案内の内容の分類を第2の分類、例えば「観光スポット」へ変更する。
そして、内容設定部63は、第2の分類「観光スポット」内の第3の音声案内「近くに有名な観光名所〜があります」を出力する。
When it is determined that the occupant is not interested in the second voice guidance, the
Then, the
分類を変更した後も乗員が音声案内に乗員が興味を持たないと判定した場合には、内容設定部63は、分類の変更を繰り返しながら音声案内を出力する。乗員が違和感を覚えなくなった時点(乗員が興味を持った時点)で、案内情報取得部64は、興味のある分類の音声案内に類似又は関連する情報や、この分類でよく検索される情報をインターネットなどで検索して取得する。
If the occupant determines that the occupant is not interested in the voice guidance even after the classification is changed, the
図11を参照して第2実施形態に係る音声案内方法の一例を説明する。ここでは、違和感検出部60が乗員の違和感を検出した場合に乗員が音声案内に興味がないと判定する例を示す。
ただし、対話処理部66により音声案内の提示内容に興味があるか否かを確認する対話を行うことで、音声案内に対する興味の有無を判定してもよい。違和感検出部60が乗員の違和感を検出した場合に、対話処理部66により音声案内の提示内容に興味があるか否かを確認する対話を行うことで、音声案内に対する興味の有無を判定してもよい。
また、音声案内の内容としてPOI情報を提供する例を示すが、交通案内、天気情報などを含んでいてもよい。
An example of the voice guidance method according to the second embodiment will be described with reference to FIG. Here, an example is shown in which the occupant is not interested in voice guidance when the
However, it may be determined whether or not there is an interest in the voice guidance by having the
Further, although an example of providing POI information as the content of voice guidance is shown, traffic guidance, weather information, and the like may be included.
ステップS60において内容設定部63は、第1の分類の第1のPOI情報を音声案内として出力する。
ステップS61において違和感検出部60は、乗員が第1の分類の第1のPOI情報に興味があるか否かを判断するため、違和感検出部60が乗員の違和感を検出したか否かを判断する。乗員の違和感を検出した場合(ステップS61:Y)に処理はステップS62へ進む。
In step S60, the
In step S61, the
乗員の違和感を検出しない場合(ステップS61:N)には、内容設定部63は、第1の分類に問題がないと判断し、出力する音声案内の内容の分類を第1の分類から変更せずに処理を終了する。その結果、内容設定部63は、第1の分類の内容の音声案内を継続する。
ステップS62において内容設定部63は、第1の分類、及び第1のPOI情報の何れに問題があるかを判定するために、第1の分類内の第2のPOI情報を出力する。例えば、第2のPOI情報は第1のPOI情報に類似する情報でもよい。
When the occupant's discomfort is not detected (step S61: N), the
In step S62, the
ステップS63において違和感検出部60は、違和感検出部60が乗員の違和感を検出したか否かを判断する。乗員の違和感を検出した場合(ステップS63:Y)に処理はステップS64へ進む。
乗員の違和感を検出しない場合(ステップS63:N)には、内容設定部63は、第1の分類に問題がないと判断し、出力する音声案内の内容の分類を第1の分類から変更せずに処理を終了する。その結果、内容設定部63は、第1の分類の内容の音声案内を継続する。処理は終了する。
ステップS64において内容設定部63は、第1の分類に問題があると考えられるため提供するPOI情報の分類を第2の分類へ変更する。その後、処理はステップS60へ戻る。
In step S63, the
When the occupant's discomfort is not detected (step S63: N), the
In step S64, the
(第2実施形態の効果)
(1)乗員が第1の分類の内容の第1の音声案内に興味がないと判定した場合に、内容設定部63は、第1の分類の第2の音声案内を出力する。違和感検出部60及び対話処理部66の少なくとも一方が、第2の音声案内に対して乗員が違和感を覚えたか否かを判定する。第2の音声案内に対して乗員が違和感を覚えないと判定した場合に、内容設定部63は、出力する音声案内の内容の分類を第1の分類から変更しない。第2の音声案内に対して乗員が違和感を覚えたと判定した場合に、内容設定部63は、出力する音声案内の内容の分類を第2の分類へ変更する。
これにより、内容設定部63は、乗員が興味をもつ音声案内の分類を適切に設定し、同一分類内で類似するおすすめ情報を提供できるようになる。
(Effect of the second embodiment)
(1) When it is determined that the occupant is not interested in the first voice guidance of the contents of the first classification, the
As a result, the
(2)内容設定部63は、第1の分類の内容の第1の音声案内をスピーカから出力する処理を実行する。違和感検出部60は、第1の音声案内に対する乗員の違和感を検出したか否かを判定する処理を実行する。内容設定部63は、第1の音声案内に対する違和感を検出した場合に、第1の分類の第2の音声案内をスピーカから出力する処理を行う。違和感検出部60は、第2の音声案内に対する乗員の違和感を検出したか否かを判定する処理を行う。内容設定部63は、第2の音声案内に対して乗員が違和感を覚えないと判定した場合に、出力する音声案内の内容の分類を第1の分類から変更せず、第2の音声案内に対して乗員が違和感を覚えたと判定した場合に、出力する音声案内の内容の分類を第2の分類へ変更する処理を行う。
これにより、内容設定部63は、乗員が興味をもつ音声案内の分類を適切に設定し、同一分類内で類似するおすすめ情報を提供できるようになる。
(2) The
As a result, the
本発明は、ここで記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。 It goes without saying that the present invention includes various embodiments not described here. Therefore, the technical scope of the present invention is defined only by the matters specifying the invention relating to the reasonable claims from the above description.
1…車両、10…案内装置、11…コントローラ、12…脳波センサ、13…スピーカ、14…ディスプレイ装置、15…マイク、20…GPS受信機、21…地図データベース、22…ビーコン受信機、23…通信機、40…車両走行コントローラ、41…運転操作センサ群、42…車両制御アクチュエータ、43…車速センサ、44…アクセル開度センサ、45…ブレーキスイッチ、46…ステアリング操作量センサ、50…プロセッサ、51…記憶装置、52…違和感データベース、53…案内データベース、60…違和感検出部、61…音声案内調整部、62…音声認識部、63…内容設定部、64…案内情報取得部、65…検出態様判定部、66…対話処理部、67…提示方法設定部 1 ... vehicle, 10 ... guidance device, 11 ... controller, 12 ... brain wave sensor, 13 ... speaker, 14 ... display device, 15 ... microphone, 20 ... GPS receiver, 21 ... map database, 22 ... beacon receiver, 23 ... Communication device, 40 ... Vehicle travel controller, 41 ... Driving operation sensor group, 42 ... Vehicle control actuator, 43 ... Vehicle speed sensor, 44 ... Accelerator opening sensor, 45 ... Brake switch, 46 ... Steering operation amount sensor, 50 ... Processor, 51 ... Storage device, 52 ... Discomfort database, 53 ... Guidance database, 60 ... Discomfort detection unit, 61 ... Voice guidance adjustment unit, 62 ... Voice recognition unit, 63 ... Content setting unit, 64 ... Guidance information acquisition unit, 65 ... Detection Aspect determination unit, 66 ... Dialogue processing unit, 67 ... Presentation method setting unit
Claims (12)
脳波センサによって運転者の脳波パターンを測定し、測定された脳波パターンを予め測定されたパターンに照合することにより、前記運転者の違和感を検出する処理と、
前記音声案内に対する前記運転者の違和感を検出したか否かを判定する処理と、
前記運転者の前記違和感を検出したと判定した場合、違和感検出時に前記音声案内が完結していたか否かに応じて異なる対話を前記運転者と行う処理と、
をコントローラが実行することを特徴とする音声案内方法。 The process of outputting voice guidance from the speaker and
The process of detecting the driver's discomfort by measuring the driver's brain wave pattern with the brain wave sensor and collating the measured brain wave pattern with the pre-measured pattern.
The process of determining whether or not the driver feels uncomfortable with the voice guidance and
When it is determined that the driver 's discomfort is detected, a process of performing a different dialogue with the driver depending on whether or not the voice guidance is completed at the time of detecting the discomfort, and a process.
A voice guidance method characterized by the controller performing.
対話の結果に応じて音声案内の提示方法を変更する、
ことを特徴とする請求項2に記載の音声案内方法。 When the discomfort is detected immediately after the start of the voice guidance, a dialogue is held to confirm with the driver the suitability of the voice guidance presentation method.
Change the presentation method of voice guidance according to the result of the dialogue,
The voice guidance method according to claim 2, wherein the voice guidance method is characterized in that.
不適切であると前記運転者が応答した分類の提示方法を変更する、
ことを特徴とする請求項3に記載の音声案内方法。 Dialogue to confirm the suitability of the voice guidance presentation method is conducted for each presentation method classification.
Change the method of presenting the classification that the driver responded to as inappropriate,
The voice guidance method according to claim 3, wherein the voice guidance method is characterized in that.
前記第2の音声案内に対して前記運転者が違和感を覚えたか否かを判定し、
前記第2の音声案内に対して前記運転者が違和感を覚えないと判定した場合に、出力する音声案内の内容の分類を前記第1の分類から変更せず、前記第2の音声案内に対して前記運転者が違和感を覚えたと判定した場合に、出力する音声案内の内容の分類を第2の分類へ変更する、
ことを特徴とする請求項6又は7に記載の音声案内方法。 When it is determined that the driver is not interested in the first voice guidance of the contents of the first classification, the second voice guidance of the first classification is output.
It is determined whether or not the driver feels uncomfortable with respect to the second voice guidance.
When it is determined that the driver does not feel uncomfortable with respect to the second voice guidance, the classification of the content of the voice guidance to be output is not changed from the first classification, and the second voice guidance is not changed. When it is determined that the driver feels uncomfortable, the classification of the content of the voice guidance to be output is changed to the second classification.
The voice guidance method according to claim 6 or 7.
脳波センサによって運転者の脳波パターンを測定し、測定された脳波パターンを予め測定されたパターンに照合することにより、前記運転者の違和感を検出する処理と、
前記第1の音声案内に対する前記運転者の違和感を検出したか否かを判定する処理と、
前記第1の音声案内に対する前記違和感を検出した場合に、前記第1の分類の第2の音声案内をスピーカから出力する処理と、
前記第2の音声案内に対する運転者の違和感を検出したか否かを判定する処理と、
前記第2の音声案内に対して前記運転者が違和感を覚えないと判定した場合に、出力する音声案内の内容の分類を前記第1の分類から変更せず、前記第2の音声案内に対して前記運転者が違和感を覚えたと判定した場合に、出力する音声案内の内容の分類を第2の分類へ変更する処理と、
をコントローラが実行することを特徴とする音声案内方法。 The process of outputting the first voice guidance of the contents of the first classification from the speaker, and
The process of detecting the driver's discomfort by measuring the driver's brain wave pattern with the brain wave sensor and collating the measured brain wave pattern with the pre-measured pattern.
The process of determining whether or not the driver feels uncomfortable with respect to the first voice guidance, and
A process of outputting the second voice guidance of the first classification from the speaker when the discomfort with respect to the first voice guidance is detected.
The process of determining whether or not the driver 's discomfort with respect to the second voice guidance is detected, and
When it is determined that the driver does not feel uncomfortable with respect to the second voice guidance, the classification of the content of the voice guidance to be output is not changed from the first classification, and the second voice guidance is not changed. When it is determined that the driver feels uncomfortable, the process of changing the classification of the content of the voice guidance to be output to the second classification, and
A voice guidance method characterized by the controller performing.
音声案内を出力するスピーカと、
前記脳波センサによって前記運転者の脳波パターンを測定し、測定された脳波パターンを予め測定されたパターンに照合することにより前記運転者の違和感を検出し、前記スピーカから出力した音声案内に対する前記運転者の違和感を検出したか否かを判定し、前記運転者の前記違和感を検出したと判定した場合、違和感検出時に音声案内が完結していたか否かに応じて異なる対話を前記運転者と行うコントローラと、
を備えることを特徴とする音声案内装置。 A brain wave sensor that detects the driver 's brain wave,
A speaker that outputs voice guidance and
The driver's brain wave pattern is measured by the brain wave sensor, and the measured brain wave pattern is collated with the pre-measured pattern to detect the driver's discomfort, and the driver with respect to the voice guidance output from the speaker. It determines whether the it has detected the discomfort, if it is determined that detects the discomfort of the driver is performed with the driver different interaction depending on whether the voice guidance has been completed formation during discomfort detection With the controller
A voice guidance device characterized by being provided with.
音声案内を出力するスピーカと、
前記脳波センサによって前記運転者の脳波パターンを測定し、測定された脳波パターンを予め測定されたパターンに照合することにより前記運転者の違和感を検出し、第1の分類の内容の第1の音声案内に対する前記運転者の違和感を検出したか否かを判定し、前記第1の音声案内に対する前記違和感を検出した場合に、前記第1の分類の第2の音声案内を前記スピーカから出力し、前記センサが検出した前記運転者の生理指標に基づいて、前記第2の音声案内に対する運転者の違和感を検出したか否かを判定し、前記第2の音声案内に対して前記運転者が違和感を覚えないと判定した場合に、出力する音声案内の内容の分類を前記第1の分類から変更せず、前記第2の音声案内に対して前記運転者が違和感を覚えたと判定した場合に、出力する音声案内の内容の分類を第2の分類へ変更するコントローラと、
を備えることを特徴とする音声案内装置。 A brain wave sensor that detects the driver 's brain wave,
A speaker that outputs voice guidance and
The driver's brain wave pattern is measured by the brain wave sensor, and the measured brain wave pattern is collated with the pre-measured pattern to detect the driver's discomfort, and the first voice of the content of the first classification is detected. It is determined whether or not the driver 's discomfort with respect to the guidance is detected, and when the discomfort with respect to the first voice guidance is detected, the second voice guidance of the first classification is output from the speaker. based on the physiological indices of the driver in which the sensor detects the second to determine whether the detected driver's uncomfortable feeling with respect to voice guidance, the driver uncomfortable feeling with respect to the second voice guidance When it is determined that the driver does not change the classification of the content of the voice guidance to be output from the first classification and the driver feels uncomfortable with respect to the second voice guidance. A controller that changes the classification of the output voice guidance content to the second classification,
A voice guidance device characterized by being provided with.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016253183A JP6969094B2 (en) | 2016-12-27 | 2016-12-27 | Voice guidance method and voice guidance device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016253183A JP6969094B2 (en) | 2016-12-27 | 2016-12-27 | Voice guidance method and voice guidance device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018105750A JP2018105750A (en) | 2018-07-05 |
| JP6969094B2 true JP6969094B2 (en) | 2021-11-24 |
Family
ID=62787110
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016253183A Active JP6969094B2 (en) | 2016-12-27 | 2016-12-27 | Voice guidance method and voice guidance device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6969094B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7226233B2 (en) * | 2019-10-08 | 2023-02-21 | トヨタ自動車株式会社 | Vehicle, information processing system, program and control method |
| CN116721664A (en) * | 2023-06-19 | 2023-09-08 | 长城汽车股份有限公司 | A voice interaction method, device and vehicle |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5228967B2 (en) * | 2009-02-10 | 2013-07-03 | トヨタ自動車株式会社 | User evaluation input device |
| JP2012201222A (en) * | 2011-03-25 | 2012-10-22 | Kojima Press Industry Co Ltd | Display device for vehicle |
| JP2014048760A (en) * | 2012-08-29 | 2014-03-17 | Denso Corp | Information presentation system, information presentation device, and information center for presenting information to vehicle driver |
-
2016
- 2016-12-27 JP JP2016253183A patent/JP6969094B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018105750A (en) | 2018-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kun | Human-machine interaction for vehicles: Review and outlook | |
| Eyben et al. | Emotion on the road—necessity, acceptance, and feasibility of affective computing in the car | |
| JP4514372B2 (en) | Information providing system, information providing method, information providing program, server device in information providing system, and terminal device in information providing system | |
| Jeon et al. | The effects of social interactions with in-vehicle agents on a driver's anger level, driving performance, situation awareness, and perceived workload | |
| Hansen et al. | Driver modeling for detection and assessment of driver distraction: Examples from the UTDrive test bed | |
| Baldwin | Designing in-vehicle technologies for older drivers: Application of sensory-cognitive interaction theory | |
| DE102021212744A1 (en) | DIALOGUE SYSTEM, VEHICLE WITH THE SAME AND METHOD FOR CONTROLLING A DIALOGUE SYSTEM | |
| JP7235554B2 (en) | AGENT DEVICE, CONTROL METHOD OF AGENT DEVICE, AND PROGRAM | |
| Gaffar et al. | Minimalist design: An optimized solution for intelligent interactive infotainment systems | |
| WO2021258671A1 (en) | Assisted driving interaction method and apparatus based on vehicle-mounted digital human, and storage medium | |
| JP2019061480A (en) | Driver support apparatus and driver support method | |
| JP6969094B2 (en) | Voice guidance method and voice guidance device | |
| JP2000118260A (en) | Vehicle occupant dialogue device | |
| JP2018031918A (en) | Interactive control device for vehicle | |
| Umpaipant et al. | Improving takeover requests in automated vehicles: the role of dynamic alerts and cognitive state | |
| Hao et al. | Navigation voice familiarity can affect driving stress and emotions under complex road conditions: Evidence from an experimental study | |
| KR20240095695A (en) | Vehicle controlling apparatus and method | |
| JP4930407B2 (en) | Information providing apparatus, information display method, and navigation apparatus | |
| JP2022103553A (en) | Information providing equipment, information providing method, and program | |
| CN118907119A (en) | Driving assistance method, device, equipment and storage medium based on driver state | |
| JP6969093B2 (en) | Voice guidance method and voice guidance device | |
| CN118343135A (en) | Human-vehicle emotional interaction method, device, equipment, storage medium and computer program product | |
| JP7280072B2 (en) | Notification control device and notification control method | |
| JP6555113B2 (en) | Dialogue device | |
| Nadri et al. | Investigating the effect of earcon and speech variables on hybrid auditory alerts at rail crossings |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190913 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200630 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200818 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200916 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210216 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210405 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210928 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211011 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6969094 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |