Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7697257B2 - メッセージ処理方法及びメッセージ処理装置 - Google Patents
[go: Go Back, main page]

JP7697257B2 - メッセージ処理方法及びメッセージ処理装置 - Google Patents

メッセージ処理方法及びメッセージ処理装置 Download PDF

Info

Publication number
JP7697257B2
JP7697257B2 JP2021074905A JP2021074905A JP7697257B2 JP 7697257 B2 JP7697257 B2 JP 7697257B2 JP 2021074905 A JP2021074905 A JP 2021074905A JP 2021074905 A JP2021074905 A JP 2021074905A JP 7697257 B2 JP7697257 B2 JP 7697257B2
Authority
JP
Japan
Prior art keywords
vehicle
information
expression
message
provocative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021074905A
Other languages
English (en)
Other versions
JP2022169082A (ja
Inventor
放歌 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2021074905A priority Critical patent/JP7697257B2/ja
Publication of JP2022169082A publication Critical patent/JP2022169082A/ja
Application granted granted Critical
Publication of JP7697257B2 publication Critical patent/JP7697257B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Document Processing Apparatus (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、メッセージ処理方法及びメッセージ処理装置に関する。
特許文献1には、車間通信の送信元の車両の運転者の音声、映像、感情を示す情報を送信先の車両で受信して表示装置に表示する技術が提案されている。
特開2010-218568号公報
しかしながら、送信元の車両の運転者の音声、映像、感情を示す情報をそのまま相手先の運転者に提示すると、これらの情報により相手先の運転者の気分を害してしまうおそれがある。
本発明は、ある車両の乗員から検出した言語メッセージ又は非言語メッセージを他の車両の乗員に提示するときに、これらのメッセージにより他の車両の乗員の気分が害されるのを避けることを目的とする。
本発明の一態様によるメッセージ処理方法は、第1車両の乗員である第1乗員から検出された言語メッセージ又は非言語メッセージを含んだメッセージ情報を受信する処理と、受信したメッセージ情報に、予め定義された挑発的表現があるか否かを判定する処理と、受信したメッセージ情報に挑発的表現があると判定した場合、受信したメッセージ情報を、挑発的表現を含まないメッセージ情報へ補正する処理と、補正したメッセージ情報を、第2車両の乗員である第2乗員へ提示すべきメッセージ情報として出力する処理と、をコンピュータに実行させる。
本発明によれば、ある車両の乗員から検出した言語メッセージ又は非言語メッセージを他の車両の乗員に提示するときに、これらのメッセージにより他の車両の乗員の気分が害されるのを避けることができる。
実施形態の車両間通信システムの一例の全体構成図である。 図1のサーバ装置の機能構成の一例のブロック図である。 運転操作判定部による処理の一例のフローチャートである。 挑発判定部による処理の一例のフローチャートである。 情報補正部による処理の第1例のフローチャートである。 情報補正部による処理の第2例のフローチャートである。
以下、本発明の実施形態について、図面を参照しつつ説明する。なお、各図面は模式的なものであって、現実のものとは異なる場合がある。また、以下に示す本発明の実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。
(構成)
図1を参照する。実施形態の車両間通信システム100は、車両1に搭載される車載装置10と、車両2に搭載される車載装置20と、サーバ装置3を備える。
車載装置10は、測位装置11と、車載カメラ12と、車両センサ13と、ユーザインタフェース14と、通信装置15と、コントローラ16を備える。図面においてインタフェースを「I/F」と表記する。車両2の車載装置20の構成も車載装置10の構成と同様であってよい。
測位装置11は、車両1の現在位置を測定する。測位装置11は、例えば全地球型測位システム(GNSS)受信機を備えてよい。GNSS受信機は、例えば地球測位システム(GPS)受信機等であり、複数の航法衛星から電波を受信して車両1の現在位置を測定する。車両1の現在位置の測定結果を車両状態情報としてコントローラ16へ出力する。
車載カメラ12は、車両1の周囲環境を撮影する車外カメラと、車両1の乗員(例えば運転者)を撮影する車内カメラを備える。車載カメラ12は、車内カメラが生成した撮像画像をコントローラ16へ出力する。また、車外カメラの撮像画像を車両状態情報としてコントローラ16へ出力する。
車両センサ13は、車両1から得られる様々な情報を検出する。車両センサ13は、例えば、車両1の車速を検出する車速センサ、車両1が備える各タイヤの回転速度を検出する車輪速センサ、車両1の3軸方向の加速度(減速度を含む)を検出する3軸加速度センサ(Gセンサ)、操舵角(転舵角を含む)を検出する操舵角センサ、車両1に生じる角速度を検出するジャイロセンサ、ヨーレイトを検出するヨーレイトセンサを含んでよい。
車両センサ13は、車両1の車速、車輪速、加速度、操舵角、角速度の情報と、車両1の警音器(クラクション)や前照灯の作動状態の情報を車両状態情報としてコントローラ16へ出力する。
ユーザインタフェース14は、コントローラ16と乗員との間で情報を授受するヒューマンマシンインタフェース装置である。ユーザインタフェース14は、車両1の乗員が視認可能な表示装置(例えば、ナビゲーションシステムの表示画面)や、警報音や通知音、音声情報を出力するためのスピーカやブザーを備える。
またユーザインタフェース14は、乗員からのコントローラ16への操作入力を受け付ける操作子を備える。操作子は、ボタンやスイッチ、レバー、ダイヤル、キーボード等の機械的なインタフェース装置であってもよく、タッチパネル上に表示されたボタンやスイッチ、レバー、ダイヤル、キーボード等であってもよい。またユーザインタフェース14は、乗員が発声した音声(声、言葉)を取得する音声入力装置(例えばマイクロフォン)を備える。
通信装置15は、車載装置10と外部装置との間における通信機能を提供する。通信装置15による通信方式は、例えば公衆携帯電話網による無線通信や、車車間通信、路車間通信、又は衛星通信であってよい。本実施形態では、車載装置10は、通信装置15の通信機能により通信ネットワークNWを介してサーバ装置3と通信する。
コントローラ16は、ユーザインタフェース14の音声入力装置から車両1の乗員が発声した音声信号を取得する。また、コントローラ16は、車載カメラ12の車内カメラが撮像した車両1の乗員の撮像画像を取得する。
コントローラ16は、車両1の乗員の音声信号及び撮像画像を含んだ情報を、通信装置15によってサーバ装置3へ送信する。また、コントローラ16は、車両1の車両状態情報を通信装置15によってサーバ装置3へ送信する。
ここで車両1の乗員の音声信号は、乗員が話した言葉を言語メッセージとして含んでいる。また、音声信号は、乗員が発声した音声の口調(例えば、語気、語調)を非言語メッセージとして含んでいる。一方で、車両1の乗員の撮像画像は、乗員の表情やジェスチャを非言語メッセージとして含んでいる。このため、車両1の乗員の音声信号及び撮像画像を含んだ情報を「メッセージ情報」と表記する。
コントローラ16は、プロセッサ17と、記憶装置18等の周辺部品とを含んだコンピュータである。プロセッサ17は、例えばCPU(Central Processing Unit)やMPU(Micro-Processing Unit)であってよい。記憶装置18は、半導体記憶装置や、磁気記憶装置、光学記憶装置等を備えてよい。本明細書において説明するコントローラ16の機能は、記憶装置18に格納されたコンピュータプログラムをプロセッサ17が実行することによって実現される。
車両2の車載装置20も同様に、車両2の乗員の音声信号及び撮像画像を含んだメッセージ情報と車両2の車両状態情報を、サーバ装置3へ送信する。
サーバ装置3は、車載装置10からメッセージ情報と車両状態情報を受信すると、受信したメッセージ情報を、車両1の周囲の他の車両(例えば車両2)の乗員(例えば運転者)に提示する情報(以下「提示情報」)に変換して、車両1の周囲の他の車両に送信する。
提示情報は、車両1の乗員の音声信号に含まれる言葉に基づいて生成された音声信号を含んでいてよい。
また、提示情報は、車両1の乗員のアバターの制御信号を含んでいてもよい。サーバ装置3は、車両1の乗員の音声信号の口調、車両1の乗員の撮像画像が表す表情、ジェスチャに基づいて、車両1の乗員のアバターの制御信号を生成する。
同様に、車載装置20からもメッセージ情報と車両状態情報を受信し、車両2の周囲の他の車両(例えば車両1)の乗員に提示する提示情報に変換して、車両2の周囲の他の車両に送信する。
サーバ装置3は、プロセッサ30と、記憶装置31及び通信インタフェース32等の周辺部品とを含んだコンピュータである。プロセッサ30は、例えばCPUやMPUであってよい。記憶装置31は、半導体記憶装置や、磁気記憶装置、光学記憶装置等を備えてよい。サーバ装置3は、通信インタフェース32の通信機能により通信ネットワークNWを介して車載装置10、20と通信する。本明細書において説明するサーバ装置3の機能は、記憶装置31に格納されたコンピュータプログラムをプロセッサ30が実行することによって実現される。サーバ装置3により実現される機能の詳細は後述する。
車両1、車両2の車載装置10、20のコントローラ16は、サーバ装置3から提示情報を受信すると、受信した提示情報をユーザインタフェース14から出力して乗員に提示する。
例えば提示情報に含まれる音声情報を、ユーザインタフェース14のスピーカから出力してよい。また例えば、提示情報に含まれるアバターの制御信号に基づいて、ユーザインタフェース14の表示装置にアバターを表示してよい。
例えば、車両1から送信されたメッセージ情報を変換して提示情報を生成し車両2に送信した場合、車両2のユーザインタフェース14のスピーカから音声情報を出力し、表示装置に車両1の乗員のアバターを表示してよい。車両2から送信されたメッセージ情報を変換して提示情報を生成し車両1に送信した場合、車両1のユーザインタフェース14のスピーカから音声情報を出力し、表示装置に車両2の乗員のアバターを表示してよい。
これにより、ある車両(例えば車両1)の乗員から検出した、言語メッセージ又は非言語メッセージを他の車両(例えば車両2)の乗員に提示できる。
このように、ある車両の乗員から検出したメッセージを他の車両の乗員に提示すると、提示されたメッセージにより他の車両の乗員の気分が害されるおそれがある。例えば、車両1の乗員が悪意を持って運転マナー違反となる不適切な運転操作(例えば、強引な割り込みや急制動、急加速、急な操舵)を行った場合には、周囲の他車両に挑発的な態度を示すことが考えられる。このような場合に、車両1の乗員から検出したメッセージ(例えば、言葉、口調、表情、ジェスチャ)を、そのまま他車両の乗員に提示すると他車両の乗員の気分を害するおそれがある。
一方で、車両1の乗員に悪意がなく不適切な運転操作を反省している場合には、周囲の他車両に対して申し訳ない気持ちを示すことが考えられる。この場合には、むしろ車両1の乗員から検出したメッセージに即した提示情報を生成して、他車両の乗員に提示した方が好ましい。
そこでサーバ装置3は、ある車両から受信したメッセージ情報に、予め定義された挑発的表現があるか否かを判定する処理と、受信したメッセージ情報に挑発的表現があると判定した場合に、受信したメッセージ情報を、挑発的表現を含まないメッセージ情報へ補正する処理と、補正したメッセージ情報を、他車両の乗員に提示すべき提示情報として出力する処理を実行する。予め定義された挑発的表現は、サーバ装置3からアクセス可能な記憶装置に記憶しておく。
これにより、ある車両の乗員から検出したメッセージを他の車両の乗員に提示する際に、これらのメッセージにより他の車両の乗員の気分が害されるのを避けることができる。
以下、サーバ装置3の機能構成を説明する。図2は、サーバ装置3の機能構成の一例のブロック図である。サーバ装置3は、情報受信部40、運転操作判定部41、挑発判定部42及び情報補正部43として機能する。
情報受信部40は、走行中の車両1、車両2から送信されたメッセージ情報と、車両状態情報を受信する。
運転操作判定部41は、運転マナー違反となる不適切な運転操作(例えば、強引な割り込みや急制動、急加速、急な操舵)を行った車両を、挑発判定対象車両として選択する。挑発判定対象車両は、特許請求の範囲に記載の「第1車両」の一例である。
図3は、運転操作判定部41による処理の一例のフローチャートである。
走行中の車両から送信された車両状態情報を情報受信部40が受信すると、ステップS1において運転操作判定部41は、車両状態情報を情報受信部40から取得する。
ステップS2において運転操作判定部41は、取得した車両状態情報に基づいて、いずれかの車両が運転マナー違反となる不適切な運転操作(例えば、煽り運転や、急制動、急加速、急ハンドル、異常な警音器の操作や、異常なパッシング操作)を行ったか否かを判定する。不適切な運転操作が行われた場合(ステップS2:Y)に処理はステップS3に進む。不適切な運転操作が行われない場合(ステップS2:N)に運転操作判定部41の処理は終了する。
例えば、運転操作判定部41は、車両状態情報から急制動、急加速、急ハンドルなどの信号を検出したり、車外カメラの撮像画像から車両どうしの急接近や割り込みを検出して、煽り運転などの不適切な運転操作(運転マナー違反となる操作)を行われたか否かを判定してよい。
また例えば、運転操作判定部41は、車両状態情報から警音器の作動状態を検出して、作動頻度にもとづいて異常を検出し、異常な警音器の操作を不適切な運転操作として検出してもよい。
また例えば、運転操作判定部41は、車両状態情報から前照灯の作動状態を検出して、点滅頻度が高く継続時間が長い場合に異常を検出し、異常なパッシング操作を不適切な運転操作として検出してもよい。
ステップS3において運転操作判定部41は、不適切な運転操作を行った車両を挑発判定対象車両として選択する。その後に、運転操作判定部41の処理は終了する。
以下、本明細書では挑発判定対象車両が車両1である場合の例について説明する。
図2を参照する。挑発判定部42は、挑発判定対象車両である車両1の乗員から検出されたメッセージ情報が、挑発的表現を含むか否かを判定する。
例えば、メッセージ情報が車両1の乗員の顔の撮像画像を含む場合、挑発判定部42は、顔画像を分析して乗員の表情を推定する。例えば、乗員の目、眉、鼻、頬、口などの部位の位置、及び形状を認識し、これらの認識結果に基づいて喜び、驚き、恐れ、悲しみ、怒り、嫌悪などの表情を推定してよい。
車両1の乗員の表情が、予め定義され記憶された挑発的な表情(例えば、怒りや嫌悪の表情)である場合に、挑発判定部42は、挑発的表現が含まれていると判定する。
また例えば、メッセージ情報が車両1の乗員の動作を表す撮像画像を含む場合に、挑発判定部42は、乗員のジェスチャの意図を推定してよい。車両1の乗員のジェスチャが、予め定義され記憶された挑発的なジェスチャ(例えば、ハンドルを叩くなどしてイライラしていることを示している場合)である場合に、挑発判定部42は、挑発的表現が含まれていると判定する。
また例えば、メッセージ情報が車両1の乗員が発声した音声信号を含む場合に、挑発判定部42は、乗員の口調が挑発的な口調であるか否かを推定してよい。例えば、乗員が発声した音声信号の波形の振幅が、予め定義された記憶された判定閾値(例えば車両1の乗員の通常時の振幅)よりも大きい場合に、乗員の口調が挑発的な口調であると判定してよい。判定閾値は、車両1の乗員や音声入力装置に応じて個別にキャリブレーションされていることが好ましい。
挑発判定部42は、乗員の口調が挑発的な口調である場合に、挑発的表現が含まれていると判定する。
また例えば、メッセージ情報が車両1の乗員が発声した音声信号を含む場合に、挑発判定部42は、音声信号に音声認識を施すことによりテキスト情報に変換してよい。変換後のテキスト情報に予め定義されて記憶された挑発的な言葉、例えば悪口や、命令型表現(例えば「そこをどいて」など)又は批判的表現(例えば「遅い」など)が含まれる場合に、挑発判定部42は、挑発的表現が含まれていると判定する。
図4は、挑発判定部42による処理の一例のフローチャートである。
挑発判定対象車両(この例では車両1)から送信されたメッセージ情報を情報受信部40が受信すると、ステップS10において挑発判定部42は、情報受信部40からメッセージ情報を取得する。
ステップS11において挑発判定部42は、メッセージ情報に含まれている車両1の乗員の表情が挑発的であるか否かを判定する。挑発的な表情である場合(ステップS11:Y)に処理はステップS15に進む。挑発的な表情でない場合(ステップS11:N)に処理はステップS12に進む。
ステップS12において挑発判定部42は、メッセージ情報に含まれている車両1の乗員のジェスチャが挑発的であるか否かを判定する。挑発的なジェスチャである場合(ステップS12:Y)に処理はステップS15に進む。挑発的なジェスチャでない場合(ステップS12:N)に処理はステップS13に進む。
ステップS13において挑発判定部42は、メッセージ情報に含まれている車両1の乗員の口調が挑発的であるか否かを判定する。挑発的な口調である場合(ステップS13:Y)に処理はステップS15に進む。挑発的な口調でない場合(ステップS13:N)に処理はステップS14に進む。
ステップS14において挑発判定部42は、メッセージ情報に含まれている車両1の乗員が話した言葉が挑発的であるか否かを判定する。挑発的な言葉である場合(ステップS14:Y)に処理はステップS15に進む。挑発的な言葉でない場合(ステップS14:N)に処理はステップS16に進む。
ステップS15において挑発判定部42は、車両1から送信されたメッセージ情報に挑発的表現が含まれると判定する。その後に挑発判定部42の処理は終了する。
ステップS16において挑発判定部42は、車両1から送信されたメッセージ情報に挑発的表現が含まれないと判定する。その後に挑発判定部42の処理は終了する。
図2を参照する。挑発判定対象車両(この例では車両1)から受信したメッセージ情報に挑発的表現が含まれる判定された場合、情報補正部43は、受信したメッセージ情報を挑発的表現を含まないメッセージ情報へと補正して、挑発判定対象車両の周囲の他車両の乗員に提示する提示情報を生成する。
情報補正部43は、補正後のメッセージ情報から生成した提示情報を、挑発判定対象車両の周囲の他車両の車載装置(例えば車両2の車載装置20)へ送信する。提示情報が出力される車両は、特許請求の範囲に記載の「第2車両」の一例である。ここでは、車両2の乗員に提示情報を提示する例について説明する。
上記のとおり、提示情報は、車両1の乗員の音声信号に含まれる言葉に基づいて生成された音声信号を含んでいてよい。提示情報は、車両1の乗員のアバターの制御信号を含んでいてもよい。
車両2の車載装置20は、受信した提示情報に含まれる音声信号を、車載装置20ユーザインタフェース14のスピーカから出力してよい。また、受信した提示情報に含まれるアバターの制御信号に基づいて、車載装置20ユーザインタフェース14の表示装置に車両1の乗員のアバターを表示してよい。
図5は、情報補正部43による処理の第1例のフローチャートである。この例では、音声信号とアバターの制御信号を含んだ提示情報を生成する。
ステップS20において情報補正部43は、車両1からのメッセージ情報に挑発的表現が含まれると挑発判定部42が判定したか否かを判定する。挑発的表現が含まれる場合(S20:Y)に処理はステップS21へ進む。挑発的表現が含まれない場合(S20:N)に処理はステップS26へ進む。
ステップS21において情報補正部43は、車両1からのメッセージ情報に含まれる音声信号に音声認識を施すことによりテキスト情報に変換する。なお、挑発判定部42が音声信号をテキスト情報に既に変換している場合、情報補正部43は、挑発判定部42からテキスト情報を取得してもよい。
ステップS22において情報補正部43は、挑発的表現が含まれるテキスト情報を補正して、挑発的表現を含まないテキスト情報へ補正する。
例えば、テキスト情報に含まれる悪口を削除してよい。また例えば、テキスト情報に命令型表現又は批判的表現が含まれる場合には、これらの表現に対応する提案で置換してもよい。このため情報補正部43には、様々な命令型表現又は批判的表現に対応する提案のテキスト情報を予め定義して記憶してよい。
例えば、命令型表現「そこをどいて」に対応して提案「隣の車線に行く」を予め対応付けて記憶してよい。また、批判的表現「遅い」に対応して提案「最低走行速度を守る」を予め対応付けて記憶してよい。情報補正部43は、車両1の車両状態情報に含まれる現在位置情報に基づいて、車両1の周囲の走行環境(車線情報、規制速度情報、交通信号機の情報)などを地図データベースから取得し、車両1の周囲の走行環境に適合する提案を採用してよい。
また、例えば情報補正部43は、テキスト情報が平語である場合に敬語(例えば丁寧語)に変換してよい。
ステップS23において情報補正部43は、ステップS22で補正されたテキスト情報に音声合成処理を施して、アバターの音声特徴量を有する合成音声を生成する。このように、テキスト情報から合成音声を生成することにより、車両1からのメッセージ情報に挑発的な口調の音声信号が含まれていても、挑発的な口調(すなわち挑発的表現)を含まない音声信号へ補正できる。
ステップS24において情報補正部43は、車両1の乗員のアバターの表情として、穏やかな表情(例えば微笑んでいる表情や、優しい表情、幸福な表情、喜びの表情)を生成する。例えば、情報補正部43は、アバターの表情を決定するパラメータとして、アバターの目、眉、鼻、頬、口などの部位の位置及び形状を予め定義して記憶しておき、これらのパラメータを、車両1の乗員のアバターの表情を制御するための制御信号として設定してよい。
ステップS25において情報補正部43は、ステップS23で生成した音声信号をアバターが話しているように見えるように、ステップS24において生成した表情のパラメータ(すなわち目、眉、鼻、頬、口などの部位の位置及び形状)を変化させ、アバターの表情を音声信号に同期させる。情報補正部43は、音声信号に同期したパラメータを、アバターの表情の制御信号として生成する。その後に処理はステップS28へ進む。
一方で、ステップS20の判定で車両1からのメッセージ情報に挑発的表現が含まれない場合(ステップS20:N)には、ステップS26において情報補正部43は、車両1からのメッセージ情報に含まれる音声信号をアバターの音声特徴量を有する合成音声に変換する。
ステップS27において情報補正部43は、車両1からのメッセージ情報に含まれる車両1の乗員の表情を、アバターの顔でワーピングする。例えば、車両1の乗員の顔画像から目、眉、鼻、頬、口などの部位の位置、及び形状を認識し、アバターの目、眉、鼻、頬、口などの部位の位置、及び形状が、認識した位置及び形状となるように、アバターの表情の制御信号を生成する。その後に処理はステップS28へ進む。
ステップS28において情報補正部43は、ステップS23又はS26で生成した合成音声と、ステップS25又はS27で生成したアバターの表情の制御信号を含んだ提示情報を車両2の車載装置20へ出力する。その後に情報補正部43の処理は終了する。
図6は、情報補正部43による処理の第2例のフローチャートである。この例では、音声信号とアバターの制御信号を含まない提示情報を生成する。
ステップS30において情報補正部43は、車両1からのメッセージ情報に含まれる音声信号に音声認識を施すことによりテキスト情報に変換する。情報補正部43は、挑発判定部42から変換後のテキスト情報を取得してもよい。
ステップS31において情報補正部43は、車両1からのメッセージ情報に挑発的表現が含まれると挑発判定部42が判定したか否かを判定する。挑発的表現が含まれる場合(S31:Y)に処理はステップS32へ進む。挑発的表現が含まれない場合(S31:N)に処理はステップS34へ進む。
ステップS32において情報補正部43は、図5のステップS22と同様の処理により、挑発的表現が含まれるテキスト情報を補正して、挑発的表現を含まないテキスト情報へ補正する。
ステップS33において情報補正部43は、ステップS32で補正されたテキスト情報に音声合成処理を施して、丁寧な口調(又は優しい口調)の音声特徴量を有する合成音声を生成する。その後に処理はステップS35へ進む。
一方で、ステップS31の判定で車両1からのメッセージ情報に挑発的表現が含まれない場合(ステップS31:N)には、ステップS34において情報補正部43は、メッセージ情報に含まれる車両1の乗員やジェスチャから乗員の感情(例えば、冷静、リラックス、申し訳ない気持ち)を推定する。情報補正部43は、ステップS30で変換したテキスト情報に音声合成処理を施して、推定した感情の音声特徴量を有する合成音声を生成する。その後に処理はステップS35へ進む。
ステップS35では、ステップS33又はステップS34で生成した合成音声を含んだ提示情報を車両2の車載装置20へ出力する。その後に情報補正部43の処理は終了する。
なお、車両1からのメッセージ情報に挑発的表現が含まれる場合、ステップS32及びS33の代わりに、車両2の乗員の気持ちを落ち着かせる背景音楽を取得し、ステップS35において背景音楽を含んだ提示情報を車両2の車載装置20へ出力してもよい。
なお、上記の説明では、サーバ装置3が、情報受信部40、運転操作判定部41、挑発判定部42及び情報補正部43として機能する場合について説明したが、本実施形態の車両間通信システム100はこれに限定されない。例えば、車両1、2に搭載される車載装置20が、情報受信部40、運転操作判定部41、挑発判定部42及び情報補正部43として機能してもよい。
(実施形態の効果)
(1)コンピュータは、第1車両の乗員である第1乗員から検出された言語メッセージ又は非言語メッセージを含んだメッセージ情報を受信する処理と、受信したメッセージ情報に、予め定義された挑発的表現があるか否かを判定する処理と、受信したメッセージ情報に挑発的表現があると判定した場合、受信したメッセージ情報を、挑発的表現を含まないメッセージ情報へ補正する処理と、補正したメッセージ情報を、第2車両の乗員である第2乗員へ提示すべき提示情報として出力する処理と、を実行する。
これにより、第1車両の乗員から検出した言語メッセージ又は非言語メッセージを第2車両の乗員に提示するときに、これらのメッセージにより第2車両の乗員の気分が害されるのを避けることができる。
(2)メッセージ情報は、音声情報、画像情報又はテキスト情報を含んでもよい。これによりメッセージ情報が定義されるので、音声情報、画像情報又はテキスト情報を挑発的表現の判定に利用できる。
(3)言語メッセージの挑発的表現として、怒り又は嫌悪感を生じさせうる言葉の候補を予め定義してコンピュータがアクセス可能な記憶装置に記憶してもよい。非言語メッセージにおける挑発的表現として、怒り又は嫌悪感を生じさせうる顔の表情、口調又はジェスチャを予め定義して記憶装置に記憶してもよい。
これにより挑発的表現が定義されるので、第1車両の乗員からジェスチャ、言葉、表情、口調から、第2車両の乗員を挑発する表現であるか否かを判定できる。
(4)言語メッセージの挑発的表現は、悪口、命令型表現又は批判的表現であってもよい。これにより、これにより音声情報に基づいて挑発的表現を判定できる。
(5)コンピュータは、言語メッセージに含まれる悪口を削除することにより、挑発的表現を含まないメッセージ情報へ補正してもよい。これにより、第2車両の乗員に否定的な感情を削除して情報を伝えることができる。
(6)コンピュータは、言語メッセージに含まれる命令型表現又は批判的表現を命令型表現又は批判的表現に対応して予め定義された提案に置き換えることにより、挑発的表現を含まないメッセージ情報へ補正してもよい。これにより、第2車両の乗員にさらに丁寧に落ち着かせるように情報を伝えることができる。
(7)コンピュータは、補正したメッセージ情報を表現するアバターの制御信号を、第2乗員へ提示すべき提示情報として出力してもよい。これにより、補正した情報を第2車両の乗員に伝えるアバターを出力できる。
(8)受信したメッセージ情報が第1乗員の顔画像を含む場合、コンピュータは、顔画像に基づいて第1乗員の表情が嫌悪感又は怒りを表しているか否かを推定することにより、受信したメッセージ情報に含まれる第1乗員の表情に挑発的表現があるか否かを判定してもよい。
これにより、1乗員の顔画像に基づいて挑発的表現を判定できる。
(9)コンピュータは、受信したメッセージ情報に含まれる第1乗員の表情を表現するアバターの制御信号を第2乗員へ提示すべき提示情報として出力する処理を実行してもよい。コンピュータは、第1乗員の表情が嫌悪感又は怒りを表していると推定した場合に、嫌悪感又は怒りを表している表情をアバターの表情に反映させないことにより、受信したメッセージ情報を、挑発的表現を含まないメッセージ情報へ補正してもよい。これにより、第2車両の乗員に否定的な感情を削除して情報を伝えることができる。
(10)コンピュータは、走行する車両の状態に関する車両状態情報を受信し、車両状態情報に基づいて車両が運転マナー違反となる運転操作を行ったか否かを判定し、車両が運転マナー違反となる運転操作を行った場合に第1車両として選択してもよい。これにより、どの車両が不適切な運転をし、挑発的表現を行う恐れがあるかを判定できる。
100…車両間通信システム、1、2…車両、3…サーバ装置、NW…ネットワーク、10、20…車載装置、11…測位装置、12…車載カメラ、13…車両センサ、14…ユーザインタフェース、15…通信装置、16…コントローラ、17…プロセッサ、18…記憶装置、30…プロセッサ、31…記憶装置、32…通信インタフェース、40…情報受信部、41…運転操作判定部、42…挑発判定部、43…情報補正部

Claims (9)

  1. 走行する車両の状態に関する車両状態情報を受信する処理と、
    前記車両状態情報に基づいて前記車両が運転マナー違反となる運転操作を行ったか否かを判定し、前記車両が運転マナー違反となる運転操作を行った場合に第1車両として選択する処理と、
    前記第1車両の乗員である第1乗員から検出された言語メッセージ又は非言語メッセージを含んだメッセージ情報を受信する処理と、
    受信した前記メッセージ情報に、予め定義された挑発的表現があるか否かを判定する処理と、
    前記受信したメッセージ情報に前記挑発的表現があると判定した場合、前記受信したメッセージ情報を、前記挑発的表現を含まないメッセージ情報へ補正する処理と、
    補正した前記メッセージ情報を、第2車両の乗員である第2乗員へ提示すべき提示情報として出力する処理と、
    をコンピュータに実行させることを特徴とするメッセージ処理方法。
  2. 前記メッセージ情報は、音声情報、画像情報又はテキスト情報であることを特徴とする請求項1に記載のメッセージ処理方法。
  3. 前記言語メッセージの前記挑発的表現として、怒り又は嫌悪感を生じさせうる言葉の候補を予め定義して前記コンピュータがアクセス可能な記憶装置に記憶し、前記非言語メッセージにおける前記挑発的表現として、怒り又は嫌悪感を生じさせうる顔の表情、口調又はジェスチャを予め定義して前記記憶装置に記憶することを特徴とする請求項1又は2に記載のメッセージ処理方法。
  4. 前記言語メッセージの前記挑発的表現は、悪口、命令型表現又は批判的表現であることを特徴とする請求項3に記載のメッセージ処理方法。
  5. 前記言語メッセージに含まれる悪口を削除することにより、前記挑発的表現を含まないメッセージ情報へ補正することを特徴とする請求項4に記載のメッセージ処理方法。
  6. 前記言語メッセージに含まれる命令型表現又は批判的表現を、前記命令型表現又は批判的表現に対応して予め定義された提案に置き換えることにより、前記挑発的表現を含まないメッセージ情報へ補正することを特徴とする請求項4に記載のメッセージ処理方法。
  7. 前記補正したメッセージ情報を表現するアバターの制御信号を、前記提示情報として出力することを特徴とする請求項1~6のいずれか一項に記載のメッセージ処理方法。
  8. 前記受信したメッセージ情報が前記第1乗員の顔画像を含む場合、前記顔画像に基づいて前記第1乗員の表情が嫌悪感又は怒りを表しているか否かを推定することにより、前記受信したメッセージ情報に含まれる前記第1乗員の表情に挑発的表現があるか否かを判定する、
    ことを特徴とする請求項3に記載のメッセージ処理方法。
  9. 走行する車両の状態に関する車両状態情報を受信する処理と、
    前記車両状態情報に基づいて前記車両が運転マナー違反となる運転操作を行ったか否かを判定し、前記車両が運転マナー違反となる運転操作を行った場合に第1車両として選択する処理と、
    前記第1車両の乗員である第1乗員から検出された言語メッセージ又は非言語メッセージを含んだメッセージ情報を受信する処理と、
    受信した前記メッセージ情報に、予め定義された挑発的表現があるか否かを判定する処理と、
    前記受信したメッセージ情報に前記挑発的表現があると判定した場合、前記受信したメッセージ情報を、前記挑発的表現を含まないメッセージ情報へ補正する処理と、
    補正した前記メッセージ情報を、第2車両の乗員である第2乗員へ提示すべき提示情報として出力する処理と、
    を実行するコンピュータを備えることを特徴とするメッセージ処理装置。
JP2021074905A 2021-04-27 2021-04-27 メッセージ処理方法及びメッセージ処理装置 Active JP7697257B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021074905A JP7697257B2 (ja) 2021-04-27 2021-04-27 メッセージ処理方法及びメッセージ処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021074905A JP7697257B2 (ja) 2021-04-27 2021-04-27 メッセージ処理方法及びメッセージ処理装置

Publications (2)

Publication Number Publication Date
JP2022169082A JP2022169082A (ja) 2022-11-09
JP7697257B2 true JP7697257B2 (ja) 2025-06-24

Family

ID=83944202

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021074905A Active JP7697257B2 (ja) 2021-04-27 2021-04-27 メッセージ処理方法及びメッセージ処理装置

Country Status (1)

Country Link
JP (1) JP7697257B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665671A (zh) * 2023-05-19 2023-08-29 一汽奔腾轿车有限公司 一种跟后车有效沟通方法、装置、终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077592A (ja) 2000-04-13 2002-03-15 Fuji Photo Film Co Ltd 画像処理方法
JP2010183444A (ja) 2009-02-06 2010-08-19 Fuji Xerox Co Ltd 情報処理装置及び音声補正プログラム
JP2013046088A (ja) 2011-08-22 2013-03-04 Nec Corp 音声制御システム、音声制御装置、音声制御方法および音声制御プログラム
JP2017211703A (ja) 2016-05-23 2017-11-30 三菱電機株式会社 運転評価装置および運転評価プログラム
WO2020204948A1 (en) 2019-04-05 2020-10-08 Futurewei Technologies, Inc. Methods and systems that provide emotion modifications during video chats

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077592A (ja) 2000-04-13 2002-03-15 Fuji Photo Film Co Ltd 画像処理方法
JP2010183444A (ja) 2009-02-06 2010-08-19 Fuji Xerox Co Ltd 情報処理装置及び音声補正プログラム
JP2013046088A (ja) 2011-08-22 2013-03-04 Nec Corp 音声制御システム、音声制御装置、音声制御方法および音声制御プログラム
JP2017211703A (ja) 2016-05-23 2017-11-30 三菱電機株式会社 運転評価装置および運転評価プログラム
WO2020204948A1 (en) 2019-04-05 2020-10-08 Futurewei Technologies, Inc. Methods and systems that provide emotion modifications during video chats

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
石坂達也 他,"2ちゃんねるを対象とした悪口表現の抽出",言語処理学会第16回年次大会発表論文集,2010年03月08日,pp.178-181

Also Published As

Publication number Publication date
JP2022169082A (ja) 2022-11-09

Similar Documents

Publication Publication Date Title
JP7638613B2 (ja) 情報処理システム、情報処理方法及びプログラム
US10170111B2 (en) Adaptive infotainment system based on vehicle surrounding and driver mood and/or behavior
US20200108720A1 (en) Agent system, agent control method, and storage medium
JP6612707B2 (ja) 情報提供装置
US20190051302A1 (en) Technologies for contextual natural language generation in a vehicle
JP6150077B2 (ja) 車両用音声対話装置
US10901503B2 (en) Agent apparatus, agent control method, and storage medium
JP2016007989A (ja) 車両制御装置及び車両制御方法
US11450316B2 (en) Agent device, agent presenting method, and storage medium
JP2011242594A (ja) 情報提示システム
JP2018205211A (ja) 情報提供装置及び情報提供方法
JP2018041328A (ja) 車両用情報提示装置
US11386891B2 (en) Driving assistance apparatus, vehicle, driving assistance method, and non-transitory storage medium storing program
JP2019139354A (ja) 情報提供装置及び情報提供方法
JP2007279975A (ja) 車載装置、音声情報提供システムおよび発話速度調整方法
WO2018163470A1 (ja) 運転モード切替制御装置、システム、および方法
US20200319841A1 (en) Agent apparatus, agent apparatus control method, and storage medium
JP7697257B2 (ja) メッセージ処理方法及びメッセージ処理装置
EP4204767B1 (en) Detecting and handling driving event sounds during a navigation session
JP2018151684A (ja) 運転モード切替制御装置、方法およびプログラム
JP2020060861A (ja) エージェントシステム、エージェント方法、およびプログラム
JP2019199179A (ja) 車載装置
JP6596771B2 (ja) 情報提供装置および情報提供方法
JP2009098217A (ja) 音声認識装置、音声認識装置を備えたナビゲーション装置、音声認識方法、音声認識プログラム、および記録媒体
CN111308999B (zh) 信息提供装置以及车载装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20241106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241224

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20250221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250513

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250526

R150 Certificate of patent or registration of utility model

Ref document number: 7697257

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150