JP7605582B2 - 対象案内制御装置、対象案内制御方法、およびプログラム - Google Patents

Description

本発明は、対象案内制御装置、対象案内制御方法、およびプログラムに関する。

従来、車両において経路案内や周囲の施設の案内等を行うガイドシステムが普及している。当該ガイドシステムが搭載されたカーナビゲーション装置は、自動車等の車両における経路案内によく用いられている。また、当該ガイドシステムは、観光客に対する観光案内にも用いられている。

例えば、下記特許文献１には、車内にバスガイド等の案内者がいなくても、観光客に対して観光案内を自動で行うことが可能なガイドシステムが開示されている。当該技術では、車外を撮像可能に設けられた撮像装置が観光案内の対象を撮像した場合、あらかじめ用意された音声データに基づく音声出力により観光案内が行われる。

また、近年では、スマートフォンの普及に伴い、スマートフォンで経路案内や周囲の施設の案内が可能なアプリケーションが普及している。そのため、カーナビゲーション装置がスマートフォンで代用されることもある。さらに、音声認識技術の発展に伴い、音声により制御可能なスピーカ型の音声インタフェース装置（例えばスマートスピーカ）も普及してきている。そのため、将来的に、カーナビゲーション装置がスマートスピーカに置き換わり、ユーザの音声入力に基づき、スマートスピーカが経路案内や車両の周囲の施設の案内等を行う可能性がある。

特開２０１７－１９４８９８号公報

しかしながら、従来のスマートスピーカが移動している車両の車内に設けられた場合、当該スマートスピーカは、車内の情報を取得することはできるが、車外の情報を取得することは困難である。例えば、ユーザが車外のランドマーク等を「あの建物は何？」等のランドマークの名称を特定しない方法で案内の対象として指定した場合、スマートスピーカは、ユーザから案内の要求があったことは認識し得る。しかしながら、ユーザが車外のどのランドマークを案内の対象として指定したかをスマートスピーカが認識することは困難である。そのため、スマートスピーカは、ユーザが指定したランドマークを正しく認識することが難しいため、誤った案内を行う可能性がある。

上述の課題を鑑み、本発明の目的は、車両に乗車しているユーザが案内を求める対象として指定した案内対象に関する案内の精度を向上することが可能な対象案内制御装置、対象案内制御方法、およびプログラムを提供することにある。

上述の課題を解決するために、本発明の一態様に係る対象案内制御装置は、車両に乗車しているユーザの音声と前記ユーザが案内を求める対象である案内対象を指定する前記ユーザのポーズが撮像された車内撮像画像と前記車両の周囲の撮像画像とに基づき、前記ユーザが指定した案内対象の候補を検出する検出部と、前記車両の位置情報に基づき前記車両の周囲の空間情報における前記車両の位置と向きを特定し、特定した前記車両の向きを基準に前記空間情報における前記案内対象の方向を特定し、特定した前記方向に基づいて前記候補から一義的に前記案内対象を決定できるか否かを判定し、決定できた場合は、前記案内対象を特定し、前記案内対象を決定できなかった場合は、前記ユーザに前記案内対象を絞りこむための発話を促すことによって前記ユーザから発話された音声を前記検出部に供給する特定部と、特定した前記案内対象と対応する前記空間情報に基づき、前記案内対象に関する出力情報を出力させる出力制御部と、を備える。

本発明の一態様に係る対象案内制御方法は、車両に乗車しているユーザの音声と前記ユーザが案内を求める対象である案内対象を指定する前記ユーザのポーズが撮像された車内撮像画像と前記車両の周囲の撮像画像とに基づき、前記ユーザが指定した案内対象の候補を検出することと、前記車両の位置情報に基づき前記車両の周囲の空間情報における前記車両の位置と向きを特定し、特定した前記車両の向きを基準に前記空間情報における前記案内対象の方向を特定し、特定した前記方向に基づいて前記候補から一義的に前記案内対象を決定できるか否かを判定し、決定できた場合は、前記案内対象を特定し、前記案内対象を決定できなかった場合は、前記ユーザに前記案内対象を絞りこむための発話を促すことによって前記ユーザから発話された音声を前記検出部に供給することと、特定した前記案内対象と対応する前記空間情報に基づき、前記案内対象に関する出力情報を出力させることと、を含み、プロセッサにより実行される。

本発明の一態様に係るプログラムは、コンピュータを、車両に乗車しているユーザの音声と前記ユーザが案内を求める対象である案内対象を指定する前記ユーザのポーズが撮像された車内撮像画像と前記車両の周囲の撮像画像とに基づき、前記ユーザが指定した案内対象の候補を検出する検出部と、前記車両の位置情報に基づき前記車両の周囲の空間情報における前記車両の位置と向きを特定し、特定した前記車両の向きを基準に前記空間情報における前記案内対象の方向を特定し、特定した前記方向に基づいて前記候補から一義的に前記案内対象を決定できるか否かを判定し、決定できた場合は、前記案内対象を特定し、前記案内対象を決定できなかった場合は、前記ユーザに前記案内対象を絞りこむための発話を促すことによって前記ユーザから発話された音声を前記検出部に供給する特定部と、特定した前記案内対象と対応する前記空間情報に基づき、前記案内対象に関する出力情報を出力させる出力制御部と、として機能させる。

本発明によれば、車両に乗車しているユーザが案内を求める対象として指定した案内対象に関する案内の精度を向上することができる。

本発明の実施形態に係る対象案内制御システムの概要を示す図である。 同実施形態に係る対象案内制御システムの構成例を示すブロック図である。 同実施形態に係る案内対象の候補の検出の例の説明図である。 同実施形態に係る車両の位置情報と３次元地図との対応付けの例の説明図である。 同実施形態に係る対象案内制御システムにおける処理の流れを示すフローチャートである。 同実施形態に係る案内対象特定処理の流れを示すフローチャートである。

以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の実施形態に係る対象案内制御システム１の概要を示す図である。対象案内制御システム１は、図１に示す対象案内制御装置１０、車両２０、およびネットワーク３０で構成される。

対象案内制御装置１０は、車両２０のユーザ４０が案内を求める対象として指定した案内対象に関する案内の制御（以下、「案内制御」とも称される）を行う装置である。対象案内制御装置１０は、例えば、サーバ装置等のコンピュータにより実現される。

対象案内制御装置１０は、図１に示すように、ネットワーク３０を介して車両２０と接続されており、車両２０と情報の送受信が可能である。本実施形態に係る対象案内制御装置１０は、ネットワーク３０を介して車両２０から受信した情報に基づき、案内制御を行う。また、対象案内制御装置１０は、ネットワーク３０を介して、案内制御に関する情報を車両２０へ送信する。

車両２０は、搭乗者（例えばユーザ４０）を乗せて移動する移動体である。本実施形態に係る車両２０は、一例として、自動運転車で実現されるものとする。車両２０が自動運転車である場合、ユーザ４０は、必ずしも運転する必要はない。車両２０は、非自動運転車であってもよい。

車両２０には、各種情報を取得するためのセンサ装置が設けられている。例えば、図１に示すように、マイク２１２、車内カメラ２１４ａ、車内カメラ２１４ｂ、車内カメラ２１４ｃ、車外カメラ２１６ａ、車外カメラ２１６ｂ、およびスピーカ２４２が車両２０に設けられる。マイク２１２は、車両２０の車内で生じた音声を取得可能に設けられる。車内カメラ２１４ａ～２１４ｃ（以下、「車内カメラ２１４」とも称される）は、車両２０の車内の様子を撮像可能に設けられる。例えば、車内カメラ２１４は、図１に示すように、それぞれ車両２０の上部前方、上部中央、上部後方に設けられ、各々の位置から車両２０の車内を撮像して撮像画像（静止画像または動画像）を取得する。車外カメラ２１６ａおよび車外カメラ２１６ｂ（以下、「車外カメラ２１６」とも称される）は、車両２０の車外の様子を撮像可能に設けられる。例えば、車外カメラ２１６は、図１に示すように、それぞれ車両２０の前方と後方に設けられ、各々の位置から車両２０の車外を撮像する。なお、車両２０に設けられるセンサ装置の種類、数、および位置は、図１に示す例に限定されない。

車両２０には、出力情報を出力するための出力装置も設けられている。例えば、図１に示すように、スピーカ２４２が車両２０に設けられる。スピーカ２４２は、出力情報として案内対象に関する情報（以下、「案内情報」とも称される）を車両２０の車内に向けて出力可能に設けられる。なお、車両２０に設けられる出力装置の種類、数、および位置は、図１に示す例に限定されない。また、出力装置は、ユーザ４０が有する端末であってもよい。ユーザ４０が有する端末は、例えば、スマートフォン、タブレット端末、ヒアラブル端末等である。

案内対象は、車両２０の周囲に存在するランドマークの内、ユーザ４０が指定したランドマークである。図１に示すように、車両２０の周囲にはランドマークとしてビル５０とビル５１がある。進行方向が矢印２２の方向である車両２０の車内にいるユーザ４０から見て、ビル５０はユーザ４０の右前方にあり、ビル５１はユーザ４０の左前方にある。なお、ランドマークはビルに限定されない。
案内情報は、案内対象の紹介情報、案内対象までの経路情報等を含む。

図１では、ユーザ４０は、吹き出し４２に示されるように「右前のビル」と発話し、音声により案内対象を指定している。同時に、ユーザ４０は、指で矢印４４の方向（ユーザ４０から見て右前方）を指す動作により案内対象を指定している。これより、図１における案内対象はビル５０と特定される。なお、ユーザ４０は、案内対象を指定する際に、質問形式の発話を行ってもよい。例えば、ユーザ４０は、「右前のビルは何？」と発話してもよい。

このような案内対象を特定する処理（以下、「案内対象特定処理」とも称される）は、車両２０にて取得される音声や、ユーザ４０が案内対象を指定する動作に基づき、対象案内制御装置１０により行われる。ユーザ４０が案内対象を指定する動作は、例えば、指で指す動作、棒状の物（例えば指示棒、ペンなど）で指す動作、腕全体で指す動作などである。また、対象案内制御装置１０は、ユーザ４０の顔の向きや視線の方向を示す情報も用いて、案内対象特定処理を行ってもよい。なお、案内対象特定処理の詳細は後述される。

なお、対象案内制御装置１０は、その構成要素の一部または全部を、車両２０に備えることが可能な装置として実現されてもよい。車両２０に備えられた対象案内制御装置１０の構成要素は、車両２０が備える各装置と情報の送受信が可能になるように、各装置と有線または無線により接続され得る。一方、車両２０に備えられなかった対象案内制御装置１０の構成要素は、例えばサーバ装置等により実現され、ネットワーク３０を介して、車両２０に備えられた対象案内制御装置１０の構成要素や、車両２０が備える各装置と連携を行い得る。

以上、本実施形態の概要について説明した。続いて、本実施形態に係る対象案内制御システム１の構成例について説明する。図２は、本実施形態に係る対象案内制御システム１の構成例を示すブロック図である。なお、以下では、対象案内制御装置１０の構成要素の全部が車両２０には備えられず、サーバ装置等により実現される場合の対象案内制御システム１の構成例について説明する。

（車両２０の構成例）
図２に示すように、車両２０は、取得部２１０、通信部２２０、制御部２３０、および案内情報出力部２４０を備える。

（取得部２１０）
取得部２１０は、各種情報を取得する機能を有する。当該機能は、多様なセンサ装置により実現され得る。本実施形態に係る取得部２１０は、例えば、上述したマイク２１２、車内カメラ２１４、車外カメラ２１６等のセンサ装置を備える。また、取得部２１０は、車両２０の位置情報を取得するセンサ装置を備えてもよい。一例として、取得部２１０は、ＧＰＳ（Global Positioning System）を備える。これらのセンサ装置によるセンシング情報の取得後、取得部２１０は、センシング情報を通信部２２０へ出力する。

なお、取得部２１０が備えるセンサ装置はかかる例に限定されない。例えば、取得部２１０は、車両２０の車内外の様子を示す情報を取得するセンサ装置として、ＬｉＤＡＲ（Laser Imaging Detection and Ranging）等の測距センサを備えてもよい。

（通信部２２０）
通信部２２０は、外部装置と通信を行う機能を有する。通信部２２０は、外部装置との通信にて受信する情報を制御部２３０へ出力する。一例として、通信部２２０は、ネットワーク３０を介して対象案内制御装置１０から受信した案内情報を、制御部２３０へ出力する。また、通信部２２０は、取得部２１０から入力される情報を対象案内制御装置１０へ送信する。一例として、通信部２２０は、取得部２１０から入力されるセンシング情報を、ネットワーク３０を介して対象案内制御装置１０へ送信する。

（制御部２３０）
制御部２３０は、車両２０の動作全般を制御する機能を有する。制御部２３０は、例えば、車両２０がハードウェアとして備えるＣＰＵ（Central Processing Unit）にプログラムを実行させることによって実現される。例えば、制御部２３０は、取得部２１０が有する各センサ装置の動作を制御する。また、制御部２３０は、通信部２２０から入力される案内情報の案内情報出力部２４０への出力を制御する。また、車両２０が自動運転車である場合、制御部２３０は、車両２０の自動運転を制御する。

（案内情報出力部２４０）
案内情報出力部２４０は、案内情報の出力を行う機能を有する。案内情報は、例えば、制御部２３０から入力され、多様な出力装置により出力され得る。例えば、案内情報出力部２４０がスピーカ等の音声出力装置を備える場合、案内情報出力部２４０は、音声に変換された案内情報をスピーカから出力する。また、案内情報出力部２４０がディスプレイ等の表示装置を備える場合、案内情報出力部２４０は、画像に変換された案内情報をディスプレイに表示する。

（対象案内制御装置１０の構成例）
図２に示すように、対象案内制御装置１０は、通信部１１０、制御部１２０、および記憶部１３０を備える。

（通信部１１０）
通信部１１０は、外部装置と通信を行う機能を有する。通信部１１０は、外部装置との通信にて受信する情報を制御部１２０へ出力する。一例として、通信部１１０は、ネットワーク３０を介して車両２０から受信したセンシング情報を、制御部１２０へ出力する。また、通信部１１０は、制御部１２０から入力される情報を車両２０へ送信する。一例として、通信部１１０は、制御部１２０から入力される案内情報を、ネットワーク３０を介して車両２０へ送信する。

（制御部１２０）
制御部１２０は、対象案内制御装置１０の動作全般を制御する機能を有する。制御部１２０は、例えば、対象案内制御装置１０がハードウェアとして備えるＣＰＵにプログラムを実行させることによって実現される。当該機能を実現するために、制御部１２０は、検出部１２２、特定部１２４、および出力制御部１２６を備える。

（検出部１２２）
検出部１２２は、案内対象の候補を検出する機能を有する。例えば、検出部１２２は、車両２０に乗車しているユーザ４０の音声とユーザ４０が案内対象を指定する動作と車両２０の周囲の撮像画像とに基づき、案内対象の候補を検出する。具体的に、検出部１２２は、撮像画像を分析することで案内対象の候補群を検出し、音声を分析して検出する案内対象に関連する自然言語と、ユーザ４０の動作を分析して検出する方向とに基づき、候補群の中から方向に存在する候補を検出する。

ここで、図３を参照しながら、案内対象の候補の検出の例について説明する。図３は、本実施形態に係る案内対象の候補の検出の例の説明図である。まず、検出部１２２は、車両２０のマイク２１２が取得する音声を分析することで、音声から自然言語を検出する。検出した自然言語から、ユーザ４０が案内を求めていることを示すボイスコマンドが検出された場合、検出部１２２は、さらに音声を分析し、案内対象に関する自然言語を検出する。例えば、検出部１２２は、吹き出し４２に示す「右前のビル」という音声を案内対象に関連する自然言語として検出する。図３に示す例では、ユーザ４０は車両２０の進行方向である矢印２２の方向を向いているため、検出部１２２は、検出した自然言語から車両２０の右前にあるビル５０をユーザ４０が指していることを検出できる。

さらに、検出部１２２は、車両２０の車内カメラ２１４が取得する車内の撮像画像に写るユーザ４０のポーズを分析することで、ユーザ４０が矢印４４の方向を指していることを検出する。また、検出部１２２は、車両２０の車外カメラ２１６が取得する車外の撮像画像に写る車外風景を分析することで、図３に示すビル５０とビル５１を案内対象の候補群として検出する。以上の検出結果より、検出部１２２は、候補群の中から、車両２０の右前かつ矢印４４の方向にあるビル５０を案内対象の候補として検出する。

以上説明したように、検出部１２２は、移動している車両２０の車内のユーザ４０の音声とユーザ４０の動作に基づき、車両２０の車外風景から検出された案内対象の候補群とユーザ４０が指定した案内対象とを結び付けることができる。かかる構成により、検出部１２２は、移動している車両２０の車外のランドマークを案内対象の候補として検出することができる。また、検出部１２２は、案内対象の候補の検出時に、車両２０の車内のユーザ４０の音声とユーザ４０の動作の両方を用いるため、案内対象の候補の検出の精度を向上することができる。なお、検出部１２２は、候補群の中から、１つの案内対象の候補を検出してもよいし、複数の案内対象の候補を検出してもよい。

（特定部１２４）
特定部１２４は、検出部１２２が検出した案内対象の候補から、ユーザ４０が指定した案内対象を特定する機能を有する。例えば、特定部１２４は、車両２０の位置情報に基づき車両２０の周囲の空間情報における車両２０の位置と向きを特定し、特定した車両２０の向きを基準に空間情報における案内対象の方向を特定し、特定した方向に基づいて案内対象の候補から案内対象を特定する。本実施形態に係る車両２０の周囲の空間情報は、例えば、車両２０の周囲の３次元地図、３次元地図上のランドマークのメタデータ等を含むランドマーク情報等である。なお、空間情報は、かかる例に限定されない。

ここで、図４を参照しながら、車両２０の位置情報と３次元地図との対応付けについて説明する。図４は、本実施形態に係る車両２０の位置情報と３次元地図との対応付けの例の説明図である。図４に示すように、３次元地図６０は、ビル５０、ビル５１、および山５２等のランドマークの３次元データを有するものとする。

まず、特定部１２４は、車両２０のＧＰＳが取得する位置情報から３次元地図における車両２０の位置と向きを特定し、車両２０を３次元地図上にマッピングする。車両２０の向きは、例えば、ジャイロセンサのセンシング情報や車両２０の移動履歴等に基づき特定されてもよい。次いで、特定部１２４は、３次元地図上にて、矢印２２が示す車両２０の向きを基準に、ユーザ４０が指定した案内対象の方向を特定する。そして、特定部１２４は、案内対象の候補から、特定した方向（矢印４４）に存在する候補であるビル５０を案内対象として特定する。

以上説明したように、特定部１２４は、車両２０の位置情報と３次元地図に基づき、検出部１２２が検出した案内対象の候補から、ユーザ４０が指定した案内対象を３次元地図上で一義的に特定することができる。かかる構成により、特定部１２４は、検出部１２２が１つの案内対象の候補を検出した場合には、案内対象であることの確度を高めることができる。また、特定部１２４は、検出部１２２が複数の案内対象の候補を検出した場合には、案内対象を絞り込むことができる。これにより、案内対象の特定精度が向上するため、ユーザ４０が指定した案内対象に関する案内の精度も向上することが可能となる。

（出力制御部１２６）
出力制御部１２６は、車両２０における出力を制御する機能を有する。例えば、出力制御部１２６は、特定した案内対象と対応する空間情報に基づき、案内対象に関する出力情報を車両２０の出力装置に出力させる。具体的に、まず、出力制御部１２６は、特定した案内対象のメタデータをランドマーク情報から取得し、メタデータに基づき案内情報を生成する。そして、出力制御部１２６は、生成した案内情報を通信部１１０に車両２０へ送信させ、車両２０の出力装置に案内情報を出力させる。

案内対象がビルである場合、メタデータは、例えば、ビルの名称、住所、フロア数、各フロアのテナント情報等である。出力制御部１２６は、これらのメタデータに基づき、例えば、「あのビルはＡＡＡビルです。」という紹介文を紹介情報として生成する。そして、出力制御部１２６は、車両２０の出力装置に応じて、出力装置に紹介情報を出力させる。例えば、出力装置が音声出力装置である場合、出力制御部１２６は、紹介文を音声に変換して音声出力装置に出力させる。また、出力装置が表示装置である場合、出力制御部１２６は、紹介文を画像に変換して表示装置に出力させる。かかる構成により、ユーザ４０に対して、案内対象の特定後に取得するランドマーク情報に基づき、特定した案内対象や取得したランドマーク情報に応じた柔軟な案内を行うことができる。

案内情報の生成時、出力制御部１２６は、車両２０やユーザ４０の状況、ユーザ４０のプロファイル情報に応じて、案内情報を生成してもよい。車両２０の状況は、例えば、車両２０の位置、向き、速度、移動経路等である。ユーザ４０の状況は、例えば、ユーザ４０の姿勢、車内におけるユーザ４０の位置等である。ユーザ４０のプロファイル情報は、例えば、ユーザ４０の名前、性別、身長、体重、趣味、対象案内制御システムの使用履歴等である。出力制御部１２６は、ユーザ４０のプロファイル情報に基づき、例えば、「あのビルはＡＡＡビルです。ビルの中には、以前にご案内したＢＢＢカフェがあります。」という紹介文を紹介情報として生成する。かかる構成により、ユーザ４０に対して、車両２０やユーザ４０の状況、ユーザ４０のプロファイル情報に応じた柔軟な案内を行うことができる。

（記憶部１３０）
記憶部１３０は、各種情報を記憶する機能を有する。記憶部１３０は、記憶媒体、例えば、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＡＭ（Random Access read/write Memory）、ＲＯＭ（Read Only Memory）、またはこれらの記憶媒体の任意の組み合わせによって構成される。記憶部１３０は、例えば、不揮発性メモリを用いることができる。

記憶部１３０、例えば、３次元地図やランドマーク情報等の車両２０の周囲の空間情報を記憶する。また、記憶部１３０は、車両２０の取得部２１０が取得したセンシング情報、対象案内制御装置１０の特定部１２４が案内対象として特定したランドマーク、出力制御部１２６が生成した出力情報、ユーザ４０のプロファイル情報等を記憶してもよい。

以上、対象案内制御装置１０の構成要素の全部が車両２０には備えられずサーバ装置等により実現される場合の対象案内制御システム１の構成例について説明した。なお、対象案内制御システム１の構成例はかかる例に限定されない。例えば、対象案内制御装置１０の構成要素の全部が車両２０に備えられる場合、外部装置と通信を行う機能を有する構成要素として、通信部１１０または通信部２２０の少なくとも一方が車両２０に設けられればよい。

（対象案内制御システム１における処理の流れ）
続いて、本実施形態に係る対象案内制御システム１における処理の流れについて説明する。図５は、本実施形態に係る対象案内制御システム１における処理の流れを示すフローチャートである。なお、以下では、対象案内制御装置１０の構成要素の全部が車両２０には備えられず、サーバ装置等により実現される場合の対象案内制御システム１における処理の流れの例について説明する。

まず、車両２０のマイク２１２は、車両２０の車内における音声を取得する（Ｓ１０２）。マイク２１２が取得した音声は、ネットワーク３０を介して対象案内制御装置１０へ送信される。マイク２１２が音声を取得すると、車両２０の制御部２３０は、車両２０の車内カメラ２１４をオンにする（Ｓ１０４）。また、制御部２３０は、車両２０の車外カメラ２１６もオンにする（Ｓ１０６）。

次いで、ユーザ４０が発話すると（Ｓ１０８）、マイク２１２がユーザ４０の発話を含む音声を取得し、当該音声がネットワーク３０を介して対象案内制御装置１０へ送信される。次いで、対象案内制御装置１０の制御部１２０は、案内を求めるボイスコマンドが受信した音声に含まれるか否かを判定する（Ｓ１１０）。音声にボイスコマンドが含まれない場合（Ｓ１１０／ＮＯ）、対象案内制御システム１は、音声にボイスコマンドが含まれるまでＳ１０８とＳ１１０の処理を行う。音声にボイスコマンドが含まれる場合（Ｓ１１０／ＹＥＳ）、制御部１２０は、案内対象特定処理を行う（Ｓ１１２）。なお、案内対象特定処理の詳細は後述される。

案内対象特定処理後、制御部１２０は、案内対象として特定したランドマークを記録する（Ｓ１１４）。次いで、制御部１２０は、ランドマークのメタデータを３次元地図から取得する（Ｓ１１６）。次いで、制御部１２０は、車両２０やユーザ４０の状況とユーザ４０のプロファイル情報に応じて紹介文を生成する（Ｓ１１８）。紹介文の生成後、制御部１２０は、紹介文を音声に変換し、変換した音声を車両２０のスピーカ２４２に出力させることで、紹介文の読み上げを行う（Ｓ１２０）。紹介文の読み上げ後、制御部１２０は、次の対話があるか否かを判定する（Ｓ１２２）。次の対話がある場合（Ｓ１２２／ＹＥＳ）、制御部１２０は、Ｓ１１０から処理を繰り返す。次の対話がない場合（Ｓ１２２／ＮＯ）、制御部１２０は、次に音声が取得されるまで処理を終了する。

（案内対象特定処理の流れ）
続いて、Ｓ１１２の案内対象特定処理の詳細について説明する。図６は、本実施形態に係る案内対象特定処理の流れを示すフローチャートである。

まず、制御部１２０は、音声に含まれる自然言語を分析する（Ｓ２０２）。次いで、制御部１２０は、車両２０からネットワーク３０を介して受信する車内カメラ２１４の撮像画像に写るユーザ４０のポーズを分析する（Ｓ２０４）。次いで、制御部１２０は、車両２０からネットワーク３０を介して受信する車外カメラ２１６の撮像画像に写る車外風景を分析する（Ｓ２０６）。

自然言語、ポーズ、および車外風景の分析後、制御部１２０は、案内対象を検出できたか否かを判定する（Ｓ２０８）。案内対象を検出できなかった場合（Ｓ２０８／ＮＯ）、制御部１２０は、ユーザ４０に対して再度発話を促す（Ｓ２２０）。

案内対象を検出できた場合（Ｓ２０８／ＹＥＳ）、制御部１２０は、車両２０の位置と向きを取得する（Ｓ２１０）。次いで、制御部１２０は、車両２０の位置と向きを３次元地図と対応付ける（Ｓ２１２）。次いで、制御部１２０は、ユーザ４０のポーズの向きを車両２０の向きと対応付ける（Ｓ２１４）。次いで、制御部１２０は、車両２０の車外風景が写った撮像画像を３次元地図と対応付ける（Ｓ２１６）。

各対応付け後、制御部１２０は、案内対象が３次元地図上で一義的に決定できるか否かを判定する（Ｓ２１８）。案内対象を一義的に決定できなかった場合（Ｓ２１８／ＮＯ）、制御部１２０は、ユーザ４０に対して、案内対象を絞り込むための発話を促す（Ｓ２２２）。案内対象を一義的に決定できた場合（Ｓ２１８／ＹＥＳ）、制御部１２０は、案内対象特定処理を終了する。

以上、対象案内制御装置１０の構成要素の全部が車両２０には備えられず、サーバ装置等により実現される場合の対象案内制御システム１における処理の流れの例について説明した。なお、対象案内制御システム１における処理の流れはかかる例に限定されない。例えば、対象案内制御装置１０の構成要素の全部が車両２０に備えられる場合、対象案内制御システム１は、ネットワーク３０を介さずに処理を行い得る。

以上説明したように、本実施形態に係る対象案内制御装置１０は、移動している車両２０の車内のユーザ４０の音声とユーザ４０の動作に基づき、車両２０の車外風景から検出された案内対象の候補群とユーザ４０が指定した案内対象とを結び付ける。これにより、対象案内制御装置１０は、移動している車両２０の車外のランドマークを案内対象の候補として検出することができる。
また、本実施形態に係る対象案内制御装置１０は、車両２０の車内のユーザ４０の音声とユーザ４０の動作の両方を用いて案内対象の候補を検出する。これにより、対象案内制御装置１０は、案内対象の検出の精度を向上することができる。
また、本実施形態に係る対象案内制御装置１０は、車両２０の位置情報と３次元地図に基づき、３次元地図上で案内対象を一義的に特定する。これにより、対象案内制御装置１０は、案内対象の特定の精度を向上し、さらに、ユーザ４０が指定した案内対象に関する案内の精度も向上することができる。
したがって、本実施形態に係る対象案内制御装置１０は、車両２０に乗車しているユーザ４０が案内を求める対象として指定した案内対象に関する案内の精度を向上することができる。

（変形例）
以上、本発明の実施形態について説明した。続いて、本発明の実施形態の変形例について説明する。なお、以下に説明する各変形例は、単独で本発明の実施形態に適用されてもよいし、組み合わせで本発明の実施形態に適用されてもよい。また、各変形例は、本発明の実施形態で説明した構成に代えて適用されてもよいし、本発明の各実施形態で説明した構成に対して追加的に適用されてもよい。

（第１の変形例）
上述した実施形態では、対象案内制御装置１０がユーザ４０に指定された案内対象に関する案内の制御を行う例について説明したが、かかる例に限定されない。車両２０の周囲にユーザ４０が興味を持ちそうなランドマークがある場合、対象案内制御装置１０は、ユーザ４０からの指定がなくても当該ランドマークを案内対象として案内の制御を行ってもよい。ユーザ４０が興味を持ちそうなランドマークは、例えば、車両２０の位置情報やユーザ４０のプロファイル情報等に基づき検出される。かかる構成により、ユーザ４０に対して、ユーザ４０に応じた柔軟な案内を行うことができる。

（第２の変形例）
上述した実施形態では、対象案内制御装置１０が車両２０の出力装置に案内情報を出力させる例について説明したが、かかる例に限定されない。例えば、検出部１２２が検出した自然言語から、ユーザ４０が経路変更を求めていることを示すボイスコマンドが検出された場合、案内情報は車両２０の制御部２３０に対して出力されてもよい。この時、制御部２３０には、変更後の経路を示す経路情報が案内情報として入力される。そして、制御部２３０は、入力された経路情報に基づき、車両２０が変更後の経路に沿って移動するように、車両２０の自動運転を制御する。

（第３の変形例）
上述した実施形態では、出力制御部１２６がメタデータに基づき案内情報を生成する例について説明したが、係る例に限定されない。出力制御部１２６は、ウェブサービスから案内対象に関する情報を取得し、取得した情報に基づき案内情報を生成してもよい。

以上、本発明の実施形態の変形例について説明した。なお、上述した実施形態における対象案内制御装置１０をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１…対象案内制御システム、１０…対象案内制御装置、２０…車両、３０…ネットワーク、１１０…通信部、１２０…制御部、１２２…検出部、１２４…特定部、１２６…出力制御部、１３０…記憶部、２１０…取得部、２１２…マイク、２１４…車内カメラ、２１６…車外カメラ、２２０…通信部、２３０…制御部、２４０…案内情報出力部

Claims (5)

1. 車両に乗車しているユーザの音声と前記ユーザが案内を求める対象である案内対象を指定する前記ユーザのポーズが撮像された車内撮像画像と前記車両の周囲の撮像画像とに基づき、前記ユーザが指定した案内対象の候補を検出する検出部と、
   前記車両の位置情報に基づき前記車両の周囲の空間情報における前記車両の位置と向きを特定し、特定した前記車両の向きを基準に前記空間情報における前記案内対象の方向を特定し、特定した前記方向に基づいて前記候補から一義的に前記案内対象を決定できるか否かを判定し、決定できた場合は、前記案内対象を特定し、前記案内対象を決定できなかった場合は、前記ユーザに前記案内対象を絞りこむための発話を促すことによって前記ユーザから発話された音声を前記検出部に供給する特定部と、
   特定した前記案内対象と対応する前記空間情報に基づき、前記案内対象に関する出力情報を出力させる出力制御部と、
   を備える、対象案内制御装置。
2. 前記検出部は、前記撮像画像を分析することで前記案内対象の候補群を検出し、前記音声を分析して検出する前記案内対象に関連する自然言語と、前記車内撮像画像に含まれる前記ユーザのポーズを分析して検出する前記方向とに基づき、前記候補群の中から前記方向に存在する前記候補を検出する、請求項１に記載の対象案内制御装置。
3. 前記出力制御部は、特定した前記案内対象のメタデータを前記空間情報から取得し、前記メタデータに基づき前記出力情報を生成する、請求項１または２に記載の対象案内制御装置。
4. 車両に乗車しているユーザの音声と前記ユーザが案内を求める対象である案内対象を指定する前記ユーザのポーズが撮像された車内撮像画像と前記車両の周囲の撮像画像とに基づき、前記ユーザが指定した案内対象の候補を検出することと、
   前記車両の位置情報に基づき前記車両の周囲の空間情報における前記車両の位置と向きを特定し、特定した前記車両の向きを基準に前記空間情報における前記案内対象の方向を特定し、特定した前記方向に基づいて前記候補から一義的に前記案内対象を決定できるか否かを判定し、決定できた場合は、前記案内対象を特定し、前記案内対象を決定できなかった場合は、前記ユーザに前記案内対象を絞りこむための発話を促すことによって前記ユーザから発話された音声を前記検出部に供給することと、
   特定した前記案内対象と対応する前記空間情報に基づき、前記案内対象に関する出力情報を出力させることと、
   を含む、プロセッサにより実行される対象案内制御方法。
5. コンピュータを、
   車両に乗車しているユーザの音声と前記ユーザが案内を求める対象である案内対象を指定する前記ユーザのポーズが撮像された車内撮像画像と前記車両の周囲の撮像画像とに基づき、前記ユーザが指定した案内対象の候補を検出する検出部と、
   前記車両の位置情報に基づき前記車両の周囲の空間情報における前記車両の位置と向きを特定し、特定した前記車両の向きを基準に前記空間情報における前記案内対象の方向を特定し、特定した前記方向に基づいて前記候補から一義的に前記案内対象を決定できるか否かを判定し、決定できた場合は、前記案内対象を特定し、前記案内対象を決定できなかった場合は、前記ユーザに前記案内対象を絞りこむための発話を促すことによって前記ユーザから発話された音声を前記検出部に供給する特定部と、
   特定した前記案内対象と対応する前記空間情報に基づき、前記案内対象に関する出力情報を出力させる出力制御部と、
   として機能させるためのプログラム。

Images