JP6901992B2 - 案内ロボットシステム及び言語選択方法 - Google Patents

Description

本発明は、複数の言語で案内を行う案内ロボットシステム及び案内方法に関するものである。

従来、ロボットを施設に設置して案内サービスを提供するとき、案内ロボットが動かずに停止していると、案内ロボットに何ができるのかユーザにはわからず、その結果利用されないという問題があった。

例えばポスター等により「案内ロボット」等と表示したとしても、案内サービスを提供中なのかどうかわからず、人間の説明者がロボットの傍に立ち利用を呼び掛けるなどのアピールを行わなければ利用してもらえないという問題があった。

また一方で、ロボット自体が案内サービスを音声で呼びかける場合にも、案内ロボットが使用する言語については、設定されている言語を用いることになるが、この設定されている言語と異なる言語で会話するユーザは、案内サービスを利用するのが困難となる。

言語の切り替え方法については、電子辞書のような装置で音声入力を受け取り、入力された音声を音声識別してデータ変換し、このデータと予め言語ごとに登録しておいたデータとを照合し、一致した言語へ切り替える技術が開示されている（例えば特許文献１）。

特開２００１−２８２７８８号公報

上述のような特許文献１の技術の場合、まずはユーザが音声を発し、これを受けて言語の切り替えを行うが、これを案内ロボットに適用すると、ユーザが音声を発するまで、案内ロボットは動かずに停止したままとなる。よって、案内ロボットに何ができるのかユーザにはわからず、その結果利用されないという上記問題が解消されない。また、特許文献１の技術の場合、ユーザが音声を発するまで、どのような言語を用いることができるのかを知ることができない。これは、特許文献１の技術が受動的な動作（ユーザから入力があってはじめて動作する）となっていることに起因する。

本発明は、このような問題点を解決すべくなされたもので、使用可能な言語を能動的に知らせるとともに、案内サービスに使用する言語を、対面しているユーザが使用する言語に変更する技術を提供することを目的とする。

かかる課題を解決するため、本発明は、言語ごとに設けられる会話処理部を用いて、案内サービスを提供する案内ロボットシステムであって、各言語に対応付けられた時間で、各々の言語を用いて順番に繰り返し話かけるようにロボットを制御する話しかけ部と、話しかけを行っているときに前記ロボットの前に対面している人がいることを検知する対面検知部と、当該対面者の話す言語の中から特定のキーワードを検出するキーワード検出部と、前記キーワード検出部により検出されたキーワードに基づいて、事前に登録されている複数の言語の中から一つの言語を選択する言語選択部と、前記対面検知部が対面者を検知したときに前記ロボットが話しかけている言語と対応付けられている会話処理部で、会話を始めるように制御するとともに、その後、前記言語選択部により選択された言語と対応付けられている会話処理部により会話を継続するように制御する会話制御部と、を有することを特徴とする。

複数の言語で案内サービスを提供するロボットが案内サービスに使用する言語をユーザが使用する言語に変更することができる。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

案内ロボットシステムの全体構成例を示す図である。 ロボットの構成例を示す図である。 ロボット制御装置の構成例を示す図である。 ロボット管理サーバの構成例を示す図である。 実施形態の動作例を示すフローチャートである。 キーワードテーブルの一例を示す図である。 言語テーブルの一例を示す図である。

以下図面について、本発明の案内ロボットシステム及び言語選択方法の一実施形態を説明する。
図１は、実施形態の案内ロボットシステム全体の構成例を示した図である。案内ロボットシステム１は、複数の言語で案内サービスを提供するシステムである。ロボット４とロボット制御装置３は、無線通信で接続され案内サービスを提供する建物５や敷地内に設置される。ロボット４は、ロボット制御装置３から制御命令を受け取り、建物を利用するユーザに建物５内の設備やテナントの場所、テナントの提供する商品、サービス等を紹介する案内サービスを実施する。

図１では、１台のロボット制御装置３とそれに接続された１台のロボット４が記載されているが、施設の規模や種類により複数のロボット制御装置３および複数のロボット４を配置して、サービスを提供してもよい。複数のロボットを設置することにより、ロボット毎にサービス内容を変更し、ロボット毎に話す言語の割合を変更することも可能となる。

建物５内に設置されたロボット制御装置３は、ネットワーク６を介してロボット管理サーバ２に接続される。本実施形態では、建物を一つのみ記載しているが、複数の建物を一つロボット管理サーバ２が管理することも可能である。ロボット管理サーバ２は、どの建物にどのロボットが配置され、正常に動作しているか、またメンテナンスが必要かどうかを管理している。ロボット管理サーバ２を設けることで、例えば、交換や修理が必要な場合、代替ロボットの機体や部品を手配して、技術者とともに設置建物に送り、早期に復旧させて案内サービスを再提供することができる。

図２は、ロボット４の構成例を示した図である。ロボット４は、各種の処理を行うＣＰＵ（Central Processing Unit）１０と、記憶装置１１（主記憶装置および補助記憶装置を含んだ記憶装置）とを有する。記憶装置１１は、ＣＰＵ１０に接続されており、駆動機構３５を制御する駆動制御部２０、会話を制御する会話制御部２１、入出力装置１２との入出力を行う入出力部２２などのソフトウェアモジュールやデータを記憶する。

ロボット４は、周辺機器として入出力装置１２を有している。ロボット４は、入出力装置１２として、音声を発するスピーカ３４および周囲の音声を集音するマイク３１を有し、これらを用いてユーザとの会話を行う。またロボット４は、入出力装置１２として、外部周囲を撮像するカメラ３０および物体を検出し当該物体までの距離を計測する測域センサ３３を有し、これらを用いてユーザや障害物を認識する。ロボット４は、入出力装置１２として、機体姿勢を検出するためのジャイロセンサ３２、およびロボット４の機体姿勢を制御し、ロボット４を移動させるための駆動機構３５を有する。またロボット４は、ロボット制御装置３との間で無線通信を行うための通信インターフェイス１３とを備える。

ＣＰＵ１０が記憶装置１１に記憶されたソフトウェアモジュールを読み出して実行することで、ロボット４の上記機能（駆動制御部２０、会話制御部２１、および入出力部２２）が実現される。

ロボット４は、カメラ３０から映像（画像）を取得し、マイク３１から音声を取得して、ロボット制御装置３に送信する。ロボット４は、ロボット制御装置３からの指示に基づいて、建物５内を駆動機構３５により移動する。また、ロボット４は、移動中にカメラ３０の画像および測域センサ３３の出力値に基づいて障害物を検知し、駆動制御部２０により自律的に移動を停止したり、障害物を回避したりする。

図３は、ロボット制御装置３の構成の例を示す。ロボット制御装置３は、各種の処理を行うＣＰＵ４０と、各種ソフトウェアモジュール、テーブル等のデータを格納する記憶装置４１（主記憶装置および補助記憶装置を含んだ記憶装置）を有する。またロボット制御装置３は、ロボット４およびロボット管理サーバ２と相互通信可能な通信インターフェイス４２を備える。

ＣＰＵ４０は記憶装置４１に記憶されたプログラムを読み出して、各種機能を実行する。本実施形態では、ロボット制御装置３の機能として、入力データ処理部５０、移動指示部５１、対面検知部５２、音声認識部５３、キーワード検出部６４、言語選択部８１、言語切り替え部５４、言語テーブル６５、サービスフロー処理部５５、サービスフロー５６、会話制御部６６、キーワードテーブル６７、施設情報テーブル６３が実現される。また、会話制御部６６は、話しかけ部６８、会話処理部（日本語）５７、会話処理部（英語）５９、会話処理部（中国語）６１を含み、キーワードテーブル６７は、日本語キーワードテーブル５８、英語キーワードテーブル６０、中国語キーワードテーブル６２を含んでいる。

会話制御部６６は、いずれの会話処理部を用いて会話を行うかを制御する処理部であり、ユーザとの会話を始めるための話しかけ処理を実施する話しかけ部６８を有している。話しかけ部６８は、各言語に対応付けられた時間で、各々の言語を用いて順番に繰り返し話かけるようにロボット４を制御する。尚、「話しかけ」は、「引き込み」とも換言することができ、これらは同義である。「引き込み」は、広い意味でロボットを利用してもらうためのユーザを引き込むための要素全般である。すなわち、「話しかけ」は、単なる発話のみならず、ロボットの身振り手振りの動作、サイネージ表示連携、掲示なども、概念上含んでもよい。

入力データ処理部５０は、ロボット４から受信したデータを処理する。移動指示部５１は、ユーザを該当場所まで案内するときのその移動先を指定するなどの移動指示を行う。

対面検知部５２は、ロボット４が話しかけを行っているときに、ロボット４の前に対面している人がいることを検知する。対面検知部５２は、ロボット４のカメラ３０および測域センサ３３から得られた画像情報や障害物情報を取得し、これらの情報に基づき、ユーザと対面状態にあるかどうかを検知する。本実施形態では、対面検知している間は案内サービスを継続し、ユーザがロボットから離れて対面検知しなくなれば案内を中止して話しかけ処理を始める。このようにすれば、ロボット４が誤認識した言語で案内をした場合、これを中止させることができる。

音声認識部５３は、ロボット４より送信される、ロボット４のマイク３１から集音されたユーザの音声データを従前技術に基づき解析処理し、音声認識を行う。音声認識部５３は、取得した音声データを、キーワード検索などの後処理に適したデータ（例えばテキストデータ）に変換する。音声認識部５３により処理した後のデータをここでは認識データと称する。

キーワード検出部６４は、認識データを基に、キーワードテーブル６７を検索することで、対面者の話す言語の中から特定のキーワードを検出する。キーワード検出部６４は、言語ごとに用意されたキーワードテーブルをそれぞれ検索する。ここでは、日本語キーワードテーブル５８、英語キーワードテーブル６０、中国語キーワードテーブル６２が事前に用意されている。言語選択部８１は、キーワードテーブル５８、６０、６２のいずれが用いられて検索されたかを特定する。これにより、言語選択部８１は、日本語、英語、中国語の中から、対面者の話す言語を一つ選択することができる。本実施形態では、日本語、英語、中国語の各言語を一意に識別するための識別情報と、キーワードテーブル５８、６０、６２とが対応付けられており、言語選択部８１は、特定した識別情報を、会話制御部６６や言語切り替え部５４などの後段の処理部に出力する。

言語切り替え部５４は、キーワード検出部６４により選択された言語となるように使用言語を切り替える。この切り替え制御は、会話制御部６６の指示に従い行われる。

サービスフロー処理部５５は、サービスフロー５６に設定された施設内の設備やテナントの案内を行うフローに基づいて案内を行う。

会話制御部６６にある会話処理部（日本語）５７は、対面者が日本語を使用すると判定されたときに日本語の会話処理を行う処理部である。会話処理部（英語）５９、会話処理部（中国語）６１も同様に、各言語の会話処理を行う。尚、会話処理部（日本語）５７、会話処理部（英語）５９、会話処理部（中国語）６１は、音声認識部５３を用いて、対面者の問いかけに対する応答を行う処理部であり、既存の技術が用いられてもよい。会話処理部５７、５９、６１は、上記の言語ごとの識別情報と対応付けられており、会話制御部６６は、この識別情報を前段の処理部から取得して、用いる会話処理部を特定し、特定した会話処理部を用いて会話処理を行うことができるように構成されている。

施設情報テーブル６３には、ロボット４が案内サービスを行う施設やテナントに関する情報が登録されており、本実施形態では、ユーザの質問や案内依頼に対して、施設情報テーブル６３を参照してサービスを提供する。施設情報テーブル６３に、建物５の地図情報を含ませ、地図情報を表示装置で表示して案内サービスを行ってもよい。ロボット４は駆動機構３５に依頼のあった目的地へ移動するよう指示を出力し、ユーザを目的地まで移動して案内してもよい。

言語テーブル６５は、各言語の案内回数を日単位でまとめたものである。言語テーブル６５については後述する。

図４は、ロボット管理サーバ２の構成例を示した図である。ロボット管理サーバ２は、各種の処理を行うＣＰＵ７０と、ロボット配置管理部７３等のソフトウェアモジュール、テーブル等のデータを記憶する記憶装置７１（主記憶装置および補助記憶装置を含んだ記憶装置）とを有する。またロボット管理サーバ２は、ロボット制御装置３と相互通信可能な通信インターフェイス７２を備える。

ＣＰＵ７０が記憶装置７１に記憶されたソフトウェアモジュールを読み出して実行することで、ロボット管理サーバ２の機能（ロボット配置管理部７３等）が実現される。

ロボット配置管理部７３は、どのロボットがどの建物に配置されているかの情報を記憶しており、また正常にサービスを提供できているかどうかをモニタする。ロボット配置管理部７３は、サービスを提供できていない場合は必要なロボットの保守サービスを行うように、建物へロボットの機体、部品、技術者を派遣できるよう指示を出す。

図５は、ロボット制御装置３の動作例を示すフローチャートである。ロボット４が案内サービスを提供するとき、建物５内の人に対して、会話制御部６６の話しかけ部６８は、気を引くため、または会話の契機をつくるための話しかけ動作を実行する。本実施形態では、最初にステップＳ１００で日本語音声による話しかけを１０秒間行い、その後ステップＳ１０１で英語音声による話しかけを１５秒間行い、ステップＳ１０２で日本語音声による話しかけを１０秒間行い、ステップＳ１０３で中国語音声による話しかけを１５秒間行う。話しかけ部６８は、このステップＳ１００〜Ｓ１０３の動作を繰り返す。

本実施形態では、このように日本語、英語、中国語による話しかけを行うものとしたが、事前に用意した言語であれば、どのような言語であってもよい。また本実施形態では、ユーザが使用する可能性の高い主要言語（第一の言語）と、その他の言語である副言語（第二の言語）とを交互に繰り返すことで、話しかけ動作を行う。また本実施形態では、日本国内にロボット４が設置されていることを想定しているため、他の言語よりも、主要言語である日本語を多く発声するように、話しかけ動作が行われる。ロボット４が設置されている国で使用されている言語の割合に合わせて、各言語の話しかけ時間や頻度を設定することで、より多くの人に案内サービスを提供することができる。また、話しかけの言語は、主要言語と副言語を区別せず、ロボット４が案内できる言語全てを順番に使用し、各々の言語の時間を調整してもよい。

話しかけ中に対面検知部５２が対面者を検知したときは、会話制御部６６は、そのときに話しかけている言語で会話を実行するように制御する。例えばステップＳ１００にて、日本語で話しかけている最中に対面者を対面検知部５２が検知したときは、会話制御部６６は、ステップＳ１１０にて、会話処理部（日本語）５７を用いて日本語で会話実行を行うように制御する。同様に、英語で話しかけている最中に、対面者を対面検知部５２が検出したときは、会話処理部（英語）５９を用いて英語で会話実行を行うように制御する（Ｓ１０１：Ｙｅｓ、Ｓ１１２）。中国語についても同様である（Ｓ１０３：Ｙｅｓ、Ｓ１１４）。

会話処理部（日本語）５７を用いて日本語で会話実行を行っている最中に、ステップＳ１１１にて、会話の中でキーワードテーブル６７に登録されている英語や中国語のキーワードを検知したときは、会話制御部６６の制御に従い、言語切り替え部５４が日本語会話を終了し、キーワード検出部６４が検出したキーワードの言語に切り替えて会話を行う（Ｓ１１２またはＳ１１４に移行）。

ステップＳ１１１にて、英語や中国語のキーワードをキーワード検出部６４が検出しなかった場合は、会話制御部６６は、このまま引き続き会話処理部（日本語）５７を用いて、日本語による会話を遂行する。そしてサービスフロー処理部５５がサービスフロー５６に基づいて施設案内やテナント案内のサービスを継続する。サービスが終了した場合、もしくは対面者が立ち去った場合、ステップ１００の話しかけ動作に戻り、話しかけ部６８が複数の言語での話しかけを繰り返す。

ステップＳ１１３、ステップＳ１１５は、ステップＳ１１１と同様の処理であり、それぞれ英語、中国語で会話が行われている場合の処理となる。

このように会話制御部６６は、まずは、対面検知部５２が対面者を検知したときにロボット４が話しかけている言語（例えば日本語）と対応付けられている会話処理部（例えば会話処理部（日本語）５７）で、会話を始めるように制御する。そして会話制御部６６は、その後、言語選択部８１により選択された言語と対応付けられている会話処理部（例えば会話処理部（英語）５９、会話処理部（中国語）６１）により会話を継続するように制御する。

異なる言語を話す複数のユーザが対面し、殆ど同時にロボット４へ話しかけることも想定される。この場合、キーワードを検知するたびに言語が切り替わると、サービスを効率的に提供することができない。よって、会話中の言語と異なる言語のキーワードを複数回検知した場合のみ、言語に切り替える実装でもよい。また、言語の切り替えを一度行うと案内サービスが終了するまで他の言語には切り替えないようにしてもよい。このように頻繁に使用言語を切り替えないようにすることで、複数の人から話しかけられたような場合であっても効率よく案内サービスを提供することが可能になる。

図６は、キーワードテーブル６７の例である。図３の構成図では、言語毎にキーワードテーブルを用意しているが、図６のキーワードテーブルのように各単語の言語毎の表現を対応付けて、一つのテーブルとして実現してもよい。

キーワード１２０は、頻繁に使用する、発話の合間に挟み込む言葉（フィラー）の例である。キーワード１２１は、話しかけるときに頻繁に使用される単語の例である。キーワード１２２は、ロボット４につけられた名前の例であり、同じ名前であっても各言語により発音やイントネーションが異なるため、言語毎に発音の特徴を登録しておく。キーワード１２３は、挨拶に用いられる単語の例である。キーワード１２４は、建物内でよく使用される施設の例である。

キーワード検出部６４は、キーワードを検出した回数をキーワードテーブル６７に格納する。そして、キーワード検出部６４は、対面者の話す言語の中から特定のキーワードを検出する際、キーワードテーブル６７に格納された検出回数の多いキーワードから順に、照合処理を行ってもよい。また、キーワード検出部６４は、キーワードテーブル６７に登録されているキーワード全てを使用して照合するのではなく、検出回数が規定値を超えているキーワードや一定割合以上検出されたキーワードを、照合対象のキーワードとして扱う実装でもよい。キーワードを絞ることにより、検索負荷や判定負荷を減らすことができるだけでなく、会話中の判定により、頻繁に言語の変更が発生し案内効率が低下することを防ぐことができる。

図７は言語テーブル６５の例である。この例では日付１３０毎に日本語での案内回数１３１、英語での案内回数１３２、中国語での案内回数１３３を言語切り替え部５４が言語を切り替えたときにカウントしていく。会話制御部６６は、このテーブルを参照して各々の言語で話しかけを行う時間や頻度、または話しかけの順番のいずれか一方もしくは両方を決定し、変更することにより、適切な言語により案内サービスを実施できる可能性を高めることができる。例えば会話制御部６６は、案内回数が最多となる言語の時間を最も長く、多く繰り返されるように順番付けを行う。また案内回数が少ない言語については、会話制御部６６は、当該言語に割り当てる時間を短く、繰り返しも少なくなるように順番付けを行う。

本実施形態では、日本語、英語、中国語で案内する案内ロボットサービスの例を説明したが、国や建物、施設、時期、イベントに応じて、スペイン語、ロシア語、韓国語などの言語で案内サービスを提供してもよく、言語の種類を増減してもよい。

上記実施形態では、ロボット制御装置３とロボット４とを別体とした構成について説明したが、ロボット制御装置３の機能をロボット４に組み込んでもよい。また、ロボット制御装置３について、図３で示す構成（機能分割）はあくまで一例である。例えば、会話制御部６６の制御動作や機能を、サービスフロー処理部５５に実装するなど、さまざまな機能分割を行うことができる。これ以外にも、ＣＰＵなどの演算処理装置と記憶装置とを有する制御部が、上記実施形態で説明した動作や機能を提供できれば、どのような機能分割をしても構わない。

尚、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

１：案内ロボットシステム
２：ロボット管理サーバ
３：ロボット制御装置
４：ロボット
５０：入力データ処理部
５１：移動指示部
５２：対面検知部
５３：音声認識部
５４：言語切り替え部
５５：サービスフロー処理部
５６：サービスフロー
５７：会話処理部（日本語）
５８：日本語キーワードテーブル
５９：会話処理部（英語）
６０：英語キーワードテーブル
６１：会話処理部（中国語）
６２：中国語キーワードテーブル
６４：キーワード検出部
６５：言語テーブル
６６：会話制御部
６７：キーワードテーブル
６８：話しかけ部
８１：言語選択部

Claims (6)

1. 言語ごとに設けられる会話処理部を用いて、案内サービスを提供する案内ロボットシステムであって、
   各言語に対応付けられた時間で、各々の言語を用いて順番に繰り返し話かけるようにロボットを制御する話しかけ部と、
   話しかけを行っているときに前記ロボットの前に対面している人がいることを検知する対面検知部と、
   当該対面者の話す言語の中から特定のキーワードを検出するキーワード検出部と、
   前記キーワード検出部により検出されたキーワードに基づいて、事前に登録されている複数の言語の中から一つの言語を選択する言語選択部と、
   前記対面検知部が対面者を検知したときに前記ロボットが話しかけている言語と対応付けられている会話処理部で、会話を始めるように制御するとともに、その後、前記言語選択部により選択された言語と対応付けられている会話処理部により会話を継続するように制御する会話制御部と、
   を有することを特徴とする案内ロボットシステム。
2. 前記複数の言語には、第一の言語と、前記第一の言語とは異なる複数の第二の言語とを含み、
   前記話しかけ部は、前記第一の言語で予め定められた時間話しかけ、次に前記複数の第二の言語の中から、話しかけに使う言語を決めることを特徴とする請求項１に記載の案内ロボットシステム。
3. 前記言語選択部は、選択した言語の回数を言語テーブルに格納し、前記話しかけ部は、前記言語テーブルを参照し、選択された言語の回数に基づいて話しかける言語の時間または順番のいずれか一方もしくは両方を決定することを特徴とする、請求項２に記載の案内ロボットシステム。
4. 前記キーワードは、各言語に対応してキーワードテーブルに登録されており、
   前記キーワード検出部は、キーワードを検出した回数をキーワードテーブルに格納し、対面者の話す言語の中から特定のキーワードを検出する際、前記キーワードテーブルに格納された検出回数が規定値以上のキーワードのみを用いて検索することを特徴とする請求項２に記載の案内ロボットシステム。
5. 前記会話制御部は、選択された言語に対応する会話処理部で会話を継続しているとき、前記対面検知部がユーザを検知しなくなったとき、会話を中止するように制御し、前記話しかけ部が話しかけを始めるように制御することを特徴とする請求項１に記載の案内ロボットシステム。
6. 複数の言語で案内サービスを提供する案内ロボットの言語選択方法において、
   話しかけ部が、第一の言語で予め定められた時間の間人へ話しかける処理と、第二の言語で予め定められた時間の間人への話しかけを行う処理とを交互に繰り返し行い、
   対面検知部が、話しかけを行っているときにロボットの前に人がいることを検知し、
   会話処理部が、前記話しかけ部が話しかけている言語で、検知された人と会話を始め、
   キーワード検出部が、人の話すことばの中に出てくるキーワードを検出し、
   言語選択部が、検出されたキーワードに基づいて第一の言語と第二の言語との中から会話を継続する言語を選択し、
   会話制御部が、選択された言語に対応する会話処理部で会話を継続するように制御することを特徴とする案内ロボットの言語選択方法。

Images