JP6893607B2 - ロボット制御方法、ロボット装置及びロボット機器 - Google Patents

Description

本願は、ロボット制御分野に関し、特にロボット制御方法、ロボット装置及びロボット機器に関する。

従来のロボット適用がまだ比較的初期階段にあり、対話チャットを主にし、一部のロボットがその他のタスクを実行可能としても、体験があまりにもよくない。

発明者らは、関連技術では、ユーザがロボットに何かを取らせるように要求することを例にして、ロボットが音声認識のみに基づき、ユーザに必要な物、及びその大体の位置を了解し、さらに、ユーザが言われた物品を検索に行くこと、スペースが大きく、検索範囲も広い場合、失敗率が高くなり、ユーザ体験が悪くなること、一方、多くの場合、ユーザが、その物品が何処にあるか、どのような様子であるかを詳しく記述したくなく、単に指すか、一見するだけであるが、従来のロボットがユーザ視線を取得できないことが当たり前で、ユーザの見た物が一体何かを知ることができないこと、という問題があると発見した。

本願では、従来技術のロボットがユーザによる簡単な音声指示に基づき目標を検索に行く場合、検索範囲が広く、失敗率が高く、ユーザ体験が悪くという技術的課題、及びそのユーザ視線を取得できないため、ユーザの見たものが一体何かという技術的課題が存在することに対して、ロボット制御方法、ロボット装置及びロボット機器を提供する。その技術的解決手段は、以下のとおりである。

第１の態様では、本願の実施例にて提供されるロボット制御方法は、
基準座標系を作成するステップと、
ユーザの注視方向を捕捉し、ロボット視線角度、ロボット位置、及びロボットとユーザとの間の直線距離を取得し、前記ロボット視線角度、前記ロボット位置、及び前記ロボットとユーザとの間の直線距離に基づき、前記ユーザの注視方向の前記基準座標系に対する注視平面をリアルタイムに算出するステップと、
ユーザの注視方向にある指示目標を探すように、ロボットが前記注視平面を滑らかに走査するステップと、を含む。

第２の態様では、本願の実施例にて提供されるロボット装置は、
基準座標系を作成するために用いられる座標系作成モジュールと、
指示目標のユーザの注視方向を捕捉し、ロボット視線角度、ロボット位置、及びロボットとユーザとの間の直線距離を取得し、前記ロボット視線角度、前記ロボット位置、及び前記ロボットとユーザとの間の直線距離に基づき、前記ユーザの注視方向の前記基準座標系に対する注視平面をリアルタイムに算出するために用いられる捕捉と算出モジュールと、
ユーザの注視方向にある指示目標を探すように、ロボットが前記注視平面を滑らかに走査する走査モジュールと、を含む。

第３の態様では、本願の実施例に提供されるロボット機器は、少なくとも１つのプロセッサ、
及び前記少なくとも１つのプロセッサと通信接続されたメモリを含み、
ここで、前記メモリには、前記少なくとも１つのプロセッサによって実行可能なコマンドプログラムが記憶されており、前記コマンドプログラムが前記少なくとも１つのプロセッサによって実行されることにより、前記少なくとも１つのプロセッサに上記の方法を実行させることができる。

第４の態様では、本願の実施例に提供される、ソフトウェアコード部を含むコンピュータプログラム製品は、前記ソフトウェアコード部がコンピュータメモリに実行する際に、上記の方法ステップを実行するように配置されるために用いられる。

本願の実施例にて提供されるロボット制御方法は、基準座標系を作成するステップと、ユーザの注視方向を捕捉し、ロボット視線角度、ロボット位置、及びロボットとユーザとの間の直線距離を取得し、前記ロボット視線角度、前記ロボット位置、及び前記ロボットとユーザとの間の直線距離に基づき、前記ユーザの注視方向の前記基準座標系に対する注視平面をリアルタイムに算出するステップと、ユーザの注視方向にある指示目標を探すように、少なくとも１つのロボットが前記注視平面を滑らかに走査するステップと、を含む。従来技術のロボットがユーザによる簡単な音声指示に基づき目標を検索に行くことに対して、本願の実施例にて提供される方法では、ロボットが前記注視平面を滑らかに走査して指示目標を検索に行き、検索範囲が狭く、検索失敗率が低く、検索精度を向上させ、ユーザ体験がよい。そして、従来技術のロボットは、ユーザ視線を取得できないことに対して、本願の実施例にて提供される方法では、ロボットがユーザの注視方向を捕捉するとともに、前記注視方向の前記基準座標系に対する注視平面をリアルタイムに算出することができ、前記注視平面への走査によりユーザが一体何を注視していたかを取得することができ、前記指示目標の検索成功率が高く、ユーザ体験がよい。

１つ又は複数の実施例は、それに対応する図面の図によって例示的に説明する。これらの例示的な説明は実施例を限定するものではない。図面中の同じ参照番号を有する要素は類似の要素として示されており、図面中の図は、特記しない限り、縮尺が限定されない。
本願の実施例にて提供されるロボット機器の応用環境図である。 本願の実施例にて提供されるロボット制御方法のシーン平面図である。 本願の実施例にて提供されるロボット制御方法のシーン平面図である。 本願の実施例にて提供されるロボット制御方法のシーン平面図である。 本願の実施例にて提供されるロボット制御方法の概略フローチャートである。 本願の他の実施例にて提供されるロボット制御方法の概略フローチャートである。 本願の他の実施例にて提供されるロボット装置の構成ブロック図である。 本願の実施例にて提供されるロボット装置の構成ブロック図である。 本願の実施例にて提供されるロボット機器の構成ブロック図である。

本願の目的、技術的解決手段及び利点をより分かりやすくするために、以下、図面及び実施例を参照しながら、本願についてさらに詳細に説明する。本明細書に記載された具体的な実施例は単なる本願を解釈するものであり、本願を限定するものではないと理解すべきである。

特に定義されない限り、本明細書で使用されるすべての技術用語及び科学用語は、本願の当業者によって一般的に理解されるものと同じ意味を有する。本明細書で使用される用語は、具体的な実施形態の目的を記述するものに過ぎず、本願を限定するものではない。本明細書で使用される用語「及び／又は」は列挙された１つ又は複数の関連項目の任意の、及びすべての組み合わせを含む。

また、以下説明した本願の各実施形態に係る技術的特徴は、互いに矛盾を形成しない限り、互いに組み合わせることができる。

近年、コンピュータ技術、情報技術、通信技術、マイクロエレクトロニクス技術の急速な発展に伴い、例えば、掃除ロボット、レストラン料理皿渡しロボット、及び人間との対話チャットが可能なロボット等の移動ロボット技術が広く普及されている。ロボットが目標に追従して移動する過程に、全球測位衛星システム（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ、ＧＮＳＳ）及びウルトラワイドバンド（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ、ＵＷＢ）により事前に敷設されたネットワークノードと共に測位を完了することができ、ＧＮＳＳ及びＵＷＢの測位方式により、ロボットは、精度が持続的に安定した位置情報を取得することができ、複雑な環境下における精度の高い測位を実現することができる。当然ながら、他のロボット測位方式を採用してもよく、本願の実施例はこれを限定しない。

ロボットに常に１つ又は複数のカメラが搭載され、例えば、人間の目に相当するカメラをロボットの顔部に設置する。光軸は、即ち光学系の対称軸であり、カメラの光軸はレンズの中心を通る線、光束（光柱）の中心線であり、いずれの光学特性の変化を有するべきではなく、光束はこの軸周りに回転する。

従来技術のロボットは、ユーザによる簡単な音声指示に基づき目標を検索に行くことに対して、多くの場合、ユーザが、その物品が何処にあるか、どのような様子であるかを詳しく記述したくなく、単に指すか、一見するだけであるが、従来技術のロボットがユーザ視線を取得できないことが当たり前で、ユーザの見た物品が一体何かを知ることができない。一方、２人又は複数の人が同じ物品を話し合っている時に、単に指すか、一見するだけである場合が非常に多いが、このような場合に、ロボットは、一体何を指すか分からないので、音声情報を対応する物品と関連付けることができず、当然、ユーザが物品を話し合っている有効情報を収集しにくい。

したがって、本願の実施例にて提供されるロボット制御方法は、ロボットにユーザの注視していたものを明らかにするか、又は少なくともユーザ視線を取得させることを目的とする場合、範囲を大幅に小さくし、目標を容易に知得しさせようとする。

図１は本願の実施例にて提供されるロボット制御方法の応用環境である。図１に示すように、当該応用環境は、ユーザ１００、ロボット２００及び物品３００を含む。ユーザ１００がロボット２００との相談中、又は他人との相談中に、近くにある物品３００を言及して且つ注視すると、ロボットに「Ｔｏｍ、あの本を渡してくれ！」と言って、ユーザの要求された本がどちらかとより正確に分かるように、当該ロボット２００はユーザ１００の視線方向を取得する必要がある。

図２ａ、図２ｂは本願の実施例にて提供されるロボット制御方法のシーン平面図である。ＡＭ直線はロボット視線角度であり、具体的にはロボット視線光軸である。ユーザ１００の位置する空間的な平面図が図２ａ、２ｂに示すように、左下隅の位置を基準座標系の座標（０，０）点として、ユーザがＣ点にいるものとし、ロボットＳに「Ｔｏｍ、あの本を渡してくれ！」と言いながら、位置Ｂにある本に目を向き指す。ロボットは、この時点でユーザを直視しているかもしれないし、ユーザが視野範囲内に出現するだけで、ユーザに頭を向けているが、ユーザを完全に直視していなく、前に別の作業を処理していたかもしれない。

この時点で、呼び出しを聞いたロボット自身の視覚からユーザ顔が見えれば、具体的な顔認識解析アルゴリズムによってその顔の向き方向（正方向に向く）とロボット光軸（このデータを得ればよい他のアルゴリズムであってもよい）との角度を決定することができ、さらにユーザの向き方向の現在座標系にある絶対方向をも算出することができる。以下、ロボット制御方法について具体的に説明する。

図３に示すように、本願の実施例にて提供されるロボット制御方法は、ステップ１０１〜ステップ１０８を含む。

ステップ１０１、基準座標系を作成し、
上記ロボット測位方式を用いて、室内環境を測位し、実空間のある点を座標原点（０，０）として設定してもよい。室内測位に基づいて、ロボットはいつでも自己位置を取得し、自己の位置する座標を算出することができる。

ステップ１０２、指示目標のユーザの注視方向を捕捉し、ロボット視線角度、ロボット位置、及びロボットとユーザとの間の直線距離を取得し、前記ロボット視線角度、前記ロボット位置、及び前記ロボットとユーザとの間の直線距離に基づき、前記ユーザの注視方向の前記基準座標系に対する注視平面をリアルタイムに算出する。

前記注視平面は、３次元空間において地面に垂直な平面であり、前記注視平面を平面視するとユーザの注視方向の位置する直線を得る。即ち、図２ａ、２ｂに示すＣＢ直線である。図２ａと図２ｂとの違いは、基準座標系において、図２ａのロボットが図示したユーザの右側に位置し、図２ｂのロボットが図示したユーザの左側に位置することである。

さらに、ロボット視線角度はロボット視線光軸である。前記ロボット視線角度、前記ロボット位置、及び前記ロボットとユーザとの間の直線距離に基づき、前記ユーザの注視方向の前記基準座標系に対する注視平面をリアルタイムに算出するステップは、具体的には、
前記ロボット位置に基づき前記ロボットの基準座標系にある座標（ｍ，ｎ）を算出するとともに、前記ロボット視線光軸と前記基準座標系Ｘ軸との角度γを算出するステップと、前記ロボット視線角度、ロボット位置及びユーザ位置に基づき、ユーザ位置からロボット位置までの結ぶ線の位置する直線と前記ロボット視線光軸との角度βを算出するステップと、前記ユーザ位置からロボット位置までの結ぶ線の位置する直線とユーザの注視方向との角度αを算出するステップと、前記ロボット視線光軸と基準座標系Ｘ軸との角度γ、前記ユーザ位置からロボット位置までの結ぶ線の位置する直線と前記ロボット視線光軸との角度β、前記ユーザ位置からロボット位置までの結ぶ線の位置する直線とユーザの注視方向の位置する直線との角度α、及び前記ロボットとユーザとの間の直線距離に基づき前記注視方向の前記基準座標系に対する注視平面をリアルタイムに算出するステップと、を含む。

図２ａ、２ｂに示すように、前記ユーザ位置をＣ点とし、指示目標の位置をＢ点とし、前記ロボット位置をＡ点とし、ユーザ位置Ｃ点に沿って前記基準座標系のＹ軸に平行な縦線を描画し、ロボット位置Ａ点に沿って前記基準座標系のＸ軸に平行な横線を描画し、横線が縦線にＤ点に直交し、横線はユーザの注視方向の位置する直線とＥ点に交差し、三角形の内角和定理である三角形の１つの外角は、これに隣接しない２つの内角の和に等しいという推論によれば、
式θ＝α＋β＋γによって、ＡＣＥ三角形のＥ点にある外角θを算出する。
なお、図２ａでは、θ＝α＋β＋γであり、図２ｂでは、θ＝α−β＋γである。β値については、ロボット視線角度が角度βを反時計回りにユーザ位置に回転した場合、β値を正数として定義する。ロボット視線角度が角度βを時計回りにユーザ位置に回転した場合、β値を負数として定義する。

三角形ＡＣＤにおいて、ＡＤ及びＣＤは、
式ＡＤ＝ｄ＊ｃｏｓ（１８０°−β−γ）＝−ｄ＊ｃｏｓ（β＋γ）、及び
ＣＤ＝ｄ＊ｓｉｎ（１８０°−β−γ）＝ｄ＊ｓｉｎ（β＋γ）によって算出され、
前記基準座標系において、Ｏを原点とし、横線とＹ軸をＦ点に交差し、ロボット位置Ａ点座標を（ｍ，ｎ）とすると、ｍ＝ＦＡ、ｎ＝ＯＦを得ることができ、ユーザ位置Ｃ点座標を（ｊ，ｋ）とすると、ｊ＝ＦＡ−ＡＤ，ｋ＝ＯＦ＋ＣＤを得ることができ、ＡＤ、ＣＤ、ｍとｎを代入すると、Ｃ点座標（ｍ＋ｄ＊ｃｏｓ（β＋γ），ｎ＋ｄ＊ｓｉｎ（β＋γ））を得ることができ、
ユーザの注視方向の位置する直線を１次方程式ｙ＝ｋ＊ｘ＋ｂとして設定し、ここで、ｋ＝ｔａｎθ＝ｔａｎ（α＋β＋γ）であり、
上記Ｃ点座標（ｍ＋ｄ＊ｃｏｓ（β＋γ），ｎ＋ｄ＊ｓｉｎ（β＋γ））を代入すると、
ｂ＝ｙ−ｋ＊ｘ＝ｎ＋ｄ＊ｓｉｎ（β＋γ）−ｔａｎ（α＋β＋γ）＊（ｍ＋ｄ＊ｃｏｓ（β＋γ））を得ることができ、
前記ユーザの注視方向の位置する直線の１次方程式は、
ｙ＝ｔａｎ（α＋β＋γ）＊ｘ＋ｎ＋ｄ＊ｓｉｎ（β＋γ）−ｔａｎ（α＋β＋γ）＊（ｍ＋ｄ＊ｃｏｓ（β＋γ））であり、
前記注視平面は、（ｍ＋ｄ＊ｃｏｓ（β＋γ），ｎ＋ｄ＊ｓｉｎ（β＋γ））を始点とし、１次方程式ｙ＝ｔａｎ（α＋β＋γ）＊ｘ＋ｎ＋ｄ＊ｓｉｎ（β＋γ）−ｔａｎ（α＋β＋γ）＊（ｍ＋ｄ＊ｃｏｓ（β＋γ））の前方への方向に沿って、地面に垂直な平面である。

いくつかの実施例では、ユーザの注視方向を捕捉し、前記ユーザの注視方向に基づきユーザの指示目標を検索する信号を生成してもよく、前記ユーザの指示目標を検索する信号に基づきロボット視線角度、ロボット位置、ロボットとユーザとの間の直線距離を取得してもよい。

ユーザが他人と話し合う過程に、ユーザが指示目標を注視した時、ロボットはユーザの注視方向を能動的に捕捉してもよいし、ユーザのコマンド、例えば、上記したユーザとロボットとの対話「Ｔｏｍ、あの本を渡してくれ！」という音声コマンドに基づき、ユーザの注視方向を捕捉してもよい。ロボットは、ユーザが注視している方向を能動的に捕捉できる場合、ユーザによるコマンドを必要としない。

ユーザがコマンドを出すと、ロボットはユーザによる目標検索コマンドを受信し、目標検索コマンドに基づきユーザの注視方向を捕捉する。

ステップ１０３、ユーザの注視方向にある指示目標を探すように、ロボットが前記注視平面を滑らかに走査する。

具体的には、ロボットの数は、１つ又は複数であってもよい。好ましくは、ユーザの注視方向にある指示目標を探すように、予め設定された時間間隔で前記注視平面を滑らかに走査する。予め設定された時間間隔は、具体的には、ロボットの視野角、及びロボットカメラの撮像画像の解像度等に組み合わせて、０．１秒〜５秒に設定される。

具体的には、ユーザの注視方向にある指示目標を探すように、少なくとも１つのロボットカメラの焦点を前記注視平面における前記ユーザ位置から前記ユーザ指示目標までの間の平面の一部に落ちさせるように制御させる。

より具体的には、ロボットはユーザの注視方向にある指示目標を探す場合、必ずしも移動することを必要とせず、ロボットが立っている位置がちょうど前記注視平面にあると、注視平面に沿って前進又は後退すればよい。ロボットが立っている位置にちょうど前記注視平面を明らかに捕捉し、且つ前記注視平面を滑らかに走査できると、ロボットは頭部を回転すればよい。このとき、少なくとも１つのロボット視線光軸を前記ユーザ位置から前記ユーザ指示目標に向かって偏向するように制御するとともに、偏向された視線光軸を取得する。前記ロボットの基準座標系にある座標に基づき、前記偏向された視線光軸と前記基準座標系Ｘ軸との角度γ´を算出する。前記ロボット位置に基づき、前記ロボットの基準座標系にある座標を算出する。前記ロボットの基準座標系にある座標、前記偏向された視線光軸と基準座標系Ｘ軸との角度γ´及び前記注視平面に基づき、偏向されたカメラの合焦距離を算出する。前記ユーザ指示目標を探すように、前記偏向された視線光軸と前記偏向されたカメラの合焦距離に基づき、前記ロボットカメラの焦点を前記ユーザ位置から前記ユーザ指示目標までの間の前記注視平面の一部に落ちさせるように制御する。

本願の実施例の有益な効果は下記のとおりである：本願の実施例にて提供されるロボット制御方法は、基準座標系を作成するステップと、ユーザの注視方向を捕捉し、ロボット視線角度、ロボット位置、及びロボットとユーザとの間の直線距離を取得し、前記ロボット視線角度、前記ロボット位置、及び前記ロボットとユーザとの間の直線距離に基づき、前記ユーザの注視方向の前記基準座標系に対する注視平面をリアルタイムに算出するステップと、ユーザの注視方向にある指示目標を探すように、少なくとも１つのロボットが前記注視平面を滑らかに走査するステップと、を含む。従来技術のロボットがユーザの簡単な音声指示に基づき、目標を探すことに対して、本願の実施例にて提供される方法では、ロボットが前記注視平面を滑らかに走査することで指示目標を検索し、検索範囲が狭く、検索失敗率が低く、検索精度を向上させ、ユーザ体験がよく、また、従来技術のロボットはユーザ視線を捕捉できないことに対して、本願の実施例にて提供される方法では、ロボットがユーザの注視方向を捕捉するとともに、前記注視方向の前記基準座標系に対する注視平面をリアルタイムに算出することができ、前記注視平面を走査することでユーザが何の目標を注視しているかを知ることができ、前記指示目標を探す成功率が高く、ユーザ体験がよりよい。

ロボットが視線のよくない位置にある場合、注視平面に近づくように移動する必要があり、前記注視平面を明確に捕捉し、且つ前記注視平面を滑らかに走査できる位置を見つけるように、ロボット移動を制御する必要がある。

ロボットや人の位置変化又は視線角度変化に伴い、上記のようなｍ、ｎ、ｄ、α、β、γが変化するため、人が移動しているか、又はロボットが移動しているかに関わらず、ユーザの注視方向へ見ていた瞬間の全てのデータを該算出の算出パラメータとすべきであり、この１次方程式の直線はユーザによる指示の瞬間のみに決められるため、変化することはない。

ユーザの注視方向の位置する直線の１次方程式を得るために、ロボットはこの線上にある点を追跡すればよい。自己が何処に位置しても、自己視線とこの線との距離、つまりカメラの合焦距離を得ることができる。頭部の回転中に常に合焦点をこの線（平面図では、一本の線であり、三次元空間では、地面に垂直な平面であり、頭部の回転中に常に合焦点が注視平面に維持される）上に維持させるように、ロボットは、ある場所に立ち、頭部を回転しながら、合焦距離をリアルタイムに算出することができ、当然ながら、ロボットは、地形の変化、障害物の遮断などの理由で、前にユーザ視線にあった物体を移動過程に見つけなければならないかもしれないが、同様にリアルタイムに算出すればよい。以下の図に示すように、ロボットは、ユーザによる指示目標を探すように、自身の移動過程にＣ点から始まったＣＢ直線を滑らかに走査する。

いくつかの実施例において、ロボット制御方法はさらに、
ロボット自身の移動過程に、自身のリアルタイム位置及びリアルタイム視線角度を取得し、ロボットのリアルタイム視線角度と前記注視平面との交線及び合焦距離を決定し、移動過程に、ユーザが注視している前記注視平面にある指示目標が認識されるまで、合焦距離画像に基づき、前記交線周辺領域を走査するステップ１０５、を含む。

さらに、ロボットは、前記交線周辺領域をパターン検索方法により滑らかに走査し、ユーザによる指示目標パターンに適合する少なくとも２つの目標が探された場合、要求確認用の要求を出し、ユーザが確認要求用の要求を応答して、確認結果を返信すると、ロボットは、前記要求確認用の要求から返信された確認結果に基づき、ユーザによる指示目標パターンに適合する１つの目標を前記ユーザ指示目標として選択する。

具体的には、ロボットのリアルタイム視線角度は、ロボットのリアルタイム視線光軸である。ロボット自身の移動過程に、自身のリアルタイム位置及びリアルタイム視線角度を取得し、ロボットのリアルタイム視線角度と前記注視平面との交線及び合焦距離を決定する前記ステップは図２ｃを含む。

ｐ、ｑ、γ´´は、ロボット移動中やカメラ回転中に変化する可能性がある。したがって、当該算出は、ロボット移動又は回転に伴って、例えば毎秒３０回（実際の回数は、ロボット移動又は回転速度に決められ、算出頻度が高ければ高いほど正確であるが、算出量も多くなり、具体的な算出頻度は、ここで限定されない）リアルタイムに行われるべきである。

ロボットのリアルタイム視線角度と前記注視平面との交線及び合焦距離を決定する上記過程は、ユーザが注視した前記注視平面上にある指示目標を認識した後、移動して指示目標を取得した移動過程と別々に制御される。指示目標を認識した後、合焦距離、即ちロボット位置と指示目標との距離、ロボットの姿勢などに基づき、ロボットの指示目標への移動を制御すれば、指示目標を取得することができる。さらに、ロボット位置を取得し、ロボット座標を算出し、ロボットとユーザとの間の直線距離を取得し、また、室内の静的環境、動的障害物などに組み合わせて、ロボットの走行経路を計画し、指示目標をユーザに渡す。

ロボットのリアルタイム視線角度と前記注視平面との交線及び合焦距離を決定する過程も、ユーザが注視している前記注視平面にある指示目標を認識した後、移動して指示目標を取得した移動過程と共に制御されてもよく、このとき、ロボット移動を制御し、移動過程に、ユーザが注視している前記注視平面にある指示目標が認識されるまで、合焦距離画像に基づき、前記交線周辺領域を走査し、さらにロボットの合焦距離（合焦指示目標の合焦距離）がゼロである位置への移動を制御すれば、指示目標に到達することができる。

本願の実施例の有益な効果は以下のとおりである：本実施例にて提供されるロボット制御方法では、ロボット自身の移動過程に、自身のリアルタイム位置及びリアルタイム視線角度を取得し、ロボットのリアルタイム視線角度と前記注視平面との交線及び合焦距離を決定する。それにより、ロボットカメラの焦点が前記注視平面に落ちさせるように制御し、また指示目標を含む明らかな画像を撮像し、当該画像が具体的には交線周辺領域画像である。移動過程に、ユーザが注視している前記注視平面にある指示目標が認識されるまで、合焦距離画像に基づき前記交線周辺領域を走査でき、必要なパラメータがリアルタイムに取得され、指示目標をより迅速、且つ正確に認識することができ、ユーザ体験がよい。

上記技術的解決手段は、ユーザ顔の角度を分析することでロボット視線光軸との角度αを求めるものであるが、ロボットが呼び出しを聞いた時にユーザの背面を見た場合、顔認識及び分析の技術によって、ユーザの向き方向と光軸との間の角度を決定することができず、その場合、ユーザの前方又は側方に移動すべきで、ユーザ顔を見えればよい（ユーザ顔向きと視線光軸との角度を改めて決定するために、ユーザが先ほどのコマンドを改めて指示する必要があるかもしれない）。一方、他のアルゴリズムによれば、画像認識の方式でユーザの後方からでもユーザ顔の向き方向と光軸との角度を判定することができる。また、ユーザ位置からロボット位置までの結ぶ線の位置する直線の一次方程式を取得できる他のロボットがユーザ周囲に存在すれば、同様に命じられたロボットに同期してもよい。具体的には、ロボット制御方法はさらに、
前記ロボットが同じ座標系下におけるロボットとネットワーキングするため、前記注視平面のデータを共有するために用いられるネットワークモジュールを含むステップ１０４、を含む。

本願の実施例の有益な効果は以下のとおりである：ロボットのネットワークモジュールにより、同じ座標系下におけるロボットとネットワーキングし、さらに前記注視平面のデータを共有し、ロボット制御サーバが複数のロボットの現在のタスク処理状態に基づき、ロボット位置、向き角度などに組み合わせて、算出や分析によりユーザの注視方向にある指示目標を探すように１つのロボットを制御し、全体的に複数のロボットを連携作業させることができ、作業効率を向上させ、ユーザニーズを迅速に満たし、ユーザ体験を向上させる。ここで、同じ座標系は前記基準座標系である。

別の実施例では、図４に示すように、ロボットは、ユーザの注視方向にある指示目標を検索した後、さらなる処理を有してもよい。前記ロボット制御方法はさらに、
前記指示目標の目標特徴情報を抽出し、前記目標特徴情報を目標ディレクトリに記憶するステップ１０６、を含む。

ロボット制御サーバ、又はロボットの自動メモリに、目標特徴情報を記憶するために、目標ディレクトリを設定してもよい。

目標特徴情報は、例えば、名称、所在位置、帰属、形状、サイズ、色、価格、ユーザの好み程度、購入経路又は購入理由などの目標の様々な属性であってもよい。

前記指示目標の目標特徴情報の抽出は、具体的には、パターン検索方法による抽出、映像特徴抽出、又はユーザの音声データによる抽出である。具体的には、いくつかの実施例において、図４に示すように、前記ロボット制御方法はさらに、
ユーザの音声データと映像データを取得し、前記ユーザの音声データと映像データのキー情報を認識し、目標特徴情報と前記キー情報をマッチングすることで関連付けられたキー情報を得て、目標特徴情報を更新するように、目標ディレクトリに前記関連付けられたキー情報を対応する目標特徴情報の下に記憶するステップ１０７、を含む。

目標ディレクトリには、目標特徴情報フィールドが複数の属性を有し、目標特徴情報とキー情報をマッチングすることで関連付けられたキー情報を得て、続いて対応する目標特徴情報に関連付けられたキー情報の属性列を追加し、このように、目標特徴情報フィールドの属性が追加され、目標特徴情報が更新されることに相当する。

例えば、ロボット制御方法は、２人又はそれ以上の人間が話し合う場合、ロボットが情報を収集することによりよく助けることができる。ロボットがアイドル状態にあるか、又は聴覚と視覚によって周りの人に注目する能力がある場合、複数の人が話し合っていることを聞いたり、見たりして、途中である人が何かを他人又は複数の人に指示する場合、ロボットは、依然として、この方法で皆、何を話しているか（ユーザの音声データと映像データを取得する）、当該物体に対するコメントがどうであるか（前記ユーザの音声データと映像データのキー情報を認識する）を知ることができ、検討まで参加してもよく、即ち、聴覚情報と視覚情報を関連付け（目標特徴情報と前記キー情報をマッチングすることで関連付けられたキー情報を見つける）、関わるユーザ情報を収集して、さらに、これによってユーザとのより知的なチャットを行うことができる。例えば、２人は、家の飾り物の磁器花瓶を検討している中、主人は、花瓶を見ながらお客様に「ほら、これはどう？大好きだよ！」と言って、お客様は、「この模様は確かに美しく、いいね！どこ、買ったんだ？」...と答えるかもしれなく、従来の方法に従って、ロボットが両方の対話を聞くことができるが、検討している物品が何であるかを必ずしも知ることができないため、収集された音声情報が全く役に立たないことを引き起こす。本実施例のロボット制御方法によれば、ロボットは、視覚によってより高い確率でユーザが検討している物品を知るとともに、音声情報を視覚上の当該物品に関連付け、さらにユーザは当該花瓶が好き、購入場所、購入金額などの情報を知り、ロボットのユーザに対する理解をより向上させ、これにより、ユーザにより理想的、知的なサービスを提供する。

別の実施例では、ロボットとユーザとのチャットが行われるか、又はロボットが複数の人との検討に参加することを示す。図４に示すように、前記ロボット制御方法はさらに、
前記ロボットが、ユーザがチャットしていると判断した後、ユーザがチャットしている音声データ及び映像データを収集し、前記ユーザがチャットしている音声データ及び映像データのテーマ情報を認識し、更新された目標特徴情報を前記テーマ情報とマッチングし、マッチング結果に基づき、ユーザとの音声及び映像コミュニケーションを完了するステップ１０８、を含む。

ユーザと音声及び映像コミュニケーションを行う時、ロボットは、ユーザが自分とチャットしていると判断し、例えば、ユーザ視線が自身の頭部に集まったことを捕捉するか、又はユーザがロボットを見回してロボットの名前を呼ぶと、ユーザがロボットとチャットしていると判断する。ロボットは、まずユーザのチャットした音声データ及び映像データを取得し、前記ユーザのチャットした音声データ及び映像データのテーマ情報を認識し、更新された目標ディレクトリの目標特徴情報を呼び出し、更新された目標特徴情報を前記テーマ情報にマッチングすることで、ユーザとのコミュニケーション内容を出力し、音声又は動作を出力してもよく、ロボットをよりインテリジェント化させ、ユーザに、より理想的な、より知能的なサービスを提供でき、ユーザ体験を向上させる。

図５に示すように、本願の実施例にて提供されるロボット装置４００は、座標系作成モジュール４０１、捕捉と算出モジュール４０２、及び走査モジュール４０３を含む。

座標系作成モジュール４０１は、基準座標系を作成するために用いられ、
捕捉と算出モジュール４０２は、指示目標のユーザの注視方向を捕捉し、ロボット視線角度、ロボット位置、ロボットとユーザとの間の直線距離を取得し、前記ロボット視線角度、前記ロボット位置及び前記ロボットとユーザとの間の直線距離に基づき、前記ユーザの注視方向の前記基準座標系に対する注視平面をリアルタイムに算出するために用いられ、
走査モジュール４０３は、ユーザの注視方向にある指示目標を探すように、ロボットが注視平面を滑らかに走査するために用いられる。

なお、本願の実施例にて提供されるロボット装置４００は、本願の実施例にて提供されるロボット制御方法と同じ発明思想に基づくものであり、方法の実施例と装置の実施例における対応する技術的内容は互いに適用可能であり、ここで説明を省略する。

本願の実施例の有益な効果は以下のとおりである：本願の実施例にて提供されるロボット制御方法では、基準座標系を作成するステップと、ユーザの注視方向を捕捉し、ロボット視線角度、ロボット位置、及びロボットとユーザとの間の直線距離を取得し、前記ロボット視線角度、前記ロボット位置、及び前記ロボットとユーザとの間の直線距離に基づき、前記ユーザの注視方向の前記基準座標系に対する注視平面をリアルタイムに算出するステップと、ユーザの注視方向にある指示目標を探すように、少なくとも１つのロボットが前記注視平面を滑らかに走査するステップと、を含み、従来技術のロボットがユーザの簡単な音声指示に基づき目標を探すことに対して、本願の実施例にて提供される方法では、ロボットが前記注視平面を滑らかに走査して指示目標を検索し、検索範囲が狭く、検索失敗率が低く、ユーザ体験がよい。また、従来技術のロボットはユーザ視線を捕捉できないことに対して、本願の実施例にて提供される方法では、ロボットがユーザの注視方向を捕捉するとともに、前記注視方向の前記基準座標系に対する注視平面をリアルタイムに算出でき、前記注視平面を走査することでユーザが一体、何の目標を注視しているかを知ることができ、前記指示目標を探す成功率が高く、ユーザ体験がよりよい。

ロボットが視線のよくない位置にある場合、注視平面に近づくように移動する必要があり、前記注視平面を明確に捕捉し、且つ前記注視平面を滑らかに走査できる位置を見つけるように、ロボット移動を制御する必要がある。いくつかの実施例において、図６に示すように、ロボット装置４００はさらに、
ロボット自身の動作過程に自身のリアルタイム位置及びリアルタイム視線角度を取得し、ロボットのリアルタイム視線角度と前記注視平面との交線及び合焦距離を決定し、移動過程に、ユーザが注視している前記注視平面上にある指示目標が認識されるまで、合焦距離画像に基づき交線周辺領域を走査する決定と認識モジュール４０５、を含む。

本願の実施例の有益な効果は以下のとおりである：本実施例にて提供されるロボット装置４００は、ロボット自身の移動過程に、自身のリアルタイム位置及びリアルタイム視線角度を取得し、ロボットのリアルタイム視線角度と前記注視平面との交線及び合焦距離を決定する。それにより、ロボットカメラの焦点が前記注視平面に当てられることを制御し、また指示目標を含む明らかな画像を撮像し、当該画像が具体的には交線周辺領域画像であり、移動過程に、ユーザが注視している前記注視平面にある指示目標が認識されるまで、合焦距離画像に基づき前記交線周辺領域を走査でき、必要なパラメータがリアルタイムに取得され、指示目標をより迅速且つ正確に認識することができ、ユーザ体験がよい。

さらに、前記ロボット視線角度はロボット視線光軸であり、前記捕捉と算出モジュール４０２はさらに、
前記ロボット位置に基づき前記ロボットの基準座標系にある座標（ｍ，ｎ）を算出するとともに、前記ロボット視線光軸と前記基準座標系Ｘ軸との角度γを算出するステップと、前記ロボット視線角度、ロボット位置及びユーザ位置に基づきユーザ位置からロボット位置までの結ぶ線の位置する直線と前記ロボット視線光軸との角度βを算出するステップと、前記ユーザ位置からロボット位置までの結ぶ線の位置する直線とユーザの注視方向との角度αを算出するステップと、に用いられ、
前記注目平面は、３次元空間において地面に垂直な平面であり、前記注目平面を平面視するとユーザの注視方向の位置する直線を得て、１次方程式ｙ＝ｋ＊ｘ＋ｂとして設定し、前記注視平面は、具体的には、
式ｙ＝ｔａｎ（α＋β＋γ）＊ｘ＋ｎ＋ｄ＊ｓｉｎ（β＋γ）−ｔａｎ（α＋β＋γ）＊（ｍ＋ｄ＊ｃｏｓ（β＋γ））によって算出され、
式において、ｄはロボットとユーザとの間の直線距離であり、
前記注視平面は、（ｍ＋ｄ＊ｃｏｓ（β＋γ），ｎ＋ｄ＊ｓｉｎ（β＋γ））を始点とし、１次方程式ｙ＝ｔａｎ（α＋β＋γ）＊ｘ＋ｎ＋ｄ＊ｓｉｎ（β＋γ）−ｔａｎ（α＋β＋γ）＊（ｍ＋ｄ＊ｃｏｓ（β＋γ））の前方への方向に沿って、地面に垂直な平面である。

上記技術的解決手段は、ユーザ顔への角度解析によりロボット視線光軸との角度αを得るものであり、ユーザ位置からロボット位置までの結ぶ線の位置する直線の一次方程式を取得できる他のロボットがユーザ周囲に存在すれば、同様に命じられたロボットに同期してもよい。

具体的には、前記ロボットは、同じ座標系下におけるロボットとネットワーキングするため、前記注視平面のデータを共有するために用いられるネットワークモジュールを含む。

本願の実施例の有益な効果は以下のとおりである：ロボットのネットワークモジュールが同じ座標系下におけるロボットとネットワーキングすることで、前記注視平面のデータを共有し、ロボット制御サーバが複数のロボットの現在のタスク処理状態に基づき、ロボット位置、向き角度などに組み合わせて、算出や分析によりユーザの注視方向にある指示目標を探すように１つのロボットを制御し、全体的に複数のロボットを連携作業させることができ、作業効率を向上させ、ユーザニーズを迅速に満たし、ユーザ体験を向上させる。ここで、同じ座標系は前記基準座標系である。

別の実施例では、ロボットはユーザの注視方向にある指示目標を検索した後、さらに処理してもよい。前記ロボット装置４００はさらに、
前記指示目標の目標特徴情報を抽出し、前記目標特徴情報を目標ディレクトリに記憶するために用いられる抽出と記憶モジュール４０６、を含む。

前記指示目標の目標特徴情報の抽出は、具体的には、パターン検索方法による抽出、映像特徴抽出、又はユーザの音声データによる抽出であってもよい。具体的には、いくつかの実施例において、図６に示すように、前記ロボット装置４００はさらに、
ユーザの音声データと映像データを取得し、前記ユーザの音声データと映像データのキー情報を認識し、目標特徴情報と前記キー情報をマッチングことで関連付けられたキー情報を得て、目標特徴情報を更新するように、目標ディレクトリに前記関連付けられたキー情報を対応する目標特徴情報の下に記憶するために用いられる認識とマッチングモジュール４０７、を含む。

例えば、ロボット装置４００は、２人又はそれ以上の人間が話し合う場合、ロボットが情報を収集することによりよく助けることができる。認識とマッチングモジュール４０７は、前記ユーザの音声データと映像データのキー情報を取得及び認識し、目標特徴情報と前記キー情報をマッチングすることで関連付けられたキー情報を見つけるとともに、記憶し更新する。目標特徴情報と前記キー情報をマッチングすることは、ロボットに聴覚又は視覚によってより高い確率でユーザの検討している物品を知らせるとともに、音声情報と視覚情報を該物品に関連付け、関連付けられたキー情報を見つけると、ロボットのユーザに対する理解をもより多くして、ロボットをよりインテリジェント化させる。

別の実施例では、ロボットとユーザとのチャットが行われるか、又はロボットが複数の人との対話に参加することを示す。図６に示すように、前記ロボット装置４００はさらに、
ロボットが、ユーザがチャットしていると判断した後、ユーザがチャットしている音声データ及び映像データを収集し、前記ユーザがチャットしている音声データ及び映像データのテーマ情報を認識し、更新された目標特徴情報を前記テーマ情報とマッチングし、マッチング結果に基づき、ユーザとの音声及び映像コミュニケーションを完了するために用いられるマッチングとコミュニケーションモジュール４０８、を含む。

ユーザと音声及び映像コミュニケーションを行う時、ロボットは、まずユーザのチャットしている音声データ及び映像データを取得し、前記ユーザのチャットしている音声データ及び映像データのテーマ情報を認識し、更新された目標ディレクトリの目標特徴情報を呼び出し、更新された目標特徴情報を前記テーマ情報にマッチングすることで、ユーザとのコミュニケーション内容を出力し、音声又は動作を出力してもよく、ロボットをよりインテリジェント化させ、ユーザ体験を向上させる。

図７は、本願の実施例にて提供されるロボット機器のハードウェア構成ブロック図である。当該ロボット機器は、ロボット制御方法を実行する任意の適切なロボット機器８００であってもよい。当該ロボット機器８００は、特定の軌跡に沿ってロボットを動かせるための１つ又は複数の動力装置をさらに有してもよい。

図７に示すように、当該機器は、１つ又は複数のプロセッサ８１０及びメモリ８２０を含み、図７では、１つのプロセッサ８１０を例とする。

プロセッサ８１０、メモリ８２０は、バス又は他の方式によって接続されてもよく、図７では、バスによって接続されることを例とする。

メモリ８２０は、不揮発性コンピュータ可読記憶媒体として、不揮発性ソフトウェアプログラム、不揮発性コンピュータ実行可能プログラム、及び、本願の実施例におけるロボット制御方法に対応するプログラムコマンド／モジュール（例えば、図５に示す座標系作成モジュール４０１、捕捉と算出モジュール４０２、及び走査モジュール４０３、図６に示す座標系作成モジュール４０１、捕捉と算出モジュール４０２、走査モジュール４０３、決定と認識モジュール４０５、抽出と記憶モジュール４０６、認識とマッチングモジュール４０７、及び、マッチングとコミュニケーションモジュール４０８）が挙げられるモジュールを記憶するために用いられてもよい。プロセッサ８１０は、メモリ８２０に記憶された不揮発性ソフトウェアプログラム、コマンド及びモジュールを実行することで、サーバの様々な機能アプリケーション及びデータ処理を実行すると、上記方法の実施例に係るロボット制御方法を実現する。

メモリ８２０は、プログラム記憶領域とデータ記憶領域を含んでもよく、ここで、プログラム記憶領域は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができ、データ記憶領域は、ロボット装置の使用に応じて作成されたデータなどを記憶することができる。また、メモリ８２０は、高速ランダムアクセスメモリを含んでもよいし、少なくとも１つの磁気ディスク記憶装置、フラッシュメモリ装置、又は他の不揮発性固体記憶装置などの不揮発性メモリを含んでもよい。いくつかの実施例において、メモリ８２０は、プロセッサ８２０に対して遠隔に配置されたメモリを選択してもよく、これらの遠隔メモリは、ネットワークを介してロボット装置に接続されてもよい。上記ネットワークの例として、インターネット、イントラネット、ローカルエリアネットワーク、移動体通信ネットワーク、及びこれらの組み合わせを含むが、これらに限定されるものではない。

前記１つ又は複数のモジュールは前記メモリ８２０に記憶され、前記１つ又は複数のプロセッサ８１０によって実行されると、上記方法の実施例におけるいずれかのロボット制御方法を実行する。

当業者であれば、さらに、本明細書に開示された実施例に関連して説明される様々な例のユニット及びアルゴリズムステップを結合し、電子ハードウェア、コンピュータソフトウェア、又はその両方の組み合わせで実現でき、ハードウェアとソフトウェアの互換性を明確に説明するために、上記説明において機能に応じて各実施例の構成及びステップを一般的に説明し、これらの機能が、ハードウェアか、又はソフトウェアで実行されるかは、技術的解決手段の特定のアプリケーションと設計制約に決められることと意識するべきである。当業者は、説明された機能を実施するために、各特定のアプリケーションに対して異なる方法を用いて実現できるが、そのような実現は、本開示の範囲から逸脱するものと考えられるべきではない。前記コンピュータソフトウェアは、コンピュータ読み取り可能な記録媒体に記憶されてもよく、当該プログラムは、実行時に、上記各方法の実施例のような流れを含んでもよい。ここで、前記記憶媒体は、磁気ディスク、光ディスク、リードオンリーメモリ、又はランダムアクセスメモリなどであってもよい。

最後に、上記の実施例は、本願の技術的解決手段を説明するために用いられるものに過ぎず、それを限定するものではなく、本願の思想において、上記の実施例又は異なる実施例における技術的特徴は組み合わせてもよく、ステップは任意の順序に従って実現してもよく、且つ上記のように本願の異なる態様の他の多くの変形形態があり、簡潔にするために、それらは詳細に記載されていない。上記した実施例を参照して本願について詳細に説明したが、当業者であれば、上記した実施例に記載の技術的解決手段を修正するか、又は技術的特徴の一部に対して等価置換を行ってもよく、これらの修正又は置換は、それ相応な技術的解決手段が本願の各実施例の技術的解決手段の範囲から逸脱しないことが理解されるべきである。

Claims (14)

1. ロボット制御方法であって、
   基準座標系を作成するステップと、
   指示目標のユーザの注視方向を捕捉し、ロボット視線角度、ロボット位置、ユーザ位置からロボット位置までの結ぶ線の位置する直線とロボット視線光軸との角度β、ユーザ位置からロボット位置までの結ぶ線の位置する直線とユーザの注視方向の位置する直線との角度α、及びロボットとユーザとの間の直線距離を取得し、前記ロボット視線角度、前記ロボット位置、角度β、角度α、及び前記ロボットとユーザとの間の直線距離に基づき、前記ユーザの注視方向の前記基準座標系に対する注視平面をリアルタイムに算出するステップと、
   ロボットが注視方向にある指示目標を探すために、前記注視平面を滑らかに走査するステップと、を含むことを特徴とするロボット制御方法。
2. 前記ロボットは、同じ座標系下におけるロボットとネットワーキングするため、前記注視平面のデータを共有するために用いられるネットワークモジュール、を含むことを特徴とする請求項１に記載の方法。
3. 前記方法はさらに、
   ロボット自身の移動過程に、自身のリアルタイム位置及びリアルタイム視線角度を取得し、ロボットのリアルタイム視線角度と前記注視平面との交線及び合焦距離を決定し、移動過程に、ユーザが注視している前記注視平面にある指示目標が認識されるまで、合焦距離画像に基づき前記交線周辺領域を走査するステップ、を含むことを特徴とする請求項２に記載の方法。
4. 前記方法はさらに、
   前記指示目標の目標特徴情報を抽出し、前記目標特徴情報を目標ディレクトリに記憶するステップ、を含むことを特徴とする請求項３に記載の方法。
5. 前記方法はさらに、
   ユーザの音声データと映像データを取得し、前記ユーザの音声データと映像データのキー情報を認識し、目標特徴情報と前記キー情報をマッチングすることで関連付けられたキー情報を得て、目標特徴情報を更新するように、目標ディレクトリに前記関連付けられたキー情報を対応する目標特徴情報の下に記憶するステップ、を含むことを特徴とする請求項４に記載の方法。
6. 前記方法はさらに、
   前記ロボットが、ユーザが音声チャットしていると判断した後、ユーザが音声チャットしている音声データ及び映像データを収集し、前記ユーザが音声チャットしている音声データ及び映像データのテーマ情報を認識し、更新された目標特徴情報を前記テーマ情報とマッチングし、マッチング結果に基づきユーザとの音声及び映像コミュニケーションを完了させるステップ、を含むことを特徴とする請求項５に記載の方法。
7. ロボット装置であって、
   基準座標系を作成するために用いられる座標系作成モジュールと、
   指示目標のユーザの注視方向を捕捉し、ロボット視線角度、ロボット位置、ユーザ位置からロボット位置までの結ぶ線の位置する直線とロボット視線光軸との角度β、ユーザ位置からロボット位置までの結ぶ線の位置する直線とユーザの注視方向の位置する直線との角度α、ロボットとユーザとの間の直線距離を取得し、前記ロボット視線角度、角度β、角度α、前記ロボット位置及び前記ロボットとユーザとの間の直線距離に基づき、前記ユーザの注視方向の前記基準座標系に対する注視平面をリアルタイムに算出するために用いられる捕捉と算出モジュールと、
   ロボットがユーザの注視方向にある指示目標を探すように、注視平面を滑らかに走査するために用いられる走査モジュールと、を含むことを特徴とするロボット装置。
8. 前記ロボットは、同じ座標系下におけるロボットとネットワーキングするため、前記注視平面のデータを共有するために用いられるネットワークモジュール、を含むことを特徴とする請求項７に記載の装置。
9. 前記装置はさらに、
   ロボット自身の動作過程に自身のリアルタイム位置及びリアルタイム視線角度を取得し、ロボットのリアルタイム視線角度と前記注視平面との交線及び合焦距離を決定し、移動過程に、ユーザが注視している前記注視平面上にある指示目標が認識されるまで、合焦距離画像に基づき前記交線周辺領域を走査するために用いられる決定と認識モジュール、を含むことを特徴とする請求項８に記載の装置。
10. 前記装置はさらに、
    前記指示目標の目標特徴情報を抽出し、前記目標特徴情報を目標ディレクトリに記憶するために用いられる抽出と記憶モジュール、を含むことを特徴とする請求項９に記載の装置。
11. 前記装置はさらに、
    ユーザの音声データと映像データを取得し、前記ユーザの音声データと映像データのキー情報を認識し、目標特徴情報と前記キー情報をマッチングすることで関連付けられたキー情報を得て、目標特徴情報を更新するように、目標ディレクトリに前記関連付けられたキー情報を対応する目標特徴情報の下に記憶するために用いられる認識とマッチングモジュール、を含むことを特徴とする請求項１０に記載の装置。
12. 前記装置はさらに、
    前記ロボットが、ユーザが音声チャットしていると判断した後、ユーザが音声チャットしている音声データ及び映像データを収集し、前記ユーザが音声チャットしている音声データ及び映像データのテーマ情報を認識し、更新された目標特徴情報を前記テーマ情報とマッチングし、マッチング結果に基づきユーザとの音声及び映像コミュニケーションを完了させるために用いられるマッチングとコミュニケーションモジュール、を含むことを特徴とする請求項１１に記載の装置。
13. ロボット機器であって、
    少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサと通信接続されたメモリと、を含み、
    ここで、前記メモリには、前記少なくとも１つのプロセッサによって実行可能なコマンドプログラムが記憶されており、前記コマンドプログラムが前記少なくとも１つのプロセッサによって実行されることにより、前記少なくとも１つのプロセッサに請求項１−６に記載の方法を実行させることができる、ことを特徴とするロボット機器。
14. ソフトウェアコード部を含むコンピュータプログラム製品であって、
    前記ソフトウェアコード部がコンピュータメモリに実行する際に、請求項１〜請求項６に記載の方法を実行するように配置されるために用いられる、ことを特徴とするソフトウェアコード部を含むコンピュータプログラム製品。
    

Images