JP4453596B2

JP4453596B2 - Robot control method and robot apparatus

Info

Publication number: JP4453596B2
Application number: JP2005109589A
Authority: JP
Inventors: 博幸半田; 大河野; 研司松熊
Original assignee: Yaskawa Electric Corp
Current assignee: Yaskawa Electric Corp
Priority date: 2005-04-06
Filing date: 2005-04-06
Publication date: 2010-04-21
Anticipated expiration: 2025-04-06
Also published as: JP2006289514A

Description

本発明は、音声を利用してロボットを操作するシステムに関し、特に音声認識に対する安全性と作業効率を両立させるものである。 The present invention relates to a system for operating a robot by using voice, and particularly, to achieve both safety for voice recognition and work efficiency.

従来の音声によって制御されるロボットについて、図を用いて説明する。図１１は、従来のロボット制御装置の構成を示した図である。図１１において、４１０は送信機、４２０はクレーン制御部を示している。送信機４１０はマイク４１１および送信部４１２を含んで構成されており、マイク４１１は送信部４１２に接続され、送信部４１２には送信アンテナ４１２ａが取り付けられている。クレーン制御部４２０は受信部４２１、音声認識部４２２、信号処理部４２３および油圧変換部４２４を含んで構成されている。受信部４２１は音声認識部４２２に接続されており、音声認識部４２２は信号処理部４２３に接続され、信号処理部４２３は油圧変換部４２４に接続されて、油圧変換部４２４は図示しないクレーン駆動部に接続されている。受信部４２１には受信アンテナ４２１ａが取り付けられており、信号処理部４２３には現在動作に対する禁止動作が記憶された記憶手段４２３ａが内設されている。
図１２は、従来のロボット制御装置の信号処理部４２３における処理を示したフローチャートである。信号処理部４２３では、図１２において、ステップ５１で音声指示入力があるかどうか判断され、音声指示入力がなければ音声指示入力が送信されてくるまで待機する。音声指示入力があればステップ５２に進み、図１１の記憶手段４２３ａに記憶されている情報が読み出され、禁止動作であるかどうか判断される。ステップ５２での判断の結果、前記音声指示入力が禁止動作でなければ、ステップ５３に移って音声指示入力に従った動作をするように図１１の油圧変換部４２４に制御信号を送り、ステップ５１に戻る。
一方、音声指示入力が禁止動作であれば、ステップ５４に進んでクレーンの動作を一時停止させるように油圧変換部４２４に制御信号を送り、ステップ５１に戻る。信号処理部４２３から制御信号を受信した油圧変換部４２４は、制御信号に従って図示しないクレーン駆動部を駆動しクレーンを動作させる（例えば、特許文献１参照）。
このように従来のロボットは、予め記憶した現在の動作に対する禁止動作が音声指示された場合にクレーンなどのロボットを一旦停止させ、安全性を確保するものである。 A conventional robot controlled by voice will be described with reference to the drawings. FIG. 11 is a diagram showing a configuration of a conventional robot control apparatus. In FIG. 11, reference numeral 410 denotes a transmitter, and 420 denotes a crane control unit. The transmitter 410 includes a microphone 411 and a transmission unit 412, the microphone 411 is connected to the transmission unit 412, and a transmission antenna 412 a is attached to the transmission unit 412. The crane control unit 420 includes a receiving unit 421, a voice recognition unit 422, a signal processing unit 423, and a hydraulic pressure conversion unit 424. The receiving unit 421 is connected to the voice recognition unit 422, the voice recognition unit 422 is connected to the signal processing unit 423, the signal processing unit 423 is connected to the hydraulic pressure conversion unit 424, and the hydraulic pressure conversion unit 424 is a crane drive (not shown). Connected to the department. A reception antenna 421a is attached to the reception unit 421, and a storage unit 423a in which a prohibition operation with respect to the current operation is stored is provided in the signal processing unit 423.
FIG. 12 is a flowchart showing processing in the signal processing unit 423 of the conventional robot control apparatus. In FIG. 12, the signal processing unit 423 determines whether or not there is a voice instruction input in step 51. If there is no voice instruction input, the signal processing unit 423 waits until a voice instruction input is transmitted. If there is a voice instruction input, the process proceeds to step 52, where the information stored in the storage means 423a of FIG. 11 is read out, and it is determined whether or not the operation is prohibited. If the result of determination in step 52 is that the voice instruction input is not a prohibited operation, the process proceeds to step 53 to send a control signal to the hydraulic pressure converter 424 in FIG. Return to.
On the other hand, if the voice instruction input is a prohibited operation, the process proceeds to step 54 to send a control signal to the hydraulic pressure conversion unit 424 so as to temporarily stop the crane operation, and the process returns to step 51. The hydraulic pressure conversion unit 424 that has received the control signal from the signal processing unit 423 drives a crane driving unit (not shown) according to the control signal to operate the crane (for example, see Patent Document 1).
As described above, the conventional robot temporarily stops a robot such as a crane when a voice instruction is given for a prohibition operation for a current operation stored in advance, thereby ensuring safety.

特開平６−３２５８７号公報JP-A-6-32587

しかしながら、マイクから入力される音声は使用者が意図して発話した音声のみではなく、周囲の騒音も入力される。音声認識部では、使用者が意図して発話した音声なのか、それとも周囲の騒音なのかを判断することはできないので、周囲の騒音を発話音声と間違えて音声指示として認識（誤認識）することがある。
一般に音声認識は、周囲騒音が大きければ大きいほど認識率が低くなる。すなわち誤認識率が高くなる傾向にある。図１３は周囲騒音が４０[ｄＢ]、７５[ｄＢ]、８０[ｄＢ]の場合の音声認識率を実験によって示した図である。図１３に示すように周囲騒音が大きくなるとともに認識率が低下し本実験では８５[ｄＢ]以上の騒音下では正確に音声認識できなかった。すなわち、周囲騒音が大きくなれば誤認識率も高くなるのである。
このような背景により、従来のロボット制御装置では、現在の動作に対する禁止動作を記憶し、禁止動作に該当すれば動作を停止するといった構成となっているので、騒音下で使用した場合、安全性を確保するためには多くの禁止動作を記憶する必要がある。しかし、禁止動作を多く記憶すると騒音下においては誤認識が多いため禁止動作に該当する確率が高くなり頻繁に動作停止を繰り返すこととなり作業効率が著しく低下する。逆に、作業効率を向上させるために禁止動作を削減すると誤認識による誤動作の確率が高くなるため、安全性の面で問題を生じるといった相反する問題を抱えていた。
本発明は、このような問題点に鑑みてなされたものであり、音声の誤認識によるロボットの誤動作を防止し、安全性を向上するロボット制御方法およびロボット装置を提供することを目的とする。
However, not only the voice intended by the user but also ambient noise is input from the microphone. Since the voice recognition unit cannot determine whether the voice is intentionally spoken by the user or the ambient noise, it recognizes (misrecognizes) the ambient noise as a voice instruction by mistakenly speaking. There is.
In general, in speech recognition, the greater the ambient noise, the lower the recognition rate. That is, the recognition error rate tends to increase. FIG. 13 is a diagram showing the speech recognition rate by experiments when the ambient noise is 40 [dB], 75 [dB], and 80 [dB]. As shown in FIG. 13, the ambient noise increased and the recognition rate decreased. In this experiment, speech recognition could not be performed accurately under noise of 85 [dB] or more. That is, the false recognition rate increases as the ambient noise increases.
With such a background, the conventional robot control device is configured to store the prohibited operation with respect to the current operation and stop the operation if it falls under the prohibited operation. It is necessary to memorize many prohibition operations in order to ensure However, if a large number of prohibited operations are stored, there are many misrecognitions under noisy conditions, so the probability of corresponding to the prohibited operation increases and the operation is frequently stopped, resulting in a significant reduction in work efficiency. On the contrary, if the prohibited operation is reduced in order to improve the work efficiency, the probability of malfunction due to misrecognition increases, and thus there is a conflicting problem that causes a problem in terms of safety.
The present invention has been made in view of such problems, and an object of the present invention is to provide a robot control method and a robot apparatus that prevent malfunction of a robot due to erroneous recognition of speech and improve safety.

上記問題を解決するため、本発明は、次のように構成したのである。
請求項１に記載の発明は、使用者の音声に基づいてロボットを制御するロボット制御方法において、入力された前記使用者の音声を認識し、前記認識した音声に基づいて前記ロボットのコマンドを決定し、前記決定したコマンドをロボット制御装置に送信し、前記ロボット制御装置は受信した前記コマンドが実行を許可されているコマンドかどうか判定し、許可されていなければ前記コマンドを無視し、許可されていれば、前記コマンドに予め関連付けられた手順に従って、その時点で許可されている複数のコマンドから少なくとも１つを削除し、前記コマンドに従って前記ロボットを動作させ、その後に前記手順に従って許可するコマンドを少なくとも１つ登録することを特徴とする。
請求項２に記載の発明は、ロボットと、前記ロボットを制御するロボット制御装置と、使用者の音声を認識し、前記認識した音声に基づいて前記ロボットのコマンドを決定し、前記決定したコマンドをロボット制御装置に送信する音声インターフェースと、を有し、前記ロボット制御装置は、受信した前記コマンドが実行を許可されているコマンドかどうか判定し、許可されていなければ前記コマンドを無視し、許可されていれば、前記コマンドに予め関連付けられた手順に従って、その時点で許可されている複数のコマンドから少なくとも１つを削除し、前記コマンドに従って前記ロボットを動作させ、その後に前記手順に従って許可するコマンドを少なくとも１つ登録することを特徴とする。
In order to solve the above problem, the present invention is configured as follows.
Invention of claim 1, a robot control method for controlling a robot on the basis of the voice used for the user to recognize the voice of the user input, the command of the robot based on the voice the recognized Determine and send the determined command to the robot control device, the robot control device determines whether the received command is a command that is allowed to be executed, if not, the command is ignored and allowed. If so, according to a procedure associated with the command in advance, at least one of the plurality of commands permitted at that time is deleted, the robot is operated according to the command, and then a command that is permitted according to the procedure is issued. At least one is registered.
According to a second aspect of the present invention, a robot, a robot control device that controls the robot, a voice of a user is recognized, a command of the robot is determined based on the recognized voice, and the determined command is A voice interface that transmits to the robot controller, and the robot controller determines whether the received command is a command that is permitted to be executed, and if not permitted, ignores the command and is permitted. If so, according to a procedure associated with the command in advance, at least one of the plurality of commands permitted at that time is deleted, the robot is operated according to the command, and then a command that is permitted according to the procedure is issued. At least one is registered.

本発明によると、音声インターフェースから送信されるコマンドをロボットの動作状態に応じて実行することができるため、音声の誤認識により誤ったコマンドが送信されてもロボットが誤動作する確率を著しく低くすることができる。
また、許可するコマンドをロボットの動作状態に応じて動的に変更できるようになり、誤ったコマンドが送信されてもロボットが誤動作する確率をさらに低くすることができる。 According to the present invention, since the command transmitted from the voice interface can be executed according to the operation state of the robot, the probability that the robot malfunctions even if an erroneous command is transmitted due to erroneous voice recognition is significantly reduced. Can do.
Further, since the commands that allow to be dynamically changed in accordance with the operation state of the robot, be incorrect command is sent robot can further reduce the probability of malfunction.

以下、本発明の実施の形態について図を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１は、本発明のロボット制御システムのブロック図である。図において、１００は使用者の音声を認識してロボットへコマンドを送信する音声インターフェースである。この音声インターフェース１００は、使用者の音声を入力する音声入力部１０１と、入力した音声を語彙として認識する音声認識部１０２と、認識する語彙とロボットの動作コマンドを関連付けて記憶した語彙−コマンド記憶部１０３と、音声認識部１０２にて認識した語彙と語彙−コマンド記憶部１０３の情報からロボットの動作コマンドを決定するコマンド決定部１０４と、コマンドをロボット制御装置１１０へ送信する第１の通信部１０５から構成されている。 FIG. 1 is a block diagram of the robot control system of the present invention. In the figure, reference numeral 100 denotes a voice interface that recognizes a user's voice and transmits a command to the robot. The voice interface 100 includes a voice input unit 101 that inputs a user's voice, a voice recognition unit 102 that recognizes the input voice as a vocabulary, and a vocabulary-command storage that stores a recognized vocabulary and a robot operation command in association with each other. Unit 103, a command determining unit 104 that determines an operation command of the robot from the vocabulary recognized by voice recognition unit 102 and information in vocabulary-command storage unit 103, and a first communication unit that transmits the command to robot control device 110 105.

また、ロボット制御装置１１０は、音声インターフェースから送信されたコマンドを受信して、受信ステータスを音声インターフェース１００に送信する第２の通信部１１１と、第２の通信部１１１が受信したコマンドをロボットの状態に応じてロボット制御部１１４へ送信したり、無視したりを制御するコマンド制御部１１２と、ロボットの状態に応じて実行可能なコマンドを記憶した許可コマンド記憶部１１３と、コマンドに基づいてロボット機構部１２０の動作軌道を生成し、各関節を駆動するサーボモータなどのアクチュエータを制御するロボット制御部１１４から構成されている。
さらに本発明の実施例では、ロボット制御装置１１０に力センサやビジョンセンサ、距離センサなどの外界センサ１１５を接続し、ロボット機構部１２０の周辺や外部の状態の情報を取得できるようになっており、ロボット機構部１２０の内部状態と合わせてロボットの状態情報とする。
本発明では、ロボットの状態および外界センサの情報に応じてロボットに実行させることができる許可コマンドを記憶しており、コマンド制御部１１２は、許可コマンド記憶部１１３に記憶したそれらのコマンドを参照することで音声インターフェース１００から送信されたコマンドが実行可能かどうか判定し、実行可能すなわち許可コマンド記憶部１１３に記憶したコマンドと送信されたコマンドとが一致した場合にはロボット制御部１１４へコマンドを送るとともに、音声インターフェース側に第２の通信部１１１を介してコマンドを実行可能と判定したという内容を含んだステータス情報を送信する。
許可コマンド記憶部１１３に記憶したコマンドと送信されたコマンドとが一致しない場合は、そのコマンドを無視するとともに音声インターフェース側に第２の通信部１１１を介してコマンドを無視したという内容を含んだステータス情報を送信する。ここで、コマンドを実行あるいは無視したというステータス情報は、音声インターフェース１００とロボット制御装置１１０との間の情報通信だけでなく、音声や光などに変換することで、使用者や周囲の人間が分かるように提示することが望ましい。 Further, the robot control device 110 receives a command transmitted from the voice interface, transmits a reception status to the voice interface 100, and sends a command received by the second communication unit 111 to the robot. A command control unit 112 that controls transmission to the robot control unit 114 according to the state or ignore, a permission command storage unit 113 that stores a command that can be executed according to the state of the robot, and a robot based on the command The robot control unit 114 generates an operation trajectory of the mechanism unit 120 and controls an actuator such as a servo motor that drives each joint.
Furthermore, in the embodiment of the present invention, an external sensor 115 such as a force sensor, a vision sensor, and a distance sensor is connected to the robot control device 110 so that information about the state of the robot mechanism 120 and the external state can be acquired. Together with the internal state of the robot mechanism unit 120, the state information of the robot is obtained.
In the present invention, permission commands that can be executed by the robot according to the state of the robot and information from the outside world are stored, and the command control unit 112 refers to those commands stored in the permission command storage unit 113. Thus, it is determined whether or not the command transmitted from the voice interface 100 can be executed. When the command that can be executed, that is, the command stored in the permission command storage unit 113 matches the transmitted command, the command is sent to the robot control unit 114. At the same time, status information including the content that it is determined that the command can be executed via the second communication unit 111 is transmitted to the voice interface side.
If the command stored in the allowed command storage unit 113 and the transmitted command do not match, the command is ignored and the status including the content that the command is ignored on the voice interface side via the second communication unit 111 Send information. Here, the status information that the command has been executed or ignored is understood not only by the information communication between the voice interface 100 and the robot control device 110 but also by voice and light, etc., so that the user and surrounding people can be understood. It is desirable to present as follows.

図２は、本発明の処理の流れを示すフローチャートである。以下、図のステップに従って説明する。
まずStep201では、マイクを使用した音声入力部１０１から音声を入力する。
続くStep202では、入力した音声は音声認識部１０２にて語彙として認識処理される。
Step203では、語彙−コマンド記憶部１０３に記憶した、語彙−コマンドテーブルを参照して認識した語彙に対応するコマンドを決定する。
Step204では、決定したコマンドを第１の通信部１０５により音声インターフェース１００からロボット制御装置１１０へ送信する。
Step205にて音声インターフェース１００から送信されたコマンドを第２の通信部１１１にて受信する。
Step206では、コマンド制御部１１２が、受信したコマンドが許可されたコマンドであるかどうか許可コマンド記憶部１１３を検索し、コマンドが一致した場合はStep207へ進み、一致するコマンドがない場合はStep208へ進む。
Step207では、受信したコマンドが許可されたコマンドであることをロボットステータス情報として音声インターフェース１００に送信する。
Step208では、受信したコマンドが許可されていないことをロボットステータス情報として音声インターフェース１００に送信する。
Step209では、ロボット制御部１１４へコマンドを送る。
Step210では、
（１）許可コマンドのうち、受信したコマンドと同一のコマンドやロボットの状態などによって実行不可のコマンドを許可コマンド記憶部１１３から削除する。
（２）ロボット機構部１２０を動作させる。
（３）次に実行可能なコマンドを許可コマンド記憶部１１３に登録する。
という処理を行う。 FIG. 2 is a flowchart showing the processing flow of the present invention. In the following, description will be given according to the steps in the figure.
First, in Step 201, voice is input from the voice input unit 101 using a microphone.
In the subsequent Step 202, the input speech is recognized and processed as a vocabulary by the speech recognition unit 102.
In Step 203, a command corresponding to the vocabulary recognized by referring to the vocabulary-command table stored in the vocabulary-command storage unit 103 is determined.
In Step 204, the determined command is transmitted from the voice interface 100 to the robot control device 110 by the first communication unit 105.
In Step 205, the second communication unit 111 receives the command transmitted from the voice interface 100.
In Step 206, the command control unit 112 searches the permitted command storage unit 113 to determine whether or not the received command is a permitted command. If the commands match, the process proceeds to Step 207. If there is no matching command, the process proceeds to Step 208. .
In Step 207, information indicating that the received command is a permitted command is transmitted to the voice interface 100 as robot status information.
In Step 208, information indicating that the received command is not permitted is transmitted to the voice interface 100 as robot status information.
In Step 209, a command is sent to the robot control unit 114.
In Step210,
(1) Of the permitted commands, commands that cannot be executed due to the same command as the received command, the state of the robot, or the like are deleted from the permitted command storage unit 113.
(2) The robot mechanism unit 120 is operated.
(3) The next executable command is registered in the permitted command storage unit 113.
Perform the process.

次に、使用者の発する音声を認識する音声インターフェースを利用したロボットの操作を具体的に説明する。
図３は語彙−コマンド記憶部１０３に記憶した語彙−コマンドテーブルの例である。この語彙−コマンドテーブルには、認識対象の語彙とコマンドが登録されており、一組の語彙とコマンドに対して固有のＩＤが割り振られる。
以下では、使用者の音声指示によりロボットが待機位置で起動(サーボＯＮ)し、外界センサであるビジョンセンサの情報をもとに、ロボット先端に取り付けられたツール（グリッパ）にて物体を把持し、決められた場所へ物体を運び、その後待機位置へ移動してサーボＯＦＦし作業を終了するといった一連の動作で説明する。
図３の語彙−コマンドテーブルに登録しているコマンドおよび語彙について説明する。
まず、ロボットの動作を停止するコマンドである「ROBOT_CTRL_STOP」に対しては、“とまれ”、“ストップ”、“危ない”といった人間が危険を感じた際に発声する語彙を冗長に登録している。
また、ロボットが待機位置で起動(サーボＯＮ)するコマンド「ROBOT_JOB_BGN」に“作業開始”という語彙を、ビジョンセンサの情報をもとに把持物体の位置姿勢を取得して物体にアプローチするコマンド「ROBOT_JOB_APRCH」に“アプローチ”という語彙を、物体を把持するコマンド「ROBOT_JOB_GRASP」に“把持”という語彙を、物体を把持した後に決められた場所へ物体を運ぶコマンド「ROBOT_JOB_CARRY」に“運搬”という語彙を、把持した物体を放して待機位置へ移動するコマンド「ROBOT_JOB_OPEN」に“開放”という語彙を、待機位置に移動した後にサーボＯＦＦして作業を終了するコマンド「ROBOT_JOB_END」に“作業終了”という語彙をそれぞれ登録している。 Next, the operation of the robot using the voice interface for recognizing the voice uttered by the user will be specifically described.
FIG. 3 is an example of a vocabulary-command table stored in the vocabulary-command storage unit 103. In this vocabulary-command table, vocabulary and commands to be recognized are registered, and a unique ID is assigned to a set of vocabulary and commands.
In the following, the robot starts at the standby position (servo ON) according to the voice instruction of the user, and grips the object with the tool (gripper) attached to the tip of the robot based on the information of the vision sensor that is the external sensor. A series of operations will be described in which an object is carried to a predetermined place, then moved to a standby position, the servo is turned off, and the operation is completed.
The commands and vocabulary registered in the vocabulary-command table of FIG. 3 will be described.
First, for “ROBOT_CTRL_STOP” which is a command to stop the robot operation, vocabulary uttered when a person feels danger such as “Tare rare”, “Stop”, “Dangerous” is registered redundantly.
In addition, the command “ROBOT_JOB_APRCH” is used to acquire the position and orientation of the gripped object based on the information from the vision sensor and to approach the object using the vocabulary “start work” in the command “ROBOT_JOB_BGN” that the robot starts (servo ON) at the standby position. "Approach" vocabulary, "ROBOT_JOB_GRASP" command to grasp the object "gripping" vocabulary, "ROBOT_JOB_CARRY" command to carry the object to the place after grasping the object "transport" vocabulary The command "ROBOT_JOB_OPEN" that releases the gripped object and moves to the standby position has the vocabulary "Open", and the command "ROBOT_JOB_END" that moves to the standby position and ends the work ends with the vocabulary "End of work" Registered.

また、ロボット制御装置１１０では、図示しない記憶部に複数の動作コマンドが記述されたコマンドリストを予め記憶しており、ロボット制御部１１４が音声インターフェース１００から送られ、かつ許可されたコマンドを受信すると、そのコマンドと同じ名が付けられたコマンドリストを開き、そのコマンドリストに記述された動作コマンドを実行するようになっている。
図４は、ロボット制御部１１４で実行可能な動作コマンドの一例を示している。各コマンドの説明は図中に示しているのでここでは割愛する。 In the robot control device 110, a command list in which a plurality of operation commands are described is stored in advance in a storage unit (not shown), and when the robot control unit 114 receives a permitted command sent from the voice interface 100. The command list with the same name as the command is opened, and the operation command described in the command list is executed.
FIG. 4 shows an example of operation commands that can be executed by the robot controller 114. The explanation of each command is shown in the figure and is omitted here.

ここで、ロボットの動作を停止するコマンドである「ROBOT_CTRL_STOP」は、安全のためにその実行に緊急を要する。よって、「ROBOT_CTRL_STOP」は前述のようにコマンドとして語彙−コマンドテーブルに登録できるとともに、ロボット制御部１１４は、「ROBOT_CTRL_STOP」コマンドを受信すると同名のコマンドリストを参照せずに即座に対応する動作コマンドを実行するようになっている。
コマンドリストを参照するコマンドは「ROBOT_JOB_」を含む名称となっている一方、参照しないコマンドは「ROBOT_CTRL_」を含む名称となっており、ロボット制御部１１４は、受信したコマンドがコマンドリストを参照する必要があるものかどうかをコマンド名の文字列によって認識することができる。
すなわち、コマンド「ROBOT_CTRL_STOP」が音声インターフェース１１０から送信されると、ロボット制御部１１４は動作コマンドであると認識するとともに「ROBOT_CTRL_」以下に続く「STOP」を動作コマンドとして解釈、実行し、ロボットの動作を停止する。 Here, “ROBOT_CTRL_STOP”, which is a command for stopping the operation of the robot, requires urgent execution for safety. Therefore, as described above, “ROBOT_CTRL_STOP” can be registered as a command in the vocabulary-command table, and when the robot control unit 114 receives the “ROBOT_CTRL_STOP” command, the robot controller 114 immediately sends a corresponding operation command without referring to the command list of the same name. It is supposed to run.
The command that refers to the command list has a name including “ROBOT_JOB_”, while the command that does not refer to has a name that includes “ROBOT_CTRL_”, and the robot control unit 114 needs to refer to the command list by the received command. It can be recognized by the character string of the command name.
That is, when the command “ROBOT_CTRL_STOP” is transmitted from the voice interface 110, the robot control unit 114 recognizes that it is an operation command, interprets and executes “STOP” following “ROBOT_CTRL_” as an operation command, and moves the robot. To stop.

図５〜１０は、実際のロボットの動作を説明するための図である。
図５では、使用者が“作業開始”と発声すると音声インターフェース１００はその音声を認識し、図３に示す語彙−コマンドテーブルを参照してコマンド「ROBOT_JOB_BGN」をロボットに送信する。ロボット制御装置１１０はコマンドを受信すると許可されているコマンドか否かをコマンド制御部１１２にて判断する。
ここでは、「ROBOT_JOB_BGN」がコマンドリストを作成した使用者によって予め許可コマンドとして許可コマンド記憶部１１３に登録されており、コマンド制御部１１２はロボット制御部１１４へコマンドを送信することができる。コマンドを受信したロボット制御部１１４は、「ROBOT_JOB_BGN」という名前が付けられたコマンドリストを参照し、そのコマンドリスト内の動作コマンドを実行することで許可コマンドの登録／削除およびロボット機構部の動作を制御するようになっている。
図５に示すコマンドリストでは、現在実行中のコマンド「ROBOT_JOB_BGN」を許可コマンド記憶部１１３から削除し、「SVON」によってサーボＯＮを実行した後、サーボＯＮの状態で許可することのできるコマンド「ROBOT_JOB_APRCH」、「ROBOT_JOB_END」、「ROBOT_CTRL_STOP」を許可コマンド記憶部１１３に登録する。
「SVON」は、図４の説明にあるようにロボット機構部１２０の各関節を駆動するサーボモータの電源をＯＮにするコマンドである。
このようにすることで、誤認識によって許可コマンド以外のコマンドを受信しても、コマンド制御部１１２によって無視されるため、ロボットは誤動作しないようになっている。
なお、許可コマンドは、ロボット制御部１１４からコマンド制御部１１２を介して許可コマンド記憶部１１３への登録や削除を行なうようになっている。許可コマンド記憶部１１３に一度記憶したコマンドは、削除するまで保持されるようになっている。 5 to 10 are diagrams for explaining the actual operation of the robot.
In FIG. 5, when the user utters “work start”, the voice interface 100 recognizes the voice and transmits the command “ROBOT_JOB_BGN” to the robot with reference to the vocabulary-command table shown in FIG. 3. When the robot controller 110 receives the command, the command controller 112 determines whether the command is permitted.
Here, “ROBOT_JOB_BGN” is registered in advance in the permitted command storage unit 113 as a permitted command by the user who created the command list, and the command control unit 112 can transmit a command to the robot control unit 114. The robot control unit 114 that has received the command refers to the command list named “ROBOT_JOB_BGN” and executes the operation command in the command list to register / delete the permitted command and perform the operation of the robot mechanism unit. It comes to control.
In the command list shown in FIG. 5, the command “ROBOT_JOB_APRCH” that can be permitted in the servo-on state after deleting the currently executed command “ROBOT_JOB_BGN” from the permitted command storage unit 113 and executing the servo-on by “SVON”. ”,“ ROBOT_JOB_END ”, and“ ROBOT_CTRL_STOP ”are registered in the permission command storage unit 113.
“SVON” is a command for turning on the power of the servo motor that drives each joint of the robot mechanism unit 120 as described in FIG. 4.
In this way, even if a command other than the permission command is received due to erroneous recognition, the command control unit 112 ignores the command, so that the robot does not malfunction.
The permission command is registered or deleted from the robot control unit 114 to the permission command storage unit 113 via the command control unit 112. The command once stored in the permitted command storage unit 113 is held until it is deleted.

続いて、図６に示すように使用者が“アプローチ”と発声するとコマンド「ROBOT_JOB_APRCH」がロボット制御装置１１０に送信される。コマンド制御部１１２では前回のコマンド「ROBOT_JOB_BGN」にて既に「ROBOT_JOB_APRCH」を許可コマンド記憶部１１３に登録しているためロボット制御部１１４にコマンドを送信する。ロボット制御部１１４では、「ROBOT_JOB_APRCH」という名前が付けられたコマンドリストを参照し、そのコマンドリスト内の動作コマンドを実行する。
図６に示すコマンドリストでは、「ROBOT_JOB_APRCH」を許可コマンド記憶部１１３から削除し、「MOVJ P1」によりロボット機構部１２０を動作させた後に「MOVJ P2」により動作させ、さらに「MOVL *VISION」により、ビジョンセンサが取得した物体の位置へ直線的に動作した後、「ROBOT_JOB_GRASP」を許可コマンド記憶部１１３に登録する。
「MOVJ P1」は、図４の説明にあるようにロボットのそれぞれの関節を指定された各関節角度（P1ベクトル）へと動作させるコマンドであり、「MOVJ P2」も同じく各関節角度（P2ベクトル）へと動作させるコマンドである。また、「MOVL」はロボットのツール先端を指定された三次元位置および姿勢（この場合は*VISION）へと移動させるコマンドである。 Subsequently, as shown in FIG. 6, when the user utters “approach”, a command “ROBOT_JOB_APRCH” is transmitted to the robot controller 110. The command control unit 112 transmits the command to the robot control unit 114 because “ROBOT_JOB_APRCH” has already been registered in the permission command storage unit 113 with the previous command “ROBOT_JOB_BGN”. The robot control unit 114 refers to a command list named “ROBOT_JOB_APRCH” and executes an operation command in the command list.
In the command list shown in FIG. 6, “ROBOT_JOB_APRCH” is deleted from the permission command storage unit 113, the robot mechanism unit 120 is operated by “MOVJ P1”, then operated by “MOVJ P2”, and further by “MOVL * VISION”. After the vision sensor moves linearly to the acquired object position, “ROBOT_JOB_GRASP” is registered in the permission command storage unit 113.
“MOVJ P1” is a command to move each joint of the robot to each specified joint angle (P1 vector) as described in FIG. 4, and “MOVJ P2” is also a command for each joint angle (P2 vector). ) Is a command to be operated. “MOVL” is a command for moving the tip of the robot tool to the specified 3D position and orientation (* VISION in this case).

図７では、使用者が“把持”と発声するとコマンド「ROBOT_JOB_GRASP」がロボット制御装置１１０に送信される。コマンド制御部１１２では前回のコマンド「ROBOT_JOB_APRCH」にて既に「ROBOT_JOB_ GRASP」を許可コマンド記憶部１１３に登録しているためロボット制御部１１４にコマンドを送信する。ロボット制御部１１４では、「ROBOT_JOB_ GRASP」という名前が付けられたコマンドリストを参照し、そのコマンドリスト内の動作コマンドを実行する。
図７に示すコマンドリストでは、「ROBOT_JOB_ GRASP」を許可コマンド記憶部１１３から削除し、「MOVJ E1」によりロボット先端のグリッパを移動させた後にグリッパを閉じ、「ROBOT_JOB_CARRY」と「ROBOT_JOB_OPEN」を許可コマンド記憶部１１３に登録する。
「MOVJ P*」の場合は、ロボットのそれぞれの関節を指定された各関節角度へと動作させるのみであるが、「MOVJ E*」の場合はそれに加え、グリッパなどロボット本体以外の外部軸の操作も指定できるようになっている。 In FIG. 7, when the user utters “grip”, the command “ROBOT_JOB_GRASP” is transmitted to the robot controller 110. Since the command control unit 112 has already registered “ROBOT_JOB_GRASP” in the permitted command storage unit 113 with the previous command “ROBOT_JOB_APRCH”, the command control unit 112 transmits the command to the robot control unit 114. The robot controller 114 refers to a command list named “ROBOT_JOB_GRASP” and executes an operation command in the command list.
In the command list shown in FIG. 7, “ROBOT_JOB_GRASP” is deleted from the permitted command storage unit 113, the gripper is moved after moving the gripper at the tip of the robot by “MOVJ E1,” and “ROBOT_JOB_CARRY” and “ROBOT_JOB_OPEN” are permitted commands. Register in the storage unit 113.
In the case of “MOVJ P *”, each joint of the robot is only moved to each specified joint angle, but in the case of “MOVJ E *”, in addition to this, an external axis other than the robot body such as a gripper is used. You can also specify the operation.

図８では、使用者が“運搬”と発声するとコマンド「ROBOT_JOB_CARRY」がロボット制御装置１１０に送信される。コマンド制御部１１２では前回のコマンド「ROBOT_JOB_GRASP」にて既に「ROBOT_JOB_CARRY」を許可コマンド記憶部１１３に登録しているためロボット制御部１１４にコマンドを送信する。ロボット制御部１１４では、「ROBOT_JOB_CARRY」という名前が付けられたコマンドリストを参照し、そのコマンドリスト内の動作コマンドを実行する。
図８に示すコマンドリストでは、「ROBOT_JOB_CARRY」を許可コマンド記憶部１１３から削除し、各関節角度(P3ベクトル)に移動した後、各関節角度(P4ベクトル)に移動する。 In FIG. 8, when the user utters “transport”, the command “ROBOT_JOB_CARRY” is transmitted to the robot controller 110. Since the command control unit 112 has already registered “ROBOT_JOB_CARRY” in the permission command storage unit 113 with the previous command “ROBOT_JOB_GRASP”, the command control unit 112 transmits the command to the robot control unit 114. The robot control unit 114 refers to a command list named “ROBOT_JOB_CARRY” and executes an operation command in the command list.
In the command list shown in FIG. 8, “ROBOT_JOB_CARRY” is deleted from the permission command storage unit 113, moved to each joint angle (P3 vector), and then moved to each joint angle (P4 vector).

図９では、使用者が“開放”と発声するとコマンド「ROBOT_JOB_OPEN」がロボット制御装置１１０に送信される。コマンド制御部１１２では前回のコマンド「ROBOT_JOB_GRASP」にて既に「ROBOT_JOB_ OPEN」を許可コマンド記憶部１１３に登録しているためロボット制御部１１４にコマンドを送信する。ロボット制御部１１４では、「ROBOT_JOB_OPEN」という名前が付けられたコマンドリストを参照し、そのコマンドリスト内の動作コマンドを実行する。
図９に示すコマンドリストでは、「ROBOT_JOB_OPEN」を許可コマンド記憶部１１３から削除し、グリッパを開いた状態にして各関節角度(E2ベクトル)へ移動させた後、各関節角度(P5ベクトル)に移動し、その後待機姿勢である各関節角度(P1ベクトル)に移動し、図示しないベルトコンベアなどで運ばれてきた物体を把持することができるように「ROBOT_JOB_APRCH」を許可コマンド記憶部１１３に登録する。 In FIG. 9, when the user utters “open”, the command “ROBOT_JOB_OPEN” is transmitted to the robot controller 110. Since the command control unit 112 has already registered “ROBOT_JOB_OPEN” in the permitted command storage unit 113 with the previous command “ROBOT_JOB_GRASP”, the command control unit 112 transmits the command to the robot control unit 114. The robot controller 114 refers to a command list named “ROBOT_JOB_OPEN” and executes an operation command in the command list.
In the command list shown in FIG. 9, “ROBOT_JOB_OPEN” is deleted from the permission command storage unit 113, the gripper is opened and moved to each joint angle (E2 vector), and then moved to each joint angle (P5 vector). Then, the robot moves to each joint angle (P1 vector) that is a standby posture, and registers “ROBOT_JOB_APRCH” in the permission command storage unit 113 so that an object carried by a belt conveyor (not shown) can be gripped.

図１０は、使用者が“作業終了”と発声するとコマンド「ROBOT_JOB_END」がロボット制御装置１１０に送信される。コマンド制御部１１２では前回のコマンド「ROBOT_JOB_BGN」にて既に「ROBOT_JOB_ END」を許可コマンド記憶部１１３に登録しているためロボット制御部１１４にコマンドを送信する。ロボット制御部１１４では、「ROBOT_JOB_END」という名前が付けられたコマンドリストを参照し、そのコマンドリスト内の動作コマンドを実行する。
図１０に示すコマンドリストでは、「ROBOT_JOB_END」を許可コマンド記憶部１１３から削除し、「SVOF」によりサーボＯＦＦした後、次の作業ができるように「ROBOT_JOB_BGN」を許可コマンド記憶部１１３に登録して作業を終了する。
「SVOF」は、図４の説明にあるように「SVON」とは逆にロボット機構部１２０の各関節を駆動するサーボモータの電源をＯＦＦにするコマンドである。
ここで、各コマンドリストの動作コマンドの記述で実行中のコマンドを初めに削除するのは、記憶するメモリの節約とコマンド実行中に音声インターフェースが誤認識して同名のコマンドが再送された場合にロボットが誤動作しないようにするためであり、本実施例のようにコマンドリストに記述せず、ロボット制御部１１４が一度受信したコマンドを許可コマンド記憶部１１３から削除するようにしてもよい。 In FIG. 10, when the user utters “work end”, the command “ROBOT_JOB_END” is transmitted to the robot control device 110. Since the command control unit 112 has already registered “ROBOT_JOB_END” in the permitted command storage unit 113 with the previous command “ROBOT_JOB_BGN”, the command control unit 112 transmits the command to the robot control unit 114. The robot controller 114 refers to the command list named “ROBOT_JOB_END” and executes the operation command in the command list.
In the command list shown in FIG. 10, “ROBOT_JOB_BGN” is registered in the permission command storage unit 113 so that the next operation can be performed after “ROBOT_JOB_END” is deleted from the permission command storage unit 113 and the servo is turned off by “SVOF”. Finish the work.
“SVOF” is a command to turn off the power of the servo motor that drives each joint of the robot mechanism unit 120, as opposed to “SVON” as described in FIG. 4.
Here, the command being executed in the description of the operation command of each command list is deleted first when the command with the same name is resent because the voice interface is misrecognized during the command execution and saving of memory to be stored. In order to prevent the robot from malfunctioning, the command once received by the robot control unit 114 may be deleted from the allowed command storage unit 113 without being described in the command list as in this embodiment.

このように、ロボットの状態に応じて実行可能なコマンドのみを許可するため、音声インターフェース部で騒音などを誤認識した場合でも送信されるコマンドが制限されるのでロボットの誤動作を著しく低減することができる。
また、本発明では音声インターフェースは、使用者の発声した音声を認識し、コマンドをロボット制御装置へ送信するといった単純な機能であるため、複数のロボットと接続して音声操作することができる。 In this way, only commands that can be executed according to the state of the robot are allowed, so even if the voice interface unit misrecognizes noise or the like, the transmitted commands are limited, which can significantly reduce the robot malfunction. it can.
In the present invention, since the voice interface has a simple function of recognizing the voice uttered by the user and transmitting a command to the robot control device, the voice interface can be connected to a plurality of robots for voice operation.

装置の状態に応じて実行するコマンドを制限することができるので、ロボットの操作以外にもモータやエンジンなどで駆動する装置を音声で操作するという用途にも適用できる。 Since commands to be executed can be limited according to the state of the apparatus, the present invention can be applied not only to the operation of the robot but also to the use of operating the apparatus driven by the motor, the engine or the like by voice.

本発明のロボット制御システムを示すブロック図Block diagram showing a robot control system of the present invention 本発明の処理の流れを示すフローチャートThe flowchart which shows the flow of the process of this invention 語彙−コマンドテーブルの例Vocabulary-command table example 動作コマンドの例Example of operation command ロボットの一連の動作説明図Illustration of a series of robot operations ロボットの一連の動作説明図Illustration of a series of robot operations ロボットの一連の動作説明図Illustration of a series of robot operations ロボットの一連の動作説明図Illustration of a series of robot operations ロボットの一連の動作説明図Illustration of a series of robot operations ロボットの一連の動作説明図Illustration of a series of robot operations 従来例を表すブロック図Block diagram showing a conventional example 従来例の動作を表すフローチャートFlow chart showing operation of conventional example 騒音下における音声認識率の変化（実験結果）Change in speech recognition rate under noise (experimental result)

Explanation of symbols

１００音声インターフェース
１０１音声入力部
１０２音声認識部
１０３語彙−コマンド記憶部
１０４コマンド決定部
１０５通信部
１１０ロボット制御装置
１１１通信部
１１２コマンド制御部
１１３許可コマンド記憶部
１１４ロボット制御部
１１５外界センサ
１２０ロボット機構部
４１０送信機
４１１マイク
４１２送信部
４２０クレーン制御部
４２１受信部
４２２音声認識部
４２３信号処理部
４２４油圧変換部 DESCRIPTION OF SYMBOLS 100 Voice interface 101 Voice input part 102 Voice recognition part 103 Vocabulary-command memory | storage part 104 Command determination part 105 Communication part 110 Robot control apparatus 111 Communication part 112 Command control part 113 Permitted command memory | storage part 114 Robot control part 115 External sensor 120 Robot mechanism Unit 410 transmitter 411 microphone 412 transmission unit 420 crane control unit 421 reception unit 422 voice recognition unit 423 signal processing unit 424 hydraulic pressure conversion unit

Claims

In a robot control method for controlling a robot based on a user's voice,
Recognizing the input voice of the user, determining a command of the robot based on the recognized voice, and transmitting the determined command to a robot controller;
The robot controller determines whether the received command is a command that is permitted to be executed,
Ignore the command if not allowed,
If permitted, according to a procedure pre-associated with the command, delete at least one of the commands allowed at that time, operate the robot according to the command, and then permit according to the procedure A robot control method, wherein at least one command is registered.

With robots,
A robot controller for controlling the robot;
A voice interface that recognizes a user's voice, determines a command of the robot based on the recognized voice, and transmits the determined command to a robot controller;
The robot controller is
Determine whether the received command is a command that is allowed to be executed,
Ignore the command if not allowed,
If permitted, according to a procedure pre-associated with the command, delete at least one of the commands allowed at that time, operate the robot according to the command, and then permit according to the procedure A robot apparatus that registers at least one command .