Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6993382B2 - ロボット教示装置 - Google Patents
[go: Go Back, main page]

JP6993382B2 - ロボット教示装置 - Google Patents

ロボット教示装置 Download PDF

Info

Publication number
JP6993382B2
JP6993382B2 JP2019086752A JP2019086752A JP6993382B2 JP 6993382 B2 JP6993382 B2 JP 6993382B2 JP 2019086752 A JP2019086752 A JP 2019086752A JP 2019086752 A JP2019086752 A JP 2019086752A JP 6993382 B2 JP6993382 B2 JP 6993382B2
Authority
JP
Japan
Prior art keywords
recognition target
unit
robot
target word
command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019086752A
Other languages
English (en)
Other versions
JP2020184117A (ja
Inventor
成貴 篠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2019086752A priority Critical patent/JP6993382B2/ja
Priority to US16/849,328 priority patent/US11580972B2/en
Priority to DE102020110626.2A priority patent/DE102020110626B4/de
Priority to CN202010327176.3A priority patent/CN111844085B/zh
Publication of JP2020184117A publication Critical patent/JP2020184117A/ja
Application granted granted Critical
Publication of JP6993382B2 publication Critical patent/JP6993382B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/003Controls for manipulators by means of an audio-responsive input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/06Control stands, e.g. consoles, switchboards
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Program-controlled manipulators
    • B25J9/0081Program-controlled manipulators with leader teach-in means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Program-controlled manipulators
    • B25J9/16Program controls
    • B25J9/1628Program controls characterised by the control loop
    • B25J9/163Program controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Program-control systems
    • G05B19/02Program-control systems electric
    • G05B19/42Recording and playback systems, i.e. in which the program is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Program-controlled manipulators
    • B25J9/16Program controls
    • B25J9/1656Program controls characterised by programming, planning systems for manipulators
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/35Nc in input of data, input till input file format
    • G05B2219/35453Voice announcement, oral, speech input
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39443Portable, adapted to handpalm, with joystick, function keys, display
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Description

本発明は、ロボット教示装置に関する。
ロボットの動作プログラムは、教示装置をキー操作して作成・編集するのが一般的である。特許文献1-3は、音声入力機能を有する教示装置の例を記載する。特許文献1には、「本発明の場合、操作者が所望の操作メニューを、前記音声入力有効スイッチ7を押し、前記音声入力部6に発話すると、前記音声認識処理部8で、前記音声入力部6で入力された音声信号が該当するテキストに変換され、前記記憶手段10dの登録メニューと比較され登録された当該操作メニュー画面が選択され、前記表示画面5cに表示される。」と記載されている(特許文献1、段落0009)。
特許文献2には、「音声ベースで複数の基本動作を指示し、動作履歴を記憶しておくことにより、音声による対話のみで複数の基本動作を時系列的に組み合わせた複合動作を新たな動作として命名することができる。ユーザは、複雑な一連の動作を1単語のみで指示可能で、ロボットとの会話も容易になる。」と記載されている(特許文献2、要約書)。特許文献3には、「ロボットの主制御部12に音声入力装置30が接続され、この装置30のマイク32から動作内容を入力すると、その内容を音声認識部34が認識して、音声入力装置用制御部36がその内容を主制御部12に伝えて、ロボットの動作を行うものである。」と記載されている(特許文献3、要約書)。
特開2006-68865号公報 特開2002-283259号公報 特開平10-225886号公報
教示装置を用いた産業用ロボットの教示では、オペレータがロボットの教示と並行して別の作業を遂行する場合がある。ロボットの教示におけるオペレータの負担をよりいっそう軽減することができるロボット教示装置が望まれている。
本開示の一態様は、ロボットの教示を行うためのロボット教示装置であって、表示装置と、ハードキー又は前記表示装置の表示画面上に配置されるソフトキーからなる操作キーであって、音声入力を受け付けるか否かを切り替えるための入力切替スイッチを有する操作キーと、音声を収集し音声信号を出力するマイクロホンと、前記音声信号に対し音声認識処理を行い前記音声が表す文字情報を出力する音声認識部と、前記ロボットに対する教示に用いる複数種類の指令の各々と、認識対象語とを関連付けて記憶する対応関係記憶部と、前記文字情報が表す言葉に前記対応関係記憶部に記憶された前記認識対象語が含まれるか否かを判別する認識対象語判別部と、前記入力切替スイッチが操作されることに応じて、前記操作キーに対する操作内容に対応した前記指令を実行するための信号を出力する第1動作と、前記文字情報が表す言葉に含まれると判別された前記認識対象語に関連付けて前記対応関係記憶部に記憶された前記指令を実行するための信号を出力する第2動作とを切り替える指令実行信号出力部と、を備え、前記指令実行信号出力部は、前記ロボットを動作させる第1指令と関連付けられた第1認識対象語が前記認識対象語判別部によって連続して判別される場合に、前記第1認識対象語が前記認識対象語判別部によって連続して判別される頻度に応じて、前記第1指令により動作する前記ロボットの平均動作速度が変わるように、前記第1指令を実行するための前記信号を生成する動作速度制御部を備え、前記動作速度制御部は、前記第1認識対象語が一旦判別されると、前記ロボットの動作速度を前記第1指令に応じた第1速度に一旦上昇させ、その後前記動作速度を前記第1速度から所定時間経過後にゼロに至る減速パターンで減速させるように、前記信号を生成し、さらに、前記動作速度制御部は、前記頻度が高くなるほど前記平均動作速度が高くなるように前記信号を生成する、ロボット教示装置である。
上記構成によれば、オペレータは操作キーによる教示と音声入力による教示を適宜のタイミングで切り替えて、教示作業の中断を招くことなく円滑に教示作業を進めることができる。
添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれらの目的、特徴および利点ならびに他の目的、特徴および利点がさらに明確になるであろう。
一実施形態に係るロボット教示装置を含むロボットシステムの全体構成を表す図である。 ロボット教示装置の機能ブロック図である。 音声入力教示処理を表すフローチャートである。 音声入力された命令の実行許可を求めるメッセージ画面の例を示す。 音声入力によりロボットを動作させる指令が入力された場合の速度制御パターンの例を示している。 音声入力による指令の入力の頻度が高い場合の速度制御の状態を示す図である。 音声入力による指令の入力の頻度が低い場合の速度制御の状態を示す図である。 音声が表す言葉が認識対象語に含まれる語を含むという関連性を有する場合の音声入力教示処理を表すフローチャートである。 図7の音声入力教示処理において表示装置に表示される選択画面を示す。 音声入力された音声が表す言葉が認識対象語と似た意味の言葉を含むという関連性を有する場合の音声入力教示処理を表すフローチャートである。 図9の音声入力教示処理において表示装置に表示される選択画面を示す。 動作プログラムの編集画面の例を示す図である。
次に、本開示の実施形態について図面を参照して説明する。参照する図面において、同様の構成部分または機能部分には同様の参照符号が付けられている。理解を容易にするために、これらの図面は縮尺を適宜変更している。また、図面に示される形態は本発明を実施するための一つの例であり、本発明は図示された形態に限定されるものではない。
図1は一実施形態に係るロボット教示装置30を含むロボットシステム100の全体構成を表す図である。図2は、ロボット教示装置30の機能ブロック図である。図1に示すように、ロボットシステム100は、ロボット10と、ロボット10を制御するロボット制御装置20と、ロボット制御装置20に接続されたロボット教示装置30とを備える。ロボット教示装置30には、音声を収集し音声信号を出力するマイクロホン40が有線又は無線により接続されている。一例として、図1では、マイクロホン40は、ロボット教示装置30を操作するオペレータOPが装着するヘッドセットタイプのマイクとして構成されている。なお、マイクロホン40は、ロボット教示装置30に内蔵されていても良い。
ロボット10は、例えば、垂直多関節ロボットである。ロボット10として他のタイプのロボットが用いられても良い。ロボット制御装置20は、ロボット教示装置30から入力される各種指令に応じてロボット10の動作を制御する。ロボット制御装置20は、CPU、ROM、RAM、記憶装置、表示部、操作部、外部機器インタフェース、ネットワークインタフェース等を有する一般的なコンピュータとしての構成を有していても良い。ロボット教示装置30は、例えば、教示操作盤、或いはタブレット端末等の携帯型情報端末である。ロボット教示装置30は、CPU、ROM、RAM、記憶装置、表示部、操作部、外部機器インタフェース、ネットワークインタフェース等を有する一般的なコンピュータとしての構成を有していても良い。
ロボット教示装置30は、表示装置31と操作部32とを備える。操作部32には、教示入力のためのハードキー(ハードウェアキー)302が配置されている。表示装置31は、タッチパネルを有し、表示装置31の表示画面上には画像として配列されるソフトキー301が設けられている。オペレータOPは、操作キー(ハードキー302及びソフトキー301)を操作してロボット10の教示或いは操作を行うことができる。ソフトキー301は、音声入力を受け付けるか否かを切り替えるための入力切替スイッチ301aを有する。なお、ロボット教示装置30がタブレット端末である場合には、ロボット教示装置30は操作キーとしてソフトキーのみを有していても良い。音声入力を受け付けるか否かを切り替えるための入力切替スイッチは、ハードキー302に配置されていても良い。
図2に示すように、ロボット教示装置30は、音声信号に対し音声認識処理を行い音声が表す文字情報を出力する音声認識部311と、ロボット10に対する教示に用いる複数種類の指令の各々と、認識対象語とを関連付けて記憶する対応関係記憶部312と、音声認識部311からの文字情報が表す言葉に対応関係記憶部312に記憶された認識対象語が含まれるか否かを判別する認識対象語判別部313と、入力切替スイッチ301aが操作されることに応じて、操作キーに対する操作内容に対応した指令を実行するための信号を出力する第1動作と、音声認識部311からの文字情報が表す言葉に含まれると判別された認識対象語に関連付けて対応関係記憶部312に記憶された指令を実行するための信号を出力する第2動作とを切り替える指令実行信号出力部314と、を備える。ここで、ロボットの教示に用いる指令とは、命令(マクロ命令を含む)、命令に付随するデータ等の指令に係わる各種データを含む意味で用いる。例えば、キー操作により入力する各種命令(マクロ命令を含む)に対応する認識対象語を対応関係記憶部312に予め記憶させておくことで、オペレータOPが命令に関する詳細な知識を持つことを要求することなく、オペレータOPにとって分かりやすいい表現の言葉を発することで所望の命令を実行させることが可能になる。
音声認識部311は、音響モデル、言語モデル等の音声認識に必要な辞書データ321を複数種類の言語について有していても良い。この構成により、音声認識部311は、ユーザ選択された言語により、音声信号から1以上の単語を識別して文字情報として出力することができる。指令実行信号出力部314は、ロボット10に対する指令(操作)を実行するための信号を出力する前に、実行許可を求めるメッセージを表す画像を表示装置31に表示させる実行許可要求部331を有していても良い。なお、図2に示すロボット教示装置30の各種機能は、ソフトウェアにより、或いはハードウェアとソフトウェアと協働により実現することができる。
下記表1は、対応関係記憶部312に記憶される情報の例を示す。表1の例では、命令HOPに認識対象語“はんどおーぷん”が関連付けられ、命令HCLに認識対象語“はんどくろーず”が関連付けられ、命令PXに認識対象語“ぷらすえっくす”が関連付けられ、命令BOPに認識対象語“ぼっくすおーぷん”が関連付けられている。ここで、表1中の各命令は以下の意味を持つ。
HOP:ロボットはハンドを開く。
HCL:ロボットはハンドを閉じる。
PX:ロボットは+x方向に姿勢を動かす。
BOP:ロボットは箱を開ける。
Figure 0006993382000001
図3は、入力切替スイッチ301aに対する操作により受け付け可能となる、音声入力による教示機能(以下、音声入力教示処理と記す)を表すフローチャートである。図3の音声入力教示処理は、ロボット教示装置30のCPUによる制御の下で実行される。オペレータOPは、例えば、ロボット教示装置30への教示操作中に入力切替スイッチ301aを操作して音声入力を有効にする(ステップS11)。次に、オペレータOPは、所望の命令に対応する認識対象語を発話する(ステップS12)。一例として、対応関係記憶部312には表1の情報が記憶され、オペレータOPは、ロボット10のハンドを開く命令“HOP”を意図して“はんどおーぷん”と発話する場合を想定する。ロボット教示装置30は、音声入力された言葉が対応関係記憶部312に記憶された認識対象語を含むか否かを識別する(ステップS13)。音声入力された言葉に認識対象語が含まれない場合には(S13:No)、処理はステップS12に戻る。ここでは、オペレータOP発話した“はんどおーぷん”は、認識対象語として対応関係記憶部312に記憶されている。この場合、音声入力された言葉に認識対象語が含まれると判定され(S13:Yes)、処理はステップS14に進む。
次に、ロボット教示装置30(実行許可要求部331)は、オペレータOPに対して音声入力された命令の実行許可を求めるメッセージ画面401(図4参照)を表示装置31に表示する(ステップS14)。メッセージ画面401は、命令の実行の可否のオペレータOPによる選択操作を受け付ける選択メニュー(“はい”、“いいえ”)を含んでいる。ステップS15では、オペレータOPからの選択操作を受け付ける。オペレータOPは、メッセージ画面401上のボタンを操作して命令“HOP”を実行するか否かを指示することができる。命令の実行を許可する操作が受け付けられた場合(S15:Yes)、指令実行信号出力部314は、命令を実行するための信号をロボット制御装置20に送信する(ステップS16)。命令の実行を許可しない操作が受け付けられた場合(S15:No)、処理はステップS12に戻る。
ステップS15において、ロボット教示装置30は、メッセージ画面401が表示された状態で音声入力による選択操作を受け付けるように構成されていても良い。この場合、音声認識部311が命令の実行を許可する単語“はい”を識別できた場合、ロボット教示装置30は、命令の実行が許可されたと判断する。そして、指令実行信号出力部314は、命令“HOP”を実行するための信号をロボット制御装置20に送信する。
入力切替スイッチ301aは、押下される度に、ロボット教示装置30を音声入力を受け付ける状態とキー操作を受け付ける状態とに切り替えるように機能するものであっても良いし、押下されている間のみロボット教示装置30を音声入力を受け付ける状態にするように機能するものであっても良い。
産業用ロボットの教示においては、オペレータOPがロボットの操作と並行して作業を遂行する場合がある。このような状況にあっても、オペレータOPは必要に応じて入力切替スイッチ301aを操作することで、キー操作による教示と音声入力による教示とを適宜のタイミングで切り替えながら教示作業の中断を招くことなく円滑に教示作業を進めることができる。一例として、オペレータが片方の手でロボット教示装置30を保持しもう片方の手でワークを持ってワークをロボットのハンド装置に把持させる動作を行うような場面を想定する。このような場面においても、オペレータOPは、キー操作によりロボット10がワークを受け取る姿勢となった状態で音声入力を有効にして、視線をロボットに移してワークをかざし、“はんどくろーず”と発話すればよい。ワークの把持が終われば、オペレータは直ちに視線をロボット教示装置に戻してキー操作を有効にしてキー操作を続行することができる。
図2に示すように、指令実行信号出力部314は、音声入力によるロボット10を動作させる指令(以下、第1指令とも記載する)と関連付けられた認識対象語(以下、第1認識対象語とも記載する)が認識対象語判別部313によって連続して判別される場合に、第1認識対象語が認識対象語判別部313によって連続して判別される頻度に応じて、第1指令により動作するロボット10の平均動作速度が変わるように、第1指令を実行するための信号を生成する動作速度制御部332を備えていても良い。
図5は、音声入力によりロボット教示装置30に第1指令が入力された場合の動作速度制御部332による速度制御パターンを示している。図5において横軸は時間、縦軸は速度を表す。T0は速度制御パターンの全体の長さを表している。一例として、第1指令が表1における命令PXである場合を想定する。オペレータOPが、“ぷらすえっくす”と発話することでタイミングt1においてロボット教示装置30に第1指令が入力されると、動作速度制御部332は、第1指令に応じた速度V0で一旦ロボット10(アーム先端)を所定時間動作させ、その後一定の減速度で減速させる。減速度は、例えば、動作速度が速度V0から減速に転じたタイミングt2から所定時間後にゼロに到達する減速度である。すなわち、オペレータOPがロボット10(アーム先端)を+X方向に移動させようと“ぷらすえっくす”と発話した場合、動作速度制御部332は、一旦速度V0とした後に速度を一定の減速度で減速させる制御を行う。“ぷらすえっくす”の発話が一回であれば、ロボット10は図5の速度制御パターンで動作して停止する。
図5のような速度制御パターンで速度制御を行う場合、図6Aに示すようにオペレータOPが短い時間間隔で“ぷらすえっくす”との発話することでロボット10の平均移動速度(図6AにおいてVA1)を高めることができる。図6Bは図6Aの場合よりも長い時間間隔で“ぷらすえっくす”と発話する場合のロボット10の動作速度を表している。図6Bに示すようにオペレータOPが“ぷらすえっくす”と発話する時間間隔を長くすることで、ロボット10の平均移動速度(図6BにおいてVA2)はVA1よりも低くなる。
上述のような速度制御を行うことで、一度の発話による指令でロボット10が動作し続けてしまうような事態を回避することができ、オペレータOPに対する安全性に配慮した動きを実現することができる。また、それと同時に、オペレータOPは、発話の頻度を調節することでロボット10を所望の速度で動作させることが可能になる。なお、図5に示した速度制御パターン(減速パターン)は例示であり、指令に応答して速度を一旦上昇させた後減速させる様々な動作制御パターン(減速パターン)を用いることができる。
認識対象語判別部313は、入力された音声が表す言葉に対応関係記憶部312に記憶された認識対象語が含まれない場合に、音声が表す言葉に対し所定の関連性を有する1以上の認識対象語を対応関係記憶部312から抽出し、抽出された1以上の認識対象語と対応関係記憶部312において関連付けられている1以上の命令から1つを選択する操作入力を受け付ける選択画面を表示装置31に表示するように構成されていても良い。図7から図10を参照して、認識対象語判別部313によるこのような機能について2つの例を説明する。
図7は、音声入力された音声が表す言葉と対応関係記憶部312に記憶された認識対象語との間に、音声が表す言葉が認識対象語に含まれる語を含むという関連性を有する場合の音声入力教示処理を表すフローチャートである。図7のフローチャートにおいてステップS21-26は、それぞれ図3のステップS11-S16と同じ処理内容であるためその説明を省略する。ステップS23において、音声入力された言葉が認識対象語を含まないと判断された場合(S23:No)、処理はステップS28に進む。
ステップS28において、ロボット教示装置30は、音声が表す言葉が認識対象語に含まれる語を含むか否かを判断する。音声が表す言葉が認識対象語に含まれる語を含む場合(S28:Yes)、ロボット教示装置30は、音声が表す言葉が認識対象語に含まれる語を含むという関連性を有する認識対象語を対応関係記憶部312から抽出する。そして、ロボット教示装置30は、抽出された認識対象語と対応関係記憶部312において関連付けられた命令のリストを候補として表示装置31に表示する(ステップS29)。音声が表す言葉が認識対象語に含まれる語を含まない場合(S28:No)、処理はステップS22に戻る。図8は、ステップS29において表示装置31に表示されるリストの一例としての選択画面411を示す。例えば、下記表2に示すように、オペレータOPの発話が“おーぷん”を含む場合に、認識対象語の“はんどおーぷん”と“ぼっくすおーぷん”が候補として抽出され得る。また、下記表2に示すように、オペレータOPの発話が“はんど”を含む場合に、認識対象語の“はんどおーぷん”と“はんどくろーず”が候補として抽出され得る。
Figure 0006993382000002
図9の選択画面411は、オペレータOPの発話が“おーぷん”を含む場合に、認識対象語の“はんどおーぷん”と“ぼっくすおーぷん”が候補として抽出された場合の例である。ロボット教示装置30は、オペレータOPによる選択画面411を介しての選択操作を受け付ける(ステップS210)。選択画面411中にオペレータOPの意図する操作がある場合であって選択画面411を介していずれかの操作(命令)を指定する選択操作が受け付けられた場合(S210:Yes)、ロボット教示装置30は、指定された操作(命令)を選択して実行する(ステップS211、S26)。選択画面411中にオペレータOPの意図する操作がない場合(S210:No)、選択画面411において“この中にはない”が選択される(S212)。この場合、処理はステップS22に戻る。図7-8で説明した音声教示入力処理によれば、ロボット教示装置30がオペレータOPの発話内容の一部しか認識できなかった場合でも、オペレータOPは所望の命令を下すことができる。
図9は、音声入力された音声が表す言葉と対応関係記憶部312に記憶された認識対象語との間に、音声が表す言葉が認識対象語と似た意味の言葉を含むという関連性が有る場合(別の表現では、音声入力された音声が表す言葉と認識対象語とが共通する意味を有する場合)の音声入力教示処理を表すフローチャートである。図9のフローチャートにおいてステップS31-36は、それぞれ図3のステップS11-S16と同じ処理内容であるためその説明を省略する。ステップS33において、音声入力された言葉が認識対象語を含まないと判断された場合(S33:No)、処理はステップS38に進む。
ステップS38において、ロボット教示装置30は、音声が表す言葉が認識対象語と似た意味の言葉を含むか否かを判断する。音声が表す言葉が認識対象語と似た意味の言葉を含む場合(S38:Yes)、ロボット教示装置30は、音声が表す言葉が認識対象語と似た意味の言葉を含むという関連性を有する認識対象語を対応関係記憶部312から抽出する。一例として、ロボット教示装置30(認識対象語判別部313)は、認識対象語となり得る言葉と、そのような言葉と似た意味を有する言葉とを対応付けた辞書データを有していても良い。そして、ロボット教示装置30は、抽出された認識対象語と対応関係記憶部312において関連付けられた命令のリストを候補として表示装置31に表示する(ステップS39)。図10は、ステップS39において表示装置31に表示されるリストの一例としての選択画面421を示す。ロボット教示装置30は、下記表3のような認識対象語と、それと似た意味を有する言葉とを関連付けた情報を記憶していても良い。この場合、例えば、オペレータOPの発話が“はんどひらけ”又は“はんどをひらいて”である場合、ロボット教示装置30は、これらの発話の内容を解釈して、発話された内容と似た意味を有する認識対象語として“はんどおーぷん”を抽出することができる。また、下記表3に示すように、オペレータOPの発話が“はんどとじろ”又は“はんどをとじて”である場合、ロボット教示装置30は、これらの発話の内容を解釈して、発話された内容と似た意味を有する認識対象語として“はんどくろーず”を抽出することができる。
Figure 0006993382000003
図10の選択画面421は、オペレータOPの発話が“はんどひらけ”であった場合に、認識対象語の“はんどおーぷん”が候補として抽出された場合の例である。ロボット教示装置30は、オペレータOPによる選択画面421を介しての選択操作を受け付ける(ステップS310)。選択画面411中にオペレータOPの意図する操作がある場合であって選択画面421を介していずれかの操作(命令)を指定する選択操作が受け付けられた場合(S310:Yes)、ロボット教示装置30は、指定された操作(命令)を選択して実行する(ステップS311、S36)。選択画面421中にオペレータOPの意図する操作がない場合(S310:No)、選択画面421において“この中にはない”が選択される(S312)。この場合、処理はステップS32に戻る。図9-10で説明した音声教示入力処理によれば、ロボット教示装置30は、ステップS38において、認識した言葉の中に認識対象語に含まれる言葉に似た言葉が含まれているか否かを元に、それが本来どの認識対象語を意図したものか判断する。したがって、オペレータOPは、認識対象語を正確に覚えていなくても、所望の命令を下すことができる。
ロボット教示装置30は、入力切替スイッチ301aが操作されて音声入力が有効にされている間、ロボット教示装置30に対し文字データを入力する供給源を、操作キーから音声認識部311に切り替える入力切替部315を備えていても良い。具体的には、入力切替部315は、ロボット教示装置30上で動作する各種アプリケーションプログラムが文字データの入力を受け付ける際の供給源を、入力切替スイッチ301aに対する操作に応じて、操作キーと音声認識部311間で切り替える。ロボット教示装置30は、動作プログラムの作成・編集を行うためのプログラム編集部316を備える。図11は、例示として、プログラム編集部316により表示装置31に表示された動作プログラムの編集画面351を示している。オペレータOPは、例えば、編集画面351上で4行目をキー操作により選択した上で、入力切替スイッチ301aを操作して音声入力を有効にし、命令文“RO[1]”に関するコメント文“ハンドトジル”を音声入力により入力することができる。編集画面351における1行目の“ワークホジ”、5行目の“ワークホジフラグ”は、音声入力により入力されたコメント文の例である。
認識対象語判別部313は、編集画面351が表示されている状態で、音声入力が有効にされた場合に、音声入力された言葉に認識対象語が含まれると判別された場合に、判別された認識対象語と関連付けられてる命令を編集中の動作プログラムに自動的に挿入するように構成されていても良い。例えば、対応関係記憶部312において認識対象語“ロボットアウトプット”と命令“RO[]=”とが対応付けられている場合、オペレータOPは、“ロボットアウトプット”と発話することで命令“RO[]=”を容易に入力することができる。
仮に、キー操作により命令“RO[]=”を入力することを想定すると、オペレータOPは、
(1)編集画面351の下部の選択メニュー画面361から命令を入力するための項目“命令”(符号361a)をキー操作により選択し、
(2)命令の分類項目が一覧表示されたポップアップメニュー画面362からI/O命令を入力するための項目“I/O”(符号362a)をキー操作により選択し、
(3)I/O命令に該当する具体的な命令の一覧を示すポップポアップメニュー画像363からキー操作により命令“RO[]=”(363a)を選択する、
という操作を行う必要がある。
この点、認識対象語判別部313の機能により、オペレータOPは、所望の命令がどのメニューに含まれるかといった詳細な知識を予め持つことなしに、音声入力により簡便に所望の命令を入力できることとなる。
プログラム編集部316において、動作プログラム作成部391は、音声認識部311により識別された1以上の単語をファイル名として用いて動作プログラムのファイルを新規作成する機能を提供する。
また、ロボット教示装置30は、複数の動作プログラムを記憶する動作プログラム記憶部317を更に備える。プログラム編集部316において、動作プログラム選択部342は、音声認識部311により識別された1以上の単語に基づいて、動作プログラム記憶部317に記憶された複数の動作プログラムからから編集画面の作成の対象となる1つの動作プログラムを選択する機能を提供する。例えば、ロボット教示装置30において動作プログラム記憶部317に記憶された動作プログラムのリストを表示するキー操作がなされ、更に音声入力が有効にされた場合、動作プログラム選択部342は、音声入力された語に対応する動作プログラムを編集対象として選択する。
以上、典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、上述の各実施形態に変更及び種々の他の変更、省略、追加を行うことができるのを理解できるであろう。
上述の実施形態では、キー操作による教示入力と音声による教示入力を一つの入力切替スイッチによって切り替える例を記載しているが、このような入力の切り替えをキー操作により行う構成としては様々な構成が有り得る。例えば、音声入力をオンにするスイッチとオフにするスイッチとを別々に設けても良い。
上述した実施形態に示した音声入力処理(図3)、言語切替処理(図5)、音声入力教示処理(図6、8、10)を実行するプログラムは、コンピュータに読み取り可能な各種記録媒体(例えば、ROM、EEPROM、フラッシュメモリ等の半導体メモリ、磁気記録媒体、CD-ROM、DVD-ROM等の光ディスク)に記録することができる。
10 ロボット
20 ロボット制御装置
30 ロボット教示装置
31 表示装置
32 操作部
40 マイクロホン
301 ソフトキー
301a 入力切替スイッチ
302 ハードキー
311 音声認識部
312 対応関係記憶部
313 認識対象語判別部
314 指令実行信号出力部
315 入力切替部
316 プログラム編集部
317 動作プログラム記憶部
331 実行許可要求部
332 動作速度制御部

Claims (7)

  1. ロボットの教示を行うためのロボット教示装置であって、
    表示装置と、
    ハードキー又は前記表示装置の表示画面上に配置されるソフトキーからなる操作キーであって、音声入力を受け付けるか否かを切り替えるための入力切替スイッチを有する操作キーと、
    音声を収集し音声信号を出力するマイクロホンと、
    前記音声信号に対し音声認識処理を行い前記音声が表す文字情報を出力する音声認識部と、
    前記ロボットに対する教示に用いる複数種類の指令の各々と、認識対象語とを関連付けて記憶する対応関係記憶部と、
    前記文字情報が表す言葉に前記対応関係記憶部に記憶された前記認識対象語が含まれるか否かを判別する認識対象語判別部と、
    前記入力切替スイッチが操作されることに応じて、前記操作キーに対する操作内容に対応した前記指令を実行するための信号を出力する第1動作と、前記文字情報が表す言葉に含まれると判別された前記認識対象語に関連付けて前記対応関係記憶部に記憶された前記指令を実行するための信号を出力する第2動作とを切り替える指令実行信号出力部と、を備え
    前記指令実行信号出力部は、前記ロボットを動作させる第1指令と関連付けられた第1認識対象語が前記認識対象語判別部によって連続して判別される場合に、前記第1認識対象語が前記認識対象語判別部によって連続して判別される頻度に応じて、前記第1指令により動作する前記ロボットの平均動作速度が変わるように、前記第1指令を実行するための前記信号を生成する動作速度制御部を備え、
    前記動作速度制御部は、前記第1認識対象語が一旦判別されると、前記ロボットの動作速度を前記第1指令に応じた第1速度に一旦上昇させ、その後前記動作速度を前記第1速度から所定時間経過後にゼロに至る減速パターンで減速させるように、前記信号を生成し、
    さらに、前記動作速度制御部は、前記頻度が高くなるほど前記平均動作速度が高くなるように前記信号を生成する、ロボット教示装置。
  2. 前記指令実行信号出力部は、前記指令を実行するための信号を出力する前に、実行許可を求めるメッセージを表す画像を前記表示装置に表示させる実行許可要求部を備える、請求項1に記載のロボット教示装置。
  3. 前記実行許可要求部は、前記操作キーを介した入力操作に基づいて前記指令の実行が許可されたか否かを判定する、請求項に記載のロボット教示装置。
  4. 前記実行許可要求部は、前記音声認識部から出力される前記文字情報に基づいて前記指令の実行が許可されたか否かを判定する、請求項に記載のロボット教示装置。
  5. 前記認識対象語判別部は、前記文字情報が表す言葉に前記対応関係記憶部に記憶された前記認識対象語が含まれない場合に、前記文字情報が表す言葉に対し所定の関連性を有する1以上の前記認識対象語を前記対応関係記憶部から抽出し、抽出された1以上の前記認識対象語と前記対応関係記憶部において関連付けられている1以上の前記指令から1つを選択する操作入力を受け付ける選択画面を前記表示装置に表示する、請求項1からのいずれか一項に記載のロボット教示装置。
  6. 前記認識対象語判別部は、前記文字情報が表す言葉と共通する意味を有する1以上の前記認識対象語を前記対応関係記憶部から抽出する、請求項に記載のロボット教示装置。
  7. 前記入力切替スイッチが操作されて前記音声入力が有効にされている間、前記ロボット教示装置に対し文字データを入力する供給源を、前記操作キーから前記音声認識部に切り替える入力切替部を更に備える、請求項1からのいずれか一項に記載のロボット教示装置。
JP2019086752A 2019-04-26 2019-04-26 ロボット教示装置 Active JP6993382B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019086752A JP6993382B2 (ja) 2019-04-26 2019-04-26 ロボット教示装置
US16/849,328 US11580972B2 (en) 2019-04-26 2020-04-15 Robot teaching device
DE102020110626.2A DE102020110626B4 (de) 2019-04-26 2020-04-20 Roboter-lehrvorrichtung
CN202010327176.3A CN111844085B (zh) 2019-04-26 2020-04-23 机器人示教装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019086752A JP6993382B2 (ja) 2019-04-26 2019-04-26 ロボット教示装置

Publications (2)

Publication Number Publication Date
JP2020184117A JP2020184117A (ja) 2020-11-12
JP6993382B2 true JP6993382B2 (ja) 2022-02-04

Family

ID=72839834

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019086752A Active JP6993382B2 (ja) 2019-04-26 2019-04-26 ロボット教示装置

Country Status (4)

Country Link
US (1) US11580972B2 (ja)
JP (1) JP6993382B2 (ja)
CN (1) CN111844085B (ja)
DE (1) DE102020110626B4 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114527695B (zh) * 2022-02-10 2024-08-20 美的集团(上海)有限公司 机器人系统的开关机控制方法及机器人系统
CN114153464B (zh) * 2022-02-10 2022-05-03 广东天太机器人有限公司 一种工业机器人编程与解析的方法与存储介质
WO2024011518A1 (en) 2022-07-14 2024-01-18 Abb Schweiz Ag Method for controlling industrial robot and industrial robot
WO2025029303A1 (en) * 2023-07-31 2025-02-06 3Laws Robotics, Inc. Robotic signal supervisor for safety guarantees

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002318609A (ja) 2001-04-18 2002-10-31 Yaskawa Electric Corp 最適指令生成方法
JP2003080482A (ja) 2001-09-07 2003-03-18 Yaskawa Electric Corp ロボット教示装置
JP2005148789A (ja) 2003-11-11 2005-06-09 Fanuc Ltd 音声入力によるロボット教示プログラム編集装置
JP2006068865A (ja) 2004-09-03 2006-03-16 Yaskawa Electric Corp 産業用ロボットのプログラミングペンダント
JP2013136131A (ja) 2011-12-28 2013-07-11 Toyota Motor Corp ロボットの制御方法、ロボットの制御装置、及びロボット
JP2015231659A (ja) 2014-06-11 2015-12-24 キヤノン株式会社 ロボット装置
JP2019057123A (ja) 2017-09-21 2019-04-11 株式会社東芝 対話システム、方法、及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100534502B1 (ko) * 1996-07-11 2006-11-10 가부시키가이샤 세가 음성인식장치,음성인식방법및이것을이용한게임기
JPH10225886A (ja) 1997-02-14 1998-08-25 Shibaura Eng Works Co Ltd ロボットの操作装置
EP1157316B1 (de) 1999-03-02 2003-09-03 Siemens Aktiengesellschaft System und verfahren zur situationsgerechten unterstützung der interaktion mit hilfe von augmented-reality-technologien
DE10026263B4 (de) 1999-08-27 2004-04-08 Siemens Ag Steuerungsverfahren für eine industrielle technische Anlage, insbesondere eine Werkzeugmaschine oder einen Roboter
JP2002283259A (ja) 2001-03-27 2002-10-03 Sony Corp ロボット装置のための動作教示装置及び動作教示方法、並びに記憶媒体
DE10228252A1 (de) 2002-06-25 2004-01-22 Demag Ergotech Gmbh Vorrichtung zum Einrichten und Bedienen einer Spritzgießmaschine
KR100686334B1 (ko) 2003-11-14 2007-02-22 삼성에스디아이 주식회사 표시장치 및 그의 구동방법
JP2009145883A (ja) * 2007-11-20 2009-07-02 Rissho Univ 学習システム、記憶媒体及び学習方法
CN203300127U (zh) * 2013-06-18 2013-11-20 西北师范大学 儿童教学监护机器人
KR102046598B1 (ko) 2015-12-07 2019-11-19 카와사키 주코교 카부시키 카이샤 로봇시스템 및 그 운전방법
CN108472810A (zh) 2016-01-29 2018-08-31 三菱电机株式会社 机器人示教装置和机器人控制程序生成方法
CN107053191B (zh) * 2016-12-31 2020-05-08 华为技术有限公司 一种机器人,服务器及人机互动方法
US10355931B2 (en) * 2017-04-17 2019-07-16 Essential Products, Inc. Troubleshooting voice-enabled home setup
EP3622439B1 (en) * 2017-09-15 2022-08-03 Google LLC Improvements related to generating a robot control policy from demonstrations collected via kinesthetic teaching of a robot
KR102290983B1 (ko) * 2018-08-27 2021-08-17 엘지전자 주식회사 인공지능 이동 로봇의 제어 방법
KR102423572B1 (ko) * 2018-08-27 2022-07-20 엘지전자 주식회사 인공지능 이동 로봇의 제어 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002318609A (ja) 2001-04-18 2002-10-31 Yaskawa Electric Corp 最適指令生成方法
JP2003080482A (ja) 2001-09-07 2003-03-18 Yaskawa Electric Corp ロボット教示装置
JP2005148789A (ja) 2003-11-11 2005-06-09 Fanuc Ltd 音声入力によるロボット教示プログラム編集装置
JP2006068865A (ja) 2004-09-03 2006-03-16 Yaskawa Electric Corp 産業用ロボットのプログラミングペンダント
JP2013136131A (ja) 2011-12-28 2013-07-11 Toyota Motor Corp ロボットの制御方法、ロボットの制御装置、及びロボット
JP2015231659A (ja) 2014-06-11 2015-12-24 キヤノン株式会社 ロボット装置
JP2019057123A (ja) 2017-09-21 2019-04-11 株式会社東芝 対話システム、方法、及びプログラム

Also Published As

Publication number Publication date
US20200342872A1 (en) 2020-10-29
CN111844085B (zh) 2024-05-28
CN111844085A (zh) 2020-10-30
US11580972B2 (en) 2023-02-14
DE102020110626A1 (de) 2020-10-29
DE102020110626B4 (de) 2023-07-27
JP2020184117A (ja) 2020-11-12

Similar Documents

Publication Publication Date Title
JP6993382B2 (ja) ロボット教示装置
JP7063844B2 (ja) ロボット教示装置
KR100457509B1 (ko) 터치스크린과 음성인식을 통해 동작 제어되는 정보단말기 및 그의 명령 실행 방법
JP4416643B2 (ja) マルチモーダル入力方法
JP7405093B2 (ja) 情報処理装置および情報処理方法
JPH06138815A (ja) 手話/単語変換システム
JP7063843B2 (ja) ロボット教示装置
JPH08166866A (ja) 対話型インターフェースを具備した編集支援システム
JP2008268478A (ja) アクセント調整可能な音声合成装置
JP2019126902A (ja) ロボットの教示装置
JP4509361B2 (ja) 音声認識装置、認識結果修正方法及び記録媒体
JP2000250587A (ja) 音声認識装置及び音声認識翻訳装置
JPH1124813A (ja) マルチモーダル入力統合システム
JP6459818B2 (ja) テキスト対応付け装置、テキスト対応付け方法、及びプログラム
JPH08129476A (ja) 音声データ入力装置
WO2019146586A1 (ja) ロボットの教示装置
JPS60146327A (ja) 計算機対話方法
JP2015227915A (ja) 音声認識装置、音声認識方法及び音声認識プログラム
JP3592803B2 (ja) 音声認識装置および音声認識方法
KR20030010279A (ko) 음성인식이 가능한 컴퓨터시스템 및 그 제어방법
JP6402688B2 (ja) テキスト対応付け編集装置、テキスト対応付け編集方法、及びプログラム
JPH01130262A (ja) 音声ワードプロセッサ
JP2017026821A (ja) テキスト対応付け編集装置、テキスト対応付け編集方法、及びプログラム
JPS61275972A (ja) 文章処理装置における音声入力装置
JPS60120429A (ja) 音声入力装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211209

R150 Certificate of patent or registration of utility model

Ref document number: 6993382

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150