JP7849466B2

JP7849466B2 - 機械操作装置

Info

Publication number: JP7849466B2
Application number: JP2024520114A
Authority: JP
Inventors: 蓮成胡
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2022-05-10
Filing date: 2022-05-10
Publication date: 2026-04-21
Anticipated expiration: 2042-05-10
Also published as: JPWO2023218522A1; WO2023218522A1

Description

本発明は、機械操作装置に関する。

現在、製造業などの産業分野では、ロボット、搬送機、工作機械、機械設備などの様々な産業機械が作動している。このような産業機械には、操作部を備えたものも多く、ＰＬＣ（ＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＣｏｎｔｒｏｌｌｅｒ）、ＮＣ（ＮｕｍｅｒｉｃａｌＣｏｎｔｒｏｌｌｅｒ）、制御盤など、各産業機械を制御する機器も操作部を備える。

産業機械の操作部は、ボタンや操作画面が多いが、操作が複雑で習熟に時間のかかることがある。音声入力インタフェースは、音声コマンドを発話するだけで目的の操作が実行できる。そのため、音声入力インタフェースを用いた操作性の向上が試みられている。音声入力インタフェースは、産業機械のドア開閉、産業機械の運転開始や一時停止、室内点消灯、切削液の使用停止、切粉の清掃など、あらゆる場面において当該産業機械に触れることなく指令することができる。また、ボタンや操作画面を直接操作する必要が無いため、例えば、試作の場合だと加工状況を見ながら操作したり、ロボットを安全柵外から操作したり、危険を感じるときにボタンに近寄るまでもなく速やかに音声で停止させることもできる。

産業機械の操作に使用する音声コマンドは、音声コマンドを使用する産業機械の種類、産業機械を設置する現場、産業機械の操作内容などにより想定することができる。そのため、想定される音声コマンドを文法（構文及び単語）で作成することができる。例えば、特許文献１参照。

特開平９－３２５７８７号公報

産業機械が設置される工場などの製造現場では、通常、複数の産業機械が動作している。そして、製造現場では常に騒音が発生している。そのため、音声コマンドのみで産業機械を操作する場合、音声コマンドと同時に加工音などがマイクに入力される。これが原因で、音声コマンドの認識精度が低下することがある。騒音が発生している現場においては、音声よりもジェスチャなどを撮像し、撮像した映像からコマンドを認識する方法も考えられる。このようにすることで、騒音の影響を排除することができる。しかしながら、ジェスチャのみの場合、言語より指令の表現力に限界があり、使いにくい場面がある。
そのため、製造現場において生産性と精度とを両立させた機械操作の手法が望まれている。

本発明による機械操作装置は、工作機械やロボット等の産業機械の操作に、マイク等で検出した音声に基づく音声認識と、カメラ等で検出した画像に基づく顔（口形）乃至ジェスチャ認識を融合させることで、手動操作より生産性を向上した機械操作を行えるようにし、上記課題を解決する。

そして、本開示の一態様は、製造現場において入力された音声信号を音声認識して産業機械を操作するための操作コマンドとして利用する機械操作装置であって、音声センサにより検出された作業者が発話した音声を変換した音声信号に基づいて、所定の操作を示す第１のデータを認識する音声認識部と、撮像センサにより作業者の動きを撮像して得られた映像信号に基づいて、所定の操作を示す第２のデータを解析する映像解析部と、前記第１のデータ及び前記第２のデータに基づいて、前記産業機械を操作するための操作コマンドを決定するコマンド決定部と、前記コマンド決定部が決定した操作コマンドを処理するコマンド処理部と、を備え、作業者の作業動作及び立ち位置の少なくともいずれかに応じて実行することが危険な操作コマンドを認識した場合に、当該操作コマンドを処理対処としない、機械操作装置である。

本開示の一態様により、作業の簡略化や効率化により生産性を向上するとともに、機械本体と非接触で機械操作が可能となるため、作業者の安全性を確保できるようになる。

本発明の一実施形態による機械操作装置の概略的なハードウェア構成図である。本発明の一実施形態による機械操作装置の概略的な機能を示すブロック図である。本発明の変形例による機械操作装置の概略的な機能を示すブロック図である。本発明の他の実施形態による機械操作装置の概略的な機能を示すブロック図である。複数の産業機械を用いて作業する例を示す図である。

以下、本発明の実施形態を図面と共に説明する。
図１は本発明の一実施形態による機械操作装置の要部を示す概略的なハードウェア構成図である。本実施形態による機械操作装置１は、工場などの製造現場に設置された産業機械２を制御する制御装置の上に実装することができる。また、機械操作装置１は、制御装置に併設されたパソコンや、制御装置と有線乃至無線のネットワークを介して接続されたフォグコンピュータ６、クラウドサーバ７などのコンピュータ上に実装することができる。以下では、本実施形態による機械操作装置１を、産業機械２を制御する制御装置上に実装した例に基づいて説明する。

本実施形態による機械操作装置１が備えるＣＰＵ１１は、機械操作装置１を全体的に制御するプロセッサである。ＣＰＵ１１は、バス２２を介してＲＯＭ１２に格納されたシステム・プログラムを読み出し、該システム・プログラムに従って機械操作装置１全体を制御する。ＲＡＭ１３には一時的な計算データや表示データ、及び外部から入力された各種データ等が一時的に格納される。

不揮発性メモリ１４は、例えば図示しないバッテリでバックアップされたメモリやＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等で構成され、機械操作装置１の電源がオフされても記憶状態が保持される。不揮発性メモリ１４には、産業機械２から取得されたデータ、インタフェース１５を介して外部機器７２から読み込まれた制御用プログラムやデータ、入力装置７１を介して入力された制御用プログラムやデータ、ネットワーク５を介して他の装置から取得された制御用プログラムやデータ等が記憶される。不揮発性メモリ１４に記憶された制御用プログラムやデータは、実行時／利用時にはＲＡＭ１３に展開されても良い。また、ＲＯＭ１２には、公知の解析プログラムなどの各種システム・プログラムがあらかじめ書き込まれている。

インタフェース１５は、機械操作装置１のＣＰＵ１１とＵＳＢ装置等の外部機器７２と接続するためのインタフェースである。外部機器７２側からは、例えば産業機械２の制御に用いられる制御用プログラムや設定データ等が読み込まれる。また、機械操作装置１内で編集した制御用プログラムや設定データ等は、外部機器７２を介して外部記憶手段に記憶させることができる。ＰＬＣ１６は、ラダープログラムを実行して産業機械２及び産業機械２の周辺装置（例えば、工具交換装置や、ロボット等のアクチュエータ、産業機械２に取付けられている温度センサや湿度センサ等の複数のセンサ３）にＩ／Ｏユニット１９を介して信号を出力し制御する。また、産業機械２の本体に配備された操作盤の各種スイッチや周辺装置等の信号を受け、必要な信号処理をした後、ＣＰＵ１１に渡す。

インタフェース２０は、機械操作装置１のＣＰＵと有線乃至無線のネットワーク５とを接続するためのインタフェースである。ネットワーク５には、工作機械や放電加工機などの他の産業機械４やフォグコンピュータ６、クラウドサーバ７等が接続され、機械操作装置１との間で相互にデータのやり取りを行っている。

表示装置７０には、メモリ上に読み込まれた各データ、プログラム等が実行された結果として得られたデータ等がインタフェース１７を介して出力されて表示される。表示装置７０は、機械の状態を示すＬＥＤインジケイターや警告ランプを備えていてもよい。また、キーボードやポインティングデバイス等から構成される入力装置７１は、オペレータによる操作に基づく指令，データ等をインタフェース１８を介してＣＰＵ１１に渡す。

インタフェース２１は、機械操作装置１のＣＰＵ１１と音声センサ７３とを接続するためのインタフェースである。音声センサ７３は、例えばマイクなどの集音機器であってよい。音声センサ７３は、例えば入力装置７１や図示しない機械操作盤、ペンダント（携帯型機械操作盤）などに取り付けられていてよい。音声センサ７３が検出した作業者の発する音声は、音声信号としてＣＰＵ１１に渡される。

インタフェース２３は、機械操作装置１のＣＰＵ１１と撮像センサ７４とを接続するためのインタフェースである。撮像センサ７４は、例えばカメラなどであってよい。撮像センサ７４は、例えば表示装置７０や図示しない機械操作盤、ペンダント（携帯型機械操作盤）などに取り付けられていてよい。また、機械の周辺を撮像できるように、機械が設置された位置の上方に取り付けられていてもよい。撮像センサ７４が検出した作業者の顔や体の動きは、映像信号としてＣＰＵ１１に渡される。

産業機械２が備える軸を制御するための軸制御回路３０はＣＰＵ１１からの軸の移動指令量を受けて、軸の指令をサーボアンプ４０に出力する。サーボアンプ４０はこの指令を受けて、工作機械が備える軸を移動させるサーボモータ５０を駆動する。軸のサーボモータ５０は位置・速度検出器を内蔵し、この位置・速度検出器からの位置・速度フィードバック信号を軸制御回路３０にフィードバックし、位置・速度のフィードバック制御を行う。なお、図１のハードウェア構成図では軸制御回路３０、サーボアンプ４０、サーボモータ５０は１つずつしか示されていないが、実際には制御対象となる産業機械２に備えられた軸の数だけ用意される。

図２は、本発明の一実施形態による機械操作装置１が備える機能を概略的なブロック図として示したものである。本実施形態による機械操作装置１が備える各機能は、図１に示した機械操作装置１が備えるＣＰＵ１１がシステム・プログラムを実行し、機械操作装置１の各部の動作を制御することにより実現される。

本実施形態の機械操作装置１は、音声信号取得部１００、音声認識部１１０、映像信号取得部１２０、映像解析部１３０、コマンド決定部１４０、コマンド処理部１５０、出力部１６０を備える。

音声信号取得部１００は、音声センサ７３が検出した音声信号を取得する。そして、取得した音声信号から１回の発話として認識される音声信号を抽出する。音声センサ７３が検出する音声信号は、主として作業者が発話した音声に基づくものである。音声信号取得部１００は、その中から作業者の１回の発話に対応する音声信号を切り出すようにしてよい。これは、例えば音声信号が予め定めた所定のレベルＬｖ_th以下となる状態が予め定めた所定の期間Ｔｓ_th以上続いたところを音声の区切りとして、音声の区切りで挟まれた所定の期間Ｔｎ_th以上の音声信号を１回の発話に対応する音声信号として切り出すようにすればよい。また、音声の切り出しにその他の公知の音声信号の解析技術を用いるようにしてもよい。音声信号取得部１００が切り出した音声信号は、音声認識部１１０に出力される。

音声認識部１１０は、音声信号取得部１００から入力された作業者の１回の発話に対応する音声信号に対して音声認識処理を行う。そして、認識した結果をコマンド決定部１４０へと出力する。音声認識処理としては、動的時間伸縮法や隠れマルコフモデル、ニューラルネットワークを用いた手法などの公知の音声認識アルゴリズムを用いればよい。音声認識部１１０が出力する音声信号の認識結果は、例えば当該音声信号において発話される言葉を表す文字列、及び認識結果の信頼度であってよい。この時、複数の認識結果、それぞれの認識結果の信頼度を併せて出力するようにしてもよい。また、ニューラルネットワークを用いる場合、音声信号の認識結果は、音声信号の発話の特徴を示す特徴量であってもよい。

映像信号取得部１２０は、撮像センサ７４が検出した音声信号を取得する。そして、取得した映像信号から作業者の発話に対応する部分の映像信号を抽出する。撮像センサ７４が検出する映像信号は、作業者の顔、特に口元を撮像したものであってよい。または、撮像センサ７４が検出する映像信号は、作業者の両手を含む上半身を撮像したものであってよい。映像信号取得部１２０は、音声信号取得部１００が作業者の１回の発話に対応する音声信号を切り出した際に、その切り出した音声信号と同じタイミングで取得される映像信号を、作業者の１回の発話に対応する部分の映像信号として切り出すようにしてよい。映像信号取得部１２０が切り出した映像信号は、映像解析部１３０に出力される。

映像解析部１３０は、映像信号取得部１２０から入力された作業者の１回の発話に対応する映像信号を解析する。そして、解析した結果をコマンド決定部１４０へと出力する。映像信号が作業者の顔、特に口元を撮像したものである場合は、映像解析処理としてＡＡＭ（ＡｃｔｉｖｅＡｐｐｅａｒａｎｃｅＭｏｄｅｌ）、ＬｉｐＮｅｔなどの公知のアルゴリズムを用いることができる。また、映像信号が作業者の両手を含む上半身を撮像したものである場合、隠れマルコフモデルや多層ニューラルネットワークを用いた公知のジェスチャ認識アルゴリズムを用いればよい。映像解析部１３０が出力する映像信号の解析結果は、例えば当該映像信号から認識される口の動きを解析して得られる産業機械２の操作を表す文字列、及び解析結果の信頼度であってよい。また、作業者のジェスチャに対応する産業機械２の操作を表す文字列、及び解析結果の信頼度であってよい。いずれの場合においても、複数の解析結果、それぞれの認識結果の信頼度を併せて出力するようにしてもよい。更に、映像信号の解析結果は、映像信号から認識される口の動きに係る特徴を示す特徴量や、ジェスチャの特徴を示す特徴量であってもよい。

コマンド決定部１４０は、音声認識部１１０から入力された音声信号の認識結果と、映像解析部１３０から入力された映像信号の解析結果とに基づいて、作業者による産業機械２に対する操作コマンドを決定する。そして、決定したコマンドをコマンド処理部１５０、及び出力部１６０へと出力する。コマンド決定部１４０は、例えば音声信号の認識結果に含まれる信頼度と、映像信号の解析結果に含まれる信頼度とを比較して、信頼度が高い方の結果に基づいて操作コマンドを決定してもよい。この時、音声信号の認識結果に含まれる信頼度と、映像信号の解析結果に含まれる信頼度とに、予め定めた所定の重みを掛け合わせてから比較するようにしてもよい。また、複数の認識結果、及び解析結果が入力された場合、同一の操作コマンドを示す認識結果、及び解析結果のそれぞれの信頼度が予め定めた所定の閾値以上である操作コマンドの内で、認識結果、及び解析結果のいずれかの信頼度が最も高い操作コマンドに決定するようにしてもよい。

より厳密に判定をする場合には、コマンド決定部１４０は、多層ニューラルネットワークのモデルを用いて操作コマンドを決定するようにしてもよい。この場合、例えば音声信号において発話される言葉を表す文字列、認識結果の信頼度、作業者のジェスチャに対応する産業機械２の操作を表す文字列、及び解析結果の信頼度を入力とし、操作コマンドを出力とする教師データを用いて学習を行ったモデルを作成しておく。そして、コマンド決定部１４０は、音声認識部１１０から入力された認識結果、及び映像解析部１３０から入力された解析結果を学習済みのニューラルネットワークへと入力し、出力された操作コマンドを作業者による産業機械２に対する操作コマンドとして決定する。

多層ニューラルネットを用いた他の例としては、例えば予め音声信号の特徴量及び口の動きやジェスチャの特徴量を入力とし、操作コマンドを出力とする教師データを用いて学習を行ったモデルを作成しておく。そして、コマンド決定部１４０は、音声認識部１１０から入力された認識結果、及び映像解析部１３０から入力された解析結果を学習済みのニューラルネットワークへと入力し、出力された操作コマンドを作業者による産業機械２に対する操作コマンドとして決定する。

コマンド処理部１５０は、コマンド決定部１４０から出力された操作コマンドに従って、該操作コマンドに対応する所定の機能を実行する。所定の機能は、制御装置が備える一般的な機能であってよい。例えば機械操作装置１の所定の画面を呼び出す機能や、所定のパラメータの設定機能、産業機械２に対する制御に係る機能などが例示される。また、ＰＬＣ１６を介して産業機械２の周辺装置に対して信号を送ることで、産業機械２の周りに配置される安全ドアの開閉や、室内点消灯、切削液の使用停止、切粉の清掃などの機能を実行することも考えられる。

出力部１６０は、コマンド決定部１４０から出力された操作コマンドを表示装置７０に対して表示出力する。出力部１６０は、操作コマンドを表示装置７０の画面上で実行されている所定の機能の表示の邪魔にならない位置（例えば、画面の最下段の状態表示領域など）に表示するようにしてもよい。また、ダイアログなどの形で表示出力するようにしてもよい。更に、図示しないスピーカーから操作コマンドを復唱するように音声出力するようにしてもよい。出力部１６０は、単に決定した操作コマンドを出力するだけでなく、操作コマンドの認識処理開始、処理中、処理完了などといったように、処理のそれぞれの過程を出力するようにしてもよい。また、表示装置７０にＬＥＤや警告ランプなどの点灯を併用するようにしてもよい。出力部１６０は、操作コマンドをネットワーク５を介して他の産業機械４やフォグコンピュータ６、クラウドサーバ７などの上位のコンピュータに送信出力するようにしてもよい。また、不揮発性メモリ１４などの上に予め設けられたログ記録領域に出力するようにしてもよい。

上記構成を備えた機械操作装置１は、取得した音声信号及び映像信号に基づいて、作業者による産業機械２に対する操作コマンドを決定する。音声信号の認識結果のみに基づいて操作コマンドを決定する場合と比較して、製造現場における騒音などが原因での認識精度の低下を映像信号により補うことができるため、操作コマンドの認識精度の向上が見込まれる。また、映像信号の解析結果のみに基づいて操作コマンドを決定する場合と比較すると、指令の表現力の限界を音声信号で補うことが期待される。

本実施形態による機械操作装置１の一変形例として、機械操作装置１は、作業者を認証する機能を備えていてもよい。図３は、本変形例による機械操作装置１が備える機能を概略的なブロック図として示したものである。本変形例による機械操作装置１は、更に作業者認証部１７０を備える。

作業者認証部１７０は、音声認識部１１０が認識した作業者が発話した声を検出した音声信号や、映像解析部１３０が解析した作業者の顔を撮像した映像信号に基づいて、作業者を認証する。機械操作装置１のＲＡＭ１３乃至不揮発性メモリ１４上には、作業者の認証に係る情報として、作業者の発話する声の特徴を示す特徴量や、作業者の顔の特徴を示す特徴量に対して、作業者を一意に識別する識別情報を関連付けて記憶している認証情報記憶部２１０が予め用意されている。作業者認証部１７０は、作業者が発話した際に、作業者が発話した声や、作業者の顔を撮像した映像信号から、作業者の発話する声の特徴を示す特徴量や、作業者の顔の特徴を示す特徴量を解析する。そして、認証情報記憶部２１０に記憶されている複数の作業者の声乃至顔の特徴量と照合して、発話している作業者がいずれの作業者であるのかを認証する。作業者認証部１７０は、認証した作業者の識別情報をコマンド処理部１５０に出力する。作業者の発話した声、作業者の顔は、一方のみを認証に用いてもよいし、双方を認証に用いるようにしてよい。

機械操作装置１のＲＡＭ１３乃至不揮発性メモリ１４上には、更に作業者の識別情報に対して、それぞれの作業者が実行可能な操作コマンドを関連付けた認可情報を記憶する認可情報記憶部２２０が用意されている。そして、コマンド処理部１５０は、コマンド処理部１５０から決定された操作コマンドが入力された際に、作業者認証部１７０から入力された作業者の識別情報に関連付けられている実行可能な操作コマンドを認可情報記憶部２２０から取得する。そして、取得した実行可能な操作コマンドの中に、決定した操作コマンドが含まれている場合は、通常通りその操作コマンドを処理する。一方で、含まれていない場合には、当該操作コマンドは作業者に認可されていない旨を出力部１６０に出力する。

本変形例による機械操作装置１は、作業者の職種や権限などにより実行できない操作コマンドが実行できないように制限することができる。作業者の認証は、作業者が発話した声や作業者の顔に基づいて行われるため、なりすましによる操作コマンドの実行を防止することが期待できる。例えば、他の作業者の音声を録音して悪用することを防止することができる。

以上、本発明の実施形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。
例えば、上記した変形例において認証情報記憶部２１０には、作業者の識別情報と関連付けて、更に作業者の用いる言語に係る情報を記憶するようにしてもよい。そして、予め音声認識部１１０が音声認識に用いる言語モデルを、作業者の用いる言語に応じて切り替えるようにしてもよい。このように構成することで、言語が異なる様々な作業者に対して、操作コマンドの認識精度を向上させることが可能となる。

更に、作業者が撮像センサ７４の撮像領域に入った場合に、認証情報記憶部２１０は、自動的に作業者を認証するようにしてよい。そして、作業者が認証されていない場合に、コマンド決定部１４０は、操作コマンドの決定に係る処理を停止するようにしてもよい。このような構成により、作業者が産業機械２の操作を行う範囲内にいない限り、操作コマンドの入力を受け付けないようにすることができるため、他の音声を検出することによる産業機械２の誤動作を防止することができる。また、複数台の産業機械２を用いて１人の作業者が作業している場合、作業者がいずれの産業機械２の操作範囲内にいるかに応じて、操作の対象とする産業機械２を切り替えるようにすることもできる。

また、作業者の動作として、作業者の口の動きやジェスチャ以外に、例えば作業者の作業動作や立ち位置を検出して、これを操作コマンドの認識に用いるようにしてもよい。この場合、映像解析部１３０は、作業者がどのような作業動作をしているのか（例えば、ワークを運んでいるのか、機械の中に腕を入れているのか否かなど）といったことや、作業者が産業機械２の近傍のいずれの位置に立っているのかなどを解析する。そして、その解析結果をコマンド決定部１４０へと出力する。コマンド決定部１４０は、作業者が行っている作業動作や、立ち位置に応じて、作業者が行おうとしている操作コマンドの絞り込みを行うことで、操作コマンドの決定をする。例えば作業者が機械の安全扉の中に手を入れている状態で、安全扉を閉じる操作コマンドや、運転再開の操作コマンドを入力することは危険な行為である。このような状況において、音声認識部１１０がそのような音声信号を認識した場合であっても、コマンド決定部１４０は、危険な操作コマンドを処理対象として決定しないようにすることができる。また、工場などの製造現場には、複数の作業者が協働して作業を進めている場合もある。このような場合、作業者同士の会話を音声コマンドとして誤検出してしまう可能性がある。そのような場合に、作業者を認証した上で、作業者の動作内容から他の作業者と会話をしていると解析されている場合には、操作コマンドの入力を受け付けないようにすることも可能となる。これにより、産業機械の誤操作を抑制することが期待される。

更に、上記に加えて産業機械２の動作状態を取得し、その動作状態から作業者が行おうとしている操作コマンドの絞り込みを行うことも可能である。例えば、ワークの加工が行われている状態で安全扉を開く操作コマンドが入力されることは通常あり得ない。そのため、ワークの加工中に安全扉を開く操作コマンドが認識乃至解析された場合、コマンド決定部１４０は、そのような操作コマンドについては決定対象として除外するようにしてもよい。

近傍に設置された複数台の産業機械を用いて並列して作業している場合、作業者の立ち位置やジェスチャにより操作対象とする産業機械２を決定するようにしてもよい。このように構成する場合、図４に示すように、それぞれの産業機械２を制御する制御装置とネットワークを介して接続されたコンピュータ上に機械操作装置１を実装する。作業者が発話した音声は、例えば機械操作装置１と有線／無線のネットワーク５を介して接続される音声センサ７３を用いて収集すればよい。また、作業者の映像については、製造現場の天井や作業者の近傍に設置され、機械操作装置１と有線／無線のネットワーク５を介して接続される撮像センサ７４や、作業者の管理対象となる産業機械４に取り付けられた撮像センサ４７４などを用いて収集する。

そして、図５に例示されるように、複数台の産業機械４を用いて作業をするに際して、撮像センサ７４や撮像センサ４７４で撮像された作業者の立ち位置や、作業者の向き（体の向きや、目線など）、作業者のジェスチャ（どの産業機械４を指さしているか、など）に基づいて複数の産業機械４の中から操作対象の産業機械４を特定し、その産業機械４に対する操作コマンドを認識及び解析するように構成すればよい。この時、作業者が発話した音声の中から産業機械４を特定する用語（特定の産業機械４でのみ実行される操作コマンド、産業機械４の名称など）も併せて検出して利用するようにしてもよい。

１機械操作装置
２産業機械
４産業機械
５ネットワーク
６フォグコンピュータ
７クラウドサーバ
１１ＣＰＵ
１２ＲＯＭ
１３ＲＡＭ
１４不揮発性メモリ
１５，１７，１８，２０，２１インタフェース
１６ＰＬＣ
１９Ｉ／Ｏユニット
２２バス
３０軸制御回路
４０サーボアンプ
５０サーボモータ
７０表示装置
７１入力装置
７２外部機器
７３音声センサ
７４撮像センサ
１００音声信号取得部
１１０音声認識部
１２０映像信号取得部
１３０映像解析部
１４０コマンド決定部
１５０コマンド処理部
１６０出力部
１７０作業者認証部
２１０認証情報記憶部
２２０認可情報記憶部

Claims

製造現場において入力された音声信号を音声認識して産業機械を操作するための操作コマンドとして利用する機械操作装置であって、
音声センサにより検出された作業者が発話した音声を変換した音声信号に基づいて、所定の操作を示す第１のデータを認識する音声認識部と、
撮像センサにより作業者の動きを撮像して得られた映像信号に基づいて、所定の操作を示す第２のデータを解析する映像解析部と、
前記第１のデータ及び前記第２のデータに基づいて、前記産業機械を操作するための操作コマンドを決定するコマンド決定部と、
前記コマンド決定部が決定した操作コマンドを処理するコマンド処理部と、
を備え、
作業者の作業動作及び立ち位置の少なくともいずれかに応じて実行することが危険な操作コマンドを認識した場合に、当該操作コマンドを処理対処としない、
機械操作装置。
製造現場において入力された音声信号を音声認識して産業機械を操作するための操作コマンドとして利用する機械操作装置であって、
音声センサにより検出された作業者が発話した音声を変換した音声信号に基づいて、所定の操作を示す第１のデータを認識する音声認識部と、
撮像センサにより作業者の動きを撮像して得られた映像信号に基づいて、所定の操作を示す第２のデータを解析する映像解析部と、
前記第１のデータ及び前記第２のデータに基づいて、前記産業機械を操作するための操作コマンドを決定するコマンド決定部と、
前記コマンド決定部が決定した操作コマンドを処理するコマンド処理部と、
を備え、
作業者が操作対象とする産業機械の動作状態に応じて、操作コマンドの絞り込みを行う、
機械操作装置。
前記第１のデータは、作業者が発話した音声及び作業者の顔に基づいて該作業者を認証する作業者認証部を更に備え、
前記コマンド処理部は、前記作業者認証部により認証された作業者に認可されていない操作コマンドの実行を禁止する、
請求項１又は２に記載の機械操作装置。
認証された作業者が用いる言語に応じて、前記音声認識部が用いる言語モデルを切り替える、
請求項３に記載の機械操作装置。
前記コマンド決定部は、前記映像解析部による作業者の検出が行われない場合に、前記操作コマンドの決定を停止する、
請求項１又は２に記載の機械操作装置。
前記音声認識部による認識結果及び前記映像解析部による解析結果の少なくともいずれかに基づいて、複数の産業機械の中から操作対象となる産業機械を特定する、
請求項１又は２に記載の機械操作装置。