JP7425178B2

JP7425178B2 - 産業機械の操作システム

Info

Publication number: JP7425178B2
Application number: JP2022501944A
Authority: JP
Inventors: 直小野瀬
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2020-02-19
Filing date: 2021-02-17
Publication date: 2024-01-30
Anticipated expiration: 2041-02-17
Also published as: US11989841B2; CN115087948A; JPWO2021166973A1; WO2021166973A1; DE112021001071T5; US20230062991A1

Description

本開示は、産業機械の操作システムに関する。

近年、現実世界と仮想世界を融合し、現実のモノと仮想的なモノが影響し合う複合現実（ＭＲ）の技術が注目されている。この複合現実の技術は、産業の分野においても利用されている（例えば、特許文献１参照）。本技術のヘッドマウントディスプレイ機器を装着し、現実空間に存在する産業機械を視認する場合、仮想空間にその産業機械の３Ｄモデルを投影することが可能となる。この場合、ヘッドマウントディスプレイ機器の装着者は、自らの手足を視認することもできるので、産業機械の直感的な操作の実現が期待される。

特開２０１９－００８４７３号公報

しかしながら、現状では、産業機械を操作する場合、操作盤やパネルを見ながら操作しなければならず、産業機械の状態を同時に視認しながら直感的に操作することができていない。また、産業機械に複合現実の技術を単に適用したところで、現実の状態と仮想の空間の情報を同期させることはできるものの、操作の安全性が確保されるわけではない。

従って、複合現実を利用して産業機械を直感的かつ安全に動作させる産業機械の操作システムを提供することが望まれる。

本開示の一態様は、産業機械に対応する機械特定情報を取得する情報取得部と、前記情報取得部で取得した前記機械特定情報に基づき、前記産業機械を特定する機械特定部と、前記機械特定部で特定した前記産業機械に対応するモデルを仮想空間に投影するモデル投影部と、前記モデル投影部によって投影された前記モデルに対する、該モデルを観察する利用者の距離及び方向を算出する距離方向算出部と、前記利用者のジェスチャーを、前記機械特定部で特定した前記産業機械に対する前記利用者からの指示として観測するジェスチャー観測部と、前記距離方向算出部で算出した前記利用者の距離及び方向、並びに前記ジェスチャー観測部で観測した前記利用者のジェスチャーに基づいて、前記利用者の指示の可否を判定する指示判定部と、前記指示判定部による判定結果が可の場合に、前記ジェスチャー観測部で観測した前記利用者のジェスチャーに基づいて、前記機械特定部で特定した前記産業機械を動作させる動作指示部と、を備えている産業機械の操作システムである。

本開示の一態様によれば、複合現実を利用して産業機械を直感的かつ安全に動作させることができる。

一実施形態に係る産業機械の操作システムの概略図である。図１に示す産業機械の操作システムが備えるＭＲ機器の機能ブロック図である。仮想空間に投影されたモデルの拡大、縮小及び回転の操作を説明する概念図である。仮想空間に投影されたモデルに対するＭＲ機器の距離及び方向を説明する概念図である。仮想空間に投影されたモデルの正面図であり、動作させる対象が特定される前の状態を示す図である。仮想空間に投影されたモデルの正面図であり、利用者のジェスチャーにより、動作させる対象が特定された後の状態を示す図である。仮想空間に投影されたモデルの正面図であり、利用者のジェスチャーに基づいて産業機械を動作させる状態を示す図である。仮想空間に投影されたモデルの上面図であり、利用者の指示が可となる利用者の距離及び方向の範囲を投影した状態を示す図である。仮想空間に投影されたモデルの状態を説明する概念図であり、利用者のジェスチャーに基づいて産業機械を動作させる状態を示す図である。

以下、図面を参照して、一実施形態に係る産業機械の操作システム１について説明する。

まず、図１及び図２を用いて、産業機械の操作システム１の構成について説明する。図１は、産業機械の操作システム１の概略図である。図２は、産業機械の操作システム１が備えるＭＲ機器２の機能ブロック図である。

図１に示す産業機械の操作システム１は、複合現実（ＭＲ）の技術を採用したＭＲ機器２を用いて、産業機械３を操作するシステムである。即ち、産業機械の操作システム１は、ＭＲ機器２を備えている。

産業機械３としては、特に限定されないが、例えば図１に示すようなマシニングセンタを用いることができる。マシニングセンタで構成される産業機械３は、自動工具交換装置としてタレットを備え、このタレットによる工具の自動切り換えによって、ドリル加工、フライス加工、ミーリング加工、ボーリング加工等の各種加工が可能となっている。

ＭＲ機器２は、産業機械３を操作する利用者が装着するヘッドマウントディスプレイ機器である。具体的に、ＭＲ機器２は、いずれも図示しない、カメラ等の入力手段と、複合現実の画像を表示する出力手段と、産業機械３と通信する通信手段と、ＣＰＵ（Central Processing Unit）等の演算処理手段と、各種のプログラムを格納したＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の補助記憶手段と、演算処理手段がプログラムを実行する上で一時的に必要とされるデータを格納するためのＲＡＭ（Random Access Memory）といった主記憶手段と、を備えている。

図２に示すように、ＭＲ機器２が備えるＣＰＵは、各種プログラムを実行することによって、情報取得部２０、機械特定部２１、モデル投影部２２、距離方向算出部２３、ジェスチャー観測部２４、操作部２５、対象特定部２６、状態取得部２７、指示判定部２８、動作指示部２９等による各種機能を実現する。

情報取得部２０は、産業機械３に対応する機械特定情報を取得する。例えば、情報取得部２０は、カメラ等の入力手段を利用して、産業機械３に対応する機械特定情報として、該産業機械３に設けられたＱＲコード（登録商標）や該産業機械３のパターン認識による特徴点を取得する。

機械特定部２１は、情報取得部２０で取得した機械特定情報に基づいて産業機械３を特定する。具体的に、機械特定部２１は、情報取得部２０で取得した機械特定情報と、予め登録されかつ該機械特定情報に対応して紐付けられた産業機械に関するデータとに基づいて、現実の産業機械３が何であるかを特定する。これにより、例えば本実施形態では、機械特定部２１は、産業機械３が図１に示すマシニングセンタであることを特定可能である。

モデル投影部２２は、機械特定部２１で特定した産業機械３に対応するモデルを仮想空間に投影する。具体的に、モデル投影部２２は、複合現実画像を表示可能なヘッドマウントディスプレイ等の出力手段を利用して、機械特定部２１で特定した産業機械３に対応する３ＤのモデルＭ（後述の図４等参照）を、拡大、縮小及び回転が可能となるように仮想空間に投影する。このとき、モデル投影部２２により仮想空間に投影されるモデルＭは、現実空間における現実の産業機械３と常に状態はリンクしている。なお、機械特定部２１で特定した産業機械３とそれに対応するモデルＭは、上述の予め登録されかつ該機械特定情報に対応して紐付けられた産業機械に関するデータに含まれる。

また、モデル投影部２２は、後述の対象特定部２６で特定した対象が強調されるように、モデルＭを仮想空間に投影する。具体的に、モデル投影部２２は、後述の対象特定部２６で特定した動作対象を、例えば赤色で表示する等して強調表示する。これにより、利用者は動作対象を認識可能となる。

なお、モデル投影部２２は、各所に設置されたカメラにより取得された画像に基づいて産業機械３のモデルを作成し、作成したモデルを仮想空間に召喚してもよい。このとき、カメラの画像は情報取得部２０により機械特定情報として取得され、機械特定部２１により現実の産業機械が何であるかが特定される。

距離方向算出部２３は、モデル投影部２２によって投影されたモデルＭに対する、該モデルＭを観察する利用者の距離及び方向を算出する。ここで、ヘッドマウントディスプレイでは、仮想空間にモデルＭを投影する際の利用者との距離及び方向については、ある設定値とされる。即ち、仮想空間にモデルＭを投影したときの利用者との距離及び方向は設定値により決まり、距離方向算出部２３はその設定値を取得する。また、距離方向算出部２３は、後述の操作部２５によりモデルＭの拡大、縮小、回転が行われた場合には、上記設定値と操作部２５による操作量に基づいて、操作後のモデルＭと利用者との距離及び方向を算出する。

ジェスチャー観測部２４は、利用者のジェスチャーを、機械特定部２１で特定した産業機械３に対する利用者からの指示として観測する。具体的に、ジェスチャー観測部２４は、カメラ等の入力手段を利用して、所定の利用者のジェスチャーを、機械特定部２１で特定した産業機械３に対する利用者からの指示として観測する。所定の利用者のジェスチャーは、予め登録されている。

操作部２５は、ジェスチャー観測部２４で観測した利用者のジェスチャーに基づいて、モデル投影部２２によって投影されたモデルＭの拡大、縮小及び回転の少なくとも１つを含む操作を行う。操作部２５が操作を行うためのジェスチャーは、予め情報として設定されてその情報は登録されている。

対象特定部２６は、後述の動作指示部２９で動作させる対象を特定する。具体的に、対象特定部２６は、カメラ等の入力手段による入力、例えばジェスチャー観測部２４で観測した利用者のジェスチャーに基づいて、動作指示部２９で動作させる対象を特定する。対象特定部２６が対象を特定するためのジェスチャーは、予め情報として設定されて登録されている。あるいは、対象特定部２６は、ヘッドマウントディスプレイに設けられた図示しないＣＣＤカメラ等により検出される利用者の視点に基づいて、動作指示部２９で動作させる対象を特定する。さらには、対象特定部２６は、ジェスチャー観測部２４による利用者のジェスチャー観測時に、利用者の手と重なっているモデルＭの対象オブジェクト部がある場合に、かかる対象オブジェクト部を動作させる対象として特定してもよい。これについては後段で詳述する。

状態取得部２７は、機械特定部２１で特定した産業機械３の状態を取得する。具体的に、状態取得部２７は、カメラ等の入力手段を利用して、機械特定部２１で特定した産業機械３の現実の状態を取得する。産業機械３の現実の状態としては、例えば、アラーム表示の有無、タレットの位置、タレットに装着されている工具の種類、主軸の位置等が挙げられる。

指示判定部２８は、距離方向算出部２３で算出した利用者の距離及び方向、並びにジェスチャー観測部２４で観測した利用者のジェスチャーに基づいて、利用者の指示の可否を判定する。産業機械３の状態を考慮する必要がある場合にあっては、指示判定部２８は、距離方向算出部２３で算出した利用者の距離及び方向、ジェスチャー観測部２４で観測した利用者のジェスチャー、並びに状態取得部２７で取得した産業機械３の状態に基づいて、利用者の指示の可否を判定する。

指示判定部２８の判定結果が可となる利用者の距離及び方向の条件は、予め情報として設定されてその情報は登録されている。同様に、指示判定部２８が利用者の指示と判断するジェスチャーの条件は、予め情報として設定されてその情報は登録されている。これらの各条件については、後段で詳述する。また、指示判定部２８の判定結果が可となる産業機械３の状態についても、予め情報として設定されてその情報は登録されている。

動作指示部２９は、指示判定部２８による判定結果が可の場合に、ジェスチャー観測部２４で観測した利用者のジェスチャーに基づいて、機械特定部２１で特定した産業機械３を動作させる。利用者のジェスチャーに対応する産業機械３の動作内容は、予め情報として設定されてその情報は登録されている。仮想空間におけるモデルＭの状態と現実空間における産業機械３の状態は上述の通信手段を介して常にリンクしており、これにより、現実の産業機械３を動作させることが可能となる。

次に、図３を用いて、仮想空間に投影されたモデルＭの拡大、縮小及び回転の操作について説明する。図３は、仮想空間に投影されたモデルＭの拡大、縮小及び回転の操作を説明する概念図である。

図３に示すように、利用者のジェスチャーに基づいて、仮想空間に投影されたモデルＭの拡大、縮小及び回転の少なくとも１つを含む操作が行われる。図３に示すように、例えば利用者が両手の間隔を広げたり狭めたりすることにより、モデルＭが拡大、縮小表示される。また、例えば利用者が両手を所定方向に回転させることにより、モデルＭが所定方向に回転表示される。即ち、利用者は、仮想空間におけるモデルＭを自由に操作して表示させることができる。これにより、実際の大きさとは異なる任意の大きさに投影されたモデルＭに対し、実際に視認している方向とは異なる任意の方向から視認した状態で作業を行うことが可能になる。

次に、図４を用いて、仮想空間に投影されたモデルＭに対する利用者の距離及び方向について説明する。図４は、仮想空間に投影されたモデルＭに対する利用者の距離及び方向を説明する概念図である。図４では、仮想空間に投影されたモデルＭとして産業機械３のタレットを示しており、このタレットと利用者（図４ではＭＲ機器２）との距離及び方向を示している。

ここで、タレットに対する動作、例えば工具交換動作では、モデルＭとしてのタレットに対する利用者の距離及び方向が所定の範囲内に収まっていることが、産業機械３を動作させるための条件（特定位置条件）となっている。この場合、産業機械３の実際の大きさに対して等倍（１００％）の大きさでモデルＭが投影されていれば、所定の範囲に収まる距離は、１ｍ以上１．５ｍ以下であることが好ましく、所定の範囲に収まる方向は、モデルＭの正面方向からの傾斜角度が１５度以下であることが好ましい。産業機械３の実際の大きさに対して拡大又は縮小した大きさでモデルＭが投影されていれば、所定の範囲に収まる距離は、（１×拡縮倍率％）ｍ以上（１．５×拡縮倍率％）ｍ以下であることが好ましい。

次に、図５Ａ及び図５Ｂを用いて、動作させる対象を特定する方法について説明する。図５Ａは、仮想空間に投影されたモデルＭの正面図であり、動作させる対象が特定される前の状態を示す図である。図５Ｂは、仮想空間に投影されたモデルＭの正面図であり、利用者のジェスチャーにより、動作させる対象が特定された後の状態を示す図である。なお、図５Ａ及び図５Ｂでは、仮想空間に投影されたモデルＭとして産業機械３のタレットを示している。

図５Ａ及び図５Ｂに示すように、仮想空間にモデルＭが投影されている場合において、利用者が所定の入力をすることで、上述の対象特定部２６により動作させる対象が特定され、図５Ｂに示すように特定された対象が強調表示される。所定の入力としては、図５Ｂに示すような対象に対する指差し等のジェスチャーの他、対象に視点を所定時間合わせ続けること等が挙げられる。

なお、動作させる対象を事前に特定することなく、利用者のジェスチャーによる指示を行う際に、利用者の手が触れている部品、即ち利用者の手と重なっている対象オブジェクト部品を、動作させる対象として特定するようにしてもよい。この方法は、利用者の視点から複数の動作対象部品が存在する場合に有効である。

次に、図６を用いて、利用者のジェスチャーに基づいて産業機械３を動作させる方法について説明する。図６は、仮想空間に投影されたモデルＭの正面図であり、利用者のジェスチャーに基づいて産業機械３を動作させる状態を示す図である。なお、図６では、仮想空間に投影されたモデルＭとして産業機械３のタレットを示している。

図６に示すように、仮想空間にモデルＭが投影されている場合において、利用者が所定のジェスチャーをすることが、産業機械３を動作させるための条件（特定動作条件）になる。産業機械３の工具交換を行う所定のジェスチャーとして、船の舵輪を回すようなジェスチャー等が予め設定される。

このように、上述の特定位置条件（モデルＭに対する利用者の距離及び方向が所定の範囲に収まっていること）及び特定動作条件（利用者が所定のジェスチャーをすること）の双方を満たす場合に、指示判定部２８による判定が可となり、動作指示部２９によって産業機械３の工具交換を行うことができる。即ち、モデルＭに対する利用者の距離が遠い場合、仮に利用者が所定のジェスチャーをしたときであっても、産業機械３の工具交換を行うことはできない。遠い位置からでは工具の種類が判別できず、危険なためである。これにより、複合現実を利用して、工具交換作業を直感的かつ安全に行うことが可能となっている。

次に、図７及び図８を用いて、利用者のジェスチャーに基づいて産業機械３を動作させる方法について説明する。図７は、仮想空間に投影されたモデルＭの上面図であり、利用者の指示が可となる利用者の距離及び方向の範囲を投影した状態を示す図である。図８は、仮想空間に投影されたモデルＭの状態を説明する概念図であり、利用者のジェスチャーに基づいて産業機械３を動作させる状態を示す図である。図７及び図８では、仮想空間に投影されたモデルＭとして、ワークＷと産業機械３の主軸Ａを示している。

ここで、産業機械３の加工プログラム運転開始動作では、上述の特定位置条件及び特定動作条件を満たしていることに加えて、状態取得部２７で取得される産業機械３の状態が特定状態条件を満たしている場合に、指示判定部２８による判定が可となり、動作指示部２９によって産業機械３の加工プログラム運転が開始される。

図８に示すように、産業機械３の加工プログラム運転開始動作の場合、特定位置条件としては、モデルＭである主軸Ａ及びワークＷの直線上から傾斜角度が５度以上２０度以下の範囲となる位置であることが好ましい。これにより、主軸ＡとワークＷの両方の視認が可能になるためである。

また、この場合における特定動作条件としては、利用者がするジェスチャーとして、例えば図８に示すように、腕全体を捻って回転させる動作が設定される。

そして、この場合における特定状態条件としては、例えば産業機械３にアラーム表示が出ていないことや、主軸Ａの位置が加工開始可能な位置にあること等が好ましい。主軸Ａの加工開始可能な範囲は、例えば図７に示すように、マーカーＫにより仮想空間に投影するようにしてもよい。

このように、産業機械の操作システム１は、産業機械３に対応する機械特定情報を取得する情報取得部２０と、情報取得部２０で取得した機械特定情報に基づき、産業機械３を特定する機械特定部２１と、機械特定部２１で特定した産業機械３に対応するモデルＭを仮想空間に投影するモデル投影部２２と、モデル投影部２２によって投影されたモデルＭに対する、当該モデルＭを観察する利用者の距離及び方向を算出する距離方向算出部２３と、利用者のジェスチャーを、機械特定部２１で特定した産業機械３に対する利用者からの指示として観測するジェスチャー観測部２４と、距離方向算出部２３で算出した利用者の距離及び方向、並びにジェスチャー観測部２４で観測した利用者のジェスチャーに基づいて、利用者の指示の可否を判定する指示判定部２８と、指示判定部２８による判定結果が可の場合に、ジェスチャー観測部２４で観測した利用者のジェスチャーに基づいて、機械特定部２１で特定した産業機械３を動作させる動作指示部２９と、を備えている。
これにより、現実の産業機械３を仮想空間にモデルＭとして表示させ、仮想空間上での利用者の操作により、現実の産業機械３を動作させることができる。より詳しくは、距離方向算出部２３で算出した利用者の距離及び方向が予め設定された特定位置条件を満たし、かつ、ジェスチャー観測部２４で観測した利用者のジェスチャーが予め設定された特定動作条件を満たす場合には、利用者の動作指示を可と判定し、産業機械３を動作させることができる。具体的には、例えば産業機械３の工具交換動作に有効である。従って、産業機械の操作システム１によれば、複合現実を利用することにより産業機械３を直感的かつ安全に動作させることができる。

また、産業機械の操作システム１は、ジェスチャー観測部２４で観測した利用者のジェスチャーに基づいて、モデル投影部２２によって投影されたモデルＭの拡大、縮小及び回転の少なくとも１つを含む操作を行う操作部２５を備える構成としてよい。
これにより、操作部２５によって仮想空間におけるモデルＭを自由に操作できるため、モデルＭに状態が常にリンクしている現実の産業機械３について種々の動作をさせることが可能となる。

また、産業機械の操作システム１は、機械特定部２１で特定した産業機械３の状態を取得する状態取得部２７を備え、指示判定部２８は、状態取得部２７で取得した産業機械３の状態に基づいて、利用者の指示の可否を判定する構成としてよい。
これにより、上述の特定位置条件及び特定動作条件を満たしていることに加えて、状態取得部２７で取得される産業機械３の状態が特定状態条件を満たしている場合に、指示判定部２８による判定が可となり、動作指示部２９によって産業機械３を動作させることができる。具体的には、例えば産業機械３の加工プログラム運転開始動作に有効である。

また、産業機械の操作システム１は、動作指示部２９で動作させる対象を特定する対象特定部２６を備える構成としてよい。
これにより、動作させる対象を確実に特定できるため、上述の効果がより確実に発揮される。

また、産業機械の操作システム１において、モデル投影部２２は、対象特定部２６で特定した対象が強調されるように、モデルＭを投影する構成としてよい。
これにより、利用者は動作対象を視覚的に確実に認識できるため、上述の効果がより確実に発揮される。

なお、本開示は上記実施形態に限定されるものではなく、本開示の目的を達成できる範囲での変形、改良は本開示に含まれる。
例えば、上記実施形態では、産業機械としてマシニングセンタを例に挙げて説明したが、これに限定されない。他の工作機械やロボット等に本開示の操作システムを適用することが可能である。

１産業機械の操作システム
２ＭＲ機器
２０情報取得部
２１機械特定部
２２モデル投影部
２３距離方向算出部
２４ジェスチャー観測部
２５操作部
２６対象特定部
２７状態取得部
２８指示判定部
２９動作指示部
３産業機械
Ｍモデル
Ｋマーカー
Ａ主軸
Ｗワーク

Claims

産業機械に対応する機械特定情報を取得する情報取得部と、
前記情報取得部で取得した前記機械特定情報に基づき、前記産業機械を特定する機械特定部と、
前記機械特定部で特定した前記産業機械に対応するモデルを仮想空間に投影するモデル投影部と、
前記モデル投影部によって投影された前記モデルに対する、該モデルを観察する利用者の距離及び方向を算出する距離方向算出部と、
前記利用者のジェスチャーを、前記機械特定部で特定した前記産業機械に対する前記利用者からの指示として観測するジェスチャー観測部と、
前記距離方向算出部で算出した前記利用者の距離及び方向、並びに前記ジェスチャー観測部で観測した前記利用者のジェスチャーに基づいて、前記利用者の指示の可否を判定する指示判定部と、
前記指示判定部による判定結果が可の場合に、前記ジェスチャー観測部で観測した前記利用者のジェスチャーに基づいて、前記機械特定部で特定した前記産業機械を動作させる動作指示部と、を備える、産業機械の操作システム。
前記ジェスチャー観測部で観測した前記利用者のジェスチャーに基づいて、前記モデル投影部によって投影された前記モデルの拡大、縮小及び回転の少なくとも１つを含む操作を行う操作部を備える、請求項１に記載の産業機械の操作システム。
前記機械特定部で特定した前記産業機械の状態を取得する状態取得部を備え、
前記指示判定部は、前記状態取得部で取得した前記産業機械の状態に基づいて、前記利用者の指示の可否を判定する、請求項１又は２に記載の産業機械の操作システム。
前記動作指示部で動作させる対象を特定する対象特定部を備える、請求項１～３のいずれかに記載の産業機械の操作システム。
前記モデル投影部は、前記対象特定部で特定した前記対象が強調されるように、前記モデルを投影する、請求項４に記載の産業機械の操作システム。