JP7293933B2

JP7293933B2 - 作業機械および作業機械支援サーバ

Info

Publication number: JP7293933B2
Application number: JP2019132104A
Authority: JP
Inventors: 昭彦榮田; 修平藤田
Original assignee: Kobelco Construction Machinery Co Ltd
Current assignee: Kobelco Construction Machinery Co Ltd
Priority date: 2019-07-17
Filing date: 2019-07-17
Publication date: 2023-06-20
Anticipated expiration: 2039-07-17
Also published as: US11560694B2; JP2021017694A; US20210017739A1; EP3767418A1; EP3767418B1

Description

本発明は、建物解体機などの作業機械に関する。

ショベルの上部旋回体に取り付けられたカメラでは撮像できない空間を、自律式の飛行体に取り付けられたカメラで撮像する技術が提案されている（例えば、特許文献１参照）。

国際公開公報ＷＯ２０１７／１３１１９４号

しかし、ショベルが飛行体の位置とは無関係に動作した場合、ショベルと飛行体とが接触してしまう可能性が高まる。

そこで、本発明は、周囲を飛行している無人飛行機との接触可能性の低減を図りうる作業機械等を提供することを目的とする。

本発明は、下部走行体と、前記下部走行体に対して旋回可能な上部旋回体と、前記上部旋回体から延在する作業機構と、前記下部走行体、前記上部旋回体および前記作業機構のそれぞれの動作態様を制御する制御装置と、を備えている作業機械に関する。また、本発明は、作業機械および無人飛行機のそれぞれとの通信機能を有する作業機械支援サーバに関する。

本発明の作業機械は、前記制御装置が、前記作業機構を基準とした無人飛行機の相対位置に基づき、前記作業機構の指定箇所と前記無人飛行機との間隔が所定値以下になり、かつ前記作業機械の動作態様が前記無人飛行機に接近するような動作態様である場合には、前記作業機構と前記無人飛行機との接触可能性が高いと認識する接触可能性認識要素と、前記接触可能性認識要素により前記接触可能性が高いと認識された場合、前記接触可能性が低くなるように前記下部走行体、前記上部旋回体および前記作業機構のうち少なくとも１つの動作態様を制御する接触回避動作制御要素と、を備えていることを特徴とする。

当該構成の作業機械によれば、作業機構と無人飛行機との接触可能性が高いと認識される場合、下部走行体、上部旋回体および作業機構のうち少なくとも１つ（以下、適時「作業機構等」という。）の動作が制御されることにより、当該接触可能性の低減が図られる。「認識」とは、作業機構を基準とした無人飛行機の相対位置に基づいて接触可能性の高低を判定、指定または予測すること、および、当該判定結果を受信することまたは記憶装置から読み取ることを包含する概念である。

本発明の作業機械支援サーバは、前記作業機械および前記無人飛行機のうち少なくとも一方との通信に基づき、前記作業機構を基準とした前記無人飛行機の相対位置に基づいて、前記作業機構の指定箇所と前記無人飛行機との間隔が所定値以下になり、かつ前記作業機械の動作態様が前記無人飛行機に接近するような動作態様である場合には、前記作業機構と前記無人飛行機との接触可能性が高いと認識する接触可能性認識要素と、前記接触可能性認識要素により前記接触可能性が高いと認識された場合、前記接触可能性が低くなるように前記下部走行体、前記上部旋回体および前記作業機構のうち少なくとも１つの動作態様が前記制御装置により制御されるように、前記作業機械に対してして指定信号を送信する接触回避動作制御要素と、を備えていることを特徴とする。

当該構成の作業機械支援サーバによれば、作業機構と無人飛行機との接触可能性が高いと認識される場合、作業機構等の動作が制御されることにより、当該接触可能性の低減が図られる。

本発明の一実施形態としての作業機械および無人飛行機の構成に関する説明図。作業機械の操作機構の構成に関する説明図。本発明の一実施形態としての作業機械の機能に関する説明図。画像出力装置における画像出力態様に関する説明図。作業機械と無人飛行機との接触可能性の高低の認識方法に関する説明図。無人飛行機との接触可能性の高低に応じた作業機構等の第１の制御態様に関する説明図。無人飛行機との接触可能性の高低に応じた作業機構等の第２の制御態様に関する説明図。本発明の一実施形態としての作業機械支援サーバの構成に関する説明図。

（構成）
図１に示されている本発明の一実施形態としての作業機械１０は、無人飛行機４０と連携しながら所定の作業を遂行する。作業機械１０は、例えばクローラショベル（建設機械）であり、クローラ式の下部走行体１１０と、下部走行体１１０に旋回機構１３０を介して旋回可能に搭載されている上部旋回体１２０と、を備えている。上部旋回体１２０の前方左側部にはキャブ（運転室）１２２が設けられている。上部旋回体１２０の前方中央部には作業機構１４０としての作業アタッチメントが設けられている。

作業機構１４０は、上部旋回体１２０に起伏可能に装着されているブーム１４１と、ブーム１４１の先端に回動可能に連結されているアーム１４３と、アーム１４３の先端に回動可能に連結されているバケット１４５と、を備えている。作業機構１４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ１４２、アームシリンダ１４４およびバケットシリンダ１４６が装着されている。バケット１４５に代えてニブラなどの他のアタッチメントがアーム１４３の先端部に取り付けられていてもよい。

ブームシリンダ１４２は、作動油の供給を受けることにより伸縮してブーム１４１を起伏方向に回動させるように当該ブーム１４１と上部旋回体１２０との間に介在する。アームシリンダ１４４は、作動油の供給を受けることにより伸縮してアーム１４３をブーム１４１に対して水平軸回りに回動させるように当該アーム１４３と当該ブーム１４１との間に介在する。バケットシリンダ１４６は、作動油の供給を受けることにより伸縮してバケット１４５をアーム１４３に対して水平軸回りに回動させるように当該バケット１４５と当該アーム１４３との間に介在する。

作業機械１０は、作業機械制御装置２０と、無線通信機器２０２と、入力インターフェース２１０と、出力インターフェース２２０と、を備えている。作業機械制御装置２０は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

作業機械制御装置２０は、接触可能性認識要素２１と、接触回避動作制御要素２２と、を備えている。接触可能性認識要素２１は、作業機構１４０を基準とした無人飛行機４０の相対位置に基づいた作業機構１４０と無人飛行機４０との接触可能性の高低を認識する。接触回避動作制御要素２２は、接触可能性認識要素２１により接触可能性が高いと認識された場合、当該接触可能性が低くなるように下部走行体１１０、上部旋回体１２０および作業機構１４０のうち少なくとも１つの動作態様を制御する。

入力インターフェース２１０を構成する操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、下部走行体１１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、旋回機構１３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、ブームシリンダ１４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）はアームシリンダ１４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）はバケットシリンダ１４６を動かすために操作される。

操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳの周囲に配置されている。シートＳは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態でもよい。

シートＳの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図３に示されているシートＳの右側フレームの前方に設けられている右側操作レバー２１１１が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図３に示されているシートＳの左側フレームの前方に設けられている左側操作レバー２１１２が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

出力インターフェース２２０を構成する画像出力装置２２２は、例えば図２に示されているように、シートＳの前方に配置されている。画像出力装置２２２は、スピーカ（音声出力装置）をさらに備えていてもよい。

無人飛行機４０は、飛行機制御装置４００と、無線通信機器４０２と、撮像装置４１０と、を備えている。無人飛行機４０は、作業機械１０の構成要素であってもよい。この場合、作業機械１０には、無人飛行機４０が発着するベースメントを備えていてもよい。無人飛行機４０は、回転翼機であり、複数（例えば、４、６または８）の羽根、当該複数の羽根を回転させるための電動モータ（アクチュエータ）およびモータ等に電力を供給するバッテリなどを備えている。無人飛行機４０は、遠隔操作装置５０を通じて操作可能である。例えば、入力インターフェース２１０により無人飛行機４０の遠隔操作装置が構成されていてもよい。

（機能）
無人飛行機４０において、飛行機制御装置４００により、無線通信機器４０２を通じて、遠隔操作装置５０から送信された飛行指令信号が受信される（図３／ＳＴＥＰ４０２）。飛行機制御装置４００により、当該飛行指令信号にしたがって、アクチュエータ（電動モータ）ひいては当該アクチュエータを動力源とする複数の羽根のそれぞれの回転動作が制御される（図３／ＳＴＥＰ４０４）。これにより、無人飛行機４０は、複数の羽根を回転させることにより生じる気流によって飛行し、その場で上昇もしくは下降し、または、空中にとどまることができる。

無人飛行機４０において、撮像装置４１０により、アタッチメント先端部としてのバケット１４５など、作業機構１４０の特定部位を包含する撮像画像が取得される（図３／ＳＴＥＰ４０６）。これにより、例えば、図４左側に示されているように、作業機械１０が建築物を破壊している際に、バケット１４５が無人飛行機４０に搭載されている撮像装置４１０により斜め左前方かつ上方から撮像される。飛行機制御装置４００により、無線通信機器４０２を通じて、当該撮像画像を表わす撮像画像データが作業機械１０に対して送信される（図３／ＳＴＥＰ４０８）。

作業機械１０において、作業機械制御装置２０により、無線通信機器２０２を通じて撮像画像データが受信される（図３／ＳＴＥＰ２０２）。作業機械制御装置２０により、撮像画像データに応じた環境画像（撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な環境画像）が画像出力装置２２２に表示される（図３／ＳＴＥＰ２０４）。これにより、例えば、図４右側に示されているように、作業機械１０が建築物を破壊している際のバケット１４５が含まれている環境画像が画像出力装置２２２に表示される。

作業機械制御装置２０により、作業機構１４０を基準とした無人飛行機４０の相対位置が認識される（図３／ＳＴＥＰ２０６）。例えば、撮像画像におけるバケット１４５、アーム１４３およびブーム１４１のそれぞれの形状およびサイズに基づき、画像データベースを照会することにより、バケット１４５、アーム１４３およびブーム１４１のそれぞれの指定箇所を基準とした無人飛行機４０の相対位置が推定される。バケット１４５、アーム１４３およびブーム１４１のそれぞれの指定箇所に所定形状のマーカが付され、撮像画像における当該マーカの形状およびサイズに基づき、画像データベースを照会することにより、バケット１４５、アーム１４３およびブーム１４１のそれぞれの指定箇所を基準とした無人飛行機４０の相対位置が推定されてもよい。無人飛行機４０に測距画像センサまたはＴＯＦセンサが搭載され、当該センサを通じて取得された測距データに基づき、バケット１４５、アーム１４３およびブーム１４１のそれぞれの指定箇所を基準とした無人飛行機４０の相対位置が推定されてもよい。

世界座標系（または実空間座標系）における無人飛行機４０の位置（および姿勢）が測定され、当該測定結果が無人飛行機４０から作業機械１０に対して送信されることにより、接触可能性認識要素２１により、無人飛行機４０の実空間位置、または、バケット１４５、アーム１４３およびブーム１４１のそれぞれの指定箇所を基準とした無人飛行機４０の相対位置が測定されてもよい。

無人飛行機４０に搭載されているＧＰＳ等の測位装置により、世界座標系（または実空間座標系）における緯度（Ｙ座標値）および経度（Ｘ座標値）が測定される。ＴＯＦセンサまたは気圧センサにより、世界座標系における絶対高度または気圧高度（Ｚ座標値）が測定される。

上部旋回体１２０およびブーム１４１の連結機構（または関節機構）、ブーム１４１およびアーム１４３の連結機構、ならびに、アーム１４３およびバケット１４５の連結機構のそれぞれの角度、さらにはブーム１４１、アーム１４３およびバケット１４５のそれぞれのサイズに基づき、ブーム１４１、アーム１４３およびバケット１４５のそれぞれの作業機械座標系（上部旋回体１２０に対して位置および姿勢が固定されている座標系）における位置および姿勢が測定される。上部旋回体１２０に搭載されているＧＰＳ等の測位装置により、上部旋回体１２０、ひいては作業機械座標系の世界座標系における緯度（Ｙ座標値）および経度（Ｘ座標値）が測定される。作業機械座標系の世界座標系におけるＺ座標値はあらかじめ定められている。上部旋回体１２０に搭載されている方位センサおよび傾斜角センサにより、作業機械座標系の世界座標系における姿勢が測定される。これらの結果、ブーム１４１、アーム１４３およびバケット１４５のそれぞれの世界座標系における位置および姿勢が測定される。

作業機械制御装置２０により、操作機構２１１を構成する各操作レバーのオペレータによる操作態様が認識される（図３／ＳＴＥＰ２０８）。

作業機械制御装置２０において、接触可能性認識要素２１により、作業機構１４０の一または複数の指定箇所を基準とした無人飛行機４０の相対位置と、操作機構２１１を構成する各操作レバーのオペレータによる操作態様と、に基づき、作業機構１４０と無人飛行機４０との接触可能性が高いか否かが判定される（図３／ＳＴＥＰ２１０）。例えば、作業機構１４０の指定箇所と無人飛行機４０との間隔が所定値以下であり、かつ、操作機構２１１の操作態様に応じた作業機構等としての作業機構１４０等の動作態様が、当該指定箇所を無人飛行機４０に接近させるような動作態様である場合、作業機構１４０と無人飛行機４０との接触可能性が高いと判定される。

作業機構１４０の全体的な姿勢に基づいて定まる基準空間に、無人飛行機４０の実空間位置が含まれるか否かに応じて、作業機構１４０と無人飛行機４０との接触可能性の高低が認識されてもよい。「基準空間」は、上部旋回体１２０が下部走行体１１０に対して回動した際に、指定期間において作業機構１４０またはその一部が占有または通過する空間を包含するように定義される。例えば、図５に示されているように、基準空間Ａｒが、上部旋回体１２０が下部走行体１１０に対して時計回りまたは反時計回りに回動した際に、作業機構１４０またはその一部が占有または通過する空間を包含するように定義される。作業機構１４０の全体的な姿勢、ひいては鉛直方向および前後方向についての延在態様は、上部旋回体１２０およびブーム１４１の連結機構（または関節機構）、ブーム１４１およびアーム１４３の連結機構、および、アーム１４３およびバケット１４５の連結機構のそれぞれの角度の測定結果に基づいて推定されうる。

略扇型の横断面を有する基準空間Ａｒの中心角は、指定期間において上部旋回体１２０が下部走行体１１０に対して回動可能な角度に相当する。上部旋回体１２０が下部走行体１１０に対して反時計回りに旋回している状況では、反時計回り方向の角度が時計回り方向の角度よりも大きくなるように、すなわち、作業機構１４０を基準として非対称的に基準空間Ａｒが定義されていてもよい。

作業機構１４０と無人飛行機４０との接触可能性が高いと認識された場合（図３／ＳＴＥＰ２１０‥ＹＥＳ）、接触回避動作制御要素２２により、当該操作態様に応じた作業機構１４０等の動作態様が変更される（図３／ＳＴＥＰ２１２）。これにより、例えば、作業機構１４０を駆動するための油圧アクチュエータに対する作動油の供給量が低減されまたは作動油の供給が停止され、作業機構１４０の動作速度が低下されまたは動作が停止される。

その一方、作業機構１４０と無人飛行機４０との接触可能性が低いと認識された場合（図３／ＳＴＥＰ２１０‥ＮＯ）、接触回避動作制御要素２２により、当該操作態様に応じた作業機構１４０等の動作態様が維持される（図３／ＳＴＥＰ２１４）。

例えば、図６上段に示されているように、作業機構１４０の指定箇所と無人飛行機４０との間隔が、期間ｔ＝ｔ₁₀～ｔ₁₃およびｔ＝ｔ₁₅～ｔ₁₆のそれぞれにおいて所定値以下となり、かつ、図６中段に示されているように、作業機構１４０等の動作態様が、期間ｔ＝ｔ₁₁～ｔ₁₂（ｔ₁₀＜ｔ₁₁、ｔ₁₂＜ｔ₁₃）およびｔ＝ｔ₁₄～ｔ₁₇（ｔ₁₄＜ｔ₁₅、ｔ₁₆＜ｔ₁₇）のそれぞれにおいてその指定箇所と無人飛行機４０との間隔が小さくなるような動作態様である場合について考察する。この場合、図６下段に示されているように、作業機構１４０の指定箇所と無人飛行機４０との間隔が所定値以下であり、かつ、作業機構１４０等の動作態様が無人飛行機４０に接近する動作態様である期間ｔ＝ｔ₁₁～ｔ₁₂およびｔ＝ｔ₁₅～ｔ₁₆のそれぞれにおいて、作業機構１４０等の動作速度が低下されまたは動作が停止される。

例えば、図７上段に示されているように、作業機構１４０の指定箇所と無人飛行機４０との間隔が、期間ｔ＝ｔ₂₁～ｔ₂₂、ｔ＝ｔ₂₃～ｔ₂₄のおよびｔ＝ｔ₂₆～ｔ₂₉のそれぞれにおいて所定値以下となり、かつ、図７中段に示されているように、作業機構１４０等の動作態様が、期間ｔ＝ｔ₂₀～ｔ₂₅（ｔ₂₀＜ｔ₂₁、ｔ₂₄＜ｔ₂₅）およびｔ＝ｔ₂₇～ｔ₂₈（ｔ₂₆＜ｔ₂₇、ｔ₂₈＜ｔ₂₉）のそれぞれにおいてその指定箇所と無人飛行機４０との間隔が小さくなるような動作態様である場合について考察する。この場合、図７下段に示されているように、作業機構１４０の指定箇所と無人飛行機４０との間隔が所定値以下であり、かつ、作業機構１４０等の動作態様が無人飛行機４０に接近する動作態様である期間ｔ＝ｔ₂₁～ｔ₂₂およびｔ＝ｔ₂₇～ｔ₂₈のそれぞれにおいて、作業機構１４０等の動作速度が低下されまたは動作が停止される。

（効果）
当該構成の作業機械１０を構成する作業機構１４０と無人飛行機４０との接触可能性が高いと認識される場合、下部走行体１１０、上部旋回体１２０および作業機構１４０のうち少なくとも１つの動作が制御されることにより、当該接触可能性の低減が図られる（図６および図７参照）。

（本発明の他の実施形態）
図８に示されている本発明の一実施形態としての作業機械支援サーバ３０は、作業機械１０および無人飛行機４０のそれぞれとの通信機能を有する。作業機械支援サーバ３０が、無人飛行機４０に搭載され、作業機械１０との通信機能を有していてもよい。作業機械支援サーバ３０は、接触可能性認識要素２１と、接触回避動作制御要素２２と、を備えている。この場合、作業機械制御装置２０は、接触可能性認識要素２１および接触回避動作制御要素２２としての機能を備えていなくてもよい。

当該構成の作業機械支援サーバ３０によれば、接触可能性認識要素２１により作業機構１４０と無人飛行機４０との接触可能性が高いと認識された場合、接触回避動作制御要素２２により作業機械１０に対してして指定信号が送信される。これに応じて、作業機械制御装置２００により、当該接触可能性が低くなるように作業機構１４０等の動作態様が制御される。これにより、作業機械１０の作業機構１４０と無人飛行機４０との接触可能性が高いと認識される場合、作業機構１４０等の動作が制御されることによって、当該接触可能性の低減が図られる（図３、図６および図７参照）。

１０‥作業機械、２０‥作業機械制御装置、２１‥接触可能性認識要素、２２‥接触回避動作制御要素、３０‥作業機械支援サーバ、４０‥無人飛行機、２０２‥無線通信機器、２１０‥入力インターフェース、２１１‥操作機構、２２０‥出力インターフェース、２２２‥画像出力装置、１４０‥作業機構（作業アタッチメント）、４００‥飛行機制御装置、４０２‥無線通信機器、４１０‥撮像装置。

Claims

下部走行体と、前記下部走行体に対して旋回可能な上部旋回体と、前記上部旋回体から延在する作業機構と、前記下部走行体、前記上部旋回体および前記作業機構のそれぞれの動作態様を制御する制御装置と、を備えている作業機械であって、
前記制御装置が、
前記作業機構を基準とした無人飛行機の相対位置に基づき、前記作業機構の指定箇所と前記無人飛行機との間隔が所定値以下になり、かつ前記作業機械の動作態様が前記無人飛行機に接近するような動作態様である場合には、前記作業機構と前記無人飛行機との接触可能性が高いと認識する接触可能性認識要素と、
前記接触可能性認識要素により前記接触可能性が高いと認識された場合、前記接触可能性が低くなるように前記下部走行体、前記上部旋回体および前記作業機構のうち少なくとも１つの動作態様を制御する接触回避動作制御要素と、を備えていることを特徴とする作業機械。
下部走行体と、前記下部走行体に対して旋回可能な上部旋回体と、前記上部旋回体から延在する作業機構と、前記下部走行体、前記上部旋回体および前記作業機構のそれぞれの動作態様を制御する制御装置と、を備えている作業機械、および、無人飛行機のそれぞれとの通信機能を有する作業機械支援サーバであって、
前記作業機械および前記無人飛行機のうち少なくとも一方との通信に基づき、前記作業機構を基準とした前記無人飛行機の相対位置に基づいて、前記作業機構の指定箇所と前記無人飛行機との間隔が所定値以下になり、かつ前記作業機械の動作態様が前記無人飛行機に接近するような動作態様である場合には、前記作業機構と前記無人飛行機との接触可能性が高いと認識する接触可能性認識要素と、
前記接触可能性認識要素により前記接触可能性が高いと認識された場合、前記接触可能性が低くなるように前記下部走行体、前記上部旋回体および前記作業機構のうち少なくとも１つの動作態様が前記制御装置により制御されるように、前記作業機械に対してして指定信号を送信する接触回避動作制御要素と、を備えていることを特徴とする作業機械支援サーバ。