JP7739019B2 - 作業機械の制御システム及び作業機械の制御方法 - Google Patents

Description

本開示は、作業機械の制御システム及び作業機械の制御方法に関する。

作業機械による作業の自動化を実現するために、作業対象との相対位置を良好に計測可能な作業機械の一例が特許文献１に開示されている。特許文献１では、三次元計測装置の計測データに基づいて、ホイールローダと作業対象との相対位置を計測する。

特開２０１９－１３２０６８号公報

作業の自動化では、作業機械において作業対象の有無を高精度に検出することが望まれる。ところが、三次元計測装置は、例えば粉塵、雨、照明、又は直射日光などの外乱の影響を受けやすい。

本開示の態様は、作業対象の有無をより高精度に検出することを目的とする。

本開示の態様に従えば、作業機械の作業対象を計測する三次元計測装置と、前記作業対象を検出する検出装置と、前記三次元計測装置及び前記検出装置の両方で前記作業対象を検出したとき、作業機械の介入制御を行う介入制御部、を備える作業機械の制御システムが提供される。

本開示の態様に従えば、作業機械の作業対象を計測する三次元計測装置及び前記作業対象を検出する検出装置の両方で前記作業対象を検出したとき、作業機械の介入制御を行う、作業機械の制御方法が提供される。

本開示の態様によれば、作業対象の有無をより高精度に検出することができる。

図１は、本実施形態に係る作業機械の一例を示す側面図である。 図２は、本実施形態に係る作業機械の動作を示す模式図である。 図３は、本実施形態に係る作業機械の積込作業モードを示す模式図である。 図４は、本実施形態に係る作業機械の制御システムを示す機能ブロック図である。 図５は、作業機を上昇させる動作を説明する図である。 図６は、作業機の掘削物を積み込み先に積み込みする動作を説明する図である。 図７は、作業機を下降させる動作を説明する図である。 図８は、判定結果に基づく処理の一例を説明する図である。 図９は、本実施形態に係る作業機械の制御方法を示すフローチャートである。 図１０は、検出装置による作業対象の検出方法を示すフローチャートである。 図１１は、コンピュータシステムの一例を示すブロック図である。

以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。作業機械の制御システムは、作業機械の作業対象の有無をより高精度に検出するシステムである。作業機械の制御システムは、作業機械の各部を組み合わせて実装されている。

（実施形態）
［ホイールローダ］
図１は、本実施形態に係るホイールローダ１の一例を示す側面図である。作業機械１は、作業現場において作業対象に対して所定の作業を実施する。本実施形態においては、作業機械１がアーティキュレート式の作業機械の一種であるホイールローダ１であるとして説明する。所定の作業は、掘削作業及び積込作業を含む。作業対象は、掘削対象、及び、掘削された掘削物が積み込まれる積込対象を含む。ホイールローダ１は、掘削対象を掘削する掘削作業、及び掘削作業により掘削した掘削物を積込対象に積み込む積込作業を実施する。積込作業は、掘削物を排出対象に排出する排出作業を含む概念である。掘削対象として、地山、岩山、石炭、及び壁面の少なくとも一つが例示される。地山は、土砂により構成される山であり、岩山は、岩又は石により構成される山である。積込対象として、運搬車両、作業現場の所定エリア、ホッパ、ベルトコンベヤ、及びクラッシャの少なくとも一つが例示される。

図１に示すように、ホイールローダ１は、車体２と、運転席が設けられる運転台３と、車体２を走行させる走行装置４と、トランスミッション装置３０と、車体２に支持される作業機１０と、作業機１０の角度を検出する角度センサ５０と、車体２よりも前方の作業対象を計測する三次元計測装置２０と、車体２よりも前方の作業対象を検出する検出装置２５と、運転台３の周辺に設けられるブザー７と、運転台３の周辺に設けられるランプ８と、制御装置８０とを備える。

車体２は、車体前部２Ｆと車体後部２Ｒとを含む。車体前部２Ｆと車体後部２Ｒとは、関節機構９を介して屈曲可能に連結される。

運転台３は、車体２に支持される。ホイールローダ１の少なくとも一部は、運転台３に搭乗した運転者によって操作される。

走行装置４は、車体２を支持する。走行装置４は、地面ＲＳを走行可能である。走行装置４は、車輪５を有する。車輪５は、車体２に搭載されているエンジンが発生する駆動力により回転する。車輪５は、車体前部２Ｆに装着される２つの前輪５Ｆと、車体後部２Ｒに装着される２つの後輪５Ｒとを含む。車輪５には、タイヤ６が装着される。タイヤ６は、前輪５Ｆに装着される前タイヤ６Ｆと、後輪５Ｒに装着される後タイヤ６Ｒとを含む。前輪５Ｆ及び前タイヤ６Ｆは、回転軸ＦＸを中心に回転可能である。後輪５Ｒ及び後タイヤ６Ｒは、回転軸ＲＸを中心に回転可能である。車体２が直進状態で走行するとき、回転軸ＦＸと回転軸ＲＸとは平行である。

以下の説明においては、前輪５Ｆの回転軸ＦＸと平行な方向を適宜、車幅方向、と称する。地面ＲＳと接触する前タイヤ６Ｆの接地面と直交する方向を適宜、上下方向、と称する。車幅方向及び上下方向の両方と直交する方向を適宜、前後方向、と称する。

走行装置４は、駆動装置４Ａと、ブレーキ装置４Ｂと、操舵装置４Ｃとを有する。駆動装置４Ａは、ホイールローダ１を加速させるための駆動力を発生する。駆動装置４Ａは、例えばディーゼルエンジンのような内燃機関を含む。駆動装置４Ａで発生した駆動力がトランスミッション装置３０を介して車輪５に伝達され、車輪５が回転する。ブレーキ装置４Ｂは、ホイールローダ１を減速又は停止させるための制動力を発生する。操舵装置４Ｃは、ホイールローダ１の走行方向を調整可能である。ホイールローダ１の走行方向は、車体前部２Ｆの向きを含む。操舵装置４Ｃは、油圧シリンダによって車体前部２Ｆを屈曲させることによって、ホイールローダ１の走行方向を調整する。

本実施形態において、走行装置４は、運転台３に搭乗した運転者によって操作される。運転台３には、走行装置４を操作する走行操作装置４０が配置される。運転者は、走行操作装置４０を操作して、走行装置４を作動させる。走行操作装置４０は、アクセルペダル、ブレーキペダル、ステアリングレバー、及び前後進を切り換えるためのシフトレバー４１を含む。アクセルペダルが操作されることにより、ホイールローダ１の走行速度が増大する。ブレーキペダルが操作されることにより、ホイールローダ１の走行速度が減少したり走行が停止したりする。ステアリングレバーが操作されることにより、ホイールローダ１が旋回する。シフトレバー４１が操作されることにより、ホイールローダ１の前進又は後進が切り換えられる。

トランスミッション装置３０は、駆動装置４Ａで発生した駆動力を車輪５に伝達する。

作業機１０は、制御装置８０によって制御される。作業機１０は、車体前部２Ｆに回動可能に連結されるブーム１１と、ブーム１１に回動可能に連結されるバケット１２とを有する。

ブーム１１は、ブームシリンダ１３が発生する動力によって作動する。ブームシリンダ１３が伸縮することにより、ブーム１１は上げ動作又は下げ動作する。ブームシリンダ１３は、図示しない油圧ポンプから供給される作動油の流量及び方向を制御する図示しないブーム制御弁を有する。

バケット１２は、刃先を含む先端部１２Ｂを有する作業部材である。バケット１２は、前輪５Ｆよりも前方に配置される。バケット１２は、ブーム１１の先端部に連結される。バケット１２は、ベルクランク１５とリンク１６とを介して、バケットシリンダ１４に連結される。バケット１２は、バケットシリンダ１４が発生する動力によって作動する。バケットシリンダ１４は、油圧ポンプから供給される作動油の流量及び方向を制御する図示しないバケット制御弁を有する。バケットシリンダ１４が伸縮することにより、バケット１２はダンプ動作又はチルト動作する。ダンプ動作によって、バケット１２内の掘削物がバケット１２から排出される。チルト動作によって、バケット１２が掘削物をすくい取る。

角度センサ５０は、作業機１０に搭載され、作業機１０の姿勢を検出する。角度センサ５０は、作業機１０の角度を検出する。角度センサ５０は、ブーム１１の角度を検出するブーム角度センサ５１と、バケット１２の角度を検出するバケット角度センサ５２とを含む。ブーム角度センサ５１は、例えば車体前部２Ｆに規定された車体座標系の基準軸に対するブーム１１の角度を検出する。バケット角度センサ５２は、ブーム１１に対するバケット１２の角度を検出する。角度センサ５０は、ポテンショメータでもよいし、油圧シリンダのストロークを検出するストロークセンサでもよいし、慣性計測装置でもよいし、傾斜計でもよい。作業機１０の角度を示す角度データは、後述する位置データ算出部８３及び判定部９１に出力される。

三次元計測装置２０は、ホイールローダ１に搭載される。三次元計測装置２０は、車体前部２Ｆよりも前方の作業対象を計測する。作業対象は、作業機１０により掘削された掘削物が積み込まれる積込対象を含む。三次元計測装置２０は、三次元計測装置２０から作業対象の表面の複数の各計測点までの相対位置を計測して、作業対象の三次元形状を計測する。三次元計測装置２０は、写真計測装置の一種であるステレオカメラ２２を含む。ステレオカメラ２２は、車体２の車幅方向の右側方及び左側方にそれぞれ配置されている。以下の説明においては、片側のステレオカメラ２２について説明する。

ステレオカメラ２２は、前方を撮影する。ステレオカメラ２２は、作業対象を撮像して、作業対象を計測する。本実施形態では、ステレオカメラ２２は、少なくとも運搬車両ＬＳなどの積込対象を含む作業対象を計測する。ステレオカメラ２２の計測データは、作業対象の画像データを含む。画像データは、複数の画素により構成される。画像データは、計測データの一例である。

ステレオカメラ２２は、第１カメラ２２Ａと第２カメラ２２Ｂとを一対として有する。第１カメラ２２Ａと第２カメラ２２Ｂとは、間隔を空けて配置されている。第１カメラ２２Ａに取得された第１画像データ及び第２カメラ２２Ｂに取得された第２画像データは、制御装置８０に出力される。第１画像データ及び第２画像データは、二次元の画像データである。

検出装置２５は、ホイールローダ１に搭載される。検出装置２５は、三次元計測装置２０と異なる位置に配置される。検出装置２５は、車体前部２Ｆよりも前方の検出対象を検出する。検出装置２５は、検出対象の三次元形状を計測する。検出装置２５は、非接触センサ２６を含む。非接触センサ２６は、ホイールローダ１に配置されている。非接触センサ２６は、ホイールローダ１の周辺の物体を非接触で検出する。非接触センサ２６は、ホイールローダ１の周辺を走査して、物体を検出する。非接触センサ２６は、ホイールローダ１の周辺をミリ波などの電波で走査して物体を検出するレーダ装置を含む。非接触センサ２６の検出データは、物体の有無を示す有無データ、及び、物体の位置を示す位置データを含む。非接触センサ２６の検出データは、制御装置８０に出力される。

ブザー７は、運転台３の近傍に配置されている。ブザー７は、警報音を出力するブザー装置である。ブザー７は、判定部９１の判定結果を出力する。ブザー７は、判定部９１によってどちらか一方で運搬車両ＬＳを検出したと判定された場合、警報音を出力する。

ランプ８は、運転台３の近傍に配置されている。ランプ８は、判定部９１の判定結果を出力する。ランプ８は、判定部９１によってどちらか一方で運搬車両ＬＳを検出したと判定された場合、ランプ８を点滅する。ランプ８は、判定部９１によって両方で運搬車両ＬＳを検出したと判定された場合、ランプ８を点灯する。ランプ８は、判定部９１によってどちらでも運搬車両ＬＳを検出していないと判定された場合、ランプ８を消灯する。

［動作］
図２は、本実施形態に係るホイールローダ１の動作を示す模式図である。ホイールローダ１は、複数の作業モードで作業する。作業モードは、作業機１０のバケット１２で掘削対象を掘削する掘削作業モードと、掘削作業モードによりバケット１２ですくい取った掘削物を積込対象に積み込む積込作業モードとを含む。掘削対象は、例えば地面ＲＳ上の地山ＤＳである。積込対象は、例えば地面ＲＳを走行可能な運搬車両ＬＳのベッセルＢＥである。運搬車両ＬＳは、例えばダンプトラックである。

掘削作業モードにおいて、ホイールローダ１は、バケット１２に掘削物が保持されていない状態で、地山ＤＳに向かって前進する。運転者は、走行操作装置４０を操作して、図２の矢印Ｍ１で示すように、ホイールローダ１を前進させて地山ＤＳに接近させる。制御装置８０は、バケット１２で地山ＤＳが掘削されるように、作業機１０を制御する。地山ＤＳがバケット１２により掘削され、掘削物がバケット１２にすくい取られる。

ホイールローダ１は、バケット１２に掘削物が保持されている状態で、地山ＤＳから離れるように後進する。運転者は、走行操作装置４０を操作して、図２の矢印Ｍ２で示すように、ホイールローダ１を後進させて地山ＤＳから離間させる。

次に、積込作業モードが実施される。積込作業モードにおいて、ホイールローダ１は、バケット１２に掘削物が保持されている状態で、運搬車両ＬＳに向かって前進する。運転者は、走行操作装置４０を操作して、図２の矢印Ｍ３で示すように、ホイールローダ１を旋回させながら前進させて運搬車両ＬＳに接近させる。このとき、ホイールローダ１に搭載されている三次元計測装置２０は、運搬車両ＬＳを計測する。制御装置８０は、三次元計測装置２０の計測データに基づいて、バケット１２に保持されている掘削物が運搬車両ＬＳのベッセルＢＥに積み込まれるように、作業機１０を制御する。すなわち、制御装置８０は、ホイールローダ１が運搬車両ＬＳに接近するように前進している状態において、ブーム１１が上げ動作するように、作業機１０を制御する。ブーム１１が上げ動作し、バケット１２がベッセルＢＥの上方に配置された後、制御装置８０は、バケット１２がダンプ動作するように、作業機１０を制御する。ダンプ動作されたバケット１２から掘削物が排出され、ベッセルＢＥに積み込まれる。

掘削物がベッセルＢＥに積み込まれた後、ホイールローダ１は、バケット１２に掘削物が保持されていない状態で、運搬車両ＬＳから離れるように後進する。運転者は、走行操作装置４０を操作して、図２の矢印Ｍ４で示すように、ホイールローダ１を旋回させながら後進させて運搬車両ＬＳから離間させる。

運転者及び制御装置８０は、ベッセルＢＥに掘削物が満載されるまで、または、地山ＤＳの掘削が完了するまで、上述の動作を繰り返す。

図３は、本実施形態に係るホイールローダ１の積込作業モードを示す模式図である。運転者は、走行操作装置４０を操作して、ホイールローダ１を旋回させながら前進させて運搬車両ＬＳに接近させる。図３（Ａ）に示すように、三次元計測装置２０は、運搬車両ＬＳの三次元形状及び運搬車両ＬＳとの相対位置を計測する。制御装置８０は、三次元計測装置２０の計測データに基づいて、ホイールローダ１と運搬車両ＬＳとの距離Ｄｂ及びベッセルＢＥの上端部ＢＥｔの高さＨｂを検出する。

図３（Ｂ）に示すように、制御装置８０は、ホイールローダ１が運搬車両ＬＳに接近するように前進している状態で、三次元計測装置２０の計測データに基づいて、バケット１２がベッセルＢＥの上端部ＢＥｔよりも上方に配置され、かつ、バケット１２に保持されている掘削物がバケット１２からこぼれないように、バケット１２の角度を制御しながら、ブーム１１を上げ動作させる。

図３（Ｃ）に示すように、ブーム１１が上げ動作し、バケット１２がベッセルＢＥの上方に配置された後、制御装置８０は、バケット１２がダンプ動作するように、作業機１０を制御する。これにより、バケット１２から掘削物が排出され、ベッセルＢＥに積み込まれる。

図３（Ｃ）の後、運転者は、走行操作装置４０を操作して、ホイールローダ１を旋回させながら後進させて運搬車両ＬＳから離間させる。

［制御装置］
図４は、本実施形態に係るホイールローダ１の制御システム２００を示す機能ブロック図である。制御装置８０は、コンピュータシステムを含む。制御装置８０は、ホイールローダ１を制御する。制御装置８０に、作業機１０、三次元計測装置２０、検出装置２５、角度センサ５０、走行操作装置４０、ブザー）７、及びランプ８が接続される。制御装置８０は、計測データ取得部８１と、検出データ取得部８４と、記憶部８２と、位置データ算出部８３と、対象算出部８６と、介入制御部としての作業機制御部８７と、判定部９１と、出力制御部９２とを有する。ブザー７は、出力部の一例である。ランプ８は、出力部の一例である。作業機制御部８７は、介入制御部の一例である。位置データ算出部８３は、位置算出部の一例である。

制御システム２００は、異常判定システムの一例である。制御システム２００は、作業機１０、三次元計測装置２０、角度センサ５０、走行操作装置４０、ブザー７、ランプ８、及び制御装置８０を含む。

制御装置８０は、計測された積込対象の三次元形状に基づいて、積込対象に関するパラメータを算出する。積込対象に関するパラメータは、積込対象までの距離、積込対象の上端部の位置、及び積込対象の高さの少なくとも一つを含む。制御装置８０は、算出したパラメータに基づいて、作業機１０に対する介入制御を行う。

計測データ取得部８１は、三次元計測装置２０の計測データを取得する。本実施形態において、計測データ取得部８１は、ステレオカメラ２２の第１カメラ２２Ａから第１画像データを取得し、第２カメラ２２Ｂから第２画像データを取得する。計測データ取得部８１により取得された作業対象の画像データは、対象算出部８６に出力される。

検出データ取得部８４は、検出装置２５の検出データを取得する。本実施形態において、検出データ取得部８４は、非接触センサ２６から検出データを取得する。検出データからベッセルＢＥを含む運搬車両ＬＳの有無を判定する方法は公知の方法を使用可能であり、その一例を図１０を用いて後述する。検出データ取得部８４により取得された検出データは、判定部９１に出力される。

本実施形態では、検出データ取得部８４は、所定の領域内に検出点が存在するか否かによって、運搬車両ＬＳの有無を検出可能である。所定の領域は、非接触センサ２６の走査範囲のうち、運搬車両ＬＳが存在すると推測される位置である。所定の領域は、例えば、ホイールローダ１と運搬車両ＬＳとの相対的な位置関係、又は、ホイールローダ１と運搬車両ＬＳとの距離Ｄｂに応じて規定してもよい。

記憶部８２は、作業機データを記憶する。作業機データは、例えば作業機１０のＣＡＤ（Computer Aided Design）データを含む設計データ、又は、諸元データを含む。作業機データは、作業機１０の作業機１０の寸法データを含む外形データを含む。

本実施形態において、作業機データは、ブーム長さ、バケット長さ、及びバケット外形を含む。ブーム長さとは、ブーム回転軸とバケット回転軸との距離をいう。バケット長さとは、バケット回転軸とバケット１２の先端部１２Ｂとの距離をいう。ブーム回転軸とは、車体前部２Ｆに対するブーム１１の回転軸をいい、車体前部２Ｆとブーム１１とを連結する連結ピンを含む。バケット回転軸とは、ブーム１１に対するバケット１２の回転軸をいい、ブーム１１とバケット１２とを連結する連結ピンを含む。バケット外形は、バケット１２の形状及び寸法を含む。バケット１２の寸法は、バケット１２の左端と右端との距離を示すバケット幅、バケット１２の開口部の高さ、及びバケット底面長さなどを含む。

位置データ算出部８３は、角度センサ５０の検出結果に基づいて、作業機１０の姿勢を示す位置データを算出する。より詳しくは、位置データ算出部８３は、角度センサ５０により検出された作業機１０の角度データと、記憶部８２に記憶されている作業機１０の作業機データとに基づいて、作業機１０の位置データを算出する。作業機１０の位置データは、例えば車体座標系におけるバケット１２の各部位の位置データを含む。位置データ算出部８３により算出された作業機１０の位置データは、判定部９１に出力される。

対象算出部８６は、三次元計測装置２０の計測結果に基づいて、ホイールローダ１の積み込み対象の位置を算出する。より詳しくは、対象算出部８６は、計測データ取得部８１により取得された計測データに基づいて、三次元計測装置２０により計測された作業対象の三次元データを算出する。作業対象は、ベッセルＢＥを含む運搬車両ＬＳのことである。作業対象の三次元データは、運搬車両ＬＳの三次元形状を示す。対象算出部８６により算出された運搬車両ＬＳの三次元データは、作業機制御部８７及び判定部９１に出力される。

対象算出部８６は、第１カメラ２２Ａに取得された画像データと第２カメラ２２Ｂに取得された画像データとに基づいてステレオ処理を実施して、作業対象の三次元形状を計測する。対象算出部８６は、画像データ（第１画像データ及び第２画像データ）をステレオ処理して、ステレオカメラ２２から各画素に写る作業対象の表面における複数の計測点までの距離を算出する。対象算出部８６は、各計測点までの距離に基づいて、例えば車体座標系における三次元データを算出する。

本実施形態では、対象算出部８６は、運搬車両ＬＳの三次元データに基づいて、運搬車両ＬＳに関するパラメータを算出する。運搬車両ＬＳに関するパラメータは、地面ＲＳを基準とした運搬車両ＬＳ（ベッセルＢＥ）の上端部ＢＥｔの位置（高さ）Ｈｂ、及びホイールローダ１から運搬車両ＬＳまでの距離Ｄｂを含む。ホイールローダ１から運搬車両ＬＳまでの距離Ｄｂは、例えばバケット１２の先端部１２Ｂと、水平方向においてバケット１２の先端部１２Ｂに最も近い運搬車両ＬＳの部位を示す最近接点との距離である。

作業機制御部８７は、対象算出部８６により算出された作業対象の三次元データに基づいて、作業対象に掘削物を積み込む作業機１０の動作を制御する介入制御を行う。本実施形態では、作業機制御部８７は、算出された運搬車両ＬＳの三次元データに基づいて、ベッセルＢＥに掘削物を積み込む作業機１０の動作を制御する。作業機制御部８７は、ベッセルＢＥの上端部ＢＥｔの高さＨｂを示す高さデータ及びホイールローダ１から運搬車両ＬＳまでの距離Ｄｂを示す距離データに基づいて、ベッセルＢＥに掘削物を積み込む作業機１０の動作を制御する。

作業機制御部８７による作業機１０の動作の制御は、ブームシリンダ１３及びバケットシリンダ１４の少なくとも一方の動作の制御を含む。より詳しくは、作業機制御部８７は、ブーム制御弁及に制御信号を出力して、ブームシリンダ１３に供給される作動油の流量及び方向を制御して、ブーム１１の上げ下げ動作を制御する。作業機制御部８７は、バケット制御弁に制御信号を出力して、バケットシリンダ１４に供給される作動油の流量及び方向を制御して、バケット１２の上げ下げ動作を制御する。

介入制御は、積み込み対象に対して作業機１０のバケット１２を上昇させる制御を含む。介入制御は、積み込み対象に対して作業機１０のバケット１２を上昇させる制御、作業機１０のバケット１２内の掘削物を積み込み先に積み込みする制御、及び作業機１０のバケット１２を下降させる制御を含んでもよい。

図５ないし図７を用いて、介入制御の対象となる作業機１０の動作について説明する。図５ないし図７において、作業機１０の角度の所定範囲をＡ１で示している。三次元計測装置２０の計測範囲、言い換えると、ステレオカメラ２２の撮像範囲（ステレオカメラ２２の光学系の視野領域）をＡ２で示している。三次元計測装置２０の計測範囲Ａ２には、作業対象として、運搬車両ＬＳのみならず、例えば作業機１０、地面ＲＳ又は運搬車両ＬＳの周囲の物体も存在する。検出装置２５の検出範囲、言い換えると、非接触センサ２６の走査範囲（非接触センサ２６の走査領域）をＡ３で示している。検出装置２５の検出範囲である非接触センサ２６の走査領域Ａ３には、作業対象として、運搬車両ＬＳのみならず、例えば作業機１０も存在する。非接触センサ２６は、三次元計測装置２０と異なる位置に設置される。例えば、非接触センサ２６は、フロントアクスル上に設置される。

図５は、バケット１２を上昇させる動作を説明する図である。図５においては、運搬車両ＬＳのベッセルＢＥまで、作業機１０のバケット１２を上昇させている。バケット１２を上昇させる場合、バケット１２の近傍に、ベッセルＢＥが存在している必要がある。

図６は、バケット１２の掘削物を積み込み先に積み込みする動作を説明する図である。図６においては、作業機１０のバケット１２内の掘削物を、運搬車両ＬＳのベッセルＢＥに積み込んでいる。バケット１２内の掘削物の積み込みを行う場合、バケット１２の近傍に、ベッセルＢＥが存在している必要がある。

図７は、バケット１２を下降させる動作を説明する図である。図７においては、運搬車両ＬＳのベッセルＢＥの高さＨｂから、作業機１０のバケット１２を下降させている。バケット１２を下降させる場合、バケット１２の近傍に、ベッセルＢＥが存在している必要がある。

作業機制御部８７は、三次元計測装置２０及び検出装置２５の両方で運搬車両ＬＳを検出したとき、作業機１０の介入制御を行う。本実施形態では、作業機制御部８７は、ステレオカメラ２２及び非接触センサ２６の両方で運搬車両ＬＳを検出したとき、作業機１０の介入制御を行う。作業機制御部８７は、対象算出部８６が算出した積み込み対象の位置に基づいて、介入制御を行う。作業機制御部８７は、三次元計測装置２０及び検出装置２５の両方で積み込み対象を検出しない場合、作業機１０の上昇を停止させる。本実施形態では、作業機制御部８７は、ステレオカメラ２２及び非接触センサ２６の両方で積み込み対象を検出しない場合、作業機１０の上昇を停止させる。

作業機制御部８７は、三次元計測装置２０及び検出装置２５の両方で積み込み対象を検出しない場合、作業機１０の上昇、積み込み、及び作業機１０の下降の少なくもいずれかを停止させてもよい。本実施形態では、作業機制御部８７は、ステレオカメラ２２及び非接触センサ２６の両方で積み込み対象を検出しない場合、作業機１０の上昇、積み込み、及び作業機１０の下降の少なくもいずれかを停止させてもよい。

本実施形態において、ホイールローダ１は、トランスミッション制御部８８と、走行制御部８９とを有する。

トランスミッション制御部８８は、トランスミッション装置３０を制御する制御信号を出力する。

走行制御部８９は、運転者による走行操作装置４０の操作に基づいて、走行装置４の動作を制御する。走行制御部８９は、走行装置４を作動するための運転指令を出力する。走行制御部８９は、駆動装置４Ａを作動するためのアクセル指令を出力する。走行制御部８９は、ブレーキ装置４Ｂを作動するためのブレーキ指令を出力する。走行制御部８９は、操舵装置４Ｃを作動するためのステアリング指令を出力する。

判定部９１は、三次元計測装置２０及び検出装置２５の両方で運搬車両ＬＳが検出されているか否かを判定する。本実施形態では、判定部９１は、ステレオカメラ２２及び非接触センサ２６の両方で運搬車両ＬＳが検出されているか否かを判定する。より詳しくは、判定部９１は、対象算出部８６によって、計測データに基づいて運搬車両ＬＳの三次元データが算出され、かつ、検出データに基づいて運搬車両ＬＳが検出されたか否かを判定する。

図８は、判定結果に基づく処理の一例を説明する図である。ステレオカメラ２２及び非接触センサ２６の両方が運搬車両ＬＳを検出した場合、言い換えると、三次元計測装置２０及び検出装置２５の両方が運搬車両ＬＳを検出した場合、介入制御を作動させる。この場合、検出が成功した旨を表示する。検出が成功した旨の表示として、例えば、ランプ８を点灯させてもよい。

三次元計測装置２０が運搬車両ＬＳを検出し、検出装置２５が運搬車両ＬＳを検出しなかった場合、又は、三次元計測装置２０が運搬車両ＬＳを検出せず、検出装置２５が運搬車両ＬＳを検出した場合、介入制御を作動させない。この場合、検出が異常である旨を表示させる。検出が異常である旨の表示として、例えば、ランプ８を点滅させてもよい。

ステレオカメラ２２及び非接触センサ２６の両方が運搬車両ＬＳを検出しない場合、言い換えると、三次元計測装置２０及び検出装置２５の両方が運搬車両ＬＳを検出しない場合、介入制御を作動させない。この場合、検出していない旨を表示する。検出していない旨の表示として、例えば、ランプ８を消灯させてもよい。

本実施形態では、判定部９１は、作業機１０のブーム角度が角度閾値θ以上である場合に判定を行ってもよい。例えば、作業機１０が非接触センサ２６の走査範囲外となるような角度閾値θ以上である場合に判定を行ってもよい。また、所定範囲Ａ１より大きい角度閾値θ以上である場合に判定を行ってもよい。バケット１２が運搬車両ＬＳのベッセルＢＥより下方に位置する場合、非接触センサ２６が発した電波は、バケット１２の表面で反射されて、運搬車両ＬＳまで到達しない。これにより、運搬車両ＬＳが正しく検出されないおそれがある。そこで、判定部９１は、バケット１２を上昇させるときに、作業機１０のブーム角度の角度が角度閾値θ以上である場合に、判定を行う。

出力制御部９２は、判定部９１の判定結果を出力するよう制御する。出力制御部９２は、判定部９１によってどちらか一方で検出したと判定された場合、ブザー７から警報音を出力するよう制御する。出力制御部９２は、判定部９１によってどちらか一方で検出したと判定された場合、ランプ８を点滅するよう制御する。出力制御部９２は、判定部９１によって両方で検出したと判定された場合、ランプ８を点灯するよう制御する。

［制御方法］
図９は、本実施形態に係るホイールローダ１の制御方法を示すフローチャートである。一例として、積込作業について説明する。積込作業時に、運転者によって、図示しない操作部を介して運搬車両検出モードが起動される。積込作業モードにおいて、三次元計測装置２０であるステレオカメラ２２及び検出装置２５である非接触センサ２６は、作業対象を検出する。

ステレオカメラ２２で運搬車両ＬＳを計測する（ステップＳ１１）。より詳しくは、ステレオカメラ２２は、前方を計測する。ステレオカメラ２２の計測データは、制御装置８０に出力される。制御装置８０は、計測データ取得部８１によって、ステレオカメラ２２が撮像した画像データを取得する。計測データ取得部８１により取得された作業対象の画像データは、対象算出部８６に出力される。制御装置８０は、対象算出部８６によって、ステレオカメラ２２０の計測結果に基づいて、ホイールローダ１の積み込み対象の位置を算出する。制御装置８０は、ステップＳ１２へ進む。

非接触センサ２６で運搬車両ＬＳを検出する（ステップＳ１２）。より詳しくは、非接触センサ２６は、前方を電波によって走査する。非接触センサ２６の検出データは、制御装置８０に出力される。制御装置８０は、検出データ取得部８４によって、非接触センサ２６が検出した検出データを取得する。検出データ取得部８４により取得された検出対象の検出データは、判定部９１に出力される。制御装置８０は、ステップＳ１３へ進む。

制御装置８０は、判定部９１によって、ステレオカメラ２２が運搬車両ＬＳを検出したか否かを判定する（ステップＳ１３）。制御装置８０は、判定部９１によって、ステレオカメラ２２が運搬車両ＬＳを検出したと判定する場合（ステップＳ１３でＹｅｓ）、ステップＳ１４へ進む。制御装置８０は、判定部９１によって、ステレオカメラ２２が運搬車両ＬＳを検出したと判定しない場合（ステップＳ１３でＮｏ）、ステップＳ１６へ進む。

制御装置８０は、判定部９１によって、非接触センサ２６が運搬車両ＬＳを検出したか否かを判定する（ステップＳ１４）。制御装置８０は、判定部９１によって、非接触センサ２６が運搬車両ＬＳを検出したと判定する場合（ステップＳ１４でＹｅｓ）、ステップＳ１５へ進む。制御装置８０は、判定部９１によって、非接触センサ２６が運搬車両ＬＳを検出したと判定しない場合（ステップＳ１４でＮｏ）、ステップＳ１６へ進む。

制御装置８０は、介入制御を作動する（ステップＳ１５）。制御装置８０は、作業機制御部８７によって、対象算出部８６により算出されたベッセルＢＥの高さＨｂ及び運搬車両ＬＳまでの距離Ｄｂに基づいて、作業機１０を制御する。制御装置８０は、処理を終了する。

図３を参照して説明したように、作業機制御部８７は、ホイールローダ１が運搬車両ＬＳに接近するように前進している状態で、対象算出部８６により算出された運搬車両ＬＳまでの距離Ｄｂ及びベッセルＢＥの上端部ＢＥｔの高さＨｂに基づいて、バケット１２がベッセルＢＥの上端部ＢＥｔよりも上方に配置され、かつ、バケット１２に保持されている掘削物がバケット１２からこぼれないように、バケット１２の角度を制御しながら、ブーム１１を上げ動作させる。作業機制御部８７は、バケット１２をベッセルＢＥの上方に配置させる。そして、作業機制御部８７は、バケット１２がダンプ動作するように、作業機１０を制御する。このようにして、バケット１２から掘削物が排出され、ベッセルＢＥに積み込まれる。

ステップＳ１５の実行時、制御装置８０は、出力制御部９２によって、ランプ８を点灯させてもよい。

制御装置８０は、介入制御を不作動にする（ステップＳ１６）。制御装置８０は、作業機制御部８７による作業機１０の制御を停止する。ステップＳ１６の実行時、制御装置８０は、出力制御部９２によって、ブザー７から音声を出力させてもよい。制御装置８０は、出力制御部９２によって、ランプ８を点滅させてもよい。制御装置８０は、処理を終了する。

図１０は、検出装置２５である非接触センサ２６による作業対象の検出方法を示すフローチャートである。図１０の処理は、図９のステップＳ１２の処理が実行されると、実行される。図１０の処理を開始する際に、検出あり時間及び検出なし時間のカウントをクリアする。

積込作業モードにおいて、角度センサ５０は、作業機１０の角度を検出する。作業機１０の角度は、ブーム角度センサ５１によって検出されるブーム１１の角度と、バケット角度センサ５２によって検出されるバケット１２の角度とを含む。作業機１０の角度を示す角度データは、位置データ算出部８３に出力される。

制御装置８０は、ブーム角度が角度閾値θ以上であるか否かを判定する（ステップＳ２１）。制御装置８０は、位置データ算出部８３によって、作業機１０の角度データと、記憶部８２に記憶されている作業機１０の作業機データとに基づいて、作業機１０の位置データを算出する。制御装置８０は、ブーム角度が角度閾値θ以上であると判定する場合（ステップＳ２１でＹｅｓ）、ステップＳ２２へ進む。制御装置８０は、ブーム角度が角度閾値θ以上であると判定しない場合（ステップＳ２１でＮｏ）、ステップＳ２１の処理を再度実行する。

制御装置８０は、領域内に検出点があるか否かを判定する（ステップＳ２２）。制御装置８０は、検出データ取得部８４によって、非接触センサ２６の走査領域Ａ３内に検出点があると判定する場合（ステップＳ２２でＹｅｓ）、ステップＳ２３へ進む。制御装置８０は、検出データ取得部８４によって、非接触センサ２６の走査領域Ａ３内に検出点があると判定しない場合（ステップＳ２２でＮｏ）、ステップＳ２６へ進む。

制御装置８０は、検出データ取得部８４によって、検出あり時間を更新する（ステップＳ２３）。制御装置８０は、ステップＳ２４へ進む。

制御装置８０は、所定時間以上、検出点ありが継続しているか否かを判定する（ステップＳ２４）。所定時間は、任意の時間である。制御装置８０は、検出データ取得部８４によって、所定時間以上、検出点ありが継続していると判定する場合（ステップＳ２４でＹｅｓ）、ステップＳ２５へ進む。制御装置８０は、検出データ取得部８４によって、所定時間以上、検出点ありが継続していると判定しない場合（ステップＳ２４でＮｏ）、ステップＳ２１の処理を再度実行する。

制御装置８０は、検出データ取得部８４によって、検出ありを確定する（ステップＳ２５）。制御装置８０は、検出データ取得部８４によって、運搬車両ＬＳが検出されたと確定する。制御装置８０は、処理を終了する。

非接触センサ２６の走査領域Ａ３内に検出点があると判定しない場合（ステップＳ２２でＮｏ）、制御装置８０は、検出データ取得部８４によって、検出なし時間を更新する（ステップＳ２６）。制御装置８０は、ステップＳ２７へ進む。

制御装置８０は、所定時間以上、検出点なしが継続しているか否かを判定する（ステップＳ２７）。制御装置８０は、検出データ取得部８４によって、所定時間以上、検出点なしが継続していると判定する場合（ステップＳ２７でＹｅｓ）、ステップＳ２８へ進む。制御装置８０は、検出データ取得部８４によって、所定時間以上、検出点なしが継続していると判定しない場合（ステップＳ２７でＮｏ）、ステップＳ２１の処理を再度実行する。

制御装置８０は、検出データ取得部８４によって、検出なしを確定する（ステップＳ２８）。制御装置８０は、検出データ取得部８４によって、運搬車両ＬＳが検出されていないと確定する。制御装置８０は、処理を終了する。

［コンピュータシステム］
図１１は、コンピュータシステム１０００の一例を示すブロック図である。上述の制御装置８０は、コンピュータシステム１０００によって構成される。コンピュータシステム１０００は、ＣＰＵ（Central Processing Unit）のようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述の制御装置８０の機能は、プログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、プログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、プログラムに従って上述の処理を実行する。なお、プログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。

［効果］
以上説明したように、本実施形態によれば、三次元計測装置２０及び検出装置２５の両方で運搬車両ＬＳを検出したとき、ホイールローダ１の介入制御を行う。本実施形態によれば、ホイールローダ１の介入制御を行う際に、運搬車両ＬＳの有無をより高精度に判定することができる。

本実施形態は、三次元計測装置２０及び検出装置２５の一方が運搬車両ＬＳを検出し、他方が運搬車両ＬＳを検出しないとき、介入制御を停止する。本実施形態によれば、運搬車両ＬＳが存在しない可能性がある場合、介入制御を停止できる。

本実施形態は、三次元計測装置２０及び検出装置２５の一方が運搬車両ＬＳを検出し、他方が運搬車両ＬＳを検出しないとき、警報を出力する。本実施形態によれば、運搬車両ＬＳが存在しない可能性がある場合、警報を出力して運転者に報知できる。

本実施形態は、算出した積み込み対象の位置に基づいて、介入制御を行う。本実施形態によれば、高精度に介入制御を行うことができる。

本実施形態は、ホイールローダ１のブーム角度が角度閾値θ以上であり、三次元計測装置２０及び検出装置２５の両方で運搬車両ＬＳを検出したとき、介入制御を行う。本実施形態によれば、検出装置２５によって運搬車両ＬＳが検出可能であるときに、検出を行うことができる。

本実施形態は、三次元計測装置２０及び検出装置２５の一方が運搬車両ＬＳを検出し、他方が運搬車両ＬＳを検出しないとき、バケット１２の上昇を停止させることができる。

本実施形態は、三次元計測装置２０及び検出装置２５の一方が運搬車両ＬＳを検出し、他方が運搬車両ＬＳを検出しないとき、バケット１２の上昇、積み込み、及びバケット１２の下降の少なくもいずれかを停止させることができる。

本実施形態は、検出装置２５は、三次元計測装置２０と異なる位置に設置される。本実施形態によれば、運搬車両ＬＳの有無をより高精度に判定することができる。

［その他の実施形態］
上述の各実施形態において、三次元計測装置２０は、ステレオカメラ２２に限定されるものではなく、例えばレーザスキャンでもよい。

検出装置２５は、ミリ波で走査するレーダ装置に限定されない。非接触センサ２６は、ホイールローダ１の周辺をレーザ光で走査して物体を検出するレーザスキャナ装置を含んでもよい。非接触センサ２６は、ホイールローダ１の周辺を超音波で走査して物体を検出する超音波センサ装置を含んでもよい。

三次元計測装置２０及び検出装置２５の一方が運搬車両ＬＳを検出し、他方が運搬車両ＬＳを検出しないとき、介入制御を停止するとしたが、これに限定されない。例えば、介入制御による作業機１０の上昇が行われている場合、警報を出力した状態で、当該動作を継続してもよい。

ホイールローダ１が作業を実施する作業現場は、鉱山の採掘現場でもよいし、施工現場又は建設現場でもよい。

ホイールローダ１は、除雪作業に使用されてもよいし、農畜産業における作業に使用されてもよいし、林業における作業に使用されてもよい。

上述の実施形態において、バケット１２は、複数の刃を有してもよいし、ストレート状の刃先を有してもよい。

ブーム１１の先端部に連結される作業部材は、バケット１２でなくてもよく、除雪作業に使用されるスノープラウ又はスノーバケットでもよいし、農畜産業の作業において使用されるベールグラブ又はフォークでもよいし、林業の作業において使用されるフォーク又はバケットでもよい。

ランプ８に変えて、ホイールローダ１に設定された、図示しないモニタに判定結果を表示してもよい。ブザー７、ランプ８、モニタは、ホイールローダ１に備えている必要はなく、いずれか１つ以上を備えるものでもよい。また、ブザー７、ランプ８、モニタは、ホイールローダ１の外に備えるようにしてもよい。

上述した実施形態に係る制御システム２００は、制御システム２００を構成する一部の構成が作業機械１の内部に搭載され、他の構成が作業機械１の外部に設けられてもよい。また、上述した実施形態に係る制御システム２００は、作業機１０、三次元計測装置２０、角度センサ５０、走行操作装置４０、ブザー７、ランプ８、及び制御装置８０を含むものとして説明したが、これに限定されず、一部の構成は含まないものであってもよい。一例として、ブザー７、ランプ８を含まない制御システム２００としてもよい。

上述した実施形態に係る制御装置８０は、単独のコンピュータによって構成されるものであってもよいし、制御装置８０の構成を複数のコンピュータに分けて配置し、複数のコンピュータが互いに協働することで制御装置８０として機能するものであってもよい。

作業機械１は、ホイールローダに限定されず、例えば油圧ショベル又はブルドーザのような作業機を有する作業機械に上述の実施形態で説明した制御装置８０及び制御方法を適用することができる。

１…ホイールローダ（作業機械）、２…車体、２Ｆ…車体前部、２Ｒ…車体後部、３…運転台、４…走行装置、４Ａ…駆動装置、４Ｂ…ブレーキ装置、４Ｃ…操舵装置、５…車輪、５Ｆ…前輪、５Ｒ…後輪、６…タイヤ、６Ｆ…前タイヤ、６Ｒ…後タイヤ、７…ブザー（出力部）、８…ランプ（出力部）、９…関節機構、１０…作業機、１１…ブーム、１２…バケット、１２Ｂ…先端部、１３…ブームシリンダ、１４…バケットシリンダ、１５…ベルクランク、１６…リンク、２０…三次元計測装置、２２…ステレオカメラ、２２Ａ…第１カメラ、２２Ｂ…第２カメラ、２５…検出装置、２６…非接触センサ、３０…トランスミッション装置、４０…走行操作装置、５０…角度センサ、５１…ブーム角度センサ、５２…バケット角度センサ、８０…制御装置、８１…計測データ取得部、８２…記憶部、８３…位置データ算出部、８４…検出データ取得部、８６…対象算出部、８７…作業機制御部、８８…トランスミッション制御部、８９…走行制御部、９１…判定部、９２…出力制御部、１００…画像データ、２００…異常判定システム、ＢＥ…ベッセル（積込対象）、ＤＳ…地山（掘削対象）、ＦＸ…回転軸、ＬＳ…運搬車両、ＲＸ…回転軸、ＲＳ…地面。

Claims (17)

1. 掘削作業、及び、掘削作業によって掘削した掘削物を積込対象に積み込む積込作業を実施する作業機械の前記掘削物が積み込まれる積込対象である作業対象を計測する三次元計測装置と、
   前記作業対象を検出する検出装置と、
   前記三次元計測装置及び前記検出装置の両方で前記作業対象を検出したとき、作業機械の作業機の動作の介入制御を行う介入制御部と、
   を備え、
   前記三次元計測装置は、車体の車幅方向の右側方及び左側方にそれぞれ配置され、前記作業対象の表面の複数の各計測点までの相対位置を計測して、前記作業対象の三次元形状を計測するステレオカメラであり、
   前記検出装置は、フロントアクスル上に配置され、前記作業機械の周辺を走査して物体の三次元形状を検出する非接触センサであり、
   前記三次元計測装置の計測範囲は、側方視において、前記作業機械の作業機の所定範囲より狭い範囲であり、
   前記検出装置の検出範囲は、側方視において、前記三次元計測装置の計測範囲より狭い範囲であり、
   前記三次元計測装置及び前記検出装置の両方で前記作業対象を検出したときとは、前記三次元計測装置の計測データに基づいて前記作業対象の三次元データが算出され、前記検出装置の検出データで前記作業対象を検出したとき、である、
   作業機械の制御システム。
2. 前記介入制御部は、前記作業機のブーム角度が前記所定範囲より大きい角度閾値以上である場合に、前記三次元計測装置及び前記検出装置の両方で前記作業対象を検出したか否かの判定を行う、
   請求項１に記載の作業機械の制御システム。
3. 前記介入制御部は、前記三次元計測装置の計測データに基づいて前記作業対象の三次元データが算出され、前記検出装置の検出データで前記作業対象を検出しないとき、または、前記三次元計測装置の計測データに基づいて前記作業対象の三次元データが算出されず、前記検出装置の検出データで前記作業対象を検出したとき、介入制御を停止する、
   請求項１に記載の作業機械の制御システム。
4. 前記三次元計測装置の計測データに基づいて前記作業対象の三次元データが算出され、前記検出装置の検出データで前記作業対象を検出しないとき、または、前記三次元計測装置の計測データに基づいて前記作業対象の三次元データが算出されず、前記検出装置の検出データで前記作業対象を検出したとき、警報を出力する出力部、
   を備える、請求項１から請求項３のいずれか一項に記載の作業機械の制御システム。
5. 前記三次元計測装置の計測データに基づいて、前記作業機械の積み込み対象の位置を算出する対象算出部、
   を備え、
   前記介入制御部は、前記対象算出部が算出した前記積み込み対象の位置に基づいて、介入制御を行う、
   請求項１から請求項４のいずれか一項に記載の作業機械の制御システム。
6. 前記介入制御部は、前記作業機械の作業機の角度が角度閾値以上であり、前記三次元計測装置及び前記検出装置の両方で前記作業対象を検出したとき、介入制御を行う、
   請求項１から請求項５のいずれか一項に記載の作業機械の制御システム。
7. 前記介入制御は、前記作業機械の積み込み対象に対して、前記作業機械の作業機を上昇させる制御を含み、
   前記介入制御部は、前記三次元計測装置の計測データに基づいて前記作業対象の三次元データが算出され、前記検出装置の検出データで前記作業対象を検出しないとき、または、前記三次元計測装置の計測データに基づいて前記作業対象の三次元データが算出されず、前記検出装置の検出データで前記作業対象を検出したとき、前記作業機の上昇を停止させる、
   請求項１から請求項６のいずれか一項に記載の作業機械の制御システム。
8. 前記介入制御は、前記作業機械の積み込み対象に対して、前記作業機械の作業機を上昇させる制御、前記作業機の掘削物を前記積み込み対象に積み込みする制御、及び前記作業機を下降させる制御を含み、
   前記介入制御部は、前記三次元計測装置の計測データに基づいて前記作業対象の三次元データが算出され、前記検出装置の検出データで前記作業対象を検出しないとき、または、前記三次元計測装置の計測データに基づいて前記作業対象の三次元データが算出されず、前記検出装置の検出データで前記作業対象を検出したとき、前記作業機の上昇、前記積み込み、及び前記作業機の下降の少なくもいずれかを停止させる、
   請求項１から請求項６のいずれか一項に記載の作業機械の制御システム。
9. 前記検出装置は、前記三次元計測装置と異なる位置に設置される、
   請求項１から請求項８のいずれか一項に記載の作業機械の制御システム。
10. 前記作業機械は、ホイールローダであって、
    前記検出装置は、フロントアクスル上に設置され、
    前記介入制御部は、作業機の角度が角度閾値以上の場合において、前記三次元計測装置及び前記検出装置の両方で前記作業対象を検出したとき、介入制御を行う、
    請求項１から請求項９のいずれか一項に記載の作業機械の制御システム。
11. 掘削作業、及び、掘削作業によって掘削した掘削物を積込対象に積み込む積込作業を実施する作業機械の前記掘削物が積み込まれる積込対象である作業対象を計測する三次元計測装置の計測データに基づいて前記作業対象の三次元データが算出され、前記作業対象を検出する検出装置の検出データで前記作業対象を検出したとき、作業機械の作業機の動作の介入制御を行い、
    前記三次元計測装置の計測範囲は、側方視において、前記作業機械の作業機の所定範囲より狭い範囲であり、
    前記検出装置の検出範囲は、側方視において、前記三次元計測装置の計測範囲より狭い範囲である、
    作業機械の制御方法。
12. 前記三次元計測装置の計測データに基づいて前記作業対象の三次元データが算出され、前記検出装置の検出データで前記作業対象を検出しないとき、または、前記三次元計測装置の計測データに基づいて前記作業対象の三次元データが算出されず、前記検出装置の検出データで前記作業対象を検出したとき、介入制御を停止する
    請求項１１に記載の作業機械の制御方法。
13. 前記三次元計測装置の計測データに基づいて前記作業対象の三次元データが算出され、前記検出装置の検出データで前記作業対象を検出しないとき、または、前記三次元計測装置の計測データに基づいて前記作業対象の三次元データが算出されず、前記検出装置の検出データで前記作業対象を検出したとき、警報を出力する
    請求項１１又は１２に記載の作業機械の制御方法。
14. 前記三次元計測装置の計測データに基づいて、前記作業機械の積み込み対象の位置を算出し、
    算出した前記積み込み対象の位置に基づいて、介入制御を行う、
    請求項１１から請求項１３のいずれか一項に記載の作業機械の制御方法。
15. 前記作業機械の作業機の角度が角度閾値以上であり、前記三次元計測装置の計測データに基づいて前記作業対象の三次元データが算出され、前記検出装置の検出データで前記作業対象を検出したとき、介入制御を行う、
    請求項１１から請求項１４のいずれか一項に記載の作業機械の制御方法。
16. 前記介入制御は、前記作業機械の積み込み対象に対して、前記作業機械の作業機を上昇させる制御を含み、
    前記三次元計測装置の計測データに基づいて前記作業対象の三次元データが算出され、前記検出装置の検出データで前記作業対象を検出しないとき、または、前記三次元計測装置の計測データに基づいて前記作業対象の三次元データが算出されず、前記検出装置の検出データで前記作業対象を検出したとき、前記作業機の上昇を停止させる、
    請求項１１から請求項１５のいずれか一項に記載の作業機械の制御方法。
17. 前記介入制御は、前記作業機械の積み込み対象に対して、前記作業機械の作業機を上昇させる制御、前記作業機の掘削物を前記積み込み対象に積み込みする制御、及び前記作業機を下降させる制御を含み、
    前記三次元計測装置の計測データに基づいて前記作業対象の三次元データが算出され、前記検出装置の検出データで前記作業対象を検出しないとき、または、前記三次元計測装置の計測データに基づいて前記作業対象の三次元データが算出されず、前記検出装置の検出データで前記作業対象を検出したとき、前記作業機の上昇、前記積み込み、及び前記作業機の下降の少なくもいずれかを停止させる、
    請求項１１から請求項１６のいずれか一項に記載の作業機械の制御方法。