JP6232494B2 - 掘削装置 - Google Patents

Description

本発明は、油圧ショベルなどの掘削動作を外界認識により自動化した掘削装置に関する。

油圧ショベルやブルドーザなどの掘削装置は、自動で掘削作業を行う機械が導入されつつある。自動で掘削作業を行う為には、バケットと掘削物の位置を認識して、バケットを掘削物まで移動させて掘削する、という動作が要求される。バケットの位置を計測する手段として、バケットの角度やストローク量、アームやブームなどの角度を計測するセンサが開発されている。しかし、これらのセンサでは掘削対象物を認識することはできない。例えば鉱山で石炭や鉄鉱石などを掘削する場合、掘削物の位置や形状を事前に決定できないため、作業を行うときに位置や形状をリアルタイムで認識する必要がある。

一方、掘削装置において、ステレオカメラを搭載して、外界を認識する技術が公開されている。〔特許文献１〕で公開されている作業量計測装置は、掘削後と放土後のバケットをステレオカメラで撮影して容量を算出し、それぞれの容量の差分から掘削量を計測するものである。また〔特許文献２〕の油圧ショベルの較正システムでは、基準点に移動した作業具をステレオカメラで撮影して位置を計測し、ブームやアームの角度センサの較正を行うものである。

特開平２００８−２４１３００号公報 特開平２０１２−２３３３５３号公報

上記〔特許文献１〕によれば、ステレオカメラでバケット内の掘削物を認識しており掘削前の掘削対象物を認識するものではない。つまり、上記〔特許文献１〕ではバケット内という限定された状態で掘削物を認識しており、形状や位置が不明な掘削前の掘削対象物の認識には対応できない。

上記〔特許文献２〕によれば、バケット等の作業具の位置を検出する角度センサを較正するためにバケットを認識しており、掘削物を認識できない。また、バケットの位置を角度センサで計測している。

また、鉱山では掘削対象物の上に油圧ショベルを配置して、その掘削物をバケットですくい上げて掘削する作業が行われる。従って、掘削物の中から掘削地点を抽出する場合、掘削量が多くなるようにするだけでなく、掘削物が崩落してその上にある油圧ショベルが転落しないように配慮する必要がある。

上記課題を達成するために、本発明の掘削装置では、ステレオカメラと、前記カメラで撮影した画像からバケットを認識して前記バケットの位置を計測する手段と、前記カメラで撮影した画像から掘削物を認識し、前記掘削物の位置を計測する手段と、同一画面内で前記バケットと前記掘削物の位置関係を計測する手段とを備えたことを特徴とするものである。

更に、本発明は掘削装置において、前記掘削物の位置は、前記掘削装置の上部旋回体から所定の距離を超えた地点とすることを特徴とするものである。

更に、本発明は掘削装置において、前記掘削物の位置を計測する手段では、前記カメラで撮影した画像から掘削物を地面と分離して認識することを特徴とするものである。

更に、本発明は掘削装置において、前記掘削物のエッジ画像を生成し、前記エッジ画像から掘削物の岩石の境界を抽出し、前記境界の地点の中から前記掘削物の位置を選択することを特徴とするものである。

更に、本発明は掘削装置において、前記バケットが前記ステレオカメラの撮影範囲外にある時は、前記バケットの位置は前記ステレオカメラ以外のセンサで計測した位置情報を使用し、 前記バケットが前記ステレオカメラの撮影範囲内にある時は、前記バケットの位置は前記ステレオカメラで計測した位置情報を使用することを特徴とするものである。

更に、本発明は掘削装置において、前記ステレオカメラが計測した前記バケットと前記掘削物の位置関係を、前記ステレオカメラが撮影した画像に重畳して表示することを特徴とするものである。

更に、本発明は掘削装置において、前記バケットと前記掘削物の位置関係は、前記掘削物の位置、前記バケットと前記掘削物間の距離のいずれか又は両方を含むことを特徴とするものである。

本発明によれば、ステレオカメラでバケットと掘削物を同時に計測するため、両者の位置関係を高精度で計測できるとともに、掘削物にバケットを近づけるときのバケット位置計測の角度センサのキャリブレーションを不要とすることができる。

また、本発明によれば、掘削物の中から掘削地点を抽出するとき、掘削物を地面と分離して認識し、掘削範囲を指定できるため、作業効率が良く、しかも安全な掘削地点を抽出することができる。

本発明に係る自動掘削を行う油圧ショベルとその油圧ショベルに搭載された外界認識装置の構成を示した実施例の図である。 油圧ショベルの掘削状況を示したものである。 外界認識装置で撮影される画像の例を示したものである。 角度センサによる計測値と外界認識装置による計測値を切り替えて制御する方法を示したものである。 外界認識装置を用いて掘削作業を処理する方法を示したものである。 外界認識装置による3次元モデリングの処理を示したものである。 ステレオカメラ装置による視差データ算出の方法について示したものである。 視差画像メモリの例を示した図である。 バケットを認識する方法を説明した図である。 地面と掘削地点を認識する方法を説明した図である。 表示ユニットの表示例を示した図である。 掘削地点を岩石の境界に設定する例を示した図である。

以下に、本発明の実施の形態を図面を用いて説明する。

以下、本発明の第1の実施例を示す。

図１は、本発明を実施するための自動掘削装置として油圧ショベル10を示したものである。油圧ショベル10は、掘削物を認識して、その掘削物を掘削し、決められた場所に放土する。このため油圧ショベル10は、自身の周囲を認識するための外界認識装置20を搭載しており、この外界認識装置20が認識した掘削物を掘削する。前記車両10は、掘削するためのバケット13、バケット13を上下に移動させるためのアーム12とブーム11を持つ。またバケットを左右に移動させるために上部旋回体15を回転させることができる。更に、バケットの位置を計測するためにアーム角度センサ14a、バケット角度センサ14b、ブーム角度センサ14c、上部旋回体回転角度センサ14dを持つ。これらのセンサにより油圧ショベル10は、バケット13の位置を知ることができる。

しかし、このままでは油圧ショベル10は、掘削物の位置を知ることができないため、バケット13の移動先を決定することができない。そこでブーム11に設けられた外界認識装置20により、掘削物の判定とその位置を計測する。また、バケット13の位置と掘削物の位置を異なったセンサで計測すると、計測精度を高めるためにセンサ同士のキャリブレーションを行う必要が生じる。そこで、バケット13が掘削物に近づいた時には、外界認識装置20で掘削物に加えてバケット13の位置も同時に計測する。このようにすることで、バケット13と掘削物を1つのセンサで計測することか可能となり、キャリブレーションが不要となる。

以上の動作を制御する為、油圧ショベル10は、角度センサ計測部30、計測手段切換え部40、バケット移動制御部50を持つ。角度センサ計測部30は、アーム角度センサ14a、バケット角度センサ14b、ブーム角度センサ14c、上部旋回体回転角度センサ14dによりバケット13の位置を計測する。計測手段切換え部40は、バケット13が外界認識装置20で計測できない範囲に位置する時は角度センサ計測部30が出力するバケット13の位置データを、バケット13が外界認識装置20で計測できる範囲に位置する時は外界認識装置20が出力するバケット13の位置データをバケット移動制御部50に出力する。バケット移動制御部50はバケット13の位置と掘削地点の位置、及び両者間の距離に基づいてバケット13を掘削地点まで移動させ、掘削作業を行う。更に掘削後は、バケット13内の掘削物を所定の位置に放土する。放土位置は、例えばダンプトラックの荷台が想定されるが、本実施例は掘削物とバケット13の認識機能に関するものであるため、図示は省略する。また、表示ユニット60は、バケット13の位置、掘削地点、掘削物、バケット13の移動先と移動軌跡などを表示する。

外界認識装置20は、ステレオカメラ装置210で外界を計測する。ステレオカメラ装置210は、左画像撮影部211と右画像撮影部212の２つのカメラで撮影した画像の視差を利用して、被写体の距離を計測することができる。ステレオカメラ装置210で撮影された画像は左画像メモリ213と右画像メモリ214に一時的に記憶され、3次元計測手段215に送られる。3次元計測手段215では、左右画像から視差画像を作成し視差画像メモリ220に記憶するとともに、被写体の3次元座標を求める。バケット認識手段216は、右画像と視差画像を用いてバケット13を認識する。地面認識手段217は、右画像と視差画像を用いて、画面上の地面のエリアを特定する。掘削物認識手段218は、右画像と視差画像を用いて掘削物を認識し、更に掘削すべき位置を決定する。距離計測手段219は、バケット13と掘削すべき掘削物の位置の3次元座標から両者の距離を計測し、両者の位置と距離を計測手段切換え部40に出力する。

図２は、油圧ショベル10と掘削物80の位置関係を示したものである。地面の上に掘削物80があり、その掘削物80の上に油圧ショベル10が載る。従って掘削物10を外界認識装置20が計測するためには、油圧ショベル10自身の下方向を計測する必要がある。そのため本実施例ではブーム11に外界認識装置20を設置し、地面70方向を撮影するようにした。また、掘削物80の上に油圧ショベル10が載っているため、掘削する場所によっては掘削物80が崩落して油圧ショベル10が掘削物80から転落する恐れがある。従って掘削地点を決定する時は、掘削量が最大で地面70を削らず掘削物80が崩落しない地点を抽出する必要がある。

図３は、図２の状況における外界認識装置20が撮影した画像の例を示す。画像の下方向に掘削物80、それより上部に地面70、更に上方向にバケット13が撮影される。

図４は、バケット移動制御部50の動作フローを示したものである。バケット13がステレオカメラ装置210に撮影されているかどうかを判断し（ステップ110、以下S100と称す）、もし撮影されていなければ角度センサ（14a、14b、14c、14d）により、バケット13が撮影される位置まで移動させる（S120）。ステレオカメラ装置210に撮影されない位置から撮影される位置にバケット13を移動させるときは、撮影範囲のどこかにバケット13が入ればよいので、位置精度は高くなくても良い。従って、キャリブレーションを行わなくても良い。一方、バケット13がステレオカメラ装置210に撮影されている場合は、外界認識装置20によるバケット13と掘削物80の位置計測データを使用してバケット13を移動させる（S130）。バケット13が掘削地点に到着したら掘削作業を行い（S140）。その後、バケット13に入っている掘削物を放土する（S150）。掘削が終了するまで動作を繰り返す（S160）。以上のように動作することによって、バケット13が掘削物80に遠い位置でステレオカメラ装置210に撮影されない範囲にある時は、角度センサでバケット13の位置を計測し、バケット13が掘削物80に近づいてステレオカメラ装置210に撮影されると、バケット13と掘削物80の両方を外界認識装置20で計測するため、角度センサと外界認識装置20の両者のキャリブレーションを不要とすることができる。また、掘削物80とバケット13が近づいた時は、両者ともに外界認識装置20で計測するので計測精度を高めることができる。

図５は、外界認識装置20の動作フローを示したものである。まずステレオカメラ装置210で画像を撮影し、その画像を用いて被写体の3次元モデリングを行う（S210）。この3次元モデリング処理は後述する図６に詳細な処理フローを示す。次に、3次元モデリングの結果と撮影された画像を用いてバケット認識処理を行う（S220）。この処理は後述する図９に詳細な説明を行う。次に、地面70の認識を行い（S230）、更に、掘削物80の認識を行い掘削地点を決定する（S240）。これらの処理は、後述で図１０を用いて詳細な説明を行う。最後に、ショベル13と掘削地点間の距離と両者の座標を計測し、バケット移動制御部50に出力する。以上の処理を画像入力信号がある期間で繰り返す（S260）。

図６は、3次元モデリングの処理フローを示したものである。まず、ステレオカメラ装置210の右撮影部212と左撮影部211により画像を撮影する。撮影されたこれらの画像は、右画像メモリ214と左画像メモリ213に一時記憶される。これらの画像データは3次元計測手段215において、まず視差データを生成する。

図７に、視差データ生成の原理を示す。実際の光景300を右撮影部212で撮影した右画像340と、左撮影部211で撮影した左画像341がある時、実際の光景300の中のある地点320は、右画像340では地点342の位置に撮影され、左画像341では地点343の位置に撮影される。この結果、342と343には視差dが生じる。この視差はステレオカメラ装置210に近いものは大きい値となり、遠いものは小さい値となる。このように求めた視差を画像全体で求め、その結果を視差画像メモリ220に記憶する。

図8にその視差画像メモリ220のデータ例を示す。右画像に合わせて2次元上に視差データを配置しておけば、視差データの示すX,Yの位置と、右画像上のX,Yは簡単に対応付けることができる。また、この視差を用いて、三角測量の原理で距離を計測することが出来る。視差dから距離Zは次の式で求められる。

Z = (f × B) / d …式(1)
但し、fは右及び左撮影部の焦点距離、Bは右撮影部212と左撮影部211の距離である。また、上記びZを求めた地点の3次元上のX,Yの位置は次の式で求められる。

X = (Z × xr) / f…式(2)
Y=(Z × yr) / f…式(3)
但し、xrは、右画像340上でのx座標、yrは、右画像340上でのy座標である。以上のように、ステレオカメラ装置210で撮影した画像によって、被写体の3次元空間上の位置（X,Y,Z）を求めることができる。

次に、図9にバケット13の認識処理について説明する。視差画像メモリ260は、右画像340とX,Y座標が対応するように視差データを記憶しておく。図２のバケット13と地面70の位置関係によれば、バケット13は地面70よりもステレオカメラ装置210に近い位置にあるので視差画像メモリ260では、バケット13の位置の視差データは地面70の視差データよりも大きい数値になる。従って、視差画像メモリ260のy座標の大きい部分で視差データが周囲よりも大きい部分（例としてデータ350の位置）が、バケット13の候補となる。次にデータ350の位置のx,y座標を用いて、右画像340の同じx,yの画像360を抽出する。その画像360をバケット13の画像と比較して特徴が一致すれば、その視差データのデータ350の位置を用いてバケット13の3次元座標を算出することができる。以上のように、最初に視差データを用いてバケット13の位置の候補を見つけ、その位置の画像の特徴をバケット13と比較することで、右画像340の全体からバケット13を検索するよりも、バケット13の認識を高速化することができる。

図１０は、地面70の認識と掘削物80の中から掘削地点を抽出する処理を説明するものである。図１０のグラフの横軸は視差画像メモリ260のy軸方向、縦軸は視差d値を示す。つまり、視差画像メモリ260のx軸方向を細かく短冊状に区分し、その区分した１つをyd面で表現したものである。右画像340の例によれば、画面の上方向（yが大きい方）に地面70とバケット13が撮影され、画面の下方向（yが小さい方）に掘削物80が撮影される。この状況のd値は、地面70が最もdが小さく（つまり遠くにある）、バケット13と掘削物80は地面70よりもdが大きい（つまり近くにある）。

また、地面は起伏が小さい平坦な部分であると仮定すると、地面のd値はyd面のグラフのように最も小さく、しかも一定となる。この特徴を用いれば、yd面での地面70を特定することが可能となる。また、掘削物80は、画面の下方向（yが小さい方）で地面70よりもd値が大きい部分と定義することが出来る。

次に、この掘削物80の中から、掘削地点を決定する。掘削地点とは掘削動作時にバケット13を掘削物80に最初に接触させる位置であり、この位置からバケット13をすくい上げることで掘削が行われる。前記掘削地点は、掘削量が多く、地面70を削らず、掘削物80が崩落しない地点を抽出する必要がある。この条件を満たすため、上部回転体15から所定の距離範囲Lpを超えた掘削物から掘削地点を抽出する。前記所定の範囲とは、掘削物が崩落しない範囲として予め設定される。また、地面を掘削しないためには地面よりも高い位置とし、掘削量を多くするため地面より所定の高さHp以内とする。本実施例では、地面70と掘削物80の境界部分で、最も遠い部分を掘削地点81として抽出する。この地点81は、視差画像メモリ260のx軸を細分化した短冊ごとにy1を求め、画像全体で最もy1が大きい地点となる。この処理で掘削地点81の3次元座標が決定され、バケット13の3次元座標との距離も算出することができる。

次に、図１１に表示ユニット60の表示例を示す。この実施例では自動掘削であってもオペレータが搭乗する可能性があるため、表示ユニット60でオペレータに掘削の状況を提示できるようにしている。表示ユニット60は、右画像340の画像の上に、掘削地点81を示す記号61、バケット13と掘削地点81までの距離62、バケット13の移動予定の軌跡63などを重畳表示する。また、図示しないが、遠隔操作を行う場合は、表示ユニット60の表示内容を無線または有線で、油圧ショベル10の外部に設けられた油圧ショベル10を遠隔で捜査するための表示ユニット60に送信することも可能である。

次に、本発明の第2の実施例について説明する。

図１２に本発明の第2の実施例の掘削地点の抽出方法を示す。掘削物が大きな岩石である場合、バケット13の刃先の破損を防ぐために、掘削地点81は、岩石と岩石の隙間になるように選択する。掘削地点81は地面70が平坦であると仮定しており、その地面70との境界地点を選択している。従って、地面70に凹凸があると、この掘削地点81に誤差が生じる。その場合、バケット13の刃先が岩石の中央部分に当たってしまう恐れがある。その対策方法は次の通りである。まず、図１０で抽出した掘削地点81の周辺画像350を取り出す。次に、この取り出した画像350のエッジ画像351を作成する。その後、エッジ画像351で、図１０に示す方式で抽出した掘削地点81よりも地面70から離れた位置の岩石84を選択する。その岩石84のd値を視差画像メモリ260から読み出す。次に、岩石84より1つ下の岩石83を抽出し、その岩石83のy座標が最も大きい地点のx座標を求める。この（x,y,d）の値を前記の各数式に代入し、座標（X,Y,Z）で指定される地点が掘削地点82となる。これにより、バケット13の刃先の破損を防止することができる。

以上の本実施例のように、自動掘削を行う油圧ショベル10の外界認識装置20にステレオカメラ装置210を用いることで、安全でしかも掘削量が多くなる掘削地点81を特定できるとともに、バケット13と掘削地点81の3次元座標と距離を高精度に計測することが可能となる。

10 油圧ショベル
11 ブーム
12 アーム
13 バケット
14a アーム角度センサ
14b バケット角度センサ
14c ブーム角度センサ
14d 上部旋回体回転角度センサ
15 上部旋回体
20 外界認識装置
30 角度センサ計測部
40 計測手段切換え部
50 バケット移動制御部
60 表示ユニット
70 地面
80 掘削物
81 掘削地点
210 ステレオカメラ装置
215 3次元計測手段
216 バケット認識手段
217 地面認識手段
218 掘削物認識手段
219 距離計測手段
220 視差画像メモリ

Claims (6)

1. ステレオカメラと、
   前記ステレオカメラで撮影した画像からバケットを認識して前記バケットの位置を計測する手段と、
   前記ステレオカメラで撮影した画像から掘削物を認識し、前記掘削物の位置を計測する手段と、
   同一画面内で前記バケットと前記掘削物の位置関係を計測する手段と、
   前記バケット、アーム、ブーム、上部旋回体の角度を計測する角度センサと、
   前記バケットを移動させるバケット移動制御部と、を備え、
   前記バケットが前記ステレオカメラの撮影範囲外にある時は、前記バケットの位置は前記角度センサで計測した角度情報を使用し、前記バケット移動制御部より前記バケットを前記ステレオカメラに撮影される位置まで移動させ、
   前記バケットが前記ステレオカメラの撮影範囲内にある時は、前記バケットの位置は前記ステレオカメラで計測した位置情報を使用することを特徴とする掘削装置。
2. 請求項１の掘削装置において、
   前記掘削物の位置は、前記掘削装置の上部旋回体から所定の距離を超えた地点とすることを特徴とする掘削装置。
3. 請求項１又は請求項２の掘削装置において、
   前記掘削物の位置を計測する手段では、前記ステレオカメラで撮影した画像から掘削物を地面と分離して認識することを特徴とする掘削装置。
4. 請求項１〜３のうちの１つの掘削装置において、
   前記掘削物のエッジ画像を生成し、前記エッジ画像から掘削物の岩石の境界を抽出し、前記境界の地点の中から前記掘削物の位置を選択することを特徴とする掘削装置。
5. 請求項１〜４のうちの１つの掘削装置において、
   前記ステレオカメラが計測した前記バケットと前記掘削物の位置関係を、前記ステレオカメラが撮影した画像に重畳して表示することを特徴とする掘削装置。
6. 請求項１〜５のうちの１つの掘削装置において、
   前記バケットと前記掘削物の位置関係は、前記掘削物の位置、前記バケットと前記掘削物間の距離のいずれか又は両方を含むことを特徴とする掘削装置。

Images