JP7544651B2 - 建設機械 - Google Patents

Description

本発明は，複数のカメラ画像を建設機械を中心とする俯瞰画像に変換してモニタに表示できる建設機械に関する。

近年，建設機械には，さらなる安全性が求められており，安全補助システムの搭載が注目されている。安全補助システムの１つとしてとして，領域制限システムがある。このシステムは，フロント作業装置や旋回体などに取り付けた姿勢センサにより車体の姿勢をモニタリングし，事前に決めた作業領域から車体がはみ出ないようにフロント作業装置や旋回体や走行体を制御（領域制限制御とも言う）してそれらの動作を制限するものである。ただし，作業領域の境界をオペレータが目視することは不可能である。そこで，領域制限システム使用時に作業領域の境界と建設機械の位置関係をオペレータが把握するために，建設機械のキャブ内に搭載されたモニタが利用されることがある。

作業領域の境界を表示する技術ではないものの，上部旋回体からの距離を示す線（ガイドライン）をモニタに表示するものがある。例えば特許文献１には，上部旋回体に取り付けた複数のカメラ（撮像手段）の画像を合成して俯瞰画像（各カメラの画像をショベルの接地面に投影して合成した画像）を生成し，その俯瞰画像上において上部旋回体から所定の距離にガイドラインを表示するモニタ（表示手段）を備えたショベルが開示されている。つまり，特許文献１のガイドラインは上部旋回体を基準に設定されている。

特開２０１６－６５４４９号公報

特許文献１を参考にして，上部旋回体を基準にして俯瞰画像上にガイドラインに代えて作業領域の境界線を設定した場合には，上部旋回体を旋回させたときにその旋回動作に伴って境界線もモニタ上で回転してしまう。つまり，モニタ画面上の境界と実際の境界が異なってしまい，モニタ画面上の境界が意味をなさない
本発明は上記事情に鑑みてなされたものであり，その目的は俯瞰画像上に作業領域の境界線を設定した場合に旋回動作を行っても作業領域の境界を正しい位置に表示できる建設機械を提供することにある。

本願は上記課題を解決する手段を複数含んでいるが，その一例を挙げるならば，走行体と，前記走行体の上部に旋回可能に取り付けられた旋回体と，前記旋回体に取り付けられた作業装置と，作業領域を前記旋回体を基準にして設定する作業領域設定装置と，前記走行体，前記旋回体及び前記作業装置のうち少なくともいずれか１つが前記作業領域から逸脱することを防止するコントローラとを備えた建設機械において，モニタと，前記旋回体に取り付けられ前記旋回体の周囲の画像を撮影する複数のカメラと，前記旋回体と前記走行体の相対角度を検出する角度センサとを備え，前記コントローラは，前記複数のカメラの撮影画像に基づいて前記旋回体を真上から見た合成画像を生成し，前記作業領域設定装置により設定された前記作業領域の境界線を前記合成画像と重ねて前記モニタに表示させると共に，前記作業領域設定装置による前記作業領域の設定後は，前記モニタに表示されている前記合成画像上の前記境界線の位置を，前記角度センサにより検出された前記相対角度に基づいて補正する。

本発明によれば，旋回体を旋回させても作業領域の境界線が旋回体と走行体の相対角度に基づいてモニタ画像上における境界線の位置が補正されるので，オペレータは建設機械と境界線の位置関係を正確に把握できる。

本発明の実施形態に係る油圧ショベル１の側面図である。 図１の油圧ショベル１の上面図である。 図１の油圧ショベル１に搭載された油圧制御システムのシステム構成図である。 メインコントローラ３４の構成図である。 モニタ１１０の表示画面の一例を示す図である。 ３つのカメラ７１，７２，７３の撮像画像が重複する重複領域１１の説明図である。 旋回体３と走行体４の相対角度φが０の位置と相対角度φの正負を説明した図である。 旋回体３と走行体４の相対角度φが初期角度φ０から変更された場合におけるモニタ画像の一例を示す図である。 モニタ１１０に表示される画面の一例を示す図である。 モニタ１１０に表示される画面の他の一例を示す図である。 メインコントローラ３４が実行する処理（主にモニタ１１０の画面制御）のフローチャートである。

以下，本発明の実施の形態について図面を用いて説明する。

＜対象装置＞
図１は，本発明の実施形態に係る油圧ショベル（建設機械）１の側面図であり，図２はその上面図である。油圧ショベル１は，走行体４と，その上部に取り付けられた旋回体３と，複数のフロント部材２０，２１，２２を連結して構成され旋回体３に回動可能に取り付けられた多関節型のフロント作業装置２とを備えている。

旋回体３は，走行体４に対して左右方向に旋回可能に取り付けられており，旋回油圧モータ（図示せず）によって旋回駆動される。

旋回体３には，図２の上面図に示すように，油圧ショベル１の周囲の画像（映像）を撮影するカメラとして，左側方カメラ７１，右側方カメラ７２，後方カメラ７３が設置されている。左側方カメラ７１は，旋回体３の左側方領域Ｓ１（図６参照）の画像を撮影するためのもので，旋回体３の左側方に設置されている。右側方カメラ７２は，旋回体３の右側方領域Ｓ２（図６参照）の画像を撮影するためのもので，旋回体３の右側方に設置されている。後方カメラ７３は，旋回体３の後方領域Ｓ３（図６参照）の画像を撮影するためのもので，旋回体３の後方に設置されている。各カメラ７１，７２，７３は油圧ショベル１の接地面における旋回体３の近傍を撮影するために所定の俯角θ（図１参照）を付けて設置されている。なお，本実施形態では存在しないが，旋回体３の前方領域の画像を撮影するカメラとして，旋回体３の前方の例えばブーム２０の真下に前方カメラを設置しても良い。詳細は後述するが，メインコントローラ３４は，３台のカメラ７１，７２，７３が撮影した画像（撮影画像）に基づいて旋回体３を真上から見た１つの合成画像を生成し，当該合成画像上に作業領域の境界線（後述）を生成する。なお，メインコントローラ３４は，３台のカメラ７１，７２，７３が撮影した画像に基づいて油圧ショベル１の周囲に存在する障害物（移動体）を検出する障害物検出処理を実行可能に構成しても良い。

フロント作業装置２は，基端側が旋回体３に回動可能に連結されたブーム２０と，基端側がブーム２０の先端側に回動可能に連結されたアーム２１と，基端側がアーム２１の先端側に回動可能に連結されたバケット２２と，先端側がブーム２０に連結され，基端側が旋回体３に連結されたブームシリンダ２０Ａと，先端側がアーム２１に連結され，基端側がブーム２０に連結されたアームシリンダ２１Ａと，先端側がバケット２２に回動可能に連結された第１リンク部材２２Ｂと，先端側が第１リンク部材２２Ｂの基端側に回動可動に連結された第２リンク部材２２Ｃと，２つのリンク部材２２Ｂ，２２Ｃの連結部とアーム２１との間に掛け渡されたバケットシリンダ２２Ａを備えている。これらの油圧シリンダ２０Ａ，２１Ａ，２２Ａはそれぞれ連結部分を中心に，上下方向に回動可能に構成されている。

ブームシリンダ２０Ａ，アームシリンダ２１Ａ，バケットシリンダ２２Ａは，油圧ポンプ３６ｂ（図３参照）から吐出される作動油を給排することによりそれぞれ伸縮可能な構造となっており，伸縮することによりそれぞれブーム２０，アーム２１，バケット２２を回動（動作）させることができる。バケット２２は，グラップル，ブレーカ，リッパ，マグネット等の図示しないアタッチメントに任意に交換可能である。

ブーム２０にはブーム２０の姿勢を検出するための慣性計測ユニットセンサ（以下，ＩＭＵセンサと称する）（ブーム）２０Ｓが取り付けられており，アーム２１にはアーム２１の姿勢を検出するためのＩＭＵセンサ（アーム）２１Ｓが取り付けられている。第２リンク部材２２Ｃには，バケット２２の姿勢を検出するためのＩＭＵセンサ（バケット）２２Ｓが取り付けられている。ＩＭＵセンサ（ブーム）２０Ｓ，ＩＭＵセンサ（アーム）２１Ｓ，ＩＭＵセンサ（バケット）２２Ｓは，それぞれ角速度センサと加速度センサから構成されており，各フロント部材２０，２１，２２の傾斜角度，角速度及び加速度の検出が可能である。本稿では，３つのフロント部材２０，２１，２２の姿勢をそれぞれ検出するこれら３つのＩＭＵセンサ２０Ｓ，２１Ｓ，２２Ｓを第３姿勢センサと称することがある。

旋回体３はメインフレーム３１を有する。メインフレーム３１上には，旋回体３の傾斜角度を検出するためのＩＭＵセンサ（旋回体）３０Ｓと，オペレータが搭乗する運転室３２と，油圧ショベル１内の複数の油圧アクチュエータの駆動制御を司るメインコントローラ（駆動制御用コントローラ）３４と，エンジン３６ａ及びエンジン３６ａによって駆動される油圧ポンプ３６ｂを有する原動装置３６と，メインコントローラ３４からの信号に応じて油圧ポンプ３６ｂから油圧アクチュエータ（例えば，油圧シリンダ２０Ａ，２１Ａ，２２Ａ）に供給される作動油（油圧）の流量及び流通方向を制御する複数の方向切替弁３５ｂを有する油圧制御装置３５と，作業中の油圧ショベル１のバランスをとるための重りであり旋回体３における後側に位置するカウンタウェイト３７と，旋回体３を左右方向のいずれかに旋回駆動する旋回用モータ３８とが搭載されている。

ＩＭＵセンサ（旋回体）３０Ｓは，加速度センサと角速度センサから構成されており，旋回体３の水平面に対する傾き（傾斜角）や，角速度及び加速度を検出することができる。本稿では，旋回体３の姿勢を検出するＩＭＵセンサ３０Ｓを第１姿勢センサと称することがある。

運転室３２には，オペレータが操作を入力するための操作入力装置３３と，走行体４，旋回体３及びフロント作業装置２のうち少なくとも１つの逸脱が防止される作業領域の境界線の位置（言い換えると，走行体４，旋回体３及びフロント作業装置２のうち少なくとも１つの侵入が禁止される稼働制限領域の境界線の位置）をメインコントローラ３４に記憶させるための装置である作業領域設定装置１００と，作業領域の境界線の位置を含め，油圧ショベル１に関する各種情報が表示されるモニタ（表示装置）１１０とが備えられている。作業領域の境界線は，例えば旋回体３を基準に設定された２次元座標系（車体座標系）上に設定できる。すなわち，例えば旋回体３の前後方向，左右方向を座標軸とする座標系に設定できる。なお，図１に示した例では，作業領域設定装置１００とモニタ１１０を兼用する装置としてタッチパネルを有するタブレット端末（タブレットコンピュータ）を利用しており，その関係で１つのシンボルに２つの符号１００，１１０が付されている。なお，作業領域設定装置１００としては，タブレット端末に代えて，入力デバイスを含むコントローラ（メモリとプロセッサを備えるコンピュータ）を利用しても良い。

操作入力装置３３は，オペレータの操作に応じてフロント作業装置２（ブーム２０，アーム２１，バケット２２）の回動動作と旋回体３の旋回動作を指示するための２本の操作レバー３３ａ（図示は１本にまとめている）と，オペレータの操作に応じて走行体４に係る左右の履帯４５の走行動作を指示するための２本の走行操作レバー３３ｃ（図示は１本にまとめている）と，各操作レバー３３ａ，３３ｃが倒された量（操作量）を検出する複数の操作センサ３３ｂ（図示は１つにまとめている）により構成されている。複数の操作センサ３３ｂは，オペレータが４本の操作レバー３３ａ，３３ｃのそれぞれを倒す量を検出することで，オペレータが各フロント部材２０，２１，２２，旋回体３及び走行体４に要求する動作速度を電気信号（操作信号）に変換してメインコントローラ３４に出力する。なお，操作入力装置３３（操作レバー３３ａ,３３ｃ）は，操作量に応じた圧力に調整された作動油を操作信号として出力する油圧パイロット方式によるものでもよい。その場合には，操作センサ３３ｂとして圧力センサを利用して，当該圧力センサで検出した信号をメインコントローラ３４に出力して操作量を検出する。

油圧制御装置３５は，メインコントローラ３４から出力される動作指令値（指令電流）に応じた圧力の作動油（パイロット圧）を発生させる複数の電磁制御弁３５ａと，対応する電磁制御弁３５ａから出力される作動油（パイロット圧）によって駆動され，油圧ショベル１に搭載された複数の油圧アクチュエータに供給される作動油の流量と流通方向をそれぞれ制御する複数の方向切替弁３５ｂとから構成される。コントローラ３４から出力される動作指令値は，操作レバー３３ａ，３３ｃに入力されるオペレータ操作を基に生成されるが，後述する領域制限制御が機能している場合には，その条件に従ってオペレータ操作の無い油圧アクチュエータに関する動作指令値（停止指令値も含む）も生成され得る。メインコントローラ３４から電磁制御弁３５ａに対して動作指令値を出力すると，それに対応する方向切替弁３５ｂが動作して，当該方向切替弁３５ｂに対応する油圧アクチュエータ（例えば，油圧シリンダ２０Ａ，２１Ａ，２２Ａ）が動作する。油圧アクチュエータには，上記に含まれないアタッチメントや機器を駆動するものも含めてもよい。

原動装置３６は，エンジン（原動機）３６ａと，エンジン３６ａによって駆動される少なくとも１台の油圧ポンプ３６ｂとから構成され，油圧シリンダ２０Ａ，２１Ａ，２２Ａと，２つの走行用モータ４１と，旋回用モータ３８とを駆動するために必要な圧油（作動油）を供給する。原動装置３６はこの構成に限らず，電動ポンプなどの他の動力源を用いても良い。

旋回角度センサ４０Ｓは，旋回体３と走行体４の相対角度φを検出するセンサ（第２姿勢センサ）であり，当該相対角度φを検出できるように油圧ショベル１に搭載されている。旋回角度センサ４０Ｓとしては望ましくはポテンショメータが利用可能である。

走行体４は，トラックフレーム４０と，トラックフレーム４０に取り付けられた左右の履帯４５Ｌ，４５Ｒ（（図２参照）以下，履帯４５と総称することがある）と，トラックフレーム４０を周回するように左右の履帯４５のそれぞれを駆動する左右の走行用モータ４１とを備えている。オペレータは２本の走行操作レバー３３ｃを適宜操作することにより，左右の走行油圧モータ（油圧アクチュエータ）４１の回転速度を調整することで油圧ショベル１を走行させることができる。走行体４は，履帯４５を備えたものに限定されることなく，走行輪や脚（アウトリガー）を備えたものであってもよい。

＜システム構成＞
図３は本実施形態の油圧ショベル１に搭載された油圧制御システムのシステム構成図である。なお，上記で既に説明した部分については適宜説明を省略することがある。

この図に示すように，メインコントローラ３４は，作業領域設定装置１００と，モニタ１１０と，複数の操作センサ３３ｂと，ＩＭＵセンサ３０Ｓ（第１姿勢センサ）と，複数のＩＭＵセンサ２０Ｓ，２１Ｓ，２２Ｓ（第３姿勢センサ）と，旋回角度センサ４０Ｓ（第２姿勢センサ）と，３つのカメラ７１，７２，７３と，複数の電磁制御弁３５ａと電気的に接続されており，これらと通信可能に構成されている。

作業領域設定装置１００は，オペレータが設定した作業領域５９（稼働制限領域６１）の境界線６０（図５参照）の位置データをメインコントローラ３４に出力する。作業領域５９の境界線６０は，例えば旋回体３に設定した車体座標系に設定可能である。作業領域５９の境界線６０の位置データは，作業領域設定装置１００を介してオペレータが直接入力しても良いし，地理座標系や現場座標系等の上に予め作成しておいた設計データを作業領域設定装置１００を介して適宜座標変換を加えて入力しても良い。図５に示すように，作業領域５９は，油圧ショベル１に対して任意の位置に設定することができる。また，作業領域５９の形状としては任意の形状を選択でき，例えば多角形や曲線であっても良い。作業領域設定装置１００によって作業領域５９の境界線６０を旋回体３を基準にして設定しても良い。

なお，作業領域設定装置１００は，予め設定した作業領域５９の境界線６０の位置データの記憶機能を具備していれば良く，例えば半導体メモリ等の記憶装置にも代替可能である。そのため作業領域５９の境界線６０の位置データを例えばメインコントローラ３４内の記憶装置や油圧ショベルに搭載された記憶装置に記憶した場合には省略可能である。

モニタ１１０は，３つのカメラ７１，７２，７３の撮影画像に基づいて生成された旋回体３を真上から見た合成画像７０１上に，作業領域５９の境界線６０の位置や，旋回体３や走行体４の姿勢（フロント作業装置２やバケット２２の姿勢も含んでも良い）などの情報を表示可能な表示装置である。図５はモニタ１１０の表示画面の一例を示す図である。合成画像（俯瞰映像）７０１とは，例えば油圧ショベル１の旋回中心に基準点を設定し，作業現場を当該基準点の真上（すなわち油圧ショベル１の真上）の位置から見たときに得られる平面図に相当する映像のことを示し，本実施の形態では３つのカメラ７１，７２，７３の映像を変換及び合成することで作成される。図５の合成画像７０１の中心には旋回体３及び走行体４の上面図を模式的に示した画像である旋回体アイコン７０３及び走行体アイコン７０４が配置されている。旋回体アイコン７０３と走行体アイコン７０４の姿勢は実際の旋回体３と走行体４の姿勢に一致する。なお，本実施形態では，モニタ画面上の旋回体アイコン７０３の位置は固定されているため，旋回角度センサ４０Ｓによって検出される実際の旋回体３と走行体４の相対角度φに応じて走行体アイコン７０４が旋回体３の旋回中心を中心にして回転するように表示される（図７参照）。

モニタ１１０には，旋回体３の幅方向（左右方向）と直交し旋回体３の旋回中心を通過する直線５８上において，所定の位置から境界線６０までの距離を演算し，当該距離を距離表示部６５に表示しても良い。当該所定の位置としては，例えば，１）旋回中心，２）当該直線５８上において最も境界線６０に近い旋回体３上の点，３）当該直線５８上において最も境界線６０に近い走行体４上の点（例えば前端）等がある。図５の距離表示部６５に表示された「１．８ｍ」は直線５８における走行体４の前端から境界線６０までの距離Ｌ１である。なお，図中のＬ２は旋回体３の前端から境界線６０までの距離を示している。これらの距離は，旋回体３や走行体４の寸法データや相対角度φと，境界線６０の位置データなどからメインコントローラ３４により演算できる。

また，作業領域５９の外側は，走行体４，旋回体３及びフロント作業装置２のうち少なくとも１つの侵入が禁止される稼働制限領域６１である。境界線６０は作業領域５９と稼働制限領域６１の境界となる。

メインコントローラ３４は，油圧ショベル１に関する各種制御を司るコントローラである。本実施形態のメインコントローラ３４が実行可能な特徴的な制御は２つある。

第１に，メインコントローラ３４は，作業領域５９（図５参照）の境界線６０を超えて走行体４，旋回体３，フロント作業装置２の少なくともいずれか１つが作業領域５９を逸脱しないように（稼働制限領域６１に侵入しないように）該当する油圧アクチュエータ２０Ａ，２１Ａ，２２Ａ，３８，４１の目標速度ベクトル（例えば，当該目標速度ベクトルは，走行体４，旋回体３又はフロント作業装置２と当該境界線６０との距離が小さくなるほど小さくなるように演算され，当該距離が所定の値（例えばゼロ）に達した場合には当該目標速度ベクトルとしてゼロが演算される）を演算し，その演算した目標速度ベクトルに従って走行体４，旋回体３又はフロント作業装置２が動作するように該当する油圧アクチュエータ２０Ａ，２１Ａ，２２Ａ，３８，４１を制御するため動作指令値を演算及び出力することで領域制限制御を実行できる。すなわちこの領域制限制御によれば，例えばフロント作業装置２が稼働制限領域６１の近傍に位置する状態でオペレータがアームクラウド操作を入力しても，フロント作業装置２が稼働制限領域６１の外側（すなわち作業領域５９内）に継続して位置するようにフロント作業装置２が半自動的に制御されるため（例えば，稼働制限領域６１に近づくとフロント作業装置２が半自動的に停止する），オペレータの技量に依らずフロント作業装置２の稼働制限領域６１内への侵入（すなわち作業領域５９からの逸脱）を確実に防止できる。

第２に，メインコントローラ３４は，旋回角度センサ４０Ｓの出力に基づいて走行体４と旋回体３の相対角度φを演算し，その相対角度φに基づいてモニタ１１０の画面上の境界線６０の表示位置を補正する処理を実行できる。これにより旋回体３を基準に境界線６０の位置を定義した場合に旋回体３を旋回させた際にも，境界線６０の位置をモニタ画面上に正確に表示できる
＜操作入力装置＞
一般に油圧ショベルでは操作レバー３３ａ，３３ｃが倒された量（傾倒量）が大きいほど，各油圧アクチュエータ２０Ａ，２１Ａ，２２Ａ，３８，４１の動作速度が速くなるように設定されており，オペレータは操作レバー３３ａ，３３ｃを倒す量を変更することにより，各油圧アクチュエータ２０Ａ，２１Ａ，２２Ａ，３８，４１の動作速度を変更して油圧ショベル１を動作させる。

操作センサ３３ｂには，ブーム２０，アーム２１，バケット２２（ブームシリンダ２０Ａ，アームシリンダ２１Ａ，バケットシリンダ２２Ａ）及び旋回体３（旋回用モータ３８）に対する操作レバー３３ａの操作量（傾倒量）を電気的に検出するセンサが含まれており，操作センサ３３ｂの検出信号に基づいて，オペレータが要求するブームシリンダ２０Ａ，アームシリンダ２１Ａ，バケットシリンダ２２Ａ，旋回体３の動作速度をそれぞれ検出することができる。また，操作センサ３３ｂには，走行用モータ４１に対する操作レバー３３ｃの操作量（傾倒量）を電気的に検出するセンサが含まれており，操作センサ３３ｂの検出信号に基づいて，オペレータが要求する走行体４の動作速度を検出することができる。操作センサとしては，操作レバー３３ａ，３３ｃが倒された量を直接検出するものに限らず，操作レバー３３ａ，３３ｃの操作によって出力される作動油の圧力（操作パイロット圧）を検出する方式であってもよい。

＜姿勢センサ＞
メインコントローラ３４に接続されている姿勢センサとしては，旋回体３の姿勢を検出するためのＩＭＵセンサ３０Ｓ（第１姿勢センサ）と，フロント作業装置２の姿勢を検出するための３つのＩＭＵセンサ２０Ｓ，２１Ｓ，２２Ｓ（第３姿勢センサ）と，旋回体３と走行体４の相対角度φを検出するための旋回角度センサ４０Ｓ（第２姿勢センサ）とがある。このうちＩＭＵセンサ（旋回体）３０Ｓ，ＩＭＵセンサ（ブーム）２０Ｓ，ＩＭＵセンサ（アーム）２１Ｓ，ＩＭＵセンサ（バケット）２２Ｓは，それぞれ角速度センサと加速度センサと傾斜角センサとして機能し得る。これらのＩＭＵセンサによりそれぞれの設置位置における角速度と加速度データと傾斜角データを得ることができる。ブーム２０，アーム２１，バケット２２，ブームシリンダ２０Ａ，アームシリンダ２１Ａ，バケットシリンダ２２Ａ，第１リンク部材２２Ｂ，第２リンク部材２２Ｃ，および旋回体３は，それぞれ回動（旋回）できるように取り付けられているので，各部の寸法と機械的なリンク関係とから，ブーム２０，アーム２１，バケット２２，および旋回体３の車体座標系における姿勢や位置を算出することができる。なお，ここで示した姿勢及び位置の検出方法は一例であり，フロント作業装置２の各部の相対角度を直接計測するものや，ブームシリンダ２０Ａ，アームシリンダ２１Ａ，バケットシリンダ２２Ａのストロークを検出して油圧ショベル１の各部の姿勢及び位置を算出してもよい。

＜メインコントローラ＞
図４はメインコントローラ３４の構成図である。メインコントローラ３４は，例えば図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と，ＣＰＵによる処理を実行するための各種プログラムを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などの記憶装置と，ＣＰＵがプログラムを実行する際の作業領域となるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とを含むハードウェアを用いて構成されている。このように記憶装置に格納されたプログラムを実行することで，姿勢演算部７１０，作業領域演算部７２０，表示補正部７３０，合成画像生成部９１０，画像合成処理部９３０，動作指令部３１０として機能する。次に各部が行う処理の詳細について説明する。

＜姿勢演算部７１０＞
姿勢演算部７１０は，旋回角度センサ４０Ｓ（第２姿勢センサ）から出力される検出信号に基づいて旋回体３と走行体４の相対角度φを演算する。演算された相対角度φは表示補正部７３０に出力される。

また，姿勢演算部７１０は，ＩＭＵセンサ（ブーム）２０Ｓ，ＩＭＵセンサ（アーム）２１Ｓ，ＩＭＵセンサ（バケット）２２Ｓ，ＩＭＵセンサ（旋回体）３０Ｓから得られる加速度信号と角速度信号を検出し，ブーム２０，アーム２１，バケット２２，および旋回体３の姿勢（傾斜角度）をそれぞれ演算する。この姿勢の演算結果に各フロント部材２０,２１,２２の寸法を加味すればフロント作業装置２の位置も演算できる。３つのＩＭＵセンサ２０Ｓ，２１Ｓ，２２Ｓ（第３姿勢センサ）から演算できるブーム２０，アーム２１及びバケット２２の姿勢からは車体座標系におけるフロント作業装置２の位置を演算できる。

＜作業領域演算部７２０＞
作業領域演算部７２０は，作業領域設定装置１００から入力される作業領域５９の位置データに基づいて作業領域５９の境界線６０の位置を演算する。ここで演算される境界線６０の位置は，作業領域設定装置１００を介して作業領域５９が設定されたときの旋回体３の位置を基準とした境界線６０の位置であり，以下では作業領域５９が設定されたときの旋回体３に係る位置を「初期位置」と称することがある。例えば，図５のように走行体４の前方向と旋回体３の前方向が一致した姿勢（相対角度φ＝０の姿勢）で作業領域５９が設定された場合には，そのときの旋回体３の姿勢を基準にして作業領域５９が設定される。初期位置における旋回体３と走行体４の相対角度φを初期角度φ０と定義すると，作業領域演算部７２０は初期角度φ０を表示補正部７３０に出力する。

＜合成画像生成部９１０＞
合成画像生成部９１０は，３つのカメラ７１，７２，７３から出力される３つの撮像画像から１枚の合成画像（俯瞰画像）７０１を生成する部分である。図６に示すように，３つのカメラ７１，７２，７３は，それぞれ，隣り合う２つのカメラによる撮像画像が重複する重複領域１１が形成されるように配置されている。

合成画像生成部９１０は，各カメラ７１，７２，７３の撮像画像を，各カメラ７１，７２，７３の設置位置と画角等の関係から油圧ショベル１の接地面に投影して合成画像７０１を生成する。そのため，各カメラ７１，７２，７３は図１に示すように水平方向に対して所定の俯角θだけ傾けて設置される。これにより油圧ショベル１の接地面が撮像画像内に含まれることになる。２つの撮像画像が重なる重複領域１１は，それぞれ合成画像７０１の生成時に欠落部分がないように既知の手法を用いて画像境界処理を行う。合成画像７０１の中央部には旋回体３を真上から見下ろした旋回体アイコン７０３が配置される。これにより油圧ショベル１及びその周囲の状況を画像を切り替えることなく１画面でモニタ１１０に表示できる。

＜表示補正部７３０＞
表示補正部７３０は，作業領域演算部７２０から出力された初期角度φ０と，姿勢演算部７１０から出力された相対角度φとに基づいて，旋回体３と走行体４の相対角度φが初期角度φ０から変更されているか否か（すなわち「相対角度φ－初期角度φ０＝Δφ≠０」が成立して差分が生じているか否か）を判定する。旋回体３と走行体４の相対角度φが初期角度φ０から変更されている場合（旋回体３が初期位置から旋回した場合）には，表示補正部７３０は，モニタ画面上における作業領域５９の境界線６０と走行体アイコン７０４の位置（回転角度）の補正を行う。具体的には，表示補正部７３０は，旋回体３の旋回中心回りに境界線６０と走行体アイコン７０４を当該差分が生じた方向と逆方向に回転させる（つまり，－Δφだけ回転させる）。一方，相対角度φが初期角度φ０から変更されていない場合（Δφ＝０の場合）には，これらの補正を行わない（すなわち境界線６０と走行体４の位置は初期位置のまま保持される）。このように初期角度φ０からの相対角度φの変化の有無は，境界線６０と走行体４の位置の補正の有無に一致する。

なお，旋回体３の旋回中心を点Ｃｓとすると，相対角度φが０の位置と相対角度φの正負は図７のように決めることができる。すなわち，図７のように走行体４の前進方向とフロント作業装置２が伸びる方向が一致した状態の旋回体３と走行体４の相対角度φを０度とする。旋回体３が右方向に旋回した場合の相対角度φの符号を正とし，左方向に旋回した場合の符号を負とする。なお，括弧内の数値は相対角度φが負の場合の角度を示す。

＜画像合成処理部９３０＞
画像合成処理部９３０は，合成画像生成部９１０で生成された旋回体アイコン７０３を含む合成画像７０１の上に，表示補正部７３０で補正された境界線６０と走行体アイコン７０４を表示して画像の合成処理を行う。ただし，操作センサ３３ｂを介して走行体４の走行が検出された場合には，これらに図１０のメッセージ７５（後述）が追加されることがある。ここで合成処理が行われた画像はモニタ１１０の画面上に表示される。なお，合成画像７０１（モニタ１１０の画面）上における境界線６０の位置の補正は，モニタ１１０への境界線６０の表示後に行っても良いし，モニタ１１０への境界線６０の表示前や表示と同時に行っても良い。また，合成画像７０１上における境界線６０の位置の補正の実行は，作業領域設定装置１００による作業領域５９の設定後に行っても良い。

図８は旋回体３と走行体４の相対角度φが初期角度φ０から変更された場合におけるモニタ画像の一例を示す図である。旋回体３が旋回した場合には，この図に示すようにその旋回角度に応じて境界線６０と走行体アイコン７０４の位置が補正される。これにより旋回体３に旋回操作を加えた場合にも，モニタ画面上の正しい位置に境界線６０と走行体アイコン７０４を表示できる。

＜動作指令部３１０＞
動作指令部３１０は，フロント作業装置２，旋回体３又は走行体４と境界線６０との最短距離ｄと，操作センサ３３ｂの出力とに基づいて，該当する油圧アクチュエータ２０Ａ，２１Ａ，２２Ａ，３８，４１に係る電磁制御弁３５ａの駆動に必要な動作指令値を演算する。最短距離ｄは，表示補正部７３０から出力される境界線６０の位置（初期位置または補正位置）に基づいて演算される。すなわち，相対角度φが初期角度φ０から変化した場合には境界線６０の補正位置に基づいて演算され，相対角度φが初期角度φ０で保持されている場合には境界線６０の初期位置に基づいて演算される。

動作指令部３１０は，油圧ショベル１が稼働している間（または領域制限制御が有効とされている間），フロント作業装置２，旋回体３又は走行体４と境界線６０との最短距離ｄが所定値（閾値）よりも小さいか否かを判定する。当該最短距離ｄが当該所定値よりも小さくなった場合には，動作指令部３１０は，操作センサ３３ｂから出力に関わらず，フロント作業装置２，旋回体３又は走行体４が停止するために，該当する油圧アクチュエータ２０Ａ，２１Ａ，２２Ａ，３８，４１の目標動作速度をゼロに設定する。そして，動作指令部３１０は，当該目標動作速度に従って各電磁制御弁３５ａの駆動に必要な動作指令値を生成し，生成した動作指令値を対応する電磁制御弁３５ａに出力することで，対応する方向切替弁（コントロールバルブ）３５ｂを駆動する。これによりフロント作業装置２，旋回体３又は走行体４が境界線６０に接近した場合には当該装置２，３，４の動作が停止され，当該装置２，３，４が作業領域５９から逸脱することが防止される。

なお，各装置２，３，４と境界線６０の距離ｄが所定値以上の場合には，操作センサ３３ｂの出力に従って，該当する油圧アクチュエータ２０Ａ，２１Ａ，２２Ａ，３８，４１の目標速度が演算され，オペレータの操作に即して各装置２，３，４が動作する。

＜モニタ１１０＞
モニタ１１０は，図５や図８に示したように作業領域５９の境界線６０と油圧ショベル（建設機械）１の位置関係を画面に表示する。

図９はモニタ１１０に表示される画面の一例を示す図である。この例では，３つのカメラ７１，７２，７３によって撮影された旋回体３の左側，右側，及び後側の撮影画像に基づいて合成画像７０１を生成し，その合成画像７０１において撮影画像が存在しない旋回体３の前側の領域７０５に表示される境界線６２を強調表示している。強調表示の方法としては，線種の変更，線の色変更，線の太さ変更などがある。図９の例では領域７０５の境界線６２の線種を二重線に変更している。

図１０はモニタ１１０に表示される画面の他の一例を示す図である。例えば操作センサ３３ｂによって走行操作レバー３３ｃに対するオペレータ操作が検出され走行体４が動作することが検出された場合には，メインコントローラ３４はオペレータに作業領域設定装置１００を介した作業領域５９の再設定を促すメッセージ７５をモニタ１１０に表示する。

＜メインコントローラの制御手順＞
図１１は，図４でメインコントローラ３４内に示した各部のうち主にモニタ１１０の画面制御の流れの一例を説明したメインコントローラ３４が実行する処理のフローチャートである。以下では，図４に示したメインコントローラ３４内の各部を主語として各処理（ステップＳ１００－Ｓ２００）を説明する場合があるが，各処理を実行するハードウェアはメインコントローラ３４である。また，各部の処理の詳細な説明は上記の各部の説明箇所に記載されていることがある。

メインコントローラ３４は，油圧ショベル１の運転室３２に搭乗したオペレータがキーオン操作を行うと図１１に示した処理を開始する。まずＳ１００において，作業領域演算部７２０は，オペレータによる作業領域設定装置１００の操作に基づいて，旋回体３を基準にして作業領域５９の境界線６０を設定する。旋回体３を基準とした境界線６０の設定方法としては，例えば，旋回体３に設定された座標系（車体座標系）上に境界線６０を設定するものがある。

Ｓ１１０では，作業領域演算部７２０は，Ｓ１００で境界線６０が設定されたときの旋回体３と走行体４の相対角度φを旋回角度センサ４０Ｓを利用して検出し，その相対角度を初期相対角度φ０としてメインコントローラ３４内の記憶装置に記憶する。

Ｓ１２０では，画像合成処理部９３０は，操作センサ３３ｂのうち走行操作レバー３３ｃの操作を検出する操作センサの出力に基づいて走行体４の走行の有無を判定する。走行操作レバー３３ｃの操作が検出された場合（すなわち走行体４の走行が検出された場合）にはＳ１９０に進み，走行操作レバー３３ｃの操作が検出されなかった場合にはＳ１３０に進む。

Ｓ１９０では，画像合成処理部９３０は，モニタ１１０にメッセージ７５（図１０参照）を表示し，オペレータに作業領域５９（境界線６０）の再設定を促して処理を終了する。

Ｓ１３０では，姿勢演算部７１０は，旋回体３と走行体４の相対角度φを検出して表示補正部７３０に出力する。

Ｓ１４０では，表示補正部７３０は，Ｓ１１０の初期相対角度φ０を記憶装置から読み出し，これをＳ１３０で検出された相対角度φから減じることでΔφを演算する。

Ｓ１５０では，表示補正部７３０はΔφがゼロかどうかを判定し，Δφ≠０の場合にはＳ１６０に進み，Δφ＝０の場合には境界線６０と走行体アイコン７０４の位置の補正は行わずにＳ２００に進む。

Ｓ１６０では，表示補正部７３０は，境界線６０と走行体アイコン７０４を旋回中心Ｃｓを基準に－Δφだけ回転して補正する。

Ｓ１７０では，画像合成処理部９３０は，合成画像生成部９１０で生成された合成画像７０１と旋回体アイコン７０３の上に，Ｓ１６０で補正した境界線６０と走行体アイコン７０４を表示してモニタ１１０の画面に表示される画像を生成し，Ｓ１８０に進む。

Ｓ２００では，画像合成処理部９３０は，合成画像生成部９１０で生成された合成画像７０１と旋回体アイコン７０３の上に，補正前の境界線６０と走行体アイコン７０４を表示してモニタ１１０の画面に表示される画像を生成し，Ｓ１８０に進む。

Ｓ１８０では，メインコントローラ３４は，運転室３２に搭乗したオペレータからキーオフ操作が入力されたか否かを判定する。キーオフ操作の入力がない場合にはＳ１２０に戻り，キーオフ操作の入力があった場合には処理を終了する。

＜効果＞
（１）上記のように構成した油圧ショベル１には，旋回体３を走行体４の相対角度φを検出する旋回角度センサ４０Ｓと，旋回角度センサ４０Ｓによって検出される相対角度φに基づいてモニタ画面上の合成画像７０１上における作業領域５９の境界線６０の位置を補正するメインコントローラ３４とが備えられている。これにより旋回体３を旋回させても，旋回角度センサ４０Ｓによって検出される相対角度φに基づいて境界線６０のモニタ画面上の位置が補正されるので，オペレータは油圧ショベル１と境界線６０の位置関係をモニタ画面上で正確に把握できる。

なお，作業領域５９の境界線６０は油圧ショベル１の障害物（例えば建物の壁）の外形に沿って設定されることが多く，例えば走行体４の走行動作により油圧ショベル１が初期位置から移動した場合には境界線６０と当該障害物の外形とのズレがモニタ画面上で視認できる。当該ズレはオペレータがモニタ画面を見る度に違和感となるため，その違和感によりオペレータに作業領域５９の再設定を促すことができる。

（２）境界線６０の具体的な補正方法として，本実施形態のメインコントローラ３４は，旋回体３の旋回中心Ｃｓを中心にして境界線６０をΔφ分だけ逆回転させることでモニタ１１０における境界線６０の位置を補正している。これによりオペレータは旋回操作後も油圧ショベル１と境界線６０の位置関係をモニタ画面上で正確に把握できる。

（３）上記の油圧ショベル１は，走行体４の動作の有無を検出する動作センサとして走行操作レバー３３ｃの操作センサ３３ｂを備えており，メインコントローラ３４は，当該操作センサ３３ｂによって走行体４が動作することが検出された場合には，モニタ１１０に作業領域５９の再設定を促すメッセージ７５を表示する（図１０参照）。これにより走行後は作業領域５９の再設定勧告をオペレータに確実に通知でき，作業領域５９の再設定が速やかに行われることが期待できる。

なお，走行体４の動作センサとしては，操作センサ３３ｂの他に，走行用モータ４１の速度センサや，油圧ショベル１の位置を計測する衛星測位システム（例えばＧＮＳＳ）などを利用しても良い。また，オペレータに作業領域５９の再設定を促す手段はモニタ１１０に限らず，その他の報知装置を介した方法も可能である。例えば，スピーカー（音声出力装置）から音声を出力しても良いし，ランプ（警告灯）を点灯／点滅させても良い。

（４）上記の油圧ショベル１は，旋回体３の左側，右側，及び後側を撮影する３つのカメラ７１，７２，７３を備えており，メインコントローラ３４は，当該の３つのカメラ７１，７２，７３によって撮影された旋回体３の左側，右側，及び後側の撮影画像に基づいて合成画像７０１を生成し，合成画像７０１において撮影画像が存在しない旋回体３の前側の領域７０５に表示される境界線６２をモニタ上で強調表示することとした（図９参照）。旋回体３の前側の領域７０５は，カメラの撮影画像が存在しないため，作業領域５９の境界線までの距離の把握が合成画像７０１上の他の領域に比較して一般的に困難である。しかし，このように境界線６２を強調表示すれば，領域７０５における距離把握に必要なオペレータの注意を喚起できる。

（５）上記の油圧ショベル１において，メインコントローラ３４は，旋回体３の幅方向と直交し旋回体３の旋回中心を通過する直線５８上において，所定の位置（例えば，運転室３２の前窓）から作業領域５９の境界線６０までの距離を演算してモニタ１１０に表示させている（図５参照）。これによりオペレータが境界線６０までの距離を客観的に把握することができる。特に，カメラの撮影画像が存在しない旋回体３の前側の領域７０５における境界線６０までの距離を表示した場合には，合成画像７０１上の物体との対比に基づく距離把握が難しい領域７０５における境界線６０までの距離をオペレータに正確に伝達できる。

（６）上記の油圧ショベル１において，メインコントローラ３４は，旋回角度センサ４０Ｓによって検出される相対角度φに基づいてモニタ画面上の合成画像７０１上における走行体４の画像（走行体アイコン）７０４の位置を補正し，その補正した画像７０４をモニタ１１０に表示させている（図８－１０参照）。これによりオペレータがモニタ１１０を見た際に旋回体３と走行体４との相対的な位置関係を一目で把握できる。

＜その他＞
上記では旋回体３を基準にして作業領域５９の境界線６０を設定したが，走行体４を基準にして作業領域５９の境界線６０を設定しても良い。

なお，本発明は，上記の実施の形態に限定されるものではなく，その要旨を逸脱しない範囲内の様々な変形例が含まれる。例えば，本発明は，上記の実施の形態で説明した全ての構成を備えるものに限定されず，その構成の一部を削除したものも含まれる。また，ある実施の形態に係る構成の一部を，他の実施の形態に係る構成に追加又は置換することが可能である。

また，上記のメインコントローラ３４に係る各構成や当該各構成の機能及び実行処理等は，それらの一部又は全部をハードウェア（例えば各機能を実行するロジックを集積回路で設計する等）で実現しても良い。また，上記のメインコントローラ３４に係る構成は，演算処理装置（例えばＣＰＵ）によって読み出し・実行されることで当該メインコントローラ３４の構成に係る各機能が実現されるプログラム（ソフトウェア）としてもよい。当該プログラムに係る情報は，例えば，半導体メモリ（フラッシュメモリ，ＳＳＤ等），磁気記憶装置（ハードディスクドライブ等）及び記録媒体（磁気ディスク，光ディスク等）等に記憶することができる。

また，上記の各実施の形態の説明では，制御線や情報線は，当該実施の形態の説明に必要であると解されるものを示したが，必ずしも製品に係る全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えて良い。

１…油圧ショベル（建設機械），２…フロント作業装置，３…旋回体，４…走行体，２０…ブーム，２０Ａ…ブームシリンダ，２０Ｓ…ＩＭＵセンサ（ブーム），２１…アーム，２１Ａ…アームシリンダ，２１Ｓ…ＩＭＵセンサ（アーム），２２…バケット，２２Ａ…バケットシリンダ，２２Ｂ…第１リンク部材，２２Ｃ…第２リンク部材，２２Ｓ…ＩＭＵセンサ（バケット），３０Ｓ…ＩＭＵセンサ（旋回体），３２…運転室，３３ａ…操作レバー，３３ｂ…操作センサ，３３ｃ…走行操作レバー，３４…メインコントローラ，３５ａ…電磁制御弁，３５ｂ…方向切替弁（コントロールバルブ），３６ａ…エンジン（原動機），３６ｂ…油圧ポンプ，３７…カウンタウェイト，３８…旋回用モータ，４０Ｓ…旋回角度センサ，４１…走行用モータ，４５…履帯，５８…直線，５９…作業領域，６０…境界線，６１…稼働制限領域，６５…距離表示部，７１…左側方カメラ，７２…右側方カメラ，７３…後方カメラ，７５…メッセージ，１００…作業領域設定装置，１１０…モニタ，７０１…合成画像（俯瞰映像），７０３…旋回体アイコン，７０４…走行体アイコン，７０５…カメラ画像の無い領域，７１０…姿勢演算部，７２０…作業領域演算部，７３０…表示補正部，９１０…合成画像生成部，９３０…画像合成処理部

Claims (6)

1. 走行体と，
   前記走行体の上部に旋回可能に取り付けられた旋回体と，
   前記旋回体に取り付けられた作業装置と，
   作業領域を前記旋回体を基準にして設定する作業領域設定装置と，
   前記走行体，前記旋回体及び前記作業装置のうち少なくともいずれか１つが前記作業領域から逸脱することを防止するコントローラとを備えた建設機械において，
   モニタと，
   前記旋回体に取り付けられ前記旋回体の周囲の画像を撮影する複数のカメラと，
   前記旋回体と前記走行体の相対角度を検出する角度センサとを備え，
   前記コントローラは，前記複数のカメラの撮影画像に基づいて前記旋回体を真上から見た合成画像を生成し，前記作業領域設定装置により設定された前記作業領域の境界線を前記合成画像と重ねて前記モニタに表示させると共に，前記作業領域設定装置による前記作業領域の設定後は，前記モニタに表示されている前記合成画像上の前記境界線の位置を，前記角度センサにより検出された前記相対角度に基づいて補正する
   ことを特徴とする建設機械。
2. 請求項１の建設機械において，
   前記コントローラは，前記旋回体の旋回中心を中心にして前記境界線を前記相対角度の分だけ前記相対角度が生じた方向と反対側に回転させることで前記モニタにおける前記境界線の位置を補正する
   ことを特徴とする建設機械。
3. 請求項１の建設機械において，
   前記走行体の動作の有無を検出する動作センサを備え，
   前記コントローラは，前記動作センサによって前記走行体が動作することが検出された場合には，前記モニタに前記作業領域の再設定を促す旨を表示する
   ことを特徴とする建設機械。
4. 請求項１の建設機械において，
   前記複数のカメラは，それぞれ，前記旋回体の左側，右側，及び後側を撮影しており，
   前記コントローラは，前記複数のカメラによって撮影された前記旋回体の左側，右側，及び後側の撮影画像に基づいて前記合成画像を生成し，前記合成画像において前記撮影画像が存在しない前記旋回体の前側の領域に表示される前記境界線を前記モニタ上で強調表示する
   ことを特徴とする建設機械。
5. 請求項１の建設機械において，
   前記コントローラは，前記旋回体の幅方向と直交し前記旋回体の旋回中心を通過する直線上において，所定の位置から前記境界線までの距離を演算し，前記モニタに表示させる
   ことを特徴とする建設機械。
6. 請求項１の建設機械において，
   前記コントローラは，前記相対角度に基づいて前記合成画像上における前記走行体の画像の位置を補正した前記モニタに前記走行体の画像を表示させる
   ことを特徴とする建設機械。

Images