JP7705789B2 - 作業機械の物体検知システム - Google Patents

Description

本発明は、作業機械の物体検知システムに関する。

油圧ショベルなどの作業機械においては、その作業機械周辺に作業者や物体を検知した場合に車体動作を制限する検知システム技術が知られている。

例えば特許文献１には、「旋回機構を介して下部走行体に搭載される上部旋回体を備える建設機械の周囲に存在する物体を検知する物体検知システムは、上部旋回体に取り付けられる走査型距離計測装置の出力に基づいて物体を検出する物体検出部を有し、走査型距離計測装置が発する光は、下部走行体と上部旋回体との間の隙間を通る。（要約抜粋）」との記載がある。

特開２０１５－２２９８３６号公報

検知システムにおいては、赤外線センサ、レーザースキャナなど、比較的高額な検知装置が用いられる。油圧ショベルなどの大きな作業機械においては、これらの検知装置を複数台配置し、死角を極力少なくしている。そのため、死角を補うため多数の装置を取り付けると多額のコストがかかる。

また加えてこれら装置は稼働時に破損や汚損を防ぐために、車体上方に取り付けられることが多く、そのため作業機械近傍や車体直下においては死角が生まれやすい。そのため安価で効率的に死角を補えることが望まれる。

特に上下方向の検知範囲が上部旋回体と下部走行体の間を通る平面に制限されると、上部旋回体に対して相対的に旋回移動する下部走行体を検知対象から除外することはできるものの、上部旋回体の下面よりも低い位置に作業者やその他の障害物が有る場合には検知することができないという課題がある。

本発明は、上記実情に鑑みてなされたものであり、死角にある物体をより安価に検知できる作業機械の物体検知システムを提供することを目的とする。

上記課題を解決するため、本発明は、旋回機構を介して下部走行体に搭載される上部旋回体を備える作業機械の周囲に存在する物体を検知する作業機械の物体検知システムであって、前記上部旋回体の上部に備えられ、前記作業機械の周辺の地面を撮像領域として含み、当該撮像領域を撮像して撮像画像を生成する撮像装置と、前記撮像装置の撮像領域に含まれる前記地面に向かって光を発するライトと、前記撮像装置に接続され、前記撮像装置から取得した前記撮像画像に基づいて前記作業機械の周辺の物体を検知するコントローラと、を備え、前記コントローラは、前記ライトから前記撮像領域に含まれる地面までの光路上に存在する前記物体の影が前記撮像画像に撮像されているかを前記撮像画像の画像特徴量に基づいて判定し、その判定結果に基づいて前記物体を検知する、ことを特徴とする。

本発明によれば、死角にある物体をより安価に検知できる作業機械の物体検知システムを提供することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

油圧ショベルの構成を示す上面図。 油圧ショベルの左側面図。 油圧ショベルのハードウェア構成を示すブロック図。 コントローラの機能構成を示すブロック図。 第１実施形態に係る作業機械の物体検知システムにおける検知範囲の説明図。 第１実施形態に係る物体検知システムの処理の流れを示すフローチャート。 第２実施形態に係る作業機械の物体検知システムにおける検知範囲の説明図（左右方向に配置）。 第２実施形態に係る作業機械の物体検知システムにおける検知範囲の説明図（上下方向に配置）。 第３実施形態の処理内容を示す説明図。 第３実施形態に係る物体検知システムの処理の流れを示すフローチャート。

以下、本発明の実施形態を図面に基づいて詳細に説明する。なお、実施形態を説明するための全図において、同一の機能を有する部材には同一又は関連する符号を付し、その繰り返しの説明は省略する。

図１、図２を参照して油圧ショベル１０の外観について説明する。図１は、油圧ショベル１０の構成を示す上面図である。図２は、油圧ショベル１０の左側面図である。

図１は、物体検知システム１が搭載された油圧ショベル１０を示す。油圧ショベル１０は、左クローラ１１Ｌ、右クローラ１１Ｒ（下部走行体に相当する）と、及び下部走行体に旋回機構を介して旋回自在に支持される上部旋回体１２、上部旋回体１２に取り付けられるキャブ１３、及び上部旋回体１２に取り付けられたフロント作業機械を備える。

フロント作業機械は、上部旋回体１２に対して上下揺動自在に支持されるブーム１４、該ブーム１４に上下揺動自在に支持されるアーム１５（図２参照）、該アーム１５に揺動自在に支持されるバケット１６を含む。

また下部走行体を用いた前進動作、後退動作、上部旋回体１２の旋回動作、及びブーム１４、アーム１５、バケット１６の揺動動作を各々実施するために、油圧モータや油圧シリンダといったクチュエータ１０６（図３参照）を備えている。油圧モータは旋回動作等のために備えられ、油圧シリンダはブーム１４等の揺動動作のために備えられている。なお、ここでは油圧式を想定したがそれに拘るものでなく、例えば電動モータやリニアアクチュエータなど電動式でもよい。

上部旋回体１２の左後方の上側には、油圧ショベル１０の左後方の地面２２ＬＢ（図２参照）を画角に含む左後方カメラ２０ＬＢ（本発明の撮像装置に相当）が配置される。左後方カメラ２０ＬＢの撮像領域は符号２１ＬＢで示す。

上部旋回体１２において、左後方カメラ２０ＬＢが取り付けられた位置の下方には、撮像領域２１ＬＢに含まれる地面２２ＬＢに向かって光を発する左後方ライト２５ＬＢ（図２参照）が設けられる。左後方ライト２５ＬＢは、可視光から近赤外光までの波長の光を発光する。

上部旋回体１２の上部における中央後方には、油圧ショベル１０の中央後方の地面２２ＣＢ（図５参照）を画角に含んで中央後方カメラ２０ＣＢ（本発明の撮像装置に相当）が配置される。中央後方カメラ２０ＣＢの撮像領域は符号２１ＣＢで示す。

上部旋回体１２において、中央後方カメラ２０ＣＢが取り付けられた位置の下方には、撮像領域２１ＣＢに含まれる地面２２ＣＢに向かって光を発する中央後方ライト２５ＣＢ（図５参照）が設けられる。

上部旋回体１２の上部における右後方には、油圧ショベル１０の右後方の地面を画角に含んで右後方カメラ２０ＲＢ（本発明の撮像装置に相当）が配置される。右後方カメラ２０ＲＢの撮像領域は符号２１ＲＢで示す。

上部旋回体１２において、右後方カメラ２０ＲＢが取り付けられた位置の下方には、撮像領域２１ＲＢに含まれる地面に向かって光を発する右後方ライト２５ＲＢ（図５（ｄ）参照）が設けられる。

上部旋回体１２の上部における右側には、油圧ショベル１０の右側の地面を画角に含んで右カメラ２０Ｒが配置される。右カメラ２０Ｒの撮像領域は符号２１Ｒで示す。

上部旋回体１２において、右カメラ２０Ｒが取り付けられた位置の下方には、撮像領域２１Ｒに含まれる地面に向かって光を発する右ライト２５Ｒ（図５（ｄ）参照）が設けられる。

左後方カメラ２０ＬＢ、中央後方カメラ２０ＣＢ、右後方カメラ２０ＲＢ、右カメラ２０Ｒは同一の構成でよく、配置位置によって名称を変えている。よって、どの位置に配置されているかを特に説明する必要がない場合は、単にカメラと称することがある。撮像領域、地面、ライトについても同様である。

キャブ１３には図２に示す右レバー及び左レバーを含む操作レバー１８が備えられる。右レバーの前後操作でブーム１４の下げ、上げ、左右操作でバケット１６の下げ、上げ、左レバーの前後操作でアーム１５の押し出し、引き込み、左右操作で上部旋回体１２の左旋回又は右旋回の実行指示を入力する。

またキャブ１３には、油圧ショベル１０を制御するプロセッサ１１１が収容されるコントローラ１１０、物体検知の結果を通知する通知装置６０が備えられる。通知装置６０は、例えば、ディスプレイ、ブザー、警告灯である。

図３は、油圧ショベル１０のハードウェア構成を示すブロック図である。

コントローラ１１０は、ＣＰＵ(Central Processing Unit)等からなるプロセッサ１１１、ＲＡＭ（Random Access Memory）１１２、ＲＯＭ（Read Only Memory）１１３、ストレージ１１４、入力Ｉ／Ｆ１１５、出力Ｉ／Ｆ１１６を含みこれらがバス１１７を介して互いに接続される。

ストレージ１１４は、データを不揮発に記憶できるデバイスであればよく、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）など種類を問わない。

入力Ｉ／Ｆ１１５には、操作レバー１８、左後方カメラ２０ＬＢ、中央後方カメラ２０ＣＢ、右後方カメラ２０ＲＢ、及び右カメラ２０Ｒが接続される。

出力Ｉ／Ｆ１１６には、左後方ライト２５ＬＢ、中央後方ライト２５ＣＢ、右後方ライト２５ＲＢ、右ライト２５Ｒ、及び通知装置６０が接続される。

また油圧ショベル１０は、パイロットポンプ１０２、メインポンプ１０３、電磁比例弁１０４、制御弁１０５、クチュエータ１０６、動力源となるエンジン１０７、ＥＣＵ（Engine Control Unit）１０８を備える。説明の便宜のため、電磁比例弁１０４、制御弁１０５、及びクチュエータ１０６がそれぞれ一つずつあるように記したが、実際には複数系統備えてもよい。

操作レバー１８の操作量に対応した電気信号に変換して出力するポテンショメ－タからの操作信号は、コントローラ１１０を介して電磁比例弁１０４を駆動し、この電磁比例弁１０４から出力したパイロット圧により制御弁１０５を駆動してクチュエータ１０６を動作させる。パイロットポンプ１０２は電磁比例弁１０４に圧油を、メインポンプ１０３は制御弁１０５に圧油を吐出する。

出力Ｉ／Ｆ１１６は、電磁比例弁１０４に接続され、物体検知の結果、油圧ショベル１０の旋回、前進、又は後退動作を停止させる場合は、電磁比例弁１０４に閉信号を出力する。さらに出力Ｉ／Ｆ１１６は、ＥＣＵ１０８にも接続される。コントローラ１１０からＥＣＵ１０８を介してエンジン１０７にエンジン回転数制御信号（回転数を落とす信号、又は停止信号を含む）が出力され、結果としてメインポンプ１０３の吐出量減、又は停止が実現する。旋回、前進、又は後退動作を行うときは、エンジン回転数制御信号として回転数を上げる信号を出力する。

図４は、コントローラ１１０の機能構成を示すブロック図である。

プロセッサ１１１は、操作信号判断部１１１ａ、ライト制御部１１１ｂ、カメラ制御部１１１ｃ、物体検知部１１１ｄ、動作制御部１１１ｅの各部の機能を実行する。これら各部は、プロセッサ１１１が、物体検知プログラムをＲＡＭ１１２にロードして実行することにより実現する。

ストレージ１１４は、影の大きさの判定に用いる物体判定閾値データを格納する。

＜第１実施形態＞
第１実施形態は、１台のカメラに１台のライトを組み合わせた物体検知システムに係る実施形態である。図５は、第１実施形態に係る作業機械の物体検知システム１における検知範囲の説明図である。図５では、中央後方カメラ２０ＣＢの撮像領域２１ＣＢと中央後方ライト２５ＣＢとの位置関係を例にあげて説明する。

図５（ａ）に示すように、中央後方カメラ２０ＣＢには、上部旋回体１２の下部、かつ左クローラ１１Ｌと右クローラ１１Ｒとの間に死角領域２９ＣＢが生じる。図５（ａ）では図示の便宜上、右クローラ１１Ｒの図示を省略した状態で右側面視により死角領域２９ＣＢを図示している。図５（ｂ）、（ｃ）も同様である。

作業員９１ＣＢ２は、撮像領域２１ＣＢに含まれるので中央後方カメラ２０ＣＢが撮像した撮像画像に映りこむ。よって、物体検知システム１により検知される。

しかし、図５（ｂ）に示すように作業員９１ＣＢ１が死角領域２９ＣＢ内で低い姿勢で存在している場合は、作業員９１ＣＢ１は撮像領域２１ＣＢには含まれないので中央後方カメラ２０ＣＢが撮像した撮像画像に映らない。

そこで、中央後方ライト２５ＣＢは、作業員９１ＣＢ１の影９２ＣＢ１が、地面２２ＣＢに投影される位置と向きで上部旋回体１２の下部に取り付けられる。すなわち、中央後方カメラ２０ＣＢの画角の外側から油圧ショベル１０までの間の死角領域２９ＣＢ、更に好ましくは上部旋回体１２の下に生じる空間に存在する物体の影が、油圧ショベル１０の後方の地面２２ＣＢに到達する角度で光を照射するように中央後方ライト２５ＣＢは上部旋回体１２の下方に取り付けられる。

図５（ａ）に示すように、死角領域２９ＣＢに何もない場合には、中央後方ライト２５ＣＢから地面２２ＣＢに向かう光路２６ＣＢを遮るものがないので、油圧ショベル１０の後方の地面２２ＣＢに物体による影が映り込まず、画像特徴量の変化が少ない撮像画像が得られる。

一方、図５（ｂ）に示すように、作業員９１ＣＢ１が死角領域２９ＣＢにいる場合、光路２６ＣＢを作業員９１ＣＢ１が遮るので、作業員９１ＣＢ１の影９２ＣＢ１が油圧ショベル１０の後方の地面２２ＣＢに投影される。従って、図５（ａ）と比べて画像特徴量の変化が大きい撮像画像が得られる。

更に図５（ｃ）では、作業員９１ＣＢ３が上部旋回体１２の車体の下にもぐっている状態を示す。この場合は、図５（ｂ）に示す中央後方ライト２５ＣＢの取付位置では、光路２６ＣＢ上に作業員が存在しないので影が生じない。そこで、中央後方ライト２５ＣＢの取付位置を上部旋回体１２の下端部かつ上部旋回体１２の最後部よりも前方に配置する。中央後方ライト２５ＣＢの取付角度は、中央後方ライト２５ＣＢが発する光が油圧ショベル１０の後方の地面２２ＣＢに届く角度で取り付けられる。これにより、中央後方ライト２５ＣＢから油圧ショベル１０の後方の地面２２ＣＢの間に存在する作業員９１ＣＢ３の影９２ＣＢ３が油圧ショベル１０の後方の地面２２ＣＢに投影されて、図５（ａ）と比べて画像特徴量の変化が大きい撮像画像が得られる。

このように、油圧ショベル１０の後方の地面２２ＣＢを撮像した撮像画像に影が映り込むと、影が撮像された領域とその周辺の領域とでは、撮像画像の輝度、彩度、明度といった画像特徴量が変化する。この画像特徴量の変化を基に影が映っているかを判定し、その判定結果に基づいて中央後方カメラ２０ＣＢの撮像領域２１ＣＢの外に存在する物体を検知する。

図５（ｄ）は、左後方ライト２５ＬＢ、中央後方ライト２５ＣＢ、右後方ライト２５ＲＢ、右ライト２５Ｒの取付位置を示す。

左後方ライト２５ＬＢ、中央後方ライト２５ＣＢ、右後方ライト２５ＲＢ、右ライト２５Ｒのそれぞれは、上部旋回体１２の下部に配置する。そして、油圧ショベル１０の車体の下にもぐった作業員９１ＣＢ１の影９２ＣＢ１や、油圧ショベル１０の右側面に近接して位置する作業員９１Ｒの影９２Ｒが、中央後方カメラ２０ＣＢや右カメラ２０Ｒで捕捉できる向きで取り付けられる。

図５では、主に中央後方カメラ２０ＣＢと中央後方ライト２５ＣＢとの位置関係を例にあげて説明したが、右後方カメラ２０ＲＢ、左後方カメラ２０ＬＢ、右カメラ２０Ｒについても同様である。

図６は、第１実施形態に係る物体検知システム１の処理の流れを示すフローチャートである。

油圧ショベル１０のエンジン１０７を始動するとコントローラ１１０の主電源が投入され、操作信号判断部１１１ａは、操作レバー１８から操作信号の取得を待機する。操作信号を取得しなければ（Ｓ０１：Ｎｏ）、引き続き待機する。

操作信号判断部１１１ａは、取得した操作信号が示す動作を判断し、右旋回、左旋回、前進、又は後退の何れかの操作信号を取得したと判断すると（Ｓ０１：Ｙｅｓ）、操作信号が示す動作内容をライト制御部１１１ｂに出力する。

ライト制御部１１１ｂは、動作内容に従って、どのライトをどの順序で点灯させるかを決定する（Ｓ０２）。

例えば、これから右旋回をする場合は、右ライト２５Ｒ、右後方ライト２５ＲＢ、中央後方ライト２５ＣＢ、左後方ライト２５ＬＢの順、左旋回をする場合は逆順、前進する場合は右後方ライト２５ＲＢ、右ライト２５Ｒの順に後ろから前に向かって、後退する場合は右ライト２５Ｒ、右後方ライト２５ＲＢの順で前から後ろに向かって点灯して、油圧ショベル１０の動作を予告する。

ライト制御部１１１ｂは、点灯順に従って最初に点灯させるライトに対して点灯信号を出力し、ライトが点灯する（Ｓ０３）。

ライト制御部１１１ｂは、点灯したライトを示す情報をカメラ制御部１１１ｃに出力し、カメラ制御部１１１ｃが点灯したライトに対応するカメラで撮像し（Ｓ０４）、撮像画像をコントローラ１１０に出力する。撮像後は、ライトは消灯する。

ライト制御部１１１ｂは、Ｓ０２で決定したライトを全て点灯していなければ（Ｓ０５：Ｎｏ）、次のライトの点灯信号を出力する（Ｓ０６）。その後、Ｓ０４へ戻る。

ライト制御部１１１ｂは、Ｓ０２で決定したライトを全て点灯すると（Ｓ０５：Ｙｅｓ）、物体検知部１１１ｄが撮像画像の被写体検出、及び画像特徴量に基づく画像解析を実行する（Ｓ０７）。

具体的には、物体検知部１１１ｄは、各カメラの撮像画像を取得し、撮像画像に対して被写体検出を行い、検出した被写体の物体認識処理を行い、撮像画像に人物や反射材、車などの物体が検知範囲に撮像されているかを判定する。物体が撮像されていると判定すると（Ｓ０８：Ｙｅｓ）、通知装置６０に物体を検知したことを示す通知情報を出力する。更に物体検知部１１１ｄは、物体を検知したことを示す情報を動作制御部１１１ｅに出力し、動作制御部１１１ｅから電磁比例弁１０４に閉信号を出力する（Ｓ０９）。

物体検知部１１１ｄは物体を検知しないと判定すると（Ｓ０８：Ｎｏ）、撮像画像の画像特徴量を基に影が撮像されているかを判定する（Ｓ１０）。画像解析の一例として、影がなければ撮像画像の輝度は比較的明るく、影が映っていれば撮像画像の輝度は下がるので、この画像特徴量を用いて影を捕捉し、死角領域の物体の存在を推定する。

物体検知部１１１ｄは、影が映っていると判定すると（Ｓ１０：Ｙｅｓ）、影の大きさと、動作停止の要否を判定するための物体判定閾値とを比較する（Ｓ１１）。影の大きさが物体判定閾値以上であると判定すると（Ｓ１１：Ｙｅｓ）、通知装置６０に物体を検知したことを示す通知情報を出力する。更に物体検知部１１１ｄは、物体を検知したことを示す情報を動作制御部１１１ｅに出力し、動作制御部１１１ｅから電磁比例弁１０４に閉信号を出力する（Ｓ０９）。

「物体判定閾値」とは、検知対象とする大きさの物体の影の大きさを基に定めた閾値である。例えばパイロンは物体として検知せず、パイロンより大きい物体、例えば、腰をかがめて低い姿勢で作業をしている作業員は検知対象とする場合は、予め腰をかがめて低い姿勢で作業をしている作業員の影の長さを計測しておき、それを物体判定閾値としてストレージ１１４に記憶しておく。そして、ステップＳ１１では、撮像画像に映った影の長さと物体判定閾値とを比較し、撮像画像に映った影の長さが物体判定閾値以上であれば、検知対象とする物体が存在していると判定する。

物体検知部１１１ｄが、影が映っていないと判定した場合（Ｓ１０：Ｎｏ）、又は影の大きさが物体判定閾値未満であると判定すると（Ｓ１１：Ｎｏ）、動作制御部１１１ｅは電磁比例弁１０４に開信号を出力し油圧ショベル１０が操作信号に従った動作を開始する（Ｓ１２）。

旋回、前進、又は後退動作を継続する場合は（Ｓ１３：Ｙｅｓ）、Ｓ０３へ戻り、次の点灯周期でライトの点灯を開始する。旋回、前進、又は後退動作を停止する場合は（Ｓ１３：Ｎｏ）、一連の処理を終了する。

本実施形態によれば、各カメラの死角領域からカメラの撮像領域内の地面に向けて光を照らすので、ライトから撮像領域内の地面に向かう光路上に物体がある場合に、撮像領域に映った影を捕捉することで死角領域の物体の存在を推定できる。

更に影の大きさを基に、物体の大きさを推定し、例えば物体として検知したくないもの、例えばパイロンは除外し、油圧ショベルの車体にもぐった作業員等は検知することができるので誤検知を防ぎつつ死角領域の物体検知が行える。

更に、撮像領域に地面を含み、これを基に被写体検出をしてカメラの検知範囲の物体の有無を判定するので、地面の凹凸を誤検知することを防ぎつつ、従来例では死角領域であった下部走行体付近の物体も検知範囲とすることができる。

更に、レーザースキャナや赤外線装置に比べ、ライトとカメラは安価であるため、仮に破損しても安価に修理できる。

なお、第１実施形態において、影の大きさから物体の大きさを推定することなく、撮像画像に影が映り込んだ場合は物体を検出したことを通知して動作を停止（Ｓ０９）するように構成してもよい。その場合は、図６においてステップＳ１１を省略すればよい。

＜第２実施形態＞
第２実施形態は、一台のカメラに対して複数のライトを配置し、影の大きさをより正確に検知する実施形態である。

図７は、第２実施形態に係る作業機械の物体検知システムにおける検知範囲の説明図（左右方向に配置）である。図７では中央後方カメラ２０ＣＢに対して３つのライト、中央後方ライト２５ＣＢ１、２５ＣＢ２、２５ＣＢ３を上部旋回体１２の左右方向に沿って配置する例について説明する。

図７（ａ）に示すように、中央後方ライト２５ＣＢ１、２５ＣＢ２、２５ＣＢ３は、上部旋回体１２の後部に上部旋回体１２の左から右に向かって並べて配置される。中央後方ライト２５ＣＢ１、２５ＣＢ２、２５ＣＢ３の各々は、一つの中央後方カメラ２０ＣＢの撮像領域２１ＣＢに含まれる地面２２ＣＢに対して異なる角度から光を照射する位置及び角度で油圧ショベル１０に取り付けられる。

作業員９１ＣＢ１は、油圧ショベル１０の中央後方で低い姿勢で作業をしており、中央後方カメラ２０ＣＢの死角領域２９ＣＢ（図５参照）に位置しているものとする。

図７（ａ）は中央後方ライト２５ＣＢ１、２５ＣＢ２、２５ＣＢ３が全て消灯している状態を示す。この場合、作業員９１ＣＢ１の影９２ＣＢ１は地面に投影されていない。

ここで、３つの中央後方ライト２５ＣＢ１、２５ＣＢ２、２５ＣＢ３において最も左側に配置された中央後方ライト２５ＣＢ１だけを点灯すると、中央後方ライト２５ＣＢ１の光路２６ＣＢ１を作業員９１ＣＢ１が遮蔽するので、図７（ｂ）に示すように、影９２ＣＢ１が投影される。

次に３つの中央後方ライト２５ＣＢ１、２５ＣＢ２、２５ＣＢ３において、中央に配置され中央後方ライト２５ＣＢ２だけを点灯すると、中央後方ライト２５ＣＢ２の光路２６ＣＢ２を作業員９１ＣＢ１が遮蔽するので、図７（ｃ）に示す位置に影９２ＣＢ１が投影される。

更に３つの中央後方ライト２５ＣＢ１、２５ＣＢ２、２５ＣＢ３において最も右側に配置された中央後方ライト２５ＣＢ３だけを点灯すると、中央後方ライト２５ＣＢ３の光路２６ＣＢ３を作業員９１ＣＢ１が遮蔽するので、図７（ｄ）に示す位置に影９２ＣＢ１が投影される。

このように、中央後方カメラ２０ＣＢの撮像領域２１ＣＢを異なる角度から照らす３つの中央後方ライト２５ＣＢ１、２５ＣＢ２、２５ＣＢ３を配置し、中央後方ライト２５ＣＢ１、２５ＣＢ２、２５ＣＢ３を切り替えながら順次点灯、撮像、消灯、点灯、撮像、消灯を繰り返すと、同一の障害物の影の大きさや位置が変わるので、これを基に物体の大きさ、位置を推定できる。

例えば第１実施形態と同様、パイロンは物体として検知せず、パイロンより大きい物体、例えば、腰をかがめて低い姿勢で作業をしている作業員は検知対象とする場合は、予め腰をかがめて低い姿勢で作業をしている作業員の影を、中央後方ライト２５ＣＢ１、２５ＣＢ２、２５ＣＢ３を切り替えて撮像し、作業員の影の大きさを、各ライトに対応した物体判定閾値としてストレージ１１４に記憶しておく。そして、ステップＳ１１では、各ライトを点灯して撮像した撮像画像に映った影の長さと、そのライトに対応した物体判定閾値とを物体判定閾値とを比較し、いずれか一つの撮像画像に映った影の長さが物体判定閾値以上であれば、検知対象とする物体が存在していると判定する。

図７では、中央後方カメラ２０ＣＢと中央後方ライト２５ＣＢ１、２５ＣＢ２、２５ＣＢ３との位置関係を例にあげて説明するが、左後方カメラ２０ＬＢ、右後方カメラ２０ＲＢ、右カメラ２０Ｒについても同様である。

図８は、第２実施形態に係る作業機械の物体検知システムにおける検知範囲の説明図（上下方向に配置）である。図８では中央後方カメラ２０ＣＢに対して２つのライト、中央後方ライト２５ＣＢ４、２５ＣＢ５を上下に並べて配置する例について説明する。なお、図８では図示の便宜上、右クローラ１１Ｒの図示を省略した状態で右側面視により作業員９１ＣＢ１を図示している。

下段の中央後方ライト２５ＣＢ４だけを点灯すると、光路２６ＣＢ４を作業員９１ＣＢ１が遮蔽するので、図８（ａ）に示す位置に影９２ＣＢ１が長さＬ＿２５ＣＢ４で投影される。

上段の中央後方ライト２５ＣＢ５だけを点灯すると、光路２６ＣＢ５を作業員９１ＣＢ１が遮蔽するので、図８（ｂ）に示す位置に影９２ＣＢ１が長さＬ＿２５ＣＢ５で投影される。

図８では、中央後方カメラ２０ＣＢと中央後方ライト２５ＣＢ４、２５ＣＢ５との位置関係を例にあげて説明したが、左後方カメラ２０ＬＢ、右後方カメラ２０ＲＢ、右カメラ２０Ｒについても同様である。

図７、図８において、複数の中央後方ライト２５ＣＢ１、２５ＣＢ２、２５ＣＢ３、２５ＣＢ４、２５ＣＢ５の点滅順を変化させて、油圧ショベル１０の旋回動作、前進動作、又は後退動作の予告灯として用いてもよい。例えば、図７の例において、操作レバー１８が旋回動作の実行指示の入力操作を受け付けると、プロセッサ１１１が操作レバー１８の操作信号を受信し、これに基づいて旋回方向、例えば右旋回であれば、中央後方ライト２５ＣＢ３、２５ＣＢ２、２５ＣＢ１の順に点滅を繰り返すように点灯信号を出力してもよい。

第２実施形態における物体検知システムの処理の流れは図６で示した第１実施形態の処理の流れと同様であるので図６のフローチャートを流用して、第１実施形態と異なる点についてのみ説明する。

ステップＳ０２の点灯順では、１台のカメラに対して設けられた複数のライトの各々について点灯順を決定する。

また、ステップＳ１１の影の大きさ判定では、１台のカメラに対して、異なる角度から光を照射するライトを点灯した状態で取得した各撮像画像に対して画像解析を行う。そして、一つ以上の撮像画像において、影の大きさが物体判定閾値以上であると判定されると（Ｓ１１：Ｙｅｓ）、物体を検出したことを通知して動作を停止する（Ｓ０９）。

また、ステップＳ１１においては、同一の物体の影を複数の方向から撮像するので、影の大きさから物体自体の大きさを推定し、検知対象の物体であるか否かを判定してもよい。例えば、図８の例では、影の長さＬ＿２５ＣＢ４、Ｌ＿２５ＣＢ５と中央後方ライト２５ＣＢ４、２５ＣＢ５の取付角度を基に物体の高さを演算して、物体の大きさを推定してもよい。

第２実施形態によれば、一台のカメラの撮像領域に対して複数のライトで光を照射してカメラの死角領域に潜む物体の検知を行えるので、より広い範囲で物体検知が行える。

また、あるライトと作業員９１ＣＢ１との相対位置や向きの関係では、偶然影が短く投影されることがあっても、他のライトでは作業員９１ＣＢ１の影が相対的に長く投影されることで、物体検知の精度を向上させることができる。また、異なる撮像画像に映った影の長さから物体の大きさを推定することも可能となる。

更にライトで影を作り出してその輝度差をカメラで捕捉して判定するため、多少ライトが汚損したとしても誤検知は少ない。また複数のライトを使用して、それらの光らせる順を変えて影を作ることで、一つのライトが汚損しても他のライトで補えるため、誤検知を減らせる。

＜第３実施形態＞
第３実施形態は、死角領域を照らすライトとして調光ライトを用いる実施形態である。ここでいう「調光ライト」とは、光量及び波長を変更可能なライトである。図９は、第３実施形態の処理内容を示す説明図である。図９では、中央後方ライト２５ＣＢを例に挙げて説明するが、左後方カメラ２０ＬＢ、右後方カメラ２０ＲＢ、右カメラ２０Ｒのそれぞれに対応して設けられるライトについても同様である。

図９（ａ）は、日中の周辺光が比較的強い状況を示す。コントローラ１１０は、撮像画像において周辺光が強い中でも作業員９１ＣＢ１の影と周辺光の下で撮像される地面の画像とのコントラスト比が良好となるように、中央後方ライト２５ＣＢの光量を上げる又は周辺光とは異なる色の光を出すために波長を変更する調光信号を出力する。

一方夜間は周辺光が少ないかほぼない。そこで、図９（ｂ）に示すように、中央後方ライト２５ＣＢの光量を下げて消費電力を抑えて点灯させる。

また夕方は周辺光が橙色から赤色に近くなる。そこで、図９（ｃ）に示すように、中央後方ライト２５ＣＢの光の波長を変更して、周辺光と区別しやすい色、例えば橙色から赤色の補色の光を発光する。これにより、周辺光に中央後方ライト２５ＣＢの光が紛れることを防ぎ、影が識別しやすくなる。

図１０は、第３実施形態に係る物体検知システムの処理の流れを示すフローチャートである。図６に示した第１実施形態に係るフローチャートと同じステップには同一の符号を付し、重複説明を省略する。

第３実施形態ではステップＳ０４に続き、調光処理を追加する。具体的には、ステップＳ０４に続き、調光シーケンスの開始判定ステップが実行される（Ｓ３１）。調光シーケンスを開始する場合（Ｓ３１：Ｙｅｓ）、物体検知部１１１ｄは、撮像画像の画像特徴量、例えば輝度、明度、彩度の分布(ヒストグラム)などを基に、周辺光の光量と波長を解析し（Ｓ３２）、ライト制御部１１１ｂに出力する。ライト制御部１１１ｂには、解析結果に応じて、調光する。その後ステップＳ０５へと進む。

本実施形態では撮像画像を基に周辺光の解析を行ったが、油圧ショベル１０が照度センサを備える場合は、ライト制御部１１１ｂが照度センサから照度データを取得して周辺光の光量を基にライトの光量を決定してもよい。

または、ＲＴＣ（Real Time Clock）をコントローラ１１０が搭載する場合は、ライト制御部１１１ｂがＲＴＣから時刻データを取得し、時間に応じて日中は光量を上げ、夕方は橙色から赤色の補色を、夜間は省電力モードに切り替えてもよい。

照度センサや時間を基に調光を行う場合は、調光シーケンスを開始判定（Ｓ３１）はステップＳ０４の後である必要はなく、Ｓ０３よりも前の任意のタイミングでもよい。

調光シーケンスは、一度実行すると次は数時間、例えば６時間に１回実行するように構成してもよい。

第３実施形態によれば、周辺光の状況に応じて調光して影を撮像するので、周辺光の影響を抑制しつつ、死角領域に潜む物体の検知精度を向上させることができる。

上記実施形態は、本発明を限定する趣旨ではなく、様々な変更態様も本発明に含まれる。例えば、カメラやライトの取付位置や数は上記に限定されない。

また、一つのカメラに対して複数のライトを配置する例に代えて、照射角度が変えられるライトを一つ備えてもよい。

１ ：物体検知システム
１０ ：油圧ショベル
１１Ｌ ：左クローラ
１１Ｒ ：右クローラ
１２ ：上部旋回体
１３ ：キャブ
１４ ：ブーム
１５ ：アーム
１６ ：バケット
１８ ：操作レバー
２０ＣＢ ：中央後方カメラ
２０ＬＢ ：左後方カメラ
２０Ｒ ：右カメラ
２０ＲＢ ：右後方カメラ
２１ＣＢ ：撮像領域
２１ＬＢ ：撮像領域
２１Ｒ ：撮像領域
２１ＲＢ ：撮像領域
２２ＣＢ ：地面
２２ＬＢ ：地面
２５ＣＢ ：中央後方ライト
２５ＣＢ１ ：中央後方ライト
２５ＣＢ２ ：中央後方ライト
２５ＣＢ３ ：中央後方ライト
２５ＣＢ４ ：中央後方ライト
２５ＣＢ５ ：中央後方ライト
２５ＬＢ ：左後方ライト
２５Ｒ ：右ライト
２５ＲＢ ：右後方ライト
２６ＣＢ ：光路
２６ＣＢ１ ：光路
２６ＣＢ２ ：光路
２６ＣＢ３ ：光路
２６ＣＢ４ ：光路
２６ＣＢ５ ：光路
２９ＣＢ ：死角領域
６０ ：通知装置
９１ＣＢ１ ：作業員
９１ＣＢ３ ：作業員
９１Ｒ ：作業員
９２ＣＢ１ ：影
９２ＣＢ３ ：影
９２Ｒ ：影
１０２ ：パイロットポンプ
１０３ ：メインポンプ
１０４ ：電磁比例弁
１０５ ：制御弁
１０６ ：アクチュエータ
１０７ ：エンジン
１０８ ：ＥＣＵ
１１０ ：コントローラ
１１１ ：プロセッサ
１１１ａ ：操作信号判断部
１１１ｂ ：ライト制御部
１１１ｃ ：カメラ制御部
１１１ｄ ：物体検知部
１１１ｅ ：動作制御部
１１２ ：ＲＡＭ
１１３ ：ＲＯＭ
１１４ ：ストレージ
１１５ ：入力Ｉ／Ｆ
１１６ ：出力Ｉ／Ｆ
１１７ ：バス

Claims (8)

1. 旋回機構を介して下部走行体に搭載される上部旋回体を備える作業機械の周囲に存在する物体を検知する作業機械の物体検知システムであって、
   前記上部旋回体に設けられ、前記作業機械の周辺の地面を撮像領域として含み、当該撮像領域を撮像して撮像画像を生成する撮像装置と、
   前記撮像装置の撮像領域に含まれる前記地面に向かって光を発するライトと、
   前記撮像装置から取得した前記撮像画像に基づいて前記作業機械の周辺の物体を検知するコントローラと、を備え、
   前記コントローラは、前記ライトから前記撮像領域に含まれる地面までの光路上に存在する前記物体の影が前記撮像画像に撮像されているかを前記撮像画像の画像特徴量に基づいて判定し、その判定結果に基づいて前記物体を検知する、
   ことを特徴とする作業機械の物体検知システム。
2. 請求項１に記載の作業機械の物体検知システムにおいて、
   前記上部旋回体の旋回動作、前記作業機械の前進動作または後退動作の何れかを入力する操作レバーを更に備え、
   前記コントローラは、
   前記操作レバーから前記旋回動作、前記前進動作、または前記後退動作の何れかの実行指示を示す操作信号が入力されたことを検知すると、前記ライトに対して点灯信号を送信する、
   ことを特徴とする作業機械の物体検知システム。
3. 請求項２に記載の作業機械の物体検知システムにおいて、
   前記コントローラによる判断結果を通知する通知装置と、
   を更に備え、
   前記ライトは、一つの前記撮像領域に含まれる地面に対して異なる角度から光を照射する複数のライトであって、 前記コントローラは、複数の前記ライトのうちいずれかのライトからの光路に基づいて、前記撮像画像から前記物体を検知すると、複数の前記ライトを一つずつ順次点滅させて各ライトが点灯する度に生成された前記撮像画像を取得し、複数の前記撮像画像に映り込んだ前記影の大きさを基に前記物体の大きさを推定し、その推定結果を前記通知装置に対して出力する、
   ことを特徴とする作業機械の物体検知システム。
4. 請求項３に記載の作業機械の物体検知システムであって、
   前記コントローラは、前記操作レバーからの前記操作信号に基づいて、当該操作信号が示す実行指示が前記旋回動作、前記前進動作、または前記後退動作の何れを指示しているかを判定し、
   前記操作信号の前記実行指示の内容に従って前記作業機械が動作する方向に沿った順で複数の前記ライトを点灯させるための点灯信号を出力する、
   ことを特徴とする作業機械の物体検知システム。
5. 請求項３に記載の作業機械の物体検知システムであって、
   複数の前記ライトは、前記上部旋回体に上下方向に、または左右方向に並べて配置される、
   ことを特徴とする作業機械の物体検知システム。
6. 請求項３に記載の作業機械の物体検知システムであって、
   前記コントローラは、前記推定した物体の大きさと、通知要否の判断基準とする物体判定閾値とを比較し、前記物体の大きさが前記物体判定閾値以上の場合に前記操作レバーの操作を無効にする制御を行う、
   ことを特徴とする作業機械の物体検知システム。
7. 請求項１に記載の作業機械の物体検知システムであって、
   前記撮像装置は、前記上部旋回体の上方かつ後方に、前記作業機械の後方の地面を前記撮像領域として含む角度で取り付けられた後方撮像装置を含み、
   前記ライトは、前記上部旋回体の下端部かつ前記上部旋回体の最後部よりも前方に取り付けられた後方ライトを含み、
   前記後方ライトの取付角度は、前記後方ライトが発する光が前記後方の地面に達する角度であり、
   前記後方ライトから前記後方の地面の間に存在する検知対象の物体の影は、前記後方の地面に投影され、前記撮像画像に前記影が撮像される、
   ことを特徴とする作業機械の物体検知システム。
8. 請求項１に記載の作業機械の物体検知システムであって、
   前記ライトは、光量及び波長を変更可能な調光ライトであり、
   前記コントローラは、前記撮像画像の画像特徴量を基に周辺光の光量及び波長を解析し、前記物体の前記影と前記周辺光の下で撮像される地面像とのコントラスト比が、調光の要否を判断するためのコントラスト閾値未満の場合に、前記調光ライトの光量又は波長の少なくとも一方を変更する調光信号を前記調光ライトに対して出力する、
   ことを特徴とする作業機械の物体検知システム。

Images