JP7465664B2 - 作業機械の監視装置および作業機械の監視方法 - Google Patents

Description

本発明は、作業機械の監視装置および作業機械の監視方法に関する。

特許文献１には、建設機械と人との接触を回避するための監視システムの一例が記載されている。特許文献１に記載されている監視システムは、建設機械に取り付けたステレオカメラで建設機械の周囲を撮像し、ステレオカメラの視差により被写体までの距離を算出するとともに、画像認識処理によって撮像した画像に含まれる人物およびヘルメットを認識し、人物およびヘルメットまでの距離を算出する。そして、この監視システムは、距離に基づく判定処理の結果に応じて警告や建設機械の動作停止といった接触を回避するための処理を実行する。この監視システムでは、画像認識処理と距離算出処理と距離に基づく判定処理が、取得した画像毎に行われる。

特開２０１９－１５７４９７号公報

特許文献１に記載されているように人物等の認識と距離の算出と距離に基づく判定処理とが取得した画像毎に行われる場合、例えば距離の算出誤差が大きかったとき等に画像毎に判定結果が反転してしまい、安定して判定処理を行うことができない場合があるという課題があった。

本発明は、上記事情に鑑みてなされたものであり、距離に基づく判定処理を安定して行うことができる作業機械の監視装置および作業機械の監視方法を提供することを目的とする。

上記課題を解決するため、本発明の一態様は、対象範囲に存在する対象物を認識し、認識した前記対象物までの距離を表す距離取得値を取得する距離取得部と、時系列の複数の前記距離取得値に基づき前記対象物までの最新の距離を表す距離算出値を算出する距離算出部と、前記距離算出値と所定の閾値とを比較し、比較結果に基づき所定の信号を出力する出力部と、を備える作業機械の監視装置である。

本発明の一態様によれば、時系列の複数の距離取得値に基づき対象物までの最新の距離を表す距離算出値が算出されるので、距離に基づく判定処理を安定して行うことができる。

本発明の一実施形態に係る監視システムの概略構成例を示すブロック図である。 図１に示す撮像装置２の設置例を模式的に示す平面図である。 図１に示す撮像装置２の他の設置例を模式的に示す平面図である。 図１に示す監視装置３の動作例を示すフローチャートである。 図４に示すステップＳ７の処理の一例を示すフローチャートである。 図１に示す監視装置３の動作例を説明するための画像を示す図である。 図１に示す監視装置３の動作例を説明するための模式図である。 図１に示す監視装置３の動作例を説明するための模式図である。 図１に示す監視装置３の動作例を説明するための模式図である。 図１に示す監視装置３の動作例を説明するための模式図である。 図４に示すステップＳ７の処理の他の例を図１２および図１３とともに示すフローチャートである。 図４に示すステップＳ７の処理の他の例を図１１および図１３とともに示すフローチャートである。 図４に示すステップＳ７の処理の他の例を図１１および図１２とともに示すフローチャートである。 図１１～図１３に示す図４に示すステップＳ７の処理の他の例を説明するための模式図である。

以下、図面を参照して本発明の実施形態について説明する。なお、各図において同一または対応する構成には同一の符号を用いて説明を適宜省略する。

図１は、本発明の一実施形態に係る監視システム１の概略構成例を示すブロック図である。図２および図３は、図１に示す撮像装置２の設置例を模式的に示す平面図である。図４は、図１に示す監視装置３の動作例を示すフローチャートである。図５は、図４に示すステップＳ７の処理の一例を示すフローチャートである。図６は、図１に示す監視装置３の動作例を説明するための画像の例を示す図である。図７～図１０は、図１に示す監視装置３の動作例を説明するための模式図である。

図１に示す監視システム１は、撮像装置２と、監視装置３と、出力装置４とを備える。図１に示す監視システム１は、図２に示す油圧ショベル１０１に取り付けられた撮像装置２を用いて撮像装置２の撮像範囲ＯＡ（対象範囲）を撮像し、監視装置３によって、撮像した画像に基づき撮像範囲ＯＡに存在する人（対象物）を認識するとともに、人までの距離を推定し、推定した距離が所定の閾値を下回った場合に、警報等のための信号を出力装置４に対して監視装置３から出力するシステムとして構成されている。

なお、本実施形態の監視装置３は監視する対象物を人に限定しない。例えば他の実施形態では、対象物は、他の作業機械、乗用車等とすることができる。また、対象範囲に存在する対象物と対象物までの距離を認識するための情報を取得する装置は、単眼カメラ、ステレオカメラ等の撮像装置に限定されず、超音波、赤外線、マイクロ波、レーザ等を利用して対象物の形状、方向、距離等を計測する装置や、それらの組み合わせ等とすることができる。ただし、この実施形態では、一例として、対象物が人であり、対象範囲に存在する対象物と対象物までの距離を認識するための情報を取得する装置が単眼カメラを有する撮像装置であるとする。この場合、対象範囲は、撮像装置２の撮像範囲ＯＡであるが、撮像装置２が撮像範囲ＯＡを撮像した場合、撮像した画像が対象範囲に対応することになる。

なお、図２において油圧ショベル１０１は、上部旋回体１０３と走行装置１０５からなる車体１０１Ｂと、バケット１０８を先端に有する作業機１０２とを備える。油圧ショベル１０１は、走行装置１０５を駆動することで走行する。作業機１０２は上部旋回体１０３に揺動可能に取り付けられている。上部旋回体１０３は、回転中心ＲＣの周りに旋回する。また、上部旋回体１０３には運転室１０４が設置されている。

また、撮像装置２は、上部旋回体１０３に取り付けられていて、撮像範囲ＯＡに存在する被写体を動画で撮像し、撮像した動画を表す信号を監視装置３へ出力する。なお、撮像装置２は、例えば、図３に示すように複数であってもよい。図３に示す例では、４個の撮像装置２、２－１、２－２および２－３が、撮像方向を９０度ずつ異ならせて上部旋回体１０３に取り付けられている。図３に示す例では、撮像装置２、２－１、２－２および２－３を用いて撮像範囲ＯＡ、ＯＡ１、ＯＡ２およびＯＡ３を撮像することで、３６０度の範囲を監視することができる。

一方、図１に示す監視装置３は、マイクロコンピュータ、ＣＰＵ（中央処理装置）を有するプログラマブルデバイス等のコンピュータ、そのコンピュータの周辺装置等のハードウェアを用いて構成することができる。本実施形態の監視装置３は、コンピュータ等のハードウェアと、コンピュータが実行するプログラム等のソフトウェアとの組み合わせで構成される機能的構成として、距離取得部５と、距離算出部６と、出力部７を有する。

距離取得部５は、入力部５１と、対象物認識部５２と、トラッキング部５３と、認識結果フィルタ５４と、距離推定部５５と、座標変換部５６と、記憶部５７とを有する。記憶部５７は、画像ファイル５７１と、認識モデル５７２と、距離推定モデル５７３を記憶する。距離取得部５は、撮像装置２が撮像範囲ＯＡ（対象範囲）に存在する人（対象物）を認識し、認識した人までの距離を表す距離取得値を取得する。

入力部５１は、撮像装置２が撮像範囲ＯＡ（対象範囲）を撮像した画像を表す画像信号を入力し、例えばフレーム毎の複数の静止画像を含む画像ファイル５７１として記憶部５７に記憶する。なお、この例では、監視装置３が、撮像装置２が撮像した動画像の１フレーム毎に後述する認識処理や判定処理を実行することとする。ただし、監視装置３は、例えば複数フレーム毎に認識処理や判定処理を実行してもよい。

対象物認識部５２は、認識モデル５７２を用いて入力部５１が入力した画像から人（対象物）を認識し、認識した人を含む領域の位置を表す座標情報を出力する。認識モデル５７２は、例えばニューラルネットワークを要素とする学習済みモデルであり、入力される多数のデータに対して求める解が出力されるよう、機械学習によりニューラルネットワークの各層のニューロン間の重み付け係数が最適化されている。認識モデル５７２は、例えば、入力から出力までの演算を行うプログラムと当該演算に用いられる重み付け係数（パラメータ）の組合せで構成される。認識モデル５７２は、画像を入力し、その画像に人が含まれる場合にその人を含む領域の座標情報を解として出力するように、複数の画像を表す情報と各画像に人が含まれている場合にその人を含む領域の座標を表す情報とを対応づけたデータセットを教師データとして機械学習されている。図６は対象物認識部５２へ入力される画像の一例として画像２１を示す。対象物認識部５２は、図６に示す画像２１が入力されると、例えば図７に示すように画像２１に含まれている人８１を含む領域９１（以下、検出領域９１という）を算出し、検出領域９１の左上と右下の各画素の座標情報（Ｘ１，Ｙ１）および（Ｘ２，Ｙ２）を算出して出力する。

トラッキング部５３は、対象物認識部５２が前のフレームで人を検出していたのに、次のフレームで誤って人を検出できなかった場合に、誤って人を検出できなかったフレームで検出されるべき検出領域の位置を推定する（これをトラッキング処理という）。本実施形態では、トラッキング部５３は、対象物認識部５２が人（対象物）を認識していない場合に、人が認識されていない画像内で、前の画像の人を含む検出領域内の画像（領域内画像とする）と類似する部分画像を含む領域の座標情報を、人が認識されていない画像の人を含む検出領域の座標情報とする。例えば、対象物認識部５２が前のフレームで図７に示すように検出領域９１を認識していた場合に、次にフレームで検出領域を検出することができなかったとき、トラッキング部５３は、図７に示す検出領域９１内の領域内画像（図８に領域内画像２０１として示す）に類似する部分画像を、次のフレームの画像（図８の画像２２）から認識する。トラッキング部５３は、次のフレームの画像（図８の画像２２）で領域内画像２０１に類似する部分画像を認識できた場合、その部分画像を含む領域９２を、次のフレームの画像（図８の画像２２）の検出領域として、領域９２の左上と右下の各画素の座標情報（Ｘ１，Ｙ１）および（Ｘ２，Ｙ２）を検出領域の座標情報として出力する。

本実施形態では、背景や検出対象の姿勢・位置の小さな変化により前フレームでは検出されていた対象が、次フレームでは未検出となってしまうケースに対応するため、画像処理のトラッキング技術を応用して次フレームの検出領域を推定する。なお、トラッキング部５３は、例えば、前の画像が複数の検出領域を含む場合、前フレームで検出された確信度が一番高い検出結果をトラッキングすることができる。確信度とは認識モデル５７２が検出対象に対して何％の確率で人と思うかを示すものであり、大まかに表現すると認識モデル５７２が検出結果に対しどの程度自信を持っているかを表す値である。トラッキング部５３は、未検出のフレームが出現した時、前フレームで検出された領域内の画像に類似する領域を次フレーム（１番目のフレームとする）内で探索する。トラッキング部５３は、その次のフレーム（２番目のフレーム）でも対象物認識部５２が検出領域を未検出の場合、１番目のフレームで推定した検出領域の領域内画像に類似する部分画像を２番目のフレームで探索する。ただし、瞬間的な誤検出に対しトラッキングを続けてしまうと、誤検出を不必要に拡張してしまうため、例えば、連続トラッキング回数に制限を設けるようにしてもよい。

認識結果フィルタ５４は、人（対象物）を含む検出領域の座標情報が、予め定めた除外条件を満たす場合、条件を満たす検出領域を除外する。対象物認識部５２による認識結果が明らかにおかしい場合に対して、ルールで除外することで誤認識を減らすことが可能である。例えば、撮像装置２の設置場所に伴う車体１０１Ｂの映りこみや想定される現場状況により撮像画像内における人の位置が限定される場合、図９に示す領域（検出領域９３、９４および９７）に対して次のようなフィルタリングが可能である。なお、図９は、人８２および８３を含む画像２３を対象物認識部５２へ入力した場合に、対象物認識部５２が検出領域９３～９７を認識した場合の例を模式的に示す。

（ａ）足元の座標（検出領域の左下の座標）が破線Ｌ１で示す基準値より上にある場合は誤認識とする。例えば、空だと既知であるような高さに認識が出てしまった場合を想定している。検出したい範囲に急なのぼり勾配が存在しない場合は有効である。図９に示す例では、検出領域９３を除外することができる。

（ｂ）検出領域の縦横比が所定の基準値よりも横長の場合は誤認識とする。検出対象の状態を次に限定する場合は有効である。（１）立っている。（２）歩いている。（３）しゃがんでいる。（４）体の大部分が映っている（頭だけしか映らないなどの極端な至近距離ではない）。図９に示す例では、検出領域９７を除外することができる。

（ｃ）車体１０１Ｂの映りこみ領域に一定以上かぶっていたら誤認識とする。図９に示す例では、検出領域９４を除外することができる。

距離推定部５５は、距離推定モデル５７３を用いて画像と対象物認識部５２が出力した座標情報とを入力として人（対象物）までの距離を距離取得値として推定する。距離推定モデル５７３は、認識モデル５７２と同様に、例えばニューラルネットワークを要素とする学習済みモデルである。距離推定モデル５７３は、画像を表す情報と検出領域の座標情報とを入力し、人までの距離を推定して出力するモデルであって、画像を表す情報と検出領域の座標情報と人までの距離を表す情報との組を教師データとして機械学習されている。距離推定部５５は、例えば図６に示す画像２１を表す情報と、図７に示す検出領域９１の座標情報（Ｘ１，Ｙ１）および（Ｘ２，Ｙ２）とを入力し、撮像装置２から人８１までの距離を推定して距離取得値として出力する。

本実施形態において距離推定モデル５７３は、検出領域の座標情報を入力データとしている。

座標変換部５６は、距離推定部５５が推定した撮像装置２を基準とするカメラ座標系での距離算出値を、車体１０１Ｂを基準とする車体座標系で距離算出値に変換する。

距離算出部６は、時系列の複数の距離取得値に基づき例えば移動平均によって人（対象物）までの最新の距離を表す距離算出値を算出する。

出力部７は、距離算出部６が算出した距離算出値と所定の閾値とを比較し、比較結果に基づき所定の信号を出力する。出力部７は、距離算出値が所定の閾値を下回った場合、例えば、モニタ、スピーカ、表示灯等からなる出力装置４に対して、警告表示や警告音の出力を行うように所定の信号を出力したり、あるいは油圧ショベル１０１の図示していない制御装置に対して油圧ショベル１０１の動作を制限したり停止したりする（制御介入する）ための所定の信号を出力する。この実施形態において出力部７は、距離算出値が所定の閾値（例えば４ｍとする）より小さい場合に、警告や制御介入等を実行するための信号を出力する。ただし、出力部７は、他の実施形態においては、例えば所定の閾値より大きい場合（対象物が離れすぎた場合）に警告や制御介入を実行するための信号を出力したり、例えば所定の上限値および下限値の各閾値で定める範囲から逸脱した場合に（対象物が離れすぎた場合または近づきすぎた場合）に警告や制御介入を実行するための信号を出力したりしてもよい。

上記のトラッキングでも述べたように、前後フレーム間の微小な変化でも認識結果が変化してしまう可能性があり、例えば、制御信号のＯＮ／ＯＦＦが激しく切り替わってしまい制御介入やアラート発報に問題を起こしうることが考えられる。そこで、本実施形態では、距離算出部６によって、取得した時系列の複数の距離取得値を用いて、時間平均による時間フィルタリング（平滑化）を行って距離算出値を求めることで、距離算出値の変動を時間フィルタリングを行わない場合と比較して低く抑えている。

出力装置４は、モニタ、スピーカ、表示灯等、あるいはそれらの組み合わせで構成され、例えば、運転室１０４内に設けられる。なお、例えば撮像装置２が取り付けられている作業機械が、無線信号を用いて遠隔操作される場合、監視装置３や出力装置４は遠隔操作を実行する場所に設けることができる。

次に、図４を参照して図１に示す監視装置３の動作例について説明する。図４に示す処理は、撮像装置２の動画撮像のフレーム毎に実行される。図４に示す処理が実行されると、まず、入力部５１が、撮像装置２から画像を入力する（ステップＳ１）。次に、対象物認識部５２が、画像に含まれる人を認識する（対象範囲に存在する対象物を認識する）（ステップＳ２）。ステップＳ２において対象物認識部５２は、認識モデル５７２を用いて画像から人（対象物）を認識し、認識した人を含む領域(検出領域)の座標情報を出力する。

次に、人（対象物）が認識されなかった場合（ステップＳ３で「ＮＯ」の場合）、トラッキング部５３がトラッキング処理を行う（ステップＳ４）。ステップＳ４において、トラッキング部５３は、人（対象物）が認識されていない画像内で、前の画像の人（対象物）を含む領域（検出領域）内の領域内画像と類似する部分画像を含む領域の座標情報を、その人（対象物）が認識されていない画像の人（対象物）を含む領域（検出領域）の座標情報とする。

次に、認識結果フィルタ５４が、認識された人（対象物）を含む領域（検出領域）の座標情報が、予め定めた除外条件を満たす場合、条件を満たす領域を除外する（ステップＳ５）。

次に、距離推定部５５と座標変換部５６が、人（対象物）までの距離を表す距離取得値を取得する（算出する）（ステップＳ６）。ステップＳ６において、距離推定部５５は、距離推定モデル５７３を用いて画像と検出領域の座標情報とを入力として、人（対象物）までの距離を距離取得値として推定する。また、座標変換部５６は、距離推定部５５が推定した撮像装置２を基準とするカメラ座標系での距離取得値を、車体１０１Ｂを基準とする車体座標系で距離取得値に変換する。

次に、距離算出部６が、時系列の複数の距離取得値に基づき人（対象物）までの最新の距離を表す距離算出値を算出する（ステップＳ７）。

次に、出力部７が、距離算出値と所定の閾値とを比較し（ステップＳ８）、比較結果に基づき所定の信号を出力する（ステップＳ９）。

次に、図５を参照して図４に示すステップＳ７の処理について説明する。図５は、図４に示すステップＳ７の処理の一例を示す。図５に示す処理では、まず、距離算出部６が、変数ｉをＮ－１、…、２、１と１ずつ変化させながら、変数Ｚ（ｉ）の値を変数Ｚ（ｉ＋１）に格納する（ステップＳ７１）。変数Ｚ（ｉ）は時系列のＮ個の距離取得値を格納する変数であり、変数Ｚ（１）には最新の距離取得値が格納され、変数Ｚ（２）には１フレーム前の距離取得値が格納され、変数Ｚ（Ｎ）には（Ｎ－１）フレーム前の距離取得値が格納される。なお、Ｎは２以上の整数である。

次に、距離算出部６は、人（対象物）が認識されているか否かを判断し（ステップＳ７２）、人（対象物）が認識されている場合（ステップＳ７２で「ＹＥＳ」の場合）、ステップＳ６で取得された新たな距離取得値を取得する（ステップＳ７３）。なお、ステップＳ７２で人（対象物）が認識されていると判断されるのは、ステップＳ２で人（対象物）が認識されるか（検出領域の座標情報が算出されるか）、ステップＳ４で検出領域の座標情報が設定されるかした後、ステップＳ５で除外されなかった検出領域の座標情報が存在する場合である。また、距離算出部６は、ステップＳ７３において、対象とする画像に対して複数の検出領域が存在する場合には、各検出領域に対して推定された複数の距離取得値のうち最小の距離取得値（閾値に対する余裕がより小さい値）を新たな距離取得値とする。

一方、人（対象物）が認識されていない場合（ステップＳ７２で「ＮＯ」の場合）、距離算出部６は、新たな距離取得値を第１定数に固定する（ステップＳ７４）。本実施形態において、第１定数は、距離取得値の最大値（制限値）であり、例えば、閾値が４ｍである場合、第１定数は閾値より大きい値（例えば６ｍ）に設定することができる。

次に、距離算出部６は、新たな距離取得値と第１定数のうち閾値に対する余裕がより小さい値を変数Ｚ（１）に入力する（ステップＳ７５）。ここで、閾値に対する余裕がより小さい値とは、本実施形態のように閾値が下限値である場合（閾値より小さいときに警告等が行われる場合）、その値が閾値より大きいとき、閾値との差が小さい方が余裕が小さくなる。また、その値が閾値より小さいとき、閾値との差（の絶対値）が大きい方が余裕が小さくなる。例えば、閾値が４ｍで第１定数が６ｍの場合、距離取得値が７ｍのとき第１定数の方が閾値に対する余裕がより小さい値となり、変数Ｚ（ｉ）には第１定数の６ｍが入力される。また、例えば、距離取得値が３ｍのとき距離取得値の方が閾値に対する余裕がより小さい値となり、変数Ｚ（ｉ）には距離取得値の３ｍが入力される。

なお、本実施形態と異なり、例えば閾値が上限値である場合（閾値より大きいときに警告等が行われる場合）、その値が閾値より小さいとき、閾値との差が小さい方が余裕が小さくなる。また、その値が閾値より大きいとき、閾値との差（の絶対値）が大きい方が余裕が小さくなる。なお、この場合、第１定数は、距離取得値の最小値（制限値）であり、例えば、閾値が６ｍである場合、第１定数は閾値より小さい値（例えば４ｍ）に設定することができる。例えば、閾値が６ｍで第１定数が４ｍの場合、距離取得値が３ｍのとき第１定数の方が閾値に対する余裕がより小さい値となり、変数Ｚ（ｉ）には第１定数の４ｍが入力される。また、例えば、距離取得値が７ｍのとき距離取得値の方が閾値に対する余裕がより小さい値となり、変数Ｚ（ｉ）には距離取得値の７ｍが入力される。

次に、距離算出部６は、距離算出値を変数Ｄとした場合、例えば、（式）Ｄ＝｛Ｚ（１）＋Ｚ（２）＋…＋Ｚ（Ｎ）｝／Ｎで、距離算出値を算出する（ステップＳ７６）。

図５に示す処理では、距離算出部６は、最新の距離取得値と以前のＮ－１個の距離取得値（以前の（Ｎ－１）フレーム分の距離取得値）との単純移動平均値を、距離算出値として算出する。また、距離取得値の最大値を第１定数に制限することで、制限しなかった場合と比べて距離取得値が急に変化した場合に対する距離算出値の応答性を向上させることができる。

図１０は、時間フィルタリングの効果の検証結果を示す。図１０は、上から順に、距離取得値（破線）と距離算出値（実線）の時間変化と、判定結果の時間変化（時間フィルタが無い場合）と、判定結果の時間変化（時間フィルタが有る場合）とを示す。判定結果は、「０」が閾値４ｍを下回らなかった場合、「１」が閾値４ｍを下回った場合である。図１０に示すように、判定結果が変化する頻度は、時間フィルタが有る場合（移動平均で距離算出値を求めた場合）より、時間フィルタが無い場合（距離取得値と閾値を比較した場合）の方が大きい。

以上のように、本実施形態によれば、時系列の複数の距離取得値に基づき人（対象物）までの最新の距離を表す距離算出値が算出されるので、距離に基づく判定処理を安定して行うことができる。

次に、図１１～図１４を参照して、上記実施形態の変形例について説明する。この変形例は、上記実施形態と比較して、図４に示すステップＳ７での距離算出部６による距離算出値の算出の仕方と出力部７の動作が異なる。図１１～図１３は、図４に示すステップＳ７の処理の他の例を示すフローチャートであり、各図のフローは結合子Ｃ１または結合子Ｃ２で互いに結合されている。図１４は、図１１～図１３に示す図４に示すステップＳ７の処理の他の例を説明するための模式図である。なお、図１に示す監視システム１の構成と、図４に示す動作例は、上記実施形態とこの変形例において距離算出値の算出の仕方と出力部７の動作以外について基本的に同一である。

本変形例において、距離取得部５は、取得した距離取得値とともに検出領域の座標情報を距離算出部６に対して出力する。すなわち、距離取得部５は、対象範囲に存在する人（対象物）を認識し、認識した人（対象物）までの距離を表す距離取得値を取得するとともに、人（対象物）の位置を表す情報（検出領域の座標情報）をさらに取得する。そして、距離算出部６は、位置（検出領域の座標情報）に基づき、距離取得値を、対象範囲を複数に分割した領域である複数の分割領域に対して選択的に対応づけて、分割領域毎に、各分割領域に対応づけられた時系列の複数の距離取得値と、隣接する他の分割領域の距離算出値とに基づき、各分割領域の距離算出値を算出する。また、距離算出部６は、人（対象物）が認識されていない分割領域について、隣接する他の分割領域の前記距離算出値に基づき、時系列の複数の距離取得値を、所定の定数（第２定数）に固定して、距離算出値を算出する。

図１４に示すように、距離算出部６は、例えば、入力部５１が入力した画像２４を、横方向（上部旋回体１０３の回転軸と垂直方向）に３分割した３個の分割領域毎に、距離算出値を算出する。以下、図１４に示す左側の分割領域を左領域２Ｌ、中央の分割領域を中領域２Ｃ、右側の分割領域を右領域２Ｒという。なお、図１４に示す画像２４には人８４と人８５が含まれていて、距離取得部５は、人８４に対して検出領域９８を認識し、人８５に対して検出領域９９を認識している。また、検出領域９８と検出領域９９は、右領域２Ｒに位置している。

ここで、図１１～図１３を参照して図４に示すステップＳ７の処理について説明する。図１１～図１３に示す処理では、まず、距離算出部６が、変数ｉをＮ－１、…、２、１と１ずつ変化させながら、変数Ｚｌ（ｉ）の値を変数Ｚｌ（ｉ＋１）に格納する（ステップＳ７０１）。変数Ｚｌ（ｉ）は左領域２Ｌに対応づけられた時系列のＮ個の距離取得値を格納する変数であり、変数Ｚｌ（１）には左領域２Ｌに対応づけられた最新の距離取得値が格納され、変数Ｚｌ（２）には左領域２Ｌに対応づけられた１フレーム前の距離取得値が格納され、変数Ｚｌ（Ｎ）には左領域２Ｌに対応づけられた（Ｎ－１）フレーム前の距離取得値が格納される。なお、Ｎは２以上の整数である。

次に、距離算出部６が、変数ｉをＮ－１、…、２、１と１ずつ変化させながら、変数Ｚｃ（ｉ）の値を変数Ｚｃ（ｉ＋１）に格納する（ステップＳ７０２）。変数Ｚｃ（ｉ）は中領域２Ｃに対応づけられた時系列のＮ個の距離取得値を格納する変数であり、変数Ｚｃ（１）には中領域２Ｃに対応づけられた最新の距離取得値が格納され、変数Ｚｃ（２）には中領域２Ｃに対応づけられた１フレーム前の距離取得値が格納され、変数Ｚｃ（Ｎ）には中領域２Ｃに対応づけられた（Ｎ－１）フレーム前の距離取得値が格納される。

次に、距離算出部６が、変数ｉをＮ－１、…、２、１と１ずつ変化させながら、変数Ｚｒ（ｉ）の値を変数Ｚｒ（ｉ＋１）に格納する（ステップＳ７０３）。変数Ｚｒ（ｉ）は右領域２Ｒに対応づけられた時系列のＮ個の距離取得値を格納する変数であり、変数Ｚｒ（１）には右領域２Ｒに対応づけられた最新の距離取得値が格納され、変数Ｚｒ（２）には右領域２Ｒに対応づけられた１フレーム前の距離取得値が格納され、変数Ｚｃ（Ｎ）には中領域２Ｃに対応づけられた（Ｎ－１）フレーム前の距離取得値が格納される。

次に、距離算出部６が、認識した人（対象物）を含む領域（検出領域）の座標情報に基づき、新たな距離取得値を対応づける分割領域を選択する（ステップＳ７０４）。ステップＳ７０４において、例えば、検出領域が１つの分割領域に含まれる場合、距離算出部６は、当該検出領域に対して推定された新たな距離取得値をその１つの分割領域に対応づける。例えば、検出領域が２つの分割領域にまたがる場合、距離算出部６は、当該検出領域に対して推定された新たな距離取得値をその２つの分割領域に対応づける。

次に、距離算出部６が、選択された分割領域に対応する変数Ｚｌ（１）、Ｚｃ（１）またはＺｒ（１）に、新たな距離取得値を格納する（ステップＳ７０５）。ただし、ステップＳ７０４において、１つの分割領域に対して複数の検出領域が対応づけられている場合には、各検出領域に対して推定された複数の距離取得値のうち最小の距離取得値（閾値に対する余裕がより小さい値）を新たな距離取得値とする。また、新たな距離取得値は、距離取得値と第１定数のうち閾値に対する余裕がより小さい値とする。

次に、距離算出部６が、選択されていない分割領域に対応する変数Ｚｌ（１）、Ｚｃ（１）またはＺｒ（１）に第１定数を格納する（ステップＳ７０６）。

図１４に示す画像２４の場合、距離算出部６は、ステップＳ７０４で右領域２Ｒを選択し、ステップＳ７０４で変数Ｚｒ（１）に例えば検出領域９９に対して推定された距離取得値を格納し、ステップＳ７０５で変数Ｚｌ（１）と変数Ｚｃ（１）に第１定数（６ｍ）を格納する。

次に、距離算出部６は、左領域２Ｌの距離算出値を変数Ｄｌとした場合、（式）Ｄｌ＝｛Ｚｌ（１）＋Ｚｌ（２）＋…＋Ｚｌ（Ｎ）｝／Ｎで、左領域２Ｌの距離算出値を算出する（ステップＳ７０７）。

次に、距離算出部６は、中領域２Ｃの距離算出値を変数Ｄｃとした場合、（式）Ｄｃ＝｛Ｚｃ（１）＋Ｚｃ（２）＋…＋Ｚｃ（Ｎ）｝／Ｎで、中領域２Ｃの距離算出値を算出する（ステップＳ７０８）。

次に、距離算出部６は、右領域２Ｒの距離算出値を変数Ｄｒとした場合、（式）Ｄｒ＝｛Ｚｒ（１）＋Ｚｒ（２）＋…＋Ｚｒ（Ｎ）｝／Ｎで、右領域２Ｒの距離算出値を算出する（ステップＳ７０９）。

次に、距離算出部６は、左領域２Ｌの距離算出値Ｄｌが第１条件を満たし、かつ、隣接する中領域２Ｃの距離算出値Ｄｃが第２条件を満たすか否かを判断する（ステップＳ７１０）。例えば、第１条件は距離算出値Ｄｌが閾値を下回っていないこと（警告等のための信号を出力する値ではないこと）であり、第２条件は距離算出値Ｄｃが閾値を下回っていること（警告等のための信号を出力する値であること）である。

左領域２Ｌの距離算出値Ｄｌが第１条件を満たし、かつ、隣接する中領域２Ｃの距離算出値Ｄｃが第２条件を満たす場合（ステップＳ７１０で「ＹＥＳ」の場合）、距離算出部６は、変数Ｚｌ（ｉ）（ｉ＝Ｎ－１，…，２）のうち、閾値に対する余裕が第２定数より大きいものを第２定数に固定し（ステップＳ７１１）、次にステップＳ７０７と同様にして左領域２Ｌの距離算出値Ｄｌを再計算する（ステップＳ７１２）。第２定数は、第１定数より閾値に対する余裕が小さい固定値である。例えば閾値（下限値）が４ｍで第１定数が６ｍの場合、第２定数は４ｍより大きく６ｍより小さい値とすることができる。例えば第２定数を４．２ｍとした場合、ステップＳ７１１では、４．２ｍより大きい変数Ｚｌ（ｉ）の値が４．２ｍに固定される。このようにすることで、例えば、中領域２Ｃで閾値を下回る距離算出値Ｄｃの原因となった人（対象物）が、左領域２Ｌに移動してきた場合に第２定数に固定しない場合と比較して小さい遅れで左領域２Ｌの距離算出値Ｄｌを閾値を下回る値とすることができる。なお、第１条件と第２条件は以上のものに限定されない。また、第１条件は省略してもよい。

次に、距離算出部６は、中領域２Ｃの距離算出値Ｄｃが第１条件を満たし、かつ、隣接する左領域２Ｌの距離算出値Ｄｌと右領域２Ｒの距離算出値Ｄｒが第２条件を満たすか否かを判断する（ステップＳ７１３）。例えば、第１条件は距離算出値Ｄｃが閾値を下回っていないこと（警告等のための信号を出力する値ではないこと）であり、第２条件は距離算出値Ｄｌまたは距離算出値Ｄｒが閾値を下回っていること（少なくとも一方が警告等のための信号を出力する値であること）である。

中領域２Ｃの距離算出値Ｄｃが第１条件を満たし、かつ、隣接する左領域２Ｌの距離算出値Ｄｌと右領域２Ｒの距離算出値Ｄｒが第２条件を満たす場合（ステップＳ７１３で「ＹＥＳ」の場合）、距離算出部６は、変数Ｚｃ（ｉ）（ｉ＝Ｎ－１，…，２）のうち、閾値に対する余裕が第２定数より大きいものを第２定数に固定し（ステップＳ７１４）、次にステップＳ７０８と同様にして中領域２Ｃの距離算出値Ｄｃを再計算する（ステップＳ７１５）。

次に、距離算出部６は、右領域２Ｒの距離算出値Ｄｒが第１条件を満たし、かつ、隣接する中領域２Ｃの距離算出値Ｄｃが第２条件を満たすか否かを判断する（ステップＳ７１６）。例えば、第１条件は距離算出値Ｄｒが閾値を下回っていないこと（警告等のための信号を出力する値ではないこと）であり、第２条件は距離算出値Ｄｃが閾値を下回っていること（警告等のための信号を出力する値であること）である。

右領域２Ｒの距離算出値Ｄｒが第１条件を満たし、かつ、隣接する中領域２Ｃの距離算出値Ｄｃが第２条件を満たす場合（ステップＳ７１６で「ＹＥＳ」の場合）、距離算出部６は、変数Ｚｒ（ｉ）（ｉ＝Ｎ－１，…，２）のうち、閾値に対する余裕が第２定数より大きいものを第２定数に固定し（ステップＳ７１７）、次にステップＳ７０８と同様にして中領域２Ｃの距離算出値Ｄｃを再計算する（ステップＳ７１６）。

また、この変形例において出力部７は、分割領域毎に、閾値と各分割領域の距離算出値とを比較し、比較結果に応じて、分割領域毎にあるいは全領域共通に所定の信号を出力する。例えば、出力部７は、出力装置４がモニタである場合に閾値を下回った分割領域が視認できるように警告等を表示させたり、分割領域に対応する位置の警告灯を発光させたり、上部旋回体１０３の旋回方向の制限を分割領域の方向に応じて切り替えたりすることができる。

図１１～図１３に示す処理では、距離算出部６は、分割領域毎に、最新の距離取得値と以前のＮ－１個の距離取得値（以前の（Ｎ－１）フレーム分の距離取得値）との単純移動平均値を、距離算出値として算出する。また、距離取得値の最大値を第１定数に制限することで、制限しなかった場合と比べて距離取得値が急に変化した場合に対する距離算出値の応答性を向上させることができる。さらに、隣接する分割領域の距離取得値に基づき、例えば隣接する分割領域の距離取得値が閾値を下回っているような場合に、当該領域の距離取得値の最大値を第１定数より小さい第２定数に制限することで、制限しなかった場合と比べて距離取得値が急に変化した場合に対する距離算出値の応答性を向上させることができる。

以上、この発明の実施形態について図面を参照して説明してきたが、具体的な構成は上記実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、作業機械は、油圧ショベルに限定されない。また、図３に示すように撮像装置２を複数のカメラで構成する場合、複数の撮像画像に対する処理を独立して並列に行ってもよいし、複数の撮像画像を複数の分割領域として処理してもよい。また、時間フィルタにおける移動平均は、単純移動平均に限らず、加重移動平均、指数移動平均等としてもよい。また、時間フィルタは、有限インパルス応答フィルタ、無限インパルス応答フィルタ等からなるローパスフィルタとしてもよい。また、撮像装置は、移動体に設置されていてもよいし、例えば大地に対して固定されていてもよい。

また、上記実施形態でコンピュータが実行するプログラムの一部または全部は、コンピュータ読取可能な記録媒体や通信回線を介して頒布することができる。

１…監視システム、２…撮像装置、３…監視装置、４…出力装置、５…距離取得部、６…距離算出部、７…出力部、２Ｌ…左領域（分割領域）、２Ｃ…中領域（分割領域）、２Ｒ…右領域（分割領域）、５１…入力部、５２…対象物認識部、５３…トラッキング部、５４…認識結果フィルタ、５５…距離推定部、５７２…認識モデル、５７３…距離推定モデル

Claims (10)

1. 対象範囲に存在する対象物を認識し、認識した前記対象物までの距離を表す距離取得値を取得する距離取得部と、
   時系列の複数の前記距離取得値に基づき前記対象物までの最新の距離を表す距離算出値を算出する距離算出部と、
   前記距離算出値と所定の閾値とを比較し、比較結果に基づき所定の信号を出力する出力部と、
   を備え、
   前記距離算出部は、前記対象物が認識されていない場合、時系列の複数の前記距離取得値を、所定の定数に固定して、前記距離算出値を算出し、
   前記閾値が下限値である場合、前記所定の定数は、前記閾値よりも大きい値であって前記距離取得値の最大値として設定され、
   前記閾値が上限値である場合、前記所定の定数は、前記閾値よりも小さい値であって前記距離取得値の最小値として設定される値である、
   作業機械の監視装置。
2. 前記距離取得部は、前記対象物の位置を表す情報をさらに取得し、
   前記距離算出部は、前記位置に基づき、前記距離取得値を、前記対象範囲を複数に分割した領域である複数の分割領域に対して選択的に対応づけて、前記分割領域毎に、各前記分割領域に対応づけられた時系列の複数の前記距離取得値に基づき、各前記分割領域の前記距離算出値を算出する
   請求項１に記載の作業機械の監視装置。
3. 前記距離算出部は、さらに、隣接する他の前記分割領域の前記距離算出値に基づき、各前記分割領域の前記距離算出値を算出する
   請求項２に記載の作業機械の監視装置。
4. 前記距離算出部は、前記対象物が認識されていない前記分割領域について、隣接する他の前記分割領域の前記距離算出値に基づき、時系列の複数の前記距離取得値を、所定の定数に固定して、前記距離算出値を算出する
   請求項３に記載の作業機械の監視装置。
5. 前記距離取得部が、
   前記対象範囲を撮像した画像を表す画像信号を入力する入力部と、
   前記画像から前記対象物を認識し、認識した前記対象物を含む領域の位置を表す座標情報を出力する対象物認識部と、
   前記画像を表す情報と前記座標情報とを入力し、前記対象物までの距離を推定して出力するモデルであって、前記画像を表す情報と前記座標情報と前記対象物までの距離を表す情報との組を教師データとして学習された距離推定モデルを記憶する記憶部と、
   前記距離推定モデルを用いて前記画像と前記対象物認識部が出力した前記座標情報とを入力として前記対象物までの距離を前記距離取得値として推定する距離推定部と、
   を有する、
   請求項１から４のいずれか１項に記載の作業機械の監視装置。
6. 前記距離取得部が、
   前記対象物認識部が前記対象物を認識していない場合に、前記対象物が認識されていない前記画像内で、前の前記画像の前記対象物を含む領域内の領域内画像と類似する部分画像を含む領域の座標情報を、前記対象物が認識されていない前記画像の前記対象物を含む領域の座標情報とするトラッキング部を
   さらに有する、
   請求項５に記載の作業機械の監視装置。
7. 前記距離取得部が、
   前記対象物を含む領域の座標情報が、予め定めた除外条件を満たす場合、条件を満たす領域を除外する認識結果フィルタを
   さらに有する、
   請求項５または６に記載の作業機械の監視装置。
8. 対象範囲に存在する対象物を認識し、認識した前記対象物までの距離を表す距離取得値を取得するステップと、
   時系列の複数の前記距離取得値に基づき前記対象物までの最新の距離を表す距離算出値を算出するステップと、
   前記距離算出値と所定の閾値とを比較し、比較結果に基づき所定の信号を出力するステップと、
   を含み、
   前記距離算出値を算出するステップでは、前記対象物が認識されていない場合、時系列の複数の前記距離取得値を、所定の定数に固定して、前記距離算出値を算出し、
   前記閾値が下限値である場合、前記所定の定数は、前記閾値よりも大きい値であって前記距離取得値の最大値として設定され、
   前記閾値が上限値である場合、前記所定の定数は、前記閾値よりも小さい値であって前記距離取得値の最小値として設定される値である、
   作業機械の監視方法。
9. 対象範囲に存在する対象物を認識し、認識した前記対象物までの距離を表す距離取得値を取得する距離取得部と、
   時系列の複数の前記距離取得値に基づき前記対象物までの最新の距離を表す距離算出値を算出する距離算出部と、
   前記距離算出値と所定の閾値とを比較し、比較結果に基づき所定の信号を出力する出力部と、を備え、
   前記距離取得部は、前記対象物の位置を表す情報をさらに取得し、
   前記距離算出部は、前記位置に基づき、前記距離取得値を、前記対象範囲を複数に分割した領域である複数の分割領域に対して選択的に対応づけて、前記分割領域毎に、各前記分割領域に対応づけられた時系列の複数の前記距離取得値に基づき、各前記分割領域の前記距離算出値を算出し、
   さらに、隣接する他の前記分割領域の前記距離算出値に基づき、各前記分割領域の前記距離算出値を算出する、
   作業機械の監視装置。
10. 対象範囲に存在する対象物を認識し、認識した前記対象物までの距離を表す距離取得値を取得する距離取得部と、
    時系列の複数の前記距離取得値に基づき前記対象物までの最新の距離を表す距離算出値を算出する距離算出部と、
    前記距離算出値と所定の閾値とを比較し、比較結果に基づき所定の信号を出力する出力部と、を備え、
    前記距離取得部が、
    前記対象範囲を撮像した画像を表す画像信号を入力する入力部と、
    前記画像から前記対象物を認識し、認識した前記対象物を含む領域の位置を表す座標情報を出力する対象物認識部と、
    前記画像を表す情報と前記座標情報とを入力し、前記対象物までの距離を推定して出力するモデルであって、前記画像を表す情報と前記座標情報と前記対象物までの距離を表す情報との組を教師データとして学習された距離推定モデルを記憶する記憶部と、
    前記距離推定モデルを用いて前記画像と前記対象物認識部が出力した前記座標情報とを入力として前記対象物までの距離を前記距離取得値として推定する距離推定部と、を備える、
    作業機械の監視装置。

Images