JP7704597B2 - 情報処理装置、情報処理装置の制御プログラム - Google Patents

Description

本発明は、情報処理装置及びその制御プログラムに関する。

従来、距離を測定する距離センサを用いて所望の検出対象を検出する技術が知られている。
例えば、特許文献１に記載の技術では、距離センサによる距離情報に基づいて、対象（車両）の周辺における物体の存在確率を表すマップ（占有格子地図（ＯＧＭ：Occupancy Grid Maps））などの地図情報を作成し、このマップを利用して対象の動作制御を行っている。このＯＧＭは格子によって仕切られており、各格子における物体の存在確率を示すことによって周囲状況がどのようになっているかを判断する。

特開２０１１－１２３５５１号公報

しかしながら、距離情報を単純に用いただけでは、十分な検出精度が得られない場合がある。
例えば、上記特許文献１で開示される方法では、車体の周りの障害物を検知するが、検出された物体の種類が分からない。また、単純にレーザーレーダーを使用しただけでは大きさも正確には判別しにくい。特に工事現場のような様々な種類・大きさの物体が混在する場所においては、距離情報による検出だけでは障害物の検知には十分に機能しないという問題があった。

本発明は、上記事情に鑑みてなされたもので、物体検出の検出精度を向上させることを目的とする。

本発明は、情報処理装置であって、
測定対象までの距離を測定する測距手段と、
前記測定対象の大きさを取得するサイズ取得手段と、
前記測定対象までの距離に基づいて、所望の検出対象の大きさを設定するサイズ設定手段と、
前記サイズ取得手段により取得された前記測定対象の大きさと、前記サイズ設定手段により設定された前記検出対象の大きさとに基づいて、前記測定対象が前記検出対象であるか否かを判定する判定手段と、
前記測定対象の画像を取得する撮像手段と、
前記画像に基づいて、前記測定対象が前記検出対象であるか否かを判定する第２判定手段と、
前記判定手段の判定結果と、前記第２判定手段の判定結果とに基づいて、前記測定対象が前記検出対象であるか否かをさらに判定する第３判定手段と、
を備える構成とした。

また、本発明は、測定対象までの距離を測定する測距手段を備える情報処理装置の制御プログラムであって、
コンピュータを、
前記測定対象の大きさを取得するサイズ取得手段、
前記測定対象までの距離に基づいて、所望の検出対象の大きさを設定するサイズ設定手段、
前記サイズ取得手段により取得された前記測定対象の大きさと、前記サイズ設定手段により設定された前記検出対象の大きさとに基づいて、前記測定対象が前記検出対象であるか否かを判定する判定手段、
として機能させるものとした。

本発明によれば、物体検出の検出精度を向上させることができる。

本実施形態に係るショベルの側面図である。 図１のショベルのシステム構成を示すブロック図である。 本実施形態の物体検出処理でのデータの流れを示すデータフロー図である。 本実施形態の第１のＯＧＭ、第２のＯＧＭ、第３のＯＧＭの一例を示す図である。 本実施形態の測定対象とその大きさを示す図である。 本実施形態の検出サイズデータの一例を示す図である。 図６の検出サイズデータの設定条件を説明するための図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

［ショベルの構成］
まず、本実施形態に係るショベル１００の構成について説明する。ショベル１００は、本発明に係る情報処理装置を具備することにより、物体検出の検出精度を好適に向上できるように構成されている。

図１は、本実施形態に係るショベル１００の側面図である。
この図に示すように、ショベル１００は、下部走行体１と、旋回機構２を介して旋回可能に下部走行体１に搭載される上部旋回体３と、アタッチメントとしてのブーム４、アーム５及びバケット６と、オペレータが搭乗するキャビン１０とを備える。アタッチメントは、作業要素（例えば、バケット、クラッシャー、クレーン装置等）が設けられていれば、これに限られない。

下部走行体１は、例えば、左右一対のクローラを含み、それぞれのクローラが走行油圧モータ（不図示）で油圧駆動されることにより、ショベル１００を走行させる。
上部旋回体３は、旋回油圧モータ或いは電動機（共に不図示）等で駆動されることにより、下部走行体１に対して旋回する。

ブーム４は、上部旋回体３の前部中央に俯仰可能に枢着され、ブーム４の先端には、アーム５が上下回動可能に枢着され、アーム５の先端には、バケット６が上下回動可能に枢着される。ブーム４、アーム５及びバケット６は、それぞれ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９により油圧駆動される。
キャビン１０は、オペレータが搭乗する操縦室であり、例えば上部旋回体３の前部左側に搭載される。ショベル１００は、キャビン１０に搭乗するオペレータの操作に応じて、アクチュエータを動作させ、下部走行体１、上部旋回体３、ブーム４、アーム５及びバケット６等の被駆動要素を駆動する。

図２は、ショベル１００のシステム構成を示すブロック図である。
この図に示すように、ショベル１００は、上記構成のほか、コントローラ３０と、撮像装置４０と、距離センサ４１と、動作・姿勢状態センサ４２と、位置センサ４３と、操作装置４５と、表示装置５０と、音声出力装置６０と、通信機器８０とを備える。本発明に係る情報処理装置は、少なくともコントローラ３０を含む。

撮像装置４０は、ショベル１００の周辺を撮影してその画像をコントローラ３０に出力する。撮像装置４０は、後方カメラ４０Ｂ、左方カメラ４０Ｌ、右方カメラ４０Ｒを含む。ショベル１００の「周辺」とは、少なくともショベル１００から所定距離内の所定範囲を含んでいればよい。
後方カメラ４０Ｂは、上部旋回体３の後部に取り付けられ、上部旋回体３の後方を撮像する。
左方カメラ４０Ｌは、上部旋回体３の左側部に取り付けられ、上部旋回体３の左側方を撮像する。
右方カメラ４０Ｒは、上部旋回体３の右側部に取り付けられ、上部旋回体３の右側方を撮像する。
これら後方カメラ４０Ｂ、左方カメラ４０Ｌ及び右方カメラ４０Ｒの各々は、上部旋回体３において、光軸が斜め下方に向くように取り付けられ、ショベル１００近傍の地面からショベル１００の遠方までを含む上下方向の撮像範囲（画角）を有する。また、後方カメラ４０Ｂ、左方カメラ４０Ｌ及び右方カメラ４０Ｒの水平方向の撮像範囲（画角）は、例えば、合わせてショベル１００回りの略全方位を含む範囲となっている。

距離センサ４１は、ショベル１００の周辺の物体までの距離を測定してその情報（二次元又は三次元の距離情報）を取得する測距手段であり、取得した情報をコントローラ３０に出力する。距離センサ４１は、後方距離センサ４１Ｂ、左方距離センサ４１Ｌ、右方距離センサ４１Ｒを含む。
後方距離センサ４１Ｂは、上部旋回体３の後部に取り付けられ、上部旋回体３の後方の計測を行う。後方距離センサ４１Ｂの計測範囲は、後方カメラ４０Ｂの撮像範囲に対応している。
左方距離センサ４１Ｌは、上部旋回体３の左側部に取り付けられ、上部旋回体３の左側方の計測を行う。左方距離センサ４１Ｌの計測範囲は、左方カメラ４０Ｌの撮像範囲に対応している。
右方距離センサ４１Ｒは、上部旋回体３の右側部に取り付けられ、上部旋回体３の右側方の計測を行う。右方距離センサ４１Ｒの計測範囲は、右方カメラ４０Ｒの撮像範囲に対応している。
本実施形態では、各距離センサ４１として、光を利用したＬＩＤＡＲ（Light Detection and Ranging）が用いられる。ただし、距離センサ４１の種類は特に限定されず、例えばミリ波レーダーや、ステレオカメラによる測距装置などであってもよい。

また、撮像装置４０と距離センサ４１は、同方向を計測・撮影するものが互いに対応して組を成している。具体的には、後方カメラ４０Ｂと後方距離センサ４１Ｂが後方センサユニット４６Ｂを構成し、左方カメラ４０Ｌと左方距離センサ４１Ｌが左方センサユニット４６Ｌを構成し、右方カメラ４０Ｒと右方距離センサ４１Ｒが右方センサユニット４６Ｒを構成している。

動作・姿勢状態センサ４２は、ショベル１００の動作状態や姿勢状態を検出するセンサであり、検出結果をコントローラ３０に出力する。動作・姿勢状態センサ４２は、ブーム角度センサと、アーム角度センサと、バケット角度センサと、三軸慣性センサ（ＩＭＵ：Inertial Measurement Unit）と、旋回角度センサと、加速度センサとを含む。
これらのセンサは、ブーム等のシリンダのストロークセンサ、ロータリーエンコーダ等の回転情報を取得するセンサで構成されてもよく、ＩＭＵで取得される加速度（速度、位置も含んでもよい）により代替されてもよい。
アーム角度センサは、ブーム４を基準とするアーム５の回動角度（以下、「アーム角度」と称する）を検出する。
バケット角度センサは、アーム５を基準とするバケット６の回動角度（以下、「バケット角度」と称する）を検出する。
ＩＭＵは、ブーム４及びアーム５の各々に取り付けられ、所定の三軸に沿ったブーム４及びアーム５の加速度、及び、所定の三軸廻りのブーム４及びアーム５の角加速度を検出する。
旋回角度センサは、上部旋回体３の所定の角度方向を基準とする旋回角度を検出する。ただし、これに限られず、上部旋回体３に設けられたＧＰＳやＩＭＵセンサに基づいて旋回角度が検出されてもよい。
加速度センサは、上部旋回体３の旋回軸から離れた位置に取り付けられ、上部旋回体３の当該位置における加速度を検出する。これにより、加速度センサの検出結果に基づき、上部旋回体３が旋回しているのか、或いは、下部走行体１が走行しているのか等が判別されうる。

位置センサ４３は、ショベル１００の位置（現在位置）の情報を取得するセンサであり、本実施形態ではＧＰＳ（Global Positioning System）受信機である。位置センサ４３は、ショベル１００の位置の情報を含むＧＰＳ信号をＧＰＳ衛星から受信し、取得したショベル１００の位置情報をコントローラ３０に出力する。なお、位置センサ４３は、ショベル１００の位置の情報を取得できるものであればＧＰＳ受信機でなくともよく、例えばＧＰＳ以外の衛星測位システムを利用するものであってもよい。位置センサ４３は、下部走行体１に設けられてもよく、上部旋回体３に設けられていてもよい。

操作装置４５は、キャビン１０の操縦席付近に設けられ、オペレータが各動作要素（下部走行体１、上部旋回体３、ブーム４、アーム５及びバケット６等）の操作を行う操作手段である。換言すれば、操作装置４５は、各動作要素を駆動するそれぞれの油圧アクチュエータの操作を行う操作手段である。操作装置４５は、例えばレバーやペダル、各種ボタン等を含み、これらの操作内容に応じた操作信号をコントローラ３０に出力する。
また、操作装置４５は、撮像装置４０、距離センサ４１、動作・姿勢状態センサ４２、位置センサ４３、表示装置５０、音声出力装置６０、通信機器８０等の操作を行う操作手段でもあり、これら各部に対する操作指令をコントローラ３０に出力する。

表示装置５０は、キャビン１０内の操縦席の周辺に設けられ、コントローラ３０による制御の下、オペレータに通知する各種画像情報を表示する。表示装置５０は、例えば液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイであり、操作装置４５の少なくとも一部を兼ねるタッチパネル式であってもよい。

音声出力装置６０は、キャビン１０内の操縦席の周辺に設けられ、コントローラ３０による制御の下、オペレータに通知する各種音声情報を出力する。音声出力装置６０は、例えば、スピーカやブザー等である。

通信機器８０は、所定の無線通信規格に基づき、所定の通信ネットワーク（例えば、基地局を末端とする携帯電話ネットワークやインターネット網等）ＮＷを通じて、遠隔の外部機器や他のショベル１００等と各種情報を送受信する通信デバイスである。

コントローラ３０は、ショベル１００各部の動作を制御してショベル１００の駆動制御を行う制御装置である。コントローラ３０は、キャビン１０内に搭載される。コントローラ３０は、その機能が任意のハードウェア、ソフトウェア、或いはその組み合わせにより実現されてよく、例えば、ＣＰＵ，ＲＡＭ，ＲＯＭ，Ｉ／Ｏ等を含むマイクロコンピュータを中心に構成される。コントローラ３０は、これらの他にも、例えばＦＰＧＡやＡＳＩＣなどを含んで構成されてもよい。

また、コントローラ３０は、各種機能を実行する機能部として、ＯＧＭ計算部３１と、物体検出判定部３２とを含む。さらに、コントローラ３０は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等の内部メモリに規定される記憶領域としての記憶部３５を含む。

ＯＧＭ計算部３１は、撮像装置４０及び距離センサ４１からの出力に基づいて、距離情報を量子化して表現した二次元の占有格子地図（ＯＧＭ：Occupancy Grid Maps）を作成する。ＯＧＭは、検出した特定の物体（検出対象）の位置・速度などの存在確率を地図表示したものであり、より詳しくは、検出対象の距離情報に基づいてグリッド上の対応するセルに当該検出対象の存在確率に関する確率情報を載せたものである（図４参照）。ＯＧＭ計算部３１によるＯＧＭ作成の詳細は後述する。
なお、本実施例ではＯＧＭは二次元のものを用いているが、高さ情報を加えた三次元のＯＧＭでも良い。

物体検出判定部３２は、ＯＧＭ計算部３１が作成したＯＧＭ（後述の第３のＯＧＭ７３）に基づいて、ショベル１００の周辺の特定の物体（検出対象）の検出判定を行う。そして、物体検出判定部３２は、その検出結果（判定結果）を表示装置５０に出力させる。

記憶部３５は、ショベル１００の各部を動作させるための各種プログラムや各種データ等を格納するほか、コントローラ３０の作業領域としても機能する。本実施形態の記憶部３５は、各種プログラムのほか、撮像装置４０や距離センサ４１等が取得した各種データ、計算結果等を記憶する。また、記憶部３５には、後述の物体検出処理における検出対象の特徴量（画像特徴量）が予め記憶されている。記憶部３５では、オペレータにより検出対象として選択され得る様々な種類の物体や人の各々に対し、少なくとも１つの特徴量が対応付けられている。
さらに、記憶部３５には、後述の物体検出処理における検出対象の距離と検出サイズとを対応付けた検出サイズデータ３５１（図６参照）が予め記憶されている。本実施形態では、複数種類の検出対象に対応した複数の検出サイズデータ３５１が予め記憶されている。検出サイズデータ３５１の詳細については後述する。

また、ショベル１００は、所定の通信ネットワークＮＷを通じて、管理装置２００と相互に通信を行うことができる。通信ネットワークＮＷには、例えば、基地局を末端とする移動体通信網が含まれてよい。また、通信ネットワークＮＷには、上空の通信衛星を利用する衛星通信網が含まれてもよい。また、通信ネットワークＮＷには、インターネット網等が含まれてもよい。また、通信ネットワークＮＷには、ＷｉＦｉやブルートゥース（登録商標）等のプロトコルに準拠する近距離通信網を含んでもよい。これにより、ショベル１００は、各種情報を管理装置２００に送信（アップロード）することができる。
また、ショベル１００は、通信ネットワークＮＷを通じて、支援装置３００と相互に通信可能に構成されてもよい。

管理装置２００（外部装置、情報処理装置の一例）は、ショベル１００及び支援装置３００を所持するユーザ等と地理的に離れた位置に配置される。管理装置２００は、例えば、ショベル１００が作業する作業現場外に設けられる管理センタ等に設置され、一又は複数のサーバコンピュータ等を中心に構成されるサーバ装置である。この場合、サーバ装置は、システムを運用する事業者或いは当該事業者に関連する関連事業者が運営する自社サーバであってもよいし、レンタルサーバであってもよい。また、このサーバ装置は、いわゆるクラウドサーバであってもよい。また、管理装置２００は、ショベル１００の作業現場内の管理事務所等に配置されるサーバ装置（いわゆるエッジサーバ）であってもよいし、定置型或いは携帯型の汎用のコンピュータ端末であってもよい。
管理装置２００は、上述の如く、通信ネットワークＮＷを通じて、ショベル１００及び支援装置３００のそれぞれと相互に通信を行うことができる。これにより、管理装置２００は、ショベル１００からアップロードされる各種情報を受信し、記憶（蓄積）しておくことができる。また、管理装置２００は、支援装置３００からの要求に応じて、支援装置３００に各種情報を送信することができる。

支援装置３００（ユーザ端末、端末装置の一例）は、ユーザが利用するユーザ端末である。ユーザには、例えば、作業現場の監督者、管理者、ショベル１００のオペレータ、ショベル１００の管理者、ショベル１００のサービスマン、ショベル１００の開発者等が含まれてよい。支援装置３００は、例えば、ユーザが所持するラップトップ型のコンピュータ端末、タブレット端末、スマートフォン等の汎用の携帯端末である。また、支援装置３００は、デスクトップ型のコンピュータ等の定置型の汎用端末であってもよい。また、支援装置３００は、情報の提供を受けるための専用の端末（携帯端末或いは定置端末）であってもよい。
支援装置３００は、通信ネットワークＮＷを通じて、管理装置２００と相互に通信を行うことができる。これにより、支援装置３００は、管理装置２００から送信される情報を受信し、自身に搭載される表示装置を通じて、ユーザに情報を提供することができる。また、支援装置３００は、通信ネットワークＮＷを通じて、ショベル１００と相互に通信可能に構成されてもよい。

［ショベルの動作］
続いて、周辺の特定の物体を検出する物体検出処理を実行する際のショベル１００の動作について説明する。
図３は、この物体検出処理でのデータの流れを示すデータフロー図であり、図４（ａ）～（ｃ）は、後述の第１のＯＧＭ７１、第２のＯＧＭ７２、第３のＯＧＭ７３の一例を示す図である。図５は、物体検出処理での測定対象Ｄとその大きさを示す図であり、図６は、検出サイズデータ３５１の一例を示す図であり、図６の検出サイズデータ３５１の設定条件を説明するための図である。

物体検出処理は、コントローラ３０が内部の記憶装置に格納された所定のプログラムをＣＰＵ上で実行することにより実行される。この処理は、オペレータの操作に基づいて実行・終了されてもよいし、ショベル１００の運転中に継続的に実行されてもよい。
本実施形態では、検出対象として人体（人）が検出されるものとする。そのため、処理の実行時には、例えばオペレータの操作により検出対象として人体が選択され、この検出対象に対応した特徴量（例えば人の顔のもの）が記憶部３５から読み出されて設定されているものとする。

物体検出処理が実行されると、図３に示すように、まずコントローラ３０は、撮像装置４０によりショベル１００周辺の画像情報を取得するとともに、距離センサ４１によりショベル１００周辺の物体までの距離情報を取得する。コントローラ３０は、取得した画像情報及び距離情報を記憶部３５に記録させる。なお、ここでの撮像装置４０と距離センサ４１は、後方センサユニット４６Ｂ、左方センサユニット４６Ｌ又は右方センサユニット４６Ｒとして互いに対応するものである。
また、コントローラ３０は、上部旋回体３を旋回させながら周辺全周の撮影・計測を行ってもよい。

次に、コントローラ３０は、ＯＧＭ計算部３１により、ショベル１００周辺の人（人体）の存在を表すＯＧＭを作成する。
ここでは、ＯＧＭ計算部３１は、撮像装置４０が取得した画像に基づく第１のＯＧＭ７１と、距離センサ４１が取得した距離情報に基づく第２のＯＧＭ７２とを個別に作成し、これらを合成して第３のＯＧＭ７３を作成する。

具体的に、第１のＯＧＭ７１の作成では、まずカメラ用物体検出部３１１により、撮像装置４０が取得した画像から、例えば所定の特徴量を有する部分として人体が検出される。つまり、ここでは、撮像装置４０が取得した画像に基づいて、測定対象が所望の検出対象（人体）であるか否かが判定されている。
そして、カメラ用ＯＧＭ作成部３１２により、検出された人体の位置が解析されて地図表示されることで、第１のＯＧＭ７１が作成される。
ここでは、例えば図４（ａ）に示すような第１のＯＧＭ７１が作成される。第１のＯＧＭ７１では、撮像装置４０による撮影画像から人体（と推定される物体）として検出された物体領域Ｒ１の位置が、例えば格子状に区画された二次元マップ上に平面表示される。

一方、第２のＯＧＭ７２の作成では、図３に示すように、まず距離センサ用物体検出部３１３により、距離センサ４１が取得した距離情報に基づいて、例えば高さ情報を有する物体（以下、「測定対象」という。）Ｄが検出される。
次に、物体サイズ計算部３１４により、測定対象Ｄの大きさが取得される。本実施形態では、ＬＩＤＡＲである距離センサ４１が取得した点群データから、人体である測定対象Ｄの幅ｄｘ、奥行きｄｙ、高さｄｚが算出される（図５参照）。なお、ここで取得される測定対象Ｄの大きさは、物体候補抽出部３１５による後述の判定に用いられるものと対応するパラメータであればよい。

次に、物体候補抽出部３１５により、測定対象Ｄのうち、人体である蓋然性の高いものが抽出される。ここでは、物体候補抽出部３１５は、ショベル１００（距離センサ４１）から測定対象Ｄまでの距離に基づいて、検出対象の検出サイズの範囲を設定し、当該範囲に該当する測定対象Ｄを検出対象と判定する。
具体的に、まず物体候補抽出部３１５は、検出対象の種類に対応した検出サイズデータ３５１を記憶部３５から読み出して設定する。検出サイズデータ３５１は、図６に示すように、ショベル１００（距離センサ４１）から測定対象Ｄまでの距離と、検出サイズ（図６の例では検出高さ）の範囲（図６ではドットの範囲）とを対応付けたものである。
図６の検出サイズデータ３５１は、距離センサ４１の計測範囲（画角と向き）に起因して、検出サイズが距離に応じて変化する例を示したものである。具体的には、図７に示すように、距離センサ４１の高さが２．５［ｍ］、距離センサ４１の見下ろし角度が４０°、上下画角が２０°の場合、距離ａの位置において検出可能な最大高さは、（２．５√３－ａ）／２［ｍ］となる。そこで、この値が人体の凡その高さ１．７［ｍ］よりも小さくなる場合には、人体の高さを（２．５√３－ａ）／２と仮定する。また、人体の最小高さを０．６［ｍ］とする。

なお、「検出サイズ」とは、検出対象（測定対象Ｄ）の大きさを表すパラメータ（例えば、幅、奥行き、高さなど）のいずれか、またはこれらのうち少なくとも２つを含むその組み合わせであってもよい。例えば、検出サイズとして、幅ｄｘ、奥行きｄｙ、高さｄｚのいずれか２つ以上を含むその幾何平均（相乗平均）などを用いてもよい。また、複数のパラメータを用いる場合、当該複数のパラメータを個別に用いて複数回の判定を行ってもよい。このように複数のパラメータを用いることにより、検出対象の検出精度を向上できる。
また、検出サイズに含まれるパラメータは、機械学習（距離学習を含む）によって得られたものであってもよい。

それから、物体候補抽出部３１５は、算出された測定対象Ｄの大きさと、設定された検出サイズとに基づいて、当該測定対象Ｄが所望の検出対象であるか否かを判定する。
具体的には、算出された測定対象Ｄの大きさが検出サイズの範囲内であった場合に、当該測定対象Ｄが所望の検出対象であると判定される。
上記の処理は、検出された全ての測定対象Ｄに対して行われる。これにより、測定対象Ｄが所望の検出対象であるその尤度を向上させることができる。

次に、図３に示すように、距離センサ用ＯＧＭ作成部３１６により、物体候補抽出部３１５が検出対象であると判定した測定対象Ｄの位置が解析されて地図表示されることで、第２のＯＧＭ７２が作成される。
ここでは、例えば図４（ｂ）に示すような第２のＯＧＭ７２が作成される。この第２のＯＧＭ７２では、検出対象であると判定された測定対象Ｄが、例えば第１のＯＧＭ７１と同様に格子状に区画された二次元マップ上に、物体領域Ｒ２として平面表示される。

次に、図３に示すように、ＯＧＭ計算部３１は、ＯＧＭ合成部３１７により、第１のＯＧＭ７１と第２のＯＧＭ７２とを合成して第３のＯＧＭ７３を作成する。
本実施形態の第３のＯＧＭ７３では、例えば図４（ｃ）に示すように、図４（ａ）に示す第１のＯＧＭ７１と、図４（ｂ）に示す第２のＯＧＭ７２との、いずれにも物体領域Ｒ１、Ｒ２が存在するグリッドが、人体が検出された物体領域Ｒ３となっている。すなわち、第１のＯＧＭ７１及び第２のＯＧＭ７２の各々において、物体領域ありのグリッドに「１」、物体領域なしのグリッドに「０」を割り当てておき、合成の際に、対応するグリッド同士で和を取った数値が「１」の場合に当該グリッドを物体領域Ｒ３としている。
ただし、この合成手法は本実施形態のものに限定されない。例えば、第１のＯＧＭ７１及び第２のＯＧＭ７２の各々の作成時に、「０」と「１」だけではなく、各物体領域の存在の確からしさに応じて重み付けした数値を当該物体領域のグリッドに割り当ててもよい。そして、これらの合成時に、対応するグリッドの物体領域で和（又は積）を取った数値が所定の閾値以上となった場合に、当該グリッドを物体領域Ｒ３とすればよい。

次に、図３に示すように、コントローラ３０は、物体検出判定部３２により、ＯＧＭ計算部３１が作成した第３のＯＧＭ７３に基づいて、ショベル１００の周辺の人（人体）の検出判定を行う。本実施形態では、第３のＯＧＭ７３のうち物体領域Ｒ３とされたグリッドに人が存在すると判定される。あるいは、割り当てられた数値が所定値以上のグリッド（物体領域Ｒ３）のみに人が存在すると判定してもよい。
そして、物体検出判定部３２は、その検出結果（判定結果）を表示装置５０に出力させる。この表示態様は、検出対象の位置等が識別できるものであれば、特に限定されない。

［本実施形態の技術的効果］
以上のように、本実施形態によれば、測定対象Ｄまでの距離に基づいて所望の検出対象の大きさが設定され、測定対象Ｄの大きさと、設定された検出対象の大きさとに基づいて、測定対象Ｄが検出対象であるか否かが判定される。
これにより、距離情報を単純に用いる場合に比べ、物体検出の検出精度を向上させることができる。
すなわち、カメラ等の撮像手段のみによる物体検出では、例えば地面の模様などに起因する誤検知が起きやすかった。これに対し、距離センサを併用したセンサフュージョンでは、検出精度が向上するものの、例えば検出対象が段差上に位置する場合などには誤検知が発生するおそれがあった。この点、本実施形態によれば、このような場合でも物体検出の検出精度を向上でき、誤検知のおそれを低減できる。したがって、例えば工事現場などのように周辺環境が平坦でなく入り組んでいる（地面の凸凹や、雑多な物体配置）場合に、特に好適に適用できる。

また、本実施形態によれば、測定対象Ｄまでの距離と、検出対象の大きさの範囲とを対応付けた検出サイズデータ３５１が予め記憶されており、この検出サイズデータ３５１に基づいて検出対象の大きさの範囲が設定される。これにより、検出対象の大きさの範囲を簡便に設定できる。
また、本実施形態によれば、複数種類の検出対象に対応した複数の検出サイズデータ３５１が予め記憶されており、所望の検出対象の種類に対応した検出サイズデータ３５１が読み出されて用いられる。これにより、所望の検出対象の種類に対応したその大きさの範囲を好適に設定でき、ひいては、種々の検出対象を高精度に検出できる。

また、本実施形態によれば、撮像装置４０が取得した画像に基づいて測定対象Ｄが検出対象であるか否かが別途判定され、この判定結果と、測定対象Ｄまでの距離に基づく判定結果とに基づいて、測定対象Ｄが検出対象であるか否かがさらに判定される。
つまり、測定対象Ｄまでの距離に基づく物体検出の検出精度を向上させたうえで、これを画像情報に基づく物体検出結果と合成させて、さらに物体検出を行う。これにより、より一層検出精度の高い物体検出を行うことができる。

［その他］
以上、本発明の実施形態について説明したが、本発明は上記実施形態やその変形例に限られない。
例えば、上記実施形態では、測定対象Ｄまでの距離と、検出対象の大きさの範囲とを対応付けた検出サイズデータ３５１に基づいて、検出対象の大きさを設定することとした。しかし、測定対象Ｄまでの距離に基づいて検出対象の大きさが設定されれば、その設定手法はこれに限定されず、例えばオペレータが手動設定などしてもよい。また、検出サイズデータ３５１は、図６に例示した関数設定されたものでなくとも、判定用の閾値を有するものであればよい。

また、上記実施形態では、撮像装置４０や距離センサ４１がショベル１００に搭載されることとしたが、撮像装置４０や距離センサ４１はショベル１００に搭載されていなくともよく、例えば高所に設置、あるいはドローンなどの無人航空機に搭載されていてもよい。そして、取得したデータをショベル１００に送信してもよいし、あるいは、データを管理装置２００や支援装置３００に送信して検出処理を実行させ、その結果をショベル１００に送信してもよい。すなわち、本発明に係る情報処理装置は、ショベル等の車両に搭載されていなくともよい。

また、上記実施形態では、物体検出処理の検出対象が人体である場合を例に挙げて説明した。しかし、当該検出対象は人体に限定されず、種々の生物や物体等を含む。
その他、実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。

１００ ショベル
３０ コントローラ
３５ 記憶部
４０ 撮像装置（撮像手段）
４１ 距離センサ（測距手段）
７１ 第１のＯＧＭ
７２ 第２のＯＧＭ
７３ 第３のＯＧＭ
２００ 管理装置
３００ 支援装置
３５１ 検出サイズデータ（検出サイズ情報）
Ｄ 測定対象

Claims (7)

1. 測定対象までの距離を測定する測距手段と、
   前記測定対象の大きさを取得するサイズ取得手段と、
   前記測定対象までの距離に基づいて、所望の検出対象の大きさを設定するサイズ設定手段と、
   前記サイズ取得手段により取得された前記測定対象の大きさと、前記サイズ設定手段により設定された前記検出対象の大きさとに基づいて、前記測定対象が前記検出対象であるか否かを判定する判定手段と、
   前記測定対象の画像を取得する撮像手段と、
   前記画像に基づいて、前記測定対象が前記検出対象であるか否かを判定する第２判定手段と、
   前記判定手段の判定結果と、前記第２判定手段の判定結果とに基づいて、前記測定対象が前記検出対象であるか否かをさらに判定する第３判定手段と、
   を備える、
   情報処理装置。
2. 前記測定対象までの距離と、前記検出対象の大きさの範囲とを対応付けた検出サイズ情報を予め記憶する記憶手段を備え、
   前記サイズ設定手段は、前記検出サイズ情報に基づいて、前記検出対象の大きさの範囲を設定する、
   請求項１に記載の情報処理装置。
3. 前記記憶手段は、複数種類の前記検出対象に対応した複数の前記検出サイズ情報を予め記憶しており、
   前記サイズ設定手段は、前記検出対象の種類に対応した前記検出サイズ情報を前記記憶手段から読み出して用いる、
   請求項２に記載の情報処理装置。
4. 前記測距手段は、三次元の距離情報を取得可能であり、
   前記サイズ取得手段は、前記測距手段の測定結果に基づいて、前記測定対象の大きさを取得する、
   請求項１から請求項３のいずれか一項に記載の情報処理装置。
5. 前記サイズ取得手段は、前記測距手段の測定結果のみに基づいて、前記測定対象の大きさを取得し、
   前記検出対象の大きさは、前記検出対象の高さを含む、
   請求項４に記載の情報処理装置。
6. 前記検出対象は人体である、
   請求項１から請求項５のいずれか一項に記載の情報処理装置。
7. 測定対象までの距離を測定する測距手段と、前記測定対象の画像を取得する撮像手段と、を備える情報処理装置の制御プログラムであって、
   コンピュータを、
   前記測定対象の大きさを取得するサイズ取得手段、
   前記測定対象までの距離に基づいて、所望の検出対象の大きさを設定するサイズ設定手段、
   前記サイズ取得手段により取得された前記測定対象の大きさと、前記サイズ設定手段により設定された前記検出対象の大きさとに基づいて、前記測定対象が前記検出対象であるか否かを判定する判定手段、
   前記測定対象の画像に基づいて、前記測定対象が前記検出対象であるか否かを判定する第２判定手段、
   前記判定手段の判定結果と、前記第２判定手段の判定結果とに基づいて、前記測定対象が前記検出対象であるか否かをさらに判定する第３判定手段、
   として機能させる、
   情報処理装置の制御プログラム。

Images