Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7720727B2 - 情報処理装置、情報処理装置の制御プログラム - Google Patents
[go: Go Back, main page]

JP7720727B2 - 情報処理装置、情報処理装置の制御プログラム - Google Patents

情報処理装置、情報処理装置の制御プログラム

Info

Publication number
JP7720727B2
JP7720727B2 JP2021109067A JP2021109067A JP7720727B2 JP 7720727 B2 JP7720727 B2 JP 7720727B2 JP 2021109067 A JP2021109067 A JP 2021109067A JP 2021109067 A JP2021109067 A JP 2021109067A JP 7720727 B2 JP7720727 B2 JP 7720727B2
Authority
JP
Japan
Prior art keywords
information
map
ogm
processing device
map information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021109067A
Other languages
English (en)
Other versions
JP2023006459A (ja
Inventor
健太郎 長井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Priority to JP2021109067A priority Critical patent/JP7720727B2/ja
Publication of JP2023006459A publication Critical patent/JP2023006459A/ja
Application granted granted Critical
Publication of JP7720727B2 publication Critical patent/JP7720727B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、情報処理装置及びその制御プログラムに関する。
従来、カメラや物理的なセンサを用いて、対象の周辺の情報を取得する技術が知られている。
例えば、特許文献1に記載の技術では、対象(車両)の周辺における物体の存在確率を表すマップ占有格子地図(OGM:Occupancy Grid Maps)などの地図情報を作成し、このマップを利用して対象の動作制御を行っている。このOGMは格子によって仕切られており、各格子における物体の存在確率を示すことによって周囲状況がどのようになっているかを判断する。
特開2011-123551号公報
しかしながら、単純に対象の周辺を含む範囲のマップを作成すると、これを用いて好適に動作制御できない場合がある。
例えば、対象が作業機械の場合、繊細な作業も検出できるように格子サイズは細かい方が望ましいうえ、前後左右に上方も加えた全方位の情報が求められる。そのため、計算の負荷が重くなって時間を要してしまい、好適に動作制御できないおそれが生じる。特に車載用に利用される小型コンピュータあるいはエッジコンピューティングにおいては、そのおそれが強くなる。
本発明は、上記事情に鑑みてなされたもので、OGM等の地図情報を用いて好適に対象の動作制御を行うことを目的とする。
本発明は、情報処理装置であって、
対象の周辺の情報を取得する情報取得手段と、
前記情報取得手段が取得した情報に基づいて、第1の領域における前記情報を地図表示した第1地図情報を作成する第1地図作成手段と、
前記第1地図情報に基づいて、前記第1の領域よりも広い第2の領域における前記情報を地図表示した第2地図情報を作成する第2地図作成手段と、
前記第1地図情報に基づいて、前記対象を動作制御する動作制御手段と、
を備え
前記第1地図作成手段は、情報取得範囲が互いに異なる複数の前記情報取得手段が取得した情報に基づいて、互いに異なる領域を有する複数の前記第1地図情報を作成し、
前記第2地図作成手段は、前記複数の第1地図情報に基づいて前記第2地図情報を作成する構成とした。
また、本発明は、対象の周辺の情報を取得する情報取得手段を備える情報処理装置の制御プログラムであって、
コンピュータを、
前記情報取得手段が取得した情報に基づいて、第1の領域における前記情報を地図表示した第1地図情報を作成する第1地図作成手段、
前記第1地図情報に基づいて、前記第1の領域よりも広い第2の領域における前記情報を地図表示した第2地図情報を作成する第2地図作成手段、
前記第1地図情報に基づいて、前記対象を動作制御する動作制御手段、
として機能させ
前記第1地図作成手段は、情報取得範囲が互いに異なる複数の前記情報取得手段が取得した情報に基づいて、互いに異なる領域を有する複数の前記第1地図情報を作成し、
前記第2地図作成手段は、前記複数の第1地図情報に基づいて前記第2地図情報を作成するようにした。
本発明によれば、地図情報を用いて好適に対象の動作制御を行うことができる。
本実施形態に係るショベルの側面図である。 図1のショベルのシステム構成を示すブロック図である。 本実施形態の物体検出処理でのデータの流れを示すデータフロー図である。 本実施形態の第1のOGM、第2のOGM、ローカルOGMの一例を示す図である。 本実施形態のローカルOGM、グローバルOGMの一例を示す図である。 本実施形態の物体検出処理の変形例を説明するための図である。 本実施形態の撮像装置及び距離センサのチルト角とローカルOGMの位置及び範囲との関係を説明するための図である。
以下、本発明の実施形態について、図面を参照して詳細に説明する。
[ショベルの構成]
まず、本実施形態に係るショベル100の構成について説明する。ショベル100は、本発明に係る情報処理装置を具備することにより、地図情報を用いて好適に動作制御できるように構成されている。
図1は、本実施形態に係るショベル100の側面図である。
この図に示すように、ショベル100は、下部走行体1と、旋回機構2を介して旋回可能に下部走行体1に搭載される上部旋回体3と、アタッチメントとしてのブーム4、アーム5及びバケット6と、オペレータが搭乗するキャビン10とを備える。アタッチメントは、作業要素(例えば、バケット、クラッシャー、クレーン装置等)が設けられていれば、これに限られない。
下部走行体1は、例えば、左右一対のクローラを含み、それぞれのクローラが走行油圧モータ(不図示)で油圧駆動されることにより、ショベル100を走行させる。
上部旋回体3は、旋回油圧モータ或いは電動機(共に不図示)等で駆動されることにより、下部走行体1に対して旋回する。
ブーム4は、上部旋回体3の前部中央に俯仰可能に枢着され、ブーム4の先端には、アーム5が上下回動可能に枢着され、アーム5の先端には、バケット6が上下回動可能に枢着される。ブーム4、アーム5及びバケット6は、それぞれ、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9により油圧駆動される。
キャビン10は、オペレータが搭乗する操縦室であり、例えば上部旋回体3の前部左側に搭載される。ショベル100は、キャビン10に搭乗するオペレータの操作に応じて、アクチュエータを動作させ、下部走行体1、上部旋回体3、ブーム4、アーム5及びバケット6等の被駆動要素を駆動する。
図2は、ショベル100のシステム構成を示すブロック図である。
この図に示すように、ショベル100は、上記構成のほか、コントローラ30と、撮像装置40と、距離センサ41と、動作・姿勢状態センサ42と、位置センサ43と、操作装置45と、表示装置50と、音声出力装置60と、通信機器80とを備える。本発明に係る情報処理装置は、少なくともコントローラ30を含む。
撮像装置40は、ショベル100の周辺を撮影してその画像をコントローラ30に出力する。撮像装置40は、後方カメラ40B、左方カメラ40L、右方カメラ40Rを含む。ショベル100の「周辺」とは、少なくともショベル100から所定距離内の所定範囲を含んでいればよい。
後方カメラ40Bは、上部旋回体3の後部に取り付けられ、上部旋回体3の後方を撮像する。
左方カメラ40Lは、上部旋回体3の左側部に取り付けられ、上部旋回体3の左側方を撮像する。
右方カメラ40Rは、上部旋回体3の右側部に取り付けられ、上部旋回体3の右側方を撮像する。
これら後方カメラ40B、左方カメラ40L及び右方カメラ40Rの各々は、上部旋回体3において、光軸が斜め下方に向くように取り付けられ、ショベル100近傍の地面からショベル100の遠方までを含む上下方向の撮像範囲(画角)を有する。また、後方カメラ40B、左方カメラ40L及び右方カメラ40Rの水平方向の撮像範囲(画角)は、例えば、合わせてショベル100回りの略全方位を含む範囲となっている。
距離センサ41は、ショベル100の周辺の物体までの距離を測定してその情報(二次元又は三次元の距離情報)を取得する測距手段であり、取得した情報をコントローラ30に出力する。距離センサ41は、後方距離センサ41B、左方距離センサ41L、右方距離センサ41Rを含む。
後方距離センサ41Bは、上部旋回体3の後部に取り付けられ、上部旋回体3の後方の計測を行う。後方距離センサ41Bの計測範囲は、後方カメラ40Bの撮像範囲に対応している。
左方距離センサ41Lは、上部旋回体3の左側部に取り付けられ、上部旋回体3の左側方の計測を行う。左方距離センサ41Lの計測範囲は、左方カメラ40Lの撮像範囲に対応している。
右方距離センサ41Rは、上部旋回体3の右側部に取り付けられ、上部旋回体3の右側方の計測を行う。右方距離センサ41Rの計測範囲は、右方カメラ40Rの撮像範囲に対応している。
本実施形態では、各距離センサ41として、光を利用したLIDAR(Light Detection and Ranging)が用いられる。ただし、距離センサ41の種類は特に限定されず、例えばミリ波レーダーや、ステレオカメラによる測距装置などであってもよい。
また、撮像装置40と距離センサ41は、同方向を計測・撮影するものが互いに対応して組を成している。具体的には、後方カメラ40Bと後方距離センサ41Bが後方センサユニット46Bを構成し、左方カメラ40Lと左方距離センサ41Lが左方センサユニット46Lを構成し、右方カメラ40Rと右方距離センサ41Rが右方センサユニット46Rを構成している。
動作・姿勢状態センサ42は、ショベル100の動作状態や姿勢状態を検出するセンサであり、検出結果をコントローラ30に出力する。動作・姿勢状態センサ42は、ブーム角度センサと、アーム角度センサと、バケット角度センサと、三軸慣性センサ(IMU:Inertial Measurement Unit)と、旋回角度センサと、加速度センサとを含む。
これらのセンサは、ブーム等のシリンダのストロークセンサ、ロータリーエンコーダ等の回転情報を取得するセンサで構成されてもよく、IMUで取得される加速度(速度、位置も含んでもよい)により代替されてもよい。
アーム角度センサは、ブーム4を基準とするアーム5の回動角度(以下、「アーム角度」と称する)を検出する。
バケット角度センサは、アーム5を基準とするバケット6の回動角度(以下、「バケット角度」と称する)を検出する。
IMUは、ブーム4及びアーム5の各々に取り付けられ、所定の三軸に沿ったブーム4及びアーム5の加速度、及び、所定の三軸廻りのブーム4及びアーム5の角加速度を検出する。
旋回角度センサは、上部旋回体3の所定の角度方向を基準とする旋回角度を検出する。ただし、これに限られず、上部旋回体3に設けられたGPSやIMUセンサに基づいて旋回角度が検出されてもよい。
加速度センサは、上部旋回体3の旋回軸から離れた位置に取り付けられ、上部旋回体3の当該位置における加速度を検出する。これにより、加速度センサの検出結果に基づき、上部旋回体3が旋回しているのか、或いは、下部走行体1が走行しているのか等が判別されうる。
位置センサ43は、ショベル100の位置(現在位置)の情報を取得するセンサであり、本実施形態ではGPS(Global Positioning System)受信機である。位置センサ43は、ショベル100の位置の情報を含むGPS信号をGPS衛星から受信し、取得したショベル100の位置情報をコントローラ30に出力する。なお、位置センサ43は、ショベル100の位置の情報を取得できるものであればGPS受信機でなくともよく、例えばGPS以外の衛星測位システムを利用するものであってもよい。位置センサ43は、下部走行体1に設けられてもよく、上部旋回体3に設けられていてもよい。
操作装置45は、キャビン10の操縦席付近に設けられ、オペレータが各動作要素(下部走行体1、上部旋回体3、ブーム4、アーム5及びバケット6等)の操作を行う操作手段である。換言すれば、操作装置45は、各動作要素を駆動するそれぞれの油圧アクチュエータの操作を行う操作手段である。操作装置45は、例えばレバーやペダル、各種ボタン等を含み、これらの操作内容に応じた操作信号をコントローラ30に出力する。
また、操作装置45は、撮像装置40、距離センサ41、動作・姿勢状態センサ42、位置センサ43、表示装置50、音声出力装置60、通信機器80等の操作を行う操作手段でもあり、これら各部に対する操作指令をコントローラ30に出力する。
表示装置50は、キャビン10内の操縦席の周辺に設けられ、コントローラ30による制御の下、オペレータに通知する各種画像情報を表示する。表示装置50は、例えば液晶ディスプレイや有機EL(Electroluminescence)ディスプレイであり、操作装置45の少なくとも一部を兼ねるタッチパネル式であってもよい。
音声出力装置60は、キャビン10内の操縦席の周辺に設けられ、コントローラ30による制御の下、オペレータに通知する各種音声情報を出力する。音声出力装置60は、例えば、スピーカやブザー等である。
通信機器80は、所定の無線通信規格に基づき、所定の通信ネットワーク(例えば、基地局を末端とする携帯電話ネットワークやインターネット網等)NWを通じて、遠隔の外部機器や他のショベル100等と各種情報を送受信する通信デバイスである。
コントローラ30は、ショベル100各部の動作を制御してショベル100の駆動制御を行う制御装置である。コントローラ30は、キャビン10内に搭載される。コントローラ30は、その機能が任意のハードウェア、ソフトウェア、或いはその組み合わせにより実現されてよく、例えば、CPU,RAM,ROM,I/O等を含むマイクロコンピュータを中心に構成される。コントローラ30は、これらの他にも、例えばFPGAやASICなどを含んで構成されてもよい。
また、コントローラ30は、各種機能を実行する機能部として、OGM計算部31と、物体検出判定部32とを含む。さらに、コントローラ30は、EEPROM(Electrically Erasable Programmable Read-Only Memory)等の内部メモリに規定される記憶領域としての記憶部35を含む。
OGM計算部31は、撮像装置40及び距離センサ41からの出力に基づいて、距離情報を量子化して表現した二次元の占有格子地図ないしはOGMを作成する。OGMは、検出した特定の物体(検出対象)の位置・速度などの存在確率を地図表示したものであり、より詳しくは、検出対象の距離情報に基づいてグリッド上の対応するセルに当該検出対象の存在確率に関する確率情報を載せたものである(図4参照)。
なお本実施例では二次元のOGMの例を挙げているが、高さ情報を加えた三次元のOGMでも同様である。
より詳しくは、OGM計算部31は、撮像装置40の出力に基づいて物体を検出しその位置を解析してOGM(後述の第1のOGM71)を作成するカメラ用OGM作成部311と、距離センサ41の出力に基づいて物体を検出してOGM(後述の第2のOGM72)を作成する距離センサ用OGM作成部312と、これらのOGMを合成して局所的なローカルOGM73を作成するローカルOGM作成部313と、ローカルOGM73に基づいて広範なグローバルOGM74を作成するグローバルOGM作成部314とを含む(図3参照)。
物体検出判定部32は、OGM計算部31が作成した各ローカルOGM73に基づいて、ショベル100の周辺の特定の物体(検出対象)の検出判定を行う。そして、物体検出判定部32は、その検出結果(判定結果)を表示装置50に出力させる。
記憶部35は、ショベル100の各部を動作させるための各種プログラムや各種データ等を格納するほか、コントローラ30の作業領域としても機能する。本実施形態の記憶部35は、各種プログラムのほか、撮像装置40や距離センサ41等が取得した各種データ、計算結果等を記憶する。また、記憶部35には、後述の物体検出処理における検出対象の特徴量(画像特徴量)が予め記憶されている。記憶部35では、オペレータにより検出対象として選択され得る様々な種類の物体や人の各々に対し、少なくとも1つの特徴量が対応付けられている。
また、ショベル100は、所定の通信ネットワークNWを通じて、管理装置200と相互に通信を行うことができる。通信ネットワークNWには、例えば、基地局を末端とする移動体通信網が含まれてよい。また、通信ネットワークNWには、上空の通信衛星を利用する衛星通信網が含まれてもよい。また、通信ネットワークNWには、インターネット網等が含まれてもよい。また、通信ネットワークNWには、WiFiやブルートゥース(登録商標)等のプロトコルに準拠する近距離通信網を含んでもよい。これにより、ショベル100は、各種情報を管理装置200に送信(アップロード)することができる。
また、ショベル100は、通信ネットワークNWを通じて、支援装置300と相互に通信可能に構成されてもよい。
管理装置200(外部装置、情報処理装置の一例)は、ショベル100及び支援装置300を所持するユーザ等と地理的に離れた位置に配置される。管理装置200は、例えば、ショベル100が作業する作業現場外に設けられる管理センタ等に設置され、一又は複数のサーバコンピュータ等を中心に構成されるサーバ装置である。この場合、サーバ装置は、システムを運用する事業者或いは当該事業者に関連する関連事業者が運営する自社サーバであってもよいし、レンタルサーバであってもよい。また、このサーバ装置は、いわゆるクラウドサーバであってもよい。また、管理装置200は、ショベル100の作業現場内の管理事務所等に配置されるサーバ装置(いわゆるエッジサーバ)であってもよいし、定置型或いは携帯型の汎用のコンピュータ端末であってもよい。
管理装置200は、上述の如く、通信ネットワークNWを通じて、ショベル100及び支援装置300のそれぞれと相互に通信を行うことができる。これにより、管理装置200は、ショベル100からアップロードされる各種情報を受信し、記憶(蓄積)しておくことができる。また、管理装置200は、支援装置300からの要求に応じて、支援装置300に各種情報を送信することができる。
支援装置300(ユーザ端末、端末装置の一例)は、ユーザが利用するユーザ端末である。ユーザには、例えば、作業現場の監督者、管理者、ショベル100のオペレータ、ショベル100の管理者、ショベル100のサービスマン、ショベル100の開発者等が含まれてよい。支援装置300は、例えば、ユーザが所持するラップトップ型のコンピュータ端末、タブレット端末、スマートフォン等の汎用の携帯端末である。また、支援装置300は、デスクトップ型のコンピュータ等の定置型の汎用端末であってもよい。また、支援装置300は、情報の提供を受けるための専用の端末(携帯端末或いは定置端末)であってもよい。
支援装置300は、通信ネットワークNWを通じて、管理装置200と相互に通信を行うことができる。これにより、支援装置300は、管理装置200から送信される情報を受信し、自身に搭載される表示装置を通じて、ユーザに情報を提供することができる。また、支援装置300は、通信ネットワークNWを通じて、ショベル100と相互に通信可能に構成されてもよい。
[ショベルの動作]
続いて、周辺の特定の物体を検出する物体検出処理を実行する際のショベル100の動作について説明する。
図3は、この物体検出処理でのデータの流れを示すデータフロー図であり、図4(a)~(c)は、後述の第1のOGM71、第2のOGM72、ローカルOGM73の一例を示す図であり、図5(a)、(b)は、後述のローカルOGM73、グローバルOGM74の一例を示す図である。
物体検出処理は、コントローラ30が内部の記憶装置に格納された所定のプログラムをCPU上で実行することにより実行される。この処理は、オペレータの操作に基づいて実行・終了されてもよいし、ショベル100の運転中に継続的に実行されてもよい。
本実施形態では、検出対象として人体(人)が検出されるものとする。そのため、処理の実行時には、例えばオペレータの操作により検出対象として人体が選択され、この検出対象に対応した特徴量(例えば人の顔のもの)が記憶部35から読み出されて設定されているものとする。
物体検出処理が実行されると、図3に示すように、まずコントローラ30は、撮像装置40によりショベル100周辺の画像情報を取得するとともに、距離センサ41によりショベル100周辺の物体までの距離情報を取得する。コントローラ30は、取得した画像情報及び距離情報を記憶部35に記録させる。なお、ここでの撮像装置40と距離センサ41は、後方センサユニット46B、左方センサユニット46L又は右方センサユニット46Rとして互いに対応するものである。
また、コントローラ30は、上部旋回体3を旋回させながら周辺全周の撮影・計測を行ってもよい。
次に、コントローラ30は、OGM計算部31により、ショベル100周辺の人(人体)の存在を表すOGMを作成する。
ここでは、OGM計算部31は、まず、撮像装置40が取得した画像に基づく第1のOGM71と、距離センサ41が取得した距離情報に基づく第2のOGM72とを個別に作成する。
第1のOGM71は、カメラ用OGM作成部311により、撮像装置40が取得した画像情報に基づいて、人体が検出されてそのOGMとして作成される。
ここでは、例えば図4(a)に示すような第1のOGM71が作成される。第1のOGM71では、撮像装置40による撮影画像から人体(と推定される物体)として検出された物体領域R1の位置が、例えば格子状に区画された二次元マップ上に平面表示される。
また、第2のOGM72は、距離センサ用OGM作成部312により、距離センサ41が取得した距離情報に基づいて、人体が検出されてそのOGMとして作成される。
ここでは、例えば図4(b)に示すような第2のOGM72が作成される。この第2のOGM72では、距離情報に基づいて人体(と推定される物体)として検出された物体領域R2の位置が、例えば第1のOGM71と同様に格子状に区画された二次元マップ上に平面表示される。
次に、図3に示すように、OGM計算部31は、ローカルOGM作成部313により、第1のOGM71と第2のOGM72とを合成してローカルOGM73を作成する。
本実施形態のローカルOGM73では、例えば図4(c)に示すように、図4(a)に示す第1のOGM71と、図4(b)に示す第2のOGM72との、いずれにも物体領域R1、R2が存在するグリッドが、人体が検出された物体領域R3となっている。すなわち、第1のOGM71及び第2のOGM72の各々において、物体領域ありのグリッドに「1」、物体領域なしのグリッドに「0」を割り当てておき、合成の際に、対応するグリッド同士で和を取った数値が「1」の場合に当該グリッドを物体領域R3としている。
ただし、この合成手法は本実施形態のものに限定されない。例えば、第1のOGM71及び第2のOGM72の各々の作成時に、「0」と「1」だけではなく、各物体領域の存在の確からしさに応じて重み付けした数値を当該物体領域のグリッドに割り当ててもよい。そして、これらの合成時に、対応するグリッドの物体領域で和(又は積)を取った数値が所定の閾値以上となった場合に、当該グリッドを物体領域R3とすればよい。
ローカルOGM73は、本発明に係る第1地図情報の一例であり、図5(a)に示すように、ショベル100の周辺のうち、局所的な範囲(領域)を有するOGMである。本実施形態では、ショベル100の全周を囲むように、複数(6個)のローカルOGM73が作成される。
なお、ローカルOGM73の範囲や数量は特に限定されない。また、ローカルOGM73のセルサイズは、計算負荷が過大にならない範囲で細かい方が、物体検出の精度を向上させる点で好ましい。
次に、図3に示すように、コントローラ30は、物体検出判定部32により、OGM計算部31が作成した各ローカルOGM73に基づいて、ショベル100の周辺の人(人体)の検出判定を行う。本実施形態では、ローカルOGM73のうち物体領域R3とされたグリッドに人が存在すると判定される。あるいは、割り当てられた数値が所定値以上のグリッド(物体領域R3)のみに人が存在すると判定してもよい。
このように、比較的に範囲が狭いローカルOGM73を用いて物体検出を行うことにより、その検出判定計算を高速化できる。なお、ローカルOGM73を直接利用する制御は、物体検出に限定されず、ショベル100の動作制御に広く適用でき、特に即応性が要求される動作制御(例えば衝突判定等)に好適に適用できる。
そして、物体検出判定部32は、その検出結果(判定結果)を表示装置50に出力させる。この表示態様は、検出対象の位置等が識別できるものであれば、特に限定されない。
次に、OGM計算部31は、グローバルOGM作成部314により、ローカルOGM73等に基づいてグローバルOGM74を作成する。
グローバルOGM74は、本発明に係る第2地図情報の一例であり、図5(b)に示すように、ショベル100の周辺の広範な範囲(領域)であって、ローカルOGM73よりも遠方までの範囲を有するOGMである。グローバルOGM作成部314は、複数のローカルOGM73から周辺情報を取得してグローバルOGM74を作成する。ただし、いずれのローカルOGM73にも含まれない範囲は、別途作成してもよい。グローバルOGM74の作成時間(更新周期)は、ローカルOGM73よりも長い。
なお、グローバルOGM74は、ローカルOGM73よりも広い範囲のものであればよい。また、グローバルOGM74のセルサイズは、ローカルOGM73より粗くてもよい。
そして、グローバルOGM作成部314は、グローバルOGM74(の情報)を表示装置50に出力させる。オペレータは、グローバルOGM74を視認することにより、ショベル100周辺の広範な範囲の状況を認識することができる。
なお、グローバルOGM74を利用する態様は、オペレータへの情報伝達(表示)に限定されず、例えば即応性が要求されないもの等に好適に適用できる。
[本実施形態の技術的効果]
以上のように、本実施形態によれば、撮像装置40や距離センサ41で取得されたショベル100周辺の情報に基づいて、ショベル100周辺の局所的な領域の情報を地図表示したローカルOGM73が作成され、このローカルOGM73に基づいて、当該ローカルOGM73の領域(範囲)よりも広い領域の情報を地図表示したグローバルOGM74が作成される。そして、ローカルOGM73に基づいて、ショベル100が動作制御される。
このように、範囲が狭いローカルOGM73を用いて動作制御を行うことにより、単純に対象の周辺を広く含むマップを作成して動作制御する場合に比べ、その動作制御を高速化できる。したがって、地図情報を用いて好適に対象の動作制御を行うことができる。
また、本実施形態によれば、ローカルOGM73よりも範囲の広いグローバルOGM74は、表示装置50に出力される。
これにより、比較的に作成時間(更新周期)の長いグローバルOGM74であっても、オペレータへの情報伝達(表示)用として好適に利用できる。
すなわち、より更新周期の短いローカルOGM73を用いて即応性が要求される動作制御を好適に行いつつ、より更新周期の長いグローバルOGM74を即応性の要求されない表示用途に好適に利用できる。
[変形例1]
図6は、本実施形態の物体検出処理の変形例を説明するための図である。
物体検出判定部32は、物体検出を行うときに、ショベル100の動作状態に基づいて、複数のローカルOGM73から、当該動作状態に対応する少なくとも1つのローカルOGM73を選択し、この選択されたローカルOGM73のみを用いて物体検出を行ってもよい。
ここで、ショベル100の「動作状態」とは、ショベル100の移動、旋回、アタッチメントの動作等の各状態を含む。また、利用しないローカルOGM73は、そもそも作成しなくてもよい。
例えば図6(a)に示すように、ショベル100が移動する場合には、その進行方向に位置するローカルOGM73(73RF、73LF)のみを用いて物体検出(動作制御)を行ってもよい。
あるいは図6(b)に示すように、ショベル100(上部旋回体3)が旋回するときには、この旋回に伴って上部旋回体3やアタッチメントが含まれる(と予想される)領域のローカルOGM73(73RF、73R、73RB,73L)のみを用いて物体検出(動作制御)を行ってもよい。
このように、ショベル100の動作状態に基づいてローカルOGM73を少なくとも1つ選択し、当該選択したローカルOGM73に基づいてショベル100の動作制御することにより、その動作制御をさらに高速化できる。
[変形例2]
図7は、撮像装置40及び距離センサ41のチルト角とローカルOGM73の位置及び範囲(大きさ)との関係を説明するための図である。
撮像装置40及び距離センサ41は、PTZ状態(パン、チルト、ズームの各動作状態)に応じて、その検出位置や検出範囲が変化する。そのため、図7に一例(チルト動作例)を示すように、撮像装置40及び距離センサ41のPTZ状態に応じて、ローカルOGM73の位置及び範囲が変わる。
そこで、所望のローカルOGM73の位置及び範囲に基づいて、撮像装置40及び距離センサ41を適宜PTZ動作させてもよい。この場合、撮像装置40及び距離センサ41の各々はPTZ動作(パン、チルト、ズームの各動作)が可能に構成され、コントローラ30がこれを制御可能であるのは勿論である。
[その他]
以上、本発明の実施形態について説明したが、本発明は上記実施形態やその変形例に限られない。
例えば、上記実施形態では、撮像装置40や距離センサ41がショベル100に搭載されることとしたが、撮像装置40や距離センサ41はショベル100に搭載されていなくともよく、例えば高所に設置、あるいはドローンなどの無人航空機に搭載されていてもよい。そして、取得したデータをショベル100に送信してもよいし、あるいは、データを管理装置200や支援装置300に送信して検出処理を実行させ、その結果をショベル100に送信してもよい。
また、上記実施形態では、撮像装置と距離センサの(出力に基づく)検出結果を合成(フュージョン)する場合を例に挙げて説明した。しかし、本発明に係る情報取得手段は、対象(ショベル)の周辺の情報を取得できるものであれば、撮像装置と距離センサに限定されず、例えばミリ波センサや音声(音センサ)などを含んでもよい(その組み合わせは限定されない)。
また、本発明に係る情報処理装置は、対象の周辺の情報を処理するものであればよく、当該対象に搭載されるものに限定されない。
また、この場合の「対象」は、ショベルに限定されず、建設機械全般に適用可能であるのは勿論のこと、建設機械を含む作業機械にも好適に適用可能である。
その他、実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
100 ショベル
30 コントローラ
31 OGM計算部
32 物体検出判定部
35 記憶部
40 撮像装置
41 距離センサ
42 動作・姿勢状態センサ
50 表示装置
73 ローカルOGM(第1地図情報)
74 グローバルOGM(第2地図情報)
200 管理装置
300 支援装置

Claims (7)

  1. 対象の周辺の情報を取得する情報取得手段と、
    前記情報取得手段が取得した情報に基づいて、第1の領域における前記情報を地図表示した第1地図情報を作成する第1地図作成手段と、
    前記第1地図情報に基づいて、前記第1の領域よりも広い第2の領域における前記情報を地図表示した第2地図情報を作成する第2地図作成手段と、
    前記第1地図情報に基づいて、前記対象を動作制御する動作制御手段と、
    を備え
    前記第1地図作成手段は、情報取得範囲が互いに異なる複数の前記情報取得手段が取得した情報に基づいて、互いに異なる領域を有する複数の前記第1地図情報を作成し、
    前記第2地図作成手段は、前記複数の第1地図情報に基づいて前記第2地図情報を作成する、
    情報処理装置。
  2. 前記第2地図情報を表示手段に表示させる表示制御手段を備える、
    請求項1に記載の情報処理装置。
  3. 前記対象の動作状態を検出する検出手段を備え、
    前記動作制御手段は、
    前記対象の動作状態に基づいて、前記複数の第1地図情報から少なくとも1つの第1地図情報を選択し、
    前記少なくとも1つの第1地図情報に基づいて、前記対象を動作制御する、
    請求項1又は請求項2に記載の情報処理装置。
  4. 前記情報取得手段は、
    画像情報を取得する撮像手段と、距離情報を取得する測距手段と、を含み、
    前記情報として、前記対象の周辺の物体の位置及び存在確率を取得する、
    請求項1から請求項3のいずれか一項に記載の情報処理装置。
  5. 前記撮像手段及び前記測距手段は、PTZ動作が可能に構成され、
    前記第1地図作成手段は、作成する前記第1地図情報の位置及び範囲に基づいて、前記撮像手段及び前記測距手段をPTZ動作させる、
    請求項4に記載の情報処理装置。
  6. 前記対象は建設機械である、
    請求項1から請求項5のいずれか一項に記載の情報処理装置。
  7. 対象の周辺の情報を取得する情報取得手段を備える情報処理装置の制御プログラムであって、
    コンピュータを、
    前記情報取得手段が取得した情報に基づいて、第1の領域における前記情報を地図表示した第1地図情報を作成する第1地図作成手段、
    前記第1地図情報に基づいて、前記第1の領域よりも広い第2の領域における前記情報を地図表示した第2地図情報を作成する第2地図作成手段、
    前記第1地図情報に基づいて、前記対象を動作制御する動作制御手段、
    として機能させ
    前記第1地図作成手段は、情報取得範囲が互いに異なる複数の前記情報取得手段が取得した情報に基づいて、互いに異なる領域を有する複数の前記第1地図情報を作成し、
    前記第2地図作成手段は、前記複数の第1地図情報に基づいて前記第2地図情報を作成する、
    情報処理装置の制御プログラム。
JP2021109067A 2021-06-30 2021-06-30 情報処理装置、情報処理装置の制御プログラム Active JP7720727B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021109067A JP7720727B2 (ja) 2021-06-30 2021-06-30 情報処理装置、情報処理装置の制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021109067A JP7720727B2 (ja) 2021-06-30 2021-06-30 情報処理装置、情報処理装置の制御プログラム

Publications (2)

Publication Number Publication Date
JP2023006459A JP2023006459A (ja) 2023-01-18
JP7720727B2 true JP7720727B2 (ja) 2025-08-08

Family

ID=85108299

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021109067A Active JP7720727B2 (ja) 2021-06-30 2021-06-30 情報処理装置、情報処理装置の制御プログラム

Country Status (1)

Country Link
JP (1) JP7720727B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017166966A (ja) 2016-03-16 2017-09-21 株式会社デンソーアイティーラボラトリ 周辺環境推定装置及び周辺環境推定方法
JP2017220264A (ja) 2017-09-20 2017-12-14 株式会社小松製作所 作業機械の制御システム、作業機械、及び作業機械の管理システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017166966A (ja) 2016-03-16 2017-09-21 株式会社デンソーアイティーラボラトリ 周辺環境推定装置及び周辺環境推定方法
JP2017220264A (ja) 2017-09-20 2017-12-14 株式会社小松製作所 作業機械の制御システム、作業機械、及び作業機械の管理システム

Also Published As

Publication number Publication date
JP2023006459A (ja) 2023-01-18

Similar Documents

Publication Publication Date Title
CN112955610A (zh) 挖土机、信息处理装置、信息处理方法、信息处理程序、终端装置、显示方法、显示程序
CN108885102B (zh) 形状测量系统、作业机械及形状测量方法
CN113661296A (zh) 施工机械、支援系统
US20220316188A1 (en) Display system, remote operation system, and display method
JP2021021637A (ja) 建設機械の位置特定システム
CN115023949B (zh) 作业辅助服务器及作业辅助系统
JP7203640B2 (ja) 作業機械用情報処理装置、情報管理システム、作業機械用情報処理プログラム
WO2023100533A1 (ja) 画像表示システム、遠隔操作支援システムおよび画像表示方法
JP7349947B2 (ja) 情報処理装置、作業機械、情報処理方法、情報処理プログラム
KR102803168B1 (ko) 작업기계용 정보처리장치, 정보관리시스템, 작업기계용 정보처리프로그램을 저장한 기억장치
JP7720727B2 (ja) 情報処理装置、情報処理装置の制御プログラム
JP7490948B2 (ja) 作業支援サーバおよび作業支援システム
JP7580184B2 (ja) 作業機械、情報管理システム、プログラム
JP7704597B2 (ja) 情報処理装置、情報処理装置の制御プログラム
JP7264794B2 (ja) 転倒リスク提示装置および転倒リスク提示方法
CN113785091B (zh) 施工机械、信息管理系统、信息终端、程序
JP7515311B2 (ja) 情報処理装置、情報処理装置の制御方法及び制御プログラム
WO2023189216A1 (ja) 作業支援システム
JP2024116653A (ja) 周辺監視装置、周辺監視装置の制御方法及び周辺監視装置の制御プログラム
JP2024117204A (ja) 作業機械、情報処理装置、作業機械の制御方法及び作業機械の制御プログラム
JP7843633B2 (ja) 情報処理装置、情報処理システム及び情報処理プログラム
JP2022129500A (ja) 地形情報管理システムおよび作業機械
EP4400659B1 (en) Work machine and remote operation support device
JP7739200B2 (ja) 監視システム
JP2024068678A (ja) 作業機械及び情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20241227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250701

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250729

R150 Certificate of patent or registration of utility model

Ref document number: 7720727

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150