JP7758558B2 - Autonomous construction robot control device, autonomous construction robot control system, and autonomous construction robot control method - Google Patents
Autonomous construction robot control device, autonomous construction robot control system, and autonomous construction robot control methodInfo
- Publication number
- JP7758558B2 JP7758558B2 JP2021203031A JP2021203031A JP7758558B2 JP 7758558 B2 JP7758558 B2 JP 7758558B2 JP 2021203031 A JP2021203031 A JP 2021203031A JP 2021203031 A JP2021203031 A JP 2021203031A JP 7758558 B2 JP7758558 B2 JP 7758558B2
- Authority
- JP
- Japan
- Prior art keywords
- construction
- autonomous
- unit
- robot
- operating status
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Operation Control Of Excavators (AREA)
Description
本発明は、自律型建設ロボット制御装置、自律型建設ロボット制御システム、自律型建設ロボットの制御方法に関する。 The present invention relates to an autonomous construction robot control device, an autonomous construction robot control system, and an autonomous construction robot control method.
工事現場の管理業務に自律型ロボットを導入し、管理業務の効率化を図る取り組みが進んでいる。ロボットを自律走行させるために自己位置推定が用いられる場合がある。自己位置推定は、工事現場を巡回して網羅的に施工データを取得する上で重要である。
GPS(Global Positioning System)に代表される人工衛星からの電波が届かない閉鎖空間において自己位置推定を行う場合、屋内測位技術が用いられる。屋内測位には様々な測位方法があり、その目的、要求精度、計測エリアの状態、およびコストによって適した測位方法が異なる。最近では複数の測位技術を組み合わせた「ハイブリッド測位」によって屋内測位の高精度化を図る取り組みが主流になりつつある。
また、自己位置推定と地図作成を同時に行うSLAM(Simultaneous Localization andMapping)技術を用いることで、トンネル孔内での無人建設機械の自動運転が実現されつつある。
Efforts are underway to introduce autonomous robots into construction site management to improve the efficiency of management work. Self-localization is sometimes used to enable the robots to navigate autonomously. Self-localization is important for patrolling construction sites and collecting comprehensive construction data.
Indoor positioning technology is used when estimating self-position in a closed space where radio waves from satellites such as GPS (Global Positioning System) cannot reach. There are various methods for indoor positioning, and the most suitable method varies depending on the purpose, required accuracy, condition of the measurement area, and cost. Recently, efforts to improve the accuracy of indoor positioning by using "hybrid positioning" that combines multiple positioning technologies are becoming mainstream.
In addition, by using SLAM (Simultaneous Localization and Mapping) technology, which simultaneously estimates self-position and creates maps, autonomous operation of unmanned construction machinery inside tunnels is becoming a reality.
SLAM技術を利用して無人建設機械等の自律型ロボットを運転する場合、自律型ロボットが外界の状況を把握する必要がある。外界の状況を把握する場合、LiDAR(レーザースキャナ)、カメラ、およびToF(Time Of Flight)センサーなどのセンサーが用いられる。これらのセンサーは、外界の三次元空間の様子を表す点群データを取得するものである。 When using SLAM technology to operate autonomous robots such as unmanned construction machinery, the autonomous robot needs to understand the situation in the external world. To understand the situation in the external world, sensors such as LiDAR (laser scanners), cameras, and ToF (Time Of Flight) sensors are used. These sensors acquire point cloud data that represents the three-dimensional spatial appearance of the external world.
これらの技術とは別に、建築中の建造物内部の進捗状況を把握するためのシステムも提案されている(例えば、特許文献1)。 In addition to these technologies, systems have also been proposed for tracking progress inside buildings under construction (for example, Patent Document 1).
しかしながら、例えば、逆打ち工法の地下空間に自律型ロボットを導入する場合、同じ地下空間において稼働する他の建設機械との接触を避けるために、建設機械の位置情報に加えて稼働状況を把握する必要がある。従来のSLAM技術を実装した自律型ロボットの場合、静止しながら(位置情報を変えずに)旋回する建設機械に対して危険予知が十分できずに、建設機械のバケットやアームと衝突(干渉)する懸念がある。
なお、特許文献1のシステムは、人が建設中の建造物内部の進捗情報を把握することができるが、自律型ロボットが把握するためのものではない。
However, when introducing an autonomous robot into an underground space where the inverted construction method is used, for example, it is necessary to grasp the operating status of the construction machinery in addition to its position information in order to avoid contact with other construction machinery operating in the same underground space.With autonomous robots equipped with conventional SLAM technology, there is a concern that they may not be able to adequately predict danger to construction machinery that rotates while remaining stationary (without changing its position information), and may collide (interfere) with the bucket or arm of the construction machinery.
It should be noted that the system of Patent Document 1 allows people to grasp progress information inside a building under construction, but is not intended for autonomous robots to grasp such information.
本発明は、このような事情に鑑みてなされたもので、その目的は、自律型ロボットが周囲に検知対象が存在するか否かを把握することができる自律型建設ロボット制御装置、自律型建設ロボット制御システム、自律型建設ロボットの制御方法を提供することにある。 The present invention was made in light of these circumstances, and its purpose is to provide an autonomous construction robot control device, an autonomous construction robot control system, and an autonomous construction robot control method that enable an autonomous robot to determine whether or not there is an object to be detected in its surroundings.
上述した課題を解決するために、本発明の一態様は、工事を行う対象領域に設けられ振動を検出するセンサーから、波形データを取得するセンサーデータ取得部と、前記センサーデータ取得部によって取得された波形データに含まれる周波数を分析し、前記対象領域において稼働する建設機械の稼働状況を推定する分析部と、前記建設機械の稼働状況に基づいて、当該建設機械と干渉しないように動作させる制御信号を自律型建設ロボットに出力する制御部と、前記分析部の分析結果に基づいて、前記建設機械の位置を推定した位置情報を生成する物体位置推定部を有し、前記制御部は、前記推定された位置に干渉しない移動経路を前記稼働状況に応じて生成し、生成した移動経路を表す制御信号を出力する自律型建設ロボット制御装置である。 In order to solve the above-mentioned problems, one aspect of the present invention is an autonomous construction robot control device that includes a sensor data acquisition unit that acquires waveform data from a sensor that is installed in a target area where construction work is to be performed and detects vibrations; an analysis unit that analyzes the frequencies contained in the waveform data acquired by the sensor data acquisition unit and estimates the operating status of construction machinery operating in the target area; a control unit that outputs a control signal to an autonomous construction robot to cause it to operate so as not to interfere with the construction machinery based on the operating status of the construction machinery; and an object position estimation unit that generates position information that estimates the position of the construction machinery based on the analysis results of the analysis unit, wherein the control unit generates a movement path that does not interfere with the estimated position in accordance with the operating status and outputs a control signal representing the generated movement path .
また、本発明の一態様は、工事を行う対象領域に設けられ振動を検出するセンサーと、前記センサーから波形データを取得するセンサーデータ取得部と、前記センサーデータ取得部によって取得された波形データに含まれる周波数を分析し、前記対象領域において稼働する建設機械の稼働状況を推定する分析部と、前記建設機械の稼働状況に基づいて、当該建設機械と干渉しないように動作させる制御信号を自律型建設ロボットに出力する制御部と、前記分析部の分析結果に基づいて、前記建設機械の位置を推定した位置情報を生成する物体位置推定部を有し、前記制御部は、前記推定された位置に干渉しない移動経路を前記稼働状況に応じて生成し、生成した移動経路を表す制御信号を出力する自律型建設ロボット制御システムである。 Another aspect of the present invention is an autonomous construction robot control system comprising: a sensor that is installed in a target area where construction work is to be carried out and detects vibrations; a sensor data acquisition unit that acquires waveform data from the sensor; an analysis unit that analyzes the frequencies contained in the waveform data acquired by the sensor data acquisition unit and estimates the operating status of construction machinery operating in the target area; a control unit that outputs a control signal to an autonomous construction robot to cause the robot to operate so as not to interfere with the construction machinery based on the operating status of the construction machinery; and an object position estimation unit that generates position information that estimates the position of the construction machinery based on the analysis results of the analysis unit, wherein the control unit generates a movement path that does not interfere with the estimated position in accordance with the operating status and outputs a control signal representing the generated movement path .
また、本発明の一態様は、コンピュータにより実行される自律型建設ロボットの制御方法であって、センサーデータ取得部が、工事を行う対象領域に設けられ振動を検出するセンサーから、波形データを取得し、分析部が、前記センサーデータ取得部によって取得された波形データに含まれる周波数を分析し、前記対象領域において稼働する建設機械の稼働状況を推定し、制御部が、前記建設機械の稼働状況に基づいて、当該建設機械と干渉しないように動作させる制御信号を自律型建設ロボットに出力し、物体位置推定部が、前記分析部の分析結果に基づいて、前記建設機械の位置を推定した位置情報を生成し、前記制御部が、前記推定された位置に干渉しない移動経路を前記稼働状況に応じて生成し、生成した移動経路を表す制御信号を出力する自律型建設ロボットの制御方法である。 Another aspect of the present invention is a control method for an autonomous construction robot executed by a computer, in which a sensor data acquisition unit acquires waveform data from a sensor that is installed in a target area where construction work is to be performed and detects vibrations, an analysis unit analyzes the frequencies contained in the waveform data acquired by the sensor data acquisition unit and estimates the operating status of construction machinery operating in the target area, a control unit outputs a control signal to the autonomous construction robot based on the operating status of the construction machinery to cause it to operate without interfering with the construction machinery , an object position estimation unit generates position information that estimates the position of the construction machinery based on the analysis results of the analysis unit, and the control unit generates a movement path that does not interfere with the estimated position in accordance with the operating status and outputs a control signal representing the generated movement path .
以上説明したように、この発明によれば、自律型ロボットが周囲に検知対象が存在するか否かを把握することができ、検知対象と干渉しないように自律型ロボットを稼働させることが可能となる。 As described above, this invention allows an autonomous robot to determine whether or not there is a detection target in its surroundings, making it possible to operate the autonomous robot without interfering with the detection target.
以下、本発明の一実施形態による自律型建設ロボット制御装置を用いた自律型建設ロボット制御システムについて図面を参照して説明する。
図1は、この発明の一実施形態による自律型建設ロボット制御システムSの構成を示す概略図である。
工事現場KGは、自律型建設ロボットRを用いた工事を行う領域である。例えば、工事現場KGは、逆打ち工法によって形成される地下空間である。この図1において、工事現場KGを上方から見た場合について図示されている。工事現場KGの内周には山留め壁YKが形成されている。
An autonomous construction robot control system using an autonomous construction robot control device according to one embodiment of the present invention will be described below with reference to the drawings.
FIG. 1 is a schematic diagram showing the configuration of an autonomous construction robot control system S according to an embodiment of the present invention.
The construction site KG is an area where construction work is carried out using an autonomous construction robot R. For example, the construction site KG is an underground space formed by the inverted construction method. Figure 1 shows the construction site KG as seen from above. A retaining wall YK is formed around the inner periphery of the construction site KG.
山留め壁YKには、加速度センサーKSが複数設けられる。加速度センサーKSは、山留め壁YKの傾斜を測定する山留め傾斜計として用いられる。この加速度センサーKSは、例えば、MEMS(Micro Electro Mechanical Systems)センサーである。このような山留め傾斜計は、逆打ち工法によって形成される地下空間に設置され、山留めの傾斜状況を把握するための用いられる場合がある。この実施形態においては、加速度センサーKSを山留めの傾斜状況の把握の他に、工事現場KGである対象領域において生じる振動を検出するセンサーとしても用いる。ここでは、山留め傾斜計を現場内において生じる振動を検出する加速度センサーとして転用(兼用)することによって、山留め傾斜計とは別に加速度センサーを設ける必要がなくなるため、設置コストを削減することができる。この場合、加速度センサーKSは、工事現場KG内において生じる振動を検出する。ここで検出される振動は、工事現場KGにおいて利用される建設機械の稼働によって生じる振動も含まれる。すなわち、加速度センサーは、振動センサーとしての機能も有する。 Multiple acceleration sensors KS are installed on the retaining wall YK. The acceleration sensors KS are used as retaining inclinometers to measure the inclination of the retaining wall YK. These acceleration sensors KS are, for example, MEMS (Micro Electro Mechanical Systems) sensors. Such retaining inclinometers are sometimes installed in underground spaces formed by inverted construction and used to monitor the inclination of the retaining wall. In this embodiment, the acceleration sensors KS are used not only to monitor the inclination of the retaining wall, but also to detect vibrations occurring in the target area, which is the construction site KG. By repurposing the retaining inclinometers as acceleration sensors to detect vibrations occurring within the site, installation costs are reduced because there is no need to install a separate acceleration sensor for the retaining inclinometers. In this case, the acceleration sensors KS detect vibrations occurring within the construction site KG. The vibrations detected here include vibrations caused by the operation of construction machinery used at the construction site KG. In other words, the acceleration sensors also function as vibration sensors.
加速度センサーKSは、掘削域を囲むように、水平方向(X方向及びY方向)に一定間隔(例えば、数十mピッチ)を空けて並べられるとともに、鉛直方向に一定間隔(例えば、2mピッチ)を空けて並べられる。複数の加速度センサーKSがこのように水平方向及び高さ方向に配置されることで、工事現場KGに存在する建設機械から生じる振動源の位置を推定することができ、建設機械の稼働状況を3次元的な空間において把握することができる。すなわち、工事現場KGのどのあたりの位置において建設機械が稼働しているかを把握できるようになっている。なお、複数の加速度センサーKSが、掘削域を囲むように水平方向において異なる位置に設けられるようにした場合(高さ方向には1つのみ)には、水平方向における2次元的な空間において建設機械の位置を把握することもできる。この場合、高さ方向に複数設ける場合に比べて、設置する加速度センサーKSの数を減らすことができる。 The acceleration sensors KS are arranged horizontally (in the X and Y directions) at regular intervals (e.g., at intervals of several tens of meters) to surround the excavation area, and vertically at regular intervals (e.g., at intervals of 2 meters). By arranging multiple acceleration sensors KS horizontally and vertically in this manner, the position of the vibration source generated by construction machinery at the construction site KG can be estimated, and the operating status of the construction machinery can be grasped in three-dimensional space. In other words, it is possible to grasp the location at the construction site KG where the construction machinery is operating. Furthermore, if multiple acceleration sensors KS are installed at different positions horizontally to surround the excavation area (only one in the vertical direction), the position of the construction machinery can also be grasped in two-dimensional horizontal space. In this case, the number of acceleration sensors KS to be installed can be reduced compared to when multiple sensors are installed vertically.
また、工事現場KGには、複数の建設機械が存在する。工事現場KGにおいて利用される設重機としては様々な種類があるが、例えば、バックホー、ハンマーグラブ落下、ブレーカー等がある。この図1では、一例として3台の建設機械(例えばバックホー)が存在する場合について図示されている。建設機械J1と建設機械J2は稼働中であり、旋回等の動作が行われる可能性がある。建設機械J3は、工事現場KGに存在するが、動作がオフとなっており、非稼働状況となっている。
ここで、建設機械J1と建設機械J2は、稼動状態にあり、走行せず現在位置が変わらない場合であっても、旋回を行う場合には、建設機械の姿勢が変わるため、旋回範囲SHにおいてアームが他の物体と干渉する可能性が生じる。建設機械J3は、非稼動状態であり、旋回はしないため姿勢は変更されない。
また、この実施形態において、建設機械は、大型の重機であってもよいし、中型の重機であってもよい。また、位置は変更されないが姿勢が変更される可能性がある建設機械であれば、小型の建設機械であってもよい。
Furthermore, there are multiple construction machines at the construction site KG. There are various types of construction machines used at the construction site KG, including backhoes, hammer grab drops, and breakers. FIG. 1 shows an example in which there are three construction machines (e.g., backhoes). Construction machine J1 and construction machine J2 are in operation and may perform operations such as swinging. Construction machine J3 is present at the construction site KG, but is turned off and is in an inoperative state.
Here, even if the construction machines J1 and J2 are in an operating state and are not traveling and their current positions do not change, when they turn, the posture of the construction machines changes, and there is a possibility that the arms may interfere with other objects in the turning range SH. The construction machine J3 is in an inoperable state and will not turn, so its posture will not change.
In this embodiment, the construction machine may be a large or medium-sized heavy machine, or may be a small construction machine as long as its position is not changed but its posture may be changed.
自律型建設ロボットRは、自律的に稼働することが可能な無人建設機械である。無人建設機械は、例えば、無人で稼働することが可能であれば、例えばバックホー、ダンプトラック、ブルドーザなどのいずれであってもよい。自律型建設ロボットRがバックホーである場合、地下掘削をロボットによって実現することができる。自律型建設ロボットRがダンプトラックである場合には、搬送物の搬送を効率化することができる。
自律型建設ロボットRは、移動経路(巡回ルート)IKが外部から指定されると、その移動経路に沿って移動する。ここでは、自律型建設ロボットRは、山留め壁YKに干渉しないようにしつつ、また、各建設機械との間において干渉しないように巡回する必要がある。
The autonomous construction robot R is an unmanned construction machine that can operate autonomously. The unmanned construction machine may be, for example, a backhoe, a dump truck, a bulldozer, or any other machine that can operate unmanned. If the autonomous construction robot R is a backhoe, underground excavation can be performed by the robot. If the autonomous construction robot R is a dump truck, the transportation of transported items can be made more efficient.
When a movement path (patrol route) IK is externally specified, the autonomous construction robot R moves along the movement path. Here, the autonomous construction robot R needs to patrol while avoiding interference with the retaining wall YK and with each construction machine.
図2は、自律型建設ロボット制御装置1の構成を示す概略機能ブロック図である。
自律型建設ロボット制御装置1は、自律型建設ロボットRに搭載される場合について説明するが、自律型建設ロボットRの外部に設けられ、自律型建設ロボットRと通信可能に接続されるようにしてもよい。また、自律型建設ロボット制御装置1は、サーバとして構成され、少なくとも一部に無線ネットワークを介して接続されることで、自律型建設ロボットRと通信してもよい。
FIG. 2 is a schematic functional block diagram showing the configuration of the autonomous construction robot control device 1.
The autonomous construction robot control device 1 will be described as being mounted on the autonomous construction robot R, but it may also be provided outside the autonomous construction robot R and connected to be able to communicate with the autonomous construction robot R. The autonomous construction robot control device 1 may also be configured as a server and may communicate with the autonomous construction robot R by being connected at least in part via a wireless network.
自律型建設ロボット制御装置1は、センサーデータ取得部11、周波数データ記憶部12、分析部13、物体位置推定部14、自己位置推定部15、制御部16を含む。 The autonomous construction robot control device 1 includes a sensor data acquisition unit 11, a frequency data storage unit 12, an analysis unit 13, an object position estimation unit 14, a self-position estimation unit 15, and a control unit 16.
センサーデータ取得部11は、各種センサーからデータを取得する。センサーデータ取得部11が各種データを取得できる対象のセンサーとしては、加速度センサーKS、サーモグラフィカメラTH、測位センサーLI等がある。 The sensor data acquisition unit 11 acquires data from various sensors. Sensors from which the sensor data acquisition unit 11 can acquire data include an acceleration sensor KS, a thermography camera TH, and a positioning sensor LI.
センサーデータ取得部11は、工事を行う対象領域に設けられ振動を検出する加速度センサーKSから、振動を検出した検出結果である波形データを取得する。 The sensor data acquisition unit 11 acquires waveform data, which is the detection result of detected vibrations, from an acceleration sensor KS that is installed in the target area where construction work is to be carried out and detects vibrations.
また、センサーデータ取得部11は、サーモグラフィカメラTHにおいて生成される温度分布データを取得する。このサーモグラフィカメラTHは、自律型建設ロボットRに設けられ、自律型建設ロボットRの周囲に存在する物体から放射される赤外線を分析し、その分析結果から温度分布を表す温度分布データを生成する。自律型建設ロボット制御装置1が自律型建設ロボットRに搭載される場合、サーモグラフィカメラTHは、自律型建設ロボット制御装置1に設けられていてもよい。 The sensor data acquisition unit 11 also acquires temperature distribution data generated by the thermographic camera TH. This thermographic camera TH is provided on the autonomous construction robot R, analyzes infrared rays emitted from objects around the autonomous construction robot R, and generates temperature distribution data representing the temperature distribution from the analysis results. When the autonomous construction robot control device 1 is mounted on the autonomous construction robot R, the thermographic camera TH may be provided on the autonomous construction robot control device 1.
また、センサーデータ取得部11は、測位センサーLIから測位データを取得する。ここで測位センサーLIは、例えば、LiDER(Light Detection and Ranging)、Tof(Time Of Flight)センサー、カメラ、ジャイロセンサ等のうちいずれか1つであってもよい。測位センサーLIがLiDARである場合、測位センサーLIは、周囲の三次元空間を存在する物体までの距離を測定した点群データを生成する。測位センサーLIは、自律型建設ロボットRに搭載される。また、自律型建設ロボット制御装置1が自律型建設ロボットRに搭載される場合、測位センサーLIは、自律型建設ロボット制御装置1に搭載されてもよい。 The sensor data acquisition unit 11 also acquires positioning data from the positioning sensor LI. Here, the positioning sensor LI may be, for example, any one of a LiDAR (Light Detection and Ranging), a ToF (Time Of Flight) sensor, a camera, a gyro sensor, etc. If the positioning sensor LI is a LiDAR, the positioning sensor LI generates point cloud data that measures distances to objects in the surrounding three-dimensional space. The positioning sensor LI is mounted on the autonomous construction robot R. Furthermore, if the autonomous construction robot control device 1 is mounted on the autonomous construction robot R, the positioning sensor LI may also be mounted on the autonomous construction robot control device 1.
周波数データ記憶部12は、建設機械の稼働状況と、当該稼働状況に応じた周波数特性とを周波数特性データとして記憶する。ここで図3は、周波数データ記憶部12に記憶される周波数特性データの一例を示す図である。周波数特性データには、建設機械の種類と、建設機械の稼働状況と、周波数と、振動レベルを含む。
建設機械の種類は、いずれの建設機械であるかその種別を表す。建設機械の種類は、例えば、バックホー、ハンマーグラブ、ブレーカー等がある。
建設機械の稼働状況は、建設機械がどのような稼働をしているかを表す。例えば、バックホーの稼働状況には、旋回、アームを上げる、アームを下げる、等がある。
周波数は、建設機械の稼働に伴って生じる振動の主要な周波数を表す。例えば、「バックホー」が「旋回」している際に生じる主要な周波数は、「f11からf12」であることを表す。このような振動は、建設機械が稼働することによって生じる振動が地面を伝わって山留め壁YKに伝達され、加速度センサーKSに検出される。また、建設機械が稼働することによって生じる振動が空気を介して加速度センサーKSに伝わり、加速度センサーKSによって検出される場合もある。
このような周波数は、建設機械や稼動状況によって主要な周波数が異なる。この周波数は、建設機械が稼働している状況毎に、加速度センサーKSによって振動を事前に測定しておく。そして、周波数データ記憶部12は、建設機械が稼働している状況毎に、加速度センサーKSによって事前に測定された測定結果を建設機械の種類と稼働状況とを対応付けて記憶している。
振動レベルは、建設機械の稼働に伴って生じる振動の大きさをレベルによって表す。例えば、「バックホー」が「旋回」している際に生じる振動レベルは、「a11からa12」であることを表す。このような振動レベルは、建設機械や稼働状況によって異なる。この振動レベルは、機械が稼働している状況毎に、加速度センサーKSによって事前に測定された測定結果を建設機械の種類と稼働状況と周波数とに対応付けて記憶している。
The frequency data storage unit 12 stores the operating status of the construction machine and frequency characteristics corresponding to the operating status as frequency characteristic data. Fig. 3 is a diagram showing an example of frequency characteristic data stored in the frequency data storage unit 12. The frequency characteristic data includes the type of construction machine, the operating status of the construction machine, frequency, and vibration level.
The type of construction machine indicates the type of construction machine, such as a backhoe, a hammer grab, a breaker, etc.
The operational status of a construction machine indicates how the construction machine is operating. For example, the operational status of a backhoe includes swinging, raising the arm, lowering the arm, etc.
The frequency indicates the main frequency of vibrations that occur when construction machinery is in operation. For example, the main frequency that occurs when a "backhoe" is "swinging" is "f11 to f12." Such vibrations are generated by the operation of construction machinery and transmitted through the ground to the retaining wall YK, where they are detected by the acceleration sensor KS. In addition, vibrations generated by the operation of construction machinery may also be transmitted to the acceleration sensor KS through the air and detected by the acceleration sensor KS.
The main frequency of such frequencies varies depending on the construction machine and its operating conditions. Vibrations at these frequencies are measured in advance using the acceleration sensor KS for each operating condition of the construction machine. The frequency data storage unit 12 then stores the measurement results measured in advance by the acceleration sensor KS for each operating condition of the construction machine, in association with the type of construction machine and its operating condition.
The vibration level indicates the magnitude of vibrations that occur when a construction machine is operating. For example, the vibration level that occurs when a "backhoe" is "swinging" is "a11 to a12." Such vibration levels vary depending on the construction machine and its operating conditions. These vibration levels are stored for each operating condition of the machine, in association with the type of construction machine, operating conditions, and frequency, as measured in advance by the acceleration sensor KS.
周波数データ記憶部12は、記憶媒体、例えば、HDD(Hard Disk Drive)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、RAM(Random Access read/write Memory)、ROM(Read Only Memory)、またはこれらの記憶媒体の任意の組み合わせによって構成される。
この周波数データ記憶部12は、例えば、不揮発性メモリを用いることができる。
The frequency data storage unit 12 is configured by a storage medium, for example, a hard disk drive (HDD), a flash memory, an electrically erasable programmable read-only memory (EEPROM), a random access read/write memory (RAM), a read-only memory (ROM), or any combination of these storage media.
The frequency data storage unit 12 can be implemented by using, for example, a nonvolatile memory.
分析部13は、周波数分析部131と、温度データ分析部132とを有する。分析部13は、センサーデータ取得部11から得られるデータについて各種分析を行う。
周波数分析部131は、センサーデータ取得部11によって取得された波形データに含まれる周波数を分析し、対象領域において稼働する建設機械の稼働状況を推定する。例えば、周波数分析部131は、分析を行うことで波形データに含まれる周波数を抽出し、その抽出された周波数のうち主要な周波数について、周波数データ記憶部12を参照し、抽出された周波数に該当する稼働状況を読み出すことによって、建設機械の稼働状況を推定する。主要な周波数としては、特徴のある周波数成分を用いるようにしてもよい。特徴のある周波数成分は、例えば、他の周波数成分よりも一定以上の加速度がある周波数成分を用いるようにしてもよい。
ここで分析部13は、周波数分析部131によって周波数を分析するだけでなく、波形データの振幅に基づいて、振動レベルを検出し、振動レベルと、周波数分析部131の分析結果に基づく主要な周波数との組み合わせに基づいて、周波数データ記憶部12を参照し、この組み合わせに対応する建設機械の種類と稼動状況を読み出すことで、建設機械の稼働状況を推定するようにしてもよい。これにより、推定精度を向上させることができる。
The analysis unit 13 includes a frequency analysis unit 131 and a temperature data analysis unit 132. The analysis unit 13 performs various analyses on the data obtained from the sensor data acquisition unit 11.
The frequency analysis unit 131 analyzes frequencies included in the waveform data acquired by the sensor data acquisition unit 11 and estimates the operating status of the construction machinery operating in the target area. For example, the frequency analysis unit 131 extracts frequencies included in the waveform data by performing the analysis, and for the main frequencies among the extracted frequencies, references the frequency data storage unit 12 and reads out the operating status corresponding to the extracted frequencies, thereby estimating the operating status of the construction machinery. A characteristic frequency component may be used as the main frequency. For example, the characteristic frequency component may be a frequency component that has a certain level of acceleration or more than other frequency components.
Here, the analysis unit 13 may not only analyze the frequency using the frequency analysis unit 131, but also detect the vibration level based on the amplitude of the waveform data, and estimate the operating status of the construction machine by referring to the frequency data storage unit 12 based on a combination of the vibration level and the main frequency based on the analysis result of the frequency analysis unit 131, and reading out the type and operating status of the construction machine corresponding to this combination. This makes it possible to improve the estimation accuracy.
このように、周波数分析部131は、工事現場内に設置された加速度センサーによって取得された波形データに基づいて、建設機械の稼働状況を把握することができる。振動源が建設機械の作業に基づくものである場合には、振動源における起振力の大きさや周波数は、建設機械の種類や作業形態によって様々である。そこで、取得した波形の周波数分析によって、稼働状況に加えて位置および種類(バックホーの旋回、ハンマーグラブ落下、ブレーカーの打撃等)を特定することができる。 In this way, the frequency analysis unit 131 can grasp the operating status of construction machinery based on waveform data acquired by acceleration sensors installed within the construction site. When the vibration source is due to the work of construction machinery, the magnitude and frequency of the vibratory force at the vibration source will vary depending on the type of construction machinery and the working style. Therefore, by analyzing the frequency of the acquired waveform, it is possible to identify the operating status as well as the location and type (backhoe rotation, hammer grab drop, breaker impact, etc.).
ここで、図4は、加速度センサーKSによって検出された波形データの一例を示す図である。この図4において、横軸は時間(sec)を表し、縦軸は加速度(G)を表す。ここでは、工事現場KGにおいて各種建設機械が稼働していない状況(非稼働)において測定された波形データ(符号401)と、工事現場KGにおいてある建設機械が稼働している状況において測定された波形データとが重ねられた場合について図示されている。工事現場KGにおいて建設機械が非稼働である場合、波形データが示す加速度は、一定レベル程度以内に収まる。一方、工事現場KGにおいていずれかの建設機械が稼働している場合には、その建設機械が稼働することによって生じる加速度が含まれるため、非稼働である場合の加速度よりも高い加速度が測定される。そのため、非稼働における加速度を元に基準範囲(符号403)を予め定めておき、分析部13は、この予め定められた基準範囲と、波形データとを比較し、波形データに含まれる加速度が基準範囲を超える場合には、建設機械が稼働していると判定することができ、波形データに含まれる加速度が基準範囲を超えない場合には、建設機械が稼働していないと判定することができる。
周波数分析部131は、波形データに含まれる加速度が基準範囲を超えると判定された場合、基準範囲を超えた加速度が検出された際の波形データの振動に含まれる周波数成分を分析することで、稼動状況にある建設機械を特定することができる。
FIG. 4 shows an example of waveform data detected by the acceleration sensor KS. In FIG. 4, the horizontal axis represents time (sec) and the vertical axis represents acceleration (G). The figure shows a case in which waveform data (reference numeral 401) measured when various construction machines are not operating (non-operating) at the construction site KG is superimposed on waveform data measured when a construction machine is operating at the construction site KG. When the construction machines are not operating at the construction site KG, the acceleration indicated by the waveform data falls within a certain level. On the other hand, when any construction machine is operating at the construction site KG, the acceleration measured is higher than when the construction machine is not operating because the acceleration caused by the operation of the construction machine is included. Therefore, a reference range (reference numeral 403) is predetermined based on the acceleration when the construction machine is not operating. The analysis unit 13 compares the waveform data with this predetermined reference range. If the acceleration included in the waveform data exceeds the reference range, it can be determined that the construction machine is operating. If the acceleration included in the waveform data does not exceed the reference range, it can be determined that the construction machine is not operating.
When the frequency analysis unit 131 determines that the acceleration contained in the waveform data exceeds the reference range, it can identify the construction machinery in operation by analyzing the frequency components contained in the vibration of the waveform data when acceleration exceeding the reference range is detected.
温度データ分析部132は、センサーデータ取得部11から得られる温度分布データに基づいて、検知対象が存在するか否かを検出する。例えば、温度データ分析部132は、温度分布データを分析することで、建設機械が稼動しているか否か、工事現場KGにおいて活動している人(作業者、技術者等)がいるか否かを検出する。
温度データ分析部132は、温度分布データにおいて、人の体温に該当する温度分布がある場合、人物が存在するものとして検出する。これにより、自律型建設ロボットRの周囲に人がいることを検出することができる。
The temperature data analysis unit 132 detects whether or not a detection target is present based on the temperature distribution data obtained from the sensor data acquisition unit 11. For example, the temperature data analysis unit 132 analyzes the temperature distribution data to detect whether or not construction machinery is operating and whether or not there are people (workers, engineers, etc.) active at the construction site KG.
The temperature data analysis unit 132 detects the presence of a person when the temperature distribution data includes a temperature distribution corresponding to a human body temperature. This makes it possible to detect the presence of a person around the autonomous construction robot R.
温度データ分析部132は、温度分布データにおいて、建設機械が稼働している場合における温度に該当する温度分布がある場合、稼働中の建設機械が存在するものとして検出する。これにより、自律型建設ロボットRの周囲に稼働中の建設機械があることを検出することができる。
建設機械が稼動している場合、周囲の気温よりも一定以上高い温度となる場合(エンジンから発生する熱や、モータから発生する熱等に応じた温度)があり、その温度が閾値以上である場合には、建設機械が稼動中であると判定することができる。
If the temperature distribution data includes a temperature distribution that corresponds to the temperature when a construction machine is operating, the temperature data analysis unit 132 detects that a construction machine is in operation. This makes it possible to detect that a construction machine is in operation around the autonomous construction robot R.
When construction machinery is operating, the temperature may be higher than the ambient temperature by a certain amount (a temperature corresponding to the heat generated by the engine or the motor, etc.), and if that temperature is above a threshold value, it can be determined that the construction machinery is operating.
物体位置推定部14は、分析部13の分析結果に基づいて、建設機械の位置を推定し、推定結果に基づく位置情報を生成する。
例えば、物体位置推定部14は、建設機械の位置を、周波数分析部131の分析結果に基づいて推定する。ここでは、複数の加速度センサーKSのそれぞれから得られた波形データのうち、同じ建設機械の稼働状況が得られた時刻の時刻差と、各加速度センサーKSの位置とに基づいて、工事現場KGにおける建設機械の位置を推定する。例えば、物体位置推定部14は、各加速度センサーKSから得られる波形データに含まれる周波数を分析し、その主要な周波数に基づいて、周波数データ記憶部12を参照して建設機械の種類と稼動状況とを推定する。そして、物体位置推定部14は、それぞれの各加速度センサーKSに基づいて同じ建設機械の種類と稼動状況の組み合わせが推定されている場合には、その主要な周波数が到来した時刻の差と、各加速度センサーKSの位置との関係から、建設機械の位置を推定することができる。ここでは、波形データに含まれる周波数だけでなく、振動レベルも用いて建設機械の種類と稼動状況を推定するようにしてもよい。このように物体位置推定部14は、複数の加速度センサーが設けられた位置と、複数の加速度センサーによってそれぞれ検出された波形データとに基づいて、建設機械の位置を推定することができる。
The object position estimation unit 14 estimates the position of the construction machine based on the analysis result of the analysis unit 13, and generates position information based on the estimation result.
For example, the object position estimation unit 14 estimates the position of a construction machine based on the analysis results of the frequency analysis unit 131. Here, the position of the construction machine at the construction site KG is estimated based on the time difference between the times when the operating status of the same construction machine is obtained from the waveform data obtained from each of the multiple acceleration sensors KS and the positions of each acceleration sensor KS. For example, the object position estimation unit 14 analyzes the frequencies contained in the waveform data obtained from each acceleration sensor KS and estimates the type and operating status of the construction machine based on the dominant frequency by referring to the frequency data storage unit 12. Then, when the same combination of type and operating status of the construction machine is estimated based on each acceleration sensor KS, the object position estimation unit 14 can estimate the position of the construction machine based on the difference in the time when the dominant frequency arrives and the relationship between the positions of each acceleration sensor KS. Here, the type and operating status of the construction machine may be estimated using not only the frequencies contained in the waveform data but also the vibration level. In this way, the object position estimation unit 14 can estimate the position of the construction machine based on the positions of the multiple acceleration sensors and the waveform data detected by each acceleration sensor.
また、物体位置推定部14は、人の位置を、温度データ分析部132の分析結果に基づいて、推定するようにしてもよい。
例えば、物体位置推定部14は、温度データ分析部132によって人の体温に該当する温度分布が検出された場合、温度分布データから、人の体温に該当する領域を抽出し、その領域が存在する方向及び領域の大きさから、人が存在する位置を推定する。ここでは、人の平均的な身長と、サーモグラフィカメラTHからの距離とに応じて、人が存在するとして検出される画像上の領域の大きさが決まる。そのため、物体位置推定部14は、人の体温が検出された領域の大きさに基づいて、サーモグラフィカメラTHまでの距離を推定することができ、当該人の体温が検出された領域が撮像された方向も考慮することで、人が存在すると推定される位置を特定することができる。
The object position estimation unit 14 may also estimate the position of a person based on the analysis results of the temperature data analysis unit 132 .
For example, when the temperature data analysis unit 132 detects a temperature distribution corresponding to a person's body temperature, the object position estimation unit 14 extracts an area corresponding to the person's body temperature from the temperature distribution data and estimates the location of the person based on the direction and size of the area. Here, the size of the area on the image in which a person is detected is determined based on the average height of the person and the distance from the thermographic camera TH. Therefore, the object position estimation unit 14 can estimate the distance to the thermographic camera TH based on the size of the area in which the person's body temperature was detected, and can identify the location in which the person is estimated to be present by also taking into account the direction in which the area in which the person's body temperature was detected was captured.
また、物体位置推定部14は、建設機械の位置を、温度データ分析部132の分析結果と温度データ分析部132によって分析された結果とに基づいて、推定するようにしてもよい。
物体位置推定部14は、温度分布データのうち、稼働中の建設機械が存在することが検出された領域(例えば画素の位置)と、サーモグラフィカメラTHの撮影方向とから、稼働中の建設機械の方向を推定することができる。
ここで、物体位置推定部14は、測位データに含まれる点群データの分布から、建設機械の形状に該当する領域を抽出し、その点群データが表す距離と、点群データが得られた方向とに基づいて、建設機械が存在する位置を推定する。そして、その建設機械が存在するとして推定された位置が、温度データ分析部132によって分析された稼働中の建設機械の方向及び分布状況(分布の広さ)と一致するか否かを判定し、一致する場合には、建設機械が存在するとして推定された位置において、建設機械が稼働中であると推定することができる。
The object position estimation unit 14 may also estimate the position of the construction machine based on the analysis results of the temperature data analysis unit 132 and the results of analysis by the temperature data analysis unit 132 .
The object position estimation unit 14 can estimate the direction of the operating construction machinery from the area (e.g., pixel position) in the temperature distribution data where the presence of the operating construction machinery is detected and the shooting direction of the thermographic camera TH.
Here, the object position estimation unit 14 extracts an area corresponding to the shape of the construction machine from the distribution of point cloud data included in the positioning data, and estimates the location of the construction machine based on the distance represented by the point cloud data and the direction in which the point cloud data was obtained. It then determines whether the location estimated as the location of the construction machine matches the direction and distribution status (area of distribution) of operating construction machines analyzed by the temperature data analysis unit 132, and if they match, it can be estimated that the construction machine is operating at the location estimated as the location of the construction machine.
自己位置推定部15は、センサーデータ取得部11から出力される、測位センサーLIの測定結果に基づいて、自律型建設ロボット制御装置1が制御する対象の自律型建設ロボットRの位置を推定する。自己位置推定部15は、SLAM(Simultaneous Localization andMapping)技術を用いることで、測位センサーLIによって得られた測定結果から、自己位置を推定することができる。ここでは、測位センサーLIとしてLiDARを用いてSLAMによって自己位置を推定する技術について、LiDAR SLAMと呼ばれる場合がある。また、測位センサーLIとしてTofセンサーを用いてSLAMによって自己位置を推定する技術について、Depth SLAMと呼ばれることがある。また、測位センサーLIとしてカメラを用いてSLAMによって自己位置を推定する技術について、Visual SLAMと呼ばれる場合がある。 The self-position estimation unit 15 estimates the position of the autonomous construction robot R controlled by the autonomous construction robot control device 1 based on the measurement results of the positioning sensor LI output from the sensor data acquisition unit 11. The self-position estimation unit 15 can estimate its own position from the measurement results obtained by the positioning sensor LI by using SLAM (Simultaneous Localization and Mapping) technology. Here, a technology that estimates its own position using SLAM using LiDAR as the positioning sensor LI is sometimes referred to as LiDAR SLAM. A technology that estimates its own position using SLAM using a Time of Flight (ToF) sensor as the positioning sensor LI is sometimes referred to as Depth SLAM. A technology that estimates its own position using SLAM using a camera as the positioning sensor LI is sometimes referred to as Visual SLAM.
制御部16は、自律型建設ロボットRに対して各種制御信号を出力する。制御部16は、ルート生成部161を有する。
ルート生成部161は、自律型建設ロボットRの周囲に検知対象が存在する場合には、当該検知対象と干渉しないように動作させる制御信号を自律型建設ロボットRに出力する。検知対象としては、稼働している建設機械と人とのうち少なくともいずれか1つである。
例えばルート生成部161は、建設機械の稼働状況に基づいて、稼働している建設機械が存在する場合には、当該稼働している建設機械に干渉しないように自律型建設ロボットRに制御信号を出力する。稼働している建設機械がバックホーである場合、制御部16は、自律型建設ロボットRがバックホーの旋回範囲に入らないように制御することで、バックホーに干渉しないように制御することができる。
また、ルート生成部161は、温度データ分析部132の分析結果に基づいて、周囲に人が存在すると検出された場合に、当該人に干渉しないように自律型建設ロボットRに制御信号を出力する。周囲に人が存在する場合、制御部16は、自律型建設ロボットRが人から一定の距離の範囲内に入らないように制御することで、人に干渉しないように制御することができる。
The control unit 16 outputs various control signals to the autonomous construction robot R. The control unit 16 includes a route generation unit 161.
When a detection target exists around the autonomous construction robot R, the route generation unit 161 outputs a control signal to the autonomous construction robot R to operate the robot so as not to interfere with the detection target. The detection target is at least one of an operating construction machine and a person.
For example, if there is an operating construction machine based on the operation status of the construction machine, the route generation unit 161 outputs a control signal to the autonomous construction robot R so as not to interfere with the operating construction machine. If the operating construction machine is a backhoe, the control unit 16 can control the autonomous construction robot R so as not to interfere with the backhoe by controlling the autonomous construction robot R so as not to enter the turning range of the backhoe.
Furthermore, when the route generation unit 161 detects the presence of a person in the vicinity based on the analysis results of the temperature data analysis unit 132, it outputs a control signal to the autonomous construction robot R so as not to interfere with the person. When a person is present in the vicinity, the control unit 16 can control the autonomous construction robot R so as not to interfere with the person by controlling the autonomous construction robot R not to come within a certain distance from the person.
干渉しないように制御する場合、ルート生成部161は、稼働している建設機械の推定された位置、または、検出された人に干渉しない移動経路を稼働状況に応じて生成し、生成した移動経路を表す制御信号を出力する。
また、干渉しないように制御する場合、制御部16は、稼働している建設機械または人に干渉しない移動経路を生成するのではなく、自律型建設ロボット制御装置1の移動または稼働(旋回、アームの上下動等)を一時停止することで、干渉しないようにしてもよい。例えば、稼働している建設機械または人が自律型建設ロボットRの近傍を通る場合には、自律型建設ロボットRは、自律型建設ロボットRの移動経路から建設機械または人が通り過ぎた後に、一時停止を解除することで、移動を継続するようにしてもよい。これにより、稼働している建設機械(移動している建設機械)または人と干渉しないようにしつつ、移動することができる。ここでは、干渉しないように一時停止するだけでなく、自律型建設ロボットRの移動速度を減速させるようにし、稼働している建設機械または人がいることが継続して検知された場合に、移動を一時停止するようにしてもよい。
When performing control to avoid interference, the route generation unit 161 generates a travel route that does not interfere with the estimated position of the operating construction machine or the detected person, depending on the operating status, and outputs a control signal representing the generated travel route.
Furthermore, when controlling to avoid interference, the control unit 16 may avoid interference by temporarily suspending the movement or operation (turning, up and down movement of the arm, etc.) of the autonomous construction robot control device 1, rather than generating a movement path that does not interfere with operating construction machinery or people. For example, when an operating construction machinery or person passes near the autonomous construction robot R, the autonomous construction robot R may continue moving by canceling the pause after the construction machinery or person has passed from the movement path of the autonomous construction robot R. This allows the autonomous construction robot R to move while avoiding interference with operating construction machinery (moving construction machinery) or people. Here, in addition to temporarily suspending to avoid interference, the autonomous construction robot R may also slow down its movement speed, and temporarily suspend its movement if the presence of operating construction machinery or people is continuously detected.
上述したセンサーデータ取得部11、分析部13、物体位置推定部14、自己位置推定部15、制御部16は、例えばCPU(中央処理装置)等の処理装置若しくは専用の電子回路で構成されてよい。 The above-mentioned sensor data acquisition unit 11, analysis unit 13, object position estimation unit 14, self-position estimation unit 15, and control unit 16 may be configured as a processing unit such as a CPU (central processing unit) or a dedicated electronic circuit.
図5は、自律型建設ロボット制御装置1の動作を説明するフローチャートである。
自律型建設ロボット制御装置1は、例えば、自律型建設ロボットRに搭載され、自律型建設ロボットRに対して電源が投入されたことに応じて、処理を実行する。
自律型建設ロボット制御装置1のセンサーデータ取得部11は、各センサーから測定結果を取得する(ステップS101)。
センサーデータ取得部11によって測定結果が取得されると、分析部13は、センサーデータ取得部11によって得られた測定結果に基づいて分析を行う。ここでは、分析部13は、自律型建設ロボットRの周囲に人物がいるか否か、工事現場KG内において稼働中の建設機械があるか否かを分析する(ステップS102)。
分析部13は、自律型建設ロボットRの周囲に人物がいないと検出された場合であって、かつ、工事現場KG内において稼働中の建設機械がないと検出された場合には、処理をステップ101に移行する(ステップS103-NO)。
FIG. 5 is a flowchart illustrating the operation of the autonomous construction robot control device 1.
The autonomous construction robot control device 1 is mounted on, for example, the autonomous construction robot R, and executes processing in response to the autonomous construction robot R being powered on.
The sensor data acquisition unit 11 of the autonomous construction robot control device 1 acquires measurement results from each sensor (step S101).
When the measurement results are acquired by the sensor data acquisition unit 11, the analysis unit 13 performs an analysis based on the measurement results obtained by the sensor data acquisition unit 11. Here, the analysis unit 13 analyzes whether or not there are people around the autonomous construction robot R and whether or not there is construction machinery in operation within the construction site KG (step S102).
If the analysis unit 13 detects that there are no people around the autonomous construction robot R and that there are no construction machines in operation within the construction site KG, it transitions the processing to step 101 (step S103-NO).
一方、分析部13は、自律型建設ロボットRの周囲に人がいると検出された場合と、工事現場KG内において稼働中の建設機械があると検出された場合とのうち少なくともいずれか一方が検出された場合には(ステップS103-YES)、物体位置推定部14に対して、検知対象が検知されたことを通知する。物体位置推定部14は、検出された検知対象の位置を推定する(ステップS104)。例えば、物体位置推定部14は、分析部13の分析結果において人が検出された場合には、人が存在する位置を推定し、分析部13の分析結果において稼働している建設機械があることが検知された場合には、稼働している建設機械の位置を推定する。 On the other hand, if the analysis unit 13 detects at least one of the presence of a person around the autonomous construction robot R and the presence of operating construction machinery within the construction site KG (step S103-YES), it notifies the object position estimation unit 14 that a detection target has been detected. The object position estimation unit 14 estimates the position of the detected detection target (step S104). For example, if the analysis results of the analysis unit 13 detect a person, the object position estimation unit 14 estimates the position of the person, and if the analysis results of the analysis unit 13 detect the presence of operating construction machinery, it estimates the position of the operating construction machinery.
一方、自己位置推定部15は、LiDARによって測定されたデータを一定時間毎にセンサーデータ取得部11から取得し、自律型建設ロボットRの自己位置を推定する。 Meanwhile, the self-position estimation unit 15 acquires data measured by LiDAR from the sensor data acquisition unit 11 at regular intervals and estimates the self-position of the autonomous construction robot R.
制御部16のルート生成部161は、物体位置推定部14によって検知対象の位置が推定されると、検知対象に干渉しないような移動経路を生成し(ステップS105)、生成された移動経路を自律型建設ロボットRに出力する(ステップS106)。自律型建設ロボットRは、制御部16から出力された移動経路に基づいて移動する。
一方、制御部16は、自律型建設ロボットRの動作を終了するか否かを判定し(ステップS107)、自律型建設ロボットRの動作を終了する場合には、自律型建設ロボット制御装置1の処理を終了し(ステップS107-YES)、自律型建設ロボットRの動作を終了しない場合には、処理をステップS101に移行する。
When the object position estimation unit 14 estimates the position of the detection target, the route generation unit 161 of the control unit 16 generates a movement route that does not interfere with the detection target (step S105) and outputs the generated movement route to the autonomous construction robot R (step S106). The autonomous construction robot R moves based on the movement route output from the control unit 16.
On the other hand, the control unit 16 determines whether or not to terminate the operation of the autonomous construction robot R (step S107), and if the operation of the autonomous construction robot R is to be terminated, terminates the processing of the autonomous construction robot control device 1 (step S107-YES), and if the operation of the autonomous construction robot R is not to be terminated, transitions the processing to step S101.
以上説明した実施形態によれば、山留め壁に設けられた複数の加速度センサー(MEMSセンサー)によって取得した波形データを分析することにより、逆打ち工法の地下空間における建設機械の稼働状況、位置および種類を即時的かつ精度良く判定できる。
また、以上説明した実施形態によれば、従来のSLAM技術を用いた自己位置推定に加えて、工事現場内に設置された加速度センサーによって取得した波形データに基づいて、建設機械の稼働状況を把握することができる。そして、稼働している建設機械があると検出された場合には、移動経路が再度生成される。自律型建設ロボットRは、建設機械の稼働が判断された領域には近づかないような移動経路にそって移動するよう適宜再設定しながら、安全に現場を巡回することができる。
また、上述した実施形態においては、逆打ち工法の地下空間をはじめとする狭隘かつ建設機械が稼働しうる空間において、SLAM技術を実装した自律型ロボットを安全かつ安価に運用することができる。このような地下工事への自律型ロボットの導入が容易となるため、上述した自律型建設ロボット制御装置1によれば、管理業務の効率化および生産性向上に寄与する。
According to the embodiment described above, by analyzing waveform data acquired by multiple acceleration sensors (MEMS sensors) installed in the retaining wall, it is possible to instantly and accurately determine the operating status, location, and type of construction machinery in underground spaces using the inverted construction method.
Furthermore, according to the embodiment described above, in addition to estimating the robot's own position using conventional SLAM technology, the operating status of construction machinery can be grasped based on waveform data acquired by acceleration sensors installed within the construction site. If an operating construction machinery is detected, a movement path is regenerated. The autonomous construction robot R can safely patrol the construction site while appropriately reconfiguring its movement path to avoid areas where it has determined that construction machinery is operating.
Furthermore, in the above-described embodiment, an autonomous robot equipped with SLAM technology can be safely and inexpensively operated in narrow spaces where construction machinery can operate, such as underground spaces used in inverted construction. Because it is easy to introduce autonomous robots into such underground construction work, the autonomous construction robot control device 1 described above contributes to improving the efficiency and productivity of management work.
また、上述した実施形態によれば、建設機械が稼働しているか否かの状況、稼働している位置等を把握することができるため、これら稼動状況を把握することで、地下空間における工事の進捗確認をすることもできる。 Furthermore, according to the above-described embodiment, it is possible to grasp the status of whether construction machinery is operating, its operating location, etc., and by grasping this operating status, it is also possible to check the progress of construction work in underground spaces.
また、例えば、上述した実施形態では、対象領域において建設機械が稼働していることが検出された場合、自律型建設ロボット制御装置1は、自律型建設ロボットに対して一時停止させたり、対象領域を迂回するような移動経路を生成し、自律型建設ロボットに送信したりすることができる。これにより建設機械が対象領域において稼働している場合には、自律型建設ロボットは一時停止し、建設機械の姿勢が変更されない稼動状況であることが検出された場合(例えば、一定時間以上姿勢が変更されない場合)には移動を再開するようにしてもよい。 Furthermore, for example, in the above-described embodiment, if it is detected that construction machinery is operating in the target area, the autonomous construction robot control device 1 can temporarily stop the autonomous construction robot, or generate a movement route that bypasses the target area and send it to the autonomous construction robot. As a result, if construction machinery is operating in the target area, the autonomous construction robot can temporarily stop, and if it is detected that the construction machinery is operating in an operating state where its posture does not change (for example, if its posture does not change for more than a certain period of time), it can resume movement.
また、建設機械が対象領域において姿勢が変更されない稼動状況であることが検出された場合(稼働していない状況や、建設機械のランプ等が点灯しているが姿勢の変更が伴う操作が行われない状況等)には、事前に生成された移動経路に沿って移動し、対象領域において建設機械が稼働している場合には、建設機械が稼働している領域を迂回するような移動経路を生成しなおすようにしてもよい。これにより自律型建設ロボットは、対象領域において建設機械の姿勢が変更されない稼働状況である場合には、事前に決められた移動経路に沿って移動し、対象領域において建設機械が稼働している場合には、その建設機械に干渉しないように迂回して移動することができる。 Furthermore, if it is detected that the construction machine is in an operating state where its posture does not change in the target area (such as when it is not operating, or when the construction machine's lights are on but no operations involving a change in posture are being performed), it may move along a pre-generated movement path, and if a construction machine is operating in the target area, it may regenerate a movement path that detours around the area where the construction machine is operating. This allows the autonomous construction robot to move along a pre-determined movement path when the construction machine's posture does not change in the target area, and to detour around the construction machine when a construction machine is operating in the target area so as not to interfere with it.
なお、上述した実施形態において、周波数分析部131が周波数データ記憶部12を参照することで、稼働状況を推定する場合について説明したが、周波数分析部131は、周波数データ記憶部12を用いずに稼働状況を推定するようにしてもよい。
例えば、波形データに対して、建設機械の稼動状況を表すデータを教師ラベルとして付与し、学習装置によって、波形データと建設機械の稼動状況との関係を学習させ、学習済みモデルを生成するようにしてもよい。学習装置において学習する手法としては、機械学習、ディープラーニング等を用いてもよい。そして、周波数分析部131は、学習装置から得られる学習済みモデルに対し、センサーデータ取得部11から得られる波形データを入力することで、建設機械の稼動状況を得るようにしてもよい。
In the above-described embodiment, the case where the frequency analysis unit 131 estimates the operating status by referring to the frequency data storage unit 12 has been described. However, the frequency analysis unit 131 may estimate the operating status without using the frequency data storage unit 12.
For example, data representing the operating status of the construction machine may be assigned to the waveform data as a teacher label, and a learning device may be used to learn the relationship between the waveform data and the operating status of the construction machine, thereby generating a trained model. Machine learning, deep learning, or the like may be used as a learning method in the learning device. The frequency analysis unit 131 may then input the waveform data obtained from the sensor data acquisition unit 11 into the trained model obtained from the learning device to obtain the operating status of the construction machine.
また、上述した実施形態において、工事現場KGは、逆打ち工法によって形成される地下空間である場合について説明したが、自律型建設ロボットRが導入される工事現場であって、加速度センサーKSを設置することが可能な現場であれば、逆打ち工法によって形成される地下空間以外であってもよい。例えば、工事現場KGは、トンネルの坑内であってもよい。 In addition, in the above-described embodiment, the construction site KG was described as an underground space formed by the inverted construction method, but the construction site KG may be an underground space other than an underground space formed by the inverted construction method, as long as it is a construction site where an autonomous construction robot R is introduced and where an acceleration sensor KS can be installed. For example, the construction site KG may be the interior of a tunnel.
上述した実施形態における自律型建設ロボット制御装置1をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。 The autonomous construction robot control device 1 in the above-described embodiment may be implemented by a computer. In this case, a program for implementing this function may be recorded on a computer-readable recording medium, and the program may be loaded into a computer system and executed. Note that the term "computer system" here includes hardware such as an OS and peripheral devices. Furthermore, "computer-readable recording medium" refers to portable media such as flexible disks, optical magnetic disks, ROMs, and CD-ROMs, as well as storage devices such as hard disks built into computer systems. Furthermore, "computer-readable recording medium" may also include devices that dynamically store programs for a short period of time, such as communication lines used when transmitting programs over networks such as the Internet or telephone lines, or devices that store programs for a fixed period of time, such as volatile memory within the computer system that serves as the server or client. The program may also be designed to implement some of the above-described functions, or may be capable of implementing the above-described functions in combination with programs already stored in the computer system, or may be implemented using a programmable logic device such as an FPGA (Field Programmable Gate Array).
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The above describes in detail an embodiment of the present invention with reference to the drawings, but the specific configuration is not limited to this embodiment and includes designs that do not deviate from the gist of the present invention.
1…自律型建設ロボット制御装置、11…センサーデータ取得部、12…周波数データ記憶部、13…分析部、14…物体位置推定部、15…自己位置推定部、16…制御部、101…ステップ、131…周波数分析部、132…温度データ分析部、161…ルート生成部 1...Autonomous construction robot control device, 11...Sensor data acquisition unit, 12...Frequency data storage unit, 13...Analysis unit, 14...Object position estimation unit, 15...Self-position estimation unit, 16...Control unit, 101...Step, 131...Frequency analysis unit, 132...Temperature data analysis unit, 161...Route generation unit
Claims (6)
前記センサーデータ取得部によって取得された波形データに含まれる周波数を分析し、前記対象領域において稼働する建設機械の稼働状況を推定する分析部と、
前記建設機械の稼働状況に基づいて、当該建設機械と干渉しないように動作させる制御信号を自律型建設ロボットに出力する制御部と、
前記分析部の分析結果に基づいて、前記建設機械の位置を推定した位置情報を生成する物体位置推定部を有し、
前記制御部は、前記推定された位置に干渉しない移動経路を前記稼働状況に応じて生成し、生成した移動経路を表す制御信号を出力する、
自律型建設ロボット制御装置。 a sensor data acquisition unit that acquires waveform data from a sensor that is installed in a target area where construction work is to be performed and detects vibrations;
an analysis unit that analyzes frequencies included in the waveform data acquired by the sensor data acquisition unit and estimates the operating status of construction machines operating in the target area;
a control unit that outputs a control signal to the autonomous construction robot based on the operating status of the construction machine so as to operate the autonomous construction robot without interfering with the construction machine;
an object position estimation unit that generates position information that estimates the position of the construction machine based on the analysis result of the analysis unit;
the control unit generates a travel route that does not interfere with the estimated position in accordance with the operation status, and outputs a control signal representing the generated travel route.
Autonomous construction robot control device.
前記分析部は、前記周波数データ記憶部を参照し、前記分析によって得られる周波数に該当する稼働状況を取得することで前記稼働状況を推定する
請求項1に記載の自律型建設ロボット制御装置。 a frequency data storage unit that stores the operating status of the construction machine and frequency characteristics corresponding to the operating status;
The autonomous construction robot control device according to claim 1 , wherein the analysis unit estimates the operating status by referring to the frequency data storage unit and acquiring the operating status corresponding to the frequency obtained by the analysis.
前記分析部は、前記温度分布データに基づいて、検知対象が存在するか否かを検出し、
前記制御部は、前記検知対象が存在する場合に、当該検知対象に干渉しないように自律型建設ロボットに制御信号を出力する
請求項1または請求項2に記載の自律型建設ロボット制御装置。 the sensor data acquisition unit acquires temperature distribution data obtained from a thermography camera that generates temperature distribution data representing a temperature distribution based on infrared rays emitted from objects present around the autonomous construction robot;
The analysis unit detects whether or not a detection target is present based on the temperature distribution data,
The autonomous construction robot control device according to claim 1 or 2, wherein the control unit outputs a control signal to the autonomous construction robot when the detection target is present so as not to interfere with the detection target.
前記物体位置推定部は、前記複数の加速度センサーが設けられた位置と、前記複数の加速度センサーによってそれぞれ検出された波形データとに基づいて、前記建設機械の位置を推定する
請求項1に記載の自律型建設ロボット制御装置。 the sensors are a plurality of acceleration sensors that detect accelerations based on the vibrations and are provided at different positions surrounding the target area;
The autonomous construction robot control device according to claim 1 , wherein the object position estimation unit estimates the position of the construction machine based on the positions where the plurality of acceleration sensors are installed and the waveform data detected by each of the plurality of acceleration sensors.
前記センサーから波形データを取得するセンサーデータ取得部と、
前記センサーデータ取得部によって取得された波形データに含まれる周波数を分析し、前記対象領域において稼働する建設機械の稼働状況を推定する分析部と、
前記建設機械の稼働状況に基づいて、当該建設機械に干渉しないように自律型建設ロボットに制御信号を出力する制御部と、
前記分析部の分析結果に基づいて、前記建設機械の位置を推定した位置情報を生成する物体位置推定部を有し、
前記制御部は、前記推定された位置に干渉しない移動経路を前記稼働状況に応じて生成し、生成した移動経路を表す制御信号を出力する
を有する自律型建設ロボット制御システム。 A sensor that is installed in the target area where construction work is to be performed and detects vibrations;
a sensor data acquisition unit that acquires waveform data from the sensor;
an analysis unit that analyzes frequencies included in the waveform data acquired by the sensor data acquisition unit and estimates the operating status of construction machines operating in the target area;
a control unit that outputs a control signal to the autonomous construction robot based on the operating status of the construction machine so as not to interfere with the construction machine;
an object position estimation unit that generates position information that estimates the position of the construction machine based on the analysis result of the analysis unit;
The control unit generates a travel route that does not interfere with the estimated position in accordance with the operating status, and outputs a control signal representing the generated travel route.
An autonomous construction robot control system having:
センサーデータ取得部が、工事を行う対象領域に設けられ振動を検出するセンサーから、波形データを取得し、
分析部が、前記センサーデータ取得部によって取得された波形データに含まれる周波数を分析し、前記対象領域において稼働する建設機械の稼働状況を推定し、
制御部が、前記建設機械の稼働状況に基づいて、当該建設機械と干渉しないように動作させる制御信号を自律型建設ロボットに出力し、
物体位置推定部が、前記分析部の分析結果に基づいて、前記建設機械の位置を推定した位置情報を生成し、
前記制御部が、前記推定された位置に干渉しない移動経路を前記稼働状況に応じて生成し、生成した移動経路を表す制御信号を出力する
自律型建設ロボットの制御方法。 1. A computer-implemented method for controlling an autonomous construction robot, comprising:
The sensor data acquisition unit acquires waveform data from a sensor that is installed in the target area where the construction work is to be performed and detects vibrations.
an analysis unit that analyzes frequencies contained in the waveform data acquired by the sensor data acquisition unit and estimates the operating status of construction machines operating in the target area;
a control unit that outputs a control signal to the autonomous construction robot based on the operating status of the construction machine so as to operate the autonomous construction robot without interfering with the construction machine;
an object position estimation unit generates position information that estimates the position of the construction machine based on the analysis result of the analysis unit;
The control unit generates a travel route that does not interfere with the estimated position in accordance with the operating status, and outputs a control signal representing the generated travel route.
A method for controlling an autonomous construction robot.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021203031A JP7758558B2 (en) | 2021-12-15 | 2021-12-15 | Autonomous construction robot control device, autonomous construction robot control system, and autonomous construction robot control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021203031A JP7758558B2 (en) | 2021-12-15 | 2021-12-15 | Autonomous construction robot control device, autonomous construction robot control system, and autonomous construction robot control method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023088367A JP2023088367A (en) | 2023-06-27 |
| JP7758558B2 true JP7758558B2 (en) | 2025-10-22 |
Family
ID=86935508
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021203031A Active JP7758558B2 (en) | 2021-12-15 | 2021-12-15 | Autonomous construction robot control device, autonomous construction robot control system, and autonomous construction robot control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7758558B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014035214A (en) | 2012-08-07 | 2014-02-24 | Ohbayashi Corp | Heavy machine work state specification system, heavy machine work state specification method, and heavy machine work state specification program |
| JP2019125345A (en) | 2018-01-12 | 2019-07-25 | キヤノン株式会社 | Information processor, information processing method, program, and system |
| JP2020178618A (en) | 2019-04-25 | 2020-11-05 | 株式会社クボタ | Agricultural work machine |
-
2021
- 2021-12-15 JP JP2021203031A patent/JP7758558B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014035214A (en) | 2012-08-07 | 2014-02-24 | Ohbayashi Corp | Heavy machine work state specification system, heavy machine work state specification method, and heavy machine work state specification program |
| JP2019125345A (en) | 2018-01-12 | 2019-07-25 | キヤノン株式会社 | Information processor, information processing method, program, and system |
| JP2020178618A (en) | 2019-04-25 | 2020-11-05 | 株式会社クボタ | Agricultural work machine |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023088367A (en) | 2023-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2914630T3 (en) | System and method for the autonomous operation of heavy machinery | |
| CN111622296B (en) | Excavator safety obstacle avoidance system and method | |
| CN108475059B (en) | Autonomous visual navigation | |
| US11372409B2 (en) | Multi-terrain inspection robotic device and methods for configuring and guiding the same | |
| US9213934B1 (en) | Real time explosive hazard information sensing, processing, and communication for autonomous operation | |
| CN102893176B (en) | Method and apparatus for mining vehicle safety arrangements | |
| US20180267540A1 (en) | Movement control system, movement control device, and computer-implemented program for movement control | |
| JP2022512359A (en) | Technology for estimating motion behavior and dynamic behavior in autonomous vehicles | |
| KR20210058998A (en) | Autonomous Map Driving Using Waypoint Matching | |
| JP7817809B2 (en) | Vehicle Navigation | |
| BRPI0809249A2 (en) | METHOD FOR PLANNING AND IMPLEMENTING OBSTACLES FREE ROUTE FOR EXCAVATING MACHINERY. | |
| CN108803588A (en) | The control system of robot | |
| JP2009217333A (en) | Mobile robot and operation control method thereof | |
| JPWO2019180897A1 (en) | Inspection management device, inspection management method, program, inspection robot, and inspection robot management system | |
| KR102777443B1 (en) | Autonomous exploration robot and autonomous exploration method for underground facility exploration | |
| WO2022230880A1 (en) | Control method, control system, and control device | |
| US20210107143A1 (en) | Recording medium, information processing apparatus, and information processing method | |
| JP7758558B2 (en) | Autonomous construction robot control device, autonomous construction robot control system, and autonomous construction robot control method | |
| JP4774401B2 (en) | Autonomous mobile route setting device | |
| JP7820236B2 (en) | Environmental data generation device, environmental data generation method, and program | |
| Basavanna et al. | Navigation of mobile robot through mapping using Orbbec Astra camera and ROS in an indoor environment | |
| KR102800524B1 (en) | Apparatus for generating environment data neighboring construction equipment and construction equipment including the same | |
| Camargo et al. | Mobile robot autonomous exploration and navigation in large-scale indoor environments | |
| JP7512213B2 (en) | Mobility control system and mobility control method | |
| WO2022153669A1 (en) | Distributed coordination system and task execution method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20241031 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250617 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20250619 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250806 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250930 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20251009 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7758558 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |