JP6947659B2

JP6947659B2 - Construction machine position estimation device

Info

Publication number: JP6947659B2
Application number: JP2018025649A
Authority: JP
Inventors: 昭筒井
Original assignee: Kobelco Construction Machinery Co Ltd; Kobe Steel Ltd
Current assignee: Kobelco Construction Machinery Co Ltd; Kobe Steel Ltd
Priority date: 2018-02-16
Filing date: 2018-02-16
Publication date: 2021-10-13
Anticipated expiration: 2038-02-16
Also published as: JP2019143995A

Description

本発明は、建設機械の三次元位置を推定する装置に関する。 The present invention relates to a device for estimating a three-dimensional position of a construction machine.

例えば、特許文献１などに、衛星測位システム（同文献ではＧＰＳ（Global Positioning System））を用いて、建設機械の三次元位置を計測する技術が記載されている（同文献の段落００２９、００３０、および図１などを参照）。 For example, Patent Document 1 and the like describe a technique for measuring the three-dimensional position of a construction machine using a satellite positioning system (GPS (Global Positioning System) in the same document) (paragraphs 0029 and 0030 of the same document). And see Figure 1 and so on).

特開２００９−４２１７５号公報Japanese Unexamined Patent Publication No. 2009-42175

しかし、通常、建設機械で用いられる衛星測位システムは高価である（具体例は後述）。 However, satellite positioning systems used in construction machinery are usually expensive (specific examples will be described later).

そこで、本発明は、衛星測位システムを用いなくても、建設機械の三次元位置を推定できる、建設機械の位置推定装置を提供することを目的とする。 Therefore, an object of the present invention is to provide a position estimation device for a construction machine capable of estimating a three-dimensional position of the construction machine without using a satellite positioning system.

本発明の建設機械の位置推定装置は、前記建設機械の三次元位置を推定する。前記建設機械は、下部走行体と、前記下部走行体に対して旋回可能な上部旋回体と、を備える。建設機械の位置推定装置は、地図情報取得部と、基準点取得部と、カメラと、距離取得部と、位置計算部と、を備える。前記地図情報取得部は、三次元の地図情報を取得する。前記基準点取得部は、前記地図情報における３つの地図上基準点を取得する。前記カメラは、前記上部旋回体に取り付けられ、３つの前記地図上基準点に対応する３つの実在基準点を含む距離画像を取得する。前記距離取得部は、前記距離画像に基づいて、３つの前記実在基準点のそれぞれから前記カメラまでの距離を取得する。前記位置計算部は、前記距離取得部により計算された距離に基づいて、前記実在基準点に対する前記建設機械の位置を計算する。 The position estimation device of the construction machine of the present invention estimates the three-dimensional position of the construction machine. The construction machine includes a lower traveling body and an upper rotating body capable of turning with respect to the lower traveling body. The position estimation device of the construction machine includes a map information acquisition unit, a reference point acquisition unit, a camera, a distance acquisition unit, and a position calculation unit. The map information acquisition unit acquires three-dimensional map information. The reference point acquisition unit acquires three reference points on the map in the map information. The camera is attached to the upper swing body and acquires a distance image including three actual reference points corresponding to the three reference points on the map. The distance acquisition unit acquires the distance from each of the three actual reference points to the camera based on the distance image. The position calculation unit calculates the position of the construction machine with respect to the actual reference point based on the distance calculated by the distance acquisition unit.

上記構成により、衛星測位システムを用いなくても、建設機械の三次元位置を推定できる。 With the above configuration, the three-dimensional position of the construction machine can be estimated without using a satellite positioning system.

建設機械１の位置推定装置２０を示す図である。It is a figure which shows the position estimation apparatus 20 of a construction machine 1. 図１に示す位置推定装置２０が取得する地図情報を示す図である。It is a figure which shows the map information acquired by the position estimation apparatus 20 shown in FIG. 図１に示すカメラ３５が撮影した画像を示す図である。It is a figure which shows the image taken by the camera 35 shown in FIG. 図１に示す位置推定装置２０の作動のフローチャートである。It is a flowchart of the operation of the position estimation device 20 shown in FIG. 図４に示すステップＳ３０の制御のフローチャートである。It is a flowchart of the control of step S30 shown in FIG. 図１に示す建設機械１などを上から見た図である。It is a figure which looked at the construction machine 1 and the like shown in FIG. 1 from the top. 図１に示す建設機械１などを上から見た図である。It is a figure which looked at the construction machine 1 and the like shown in FIG. 1 from the top. 図７に示す建設機械１が地面に対して回転した状態を示す図７相当図である。FIG. 7 is a view corresponding to FIG. 7 showing a state in which the construction machine 1 shown in FIG. 7 is rotated with respect to the ground.

図１〜図８を参照して、図１に示す建設機械１の位置推定装置２０について説明する。 The position estimation device 20 of the construction machine 1 shown in FIG. 1 will be described with reference to FIGS. 1 to 8.

建設機械１は、建設作業などの作業を行う機械である。建設機械１は、例えばショベルである。建設機械１は、下部走行体１１と、上部旋回体１３と、アタッチメント１５と、を備える。下部走行体１１は、建設機械１を走行させる部分である。下部走行体１１は、左右のクローラを備える（図６参照）。上部旋回体１３は、下部走行体１１よりも上に配置され、下部走行体１１に対して旋回可能である。 The construction machine 1 is a machine that performs work such as construction work. The construction machine 1 is, for example, an excavator. The construction machine 1 includes a lower traveling body 11, an upper rotating body 13, and an attachment 15. The lower traveling body 11 is a portion on which the construction machine 1 travels. The lower traveling body 11 includes left and right crawlers (see FIG. 6). The upper rotating body 13 is arranged above the lower traveling body 11 and can turn with respect to the lower traveling body 11.

アタッチメント１５は、上部旋回体１３に取り付けられ、作業を行う部分である。アタッチメント１５は、ブーム１５ａと、アーム１５ｂと、バケット１５ｃと、を備える。ブーム１５ａは、上部旋回体１３に回転可能に取り付けられる。アーム１５ｂは、ブーム１５ａに回転可能に取り付けられる。バケット１５ｃ（先端アタッチメント）は、アーム１５ｂに回転可能に取り付けられる。アタッチメント１５の先端部を、アタッチメント先端部１５ｔとする。アタッチメント先端部１５ｔは、例えば、バケット１５ｃの先端の刃先などである。 The attachment 15 is a portion that is attached to the upper swing body 13 and performs work. The attachment 15 includes a boom 15a, an arm 15b, and a bucket 15c. The boom 15a is rotatably attached to the upper swing body 13. The arm 15b is rotatably attached to the boom 15a. The bucket 15c (tip attachment) is rotatably attached to the arm 15b. The tip of the attachment 15 is referred to as the attachment tip 15t. The attachment tip 15t is, for example, the cutting edge of the tip of the bucket 15c.

位置推定装置２０は、建設機械１の三次元位置を計算（推定）する。以下では、三次元位置を単に「位置」ともいう。位置推定装置２０は、例えばアタッチメント１５の位置を計算し、例えばアタッチメント先端部１５ｔの位置を計算する。位置推定装置２０は、地図情報取得部３１と、基準点取得部３３と、カメラ３５と、カメラ回動部３７と、演算部４０と、検出部５０と、を備える。 The position estimation device 20 calculates (estimates) the three-dimensional position of the construction machine 1. In the following, the three-dimensional position is also simply referred to as "position". The position estimation device 20 calculates the position of the attachment 15, for example, and calculates the position of the attachment tip portion 15t, for example. The position estimation device 20 includes a map information acquisition unit 31, a reference point acquisition unit 33, a camera 35, a camera rotation unit 37, a calculation unit 40, and a detection unit 50.

地図情報取得部３１は、三次元の地図情報Ｍを取得する。地図情報取得部３１は、ドローンなどを用いた空撮によって地図情報Ｍを取得するものでもよく、予め記憶装置などに記憶された既知の地図情報Ｍを取得するものでもよい。地図情報Ｍは、建設機械１が作業を行う現場（施工現場）の情報を含む、電子地図である。図２に、地図情報Ｍの一例を示す。なお、図２の下部に示す地図情報Ｍａは、施工現場などを上から見た状態に相当する情報である。図２の上部に示す地図情報Ｍｂは、地図情報Ｍａ内に示す矢印Ｖ１の向きに建物などを見た状態に相当する情報である。 The map information acquisition unit 31 acquires the three-dimensional map information M. The map information acquisition unit 31 may acquire the map information M by aerial photography using a drone or the like, or may acquire the known map information M stored in advance in a storage device or the like. The map information M is an electronic map including information on the site (construction site) where the construction machine 1 works. FIG. 2 shows an example of map information M. The map information Ma shown in the lower part of FIG. 2 is information corresponding to a state in which the construction site or the like is viewed from above. The map information Mb shown in the upper part of FIG. 2 is information corresponding to a state in which a building or the like is viewed in the direction of the arrow V1 shown in the map information Ma.

基準点取得部３３（図１参照）は、３つの地図上基準点Ｐｍ（Ｐｍ１、Ｐｍ２、およびＰｍ３）を取得する。地図上基準点Ｐｍは、地図情報Ｍにおける基準点である。地図上基準点Ｐｍの位置（座標）は、既知である。基準点取得部３３は、少なくとも３つの地図上基準点Ｐｍを取得し、４つ以上の地図上基準点Ｐｍを取得してもよい。以下では、地図上基準点Ｐｍの数が３の場合について説明する。図１に示す基準点取得部３３は、例えば、操作者に操作されることで地図上基準点Ｐｍを取得するものでもよく、具体的には、タッチパネルの操作やカーソルの操作などにより地図上基準点Ｐｍを取得するものでもよい。例えば、基準点取得部３３は、予め記憶装置などに記憶された地図上基準点Ｐｍを取得するものでもよい。地図上基準点Ｐｍ（Ｐｍ１、Ｐｍ２、およびＰｍ３）に対応する、実在の基準点を、実在基準点Ｐｒ（Ｐｒ１、Ｐｒ２、およびＰｒ３）とする。 The reference point acquisition unit 33 (see FIG. 1) acquires three reference points Pm (Pm1, Pm2, and Pm3) on the map. The reference point Pm on the map is a reference point in the map information M. The position (coordinates) of the reference point Pm on the map is known. The reference point acquisition unit 33 may acquire at least three reference points Pm on the map and acquire four or more reference points Pm on the map. The case where the number of reference points Pm on the map is 3 will be described below. The reference point acquisition unit 33 shown in FIG. 1 may acquire the reference point Pm on the map by being operated by the operator, and specifically, the reference point on the map is obtained by operating the touch panel or operating the cursor. It may be the one that acquires the point Pm. For example, the reference point acquisition unit 33 may acquire the reference point Pm on the map stored in advance in a storage device or the like. The actual reference point corresponding to the reference point Pm (Pm1, Pm2, and Pm3) on the map is defined as the actual reference point Pr (Pr1, Pr2, and Pr3).

カメラ３５は、図３に示すように、３つの実在基準点Ｐｒを含む画像Ｉｍ（距離画像）を取得する。画像Ｉｍは、３つの実在基準点Ｐｒのそれぞれからカメラ３５までの距離Ｌ（図６参照）の情報を含む。カメラ３５は、例えばステレオカメラでもよく、例えば距離の情報を取得可能な単眼カメラでもよく、例えばＴＯＦ（Time of Flight）カメラなどでもよい。図１に示すように、カメラ３５は、上部旋回体１３に取り付けられる。 As shown in FIG. 3, the camera 35 acquires an image Im (distance image) including three real reference points Pr. The image Im includes information on the distance L (see FIG. 6) from each of the three real reference points Pr to the camera 35. The camera 35 may be, for example, a stereo camera, for example, a monocular camera capable of acquiring distance information, or a TOF (Time of Flight) camera, for example. As shown in FIG. 1, the camera 35 is attached to the upper swing body 13.

カメラ回動部３７は、上部旋回体１３に対してカメラ３５を回動させる。カメラ回動部３７は、カメラ３５を水平方向に（上下方向の回転軸回りに）回動させる。カメラ回動部３７は、カメラ３５を上下方向に（水平方向の回転軸回りに）回動させてもよい。 The camera rotating unit 37 rotates the camera 35 with respect to the upper rotating body 13. The camera rotating unit 37 rotates the camera 35 in the horizontal direction (around the rotation axis in the vertical direction). The camera rotating unit 37 may rotate the camera 35 in the vertical direction (around the rotation axis in the horizontal direction).

演算部４０は、信号の入出力、および演算などを行う。演算部４０は、距離取得部４１と、位置計算部４３と、撮影範囲制御部４５と、を備える。 The calculation unit 40 performs signal input / output, calculation, and the like. The calculation unit 40 includes a distance acquisition unit 41, a position calculation unit 43, and a shooting range control unit 45.

距離取得部４１は、カメラ３５に取得された画像Ｉｍ（図３参照）に基づいて、３つの実在基準点Ｐｒ（図６参照）のそれぞれからカメラ３５までの距離Ｌ（図６参照）を取得する。位置計算部４３は、距離取得部４１により取得された距離Ｌ（図６参照）に基づいて、実在基準点Ｐｒ（図６参照）に対する建設機械１の位置（相対位置）を計算する。撮影範囲制御部４５は、３つの実在基準点Ｐｒ（図６参照）をカメラ３５が撮影し続けるように、カメラ３５の撮影範囲を制御する。撮影範囲制御部４５は、建設機械１の作動に応じて、カメラ３５の撮影範囲を制御する。距離取得部４１、位置計算部４３、および撮影範囲制御部４５のそれぞれの機能の詳細は後述する。 The distance acquisition unit 41 acquires the distance L (see FIG. 6) from each of the three real reference points Pr (see FIG. 6) to the camera 35 based on the image Im (see FIG. 3) acquired by the camera 35. do. The position calculation unit 43 calculates the position (relative position) of the construction machine 1 with respect to the actual reference point Pr (see FIG. 6) based on the distance L (see FIG. 6) acquired by the distance acquisition unit 41. The shooting range control unit 45 controls the shooting range of the camera 35 so that the camera 35 continues to shoot the three actual reference points Pr (see FIG. 6). The shooting range control unit 45 controls the shooting range of the camera 35 according to the operation of the construction machine 1. Details of the functions of the distance acquisition unit 41, the position calculation unit 43, and the shooting range control unit 45 will be described later.

検出部５０は、建設機械１の状態を検出する。検出部５０は、回転検出部５１と、アタッチメント姿勢検出部５３と、を備える。なお、図１に示す並進情報取得部１５５については、後述する変形例１で説明する。 The detection unit 50 detects the state of the construction machine 1. The detection unit 50 includes a rotation detection unit 51 and an attachment posture detection unit 53. The translational information acquisition unit 155 shown in FIG. 1 will be described in a modified example 1 described later.

回転検出部５１は、地面および下部走行体１１の少なくともいずれかに対する、上部旋回体１３の回転の情報を検出する。上記「回転の情報」は、角度、角速度、および角加速度の少なくともいずれかである。回転検出部５１は、ジャイロセンサ５１ａと、旋回角度検出部５１ｂと、を備える。ジャイロセンサ５１ａは、地面に対する上部旋回体１３の角速度を検出する。ジャイロセンサ５１ａは、上部旋回体１３のヨー角速度を検出する。ジャイロセンサ５１ａの検出値を時間で積分することにより、地面に対する上部旋回体１３の角度が求められてもよい。旋回角度検出部５１ｂは、下部走行体１１に対する上部旋回体１３の旋回角度を検出する。下部走行体１１が地面に対して回転していない場合は、旋回角度検出部５１ｂは、地面に対する上部旋回体１３の回転の角度を検出する。旋回角度検出部５１ｂの検出値を時間で微分することにより、下部走行体１１に対する上部旋回体１３の角速度が求められてもよい。例えば、旋回角度検出部５１ｂは、上部旋回体１３に設けられる角度センサ（エンコーダ）である。 The rotation detection unit 51 detects information on the rotation of the upper swivel body 13 with respect to at least one of the ground and the lower traveling body 11. The "rotational information" is at least one of an angle, an angular velocity, and an angular acceleration. The rotation detection unit 51 includes a gyro sensor 51a and a turning angle detection unit 51b. The gyro sensor 51a detects the angular velocity of the upper swing body 13 with respect to the ground. The gyro sensor 51a detects the yaw angular velocity of the upper swing body 13. The angle of the upper swivel body 13 with respect to the ground may be obtained by integrating the detected value of the gyro sensor 51a with time. The turning angle detection unit 51b detects the turning angle of the upper turning body 13 with respect to the lower traveling body 11. When the lower traveling body 11 is not rotating with respect to the ground, the turning angle detecting unit 51b detects the rotation angle of the upper turning body 13 with respect to the ground. By differentiating the detected value of the turning angle detecting unit 51b with respect to time, the angular velocity of the upper turning body 13 with respect to the lower traveling body 11 may be obtained. For example, the turning angle detecting unit 51b is an angle sensor (encoder) provided on the upper turning body 13.

アタッチメント姿勢検出部５３は、アタッチメント１５の姿勢を検出する。アタッチメント姿勢検出部５３は、ブーム角度検出部５３ａと、アーム角度検出部５３ｂと、バケット角度検出部５３ｃと、を備える。ブーム角度検出部５３ａは、上部旋回体１３に対するブーム１５ａの回転角度（ブーム角度）を検出する。例えば、ブーム角度検出部５３ａは、角度センサ（エンコーダ）でもよい（アーム角度検出部５３ｂおよびバケット角度検出部５３ｃも同様）。例えば、ブーム角度検出部５３ａは、ブーム１５ａを駆動するシリンダ（図示なし）の伸縮量を検出することで、ブーム角度を検出してもよい。この場合、シリンダの伸縮量から、ブーム角度が算出される。シリンダの伸縮量を検出してもよい点は、アーム角度検出部５３ｂおよびバケット角度検出部５３ｃも同様である。アーム角度検出部５３ｂは、ブーム１５ａに対するアーム１５ｂの回転角度（アーム角度）を検出する。バケット角度検出部５３ｃ（先端アタッチメント角度検出部）は、アーム１５ｂに対するバケット１５ｃの回転角度（バケット角度）を検出する。 The attachment posture detection unit 53 detects the posture of the attachment 15. The attachment posture detection unit 53 includes a boom angle detection unit 53a, an arm angle detection unit 53b, and a bucket angle detection unit 53c. The boom angle detection unit 53a detects the rotation angle (boom angle) of the boom 15a with respect to the upper swing body 13. For example, the boom angle detection unit 53a may be an angle sensor (encoder) (the same applies to the arm angle detection unit 53b and the bucket angle detection unit 53c). For example, the boom angle detection unit 53a may detect the boom angle by detecting the amount of expansion and contraction of a cylinder (not shown) that drives the boom 15a. In this case, the boom angle is calculated from the amount of expansion and contraction of the cylinder. The point that the expansion / contraction amount of the cylinder may be detected is the same for the arm angle detection unit 53b and the bucket angle detection unit 53c. The arm angle detection unit 53b detects the rotation angle (arm angle) of the arm 15b with respect to the boom 15a. The bucket angle detection unit 53c (tip attachment angle detection unit) detects the rotation angle (bucket angle) of the bucket 15c with respect to the arm 15b.

（作動）
図４および図５に示すフローチャートを参照して、図１に示す位置推定装置２０の作動（ステップＳ１１〜Ｓ４０）について説明する。上記の位置推定装置２０の各構成要素については、主に図１を参照して説明する。 (Operation)
The operation of the position estimation device 20 shown in FIG. 1 (steps S11 to S40) will be described with reference to the flowcharts shown in FIGS. 4 and 5. Each component of the position estimation device 20 will be described mainly with reference to FIG.

ステップＳ１１（図４参照）では、図１に示す地図情報取得部３１が、三次元の地図情報Ｍ（図２参照）を取得する。 In step S11 (see FIG. 4), the map information acquisition unit 31 shown in FIG. 1 acquires the three-dimensional map information M (see FIG. 2).

ステップＳ１３（図４参照）では、基準点取得部３３が、地図情報Ｍにおける３つの地図上基準点Ｐｍ（Ｐｍ１、Ｐｍ２、およびＰｍ３）（図２参照）を取得する。ここで、図６に示すように、地図上基準点Ｐｍ１の座標を（Ｘ₁、Ｙ₁、Ｚ₁）、地図上基準点Ｐｍ２の座標を（Ｘ₂、Ｙ₂、Ｚ₂）、地図上基準点Ｐｍ３の座標を（Ｘ₃、Ｙ₃、Ｚ₃）とする。 In step S13 (see FIG. 4), the reference point acquisition unit 33 acquires the three reference points Pm (Pm1, Pm2, and Pm3) (see FIG. 2) on the map in the map information M. Here, as shown in FIG. 6, the coordinates of the reference point Pm1 on the map (X ₁ , Y ₁ , Z ₁ _{) and the coordinates of the reference point Pm 2} on the map (X 2, Y ₂ , Z ₂ ) are on the map. Let the coordinates of the reference point Pm3 be (X ₃ , Y ₃ , Z ₃ ).

地図上基準点Ｐｍは、例えば次のように選択される。まず、図３に示す実在基準点Ｐｒが、後述するように選択される。そして、選択された実在基準点Ｐｒに対応する、図２に示す地図情報Ｍ上の位置が、地図上基準点Ｐｍとして選択される。 The reference point Pm on the map is selected, for example, as follows. First, the real reference point Pr shown in FIG. 3 is selected as described later. Then, the position on the map information M shown in FIG. 2 corresponding to the selected real reference point Pr is selected as the map reference point Pm.

実在基準点Ｐｒは、次のように選択される。図３に示す実在基準点Ｐｒとして選択される位置は、画像Ｉｍから識別可能な位置である。具体的には例えば、実在基準点Ｐｒは、次のように選択される。［例Ａ１］実在基準点Ｐｒとして選択される位置は、カメラ３５で撮影可能な位置（画像Ｉｍに映る位置）である。例えば、建物に隠れる位置、および、建物の屋根の上など、カメラ３５で撮影できない位置は、実在基準点Ｐｒとして不適である。［例Ａ２］実在基準点Ｐｒとして選択される位置は、画像Ｉｍに基づいて、実在基準点Ｐｒとそれ以外の位置とを演算部４０（図１参照）で識別できるような位置である。例えば、建物の壁の中央部など、画像Ｉｍに映っている位置でも、演算部４０で識別できない位置は、実在基準点Ｐｒとして不適である。［例Ａ３］実在基準点Ｐｒとして選択される位置は、地図情報Ｍに情報（座標の情報）が存在している位置である。例えば、図２に示すビルの角（頂点）の位置、および、街灯の上部の位置などは、地図情報Ｍに情報が存在しており、実在基準点Ｐｒとして適している。一方、図３に示すビルの窓、および、街灯の支柱部分は、図２に示す地図情報Ｍに情報が存在しておらず、実在基準点Ｐｒとして不適である。［例Ａ４］図３に示す実在基準点Ｐｒとして選択される位置は、画像Ｉｍにおける位置（画像Ｉｍ中のどこに映っているか）を演算部４０が容易に（正確に、精度よく）識別できる位置であることが好ましい。［例Ａ４ａ］例えば、形状や色彩などが、周囲の物と区別しやすい位置は、実在基準点Ｐｒとして好ましい。例えば、図３に示す例では、ビルの角の位置、および、街灯の上部の位置など、周囲の物と区別しやすい位置は、実在基準点Ｐｒとして好ましい。［例Ａ４ｂ］例えば、識別用（画像認識用）のマーカー（目印）が取り付けられた位置は、画像Ｉｍにおける位置を特定しやすく、実在基準点Ｐｒとして好ましい。［例Ａ４ｂ−１］例えば、マーカーは、周囲の物と区別しやすい位置（上記［例Ａ４ａ］参照）に取り付けられてもよい。この場合、画像Ｉｍにおける位置の識別を、より容易に行える。［例Ａ４ｂ−２］例えば、マーカーの位置の情報を含んだ地図情報Ｍ（図２参照）を取得し、地図情報Ｍにおけるマーカーの位置の情報に対応する実在の位置に、マーカーを取り付けてもよい。また、ある位置にマーカーを取り付け、マーカーを取り付けた位置の情報を、地図情報Ｍ（図２参照）に追加してもよい。これらの場合、例えば、ビルの壁の中央部など、周囲の物と区別不可能な位置であっても、マーカーが取り付けられた位置を、実在基準点Ｐｒとして選択できる。 The real reference point Pr is selected as follows. The position selected as the actual reference point Pr shown in FIG. 3 is a position that can be identified from the image Im. Specifically, for example, the real reference point Pr is selected as follows. [Example A1] The position selected as the actual reference point Pr is a position that can be photographed by the camera 35 (a position reflected in the image Im). For example, a position hidden in the building and a position that cannot be photographed by the camera 35, such as on the roof of the building, are unsuitable as the actual reference point Pr. [Example A2] The position selected as the real reference point Pr is a position where the real reference point Pr and other positions can be identified by the calculation unit 40 (see FIG. 1) based on the image Im. For example, a position that cannot be identified by the calculation unit 40 even at a position reflected in the image Im, such as a central portion of a building wall, is unsuitable as an actual reference point Pr. [Example A3] The position selected as the actual reference point Pr is a position where information (coordinate information) exists in the map information M. For example, the positions of the corners (vertices) of the building shown in FIG. 2, the positions of the upper parts of the street lights, and the like are present in the map information M and are suitable as the actual reference point Pr. On the other hand, the window of the building shown in FIG. 3 and the pillar portion of the street lamp do not have information in the map information M shown in FIG. 2, and are not suitable as the actual reference point Pr. [Example A4] The position selected as the actual reference point Pr shown in FIG. 3 is a position where the calculation unit 40 can easily (accurately and accurately) identify the position in the image Im (where it is reflected in the image Im). Is preferable. [Example A4a] For example, a position where the shape, color, and the like can be easily distinguished from surrounding objects is preferable as the actual reference point Pr. For example, in the example shown in FIG. 3, a position that is easily distinguishable from surrounding objects, such as the position of the corner of the building and the position of the upper part of the street light, is preferable as the actual reference point Pr. [Example A4b] For example, a position to which a marker (mark) for identification (for image recognition) is attached is preferable as an actual reference point Pr because it is easy to identify the position in the image Im. [Example A4b-1] For example, the marker may be attached at a position that is easily distinguishable from surrounding objects (see [Example A4a] above). In this case, the position in the image Im can be identified more easily. [Example A4b-2] For example, even if the map information M (see FIG. 2) including the marker position information is acquired and the marker is attached to the actual position corresponding to the marker position information in the map information M. good. Further, a marker may be attached to a certain position, and information on the position where the marker is attached may be added to the map information M (see FIG. 2). In these cases, the position where the marker is attached can be selected as the actual reference point Pr even if the position is indistinguishable from the surrounding objects such as the central part of the wall of the building.

次に、ステップＳ１５（図４参照）では、図３に示すように、カメラ３５の撮影範囲に３つの実在基準点Ｐｒが含まれるように、カメラ３５の撮影範囲の初期位置が設定される。カメラ３５の撮影範囲に３つの実在基準点Ｐｒが含まれるように、例えば、図１に示すカメラ回動部３７でカメラ３５が回動させられてもよく、例えば、地面に対する上部旋回体１３の向きが変えられてもよい。例えば、操作者が、画像Ｉｍまたはカメラ３５を見ながら、カメラ３５または上部旋回体１３の向きを操作することで、カメラ３５の撮影範囲が設定される。 Next, in step S15 (see FIG. 4), as shown in FIG. 3, the initial position of the shooting range of the camera 35 is set so that the shooting range of the camera 35 includes the three actual reference points Pr. The camera 35 may be rotated by the camera rotating portion 37 shown in FIG. 1, for example, so that the shooting range of the camera 35 includes three actual reference points Pr, for example, the upper swivel body 13 with respect to the ground. The orientation may be changed. For example, the shooting range of the camera 35 is set by the operator operating the direction of the camera 35 or the upper swivel body 13 while looking at the image Im or the camera 35.

ここで、３つの実在基準点Ｐｒの中央部の位置を、基準点中央位置Ｐ０とする。基準点中央位置Ｐ０は、３つの実在基準点Ｐｒからの距離が等しい位置である。図８に示すように、カメラ３５から、基準点中央位置Ｐ０の位置に向かう方向（向き）を、基準点中央位置方向Ｄ０とする。また、カメラ３５から、カメラ３５の正面に向かう方向（向き）を、カメラ撮影方向Ｄ３５とする。また、図３に示す画像Ｉｍの中央部の位置を、画像Ｉｍ中央部とする。画像Ｉｍ中央部は、画像Ｉｍの横方向における中央部、かつ、画像Ｉｍの縦方向における中央部でもよい。画像Ｉｍ中央部は、画像Ｉｍの横方向における中央部（縦に長い範囲）でもよい。 Here, the position of the central portion of the three real reference points Pr is defined as the reference point central position P0. The reference point center position P0 is a position where the distances from the three existing reference points Pr are equal. As shown in FIG. 8, the direction (direction) from the camera 35 toward the position of the reference point center position P0 is defined as the reference point center position direction D0. Further, the direction (direction) from the camera 35 toward the front of the camera 35 is defined as the camera shooting direction D35. Further, the position of the central portion of the image Im shown in FIG. 3 is defined as the central portion of the image Im. The central portion of the image Im may be the central portion in the horizontal direction of the image Im and the central portion in the vertical direction of the image Im. The central portion of the image Im may be the central portion (long vertical range) of the image Im in the horizontal direction.

このステップＳ１５（図４参照）では、例えば、基準点中央位置Ｐ０が、画像Ｉｍ中央部（またはその近傍）に映るように、カメラ３５の撮影範囲が設定される。例えば、図７に示すように、基準点中央位置方向Ｄ０とカメラ撮影方向Ｄ３５とが一致（またはほぼ一致）するように、カメラ３５の撮影範囲が設定される。 In this step S15 (see FIG. 4), for example, the shooting range of the camera 35 is set so that the center position P0 of the reference point is reflected in the center of the image Im (or its vicinity). For example, as shown in FIG. 7, the shooting range of the camera 35 is set so that the reference point center position direction D0 and the camera shooting direction D35 match (or substantially match).

ステップＳ２１（図４参照）では、図３に示すように、カメラ３５が、３つの実在基準点Ｐｒを含む画像Ｉｍを撮影する。画像Ｉｍ中の３つの実在基準点Ｐｒの位置は、次のように演算部４０（図１参照）に認識される。例えば、操作者が、画像Ｉｍ内の３つの実在基準点Ｐｒを、操作により指定することで、実在基準点Ｐｒの位置が演算部４０に認識されてもよい。上記操作は、例えば、タッチパネルの操作やカーソルの操作などであり、基準点取得部３３の操作と同様の操作などである。また、例えば、演算部４０が、画像Ｉｍ内の３つの実在基準点Ｐｒ（例えば識別用のマーカーの位置など）を、自動的に認識してもよい。 In step S21 (see FIG. 4), as shown in FIG. 3, the camera 35 captures an image Im including three real reference points Pr. The positions of the three real reference points Pr in the image Im are recognized by the calculation unit 40 (see FIG. 1) as follows. For example, the operator may specify the three real reference points Pr in the image Im by operation, so that the position of the real reference point Pr may be recognized by the calculation unit 40. The operation is, for example, a touch panel operation, a cursor operation, or the like, and is the same operation as the operation of the reference point acquisition unit 33. Further, for example, the calculation unit 40 may automatically recognize the three real reference points Pr (for example, the positions of the identification markers) in the image Im.

次に、ステップＳ２３（図４参照）では、距離取得部４１（図１参照）が、図６に示す３つの実在基準点Ｐｒのそれぞれからカメラ３５までの距離Ｌを取得する。距離取得部４１（図１参照）は、画像Ｉｍ（図３参照）に基づいて、距離Ｌを取得する。ここで、実在基準点Ｐｒ１からカメラ３５までの距離を距離Ｌ₁とする。実在基準点Ｐｒ２からカメラ３５までの距離を距離Ｌ₂とする。実在基準点Ｐｒ３からカメラ３５までの距離を距離Ｌ₃とする。 Next, in step S23 (see FIG. 4), the distance acquisition unit 41 (see FIG. 1) acquires the distance L from each of the three real reference points Pr shown in FIG. 6 to the camera 35. The distance acquisition unit 41 (see FIG. 1) acquires the distance L based on the image Im (see FIG. 3). Here, the distance from the real reference point Pr1 to the camera 35 and the distance L _1. The distance from the real reference point Pr2 to the camera 35 and the distance L _2. The distance from the real reference point Pr3 to the camera 35 and the distance L _3.

次に、ステップＳ２５（図４参照）では、位置計算部４３（図１参照）が、実在基準点Ｐｒに対するカメラ３５の位置を計算する。位置計算部４３は、距離取得部４１（図１参照）により取得された距離Ｌに基づいて、カメラ３５の位置を計算する。さらに詳しくは、位置計算部４３が、各距離Ｌ₁、Ｌ₂、およびＬ₃、ならびに、各実在基準点Ｐｒ１、Ｐｒ２、およびＰｒ３の座標から、カメラ３５の三次元座標（Ｘ_C、Ｙ_C、Ｚ_C）を計算する。具体的には、位置計算部４３は、次の連立方程式を解くことで、カメラ３５の三次元座標を計算する。 Next, in step S25 (see FIG. 4), the position calculation unit 43 (see FIG. 1) calculates the position of the camera 35 with respect to the actual reference point Pr. The position calculation unit 43 calculates the position of the camera 35 based on the distance L acquired by the distance acquisition unit 41 (see FIG. 1). More specifically, the position calculation unit 43 determines _{the three-dimensional coordinates (X C} , Y _{C) of the} _{camera 35 from the coordinates of the distances L 1} , L ₂ , and L ₃ , and the actual reference points Pr 1, Pr 2, and Pr 3. , Z _C ) is calculated. Specifically, the position calculation unit 43 calculates the three-dimensional coordinates of the camera 35 by solving the following simultaneous equations.

次に、ステップＳ２７（図４参照）では、図１に示す位置計算部４３が、アタッチメント先端部１５ｔの位置を計算する。位置計算部４３は、カメラ３５の位置と、カメラ回動角度Ｒｃ（図７参照）と、アタッチメント１５の姿勢と、に基づいて、アタッチメント先端部１５ｔの位置を計算する。 Next, in step S27 (see FIG. 4), the position calculation unit 43 shown in FIG. 1 calculates the position of the attachment tip portion 15t. The position calculation unit 43 calculates the position of the attachment tip portion 15t based on the position of the camera 35, the camera rotation angle Rc (see FIG. 7), and the posture of the attachment 15.

さらに詳しくは、位置計算部４３は、図７に示す基準点中央位置方向Ｄ０と、カメラ回動角度Ｒｃと、に基づいて、上部旋回体方向Ｄ１３を計算する。上部旋回体方向Ｄ１３は、上部旋回体１３の方向（向き）であり、例えば、上部旋回体１３からアタッチメント１５が延びる方向である。そして、カメラ３５の位置と、上部旋回体方向Ｄ１３と、アタッチメント１５の姿勢と、に基づいて、アタッチメント先端部１５ｔの位置を計算する。その結果、アタッチメント１５を用いた作業を行っている位置（例えば土砂を掘削している位置など）を計算できる。 More specifically, the position calculation unit 43 calculates the upper swing body direction D13 based on the reference point center position direction D0 shown in FIG. 7 and the camera rotation angle Rc. The upper swing body direction D13 is the direction (direction) of the upper swing body 13, for example, the direction in which the attachment 15 extends from the upper swing body 13. Then, the position of the attachment tip portion 15t is calculated based on the position of the camera 35, the upper swing body direction D13, and the posture of the attachment 15. As a result, it is possible to calculate the position where the work using the attachment 15 is performed (for example, the position where the earth and sand are excavated).

ここで、ステップＳ２７の計算に用いられる基準点中央位置方向Ｄ０は、ステップＳ２５（図４参照）で計算したカメラ３５の位置と、基準点中央位置Ｐ０の位置から計算可能である。基準点中央位置Ｐ０の位置は、３つの地図上基準点Ｐｍ（図２参照）の位置から計算可能である。 Here, the reference point center position direction D0 used for the calculation in step S27 can be calculated from the position of the camera 35 calculated in step S25 (see FIG. 4) and the position of the reference point center position P0. The position of the reference point center position P0 can be calculated from the positions of the reference points Pm (see FIG. 2) on the three maps.

また、ステップＳ２７の計算に用いられるカメラ回動角度Ｒｃは、上部旋回体方向Ｄ１３に対する、カメラ撮影方向Ｄ３５の角度である。カメラ回動角度Ｒｃは、例えば、カメラ回動部３７（図１参照）に設けられたセンサなどにより取得可能である。 The camera rotation angle Rc used in the calculation in step S27 is the angle of the camera shooting direction D35 with respect to the upper swing body direction D13. The camera rotation angle Rc can be acquired by, for example, a sensor provided in the camera rotation unit 37 (see FIG. 1).

また、ステップＳ２７の計算に用いられるアタッチメント１５の姿勢は、図１に示すアタッチメント姿勢検出部５３により検出される。さらに詳しくは、ブーム角度検出部５３ａによりブーム角度が検出され、アーム角度検出部５３ｂによりアーム角度が検出され、バケット角度検出部５３ｃによりバケット角度が検出される。また、アタッチメント先端部１５ｔの位置の計算に必要な、アタッチメント１５の寸法などの情報は、位置計算部４３に（演算部４０に）予め設定される。 Further, the posture of the attachment 15 used in the calculation of step S27 is detected by the attachment posture detection unit 53 shown in FIG. More specifically, the boom angle detection unit 53a detects the boom angle, the arm angle detection unit 53b detects the arm angle, and the bucket angle detection unit 53c detects the bucket angle. Further, information such as the dimensions of the attachment 15 necessary for calculating the position of the attachment tip portion 15t is preset in the position calculation unit 43 (in the calculation unit 40).

次に、ステップＳ３０（図４参照）では、撮影範囲制御部４５が、図３に示す３つの実在基準点Ｐｒをカメラ３５が撮影し続けるように、カメラ３５の撮影範囲を制御する。この制御を行う理由は次の通りである。図１に示す建設機械１が作業を行うとき、下部走行体１１による並進移動、地面に対する下部走行体１１の回転（左右のクローラの走行速度の相違による回転）、および、下部走行体１１に対する上部旋回体１３の旋回、の少なくともいずれかが行われる。すると、図３に示すカメラ３５の撮影範囲から実在基準点Ｐｒが外れようとする。そこで、撮影範囲制御部４５は、３つの実在基準点Ｐｒをカメラ３５が撮影し続けるように、建設機械１（図１参照）の作動に応じて、カメラ３５の撮影範囲を制御する。制御の具体例として、図８に示すように、上部旋回体方向Ｄ１３が、方向１３ａから方向１３ｂに、角度θだけ回転した場合の、カメラ３５の撮影範囲の制御について説明する。 Next, in step S30 (see FIG. 4), the shooting range control unit 45 controls the shooting range of the camera 35 so that the camera 35 continues to shoot the three actual reference points Pr shown in FIG. The reason for this control is as follows. When the construction machine 1 shown in FIG. 1 performs work, the lower traveling body 11 moves in translation, the lower traveling body 11 rotates with respect to the ground (rotation due to the difference in traveling speed of the left and right crawlers), and the upper part with respect to the lower traveling body 11. At least one of the turning of the turning body 13 is performed. Then, the actual reference point Pr tries to deviate from the shooting range of the camera 35 shown in FIG. Therefore, the shooting range control unit 45 controls the shooting range of the camera 35 according to the operation of the construction machine 1 (see FIG. 1) so that the camera 35 continues to shoot the three actual reference points Pr. As a specific example of the control, as shown in FIG. 8, the control of the shooting range of the camera 35 when the upper swing body direction D13 is rotated from the direction 13a to the direction 13b by an angle θ will be described.

ステップＳ３１（図５参照）では、回転検出部５１（図１参照）が、上部旋回体１３の回転の情報を検出する。回転検出部５１に検出される回転の情報は、例えば、角度θおよび角速度である。この検出は、例えば次の［例Ｂ１］、［例Ｂ２］のように行われる。［例Ｂ１］地面に対して下部走行体１１が回転していない場合は、この検出は、図１に示すジャイロセンサ５１ａおよび旋回角度検出部５１ｂの少なくともいずれかにより行われる。［例Ｂ１ａ］ジャイロセンサ５１ａで角速度を検出した場合、この角速度を時間で積分することで、所定時間内での角度の変化量（図８に示す角度θ）を求めてもよい。この計算を行う場合、ジャイロセンサ５１ａの検出値を積分することで生じる誤差を、旋回角度検出部５１ｂで検出した角度に基づいて、補正してもよい。［例Ｂ１ｂ］旋回角度検出部５１ｂで角度を検出した場合、この角度を時間で微分することで、角速度を求めてもよい。［例Ｂ２］地面に対して下部走行体１１が回転している場合は、この検出は、ジャイロセンサ５１ａにより行われる。 In step S31 (see FIG. 5), the rotation detection unit 51 (see FIG. 1) detects the rotation information of the upper swing body 13. The rotation information detected by the rotation detection unit 51 is, for example, an angle θ and an angular velocity. This detection is performed, for example, as in the following [Example B1] and [Example B2]. [Example B1] When the lower traveling body 11 is not rotating with respect to the ground, this detection is performed by at least one of the gyro sensor 51a and the turning angle detecting unit 51b shown in FIG. [Example B1a] When the angular velocity is detected by the gyro sensor 51a, the amount of change in the angle within a predetermined time (angle θ shown in FIG. 8) may be obtained by integrating the angular velocity with time. When performing this calculation, the error generated by integrating the detection values of the gyro sensor 51a may be corrected based on the angle detected by the turning angle detection unit 51b. [Example B1b] When an angle is detected by the turning angle detection unit 51b, the angular velocity may be obtained by differentiating this angle with time. [Example B2] When the lower traveling body 11 is rotating with respect to the ground, this detection is performed by the gyro sensor 51a.

次に、ステップＳ３３（図５参照）では、撮影範囲制御部４５（図１参照）が、図８に示す地面に対する上部旋回体方向Ｄ１３の変化量（角度θ）に基づいて、ズレ角度Ｒｓを計算（推定）する。ズレ角度Ｒｓは、基準点中央位置方向Ｄ０に対する、カメラ撮影方向Ｄ３５の角度のズレの大きさである（例えば、上から見て右回りを正、左回りを負、などとする）。例えば、ズレ角度Ｒｓは、角度θと等しい。なお、建設機械１が並進しながら上部旋回体方向Ｄ１３が角度θだけ回転した場合は、ズレ角度Ｒｓは、角度θとほぼ等しい。以下では、撮影範囲制御部４５については図１を参照して説明する。 Next, in step S33 (see FIG. 5), the photographing range control unit 45 (see FIG. 1) determines the deviation angle Rs based on the amount of change (angle θ) of the upper swing body direction D13 with respect to the ground shown in FIG. Calculate (estimate). The deviation angle Rs is the magnitude of the deviation of the angle of the camera shooting direction D35 with respect to the reference point center position direction D0 (for example, clockwise is positive and counterclockwise is negative when viewed from above). For example, the deviation angle Rs is equal to the angle θ. When the construction machine 1 is translated and the upper swing body direction D13 is rotated by an angle θ, the deviation angle Rs is substantially equal to the angle θ. Hereinafter, the photographing range control unit 45 will be described with reference to FIG.

次に、ステップＳ３５（図５参照）では、撮影範囲制御部４５が、ズレ角度Ｒｓを用いて、カメラ３５の撮影範囲の目標範囲（目標撮影範囲）を設定する。具体的には、撮影範囲制御部４５は、ズレ角度Ｒｓがゼロに近づくように、目標撮影範囲を設定する。撮影範囲制御部４５は、ズレ角度Ｒｓがゼロに近づくように、カメラ回動部３７（図１参照）の目標角度を設定する。撮影範囲制御部４５は、ズレ角度Ｒｓとは逆向き、かつ、ズレ角度Ｒｓと同じ大きさだけ、カメラ３５が回動するように、カメラ回動部３７の目標角度を設定する。 Next, in step S35 (see FIG. 5), the shooting range control unit 45 sets the target range (target shooting range) of the shooting range of the camera 35 using the deviation angle Rs. Specifically, the shooting range control unit 45 sets the target shooting range so that the deviation angle Rs approaches zero. The shooting range control unit 45 sets the target angle of the camera rotating unit 37 (see FIG. 1) so that the deviation angle Rs approaches zero. The shooting range control unit 45 sets the target angle of the camera rotating unit 37 so that the camera 35 rotates in the direction opposite to the deviation angle Rs and by the same magnitude as the deviation angle Rs.

次に、ステップＳ３７（図５参照）では、撮影範囲制御部４５が、地面に対する上部旋回体１３の角速度（ステップＳ３１で検出された値）を用いて、カメラ３５の撮影範囲の回転の目標角速度を設定する。具体的には、撮影範囲制御部４５は、ズレ角度Ｒｓの変化の向きとは逆向き、かつ、ズレ角度Ｒｓの角速度と同じ大きさの角速度で、カメラ３５が回動するように、カメラ回動部３７の目標角速度を設定する。 Next, in step S37 (see FIG. 5), the shooting range control unit 45 uses the angular velocity of the upper swivel body 13 with respect to the ground (value detected in step S31) to target the angular velocity of rotation of the shooting range of the camera 35. To set. Specifically, the shooting range control unit 45 rotates the camera so that the camera 35 rotates in the direction opposite to the direction of change of the deviation angle Rs and at an angular velocity of the same magnitude as the angular velocity of the deviation angle Rs. The target angular velocity of the moving part 37 is set.

次に、ステップＳ３９（図５参照）では、撮影範囲制御部４５が、目標角度（ステップＳ３５で設定）および目標角速度（ステップＳ３７で設定）に基づいて、カメラ３５の撮影範囲を変える。具体的には、撮影範囲制御部４５が、目標角度および目標角速度に基づいて、カメラ回動部３７（図１参照）に駆動指令を出力し、カメラ３５を回動させる。よって、建設機械１が作動しても、カメラ３５は（カメラ撮影方向Ｄ３５は）、常に基準点中央位置Ｐ０を向くように制御される。 Next, in step S39 (see FIG. 5), the shooting range control unit 45 changes the shooting range of the camera 35 based on the target angle (set in step S35) and the target angular velocity (set in step S37). Specifically, the photographing range control unit 45 outputs a drive command to the camera rotating unit 37 (see FIG. 1) based on the target angle and the target angular velocity, and rotates the camera 35. Therefore, even if the construction machine 1 is operated, the camera 35 (camera shooting direction D35) is controlled so as to always face the reference point center position P0.

次に、Ｓ４０（図４参照）では、図１に示す位置推定装置２０による位置推定を終了するか否かが判定される。例えば、位置推定の終了の操作が、操作者によってされたか否かが判定される。位置推定を終了する場合は、フローを終了する。位置推定を終了しない場合は、ステップＳ２１（図４参照）に戻り、建設機械１の位置の計算（図４のステップＳ２５、ステップ２７）が継続され、カメラ３５の撮影範囲の制御（ステップＳ３０）が継続される。このように、本実施形態では、ＧＰＳなどの衛星測位システムを用いなくても、建設機械１の位置を把握し続けることが可能である。 Next, in S40 (see FIG. 4), it is determined whether or not to end the position estimation by the position estimation device 20 shown in FIG. For example, it is determined whether or not the operation for ending the position estimation has been performed by the operator. When the position estimation is finished, the flow is finished. If the position estimation is not completed, the process returns to step S21 (see FIG. 4), the calculation of the position of the construction machine 1 (steps S25 and 27 in FIG. 4) is continued, and the shooting range of the camera 35 is controlled (step S30). Is continued. As described above, in the present embodiment, it is possible to continue to grasp the position of the construction machine 1 without using a satellite positioning system such as GPS.

（情報化施工について）
従来、施工現場の三次元地形の電子情報に基づく建設作業である、情報化施工が行われている。情報化施工により、丁張や、作業途中の測量検査作業をなくすことが図られている。情報化施工を行うためには、建設機械の位置の取得が必要である。そこで、従来、ＧＰＳなどの衛星測位システムを利用して、建設機械の位置が取得されていた。また、情報化施工では、高精度に位置を取得する必要があるため、例えば、固定局の情報を利用した高精度な衛星測位システム（例えばリアルタイムキネマティック測位など）が用いられる場合があった。しかし、高精度な衛星測位システムは、コストが高く、例えば中型〜小型ショベルの価格よりも高価である。 (About computerized construction)
Conventionally, computerized construction, which is a construction work based on electronic information of three-dimensional topography of a construction site, has been carried out. Information-oriented construction is designed to eliminate chopping and surveying and inspection work during work. In order to carry out computerized construction, it is necessary to acquire the position of construction machinery. Therefore, conventionally, the position of a construction machine has been acquired by using a satellite positioning system such as GPS. Further, in information-oriented construction, since it is necessary to acquire a position with high accuracy, for example, a high-precision satellite positioning system using information of a fixed station (for example, real-time kinematic positioning) may be used. However, high-precision satellite positioning systems are expensive, for example, more expensive than the price of medium to small excavators.

建設機械の位置を取得するだけであれば、衛星測位システムの受信機は１基で済む。しかし、情報化施工を行うには、作業を行う部分の位置、具体的には例えば、アタッチメントの先端部の位置を取得する必要がある。そのためには、地面に対する上部旋回体の方向の情報が必要である。そこで、従来、地面に対する上部旋回体の方向の情報を取得するために、衛星測位システムの受信機が、建設機械に２基設けられる場合があった。そのため、受信機が１基のみ設けられる場合に比べ、コストがかかる。このように、衛星測位システムを用いて建設機械の位置を取得する技術には、高いコストがかかっていた。一方、本実施形態では、衛星測位システムを用いなくても、建設機械１の位置を取得（推定）できる。よって、衛星測位システムを用いた技術に比べ、コストを低減できる。また、本実施形態では、衛星測位システムを用いなくても、情報化施工を行える。 If you only want to get the position of the construction machine, you only need one receiver for the satellite positioning system. However, in order to perform information-oriented construction, it is necessary to acquire the position of the part where the work is performed, specifically, for example, the position of the tip portion of the attachment. For that purpose, information on the direction of the upper swivel body with respect to the ground is required. Therefore, conventionally, in order to acquire information on the direction of the upper swivel body with respect to the ground, two receivers of the satellite positioning system may be provided in the construction machine. Therefore, the cost is higher than the case where only one receiver is provided. As described above, the technique of acquiring the position of the construction machine by using the satellite positioning system has been costly. On the other hand, in the present embodiment, the position of the construction machine 1 can be acquired (estimated) without using the satellite positioning system. Therefore, the cost can be reduced as compared with the technology using the satellite positioning system. Further, in the present embodiment, computerized construction can be performed without using a satellite positioning system.

（効果）
図１に示す建設機械１の位置推定装置２０による効果は、次の通りである。 (effect)
The effects of the position estimation device 20 of the construction machine 1 shown in FIG. 1 are as follows.

（第１の発明の効果）
位置推定装置２０は、建設機械１の三次元位置を推定する。建設機械１は、下部走行体１１と、下部走行体１１に対して旋回可能な上部旋回体１３と、を備える。位置推定装置２０は、地図情報取得部３１と、基準点取得部３３と、カメラ３５と、距離取得部４１と、位置計算部４３と、を備える。 (Effect of the first invention)
The position estimation device 20 estimates the three-dimensional position of the construction machine 1. The construction machine 1 includes a lower traveling body 11 and an upper rotating body 13 that can turn with respect to the lower traveling body 11. The position estimation device 20 includes a map information acquisition unit 31, a reference point acquisition unit 33, a camera 35, a distance acquisition unit 41, and a position calculation unit 43.

［構成１］地図情報取得部３１は、三次元の地図情報Ｍを取得する。基準点取得部３３は、図２に示すように、地図情報Ｍにおける３つの地図上基準点Ｐｍを取得する。図１に示すように、カメラ３５は、上部旋回体１３に取り付けられる。図３に示すように、カメラ３５は、３つの地図上基準点Ｐｍ（図２参照）に対応する、３つの実在基準点Ｐｒを含む画像Ｉｍ（距離画像）を取得する。距離取得部４１（図１参照）は、画像Ｉｍ（図３参照）に基づいて、図６に示すように、３つの実在基準点Ｐｒのそれぞれからカメラ３５までの距離Ｌを取得する。図１に示す位置計算部４３は、距離取得部４１により計算された距離Ｌ（図６参照）に基づいて、実在基準点Ｐｒ（図６参照）に対する建設機械１の位置を計算する。 [Structure 1] The map information acquisition unit 31 acquires three-dimensional map information M. As shown in FIG. 2, the reference point acquisition unit 33 acquires the three reference points Pm on the map in the map information M. As shown in FIG. 1, the camera 35 is attached to the upper swing body 13. As shown in FIG. 3, the camera 35 acquires an image Im (distance image) including three real reference points Pr corresponding to the three reference points Pm (see FIG. 2) on the map. The distance acquisition unit 41 (see FIG. 1) acquires the distance L from each of the three real reference points Pr to the camera 35 based on the image Im (see FIG. 3), as shown in FIG. The position calculation unit 43 shown in FIG. 1 calculates the position of the construction machine 1 with respect to the actual reference point Pr (see FIG. 6) based on the distance L (see FIG. 6) calculated by the distance acquisition unit 41.

上記［構成１］では、図３に示す、カメラ３５が画像Ｉｍを取得する。そして、画像Ｉｍに基づいて、図６に示す実在基準点Ｐｒからカメラ３５までの距離Ｌが取得される。そして、この距離Ｌに基づいて、実在基準点Ｐｒに対する建設機械１の位置が計算される。よって、衛星測位システムを用いなくても、実在基準点Ｐｒに対する建設機械１の位置（三次元位置）を推定できる。通常、衛星測位システムを用いるための装置に比べ、位置推定装置２０を構成する装置（距離画像を取得可能なカメラ３５など）の方が、コストが低い。よって、衛星測位システムを用いる技術に比べ、位置推定装置２０のコストを低減できる。 In the above [Structure 1], the camera 35 shown in FIG. 3 acquires the image Im. Then, based on the image Im, the distance L from the real reference point Pr shown in FIG. 6 to the camera 35 is acquired. Then, based on this distance L, the position of the construction machine 1 with respect to the actual reference point Pr is calculated. Therefore, the position (three-dimensional position) of the construction machine 1 with respect to the actual reference point Pr can be estimated without using the satellite positioning system. Usually, the cost of the device (such as the camera 35 capable of acquiring a distance image) constituting the position estimation device 20 is lower than that of the device for using the satellite positioning system. Therefore, the cost of the position estimation device 20 can be reduced as compared with the technique using the satellite positioning system.

（第２の発明の効果）
［構成２］図１に示すように、位置推定装置２０は、カメラ回動部３７と、撮影範囲制御部４５と、を備える。カメラ回動部３７は、上部旋回体１３に対してカメラ３５を回動させる。撮影範囲制御部４５は、３つの実在基準点Ｐｒ（図３参照）をカメラ３５が撮影し続けるように、建設機械１の作動に応じてカメラ回動部３７にカメラ３５を回動させることで、カメラ３５の撮影範囲を制御する。 (Effect of the second invention)
[Structure 2] As shown in FIG. 1, the position estimation device 20 includes a camera rotating unit 37 and a shooting range control unit 45. The camera rotating unit 37 rotates the camera 35 with respect to the upper rotating body 13. The shooting range control unit 45 rotates the camera 35 to the camera rotating unit 37 in response to the operation of the construction machine 1 so that the camera 35 continues to shoot the three actual reference points Pr (see FIG. 3). , Control the shooting range of the camera 35.

上記［構成２］により、建設機械１が作動しても、カメラ３５は、３つの実在基準点Ｐｒ（図３参照）を撮影し続けることができる。よって、位置推定装置２０は、建設機械１が作動しても、建設機械１の位置を計算し続けることができる。 According to the above [Structure 2], even if the construction machine 1 is operated, the camera 35 can continue to take pictures of the three real reference points Pr (see FIG. 3). Therefore, the position estimation device 20 can continue to calculate the position of the construction machine 1 even if the construction machine 1 operates.

（第３の発明の効果）
［構成３］位置推定装置２０は、回転検出部５１を備える。回転検出部５１は、地面および下部走行体１１の少なくともいずれかに対する、上部旋回体１３の回転の情報を検出する。撮影範囲制御部４５は、回転検出部５１に検出された情報に基づいて、カメラ３５の撮影範囲を制御する。 (Effect of the third invention)
[Structure 3] The position estimation device 20 includes a rotation detection unit 51. The rotation detection unit 51 detects information on the rotation of the upper swivel body 13 with respect to at least one of the ground and the lower traveling body 11. The shooting range control unit 45 controls the shooting range of the camera 35 based on the information detected by the rotation detection unit 51.

上記［構成３］により、地面または下部走行体１１に対して、上部旋回体１３が回転しても、カメラ３５は、３つの実在基準点Ｐｒ（図３参照）を撮影し続けることができる。よって、位置推定装置２０は、上部旋回体１３が回転しても、建設機械１の位置を計算し続けることができる。 According to the above [Structure 3], even if the upper swivel body 13 rotates with respect to the ground or the lower traveling body 11, the camera 35 can continue to shoot the three real reference points Pr (see FIG. 3). Therefore, the position estimation device 20 can continue to calculate the position of the construction machine 1 even if the upper swing body 13 rotates.

（変形例１）
図８に示す建設機械１が並進移動すると、基準点中央位置方向Ｄ０に対してカメラ撮影方向Ｄ３５がずれる（ズレ角度Ｒｓの大きさが大きくなる）場合がある。そこで、撮影範囲制御部４５は、建設機械１の並進移動の情報に基づいて、カメラ３５の撮影範囲を制御してもよい。本変形例では、図１に示す検出部５０は、並進情報取得部１５５を備える。 (Modification example 1)
When the construction machine 1 shown in FIG. 8 translates, the camera shooting direction D35 may deviate from the reference point center position direction D0 (the magnitude of the deviation angle Rs becomes large). Therefore, the photographing range control unit 45 may control the photographing range of the camera 35 based on the information of the translational movement of the construction machine 1. In this modification, the detection unit 50 shown in FIG. 1 includes a translation information acquisition unit 155.

並進情報取得部１５５は、地面に対する建設機械１の並進移動の情報を取得する。並進情報取得部１５５が取得する情報は、例えば、並進移動の速度（速さおよび方向）または加速度（加速度の大きさおよび方向）である。例えば、並進情報取得部１５５は、下部走行体１１を駆動させるための指令（電気指令または油圧指令など）を検出することで、並進移動の速さ、または加速度の大きさを取得してもよい。例えば、並進情報取得部１５５は、建設機械１の並進移動の方向を、上部旋回体方向Ｄ１３（図８参照）と、下部走行体１１に対する上部旋回体１３の角度（旋回角度検出部５１ｂの検出値）と、に基づいて取得してもよい。例えば、並進情報取得部１５５は、位置計算部４３に計算された建設機械１の位置の変化から、並進移動の情報を取得（計算）してもよい。 The translation information acquisition unit 155 acquires information on the translational movement of the construction machine 1 with respect to the ground. The information acquired by the translational information acquisition unit 155 is, for example, the speed (speed and direction) or acceleration (magnitude and direction of acceleration) of translational movement. For example, the translation information acquisition unit 155 may acquire the speed of translational movement or the magnitude of acceleration by detecting a command (such as an electric command or a hydraulic command) for driving the lower traveling body 11. .. For example, the translation information acquisition unit 155 determines the direction of translational movement of the construction machine 1 between the upper swivel body direction D13 (see FIG. 8) and the angle of the upper swivel body 13 with respect to the lower traveling body 11 (detection of the swivel angle detection unit 51b). Value) and may be obtained based on. For example, the translation information acquisition unit 155 may acquire (calculate) the translation movement information from the change in the position of the construction machine 1 calculated by the position calculation unit 43.

（第４の発明の効果）
［構成４］図１に示すように、位置推定装置２０は、並進情報取得部１５５を備える。並進情報取得部１５５は、地面に対する建設機械１の並進移動の情報を取得する。撮影範囲制御部４５は、並進情報取得部１５５に取得された情報に基づいて、カメラ３５の撮影範囲を制御する。 (Effect of Fourth Invention)
[Structure 4] As shown in FIG. 1, the position estimation device 20 includes a translation information acquisition unit 155. The translation information acquisition unit 155 acquires information on the translational movement of the construction machine 1 with respect to the ground. The shooting range control unit 45 controls the shooting range of the camera 35 based on the information acquired by the translation information acquisition unit 155.

上記［構成４］により、建設機械１が並進移動しても、カメラ３５は、３つの実在基準点Ｐｒ（図３参照）を撮影し続けることができる。よって、位置推定装置２０は、上部旋回体１３が並進移動しても、建設機械１の位置を計算し続けることができる。 According to the above [Structure 4], even if the construction machine 1 moves in translation, the camera 35 can continue to shoot the three real reference points Pr (see FIG. 3). Therefore, the position estimation device 20 can continue to calculate the position of the construction machine 1 even if the upper swing body 13 moves in translation.

（変形例２）
撮影範囲制御部４５は、カメラ３５の撮影範囲を上下方向に制御してもよい。例えば、水平面に対する建設機械１の傾きの変化に基づいて、カメラ回動部３７にカメラ３５を上下方向に回動（水平方向の軸回りに回動）させてもよい。また、図６に示す建設機械１が、実在基準点Ｐｒに近づく、または遠ざかることで、図８に示すカメラ撮影方向Ｄ３５に対して、基準点中央位置方向Ｄ０が、上下方向にずれる場合がある。そこで、撮影範囲制御部４５は、並進移動の情報に基づいて、カメラ３５の撮影範囲を上下方向に制御してもよい。 (Modification 2)
The shooting range control unit 45 may control the shooting range of the camera 35 in the vertical direction. For example, the camera 35 may be rotated in the vertical direction (rotated around the axis in the horizontal direction) by the camera rotating portion 37 based on the change in the inclination of the construction machine 1 with respect to the horizontal plane. Further, when the construction machine 1 shown in FIG. 6 approaches or moves away from the actual reference point Pr, the reference point center position direction D0 may shift in the vertical direction with respect to the camera shooting direction D35 shown in FIG. .. Therefore, the shooting range control unit 45 may control the shooting range of the camera 35 in the vertical direction based on the information of the translational movement.

（他の変形例）
上記実施形態は様々に変形されてもよい。例えば、上記実施形態および各変形例の構成要素どうしが組み合わされてもよい。例えば、図４、および図５に示すフローチャートのステップの順序は変更されてもよい。例えば、図１に示す位置推定装置２０の構成要素の数が変更されてもよく、構成要素の一部が設けられなくてもよい。 (Other variants)
The above embodiment may be variously modified. For example, the components of the above embodiment and each modification may be combined. For example, the order of the steps in the flowcharts shown in FIGS. 4 and 5 may be changed. For example, the number of components of the position estimation device 20 shown in FIG. 1 may be changed, and some of the components may not be provided.

例えば、上記実施形態では、撮影範囲制御部４５は、建設機械１の作動に応じてカメラ３５の撮影範囲を制御した。一方、演算部４０が、図３に示す画像Ｉｍ内での実在基準点Ｐｒの移動を認識（画像認識）し、実在基準点Ｐｒの移動に追従するように、カメラ３５の撮影範囲を制御してもよい（画像認識による追従をしてもよい）。例えば、画像認識による追従が可能なほど、図８に示すズレ角度Ｒｓの変化が遅い場合（例えば、建設機械１が並進移動する場合など）は、画像認識による追従をしてもよい。一方、下部走行体１１に対して上部旋回体１３が旋回する場合は、通常、画像認識による追従が不可能なほど、ズレ角度Ｒｓの変化が速い。そのため、下部走行体１１に対して上部旋回体１３が旋回する場合は、回転検出部５１が検出した上部旋回体１３の回転の情報に基づいて、カメラ３５の撮影範囲を制御することが好ましい。 For example, in the above embodiment, the photographing range control unit 45 controls the photographing range of the camera 35 according to the operation of the construction machine 1. On the other hand, the calculation unit 40 recognizes the movement of the actual reference point Pr in the image Im shown in FIG. 3 (image recognition), and controls the shooting range of the camera 35 so as to follow the movement of the actual reference point Pr. It may be followed by image recognition (it may be followed by image recognition). For example, when the change of the deviation angle Rs shown in FIG. 8 is so slow that the follow-up by image recognition is possible (for example, when the construction machine 1 translates and moves), the follow-up by image recognition may be performed. On the other hand, when the upper swinging body 13 turns with respect to the lower traveling body 11, the deviation angle Rs usually changes so quickly that it cannot be followed by image recognition. Therefore, when the upper swivel body 13 turns with respect to the lower traveling body 11, it is preferable to control the shooting range of the camera 35 based on the rotation information of the upper swivel body 13 detected by the rotation detection unit 51.

例えば、図１に示すカメラ３５は、全方位カメラでもよい。この場合、カメラ３５を回動させるカメラ回動部３７は不要である。この場合、カメラ３５で得られた画像Ｉｍ（図３参照）から、実在基準点Ｐｒ（図３参照）を含む部分を切り出し（トリミング）し、切り出した部分から距離Ｌ（図６参照）を取得してもよい。この場合、撮影範囲制御部４５による撮影範囲の制御と同様に、建設機械１の作動に応じて切り出しの範囲を制御してもよい。 For example, the camera 35 shown in FIG. 1 may be an omnidirectional camera. In this case, the camera rotating portion 37 that rotates the camera 35 is unnecessary. In this case, a portion including the actual reference point Pr (see FIG. 3) is cut out (trimmed) from the image Im (see FIG. 3) obtained by the camera 35, and the distance L (see FIG. 6) is obtained from the cut out portion. You may. In this case, the cutting range may be controlled according to the operation of the construction machine 1 in the same manner as the shooting range control by the shooting range control unit 45.

位置推定装置２０の構成要素のうち、カメラ３５およびカメラ回動部３７は、建設機械１に設けられる。一方、位置推定装置２０の構成要素のうち、カメラ３５およびカメラ回動部３７を除く構成要素は、建設機械１に設けられてもよく、建設機械１の外部に設けられてもよい。例えば、地図情報取得部３１、基準点取得部３３、および演算部４０は、建設機械１の外部のコンピュータなどにより実現されてもよい。例えば、検出部５０の少なくとも一部は、建設機械１の外部に設けられてもよく、例えば、建設機械１の外部から建設機械１の状態を検出するカメラなどでもよい。 Among the components of the position estimation device 20, the camera 35 and the camera rotating portion 37 are provided in the construction machine 1. On the other hand, among the components of the position estimation device 20, the components other than the camera 35 and the camera rotating portion 37 may be provided on the construction machine 1 or may be provided outside the construction machine 1. For example, the map information acquisition unit 31, the reference point acquisition unit 33, and the calculation unit 40 may be realized by a computer or the like outside the construction machine 1. For example, at least a part of the detection unit 50 may be provided outside the construction machine 1, and may be, for example, a camera that detects the state of the construction machine 1 from the outside of the construction machine 1.

位置推定装置２０の構成要素の少なくとも一部は、一体的に構成されてもよく、別々に設けられてもよい。具体的には例えば、地図情報取得部３１、基準点取得部３３、および演算部４０は、一体的に構成された一台のコンピュータにより実現されてもよい。例えば、距離取得部４１、位置計算部４３、および撮影範囲制御部４５の、少なくともいずれか（例えば撮影範囲制御部４５）が、他の部分（例えば距離取得部４１および位置計算部４３）とは別々に設けられてもよい。 At least a part of the components of the position estimation device 20 may be integrally configured or may be provided separately. Specifically, for example, the map information acquisition unit 31, the reference point acquisition unit 33, and the calculation unit 40 may be realized by a single computer integrally configured. For example, at least one of the distance acquisition unit 41, the position calculation unit 43, and the shooting range control unit 45 (for example, the shooting range control unit 45) is different from the other parts (for example, the distance acquisition unit 41 and the position calculation unit 43). It may be provided separately.

１建設機械
１１下部走行体
１３上部旋回体
２０位置推定装置
３１地図情報取得部
３３基準点取得部
３５カメラ
３７カメラ回動部
４１距離取得部
４３位置計算部
４５撮影範囲制御部
５１回転検出部
１５５並進情報取得部
Ｉｍ画像（距離画像）
Ｌ、Ｌ₁、Ｌ₂、Ｌ₃ 距離
Ｍ地図情報
Ｐｍ、Ｐｍ１、Ｐｍ２、Ｐｍ３地図上基準点
Ｐｒ、Ｐｒ１、Ｐｒ２、Ｐｒ３実在基準点 1 Construction machine 11 Lower traveling body 13 Upper swivel body 20 Position estimation device 31 Map information acquisition unit 33 Reference point acquisition unit 35 Camera 37 Camera rotation unit 41 Distance acquisition unit 43 Position calculation unit 45 Shooting range control unit 51 Rotation detection unit 155 Translation information acquisition unit Im image (distance image)
L, L ₁ , L ₂ , L ₃ Distance M Map information Pm, Pm1, Pm2, Pm3 Map reference point Pr, Pr1, Pr2, Pr3 Real reference point

Claims

A position estimation device for a construction machine that estimates a three-dimensional position of a construction machine including a lower traveling body and an upper rotating body that can turn with respect to the lower traveling body.
The map information acquisition unit that acquires three-dimensional map information,
A reference point acquisition unit that acquires three reference points on the map in the map information,
A camera attached to the upper swing body and acquiring a distance image including three actual reference points corresponding to the three reference points on the map.
A distance acquisition unit that acquires the distance from each of the three real reference points to the camera based on the distance image, and
A position calculation unit that calculates the position of the construction machine with respect to the actual reference point based on the distance calculated by the distance acquisition unit.
To prepare
Position estimation device for construction machinery.

The position estimation device for a construction machine according to claim 1.
A camera rotating portion that rotates the camera with respect to the upper rotating body,
Shooting range control that controls the shooting range of the camera by rotating the camera to the camera rotating portion in response to the operation of the construction machine so that the camera continues to shoot the three actual reference points. Department and
To prepare
Position estimation device for construction machinery.

The position estimation device for a construction machine according to claim 2.
A rotation detection unit for detecting information on the rotation of the upper swivel body with respect to at least one of the ground and the lower traveling body is provided.
The shooting range control unit controls the shooting range of the camera based on the information detected by the rotation detection unit.
Position estimation device for construction machinery.

The position estimation device for a construction machine according to claim 2 or 3.
It is equipped with a translation information acquisition unit that acquires information on the translational movement of the construction machine with respect to the ground.
The shooting range control unit controls the shooting range of the camera based on the information acquired by the translation information acquisition unit.
Position estimation device for construction machinery.