JP7501098B2

JP7501098B2 - Boom camera system and mobile crane equipped with boom camera system

Info

Publication number: JP7501098B2
Application number: JP2020089144A
Authority: JP
Inventors: 瑞生米田
Original assignee: Tadano Ltd
Current assignee: Tadano Ltd
Priority date: 2020-05-21
Filing date: 2020-05-21
Publication date: 2024-06-18
Anticipated expiration: 2040-05-21
Also published as: JP2021183527A

Description

本発明は、ブームカメラシステムおよびブームカメラシステムを備える移動式クレーンに関する。 The present invention relates to a boom camera system and a mobile crane equipped with a boom camera system.

従来、作業車両である移動式クレーンは、旋回台に起伏自在に設けられている伸縮ブームによって荷物を吊り上げて目的地点まで搬送することができる。このような移動式クレーンは、操縦者が地表面の状態、吊り上げられた荷物等の状態を確認するブームカメラを有するものがある。ブームカメラは、ブームの鉛直下方向の対象物を撮影するためにブームの先端に設けられている。例えば、特許文献１の如くである。 Conventionally, mobile cranes, which are work vehicles, can lift cargo and transport it to a destination using a telescopic boom that is mounted on a rotating base so that it can be raised and lowered. Some such mobile cranes have a boom camera that allows the operator to check the condition of the ground surface and the condition of the lifted cargo. The boom camera is mounted at the tip of the boom to capture images of objects vertically below the boom. For example, see Patent Document 1.

特許文献１に記載のモニタ用カメラは、カメラ本体と、カメラ本体をカメラフレームに対して免振支持する免振支持機構と、カメラ本体の振動を検出する振動検出手段と、カメラ本体に内蔵され、撮像素子上に形成される画像の振れを抑制するように像振れ防止用レンズを駆動する防振アクチュエータと、前記振動検出手段により検出された振動に基づいて、前記防振アクチュエータを制御する制御部と、を有する。前記モニタ用カメラは、前記像振れ防止用レンズが前記防振アクチュエータによって前記振動検出手段が検出した振動を打ち消すように駆動されることにより、前記撮像素子上に形成される画像の振れが抑制される。 The monitor camera described in Patent Document 1 has a camera body, a vibration-proof support mechanism that supports the camera body on a camera frame in a vibration-proof manner, a vibration detection means that detects vibration of the camera body, an anti-vibration actuator that is built into the camera body and drives an image stabilization lens so as to suppress shaking of an image formed on an image sensor, and a control unit that controls the anti-vibration actuator based on the vibration detected by the vibration detection means. In the monitor camera, the image stabilization lens is driven by the anti-vibration actuator to cancel the vibration detected by the vibration detection means, thereby suppressing shaking of the image formed on the image sensor.

このように構成される前記モニタ用カメラは、前記アクチュエータで前記像振れ防止用レンズを駆動させている。このため、前記モニタ用カメラは、前記像振れ防止用レンズの駆動によって抑制できる画像の振れの大きさが構造上制限される。つまり、機構の制御によって画像の振れを抑制するモニタ用カメラは、機構の可動範囲を超える振動による画像の振れを抑制できない点で不利であった。また、モニタ用カメラは、前記振動検出手段が検出したモニタカメラ自体の振動による画像の振れを抑制しているので、クレーンに吊り下げられた荷物等、画像に映っている特定の物体の振れを抑制することができない。 The monitor camera thus configured drives the image stabilization lens with the actuator. For this reason, the monitor camera is structurally limited in the amount of image shake that can be suppressed by driving the image stabilization lens. In other words, a monitor camera that suppresses image shake by controlling a mechanism is disadvantageous in that it cannot suppress image shake caused by vibrations that exceed the movable range of the mechanism. In addition, because the monitor camera suppresses image shake caused by vibrations of the monitor camera itself detected by the vibration detection means, it cannot suppress shakes of specific objects shown in the image, such as luggage suspended from a crane.

特開２０１１－３０００２号公報JP 2011-30002 A

本発明の目的は、ブームカメラの振動の大きさに関わらず画像に映っている特定の物体の振れを抑制することができるブームカメラシステムおよびブームカメラシステムを備えた移動式クレーンの提供を目的とする。 The object of the present invention is to provide a boom camera system and a mobile crane equipped with a boom camera system that can suppress shaking of a specific object captured in an image regardless of the magnitude of vibration of the boom camera.

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。 The problem that the present invention aims to solve is as described above, and the means for solving this problem will be explained next.

即ち、第１の発明は、旋回台を介して起伏可能なブームからワイヤロープで吊り下げられている荷物を搬送する移動式クレーンのブームカメラシステムであって、前記ブームに設けられるブームカメラと、前記ブームカメラが撮影した画像を取得する画像取得部、前記ブームカメラが撮影した画像において表示範囲の基準となる基準形状を設定する基準形状設定部、および、前記ブームカメラが現在撮影している現在画像の撮影範囲のうち、前記表示範囲と一致している一致範囲の画像を前記基準形状に基づいて抽出し、前記表示範囲のうち、前記現在画像の撮影範囲と一致していない不一致範囲を算出し、前記画像取得部が取得した所定時間前の過去画像から前記不一致範囲の画像を抽出し、前記一致範囲の画像と前記不一致範囲の画像とを繋ぎ合わせた合成画像を生成する画像生成部を含む画像処理装置と、を具備するブームカメラシステムである。前記基準形状設定部は、前記基準形状が前記ブームと連動しない部分の形状である場合、前記ブームの操作信号に基づいて前記基準形状を移動させる。
That is, a first invention is a boom camera system for a mobile crane that transports a load suspended by a wire rope from a boom that can be raised and lowered via a swivel base, the boom camera system including: a boom camera provided on the boom; an image acquisition unit that acquires an image captured by the boom camera; a reference shape setting unit that sets a reference shape that serves as a reference for a display range in the image captured by the boom camera; and an image processing device including an image generation unit that extracts an image of a matching range that matches the display range from a shooting range of a current image currently captured by the boom camera based on the reference shape, calculates an unmatched range from the display range that does not match the shooting range of the current image, extracts an image of the unmatched range from a past image acquired a predetermined time ago by the image acquisition unit, and generates a composite image by joining the image of the matching range and the image of the unmatched range. When the reference shape is the shape of a part that is not linked to the boom, the reference shape setting unit moves the reference shape based on an operation signal of the boom.

即ち、第２の発明は、旋回台を介して起伏可能なブームからワイヤロープで吊り下げられている荷物を搬送する移動式クレーンのブームカメラシステムであって、前記ブームに設けられるブームカメラと、前記ブームカメラが撮影した画像を取得する画像取得部、前記ブームカメラが撮影した画像において表示範囲の基準となる基準形状を設定する基準形状設定部、および、前記ブームカメラが現在撮影している現在画像の撮影範囲のうち、前記表示範囲と一致している一致範囲の画像を前記基準形状に基づいて抽出し、前記表示範囲のうち、前記現在画像の撮影範囲と一致していない不一致範囲を算出し、前記画像取得部が取得した所定時間前の過去画像から前記不一致範囲の画像を抽出し、前記一致範囲の画像と前記不一致範囲の画像とを繋ぎ合わせた合成画像を生成する画像生成部を含む画像処理装置と、を具備するブームカメラシステムである。前記基準形状設定部は、前記基準形状を前記表示範囲の中心に移動させる。That is, a second invention is a boom camera system for a mobile crane that transports a load suspended by a wire rope from a boom that can be raised and lowered via a swivel base, the boom camera system comprising: a boom camera provided on the boom; an image acquisition unit that acquires an image captured by the boom camera; a reference shape setting unit that sets a reference shape that serves as a reference for a display range in the image captured by the boom camera; and an image processing device including an image generation unit that extracts an image of a matching range that matches the display range from a shooting range of a current image currently being captured by the boom camera based on the reference shape, calculates a mismatching range from the display range that does not match the shooting range of the current image, extracts an image of the mismatching range from a past image acquired a predetermined time ago by the image acquisition unit, and generates a composite image by joining the image of the matching range and the image of the mismatching range. The reference shape setting unit moves the reference shape to the center of the display range.

第３の発明は、前記合成画像は、前記不一致範囲の画像が識別可能な状態で表示されるブームカメラシステムである。A third invention is a boom camera system in which the composite image is displayed in a state in which the images in the mismatched range are identifiable.

第４の発明は、前記基準形状は、前記ブームカメラが撮影した画像から任意に選択可能に構成されるブームカメラシステムである。A fourth aspect of the present invention is a boom camera system configured so that the reference shape can be arbitrarily selected from images captured by the boom camera.

第５の発明は、旋回台を介して起伏可能なブームからワイヤロープで吊り下げられている荷物を搬送する移動式クレーンであって、上述の発明のいずれか一つに記載のブームカメラシステムを備える移動式クレーンである。
A fifth invention is a mobile crane that transports cargo suspended by a wire rope from a boom that can be raised and lowered via a swivel base, the mobile crane being equipped with a boom camera system described in any one of the above-mentioned inventions.

本発明は、以下に示すような効果を奏する。 The present invention has the following advantages:

第１の発明および第６の発明において、ブームカメラシステムは、ブームカメラの振動により現在画像に所定の形状を基準として定めた表示範囲の全範囲が含まれていない場合、欠損している範囲を過去画像からで補完することで表示範囲の全範囲の画像を生成する。ブームカメラシステムは、ブームカメラの振動によって移動する撮影範囲の画像を全て取得しているので、過去画像に欠損している範囲の画像が含まれる。これにより、ブームカメラの振動の大きさに関わらず画像に映っている特定の物体の映像の振れを抑制することができる。 In the first and sixth inventions, when the current image does not include the entire range of a display range defined based on a predetermined shape due to vibration of the boom camera, the boom camera system generates an image of the entire range of the display range by complementing the missing range with past images. Since the boom camera system captures all images of the shooting range that moves due to the vibration of the boom camera, images of the missing range are included in the past images. This makes it possible to suppress shaking of the image of a specific object captured in the image regardless of the magnitude of the vibration of the boom camera.

第２の発明において、ブームカメラシステムは、過去画像で補完されている範囲が認識できるように合成画像を表示するので、過去画像の補完によって操縦者が混乱することがない。これにより、ブームカメラの振動の大きさに関わらず画像に映っている特定の物体の振れを抑制することができる。 In the second invention, the boom camera system displays a composite image so that the operator can recognize the area that is complemented by the previous image, so that the operator does not become confused by the complementation of the previous image. This makes it possible to suppress shaking of a specific object shown in the image regardless of the magnitude of the vibration of the boom camera.

第３の発明において、ブームカメラシステムは、操縦者が選択した任意の物体を基準として表示範囲が設定され、操縦者が選択した任意の物体を基準とした過去画像によって画像範囲の欠損部分が補われる。これにより、ブームカメラの振動の大きさに関わらず画像に映っている特定の物体の振れを抑制することができる。 In the third invention, the boom camera system sets the display range based on an arbitrary object selected by the operator, and missing parts of the image range are filled in with past images based on the arbitrary object selected by the operator. This makes it possible to suppress shaking of a specific object captured in an image regardless of the magnitude of the vibration of the boom camera.

第４の発明において、ブームカメラシステムは、ブームの操作信号を取得すると、ブームカメラが移動していると判定して、操作信号に基づいて表示範囲の位置を移動させるので、ブームの移動による表示範囲の変動が除外される。これにより、ブームカメラの振動の大きさに関わらず画像に映っている特定の物体の振れを抑制することができる。 In the fourth invention, when the boom camera system receives a boom operation signal, it determines that the boom camera is moving and moves the position of the display range based on the operation signal, eliminating fluctuations in the display range caused by boom movement. This makes it possible to suppress shaking of a specific object captured in an image regardless of the magnitude of the vibration of the boom camera.

第５の発明において、ブームカメラシステムは、荷物または吊り下げ装置等の特定の形状を表示範囲の中心に配置した状態で表示範囲の合成画像を生成する。つまり、ブームカメラシステムは、荷物等がブームカメラと異なる振動で揺れていても荷物等の画像の揺れを抑制することができる。これにより、ブームカメラの振動の大きさに関わらず画像に映っている特定の物体の振れを抑制することができる。 In the fifth invention, the boom camera system generates a composite image of the display range with a specific shape of luggage or a hanging device, etc., positioned at the center of the display range. In other words, the boom camera system can suppress shaking of the image of luggage, etc., even if the luggage, etc., is shaking due to vibrations different from those of the boom camera. This makes it possible to suppress shaking of a specific object shown in the image, regardless of the magnitude of the vibration of the boom camera.

クレーンの全体構成を示す側面図。FIG. 2 is a side view showing the overall configuration of the crane. クレーンの制御構成を示すブロック図。FIG. 4 is a block diagram showing a control configuration of a crane. 本発明に係るブームカメラシステムの制御構成を示すブロック図。FIG. 2 is a block diagram showing a control configuration of the boom camera system according to the present invention. 図４は揺れていないサブフックブロックを基準画像とするブームカメラの振れ制御の状態を示す。（Ａ）はサブフックブロックを基準形状に定めた状態を示すブームカメラの画像を示し、（Ｂ）は荷物が搬送されている状態でのブームカメラの画像を示し、（Ｃ）は表示範囲にブームカメラの現在画像を表示させている画像を示す。4 shows the state of boom camera shake control with a non-swaying sub-hook block as the reference image. (A) shows a boom camera image showing a state in which the sub-hook block is set to the reference shape, (B) shows a boom camera image when a load is being transported, and (C) shows an image in which the current image of the boom camera is displayed in the display range. 図５は揺れているサブフックブロックを基準画像とするブームカメラの振れ制御の状態を示す。（Ａ）はサブフックブロックが表示範囲の基準形状の位置座標からずれている状態でのブームカメラの画像を示し、（Ｂ）は現在画像と表示範囲との一致範囲と不一致範囲を示し、（Ｃ）は表示範囲に現在画像から抽出した一致画像と過去画像から抽出した不一致画像とからなる合成画像を示す。5 shows the state of boom camera shake control with the swinging sub-hook block as the reference image. (A) shows the image of the boom camera in a state where the sub-hook block is displaced from the position coordinates of the reference shape of the display range, (B) shows the matching range and non-matching range between the current image and the display range, and (C) shows a composite image consisting of a matching image extracted from the current image and a non-matching image extracted from a past image in the display range. 図６は地物を基準画像とするブームカメラの振れ制御の状態を示す。（Ａ）は地物を基準形状に定めた状態を示すブームカメラの画像を示し、（Ｂ）はブームが移動している状態でのブームカメラの画像を示し、（Ｃ）は表示範囲に現在画像から抽出した一致画像と過去画像から抽出した不一致画像とからなる合成画像を示す。6 shows the state of the boom camera shake control with the feature as the reference image. (A) shows the boom camera image showing the state where the feature is set as the reference shape, (B) shows the boom camera image in the state where the boom is moving, and (C) shows a composite image consisting of a match image extracted from the current image and a mismatch image extracted from the past image in the display range. ブームカメラシステムの振れ制御の態様を表すフローチャートを示す図。FIG. 4 is a flowchart showing an aspect of shake control of the boom camera system.

以下に、図１と図２とを用いて、本発明における移動式クレーンの一実施形態であるクレーン１について説明する。なお、本実施形態においては、ラフテレーンクレーンついて説明を行うが、オールテレーンクレーン、トラッククレーン、積載型トラッククレーン等であればよい。 Below, using Figures 1 and 2, we will explain crane 1, which is one embodiment of a mobile crane in the present invention. Note that in this embodiment, we will explain a rough terrain crane, but it is also possible to use an all-terrain crane, a truck crane, a loaded truck crane, etc.

図１に示すように、クレーン１は、不特定の場所に移動可能な移動式クレーンである。クレーン１は、走行体である車両２、作業装置であるクレーン装置６、制御装置２９を有する。また、クレーン１は、ブームカメラシステム３０（図２参照）を具備する。 As shown in FIG. 1, the crane 1 is a mobile crane that can be moved to any location. The crane 1 has a vehicle 2 as a traveling body, a crane device 6 as a working device, and a control device 29. The crane 1 also has a boom camera system 30 (see FIG. 2).

車両２は、クレーン装置６を搬送する移動体である。車両２は、複数の車輪３を有し、エンジン４を動力源として走行する。車両２には、アウトリガ５が設けられている。車両２は、アウトリガ５を車両２の幅方向に延伸させるとともにジャッキシリンダを接地させることにより、クレーン１の作業可能範囲を広げることができる。 The vehicle 2 is a mobile body that transports the crane device 6. The vehicle 2 has multiple wheels 3 and runs using an engine 4 as a power source. The vehicle 2 is provided with outriggers 5. The vehicle 2 can expand the working range of the crane 1 by extending the outriggers 5 in the width direction of the vehicle 2 and by grounding the jack cylinder.

クレーン装置６は、荷物Ｗをワイヤロープによって吊り上げる装置である。クレーン装置６は、旋回台７、旋回用油圧モータ８、ブーム９、メインフックブロック１０、サブフックブロック１１、起伏用油圧シリンダ１２、メインウインチ１３、メイン用油圧モータ１３ａ、メインワイヤロープ１４、サブウインチ１５、サブ用油圧モータ１５ａ、サブワイヤロープ１６およびキャビン１７等を具備する。クレーン装置６には、ブームカメラシステム３０を介してブームカメラ３１が設けられている。 The crane apparatus 6 is a device that hoists a load W with a wire rope. The crane apparatus 6 is equipped with a swivel base 7, a hydraulic motor for slewing 8, a boom 9, a main hook block 10, a sub hook block 11, a hydraulic cylinder for raising and lowering 12, a main winch 13, a main hydraulic motor 13a, a main wire rope 14, a sub winch 15, a sub hydraulic motor 15a, a sub wire rope 16, and a cabin 17. The crane apparatus 6 is provided with a boom camera 31 via a boom camera system 30.

旋回台７は、クレーン装置６を旋回する装置である。旋回台７は、円環状の軸受の中心を回転中心として回転自在に構成されている。旋回台７には、アクチュエータである旋回用油圧モータ８が設けられている。旋回台７は、旋回用油圧モータ８によって一方向と他方向とに旋回可能に構成されている。 The swivel table 7 is a device that rotates the crane device 6. The swivel table 7 is configured to be freely rotatable around the center of an annular bearing. The swivel table 7 is provided with a swivel hydraulic motor 8, which acts as an actuator. The swivel table 7 is configured to be swivelable in one direction and the other direction by the swivel hydraulic motor 8.

旋回用油圧モータ８は、電磁比例切換弁である旋回用バルブ２２（図２参照）によって回転操作される。旋回用バルブ２２は、旋回用油圧モータ８に供給される作動油の流量を任意の流量に制御することができる。旋回台７には、旋回台７の基準位置からの旋回した角度である旋回角度を検出する旋回用センサ２６（図２参照）が設けられている。 The slewing hydraulic motor 8 is rotated by a slewing valve 22 (see Figure 2), which is an electromagnetic proportional switching valve. The slewing valve 22 can control the flow rate of hydraulic oil supplied to the slewing hydraulic motor 8 to any desired flow rate. The slewing base 7 is provided with a slewing sensor 26 (see Figure 2) that detects the slewing angle, which is the angle by which the slewing base 7 has swiveled from a reference position.

ブーム９は、荷物Ｗを吊り上げ可能な状態にワイヤロープを支持する梁部材である。ブーム９は、ベースブーム部材の基端が旋回台７の略中央に起伏可能に設けられている。ブーム９は、電磁比例切換弁である伸縮用バルブ２３（図２参照）によって伸縮操作される。各ブーム部材をアクチュエータである図示しない伸縮用油圧シリンダで移動させることで軸方向に伸縮自在に構成されている。また、ブーム９には、ジブ９ａが設けられている。ブーム９には、ブーム９の長さを検出する伸縮用センサ２７、荷物Ｗの重量を検出する重量センサ等が設けられている。さらに、ブーム９には、ブームカメラシステム３０を構成するブームカメラ３１が設けられている。 The boom 9 is a beam member that supports a wire rope so that it can hoist a load W. The base end of the base boom member of the boom 9 is located approximately in the center of the swivel base 7 so that it can be raised and lowered. The boom 9 is extended and retracted by an extension valve 23 (see FIG. 2), which is an electromagnetic proportional switching valve. Each boom member is moved by an extension hydraulic cylinder (not shown), which is an actuator, so that it can be extended and retracted in the axial direction. The boom 9 is also provided with a jib 9a. The boom 9 is also provided with an extension sensor 27 that detects the length of the boom 9, a weight sensor that detects the weight of the load W, and the like. The boom 9 is also provided with a boom camera 31 that constitutes a boom camera system 30.

メインフックブロック１０とサブフックブロック１１とは、荷物Ｗを吊り下げる部材である。メインフックブロック１０には、メインワイヤロープ１４が巻き掛けられる複数のフックシーブと、荷物Ｗを吊るメインフック１０ａとが設けられている。サブフックブロック１１には、荷物Ｗを吊るサブフック１１ａが設けられている。 The main hook block 10 and the sub-hook block 11 are components that suspend cargo W. The main hook block 10 is provided with multiple hook sheaves around which the main wire rope 14 is wound, and a main hook 10a that suspends cargo W. The sub-hook block 11 is provided with a sub-hook 11a that suspends cargo W.

起伏用油圧シリンダ１２は、ブーム９を起立および倒伏させ、ブーム９の姿勢を保持するアクチュエータである。起伏用油圧シリンダ１２は、電磁比例切換弁である起伏用バルブ２４（図２参照）によって伸縮操作される。ブーム９には、ブーム９の起伏角度を検出する起伏用センサ２８（図２参照）が設けられている。 The hoisting hydraulic cylinder 12 is an actuator that raises and lowers the boom 9 and maintains the position of the boom 9. The hoisting hydraulic cylinder 12 is extended and retracted by a hoisting valve 24 (see Figure 2), which is an electromagnetic proportional switching valve. The boom 9 is provided with a hoisting sensor 28 (see Figure 2) that detects the hoisting angle of the boom 9.

メインウインチ１３とサブウインチ１５とは、メインワイヤロープ１４とサブワイヤロープ１６との繰り入れ（巻き上げ）および繰り出し（巻き下げ）を行う。メインウインチ１３は、メインワイヤロープ１４が巻きつけられるメインドラムがアクチュエータであるメイン用油圧モータ１３ａによって回転されるように構成されている。サブウインチ１５は、サブワイヤロープ１６が巻きつけられるサブドラムがアクチュエータであるサブ用油圧モータ１５ａによって回転されるように構成されている。 The main winch 13 and the sub winch 15 wind in (hoist up) and out (lower down) the main wire rope 14 and the sub wire rope 16. The main winch 13 is configured so that the main drum around which the main wire rope 14 is wound is rotated by the main hydraulic motor 13a, which is an actuator. The sub winch 15 is configured so that the sub drum around which the sub wire rope 16 is wound is rotated by the sub hydraulic motor 15a, which is an actuator.

メイン用油圧モータ１３ａは、電磁比例切換弁であるメイン用バルブ２５ｍ（図２参照）によって回転操作される。メインウインチ１３は、メイン用バルブ２５ｍによってメイン用油圧モータ１３ａを制御し、任意の繰り入れおよび繰り出し速度に操作可能に構成されている。同様に、サブウインチ１５は、電磁比例切換弁であるサブ用バルブ２５ｓ（図２参照）によってサブ用油圧モータ１５ａを制御し、任意の繰り入れおよび繰り出し速度に操作可能に構成されている。 The main hydraulic motor 13a is rotated by the main valve 25m (see FIG. 2), which is an electromagnetic proportional switching valve. The main winch 13 controls the main hydraulic motor 13a by the main valve 25m, and is configured to be able to operate at any pay-in and pay-out speed. Similarly, the sub winch 15 controls the sub hydraulic motor 15a by the sub valve 25s (see FIG. 2), which is an electromagnetic proportional switching valve, and is configured to be able to operate at any pay-in and pay-out speed.

キャビン１７は、旋回台７に搭載されている。キャビン１７は、図示しない操縦席が設けられている。操縦席には、車両２を走行操作するための操作具、クレーン装置６を操作するための旋回操作具１８、起伏操作具１９、伸縮操作具２０、メインドラム操作具２１ｍ、サブドラム操作具２１ｓ等が設けられている。 The cabin 17 is mounted on the swivel base 7. The cabin 17 is provided with a driver's seat (not shown). The driver's seat is provided with an operating tool for operating the vehicle 2 to travel, a rotation operating tool 18 for operating the crane device 6, a hoisting operating tool 19, a telescopic operating tool 20, a main drum operating tool 21m, a sub-drum operating tool 21s, etc.

制御装置２９は、各操作弁を介してクレーン１のアクチュエータを制御する装置である。制御装置２９は、キャビン１７内に設けられている。制御装置２９は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続される構成であってもよく、あるいはワンチップのＬＳＩ等からなる構成であってもよい。制御装置２９は、各アクチュエータ、切換え弁、センサ等の動作を制御するために種々のプログラム、データが格納されている。 The control device 29 is a device that controls the actuators of the crane 1 via each operating valve. The control device 29 is provided inside the cabin 17. The control device 29 may be configured with a CPU, ROM, RAM, HDD, etc. connected via a bus, or may be configured with a one-chip LSI, etc. The control device 29 stores various programs and data for controlling the operation of each actuator, switching valve, sensor, etc.

制御装置２９は、ブームカメラ３１、旋回操作具１８、起伏操作具１９、伸縮操作具２０、メインドラム操作具２１ｍおよびサブドラム操作具２１ｓに接続され、ブームカメラ３１の映像を取得し、旋回操作具１８、起伏操作具１９、メインドラム操作具２１ｍおよびサブドラム操作具２１ｓのそれぞれの操作量を取得することができる。 The control device 29 is connected to the boom camera 31, the swivel operation device 18, the hoisting operation device 19, the telescopic operation device 20, the main drum operation device 21m, and the sub-drum operation device 21s, and can acquire images from the boom camera 31 and the operation amounts of each of the swivel operation device 18, the hoisting operation device 19, the main drum operation device 21m, and the sub-drum operation device 21s.

制御装置２９は、旋回用バルブ２２、伸縮用バルブ２３、起伏用バルブ２４、メイン用バルブ２５ｍおよびサブ用バルブ２５ｓに接続され、旋回用バルブ２２、伸縮用バルブ２３、起伏用バルブ２４、メイン用バルブ２５ｍおよびサブ用バルブ２５ｓに制御信号を伝達することができる。 The control device 29 is connected to the swing valve 22, the extension valve 23, the elevation valve 24, the main valve 25m, and the sub valve 25s, and can transmit control signals to the swing valve 22, the extension valve 23, the elevation valve 24, the main valve 25m, and the sub valve 25s.

制御装置２９は、旋回用センサ２６、伸縮用センサ２７および起伏用センサ２８に接続され、旋回台７の旋回角度、ブーム９のブーム長さ、起伏角度、メインワイヤロープ１４およびサブワイヤロープ１６の繰り出し長さ等の姿勢情報および荷物Ｗの重量を取得することができる。 The control device 29 is connected to the rotation sensor 26, the extension sensor 27, and the elevation sensor 28, and can acquire posture information such as the rotation angle of the rotating platform 7, the boom length of the boom 9, the elevation angle, and the payout length of the main wire rope 14 and the sub-wire rope 16, as well as the weight of the cargo W.

制御装置２９は、旋回操作具１８、起伏操作具１９、伸縮操作具２０、メインドラム操作具２１ｍおよびサブドラム操作具２１ｓの操作信号に基づいて各操作具に対応した制御信号を生成することができる。 The control device 29 can generate control signals corresponding to each operating device based on the operation signals of the swivel operating device 18, the elevation operating device 19, the extension operating device 20, the main drum operating device 21m, and the sub-drum operating device 21s.

制御装置２９は、ブームカメラシステム３０の画像処理装置３４に有線または無線で接続され、画像処理装置３４にクレーン装置６の各操作具の操作信号を送信することができる。 The control device 29 is connected to the image processing device 34 of the boom camera system 30 via a wired or wireless connection, and can transmit operation signals for each operating tool of the crane device 6 to the image processing device 34.

このように構成されるクレーン１は、車両２を走行させることで任意の位置にクレーン装置６を移動させることができる。また、クレーン１は、起伏操作具１９の操作によって起伏用油圧シリンダ１２でブーム９を任意の起伏角度に起立させて、伸縮操作具２０の操作によってブーム９を任意のブーム長さに延伸させたりすることでクレーン装置６の揚程、作業半径を拡大することができる。また、クレーン１は、サブドラム操作具２１ｓ等によって荷物Ｗを吊り上げて、旋回操作具１８の操作によって旋回台７を旋回させることで荷物Ｗを搬送することができる。 The crane 1 configured in this manner can move the crane device 6 to any position by driving the vehicle 2. The crane 1 can also increase the lifting height and working radius of the crane device 6 by operating the hoisting operation device 19 to raise the boom 9 to any hoisting angle using the hoisting hydraulic cylinder 12, and by operating the telescopic operation device 20 to extend the boom 9 to any boom length. The crane 1 can also transport the cargo W by lifting it using the sub-drum operation device 21s, etc., and rotating the swivel base 7 by operating the swivel operation device 18.

次に、図１から図３を用いて、ブームカメラシステム３０について説明する。ブームカメラシステム３０は、ブームカメラ３１が撮影する画像の振れを抑制するシステムである。ブームカメラシステム３０は、ブームカメラ３１、傾斜計３２、表示装置３３、画像処理装置３４を備える。ブームカメラ３１に伝達される振動は、ブーム９の姿勢状態と操作によって生じる振動、風等の自然現象による振動を含む。 Next, the boom camera system 30 will be described with reference to Figures 1 to 3. The boom camera system 30 is a system that suppresses shaking of images captured by a boom camera 31. The boom camera system 30 includes a boom camera 31, an inclinometer 32, a display device 33, and an image processing device 34. The vibrations transmitted to the boom camera 31 include vibrations caused by the attitude and operation of the boom 9, and vibrations caused by natural phenomena such as wind.

図１から図３に示すように、ブームカメラ３１は、荷物Ｗおよび荷物Ｗ周辺の地物Ｃを撮影する撮影装置である。ブームカメラ３１は、ブーム９の軸線方向に揺動自在に設けられている。ブームカメラ３１は、ブーム９の起伏角度に関わらず重力で鉛直下方向を向くように、ブーム９の先端部に設けられている。ブームカメラ３１は、荷物Ｗの上方から荷物Ｗおよびクレーン１周辺の地物Ｃ、地形を撮影可能に構成されている。ブームカメラ３１は、画像処理装置３４に画像情報を送信可能に構成される。 As shown in Figures 1 to 3, the boom camera 31 is an imaging device that captures images of the luggage W and features C around the luggage W. The boom camera 31 is mounted so that it can swing freely in the axial direction of the boom 9. The boom camera 31 is mounted at the tip of the boom 9 so that it faces vertically downward due to gravity regardless of the angle at which the boom 9 is raised and lowered. The boom camera 31 is configured to be able to capture images of the luggage W and the features C and topography around the crane 1 from above the luggage W. The boom camera 31 is configured to be able to transmit image information to the image processing device 34.

傾斜計３２は、ブームカメラ３１の角度を計測する計測器である。傾斜計３２は、ブームカメラ３１に設けられている。傾斜計３２は、鉛直方向に対するブームカメラ３１の現在の姿勢角である現在姿勢角θを検出する（図３参照）。傾斜計３２は、画像処理装置３４に現在姿勢角θに関する信号を送信可能に構成される。 The inclinometer 32 is a measuring device that measures the angle of the boom camera 31. The inclinometer 32 is provided on the boom camera 31. The inclinometer 32 detects a current attitude angle θ, which is the current attitude angle of the boom camera 31 with respect to the vertical direction (see FIG. 3). The inclinometer 32 is configured to be able to transmit a signal related to the current attitude angle θ to the image processing device 34.

表示装置３３は、ブームカメラ３１が撮影した画像またはブームカメラ３１が撮影した画像同士を合成した画像等の画像情報を表示する装置である。表示装置３３は、タッチパネル機能付き液晶モニタ等から構成されている。表示装置３３は、キャビン１７に設けられている。表示装置３３は、画像処理装置３４から画像情報を取得可能に構成される。 The display device 33 is a device that displays image information such as an image captured by the boom camera 31 or an image obtained by combining images captured by the boom camera 31. The display device 33 is composed of an LCD monitor with a touch panel function or the like. The display device 33 is provided in the cabin 17. The display device 33 is configured to be able to acquire image information from the image processing device 34.

画像処理装置３４は、ブームカメラ３１が撮影した画像を表示範囲Ａ０の画像として合成処理する装置である。画像処理装置３４は、キャビン１７内に設けられている。画像処理装置３４は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続される構成であってもよく、あるいはワンチップのＬＳＩ等からなる構成であってもよい。画像処理装置３４は、ブームカメラ３１が撮影した画像を処理するために種々のプログラム、データが格納されている。画像処理装置３４は、画像取得部３５、基準形状設定部３６、画像生成部３９を含む。本実施形態において、表示範囲Ａ０は、傾斜計３２が検出するブームカメラ３１の現在姿勢角θがゼロ度とみなせる所定角度範囲θｓ未満においてブームカメラ３１が撮影している範囲とする。すなわち、表示範囲Ａ０は、ブームカメラ３１が鉛直下方を向いているとみなせる状態において撮影している範囲である。 The image processing device 34 is a device that synthesizes and processes the images captured by the boom camera 31 into an image of the display range A0. The image processing device 34 is provided in the cabin 17. The image processing device 34 may be configured such that a CPU, ROM, RAM, HDD, etc. are connected via a bus, or may be configured such as a one-chip LSI. The image processing device 34 stores various programs and data for processing the images captured by the boom camera 31. The image processing device 34 includes an image acquisition unit 35, a reference shape setting unit 36, and an image generation unit 39. In this embodiment, the display range A0 is the range captured by the boom camera 31 when the current attitude angle θ of the boom camera 31 detected by the inclinometer 32 is less than a predetermined angle range θs that can be regarded as zero degrees. In other words, the display range A0 is the range captured when the boom camera 31 is in a state where it can be regarded as facing vertically downward.

画像取得部３５は、ブームカメラ３１が撮影した画像を取得する画像処理装置３４の一部である。 The image acquisition unit 35 is part of the image processing device 34 that acquires images captured by the boom camera 31.

画像取得部３５は、ブームカメラ３１に接続されている。画像取得部３５は、ブームカメラ３１が撮影した画像を取得することができる。また、画像取得部３５は、ブームカメラ３１が撮影した画像を所定時間Ｔの保持期間だけ保持することができる。つまり、画像取得部３５は、所定時間Ｔ内にブームカメラ３１の振動によって移動しながら撮影した範囲である振動撮影範囲Ａ１の画像を全て取得することができる。 The image acquisition unit 35 is connected to the boom camera 31. The image acquisition unit 35 can acquire images captured by the boom camera 31. The image acquisition unit 35 can also retain the images captured by the boom camera 31 for a retention period of a predetermined time T. In other words, the image acquisition unit 35 can acquire all images of the vibration capture range A1, which is the range captured while moving due to the vibration of the boom camera 31, within the predetermined time T.

基準形状設定部３６は、表示装置３３に表示する表示範囲Ａ０の基準を設定する画像処理装置３４の一部である。基準形状設定部３６は、傾斜計３２の現在姿勢角θが所定角度範囲θｓ未満である状態においてブームカメラ３１が撮影した画像内から任意に選択された形状の座標情報を表示範囲Ａ０の基準となる基準形状ＢＳの座標情報として設定する。基準形状設定部３６は、基準位置移動操作具３７と地物選択操作具３８とを備える。 The reference shape setting unit 36 is part of the image processing device 34 that sets the reference for the display range A0 to be displayed on the display device 33. The reference shape setting unit 36 sets the coordinate information of a shape arbitrarily selected from within the image captured by the boom camera 31 when the current attitude angle θ of the inclinometer 32 is less than the predetermined angle range θs as the coordinate information of the reference shape BS that serves as the reference for the display range A0. The reference shape setting unit 36 includes a reference position movement operation tool 37 and a feature selection operation tool 38.

基準形状設定部３６は、傾斜計３２に接続されている。基準形状設定部３６は、傾斜計３２から現在姿勢角θを取得することができる。 The reference shape setting unit 36 is connected to the inclinometer 32. The reference shape setting unit 36 can obtain the current attitude angle θ from the inclinometer 32.

基準形状設定部３６は、表示装置３３に接続されている。基準形状設定部３６は、表示装置３３で指定された形状の座標情報と輝度、色彩等の画像情報を取得することができる。 The reference shape setting unit 36 is connected to the display device 33. The reference shape setting unit 36 can acquire coordinate information of the shape specified on the display device 33 and image information such as brightness and color.

基準形状設定部３６は、取得した座標情報と画像情報とから選択された位置座標を含む形状を抽出することができる。基準形状設定部３６は、抽出した形状の座標情報を基準形状ＢＳの座標情報として設定することができる。また、基準形状設定部３６は、基準位置移動操作具３７の操作によって基準形状ＢＳの位置座標を表示範囲Ａ０の中心に変更することができる。さらに、基準形状設定部３６は、地物選択操作具３８の操作によって、基準形状ＢＳの位置座標をブーム９の操作信号に基づいて移動させることができる。つまり、基準形状設定部３６は、基準形状ＢＳがブーム９と連動しない部分の形状である場合、基準形状ＢＳの位置座標をブーム９の操作信号に基づいて移動させることができる。この際、基準形状設定部３６は、基準形状ＢＳの移動量が基準値を超えると、ブームカメラシステム３０による振れ抑制制御を解除する。基準形状ＢＳの座標情報は、表示範囲Ａ０における基準形状ＢＳの位置座標を含む情報である。 The reference shape setting unit 36 can extract a shape including the position coordinates selected from the acquired coordinate information and image information. The reference shape setting unit 36 can set the coordinate information of the extracted shape as the coordinate information of the reference shape BS. The reference shape setting unit 36 can also change the position coordinates of the reference shape BS to the center of the display range A0 by operating the reference position movement operation device 37. Furthermore, the reference shape setting unit 36 can move the position coordinates of the reference shape BS based on the operation signal of the boom 9 by operating the feature selection operation device 38. In other words, when the reference shape BS is the shape of a part that is not linked to the boom 9, the reference shape setting unit 36 can move the position coordinates of the reference shape BS based on the operation signal of the boom 9. At this time, when the movement amount of the reference shape BS exceeds a reference value, the reference shape setting unit 36 releases the shake suppression control by the boom camera system 30. The coordinate information of the reference shape BS is information including the position coordinates of the reference shape BS in the display range A0.

基準形状設定部３６は、クレーン１の制御装置２９に接続されている。基準形状設定部３６は、制御装置２９からブーム９の操作信号を取得することができる。基準形状設定部３６は、取得した操作信号に基づいて表示範囲Ａ０を移動させることができる。すなわち、基準形状設定部３６は、操作信号に基づいて、表示範囲Ａ０における基準形状ＢＳの位置座標を変更することができる。 The reference shape setting unit 36 is connected to the control device 29 of the crane 1. The reference shape setting unit 36 can acquire an operation signal for the boom 9 from the control device 29. The reference shape setting unit 36 can move the display range A0 based on the acquired operation signal. In other words, the reference shape setting unit 36 can change the position coordinates of the reference shape BS in the display range A0 based on the operation signal.

画像生成部３９は、表示範囲Ａ０に表示する画像を生成する画像処理装置３４の一部である。 The image generation unit 39 is part of the image processing device 34 that generates the image to be displayed in the display range A0.

画像生成部３９は、ブームカメラ３１に接続されている。画像生成部３９は、ブームカメラ３１からブームカメラ３１が現在撮影している現在画像を取得することができる。 The image generation unit 39 is connected to the boom camera 31. The image generation unit 39 can acquire from the boom camera 31 the current image that is currently being captured by the boom camera 31.

画像生成部３９は、画像取得部３５から所定時間Ｔ前までの過去画像を取得することができる。 The image generation unit 39 can acquire past images up to a predetermined time T from the image acquisition unit 35.

画像生成部３９は、基準形状設定部３６から基準形状ＢＳの座標情報を取得することができる。また、画像生成部３９は、取得した基準形状ＢＳの座標情報に基づいて、現在画像から基準形状ＢＳを検出することができる。 The image generation unit 39 can acquire coordinate information of the reference shape BS from the reference shape setting unit 36. Furthermore, the image generation unit 39 can detect the reference shape BS from the current image based on the acquired coordinate information of the reference shape BS.

画像生成部３９は、表示範囲Ａ０における基準形状ＢＳの位置座標と現在画像における基準形状ＢＳの位置座標とを一致させるようにして表示範囲Ａ０に現在画像を重ね合わせることができる。また、画像生成部３９は、現在画像の撮影範囲である現在撮影範囲Ａ２のうち、表示範囲Ａ０と一致している一致範囲の画像を一致画像Ｉａとして抽出することができる。 The image generating unit 39 can overlay the current image on the display range A0 by matching the position coordinates of the reference shape BS in the display range A0 with the position coordinates of the reference shape BS in the current image. The image generating unit 39 can also extract an image of a matching range that matches the display range A0 from the current shooting range A2, which is the shooting range of the current image, as a matching image Ia.

画像生成部３９は、表示範囲Ａ０のうち、現在撮影範囲Ａ２と一致していない部分を算出することができる。さらに、画像生成部３９は、画像取得部３５が取得した所定時間Ｔ前までの過去画像から一致していない不一致範囲の画像を不一致画像Ｉｂとして抽出することができる。 The image generating unit 39 can calculate the portion of the display range A0 that does not match the current shooting range A2. Furthermore, the image generating unit 39 can extract an image of the mismatched range from past images acquired by the image acquiring unit 35 up to a predetermined time T ago as a mismatched image Ib.

画像生成部３９は、一致画像Ｉａと不一致画像Ｉｂとを繋ぎ合わせた合成画像Ｉｃを生成することができる。 The image generating unit 39 can generate a composite image Ic by stitching together the matching image Ia and the mismatching image Ib.

画像生成部３９は、生成した合成画像Ｉｃを表示装置３３に表示することができる。この際、画像生成部３９は、一致画像Ｉａと不一致画像Ｉｂとが認識可能な状態（例えば、色、枠表示等による表示）で合成画像Ｉｃを表示装置３３に表示させることができる。 The image generating unit 39 can display the generated composite image Ic on the display device 33. At this time, the image generating unit 39 can display the composite image Ic on the display device 33 in a state in which the matching image Ia and the mismatching image Ib are recognizable (for example, by displaying in color, a frame, etc.).

このように構成されるブームカメラシステム３０は、ブームカメラ３１が所定時間Ｔ前までの過去に撮影した過去画像と、ブームカメラ３１現在撮影している現在画像とから、任意に選択された基準形状ＢＳの座標情報に基づいた表示範囲Ａ０の合成画像Ｉｃを生成するように構成されている。このように構成されることで、ブームカメラシステム３０は、選択された基準形状ＢＳを表示範囲Ａ０の所定の位置に表示することができる。また、ブームカメラシステム３０は、ブームカメラ３１の振動によって現在の撮影範囲と表示範囲Ａ０との間にずれが生じても、所定時間Ｔ前までに撮影された過去画像を利用することで、表示範囲Ａ０内に基準形状ＢＳを含む合成画像Ｉｃを表示させることができる。 The boom camera system 30 configured in this manner is configured to generate a composite image Ic of the display range A0 based on the coordinate information of an arbitrarily selected reference shape BS from past images captured by the boom camera 31 up to a predetermined time T ago and a current image currently being captured by the boom camera 31. By being configured in this manner, the boom camera system 30 can display the selected reference shape BS at a predetermined position in the display range A0. Furthermore, even if a deviation occurs between the current capture range and the display range A0 due to vibration of the boom camera 31, the boom camera system 30 can display a composite image Ic including the reference shape BS within the display range A0 by using past images captured up to the predetermined time T ago.

次に、図４から図６を用いて、ブームカメラシステム３０の振れ制御について具体的に説明する。本実施形態において、ブームカメラシステム３０は、ブームカメラ３１の現在姿勢角θが鉛直下方を向いているとみなせる現在姿勢角θに含まれる状態での撮影範囲（画角）を表示範囲Ａ０とする。また、ブームカメラ３１は、ブーム９の伸縮方向に揺動自在に構成されているものとする。なお、便宜的に、表示範囲Ａ０は、紙面に向かって上方向をＸ方向、右方向をＹ方向と定義する。 Next, the shake control of the boom camera system 30 will be specifically described with reference to Figures 4 to 6. In this embodiment, the boom camera system 30 defines the shooting range (angle of view) as the display range A0 when the current attitude angle θ of the boom camera 31 is included in a current attitude angle θ that can be considered to be pointing vertically downward. The boom camera 31 is also configured to be able to swing freely in the extension and retraction direction of the boom 9. For convenience, the display range A0 is defined as the X direction in the upward direction on the paper and the Y direction in the rightward direction.

図４に示すように、ブームカメラシステム３０は、ブームカメラ３１の振動によって撮影範囲が移動している状態で撮影された過去画像が画像取得部３５に保持されている。これにより、ブームカメラシステム３０は、ブームカメラ３１が現在撮影している現在撮影範囲Ａ２よりも広い振動撮影範囲Ａ１の過去映像を保持している。 As shown in FIG. 4, the boom camera system 30 stores in the image acquisition unit 35 past images captured while the capture range was moving due to the vibration of the boom camera 31. As a result, the boom camera system 30 stores past images of the vibration capture range A1, which is wider than the current capture range A2 currently being captured by the boom camera 31.

図４（Ａ）に示すように、ブームカメラシステム３０は、振れを抑制したい形状として表示装置３３に表示されている現在画像からサブフックブロック１１が選択されると、基準形状設定部３６によってサブフックブロック１１の座標情報と輝度、色彩等の画像情報、現在姿勢角θを取得する。基準形状設定部３６は、取得した座標情報と画像情報とから選択された位置座標を含むサブフックブロック１１を抽出し、表示範囲Ａ０の基準となる基準形状ＢＳの座標情報として設定する。基準形状設定部３６は、基準形状ＢＳの座標情報に基づいて基準形状ＢＳの位置座標に十字マーク（破線）を表示させる。 As shown in FIG. 4(A), when a sub-hook block 11 is selected from the current image displayed on the display device 33 as a shape for which vibration is to be suppressed, the boom camera system 30 acquires the coordinate information of the sub-hook block 11, image information such as brightness and color, and the current attitude angle θ by the reference shape setting unit 36. The reference shape setting unit 36 extracts the sub-hook block 11 containing the selected position coordinates from the acquired coordinate information and image information, and sets it as the coordinate information of the reference shape BS that serves as the basis for the display range A0. The reference shape setting unit 36 displays a cross mark (dashed line) at the position coordinates of the reference shape BS based on the coordinate information of the reference shape BS.

図４（Ｂ）に示すように、ブームカメラシステム３０は、画像生成部３９によってブームカメラ３１から現在撮影範囲Ａ２の現在画像を取得するとともに、現在画像からサブフックブロック１１を検出させる。本実施形態において、現在画像は、ブーム９によってブームカメラ３１がＹ方向に移動された状態を示す。 As shown in FIG. 4(B), the boom camera system 30 acquires a current image of the current shooting range A2 from the boom camera 31 by the image generation unit 39, and detects the sub-hook block 11 from the current image. In this embodiment, the current image shows the state in which the boom camera 31 has been moved in the Y direction by the boom 9.

図４（Ｃ）に示すように、画像生成部３９は、表示範囲Ａ０における基準形状ＢＳの位置座標と現在撮影範囲Ａ２におけるサブフックブロック１１の位置座標とを一致させるようにして表示範囲Ａ０に現在画像を重ね合わせる。ブームカメラ３１の現在姿勢角θが所定角度範囲θｓ未満であり、かつ現在画像におけるサブフックブロック１１の座標情報と基準形状ＢＳの座標情報とが一致している場合、つまり、サブフックブロック１１がブームカメラ３１に対して相対的に振動していない場合、現在撮影範囲Ａ２の現在画像は、表示範囲Ａ０とが全範囲で一致している。従って、画像生成部３９は、現在画像全体を一致画像Ｉａとして抽出する（薄墨部分）。一方、画像生成部３９は、表示範囲Ａ０のうち、現在撮影範囲Ａ２と一致していない不一致範囲が存在しない旨を算出する。 As shown in FIG. 4(C), the image generating unit 39 overlays the current image on the display range A0 so that the position coordinates of the reference shape BS in the display range A0 match the position coordinates of the sub-hook block 11 in the current shooting range A2. When the current attitude angle θ of the boom camera 31 is less than the predetermined angle range θs and the coordinate information of the sub-hook block 11 in the current image matches the coordinate information of the reference shape BS, that is, when the sub-hook block 11 is not vibrating relative to the boom camera 31, the current image in the current shooting range A2 matches the display range A0 over the entire range. Therefore, the image generating unit 39 extracts the entire current image as a matching image Ia (light ink portion). Meanwhile, the image generating unit 39 calculates that there is no mismatched range in the display range A0 that does not match the current shooting range A2.

図５（Ａ）に示すように、ブームカメラ３１の現在姿勢角θが所定角度範囲θｓ未満であり、かつ現在画像におけるサブフックブロック１１の座標情報と基準形状ＢＳの座標情報とが一致していない場合、つまり、サブフックブロック１１がブームカメラ３１に対して相対的に振動している場合、現在撮影範囲Ａ２の現在画像におけるサブフックブロック１１の位置座標は、表示範囲Ａ０における基準形状ＢＳの位置座標からサブフックブロック１１の移動方向と移動量によって定まる距離Ｄだけずれている。 As shown in FIG. 5(A), when the current attitude angle θ of the boom camera 31 is less than the predetermined angle range θs and the coordinate information of the sub-hook block 11 in the current image does not match the coordinate information of the reference shape BS, that is, when the sub-hook block 11 is vibrating relative to the boom camera 31, the position coordinates of the sub-hook block 11 in the current image in the current shooting range A2 are shifted from the position coordinates of the reference shape BS in the display range A0 by a distance D determined by the movement direction and amount of movement of the sub-hook block 11.

図５（Ｂ）に示すように、画像生成部３９は、現在撮影範囲Ａ２の現在画像におけるサブフックブロック１１の位置座標と表示範囲Ａ０における基準形状ＢＳの位置座標とが一致するように現在撮影範囲Ａ２を移動させる。画像生成部３９は、現在撮影範囲Ａ２のうち、表示範囲Ａ０と一致している一致範囲の画像を一致画像Ｉａとして抽出する（薄い薄墨部分）。一方、画像生成部３９は、表示範囲Ａ０のうち、現在撮影範囲Ａ２と一致していない不一致範囲を算出する。画像生成部３９は、画像取得部３５が取得した所定時間Ｔ前までの過去画像から不一致画像Ｉｂを抽出する（濃い薄墨部分）。 As shown in FIG. 5(B), the image generating unit 39 moves the current shooting range A2 so that the position coordinates of the sub-hook block 11 in the current image of the current shooting range A2 match the position coordinates of the reference shape BS in the display range A0. The image generating unit 39 extracts an image of the matching range of the current shooting range A2 that matches the display range A0 as a matching image Ia (light ink part). Meanwhile, the image generating unit 39 calculates an unmatching range of the display range A0 that does not match the current shooting range A2. The image generating unit 39 extracts an unmatching image Ib from past images acquired by the image acquiring unit 35 up to a predetermined time T ago (dark ink part).

同様に、ブームカメラ３１の現在姿勢角θがゼロ度でなく、現在画像におけるサブフックブロック１１の座標情報と基準形状ＢＳの座標情報とが一致していない場合、つまり、ブームカメラ３１またはブームカメラ３１とサブフックブロック１１が振動している場合、現在撮影範囲Ａ２の現在画像におけるサブフックブロック１１の位置座標は、表示範囲Ａ０における基準形状ＢＳの位置座標からブームカメラ３１の移動方向および移動量またはブームカメラ３１の移動方向および移動量とサブフックブロック１１の移動方向および移動量との合算によって定まる距離Ｄだけずれている。従って、画像生成部３９は、現在撮影範囲Ａ２のうち、表示範囲Ａ０と一致している一致範囲の画像を一致画像Ｉａとして抽出する。一方、画像生成部３９は、画像取得部３５が取得した所定時間Ｔ前までの過去画像から不一致画像Ｉｂを抽出する。 Similarly, when the current attitude angle θ of the boom camera 31 is not zero degrees and the coordinate information of the sub-hook block 11 in the current image does not match the coordinate information of the reference shape BS, that is, when the boom camera 31 or the boom camera 31 and the sub-hook block 11 are vibrating, the position coordinates of the sub-hook block 11 in the current image of the current shooting range A2 are shifted from the position coordinates of the reference shape BS in the display range A0 by a distance D determined by the movement direction and movement amount of the boom camera 31 or the sum of the movement direction and movement amount of the boom camera 31 and the movement direction and movement amount of the sub-hook block 11. Therefore, the image generation unit 39 extracts an image of the matching range that matches the display range A0 from the current shooting range A2 as a matching image Ia. On the other hand, the image generation unit 39 extracts a non-matching image Ib from past images acquired by the image acquisition unit 35 up to a predetermined time T ago.

なお、基準形状ＢＳであるサブフックブロック１１の位置座標が表示範囲Ａ０の中心でない状態において、基準位置移動操作具３７の操作によりブームカメラシステム３０がサブフックブロック１１の表示位置を表示範囲Ａ０の中心に移動させた場合、現在撮影範囲Ａ２の現在画像におけるサブフックブロック１１の位置座標は、表示範囲Ａ０における基準形状ＢＳの位置座標から基準形状ＢＳの移動方向と移動量によって定まる距離Ｄだけずれている。従って、画像生成部３９は、現在撮影範囲Ａ２のうち、表示範囲Ａ０と一致している一致範囲の画像を一致画像Ｉａとして抽出する。一方、画像生成部３９は、画像取得部３５が取得した所定時間Ｔ前までの過去画像から不一致画像Ｉｂを抽出する。 When the position coordinates of the sub-hook block 11, which is the reference shape BS, are not at the center of the display range A0, and the boom camera system 30 moves the display position of the sub-hook block 11 to the center of the display range A0 by operating the reference position movement operating device 37, the position coordinates of the sub-hook block 11 in the current image of the current shooting range A2 are shifted from the position coordinates of the reference shape BS in the display range A0 by a distance D determined by the movement direction and amount of movement of the reference shape BS. Therefore, the image generation unit 39 extracts an image of the matching range that matches the display range A0 from the current shooting range A2 as a matching image Ia. On the other hand, the image generation unit 39 extracts a non-matching image Ib from past images acquired by the image acquisition unit 35 up to a predetermined time T ago.

図５（Ｃ）に示すように、画像生成部３９は、一致画像Ｉａと不一致画像Ｉｂとを繋ぎ合わせた合成画像Ｉｃを表示装置３３に表示させる。また、画像生成部３９は、不一致画像Ｉｂを識別可能な表示方法（本実施形態においては、不一致画像Ｉｂの薄墨表示）で表示させる。画像生成部３９は、合成画像Ｉｃのサブフックブロック１１が表示範囲Ａ０における基準形状ＢＳに一致するように合成画像Ｉｃを表示させる。このように構成することで、ブームカメラシステム３０は、サブフックブロック１１の振動の有無に関わらず、表示範囲Ａ０における基準形状ＢＳの座標位置にサブフックブロック１１が表示される。 As shown in FIG. 5(C), the image generating unit 39 displays on the display device 33 a composite image Ic obtained by joining the matching image Ia and the mismatching image Ib. The image generating unit 39 also displays the mismatching image Ib in an identifiable display method (in this embodiment, the mismatching image Ib is displayed in light ink). The image generating unit 39 displays the composite image Ic such that the sub-hook block 11 in the composite image Ic matches the reference shape BS in the display range A0. By configuring in this manner, the boom camera system 30 displays the sub-hook block 11 at the coordinate position of the reference shape BS in the display range A0, regardless of whether or not the sub-hook block 11 vibrates.

図６（Ａ）に示すように、ブームカメラシステム３０は、振れを抑制したい形状として表示装置３３に表示されている現在画像から地物Ｃが選択されると、基準形状設定部３６によって地物Ｃの座標情報と輝度、色彩等の画像情報、現在姿勢角θを取得する。基準形状設定部３６は、取得した座標情報と画像情報とから選択された位置座標を含む地物Ｃを抽出し、表示範囲Ａ０の基準となる基準形状ＢＳの座標情報として設定する。基準形状設定部３６は、基準形状ＢＳの座標情報に基づいて基準形状ＢＳの位置座標に十字マーク（破線）を表示させる。 As shown in FIG. 6(A), when feature C is selected from the current image displayed on the display device 33 as a shape for which vibration is to be suppressed, the boom camera system 30 acquires the coordinate information of feature C, image information such as brightness and color, and the current attitude angle θ by the reference shape setting unit 36. The reference shape setting unit 36 extracts feature C including the selected position coordinates from the acquired coordinate information and image information, and sets it as the coordinate information of the reference shape BS that serves as the reference for the display range A0. The reference shape setting unit 36 displays a cross mark (dashed line) at the position coordinates of the reference shape BS based on the coordinate information of the reference shape BS.

図６（Ｂ）に示すように、ブームカメラシステム３０は、画像生成部３９によってブームカメラ３１から現在画像を取得するとともに、現在画像から地物Ｃを検出する。本実施形態において、現在画像は、ブーム９によってブームカメラ３１が－Ｙ方向に移動された状態を示す。 As shown in FIG. 6(B), the boom camera system 30 acquires a current image from the boom camera 31 using the image generation unit 39, and detects feature C from the current image. In this embodiment, the current image shows the state in which the boom camera 31 has been moved in the -Y direction by the boom 9.

図６（Ｃ）に示すように、画像生成部３９は、表示範囲Ａ０における基準形状ＢＳの位置座標と現在画像に現在撮影範囲Ａ２おける地物Ｃの位置座標を一致させるようにして表示範囲Ａ０に現在画像を重ね合わせる。ブームカメラシステム３０は、現在画像における地物Ｃの座標情報と基準形状ＢＳの座標情報とが一致していない場合、つまり、ブーム９、ブームカメラ３１の振動によってブームカメラ３１が地物Ｃに対して相対的に振動している場合、現在撮影範囲Ａ２の現在画像における地物Ｃの位置座標は、表示範囲Ａ０における基準形状ＢＳの位置座標から地物Ｃの移動方向と移動量によって定まる距離Ｄだけずれている。従って、画像生成部３９は、現在撮影範囲Ａ２のうち、表示範囲Ａ０と一致している一致範囲の画像を一致画像Ｉａとして抽出する。一方、画像生成部３９は、画像取得部３５が取得した所定時間Ｔ前までの過去画像から不一致画像Ｉｂ（薄墨部分）を抽出する。 As shown in FIG. 6C, the image generating unit 39 superimposes the current image on the display range A0 so that the position coordinates of the reference shape BS in the display range A0 and the position coordinates of the feature C in the current shooting range A2 match in the current image. When the coordinate information of the feature C in the current image and the coordinate information of the reference shape BS do not match, that is, when the boom camera 31 vibrates relative to the feature C due to the vibration of the boom 9 and the boom camera 31, the position coordinates of the feature C in the current image of the current shooting range A2 are shifted by a distance D determined by the movement direction and movement amount of the feature C from the position coordinates of the reference shape BS in the display range A0. Therefore, the image generating unit 39 extracts an image of the matching range that matches the display range A0 from the current shooting range A2 as a matching image Ia. On the other hand, the image generating unit 39 extracts a mismatching image Ib (light ink portion) from the past image acquired by the image acquiring unit 35 up to a predetermined time T ago.

画像生成部３９は、一致画像Ｉａと不一致画像Ｉｂとを繋ぎ合わせた合成画像Ｉｃを表示装置３３に表示させる。画像生成部３９は、合成画像Ｉｃの地物Ｃを表示範囲Ａ０における基準形状ＢＳに一致させながら表示装置３３に表示させる。このように構成することで、ブームカメラシステム３０は、ブーム９またはブームカメラ３１の振動の有無に関わらず、表示範囲Ａ０における基準形状ＢＳの座標位置に地物Ｃが表示される。 The image generation unit 39 displays the composite image Ic, which is obtained by stitching together the matched image Ia and the mismatched image Ib, on the display device 33. The image generation unit 39 displays the feature C in the composite image Ic on the display device 33 while matching it with the reference shape BS in the display range A0. By configuring in this manner, the boom camera system 30 displays the feature C at the coordinate position of the reference shape BS in the display range A0, regardless of whether the boom 9 or the boom camera 31 is vibrating.

ブームカメラシステム３０は、地物選択操作具３８が操作された場合、つまり、ブームの旋回操作、起伏操作、伸縮操作等に基づいて、基準形状ＢＳの位置座標が移動された場合、現在撮影範囲Ａ２の現在画像における地物Ｃの位置座標は、表示範囲Ａ０における基準形状ＢＳの位置座標から基準形状ＢＳの移動方向と移動量によって定まる距離Ｄだけずれている。従って、画像生成部３９は、現在撮影範囲Ａ２のうち、表示範囲Ａ０と一致している一致範囲の画像を一致画像Ｉａとして抽出する。一方、画像生成部３９は、画像取得部３５が取得した所定時間Ｔ前までの過去画像から不一致画像Ｉｂを抽出する。 When the feature selection operation tool 38 is operated, that is, when the position coordinates of the reference shape BS are moved based on the boom rotation operation, hoisting operation, telescopic operation, etc., the position coordinates of the feature C in the current image of the current shooting range A2 are shifted from the position coordinates of the reference shape BS in the display range A0 by a distance D determined by the movement direction and amount of movement of the reference shape BS. Therefore, the image generation unit 39 extracts an image of the matching range that matches the display range A0 in the current shooting range A2 as a matching image Ia. On the other hand, the image generation unit 39 extracts a non-matching image Ib from past images acquired by the image acquisition unit 35 up to a predetermined time T ago.

次に、図７を用いて、ブームカメラシステム３０による振れ抑制制御について具体的に説明する。なお、本実施形態において、ブームカメラシステム３０は、ブームカメラ３１が現在撮影している現在撮影範囲Ａ２よりも広い振動撮影範囲Ａ１の過去映像を保持していることとする。また、ブームカメラシステム３０には、サブフックブロック１１が基準形状ＢＳとして選択されたものとする。 Next, the vibration suppression control by the boom camera system 30 will be specifically described with reference to FIG. 7. In this embodiment, the boom camera system 30 holds past images of a vibration capture range A1 that is wider than the current capture range A2 currently being captured by the boom camera 31. In addition, the sub-hook block 11 is selected as the reference shape BS for the boom camera system 30.

図７に示すように、振動抑制制御のステップＳ１１０において、画像処理装置３４は、表示装置３３の画面上に表示されている現在画像で選択されたサブフックブロック１１の座標情報を基準形状ＢＳの座標情報として抽出し、ステップをステップＳ１２０に移行させる。 As shown in FIG. 7, in step S110 of vibration suppression control, the image processing device 34 extracts the coordinate information of the sub-hook block 11 selected in the current image displayed on the screen of the display device 33 as the coordinate information of the reference shape BS, and transitions to step S120.

ステップＳ１２０において、画像処理装置３４は、傾斜計３２から現在姿勢角θを取得し、ステップをステップＳ１３０に移行させる。 In step S120, the image processing device 34 acquires the current attitude angle θ from the inclinometer 32 and transitions to step S130.

ステップＳ１３０において、画像処理装置３４は、取得した現在姿勢角θが所定角度範囲θｓ未満か否かを判定する。
その結果、取得した現在姿勢角θが所定角度範囲θｓ未満である場合、すなわちブームカメラ３１が鉛直下方向を向いているとみなせる場合、画像処理装置３４はステップをステップＳ１４０に移行させる。
一方、取得した現在姿勢角θが所定角度範囲θｓ未満でない場合、すなわちブームカメラ３１が鉛直下方向を向いていない場合、画像処理装置３４はステップをステップＳ１３５に移行させる。 In step S130, the image processing device 34 determines whether the acquired current attitude angle θ is less than a predetermined angle range θs.
As a result, if the acquired current attitude angle θ is less than the predetermined angle range θs, that is, if the boom camera 31 can be considered to be facing vertically downward, the image processing device 34 transitions to step S140.
On the other hand, if the acquired current attitude angle θ is not less than the predetermined angle range θs, that is, if the boom camera 31 is not facing vertically downward, the image processing device 34 transitions to step S135.

ステップＳ１３５において、画像処理装置３４は、基準形状ＢＳの座標情報を、現在姿勢角θがゼロ度における場合の座標情報に換算して基準形状ＢＳの座標情報として設定し、ステップをステップＳ１４０に移行させる。 In step S135, the image processing device 34 converts the coordinate information of the reference shape BS into coordinate information when the current attitude angle θ is zero degrees, sets it as the coordinate information of the reference shape BS, and transitions to step S140.

ステップＳ１４０において、画像処理装置３４は、抽出した基準形状ＢＳの座標情報を基準として表示範囲Ａ０を設定し、ステップをステップＳ１５０に移行させる。 In step S140, the image processing device 34 sets the display range A0 based on the coordinate information of the extracted reference shape BS, and proceeds to step S150.

ステップＳ１５０において、画像処理装置３４は、基準位置移動操作具３７が操作されたか否かを判定する。
その結果、基準位置移動操作具３７が操作された場合、ステップをステップＳ１６０に移行させる。
一方、基準位置移動操作具３７が操作されていない場合、画像処理装置３４はステップをステップＳ１７０に移行させる。 In step S150, the image processing device 34 determines whether or not the reference position moving operation tool 37 has been operated.
As a result, if the reference position moving operation tool 37 has been operated, the process proceeds to step S160.
On the other hand, if the reference position moving operation tool 37 has not been operated, the image processing device 34 advances to step S170.

ステップＳ１６０において、画像処理装置３４は、基準形状ＢＳの位置座標を表示範囲Ａ０の中心に移動させて、ステップをステップＳ１７０に移行させる。 In step S160, the image processing device 34 moves the position coordinates of the reference shape BS to the center of the display range A0 and transitions to step S170.

ステップＳ１７０において、画像処理装置３４は、ブームカメラ３１から現在画像を取得するとともに、サブフックブロック１１の画像を抽出し、ステップをステップＳ１８０に移行させる。 In step S170, the image processing device 34 acquires a current image from the boom camera 31 and extracts an image of the sub-hook block 11, and then proceeds to step S180.

ステップＳ１８０において、画像処理装置３４は、取得した現在画像のサブフックブロック１１位置座標を表示範囲Ａ０の基準形状ＢＳの位置座標に一致させるようにして、現在画像を表示範囲Ａ０に表示し、ステップをステップＳ１９０に移行させる。 In step S180, the image processing device 34 displays the current image in the display range A0 so that the position coordinates of the sub-hook block 11 of the acquired current image match the position coordinates of the reference shape BS in the display range A0, and then proceeds to step S190.

ステップＳ１９０において、画像処理装置３４は、現在撮影範囲Ａ２のうち、表示範囲Ａ０と一致している部分の画像を一致画像Ｉａとして抽出する。一方、画像処理装置３４は、画像取得部３５が取得した所定時間Ｔ前までの過去画像から不一致画像Ｉｂを抽出し、ステップをステップＳ２００に移行させる。 In step S190, the image processing device 34 extracts an image of a portion of the current shooting range A2 that matches the display range A0 as a matching image Ia. Meanwhile, the image processing device 34 extracts a non-matching image Ib from past images acquired by the image acquisition unit 35 up to a predetermined time T ago, and proceeds to step S200.

ステップＳ２００において、画像処理装置３４は、一致画像Ｉａと不一致画像Ｉｂとを区別できるように繋ぎ合わせた合成画像Ｉｃを表示装置３３に表示させ、ステップをステップＳ１１０に移行させる。 In step S200, the image processing device 34 causes the display device 33 to display a composite image Ic in which the matching image Ia and the mismatching image Ib are joined together so that they can be distinguished from each other, and then the process proceeds to step S110.

このように構成されるブームカメラシステム３０は、任意に選択された所定の形状を基準形状ＢＳとして設定する。さらに、ブームカメラシステム３０は、基準形状ＢＳを基準として表示装置３３にブームカメラ３１が撮影した現在映像を表示させる。この際、ブームカメラシステム３０は、ブームカメラ３１の振動によって現在画像に表示範囲Ａ０の全範囲が含まれていない場合、欠損している範囲を過去画像から抽出した不一致画像Ｉｂで補完した合成画像Ｉｃを生成する。ブームカメラシステム３０は、ブームカメラ３１の振動によって移動しながら撮影された画像を全て取得しているので、過去画像に不一致画像Ｉｂが含まれる。 The boom camera system 30 configured in this manner sets an arbitrarily selected predetermined shape as the reference shape BS. Furthermore, the boom camera system 30 displays the current image captured by the boom camera 31 on the display device 33 using the reference shape BS as a reference. At this time, if the entire range of the display range A0 is not included in the current image due to the vibration of the boom camera 31, the boom camera system 30 generates a composite image Ic in which the missing range is complemented with a mismatch image Ib extracted from a previous image. Since the boom camera system 30 acquires all images captured while moving due to the vibration of the boom camera 31, the mismatch image Ib is included in the previous image.

この際、ブームカメラシステム３０は、過去画像で補完されている部分が認識できるように合成画像Ｉｃを表示するので、過去画像による補完によって操縦者が混乱することがない。つまり、ブームカメラシステム３０は、表示される現在画像に合成する過去画像の時間的範囲を所定時間Ｔの期間に限定することで、現在画像と過去画像との整合性をある程度まで担保しつつ、ブームカメラ３１の振動による欠損部分を過去画像で補完可能に構成されている。これにより、ブームカメラシステム３０は、ブームカメラ３１の振動の大きさに関わらず現在画像に映っている任意の物体の画像の振れを抑制することができる。 At this time, the boom camera system 30 displays the composite image Ic so that the portion that has been complemented with the past image can be recognized, and therefore the operator will not be confused by the complementation with the past image. In other words, the boom camera system 30 is configured to be able to complement missing portions caused by vibration of the boom camera 31 with the past image while ensuring a certain degree of consistency between the current image and the past image by limiting the time range of the past image that is composited with the displayed current image to a period of a predetermined time T. This allows the boom camera system 30 to suppress image shaking of any object captured in the current image, regardless of the magnitude of the vibration of the boom camera 31.

また、ブームカメラシステム３０は、操縦者が選択した任意の物体の画像を基準形状ＢＳとして表示範囲Ａ０を設定し、操縦者が選択した任意の物体の画像を基準とした過去画像によって画像範囲の欠損部分を補う。つまり、ブームカメラシステム３０は、操縦者が任意に選択した物体についての画像の振れを抑制することができる。さらに、ブームカメラシステム３０は、地物選択操作具３８が操作された状態でブーム９の操作信号を取得すると、ブームカメラ３１がブーム９によって移動されていると判定する。そして、ブームカメラシステム３０は、操作信号に基づいて表示範囲Ａ０の位置を移動させるので、ブーム９の移動による表示範囲Ａ０の変動が表示範囲に表示される合成画像Ｉｃに反映される。これにより、ブームカメラシステム３０は、ブームカメラ３１の振動の大きさ、ブーム９の操作に関わらず現在画像に映っている任意の物体の画像の振れのみを抑制することができる。 The boom camera system 30 also sets the display range A0 using the image of an arbitrary object selected by the operator as the reference shape BS, and fills in the missing parts of the image range with a past image based on the image of the arbitrary object selected by the operator. In other words, the boom camera system 30 can suppress image shake for an object arbitrarily selected by the operator. Furthermore, when the boom camera system 30 acquires an operation signal for the boom 9 while the feature selection operation tool 38 is being operated, it determines that the boom camera 31 is being moved by the boom 9. Then, the boom camera system 30 moves the position of the display range A0 based on the operation signal, so that the fluctuation of the display range A0 due to the movement of the boom 9 is reflected in the composite image Ic displayed in the display range. As a result, the boom camera system 30 can suppress only image shake of an arbitrary object currently captured in the image, regardless of the magnitude of vibration of the boom camera 31 or the operation of the boom 9.

また、ブームカメラシステム３０は、基準位置移動操作具３７が操作されると、荷物Ｗまたはサブフックブロック１１等の任意の形状を表示範囲Ａ０の中心に配置した状態で表示範囲Ａ０の合成画像Ｉｃを生成する。つまり、ブームカメラシステム３０は、荷物Ｗ等がブームカメラ３１と異なる振動で揺れていても荷物Ｗ等の画像を表示範囲Ａ０の中心に振れを抑制させた状態で表示することができる。これにより、ブームカメラシステム３０は、ブームカメラ３１の振動の大きさに関わらず現在画像に映っている任意の物体の画像の振れを抑制することができる。 When the reference position movement operating device 37 is operated, the boom camera system 30 generates a composite image Ic of the display range A0 with any shape, such as the luggage W or the sub-hook block 11, positioned at the center of the display range A0. In other words, even if the luggage W or the like is vibrating with a vibration different from that of the boom camera 31, the boom camera system 30 can display an image of the luggage W or the like at the center of the display range A0 with vibration suppressed. This allows the boom camera system 30 to suppress image vibration of any object currently captured in the image, regardless of the magnitude of the vibration of the boom camera 31.

上述の実施形態は、代表的な形態を示したに過ぎず、一実施形態の骨子を逸脱しない範囲で種々変形して実施することができる。さらに、上述の実施形態は、種々なる形態で実施し得ることは勿論のことである。本発明の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲に記載の均等の意味、および範囲内のすべての変更を含む。 The above-mentioned embodiment merely shows a representative form, and various modifications can be made without departing from the gist of one embodiment. Furthermore, it goes without saying that the above-mentioned embodiment can be implemented in various forms. The scope of the present invention is indicated by the description of the claims, and further includes the equivalent meanings described in the claims, and all modifications within the scope.

１クレーン
６クレーン装置
９ブーム
３０画像処理装置
３１ブームカメラ
３４ブーカメラシステム
３５画像取得部
３６基準形状設定部
３９画像生成部
ＢＳ基準形状
Ａ０表示範囲
Ｉａ一致画像
Ｉｂ不一致画像
Ｉｃ合成画像 REFERENCE SIGNS LIST 1 Crane 6 Crane device 9 Boom 30 Image processing device 31 Boom camera 34 Boom camera system 35 Image acquisition unit 36 Reference shape setting unit 39 Image generation unit BS Reference shape A0 Display range Ia Matching image Ib Non-matching image Ic Composite image

Claims

A boom camera system for a mobile crane that transports a load suspended by a wire rope from a boom that can be raised and lowered via a swivel base,
A boom camera provided on the boom;
an image acquisition unit that acquires images captured by the boom camera;
a reference shape setting unit that sets a reference shape that serves as a reference for a display range in the image captured by the boom camera;
an image generating unit that extracts an image of a matching range that matches the display range from within a shooting range of a current image currently being captured by the boom camera based on the reference shape, calculates a mismatching range from within the display range that does not match the shooting range of the current image, extracts an image of the mismatching range from a previous image acquired a predetermined time ago by the image acquiring unit, and generates a composite image by joining the image of the matching range and the image of the mismatching range together;
and an image processing device including :
The reference shape setting unit is
When the reference shape is a shape of a portion that is not linked to the boom, the reference shape is moved based on an operation signal of the boom.
Boom camera system.

A boom camera system for a mobile crane that transports a load suspended by a wire rope from a boom that can be raised and lowered via a rotating base, comprising:
A boom camera provided on the boom;
an image acquisition unit that acquires images captured by the boom camera;
a reference shape setting unit that sets a reference shape that serves as a reference for a display range in the image captured by the boom camera;
an image generating unit that extracts an image of a matching range that matches the display range from within a shooting range of a current image currently being captured by the boom camera based on the reference shape, calculates a mismatching range from within the display range that does not match the shooting range of the current image, extracts an image of the mismatching range from a previous image acquired a predetermined time ago by the image acquiring unit, and generates a composite image by joining the image of the matching range and the image of the mismatching range together;
and an image processing device including:
The reference shape setting unit is
moving the reference shape to the center of the display range;
Boom camera system.

The boom camera system according to claim 1 or 2 , wherein the composite image is displayed in a state in which the images in the mismatched range are identifiable.

4. The boom camera system according to claim 1, wherein the reference shape is arbitrarily selectable from an image captured by the boom camera.

A mobile crane that transports a load suspended by a wire rope from a boom that can be raised and lowered via a rotating base,
A mobile crane comprising the boom camera system according to any one of claims 1 to 4 .