Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7244801B2 - Object detection system and object detection program - Google Patents
[go: Go Back, main page]

JP7244801B2 - Object detection system and object detection program - Google Patents

Object detection system and object detection program Download PDF

Info

Publication number
JP7244801B2
JP7244801B2 JP2019552347A JP2019552347A JP7244801B2 JP 7244801 B2 JP7244801 B2 JP 7244801B2 JP 2019552347 A JP2019552347 A JP 2019552347A JP 2019552347 A JP2019552347 A JP 2019552347A JP 7244801 B2 JP7244801 B2 JP 7244801B2
Authority
JP
Japan
Prior art keywords
unit
display
object detection
area
monitoring area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019552347A
Other languages
Japanese (ja)
Other versions
JPWO2019093371A1 (en
Inventor
晃志 生田目
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Publication of JPWO2019093371A1 publication Critical patent/JPWO2019093371A1/en
Application granted granted Critical
Publication of JP7244801B2 publication Critical patent/JP7244801B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51Display arrangements
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/181Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using active radiation detection systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Burglar Alarm Systems (AREA)

Description

本発明は、光ビームを走査しつつ対象物からの戻り光を検出する物体検出システム及び物体検出プログラムに関する。 The present invention relates to an object detection system and an object detection program for detecting return light from an object while scanning a light beam.

物体検出システムでは、距離と方向とを高精度で検出する3次元ライダー(3D-LiDAR)と呼ばれるものが用いられる。3次元ライダーを使用する場合には、3次元情報が得られるため、検知結果や監視結果も3次元的に表示されることが望ましい。また、必要な監視領域に限って検出結果を表示することも行われており、その場合、監視領域を簡易に確認、設定、修正等できることが望ましい。 An object detection system uses a so-called three-dimensional lidar (3D-LiDAR) that detects distance and direction with high accuracy. Since three-dimensional information can be obtained when using a three-dimensional lidar, it is desirable to display detection results and monitoring results three-dimensionally. In addition, it is also practiced to display the detection result only for the necessary monitoring area. In this case, it is desirable to be able to easily check, set, and modify the monitoring area.

物体検出システムとして、2次元ライダーを用いたものであるが、最大検知距離内に検出エリア又は監視領域を設定するものが公知となっている(特許文献1)。この物体検出システムでは、2次元ライダーを用いる結果としてスキャン面が平面であるため、検出エリア又は監視領域の設定に際しては、スキャン平面上で領域設定を行うことになり、それで十分であった。 A two-dimensional lidar is used as an object detection system, and it is known to set a detection area or a monitoring area within a maximum detection distance (Patent Document 1). In this object detection system, since the scan plane is a plane as a result of using the two-dimensional LIDAR, when setting the detection area or the monitoring area, it is sufficient to set the area on the scan plane.

しかし、3次元ライダーを使用する場合、複数のスキャン平面を持つことになるので、上記特許文献1のように各スキャン平面に対して監視領域を設定すると、設定に手間がかかるだけでなく、監視領域の空間的な把握が困難になる。また、3次元ライダーによって得られる距離情報は平面的なものではないため、監視領域を多層の平面で考えることは不適切である。 However, when a three-dimensional lidar is used, a plurality of scanning planes are required. Therefore, if a monitoring area is set for each scanning plane as in Patent Document 1, not only is the setting troublesome, but also the monitoring Spatial grasp of the area becomes difficult. Moreover, since the distance information obtained by the three-dimensional lidar is not two-dimensional, it is inappropriate to consider the monitoring area as a multi-layered plane.

特開2009-93428号公報JP-A-2009-93428

本発明は、上記背景技術の問題点に鑑みてなされたものであり、3次元で距離検知を行う場合であっても、監視領域の設定や把握が容易な物体検出システム、及び、これに適用される物体検出プログラムを提供することを目的とする。 The present invention has been made in view of the problems of the above-described background art, and provides an object detection system that facilitates setting and grasping of a monitoring area even when performing distance detection in three dimensions, and application thereto. It is an object of the present invention to provide an object detection program.

上述した目的のうち少なくとも一つを実現するために、本発明の一側面を反映した物体検出システムは、光ビームを走査しつつ反射光を検出して伝搬時間から距離を計測する距離計測部と、距離計測部によって得た距離情報から物体を検知する物体検知部と、ディスプレイを含む入出力部と、ディスプレイに物体検知部によって検知した物体の3次元的な表示を行わせる表示処理部と、ディスプレイを利用した入出力部の操作を受け付けることによって、距離計測部によって計測されるエリアのうち、物体検知部による監視処理の対象となる監視領域を設定する領域設定部とを備える。 In order to achieve at least one of the above objects, an object detection system reflecting one aspect of the present invention includes a distance measurement unit that scans a light beam and detects reflected light to measure the distance from the propagation time. , an object detection unit that detects an object from the distance information obtained by the distance measurement unit; an input/output unit that includes a display; a display processing unit that causes the display to display the object detected by the object detection unit in three dimensions; an area setting unit configured to set a monitoring area to be monitored by the object detection unit in the area measured by the distance measurement unit by accepting an operation of the input/output unit using the display.

上述した目的のうち少なくとも一つを実現するために、本発明の一側面を反映した物体検出プログラムは、光ビームを走査しつつ反射光を検出して伝搬時間から距離を計測する距離計測部と、距離計測部によって得た距離情報から物体を検知する物体検知部と、ディスプレイを含む入出力部と、ディスプレイに物体検知部によって検知した物体の3次元的な表示を行わせる表示処理部と、ディスプレイを利用した入出力部の操作を受け付けることによって、距離計測部によって計測されるエリアのうち、物体検知部による監視処理の対象となる監視領域を設定する領域設定部とを備える物体検出システムを制御する制御装置で動作する。 In order to achieve at least one of the above objects, an object detection program reflecting one aspect of the present invention includes: a distance measurement unit that scans a light beam and detects reflected light to measure the distance from the propagation time; , an object detection unit that detects an object from the distance information obtained by the distance measurement unit; an input/output unit that includes a display; a display processing unit that causes the display to display the object detected by the object detection unit in three dimensions; an object detection system comprising: an area setting unit that sets a monitoring area to be monitored by the object detection unit out of the area measured by the distance measurement unit by accepting an operation of the input/output unit using the display. It works with a control device that controls.

本発明の一実施形態に係る物体検出システムを説明する図である。It is a figure explaining the object detection system concerning one embodiment of the present invention. 図1の物体検出システムを構成するレーザーレーダーユニットの構造を説明する概略図である。2 is a schematic diagram illustrating the structure of a laser radar unit that constitutes the object detection system of FIG. 1; FIG. 図3Aは、計測されるエリアにおいて設定される監視領域を説明する斜視図であり、図3Bは、監視領域の3次元的表示の一例を示す図である。FIG. 3A is a perspective view explaining a monitoring area set in an area to be measured, and FIG. 3B is a diagram showing an example of a three-dimensional display of the monitoring area. 図1の物体検出システムの動作を説明する図である。2 is a diagram for explaining the operation of the object detection system of FIG. 1; FIG. 図1の物体検出システムの動作を説明する図である。2 is a diagram for explaining the operation of the object detection system of FIG. 1; FIG. 監視領域の設定方法を説明する図である。It is a figure explaining the setting method of a monitoring area|region. 図7A~7Dは、ディスプレイによる表示例を説明する図である。7A to 7D are diagrams for explaining display examples on a display.

以下、図1等を参照しつつ、本発明に係る一実施形態の物体検出システムについて説明する。 An object detection system according to an embodiment of the present invention will be described below with reference to FIG. 1 and the like.

図1に示す物体検出システム100は、レーザーレーダーユニット21と、支持部23と、制御装置80とを備える。 The object detection system 100 shown in FIG. 1 includes a laser radar unit 21, a support section 23, and a control device 80.

図2を参照して、レーザーレーダーユニット21の構造の一例について説明する。レーザーレーダーユニット21は、検出対象の存在や当該検出対象までの距離を検出する距離計測部であり、回転する走査用ミラー53aによって光ビームを走査しつつ伝搬時間から距離を計測する。レーザーレーダーユニット(距離計測部)21は、投光系51と、受光系52と、回転反射部53と、駆動回路55と、外装部品56とを備える。これらのうち、投光系51と、受光系52と、回転反射部53とは、走査型の光学系59を構成している。 An example of the structure of the laser radar unit 21 will be described with reference to FIG. The laser radar unit 21 is a distance measuring unit that detects the existence of a detection target and the distance to the detection target, and measures the distance from the propagation time while scanning the light beam with the rotating scanning mirror 53a. The laser radar unit (distance measuring section) 21 includes a light projecting system 51 , a light receiving system 52 , a rotary reflecting section 53 , a drive circuit 55 and exterior parts 56 . Among these, the light projecting system 51 , the light receiving system 52 , and the rotating reflector 53 constitute a scanning optical system 59 .

投光系51は、後述する回転反射部53の走査用ミラー53aに対して光ビーム又は投光ビームの元になるレーザー光L1を射出する。投光系51は、赤外その他の波長域に設定されたレーザー光L1を発生する光源51aを有する。 The light projecting system 51 emits a light beam or a laser beam L1, which is the source of the light beam, to a scanning mirror 53a of a rotary reflector 53, which will be described later. The light projecting system 51 has a light source 51a that generates laser light L1 set in the infrared and other wavelength ranges.

受光系52は、外装部品56の光学窓56aを介して入射する検出対象OBからの反射光又は光ビームであって、回転反射部53の走査用ミラー53aで反射された戻り光L2を受光する。受光系52は、戻り光L2を検出するため、縦の副走査方向に関して例えば6つの画素を有する受光素子52aを有する。検出領域内に物体等の検出対象OBがあると、レーザーレーダーユニット21から射出されたレーザー光(投光ビーム)L1が検出対象OBで反射等され、検出対象OBで反射等された光の一部が戻り光(反射光)L2としてレーザーレーダーユニット21における走査用ミラー53aを介して受光系52に入射する。 The light-receiving system 52 receives the return light L2, which is the reflected light or light beam from the detection target OB incident through the optical window 56a of the exterior component 56 and reflected by the scanning mirror 53a of the rotary reflector 53. . The light-receiving system 52 has a light-receiving element 52a having, for example, six pixels in the vertical sub-scanning direction in order to detect the returned light L2. When there is a detection target OB such as an object within the detection area, the laser light (projection beam) L1 emitted from the laser radar unit 21 is reflected by the detection target OB, and part of the light reflected by the detection target OB is reflected. A part is incident on the light receiving system 52 via the scanning mirror 53a in the laser radar unit 21 as a return light (reflected light) L2.

回転反射部53は、走査用ミラー53aと回転駆動部53bとを有する。走査用ミラー53aは、2回反射型のポリゴンミラーであり、光路折り曲げ用の第1反射部53iと第2反射部53jとを有する。第1及び第2反射部53i,53jは、z方向に平行に延びる回転軸RXに沿って上下にそれぞれ配置されている。第1及び第2反射部53i,53jは角錐状の形状を有している。第1及び第2反射部53i,53jの反射面の傾斜角は、走査用ミラー53aの回転位置(図示の例では90°単位で4方位を向く位置)に伴って徐々に変化するものになっている(第1及び第2反射部53i,53jの具体的な形状については、国際公開第2014/168137号参照)。 The rotary reflector 53 has a scanning mirror 53a and a rotary driver 53b. The scanning mirror 53a is a two-time reflecting polygon mirror, and has a first reflecting portion 53i and a second reflecting portion 53j for bending the optical path. The first and second reflecting portions 53i and 53j are arranged vertically along the rotation axis RX extending parallel to the z-direction. The first and second reflecting portions 53i and 53j have a pyramidal shape. The inclination angles of the reflecting surfaces of the first and second reflecting portions 53i and 53j gradually change according to the rotational position of the scanning mirror 53a (in the illustrated example, the positions facing four directions in units of 90°). (For specific shapes of the first and second reflecting portions 53i and 53j, see International Publication No. 2014/168137).

第1反射部53iの反射面は、紙面上で右方向である+y方向から入射したレーザー光(投光ビーム)L1を略直交する方向に反射し、紙面上で上方向である+z方向の第2反射部53jの鏡面に導く。第2反射部53jの鏡面は、紙面上で下方向から入射したレーザー光L1を略直交する方向に反射し、紙面上で右方向の検出対象OB側へ導く。検出対象OBで反射された一部の戻り光(反射光)L2は、レーザー光L1の経路と逆の経路をたどり、受光系52で検出される。つまり、走査用ミラー53aは、検出対象OBで反射された戻り光L2を、第2反射部53jの鏡面で再度反射させ、第1反射部53iの鏡面に導く。続いて、戻り光L2を第1反射部53iの鏡面で再度反射させ、受光系52側へ導く。 The reflecting surface of the first reflecting portion 53i reflects the laser beam (projection beam) L1 incident from the +y direction, which is the right direction on the paper surface, in a direction substantially orthogonal to the laser beam (projection beam) L1, and reflects the laser light (projection beam) L1 in a direction substantially orthogonal to the +z direction, which is the upper direction on the paper surface. 2 It is guided to the mirror surface of the reflecting portion 53j. The mirror surface of the second reflecting portion 53j reflects the laser beam L1 incident from below on the paper surface in a substantially orthogonal direction, and guides it to the detection target OB side in the right direction on the paper surface. A part of the return light (reflected light) L2 reflected by the detection target OB traces a path opposite to the path of the laser light L1 and is detected by the light receiving system 52 . In other words, the scanning mirror 53a causes the return light L2 reflected by the detection target OB to be reflected again by the mirror surface of the second reflecting portion 53j and guides it to the mirror surface of the first reflecting portion 53i. Subsequently, the return light L2 is reflected again by the mirror surface of the first reflecting portion 53i and guided to the light receiving system 52 side.

走査用ミラー53aが回転すると、縦のz軸方向に直交する平面(つまり、xy面)内において、レーザー光L1の進行方向が変化する。つまり、レーザー光L1は、走査用ミラー53aの回転に伴って、z軸のまわりに走査される。レーザー光L1によって走査される角度領域が検出領域となる。投光用のレーザー光L1の進行方向において+z軸方向に関する開き角が投光角度であり、走査開始点でのレーザー光L1の進行方向と走査終了点でのレーザー光L1の進行方向とのxy面内でのなす角度が照射角度である。このような投光角度と照射角度とによって検出領域に対応する投光視野が形成される。なお、投光視野は、走査用ミラー53aの90°単位の回転位置に応じて上下方向に関して4段階で変化するので、全体としての投光視野は、単一の走査で達成される投光視野に対して上下方向に4倍の広がりを有するものとなっている。 When the scanning mirror 53a rotates, the traveling direction of the laser light L1 changes within a plane perpendicular to the vertical z-axis direction (that is, the xy plane). That is, the laser beam L1 is scanned around the z-axis as the scanning mirror 53a rotates. The angular area scanned by the laser beam L1 is the detection area. The projecting angle is the opening angle with respect to the +z-axis direction in the traveling direction of the laser beam L1 for projection. The angle formed in the plane is the irradiation angle. A projected light field corresponding to the detection area is formed by such a projected light angle and an irradiation angle. Since the projected light field changes in four steps in the vertical direction according to the rotational position of the scanning mirror 53a in units of 90°, the projected light field as a whole is the projected light field achieved by a single scan. It has four times the spread in the vertical direction.

駆動回路55は、投光系51の光源51a、受光系52の受光素子52a、回転反射部53の回転駆動部53b等の動作を制御する。また、駆動回路55は、受光系52の受光素子52aに入射した戻り光L2の変換によって得た電気信号から検出対象OBの物体情報を得る。具体的には、受光素子52aにおける出力信号が所定の閾値以上である場合、駆動回路55において、受光素子52aが検出対象OBからの戻り光L2を受光したと判断される。この場合、光源51aでの発光タイミングと受光素子52aでの受光タイミングとの差から、検出対象OBまでの距離が求められる。また、受光素子52aへの戻り光L2の副走査方向に関する受光位置及び走査用ミラー53aの主走査方向に相当する回転角に基づいて、検出対象OBの主走査方向及び副走査方向に関する方位情報を求めることができる。 The driving circuit 55 controls the operations of the light source 51a of the light projecting system 51, the light receiving element 52a of the light receiving system 52, the rotation driving section 53b of the rotary reflecting section 53, and the like. Further, the driving circuit 55 obtains object information of the detection target OB from an electrical signal obtained by conversion of the return light L2 incident on the light receiving element 52a of the light receiving system 52. FIG. Specifically, when the output signal from the light receiving element 52a is equal to or greater than a predetermined threshold value, the driving circuit 55 determines that the light receiving element 52a has received the return light L2 from the detection target OB. In this case, the distance to the detection target OB is obtained from the difference between the light emission timing of the light source 51a and the light reception timing of the light receiving element 52a. Also, based on the light-receiving position in the sub-scanning direction of the return light L2 to the light-receiving element 52a and the rotation angle corresponding to the main scanning direction of the scanning mirror 53a, the azimuth information in the main-scanning direction and the sub-scanning direction of the detection target OB is obtained. can ask.

外装部品56は、レーザーレーダーユニット21の内蔵部品を覆い、保護するためのものである。 The exterior component 56 is for covering and protecting internal components of the laser radar unit 21 .

図1に戻って、支持部23は、レーザーレーダーユニット21を支持するだけでなく、制御装置80の制御下でレーザーレーダーユニット21の向き又は姿勢を調整する機能を有する。なお、支持部23は、支持部23等を含む全体が傾斜した場合に、制御装置80の制御下でレーザーレーダーユニット21の姿勢を調整し、レーザーレーダーユニット21を傾斜前の状態に維持するようなものであってもよい。 Returning to FIG. 1, the support section 23 not only supports the laser radar unit 21, but also has the function of adjusting the direction or posture of the laser radar unit 21 under the control of the control device 80. FIG. It should be noted that the support portion 23 adjusts the posture of the laser radar unit 21 under the control of the control device 80 when the entirety including the support portion 23 and the like is tilted so as to maintain the laser radar unit 21 in the state before tilting. can be anything.

制御装置80は、オペレーターとのインターフェースである入出力部81と、プログラムに基づいてデータ等に対する演算処理、外部装置の制御等を行う演算処理部82と、外部からのデータ、演算処理結果等を保管する記憶部83と、外部装置と通信するための通信部84とを備える。 The control device 80 includes an input/output unit 81 that is an interface with an operator, an arithmetic processing unit 82 that performs arithmetic processing on data and the like based on a program, controls external devices, and the like, and receives external data, arithmetic processing results, and the like. A storage unit 83 for storing data and a communication unit 84 for communicating with an external device are provided.

入出力部81は、オペレーターからの指示を取り込む操作部81aと、演算処理部82による処理結果をオペレーターに提示するディスプレイ81bとを有する。操作部81aは、キーボード、マウス等を有し、制御装置80で実行されるプログラムの進行状態をオペレーターの意思を反映したものにすることができる。操作部81aは、例えばオペレーターが計測中のエリア又は領域から監視領域を指定する操作を受け付ける。操作部81aは、ディスプレイ81bに付随するタッチパネルのようなものであってもよい。ディスプレイ81bは、2次元的表示又は3次元的表示を可能にするLCD等の表示デバイスであるが、3次元視又は立体視を可能にするヘッドマウントディスプレイであってもよい。 The input/output unit 81 has an operation unit 81a that receives instructions from an operator, and a display 81b that presents the results of processing by the arithmetic processing unit 82 to the operator. The operation unit 81a has a keyboard, a mouse, etc., and can make the progress of the program executed by the control device 80 reflect the intention of the operator. The operation unit 81a receives, for example, an operator's operation of designating a monitoring region from the area or region being measured. The operation unit 81a may be something like a touch panel attached to the display 81b. The display 81b is a display device such as an LCD that enables two-dimensional display or three-dimensional display, but may be a head-mounted display that enables three-dimensional viewing or stereoscopic viewing.

演算処理部82は、CPU(Central Processing Unit)等の演算部、インターフェース回路等の付属回路を有しており、距離計測、検出点の表示、監視領域の設定・表示、クラスタリング、対象抽出、ノイズ除去処理、警報処理等の各種工程を含む物体検出プログラムを実行する。 The arithmetic processing unit 82 has an arithmetic unit such as a CPU (Central Processing Unit) and attached circuits such as an interface circuit. An object detection program including various processes such as removal processing and alarm processing is executed.

具体的には、演算処理部82は、物体検知部として、距離計測部であるレーザーレーダーユニット21によって得た距離情報から物体を検知する。また、演算処理部82は、表示処理部として、ディスプレイ81bに検知した物体又は検出対象OBの3次元的な表示又は2次元的な表示を行わせる。つまり、演算処理部82は、距離計測によって得られた検出点をディスプレイ81bにおいて3次元的に表示させたり2次元的に表示させたりすることができる。演算処理部82は、領域設定部として、操作部81a及びディスプレイ81bを介してオペレーターからの指示を受け付けることによって、計測エリア又は計測領域のうち、レーザーレーダーユニット21による監視処理の対象となる監視領域を設定する。また、演算処理部82は、領域設定部として、操作部81a及びディスプレイ81bを介してオペレーターからの指示を受け付けることによって、監視領域の輪郭を拡張、縮小等によって変更する。演算処理部82は、監視領域の輪郭形状を任意形状として受け付けることができる。これにより、ユーザーは、演算処理部82を介して3次元的な監視領域を目的や環境に応じて自在に設定することができる。また、演算処理部82は、監視領域の配置及び個数を調整することができる。また、演算処理部82は、監視領域が複数設定されている場合に、当該複数の監視領域を組み合わせて1つの監視領域とできる。また、演算処理部82は、監視部として、演算処理部(物体検知部)82が監視領域内で動体を検知した場合に動体の存在を記録又は発報する。これにより、監視領域に進入した動体を記録し或いは通報することができる。演算処理部82が動体を検知することにより、監視領域において動体の3次元的な挙動を把握することができる。 Specifically, the arithmetic processing unit 82, as an object detection unit, detects an object from distance information obtained by the laser radar unit 21, which is a distance measurement unit. Further, the arithmetic processing unit 82, as a display processing unit, causes the display 81b to perform three-dimensional display or two-dimensional display of the detected object or detection target OB. That is, the arithmetic processing unit 82 can display the detection points obtained by the distance measurement three-dimensionally or two-dimensionally on the display 81b. The arithmetic processing unit 82, as a region setting unit, receives instructions from an operator via the operation unit 81a and the display 81b, and selects a monitoring region to be monitored by the laser radar unit 21, out of the measurement area or measurement region. set. Further, the arithmetic processing unit 82, as a region setting unit, receives instructions from the operator via the operation unit 81a and the display 81b, and thereby changes the outline of the monitoring region by expanding, contracting, or the like. The arithmetic processing unit 82 can accept the contour shape of the monitoring area as an arbitrary shape. Thereby, the user can freely set the three-dimensional monitoring area through the arithmetic processing unit 82 according to the purpose and environment. Also, the arithmetic processing unit 82 can adjust the arrangement and the number of monitoring areas. Further, when a plurality of monitoring areas are set, the arithmetic processing unit 82 can combine the plurality of monitoring areas into one monitoring area. Further, the arithmetic processing unit 82, as a monitoring unit, records or issues the existence of a moving object when the arithmetic processing unit (object detection unit) 82 detects a moving object within the monitoring area. As a result, it is possible to record or report a moving object that has entered the monitoring area. By detecting the moving object by the arithmetic processing unit 82, it is possible to grasp the three-dimensional behavior of the moving object in the monitoring area.

図3Aは、監視領域の設定及び表示を説明する図である。計測エリアには、レーザーレーダーユニット21の一回の計測動作(全領域の操作)によって得た検出点(不図示)が含まれる。検出点を与える計測データは、元々極座標の計測データであるが、XYZの直交座標系に変換される。図示の例では、直交座標系で表現された計測エリア中に2つの監視領域SA1,SA2が設定されている。監視領域SA1,SA2を設定することで、必要な領域に注力した効率的な監視が可能になる。監視領域SA1を所定の基準面であるXY面に投影した枠状の投影像PI1は、監視領域SA1を平面視した輪郭に対応し、ディスプレイ81bに2次元的に表示される第1パターンの表示像に相当する。また、監視領域SA1を所定の基準面であるXZ面に投影した枠状の投影像PI2は、監視領域SA1を正面視した輪郭に対応し、ディスプレイ81bに2次元的に表示される第2パターンの表示像に相当する。これらの投影像PI1,PI2は、監視領域SA1をY軸及びZ軸に平行な方向から見た平行投影像となっている。 FIG. 3A is a diagram explaining setting and display of a monitoring area. The measurement area includes detection points (not shown) obtained by one measurement operation (manipulation of the entire area) of the laser radar unit 21 . The measurement data that gives the detection point is originally polar coordinate measurement data, but is converted into an XYZ orthogonal coordinate system. In the illustrated example, two monitoring areas SA1 and SA2 are set in a measurement area represented by an orthogonal coordinate system. By setting the monitoring areas SA1 and SA2, it becomes possible to perform efficient monitoring focusing on the necessary areas. A frame-shaped projected image PI1 obtained by projecting the monitoring area SA1 onto the XY plane, which is a predetermined reference plane, corresponds to the outline of the monitoring area SA1 in a plan view, and is a display of a first pattern two-dimensionally displayed on the display 81b. corresponds to an image. A frame-shaped projection image PI2 obtained by projecting the monitoring area SA1 onto the XZ plane, which is a predetermined reference plane, corresponds to the outline of the monitoring area SA1 viewed from the front, and is a second pattern displayed two-dimensionally on the display 81b. corresponds to the display image of These projection images PI1 and PI2 are parallel projection images of the monitoring area SA1 viewed in a direction parallel to the Y-axis and Z-axis.

図3Bは、図3Aの視点EOから見た監視領域SA1の透視投影像を示し、ディスプレイ81bに表示される3次元的表示に相当する。この場合、ディスプレイが平面的な表示を行うものであっても、検知した物体や監視領域の形状や配置を3次元的なものとして把握することが容易になる。図からも明らかなように、監視領域SA1は、遠方に向かって縮小する投影像PI3として表示されている。 FIG. 3B shows a perspective projection image of the monitoring area SA1 viewed from the viewpoint EO in FIG. 3A, and corresponds to a three-dimensional display displayed on the display 81b. In this case, even if the display performs two-dimensional display, it becomes easy to grasp the shape and arrangement of the detected object and the monitored area as three-dimensional ones. As is clear from the figure, the monitoring area SA1 is displayed as a projection image PI3 that shrinks toward the distance.

図1に戻って、記憶部83は、物体検出プログラムやその実行に必要な諸データを記憶する。また、記憶部83には、演算処理部82が監視領域内に警報対象が存在すると判定した場合に、警報対象の状態、時刻等の諸情報が記録される。さらに、記憶部83は、物体検出プログラムによって抽出した対象に関するデータを逐次記録して、演算処理部82による対象の移動状態の監視を可能にする。 Returning to FIG. 1, the storage unit 83 stores an object detection program and various data necessary for its execution. Further, when the arithmetic processing unit 82 determines that an alarm target exists within the monitoring area, the storage unit 83 records various information such as the state of the alarm target and the time. Furthermore, the storage unit 83 sequentially records data regarding the object extracted by the object detection program, and enables the arithmetic processing unit 82 to monitor the movement state of the object.

通信部84は、演算処理部82とレーザーレーダーユニット21又は支持部23との通信を可能にし、演算処理部82がレーザーレーダーユニット21等からのデータを取り込むことを可能にするとともに、演算処理部82からの指令をレーザーレーダーユニット21に送信することを可能にする。 The communication unit 84 enables communication between the arithmetic processing unit 82 and the laser radar unit 21 or the support unit 23, enables the arithmetic processing unit 82 to take in data from the laser radar unit 21 or the like, and enables the arithmetic processing unit It allows commands from 82 to be sent to the laser radar unit 21 .

以下、図4及び図5を参照して、図1に示す物体検出システム100を用いた物体検出方法又は物体検出プログラムの実行について説明する。 Execution of an object detection method or an object detection program using the object detection system 100 shown in FIG. 1 will be described below with reference to FIGS.

まず、制御装置80の演算処理部82は、レーザーレーダーユニット21を動作させて距離情報等を含む計測データの取り込みを開始する(ステップS11)。レーザーレーダーユニット21からは、極座標の計測データ(r,θ,φ)又は計測データ(r,θ,φ)の元となるデータが出力され、演算処理部82は、極座標の計測データ(r,θ,φ)等を直交座標系の計測データ(X,Y,Z)に変換し、結果を記憶部83に保管する。具体的には、極座標から直交座標系への変換は、公知の関係
X=r・sinθ×cosφ
Y=r・sinθ×sinφ
Z=r・cosθ
を用いて実行される。ここで、検出された対象までの距離をr、極角をθ、方位角をφとしている。この際、レーザーレーダーユニット21の姿勢の傾きを補償するような座標変換も可能である。
First, the arithmetic processing section 82 of the control device 80 operates the laser radar unit 21 to start taking in measurement data including distance information and the like (step S11). The laser radar unit 21 outputs polar coordinate measurement data (r, θ, φ) or data that is the basis of the measurement data (r, θ, φ). .theta., .phi.) and the like are converted into measurement data (X, Y, Z) in the orthogonal coordinate system, and the results are stored in the storage unit 83. FIG. Specifically, the conversion from polar coordinates to a rectangular coordinate system is based on the well-known relationship X=r·sin θ×cos φ
Y=r·sin θ×sin φ
Z=r·cos θ
is executed using Here, r is the distance to the detected object, θ is the polar angle, and φ is the azimuth angle. At this time, it is also possible to perform coordinate conversion that compensates for the inclination of the attitude of the laser radar unit 21 .

次に、演算処理部82は、レーザーレーダーユニット21から受け取った距離情報等を含む計測データに基づいて物体を検知した検出点をディスプレイ81bに表示させる(ステップS12)。この際、演算処理部82は、距離計測によって得られた検出点の群をディスプレイ81bにおいて3次元的に表示させることができる。この際、視点等からの距離に応じて検出点を着色表示することができる。3次元的に表示される検出点は、後述するようなクラスタリング、ノイズ除去等の処理がなされたものであってもよい。なお、ディスプレイ81bに表示させる検出点は、3次元的な表示に限らず、2次元的な表示とすることができる。 Next, the arithmetic processing unit 82 causes the display 81b to display the detection point where the object is detected based on the measurement data including the distance information received from the laser radar unit 21 (step S12). At this time, the arithmetic processing unit 82 can three-dimensionally display the group of detection points obtained by the distance measurement on the display 81b. At this time, the detection point can be displayed in color according to the distance from the viewpoint or the like. The detection points displayed three-dimensionally may be subjected to processing such as clustering and noise removal, which will be described later. The detection points displayed on the display 81b are not limited to three-dimensional display, and may be two-dimensional display.

ここで、3次元的表示について説明する。本実施形態では、3次元的表示のため中心投影の手法を利用し、3次元的に配置された多数の検出点を2次元平面に投影する演算処理を行う。直交座標系において、視点のベクトルをVとし、視心のベクトルをVとし、視心を基準とする視点の配置を考えた場合に、方位角をα、仰角をβとして、視点基準の座標PP(a,b,c)は、原点の平行移動及びZ軸及びY座標軸の周りの座標軸の回転ととらえることができ、以下の関係式

Figure 0007244801000001
で与えられる。視点基準の座標PP(a,b,c)のうち、視線に直交する面に平行投影した座標値b,cから距離による縮小を計算した座標DP1(b/(-a),c/(-a))が中心投影の座標となる。この中心投影座標DP1(b/(-a),c/(-a))をディスプレイ81bの画面に適合させる縮小又は拡大、量子化等の画像処理を行うことで、検出点の中心投影表示すなわち3次元的表示が可能になる。なお、距離による縮小を計算しない座標DP2(b,c)は、平行投影の座標であり、これを用いることで任意の視点に対応する2次元的表示が可能になる。Three-dimensional display will now be described. In this embodiment, a central projection method is used for three-dimensional display, and arithmetic processing is performed to project a large number of three-dimensionally arranged detection points onto a two-dimensional plane. In an orthogonal coordinate system, let VE be the vector of the viewpoint, and VO be the vector of the center of sight. Coordinates PP(a, b, c) can be regarded as translation of the origin and rotation of the coordinate axes around the Z and Y coordinate axes, and the following relational expression
Figure 0007244801000001
is given by Coordinates DP1(b/(-a), c/(- a)) are the coordinates of the central projection. By performing image processing such as reduction or enlargement, quantization, etc. to match the central projection coordinates DP1 (b/(-a), c/(-a)) to the screen of the display 81b, the central projection display of the detection point, that is, Three-dimensional display becomes possible. Note that the coordinates DP2(b, c) for which reduction due to distance is not calculated are the coordinates of parallel projection, and by using these, two-dimensional display corresponding to an arbitrary viewpoint is possible.

次に、演算処理部82は、監視領域が設定されている状態である否かを記憶部83を参照して確認し(ステップS13)、監視領域が設定されている場合(ステップS13でY)、監視領域を変更する処理要求があれば(ステップS14でY)、監視領域の設定処理を行う(ステップS15)。 Next, the arithmetic processing unit 82 refers to the storage unit 83 to confirm whether or not the monitoring area is set (step S13), and if the monitoring area is set (Y in step S13). If there is a processing request to change the monitoring area (Y in step S14), the monitoring area is set (step S15).

図6を参照して、監視領域の設定処理を説明する。まず、演算処理部82は、入出力部81を利用してオペレーターに監視領域について設定の要否及び設定の方法の選択を要求し、オペレーターの選択を受け付ける(ステップS51)。この際、演算処理部82は、入出力部81を構成する操作部81a及びディスプレイ81bを利用して、GUI(Graphical User Interface)による入力受付を行う。監視領域の設定方法として、例えば、(1)予め準備された基本形状を当てはめる方法と、(2)実際の計測結果を利用して建造物等の障害物の表面から境界面を得る方法と、(3)オペレーターが基準点や基準面を入力することで境界面を直接入力する方法とが考えられる。予め準備された基本形状としては、例えば直方体、円柱、球等があり、基本図形の姿勢やサイズを変化させることができ、複数の図形を組み合わせることも可能となっている。実際の計測結果を利用する場合、静的な検出点から障害物の表面を想定し、障害物の表面から所定距離の位置に延びる近似的な面を算出することで、監視領域の外縁を画定することができる。オペレーターが基準点や基準面を入力する場合、直接座標点を入力することもできるが、静的な検出点や予め準備した基準点をディスプレイ81bに表示させることで入力を支援することができる。以上の方法(1)~(3)は単独で用いるのではなく、組み合わせて用いることができる。 The monitoring area setting process will be described with reference to FIG. First, the arithmetic processing unit 82 uses the input/output unit 81 to request the operator to select the necessity of setting the monitoring area and the setting method, and accepts the operator's selection (step S51). At this time, the arithmetic processing unit 82 uses the operation unit 81a and the display 81b that constitute the input/output unit 81 to accept input through a GUI (Graphical User Interface). Methods for setting the monitoring area include, for example, (1) a method of applying a basic shape prepared in advance, (2) a method of obtaining a boundary surface from the surface of an obstacle such as a building using actual measurement results, (3) A method of directly inputting a boundary surface by an operator inputting a reference point and a reference surface is conceivable. Basic shapes prepared in advance include, for example, rectangular parallelepipeds, cylinders, spheres, etc. It is possible to change the attitude and size of the basic figures, and to combine a plurality of figures. When using actual measurement results, the outer edge of the monitoring area is defined by assuming the surface of the obstacle from the static detection points and calculating an approximate plane extending from the surface of the obstacle at a predetermined distance. can do. When the operator inputs a reference point or a reference plane, the operator can directly input the coordinate points, but the input can be assisted by displaying static detection points or prepared reference points on the display 81b. The above methods (1) to (3) can be used in combination instead of being used alone.

次に、演算処理部82は、入出力部81を利用してオペレーターに監視領域の表示方法の選択を要求し、オペレーターの選択を受け付ける(ステップS52)。監視領域の表示方法としては、既述のように3次元的表示や2次元的表示であり、3次元的表示の場合、視点に対応するカメラ画像を重畳表示又は並列表示させることもできる。さらに、オペレーターは、入出力部81を利用して3次元的表示や2次元的表示の視点をシフト又は切り換えることができる。ディスプレイ81bに3次元的表示を行わせた状態で監視領域を設定する場合、監視領域を3次元的に観察することになり、監視領域の空間的な配置を把握し易いので、監視領域の設定操作が容易になり、意図する監視領域を迅速に設定できる。ディスプレイ81bに2次元的表示を行わせた状態で監視領域を設定する場合、監視領域を少ない歪みで各基準面に投影することになり、監視領域の配置の把握が比較的正確になる。 Next, the arithmetic processing unit 82 uses the input/output unit 81 to request the operator to select the display method of the monitored area, and accepts the operator's selection (step S52). As described above, the monitoring area can be displayed in three-dimensional display or two-dimensional display. In the case of three-dimensional display, camera images corresponding to viewpoints can be superimposed or displayed in parallel. Furthermore, the operator can use the input/output unit 81 to shift or switch the viewpoint between three-dimensional display and two-dimensional display. When the monitor area is set while the display 81b is displaying a three-dimensional image, the monitor area is observed three-dimensionally, and the spatial arrangement of the monitor area can be easily grasped. It is easy to operate, and the intended monitoring area can be quickly set. When the monitor area is set while the display 81b is displaying a two-dimensional image, the monitor area is projected onto each reference plane with little distortion, and the layout of the monitor area can be comprehended relatively accurately.

次に、演算処理部82は、入出力部81を利用してオペレーターの意図する監視領域の設定を受け付け(ステップS53)、設定された監視領域を記憶部83に保管する。オペレーターは、例えば(1)ディスプレイ81bの検出点を表示する計測エリア外に設けたツール領域からいずれかの1つ以上の基本形状を選択し、(2)ディスプレイ81bの計測エリア内に追加表示された監視領域の外縁候補を選択し、或いは(3)点や面を描画するツールを選択することで計測エリア内に監視領域を設定することができる。このように様々な手法で設定された監視領域は、計測エリア内に検出点とともに表示される。この際、演算処理部82は、オペレーターが監視領域の位置を移動させたり、サイズを増減させたりすることを許容する。以上において、領域設定部としての演算処理部82は、複数の監視領域が設定されることを許容する。このように複数の監視領域が設定された場合、演算処理部82は、当該複数の監視領域を組み合わせて1つの監視領域とできる。なお、監視領域を構成する部分領域は、隣接していても、離れていてもよく、複数の部分領域を1つの監視領域として一括して処理することができる。 Next, using the input/output unit 81, the arithmetic processing unit 82 accepts the setting of the monitoring area intended by the operator (step S53), and stores the set monitoring area in the storage unit 83. FIG. The operator selects, for example, (1) any one or more basic shapes from the tool area provided outside the measurement area displaying the detection points on the display 81b, and (2) additionally displayed within the measurement area on the display 81b. A monitoring area can be set within the measurement area by selecting a candidate for the outer edge of the monitoring area, or (3) selecting a tool for drawing a point or plane. The monitoring areas set by various methods in this way are displayed together with the detection points in the measurement area. At this time, the arithmetic processing unit 82 allows the operator to move the position of the monitoring area and increase/decrease the size. In the above, the arithmetic processing section 82 as the area setting section allows setting of a plurality of monitoring areas. When a plurality of monitoring areas are set in this manner, the arithmetic processing unit 82 can combine the plurality of monitoring areas into one monitoring area. Note that the partial areas forming the monitoring area may be adjacent or separated, and a plurality of partial areas can be collectively processed as one monitoring area.

図7A及び7Bは、ディスプレイ81bに3次元的表示がなされている具体例を示し、計測エリア内に検出点とともに横長の直方体枠状の監視領域が表示されていることが分かる。なお、図7Aは、監視領域を正面から観察する視点となっており、図7Bは、監視領域を上面から観察する視点となっている。なお、図7A及び7Bの表示は、ディスプレイ81b上に単独で行われるだけでなく、ディスプレイ81b上に並列させる場合を含む。 7A and 7B show a specific example in which a three-dimensional display is made on the display 81b, and it can be seen that a horizontally long rectangular parallelepiped frame-shaped monitoring area is displayed together with the detection points within the measurement area. Note that FIG. 7A is a perspective for observing the monitored area from the front, and FIG. 7B is a perspective for observing the monitored area from above. The display of FIGS. 7A and 7B includes not only display on the display 81b alone, but also display on the display 81b side by side.

図7C及び7Dは、ディスプレイ81bに2次元的表示がなされている具体例を示し、計測エリア内に検出点とともに横長の矩形の監視領域が表示されていることが分かる。なお、図7Cは、監視領域を正面から観察する視点となっており、図7Dは、監視領域を上面から観察する視点となっている。なお、図7C及び7Dの表示は、ディスプレイ81b上に単独で行われるだけでなく、ディスプレイ81b上に並列させる場合を含む。 7C and 7D show a specific example of two-dimensional display on the display 81b, and it can be seen that a horizontally long rectangular monitoring area is displayed together with the detection points within the measurement area. Note that FIG. 7C is a viewpoint for observing the monitored area from the front, and FIG. 7D is a viewpoint for observing the monitored area from above. Note that the displays in FIGS. 7C and 7D are not only displayed independently on the display 81b, but also include cases where they are displayed side by side on the display 81b.

以上において、3次元的表示で監視領域を一旦設定した場合、オペレーターの要求でディスプレイ81bによる表示を3次元的表示から2次元的表示に切り換えても、既定の監視領域が承継される。つまり、演算処理部82は、表示の切り換え前後で監視領域の設定を維持し、既定の監視領域の3次元的表示を対応する2次元的表示に切り換える処理を行う。以上とは逆に、2次元的表示で監視領域を一旦設定した場合、オペレーターの要求で2次元的表示から3次元的表示に切り換えても、既定の監視領域が承継される。 In the above, once the monitoring area is set in three-dimensional display, even if the display on the display 81b is switched from the three-dimensional display to the two-dimensional display at the operator's request, the predetermined monitoring area is inherited. That is, the arithmetic processing unit 82 maintains the setting of the monitoring area before and after switching the display, and performs processing for switching the default three-dimensional display of the monitoring area to the corresponding two-dimensional display. Contrary to the above, once the monitor area is set in the two-dimensional display, even if the operator requests to switch from the two-dimensional display to the three-dimensional display, the default monitor area is inherited.

なお、以上の説明では3次元的表示と2次元的表示とを切り換えて行うとしているが、ディスプレイ81bに3次元的表示と2次元的表示とを並べて表示することもできる。 In the above description, the three-dimensional display and the two-dimensional display are switched, but the three-dimensional display and the two-dimensional display can be displayed side by side on the display 81b.

次に、演算処理部82は、入出力部81を利用してオペレーターが監視領域の補正を希望するか否かを確認する(ステップS54)。 Next, the arithmetic processing unit 82 uses the input/output unit 81 to confirm whether or not the operator wishes to correct the monitored area (step S54).

オペレーターが監視領域の補正を希望する場合、演算処理部82は、入出力部81を利用してオペレーターに監視領域の表示方法の選択を要求し、オペレーターの選択を受け付ける(ステップS55)。 When the operator wishes to correct the monitored area, the arithmetic processing unit 82 uses the input/output unit 81 to request the operator to select a method of displaying the monitored area, and accepts the operator's selection (step S55).

次に、演算処理部82は、入出力部81を利用してオペレーターが希望する監視領域の補正を受け付け(ステップS56)、補正された監視領域を記憶部83に保管する。監視領域の補正は、ステップS53で設定された監視領域を部分的に削除すること、ステップS53で設定された監視領域に追加領域を付加する拡張を行うこと等を含み、監視領域全体を削除することや別の箇所に新たな監視領域を追加することを含む。 Next, using the input/output unit 81, the arithmetic processing unit 82 accepts correction of the monitoring area desired by the operator (step S56), and stores the corrected monitoring area in the storage unit 83. FIG. Correction of the monitoring area includes partial deletion of the monitoring area set in step S53, expansion by adding an additional area to the monitoring area set in step S53, and deletion of the entire monitoring area. and adding new monitoring areas elsewhere.

その後、演算処理部82は、設定又は補正した監視領域の表示方法を設定する(ステップS57)。すなわち、演算処理部82は、ステップS53で設定された監視領域、又はステップS56で補正された監視領域をディスプレイ81bに表示する際の、線の太さ、線の色、破線及び実線といった線種の別等に関する情報について、オペレーターが入出力部81を利用して入力・設定できるようにし、その結果を記憶部83に保管する。 After that, the arithmetic processing unit 82 sets the display method of the set or corrected monitoring area (step S57). That is, the arithmetic processing unit 82 determines the thickness of the line, the color of the line, and the type of line such as a broken line and a solid line when displaying the monitoring area set in step S53 or the monitoring area corrected in step S56 on the display 81b. The operator can use the input/output unit 81 to input and set information regarding the classification of the , etc., and the result is stored in the storage unit 83 .

図4に戻って、演算処理部82は、監視領域の設定後、ディスプレイ81bを設定に応じた表示モードで動作させる(ステップS16)。つまり、ステップS12で検出点の群をディスプレイ81bにおいて例えば所定の視点で3次元的に表示させていた場合、同様に検出点の群をディスプレイ81bにおいて所定の視点で3次元的に表示させるとともに、ステップS15で設定された監視領域の枠を重畳表示させる。 Returning to FIG. 4, after setting the monitoring area, the arithmetic processing unit 82 operates the display 81b in a display mode corresponding to the setting (step S16). That is, when the group of detection points is displayed three-dimensionally on the display 81b at a predetermined viewpoint in step S12, the group of detection points is similarly displayed three-dimensionally at a predetermined viewpoint on the display 81b, The frame of the monitoring area set in step S15 is superimposed and displayed.

次に、演算処理部82は、最新の計測データからクラスタリングを行って(ステップS17)、結果を記憶部83に保管する。クラスタリングは、隣接する計測点を繋ぐこと等によって検出点を部分集合化し、対象のサイズや輪郭的な情報を得るための処理である。クラスタリングは、極座標の計測データ(r,θ,φ)又は直交座標系の計測データ(X,Y,Z)に対して行うことができる。以上のクラスタリングには、得られた複数のクラスタの連結等の処理を追加することができる。例えばクラスタの周囲に1~数画素又はこれに相当する距離の領域拡張を行い、得られたクラスタの周囲を対応する画素数又は距離だけ狭めることで、近接するクラスタを連結することができる。 Next, the arithmetic processing unit 82 performs clustering from the latest measurement data (step S17), and stores the result in the storage unit 83. FIG. Clustering is a process for subgrouping detection points by connecting adjacent measurement points, etc., and obtaining information on the size and outline of an object. Clustering can be performed on measured data in polar coordinates (r, θ, φ) or measured data in orthogonal coordinates (X, Y, Z). Processing such as concatenation of a plurality of obtained clusters can be added to the above clustering. For example, adjacent clusters can be connected by performing region expansion of one to several pixels or an equivalent distance around the cluster and narrowing the resulting cluster by the corresponding number of pixels or distance.

次に、演算処理部82は、ステップS17のクラスタリングによって得た各クラスタについて各種演算処理を行って、各クラスタの位置及びサイズを決定する(ステップS18)。クラスタの位置の決定には、例えばクラスタを構成する検出点又は画素点の平均位置又は重心を利用することができる。また、クラスタのサイズの決定には、例えばクラスタを構成する検出点又は画素点の外縁をつなぐ領域内の体積、XY面に投影した面積、XZ面に投影した面積等を用いることができる。 Next, the arithmetic processing unit 82 performs various kinds of arithmetic processing on each cluster obtained by clustering in step S17 to determine the position and size of each cluster (step S18). For determining the position of the cluster, for example, the average position or the center of gravity of the detection points or pixel points forming the cluster can be used. For determination of the size of the cluster, for example, the volume in the region connecting the outer edges of the detection points or pixel points forming the cluster, the area projected on the XY plane, the area projected on the XZ plane, and the like can be used.

その後、演算処理部82は、ステップS18で得た付加情報を有する各クラスタからサイズを考慮して、サイズの小さなものを除去するノイズ判定を行って、着目に値する対象を選別する(ステップS19)。つまり、演算処理部82は、ノイズレベルよりも大きなクラスタを前方物体と判断し、このように抽出した対象をラベリングして記憶部83に保管する。 After that, the arithmetic processing unit 82 considers the size of each cluster having the additional information obtained in step S18, performs noise determination to remove small-sized clusters, and selects targets worthy of attention (step S19). . That is, the arithmetic processing unit 82 determines that a cluster having a higher noise level than the noise level is a forward object, labels the object thus extracted, and stores it in the storage unit 83 .

次に、演算処理部82は、ステップS18で得たクラスタから、ステップS15で設定した監視領域内に存在するものを抽出し(ステップS21)、結果を記憶部83に保管する。 Next, from the clusters obtained in step S18, the arithmetic processing unit 82 extracts clusters existing within the monitoring area set in step S15 (step S21), and stores the result in the storage unit 83. FIG.

次に、演算処理部82は、監視領域内として抽出されたクラスタについてトラッキングを行う(ステップS22)。具体的には、演算処理部82は、抽出されたクラスタに対してその周囲にマークを付したり四角柱状の枠を付したりしてディスプレイ81bに表示させる。この際、抽出されたクラスタの移動を軌跡として捉えることも可能である。この場合、抽出したクラスタの同一性を形状やサイズから判定する。以上のトラッキングでは、監視領域内として抽出されたクラスタを構成する検出点だけでなく、監視領域外で得られたノイズレベルよりも大きなクラスタを構成する検出点をディスプレイ81bに表示させることができる。監視領域外のクラスタとして、車両、建造物等が表示されるが、これらのクラスタを構成する検出点をディスプレイ81bに3次元的に表示させておけば、監視領域内外のクラスタ又は対象の識別が容易になる。 Next, the arithmetic processing unit 82 performs tracking on the cluster extracted as being within the monitoring area (step S22). Specifically, the arithmetic processing unit 82 displays the extracted cluster on the display 81b by attaching a mark or a quadrangular prism-shaped frame around the extracted cluster. At this time, it is also possible to grasp the movement of the extracted cluster as a trajectory. In this case, the identity of the extracted clusters is determined from their shapes and sizes. In the above tracking, it is possible to display on the display 81b not only the detection points forming a cluster extracted within the monitoring area, but also the detection points forming a cluster having a noise level higher than the noise level obtained outside the monitoring area. Vehicles, buildings, etc. are displayed as clusters outside the monitoring area. If the detection points constituting these clusters are displayed three-dimensionally on the display 81b, it is possible to identify the clusters or objects inside and outside the monitoring area. become easier.

次に、演算処理部82は、ステップS22でトラッキングした着目対象が警報対象であるか否かを判断する(ステップS23)。例えば人物や自動車を監視している場合、これらの対象とはクラスタのサイズが異なる場合、着目対象が警報対象でないと判断される。また、クラスタの軌跡や移動速度も警報対象であるか否かの判断に利用することができる。 Next, the arithmetic processing unit 82 determines whether or not the object of interest tracked in step S22 is a warning object (step S23). For example, when monitoring a person or a car, if the size of the cluster differs from those of these objects, it is determined that the target of interest is not the alarm target. In addition, the trajectory and moving speed of the cluster can also be used to determine whether or not the cluster is to be warned.

演算処理部82は、警報対象が存在すると判定した場合(ステップS23でY)、警報処理及び記録処理を行う(ステップS24)。警報処理として、演算処理部82は、ディスプレイ81bやスピーカー(不図示)を利用して、オペレーターに対して警報対象が監視領域内に出現したことを知らせる。また、演算処理部82は、通信部84を介して外部システムに対して警報対象が監視領域内に出現したことを知らせる。記録処理として、演算処理部82は、警報対象に対応するクラスタが監視領域内に出現した時間、クラスタのサイズや形状といった特徴を記憶部83に保管する。 If the arithmetic processing unit 82 determines that there is an object to be warned (Y in step S23), it performs warning processing and recording processing (step S24). As alarm processing, the arithmetic processing unit 82 uses the display 81b and a speaker (not shown) to inform the operator that an alarm target has appeared within the monitoring area. Further, the arithmetic processing unit 82 notifies the external system via the communication unit 84 that the alarm target has appeared within the monitoring area. As a recording process, the arithmetic processing unit 82 stores in the storage unit 83 characteristics such as the time when the cluster corresponding to the warning target appeared in the monitoring area, and the size and shape of the cluster.

演算処理部82は、警報対象が存在すると否とに関わらず、処理終了の指示が無ければ(ステップS25でN)、ステップS13に戻って処理を繰り返す。 If there is no instruction to end processing (N in step S25), the arithmetic processing unit 82 returns to step S13 and repeats the processing regardless of whether or not there is an object to be warned.

監視領域が設定されていない場合(ステップS13でN)、演算処理部82は、オペレーターから設定開始の処理要求を受け付け(ステップS34)、監視領域設定開始の処理要求がない場合(ステップS34でN)、演算処理部82は、ステップS16での処理と同様に、ディスプレイ81bを設定に応じた表示モードで動作させる(ステップS36)。 If the monitoring area has not been set (N in step S13), the arithmetic processing unit 82 accepts a processing request to start setting from the operator (step S34). ), the arithmetic processing unit 82 causes the display 81b to operate in the display mode corresponding to the setting (step S36), similarly to the processing in step S16.

その後、監視領域がないままで、ステップS17~S19での処理と同様に、演算処理部82は、最新の計測データからクラスタリングを行い(ステップS37)、得られた各クラスタの位置及びサイズを決定し(ステップS38)、サイズの小さなクラスタを除去するノイズ判定を行う(ステップS39)。 After that, while there is no monitoring area, the arithmetic processing unit 82 performs clustering from the latest measurement data (step S37) in the same manner as the processing in steps S17 to S19, and determines the position and size of each obtained cluster. (step S38), and performs noise determination for removing small-sized clusters (step S39).

以上で説明した実施形態の物体検出システム100によれば、領域設定部としての演算処理部82が、ディスプレイ81bを利用した入出力部81の操作を受け付けることによって演算処理部(物体検知部)82による監視処理の対象となる監視領域を設定するので、ユーザーは、3次元的な表示に基づいて監視領域を設定する操作を行うことになり、監視領域の設定や把握が容易になる。 According to the object detection system 100 of the embodiment described above, the arithmetic processing unit (object detection unit) 82 receives an operation of the input/output unit 81 using the display 81b. Since the monitor area to be monitored by is set by the user, the user performs an operation to set the monitor area based on the three-dimensional display, which facilitates setting and grasping of the monitor area.

以上、実施形態に即して本発明を説明したが、本発明は、上記実施形態等に限定されるものではない。例えば、レーザーレーダーユニット21の構造や個数は単なる例示であり、様々な構造の距離計測部を用いることができる。 Although the present invention has been described with reference to the embodiments, the present invention is not limited to the above-described embodiments. For example, the structure and the number of laser radar units 21 are merely examples, and distance measurement units with various structures can be used.

クラスタリングの手法は、上記のものに限らず、近傍範囲や近接範囲の設定、画素点のつなぎ方等に関して様々な手法を採用することができる。 The clustering method is not limited to the one described above, and various methods can be adopted for setting the neighborhood range and the proximity range, how to connect pixel points, and the like.

以上で説明した例では、監視領域の設定に際して、ディスプレイ81bに計測エリア内の検出点を表示させているが、リアルタイムの際の検出点に代えて、過去に計測された検出点、現地空間のCADデータ等に基づくものを表示させることもできる。 In the example described above, the detection points within the measurement area are displayed on the display 81b when setting the monitoring area. It is also possible to display what is based on CAD data or the like.

Claims (8)

光ビームを走査しつつ反射光を検出して伝搬時間から距離を計測する距離計測部と、
前記距離計測部によって得た距離情報から物体を検知する物体検知部と、
ディスプレイを含む入出力部と、
前記ディスプレイに前記物体検知部によって検知した物体の3次元的な表示として検出点の群の表示を行わせる表示処理部と、
前記ディスプレイにおいて検出点を表示する計測エリアを表示させつつ前記入出力部の操作を受け付けることによって、前記距離計測部によって計測されるエリアのうち、前記物体検知部による監視処理の対象となる監視領域を設定する領域設定部と
を備え
前記監視領域内で計測データからクラスタリングを行い、得られたクラスタから前記監視領域内に存在するものを抽出する物体検出システム。
a distance measuring unit that detects the reflected light while scanning the light beam and measures the distance from the propagation time;
an object detection unit that detects an object from the distance information obtained by the distance measurement unit;
an input/output unit including a display;
a display processing unit that causes the display to display a group of detection points as a three-dimensional display of the object detected by the object detection unit;
A monitoring area to be monitored by the object detection unit out of the areas measured by the distance measurement unit by accepting an operation of the input/output unit while displaying a measurement area displaying a detection point on the display. and an area setting unit for setting
An object detection system that performs clustering from measurement data within the monitoring area and extracts objects existing within the monitoring area from the obtained clusters.
前記領域設定部は、前記監視領域の輪郭形状を任意形状として受け付ける、請求項1に記載の物体検出システム。 2. The object detection system according to claim 1, wherein said area setting unit accepts a contour shape of said monitoring area as an arbitrary shape. 前記領域設定部は、前記監視領域の配置及び個数を調整可能にする、請求項1及び2のいずれか一項に記載の物体検出システム。 3. The object detection system according to any one of claims 1 and 2, wherein said area setting unit enables adjustment of arrangement and number of said monitoring areas. 前記領域設定部は、前記監視領域が複数設定されている場合に、当該複数の監視領域を組み合わせて1つの監視領域とできる、請求項1~3のいずれか一項に記載の物体検出システム。 4. The object detection system according to any one of claims 1 to 3, wherein when a plurality of monitoring areas are set, the area setting unit can combine the plurality of monitoring areas into one monitoring area. 前記ディスプレイに表示される3次元的な表示は、透視投影像である、請求項1~4のいずれか一項に記載の物体検出システム。 5. The object detection system according to claim 1, wherein the three-dimensional display displayed on said display is a perspective projection image. 前記物体検知部は、動体を検知する、請求項1~5のいずれか一項に記載の物体検出システム。 The object detection system according to any one of claims 1 to 5, wherein the object detection unit detects a moving object. 前記物体検知部が前記監視領域内で動体を検知した場合に動体の存在を記録又は発報する監視部をさらに備える、請求項6に記載の物体検出システム。 7. The object detection system according to claim 6, further comprising a monitoring unit that records or reports presence of a moving object when said object detecting unit detects a moving object within said monitoring area. 光ビームを走査しつつ反射光を検出して伝搬時間から距離を計測する距離計測部と、前記距離計測部によって得た距離情報から物体を検知する物体検知部と、ディスプレイを含む入出力部と、前記ディスプレイに前記物体検知部によって検知した物体の3次元的な表示として検出点の群の表示を行わせる表示処理部と、前記ディスプレイにおいて検出点を表示する計測エリアを表示させつつ前記入出力部の操作を受け付けることによって、前記距離計測部によって計測されるエリアのうち、前記物体検知部による監視処理の対象となる監視領域を設定する領域設定部とを備え、前記監視領域内で計測データからクラスタリングを行い、得られたクラスタから前記監視領域内に存在するものを抽出する物体検出システムを制御する制御装置で動作する物体検出プログラム。 a distance measurement unit that detects reflected light while scanning a light beam and measures the distance from the propagation time; an object detection unit that detects an object from the distance information obtained by the distance measurement unit; and an input/output unit including a display. a display processing unit that causes the display to display a group of detection points as a three-dimensional display of the object detected by the object detection unit; an area setting unit configured to set a monitoring area to be monitored by the object detection unit, out of the area measured by the distance measurement unit, by receiving an operation of the unit, and measuring data within the monitoring area. an object detection program that operates on a control device that controls an object detection system that performs clustering from the obtained clusters and extracts objects existing within the monitoring area from the obtained clusters .
JP2019552347A 2017-11-09 2018-11-07 Object detection system and object detection program Active JP7244801B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017216129 2017-11-09
JP2017216129 2017-11-09
PCT/JP2018/041334 WO2019093371A1 (en) 2017-11-09 2018-11-07 Object detecting system and object detecting program

Publications (2)

Publication Number Publication Date
JPWO2019093371A1 JPWO2019093371A1 (en) 2020-12-03
JP7244801B2 true JP7244801B2 (en) 2023-03-23

Family

ID=66437832

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019552347A Active JP7244801B2 (en) 2017-11-09 2018-11-07 Object detection system and object detection program

Country Status (2)

Country Link
JP (1) JP7244801B2 (en)
WO (1) WO2019093371A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022162885A1 (en) * 2021-01-29 2022-08-04 日本電気株式会社 Area determination device, control method, computer-readable medium, monitoring system, and monitoring method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005277640A (en) 2004-03-24 2005-10-06 Matsushita Electric Ind Co Ltd Image area setting apparatus and image area setting method
JP2007013814A (en) 2005-07-01 2007-01-18 Secom Co Ltd Detection area setting device
JP2007249722A (en) 2006-03-17 2007-09-27 Hitachi Ltd Object detection device
US20100194859A1 (en) 2007-11-12 2010-08-05 Stephan Heigl Configuration module for a video surveillance system, surveillance system comprising the configuration module, method for configuring a video surveillance system, and computer program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005277640A (en) 2004-03-24 2005-10-06 Matsushita Electric Ind Co Ltd Image area setting apparatus and image area setting method
JP2007013814A (en) 2005-07-01 2007-01-18 Secom Co Ltd Detection area setting device
JP2007249722A (en) 2006-03-17 2007-09-27 Hitachi Ltd Object detection device
US20100194859A1 (en) 2007-11-12 2010-08-05 Stephan Heigl Configuration module for a video surveillance system, surveillance system comprising the configuration module, method for configuring a video surveillance system, and computer program

Also Published As

Publication number Publication date
WO2019093371A1 (en) 2019-05-16
JPWO2019093371A1 (en) 2020-12-03

Similar Documents

Publication Publication Date Title
JP6236118B2 (en) 3D data processing apparatus, 3D data processing system, 3D data processing method and program
JP5615416B2 (en) Automatic measurement of dimensional data by laser tracker
JP5911934B2 (en) Contour measurement device and robot system
JP7194015B2 (en) Sensor system and distance measurement method
EP1903304B1 (en) Position measuring system, position measuring method and position measuring program
US9251624B2 (en) Point cloud position data processing device, point cloud position data processing system, point cloud position data processing method, and point cloud position data processing program
JP5593177B2 (en) Point cloud position data processing device, point cloud position data processing method, point cloud position data processing system, and point cloud position data processing program
JP4885584B2 (en) Rangefinder calibration method and apparatus
JP7064163B2 (en) 3D information acquisition system
JP2023134498A (en) Machine vision system and method regarding steerable mirror
JP2012088114A (en) Optical information processing device, optical information processing method, optical information processing system and optical information processing program
JP2010117211A (en) Laser radar installation position verification apparatus, laser radar installation position verification method, and program for laser radar installation position verification apparatus
JP6955203B2 (en) Object detection system and object detection program
US10890430B2 (en) Augmented reality-based system with perimeter definition functionality
JP2019144210A (en) Object detection system
JP5198078B2 (en) Measuring device and measuring method
JP7244801B2 (en) Object detection system and object detection program
JP7244802B2 (en) Object detection system and object detection program
EP4627519A1 (en) Generating a parallax free two and a half (2.5) dimensional point cloud using a high resolution image
JP6368503B2 (en) Obstacle monitoring system and program
US12159348B2 (en) Image processing apparatus, image processing method, and storage medium
WO2020179382A1 (en) Monitoring device and monitoring method
WO2022244296A1 (en) Information processing device, information processing method, program, and information processing system
JP7392826B2 (en) Data processing device, data processing system, and data processing method
EP4246184A1 (en) Software camera view lock allowing editing of drawing without any shift in the view

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220629

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230221

R150 Certificate of patent or registration of utility model

Ref document number: 7244801

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150