JP7244801B2 - Object detection system and object detection program - Google Patents
Object detection system and object detection program Download PDFInfo
- Publication number
- JP7244801B2 JP7244801B2 JP2019552347A JP2019552347A JP7244801B2 JP 7244801 B2 JP7244801 B2 JP 7244801B2 JP 2019552347 A JP2019552347 A JP 2019552347A JP 2019552347 A JP2019552347 A JP 2019552347A JP 7244801 B2 JP7244801 B2 JP 7244801B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- display
- object detection
- area
- monitoring area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/51—Display arrangements
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/181—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using active radiation detection systems
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Burglar Alarm Systems (AREA)
Description
本発明は、光ビームを走査しつつ対象物からの戻り光を検出する物体検出システム及び物体検出プログラムに関する。 The present invention relates to an object detection system and an object detection program for detecting return light from an object while scanning a light beam.
物体検出システムでは、距離と方向とを高精度で検出する3次元ライダー(3D-LiDAR)と呼ばれるものが用いられる。3次元ライダーを使用する場合には、3次元情報が得られるため、検知結果や監視結果も3次元的に表示されることが望ましい。また、必要な監視領域に限って検出結果を表示することも行われており、その場合、監視領域を簡易に確認、設定、修正等できることが望ましい。 An object detection system uses a so-called three-dimensional lidar (3D-LiDAR) that detects distance and direction with high accuracy. Since three-dimensional information can be obtained when using a three-dimensional lidar, it is desirable to display detection results and monitoring results three-dimensionally. In addition, it is also practiced to display the detection result only for the necessary monitoring area. In this case, it is desirable to be able to easily check, set, and modify the monitoring area.
物体検出システムとして、2次元ライダーを用いたものであるが、最大検知距離内に検出エリア又は監視領域を設定するものが公知となっている(特許文献1)。この物体検出システムでは、2次元ライダーを用いる結果としてスキャン面が平面であるため、検出エリア又は監視領域の設定に際しては、スキャン平面上で領域設定を行うことになり、それで十分であった。 A two-dimensional lidar is used as an object detection system, and it is known to set a detection area or a monitoring area within a maximum detection distance (Patent Document 1). In this object detection system, since the scan plane is a plane as a result of using the two-dimensional LIDAR, when setting the detection area or the monitoring area, it is sufficient to set the area on the scan plane.
しかし、3次元ライダーを使用する場合、複数のスキャン平面を持つことになるので、上記特許文献1のように各スキャン平面に対して監視領域を設定すると、設定に手間がかかるだけでなく、監視領域の空間的な把握が困難になる。また、3次元ライダーによって得られる距離情報は平面的なものではないため、監視領域を多層の平面で考えることは不適切である。
However, when a three-dimensional lidar is used, a plurality of scanning planes are required. Therefore, if a monitoring area is set for each scanning plane as in
本発明は、上記背景技術の問題点に鑑みてなされたものであり、3次元で距離検知を行う場合であっても、監視領域の設定や把握が容易な物体検出システム、及び、これに適用される物体検出プログラムを提供することを目的とする。 The present invention has been made in view of the problems of the above-described background art, and provides an object detection system that facilitates setting and grasping of a monitoring area even when performing distance detection in three dimensions, and application thereto. It is an object of the present invention to provide an object detection program.
上述した目的のうち少なくとも一つを実現するために、本発明の一側面を反映した物体検出システムは、光ビームを走査しつつ反射光を検出して伝搬時間から距離を計測する距離計測部と、距離計測部によって得た距離情報から物体を検知する物体検知部と、ディスプレイを含む入出力部と、ディスプレイに物体検知部によって検知した物体の3次元的な表示を行わせる表示処理部と、ディスプレイを利用した入出力部の操作を受け付けることによって、距離計測部によって計測されるエリアのうち、物体検知部による監視処理の対象となる監視領域を設定する領域設定部とを備える。 In order to achieve at least one of the above objects, an object detection system reflecting one aspect of the present invention includes a distance measurement unit that scans a light beam and detects reflected light to measure the distance from the propagation time. , an object detection unit that detects an object from the distance information obtained by the distance measurement unit; an input/output unit that includes a display; a display processing unit that causes the display to display the object detected by the object detection unit in three dimensions; an area setting unit configured to set a monitoring area to be monitored by the object detection unit in the area measured by the distance measurement unit by accepting an operation of the input/output unit using the display.
上述した目的のうち少なくとも一つを実現するために、本発明の一側面を反映した物体検出プログラムは、光ビームを走査しつつ反射光を検出して伝搬時間から距離を計測する距離計測部と、距離計測部によって得た距離情報から物体を検知する物体検知部と、ディスプレイを含む入出力部と、ディスプレイに物体検知部によって検知した物体の3次元的な表示を行わせる表示処理部と、ディスプレイを利用した入出力部の操作を受け付けることによって、距離計測部によって計測されるエリアのうち、物体検知部による監視処理の対象となる監視領域を設定する領域設定部とを備える物体検出システムを制御する制御装置で動作する。 In order to achieve at least one of the above objects, an object detection program reflecting one aspect of the present invention includes: a distance measurement unit that scans a light beam and detects reflected light to measure the distance from the propagation time; , an object detection unit that detects an object from the distance information obtained by the distance measurement unit; an input/output unit that includes a display; a display processing unit that causes the display to display the object detected by the object detection unit in three dimensions; an object detection system comprising: an area setting unit that sets a monitoring area to be monitored by the object detection unit out of the area measured by the distance measurement unit by accepting an operation of the input/output unit using the display. It works with a control device that controls.
以下、図1等を参照しつつ、本発明に係る一実施形態の物体検出システムについて説明する。 An object detection system according to an embodiment of the present invention will be described below with reference to FIG. 1 and the like.
図1に示す物体検出システム100は、レーザーレーダーユニット21と、支持部23と、制御装置80とを備える。
The object detection system 100 shown in FIG. 1 includes a
図2を参照して、レーザーレーダーユニット21の構造の一例について説明する。レーザーレーダーユニット21は、検出対象の存在や当該検出対象までの距離を検出する距離計測部であり、回転する走査用ミラー53aによって光ビームを走査しつつ伝搬時間から距離を計測する。レーザーレーダーユニット(距離計測部)21は、投光系51と、受光系52と、回転反射部53と、駆動回路55と、外装部品56とを備える。これらのうち、投光系51と、受光系52と、回転反射部53とは、走査型の光学系59を構成している。
An example of the structure of the
投光系51は、後述する回転反射部53の走査用ミラー53aに対して光ビーム又は投光ビームの元になるレーザー光L1を射出する。投光系51は、赤外その他の波長域に設定されたレーザー光L1を発生する光源51aを有する。
The
受光系52は、外装部品56の光学窓56aを介して入射する検出対象OBからの反射光又は光ビームであって、回転反射部53の走査用ミラー53aで反射された戻り光L2を受光する。受光系52は、戻り光L2を検出するため、縦の副走査方向に関して例えば6つの画素を有する受光素子52aを有する。検出領域内に物体等の検出対象OBがあると、レーザーレーダーユニット21から射出されたレーザー光(投光ビーム)L1が検出対象OBで反射等され、検出対象OBで反射等された光の一部が戻り光(反射光)L2としてレーザーレーダーユニット21における走査用ミラー53aを介して受光系52に入射する。
The light-receiving
回転反射部53は、走査用ミラー53aと回転駆動部53bとを有する。走査用ミラー53aは、2回反射型のポリゴンミラーであり、光路折り曲げ用の第1反射部53iと第2反射部53jとを有する。第1及び第2反射部53i,53jは、z方向に平行に延びる回転軸RXに沿って上下にそれぞれ配置されている。第1及び第2反射部53i,53jは角錐状の形状を有している。第1及び第2反射部53i,53jの反射面の傾斜角は、走査用ミラー53aの回転位置(図示の例では90°単位で4方位を向く位置)に伴って徐々に変化するものになっている(第1及び第2反射部53i,53jの具体的な形状については、国際公開第2014/168137号参照)。
The
第1反射部53iの反射面は、紙面上で右方向である+y方向から入射したレーザー光(投光ビーム)L1を略直交する方向に反射し、紙面上で上方向である+z方向の第2反射部53jの鏡面に導く。第2反射部53jの鏡面は、紙面上で下方向から入射したレーザー光L1を略直交する方向に反射し、紙面上で右方向の検出対象OB側へ導く。検出対象OBで反射された一部の戻り光(反射光)L2は、レーザー光L1の経路と逆の経路をたどり、受光系52で検出される。つまり、走査用ミラー53aは、検出対象OBで反射された戻り光L2を、第2反射部53jの鏡面で再度反射させ、第1反射部53iの鏡面に導く。続いて、戻り光L2を第1反射部53iの鏡面で再度反射させ、受光系52側へ導く。
The reflecting surface of the first reflecting
走査用ミラー53aが回転すると、縦のz軸方向に直交する平面(つまり、xy面)内において、レーザー光L1の進行方向が変化する。つまり、レーザー光L1は、走査用ミラー53aの回転に伴って、z軸のまわりに走査される。レーザー光L1によって走査される角度領域が検出領域となる。投光用のレーザー光L1の進行方向において+z軸方向に関する開き角が投光角度であり、走査開始点でのレーザー光L1の進行方向と走査終了点でのレーザー光L1の進行方向とのxy面内でのなす角度が照射角度である。このような投光角度と照射角度とによって検出領域に対応する投光視野が形成される。なお、投光視野は、走査用ミラー53aの90°単位の回転位置に応じて上下方向に関して4段階で変化するので、全体としての投光視野は、単一の走査で達成される投光視野に対して上下方向に4倍の広がりを有するものとなっている。
When the scanning mirror 53a rotates, the traveling direction of the laser light L1 changes within a plane perpendicular to the vertical z-axis direction (that is, the xy plane). That is, the laser beam L1 is scanned around the z-axis as the
駆動回路55は、投光系51の光源51a、受光系52の受光素子52a、回転反射部53の回転駆動部53b等の動作を制御する。また、駆動回路55は、受光系52の受光素子52aに入射した戻り光L2の変換によって得た電気信号から検出対象OBの物体情報を得る。具体的には、受光素子52aにおける出力信号が所定の閾値以上である場合、駆動回路55において、受光素子52aが検出対象OBからの戻り光L2を受光したと判断される。この場合、光源51aでの発光タイミングと受光素子52aでの受光タイミングとの差から、検出対象OBまでの距離が求められる。また、受光素子52aへの戻り光L2の副走査方向に関する受光位置及び走査用ミラー53aの主走査方向に相当する回転角に基づいて、検出対象OBの主走査方向及び副走査方向に関する方位情報を求めることができる。
The
外装部品56は、レーザーレーダーユニット21の内蔵部品を覆い、保護するためのものである。
The
図1に戻って、支持部23は、レーザーレーダーユニット21を支持するだけでなく、制御装置80の制御下でレーザーレーダーユニット21の向き又は姿勢を調整する機能を有する。なお、支持部23は、支持部23等を含む全体が傾斜した場合に、制御装置80の制御下でレーザーレーダーユニット21の姿勢を調整し、レーザーレーダーユニット21を傾斜前の状態に維持するようなものであってもよい。
Returning to FIG. 1, the
制御装置80は、オペレーターとのインターフェースである入出力部81と、プログラムに基づいてデータ等に対する演算処理、外部装置の制御等を行う演算処理部82と、外部からのデータ、演算処理結果等を保管する記憶部83と、外部装置と通信するための通信部84とを備える。
The
入出力部81は、オペレーターからの指示を取り込む操作部81aと、演算処理部82による処理結果をオペレーターに提示するディスプレイ81bとを有する。操作部81aは、キーボード、マウス等を有し、制御装置80で実行されるプログラムの進行状態をオペレーターの意思を反映したものにすることができる。操作部81aは、例えばオペレーターが計測中のエリア又は領域から監視領域を指定する操作を受け付ける。操作部81aは、ディスプレイ81bに付随するタッチパネルのようなものであってもよい。ディスプレイ81bは、2次元的表示又は3次元的表示を可能にするLCD等の表示デバイスであるが、3次元視又は立体視を可能にするヘッドマウントディスプレイであってもよい。
The input/
演算処理部82は、CPU(Central Processing Unit)等の演算部、インターフェース回路等の付属回路を有しており、距離計測、検出点の表示、監視領域の設定・表示、クラスタリング、対象抽出、ノイズ除去処理、警報処理等の各種工程を含む物体検出プログラムを実行する。
The
具体的には、演算処理部82は、物体検知部として、距離計測部であるレーザーレーダーユニット21によって得た距離情報から物体を検知する。また、演算処理部82は、表示処理部として、ディスプレイ81bに検知した物体又は検出対象OBの3次元的な表示又は2次元的な表示を行わせる。つまり、演算処理部82は、距離計測によって得られた検出点をディスプレイ81bにおいて3次元的に表示させたり2次元的に表示させたりすることができる。演算処理部82は、領域設定部として、操作部81a及びディスプレイ81bを介してオペレーターからの指示を受け付けることによって、計測エリア又は計測領域のうち、レーザーレーダーユニット21による監視処理の対象となる監視領域を設定する。また、演算処理部82は、領域設定部として、操作部81a及びディスプレイ81bを介してオペレーターからの指示を受け付けることによって、監視領域の輪郭を拡張、縮小等によって変更する。演算処理部82は、監視領域の輪郭形状を任意形状として受け付けることができる。これにより、ユーザーは、演算処理部82を介して3次元的な監視領域を目的や環境に応じて自在に設定することができる。また、演算処理部82は、監視領域の配置及び個数を調整することができる。また、演算処理部82は、監視領域が複数設定されている場合に、当該複数の監視領域を組み合わせて1つの監視領域とできる。また、演算処理部82は、監視部として、演算処理部(物体検知部)82が監視領域内で動体を検知した場合に動体の存在を記録又は発報する。これにより、監視領域に進入した動体を記録し或いは通報することができる。演算処理部82が動体を検知することにより、監視領域において動体の3次元的な挙動を把握することができる。
Specifically, the
図3Aは、監視領域の設定及び表示を説明する図である。計測エリアには、レーザーレーダーユニット21の一回の計測動作(全領域の操作)によって得た検出点(不図示)が含まれる。検出点を与える計測データは、元々極座標の計測データであるが、XYZの直交座標系に変換される。図示の例では、直交座標系で表現された計測エリア中に2つの監視領域SA1,SA2が設定されている。監視領域SA1,SA2を設定することで、必要な領域に注力した効率的な監視が可能になる。監視領域SA1を所定の基準面であるXY面に投影した枠状の投影像PI1は、監視領域SA1を平面視した輪郭に対応し、ディスプレイ81bに2次元的に表示される第1パターンの表示像に相当する。また、監視領域SA1を所定の基準面であるXZ面に投影した枠状の投影像PI2は、監視領域SA1を正面視した輪郭に対応し、ディスプレイ81bに2次元的に表示される第2パターンの表示像に相当する。これらの投影像PI1,PI2は、監視領域SA1をY軸及びZ軸に平行な方向から見た平行投影像となっている。
FIG. 3A is a diagram explaining setting and display of a monitoring area. The measurement area includes detection points (not shown) obtained by one measurement operation (manipulation of the entire area) of the
図3Bは、図3Aの視点EOから見た監視領域SA1の透視投影像を示し、ディスプレイ81bに表示される3次元的表示に相当する。この場合、ディスプレイが平面的な表示を行うものであっても、検知した物体や監視領域の形状や配置を3次元的なものとして把握することが容易になる。図からも明らかなように、監視領域SA1は、遠方に向かって縮小する投影像PI3として表示されている。
FIG. 3B shows a perspective projection image of the monitoring area SA1 viewed from the viewpoint EO in FIG. 3A, and corresponds to a three-dimensional display displayed on the
図1に戻って、記憶部83は、物体検出プログラムやその実行に必要な諸データを記憶する。また、記憶部83には、演算処理部82が監視領域内に警報対象が存在すると判定した場合に、警報対象の状態、時刻等の諸情報が記録される。さらに、記憶部83は、物体検出プログラムによって抽出した対象に関するデータを逐次記録して、演算処理部82による対象の移動状態の監視を可能にする。
Returning to FIG. 1, the
通信部84は、演算処理部82とレーザーレーダーユニット21又は支持部23との通信を可能にし、演算処理部82がレーザーレーダーユニット21等からのデータを取り込むことを可能にするとともに、演算処理部82からの指令をレーザーレーダーユニット21に送信することを可能にする。
The
以下、図4及び図5を参照して、図1に示す物体検出システム100を用いた物体検出方法又は物体検出プログラムの実行について説明する。 Execution of an object detection method or an object detection program using the object detection system 100 shown in FIG. 1 will be described below with reference to FIGS.
まず、制御装置80の演算処理部82は、レーザーレーダーユニット21を動作させて距離情報等を含む計測データの取り込みを開始する(ステップS11)。レーザーレーダーユニット21からは、極座標の計測データ(r,θ,φ)又は計測データ(r,θ,φ)の元となるデータが出力され、演算処理部82は、極座標の計測データ(r,θ,φ)等を直交座標系の計測データ(X,Y,Z)に変換し、結果を記憶部83に保管する。具体的には、極座標から直交座標系への変換は、公知の関係
X=r・sinθ×cosφ
Y=r・sinθ×sinφ
Z=r・cosθ
を用いて実行される。ここで、検出された対象までの距離をr、極角をθ、方位角をφとしている。この際、レーザーレーダーユニット21の姿勢の傾きを補償するような座標変換も可能である。First, the
Y=r·sin θ×sin φ
Z=r·cos θ
is executed using Here, r is the distance to the detected object, θ is the polar angle, and φ is the azimuth angle. At this time, it is also possible to perform coordinate conversion that compensates for the inclination of the attitude of the
次に、演算処理部82は、レーザーレーダーユニット21から受け取った距離情報等を含む計測データに基づいて物体を検知した検出点をディスプレイ81bに表示させる(ステップS12)。この際、演算処理部82は、距離計測によって得られた検出点の群をディスプレイ81bにおいて3次元的に表示させることができる。この際、視点等からの距離に応じて検出点を着色表示することができる。3次元的に表示される検出点は、後述するようなクラスタリング、ノイズ除去等の処理がなされたものであってもよい。なお、ディスプレイ81bに表示させる検出点は、3次元的な表示に限らず、2次元的な表示とすることができる。
Next, the
ここで、3次元的表示について説明する。本実施形態では、3次元的表示のため中心投影の手法を利用し、3次元的に配置された多数の検出点を2次元平面に投影する演算処理を行う。直交座標系において、視点のベクトルをVEとし、視心のベクトルをVOとし、視心を基準とする視点の配置を考えた場合に、方位角をα、仰角をβとして、視点基準の座標PP(a,b,c)は、原点の平行移動及びZ軸及びY座標軸の周りの座標軸の回転ととらえることができ、以下の関係式
で与えられる。視点基準の座標PP(a,b,c)のうち、視線に直交する面に平行投影した座標値b,cから距離による縮小を計算した座標DP1(b/(-a),c/(-a))が中心投影の座標となる。この中心投影座標DP1(b/(-a),c/(-a))をディスプレイ81bの画面に適合させる縮小又は拡大、量子化等の画像処理を行うことで、検出点の中心投影表示すなわち3次元的表示が可能になる。なお、距離による縮小を計算しない座標DP2(b,c)は、平行投影の座標であり、これを用いることで任意の視点に対応する2次元的表示が可能になる。Three-dimensional display will now be described. In this embodiment, a central projection method is used for three-dimensional display, and arithmetic processing is performed to project a large number of three-dimensionally arranged detection points onto a two-dimensional plane. In an orthogonal coordinate system, let VE be the vector of the viewpoint, and VO be the vector of the center of sight. Coordinates PP(a, b, c) can be regarded as translation of the origin and rotation of the coordinate axes around the Z and Y coordinate axes, and the following relational expression
is given by Coordinates DP1(b/(-a), c/(- a)) are the coordinates of the central projection. By performing image processing such as reduction or enlargement, quantization, etc. to match the central projection coordinates DP1 (b/(-a), c/(-a)) to the screen of the
次に、演算処理部82は、監視領域が設定されている状態である否かを記憶部83を参照して確認し(ステップS13)、監視領域が設定されている場合(ステップS13でY)、監視領域を変更する処理要求があれば(ステップS14でY)、監視領域の設定処理を行う(ステップS15)。
Next, the
図6を参照して、監視領域の設定処理を説明する。まず、演算処理部82は、入出力部81を利用してオペレーターに監視領域について設定の要否及び設定の方法の選択を要求し、オペレーターの選択を受け付ける(ステップS51)。この際、演算処理部82は、入出力部81を構成する操作部81a及びディスプレイ81bを利用して、GUI(Graphical User Interface)による入力受付を行う。監視領域の設定方法として、例えば、(1)予め準備された基本形状を当てはめる方法と、(2)実際の計測結果を利用して建造物等の障害物の表面から境界面を得る方法と、(3)オペレーターが基準点や基準面を入力することで境界面を直接入力する方法とが考えられる。予め準備された基本形状としては、例えば直方体、円柱、球等があり、基本図形の姿勢やサイズを変化させることができ、複数の図形を組み合わせることも可能となっている。実際の計測結果を利用する場合、静的な検出点から障害物の表面を想定し、障害物の表面から所定距離の位置に延びる近似的な面を算出することで、監視領域の外縁を画定することができる。オペレーターが基準点や基準面を入力する場合、直接座標点を入力することもできるが、静的な検出点や予め準備した基準点をディスプレイ81bに表示させることで入力を支援することができる。以上の方法(1)~(3)は単独で用いるのではなく、組み合わせて用いることができる。
The monitoring area setting process will be described with reference to FIG. First, the
次に、演算処理部82は、入出力部81を利用してオペレーターに監視領域の表示方法の選択を要求し、オペレーターの選択を受け付ける(ステップS52)。監視領域の表示方法としては、既述のように3次元的表示や2次元的表示であり、3次元的表示の場合、視点に対応するカメラ画像を重畳表示又は並列表示させることもできる。さらに、オペレーターは、入出力部81を利用して3次元的表示や2次元的表示の視点をシフト又は切り換えることができる。ディスプレイ81bに3次元的表示を行わせた状態で監視領域を設定する場合、監視領域を3次元的に観察することになり、監視領域の空間的な配置を把握し易いので、監視領域の設定操作が容易になり、意図する監視領域を迅速に設定できる。ディスプレイ81bに2次元的表示を行わせた状態で監視領域を設定する場合、監視領域を少ない歪みで各基準面に投影することになり、監視領域の配置の把握が比較的正確になる。
Next, the
次に、演算処理部82は、入出力部81を利用してオペレーターの意図する監視領域の設定を受け付け(ステップS53)、設定された監視領域を記憶部83に保管する。オペレーターは、例えば(1)ディスプレイ81bの検出点を表示する計測エリア外に設けたツール領域からいずれかの1つ以上の基本形状を選択し、(2)ディスプレイ81bの計測エリア内に追加表示された監視領域の外縁候補を選択し、或いは(3)点や面を描画するツールを選択することで計測エリア内に監視領域を設定することができる。このように様々な手法で設定された監視領域は、計測エリア内に検出点とともに表示される。この際、演算処理部82は、オペレーターが監視領域の位置を移動させたり、サイズを増減させたりすることを許容する。以上において、領域設定部としての演算処理部82は、複数の監視領域が設定されることを許容する。このように複数の監視領域が設定された場合、演算処理部82は、当該複数の監視領域を組み合わせて1つの監視領域とできる。なお、監視領域を構成する部分領域は、隣接していても、離れていてもよく、複数の部分領域を1つの監視領域として一括して処理することができる。
Next, using the input/
図7A及び7Bは、ディスプレイ81bに3次元的表示がなされている具体例を示し、計測エリア内に検出点とともに横長の直方体枠状の監視領域が表示されていることが分かる。なお、図7Aは、監視領域を正面から観察する視点となっており、図7Bは、監視領域を上面から観察する視点となっている。なお、図7A及び7Bの表示は、ディスプレイ81b上に単独で行われるだけでなく、ディスプレイ81b上に並列させる場合を含む。
7A and 7B show a specific example in which a three-dimensional display is made on the
図7C及び7Dは、ディスプレイ81bに2次元的表示がなされている具体例を示し、計測エリア内に検出点とともに横長の矩形の監視領域が表示されていることが分かる。なお、図7Cは、監視領域を正面から観察する視点となっており、図7Dは、監視領域を上面から観察する視点となっている。なお、図7C及び7Dの表示は、ディスプレイ81b上に単独で行われるだけでなく、ディスプレイ81b上に並列させる場合を含む。
7C and 7D show a specific example of two-dimensional display on the
以上において、3次元的表示で監視領域を一旦設定した場合、オペレーターの要求でディスプレイ81bによる表示を3次元的表示から2次元的表示に切り換えても、既定の監視領域が承継される。つまり、演算処理部82は、表示の切り換え前後で監視領域の設定を維持し、既定の監視領域の3次元的表示を対応する2次元的表示に切り換える処理を行う。以上とは逆に、2次元的表示で監視領域を一旦設定した場合、オペレーターの要求で2次元的表示から3次元的表示に切り換えても、既定の監視領域が承継される。
In the above, once the monitoring area is set in three-dimensional display, even if the display on the
なお、以上の説明では3次元的表示と2次元的表示とを切り換えて行うとしているが、ディスプレイ81bに3次元的表示と2次元的表示とを並べて表示することもできる。
In the above description, the three-dimensional display and the two-dimensional display are switched, but the three-dimensional display and the two-dimensional display can be displayed side by side on the
次に、演算処理部82は、入出力部81を利用してオペレーターが監視領域の補正を希望するか否かを確認する(ステップS54)。
Next, the
オペレーターが監視領域の補正を希望する場合、演算処理部82は、入出力部81を利用してオペレーターに監視領域の表示方法の選択を要求し、オペレーターの選択を受け付ける(ステップS55)。
When the operator wishes to correct the monitored area, the
次に、演算処理部82は、入出力部81を利用してオペレーターが希望する監視領域の補正を受け付け(ステップS56)、補正された監視領域を記憶部83に保管する。監視領域の補正は、ステップS53で設定された監視領域を部分的に削除すること、ステップS53で設定された監視領域に追加領域を付加する拡張を行うこと等を含み、監視領域全体を削除することや別の箇所に新たな監視領域を追加することを含む。
Next, using the input/
その後、演算処理部82は、設定又は補正した監視領域の表示方法を設定する(ステップS57)。すなわち、演算処理部82は、ステップS53で設定された監視領域、又はステップS56で補正された監視領域をディスプレイ81bに表示する際の、線の太さ、線の色、破線及び実線といった線種の別等に関する情報について、オペレーターが入出力部81を利用して入力・設定できるようにし、その結果を記憶部83に保管する。
After that, the
図4に戻って、演算処理部82は、監視領域の設定後、ディスプレイ81bを設定に応じた表示モードで動作させる(ステップS16)。つまり、ステップS12で検出点の群をディスプレイ81bにおいて例えば所定の視点で3次元的に表示させていた場合、同様に検出点の群をディスプレイ81bにおいて所定の視点で3次元的に表示させるとともに、ステップS15で設定された監視領域の枠を重畳表示させる。
Returning to FIG. 4, after setting the monitoring area, the
次に、演算処理部82は、最新の計測データからクラスタリングを行って(ステップS17)、結果を記憶部83に保管する。クラスタリングは、隣接する計測点を繋ぐこと等によって検出点を部分集合化し、対象のサイズや輪郭的な情報を得るための処理である。クラスタリングは、極座標の計測データ(r,θ,φ)又は直交座標系の計測データ(X,Y,Z)に対して行うことができる。以上のクラスタリングには、得られた複数のクラスタの連結等の処理を追加することができる。例えばクラスタの周囲に1~数画素又はこれに相当する距離の領域拡張を行い、得られたクラスタの周囲を対応する画素数又は距離だけ狭めることで、近接するクラスタを連結することができる。
Next, the
次に、演算処理部82は、ステップS17のクラスタリングによって得た各クラスタについて各種演算処理を行って、各クラスタの位置及びサイズを決定する(ステップS18)。クラスタの位置の決定には、例えばクラスタを構成する検出点又は画素点の平均位置又は重心を利用することができる。また、クラスタのサイズの決定には、例えばクラスタを構成する検出点又は画素点の外縁をつなぐ領域内の体積、XY面に投影した面積、XZ面に投影した面積等を用いることができる。
Next, the
その後、演算処理部82は、ステップS18で得た付加情報を有する各クラスタからサイズを考慮して、サイズの小さなものを除去するノイズ判定を行って、着目に値する対象を選別する(ステップS19)。つまり、演算処理部82は、ノイズレベルよりも大きなクラスタを前方物体と判断し、このように抽出した対象をラベリングして記憶部83に保管する。
After that, the
次に、演算処理部82は、ステップS18で得たクラスタから、ステップS15で設定した監視領域内に存在するものを抽出し(ステップS21)、結果を記憶部83に保管する。
Next, from the clusters obtained in step S18, the
次に、演算処理部82は、監視領域内として抽出されたクラスタについてトラッキングを行う(ステップS22)。具体的には、演算処理部82は、抽出されたクラスタに対してその周囲にマークを付したり四角柱状の枠を付したりしてディスプレイ81bに表示させる。この際、抽出されたクラスタの移動を軌跡として捉えることも可能である。この場合、抽出したクラスタの同一性を形状やサイズから判定する。以上のトラッキングでは、監視領域内として抽出されたクラスタを構成する検出点だけでなく、監視領域外で得られたノイズレベルよりも大きなクラスタを構成する検出点をディスプレイ81bに表示させることができる。監視領域外のクラスタとして、車両、建造物等が表示されるが、これらのクラスタを構成する検出点をディスプレイ81bに3次元的に表示させておけば、監視領域内外のクラスタ又は対象の識別が容易になる。
Next, the
次に、演算処理部82は、ステップS22でトラッキングした着目対象が警報対象であるか否かを判断する(ステップS23)。例えば人物や自動車を監視している場合、これらの対象とはクラスタのサイズが異なる場合、着目対象が警報対象でないと判断される。また、クラスタの軌跡や移動速度も警報対象であるか否かの判断に利用することができる。
Next, the
演算処理部82は、警報対象が存在すると判定した場合(ステップS23でY)、警報処理及び記録処理を行う(ステップS24)。警報処理として、演算処理部82は、ディスプレイ81bやスピーカー(不図示)を利用して、オペレーターに対して警報対象が監視領域内に出現したことを知らせる。また、演算処理部82は、通信部84を介して外部システムに対して警報対象が監視領域内に出現したことを知らせる。記録処理として、演算処理部82は、警報対象に対応するクラスタが監視領域内に出現した時間、クラスタのサイズや形状といった特徴を記憶部83に保管する。
If the
演算処理部82は、警報対象が存在すると否とに関わらず、処理終了の指示が無ければ(ステップS25でN)、ステップS13に戻って処理を繰り返す。
If there is no instruction to end processing (N in step S25), the
監視領域が設定されていない場合(ステップS13でN)、演算処理部82は、オペレーターから設定開始の処理要求を受け付け(ステップS34)、監視領域設定開始の処理要求がない場合(ステップS34でN)、演算処理部82は、ステップS16での処理と同様に、ディスプレイ81bを設定に応じた表示モードで動作させる(ステップS36)。
If the monitoring area has not been set (N in step S13), the
その後、監視領域がないままで、ステップS17~S19での処理と同様に、演算処理部82は、最新の計測データからクラスタリングを行い(ステップS37)、得られた各クラスタの位置及びサイズを決定し(ステップS38)、サイズの小さなクラスタを除去するノイズ判定を行う(ステップS39)。
After that, while there is no monitoring area, the
以上で説明した実施形態の物体検出システム100によれば、領域設定部としての演算処理部82が、ディスプレイ81bを利用した入出力部81の操作を受け付けることによって演算処理部(物体検知部)82による監視処理の対象となる監視領域を設定するので、ユーザーは、3次元的な表示に基づいて監視領域を設定する操作を行うことになり、監視領域の設定や把握が容易になる。
According to the object detection system 100 of the embodiment described above, the arithmetic processing unit (object detection unit) 82 receives an operation of the input/
以上、実施形態に即して本発明を説明したが、本発明は、上記実施形態等に限定されるものではない。例えば、レーザーレーダーユニット21の構造や個数は単なる例示であり、様々な構造の距離計測部を用いることができる。
Although the present invention has been described with reference to the embodiments, the present invention is not limited to the above-described embodiments. For example, the structure and the number of
クラスタリングの手法は、上記のものに限らず、近傍範囲や近接範囲の設定、画素点のつなぎ方等に関して様々な手法を採用することができる。 The clustering method is not limited to the one described above, and various methods can be adopted for setting the neighborhood range and the proximity range, how to connect pixel points, and the like.
以上で説明した例では、監視領域の設定に際して、ディスプレイ81bに計測エリア内の検出点を表示させているが、リアルタイムの際の検出点に代えて、過去に計測された検出点、現地空間のCADデータ等に基づくものを表示させることもできる。
In the example described above, the detection points within the measurement area are displayed on the
Claims (8)
前記距離計測部によって得た距離情報から物体を検知する物体検知部と、
ディスプレイを含む入出力部と、
前記ディスプレイに前記物体検知部によって検知した物体の3次元的な表示として検出点の群の表示を行わせる表示処理部と、
前記ディスプレイにおいて検出点を表示する計測エリアを表示させつつ前記入出力部の操作を受け付けることによって、前記距離計測部によって計測されるエリアのうち、前記物体検知部による監視処理の対象となる監視領域を設定する領域設定部と
を備え、
前記監視領域内で計測データからクラスタリングを行い、得られたクラスタから前記監視領域内に存在するものを抽出する物体検出システム。 a distance measuring unit that detects the reflected light while scanning the light beam and measures the distance from the propagation time;
an object detection unit that detects an object from the distance information obtained by the distance measurement unit;
an input/output unit including a display;
a display processing unit that causes the display to display a group of detection points as a three-dimensional display of the object detected by the object detection unit;
A monitoring area to be monitored by the object detection unit out of the areas measured by the distance measurement unit by accepting an operation of the input/output unit while displaying a measurement area displaying a detection point on the display. and an area setting unit for setting
An object detection system that performs clustering from measurement data within the monitoring area and extracts objects existing within the monitoring area from the obtained clusters.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017216129 | 2017-11-09 | ||
| JP2017216129 | 2017-11-09 | ||
| PCT/JP2018/041334 WO2019093371A1 (en) | 2017-11-09 | 2018-11-07 | Object detecting system and object detecting program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2019093371A1 JPWO2019093371A1 (en) | 2020-12-03 |
| JP7244801B2 true JP7244801B2 (en) | 2023-03-23 |
Family
ID=66437832
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019552347A Active JP7244801B2 (en) | 2017-11-09 | 2018-11-07 | Object detection system and object detection program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7244801B2 (en) |
| WO (1) | WO2019093371A1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022162885A1 (en) * | 2021-01-29 | 2022-08-04 | 日本電気株式会社 | Area determination device, control method, computer-readable medium, monitoring system, and monitoring method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005277640A (en) | 2004-03-24 | 2005-10-06 | Matsushita Electric Ind Co Ltd | Image area setting apparatus and image area setting method |
| JP2007013814A (en) | 2005-07-01 | 2007-01-18 | Secom Co Ltd | Detection area setting device |
| JP2007249722A (en) | 2006-03-17 | 2007-09-27 | Hitachi Ltd | Object detection device |
| US20100194859A1 (en) | 2007-11-12 | 2010-08-05 | Stephan Heigl | Configuration module for a video surveillance system, surveillance system comprising the configuration module, method for configuring a video surveillance system, and computer program |
-
2018
- 2018-11-07 WO PCT/JP2018/041334 patent/WO2019093371A1/en not_active Ceased
- 2018-11-07 JP JP2019552347A patent/JP7244801B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005277640A (en) | 2004-03-24 | 2005-10-06 | Matsushita Electric Ind Co Ltd | Image area setting apparatus and image area setting method |
| JP2007013814A (en) | 2005-07-01 | 2007-01-18 | Secom Co Ltd | Detection area setting device |
| JP2007249722A (en) | 2006-03-17 | 2007-09-27 | Hitachi Ltd | Object detection device |
| US20100194859A1 (en) | 2007-11-12 | 2010-08-05 | Stephan Heigl | Configuration module for a video surveillance system, surveillance system comprising the configuration module, method for configuring a video surveillance system, and computer program |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019093371A1 (en) | 2019-05-16 |
| JPWO2019093371A1 (en) | 2020-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6236118B2 (en) | 3D data processing apparatus, 3D data processing system, 3D data processing method and program | |
| JP5615416B2 (en) | Automatic measurement of dimensional data by laser tracker | |
| JP5911934B2 (en) | Contour measurement device and robot system | |
| JP7194015B2 (en) | Sensor system and distance measurement method | |
| EP1903304B1 (en) | Position measuring system, position measuring method and position measuring program | |
| US9251624B2 (en) | Point cloud position data processing device, point cloud position data processing system, point cloud position data processing method, and point cloud position data processing program | |
| JP5593177B2 (en) | Point cloud position data processing device, point cloud position data processing method, point cloud position data processing system, and point cloud position data processing program | |
| JP4885584B2 (en) | Rangefinder calibration method and apparatus | |
| JP7064163B2 (en) | 3D information acquisition system | |
| JP2023134498A (en) | Machine vision system and method regarding steerable mirror | |
| JP2012088114A (en) | Optical information processing device, optical information processing method, optical information processing system and optical information processing program | |
| JP2010117211A (en) | Laser radar installation position verification apparatus, laser radar installation position verification method, and program for laser radar installation position verification apparatus | |
| JP6955203B2 (en) | Object detection system and object detection program | |
| US10890430B2 (en) | Augmented reality-based system with perimeter definition functionality | |
| JP2019144210A (en) | Object detection system | |
| JP5198078B2 (en) | Measuring device and measuring method | |
| JP7244801B2 (en) | Object detection system and object detection program | |
| JP7244802B2 (en) | Object detection system and object detection program | |
| EP4627519A1 (en) | Generating a parallax free two and a half (2.5) dimensional point cloud using a high resolution image | |
| JP6368503B2 (en) | Obstacle monitoring system and program | |
| US12159348B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| WO2020179382A1 (en) | Monitoring device and monitoring method | |
| WO2022244296A1 (en) | Information processing device, information processing method, program, and information processing system | |
| JP7392826B2 (en) | Data processing device, data processing system, and data processing method | |
| EP4246184A1 (en) | Software camera view lock allowing editing of drawing without any shift in the view |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210628 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220629 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220825 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221026 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230208 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230221 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7244801 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |