JP7089926B2 - Control system - Google Patents
Control system Download PDFInfo
- Publication number
- JP7089926B2 JP7089926B2 JP2018070285A JP2018070285A JP7089926B2 JP 7089926 B2 JP7089926 B2 JP 7089926B2 JP 2018070285 A JP2018070285 A JP 2018070285A JP 2018070285 A JP2018070285 A JP 2018070285A JP 7089926 B2 JP7089926 B2 JP 7089926B2
- Authority
- JP
- Japan
- Prior art keywords
- space
- abnormality
- moving body
- visible
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
Description
本発明は、監視エリアをカメラにより監視する警備員、ドローン、飛行船などの複数の移動体の中から、発生した異常を撮影することができる移動体を検索する管制装置に関する。 The present invention relates to a control device that searches for a moving object capable of photographing an abnormality that has occurred from a plurality of moving objects such as security guards, drones, and airships that monitor a monitoring area with a camera.
近年、顧客の物件における火災や不正侵入などの異常を検知した際、当該異常の発生位置(異常が検知された位置)に警備員を効率よく急行させるための警備システムが利用されている。例えば、特許文献1には、警備員や警備車両などの移動体の位置を定期的に検出し、異常を検知したとき当該異常の発生位置に最も近い移動体を迅速に選定する警備システムが開示されている。
In recent years, when an abnormality such as a fire or an unauthorized intrusion is detected in a customer's property, a security system for efficiently rushing a security guard to the position where the abnormality occurs (the position where the abnormality is detected) has been used. For example,
ところで、最近では、発生した異常を確認させる移動体として、警備員などの人間に限らず、カメラを搭載した無人の飛行船やドローン(自律飛行ロボット)などといった人間以外のロボットを利用する警備運用が行われつつある。このように活動高度帯の異なる複数種類の移動体を利用して異常の確認を行わせることを想定した場合、従来技術のように異常の発生位置に最も近い移動体を選定したとしても、当該選定された移動体が必ずしも適切に異常の確認ができるとは限らない。例えば、選定された移動体の移動先のいずれの位置においても障害物の死角となり、確実に異常を撮影することができない場合も想定され得る。 By the way, recently, security operations using not only humans such as security guards but also non-human robots such as unmanned airships equipped with cameras and drones (autonomous flying robots) have been used as moving objects to confirm the abnormalities that have occurred. It's being done. Assuming that anomalies are confirmed using multiple types of moving objects with different activity altitude zones, even if the moving object closest to the location where the abnormality occurs is selected as in the conventional technique, the relevant moving object is applicable. It is not always possible to properly confirm the abnormality of the selected moving object. For example, it may be assumed that an obstacle cannot be reliably photographed because it becomes a blind spot of an obstacle at any position of the movement destination of the selected moving object.
そこで本発明は、異常の発生位置を確実に撮影できる移動体を検索することにより、発生した異常の状態を確実に確認できるようにすることを目的とする。 Therefore, an object of the present invention is to make it possible to reliably confirm the state of an abnormality that has occurred by searching for a moving body that can reliably photograph the position where the abnormality has occurred.
上記した目的を達成するために、監視エリアにて発生した異常の位置である現発生位置が入力されて、撮影部を備えた一又は複数の移動体の中から少なくとも前記現発生位置を撮影可能な撮影可能移動体を検索する管制装置であって、前記監視エリアを3次元の仮想空間として表現した空間モデル、及び前記移動体ごとに活動可能な高度範囲を示す活動高度帯を予め記憶した記憶部と、前記現発生位置と前記空間モデルとから前記現発生位置を見通すことができる空間を示す可視空間を算出する可視空間算出手段と、少なくとも前記可視空間内の前記活動高度帯を候補空間として検出する候補空間検出手段と、前記候補空間が存在する移動体を前記撮影可能移動体として検索する検索手段と、を備える管制装置を提供する。 In order to achieve the above-mentioned object, the current occurrence position, which is the position of the abnormality generated in the monitoring area, is input, and at least the current occurrence position can be photographed from one or more moving objects equipped with a photographing unit. It is a control device that searches for a moving object that can be photographed, and has a spatial model that expresses the monitoring area as a three-dimensional virtual space, and a memory that stores in advance an activity altitude zone that indicates an active altitude range for each moving object. A visible space calculation means for calculating a visible space indicating a space in which the current generation position can be seen from the current generation position and the space model, and at least the activity altitude zone in the visible space as a candidate space. Provided is a control device including a candidate space detecting means for detecting and a searching means for searching a moving body in which the candidate space exists as the photographable moving body.
また、本発明の好ましい態様として、前記記憶部は、前記移動体ごとに前記撮影部が撮影可能な角度の範囲である撮影方向を更に記憶し、前記検索手段は、前記撮影方向を用いて、前記候補空間内の各位置から前記現発生位置を撮影可能か否かを判定し、当該判定結果に基づいて前記撮影可能移動体を検索するものとする。 Further, as a preferred embodiment of the present invention, the storage unit further stores the imaging direction, which is a range of angles that the imaging unit can photograph for each moving object, and the search means uses the imaging direction. It is determined from each position in the candidate space whether or not the current generation position can be photographed, and the photographable moving body is searched based on the determination result.
また、本発明の好ましい態様として、前記記憶部は、異常の種別ごとに当該種別の異常が発生した位置が撮影されるべき方向を示す被撮影方向を記憶し、前記可視空間算出手段は、前記現発生位置、前記現発生位置にて発生した異常の種別に対応する前記被撮影方向、及び前記空間モデルを用いて前記可視空間を算出するものとする。 Further, as a preferred embodiment of the present invention, the storage unit stores the imaged direction indicating the direction in which the position where the abnormality of the type occurs should be imaged for each type of abnormality, and the visible space calculation means is described. The visible space shall be calculated using the current occurrence position, the imaged direction corresponding to the type of abnormality generated at the current occurrence position, and the space model.
また、本発明の好ましい態様として、前記可視空間算出手段は、前記可視空間を前記撮影部の画素数及び画角を用いて算出するものとする。 Further, as a preferred embodiment of the present invention, the visible space calculation means shall calculate the visible space using the number of pixels and the angle of view of the photographing unit.
また、本発明の好ましい態様として、前記可視空間算出手段は、前記現発生位置にて発生した異常の被害の大きさに基づいて前記可視空間を算出するものとする。 Further, as a preferred embodiment of the present invention, the visible space calculation means shall calculate the visible space based on the magnitude of damage caused by the abnormality generated at the current occurrence position.
また、本発明の好ましい態様として、前記検索手段は、更に、前記空間モデルにおける前記現発生位置を含む近傍領域内に複数の代表点を設定し、前記空間モデルと前記撮影方向とを用いて前記候補空間の各位置から前記現発生位置及び前記代表点のそれぞれを撮影可能か否かを判定し、当該判定結果に基づいて前記移動体の中から前記近傍領域を撮影可能な移動体を前記撮影可能移動体として検索するものとする。 Further, as a preferred embodiment of the present invention, the search means further sets a plurality of representative points in a neighborhood region including the current occurrence position in the spatial model, and uses the spatial model and the photographing direction to describe the above. It is determined from each position in the candidate space whether or not each of the current generation position and the representative point can be photographed, and based on the determination result, the moving body capable of photographing the vicinity region from the moving body is photographed. It shall be searched as a possible moving object.
上記のように、本発明によれば、異常の発生位置を確実に撮影できる移動体を検索することができ、発生した異常の状態を確実に確認できる。 As described above, according to the present invention, it is possible to search for a moving body capable of reliably photographing the position where the abnormality has occurred, and it is possible to reliably confirm the state of the occurrence of the abnormality.
以下、本発明を適用した管制システム5の概略構成を示した図1を参照し、本発明の実施形態の構成を説明する。管制システム5は、屋外の所定範囲の空間(以下、「監視エリア」という)にて発生した異常を検知する警備装置2と、異常の発生位置に急行して発生位置を撮影することで異常の状態を確認するための飛行船3a、ドローン3b、警備員3cなどの移動体3と、インターネットや公衆電話回線などの通信網4を介して各移動体3及び警備装置2と接続される管制装置1とにより構成される。
Hereinafter, the configuration of the embodiment of the present invention will be described with reference to FIG. 1, which shows the schematic configuration of the control system 5 to which the present invention is applied. The control system 5 has a
移動体3は、図示しない撮影部を備え、監視エリアにて発生した異常を撮影するよう移動する。撮影部は、CCD素子やC-MOS素子等の撮像素子、光学系部品等を含んで構成されるいわゆるカメラである。撮影部は、移動体3がドローン3bや飛行船3aならばこれらの本体部分に設置される固定カメラであり、移動体3が警備員3cならば胸部や頭部等に装備されるウェアブルカメラである。また、移動体3は、無線LANやLTE(Long Term Evolution)等の無線通信などによって、通信網4を介して管制装置1と情報伝達可能に接続される。また、移動体3は、汎地球測位衛星システム(GNSS:Global Navigation Satellite System)における航法衛星からの信号や、複数のビーコン等の電波発信機からの受信電波強度などに基づいて自らの現在位置を推定し、当該現在位置を自らの識別子に対応付けて管制装置1に送信する。
The moving body 3 includes a photographing unit (not shown) and moves so as to photograph an abnormality that has occurred in the monitoring area. The photographing unit is a so-called camera including an image pickup element such as a CCD element and a C-MOS element, an optical system component, and the like. The shooting unit is a fixed camera installed on the main body of the moving body 3 if it is a
警備装置2は、監視エリア内の一又は複数の警備対象物件に設置されたいわゆる警備コントローラであり、警備対象物件に設置された図示しないセンサや監視カメラなどが異常を検出した際、これらのセンサや監視カメラなどから検出信号を受信する。警備装置2は、受信した検出信号に基づいて異常の種別(侵入、火災など)と異常の発生位置(異常が検出された位置)などを通信網4を介して管制装置1に通報する。なお、本発明における「現発生位置」は当該異常の発生位置に相当する。
The
管制装置1は、遠隔地にある警備センタに設置されるいわゆるコンピュータであり、通信網4を介して警備装置2からの通報に基づいて、監視エリア内を監視する複数の移動体3の中から、発生位置を撮影させるための移動体3を検索する。特に、本発明の管制装置1は、複数の移動体3の中から、移動体3が備える撮影部により発生位置を適切に撮影可能な移動体3を検索することを特徴としており、当該特徴により、適切かつ迅速に異常の状態を確認することが可能となる。管制装置1は、検索した結果得られた移動体3に対して、発生位置を撮影するよう通信網4を介して指示する。
The
図2に管制装置1のブロック図を示す。図2に示すように、管制装置1は、記憶部11、制御部12、表示部13、入力部14及び通信部15を含んで概略構成される。表示部13は、ディスプレイ等の情報表示デバイスである。管制装置1を利用する管制員は、表示部13に表示出力された検索結果、すなわち発生位置を適切に撮影可能な移動体3を確認する。入力部14は、キーボードやマウス、タッチパネル、可搬記憶媒体の読み取り装置等の情報入力デバイスである。管制装置1の管理者は、入力部14を用いて、例えば、後述する空間モデル111の3次元形状データなどを記憶部11に記憶させたり、様々な設定情報を設定することができる。また、管制員は、入力部14を用いて、表示部13に表示出力された検索結果に基づいて、移動体3に対して異常の状態を確認するよう指示するための入力を行う。通信部15は、通信網4を介して移動体3や警備装置2と通信するための通信インタフェースである。
FIG. 2 shows a block diagram of the
記憶部11は、ROM、RAM、HDD等の情報記憶装置である。記憶部11は、各種プログラムや各種データを記憶し、制御部12との間でこれらの情報を入出力する。各種データには、空間モデル111、移動体情報112、異常情報113、その他、制御部12の処理に使用される各種情報(例えば、後述する被撮影方向マスタテーブル、接近禁止距離マスタテーブル、候補空間情報等)を記憶している。
The
空間モデル111は、監視エリアに存在する現実世界の建造物・地面・樹木等の物体(障害物)をモデル化することにより作成された3次元形状データを含む3次元の仮想空間を表した座標情報である。本実施形態では、空間モデル111における3次元形状データは、監視エリアの形状情報に基づいて3次元CADにより作成する。しかし、これに限らず3次元レーザースキャナー等により監視エリアの3次元形状を取り込んだデータを利用してもよいし、航空機からステレオ撮影やレーザ測距を行うことによって作成された高さ情報も含む立体形状をポリゴンデータによって表したデータであってもよい。このようにして作成された空間モデル111は、管理者により入力部14から設定登録されることにより記憶部11に記憶される。図3は、本実施形態で利用する空間モデル111について、3次元の仮想空間を表す座標系(以下、「モデル座標系」という)において3次元形状として表現したものである。
The
移動体情報112は、監視エリアを監視する各移動体3に関する情報である。移動体情報112は、図4に示したように、移動体3の識別子である移動体IDと、移動体種別(例えば、警備員、警備車両、ドローン、飛行船、走行ロボットなど)と、各移動体3から通信網4を介して受信した現在位置と、移動体3の活動高度帯と、移動体3が備える撮影部に関する撮影情報とを対応付けたテーブル情報である。
The
活動高度帯は、監視エリアにおいて各移動体3が監視活動を行うことが認められた高度範囲を表す情報であり、移動体3の活動に伴う安全性、プライバシー保護、サービス利用者の要望、行政機関における空域規制等の様々な条件を考慮して管理者により設定される。本実施形態では、移動体3毎に活動が認められた高度範囲を、モデル座標系における3次元の幾何形状(座標情報)として表した活動高度帯が記憶される。例えば、監視エリアの特定のエリアにおいて、特定の種類のドローンは、3m~10m内の対地高度の範囲内でのみ飛行でき、かつ、直下の建造物とは2mの距離を空けて飛行しなければならない条件があった場合、空間モデル111を用いてこれらの条件を満たす高度範囲の3次元の幾何形状を求め、当該幾何形状の座標情報を当該ドローンの移動体IDに対応する活動高度帯として記憶する。なお、モデル座標系における3次元の幾何形状に限らず、空間モデル111に基づいて生成されたボクセル空間を用いて、移動体3毎に活動が認められた高度範囲のボクセルの識別子を活動高度帯として記憶してもよい。
The activity altitude zone is information indicating the altitude range in which each moving object 3 is permitted to perform monitoring activities in the monitoring area, and is the safety, privacy protection, service user's request, and administration associated with the activity of the moving object 3. It is set by the administrator in consideration of various conditions such as airspace regulations in the institution. In the present embodiment, the activity altitude zone in which the altitude range in which the activity is recognized for each moving body 3 is expressed as a three-dimensional geometric shape (coordinate information) in the model coordinate system is stored. For example, in a particular area of the surveillance area, certain types of drones can only fly within a range of altitudes within 3m to 10m, and must fly at a distance of 2m from the building directly below. If there are conditions that do not meet, the
撮影情報は、移動体3が備える撮影部の撮影方向、深度及び画角により規定される情報である。ここで撮影方向は、撮影部の視軸(光軸)について、設定可能な角度範囲を表した情報である。本実施形態では、撮影方向として、右手系の直交座標系におけるヨー角(α°)、ピッチ角(β°)、ロール角(γ°)により定まる方向(α,β,γ)について、其々の角度範囲を規定する。撮影方向は、移動体3に対する撮影部の設置角度や、撮影部の可動範囲、移動体3の姿勢の可動範囲などを考慮して設定される。深度は、最大深度と最小深度との距離値により規定されるいわゆる被写界深度であり、移動体3の撮影部の画像解像度(画素数)、画角及び撮影画像において得たい撮影対象の大きさ(水平画素数、垂直画素数)などの情報に応じて設定される値である。例えば、撮影対象が侵入者の顔である場合、撮影画像において得たい目間ピクセル数(右目と左目の間のピクセル数)の範囲が条件として定まっており、所定の画像解像度及び画角で撮影対象を撮影した場合における、当該条件を満たす最大深度と最小深度を求めることができる。また画角として、撮影部の水平画角と垂直画角が設定される。 The shooting information is information defined by the shooting direction, depth, and angle of view of the shooting unit included in the moving body 3. Here, the shooting direction is information representing a settable angle range for the visual axis (optical axis) of the shooting unit. In the present embodiment, the shooting directions are the yaw angle (α °), the pitch angle (β °), and the roll angle (γ °) in the right-handed Cartesian coordinate system (α, β, γ), respectively. Specifies the angle range of. The shooting direction is set in consideration of the installation angle of the shooting unit with respect to the moving body 3, the movable range of the shooting unit, the movable range of the posture of the moving body 3, and the like. The depth is a so-called depth of field defined by the distance value between the maximum depth and the minimum depth, and is the image resolution (number of pixels), the angle of view, and the size of the image to be captured in the captured image of the photographing unit of the moving body 3. It is a value set according to information such as (the number of horizontal pixels, the number of vertical pixels). For example, when the object to be photographed is the face of an intruder, the range of the number of pixels between the eyes (the number of pixels between the right eye and the left eye) desired to be obtained in the photographed image is determined as a condition, and the image is photographed at a predetermined image resolution and angle of view. It is possible to obtain the maximum depth and the minimum depth that satisfy the conditions when the object is photographed. Further, as the angle of view, the horizontal angle of view and the vertical angle of view of the photographing unit are set.
異常情報113は、監視エリアにて検知された一又は複数の異常に関する情報であり、警備装置2からの通報を受信したときに制御部12により更新される。異常情報113は、図5に示したように、異常の識別子である異常IDと、異常の種別(例えば、侵入、火災、暴動など)と、異常の発生位置と、異常の被撮影方向と、接近禁止距離と、最大撮影距離とを対応付けたテーブル情報である。ここで異常の発生位置は、警備装置2から通報された異常の発生位置(例えば、緯度・経度・高度からなる異常が検知された位置情報)を、モデル座標系における座標情報(x,y,z)に変換した情報である。
The
被撮影方向は、移動体3の撮影部により、異常の発生位置に対して撮影されるべき方向を示した情報であり、本実施形態では、被撮影方向を水平角度範囲と垂直角度範囲により規定される値として記憶される。本実施形態では、管理者により異常の状況の把握しやすさなどを考慮して、異常の種別と被撮影方向とを対応付けた被撮影方向マスタテーブルが記憶部11に記憶されているものとし、警備装置2からの異常の通報を受信したとき、当該異常の種別に対応する被撮影方向を被撮影方向マスタテーブルから読み出し、当該異常の識別子に対応付けて設定されるものとする。例えば、地上における火災異常の場合は、火災の発生位置から直上の位置から撮影すると、撮影する移動体3に危険を及ぼす恐れがあるため、水平方向を0°としたとき、垂直角度範囲を0°~45°とし、水平角度範囲を0°~360°として設定される。一方、暴動などの異常の場合は、移動体3が真横から撮影した場合、移動体3が暴動に巻き込まれる恐れがあるため好ましくなく、また、暴動の規模を把握するためにも俯瞰して撮影するのが好ましいため、垂直角度範囲を45°~90°とし、水平角度範囲を0°~360°として設定される。これら火災異常の場合及び暴動異常の場合における被撮影方向の3次元形状を表した模式図を、図6(a)及び(b)に表す。なお、被撮影方向は水平角度範囲及び垂直角度範囲に限らず、水平角度範囲のみや垂直角度範囲のみであってもよい。
The imaged direction is information indicating the direction to be imaged with respect to the position where the abnormality occurs by the imaged portion of the moving body 3, and in the present embodiment, the imaged direction is defined by the horizontal angle range and the vertical angle range. It is stored as a value to be used. In the present embodiment, it is assumed that the imaged direction master table in which the type of abnormality and the imaged direction are associated with each other is stored in the
接近禁止距離は、移動体3が接近することができない範囲を示す情報であり、異常に応じて設定された距離値が記憶される。本実施形態では、管理者により、異常から受けうる移動体3の被害の大きさを考慮して、異常の種別と接近禁止距離とが対応付けた接近禁止距離マスタテーブルが予め記憶部11に記憶されているものとし、警備装置2からの異常の通報を受信したとき、当該異常の種別に対応する接近禁止距離を接近禁止距離マスタテーブルから読み出し、当該異常の識別子に対応付けて設定されるものとする。最大撮影距離は、異常の発生位置から極端に遠くから撮影しても、当該異常の状態を確認することが困難であるため、遠方の計算を省いて計算負荷を軽減するために運用上設定された、異常の発生位置から離れて撮影できる最大の距離値を示す情報である。本実施形態では、最大撮影距離を固定値(例えば、30m)として設定する。
The approach prohibition distance is information indicating a range in which the moving body 3 cannot approach, and a distance value set according to the abnormality is stored. In the present embodiment, the administrator stores in advance the access prohibition distance master table in which the type of abnormality and the access prohibition distance are associated with each other in consideration of the magnitude of damage to the moving body 3 that can be received from the abnormality. When an abnormality report is received from the
制御部12は、CPU等のマイクロプロセッサユニットと、ROM、RAMなどのメモリと、その周辺回路とを有し、各種信号処理を実行する。制御部12は、マイクロプロセッサユニット上で動作するプログラムの機能モジュールとして実装される可視空間算出手段121、候補空間検出手段122及び検索手段123を有する。これらの機能モジュールは、制御部12が記憶部11に格納されたプログラムを実行することにより実現される。図7は、制御部12における各機能モジュールが行う各種処理(可視空間算出処理、候補空間検出処理、検索処理)を説明する図である。以下、図7~図10を用いて制御部12の処理を詳細に説明する。なお、本実施形態では、警備装置2から通報を受信し、異常情報113が更新される都度、以下の各処理が実行されるものとする。
The
可視空間算出手段121は、記憶部11の異常情報113と空間モデル111とを用いて、異常の発生位置を障害物に遮られずに見通すことができる空間(以下、「可視空間」という)を算出するための可視空間算出処理を行う。図8は、可視空間算出処理を説明する図であり、異常の発生位置Oを含む空間モデル111の一部を水平方向(真横)から見たときの図により表したものである。可視空間算出処理では、まず、図8(a)に表すように、異常情報113を参照して、可視空間の算出対象とする異常ID(通報により更新された異常に係る異常ID)に対応する被撮影方向及び最大撮影距離を用いて撮影空間Sを求める。続いて可視空間算出処理では、図8(b)に表すように、求めた撮影空間Sと、空間モデル111と、異常の発生位置と、接近禁止距離を用いて、撮影空間S’を求める。ここで、撮影空間S’は、撮影空間Sにおける異常の発生位置Oから接近禁止距離の空間範囲を除いた空間であって、かつ、空間モデル111の障害物(図8の建物111a及び樹木111b)と干渉しない空間によって構成される。最後に可視空間算出処理では、図8(c)に表すように、求めた撮影空間S’内の各位置から視通解析することにより、各位置から異常の発生位置Oを視認できるか否かを判定し、発生位置Oを視認できる空間として可視空間S’’を求める。本実施形態では、求めた撮影空間S’を所定の大きさのボクセルにて分割し、各ボクセルの重心位置から発生位置Oに向かう直線を求めたときに、当該直線が空間モデル111の障害物に干渉するか否かを判定することにより視通解析し、障害物に干渉しないボクセルの集合からなる空間を可視空間S’’として求める。
The visible space calculation means 121 uses the
候補空間検出手段122は、可視空間算出手段にて算出した可視空間S’’と、各移動体3の活動高度帯とを用いて、各移動体3について当該移動体3が活動可能な可視空間内の空間を示す候補空間を検出する候補空間検出処理を行う。候補空間検出処理では、移動体情報112を参照し、移動体3ごとに活動高度帯を読出し、読み出した活動高度帯と可視空間算出手段にて算出した可視空間S’’とが重なる空間を候補空間として算出する。本実施形態では、可視空間S’’のボクセルのうち、活動高度帯と重なるボクセルの集合を候補空間として求める。図9は、移動体3としてドローンの場合における候補空間検出処理の説明図である。図9の符号Tで示す空間は、移動体情報112に記憶された当該移動体3の活動高度帯を表している。可視空間算出手段121により求めた可視空間S’’と移動体情報112から読み出したドローンの活動高度帯Tとが重なる空間Cが、当該ドローンの候補空間Cである。候補空間検出手段122は、全ての移動体3について候補空間検出処理を行い、移動体IDと候補空間Cとを対応付けた候補空間情報を求め、記憶部11に一時的に記憶する。
The candidate space detecting means 122 uses the visible space S'' calculated by the visible space calculating means and the activity altitude zone of each moving body 3, and is a visible space in which the moving body 3 can act for each moving body 3. Performs a candidate space detection process to detect a candidate space that indicates the space inside. In the candidate space detection process, the moving
検索手段123は、候補空間検出手段122にて求めた候補空間情報と、移動体情報112の撮影情報と、異常情報113とを用いて、異常の発生位置Oを撮影可能な移動体3を検索する検索処理を行う。図10は、検索手段123における検索処理を示すフローチャートである。
The search means 123 searches for the moving body 3 capable of taking a picture of the abnormality occurrence position O by using the candidate space information obtained by the candidate space detecting means 122, the shooting information of the moving
図10におけるループ1は、移動体情報112の移動体3ごとに処理を行うことを意味し、移動体3の数だけループ1内の処理が実行されることを意味する。以降の説明において、ループ1にて処理対象となっている移動体3を「対象移動体」という。検索処理では、まず、記憶部11に一時的に記憶した候補空間情報を参照し、対象移動体に候補空間が存在するか否かを判定する(ST1)。候補空間が存在する場合(ST1-Yes)、すなわち対象移動体の候補空間を構成するボクセルが少なくとも一つ存在する場合、ループ2の処理を実行する。図10におけるループ2は、対象移動体の候補空間を構成するボクセルごとに処理を行うことを意味し、候補空間を構成するボクセルの数だけループ2内の処理が実行されることを意味する。以降の説明において、ループ2にて処理対象となっているボクセルを「対象ボクセル」という。
The
次に、検索手段123は、対象ボクセルの重心位置の座標と、移動体情報112の撮影方向とを用いて、異常の発生位置Oをモデル座標系からカメラ座標系に変換する座標変換行列Vを求める(ST2)。ここで求めるカメラ座標系とは、撮影部の光学中心を対象ボクセルの重心位置に設置し、かつ、移動体情報112の撮影方向に向けた場合における撮影部の三次元座標系である。撮影方向は、ヨー、ピッチ、ロールの角度範囲を表す情報であるため、ヨー、ピッチ、ロールのそれぞれについて、角度範囲に含まれる角度を所定角度(例えば、1°)毎に複数求める。例えば、ヨーの角度範囲が0°~360°として設定されていた場合、0°、1°、2°、・・・、359°の360の角度が求まる。同様に角度範囲に含まれるピッチ、ロールの角度をそれぞれ求める。そして、求めたヨー、ピッチ、ロールの角度からなる組み合わせの数だけ座標変換行列Vを求める。
Next, the search means 123 uses the coordinates of the center of gravity position of the target boxel and the shooting direction of the moving
次に、検索手段123は、移動体情報112の画角と深度とを用いてカメラ座標系から、撮影画像内の二次元座標(画像座標系)に変換するための射影変換行列Pを求める(ST3)。次に、検索手段123は、求めた座標変換行列Vと射影変換行列Pとを用いて、空間モデル111の発生位置Oの座標をカメラ座標系の二次元座標に変換し(ST4)、当該二次元座標が撮影画像内に含まれているか否かを判定する(ST5)。この際、ST2にて求めた全ての座標変換行列Vを用いて判定する。そして、発生位置Oが撮影画像の座標内に含まれていると、少なくとも一つの判定結果が得られたとき(ST5-Yes)、対象移動体は対象ボクセルの位置から撮影可能であると判定し、当該対象ボクセルを撮影可能ボクセルとして判定する(ST6)。
Next, the search means 123 obtains a projective transformation matrix P for converting from the camera coordinate system to the two-dimensional coordinates (image coordinate system) in the captured image by using the angle of view and the depth of the moving body information 112 (. ST3). Next, the search means 123 converts the coordinates of the generation position O of the
対象移動体の候補空間を構成する全てのボクセルについてループ2の処理を終えると、検索手段123は、対象移動体に撮影可能ボクセルが存在したか否かを判定する(ST7)。撮影可能ボクセルが少なくとも一つ存在している場合(ST7-Yes)、当該対象移動体は異常の発生位置Oを撮影できると判定する(ST8)。一方、撮影可能ボクセルが一つも存在していない場合(ST7-No)、又は、ST1にて候補空間が存在しない場合(ST1-No)、当該対象移動体は異常の発生位置Oを撮影できないと判定する。移動体情報112に記された全ての移動体3についてループ1の処理を終えると、検索手段123は、異常の発生位置Oを撮影可能な移動体3の移動体IDを検索結果として出力する(ST10)。
When the processing of the
表示部13は、ディスプレイ等の情報表示デバイスである。制御部12は、検索手段123にて出力された検索結果を表示部13に表示出力する。
The
以上のように、本実施形態の管制システム5では、管制装置1の表示部13に表示出力された検索結果を管制員が閲覧することにより、当該管制員は、監視エリアで発生した異常を適切に撮影可能な移動体3(以下、「撮影可能移動体」という)を迅速に把握することが可能となる。そして、管制員は、複数の撮影可能移動体の中から、異常の発生位置Oに最も近い撮影可能移動体を選定し、当該選定した撮影可能移動体に対して異常の撮影を行うよう通信網4を介して指示を送信することにより、監視エリアに発生した異常の状態を迅速に確認することができる。
As described above, in the control system 5 of the present embodiment, the controller browses the search results displayed and output on the
また、本実施形態の管制システム5は、撮影部の撮影方向を用いて候補空間内の各位置から異常の発生位置Oを撮影可能か否かを判定し、その判定結果に基づいて異常の発生位置Oを撮影可能な移動体を検索する。したがって、候補空間(死角のない位置からなる空間)が存在するか否かだけでなく、候補空間内の位置における撮影部による撮影条件も含めて撮影可能か否かを考慮した上で、異常の発生位置Oを撮影可能か否かを判定するため、より正確に異常を適切に撮影可能な移動体3を検索することができる。 Further, the control system 5 of the present embodiment determines whether or not the abnormality occurrence position O can be photographed from each position in the candidate space using the photographing direction of the photographing unit, and the abnormality occurs based on the determination result. Search for a moving object that can shoot position O. Therefore, it is abnormal after considering not only whether or not there is a candidate space (a space consisting of positions without blind spots), but also whether or not it is possible to shoot including the shooting conditions by the shooting unit at the position in the candidate space. In order to determine whether or not the generation position O can be photographed, it is possible to search for the moving body 3 that can photograph the abnormality more accurately and appropriately.
また、本実施形態の管制システム5は、異常の発生位置O及び被撮影方向と空間モデルとを用いて可視空間を算出するため、予め定めた方向から異常の発生位置Oを撮影することができる移動体を検索することができるため、管制員は異常の状態をより適切に把握することができる。 Further, since the control system 5 of the present embodiment calculates the visible space using the abnormality occurrence position O, the imaged direction, and the spatial model, the abnormality occurrence position O can be photographed from a predetermined direction. Since it is possible to search for moving objects, the controller can better grasp the abnormal condition.
ところで、本発明は、上記実施形態に限定されるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施形態で実施されてもよいものである。また、実施形態に記載した効果は、これに限定されるものではない。 By the way, the present invention is not limited to the above embodiment, and may be further implemented in various different embodiments within the scope of the technical idea described in the claims. Moreover, the effect described in the embodiment is not limited to this.
上記実施形態では、検索手段123は撮影可能移動体を求めるに際し、移動体情報112の撮影情報や異常情報113の被撮影方向を用いた。しかし、簡易的な他の実施形態として、これらの情報を用いることなく、移動体3毎に候補空間検出手段122にて算出した候補空間を有するか否かに応じて、撮影可能移動体であるか否かを判定してもよい。この場合、すなわち図10のST1においてYesと判定されたとき、ループ2(ST2~ST7)の処理を省略し、ST8の処理を行う。
In the above embodiment, the search means 123 uses the shooting information of the moving
上記実施形態では、候補空間検出手段122にて各移動体3の候補空間を求め、検索手段123にて各移動体3が当該候補空間から異常の発生位置Oを撮影可能か否かを判定することにより、撮影可能移動体を検索する。しかし、候補空間検出手段122を省略し、検索手段123にて可視空間算出手段121で算出された各移動体3の可視空間内の位置から異常の発生位置Oを撮影可能か否かを判定し、発生位置Oを撮影可能な可視空間内の位置が存在する移動体を撮影可能移動体として出力してもよい。この場合、図10のST1の処理を省略し、ループ2では可視空間を構成するボクセルを対象ボクセルとしてST2~ST6の処理を行う。
In the above embodiment, the candidate space detecting means 122 obtains the candidate space of each moving body 3, and the searching means 123 determines whether or not each moving body 3 can photograph the abnormality occurrence position O from the candidate space. By doing so, a moving object that can be photographed is searched. However, the candidate space detecting means 122 is omitted, and the search means 123 determines whether or not the abnormality occurrence position O can be photographed from the position in the visible space of each moving body 3 calculated by the visible space calculating means 121. , A moving body having a position in the visible space where the generation position O can be photographed may be output as a photographable moving body. In this case, the processing of ST1 in FIG. 10 is omitted, and in
上記実施形態では、可視空間の範囲を規定する最大撮影距離を固定の距離値として設定しているが、これに限らず、各移動体3が備える撮影部の撮影条件に応じて最大撮影距離を設定してもよい。具体的には、移動体情報112として、更に撮影部の解像度(画素数)を記憶し、当該解像度(画素数)と画角とを用いて最大撮影距離を設定してもよい。例えば、解像度(画素数)が大きくなるほど、又は、画角が狭くなるほど最大撮影距離を大きく設定する。これにより、撮影対象である異常が小さすぎて見えなくなる距離の候補空間を、検索処理における計算対象から予め除外することができ、計算コストを低減させることができる。
In the above embodiment, the maximum shooting distance that defines the range of the visible space is set as a fixed distance value, but the maximum shooting distance is not limited to this, and the maximum shooting distance is set according to the shooting conditions of the shooting unit included in each moving body 3. It may be set. Specifically, the resolution (number of pixels) of the photographing unit may be further stored as the moving
上記実施形態では、検索手段123における検索処理にて、異常の発生位置Oを撮影可能な移動体3を撮影可能移動体として検索している。しかし、これに限らず、検索手段123は、異常の発生位置Oを含む領域であって、異常の発生位置Oから所定の距離範囲内の領域(以下、「近傍領域」という)を撮影可能な移動体3を撮影可能移動体として検索してもよい。図11は、近傍領域を説明するために空間モデル111の一部を切り出した図であり、符号111a及び111bはそれぞれ監視エリアに存在する建物及び樹木に相当し、破線で示した場所は近傍領域に相当する。図11に示すように、検索手段123は、検索処理を行う前に、空間モデル111と発生位置Oとを用いて、モデル座標系における異常の発生位置Oを中心とし半径rの円からなる近傍領域(三次元形状)を求め、求めた近傍領域に含まれる位置から所定数の代表点(白丸)の位置(三次元座標)を求める。そして、検索手段123は、検索処理において、候補空間の各位置(ループ2の対象ボクセルの重心位置)から異常の発生位置Oが撮影可能か否かを判定するだけでなく、各代表点の位置についても撮影可能か否かを判定し、発生位置O及び全ての代表点の位置を撮影可能な候補空間の位置(ボクセル)が存在する移動体3を近傍領域を撮影可能な撮影可能移動体として求めてもよい。これにより、異常の発生位置Oだけでなく、当該発生位置Oの周囲の状況についても適切に把握できる撮影可能移動体を検索することができる。また、他の実施形態では、可視空間算出手段121は、可視空間算出処理において、異常の発生位置Oから可視空間を求めるだけでなく、各代表点からも可視空間を算出する。そして、候補空間検出手段122は、候補空間検出処理にて、発生位置Oの可視空間及び各代表点の可視空間と活動高度帯とを用いて、各移動体3について当該移動体3が活動可能な各可視空間の共通空間を候補空間として求める。そして、検索手段123は、上記の候補空間を有する移動体3を近傍領域を撮影可能な撮影可能移動体として求めてもよい。
In the above embodiment, the search process in the search means 123 searches for the moving body 3 capable of photographing the abnormality occurrence position O as the photographing movable body. However, not limited to this, the search means 123 can photograph a region including the abnormality occurrence position O and within a predetermined distance range from the abnormality occurrence position O (hereinafter, referred to as “nearby region”). The moving body 3 may be searched for as a shootable moving body. FIG. 11 is a diagram obtained by cutting out a part of the
上記実施形態では、接近禁止距離を異常の被害の大きさを考慮して異常の種別毎に固定的に設定した接近禁止距離マスタテーブルに応じて設定されている。しかしこれに限らず、異常の被害の大きさに応じて接近禁止距離を動的に設定してもよい。例えば、警備装置2からの通報に基づいて、異常を検知したセンサの数や撮影された監視画像を解析し、当該解析結果を基に被害の大きさを判定する。または、警備装置2は異常を検知したとき、当該異常の被害の大きさに関する情報を併せて管制装置1に通報する。管制装置1の可視空間算出手段121は、当該通報又は分析結果に基づいて、異常の被害の大きさが大きいほど接近禁止距離を大きい値に設定してもよい。これにより、異常の被害の大きさに応じて安全な位置から異常の発生位置Oを撮影できる撮影可能移動体を検索することができる。また、接近禁止距離を異常の発生位置Oを中心とした空間に一様な距離とせずに、水平角度、垂直角度に応じて変化する関数によって規定してもよい。また、異常の種別ごとに規定した幾何形状を用いて接近禁止距離からなる空間を規定してもよい。また、上記他の実施形態のように、撮影可能移動体が近傍領域を撮影できる移動体3とした場合、当該近傍領域を規定する距離範囲rの大きさを、異常の規模(異常の空間的な大きさ)に応じて設定してもよい。これによって、異常の発生位置Oの周囲の状況についてもより適切に把握できる撮影可能移動体を検索することができる。
In the above embodiment, the approach prohibition distance is set according to the approach prohibition distance master table that is fixedly set for each type of abnormality in consideration of the magnitude of damage of the abnormality. However, the present invention is not limited to this, and the approach prohibition distance may be dynamically set according to the magnitude of the damage caused by the abnormality. For example, based on the report from the
上記実施形態では、活動高度帯として、移動体3毎に活動が認められた高度範囲を、モデル座標系における3次元の幾何形状を記憶している。しかし、これに限らず、移動体3毎に活動が認められた高度範囲を示す数値範囲として記憶してもよい。この場合、候補空間検出手段122は、当該活動高度帯と空間モデル111とを用いて、移動体3毎に活動が認められたモデル座標系における3次元の幾何形状を算出する。これにより、強風時のように動的に活動高度が変更される場合であっても、当該変更に応じた検索結果を得ることが可能となる。
In the above embodiment, as the activity altitude zone, the altitude range in which the activity is recognized for each moving body 3 is stored in the three-dimensional geometric shape in the model coordinate system. However, the present invention is not limited to this, and it may be stored as a numerical range indicating an altitude range in which activity is recognized for each moving body 3. In this case, the candidate space detecting means 122 calculates the three-dimensional geometric shape in the model coordinate system in which the activity is recognized for each moving body 3 by using the activity altitude zone and the
上記実施形態では、異常の種別と被撮影方向とを固定的に対応付けた被撮影方向マスタテーブルを参照し、検出された異常の種別に応じた被撮影方向が当該異常の異常IDに対応付けて記憶される。しかしこれに限らず、通報を受けた管制員が通報に基づいて異常の被害の大きさを判断し、入力部14を用いて被撮影方向を設定してもよい。または、管制装置1が、警備装置2からの通報に基づいて、異常を検知したセンサの数や撮影された監視画像を解析し、当該解析結果を基に被害の大きさを判定し、当該判定結果に基づいて被撮影方向を設定してもよい。
In the above embodiment, the photographed direction master table in which the type of abnormality and the photographed direction are fixedly associated is referred to, and the photographed direction corresponding to the detected abnormality type is associated with the abnormality ID of the abnormality. Is remembered. However, the present invention is not limited to this, and the controller who received the report may determine the magnitude of the abnormal damage based on the report and set the shooting direction using the
1・・・管制装置
2・・・警備装置
3・・・移動体
4・・・通信網
5・・・管制システム
11・・・記憶部
12・・・制御部
13・・・表示部
14・・・入力部
15・・・通信部
111・・・空間モデル
112・・・移動体情報
113・・・異常情報
121・・・可視空間算出手段
122・・・候補空間検出手段
123・・・検索手段
1 ...
Claims (6)
前記監視エリアを3次元の仮想空間として表現した空間モデル、及び前記移動体ごとに活動可能な高度範囲を示す活動高度帯を予め記憶した記憶部と、
前記現発生位置と前記空間モデルとから前記現発生位置を見通すことができる空間を示す可視空間を算出する可視空間算出手段と、
少なくとも前記可視空間内の前記活動高度帯を候補空間として検出する候補空間検出手段と、
前記候補空間が検出された移動体を前記撮影可能移動体として検索する検索手段と、
を備える管制装置。 A control system in which the current occurrence position, which is the position of the abnormality generated in the monitoring area, is input, and a photographable moving object capable of photographing at least the current occurrence position is searched from one or more moving objects equipped with a photographing unit. It ’s a device,
A spatial model that expresses the monitoring area as a three-dimensional virtual space, and a storage unit that stores in advance an activity altitude zone that indicates an altitude range in which each moving object can be active.
A visible space calculation means for calculating a visible space indicating a space in which the current generation position can be seen from the current generation position and the space model.
A candidate space detecting means for detecting at least the activity altitude zone in the visible space as a candidate space,
A search means for searching a moving body in which the candidate space is detected as the photographable moving body, and
A control device equipped with.
前記検索手段は、前記撮影方向を用いて、前記候補空間内の各位置から前記現発生位置を撮影可能か否かを判定し、当該判定結果に基づいて前記撮影可能移動体を検索する請求項1に記載の管制装置。 The storage unit further stores the imaging direction, which is a range of angles that can be captured by the imaging unit, for each moving object.
The search means uses the shooting direction to determine whether or not the current generation position can be shot from each position in the candidate space, and searches for the shootable moving object based on the determination result. The control device according to 1.
前記可視空間算出手段は、前記現発生位置、前記現発生位置にて発生した異常の種別に対応する前記被撮影方向、及び前記空間モデルを用いて前記可視空間を算出する請求項1又は請求項2に記載の管制装置。 The storage unit stores the imaged direction indicating the direction in which the position where the abnormality of the type occurs should be imaged for each type of abnormality.
Claim 1 or claim that the visible space calculation means calculates the visible space using the current occurrence position, the imaged direction corresponding to the type of abnormality generated at the current occurrence position, and the space model. 2. The control device according to 2.
The search means further sets a plurality of representative points in a neighborhood region including the current generation position in the space model, and uses the space model and the photographing direction to generate the current generation from each position in the candidate space. 2. Claim 2 that determines whether or not each of the position and the representative point can be photographed, and searches for a moving object capable of photographing the vicinity region from the moving objects as the imageable moving object based on the determination result. The control device described in .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018070285A JP7089926B2 (en) | 2018-03-30 | 2018-03-30 | Control system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018070285A JP7089926B2 (en) | 2018-03-30 | 2018-03-30 | Control system |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2019179527A JP2019179527A (en) | 2019-10-17 |
| JP2019179527A5 JP2019179527A5 (en) | 2021-04-22 |
| JP7089926B2 true JP7089926B2 (en) | 2022-06-23 |
Family
ID=68278829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018070285A Active JP7089926B2 (en) | 2018-03-30 | 2018-03-30 | Control system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7089926B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7106327B2 (en) * | 2018-03-30 | 2022-07-26 | セコム株式会社 | Control device |
| KR102329623B1 (en) * | 2019-11-22 | 2021-11-22 | (주)에스유지 | 5G-based AI outdoor advertisement analysis system |
| JP6842142B1 (en) * | 2020-10-14 | 2021-03-17 | シンメトリー・ディメンションズ・インク | Power supply control system, disaster analyzer, and power supply control method |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001025002A (en) | 1999-07-07 | 2001-01-26 | Mitsubishi Electric Corp | Remote imaging system, imaging device, and remote imaging method |
| US20150042815A1 (en) | 2013-08-08 | 2015-02-12 | Kt Corporation | Monitoring blind spot using moving objects |
| JP2016118995A (en) | 2014-12-22 | 2016-06-30 | セコム株式会社 | Monitoring system |
| WO2017038449A1 (en) | 2015-09-02 | 2017-03-09 | 日本電気株式会社 | Monitoring system, monitoring method, and program |
| JP2019179528A (en) | 2018-03-30 | 2019-10-17 | セコム株式会社 | Controller |
-
2018
- 2018-03-30 JP JP2018070285A patent/JP7089926B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001025002A (en) | 1999-07-07 | 2001-01-26 | Mitsubishi Electric Corp | Remote imaging system, imaging device, and remote imaging method |
| US20150042815A1 (en) | 2013-08-08 | 2015-02-12 | Kt Corporation | Monitoring blind spot using moving objects |
| JP2016118995A (en) | 2014-12-22 | 2016-06-30 | セコム株式会社 | Monitoring system |
| WO2017038449A1 (en) | 2015-09-02 | 2017-03-09 | 日本電気株式会社 | Monitoring system, monitoring method, and program |
| JP2019179528A (en) | 2018-03-30 | 2019-10-17 | セコム株式会社 | Controller |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019179527A (en) | 2019-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115597659B (en) | A method for substation intelligent safety management and control | |
| EP3012659A2 (en) | Surveying areas using a radar system and an unmanned aerial vehicle | |
| WO2017073310A1 (en) | Image capture system for shape measurement of structure, method of capturing image of stucture used for shape measurement of structure, onboard control device, remote control device, program, and recording medium | |
| KR102335994B1 (en) | Integrated control apparatus of surveillance devices for drone surveillance | |
| JP6918044B2 (en) | Robot control device and robot control method | |
| JP2021135895A (en) | Detection devices, detection methods, and robots and programs | |
| KR20190004176A (en) | Apparatus and method for the obstacle collision avoidance of unmanned aerial vehicle | |
| JP2017016359A (en) | Autonomous Mobile Robot | |
| JP7697670B2 (en) | Safety management device, system, method, and program | |
| JP7089926B2 (en) | Control system | |
| KR101815028B1 (en) | Method for Setting Flight Path of Unmanned Shooting Aircraft, Media Being Recorded with the Method | |
| CN112802100A (en) | Intrusion detection method, device, equipment and computer readable storage medium | |
| JP2017182690A (en) | Autonomous mobile robot | |
| CN113068000A (en) | Method, device, equipment and system for monitoring video target and storage medium | |
| KR101821159B1 (en) | System for tracking moving path of objects using multi-camera | |
| JP7143103B2 (en) | Route display device | |
| JP7106327B2 (en) | Control device | |
| KR20190123095A (en) | Drone-based omni-directional thermal image processing method and thermal image processing system therefor | |
| KR102305438B1 (en) | System and method for UAV surveillance | |
| JP7317684B2 (en) | Mobile object, information processing device, and imaging system | |
| JP6368503B2 (en) | Obstacle monitoring system and program | |
| CN121482973A (en) | Personnel detection and monitoring systems and methods in hazardous areas of industrial sites | |
| WO2023189076A1 (en) | Monitoring system and monitoring method | |
| JP7109963B2 (en) | Route evaluation device | |
| JP2017167870A (en) | Flying object monitoring system, and flying object monitoring apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210309 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210309 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220118 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220607 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220613 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7089926 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |