JP6920776B2 - Monitoring support system and monitoring support method - Google Patents
Monitoring support system and monitoring support method Download PDFInfo
- Publication number
- JP6920776B2 JP6920776B2 JP2017122453A JP2017122453A JP6920776B2 JP 6920776 B2 JP6920776 B2 JP 6920776B2 JP 2017122453 A JP2017122453 A JP 2017122453A JP 2017122453 A JP2017122453 A JP 2017122453A JP 6920776 B2 JP6920776 B2 JP 6920776B2
- Authority
- JP
- Japan
- Prior art keywords
- eye view
- bird
- image
- view image
- tollhouse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、道路施設の監視を支援する監視支援システム及び監視支援方法の技術に関する。 The present invention relates to a technology of a monitoring support system and a monitoring support method that support monitoring of road facilities.
近年、ネットワーク技術の発展により、様々な分野において運用・維持管理の効率化が進んでいる。例えば道路分野では、料金収受システムとして、既にＥＴＣ(Electronic Toll Collection)システムが広く普及しており、アイランド内部のブース内に収受員を配置する必要がない。このような収受員が存在しない料金所では、遠隔監視が行われる。 In recent years, with the development of network technology, the efficiency of operation and maintenance has been improved in various fields. For example, in the road field, the ETC (Electronic Toll Collection) system has already become widespread as a toll collection system, and it is not necessary to place a toll collection staff in a booth inside the island. Remote monitoring is performed at tollhouses where such collectors do not exist.
特許文献１には、「有料道路（１）の第１料金所１０の第１車線（１１ａ）を監視し、監視画像の実時間データである監視画像実時間データを出力する複数の監視カメラ（５０１〜５０６）と、前記第１車線に設置されている第１料金自動収受装置（３）と、前記第１料金自動収受装置及び前記複数の監視カメラと接続されており、前記第１料金所に設置されている第１監視サーバ（６）と、前記第１監視サーバとネットワーク（９９９）を介して接続されている遠隔監視装置（７）とを具備している。前記遠隔監視装置は、前記第１料金自動収受装置に障害が発生しているか否かを表示する第１表示部（７４）と、第１操作部（７５）とを備えている」有料道路料金所の遠隔監視システムが開示されている（要約参照）。
特許文献２には、「車両周囲の画像を複数の車載カメラ１１，１２，１３，１４で各々撮影し、これら複数の車載カメラ１１，１２，１３，１４により撮影された複数の撮影画像をそれぞれ俯瞰画像に変換すると共に繋ぎ合わせることで、１つの連続した俯瞰表示画像として表示装置４０に表示するにあたり、第１乃至第４のソナー２１，２２，２３，２４によって俯瞰表示画像の繋ぎ目部分に対応する領域に障害物が存在することが検知された場合には、俯瞰表示画像の繋ぎ目部分となる位置を変化させるようにした」俯瞰画像表示システム及び俯瞰画像の表示方法が開示されている。
In Patent Document 2, "images around the vehicle are taken by a plurality of in-
しかしながら、更なる効率化を目的に、特許文献１に記載されている技術を実施しようとすると、以下の課題が生じる。すなわち、特許文献１に記載されている技術では、車両が通行している部分を撮影しているレーン監視カメラだけでは撮影範囲が狭いため、別途、料金所周囲の広域を撮影するためのカメラを数多く設置する必要がある。複数台のカメラ映像を配信する管制システムでは、システムのネットワーク回線の制限から、これらのカメラ映像を単純に縮小し、さらに、縮小した複数の映像で画面を複数分割した映像を用いて、監視が行われる。その場合、監視員が監視する映像は、料金所の各部が表示されているにすぎない。すなわち、各画面が、料金所のどこを映しているものなのかを監視員が把握しにくい。
However, when trying to implement the technique described in
そのため、遠隔の管制室に配置された監視員は、配信された映像内で異常が発生し、その異常発生箇所の詳細位置を特定する場合、各料金所のカメラ配置図を予め記憶しておかなければならない。また、複数の料金所を監視する場合、一方的に配信されてくるカメラ映像を、常に注視しておく必要があり、監視員の管理業務の負担増加が課題となる。 Therefore, when an abnormality occurs in the delivered video and the detailed position of the location where the abnormality occurs is specified, the observer assigned to the remote control room should memorize the camera layout of each tollhouse in advance. There must be. In addition, when monitoring a plurality of tollhouses, it is necessary to always keep an eye on the camera images that are unilaterally distributed, and an increase in the burden of management work of the observer becomes an issue.
特許文献２の課題については実施形態中に記載する。 The issues of Patent Document 2 will be described in the embodiments.
このような背景に鑑みて本発明がなされたのであり、本発明は、道路施設の監視を効率的に行うことを課題とする。 The present invention has been made in view of such a background, and an object of the present invention is to efficiently monitor road facilities.
前記した課題を解決するため、本発明は、複数の撮像部が、道路における料金所に設置されているとともに、隣り合う前記撮像部で撮像された画像において、他の前記撮像部で撮像された画像とオーバーラップするよう、かつ、前記複数の撮像部で前記料金所の全体が撮像可能となるよう設置されており、前記複数の撮像部それぞれで撮像された撮像映像から俯瞰映像を生成する俯瞰映像生成部と、前記俯瞰映像生成部で生成された前記俯瞰映像を接続することで、前記料金所の全体が連続した、１つの料金所映像となるよう合成することで合成俯瞰映像を生成する合成俯瞰映像生成部と、前記複数の撮像部で撮像された前記撮像映像から前記料金所の周辺の道路上に存在する物体を原因とする異常状態を検出する異常検出処理部と、前記合成俯瞰映像中に表示されている、前記異常状態の原因として検出された前記物体を前記合成俯瞰映像中において強調表示する映像処理部と、温度センサ部を備える火災報知器と、を有し、前記映像処理部は、前記温度センサ部によって火災を検出した場合、前記料金所における当該火災を検出した前記温度センサ部の設置位置に対応させて、火災情報を前記合成俯瞰映像に表示するとともに、前記温度センサ部で検出される温度が高いほど、前記合成俯瞰映像に表示される前記火災情報を赤く表示することを特徴とする。 In order to solve the above-mentioned problems, in the present invention, a plurality of image pickup units are installed at a tollhouse on the road, and in the images captured by the adjacent image pickup units, the images are captured by the other image pickup units. It is installed so as to overlap with the image and the entire tollhouse can be imaged by the plurality of imaging units, and a bird's-eye view image is generated from the captured images captured by each of the plurality of imaging units. By connecting the image generation unit and the bird's-eye view image generated by the bird's-eye view image generation unit, a composite bird's-eye view image is generated by synthesizing the entire tollhouse into one continuous tollhouse image. A composite bird's-eye view image generation unit, an abnormality detection processing unit that detects an abnormal state caused by an object existing on the road around the tollhouse from the captured images captured by the plurality of imaging units, and the composite bird's-eye view. possess a video processor to highlight is displayed in the video, the detected the object as the cause of the abnormal condition in the synthetic overhead in the video, a fire alarm comprising a temperature sensor unit, wherein the image When the processing unit detects a fire by the temperature sensor unit, the processing unit displays the fire information on the composite bird's-eye view image in correspondence with the installation position of the temperature sensor unit that detected the fire at the tollhouse, and also displays the temperature. The higher the temperature detected by the sensor unit, the more the fire information displayed in the composite bird's-eye view image is displayed in red .
本発明によれば、道路施設の監視を効率的に行うことができる。 According to the present invention, it is possible to efficiently monitor road facilities.
以下、本発明を実施するための形態（以下においては「実施形態」と表記する）を、図面を参照して説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、重複する説明は、適宜、省略する。 Hereinafter, embodiments for carrying out the present invention (hereinafter referred to as “embodiments”) will be described with reference to the drawings. In addition, in all the drawings for explaining the embodiment, in principle, the same members are designated by the same reference numerals, and duplicate description will be omitted as appropriate.
≪第１実施形態≫
［監視支援システムＺ］
図１は、第１実施形態で用いられる監視支援システムＺの全体構成例を示す図である。
図１に示す例では、複数（図１の例では３つ）の料金所Ｔ（Ｔ１〜Ｔ３）を管制室Ｃで監視する形式を示している。
図１の例では、管制室Ｃが１つで、料金所Ｔが３つである場合を例示している。しかしながら、１つの管制室Ｃ、及び、３つ料金所Ｔには格別な意味はなく、管制室Ｃの数、及び、料金所Ｔの数は、図１の例に限らない。すなわち、管制室Ｃの数、及び、料金所Ｔの数は、それぞれ他の数となっても監視支援システムＺの機能の観点は基本的に同一である。
<< First Embodiment >>
[Monitoring support system Z]
FIG. 1 is a diagram showing an overall configuration example of the monitoring support system Z used in the first embodiment.
In the example shown in FIG. 1, a form in which a plurality of (three in the example of FIG. 1) tollhouses T (T1 to T3) are monitored in the control room C is shown.
In the example of FIG. 1, the case where the control room C is one and the tollhouse T is three is illustrated. However, one control room C and three tollhouses T have no special meaning, and the number of control rooms C and the number of tollhouses T are not limited to the example of FIG. That is, the number of control rooms C and the number of tollhouses T are basically the same from the viewpoint of the function of the monitoring support system Z even if they are other numbers.
料金所Ｔには、複数台のカメラ（撮像部）４と、俯瞰映像処理装置１と、異常検出サーバ２と、映像サーバ３とが設置されている。
At the tollhouse T, a plurality of cameras (imaging units) 4, a bird's-eye view
複数台のカメラ４は、料金所Ｔにおいて必要な監視エリアに対して死角がなく、可能な限り各カメラ４の撮影範囲がオーバーラップするような配置で設置される。
The plurality of
各カメラ４で撮影されたカメラ映像（撮像映像）は、俯瞰映像処理装置１に入力される。俯瞰映像処理装置１は、各カメラ４から入力されたカメラ映像を基に、俯瞰映像を生成する。なお、生成される俯瞰映像は、料金所Ｔの真上から見たような俯瞰映像に限定するものでなく、料金所Ｔの全体が一目でわかるようにすればよく、例えば、斜めから見たような鳥瞰映像でもよい。なお、俯瞰映像の生成は、射影変換等、公知の手法によって行われる。
The camera image (captured image) captured by each
さらに、俯瞰映像処理装置１は、各カメラ映像から生成された俯瞰映像を合成し、１つの合成俯瞰映像とする。
Further, the bird's-eye view
また、カメラ４で撮影されたカメラ映像は、異常検出サーバ２に入力される。異常検出サーバ２は、画像認識技術を用いることで、入力された各カメラ映像から、移動物体や、異常状況の検出を行う。さらに、異常検出サーバ２は、検出された異常物体のカメラ映像内の位置を算出する処理を行う。異常検出される物体や事象は、例えば、料金所Ｔを通過前後の道路で停止している車両、道路上の落下物、車線上へ出入りしている人物、車線を逆走する車両等である。異常検出の具体的な手法については、検出する物体や事象によって最適な手法が用いられる。異常検出の手法として、背景差分法や、特徴量抽出によるパターンマッチング等様々な公知手法が用いられる。
Further, the camera image taken by the
映像サーバ３は、異常検出サーバ２から送信された異常検出結果、及び、異常物体の位置情報等を基に、異常発生位置を強調する枠線等を俯瞰映像処理装置１から送信された合成俯瞰映像に重畳する。これにより、映像サーバ３は、強調表示した表示用映像を生成する。さらに、映像サーバ３は、ネットワーク５を介して、管制サーバ６への表示用映像の送信処理を行う。
The
各料金所Ｔの映像サーバ３は、ネットワーク５を介して管制室Ｃの管制サーバ６に接続されている。
管制サーバ６は、各料金所Ｔの映像サーバ３から送信された表示用映像を管制室６に設置されているモニタ（表示部）６１に表示する。図１の例では、各料金所Ｔに対応するようモニタ６１が設置されている。
The
The
次に、俯瞰映像処理装置１、異常検出サーバ２、映像サーバ３の詳細について説明する。
Next, details of the bird's-eye view
（俯瞰映像処理装置１）
俯瞰映像処理装置１は、情報受信部１１、俯瞰映像生成部１２、合成俯瞰映像生成部１３、情報送信部１４を有している。
情報受信部１１は、他の機器（カメラ４等）から情報（カメラ映像等）を受信する。
俯瞰映像生成部１２は、受信した各カメラ映像から俯瞰映像を生成する。
合成俯瞰映像生成部１３は、俯瞰映像生成部１２で生成された各俯瞰映像を接続することで、１つの合成俯瞰映像を生成する。
情報送信部１４は、他の機器（映像サーバ３等）へ情報（合成俯瞰映像等）を送信する。
(Overhead video processing device 1)
The bird's-eye view
The
The bird's-eye view
The composite bird's-eye view image generation unit 13 generates one composite bird's-eye view image by connecting each bird's-eye view image generated by the bird's-eye view
The
（異常検出サーバ２）
異常検出サーバ２は、情報受信部２１、異常検出処理部２２、情報送信部２３を有している。
情報受信部２１は、他の機器（カメラ４等）から情報（カメラ映像等）を受信する。
異常検出処理部２２は、前記した画像認識処理を用いて、各カメラ映像から異常を検出し、さらに異常物体の位置情報等を含む異常情報をカメラ映像から抽出する。
情報送信部２３は、他の機器（映像サーバ３等）へ情報（異常情報等）を送信する。
(Abnormality detection server 2)
The abnormality detection server 2 has an
The
The abnormality
The
（映像サーバ３）
映像サーバ３は、情報受信部３１、判定処理部３２、映像処理部３３、情報送信部３４を有している。
情報受信部３１は、他の機器（俯瞰映像処理装置１、異常検出サーバ２等）から情報（合成俯瞰映像、異常情報等）を受信する。
判定処理部３２は、各種判定を行う。
映像処理部３３は、異常情報を基に、合成俯瞰映像上に異常物体を強調表示した表示用映像を生成する。
情報送信部３４は、他の機器（管制サーバ６等）へ情報（表示用映像等）を送信する。
(Video server 3)
The
The
The
The
The
［ハードウェア構成］
図２は、第１実施形態で用いられるコンピュータ１００の構成を示す図である。
コンピュータ１００は、図１の俯瞰映像処理装置１、異常検出サーバ２、映像サーバ３に相当する。
コンピュータ１００は、メモリ１０１、ＣＰＵ（Central Processing Unit）１０２、ＨＤ（Hard Disk）等の記憶装置１０３、通信装置１０４等を有している。
通信装置１０４は、他の機器との通信を行う装置である。
図１の俯瞰映像処理装置１、異常検出サーバ２、映像サーバ３における各部１１〜１４，２１〜２３，３１〜３４は、各装置１〜３において、記憶装置１０３に格納されているプログラムが、メモリ１０１にロードされ、ロードされたプログラムがＣＰＵ１０２によって実行されることにより具現化する。
なお、第２実施形態、第３実施形態における俯瞰映像処理装置１、異常検出サーバ２、映像サーバ３も同様である。
[Hardware configuration]
FIG. 2 is a diagram showing a configuration of a computer 100 used in the first embodiment.
The computer 100 corresponds to the bird's-eye view
The computer 100 has a
The
In the bird's-eye view
The same applies to the bird's-eye view
（カメラ配置）
図３は、第１実施形態で用いられる料金所Ｔにおけるカメラ４の配置例を示した図である。
図３では、２つの入口レーン、２つの出口レーンの計４レーンを有する料金所Ｔの例を示す。図３に示すように、照明柱ＰＡ〜ＰＤ（Ｐ）に、カメラ４Ａ〜４Ｄ（４）が４台設置されている。また、屋根下に、カメラ４Ｅ〜４Ｈ（４）が４台設置されている。すなわち、図３の例では、合計８台のカメラ４が設置されている。図３では、照明柱Ｐ、及び、料金所Ｔの屋根下へカメラ４を設置する構成を示しているが、設置場所は、これらに限らない。例えば、カメラ４の専用柱が設置されてもよいし、料金所Ｔの屋根上にカメラ４が設置されてもよい。
(Camera placement)
FIG. 3 is a diagram showing an arrangement example of the
FIG. 3 shows an example of a tollhouse T having a total of four lanes, two entrance lanes and two exit lanes. As shown in FIG. 3, four
（表示用映像例）
図４は、第１実施形態で用いられる監視支援システムＺの映像サーバ３が生成する表示用映像２０１の例を示した図である。
表示用映像２０１は、図３に示す料金所Ｔの映像である。
図４には、図３の配置例で配置された８台のカメラ４Ａ〜４Ｈ（４）のカメラ映像から生成された表示用映像２０１の例が示されている。ここで、表示用映像２０１は、８つの俯瞰映像２００Ａ〜２００Ｈ（２００）が接続されることによって生成される合成俯瞰映像２５１に異常物体を強調表示するための破線の枠線Ｍが表示されているものである。俯瞰映像２００Ａ〜２００Ｈのそれぞれは、図３における各カメラ４Ａ〜４Ｈで撮影されたカメラ映像を基に生成されるものである。
(Example of video for display)
FIG. 4 is a diagram showing an example of a
The
FIG. 4 shows an example of the
ここで、合成俯瞰映像２５１は枠線Ｍが表示されていないものである。そして、表示用映像２０１は合成俯瞰映像２５１に枠線Ｍが表示されているものである。すなわち、合成俯瞰映像２５１と、表示用映像２０１の違いは枠線Ｍの有無である。
Here, the composite bird's-
枠線Ｍは、異常検出サーバ２内の異常検出処理部２２（図１参照）において検出した異常状態が発生している箇所を示す。図４に示す表示用映像２０１の例では、料金所Ｔの出口通過後の停止禁止区域において停止している車両が異常として検出されている例を示している。
The frame line M indicates a location where the abnormality state detected by the abnormality detection processing unit 22 (see FIG. 1) in the abnormality detection server 2 has occurred. In the example of the
（管制室Ｃにおける映像）
図５は、第１実施形態で用いられる監視支援システムＺの管制室Ｃにおいて、監視員が確認する画面例を示す図である。
ここでは、３つの料金所Ｔ１〜Ｔ３（図１参照）が管制室Ｃ（図１参照）において監視されている例を示す。
管制室Ｃには３つのモニタ６１ａ〜６１ｃ（６１）が設置されている。各々のモニタ６１ａ〜６１ｃには、各料金所Ｔ１〜Ｔ３の表示用映像２０１ａ〜２０１ｃ（２０１）が表示されている。表示用映像２０１ａ〜２０１ｃは、それぞれ料金所Ｔ１〜Ｔ３の表示用映像２０１に相当する。
(Video in control room C)
FIG. 5 is a diagram showing an example of a screen confirmed by an observer in the control room C of the monitoring support system Z used in the first embodiment.
Here, an example is shown in which three tollhouses T1 to T3 (see FIG. 1) are monitored in the control room C (see FIG. 1).
Three
例えば、料金所Ｔ１において、ある異常が検出された場合、モニタ６１ａに表示されている表示用映像２０１ａに、異常発生場所を強調する枠線Ｍが出現する。この枠線Ｍが出現することにより、監視員は瞬時に料金所Ｔ１で異常が発生したことを認識できる。
For example, when a certain abnormality is detected at the tollhouse T1, a frame line M that emphasizes the location of the abnormality appears in the
また、各表示用映像２０１ａ〜２０１ｃは、各料金所Ｔにおける監視範囲の俯瞰映像であるため、監視員は異常発生のみならず、どの料金所Ｔのどこで異常が発生しているかも迅速、かつ、容易に把握することが可能となる。
このように、第１実施形態によれば、監視員は、料金所Ｔにおける異常発生、及び、発生位置を、迅速、かつ、容易に把握することができる。従って、第１実施形態によれば、料金所Ｔにおける異常発生後の必要な作業への移行時間短縮等、監視業務の負荷軽減及び、効率化が可能となる。
Further, since the
As described above, according to the first embodiment, the observer can quickly and easily grasp the occurrence of the abnormality at the tollhouse T and the position where the abnormality occurs. Therefore, according to the first embodiment, it is possible to reduce the load of the monitoring work and improve the efficiency, such as shortening the transition time to the necessary work after the occurrence of the abnormality at the tollhouse T.
なお、図５に示す例では、管制室Ｃに料金所Ｔの数のモニタ６１（６１ａ〜６１ｃ）が設置されている構成となっているが、モニタ６１の数は限定されるものではない。例えば、１台のモニタ６１に複数の料金所Ｔに相当する表示用映像２０１が分割して表示されてもよいし、１台のモニタ６１において、各料金所Ｔの表示用映像２０１が時分割表示されてもよい。時分割表示とは、各料金所Ｔの表示用映像２０１が代わる代わる表示されることである。
In the example shown in FIG. 5, the number of monitors 61 (61a to 61c) of the number of toll stations T is installed in the control room C, but the number of
［フローチャート］
以下、俯瞰映像処理装置１、異常検出サーバ２、映像サーバ３で行われる処理を説明する。各フローチャートの説明では、図１を適宜参照する。
（俯瞰映像処理装置１）
図６は、第１実施形態で用いられる俯瞰映像処理装置１における処理手順を示すフローチャートである。
まず、情報受信部１１が各カメラ４からカメラ映像を取得する（Ｓ１０１）。
次に、俯瞰映像生成部１２は、各カメラ４から取得した各カメラ映像から、射影変換等といった公知の技術を用いて俯瞰映像を生成する（Ｓ１０２）。
そして、合成俯瞰映像生成部１３は、ステップＳ１０２で生成された各俯瞰映像を合成して、１つの合成俯瞰映像を生成する（Ｓ１０３）。
その後、情報送信部１４は、生成した合成俯瞰映像を映像サーバ３へ送信する（Ｓ１０４）。
その後、俯瞰映像処理装置１はステップＳ１０１へ処理を戻す。
[flowchart]
Hereinafter, the processing performed by the bird's-eye view
(Overhead video processing device 1)
FIG. 6 is a flowchart showing a processing procedure in the bird's-eye view
First, the
Next, the bird's-eye view
Then, the composite bird's-eye view image generation unit 13 synthesizes each bird's-eye view image generated in step S102 to generate one composite bird's-eye view image (S103).
After that, the
After that, the bird's-eye view
（異常検出サーバ２）
図７は、第１実施形態で用いられる異常検出サーバ２における処理手順を示すフローチャートである。
まず、情報受信部２１は、各カメラ４からカメラ映像を取得する（Ｓ２０１）。
そして、異常検出処理部２２は、カメラ映像中に異常を検出したか否かを判定する（Ｓ２０２）。異常とは、カメラ映像のフレーム間差分を基に所定範囲外の速度で走っている物体があるか否か、逆方向に走行している物体があるか否か、大きさが所定の大きさより小さい移動物体（人等）があるか否かである。
(Abnormality detection server 2)
FIG. 7 is a flowchart showing a processing procedure in the abnormality detection server 2 used in the first embodiment.
First, the
Then, the abnormality
ステップＳ２０２の結果、異常を検出しない場合（Ｓ２０２→Ｎｏ）、異常検出サーバ２はステップＳ２０１へ処理を戻す。
ステップＳ２０２の結果、異常を検出した場合（Ｓ２０２→Ｙｅｓ）、異常検出処理部２２は異常を検出したカメラ映像から異常情報を抽出する（Ｓ２０３）。異常情報とは、異常を検出したカメラ４のカメラ番号、異常を検出した映像範囲の座標情報等である。
その後、情報送信部２３は抽出した異常情報を映像サーバ３へ送信し（Ｓ２０４）、異常検出サーバ２はステップＳ２０１へ処理を戻す。
If no abnormality is detected as a result of step S202 (S202 → No), the abnormality detection server 2 returns the process to step S201.
When an abnormality is detected as a result of step S202 (S202 → Yes), the abnormality
After that, the
（映像サーバ３）
図８は、第１実施形態で用いられる映像サーバ３における処理手順を示すフローチャートである。
まず、映像サーバ３の情報受信部３１が、俯瞰映像処理装置１から合成俯瞰映像を受信する（Ｓ３０１）。
そして、判定処理部３２は、異常検出サーバ２から異常情報を受信したか否かを判定する（Ｓ３０２）。
ステップＳ３０２の結果、異常情報を受信した場合（Ｓ３０２→Ｙｅｓ)、映像処理部３３は、異常を検出された物体（異常物体）の合成俯瞰映像上の位置を算出する（Ｓ３０３）。すなわち、映像処理部３３は、異常情報に含まれるカメラ番号や、異常検出した映像範囲の座標情報を基に、異常を検出された物体が合成俯瞰映像のどこに相当するか（合成俯瞰映像上の位置）を算出する。
そして、映像処理部３３は、ステップＳ３０３で算出した映像範囲を強調表示した表示用映像を生成する（Ｓ３０４）。
(Video server 3)
FIG. 8 is a flowchart showing a processing procedure in the
First, the
Then, the
When the abnormality information is received as a result of step S302 (S302 → Yes), the
Then, the
一方、ステップＳ３０２の結果、異常情報を受信していない場合（Ｓ３０２→Ｎｏ）、映像処理部３３は合成俯瞰映像をそのまま表示用映像とすることで表示用映像を生成する（Ｓ３０５）。
そして、情報送信部３４が表示用映像を管制サーバ６へ送信し、映像サーバ３はステップＳ３０１へ処理を戻す。
On the other hand, when the abnormality information is not received as a result of step S302 (S302 → No), the
Then, the
管制サーバ６は、モニタ６１に送信された表示用映像を表示する。
The
これまでの監視支援システムは、カメラ映像が単に表示されているだけであるため、写っている映像が料金所Ｔのどの部分なのかを把握することが難しい。このため、異常発生が料金所Ｔのどこで発生しているのかを、監視員が特定することが困難である。
第１実施形態の監視支援システムＺでは、図６に示すように、料金所Ｔのすべてを上方から俯瞰した映像で監視を行うことができるため、異常発生が料金所Ｔのどこで発生しているのかを容易に把握することができる。
In the conventional monitoring support system, since the camera image is simply displayed, it is difficult to grasp which part of the tollhouse T the image is shown. For this reason, it is difficult for the observer to identify where the abnormality occurs at the tollhouse T.
In the monitoring support system Z of the first embodiment, as shown in FIG. 6, since it is possible to monitor the entire tollhouse T with a bird's-eye view from above, an abnormality occurs anywhere in the tollhouse T. Can be easily grasped.
また、合成俯瞰映像に異常発生物体を枠線Ｍ（図４参照）等の強調表示することにより、異常発生が料金所Ｔのどこで発生しているのかを容易に把握することができる。
このようにすることで、料金所Ｔ（道路施設）の監視を効率的に行うことができる。
すなわち、第１実施形態の監視支援システムＺによれば、監視員が、料金所Ｔにおける異常発生や、異常の発生位置が、正確、かつ、容易に把握できる。従って、第１実施形態の監視支援システムＺを用いることによって、その後の必要な作業への移行時間短縮等、監視業務の負荷軽減、効率化が可能となる。
Further, by highlighting the abnormal occurrence object on the composite bird's-eye view image such as the frame line M (see FIG. 4), it is possible to easily grasp where the abnormality occurrence occurs at the tollhouse T.
By doing so, the tollhouse T (road facility) can be efficiently monitored.
That is, according to the monitoring support system Z of the first embodiment, the observer can accurately and easily grasp the occurrence of an abnormality at the tollhouse T and the position where the abnormality occurs. Therefore, by using the monitoring support system Z of the first embodiment, it is possible to reduce the load of the monitoring work and improve the efficiency, such as shortening the transition time to the necessary work thereafter.
さらに、料金所Ｔに監視支援システムＺを適用することで、料金所Ｔにおける監視の効率性を向上させることができる。 Further, by applying the monitoring support system Z to the tollhouse T, the efficiency of monitoring at the tollhouse T can be improved.
≪第２実施形態≫
次に、本発明の第２実施形態として、図９に示すように、俯瞰映像処理装置１ａと、異常検出サーバ２ａとに、俯瞰映像内の各カメラ映像における表示範囲の境界（境界部）を調整する機能を追加した監視支援システムＺａについて説明する。
<< Second Embodiment >>
Next, as a second embodiment of the present invention, as shown in FIG. 9, a boundary (boundary portion) of a display range in each camera image in the bird's-eye view image is set on the bird's-eye view image processing device 1a and the abnormality detection server 2a. The monitoring support system Za with the added function to adjust will be described.
［監視支援システムＺａ］
図９は、第２実施形態で用いられる監視支援システムＺａの全体構成例を示す図である。なお、図９において、図１と同様の構成については同一の符号を付して説明を省略する。
第２実施形態に示す監視支援システムＺａの料金所Ｔａ（Ｔ１ａ〜Ｔ３ａ）では、異常物体が俯瞰映像における境界部分にある場合、異常検出サーバ２ａで抽出された異常情報が俯瞰映像処理装置１ａへ送信されている。
そして、俯瞰映像処理装置１ａは、入力された異常情報を基に俯瞰映像を生成する際の境界を移動させることで境界の調整を行う。境界の移動については後記する。
次に、第２実施形態における俯瞰映像処理装置１ａ及び異常検出サーバ２ａについて、図１に示す構成と異なる部分について説明する。映像サーバ３の構成は図１に示すものと同様である。
[Monitoring support system Za]
FIG. 9 is a diagram showing an overall configuration example of the monitoring support system Za used in the second embodiment. In FIG. 9, the same components as those in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted.
In the tollhouse Ta (T1a to T3a) of the monitoring support system Za shown in the second embodiment, when the abnormal object is at the boundary portion in the bird's-eye view image, the abnormality information extracted by the abnormality detection server 2a is sent to the bird's-eye view image processing device 1a. Has been sent.
Then, the bird's-eye view image processing device 1a adjusts the boundary by moving the boundary when generating the bird's-eye view image based on the input abnormality information. The movement of the boundary will be described later.
Next, the bird's-eye view video processing device 1a and the abnormality detection server 2a according to the second embodiment will be described with respect to parts different from the configuration shown in FIG. The configuration of the
（俯瞰映像処理装置１ａ）
俯瞰映像処理装置１ａは、判定処理部１５及び境界調整部１６を有している点が、図１に示す俯瞰映像処理装置１と異なっている。
判定処理部１５は、各種の判定を行う。
境界調整部１６は、異常検出サーバ２ａから送信された異常情報を基に俯瞰映像を生成する際の境界を移動させることで境界の調整を行う。境界の移動については後記する。
(Overview video processing device 1a)
The bird's-eye view image processing device 1a is different from the bird's-eye view
The
The
（異常検出サーバ２ａ）
異常検出サーバ２ａは、判定処理部２４を有している点が、図１に示す異常検出サーバ２と異なっている。
判定処理部２４は、各種の判定を行う。
また、異常検出処理部２２は、検出した移動物体が俯瞰映像を生成する際の境界上にあるか否かを判定等する。
(Abnormality detection server 2a)
The abnormality detection server 2a is different from the abnormality detection server 2 shown in FIG. 1 in that it has a determination processing unit 24.
The determination processing unit 24 makes various determinations.
In addition, the abnormality
［合成俯瞰映像２５１の例］
図１０〜図１３を参照して、第２実施形態で用いられる合成俯瞰映像２５１について説明する。なお、図１０及び図１３において、図４と同様、俯瞰映像２００Ａ〜２００Ｈは、図３のカメラ４Ａ〜４Ｈで撮影されるカメラ映像を基に生成されるものである。
図１０で示す合成俯瞰映像２５１ａ（２５１）は、第２実施形態で用いられる処理が行われていない状態である。図１０では、俯瞰映像２００Ａと俯瞰映像２００Ｂの境界位置２０２において、車両２０３が異常停止している例を示している。この車両２０３は、センターライン上で停止しているため異常物体として検出されたものである。
[Example of composite bird's-eye view video 251]
The composite bird's-
The composite bird's-
第１実施形態に示す処理では、図１０の合成俯瞰映像２５１ａのように、境界位置２０２の物体の高さ方向情報が欠落するという欠点がある。このため、一見すると歪な形状の車両が停止しているように見える。車両２０３のように、歪な形状で物体が表示されると監視者が違和感を覚えてしまうため好ましくない。
なお、境界２０２ａについては後記する。
The process shown in the first embodiment has a drawback that the height direction information of the object at the
The
このことを、図１１及び図１２を参照して説明する。適宜、図１０を参照する。
図１１に示す映像Ｂ１は、図３のカメラ４Ｂによって撮影されたカメラ映像の模式例であり、図１２に示す映像Ｂ２は、図３のカメラ４Ａによって撮影されたカメラ映像の模式例である。なお、図１１及び図１２に示す映像Ｂ１，Ｂ２では、図を簡単にするため、車両の真横が写っているものとしているが、実際には車両を斜め上から写した映像となっている。
This will be described with reference to FIGS. 11 and 12. Refer to FIG. 10 as appropriate.
The image B1 shown in FIG. 11 is a schematic example of the camera image taken by the
境界が移動されない場合（第１実施形態の手法）、俯瞰映像生成部１２は、境界Ｌ１１，Ｌ１２で映像Ｂ１及び映像Ｂ２をそれぞれ切った映像（ドットで示す部分）を合わせることで合成俯瞰映像２５１ａを生成する。そのため、合成俯瞰映像２５１ａでは、図１０の符号２０３のように車両（物体）の所定部分が切れた映像となってしまう。このため、図１０の車両２０３のように歪な形状で物体が表示されてしまう。
When the boundary is not moved (the method of the first embodiment), the bird's-eye view
そこで、第２実施形態では、俯瞰映像生成部１２が、映像Ｂ２の境界Ｌ１２を境界Ｌ２２へ移動する。すなわち、俯瞰映像生成部１２は、異常物体の全体が入るよう境界Ｌ１２を境界Ｌ２２へ移動する。そして、この移動に伴い、俯瞰映像生成部１２は、映像Ｂ１の境界Ｌ１１を境界Ｌ２１へ移動する。そして、俯瞰映像生成部１２は、境界の移動に伴って生成される、図１１及び図１２における斜線部分の映像を基に俯瞰映像を生成し、さらに合成俯瞰映像２５１を生成する。このようにすることで、車両の映像が切れることなく、俯瞰映像２００を接続して合成俯瞰映像２５１を生成することができる。
Therefore, in the second embodiment, the bird's-eye view
このような境界が移動された俯瞰映像を用いて生成された合成俯瞰映像２５１ｂを図１３に示す。
図１３の合成俯瞰映像２５１ｂでは、俯瞰映像２００Ａ及び俯瞰映像２００Ｂの境界２０２が紙面上方向に移動している。境界の移動は、後記するように異常検出サーバ２から送信される異常情報を基に行われる。つまり、図１２の映像Ｂ２の境界Ｌ１２を境界Ｌ２２へ移動し、図１１の映像Ｂ１の境界Ｌ１１を境界Ｌ２１へ移動する処理と同様に、境界２０２を移動する。このようにすることで、図１１及び図１２に示すように、車両（物体）の映像が切れることなく俯瞰映像２００が接続される。
このようにすることで、符号２０３ａに示すように、物体（車両）の形状の歪みを低くして表示することができる。
なお、境界２０２は、紙面上方だけでなく、紙面下方に移動してもよい。あるいは、図１０の俯瞰映像２００Ｅ，２００Ｆと、俯瞰映像２００Ｃの境界２０２ａが図１０の紙面左右方向に移動することも可能である。
FIG. 13 shows a composite bird's-
In the composite bird's-
By doing so, as shown by
The
［フローチャート］
以下、俯瞰映像処理装置１ａ、異常検出サーバ２ａで行われる処理を説明する。各フローチャートの説明では、図９を適宜参照する。
（俯瞰映像処理装置１ａ）
図１４は、第２実施形態で用いられる俯瞰映像処理装置１ａの処理手順を示すフローチャートである。
なお、図１４において、図６と同様の処理については同一のステップ番号を付して説明を省略する。
[flowchart]
Hereinafter, the processing performed by the bird's-eye view video processing device 1a and the abnormality detection server 2a will be described. In the description of each flowchart, FIG. 9 will be referred to as appropriate.
(Overview video processing device 1a)
FIG. 14 is a flowchart showing a processing procedure of the bird's-eye view video processing device 1a used in the second embodiment.
In FIG. 14, the same processing as in FIG. 6 is assigned the same step number and the description thereof will be omitted.
ステップＳ１０１におけるカメラ映像の取得後、判定処理部１５は異常検出サーバ２ａから境界移動情報を受信したか否かを判定する（Ｓ１１１）。境界移動情報は、異常検出サーバ２ａは、カメラ映像の境界部分において異常を検出すると、抽出した異常情報を基に、カメラ映像における境界の移動方向・距離を境界移動情報として俯瞰映像処理装置１ａへ送信する。この処理については、図１５で後記する。
ステップＳ１１１の結果、境界移動情報を受信していない場合（Ｓ１１１→Ｎｏ）、俯瞰映像処理装置１ａはステップＳ１０２へ処理を進める。
After acquiring the camera image in step S101, the
If the boundary movement information is not received as a result of step S111 (S111 → No), the bird's-eye view video processing device 1a proceeds to step S102.
ステップＳ１１１の結果、境界移動情報を受信している場合（Ｓ１１１→Ｙｅｓ）、俯瞰映像生成部１２は、境界移動情報に従って、境界移動対象のカメラ映像の境界を移動させる（Ｓ１１２）。
When the boundary movement information is received as a result of step S111 (S111 → Yes), the bird's-eye view
そして、俯瞰映像生成部１２は境界を移動させたカメラ映像を含む各カメラ映像から俯瞰映像を生成する（Ｓ１０２）。以降の処理は図６のステップＳ１０３，Ｓ１０４と同じである。
Then, the bird's-eye view
（異常検出サーバ２ａ）
図１５は、第２実施形態で用いられる異常検出サーバ２ａの処理手順を示すフローチャートである。
なお、図１５において、図７と同様の処理については同一のステップ番号を付して説明を省略する。
ステップＳ２０３で異常情報を抽出した後、異常検出処理部２２は異常を検出した映像範囲が、カメラ映像の境界上にあるか否かを判定する（Ｓ２１１）。なお、異常検出サーバ２ａは、カメラ映像のどこが境界となるかを俯瞰映像処理装置１と共有している。
ステップＳ２１１の結果、異常を検出した映像範囲が、境界にない場合（Ｓ２１１→Ｎｏ）、異常検出サーバ２ａは、ステップＳ２０３及びステップＳ２０４の処理を行う。
ステップＳ２１１の結果、異常を検出した映像範囲が、境界にある場合（Ｓ２１１→Ｙｅｓ）、異常検出処理部２２は、カメラ映像における異常範囲の面積（サイズ）を、異常を検出しているカメラ映像毎に算出する（Ｓ２１２）。
そして、異常検出処理部２２は、異常を検出しているカメラ映像のうち、どのカメラ映像における異常範囲が最も大きいかを特定する（Ｓ２１３）。ここで特定されるカメラ映像は、図１２の映像Ｂ２に相当するものである。
(Abnormality detection server 2a)
FIG. 15 is a flowchart showing a processing procedure of the abnormality detection server 2a used in the second embodiment.
In FIG. 15, the same process as in FIG. 7 is assigned the same step number and the description thereof will be omitted.
After extracting the abnormality information in step S203, the abnormality
If the video range in which the abnormality is detected does not exist at the boundary as a result of step S211 (S211 → No), the abnormality detection server 2a performs the processes of steps S203 and S204.
As a result of step S211 when the image range in which the abnormality is detected is at the boundary (S211 → Yes), the abnormality
Then, the abnormality
続いて、異常検出処理部２２は、ステップＳ２１３で特定したカメラ映像の情報と、ステップＳ２１２で算出した異常範囲の面積とを基に、境界移動方向・距離を算出する（Ｓ２１４）。すなわち、異常検出処理部２２は、どのカメラ映像において、境界をどの方向にどの程度移動させるかを判定する。境界の移動距離は、ステップＳ２１３で特定したカメラ映像において、異常を示す物体の全体が含まれるような距離である。従って、境界の移動距離は、異常物体の大きさに応じた距離となる。また、異常検出処理部２２は、異常を示す物体が写っているが、ステップＳ２１３で特定されたカメラ映像（図１２の映像Ｂ２）ではないカメラ映像（図１１の映像Ｂ１）についても、境界の移動方向・距離を算出する。
Subsequently, the abnormality
続いて、情報送信部２３が、境界移動情報を俯瞰映像処理装置１ａへ送信する（Ｓ２１５）。境界移動情報は、境界を移動させたカメラ映像に相当するカメラ番号、カメラ映像のどの方向にどの程度境界を移動させたかを含む情報である。
Subsequently, the
そして、異常検出処理部２２は、境界移動情報に従って、境界移動対象となるカメラ映像の境界を移動させた上で、異常情報を再抽出する（Ｓ２１６）。
そして、情報送信部２３は、ステップＳ２１６が実行された場合、ステップＳ２１６で再抽出された異常情報を含む異常情報を映像サーバ３へ送信し（Ｓ２０４）、異常検出サーバ２ａはステップＳ２０１へ処理を戻す。
Then, the abnormality
Then, when step S216 is executed, the
なお、すべてのカメラ４に予め優先順位を付しておいてもよい。この場合、図１５のステップＳ２１２の処理を省略することで、異常範囲の面積の大きさに関係なく、優先順位の大きいカメラ映像の境界を移動させるようにしてもよい。
このように、第２実施形態によれば、俯瞰映像の境界に物体が存在していても、その物体の形状の歪度を低くして表示することができる。
It should be noted that all the
As described above, according to the second embodiment, even if an object exists at the boundary of the bird's-eye view image, the skewness of the shape of the object can be reduced and displayed.
なお、特許文献２にも、俯瞰映像を生成する際に境界領域に障害物が存在している場合における俯瞰映像の合成方法が記載されている。しかしながら、特許文献２では、境界領域に相当する箇所にソナーを配置し、そのソナーによって障害物を検出している。そして、障害物を検出すると、カメラ映像の境界が一定距離移動される。 In addition, Patent Document 2 also describes a method of synthesizing a bird's-eye view image when an obstacle exists in a boundary region when generating a bird's-eye view image. However, in Patent Document 2, a sonar is arranged at a position corresponding to a boundary region, and an obstacle is detected by the sonar. Then, when an obstacle is detected, the boundary of the camera image is moved by a certain distance.
また、道路施設上にソナーを設置することは、自律運転等の関連から好ましくない。
第２実施形態では、そのようなソナーを不要としている。
In addition, installing sonar on road facilities is not preferable because of autonomous driving and the like.
In the second embodiment, such sonar is unnecessary.
また、特許文献２に記載の技術のように、ソナーで障害物を検出すると、その障害物が、どのような距離にあるのかを検出することができるが、どのような物体で、どのくらいの大きさであるのかがわからない。そのため、特許文献２に記載の技術は、監視に不向きであり、また、どのくらい境界を移動させればよいかもわからない。そのため、境界の移動距離は一定の距離である。 Further, as in the technique described in Patent Document 2, when an obstacle is detected by sonar, it is possible to detect what kind of distance the obstacle is at, but what kind of object and how large it is. I don't know if it is. Therefore, the technique described in Patent Document 2 is unsuitable for monitoring, and it is not known how much the boundary should be moved. Therefore, the moving distance of the boundary is a constant distance.
第２実施形態の監視支援システムＺａは、異常物体がどのような物体であるのかを監視員が容易に特定できるのみならず、物体の大きさ等に応じて、境界を移動させることができる。一般に、俯瞰映像をカメラ映像から生成する場合、広角カメラが用いられるため、境界を大きく移動させればさせるほど、俯瞰生成時の映像の歪みが大きくなってしまう。第２実施形態の監視支援システムＺａは、物体の大きさ等に応じて、境界を移動させるため、俯瞰生成時の映像の歪みを最小限に抑えることができる。 In the monitoring support system Za of the second embodiment, not only the observer can easily identify what kind of object the abnormal object is, but also the boundary can be moved according to the size of the object and the like. Generally, when a bird's-eye view image is generated from a camera image, a wide-angle camera is used. Therefore, the larger the boundary is moved, the greater the distortion of the image at the time of generating the bird's-eye view. Since the monitoring support system Za of the second embodiment moves the boundary according to the size of the object and the like, distortion of the image at the time of generating the bird's-eye view can be minimized.
≪第３実施形態≫
次に、第３実施形態として、図１６に示すように、人感センサや、火災報知機等のセンサ（センサ部）７が設置された監視支援システムＺｂについて説明する。
<< Third Embodiment >>
Next, as a third embodiment, as shown in FIG. 16, a monitoring support system Zb in which a motion sensor and a sensor (sensor unit) 7 such as a fire alarm are installed will be described.
（監視支援システムＺｂ）
図１６は、第３実施形態で用いられる監視支援システムＺｂの全体構成例を示す構成図である。
図１６において、図９と同様の構成については同一の符号を付して、説明を省略する。
図１６に示されるように、監視支援システムＺｂにおける料金所Ｔｂ（Ｔ１ｂ〜Ｔ３ｂ）は、図９に示す監視支援システムＺａの構成に対して、複数のセンサ７が追加された構成である。なお、ここでは、図９に示す監視支援システムＺａの構成に対してセンサ７を追加した例を示すが、図１に示す監視支援システムＺにセンサ７を追加しても、機能的には同義である。
次に、第３実施形態における異常検出サーバ２ｂについて、図９に示す構成と異なる部分について説明する。俯瞰映像処理装置１ａ及び映像サーバ３の構成は図９に示すものと同様である。
(Monitoring support system Zb)
FIG. 16 is a configuration diagram showing an overall configuration example of the monitoring support system Zb used in the third embodiment.
In FIG. 16, the same components as those in FIG. 9 are designated by the same reference numerals, and the description thereof will be omitted.
As shown in FIG. 16, the tollhouses Tb (T1b to T3b) in the monitoring support system Zb have a configuration in which a plurality of sensors 7 are added to the configuration of the monitoring support system Za shown in FIG. Here, an example in which the sensor 7 is added to the configuration of the monitoring support system Za shown in FIG. 9 is shown, but even if the sensor 7 is added to the monitoring support system Z shown in FIG. 1, it is functionally synonymous. Is.
Next, the abnormality detection server 2b according to the third embodiment will be described with reference to a portion different from the configuration shown in FIG. The configurations of the bird's-eye view video processing device 1a and the
（異常検出サーバ２ｂ）
異常検出サーバ２ｂは、センサ判定処理部２５を有している点が、図９に示す異常検出サーバ２ａと異なっている。
センサ判定処理部２５は、各センサ７の値が異常であるか否かを監視等する。
(Abnormality detection server 2b)
The abnormality detection server 2b is different from the abnormality detection server 2a shown in FIG. 9 in that it has a sensor
The sensor
第１実施形態及び第２実施形態では、異常検出処理が、複数台のカメラ４からのカメラ映像に基づいて行われている。第３実施形態では、第１実施形態及び第２実施形態による異常検出に加えて、センサ７による検出結果が追加される。
センサ７とは、具体的には、赤外線を利用した人感センサや、火災報知機や、磁気を利用した車両検知センサ等といった公知のセンサである。車両検知センサとして、ＥＴＣに搭載されているセンサが利用されてもよい。
どのようなセンサ７を用いるかは、検出する物体や事象により異なる。このようにセンサ７を追加することにより、移動物体や異常状況の検出の精度が向上する。
In the first embodiment and the second embodiment, the abnormality detection process is performed based on the camera images from the plurality of
Specifically, the sensor 7 is a known sensor such as a motion sensor using infrared rays, a fire alarm, a vehicle detection sensor using magnetism, and the like. As the vehicle detection sensor, a sensor mounted on the ETC may be used.
What kind of sensor 7 is used depends on the object or event to be detected. By adding the sensor 7 in this way, the accuracy of detecting a moving object or an abnormal situation is improved.
［フローチャート］
以下、異常検出サーバ２ｂ、映像サーバ３で行われる処理を説明する。各フローチャートの説明では、図１６を適宜参照する。
（異常検出サーバ２ｂ）
図１７は、第３実施形態で用いられる異常検出サーバ２ｂの処理手順を示すフローチャートである。
なお、図１７について、図１５と同様の処理については、同一のステップ番号を付して説明を省略する。
ステップＳ２０４の後、センサ判定処理部２５は、センサ７による異常（センサ異常値）を検出したか否かを判定する（Ｓ２２１）。
ステップＳ２２１の結果、センサ７による異常を検出していない場合（Ｓ２２１→Ｎｏ）、異常検出サーバ２は、ステップＳ２０１へ処理を戻す。
[flowchart]
Hereinafter, the processing performed by the abnormality detection server 2b and the
(Abnormality detection server 2b)
FIG. 17 is a flowchart showing a processing procedure of the abnormality detection server 2b used in the third embodiment.
Regarding FIG. 17, the same processing as that of FIG. 15 is assigned the same step number and the description thereof will be omitted.
After step S204, the sensor
If the error detected by the sensor 7 is not detected as a result of step S221 (S221 → No), the abnormality detection server 2 returns the process to step S201.
ステップＳ２２１の結果、センサ７による異常を検出した場合（Ｓ２２１→Ｙｅｓ）、情報送信部２３は、異常を検出したセンサ７の番号であるセンサ番号を映像サーバ３へ送信する（Ｓ２２２）。そして、異常検出サーバ２はステップＳ２０１へ処理を戻す。
When an abnormality is detected by the sensor 7 as a result of step S221 (S221 → Yes), the
なお、ステップＳ２２１及びステップＳ２２２が実行されるタイミングは、図１７に示すタイミングに限らず、ステップＳ２０１〜ステップＳ２０４の間のどのタイミングで行われてもよい。 The timing at which steps S221 and S222 are executed is not limited to the timing shown in FIG. 17, and may be executed at any timing between steps S201 and S204.
（映像サーバ３）
図１８は、第３実施形態で用いられる映像サーバ３の処理手順を支援すフローチャートである。
なお、図１８について、図８と同様の処理については、同一の符号を付して説明を省略する。
ステップＳ３０４及びステップＳ３０５の後、判定処理部３２は図１７のステップＳ２２２で送信されたセンサ番号を受信したか否かを判定する（Ｓ３１１）。
ステップＳ３１１の結果、センサ番号を受信していない場合（Ｓ３１１→Ｎｏ）、映像サーバ３はステップＳ３０１へ処理を戻す。
(Video server 3)
FIG. 18 is a flowchart that supports the processing procedure of the
Regarding FIG. 18, the same processing as that of FIG. 8 is designated by the same reference numerals and the description thereof will be omitted.
After step S304 and step S305, the
If the sensor number is not received as a result of step S311 (S311 → No), the
ステップＳ３１１の結果、センサ番号を受信した場合（Ｓ３１１→Ｙｅｓ）、映像処理部３３は、合成俯瞰映像において受信したセンサ番号に相当する箇所にセンサ警告表示を表示した表示用映像を生成する（Ｓ３１２）。
そして、映像サーバ３はステップＳ３０１へ処理を戻す。
When the sensor number is received as a result of step S311 (S311 → Yes), the
Then, the
（画面例）
図１９は、第５実施形態で用いられる監視支援システムＺｂにおける表示用映像２０１ｄを示す図である。
図１９において、図１３と同様の要素については、図１３と同一の符号を付して説明を省略する。
図１９に示す表示用映像２０１ｄでは、異常物体を示す枠線Ｍ２の他に、人がいることを示すセンサ警告表示３０１と、火災が発生していることを示すセンサ警告表示３０２が表示されている。
センサ警告表示３０１で示される人がいることを示す警告表示は人感センサによって検出される異常である。また、センサ警告表示３０１における火災が発生していることを示す警告表示は火災報知機によって検出される異常である。映像サーバ３には、センサ７の種類と、警告表示のパターンとをひも付けて記憶していることで、図１９に示すように、警告内容に合わせた警告表示が可能となる。
(Screen example)
FIG. 19 is a diagram showing a display image 201d in the monitoring support system Zb used in the fifth embodiment.
In FIG. 19, the same elements as those in FIG. 13 are designated by the same reference numerals as those in FIG. 13, and the description thereof will be omitted.
In the display image 201d shown in FIG. 19, in addition to the frame line M2 indicating an abnormal object, a sensor warning display 301 indicating that there is a person and a sensor warning display 302 indicating that a fire has occurred are displayed. There is.
The warning display indicating that there is a person indicated by the sensor warning display 301 is an abnormality detected by the motion sensor. Further, the warning display on the sensor warning display 301 indicating that a fire has occurred is an abnormality detected by the fire alarm. By storing the type of the sensor 7 and the warning display pattern in the
第３実施形態の監視支援システムＺｂは、映像による監視だけでなく、センサ７による監視もできるため、監視精度を向上させることができる。 Since the monitoring support system Zb of the third embodiment can be monitored not only by video but also by the sensor 7, the monitoring accuracy can be improved.
なお、例えば、火災報知機に備えられている温度センサで検出される温度が高いほど、センサ警告表示３０１を赤く表示させる等といったように、センサ７の出力値に応じた表示が行われてもよい。 It should be noted that even if the display according to the output value of the sensor 7 is performed, for example, the higher the temperature detected by the temperature sensor provided in the fire alarm, the redr the sensor warning display 301 is displayed. good.
例えば、本実施形態では、高速道路の料金所Ｔ，Ｔａ，Ｔｂに適用されている例を示しているが、高速道路の本線や、サービスエリアや、パーキングエリア、ガソリンスタンド等といった道路施設に適用することができる。 For example, in the present embodiment, an example applied to tollhouses T, Ta, Tb of an expressway is shown, but it is applied to a road facility such as a main line of an expressway, a service area, a parking area, a gas station, and the like. can do.
本発明は前記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を有するものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 The present invention is not limited to the above-described embodiment, and includes various modifications. For example, the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to those having all the described configurations. Further, it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. Further, it is possible to add / delete / replace a part of the configuration of each embodiment with another configuration.
俯瞰映像処理装置１（１ａ）、異常検出サーバ２（２ａ，２ｂ）、映像サーバ３は、いずれか２つを１つの装置としてもよい。あるいは、俯瞰映像処理装置１（１ａ）、異常検出サーバ２（２ａ，２ｂ）、映像サーバ３が１つの装置にまとめられてもよい。
Any two of the bird's-eye view video processing device 1 (1a), the abnormality detection server 2 (2a, 2b), and the
また、本実施形態では、枠線で異常物体を囲むことで強調表示を行っているが、枠線に限らない。また、異常物体が検出された場合、異常物体が強調表示されるとともに、警報音等を発することで監視員に異常物体が検出されたことを報知してもよい。 Further, in the present embodiment, the highlighting is performed by surrounding the abnormal object with a frame line, but the highlighting is not limited to the frame line. Further, when an abnormal object is detected, the abnormal object may be highlighted and an alarm sound or the like may be emitted to notify the observer that the abnormal object has been detected.
また、映像サーバ３が管制室Ｃに設置されていたり、管制サーバ６が映像サーバ３の機能を有していたりしてもよい。
また、モニタ６１は、スマートフォンや、タブレット端末等の携帯端末であってもよい。
Further, the
Further, the
また、前記した各構成、機能、各部１１〜１６，２１〜２５，３１〜３４、記憶装置１０３等は、それらの一部又はすべてを、例えば集積回路で設計すること等によりハードウェアで実現してもよい。また、図５に示すように、前記した各構成、機能等は、ＣＰＵ１０２等のプロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、ＨＤ（Hard Disk）に格納すること以外に、メモリ１０１や、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＩＣ（Integrated Circuit）カードや、ＳＤ（Secure Digital）カード、ＤＶＤ（Digital Versatile Disc）等の記録媒体に格納することができる。
また、各実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には、ほとんどすべての構成が相互に接続されていると考えてよい。
Further, each configuration, function, each part 11-16, 21-25, 31-34,
Further, in each embodiment, the control lines and information lines are shown as necessary for explanation, and not all the control lines and information lines are necessarily shown in the product. In practice, almost all configurations can be considered interconnected.
１，１ａ 俯瞰映像処理装置
２，２ａ，２ｂ 異常検出サーバ
３ 映像サーバ
４，４Ａ〜４Ｈ カメラ（撮像部）
６ 管制サーバ
７ センサ（センサ部）
１１ 情報受信部
１２ 俯瞰映像生成部
１３ 合成俯瞰映像生成部
１４ 情報送信部
１５ 判定処理部
１６ 境界調整部
２１ 情報受信部
２２ 異常検出処理部
２３ 情報送信部
２４ 判定処理部
３１ 情報受信部
３２ 判定処理部
３３ 映像処理部
３４ 情報送信部
６１，６１ａ〜６１ｃ モニタ（表示部）
２００，２００Ａ〜２００Ｈ 俯瞰映像
２０１，２０１ａ〜２０１ｄ 表示用映像
２０２，Ｌ１１，Ｌ１２，Ｌ２１，Ｌ２２ 境界（境界部）
２５１，２５１ａ，２５１ｂ 合成俯瞰映像
３０１，３０１ センサ警告表示
Ｍ 枠線（強調表示）
Ｔ，Ｔ１〜Ｔ３，Ｔａ，Ｔ１ａ〜Ｔ３ａ，Ｔｂ，Ｔ１ｂ〜Ｔ３ｂ 料金所（道路施設）
Ｚ，Ｚａ，Ｚｂ 監視支援システム
1,1a bird's-eye view video processing device 2,2a, 2b
6 Control server 7 Sensor (sensor part)
11
200, 200A to 200H bird's-
251,251a, 251b Composite bird's-eye view image 301,301 Sensor warning display M Border (highlighted)
T, T1-T3, Ta, T1a-T3a, Tb, T1b-T3b Tollhouse (road facility)
Z, Za, Zb monitoring support system
Claims (7)
前記複数の撮像部それぞれで撮像された撮像映像から俯瞰映像を生成する俯瞰映像生成部と、
前記俯瞰映像生成部で生成された前記俯瞰映像を接続することで、前記料金所の全体が連続した、１つの料金所映像となるよう合成することで合成俯瞰映像を生成する合成俯瞰映像生成部と、
前記複数の撮像部で撮像された前記撮像映像から前記料金所の周辺の道路上に存在する物体を原因とする異常状態を検出する異常検出処理部と、
前記合成俯瞰映像中に表示されている、前記異常状態の原因として検出された前記物体を前記合成俯瞰映像中において強調表示する映像処理部と、
温度センサ部を備える火災報知器と、
を有し、
前記映像処理部は、前記温度センサ部によって火災を検出した場合、前記料金所における当該火災を検出した前記温度センサ部の設置位置に対応させて、火災情報を前記合成俯瞰映像に表示するとともに、前記温度センサ部で検出される温度が高いほど、前記合成俯瞰映像に表示される前記火災情報を赤く表示する
ことを特徴とする監視支援システム。 A plurality of image pickup units are installed at a tollhouse on a road, and images captured by the adjacent image pickup units are overlapped with images captured by the other image pickup units, and the plurality of image pickup units are overlapped with each other. The image pickup unit is installed so that the entire tollhouse can be imaged.
A bird's-eye view image generation unit that generates a bird's-eye view image from the captured images captured by each of the plurality of imaging units, and a bird's-eye view image generation unit.
A composite bird's-eye view image generation unit that generates a composite bird's-eye view image by connecting the bird's-eye view video generated by the bird's-eye view image generation unit so that the entire tollhouse becomes one continuous tollhouse image. When,
An abnormality detection processing unit that detects an abnormal state caused by an object existing on the road around the tollhouse from the captured images captured by the plurality of imaging units.
An image processing unit that highlights the object detected as the cause of the abnormal state displayed in the composite bird's-eye view image in the composite bird's-eye view image.
A fire alarm equipped with a temperature sensor and
Have a,
When the temperature sensor unit detects a fire, the image processing unit displays fire information on the composite bird's-eye view image in correspondence with the installation position of the temperature sensor unit that detected the fire at the toll booth. The higher the temperature detected by the temperature sensor unit, the more the fire information displayed in the composite bird's-eye view image is displayed in red.
Monitoring support system comprising a call.
を有することを特徴とする請求項１に記載の監視支援システム。 The monitoring support according to claim 1, wherein when the object in which the abnormal state is detected exists at a boundary portion for generating the bird's-eye view image, the object has a boundary adjusting portion for moving the boundary portion. system.
前記境界部に存在している前記物体の面積・サイズを、前記物体が存在する、それぞれの前記撮像映像において算出し、所定の撮像映像において、前記物体の全体が写るよう、境界部を移動する
ことを特徴とする請求項２に記載の監視支援システム。 The boundary adjusting unit is
The area and size of the object existing at the boundary portion are calculated in each of the captured images in which the object exists, and the boundary portion is moved so that the entire object is captured in the predetermined captured image. The monitoring support system according to claim 2, wherein the monitoring support system is characterized in that.
を有することを特徴とする請求項１から請求項３のいずれか一項に記載の監視支援システム。 Claims 1 to 3 , wherein the tollhouse has a display unit that displays an image generated by the image processing unit based on the captured images taken at the plurality of tollhouses. The monitoring support system described in any one of the items.
前記複数の撮像部それぞれで撮像された撮像映像から俯瞰映像を生成し、
生成された前記俯瞰映像を接続することで、前記料金所の全体が連続した、１つの料金所映像となるよう合成することで合成俯瞰映像を生成し、
前記複数の撮像部で撮像された前記撮像映像から前記料金所の周辺の道路上に存在する物体を原因とする異常状態を検出し、
前記合成俯瞰映像中に表示されている、前記異常状態の原因として検出された前記物体を前記合成俯瞰映像中において強調表示するとともに、火災報知器に備えられている温度センサ部によって火災を検出した場合、前記料金所における当該火災を検出した前記温度センサ部の設置位置に対応させて、火災情報を前記合成俯瞰映像に表示し、
前記温度センサ部で検出される温度が高いほど、前記合成俯瞰映像に表示される前記火災情報を赤く表示する
ことを特徴とする監視支援方法。 A plurality of image pickup units are installed at a tollhouse on a road, and images captured by the adjacent image pickup units are overlapped with images captured by the other image pickup units, and the plurality of image pickup units are overlapped with each other. The monitoring support system installed so that the entire tollhouse can be imaged by the imaging unit
A bird's-eye view image is generated from the captured images captured by each of the plurality of imaging units.
By connecting the generated bird's-eye view video, a composite bird's-eye view video is generated by synthesizing the entire tollhouse so that it becomes one continuous tollhouse video.
An abnormal state caused by an object existing on the road around the tollhouse is detected from the captured images captured by the plurality of imaging units.
The object detected as the cause of the abnormal state displayed in the composite bird's-eye view image is highlighted in the composite bird's-eye view image, and a fire is detected by the temperature sensor unit provided in the fire alarm. In this case, the fire information is displayed on the composite bird's-eye view image in correspondence with the installation position of the temperature sensor unit that detected the fire at the toll booth.
A monitoring support method characterized in that the higher the temperature detected by the temperature sensor unit, the more the fire information displayed in the composite bird's-eye view image is displayed in red.
前記異常状態を検出された前記物体が、前記俯瞰映像を生成するための境界部に存在する場合、前記境界部を移動する
ことを特徴とする請求項５に記載の監視支援方法。 The monitoring support system
The monitoring support method according to claim 5 , wherein when the object in which the abnormal state is detected exists at the boundary portion for generating the bird's-eye view image, the object moves at the boundary portion.
前記境界部に存在している前記物体の面積・サイズを、前記物体が存在する、それぞれの前記撮像映像において算出し、所定の撮像映像において、前記物体の全体が写るよう、境界部を移動する
ことを特徴とする請求項６に記載の監視支援方法。 The monitoring support system
The area and size of the object existing at the boundary portion are calculated in each of the captured images in which the object exists, and the boundary portion is moved so that the entire object is captured in the predetermined captured image. The monitoring support method according to claim 6 , wherein the monitoring support method is characterized.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017122453A JP6920776B2 (en) | 2017-06-22 | 2017-06-22 | Monitoring support system and monitoring support method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017122453A JP6920776B2 (en) | 2017-06-22 | 2017-06-22 | Monitoring support system and monitoring support method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019008474A JP2019008474A (en) | 2019-01-17 |
| JP6920776B2 true JP6920776B2 (en) | 2021-08-18 |
Family
ID=65029059
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017122453A Active JP6920776B2 (en) | 2017-06-22 | 2017-06-22 | Monitoring support system and monitoring support method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6920776B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7140043B2 (en) * | 2019-05-07 | 2022-09-21 | 株式会社デンソー | Information processing equipment |
| JP7354649B2 (en) | 2019-07-26 | 2023-10-03 | 株式会社アイシン | Peripheral monitoring device |
| JP7422567B2 (en) * | 2020-03-09 | 2024-01-26 | 三菱電機株式会社 | Driving support system, driving support device, driving support method, and driving support program |
| CN114170301B (en) * | 2022-02-09 | 2022-05-17 | 城云科技（中国）有限公司 | Abnormal municipal facility positioning method and device and application thereof |
| JP7838499B2 (en) * | 2023-02-10 | 2026-04-01 | トヨタ自動車株式会社 | Remote support system and remote support method |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3613316B2 (en) * | 1998-08-13 | 2005-01-26 | 富士通株式会社 | Road control system and road control method |
| JP2002056381A (en) * | 2000-08-11 | 2002-02-20 | Fujitsu Ltd | Road condition image processing device |
| JP4883977B2 (en) * | 2005-10-05 | 2012-02-22 | アルパイン株式会社 | Image display device for vehicle |
| JP2007114829A (en) * | 2005-10-18 | 2007-05-10 | Mitsubishi Heavy Ind Ltd | Remote monitoring system for toll road tollgate |
| JP4786447B2 (en) * | 2006-07-20 | 2011-10-05 | パナソニック株式会社 | Image recording device for monitoring |
| JP4930432B2 (en) * | 2008-03-31 | 2012-05-16 | 三菱自動車工業株式会社 | Vehicle periphery monitoring device |
| JP5677149B2 (en) * | 2011-03-15 | 2015-02-25 | 株式会社東芝 | Lane monitoring device |
| JP5991660B2 (en) * | 2012-03-30 | 2016-09-14 | 三菱重工メカトロシステムズ株式会社 | Tollgate guidance control system, tollgate guidance control method, and tollgate guidance control program |
| US9569945B2 (en) * | 2014-12-12 | 2017-02-14 | Honeywell International Inc. | System and method for fire progress monitoring |
-
2017
- 2017-06-22 JP JP2017122453A patent/JP6920776B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019008474A (en) | 2019-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6920776B2 (en) | Monitoring support system and monitoring support method | |
| US12568313B2 (en) | Video surveillance system and video surveillance method | |
| CN113557713B (en) | Situational Awareness Monitoring | |
| EP2710801B1 (en) | Surveillance system | |
| JP6062039B2 (en) | Image processing system and image processing program | |
| JP7074164B2 (en) | Monitoring system, monitoring method and monitoring program | |
| EP3435346B1 (en) | Spectacle-type wearable terminal, and control method and control program for same | |
| JP6127659B2 (en) | Driving support device and driving support method | |
| KR101496390B1 (en) | System for Vehicle Number Detection | |
| EP3754449B1 (en) | Vehicle control method, related device, and computer storage medium | |
| KR101530255B1 (en) | Cctv system having auto tracking function of moving target | |
| JP2013168757A (en) | Video monitoring apparatus, monitoring system and monitoring system construction method | |
| KR101977635B1 (en) | Multi-camera based aerial-view 360-degree video stitching and object detection method and device | |
| JP2012103921A (en) | Passing vehicle monitoring system and vehicle monitoring camera | |
| KR20210123671A (en) | Drone blackbox system and drone monitoring action method | |
| JP2021185663A (en) | Video monitoring device, video monitoring method, and program | |
| JP5605178B2 (en) | Traffic vehicle monitoring system and vehicle monitoring camera | |
| KR20110110495A (en) | Image tracking system and image tracking method using collaboration between a plurality of shooting means | |
| KR101736431B1 (en) | System and Method for Smart Traffic Monitoring Using Multiple Image | |
| JP3758511B2 (en) | Object detection apparatus and object detection program | |
| EP4270327A1 (en) | Method for counting passengers of a public transportation system, control apparatus and computer program product | |
| JP2020036164A (en) | Image processing device | |
| JP2018192844A (en) | Monitoring device, monitoring system, monitoring program, and storage medium | |
| KR101061868B1 (en) | Monitoring system using dual surveillance camera | |
| JP2022138639A (en) | processing equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200422 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201117 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210302 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210430 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210622 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210726 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6920776 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |