JP7614994B2 - Water Quality Monitoring System - Google Patents
Water Quality Monitoring System Download PDFInfo
- Publication number
- JP7614994B2 JP7614994B2 JP2021152972A JP2021152972A JP7614994B2 JP 7614994 B2 JP7614994 B2 JP 7614994B2 JP 2021152972 A JP2021152972 A JP 2021152972A JP 2021152972 A JP2021152972 A JP 2021152972A JP 7614994 B2 JP7614994 B2 JP 7614994B2
- Authority
- JP
- Japan
- Prior art keywords
- water quality
- monitoring
- water
- learning
- surface area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- C—CHEMISTRY; METALLURGY
- C02—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F1/00—Treatment of water, waste water, or sewage
-
- C—CHEMISTRY; METALLURGY
- C02—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F1/00—Treatment of water, waste water, or sewage
- C02F1/008—Control or steering systems not provided for elsewhere in subclass C02F
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/18—Water
-
- C—CHEMISTRY; METALLURGY
- C02—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F2209/00—Controlling or monitoring parameters in water treatment
- C02F2209/11—Turbidity
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
- Y02W10/00—Technologies for wastewater treatment
- Y02W10/10—Biological treatment of water, waste water, or sewage
Landscapes
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Analytical Chemistry (AREA)
- General Health & Medical Sciences (AREA)
- Water Supply & Treatment (AREA)
- Hydrology & Water Resources (AREA)
- Organic Chemistry (AREA)
- Environmental & Geological Engineering (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Description
本発明の実施形態は、水質監視技術に関する。 Embodiments of the present invention relate to water quality monitoring technology.
水処理施設では、濁度計などの水質計を用い、処理水の異常検知(濁り検知)を行っている。水質計は、センサ部分を監視対象の水中に設置して濁度を測定するタイプや、監視対象の水面(測定液面)に光を当て、水面(液面)からの散乱光を把握することで濁度を測定するタイプがある。 Water treatment facilities use water quality meters such as turbidity meters to detect abnormalities (cloudiness) in treated water. There are two types of water quality meters: one that measures turbidity by placing the sensor part in the water being monitored, and one that measures turbidity by shining light on the surface of the water being monitored (measured liquid level) and measuring the light scattered from the water surface (liquid level).
監視カメラからの撮影画像を用いて非接触での水質監視を実現するとともに、監視対象の状態変化の影響を抑制して精度良く水質異常を検知することができる水質監視システムを提供する。 We provide a water quality monitoring system that uses images captured by a surveillance camera to achieve non-contact water quality monitoring and can accurately detect water quality abnormalities by suppressing the effects of changes in the state of the monitored object.
実施形態の水質監視システムは、物体検知モデルを用い、監視カメラから出力される水質監視対象の撮影画像から水面領域を認識し、認識された前記水面領域の状態に基づく水質異常を判定する水質異常検知部と、監視結果を出力する監視結果出力部と、水質監視対象に設けられる水質計の測定値と、前記測定値に対応する監視画像とをセットにした学習データを格納する学習データ収集部と、前記測定値に対応する所定の基準値を用いて、監視画像を2以上のグループに自動仕分けする学習データ選定部と、グループ別の監視画像群をディスプレイ装置に表示させ、自動仕分けされた監視画像に対する作業員によるグループ手動仕分け操作を受け付けるとともに、自動仕分け及び手動仕分けを経て仕分けされたグループ別の監視画像群に基づく教師データを生成する学習用教師データ生成部と、生成された前記教師データを適用して前記物体検知モデルの学習処理を行う学習処理部と、を有する。前記所定の基準値は、水質計に基づく水質監視対象の異常を示す基準値、又は水質計に基づく水質監視対象の正常を示す基準値とすることができる。 The water quality monitoring system of the embodiment includes a water quality abnormality detection unit that uses an object detection model to recognize a water surface area from a captured image of a water quality monitoring target output from a monitoring camera and determines water quality abnormality based on the state of the recognized water surface area, a monitoring result output unit that outputs the monitoring result , a learning data collection unit that stores learning data that is a set of measurement values of a water quality meter provided on the water quality monitoring target and monitoring images corresponding to the measurement values, a learning data selection unit that automatically sorts the monitoring images into two or more groups using a predetermined reference value corresponding to the measurement values, a training teacher data generation unit that displays the monitoring images by group on a display device, accepts a manual group sorting operation by an operator for the automatically sorted monitoring images, and generates teacher data based on the monitoring images by group sorted through automatic sorting and manual sorting, and a learning processing unit that performs a learning process of the object detection model by applying the generated teacher data . The predetermined reference value can be a reference value indicating an abnormality of the water quality monitoring target based on the water quality meter, or a reference value indicating a normality of the water quality monitoring target based on the water quality meter.
以下、実施形態につき、図面を参照して説明する。 The following describes the embodiment with reference to the drawings.
(第1実施形態)
図1から図7は、第1実施形態の水質監視システムを説明するための図である。
First Embodiment
1 to 7 are diagrams for explaining the water quality monitoring system of the first embodiment.
本実施形態の水質監視システムが適用される水質監視対象の一例として水処理施設の排水処理工程がある。排水処理は、様々なタイプがあるが、例えば、活性汚泥法による排水処理を例に説明すると、微生物の入った汚泥である活性汚泥が入った反応槽(曝気槽)に原水を導き、空気を送り込んでかき混ぜる。これにより、原水中の汚れを微生物が分解し、細かい汚れは微生物に付着して沈みやすいかたまりになる。そして、反応槽でできた汚泥(活性汚泥)を沈殿槽で沈殿させ、処理水(上澄み)と汚泥とに分離する。その後、分離された処理水をろ過処理し、さらに活性炭塔で残っている汚れを活性炭に吸着させ、最終中和処理(pHを中性域にする)を経て、下水道や河川に放流する。 One example of a water quality monitoring target to which the water quality monitoring system of this embodiment is applied is the wastewater treatment process of a water treatment facility. There are various types of wastewater treatment, but for example, in the case of wastewater treatment using the activated sludge method, raw water is introduced into a reaction tank (aeration tank) containing activated sludge, which is sludge containing microorganisms, and air is pumped in to stir the water. As a result, the microorganisms break down the dirt in the raw water, and fine dirt adheres to the microorganisms and becomes clumps that are easy to sink. The sludge (activated sludge) produced in the reaction tank is then settled in a settling tank and separated into treated water (supernatant) and sludge. The separated treated water is then filtered, and the remaining dirt is adsorbed by activated carbon in an activated carbon tower, and the water is discharged into a sewer or river after a final neutralization process (pH is brought to a neutral range).
沈殿槽には、水質計が設けられており、SS濃度を測定して水質を監視している。なお、SS濃度とは、水中に浮遊・分散する粒の大きさが1μm(0.001mm)~2mmの物質を懸濁物質(SS;suspendedsolids)、または浮遊物質であり、懸濁物質は水1リットルあたりに含まれる質量(mg/L)で表される。 A water quality meter is installed in the sedimentation tank to measure the SS concentration and monitor the water quality. The SS concentration refers to suspended solids (SS), or floating matter, which are substances suspended or dispersed in the water with particle sizes between 1 μm (0.001 mm) and 2 mm, and is expressed as the mass of suspended solids contained in 1 liter of water (mg/L).
しかしながら、水質計も用いた水質監視では、下記のような課題があった。センサ部分を監視対象である沈殿槽の水中に設置して測定する水質計の場合、センサ部分に汚れ(浮遊する汚泥や藻など)が付着するため清掃が必要であり、また、測定値の信頼性を確保するための校正作業も必要となる。 However, water quality monitoring using a water quality meter also poses the following challenges. In the case of water quality meters that measure by placing the sensor part underwater in the sedimentation tank being monitored, the sensor part becomes susceptible to dirt (floating sludge, algae, etc.), so cleaning is required, and calibration work is also required to ensure the reliability of the measurement values.
また、沈殿槽の水面(測定液面)に光を当て、水面(液面)からの散乱光を把握することで測定する水質計の場合、測定液表面に光を反射させるため、水の色や気泡の影響を受け、測定精度を確保することが難しい側面がある。特に、測定精度の観点において、水面が安定している必要があり、水面を安定させるために測定槽を別途設けるなどの対策を講じているが、排水中に存在する有機物やスケール成分が測定槽壁面に付着し光学式の計測を阻害するため、当該測定槽のメンテナンスが必要となってしまう。 In addition, in the case of water quality meters that measure by shining light on the water surface (measurement liquid surface) in a settling tank and measuring by capturing the scattered light from the water surface (liquid surface), since the light is reflected on the surface of the measurement liquid, it is affected by the color of the water and air bubbles, making it difficult to ensure measurement accuracy. In particular, from the perspective of measurement accuracy, the water surface needs to be stable, and measures such as providing a separate measurement tank have been taken to stabilize the water surface, but organic matter and scale components present in the wastewater adhere to the walls of the measurement tank and impede optical measurement, making maintenance of the measurement tank necessary.
このように水質計を用いた水質監視は、メンテナンスが非常に大変であると共に、メンテナンス不足によって生じる間違った測定値に対応するための監視作業負担(例えば、作業員が監視カメラの映像を見て監視するなど)が増すなどの課題があった。 Water quality monitoring using water quality meters in this way requires extremely difficult maintenance, and there are also issues with increased monitoring workload (for example, workers having to monitor by looking at security camera footage) in order to respond to inaccurate measurements that result from lack of maintenance.
そこで、本実施形態の水質監視システムは、沈殿槽を撮影する監視カメラ1からの撮影画像を用いて非接触での水質監視を実現すると共に、沈殿槽の状態変化の影響を抑制して精度良く水質異常を検知することができるようにする。 The water quality monitoring system of this embodiment realizes non-contact water quality monitoring using images captured by a surveillance camera 1 that captures the settling tank, while suppressing the effects of changes in the state of the settling tank to enable accurate detection of water quality abnormalities.
図1は、本実施形態の水質監視システムを構成する各装置の機能ブロック図である。図1に示すように、本実施形態の水質監視システムは、監視装置100及び学習装置200を含んで構成されており、監視装置100は、水質監視モデルを用いて、監視カメラ1が撮影した水質監視対象の水質異常を検知する。学習装置200は、学習データ(教師データ)を収集、生成し、監視装置100で使用される学習済みモデル(水質監視モデル)の機械学習、深層学習(ディープラーニング)など学習処理を行う。 Figure 1 is a functional block diagram of each device constituting the water quality monitoring system of this embodiment. As shown in Figure 1, the water quality monitoring system of this embodiment is composed of a monitoring device 100 and a learning device 200, and the monitoring device 100 uses a water quality monitoring model to detect water quality abnormalities in the water quality monitoring target captured by the monitoring camera 1. The learning device 200 collects and generates learning data (teacher data) and performs learning processes such as machine learning and deep learning of the trained model (water quality monitoring model) used by the monitoring device 100.
監視装置100及び学習装置200は、監視対象を撮影する監視カメラ1と無線又は有線で接続されており、監視カメラ1から出力される監視画像(監視映像)が各装置100,200に入力可能に構成されている。また、監視対象である沈殿槽には、従来同様に水質計2が設けられており、水質計2の測定値が、監視装置100及び学習装置200に入力可能に構成されている。 The monitoring device 100 and the learning device 200 are connected wirelessly or by wire to a monitoring camera 1 that captures the monitored object, and the monitoring image (monitoring video) output from the monitoring camera 1 can be input to each device 100, 200. In addition, the settling tank that is the monitored object is provided with a water quality meter 2 as in the conventional case, and the measurement value of the water quality meter 2 can be input to the monitoring device 100 and the learning device 200.
監視カメラ1は、例えば、遠隔操作が可能な撮影装置であり、作業員によるマニュアル操作で画角(ズーム)を変更したり、監視カメラ1の向きを変更したりすることができる。作業員は、日々、必要に応じて監視カメラ1を遠隔操作し、カメラの向きを変えたり、ズーム機能で画角を調整したりしながら、映像を確認して監視業務を行うことができる。なお、画角やカメラの向きを固定した撮影装置であっても本実施形態の水質監視システムに適用可能である。 The surveillance camera 1 is, for example, a remotely controlled imaging device, and an operator can manually change the angle of view (zoom) and change the direction of the surveillance camera 1. An operator can remotely control the surveillance camera 1 as needed on a daily basis, change the direction of the camera, and adjust the angle of view using the zoom function, while checking the video and performing surveillance work. Note that even an imaging device with a fixed angle of view and camera direction can be applied to the water quality monitoring system of this embodiment.
<監視装置100>
監視装置100は、図1に示すように、監視制御部110、監視結果出力部、及び記憶部130を含んで構成されており、監視制御部110は、水質異常検知部111を有している。
<Monitoring device 100>
As shown in FIG. 1, the monitoring device 100 includes a monitoring control unit 110, a monitoring result output unit, and a storage unit 130, and the monitoring control unit 110 has a water quality abnormality detection unit 111.
水質異常検知部111は、物体検知モデルを用い、監視カメラから出力される水質監視対象の撮影画像から水面領域を認識するとともに、認識された水面領域の状態に基づく水質異常を判定する水質監視モデルとして機能する。 The water quality abnormality detection unit 111 uses an object detection model to recognize water surface areas from images of the water quality monitoring target output from a surveillance camera, and functions as a water quality monitoring model that determines water quality abnormalities based on the state of the recognized water surface area.
物体検知モデルは、例えば、畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)などの公知の物体検知(object detection)AIモデルを適用することができ、R-CNN、Fast R-CNN、Faster R-CNN、Mask R-CNNなどがある。 The object detection model can be, for example, a known object detection AI model such as a Convolutional Neural Network (CNN), including R-CNN, Fast R-CNN, Faster R-CNN, and Mask R-CNN.
本実施形態の物体検知モデルは、沈殿槽の水面領域を含む画像を用いて学習処理が施された学習済みモデルであり、画像内に物体があるか(物体検出)、物体であるならばその物体は水面か(物体認識)を行い、認識された水面の座標などの領域情報を出力する。例えば、監視画像を入力すると、畳み込み層で特徴量を抽出し、プーリング層で特徴量を縦横可変サイズで取り扱えるようにし、画像内の「水面領域」を把握する。また、物体検知モデルは、水面領域を把握する際に抽出した特徴量を出力し、後述する監視対象の濁り検知に利用する。 The object detection model of this embodiment is a trained model that has been trained using images that include the water surface area of a settling tank, and performs a check to see if there is an object in the image (object detection), and if so, whether the object is on the water surface (object recognition), outputting area information such as the coordinates of the recognized water surface. For example, when a surveillance image is input, features are extracted in the convolution layer, and the pooling layer makes it possible to handle the features with variable vertical and horizontal sizes, thereby grasping the "water surface area" in the image. The object detection model also outputs the features extracted when grasping the water surface area, and these are used to detect turbidity in the surveillance target, which will be described later.
図2は、本実施形態の物体検知モデルの説明図である。図2に示すように、画像内の水面領域は、沈殿槽の水面位置が低くなるほど小さくなる。また、水面位置が低くなると、槽壁による影の影響で水面の明るさが暗くなる。暗くなると槽壁と水面との境界が判別しづらくなる。一方、水面位置が高くなると、画像内の水面領域が大きくなり、槽壁による影の影響を受け難く、水面が比較的明るい。 Figure 2 is an explanatory diagram of the object detection model of this embodiment. As shown in Figure 2, the water surface area in the image becomes smaller as the water surface position of the settling tank becomes lower. In addition, as the water surface position becomes lower, the brightness of the water surface becomes darker due to the influence of the shadow cast by the tank wall. As the water surface becomes darker, it becomes difficult to distinguish the boundary between the tank wall and the water surface. On the other hand, as the water surface position becomes higher, the water surface area in the image becomes larger, it is less influenced by the shadow cast by the tank wall, and the water surface is relatively bright.
本実施形態では、このように水面位置及び明るさに応じた水面領域の学習処理を行い、物体検知モデルを構築する。このため、水位変動があっても精度良く水面領域(監視対象)を把握することができる。別の側面から説明すると、例えば、遠隔操作によって監視カメラ1の画角が変更されたり、カメラの向きが変更されたりすると、水位変動と同様の画像内の水面領域の物理的な見え方の違いが生じるが、本実施形態の物体検知モデルによって的確に画像内の「水面領域」を把握することができる。 In this embodiment, a learning process is performed on the water surface area according to the water surface position and brightness in this way, and an object detection model is constructed. As a result, the water surface area (monitoring target) can be accurately grasped even if the water level fluctuates. From another perspective, for example, if the angle of view of the surveillance camera 1 is changed by remote control or the camera orientation is changed, a difference occurs in the physical appearance of the water surface area in the image, similar to the water level fluctuation, but the object detection model of this embodiment can accurately grasp the "water surface area" in the image.
次に、水質異常検知部112は、物体検知モデルから出力される水面領域の特徴量に基づいて濁り検知を行い、物体検知モデルで認識された水面領域の状態に基づく水質異常を判定する。 Next, the water quality abnormality detection unit 112 performs turbidity detection based on the features of the water surface area output from the object detection model, and determines water quality abnormalities based on the state of the water surface area recognized by the object detection model.
図3は、本実施形態の濁り検知の説明図である。図3の例では、3つの水質異常状態の監視画像1~3を例示している。監視画像1は、多くの不純物が水面領域全体に浮かんでおり、不純物が浮かんでいない領域の透明度が低い。監視画像2は、不純物は水面に浮かんでいないものの、透明度が低い。監視画像3は、水面領域の一部に不純物が浮かんでおり、残りの部分には不純物が浮かんでいない。水質が正常な状態である監視画像0に対し、監視画像1~3には、不純物や透明度の違いで、水面領域に異なるものが映り込んでいたり、透明度に対応する水面の濃淡が異なったりする。 Figure 3 is an explanatory diagram of turbidity detection in this embodiment. In the example of Figure 3, monitoring images 1 to 3 are illustrated showing three abnormal water quality states. In monitoring image 1, many impurities are floating over the entire water surface area, and the transparency of the areas where there are no impurities is low. In monitoring image 2, impurities are not floating on the water surface, but the transparency is low. In monitoring image 3, impurities are floating in part of the water surface area, and there are no impurities in the remaining part. Compared to monitoring image 0, which shows a normal water quality state, monitoring images 1 to 3 show different objects reflected in the water surface area and different shading of the water surface corresponding to the transparency due to differences in impurities and transparency.
そして、本実施形態では、各監視画像に対し、SS濃度、つまり、濁り度合い関する特徴量に応じた信頼スコアを算出し、信頼スコア(水質異常であることの確度を示すスコア)に基づいて認識された水面領域の水質異常の判定を行う。 In this embodiment, a reliability score is calculated for each monitoring image according to the SS concentration, i.e., a feature related to the degree of turbidity, and a water quality abnormality is determined for the recognized water surface area based on the reliability score (a score indicating the degree of certainty that the water quality is abnormal).
例えば、監視画像1は、多くの不純物が水面領域全体に浮かんでおり、不純物が浮かんでいない領域の透明度が低いので、不純物の特徴量と透明度が低い特徴量とを抽出することができるので、信頼スコアが高く算出される(例えば、信頼スコア0.96)。一方、監視画像2は、透明度が低い特徴量を抽出することができ、不純物の特徴量が抽出されないので、監視画像1の次に高い信頼スコアが算出される(例えば、信頼スコア0.78)。監視画像3は、水面領域の一部に浮かぶ不純物の特徴量が抽出され、残りの部分には不純物が浮かんでおらず、透明度も高い。このため、信頼スコアは、監視画像1,2に比べて低く算出される(信頼スコア0.52)。 For example, surveillance image 1 has many impurities floating over the entire water surface area, and the transparency of areas where there are no impurities is low, so the feature of impurities and the feature of low transparency can be extracted, and a high reliability score is calculated (e.g., reliability score 0.96). On the other hand, surveillance image 2 can extract the feature of low transparency, but does not extract the feature of impurities, so the second highest reliability score after surveillance image 1 is calculated (e.g., reliability score 0.78). Surveillance image 3 has the feature of impurities floating in part of the water surface area extracted, and the remaining part has no impurities and is also highly transparent. For this reason, the reliability score is calculated to be lower than surveillance images 1 and 2 (reliability score 0.52).
なお、上記説明において、信頼スコアが0から1の間の値で算定される態様を一例に説明したが、異常であることの確度を示す値であればよく、0から1の間の値で算定することに限らず、任意である。 In the above explanation, the confidence score is calculated as a value between 0 and 1 as an example, but it can be any value that indicates the degree of certainty that there is an abnormality, and is not limited to being calculated as a value between 0 and 1.
水質異常検知部112は、物体検知モデルから抽出された特徴量に基づいて、不純物の特徴量と透明度が低い特徴量とを識別し、不純物の特徴量及び/又は透明度が低い特徴量に応じた信頼スコアを算出するよう、学習処理を行い、算出された信頼スコアが規定値を超える場合、つまり、濁り度合いが規定値を超える場合、水質異常であると判定する。なお、規定値は、教師データに基づく学習処理によって導出される閾値であったり、作業員等によって予め設定された閾値であってもよい。 The water quality abnormality detection unit 112 performs a learning process to distinguish between impurity features and low transparency features based on features extracted from the object detection model, and calculates a reliability score according to the impurity features and/or low transparency features. If the calculated reliability score exceeds a specified value, that is, if the degree of turbidity exceeds a specified value, it determines that there is a water quality abnormality. Note that the specified value may be a threshold derived by a learning process based on teacher data, or a threshold preset by an operator, etc.
このように本実施形態の水質異常検知部112は、物体検知モデルを含む水質監視モデルであり、物体検知モデルによって監視画像内の水面領域(濁った水面)を把握するとともに、水面領域を把握する際に物体検知モデルが抽出した水面領域の特徴量を用いて信頼スコアを算出し、算出された信頼スコアを用いて水質異常の判定を行う。 In this way, the water quality abnormality detection unit 112 of this embodiment is a water quality monitoring model that includes an object detection model, and uses the object detection model to identify the water surface area (mudky water surface) in the monitoring image, calculates a reliability score using the features of the water surface area extracted by the object detection model when identifying the water surface area, and uses the calculated reliability score to determine water quality abnormalities.
本実施形態によれば、物体検知モデルを用いて監視画像の中から監視対象の水面領域を把握するので、監視カメラからの撮影画像を用いて非接触での水質監視を実現するとともに、監視対象の状態変化の影響(水位変動や監視カメラの画角変動、カメラの向きの変動など)があっても精度良く水質異常を検知することができる。 According to this embodiment, an object detection model is used to identify the water surface area of the monitored object from the surveillance image, making it possible to realize non-contact water quality monitoring using images captured by a surveillance camera, and to accurately detect water quality abnormalities even when affected by changes in the state of the monitored object (such as fluctuations in water level, changes in the surveillance camera's angle of view, or changes in the camera's orientation).
図4は、本実施形態の水質監視システムの処理フローを示す図である。監視カメラ1は、監視画像を出力し、監視装置100は、出力された監視画像を受け付ける(S101)。監視装置100(監視制御部110)は、水質監視処理を遂行する。なお、監視画像が入力される間隔及び水質監視処理を遂行するタイミングは任意である。 Figure 4 is a diagram showing the processing flow of the water quality monitoring system of this embodiment. The surveillance camera 1 outputs a surveillance image, and the surveillance device 100 accepts the output surveillance image (S101). The surveillance device 100 (surveillance control unit 110) performs water quality monitoring processing. Note that the interval at which the surveillance images are input and the timing at which the water quality monitoring processing is performed are arbitrary.
監視装置100は、受け付けた監視画像に対して物体検知モデルを用いた物体検知処理を行い、監視画像内の水面領域を検知する(S102)。さらに、監視装置100は、検知された水面領域に対する水質異常検知(濁り検知)処理を行い、信頼スコアに基づく水質異常の判定を行う(S103)。 The monitoring device 100 performs an object detection process using an object detection model on the received monitoring image, and detects the water surface area in the monitoring image (S102). Furthermore, the monitoring device 100 performs a water quality abnormality detection (turbidity detection) process on the detected water surface area, and judges the water quality abnormality based on the reliability score (S103).
監視装置100(監視結果出力部120)は、ステップS103において、異常ありと判別された場合(S104のYES)、信頼スコアを含む「異常あり」の監視結果を出力する(S105)。一方、ステップS103において、異常なしと判別された場合(S104のNO)、信頼スコアを含む「異常なし」の監視結果を出力する(S106)。 If the monitoring device 100 (monitoring result output unit 120) determines in step S103 that an abnormality exists (YES in S104), it outputs a monitoring result of "abnormal" including a reliability score (S105). On the other hand, if the monitoring device 100 determines in step S103 that an abnormality does not exist (NO in S104), it outputs a monitoring result of "no abnormality" including a reliability score (S106).
例えば、図3の例では、監視画像上に、「異常あり」を示す「NG」と、信頼スコアである「0.96」とが、監視結果として出力されている。また、監視結果が「異常なし」の場合は、例えば、「異常なし」を示す「OK」と、信頼スコアとを監視結果として出力するように構成することができる。 For example, in the example of FIG. 3, "NG" indicating "abnormality detected" and a reliability score of "0.96" are output as the monitoring result on the monitoring image. Also, if the monitoring result is "no abnormality", it can be configured to output, for example, "OK" indicating "no abnormality" and a reliability score as the monitoring result.
監視装置100(監視結果出力部120)は、監視結果出力処理として、ネットワークを通じて監視結果を、予め設定された宛先に電子メールで通知したり、所定の機器にプッシュ通知したり、監視画像が表示されるディスプレイ装置に信頼スコアを含む監視結果を重畳表示したり、監視画像上への表示ではなく、時系列データとしてディスプレイ装置に表示したりすることができる。監視装置100(監視結果出力部120)は、監視結果を記憶部130に記憶させる(S107)。 As a monitoring result output process, the monitoring device 100 (monitoring result output unit 120) can notify the monitoring results via the network by email to a preset destination, send a push notification to a specified device, superimpose the monitoring results including the reliability score on a display device that displays the monitoring image, or display the monitoring results on the display device as time-series data rather than on top of the monitoring image. The monitoring device 100 (monitoring result output unit 120) stores the monitoring results in the memory unit 130 (S107).
上記説明において、信頼スコアを含む監視結果を出力する態様について説明したが、信頼スコアを含まない態様で監視結果を出力するように構成してもよいが、作業員は、信頼スコアを見ることで、異常状態の度合いを把握することができ、水質異常に対する対応の的確化及び迅速化を図ることができる。 In the above explanation, a mode of outputting monitoring results including a reliability score was described, but the monitoring results may be configured to be output in a mode that does not include a reliability score. By looking at the reliability score, workers can grasp the degree of abnormality, which can lead to more accurate and rapid response to water quality abnormalities.
特に、信頼スコアを含む監視結果を出力することで、単になる水質の正常/異常の通知に留まらず、「水質の変化」を時系列に捉えることができ、今後、水質異常が生じる可能性があることを示唆する「水質異常の予告」としての情報が提供されることになる。このため、水質異常となる前に対応することが可能となる。また、監視画像を見て今後の水質異常を予測することは熟練したスキルや経験が必要であるが、信頼スコアによって水質の状態を定量的に把握することができ、作業員の監視業務を適切にサポートすることができる。 In particular, by outputting monitoring results that include a reliability score, it is possible to go beyond simply notifying whether water quality is normal or abnormal and capture "changes in water quality" over time, providing information that acts as a "water quality anomaly warning" that suggests the possibility of future water quality anomalies. This makes it possible to respond before water quality anomalies occur. Furthermore, while predicting future water quality anomalies by looking at monitoring images requires skilled and experienced personnel, the reliability score makes it possible to quantitatively grasp the state of water quality, providing appropriate support for workers' monitoring work.
なお、信頼スコアを含む監視結果の態様として、数値で表された信頼スコアを提供しているが、これに限らない。例えば、信頼スコアを所定の数値範囲区切りで予めランク分けし、信頼スコアの別の表現として、その水質異常のランクを含む監視結果を出力するように構成してもよい。また、水質異常と判定された場合とそれ以外とで監視結果の少なくとも一部の色を変化させて、水質異常と把握し易いようにエフェクト処理を行うように構成したり、水質異常と判定された場合にその異常度合いが高い場合と低い場合とで異なるエフェクトとなるように監視結果を出力したりしてもよい。 Although a reliability score expressed as a numerical value is provided as an aspect of the monitoring result including the reliability score, this is not limiting. For example, the reliability score may be ranked in advance using a predetermined numerical range, and the monitoring result including the rank of the water quality abnormality may be output as another expression of the reliability score. In addition, the color of at least a part of the monitoring result may be changed depending on whether a water quality abnormality is determined or not, so that the water quality abnormality can be easily recognized, or the monitoring result may be output so that different effects are applied depending on whether the degree of abnormality is high or low when a water quality abnormality is determined.
図5は、本実施形態の水質監視システムの処理フローを示す図であり、水質計2の測定値(センサ値)を考慮した処理フローを示す図である。図4と同様の処理については同符号を付して説明を省略する。 Figure 5 shows the process flow of the water quality monitoring system of this embodiment, taking into account the measurement value (sensor value) of the water quality meter 2. Processes similar to those in Figure 4 are given the same reference numerals and will not be described.
図5の例は、監視画像に加え、監視画像の撮影タイミングに対応する水質計2の測定値が監視装置200に入力される(S101a)。そして、監視装置200(監視制御部110)は、水質計2の測定値に水質異常があるか否か、言い換えれば、水質計2の測定値が水質異常に関する所定の閾値を超えるか否かを判定する(S104a)。 In the example of FIG. 5, in addition to the monitoring image, the measurement value of the water quality meter 2 corresponding to the timing of capturing the monitoring image is input to the monitoring device 200 (S101a). Then, the monitoring device 200 (monitoring control unit 110) determines whether or not there is a water quality abnormality in the measurement value of the water quality meter 2, in other words, whether or not the measurement value of the water quality meter 2 exceeds a predetermined threshold value for water quality abnormality (S104a).
そして、ステップS104bでは、水質計2による水質異常の判定結果に関わらず、図4のステップS104と同様に、物体検知処理によって抽出された水面領域に対する水質異常の判定処理を行う。そして、監視装置200は、ステップS104bの水質異常の判定結果を監視結果として出力する。 In step S104b, regardless of the result of the water quality abnormality determination by the water quality meter 2, a water quality abnormality determination process is performed for the water surface area extracted by the object detection process, similar to step S104 in FIG. 4. The monitoring device 200 then outputs the water quality abnormality determination result of step S104b as the monitoring result.
このように構成することで、上述したようなメンテナンス不足による水質計2の測定値異常が発生しても、水質監視モデルによって的確な水質監視を行うことができるとともに、水質計2のメンテナンスタイミングの契機として把握することができる。つまり、本実施形態の水質監視モデル及び水質計2の測定値の双方が正常と判定されれば、水質計2も正常に稼働しており、水質監視モデルが正常で水質計2の測定値が異常であれば(又は水質監視モデルが異常で水質計2の測定値が正常であれば)、水質計のメンテナンス(故障を含む)を行う必要があり、水質監視モデル及び水質計2の測定値の双方が異常と判定されれば、監視対象の水質に異常が発生しているとより的確に把握することができる。 By configuring in this manner, even if an abnormality occurs in the measurement value of the water quality meter 2 due to lack of maintenance as described above, accurate water quality monitoring can be performed using the water quality monitoring model, and the occurrence can be grasped as an opportunity to perform maintenance on the water quality meter 2. In other words, if both the water quality monitoring model and the measurement value of the water quality meter 2 in this embodiment are judged to be normal, the water quality meter 2 is also operating normally, and if the water quality monitoring model is normal and the measurement value of the water quality meter 2 is abnormal (or if the water quality monitoring model is abnormal and the measurement value of the water quality meter 2 is normal), maintenance of the water quality meter (including failure) is required, and if both the water quality monitoring model and the measurement value of the water quality meter 2 are judged to be abnormal, it can be more accurately grasped that an abnormality has occurred in the water quality of the monitored object.
なお、上記説明において、信頼スコアが水質異常を示す指標としているが、これに限らず、水質の正常を示す指標として信頼スコアを算出し、水質異常の判定を行うように構成してもよい。具体的には、水質異常検知部112は、物体検知モデルから抽出された特徴量に基づいて、不純物の特徴量と透明度が高い特徴量とを識別し、不純物の特徴量及び/又は透明度が高い特徴量に応じた信頼スコアを算出するよう、学習処理を行い、算出された信頼スコアが規定値未満である場合、つまり、透明度合いが規定値よりも低い(濁り度合いが規定値よりも高い)場合、水質が異常であると判定することができる。 In the above description, the reliability score is an index showing abnormal water quality, but the invention is not limited to this and may be configured to calculate the reliability score as an index showing normal water quality and determine whether water quality is abnormal. Specifically, the water quality abnormality detection unit 112 performs a learning process to distinguish between impurity features and high transparency features based on the features extracted from the object detection model, and calculates a reliability score according to the impurity features and/or high transparency features. If the calculated reliability score is less than a specified value, that is, if the transparency level is lower than the specified value (the turbidity level is higher than the specified value), it can determine that the water quality is abnormal.
したがって、水質異常検知部111は、物体検知モデルによって抽出された水面領域の濁り状態の特徴量に基づく信頼スコアとして、水質が正常であることを示す指標を算出し、信頼スコアに基づいて認識された水面領域の水質異常の判定を行うことができる。 The water quality abnormality detection unit 111 can therefore calculate an index indicating that the water quality is normal as a reliability score based on the features of the turbidity state of the water surface area extracted by the object detection model, and determine whether the water quality of the recognized water surface area is abnormal based on the reliability score.
また、水質異常検知部112は、水質異常を示す指標の第1信頼スコアと、水質正常を示す指標の第2信頼スコアとをそれぞれ算出し、これら双方の信頼スコアを用いた水質異常判定を行うように構成することもできる。例えば、第1信頼スコアが第1規定値を超え、かつ第2信頼スコアが第2規定値よりも低い場合に、水面領域の水質が異常であると判定することができる。この場合、水質異常検知部112は、水質異常の観点から「異常」を基準とした学習処理を経て生成された第1学習済みモデルと、「正常」を基準とした学習処理を経て生成された第2学習済みモデルとを含むように構成することができ、これらの第1学習済みモデル及び第2学習済みモデルを並列に又は直列に繋いだ水質監視モデルを構築することができる。 The water quality abnormality detection unit 112 can also be configured to calculate a first reliability score of an index indicating water quality abnormality and a second reliability score of an index indicating normal water quality, and perform water quality abnormality determination using both reliability scores. For example, when the first reliability score exceeds a first specified value and the second reliability score is lower than a second specified value, it can be determined that the water quality of the water surface area is abnormal. In this case, the water quality abnormality detection unit 112 can be configured to include a first trained model generated through a learning process based on "abnormality" from the perspective of water quality abnormality, and a second trained model generated through a learning process based on "normality", and a water quality monitoring model can be constructed by connecting these first trained model and second trained model in parallel or in series.
<学習装置200>
学習装置200は、図1に示すように、学習データ収集部210,学習データ選定部220,学習用教師データ生成部230、学習処理部240,記憶部250を含んで構成されている。
<Learning device 200>
As shown in FIG. 1, the learning device 200 includes a learning data collection unit 210, a learning data selection unit 220, a learning teacher data generation unit 230, a learning processing unit 240, and a storage unit 250.
図6は、学習装置200による学習データの収集及び教師データ生成の説明図である。図7は、学習装置200の教師データ生成に係る処理フローを示す図である。 Figure 6 is an explanatory diagram of the collection of learning data and the generation of teacher data by the learning device 200. Figure 7 is a diagram showing the process flow for generating teacher data by the learning device 200.
図6に示すように、学習データ収集部210は、水質監視対象に設けられる水質計2の測定値(センサ値)と、当該測定値に対応する監視画像とをセットにした学習データを記憶部250に格納する。このとき、監視カメラ1及び水質計2が学習装置200とネットワークを通じて接続される態様であれば、当該ネットワークを通じたデータ伝送により、学習データ収集部210は、学習データを受け付けることができる。なお、監視カメラ1及び水質計2が必ずしもネットワークで接続されている必要はなく、学習装置200は、これらから出力された監視画像及び測定値を学習データとして受け付け可能な構成であればよい。 As shown in FIG. 6, the learning data collection unit 210 stores learning data in the memory unit 250, which is a set of measurement values (sensor values) of the water quality meter 2 installed on the water quality monitoring target and monitoring images corresponding to the measurement values. At this time, if the surveillance camera 1 and the water quality meter 2 are connected to the learning device 200 via a network, the learning data collection unit 210 can accept the learning data by data transmission via the network. Note that the surveillance camera 1 and the water quality meter 2 do not necessarily need to be connected via a network, and the learning device 200 only needs to be configured to be able to accept the monitoring images and measurement values output from them as learning data.
学習データ選定部220は、水質計2の測定値に対応する所定の基準値を用いて、収集された監視画像を2以上のグループに自動仕分けする仕分け処理を行う。具体的には、予め、水質計2に基づく水質監視対象の異常を示す基準値、又は水質計に基づく水質監視対象の正常を示す基準値を所定の基準値として設定し、記憶装置250(各種データ252)に記憶しておく。そして、学習データ選定部220は、学習データに含まれる測定値と設定された基準値とを比較して、基準値を超える監視画像群のグループと、基準値未満の監視画像群のグループとに、一時的な自動仕分け(仮仕分け)を行う。 The learning data selection unit 220 performs a sorting process that automatically sorts the collected monitoring images into two or more groups using a predetermined reference value corresponding to the measurement value of the water quality meter 2. Specifically, a reference value indicating an abnormality in the water quality monitoring target based on the water quality meter 2 or a reference value indicating a normality in the water quality monitoring target based on the water quality meter is set as a predetermined reference value in advance and stored in the storage device 250 (various data 252). The learning data selection unit 220 then compares the measurement value included in the learning data with the set reference value, and performs a temporary automatic sorting (provisional sorting) into a group of monitoring images that exceed the reference value and a group of monitoring images that are below the reference value.
学習用教師データ生成部230は、グループ別の監視画像群をディスプレイ装置に表示させ、自動仕分けされた監視画像に対する作業員によるグループ手動仕分け操作を受け付ける。つまり、学習用教師データ生成部230は、仮仕分けされた各グループに含まれる監視画像を作業員が目視でチェックできるようにし、必要に応じて、監視画像をグループから除外したり、グループを入れ替えたりする作業員による手動仕分け機能を提供する。学習用教師データ生成部230は、自動仕分け(仮仕分け)及び手動仕分けを経て仕分けされたグループ別の監視画像群を教師データとして生成(蓄積)する。 The learning teacher data generation unit 230 displays the surveillance images by group on a display device and accepts manual group sorting operations by an operator for the automatically sorted surveillance images. In other words, the learning teacher data generation unit 230 allows an operator to visually check the surveillance images included in each provisionally sorted group, and provides a manual sorting function by an operator to remove surveillance images from a group or switch groups as necessary. The learning teacher data generation unit 230 generates (accumulates) the surveillance images by group sorted through automatic sorting (provisional sorting) and manual sorting as teacher data.
なお、本実施形態の学習装置200は、水質異常の観点から「異常」を基準に説明しているが、「正常」を基準に学習データの仕分け及び教師データの生成を行うように構成してもよい。 Note that, although the learning device 200 of this embodiment is described based on "abnormality" from the perspective of water quality abnormalities, it may also be configured to sort learning data and generate teacher data based on "normality."
学習処理部240は、生成された教師データを適用して物体検知モデルを含む水質監視モデルの学習処理を行う。なお、物体検知モデルの学習処理については、例えば、教師データ(監視画像)に対して予めセグメンテーション処理を行うように構成することができる。これらの学習処理及び教師データについては、公知の手法を適宜採用することができる。 The learning processing unit 240 applies the generated training data to perform a training process for a water quality monitoring model including an object detection model. The training process for the object detection model can be configured to perform a segmentation process in advance on the training data (monitoring image), for example. Publicly known methods can be appropriately adopted for these training processes and training data.
このように本実施形態の学習装置200は、収集された学習データを水質計2の測定値に基づく仮仕分け機能を備えている。 In this way, the learning device 200 of this embodiment has a function of provisionally sorting collected learning data based on the measurement values of the water quality meter 2.
学習処理では膨大な学習データを必要とし、かつ教師データ(正常/異常)を選別する必要がある。従来は、作業員が一枚一枚の画像データを確認して選別を行っていたが、作業効率が悪かった。特に、水質異常の発生頻度が低いと、膨大な画像の中から水質異常の画像を選定するのに、多くの時間が要してしまう。 The learning process requires a huge amount of learning data, and it is also necessary to select the teacher data (normal/abnormal). Conventionally, workers would check each image data and select it, but this was an inefficient way of working. In particular, when the frequency of water quality abnormalities is low, it takes a lot of time to select images of water quality abnormalities from the huge number of images.
そこで、本実施形態では、監視画像とセットで水質計2の測定値を収集し、水質計2の測定値に対応する所定の基準値を設定しておく(S201)。そして、閾値を超える監視画像を異常画像グループ、超えない監視画像を正常画像グループとして一次診断を行って自動選別する(S202)。 Therefore, in this embodiment, the measurement values of the water quality meter 2 are collected together with the monitoring images, and a predetermined reference value corresponding to the measurement value of the water quality meter 2 is set (S201). Then, a primary diagnosis is performed to automatically separate monitoring images that exceed the threshold into an abnormal image group and monitoring images that do not exceed the threshold into a normal image group (S202).
仮仕分けされた各監視画像は、グループ別にディスプレイ装置に表示され(S203)、作業員は、最終的に手作業で各監視画像を確認し、教師データとして選定するが(S204)、異常画像グループの各画像に対し、水質異常の画像であるという認識の下で確認作業を行えばよく、正常画像グループの各画像に対しては、水質異常の画像が含まれていないかという認識の下で確認作業を行えばよい。つまり、水質異常/正常が混在している大量の画像群の中から、水質異常/正常の各画像を選別するよりも、作業効率が向上し、画像選定に費やす時間を大幅に短縮することができる。そして、自動仕分け及び手動仕分けを経て仕分けされたグループ別の監視画像群が教師データとして生成(蓄積)される(S205)。 The provisionally sorted monitoring images are displayed on a display device by group (S203), and finally, an operator manually checks each monitoring image and selects it as training data (S204). The operator only needs to check each image in the abnormal image group with the understanding that it is an image of abnormal water quality, and check each image in the normal image group with the understanding that it does not contain any images of abnormal water quality. In other words, work efficiency is improved and the time spent on image selection can be significantly reduced compared to selecting images of abnormal/normal water quality from a large number of images that contain a mixture of abnormal and normal water quality. The monitoring images sorted by group through automatic and manual sorting are then generated (stored) as training data (S205).
以上、実施形態について説明したが、監視装置100及び学習装置200は、1つの装置で構成し、学習システムを備えた監視装置として構成してもよい。また、装置100,200は、クラウド型のサービス提供形態として構築することも可能である。つまり、監視カメラ1から出力される監視画像及び水質計2から出力される測定値を、IP網を通じて監視装置100や学習装置200に送信するように構成する。これにより、クラウド側で学習データを収集することができ、また作業員が閲覧可能な監視設備(監視端末等)に監視結果を出力(提供)するように構成することができる。また、学習装置200は、学習データの収集蓄積機能と、学習機能とが別々の装置で構成された態様であってもよい。 Although the embodiment has been described above, the monitoring device 100 and the learning device 200 may be configured as a single device, and configured as a monitoring device equipped with a learning system. The devices 100 and 200 can also be constructed as a cloud-based service provision form. In other words, the monitoring images output from the monitoring camera 1 and the measurement values output from the water quality meter 2 are configured to be transmitted to the monitoring device 100 and the learning device 200 via an IP network. This allows the learning data to be collected on the cloud side, and the monitoring results can be output (provided) to monitoring equipment (monitoring terminals, etc.) that can be viewed by workers. The learning device 200 may also be configured in a form in which the function of collecting and storing learning data and the learning function are configured as separate devices.
また、装置100,200は、サーバ装置等の演算機能、記憶機能、通信機能などを備えるコンピュータ装置である。また、ハードウェア構成としては、メモリ(主記憶装置)、マウス、キーボード、タッチパネル、スキャナー等の操作入力手段、プリンタなどの出力手段、補助記憶装置(ハードディスク等)等を備えることができる。 The devices 100 and 200 are computer devices equipped with the computational functions, storage functions, and communication functions of a server device or the like. The hardware configuration may include a memory (main storage device), operation input means such as a mouse, keyboard, touch panel, and scanner, output means such as a printer, and an auxiliary storage device (hard disk, etc.).
また、本発明の各機能は、プログラムによって実現可能であり、各機能を実現するために予め用意されたコンピュータプログラムが補助記憶装置に格納され、CPU等の制御部が補助記憶装置に格納されたプログラムを主記憶装置に読み出し、主記憶装置に読み出された該プログラムを制御部が実行して、コンピュータに本発明の各部の機能を動作させることができる。他方、装置100,200の各機能は、各々個別の装置で構成することもでき、複数の装置を直接に又はネットワークを介して接続してコンピュータシステムを構成することもできる。 Furthermore, each function of the present invention can be realized by a program, and a computer program prepared in advance to realize each function is stored in an auxiliary storage device, and a control unit such as a CPU reads the program stored in the auxiliary storage device into a main storage device, and the control unit executes the program read into the main storage device, thereby causing the computer to operate the functions of each unit of the present invention. On the other hand, each function of devices 100 and 200 can be configured as a separate device, or a computer system can be configured by connecting multiple devices directly or via a network.
また、上記プログラムは、コンピュータ読取可能な記録媒体に記録された状態で、コンピュータに提供することも可能である。コンピュータ読取可能な記録媒体としては、CD-ROM等の光ディスク、DVD-ROM等の相変化型光ディスク、MO(Magnet Optical)やMD(Mini Disk)などの光磁気ディスク、フロッピー(登録商標)ディスクやリムーバブルハードディスクなどの磁気ディスク、コンパクトフラッシュ(登録商標)、スマートメディア、SDメモリカード、メモリスティック等のメモリカードが挙げられる。また、本発明の目的のために特別に設計されて構成された集積回路(ICチップ等)等のハードウェア装置も記録媒体として含まれる。 The above program can also be provided to a computer in a state in which it is recorded on a computer-readable recording medium. Examples of computer-readable recording media include optical disks such as CD-ROMs, phase-change optical disks such as DVD-ROMs, magneto-optical disks such as MO (Magnet Optical) and MD (Mini Disk), magnetic disks such as floppy (registered trademark) disks and removable hard disks, and memory cards such as Compact Flash (registered trademark), Smart Media, SD memory cards, and memory sticks. Also included as recording media are hardware devices such as integrated circuits (IC chips, etc.) that are specially designed and configured for the purposes of the present invention.
なお、本発明の実施形態を説明したが、当該実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although an embodiment of the present invention has been described, this embodiment is presented as an example and is not intended to limit the scope of the invention. This new embodiment can be embodied in various other forms, and various omissions, substitutions, and modifications can be made without departing from the gist of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are included in the scope of the invention and its equivalents described in the claims.
1 監視装置
2 水質計
100 監視装置
110 監視制御部
111 水質異常検知部
120 監視結果出力部
130 記憶部
200 学習装置
210 学習データ収集部
220 学習データ選定部
230 学習用教師データ生成部
240 学習処理部
250 記憶部
251 学習済みモデル
252 各種データ
REFERENCE SIGNS LIST 1 Monitoring device 2 Water quality meter 100 Monitoring device 110 Monitoring control unit 111 Water quality abnormality detection unit 120 Monitoring result output unit 130 Memory unit 200 Learning device 210 Learning data collection unit 220 Learning data selection unit 230 Learning teacher data generation unit 240 Learning processing unit 250 Memory unit 251 Learned model 252 Various data
Claims (4)
監視結果を出力する監視結果出力部と、
水質監視対象に設けられる水質計の測定値と、前記測定値に対応する監視画像とをセットにした学習データを格納する学習データ収集部と、
前記測定値に対応する所定の基準値を用いて、監視画像を2以上のグループに自動仕分けする学習データ選定部と、
グループ別の監視画像群をディスプレイ装置に表示させ、自動仕分けされた監視画像に対する作業員によるグループ手動仕分け操作を受け付けるとともに、自動仕分け及び手動仕分けを経て仕分けされたグループ別の監視画像群に基づく教師データを生成する学習用教師データ生成部と、
生成された前記教師データを適用して前記物体検知モデルの学習処理を行う学習処理部と、を有し、
前記所定の基準値は、水質計に基づく水質監視対象の異常を示す基準値、又は水質計に基づく水質監視対象の正常を示す基準値であることを特徴とする水質監視システム。 a water quality abnormality detection unit that uses an object detection model to recognize a water surface area from a photographed image of a water quality monitoring target output from a monitoring camera and determines water quality abnormalities based on the state of the recognized water surface area;
a monitoring result output unit that outputs the monitoring result;
a learning data collection unit that stores learning data that is a set of measurement values of a water quality meter provided in a water quality monitoring target and a monitoring image corresponding to the measurement values;
a learning data selection unit that automatically classifies the surveillance images into two or more groups using a predetermined reference value corresponding to the measurement value;
a training teacher data generating unit that displays the grouped surveillance images on a display device, accepts manual group sorting operations by an operator on the automatically sorted surveillance images, and generates teacher data based on the grouped surveillance images sorted through the automatic and manual sorting;
A learning processing unit that performs a learning process of the object detection model by applying the generated teacher data,
A water quality monitoring system characterized in that the predetermined reference value is a reference value that indicates an abnormality in the water quality monitoring target based on a water quality meter, or a reference value that indicates a normality in the water quality monitoring target based on a water quality meter .
前記監視結果出力部は、前記信頼スコアを含む監視結果を出力することを特徴とする請求項1に記載の水質監視システム。 The water quality abnormality detection unit calculates a reliability score based on the feature amount of the turbidity state of the water surface area extracted by the object detection model, and determines the water quality abnormality of the recognized water surface area based on the reliability score;
The water quality monitoring system according to claim 1 , wherein the monitoring result output unit outputs the monitoring result including the reliability score.
物体検知モデルを用い、監視カメラから出力される水質監視対象の撮影画像から水面領域を認識し、認識された前記水面領域の状態に基づく水質異常を判定する第1機能と、
監視結果を出力する第2機能と、
水質監視対象に設けられる水質計の測定値と、前記測定値に対応する監視画像とをセットにした学習データを格納する第3機能と、
前記測定値に対応する所定の基準値を用いて、監視画像を2以上のグループに自動仕分けする第4機能と、
グループ別の監視画像群をディスプレイ装置に表示させ、自動仕分けされた監視画像に対する作業員によるグループ手動仕分け操作を受け付けるとともに、自動仕分け及び手動仕分けを経て仕分けされたグループ別の監視画像群に基づく教師データを生成する第5機能と、
生成された前記教師データを適用して前記物体検知モデルの学習処理を行う第6機能と、を前記コンピュータに実現させ、
前記所定の基準値は、水質計に基づく水質監視対象の異常を示す基準値、又は水質計に基づく水質監視対象の正常を示す基準値であることを特徴とすることを特徴とするプログラム。 A program executed by a computer,
A first function of using an object detection model to recognize a water surface area from a photographed image of a water quality monitoring target output from a surveillance camera, and determining water quality abnormalities based on the state of the recognized water surface area;
A second function of outputting the monitoring result;
a third function of storing learning data that is a set of measurement values of a water quality meter provided in the water quality monitoring target and monitoring images corresponding to the measurement values;
a fourth function of automatically classifying the surveillance images into two or more groups using a predetermined reference value corresponding to the measurement value;
a fifth function of displaying the grouped surveillance images on a display device, accepting manual group sorting operations by an operator for the automatically sorted surveillance images, and generating teacher data based on the grouped surveillance images sorted through the automatic sorting and manual sorting;
A sixth function of performing a learning process of the object detection model by applying the generated teacher data to the computer ;
The program, characterized in that the predetermined reference value is a reference value indicating an abnormality in the water quality monitoring target based on a water quality meter, or a reference value indicating a normality in the water quality monitoring target based on a water quality meter .
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021152972A JP7614994B2 (en) | 2021-09-21 | 2021-09-21 | Water Quality Monitoring System |
| PCT/JP2022/034204 WO2023048017A1 (en) | 2021-09-21 | 2022-09-13 | Water quality monitoring system |
| KR1020247010020A KR20240047471A (en) | 2021-09-21 | 2022-09-13 | water quality monitoring system |
| CN202280059788.6A CN117916592A (en) | 2021-09-21 | 2022-09-13 | Water quality monitoring system |
| TW111135261A TWI832435B (en) | 2021-09-21 | 2022-09-19 | Water quality monitoring system and computer-readable recording media |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021152972A JP7614994B2 (en) | 2021-09-21 | 2021-09-21 | Water Quality Monitoring System |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023044875A JP2023044875A (en) | 2023-04-03 |
| JP7614994B2 true JP7614994B2 (en) | 2025-01-16 |
Family
ID=85720637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021152972A Active JP7614994B2 (en) | 2021-09-21 | 2021-09-21 | Water Quality Monitoring System |
Country Status (5)
| Country | Link |
|---|---|
| JP (1) | JP7614994B2 (en) |
| KR (1) | KR20240047471A (en) |
| CN (1) | CN117916592A (en) |
| TW (1) | TWI832435B (en) |
| WO (1) | WO2023048017A1 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116233370B (en) * | 2023-04-27 | 2023-07-25 | 安徽哈斯特自动化科技有限公司 | Intelligent video monitoring method based on water quality monitoring |
| CN117058611B (en) * | 2023-07-12 | 2025-12-05 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | An automated microbial monitoring system |
| CN117110217B (en) * | 2023-10-23 | 2024-01-12 | 安徽农业大学 | Three-dimensional water quality monitoring method and system |
| TWI911687B (en) * | 2024-03-22 | 2026-01-11 | 台灣電力股份有限公司 | Intelligent Automatic Defoaming System and Method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006284525A (en) | 2005-04-05 | 2006-10-19 | Port & Airport Research Institute | Water quality estimating method using broken water image, and broken water image processing type water quality estimating system |
| CN103175792A (en) | 2013-03-18 | 2013-06-26 | 陈勇 | Water environment monitoring device based on machine vision |
| CN110414334A (en) | 2019-06-20 | 2019-11-05 | 浙江大学 | A kind of smart water quality recognition methods maked an inspection tour based on unmanned plane |
| JP2019209271A (en) | 2018-06-06 | 2019-12-12 | 株式会社明電舎 | Water quality determination device and water quality determination method in waste water treatment facility |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0737975B2 (en) * | 1989-03-15 | 1995-04-26 | 株式会社日立製作所 | Biological image monitoring device |
| JPH06304546A (en) * | 1993-04-21 | 1994-11-01 | Hitachi Ltd | Operation control device for water supply plant |
| JPH0830765A (en) * | 1994-07-14 | 1996-02-02 | Toyo Constr Co Ltd | Water area monitoring system |
| TWI456185B (en) * | 2012-01-13 | 2014-10-11 | Oriental Inst Technology | Water turbidity detection system and the method thereof |
| JP2017207323A (en) | 2016-05-17 | 2017-11-24 | 三菱電機株式会社 | Image processing water quality monitoring system |
-
2021
- 2021-09-21 JP JP2021152972A patent/JP7614994B2/en active Active
-
2022
- 2022-09-13 CN CN202280059788.6A patent/CN117916592A/en active Pending
- 2022-09-13 KR KR1020247010020A patent/KR20240047471A/en active Pending
- 2022-09-13 WO PCT/JP2022/034204 patent/WO2023048017A1/en not_active Ceased
- 2022-09-19 TW TW111135261A patent/TWI832435B/en active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006284525A (en) | 2005-04-05 | 2006-10-19 | Port & Airport Research Institute | Water quality estimating method using broken water image, and broken water image processing type water quality estimating system |
| CN103175792A (en) | 2013-03-18 | 2013-06-26 | 陈勇 | Water environment monitoring device based on machine vision |
| JP2019209271A (en) | 2018-06-06 | 2019-12-12 | 株式会社明電舎 | Water quality determination device and water quality determination method in waste water treatment facility |
| CN110414334A (en) | 2019-06-20 | 2019-11-05 | 浙江大学 | A kind of smart water quality recognition methods maked an inspection tour based on unmanned plane |
Non-Patent Citations (3)
| Title |
|---|
| WU, J. et al.,Mapping Salton Sea Water Surface Extent and Its Long-Term Changes with Landsat TM Imagery,2018 Fifth International Workshop on Earth Observation and Remote Sensing Applications,2019年11月03日,pp.1-5, [online], [retrieved on 2022.11.04], Retrieved from the Internet: <URL: http://ieeexplore.ieee.org /document/8598578> |
| WU, Y. et al.,Attention Neural Network for Water Image Classification under IoT Environment,applied sciences,2020年01月30日,Vol.10, article number:909,pp.1-16 |
| 高瀬信彰 ほか,畳み込みオートエンコーダを用いた下水処理施設の異常検知,画像ラボ Image Laboratory,日本工業出版株式会社,2020年11月10日,Vol.31, No.11,pp.1-8 |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI832435B (en) | 2024-02-11 |
| TW202316101A (en) | 2023-04-16 |
| JP2023044875A (en) | 2023-04-03 |
| KR20240047471A (en) | 2024-04-12 |
| WO2023048017A1 (en) | 2023-03-30 |
| CN117916592A (en) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7614994B2 (en) | Water Quality Monitoring System | |
| Meijer et al. | A defect classification methodology for sewer image sets with convolutional neural networks | |
| JP7043983B2 (en) | Water quality judgment device and water quality judgment method for sewage treatment facilities | |
| KR102513713B1 (en) | Methods and systems for fault classification | |
| US8306312B2 (en) | Method and apparatus for detecting pattern defects | |
| Myrans et al. | Automated detection of fault types in CCTV sewer surveys | |
| CN110414334A (en) | A kind of smart water quality recognition methods maked an inspection tour based on unmanned plane | |
| KR102272657B1 (en) | Diagnosis apparatus of partial discharge | |
| JP5718781B2 (en) | Image classification apparatus and image classification method | |
| JP2006038860A (en) | Tribological debris analysis system | |
| CN109859170A (en) | A kind of steel wire rope surface damage intelligent monitoring method and system based on LBP feature | |
| JP4521386B2 (en) | Defect data analysis method and apparatus | |
| TWI833326B (en) | Defect inspection system and defect inspection method | |
| TW202105245A (en) | Method for analyzing image of biopsy specimen to determine cancerous probability thereof | |
| KR100889997B1 (en) | Ship Ballast Water Inspection System Using Image Processing and Its Method | |
| CN105930852A (en) | Method for identifying bubble image | |
| WO2022190636A1 (en) | Support device and method | |
| WO2022244075A1 (en) | Inspection system | |
| CN110349133B (en) | Object surface defect detection method and device | |
| CN112418128A (en) | Surface water monitoring and management system and method | |
| CN115988175A (en) | A Vending Machine Material Track Monitoring System Based on Machine Vision | |
| JP7576959B2 (en) | Information processing device, information processing system, information processing method, and program | |
| JP2023079806A (en) | Microparticle measurement method, microparticle measurement device, and microparticle measurement system | |
| JP2011128030A (en) | Defect inspection device and defect information management method | |
| CN113191362A (en) | Transformer equipment oil leakage defect detection device and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20220516 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20241112 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20241122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241203 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241227 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7614994 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |