JP7147933B2

JP7147933B2 - Water quality analysis method

Info

Publication number: JP7147933B2
Application number: JP2021116028A
Authority: JP
Inventors: 信彰高▲瀬▼; 雄喜木村
Original assignee: Meidensha Corp
Current assignee: Meidensha Corp
Priority date: 2018-02-13
Filing date: 2021-07-14
Publication date: 2022-10-05
Anticipated expiration: 2038-02-13
Also published as: JP2019136664A; JP7020160B2; JP2021170373A

Description

本発明は、下水道処理施設等の水質分析方法に関する。 TECHNICAL FIELD The present invention relates to a water quality analysis method for sewage treatment facilities and the like.

近年、下水道処理施設の維持及び管理の効率化が求められている。従来技術の一例である非特許文献１には、浄水場に発生する凝集物であるフロックの監視を、運転操作員の目視に代えて画像処理によって行う技術が開示されている。非特許文献１に開示された技術では、グレースケール画像に対して空間フィルタリング処理を適用することで輝度を調整し、輝度を調整した画像を二値化処理することでフロックを抽出し、抽出したフロックに対してラベリング及び粒径分布計算を行っている。 In recent years, there has been a demand for more efficient maintenance and management of sewage treatment facilities. Non-Patent Document 1, which is an example of conventional technology, discloses a technique of monitoring flocs, which are aggregates generated in a water purification plant, by image processing instead of visual observation by an operator. In the technology disclosed in Non-Patent Document 1, brightness is adjusted by applying spatial filtering to a grayscale image, and flocs are extracted by binarizing the brightness-adjusted image. Labeling and particle size distribution calculations are performed on flocs.

また、従来技術の一例である特許文献１には、オートエンコーダで画像データの特徴抽出を行い、Ｏｎｅ－ＣｌａｓｓＳＶＭ（Support Vector Machine）等の１クラス分類器を用いて正常値と外れ値とを識別して異常判定を行う技術が開示されている。 In addition, Patent Document 1, which is an example of conventional technology, extracts features of image data with an autoencoder, and uses a one-class classifier such as One-Class SVM (Support Vector Machine) to classify normal values and outliers. Techniques for identifying and determining abnormality have been disclosed.

特開２０１８－５７７３号公報JP 2018-5773 A

馬場研二，依田幹雄，谷本正巳、「浄水場におけるフロック画像監視技術の基礎研究」、電気学会論文誌Ｄ、１９８７年、Ｖｏｌ．１０７、Ｎｏ．７、ｐ．８４４－８５１Kenji Baba, Mikio Yoda, Masami Tanimoto, "Fundamental research on floc image monitoring technology in water purification plants", The Institute of Electrical Engineers of Japan Transaction D, 1987, Vol. 107, No. 7, p. 844-851

しかしながら、非特許文献１に開示された技術によれば、二値化処理のしきい値並びに空間フィルタリング処理のフィルタサイズ及び重みの調整を要し、別の対象に対してはモデルを再構築して再度のチューニングを要する、という問題があった。 However, according to the technique disclosed in Non-Patent Document 1, it is necessary to adjust the threshold value of the binarization process and the filter size and weight of the spatial filtering process, and to reconstruct the model for another target. However, there is a problem that it requires re-tuning.

また、特許文献１に開示された技術では、単一の１クラス分類器により判定を行うため、色、スカム及びフロックといった、水質の多様な特徴に対応することが困難である、という問題があった。 In addition, the technology disclosed in Patent Document 1 has a problem that it is difficult to deal with various characteristics of water quality such as color, scum, and flocs, because determination is performed by a single one-class classifier. rice field.

本発明は、上記に鑑みてなされたものであって、特別なチューニングを行うことなく、水質の多様な特徴に対応した水質分析を行うことを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to perform water quality analysis corresponding to various characteristics of water quality without performing special tuning.

上述の課題を解決して目的を達成する本発明は、沈殿池の画像データについて畳み込みＡＥ（Auto Encoder）を学習して前記沈殿池の色相の特徴量を抽出し、該色相の特徴量からクラスタリングにより前記画像データを色相のクラスタに分類して色相の特徴空間及びクラスタ分布を描画する色相分析部と、前記画像データについて畳み込みＡＥを学習して前記沈殿池の浮遊物の特徴量を抽出し、該浮遊物の特徴量からクラスタリングにより前記画像データを浮遊物のクラスタに分類して浮遊物の特徴空間及びクラスタ分布を描画する浮遊物分析部とを備える水質分析装置である。 The present invention, which solves the above-mentioned problems and achieves the object, learns convolution AE (Auto Encoder) for the image data of the sedimentation basin, extracts the feature amount of the hue of the sedimentation basin, and clusters from the feature amount of the hue. A hue analysis unit that classifies the image data into hue clusters and draws a hue feature space and cluster distribution, and a convolution AE is learned on the image data to extract the feature amount of floating matter in the sedimentation tank, a floating matter analysis unit that classifies the image data into clusters of floating matter by clustering from the feature amounts of the floating matter and draws a feature space and cluster distribution of the floating matter.

上記構成の水質分析装置は、前記画像データについて畳み込みＡＥを学習して前記沈殿池の移動体の特徴量を抽出し、該移動体の特徴量からクラスタリングにより前記画像データを移動体のクラスタに分類して移動体の特徴空間及びクラスタ分布を描画する移動体分析部を備えることが好ましい。 The water quality analyzer configured as described above learns convolution AE for the image data, extracts the feature amount of moving bodies in the sedimentation tank, and classifies the image data into clusters of moving bodies by clustering from the feature amounts of the moving bodies. It is preferable to provide a moving object analysis unit that draws the feature space and cluster distribution of the moving objects by using the moving object analysis unit.

又は、本発明は、各々が、少なくとも画像加工部と、畳み込みＡＥ学習部と、畳み込みＡＥパラメータ記憶部と、特徴量抽出部と、クラスタリング部と、クラスタリングパラメータ記憶部と、クラスタ分類部と、特徴空間描画部とを含む、色相分析部及び浮遊物分析部を備える水質分析装置の水質分析方法であって、前記画像加工部が、沈殿池の画像データを加工すること、前記畳み込みＡＥ学習部が、加工した前記画像データについて畳み込みＡＥ学習を要する場合には前記画像データについて畳み込みＡＥ学習を行うこと、前記畳み込みＡＥパラメータ記憶部が、前記畳み込みＡＥ学習により得られた畳み込みＡＥパラメータを記憶すること、前記特徴量抽出部が、前記畳み込みＡＥパラメータを適用したエンコーダに、加工した前記画像データから特徴量抽出を行うこと、前記クラスタリング部が、加工した前記画像データについてクラスタリングを要する場合には前記画像データについてクラスタリングを行うこと、前記クラスタリングパラメータ記憶部が、前記クラスタリングにより得られたクラスタリングパラメータを記憶すること、前記クラスタ分類部が、特徴量抽出を行った前記画像データをクラスタに分類すること、前記特徴空間描画部が、クラスタ分類された前記画像データによる特徴空間及びクラスタ分布を描画することを含む水質分析方法である。 Alternatively, the present invention includes at least an image processing unit, a convolution AE learning unit, a convolution AE parameter storage unit, a feature amount extraction unit, a clustering unit, a clustering parameter storage unit, a cluster classification unit, and a feature A water quality analysis method for a water quality analysis device comprising a hue analysis unit and a suspended matter analysis unit, including a space drawing unit, wherein the image processing unit processes image data of a sedimentation tank, and the convolution AE learning unit performing convolution AE learning on the image data when convolution AE learning is required for the processed image data; and storing the convolution AE parameters obtained by the convolution AE learning in the convolution AE parameter storage unit; The feature quantity extraction unit extracts the feature quantity from the processed image data in an encoder to which the convolution AE parameter is applied; the clustering parameter storage unit stores the clustering parameters obtained by the clustering; the cluster classification unit classifies the image data subjected to feature quantity extraction into clusters; In the water quality analysis method, the space drawing unit draws the feature space and the cluster distribution based on the clustered image data.

本発明によれば、特別なチューニングを行うことなく、水質の多様な特徴に対応した水質分析を行うことができる、という効果を奏する。 ADVANTAGE OF THE INVENTION According to this invention, it is effective in the ability to perform the water-quality analysis corresponding to the various characteristics of water quality, without performing special tuning.

実施形態１に係る水質分析装置の構成を示すブロック図である。1 is a block diagram showing the configuration of a water quality analyzer according to Embodiment 1. FIG. 畳み込みＡＥの概要を説明する図である。It is a figure explaining the outline|summary of convolution AE. 学習済みエンコーダによる特徴量抽出の概要を説明する図である。FIG. 4 is a diagram explaining an overview of feature quantity extraction by a learned encoder; クラスタリング手法の概要を説明する図である。It is a figure explaining the outline|summary of a clustering method. 実施形態１に係る水質分析装置の色相分析部の動作を示すフローチャートである。4 is a flow chart showing the operation of the hue analysis unit of the water quality analyzer according to Embodiment 1. FIG. 実施形態２に係る水質分析装置の前提となる移動体分析部の構成を示すブロック図である。FIG. 11 is a block diagram showing the configuration of a moving object analysis unit that is a prerequisite for the water quality analyzer according to Embodiment 2; 実施形態２に係る水質分析装置の構成を示すブロック図である。2 is a block diagram showing the configuration of a water quality analyzer according to Embodiment 2. FIG.

以下、添付図面を参照して、本発明の水質分析装置及び水質分析方法を実施するための形態について説明する。ただし、本発明は、以下の実施形態の記載によって限定解釈されるものではない。 EMBODIMENT OF THE INVENTION Hereafter, with reference to an accompanying drawing, the form for implementing the water-quality-analysis apparatus and water-quality-analysis method of this invention is demonstrated. However, the present invention is not to be construed as limited by the description of the following embodiments.

＜実施形態１＞
図１は、本実施形態に係る水質分析装置の構成を示すブロック図である。図１に示す水質分析装置１００は、データ蓄積部１０１と、色相分析部１１０と、浮遊物分析部１２０とを備える。 <Embodiment 1>
FIG. 1 is a block diagram showing the configuration of the water quality analyzer according to this embodiment. A water quality analyzer 100 shown in FIG.

データ蓄積部１０１は、下水道処理施設等の沈殿池に設置された、図示しないカメラが取得した沈殿池の画像データを蓄積する。データ蓄積部１０１は、半導体メモリ及び磁気ディスク等の記録媒体により実現することができる。この画像データは、静止画又は複数の連続した静止画により構成される動画の双方を含む。 The data accumulation unit 101 accumulates image data of the sedimentation basin, which is acquired by a camera (not shown) installed in the sedimentation basin of a sewage treatment facility or the like. The data storage unit 101 can be realized by a recording medium such as a semiconductor memory and a magnetic disk. This image data includes both a still image and a moving image composed of a plurality of consecutive still images.

色相分析部１１０は、データ蓄積部１０１の画像データを用いて処理水の色を分析する。色相分析部１１０を用いて処理水の色を分析することにより、例えば、処理水中に巻き上がる汚泥による沈殿池の色の変化を判別し、処理水中に巻き上がる汚泥の量を評価することが可能である。浮遊物分析部１２０は、データ蓄積部１０１の画像データを用いて処理水の浮遊物を分析する。浮遊物分析部１２０を用いて処理水を分析することにより、例えば、浮遊物の有無を判別することが可能である。また、浮遊物が存在する場合には、当該浮遊物の成分を特定することも可能である。ここで、浮遊物には、スカム及び泡を例示することができる。浮遊物の成分を分析することにより、例えば、この浮遊物がスカムであるか否かの判別が可能となる。色相分析部１１０及び浮遊物分析部１２０は、データ蓄積部１０１に蓄積された画像データについて、畳み込みＡＥ学習、特徴量抽出及びクラスタリングを行う。 The hue analysis unit 110 analyzes the color of treated water using the image data in the data storage unit 101 . By analyzing the color of the treated water using the hue analysis unit 110, for example, it is possible to determine the change in the color of the sedimentation tank due to the sludge swirling up in the treated water, and to evaluate the amount of sludge swirling up in the treated water. is. The suspended solids analysis unit 120 analyzes suspended solids in the treated water using the image data of the data storage unit 101 . By analyzing the treated water using the floating matter analyzer 120, it is possible to determine the presence or absence of floating matter, for example. In addition, when floating matter is present, it is also possible to identify the components of the floating matter. Here, floating matter can be exemplified by scum and bubbles. By analyzing the components of floating matter, for example, it is possible to determine whether or not this floating matter is scum. The hue analysis unit 110 and floating matter analysis unit 120 perform convolution AE learning, feature extraction, and clustering on the image data accumulated in the data accumulation unit 101 .

ここで、色相分析部１１０の構成について説明する。色相分析部１１０は、第１の画像加工部１１１と、第１の畳み込みＡＥ学習部１１２と、第１の畳み込みＡＥパラメータ記憶部１１３と、第１の特徴量抽出部１１４と、第１のクラスタリング部１１５と、第１のクラスタリングパラメータ記憶部１１６と、第１のクラスタ分類部１１７と、第１の特徴空間描画部１１８と、第１の学習要否判定部１１９とを備え、ＲＧＢ画像データを用いて処理水の色を分析する。 Here, the configuration of hue analysis section 110 will be described. The hue analysis unit 110 includes a first image processing unit 111, a first convolution AE learning unit 112, a first convolution AE parameter storage unit 113, a first feature amount extraction unit 114, and a first clustering unit. 115, a first clustering parameter storage unit 116, a first cluster classification unit 117, a first feature space drawing unit 118, and a first learning necessity determination unit 119. to analyze the color of the treated water.

第１の画像加工部１１１は、データ蓄積部１０１の画像データにトリミング処理又は正規化を行うことで、加工済みのＲＧＢ３チャネル画像を得る。第１の画像加工部１１１は、ＭＰＵ（Micro-Processing Unit）及びＣＰＵ（Central Processing Unit）等のプロセッサにより実現することができる。 The first image processing unit 111 obtains a processed RGB 3-channel image by performing trimming processing or normalization on the image data in the data storage unit 101 . The first image processing unit 111 can be implemented by a processor such as an MPU (Micro-Processing Unit) and a CPU (Central Processing Unit).

第１の畳み込みＡＥ学習部１１２は、第１の画像加工部１１１によって加工済みのＲＧＢ３チャネル画像を用いて、畳み込みＡＥを学習する。第１の畳み込みＡＥ学習部１１２は、ＭＰＵ及びＣＰＵ等のプロセッサにより実現することができる。第１の畳み込みＡＥパラメータ記憶部１１３は、第１の畳み込みＡＥ学習部１１２で学習されて得られた畳み込みＡＥパラメータを記憶する。第１の畳み込みＡＥパラメータ記憶部１１３は、半導体メモリ及び磁気ディスク等の記録媒体により実現することができる。 The first convolution AE learning unit 112 uses the RGB 3-channel image processed by the first image processing unit 111 to learn convolution AE. The first convolutional AE learning unit 112 can be realized by a processor such as MPU and CPU. The first convolution AE parameter storage unit 113 stores the convolution AE parameters learned by the first convolution AE learning unit 112 . The first convolution AE parameter storage unit 113 can be realized by a recording medium such as a semiconductor memory and a magnetic disk.

図２は、畳み込みＡＥの概要を説明する図である。図２に示すように、畳み込みＡＥは次元を圧縮するエンコーダと次元を復元するデコーダとを含む。エンコーダとデコーダの間に存在する全結合層は、入力画像に対して次元が低く、学習済みのエンコーダは次元圧縮器として適切に動作する。第１の畳み込みＡＥ学習部１１２では、教師データを入力画像として、ネットワークが生成する画像と教師データとの誤差が最小となるような学習を行うことで、画像の有する特徴をエンコーダが学習する。ここで、畳み込みＡＥは、教師なし学習であり、教師データを入力画像として学習を行うため、ユーザが処理水の画像に対して、色及び浮遊物に対するラベリングを行う必要がないという利点がある。また、畳み込みＡＥでは設計に特別なチューニングを要さず、その学習は画像の入力のみで行われる。 FIG. 2 is a diagram for explaining the outline of the convolution AE. As shown in FIG. 2, the convolution AE includes an encoder that compresses dimensions and a decoder that restores dimensions. A fully connected layer that exists between the encoder and the decoder has a low dimensionality with respect to the input image, and the trained encoder behaves well as a dimensionality compressor. In the first convolutional AE learning unit 112, the encoder learns the features of the image by performing learning such that the error between the image generated by the network and the teacher data is minimized using the teacher data as an input image. Here, the convolution AE is unsupervised learning, and since learning is performed using teacher data as an input image, there is an advantage that the user does not need to label the treated water image with respect to colors and suspended matter. In addition, the convolution AE does not require special tuning in its design, and its learning is performed only by inputting images.

第１の特徴量抽出部１１４は、第１の畳み込みＡＥパラメータ記憶部１１３に記憶された畳み込みＡＥパラメータを適用して、学習済みのエンコーダを含む畳み込みＡＥを用いて、第１の画像加工部１１１によって加工済みのデータの特徴量抽出を行う。第１の特徴量抽出部１１４は、ＭＰＵ及びＣＰＵ等のプロセッサにより実現することができる。 The first feature amount extraction unit 114 applies the convolution AE parameters stored in the first convolution AE parameter storage unit 113, and uses the convolution AE including the trained encoder to perform the first image processing unit 111. extracts feature values from the processed data. The first feature amount extraction unit 114 can be implemented by a processor such as MPU and CPU.

図３は、学習済みエンコーダによる特徴量抽出の概要を説明する図である。第１の特徴量抽出部１１４は、学習済みエンコーダに入力画像を入力し、入力画像の次元圧縮を行うことで特徴量抽出を行う。 FIG. 3 is a diagram explaining an overview of feature quantity extraction by a trained encoder. The first feature quantity extraction unit 114 inputs an input image to the learned encoder and performs dimensional compression of the input image to extract the feature quantity.

第１のクラスタリング部１１５は、第１の特徴量抽出部１１４が抽出した特徴量に対してクラスタリング手法を適用し、画像データのクラスタリングを行う。第１のクラスタリング部１１５は、ＭＰＵ及びＣＰＵ等のプロセッサにより実現することができる。なお、このクラスタリングは、ユーザの知識に基づいた判定条件によって可否が決定される。第１のクラスタリングパラメータ記憶部１１６は、第１のクラスタリング部１１５によって得られたクラスタリングパラメータを記憶する。第１のクラスタリングパラメータ記憶部１１６は、半導体メモリ及び磁気ディスク等の記録媒体により実現することができる。第１のクラスタ分類部１１７は、第１の特徴量抽出部１１４が特徴量抽出を行った画像データの所属クラスタを特徴量に基づいて決定し、各画像データをクラスタに分類する。第１のクラスタ分類部１１７は、ＭＰＵ及びＣＰＵ等のプロセッサにより実現することができる。 The first clustering unit 115 applies a clustering method to the feature amount extracted by the first feature amount extraction unit 114 to cluster the image data. The first clustering unit 115 can be realized by processors such as MPU and CPU. Whether this clustering is possible or not is determined by a judgment condition based on the user's knowledge. First clustering parameter storage section 116 stores the clustering parameters obtained by first clustering section 115 . The first clustering parameter storage unit 116 can be realized by a recording medium such as a semiconductor memory and a magnetic disk. The first cluster classification unit 117 determines the cluster to which the image data whose feature quantity is extracted by the first feature quantity extraction unit 114 belongs based on the feature quantity, and classifies each image data into clusters. The first cluster classification unit 117 can be realized by a processor such as MPU and CPU.

図４は、クラスタリング手法の概要を説明する図である。ここで用いるクラスタリング手法は非階層型クラスタリングであり、ｋ－ｍｅａｎｓ法、混合正規分布、ＤＢＳＣＡＮ（Density-Based Spatial Clustering of Applications with Noise）を例示することができる。図４では、データがクラスタ１、クラスタ２又はクラスタ３のいずれかに分類され、特徴空間に描画されている。 FIG. 4 is a diagram explaining an overview of the clustering method. The clustering method used here is non-hierarchical clustering, and can be exemplified by the k-means method, mixed normal distribution, and DBSCAN (Density-Based Spatial Clustering of Applications with Noise). In FIG. 4, the data are classified into either cluster 1, cluster 2 or cluster 3 and drawn in the feature space.

第１の特徴空間描画部１１８は、第１のクラスタリング部１１５及び第１のクラスタ分類部１１７の情報に基づいて特徴空間及びクラスタ分布を描画することで情報の可視化を行う。第１の特徴空間描画部１１８は、例えば、特徴空間を主成分分析（principal component analysis）によって、２次元又は３次元に圧縮することでデータ及びクラスタの分布を提示する。ユーザには、各クラスタが有する特徴が提示され、ユーザは手動で各クラスタのラベル付けを行うことが可能になる。第１の特徴空間描画部１１８としては、タッチパネル等の入出力装置により実現することができる。 The first feature space rendering unit 118 visualizes information by rendering the feature space and cluster distribution based on the information from the first clustering unit 115 and the first cluster classification unit 117 . The first feature space rendering unit 118 presents the distribution of data and clusters by compressing the feature space into two dimensions or three dimensions by, for example, principal component analysis. The user is presented with the features that each cluster has and is allowed to manually label each cluster. The first feature space rendering unit 118 can be realized by an input/output device such as a touch panel.

なお、第１の畳み込みＡＥ学習部１１２による学習及び第１のクラスタリング部１１５によるクラスタリングは、学習が必要な場合、すなわち最初の動作時又は再学習が必要な場合にのみ行えばよい。第１の学習要否判定部１１９は、第１の畳み込みＡＥ学習部１１２及び第１のクラスタリング部１１５の学習の要否を判定し、第１の畳み込みＡＥ学習部１１２及び第１のクラスタリング部１１５に対して学習すべきか否かを指示する。ここで、再学習のタイミングは、ユーザによって決定され、設定された一定の周期又は沈殿池の環境変化時とする。設定された一定の周期は、例えば一週間又は一か月であり、沈殿池の環境変化は、例えば、季節の変化又は処理場の工事によって生じるものである。 Note that the learning by the first convolution AE learning unit 112 and the clustering by the first clustering unit 115 may be performed only when learning is necessary, that is, at the time of initial operation or when re-learning is necessary. The first learning necessity determination unit 119 determines necessity of learning of the first convolution AE learning unit 112 and the first clustering unit 115, and instructs whether or not to learn for Here, the timing of re-learning is determined by the user and set at a certain period or when the environment of the sedimentation tank changes. The set period is, for example, one week or one month, and environmental changes in the sedimentation pond are caused, for example, by seasonal changes or construction of the treatment plant.

次に、浮遊物分析部１２０の構成について説明する。浮遊物分析部１２０は、第２の画像加工部１２１と、第２の畳み込みＡＥ学習部１２２と、第２の畳み込みＡＥパラメータ記憶部１２３と、第２の特徴量抽出部１２４と、第２のクラスタリング部１２５と、第２のクラスタリングパラメータ記憶部１２６と、第２のクラスタ分類部１２７と、第２の特徴空間描画部１２８と、第２の学習要否判定部１２９とを備え、グレースケール画像を用いて処理水上の浮遊物を分析する。 Next, the configuration of the floating matter analysis section 120 will be described. The floating matter analysis unit 120 includes a second image processing unit 121, a second convolution AE learning unit 122, a second convolution AE parameter storage unit 123, a second feature amount extraction unit 124, and a second A clustering unit 125, a second clustering parameter storage unit 126, a second cluster classification unit 127, a second feature space drawing unit 128, and a second learning necessity determination unit 129. Analyze suspended solids on the treated water using

第２の画像加工部１２１は、データ蓄積部１０１の画像データを加工する。具体的には、第２の画像加工部１２１は、浮遊物の分析のために、データ蓄積部１０１のデータに対してグレースケール変換を行う。 A second image processing unit 121 processes the image data in the data storage unit 101 . Specifically, the second image processing unit 121 performs grayscale conversion on the data in the data storage unit 101 for analysis of floating matter.

第２の畳み込みＡＥ学習部１２２は、第２の画像加工部１２１によって加工済みのデータを用いて、畳み込みＡＥを学習する。畳み込みＡＥについては、第１の畳み込みＡＥ学習部１１２の説明を援用する。第２の畳み込みＡＥパラメータ記憶部１２３は、第２の畳み込みＡＥ学習部１２２で学習されて得られた畳み込みＡＥパラメータを記憶する。 The second convolution AE learning unit 122 uses the data processed by the second image processing unit 121 to learn convolution AE. As for the convolution AE, the description of the first convolution AE learning unit 112 is used. The second convolution AE parameter storage unit 123 stores the convolution AE parameters learned by the second convolution AE learning unit 122 .

第２の特徴量抽出部１２４は、第２の畳み込みＡＥパラメータ記憶部１２３に記憶された畳み込みＡＥパラメータを適用して、学習済みのエンコーダを含む畳み込みＡＥを用いて、第２の画像加工部１２１によって加工済みのデータの特徴量抽出を行う。特徴量抽出については、第１の特徴量抽出部１１４の説明を援用する。 The second feature amount extraction unit 124 applies the convolution AE parameters stored in the second convolution AE parameter storage unit 123, and uses the convolution AE including the learned encoder to perform the second image processing unit 121. extracts feature values from the processed data. As for feature extraction, the description of the first feature extraction unit 114 is used.

第２のクラスタリング部１２５は、第２の特徴量抽出部１２４が抽出した特徴量に対してクラスタリング手法を適用し、画像データのクラスタリングを行う。第２のクラスタリングパラメータ記憶部１２６は、第２のクラスタリング部１２５によって得られたクラスタリングパラメータを記憶する。第２のクラスタ分類部１２７は、第２の特徴量抽出部１２４が特徴量抽出を行った画像データの所属クラスタを特徴量に基づいて決定し、各画像データをクラスタに分類する。クラスタリング手法については、第１のクラスタリング部１１５の説明を援用する。 The second clustering unit 125 applies a clustering method to the feature amount extracted by the second feature amount extraction unit 124 to cluster the image data. The second clustering parameter storage section 126 stores clustering parameters obtained by the second clustering section 125 . The second cluster classifying section 127 determines the cluster to which the image data whose feature amount is extracted by the second feature amount extracting section 124 belongs based on the feature amount, and classifies each image data into clusters. As for the clustering method, the description of the first clustering unit 115 is used.

第２の特徴空間描画部１２８は、第２のクラスタリング部１２５及び第２のクラスタ分類部１２７の情報に基づいて特徴空間及びクラスタ分布を描画することで情報の可視化を行う。特徴空間及びクラスタ分布の描画については、第１の特徴空間描画部１１８の説明を援用する。 The second feature space rendering unit 128 visualizes information by rendering the feature space and cluster distribution based on the information from the second clustering unit 125 and the second cluster classification unit 127 . For the drawing of the feature space and cluster distribution, the description of the first feature space drawing unit 118 is used.

なお、第２の畳み込みＡＥ学習部１２２による学習及び第２のクラスタリング部１２５によるクラスタリングは、学習が必要な場合、すなわち最初の動作時又は再学習が必要な場合にのみ行えばよい。第２の学習要否判定部１２９は、第２の畳み込みＡＥ学習部１２２及び第２のクラスタリング部１２５の学習の要否を判定し、第２の畳み込みＡＥ学習部１２２及び第２のクラスタリング部１２５に対して学習すべきか否かを指示する。 The learning by the second convolutional AE learning unit 122 and the clustering by the second clustering unit 125 may be performed only when learning is necessary, that is, when the first operation or re-learning is necessary. The second learning necessity determination unit 129 determines whether or not the second convolution AE learning unit 122 and the second clustering unit 125 need to learn, and the second convolution AE learning unit 122 and the second clustering unit 125 instructs whether or not to learn for

このように、色相分析部１１０が第１の畳み込みＡＥ学習部１１２を備え、浮遊物分析部１２０が第２の畳み込みＡＥ学習部１２２を備えるため、水質の多様な特徴に対応することが可能であり、単一の畳み込みＡＥで特徴量抽出を行う構成よりも高精度に特徴量抽出を行うことができる。 Thus, since the hue analysis unit 110 includes the first convolution AE learning unit 112 and the floating matter analysis unit 120 includes the second convolution AE learning unit 122, it is possible to deal with various characteristics of water quality. There is, and it is possible to perform feature quantity extraction with higher precision than a configuration in which feature quantity extraction is performed with a single convolution AE.

更には、第１の特徴空間描画部１１８及び第２の特徴空間描画部１２８を備えるため、自動生成されたクラスタ分布を視覚的に確認することができ、ユーザは、畳み込みＡＥにより抽出された特徴を確認することができる。 Furthermore, since the first feature space rendering unit 118 and the second feature space rendering unit 128 are provided, the automatically generated cluster distribution can be visually confirmed, and the user can easily understand the features extracted by the convolution AE. can be confirmed.

なお、上述の色相分析部１１０及び浮遊物分析部１２０が備える構成のうちプロセッサにより実現されるものは同一の１つのプロセッサにより実現されていてもよい。また、上述の色相分析部１１０及び浮遊物分析部１２０が備える構成のうち記録媒体により実現されるものは同一の１つの記録媒体により実現されていてもよい。更には、上述の色相分析部１１０及び浮遊物分析部１２０が備える構成のうちタッチパネル等の入出力装置により実現されるものは同一の１つの入出力装置により実現されていてもよい。 It should be noted that, among the configurations of hue analysis section 110 and floating matter analysis section 120 described above, those implemented by processors may be implemented by the same single processor. In addition, among the configurations provided in the hue analysis section 110 and the floating matter analysis section 120 described above, those realized by a recording medium may be realized by the same single recording medium. Further, among the configurations of the hue analysis unit 110 and the floating matter analysis unit 120 described above, those implemented by an input/output device such as a touch panel may be implemented by the same single input/output device.

次に、色相分析部１１０の動作について説明する。図５は、色相分析部１１０の動作を示すフローチャートである。まず、第１の画像加工部１１１は、データ蓄積部１０１から画像データを取得して加工する（Ｓ１：画像データ加工ステップ）。第１の学習要否判定部１１９は、第１の畳み込みＡＥ学習部１１２の学習の要否を判定する（Ｓ２：畳み込みＡＥ学習部の学習要否判定ステップ）。第１の学習要否判定部１１９が、第１の畳み込みＡＥ学習部１１２の学習を不要と判定した場合（Ｓ２：否）には、フローはＳ５に進む。第１の学習要否判定部１１９が、第１の畳み込みＡＥ学習部１１２の学習を必要と判定した場合（Ｓ２：要）には、第１のＡＥ畳み込み学習部１１２は、加工済みの画像データを用いて畳み込みＡＥの学習を行い（Ｓ３：畳み込みＡＥ学習ステップ）、得られた畳み込みＡＥパラメータを第１の畳み込みＡＥパラメータ記憶部１１３に記憶させる（Ｓ４：畳み込みＡＥパラメータ記憶ステップ）。次に、第１の特徴量抽出部１１４は、第１の畳み込みＡＥパラメータ記憶部１１３から畳み込みＡＥパラメータを取得し、当該畳み込みＡＥパラメータを適用したエンコーダに加工済みの画像データを入力して次元圧縮を行うことで特徴量抽出を行う（Ｓ５：特徴量抽出ステップ）。第１の学習要否判定部１１９は、第１のクラスタリング部１１５の学習の要否を判定する（Ｓ６：クラスタリング部の学習要否判定ステップ）。第１の学習要否判定部１１９が、第１のクラスタリング部１１５の学習を不要と判定した場合（Ｓ６：否）には、フローはＳ９に進む。第１の学習要否判定部１１９が、第１のクラスタリング部１１５の学習を必要と判定した場合（Ｓ６：要）には、第１のクラスタリング部１１５は、第１の特徴量抽出部１１４で抽出された特徴量を取得してクラスタリングを行い（Ｓ７：クラスタリングステップ）、得られたクラスタリングパラメータを第１のクラスタリングパラメータ記憶部１１６に記憶させる（Ｓ８：クラスタリングパラメータ記憶ステップ）。次に、第１のクラスタ分類部１１７は、特徴量抽出を行った画像データをクラスタに分類する（Ｓ９：クラスタ分類ステップ）。次に、第１の特徴空間描画部１１８は、クラスタ分類された画像データによる特徴空間及びクラスタ分布を描画し（Ｓ１０：描画ステップ）、処理をエンドする。このように描画された情報はユーザに提示され、提示された情報についてユーザはラベリング処理を行う。 Next, the operation of hue analysis section 110 will be described. FIG. 5 is a flow chart showing the operation of the hue analysis unit 110. As shown in FIG. First, the first image processing unit 111 acquires and processes image data from the data storage unit 101 (S1: image data processing step). The first learning necessity determination unit 119 determines whether learning by the first convolution AE learning unit 112 is necessary (S2: learning necessity determination step for the convolution AE learning unit). When the first learning necessity determination unit 119 determines that learning by the first convolution AE learning unit 112 is unnecessary (S2: No), the flow proceeds to S5. When the first learning necessity determination unit 119 determines that learning by the first convolution AE learning unit 112 is necessary (S2: Required), the first AE convolution learning unit 112 processes the processed image data. is used to perform convolution AE learning (S3: convolution AE learning step), and the obtained convolution AE parameters are stored in the first convolution AE parameter storage unit 113 (S4: convolution AE parameter storage step). Next, the first feature amount extraction unit 114 acquires the convolution AE parameters from the first convolution AE parameter storage unit 113, inputs the processed image data to the encoder to which the convolution AE parameters are applied, and performs dimensional compression. (S5: feature extraction step). The first learning necessity determination unit 119 determines necessity of learning of the first clustering unit 115 (S6: learning necessity determination step of the clustering unit). When the first learning necessity determination unit 119 determines that the learning of the first clustering unit 115 is unnecessary (S6: No), the flow proceeds to S9. When the first learning necessity determination unit 119 determines that the learning of the first clustering unit 115 is necessary (S6: Required), the first clustering unit 115 determines that the first feature amount extraction unit 114 The extracted feature quantities are acquired and clustered (S7: clustering step), and the obtained clustering parameters are stored in the first clustering parameter storage unit 116 (S8: clustering parameter storage step). Next, the first cluster classification unit 117 classifies the image data from which the feature quantity has been extracted into clusters (S9: cluster classification step). Next, the first feature space drawing unit 118 draws the feature space and cluster distribution based on the clustered image data (S10: drawing step), and ends the process. The information drawn in this way is presented to the user, and the user performs labeling processing on the presented information.

浮遊物分析部１２０の動作は、色相分析部１１０と同様であるため、色相分析部１１０の説明を援用する。 Since the operation of the floating matter analysis unit 120 is the same as that of the hue analysis unit 110, the description of the hue analysis unit 110 is used.

以上説明した本実施形態によれば、従来技術では必要であった、二値化処理のしきい値並びに空間フィルタリング処理のフィルタサイズ及び重みの調整が不要であり、対象が異なってもモデルの再構築及び再度のチューニングが不要である。更には、複数の畳み込みＡＥ学習部を備えてクラスタリングを行うことから、柔軟な特徴抽出及びクラスタ分類が可能である。従って、特別なチューニングを行うことなく、水質の多様な特徴に対応した水質分析を行うことが可能である。また、本実施形態によれば、色相分析部１１０及び浮遊物分析部１２０の出力を連関させることで、高精度な分析が可能となる。 According to the present embodiment described above, it is not necessary to adjust the threshold value of the binarization process and the filter size and weight of the spatial filtering process, which is necessary in the conventional technology, and the model can be reproduced even if the target is different. No building and retuning required. Furthermore, since clustering is performed using a plurality of convolution AE learning units, flexible feature extraction and cluster classification are possible. Therefore, it is possible to perform water quality analysis corresponding to various characteristics of water quality without special tuning. Further, according to this embodiment, by linking the outputs of the hue analysis unit 110 and the floating matter analysis unit 120, highly accurate analysis becomes possible.

＜実施形態２＞
実施形態１では、色相分析部及び浮遊物分析部を備える水質分析装置を説明したが、本発明に係る水質分析装置は、これに限定されるものではなく、更に移動体分析部を備える構成とすることも可能である。 <Embodiment 2>
In the first embodiment, the water quality analysis device including the hue analysis unit and the suspended solids analysis unit has been described, but the water quality analysis device according to the present invention is not limited to this, and may further include a mobile object analysis unit. It is also possible to

＜前提技術＞
図６は、本実施形態に係る水質分析装置の前提となる移動体分析部の構成を示すブロック図である。図６に示す移動体分析部２１０は、画像加工部２１１と、フロー推定部２１２と、統計量算出部２１３とを備える。移動体分析部２１０は、データ蓄積部２０１のデータを供給可能に構成されている。データ蓄積部２０１は、データ蓄積部１０１と同様に、沈殿池に設置されたカメラが取得した沈殿池の動画データを蓄積する。データ蓄積部２０１は、半導体メモリ及び磁気ディスク等の記録媒体により実現することができる。画像加工部２１１は、データ蓄積部２０１の動画データをグレースケール変換し、複数のグレースケール画像データに加工する。フロー推定部２１２は、物体の動きをベクトル表示するオプティカル・フロー（Optical Flow）によって移動体のフローを推定する。この移動体は、スカム及びフロックである。ここで、オプティカル・フロー（Optical Flow）の計算アルゴリズムには、画素全体の移動体を解析する、密なオプティカル・フロー（Dense Optical Flow）を用いる。密なオプティカル・フロー（Dense Optical Flow）には、ＧｕｎｎａｒＦａｒｎｅｂａｃｋ法、ＴＶ－Ｌ１法、Ｂｒｏｘ法を例示することができる。統計量算出部２１３は、フロー推定部２１２によって得られた速度及び移動方向の情報から統計量を算出する。一般に、スカム及びフロックは、処理水そのものと比較して、乱雑な方向及び速度で移動するため、算出した統計量によりスカム及びフロックの有無を評価することが可能となる。画像加工部２１１、フロー推定部２１２及び統計量算出部２１３は、ＭＰＵ（Micro-Processing Unit）及びＣＰＵ（Central Processing Unit）等のプロセッサにより実現することができる。 <Prerequisite technology>
FIG. 6 is a block diagram showing the configuration of a mobile body analysis unit that is a premise of the water quality analyzer according to this embodiment. The mobile body analysis unit 210 shown in FIG. 6 includes an image processing unit 211 , a flow estimation unit 212 and a statistic calculation unit 213 . The mobile body analysis unit 210 is configured to be able to supply the data of the data storage unit 201 . The data accumulation unit 201, like the data accumulation unit 101, accumulates the moving image data of the sedimentation basin acquired by the camera installed in the sedimentation basin. The data storage unit 201 can be realized by a recording medium such as a semiconductor memory and a magnetic disk. The image processing unit 211 grayscale-converts the moving image data in the data storage unit 201 and processes it into a plurality of grayscale image data. The flow estimating unit 212 estimates the flow of the moving object by optical flow that expresses the motion of the object as a vector. The mobiles are scum and flocs. Here, Dense Optical Flow, which analyzes moving bodies in all pixels, is used for the optical flow calculation algorithm. The Dense Optical Flow can be exemplified by the Gunnar Farneback method, the TV-L1 method, and the Brox method. The statistic calculation unit 213 calculates a statistic from the speed and movement direction information obtained by the flow estimation unit 212 . In general, scum and flocs move in random directions and speeds compared to the treated water itself, so it is possible to evaluate the presence or absence of scum and flocs based on the calculated statistics. The image processing unit 211, the flow estimation unit 212, and the statistic calculation unit 213 can be realized by a processor such as an MPU (Micro-Processing Unit) and a CPU (Central Processing Unit).

このように、動画を用いた移動体分析部を備えることで、フロック及びスカムの位置、移動方向及び移動速度の定量的な評価が可能である。 In this way, by providing a moving object analysis unit that uses moving images, it is possible to quantitatively evaluate the positions, moving directions, and moving speeds of flocs and scum.

図７は、本実施形態に係る水質分析装置の構成を示すブロック図である。図７に示す水質分析装置１００Ａは、データ蓄積部１０１と、色相分析部１１０と、浮遊物分析部１２０と、移動体分析部１３０とを備える。色相分析部１１０及び浮遊物分析部１２０は、図１に示すものと同じであるため実施形態１の説明を援用する。 FIG. 7 is a block diagram showing the configuration of the water quality analyzer according to this embodiment. A water quality analyzer 100A shown in FIG. Since the hue analysis unit 110 and the floating matter analysis unit 120 are the same as those shown in FIG. 1, the description of the first embodiment is used.

移動体分析部１３０は、第３の画像加工部１３１と、第３の畳み込みＡＥ学習部１３２と、第３の畳み込みＡＥパラメータ記憶部１３３と、第３の特徴量抽出部１３４と、第３のクラスタリング部１３５と、第３のクラスタリングパラメータ記憶部１３６と、第３のクラスタ分類部１３７と、第３の特徴空間描画部１３８と、第３の学習要否判定部１３９と、フロー推定部１４０とを備え、スカム及びフロックの有無を評価可能とする。 The moving object analysis unit 130 includes a third image processing unit 131, a third convolution AE learning unit 132, a third convolution AE parameter storage unit 133, a third feature amount extraction unit 134, and a third A clustering unit 135, a third clustering parameter storage unit 136, a third cluster classification unit 137, a third feature space drawing unit 138, a third learning necessity determination unit 139, and a flow estimation unit 140 to enable evaluation of the presence or absence of scum and flocs.

次に、移動体分析部１３０の構成について説明する。第３の画像加工部１３１は、前提技術における図６に示す画像加工部２１１と同様に、データ蓄積部１０１の動画データをグレースケール変換し、複数のグレースケール画像データに加工する。フロー推定部１４０は、第３の画像加工部１３１によって加工済みのデータを用いて、前提技術における図６に示すフロー推定部２１２と同様に、オプティカル・フロー（Optical Flow）によって移動体のフローを推定する。これにより、移動体の移動方向及び移動速度の情報が抽出される。 Next, the configuration of the moving object analysis unit 130 will be described. The third image processing unit 131 grayscale-converts the moving image data in the data storage unit 101 and processes it into a plurality of grayscale image data, similarly to the image processing unit 211 shown in FIG. 6 in the base technology. The flow estimating unit 140 uses the data processed by the third image processing unit 131 to estimate the flow of the moving object by optical flow, similar to the flow estimating unit 212 shown in FIG. 6 in the base technology. presume. As a result, information on the moving direction and moving speed of the moving object is extracted.

第３の畳み込みＡＥ学習部１３２は、フロー推定部１４０によって得られた、移動体の移動方向及び移動速度の情報を用いて、畳み込みＡＥを学習する。畳み込みＡＥについては、実施形態１における第１の畳み込みＡＥ学習部１１２の説明を援用する。第３の畳み込みＡＥパラメータ記憶部１３３は、第３の畳み込みＡＥ学習部１３２で学習されて得られた畳み込みＡＥパラメータを記憶する。 The third convolutional AE learning unit 132 learns the convolutional AE using the moving direction and moving speed information of the moving object obtained by the flow estimating unit 140 . For the convolution AE, the description of the first convolution AE learning unit 112 in the first embodiment is used. The third convolution AE parameter storage unit 133 stores the convolution AE parameters learned by the third convolution AE learning unit 132 .

第３の特徴量抽出部１３４は、第３の畳み込みＡＥパラメータ記憶部１３３に記憶された畳み込みＡＥパラメータを適用した学習済みのエンコーダを含む畳み込みＡＥを用いて、第３の画像加工部１３１によって加工済みのデータの特徴量抽出を行う。特徴量抽出については、実施形態１における第１の特徴量抽出部１１４の説明を援用する。 The third feature amount extraction unit 134 performs processing by the third image processing unit 131 using a convolution AE including a learned encoder to which the convolution AE parameters stored in the third convolution AE parameter storage unit 133 are applied. Perform feature value extraction of the already processed data. As for feature amount extraction, the description of the first feature amount extraction unit 114 in the first embodiment is used.

第３のクラスタリング部１３５は、第３の特徴量抽出部１３４が抽出した特徴量に対してクラスタリング手法を適用し、画像データのクラスタリングを行う。第３のクラスタリングパラメータ記憶部１３６は、第３のクラスタリング部１３５によって得られたクラスタリングパラメータを記憶する。第３のクラスタ分類部１３７は、第３の特徴量抽出部１３４が特徴量抽出を行った画像データの所属クラスタを特徴量に基づいて決定し、各画像データをクラスタに分類する。クラスタリング手法については、第３のクラスタリング部１３５の説明を援用する。 The third clustering unit 135 applies a clustering method to the feature amount extracted by the third feature amount extraction unit 134 to cluster the image data. The third clustering parameter storage section 136 stores clustering parameters obtained by the third clustering section 135 . The third cluster classification unit 137 determines the cluster to which the image data from which the third feature quantity extraction unit 134 has extracted the feature quantity belongs, based on the feature quantity, and classifies each image data into clusters. As for the clustering method, the description of the third clustering unit 135 is used.

第３の特徴空間描画部１３８は、第３のクラスタリング部１３５及び第３のクラスタ分類部１３７の情報に基づいて特徴空間及びクラスタ分布を描画することで情報の可視化を行う。特徴空間及びクラスタ分布の描画については、第１の特徴空間描画部１１８の説明を援用する。 The third feature space rendering unit 138 visualizes information by rendering the feature space and cluster distribution based on the information from the third clustering unit 135 and the third cluster classification unit 137 . For the drawing of the feature space and cluster distribution, the description of the first feature space drawing unit 118 is used.

なお、第３の畳み込みＡＥ学習部１３２による学習及び第３のクラスタリング部１３５によるクラスタリングは、学習が必要な場合、すなわち最初の動作時又は再学習が必要な場合にのみ行えばよい。第３の学習要否判定部１３９は、第３の畳み込みＡＥ学習部１３２及び第３のクラスタリング部１３５の学習の要否を判定し、第３の畳み込みＡＥ学習部１３２及び第３のクラスタリング部１３５に対して学習すべきか否かを指示する。 The learning by the third convolutional AE learning unit 132 and the clustering by the third clustering unit 135 may be performed only when learning is necessary, that is, when the first operation or re-learning is necessary. The third learning necessity determination unit 139 determines whether or not the third convolution AE learning unit 132 and the third clustering unit 135 need to learn, and the third convolution AE learning unit 132 and the third clustering unit 135 instructs whether or not to learn for

なお、上述の移動体分析部１３０が備える構成のうちプロセッサにより実現されるものは、同一の１つのプロセッサにより実現されていてもよいし、色相分析部１１０及び浮遊物分析部１２０が備えるプロセッサと兼用であってもよい。また、上述の移動体分析部１３０が備える構成のうち記録媒体により実現されるものは、同一の１つの記録媒体により実現されていてもよいし、色相分析部１１０及び浮遊物分析部１２０が備える記録媒体と兼用であってもよい。なお、上述の移動体分析部１３０が備える構成のうちタッチパネル等の入出力装置により実現されるものは、同一の１つのタッチパネルにより実現されていてもよいし、色相分析部１１０及び浮遊物分析部１２０が備えるタッチパネルと兼用であってもよい。 It should be noted that, among the configurations provided in the moving object analysis unit 130 described above, those implemented by the processor may be implemented by the same one processor, or the processors provided in the hue analysis unit 110 and the floating object analysis unit 120 may be implemented by the same processor. It may be used for both purposes. In addition, among the configurations provided in the moving object analysis unit 130 described above, those that are realized by a recording medium may be realized by the same one recording medium, and the hue analysis unit 110 and the floating matter analysis unit 120 are provided. It may also be used as a recording medium. It should be noted that, among the configurations provided in the moving object analysis unit 130 described above, those realized by an input/output device such as a touch panel may be realized by the same one touch panel, and the hue analysis unit 110 and the floating matter analysis unit may be realized by the same touch panel. It may also be used as a touch panel provided in 120 .

移動体分析部１３０の動作は、色相分析部１１０と同様であるため、色相分析部１１０の説明を援用する。 Since the operation of moving object analysis unit 130 is the same as that of hue analysis unit 110, the description of hue analysis unit 110 is used.

本実施形態によれば、オプティカル・フロー（Optical Flow）の推定結果に対して畳み込みＡＥ及びクラスタリングを行うことで、移動体の特徴抽出及びクラスタ分類が可能となる。また、本実施形態によれば、統計量によって移動体を分析する前提技術と異なり、移動体の移動方向及び移動速度情報に対して、特徴量抽出を直接行うため、より高精度な分析が可能となる。更には、本実施形態によれば、色相分析部１１０、浮遊物分析部１２０及び移動体分析部１３０の出力を連関させることで、更に高精度な分析が可能となる。 According to the present embodiment, performing convolution AE and clustering on optical flow estimation results enables feature extraction and cluster classification of moving objects. In addition, according to this embodiment, unlike the underlying technology that analyzes the moving object based on statistics, feature extraction is directly performed on the moving direction and moving speed information of the moving object, enabling more accurate analysis. becomes. Furthermore, according to this embodiment, by linking the outputs of the hue analysis unit 110, the floating matter analysis unit 120, and the moving object analysis unit 130, more accurate analysis becomes possible.

以上説明した本実施形態によれば、動画を用いる移動体分析部を備えることで、フロック及びスカムの位置、移動方向及び移動速度の定量的な評価が可能であるため、フロックと他の粒子との判別が可能となる。 According to the present embodiment described above, by providing a moving object analysis unit that uses moving images, it is possible to quantitatively evaluate the position, moving direction, and moving speed of flocs and scum. can be determined.

また、本発明は、上述の実施形態に限定されるものではなく、上述の構成に対して、構成要素の付加、削除又は転換を行った様々な変形例も含むものとする。 Moreover, the present invention is not limited to the above-described embodiments, and includes various modifications in which components are added, deleted, or converted to the above-described configurations.

１００水質分析装置
１０１データ蓄積部
１１０色相分析部
１１１第１の画像加工部
１１２第１の畳み込みＡＥ学習部
１１３第１の畳み込みＡＥパラメータ記憶部
１１４第１の特徴量抽出部
１１５第１のクラスタリング部
１１６第１のクラスタリングパラメータ記憶部
１１７第１のクラスタ分類部
１１８第１の特徴空間描画部
１１９第１の学習要否判定部
１２０浮遊物分析部
１２１第２の画像加工部
１２２第２の畳み込みＡＥ学習部
１２３第２の畳み込みＡＥパラメータ記憶部
１２４第２の特徴量抽出部
１２５第２のクラスタリング部
１２６第２のクラスタリングパラメータ記憶部
１２７第２のクラスタ分類部
１２８第２の特徴空間描画部
１２９第２の学習要否判定部
１３０移動体分析部
１３１第３の画像加工部
１３２第３の畳み込みＡＥ学習部
１３３第３の畳み込みＡＥパラメータ記憶部
１３４第３の特徴量抽出部
１３５第３のクラスタリング部
１３６第３のクラスタリングパラメータ記憶部
１３７第３のクラスタ分類部
１３８第３の特徴空間描画部
１３９第３の学習要否判定部
１４０フロー推定部
２０１データ蓄積部
２１０移動体分析部
２１１画像加工部
２１２フロー推定部
２１３統計量算出部 100 Water quality analyzer 101 Data accumulation unit 110 Hue analysis unit 111 First image processing unit 112 First convolution AE learning unit 113 First convolution AE parameter storage unit 114 First feature amount extraction unit 115 First clustering unit 116 First clustering parameter storage unit 117 First cluster classification unit 118 First feature space drawing unit 119 First learning necessity determination unit 120 Floating matter analysis unit 121 Second image processing unit 122 Second convolution AE Learning unit 123 Second convolution AE parameter storage unit 124 Second feature amount extraction unit 125 Second clustering unit 126 Second clustering parameter storage unit 127 Second cluster classification unit 128 Second feature space drawing unit 129 2 learning necessity determination unit 130 moving object analysis unit 131 third image processing unit 132 third convolution AE learning unit 133 third convolution AE parameter storage unit 134 third feature amount extraction unit 135 third clustering unit 136 Third clustering parameter storage unit 137 Third cluster classification unit 138 Third feature space drawing unit 139 Third learning necessity determination unit 140 Flow estimation unit 201 Data accumulation unit 210 Moving object analysis unit 211 Image processing unit 212 Flow estimation unit 213 Statistics calculation unit

Claims

At least a first image processing unit, a first convolution AE learning unit, a first convolution AE parameter storage unit, a first feature extraction unit, a first clustering unit, and a first clustering parameter storage a first cluster classification unit; a first feature space rendering unit; a hue analysis unit ; and at least a second image processing unit; a second convolution AE learning unit; an AE parameter storage unit, a second feature extraction unit, a second clustering unit, a second clustering parameter storage unit, a second cluster classification unit, and a second feature space drawing unit; A water quality analysis method for a water quality analyzer equipped with a suspended matter analysis unit,
the first image processing unit processing the image data of the sedimentation tank;
the first convolution AE learning unit performing first convolution AE learning on the image data when convolution AE learning is required on the processed image data;
the first convolution AE parameter storage unit storing the convolution AE parameters obtained by the first convolution AE learning;
The first feature quantity extraction unit extracts a feature quantity from the processed image data by an encoder to which the convolution AE parameter is applied;
the first clustering unit clustering the image data when the processed image data requires clustering;
The first clustering parameter storage unit stores the clustering parameters obtained by the clustering;
the first cluster classification unit classifying the image data for which the feature quantity has been extracted into clusters;
the first feature space rendering unit rendering a feature space and a cluster distribution based on the clustered image data;
the second image processing unit processing the image data of the sedimentation tank;
the second convolution AE learning unit performs second convolution AE learning different from the first convolution AE learning on the image data when convolution AE learning is required for the processed image data;
the second convolution AE parameter storage unit storing the convolution AE parameters obtained by the second convolution AE learning;
The second feature quantity extraction unit extracts a feature quantity from the processed image data by an encoder to which the convolution AE parameter is applied;
the second clustering unit clustering the image data when the processed image data requires clustering;
The second clustering parameter storage unit stores the clustering parameters obtained by the clustering;
the second cluster classification unit classifying the image data for which the feature quantity has been extracted into clusters;
The water quality analysis method , wherein the second feature space drawing unit draws the feature space and cluster distribution based on the clustered image data .