JP7528613B2

JP7528613B2 - 水質判定装置

Info

Publication number: JP7528613B2
Application number: JP2020128998A
Authority: JP
Inventors: 信彰高▲瀬▼; 雄喜木村; 正一鮫島; 正佳 ▲高▼倉; 雄貴三宅
Original assignee: Meidensha Corp
Current assignee: Meidensha Corp
Priority date: 2020-07-30
Filing date: 2020-07-30
Publication date: 2024-08-06
Anticipated expiration: 2040-07-30
Also published as: JP2022025860A

Description

本発明は、水質判定装置に関する。

近年、下水処理場においても労働力が不足しており、下水道処理施設の維持及び管理の効率化が求められている。
そのため、職員の業務の一部を人工知能（ＡＩ：Artificial Intelligence）により代替することが検討されている。

従来技術の一例である特許文献１には、沈殿池の画像データについて畳み込みＡＥ（Auto Encoder）を学習して前記沈殿池の色相の特徴量を抽出し、該色相の特徴量からクラスタリングにより前記画像データを色相のクラスタに分類して色相の特徴空間及びクラスタ分布を描画する色相分析部と、前記画像データについて畳み込みＡＥを学習して前記沈殿池の浮遊物の特徴量を抽出し、該浮遊物の特徴量からクラスタリングにより前記画像データを浮遊物のクラスタに分類して浮遊物の特徴空間及びクラスタ分布を描画する浮遊物分析部と、を備える水質分析装置が開示されている。
特許文献１に開示された技術によれば、教師なし学習及びクラスタリングによって、大量の水質画像に対して正解ラベルを付与することなく学習及び水質判定が可能である。

特開２０１９－１３６６６４号公報

しかしながら、上記の従来技術では、水質状態及びクラスタを学習期間中に評価しなければならず、未知の異常状態を検知することが困難である、という問題があった。

本発明は、上記に鑑みてなされたものであって、未知の異常状態が生じても水質を判定することができる技術を提供することを目的とする。

上述の課題を解決して目的を達成する本発明は、水質判定対象から取得した画像データを記憶する画像データ記憶部と、前記画像データ記憶部に記憶された前記画像データに加工処理を行って加工済画像データを出力する画像加工部と、前記水質判定対象の水質が正常状態である時の画像データを教師データとして学習し、学習済パラメータを出力する畳み込みＡＥ学習部と、前記畳み込みＡＥ学習部が出力した前記学習済パラメータを記憶する畳み込みＡＥパラメータ記憶部と、前記畳み込みＡＥパラメータ記憶部に記憶された前記学習済パラメータを用いて畳み込みＡＥを構築して畳み込みＡＥ推定背景画像を生成するとともに、前記畳み込みＡＥ推定背景画像と過去画像との代表値による背景推定値から推定背景画像データを生成して出力する背景推定部と、前記画像加工部が出力する前記加工済画像データと前記背景推定部が出力する前記推定背景画像データとを比較して差分画像データを生成し、該差分画像データに基づいて水質判定を行う水質判定部と、を備える水質判定装置である。

上記構成の水質判定装置において、前記背景推定部は、前記畳み込みＡＥ推定背景画像の生成及び前記推定背景画像データの生成に用いる画像の各々に重み付けを行うことが好ましい。

上記構成の水質判定装置において、前記背景推定部は、画素値のヒストグラムを用いて前記重み付けを自動で行うことが好ましい。

本発明によれば、未知の異常状態が生じても水質を判定することができる、という効果を奏する。

図１は、実施形態１に係る水質判定装置の構成を示すブロック図である。図２は、畳み込みＡＥ学習部における学習のイメージを示す図である。図３は、背景推定部の構成を示すブロック図である。図４は、中央値法による背景推定を説明する図である。図５は、背景推定部を説明する図である。図６は、実施形態２に係る水質判定装置が備える背景推定部を説明する図である。図７は、実施形態３に係る水質判定装置の構成を示すブロック図である。図８は、統計処理部が生成する画素値のヒストグラムを示す図である。

本発明の実施形態について図面を参照して以下に説明する。
ただし、本発明は、以下の実施形態の記載によって限定解釈されるものではない。

＜実施形態１＞
図１は、本実施形態に係る水質判定装置１００の構成を示すブロック図である。
図１に示す水質判定装置１００は、画像データ入力部１０１と、画像データ記憶部１０２と、画像加工部１０３と、畳み込みＡＥ学習部１０４と、畳み込みＡＥパラメータ記憶部１０５と、背景推定部１０６と、水質判定部１０７と、判定結果出力部１０８と、を備える。

画像データ入力部１０１は、水質判定対象に設置された、図示しないカメラにより得られた画像データが入力されるインターフェイスである。
水質判定対象としては、下水道処理施設等の沈殿池又は水槽を例示することができる。

画像データ記憶部１０２は、画像データ入力部１０１に入力された画像データを記憶する。
画像データ記憶部１０２に記憶された画像データは、画像加工部１０３に出力される。
画像データ記憶部１０２は、半導体メモリ及び磁気ディスク等の記録媒体により実現することができる。
この画像データは、静止画又は複数の連続した静止画により構成される動画の双方を含む。

画像加工部１０３は、画像データ記憶部１０２に記憶された画像データを入力とし、該画像データに加工処理を行い、加工済画像データを出力する。
画像加工部１０３が行う加工処理は、畳み込みＡＥ学習部１０４に入力可能となるように、画像データに対して行うトリミング処理、正規化処理又はフィルタ処理である。
画像加工部１０３は、ＭＰＵ（Micro-Processing Unit）及びＣＰＵ（Central Processing Unit）等のプロセッサにより実現することができる。

畳み込みＡＥ学習部１０４は、画像加工部１０３が出力する加工済画像データを入力とし、入力画像データである正常時加工済画像データを教師データとして学習を行い、学習済パラメータを生成して畳み込みＡＥパラメータ記憶部１０５に出力する。
ここで、学習は、入力された正常時加工済画像データの特徴を抽出し、入力された正常時加工済画像データを再現するように復元画像を生成することにより行われる。
畳み込みＡＥ学習部１０４は、ＭＰＵ及びＣＰＵ等のプロセッサにより実現することができる。

図２は、畳み込みＡＥ学習部１０４における学習のイメージを示す図である。
図２に示すように畳み込みＡＥ学習部１０４は、教師データを入力画像としたニューラルネットワークであり、次元を圧縮する畳み込み層により入力画像の特徴を抽出し、次元を復元する逆畳み込み層により入力画像を再現する復元画像を出力する。
ここで、畳み込みＡＥ学習部１０４が行う学習は、水質判定対象の水質が正常状態である時に行うため、正常時の画像である正常画像を復元するモデルを構築することができる。
なお、正常状態とは、水質判定対象を含むシステムが不具合なく稼働している状態をいう。
畳み込みＡＥ学習部１０４は、水質判定対象の水質が正常状態である時に画像データ記憶部１０２に入力され、画像加工部１０３によって加工処理が行われた入力画像データである正常時加工済画像データの特徴を自動で抽出し、該入力画像データを再現するように復元画像データを生成し、学習を行い、学習済パラメータを生成する。

なお、畳み込みＡＥ学習部１０４のモデルは一つであってもよいし、複数であってもよい。
畳み込みＡＥ学習部１０４のモデルを複数用意する場合には、学習する画像データの期間を変更し、又は画像にノイズを加える等の処理を施すことで、異なる複数のモデルが構築されるようにする。

畳み込みＡＥパラメータ記憶部１０５は、畳み込みＡＥ学習部１０４が出力した学習済パラメータを入力とし、該学習済パラメータを記憶する。
畳み込みＡＥパラメータ記憶部１０５は、半導体メモリ及び磁気ディスク等の記録媒体により実現することができる。

図３は、背景推定部１０６の構成を示すブロック図である。
図３に示す背景推定部１０６は、畳み込みＡＥ背景推定部１０６１と、中央値算出部１０６２と、推定背景画像生成部１０６３と、を備え、畳み込みＡＥによる背景推定と中央値法による背景推定との協調により、画像データの背景推定を効果的に行う。
背景推定部１０６は、ＭＰＵ及びＣＰＵ等のプロセッサと、半導体メモリ及び磁気ディスク等の記録媒体と、により実現することができる。

畳み込みＡＥ背景推定部１０６１は、畳み込みＡＥパラメータ記憶部１０５に記憶された学習済パラメータを用いて構築された畳み込みＡＥにより背景を推定し、第１の背景画像群を出力する。
畳み込みＡＥ背景推定部１０６１は、Ｎ個のモデルを有し、Ｎ枚の復元画像を出力する。
ここで、Ｎは自然数である。
ただし、本発明はこれに限定されるものではなく、１個のモデルを有し、このモデルの出力が複製されてＮ枚の復元画像を出力する構成であってもよい。
ここで、畳み込みＡＥは、畳み込みＡＥ学習部１０４において正常画像により学習済みであるため、正常状態でない画像が入力されたとしても擬似的な正常画像を復元して出力する。
すなわち、畳み込みＡＥ背景推定部１０６１は、入力画像から前景を取り除いた推定背景画像を複数枚（Ｎ枚）生成して出力する。
ここで、前景は、スカム（水面に浮上する固形物又は汚泥）及びフロック等の画像に表出した、検知すべき異常状態に起因して生じたイメージである。
背景は、検知すべき異常状態が含まれないイメージである。

しかしながら、畳み込みＡＥでは、学習時に生じなかった背景の変化が生じた場合に、背景画像を正しく生成することが困難である。
特に、水質判定対象が最終沈殿池のような過酷な撮影環境である場合には、学習時に生じなかったような照明又は外光の変化が生じることが多いため、畳み込みＡＥによる背景推定では誤検知が生じうる。

背景を推定する他の手法の一つとして、中央値法が挙げられる。
図４は、中央値法による背景推定を説明する図である。
図４において、横軸は時間であり、左が過去を示し、右端が現在を示す。
中央値法では、過去から現在までの間に撮影された過去Ｎフレーム画像から、推定背景画像が生成される。
具体的には、過去から現在までの過去Ｎフレーム画像、すなわちＮ枚の画像について、各画素値における中央値をとり、この中央値を各画素の背景推定値として推定背景画像が生成される。
中央値法によれば、推定背景画像に偽色が出ず、動的に変化する背景に対しても背景画像を柔軟に生成可能である。

しかしながら、中央値法では、照明の変化等により過去Ｎフレーム画像に対してごく一瞬でも変化が生じると、背景画像を正しく生成することが困難である。
そこで、本実施形態においては、畳み込みＡＥ背景推定部１０６１が生成するＮ枚の推定背景画像と、過去Ｎフレーム画像すなわちＮ枚の画像と、を合わせた２Ｎ枚の画像に対して中央値法を適用することで畳み込みＡＥと中央値法との協調により、画像データの背景推定を行う。

中央値算出部１０６２は、畳み込みＡＥ背景推定部１０６１が生成するＮ枚の推定背景画像と、過去Ｎフレーム画像と、を入力とし、合計２Ｎ枚の画像について、各画素値における代表値である中央値をとり、この中央値を背景推定値として出力する。

推定背景画像生成部１０６３は、中央値算出部１０６２が出力する背景推定値を用いて推定背景画像を生成する。

このように、背景推定部１０６が畳み込みＡＥによる背景推定と、中央値法による背景推定と、の協調により、背景の推定を行うことで、学習期間にない照明変化が生じた場合でも、Ｎフレームに対してごく一瞬の変化が生じた場合でも、問題なく背景画像を正しく生成することができる。

図５は、背景推定部１０６を説明する図である。
図５の上部には畳み込みＡＥによるＮ枚の推定背景画像の生成が示されており、図５の下部には現在から過去までのＮフレームの画像が示されている。
上述のように、畳み込みＡＥが生成するＮ枚の復元画像と過去Ｎフレーム画像との合計２Ｎ枚の画像の各画素における中央値の算出により、推定背景画像が生成される。

水質判定部１０７は、画像加工部１０３からの加工済み画像データと、背景推定部１０６が出力する推定背景画像データとを入力とし、加工済み画像データと推定背景画像データとを比較して差分画像を生成し、該差分画像に基づいて水質判定を行い、水質判定結果を示す水質判定データを出力する。
水質判定部１０７は、ＭＰＵ及びＣＰＵ等のプロセッサにより実現することができる。

水質判定部１０７は、各画素において、加工済み画像データと推定背景画像データとの差分をとって前景画像データを生成する。
入力画像に異常であるスカム又はフロックが写りこんでいる場合には、スカム又はフロックが前景として前景画像に表出する。
水質判定部１０７は、前景画像に対して、二値化、モルフォロジー変換又はラベリング処理等の画像処理を施すことで、異常領域を定量的に評価する。
更には、水質判定部１０７は、異常の個数及び面積を評価し、異常の個数及び面積が予め定めたしきい値を超えている場合に異常と判定し、判定結果を出力する。

なお、水質判定部１０７による水質判定は、具体的には判定対象に浮上するスカム等の浮遊物の量の判定、又は活性汚泥沈殿率等に起因して変化する判定対象の色の変化の判定を想定しているが、本発明はこれに限定されるものではなく、異常の原因によらず、正常状態との差異が画像上に表出するものであれば、あらゆる異常を検知可能である。

判定結果出力部１０８は、水質判定部１０７の判定結果を外部に出力する。
判定結果出力部１０８は、運転員が視認可能な表示装置であってもよいし、水質制御装置に接続されたインターフェイスであってもよい。
外部に出力された判定結果に基づいて、運転員又は水質制御装置は水質判定対象に対して運転操作を行う。

なお、本実施形態においては、代表値として中央値を用いたが、本発明はこれに限定されるものではなく、中央値に代えて各画素値における平均値が背景推定値とされてもよい。

以上説明したように、本実施形態によれば、水質判定対象の水質が正常状態である時の画像データによって学習を行って生成した推定背景画像と、過去Ｎフレーム画像と、を用いることで、水質判定対象の水質の異常を検知することができる。
そのため、本実施形態によれば、異常時の画像データを取得することなく、水質判定対象の異常を検知することができる。
従って、本実施形態によれば、水質判定対象の水質に未知の異常が生じた場合であっても異常を検知することができ、水質を判定することができる。

＜実施形態２＞
実施形態１では、代表値の算出に用いるすべての画像データが平等に扱われる形態について説明した。
本実施形態では、各画像データに重み係数ｗを付与することで、各画像データの推定背景画像に対する寄与度を調整する形態について説明する。

本実施形態に係る水質判定装置は、背景推定部のみが実施形態１と異なり、その他の構成は実施形態１と同じである。

図６は、本実施形態に係る水質判定装置が備える背景推定部を説明する図である。
現在時刻における画像の画素（ｘ，ｙ）における画素値をａ_ｘｙ ^０とし、ｔ時刻前における画像の画素（ｘ，ｙ）における画素値をａ_ｘｙ ^ｔとする。
なお、ｔ＝１，２，…，Ｎ－１である。
そして、ｋ番目の畳み込みＡＥの復元画像の画素（ｘ，ｙ）における画素値をｂ_ｘｙ ^ｋとする。
なお、ｋ＝０，１，…，Ｎ－１である。
このとき、推定背景画像の画素（ｘ，ｙ）における画素値ｌ_ｘｙは、下記の式（１）で表される。
ただし、下記の式（２）を前提とする。

ここで、過去Ｎフレームの画像と畳み込みＡＥのＮ枚の復元画像とを区別することなく、その画素値をｃ_ｘｙ ^ｉとすると、上記の式（１）は下記の式（３）により表すことも可能である。
なお、ｉ＝０，１，…，２Ｎ－１とする。

過去画像優先度ｕ_ｔによると、過去Ｎフレームの画像の優先度が設定される。
多くの場合、現在から数時刻前の画像の優先度を高くし、古い画像の優先度を低くすることで、過去のデータを忘却するように設定することができる。
ただし、上記の式（２）の制約を満たすための工夫を要する。
なお、画像ごとの優先度を対数的に減少させる場合には、下記の式（４）に示すように、ベンフォードの法則で知られる確率分布を用いるとよい。

更には、過去画像優先度ｕ_ｔを個別に独立に設定する場合には、過去画像優先度ｕ_ｔが上記の式（２）を満たさないのであれば、下記の式（５）に示すソフトマックス関数を用いて変数変換した変換優先度ｕ_ｔ’を用いることで、上記の式（２）を満たすことができる。

また、畳み込みＡＥ画像優先度ｖ_ｔによると、畳み込みＡＥの画像の優先度が設定される。
例えば、直近の学習期間において学習したモデルの畳み込みＡＥ画像優先度ｖ_ｔを高くし、ノイズを加えたデータによって学習したモデルの畳み込みＡＥ画像優先度ｖ_ｔを低くすると、直近の学習を重視し、ノイズを考慮しない背景推定が可能となる。

また、画像生成法優先度ｗ_ｉによると、畳み込みＡＥの画像と過去Ｎフレームの画像とのいずれを優先するかを設定することができる。
学習期間が短いため畳み込みＡＥの学習が不足していると判断される場合には、ｗ_０を大きくし、畳み込みＡＥの学習が適切に行われたと判断される場合には、ｗ_１を大きくする。
ここで、過去画像のフレーム数と、畳み込みＡＥのモデル数とを異なる値に設定することも可能である。
このとき、すべての画像ごとの寄与率を均一にするためには、過去画像のフレーム数Ｎ_０と、畳み込みＡＥのモデル数Ｎ_１と、を用いて下記の式（６）が成り立つことが好ましい。

例えば、Ｎ_１＞Ｎ_０である場合において、ｗ_０＝０．５とし、ｗ_１＝０．５としてしまうと、畳み込みＡＥモデルの復元画像の枚数が多いため、復元画像一枚当たりの寄与率が減少することに注意を要する。

上記の式（１）は、過去画像優先度ｕ_ｔ、畳み込みＡＥ画像優先度ｖ_ｔ及び画像生成法優先度ｗ_ｉを確率質量関数とみなすと、これは期待値によって背景を推定しているということになる。
中央値によって背景を推定しようとする場合には、過去画像優先度ｕ_ｔの確率に従って、画素値ａ_ｘｙ ^ｔの枚数を仮想的に増減させる方法がある。
例えば、Ｎ＝３として、ｕ_０＝０．５、ｕ_１＝０．３、ｕ_２＝０．２である場合には、ａ_ｘｙ ^０を５個、ａ_ｘｙ ^１を３個、ａ_ｘｙ ^２を２個に複製して合計１０個の画素値ａ_ｘｙから中央値が取得される。
各画素値ａ_ｘｙの個数を増減させることは、各画素値ａ_ｘｙの生起確率を仮想的に増減させることに等しく、過去画像優先度ｕが大きい画素値の生起確率が仮想的に増加されて中央値として採択されやすくなる。
なお、畳み込みＡＥ画像優先度ｖ及び優先度ｗについても同様であるが、優先度ｗについては、ｗ_０及びｗ_１の２つしかないため、いずれか大きいほうが必ず採択されてしまうことになる。
これを回避するためには、上記の式（３）におけるω_ｉを用いて畳み込みＡＥ及び過去Ｎフレームの双方を区別することなく評価することが好ましい。

本実施形態によれば、各画像に重み付けを行うことによって、各画像の背景画像に対する寄与度を調整可能であり、これにより、現在に近い画像を重視し、又は畳み込みオートエンコーダの復元画像を重視する等のチューニングが可能である。

＜実施形態３＞
本実施形態では、実施形態２における重み付けを画素値のヒストグラムによって自動で決定する形態について説明する。

図７は、本実施形態に係る水質判定装置１００ａの構成を示すブロック図である。
図７に示す水質判定装置１００ａは、統計処理部１１１と、背景ヒストグラム記憶部１１２と、を備える点のみが図１に示す水質判定装置１００と異なり、その他の構成は図１に示す水質判定装置１００と同じである。

統計処理部１１１は、画素値の確率分布をモデル化しており、実施形態２において説明した重み係数を自動的に決定するために、学習期間に撮影された全ての画像の画素値を数え上げ、画素値のヒストグラムを生成し、推定により密度関数ｆ（ａ_ｘｙ）を生成する。

図８は、統計処理部１１１が生成する画素値のヒストグラムを示す図である。
密度関数ｆ（ａ_ｘｙ）は、カーネル密度推定により生成される。

背景ヒストグラム記憶部１１２は、統計処理部１１１が生成した密度関数ｆ（ａ_ｘｙ）を記憶する。

背景推定部１０６ａは、未知の画像データの推定に際して、背景ヒストグラム記憶部１１２に記憶された密度関数ｆ（ａ_ｘｙ）により、上記の式（３）の重みω_ｉを自動で決定する。
例えば、２つの畳み込みＡＥから出力された推定背景画像の画素値を各々ａ＾_ｘｙ ^１、ａ＾_ｘｙ ^２とする。
推定背景画像が実際の背景画像に近いか否かは、画素値のヒストグラムの代表値、すなわち平均値、中央値又は最頻値に近いか否かにより検討される。

図８においては、代表値を最頻値ａ_ｘｙ ^ｍｏｄｅとすると、ａ＾_ｘｙ ^１の画素値の方がａ＾_ｘｙ ^２の画素値よりも実際の背景画像に近い確率が高いと推測される。
そのため、背景推定部１０６ａは、ａ＾_ｘｙ ^１に対する重みが大きく、ａ＾_ｘｙ ^２に対する重みが小さくなるように上記の式（３）の重みω_ｉを下記の式（７）により自動で決定する。

本実施形態によれば、過去の正常画像のヒストグラムより寄与率の重み係数を自動的に設定することによって、実施形態２に対して、煩雑な重み係数の調整が不要となる。

１００，１００ａ水質判定装置
１０１画像データ入力部
１０２画像データ記憶部
１０３画像加工部
１０４畳み込みＡＥ学習部
１０５畳み込みＡＥパラメータ記憶部
１０６，１０６ａ背景推定部
１０７水質判定部
１０８判定結果出力部
１１１統計処理部
１１２背景ヒストグラム記憶部
１０６１畳み込みＡＥ背景推定部
１０６２中央値算出部
１０６３推定背景画像生成部

Claims

水質判定対象から取得した画像データを記憶する画像データ記憶部と、
前記画像データ記憶部に記憶された前記画像データに加工処理を行って加工済画像データを出力する画像加工部と、
前記水質判定対象の水質が正常状態である時の画像データを教師データとして学習し、学習済パラメータを出力する畳み込みＡＥ学習部と、
前記畳み込みＡＥ学習部が出力した前記学習済パラメータを記憶する畳み込みＡＥパラメータ記憶部と、
前記畳み込みＡＥパラメータ記憶部に記憶された前記学習済パラメータを用いて畳み込みＡＥを構築して畳み込みＡＥ推定背景画像を生成するとともに、前記畳み込みＡＥ推定背景画像と過去画像との各画素の中央値または平均値を含む代表値による背景推定値から推定背景画像データを生成して出力する背景推定部と、
前記画像加工部が出力する前記加工済画像データと前記背景推定部が出力する前記推定背景画像データとを比較して差分画像データを生成し、該差分画像データに基づいて水質判定を行う水質判定部と、を備える水質判定装置。
前記背景推定部は、前記畳み込みＡＥ推定背景画像の生成及び前記推定背景画像データの生成に用いる画像の各々に重み付けを行うことを特徴とする請求項１に記載の水質判定装置。
前記背景推定部は、画素値のヒストグラムを用いて前記重み付けを自動で行うことを特徴とする請求項２に記載の水質判定装置。