JP7632198B2 - 排水異常検知装置、学習済みモデル生成装置、排水異常検知方法、及び学習済みモデル生成方法 - Google Patents

Description

本開示は、雨水の異常を検知するために用いられる学習済みモデルを生成する学習済みモデル生成装置、雨水の異常を検知する雨水異常検知装置、学習済みモデル生成方法、及び雨水検知方法に関する。

従来、種々の施設から排出される雨水は、環境保全の観点から、敷地外にでるまでに、人が常時監視することにより異常がないか検査されている。雨水の人による常時監視は、監視する人の負担が大きいので、雨水の検査は、自動で実行されることが望ましい。

水の異常を自動で検査する方法として、例えば、特許文献１には、河川からの取水を行うにあたり水質の良否を適切に判定することができる情報処理方法が開示されている。この情報処理方法は、取水口付近の水を撮像した画像を取得し、取水口付近の水の画像を入力した場合に取水の良否を判定した判定結果を出力する学習済みモデルに、取得した画像を入力し、学習済みモデルから判定結果を出力するものである。そして、この学習済みモデルは、種々の濁度の水を用意して収集した教師データを用いた学習をコンピュータに実行させることにより生成される。

特開２０２０―１２５６１８号公報

しかしながら、施設から排出される雨水などの排水には、泥などが混入する可能性がある。このような排水は、本来異常ではないにも関わらず、泥による着色によって見かけ上の濁度が変化するため、従来技術のような濁度のみを基準としては、排水の異常の有無を判断することはできない。このため、上記手法で収集した教師データを用いて生成した学習済みモデルを利用した場合、本来異常でない排水であっても、誤って異常と判定されてしまう可能性がある。

そこで、排水に混入することで異常と誤認識され得る色である非異常要因色によって着色された排水を異常と過検知することを抑制し、排水の異常の検知精度を向上させることができる技術が望まれている。

本開示は、以下の形態として実現することが可能である。
本開示の一形態によれば、色彩として現れる、施設からの排水の異常を検知する排水異常検知装置が提供される。この排水異常検知装置は、排水の撮像画像である排水画像を取得する画像取得部と、排水の異常を示す異常要因色の成分と、排水に混入することで異常と誤認識され得る色である非異常要因色の成分とを混合して得られる複数の模擬排水であって、前記非異常要因色の成分の濃度が異なることでそれぞれ異なる色彩が現れている複数の模擬排水の撮像画像を含む複数の模擬排水画像と、各前記模擬排水画像の異常の程度の評価とを対応付ける対応情報を教師データとして用いた学習により生成され、排水画像を入力とし、異常の程度の評価を出力とする学習済みモデルを用いて、前記施設からの排水の異常を検知し、その結果を出力する検知部と、を備える。
本開示の一形態によれば、色彩として現れる、施設からの排水の異常を検知するために用いられる学習済みモデルを生成する学習済みモデル生成装置が提供される。この学習済みモデル生成装置は、排水の異常を示す異常要因色の成分と、排水に混入することで異常と誤認識され得る色である非異常要因色の成分とを混合して得られる複数の模擬排水であって、前記非異常要因色の成分の濃度が異なることでそれぞれ異なる色彩が現れている複数の模擬排水の撮像画像を含む複数の模擬排水画像と、各前記模擬排水画像の異常の程度の評価とを対応付ける対応情報を教師データとして取得する教師データ取得部と、前記教師データを用いた学習により、排水画像を入力とし、異常の程度の評価を出力とする学習済みモデルを生成する学習部と、を備える。
なお、本開示は、以下の形態として実現することも可能である。

（１）本開示の一形態によれば、色彩として現れる、施設からの排水の異常を検知する排水異常検知装置が提供される。この排水異常検知装置は、排水の撮像画像である排水画像を取得する画像取得部と、排水の異常を示す異常要因色の成分と、排水に混入することで異常と誤認識され得る色である非異常要因色の成分とを混合して得られる複数の模擬排水であって、それぞれ異なる色彩が現れている複数の模擬排水の撮像画像である複数の模擬排水画像と、各前記模擬排水画像の異常の程度の評価とを対応付ける対応情報を教師データとして用いた学習により生成され、排水画像を入力とし、異常の程度の評価を出力とする学習済みモデルを用いて、前記施設からの排水の異常を検知し、その結果を出力する検知部と、を備える。
上記形態の排水異常検知装置によれば、水に混入することで異常と誤認識され得る色である非異常要因色によって着色された排水を異常と過検知することを抑制し、排水の異常の検知精度を向上させることができる。
（２）上記形態の排水異常検知装置において、前記画像取得部は、外光が遮断された照明下において、白色の底部を有する流路を流れる排水を撮像することによって得られる白色背景画像を、前記排水画像として取得する、としてもよい。
この排水異常検知装置によれば、外光のような外乱を抑制して、排水の異常の検知精度を向上させることができる。
（３）上記形態の排水異常検知装置において、前記画像取得部は、外光が遮光された照明下において、白色の底部を有する流路を流れる排水を撮像することによって得られる白色背景画像、及び、白色以外の色に着色された底部を有する流路を流れる排水を撮像することによって得られる着色背景画像を、前記排水画像として取得し、前記検知部は、前記画像取得部で取得される白色背景画像に対しては、前記学習済みモデルとして、白色背景画像を入力とし、異常の程度の評価を出力とする白色背景用学習済みモデルを用い、前記画像取得部で取得される着色背景画像に対しては、前記学習済みモデルとして、着色背景画像を入力とし、異常の程度の評価を出力とする着色背景用学習済みモデルを用いて、前記施設からの排水の異常を検知する、としてもよい。
この排水異常検知装置によれば、例えば、排水に白色系塗料が混入した場合、白色背景画像では過検知の可能が高くなるので、着色背景画像による検知を行うことにより、排水の異常の検知精度を向上させることができる。
（４）上記各形態の排水異常検知装置において、前記排水は雨水であり、前記非排水異常要因色は、前記雨水に混入する泥の色である、としてもよい。
この形態の排水異常検知装置によれば、泥が混入する雨水の異常の検知精度を向上させることができる。
（５）本開示の他の一形態によれば、色彩として現れる、施設からの排水の異常を検知するために用いられる学習済みモデルを生成する学習済みモデル生成装置が提供される。この学習済みモデル生成装置は、排水の異常を示す異常要因色の成分と、排水に混入することで異常と誤認識され得る色である非異常要因色の成分とを混合して得られる複数の模擬排水であって、それぞれ異なる色彩が現れている複数の模擬排水の撮像画像である複数の模擬排水画像と、各前記模擬排水画像の異常の程度の評価とを対応付ける対応情報を教師データとして取得する教師データ取得部と、前記教師データを用いた学習により、排水画像を入力とし、異常の程度の評価を出力とする学習済みモデルを生成する学習部と、を備える。
この形態の学習済みモデル生成装置によれば、水に混入することで異常と誤認識され得る色である非異常要因色によって着色された排水を異常と過検知することを抑制し、排水の異常の検知精度を向上させることができる学習済みモデルを生成することができる。

本開示は、上記形態の排水異常検知装置や学習済みモデル生成装置だけでなく、排水異常検知方法や学習済みモデル生成方法、予め定めた施設からの排水の異常を検知する処理をコンピュータに実行させるプログラムや学習済みモデルを生成する処理をコンピュータに実行させるプログラム等の種々の形態で実現することができる。

第１実施形態の排水異常検知システムとしての雨水異常検知システムの構成例を示す模式図である。 制御部による雨水異常検知処理の手順の一例を示すフローチャートである。 学習済みモデル生成装置の構成例を示す模式図である。 制御部による学習済みモデル生成処理の手順の一例を示すフローチャートである。 教師データとして利用される複数のデータセットの一例を示す表の一部である。 教師データとして利用される複数のデータセットの一例を示す表の他の一部である。 第２実施形態の雨水異常検知システムの構成例を示す模式図である。 第３実施形態の雨水異常検知システムの構成例を示す模式図である。

Ａ．第１実施形態：
図１は、第１実施形態の排水異常検知システムとしての雨水異常検知システム１０の構成例を示す模式図である。雨水異常検知システム１０は、工場などの種々の施設から排出される雨水を排水の例として、雨水が施設の敷地外に出るまでの間に、雨水に異常が無いか自動的に検知する排水異常検知システムである。例えば、工場において、雨水に、環境に悪影響を与えるような金属等の物質が含まれることによる、異常な着色が発生していないかを、自動的に検知する。なお、以下では、図１に示すように、雨水側溝２０の側溝流路２２を流れて、流入口２６から雨水槽２４に流入する前の雨水を異常検知の対象として説明する。なお、図１に示す雨水側溝２０は、図示を容易にするため、側溝流路２２の手前側の側壁を省略して示しており、以降で示す図においても同様である。

雨水異常検知システム１０は、排水異常検知装置としての雨水異常検知装置１００と撮像装置２００と、を備えている。撮像装置２００は、雨水異常検知装置１００によって制御可能に接続されている。

撮像装置２００は、種々のカメラで構成可能であり、動画あるいは静止画を撮像し、撮像した画像（動画あるいは静止画）を雨水異常検知装置１００に出力する装置である。撮像装置２００は、側溝流路２２の予め設定した撮像領域ＩＡに対応する流路部分における雨水を撮像する。

雨水異常検知装置１００は、サーバ装置やパーソナルコンピュータ等の種々のコンピュータ装置で構成可能である。雨水異常検知装置１００は、撮像装置２００が撮像した排水画像である雨水画像を取得し、後述する学習済みモデル１３４を用いて、取得した雨水画像の入力に対して雨水の異常の状態を検知する。

雨水異常検知装置１００は、制御部１１０と、インターフェイス（ＩＦ）１２０と、記憶部１３０と、を有している。

ＩＦ１２０は、撮像装置２００や外部コンピュータ（不図示）との間を通信可能に接続するインターフェイスである。

記憶部１３０は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の揮発性記憶領域及び、ＥＥＰＲＯＭやハードディスク等の不揮発性記憶領域を有している。記憶部１３０には、プログラム１３２及び処理時に参照するデータが予め記憶されている。記憶部１３０に記憶されたプログラム１３２は、雨水異常検知装置１００が読み取り可能な記録媒体（不図示）から読み出されたプログラム１３２を記憶したものであってもよい。また、不図示の通信網に接続されている不図示の外部コンピュータからプログラム１３２をダウンロードし、記憶部１３０に記憶させたものであってもよい。また、記憶部１３０には、学習済みモデル１３４を構成するファイル１３４ｆが保存されている。この学習済みモデルのファイル１３４ｆも、プログラム１３２と同様に、雨水異常検知装置１００が読み取り可能な記録媒体から読み出された学習済みモデルのファイル１３４ｆを記憶したものであってもよい。なお、記録媒体は、後述する学習済みモデル生成装置３００において、生成された学習済みモデルのファイル１３４ｆを記録することにより作成されたものである。また、不図示の通信網に接続されている学習済みモデル生成装置３００から学習済みモデルのファイル１３４ｆをダウンロードし、記憶部１３０に記憶させたものであってもよい。

制御部１１０は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有している。制御部１１０は、記憶部１３０に記憶されたプログラム１３２を読み出して実行し、学習済みモデルのファイル１３４ｆを読み出すことにより、撮像装置２００から出力された雨水画像を取得（受信）し、雨水の異常の状態を検知するための各種の機能ブロックとして機能する。具体的には、制御部１１０は、撮像装置２００からＩＦ１２０を介して受信した雨水画像を取得する画像取得部１１２、雨水画像を入力とし、雨水の異常の程度の評価を出力する学習済みモデル１３４を用いて、雨水の異常を検知する検知部１１４、及び、雨水の異常の検知結果を出力する検知結果出力部１１６として機能する。なお、学習済みモデルのファイル１３４ｆは、予め、後述する学習済みモデル生成装置３００（図３参照）によって生成されて、雨水異常検知装置１００の記憶部１３０に記憶されている。

図２は、制御部１１０による雨水異常検知処理（排水異常検知方法）の手順の一例を示すフローチャートである。制御部１１０は、画像取得部１１２によって撮像装置２００が撮像した雨水画像を取得する（ステップＳ１１０）。そして、制御部１１０は、取得した雨水画像を学習済みモデル１３４に入力し、検知部１１４によって学習済みモデル１３４が出力する雨水の異常の程度の評価に従って雨水の異常を検知し（ステップＳ１２０）、検知結果出力部１１６によって雨水異常の検知結果を出力する（ステップＳ１３０）。

なお、雨水異常の検知結果の出力としては、例えば、学習済みモデル１３４は、雨水の異常の程度の評価として雨水の異常の有無を出力するものとして、雨水の異常の有無の情報を不図示の表示部に表示し、雨水異常を監視する監視者に対して通知することが考えられる。特に、雨水の異常が有ることを検知した場合には、その表示に加えて、音や光等で監視者に通知して、監視者に表示の確認を促すようにしてもよい。

上記の学習済みモデル１３４は、以下で説明する学習済みモデル生成装置３００によって生成可能である。図３は、学習済みモデル生成装置３００の構成例を示す模式図である。学習済みモデル生成装置３００は、パーソナルコンピュータ等の種々のコンピュータ装置で構成可能である。学習済みモデル生成装置３００は、以下で説明するように、教師データを取得し、取得した教師データを用いた学習により、雨水を撮像した雨水画像の入力に対して雨水の異常の状態を判定した情報を出力する学習済みモデルを生成する。

学習済みモデル生成装置３００は、制御部３１０と、インターフェイス（ＩＦ）３２０と、記憶部３３０と、を有している。

ＩＦ３２０は、教師データに利用されるデータセットの入力を許容するインターフェイスである。データセットには、後述する模擬排水画像としての模擬雨水画像のデータと、この模擬雨水画像に対して対応付けられた評価結果としての分類のデータと、が含まれる。分類は、模擬雨水の異常の状態の評価結果として、模擬雨水が正常な状態か異常な状態であるかを示すデータである。

記憶部３３０は、雨水異常検知装置１００の記憶部１３０（図１参照）と同様に、揮発性記憶領域及び不揮発性記憶領域を有している。記憶部３３０には、プログラム３３２及び処理時に参照するデータがあらかじめ記憶してある。記憶部３３０に記憶されたプログラム３３２は、モデル生成装置３００が読み取り可能な記録媒体（不図示）から読み出されたプログラム３３２を記憶したものであってもよい。また、不図示の通信網に接続されている不図示の外部コンピュータからプログラム３３２をダウンロードし、記憶部３３０に記憶させたものであってもよい。また、記憶部３３０には、後述するように、取得された複数のデータセットが教師データ３３４として記憶され、生成された学習済みモデル１３４を構成するファイル１３４ｆが記憶される。

制御部３１０は、雨水異常検知装置１００の制御部１１０（図１参照）と同様に、一又は複数のＣＰＵ、ＭＰＵ、ＧＰＵ等の演算処理装置を有している。制御部３１０は、記憶部３３０に記憶されたプログラム３３２を読み出して実行することにより、雨水を撮像した雨水画像を入力とし、異常の程度の評価（異常の有無）を出力とする学習済みモデルを生成する各種の機能ブロックとして機能する。具体的には、制御部３１０は、ＩＦ３２０を介して、教師データに利用されるデータセットを取得する教師データ取得部３１２、及び、教師データを用いた学習により、雨水画像を入力とし、雨水の異常の程度の評価（異常の有無）を出力とする学習済みモデル１３４を生成する学習部３１４として機能する。

図４は、制御部３１０による学習済みモデル生成処理（モデル生成方法）の手順の一例を示すフローチャートである。制御部３１０は、教師データ取得部３１２によって、ＩＦ３２０を介して入力された複数のデータセットを取得し、教師データ３３４として記憶部３３０に保存する（ステップＳ３１０）。そして、制御部３１０は、学習部３１４によって、教師データ３３４を用いた学習により構築された学習済みモデル１３４を生成し、学習済みモデル１３４を構成するファイル１３４ｆを記憶部３３０に記憶する。

学習部３１４は、模擬雨水画像と、この模擬雨水画像に対応付けられた模擬雨水の異常の程度の評価結果としての分類（異常あるいは正常）と、を対応付ける対応情報としての複数のデータセットを教師データ３３４として用いて、ディープラーニングを行う。これにより、学習部３１４は、雨水画像を入力とし、雨水画像の示す雨水の異常の有無を異常の程度の評価として出力とするニューラルネットワークを学習済みモデル１３４として構築（生成）する。なお、ニューラルネットワークはＣＮＮ（Convolution Neural Network）である。但し、学習済みモデル１３４はＣＮＮに限定されるものではなく、ＣＮＮ以外のニューラルネットワークなど、他の学習アルゴリズムで構築された学習済みモデル１３４であってもよい。

図５Ａ及び図５Ｂは、教師データ３３４として利用される複数のデータセットの一例を示す表である。複数のデータセットは、以下で説明するようにして取得可能である。

異常な状態の雨水を実際に用意することは難しいので、雨水を模した複数の模擬雨水を用意して、複数の模擬雨水画像を取得する。模擬雨水画像は、雨水異常検知システム１０で用いられる撮像装置２００（図１参照）と同様の撮像装置を用いて、用意した模擬雨水を撮像することにより取得される。

模擬雨水は、異常の状態に応じた着色による色彩の変化を意図的に作製するために、雨水の異常を示す異常要因色の成分と、雨水に混入することで異常と誤認識され得る色である非異常要因色の成分とを混合することにより作製される。異常要因色の色、異常要因色の濃度、及び非異常要因色の濃度の組み合わせは、複数の模擬雨水を撮像した複数の模擬雨水画像及びそれぞれの評価結果を、効率良く網羅的に取得するために、Ｌ１８直交表を利用して作製した１８種類の模擬雨水（図５Ａ及び図５Ｂ参照）を利用するものとした。但し、これに限定されるものでなく、複数の模擬雨水を撮像した複数の模擬雨水画像及びそれぞれの評価結果を網羅的に取得できれば、どのような異常要因色の色、異常要因色の濃度、及び非異常要因色の濃度の組み合わせとしてもよい。

なお、雨水の異常を示す異常要因色は、上記したように、環境に悪影響を与えるような金属等の物質が含まれることによって雨水が着色される色である。本例では、異常要因色の色として、赤、黄、黒の３種類の色を例とした。異常要因色の濃度は、原液の濃度、原液の１００倍希釈液の濃度、原液の１０００倍希釈液の濃度、の３段階の濃度を例とした。なお、赤色の原液は、一例として、１Ｌの水を、２．５ｇの赤色の着色料（例えば、食紅）で着色させた着色液とした。黄色の原液及び黒色の原液も同様である。また、非異常要因色の色は、泥の色を例とし、非異常要因色の濃度は、泥の混入量によるものとし、混入なし、混入少、混入多の３段階の濃度を例とした。なお、一例として、１Ｌの水に対して３０ｇの泥の混入を混入少、６０ｇの泥の混入を混入多とした。但し、これに限定されるものではなく、複数の模擬雨水を撮像した複数の模擬雨水画像及びそれぞれの評価結果を、網羅的に取得できるように、異常要因色の色及び異常要因色の濃度に対して、複数の非異常要因色の濃度を組み合わせることができればよい。なお、異常要因色には、環境への悪影響と関係なく、本来、観測対象となる雨水が示すべきでなく、多くの人にとって、着色が認識され得る色が含まれ得る。

各模擬雨水の異常の程度の分類は、例えば、各模擬雨水について、それぞれ、予め定めた人数の評価者が、撮像した模擬雨水画像を予め定めたスコアリング方法に従って評価した評価結果を予め定めた分類条件に従って分類することによって実行される。なお、図５Ａ及び図５Ｂに示した分類は、一例として、以下のようにして実行されたものである。雨水の管理をしている評価者５０人が、それぞれ、各種類の模擬雨水に対して撮像された３枚の模擬雨水画像についてスコアリングし、スコアの平均値を評価結果として取得する。スコアリング方法としては、問題なしと判断する場合をスコア１、傾向を注視する必要があると判断する場合をスコア２、現地にて確認する必要があると判断する場合をスコア３、すぐに回収する必要があると判断する場合をスコア４として、スコアリングするものである。分類条件は、スコアの平均値が２未満の場合を正常、２以上の場合を異常とするものである。但し、上記のスコアリング方法及び分類条件は、一例であって、これに限定されるものではなく、雨水の異常の度合いをスコアリングし、スコアの平均値の大きさに応じて雨水の異常の程度を正常と異常とに分類できる種々のスコアリング方法及び分類条件であればよい。

なお、教師データ３３４として利用されるデータセットとしては、上記の模擬雨水に関する１８種類のデータセットだけでなく、正常な状態と判断される実際の雨水に関するデータセットを含むようにしてもよい。

学習済みモデル生成装置３００によって生成された学習済みモデル１３４を構成するファイル１３４ｆは、学習済みモデル生成装置３００において不図示の記録装置を介して不図示の記録媒体に記録され、この記録媒体を介して雨水異常検知装置１００（図１参照）の記憶部１３０に記憶可能である。また、不図示の通信網で接続されている雨水異常検知装置１００に対して、通信網を介して送信されることにより雨水異常検知装置１００の記憶部１３０に記憶されるようにしてもよい。

以上説明した学習済みモデル生成装置３００では、排水の異常を示す異常要因色の成分と、排水に混入することで異常と誤認識され得る色である非異常要因色の成分とを混合して得られる複数の模擬雨水を利用して、学習済みモデル１３４を生成している。具体的には、複数の模擬雨水を撮像した複数の模擬雨水画像と、各模擬雨水画像の示す模擬雨水の異常の程度の評価としての分類（異常あるいは正常）と、を対応付ける対応情報としての複数のデータセットによる教師データ３３４を学習することにより、学習済みモデル１３４を生成している。従って、この学習済みモデル１３４を用いた雨水異常検知装置１００では、泥の混入によって着色された雨水を異常と過検知してしまうことを抑制することができ、雨水の異常の検知精度を向上させることができる。

Ｂ．第２実施形態：
図６は、第２実施形態の雨水異常検知システム１０Ｂの構成例を示す模式図である。第１実施形態の雨水異常検知システム１０（図１参照）では、外光である太陽光などの外的要因の影響（外乱）によって撮像装置２００の撮像条件が変化して、撮像された雨水画像が変化する可能性がある。そこで、第２実施形態の雨水異常検知システム１０Ｂは、撮像装置２００から撮像領域ＩＡまでの経路を含む空間周辺を、黒色の遮光板２３２及び遮光幕２３４で構成される遮光装置２３０で覆うとともに、遮光された空間領域をＬＥＤ照明等の照明装置２４０で照明して、撮像領域ＩＡに対応する流路部分の照度が一定となるような構成としている。また、撮像領域ＩＡに対応する流路部分を流れる雨水の色を明確にするため、例えば、側溝流路２２の流路底部に白色板ＷＢが配置された構成として、撮像領域ＩＡに対応する流路部分の流路底部の面が白色となるようにしている。

制御部１１０の画像取得部１１２は、白色板ＷＢが配置された白色流路部分を流れる雨水の雨水画像を白色背景画像として取得する。

制御部１１０の学習済みモデル１３４は、白色背景画像の入力に対して雨水の異常の状態を判定した情報を出力する白色背景用学習済みモデル１３４ｗであり、記憶部１３０に記憶されている学習済みモデルのファイル１３４ｆは、白色背景用学習済みモデル１３４ｗを構成するファイル１３４ｗｆである。

なお、白色背景用学習済みモデル１３４ｗは、上記の側溝流路２２の撮像領域ＩＡに対応する白色流路部分と同様の環境において撮像された模擬雨水画像を用いて、上記した学習済みモデル生成装置３００（図３参照）によって生成可能である。

第２実施形態では、外光などの外的容易による影響（外乱）を抑制して、雨水の異常の検知精度を向上させることが可能である。

Ｃ．第３実施形態：
図７は、第３実施形態の雨水異常検知システム１０Ｃの構成例を示す模式図である。第２実施形態の雨水異常検知システム１０Ｂ（図６参照）では、白色板ＷＢを背景として撮像した白色背景画像によって雨水の異常を検知するので、白色塗料が混入した雨水のような白色系に着色された雨水についての異常を検知することは難しい。そこで、第３実施形態の雨水異常検知システム１０Ｃは、第２実施形態の雨水異常検知システム１０Ｂと同様に、遮光装置２３０、照明装置２４０及び側溝流路２２の白色流路底部に配置された白色板ＷＢ、を備えるのに加えて、白色板ＷＢに隣接して側溝流路２２の着色流路底部に配置された黒色の着色板ＢＢを備える構成としている。これにより、撮像装置２００が撮像する雨水画像には、白色流路底部の白色流路部分に配置された白色板ＷＢを背景とする白色背景画像と、着色流路底部の着色流路部分に配置された着色板ＢＢを背景とする着色背景画像の両方が含まれる。

また、雨水異常検知装置１００Ｃの制御部１１０は、記憶部１３０に記憶されたプログラム１３２Ｃを読み出して実行し、白色背景用学習済みモデルのファイル１３４ｗｆ及び着色背景用学習済みモデルのファイル１３４ｂｆを読み出すことにより、画像取得部１１２Ｃ、白色背景用学習済みモデル１３４ｗ及び着色背景用用学習済みモデル１３４ｂを用いて、雨水の異常を検知する検知部１１４Ｃ、及び、検知結果出力部１１６として機能する。

画像取得部１１２Ｃは、撮像装置２００から撮像領域ＩＡの雨水を撮像した雨水画像を取得するとともに、取得した雨水画像から、白色板ＷＢを背景とする雨水画像である白色背景画像と、着色板ＢＢを背景とする雨水画像である着色背景画像と、を抽出する。白色背景画像は白色背景用学習済みモデル１３４ｗに入力され、着色背景画像は着色背景用学習済みモデル１３４ｂに入力される。白色背景用学習済みモデル１３４ｗは、白色背景画像の入力に対して雨水の異常の程度の評価を出力する。着色背景用学習済みモデル１３４ｂは、着色背景画像の入力に対して雨水の異常の程度の評価を出力する。検知部１１４Ｃは、白色背景用学習済みモデル１３４ｗから出力される評価結果と、着色背景用学習済みモデル１３４ｂから出力される評価結果に基づいて、雨水の異常を検知する。具体的には、検知部１１４Ｃは、両方の評価結果が雨水の状態は正常であることを示している場合には、雨水の状態は正常と検知し、少なくとも一方の評価結果が雨水の状態は異常であることを示している場合には、雨水の状態は異常と検知する。

なお、白色背景用学習済みモデル１３４ｗ及び着色背景用学習済みモデル１３４ｂは、それぞれ、上記の側溝流路２２の撮像領域ＩＡに対応する白色流路部分及び着色流路部分と同様の環境において撮像された模擬雨水画像を用いて、上記した学習済みモデル生成装置３００（図３参照）によって生成可能である。

第３実施形態では、白色板ＷＢを背景として撮像された白色背景画像では検知することが難しく過検知の可能性が高くなるような白色系に着色された雨水の異常を、黒色の着色板ＢＢを背景として撮像された着色背景画像で検知することができるので、検知精度を向上させることができる。

なお、上記実施形態では、黒色の着色板ＢＢとして説明しているが、これに限定されるものではなく、白色板ＷＢを背景とした白色画像では検知することが困難な色に着色された雨水を検知可能な画像とすることができれば、他の色の着色板、例えば、白色よりも輝度の低い灰色等の無彩色の着色板であってもよい。

Ｄ．他の実施形態：
（Ｄ１）上記実施形態では、雨水の異常の程度の評価として雨水の状態が異常か否かを検知する場合を例に説明したが、これに限定されるものではない。雨水の異常の程度の評価として雨水の異常度を検知するものとしてもよい。この場合、学習済みモデルは、雨水画像の入力に対して雨水の異常度を出力するものとすればい。そして、この場合の学習済みモデルは、データセットとして、模擬雨水画像と、この模擬雨水画像に対応付けられた評価結果として異常度に関する情報と、を含むデータセットを複数収集することで教師データを取得し、取得した教師データを学習させて生成するようにすればよい。

（Ｄ２）また、上記実施形態では、雨水を排水の例として説明したが、これに限定されるものではなく、施設、例えば、排水処理場の各処理槽から排出される種々の排水にも適用可能である。また、上記実施形態では、排水に混入することで異常と誤認識され得る色である非異常要因色として雨水に混入する泥の色を例とした場合について説明したが、これに限定されるものではなく、繁殖した藻のように泥以外の物質が、排水に混入することで異常と誤認識され得る色、藻の場合には、緑～褐色、である種々の非異常要因色にも適用可能である。

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…雨水異常検知システム、１０Ｂ…雨水異常検知システム、１０Ｃ…雨水異常検知システム、２０…雨水側溝、２２…雨水槽、２４…流入口、１００…雨水異常検知装置、１００Ｃ…雨水異常検知装置、１１０…制御部、１１２…画像取得部、１１２Ｃ…画像取得部、１１４…検知部、１１４Ｃ…検知部、１１６…検知結果出力部、１３０…記憶部、１３２…プログラム、１３２Ｃ…プログラム、１３４…学習済みモデル、１３４ｆ…学習済みモデルのファイル、１３４ｂ…着色背景用学習済みモデル、１３４ｂｆ…着色背景用学習済みモデルのファイル、１３４ｗ…白色背景用学習済みモデル、１３４ｗｆ…白色背景用学習済みモデルのファイル、２００…撮像装置、２３０…遮光装置、２３２…遮光板、２３４…遮光幕、２４０…照明装置、３００…学習済みモデル生成装置、３１０…制御部、３１２…教師データ取得部、３１４…学習部、３３０…記憶部、３３２…プログラム、３３４…教師データ、ＲＷ…側溝流路、ＩＡ…撮像領域、ＢＢ…着色板、ＷＢ…白色板

Claims (7)

1. 色彩として現れる、施設からの排水の異常を検知する排水異常検知装置であって、
   排水の撮像画像である排水画像を取得する画像取得部と、
   排水の異常を示す異常要因色の成分と、排水に混入することで異常と誤認識され得る色である非異常要因色の成分とを混合して得られる複数の模擬排水であって、前記非異常要因色の成分の濃度が異なることでそれぞれ異なる色彩が現れている複数の模擬排水の撮像画像を含む複数の模擬排水画像と、各前記模擬排水画像の異常の程度の評価とを対応付ける対応情報を教師データとして用いた学習により生成され、排水画像を入力とし、異常の程度の評価を出力とする学習済みモデルを用いて、前記施設からの排水の異常を検知し、その結果を出力する検知部と、
   を備える、排水異常検知装置。
2. 請求項１に記載の排水異常検知装置であって、
   前記画像取得部は、外光が遮断された照明下において、白色の底部を有する流路を流れる排水を撮像することによって得られる白色背景画像を、前記排水画像として取得する、
   排水異常検知装置。
3. 請求項１に記載の排水異常検知装置であって、
   前記画像取得部は、外光が遮光された照明下において、白色の底部を有する流路を流れる排水を撮像することによって得られる白色背景画像、及び、白色以外の色に着色された底部を有する流路を流れる排水を撮像することによって得られる着色背景画像を、前記排水画像として取得し、
   前記検知部は、前記画像取得部で取得される白色背景画像に対しては、前記学習済みモデルとして、白色背景画像を入力とし、異常の程度の評価を出力とする白色背景用学習済みモデルを用い、前記画像取得部で取得される着色背景画像に対しては、前記学習済みモデルとして、着色背景画像を入力とし、異常の程度の評価を出力とする着色背景用学習済みモデルを用いて、前記施設からの排水の異常を検知する、
   排水異常検知装置。
4. 請求項１から請求項３のいずれか一項に記載の排水異常検知装置であって、
   前記排水は雨水であり、
   前記非異常要因色は、前記雨水に混入する泥の色である、
   排水異常検知装置。
5. 色彩として現れる、施設からの排水の異常を検知するために用いられる学習済みモデルを生成する学習済みモデル生成装置であって、
   排水の異常を示す異常要因色の成分と、排水に混入することで異常と誤認識され得る色である非異常要因色の成分とを混合して得られる複数の模擬排水であって、前記非異常要因色の成分の濃度が異なることでそれぞれ異なる色彩が現れている複数の模擬排水の撮像画像を含む複数の模擬排水画像と、各前記模擬排水画像の異常の程度の評価とを対応付ける対応情報を教師データとして取得する教師データ取得部と、
   前記教師データを用いた学習により、排水画像を入力とし、異常の程度の評価を出力とする学習済みモデルを生成する学習部と、
   を備える、学習済みモデル生成装置。
6. 色彩として現れる、施設からの排水の異常を検知する排水異常検知方法であって、
   排水の撮像画像である排水画像を取得し、
   排水の異常を示す異常要因色の成分と、排水に混入することで異常と誤認識され得る色である非異常要因色の成分とを混合して得られる複数の模擬排水であって、前記非異常要因色の成分の濃度が異なることでそれぞれ異なる色彩が現れている複数の模擬排水の撮像画像を含む複数の模擬排水画像と、各前記模擬排水画像の異常の程度の評価とを対応付ける対応情報を教師データとして用いた学習により生成され、排水画像を入力とし、異常の程度の評価を出力とする学習済みモデルを用いて、前記施設からの排水の異常を検知する、
   排水異常検知方法。
7. 色彩として現れる、施設からの排水の異常を検知するために用いられる学習済みモデルを生成する学習済みモデル生成方法であって、
   排水の異常を示す異常要因色の成分と、排水に混入することで異常と誤認識され得る色である非異常要因色の成分とを混合して得られる複数の模擬排水であって、前記非異常要因色の成分の濃度が異なることでそれぞれ異なる色彩が現れている複数の模擬排水の撮像画像を含む複数の模擬排水画像と、各前記模擬排水画像の異常の程度の評価とを対応付ける対応情報を教師データとして取得し、
   前記教師データを用いた学習により、排水画像を入力とし、異常の程度の評価を出力とする学習済みモデルを生成する、
   学習済みモデル生成方法。

Images