JP3797499B2

JP3797499B2 - Canal runoff monitoring device

Info

Publication number: JP3797499B2
Application number: JP22467796A
Authority: JP
Inventors: 浩亮川角
Original assignee: Tokyo Electric Power Co Inc
Current assignee: Tokyo Electric Power Co Holdings Inc
Priority date: 1996-08-08
Filing date: 1996-08-08
Publication date: 2006-07-19
Anticipated expiration: 2016-08-08
Also published as: JPH1055425A

Description

【０００１】
【発明が属する技術分野】
本発明は、水路流出入物監視装置に関するもので、より具体的には、水路へ流出入する物体（主に冷却水取水路へ流入するくらげ）を監視するために、監視カメラの映像から画像処理によって対象物を検出し、その流出入度合いを計測するものに関する。
【０００２】
【従来の技術】
水路に多数のくらげが侵入してきた場合には、水路が詰まってしまい取水口等における正常な取水処理等ができなくなる。そこで、従来は、水路を監視カメラで撮像するとともに、その撮像したビデオ信号をモニタに出力する。そして、監視員がそのモニタを監視し、くらげが侵入してきたならば、くらげを除去する作業を行うようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記した従来の監視方法では、くらげの発生を遅滞なく検出するためには、常時モニタを監視する必要があるが、実際には、監視員はその他の処理・作業も行わなければならないので、一定の時間毎にモニタを見る程度にとどまる。その結果、くらげの除去作業が遅れるおそれがある。また、モニタを見てわかるのは、その時のくらげの存在数であり、流入してきて増加傾向にあるのか流出して行って減少傾向にあるのかはわからない。さらには、その増減の速度もわからない。その結果、くらげの除去作業を行う必要があるか否かの判断や、行う場合に早急に行う必要があるか否かの判断がしにくい。
【０００４】
そこで、監視カメラで撮像した画像情報に対し、所定の画像処理を行ってくらげ部分を抽出し、画面中のくらげの発生数を計数したり、経過時間に伴うくらげの数の変化の履歴を検出することにより、くらげの除去作業の有無やその緊急性についての正しい判断を行うようにすることが考えられる。そして、一般的な画像処理を利用したものとして、以下の２つが考えられる。
【０００５】
＊＊第１の方法
画像間の差分処理によって移動物体や状態変化を画像変化領域として抽出し、その抽出した変化領域の特徴（大きさ，形，数など）によってくらげか否かを判断し、最終的にくらげと判断したものを計数することにより画像中に存在するくらげ数を求めることができる。
【０００６】
すなわち、監視ＴＶカメラから得られる画像の濃淡値をＡ／Ｄ変換してディジタル画像に変換した画像データと、同様にして得られた１フレーム前の画像データとの差（フレーム間差分）をとる。すると、移動していない背景部分などは、差分をとることにより除去されるため、結局移動するくらげ等が抽出されることになる。
【０００７】
そこで、得られた差分画像の各画素の濃淡値について、設定されたしきい値との比較によって２値化処理することにより、変化領域と非変化領域とを弁別し、変化領域であるくらげ部分を抽出する。最後に、得られた変化領域の持つ特徴（大きさ、形、画素数など）からくらげか否かを判断するようになる。
【０００８】
また、フレーム間差分に替えて、予め背景部分を撮像しておき、背景画像と入力画像との差分画像を求める方法（背景差分）を用いることもできる。
【０００９】
しかしながら、この方法では、背景部分が濃淡画像にしたときに固定されていないと、背景部分もその一部が差分画像として抽出されてしまい、誤検出してしまうおそれがある。特に、本願発明の監視対象領域の背景画像は、海面や水面であるので、常に変化しているため、上記問題が顕著に現れる。
【００１０】
さらに、検出対象物が海面・水面上を浮遊するくらげであるため、その移動速度は一定ではなく、同一場所に停滞することもある。そして、フレーム間差分を求める場合には、２つの画像間の時間に対象物が一定量移動することが前提となるので、対象物であるくらげの移動速度が遅く、２つの画像における対象物の位置が部分的に重なり合うような場合には、その部分の差分値が低く抑えられ、２値化時の形状欠損が生じてしまい、抽出できないおそれある。
【００１１】
＊＊第２の方法
得られた画像そのものを２値化することによって検出対象領域を抽出し、その領域の特徴（大きさ、形、数など）によってその状態を判断する方法を適用することが考えられる。
【００１２】
すなわち、監視ＴＶカメラから得られる画像をＡ／Ｄ変換してディジタル画像に変換し、さらに、得られたディジタル画像の各画素の濃淡値について、設定されたしきい値との比較によって検出対象領域と非検出対象領域に分別する２値化処理を行う。そして、最後に、２値画像により得られた検出対象領域の持つ特徴（大きさ、形、画素数など）から、くらげか否かを判断し、そのくらげの数を計数する。
【００１３】
ところで、この方法で精度の良い判別を行うためには、２値化する際のしきい値の決定が重要である。しかし、本発明の監視対象領域の背景画像が海面・水面であるので、１画面内での濃淡値に大きな勾配やむらが存在する。その結果、一つのしきい値で画面全体を２値化すると、適切に２値化できない領域が生じ、くらげを正しく抽出できないおそれがある。
【００１４】
また、上記のように１画面全体で濃淡値にむらがある場合には、画像の部分部分に応じてしきい値を自動的に設定する方法により適用することが考えられる。しかし、海面・水面のように画像の濃淡値が時間経過とともに変動する場合には、それに応じてしきい値を適切に設定する必要があり、その画像の時間変動に対応するために、得られる画像ごとに画像の部分に応じてしきい値を設定する処理を行うようにしなければならず、処理が膨大となってしまい、監視を目的としたリアルタイム処理には向かない。
【００１５】
また、第１、第２の方法はともに画素単位に２値化を行うために一つの検出対象物がいくつにも分かれて抽出されることがあり、その後の統合処理をうまく行わないと、物体の数の計測が不正確になるという問題を有している。
【００１６】
本発明は、上記した背景に鑑みてなされたもので、その目的とするところは、上記した問題を解決し、監視カメラの画像から水路へ流出入する物体（主にくらげ）の検出およびその流出入度合の計測を簡易な画像処理手法で実現することのできる水路流出入物監視装置を提供するものである。
【００１７】
【課題を解決するための手段】
上記した目的を達成するため、本発明に係る水路流出入物監視装置では、監視対象の水路を撮像して得られたビデオ画像に基づく画像データに対し設定されたブロックサイズで平均値縮小処理を行う手段と、その平均値縮小処理された画像データに対し、周囲の近傍画素との濃淡値の差が大きい処理対象画素を強調するような所定の空間フィルタ処理を行う空間フィルタ処理手段と、空間フィルタ処理された画像データに対し設定されたしきい値で２値化するフレーム画像２値化処理手段と、そのフレーム画像２値化処理手段で２値化された２値画像データ中に存在する検出対象物の数量を計測する画面内検出対象物数計測手段と、前記空間フィルタ処理された画像データのうち、水平ラインと垂直ラインから選択されたラインの濃淡値データのみを、設定された時間間隔で所定回数分順次蓄積する時空間画像蓄積手段と、前記時空間画像蓄積手段に蓄積された画像データに対し、設定されたしきい値で２値化する時空間画像２値化処理手段と、その時空間画像２値化処理手段で２値化された２値画像時空間画像データを用いて、前記選択されたライン上を設定された時間中に通過する検出対象物の数量を計測する通過数計測処理手段と、前記画面内検出対象物数計測手段と、通過数計測処理手段で計測されたデータに基づいて前記監視領域内の前記検出対象物の流出入度合いを判断し、警報発報条件に達した場合に警報を発する警報処理手段とを備えて構成した（請求項１）。
【００１８】
ここで水路とは、冷却水の取水路の他、自然の川や、ある程度幅が狭く水が流れる人工のものを含み、さらには、ダム，池等の比較的幅の広い部分も含むものである。そして、検出対象物は、実施の形態では、くらげを例示しているが、これに限ることはなく、水路を詰まらせるもの、例えばビニール等のごみ等でもよい。
【００１９】
係る構成にすると、所定の空間フィルタ処理を行うことにより、濃淡値の勾配やむらが存在する画像が比較的フラットな画像になるためその後の２値化処理が容易になる。このことは、本発明における背景画像となる水面のように常時濃淡値が変動し、しかも、全体で均一ではなく各部での濃淡値が微妙に異なるような画像データの特徴がある場合においても、検出対象物となるくらげの濃淡値は背景部分よりも大きい（明るい）ために、その境界部分での濃淡値の差は大きくなる。よって、空間フィルタ処理をすることにより、強調されるので、検出対象物が浮かび上がる。よって、しきい値処理により確実に検出対象物と背景部分とを弁別できる。
【００２０】
さらに、空間フィルタ処理の前処理として平均値縮小処理を行うことは、データ量を削減することによる処理負荷の軽減はもちろんのこと、検出対象物が分断される可能性が低くなり、対象物の計数が容易となる。
【００２１】
また、時空間画像処理によって容易に流出入する対象物の計数が行うことが可能となり、画面内対象物数の計数値と併せて利用することにより、対象物の滞留状態などその流出入状態の判別がより正確に求められる。
【００２２】
そして、好ましくは、前記空間フィルタ処理された画像データのうち、検出対象領域から除外する検出外領域を設定する検出外領域設定手段をさらに備え、その検出外領域設定手段で設定された検出外領域は、前記フレーム画像２値化処理手段および前記時空間画像２値化処理手段による２値化処理の際に少なくとも検出対象物ありとならないようにすることである（請求項２）。
【００２３】
つまり、水面の場合には濃淡値が低いため、検出対象物と分離しやすいが、監視領域中に反射物などの濃淡値の高い領域があると、２値化処理した際に検出対象物として抽出されてしまうおそれがある。そこで、予め係る領域を検出外領域として設定しておくことにより、検出外領域の部分は、２値化処理しなかったり、したとしても背景部分と同じ値にするようにする。よって、誤検出の可能性が減少する。
【００２４】
また、請求項１に記載の発明を前提とし、前記平均値縮小処理手段におけるブロックサイズの設定が、所定の画像に対して前記画面内検出対象物数計測手段で検出された検出対象物の検出位置から、その処理の元となった平均値縮小処理前の画像データにおける検出位置の座標を求め、前記平均値縮小処理前の画像データの中で、前記求められた検出位置座標を含む所定サイズの矩形領域内の各画素の濃淡値データを抽出し、抽出された矩形領域ごとに２値化しきい値を決定するとともに、その決定した２値化しきい値で、前記矩形領域内の画像データを２値化し、その２値化された画像データに基づいて検出対象物の寸法形状に関する情報を取得し、その取得した寸法形状に基づいて前記ブロックサイズを決定し、設定するように構成することができる（請求項３）。
【００２５】
請求項１に記載の発明において平均値縮小処理を効果的に行うためには、検出対象物に合ったブロックサイズを選ぶ必要がある。そこで、請求項３のように構成することにより、対象物が検出された際に、このサイズを計測することによって適切なブロックサイズを自動的に選択する。よって、例えばカメラのズーム、パン、チルトによって、対象物の撮像サイズが変化した場合には、その変化後の画像データに基づいて簡単に適切なブロックサイズを設定できるので、常時正確な検出処理が行える。
【００２６】
また、この際、空間フィルタ画像の２値化・ラべリングによる検出位置をもとに、平均値縮小処理前の画像から対象物を含む矩形領域のみを抽出し、領域別のしきい値を用いて２値化することによって、個々の対象物の大きさの計測が行え、この結果から、適切なブロックサイズの選択が可能となる。
【００２７】
そして、請求項３に記載の発明を前提とし、前記矩形領域の画像データを２値化する際の２値化しきい値の設定が、抽出された矩形領域内の画像データについて濃淡値ヒストグラムを作成し、ヒストグラムデータの中で度数が１以上となる濃淡値の最大値より、濃淡値を減少方向に順次選択し、選択された濃淡値以下のデータを用いて歪度を算出し、この歪度が正値から負値に転じる濃淡値に基づいて前記矩形領域の２値化しきい値を決定するようにすると好ましい（請求項４）。その場合に、この濃淡値よりも、所定の補正値分だけ高い濃淡値を２値化しきい値とするようにするとより好ましい（請求項５）。
【００２８】
請求項３に記載の発明において矩形領域を２値化する際に、画面全体では濃淡値に大きなむらがあっても、矩形領域個々では、対象物を除いた背景部分は比較的フラットな濃淡値を持つという特徴を利用することによって対象物を抽出するための２値化しきい値を求める。濃淡値ヒストグラムを求めると、濃淡値の低い領域に山が一つ現れ（主として背景部分の濃淡値）、濃淡値の高い領域（主として対象物の濃淡値）では平坦となり山が現れないことが多い。よって、２値化しきい値設定の代表的な手法である「判別分析法」では正確にしきい値を設定することが困難であったが、本発明では、歪度の概念を用いることにより、２値化しきい値の基準値の選択が可能となる。そして、背景部分に対する対象物の相対面積が小さい場合にも、背景部分の濃淡値ヒストグラムの歪度に着目することによって、正確にしきい値を設定できる。
【００２９】
一方、請求項１に記載の発明を前提とし、前記空間フィルタ処理手段の具体例としては、例えば、処理対象画素の濃淡値と、近傍画素の濃淡値との差の絶対値の最大値を求め、その求めた最大値を空間フィルタ処理の結果として出力するように構成することができる（請求項６）。また、処理対象画素を中心とするｎ×ｎの矩形領域を構成する各画素の濃淡値データの中から、最大濃淡値および最小濃淡値を抽出し、前記処理対象画素の濃淡値から前記最大濃淡値を引き算することによって得られる値と、前記処理対象画素の濃淡値から前記最小濃淡値を引き算することによって得られる値の和を求め、求められたこの和の値が０以上の場合はそのままその値を空間フィルタの結果として出力し、この和の値が０未満の場合は０を空間フィルタの結果として出力するようにしてもよい（請求項７）。
【００３０】
特に、請求項７のように構成すると、空間フィルタ処理において、背景の濃淡値よりも高い濃淡値を持つ対象物を検出するのに有効な処理となる。この手法では、検出対象物と背景とのコントラストは保たれたまま、背景部分の出力値を低くおさえられるため、２値化時の背景部分の過剰検出をより低く抑えることができる。
【００３１】
また、請求項２に記載の発明を前提とし、前記検出外領域設定手段が、前記平均値縮小処理手段から得られる１枚の画像データ全体を母集合として、その平均値と標準偏差から求められる偏差値得点を画素ごとに求め、この偏差値得点が設定されたしきい値を越えた領域を検出外領域候補１Ａとする手段と、さきに偏差値得点を求めた画像データの母集合から検出外領域候補１Ａのデータを除いて、再度、画素ごとに偏差値得点を求め、この偏差値得点が設定されたしきい値を越えた領域を検出外領域候補１Ａに加えて検出外処理候補１Ａとする手段と、上記の再度偏差値得点を求めて検出外領域候補を加える手段を所定の回数繰り返すことによって、検出外領域候補１Ａを求める手段と、検出外領域候補１Ａの各画素について、自身とその近傍画素すべてを検出外領域候補とする処理（膨脹処理）を所定の回数繰り返すことによって検出外領域候補Ａを求める手段と、前記空間フィルタ処理手段から得られる１枚の画像データ全体を母集合として、その平均値と標準偏差から求められる偏差値得点を画素ごとに求め、この偏差値得点が設定されたしきい値を越えた領域を検出外領域候補１Ｂに加えて検出外処理候補１Ｂとする手段と、上記の再度偏差値得点を求めて検出外領域候補を加える手段を所定の回数繰り返すことによって、検出外領域候補１Ｂを求める手段と、検出外領域候補１Ｂの各画素について、自身とその近傍画素すべてを検出外領域候補とする処理を所定の回数繰り返すことによって検出外領域候補Ｂを求める手段と、検出外領域候補Ｂ、または、検出外領域候補Ａと検出外領域候補Ｂのどちらかに当てはまる領域を検出外領域とするように構成することである（請求項８）。
【００３２】
この様に構成すると、検出外領域設定手段において、画像の濃淡状態を表わす平均値縮小処理画像と周辺画素との濃淡差を表わす空間フィルタ画像を併用することによって、画像内で誤動作につながりやすい領域を除き、比較的フラットな濃淡を持つ領域のみを処理対象とするため、安定した検出動作が可能となる。この際、各画素ごとにその濃淡値そのものを使用するのではなく、画像内での相対値を表わす偏差値得点を用いて評価することによって、除去判断をするためのしきい値の設定が容易となる利点がある。また、しきい値設定，除去処理の繰り返しおよび膨脹処理の繰り返しの手段を設けることによって、検出外領域設定処理の強弱が自由に選択できる。
【００３３】
その場合に、好ましくは、前記所定の検出外領域候補のうち、所定のサイズ以下となる領域を検出外領域候補から除去するようにすることである（請求項９）。係る構成にすると、検出外候補を求める際に、その大きさを調べ、検出対象物らしい大きさの領域を候補から除くことにより、検出対象物が画像内に存在する際に検出外領域設定を行う場合に、検出対象物の存在する領域を不必要に検出外領域としてしまうことを軽減することができる。つまり、この構成をとることにより、画像データ中にくらげなどの検出対象物が存在していても、そのくらげの部分は、検出外候補から除外されるので、くらげ等の検出対象物の存在の有無などに関係なく、任意のタイミングで、検出外領域候補の設定処理が行える。
【００３４】
また、請求項８に記載の発明を前提とし、前記検出外領域を求める処理を、所定時間間隔で所定回数繰り返し、得られた所定回数の検出外領域のいずれかに当てはまる領域を検出外領域とするようにしてもよい（請求項１０）。係る構成にすると、上記した検出外領域を求める処理を所定時間間隔で複数回繰り返し、その領域をすべて検出外領域とすることによって、濃淡値に時間的変動があり不安定な領域を検出画像外領域とすることが可能になり、誤検出のさらなる軽減につながる。
【００３５】
さらにまた、請求項１に記載の発明を前提とし、前記時空間画像蓄積手段で蓄積するラインを自動的に設定するライン選択手段をさらに設け、そのライン選択手段が、前記平均値縮小処理手段によって得られた画像データを用いて、水平ラインの各ラインごとに、その平均濃淡値を算出する手段と、得られた平均値縮小処理画像の水平ライン平均濃淡値を母集合として、さらにその母集合の平均値および標準偏差を求める手段と、各水平ライン平均濃淡値と求められた平均値との差の絶対値を求められた標準偏差で割り算することによって得られる偏差データを求める手段と、前記平均値縮小処理手段によって得られた画像データを用いて、同様にして垂直ラインの偏差データを算出する手段と、前記空間フィルタ処理手段によって得られた画像データを用いて、水平ラインの各ラインごとに、その平均濃淡値を算出する手段と、得られた空間フィルタ処理画像の水平ラインの平均濃淡値を母集合として、さらにその平均値および標準偏差を求める手段と、各水平ライン平均濃淡値と求められた平均値との差を、求められた標準偏差で割り算することによって得られる偏差データを求める手段と、同様にして、空間フィルタ処理によって得られた画像データを用いて、垂直ラインの偏差データを算出する手段と、平均値縮小処理画像を用いて求められた水平ラインの偏差データと空間フィルタ処理画像の水平ラインの偏差データのうちどちらかに設定された係数を乗じて、各水平ラインごとにその和を水平ライン評価値とする手段と、求められた水平ラインの評価値を用い、各水平ラインごとに、自身のラインの評価値とその両側の所定ライン数分の評価値を用いて算出した平均値を平滑化評価値として算出する手段と、その算出する手段で求めた平滑化評価値が最も小さいものから順に所定数の水平ラインを選択する手段と、同様にして、所定数の垂直ラインを選択する手段を備えて構成するとよい（請求項１１）。係る構成は、請求項１に記載の発明における時空間画像蓄積部において、検出に有利なラインを自動的に選択するものである。すなわち、平均値縮小処理画像データおよび空間フィルタ処理画像の各ラインの濃淡値平均値を用いた評価値を用いることによって、画像内での中間的な濃淡値をもち、しかも、むらの少ないラインを選択することが可能となる。よって、係るラインを選択し、時空間画像を蓄積することにより、安定した検出に役立つ。
【００３６】
その場合に、水平ラインの平滑化評価値を求める処理を所定時間間隔で所定回数繰り返し、その平均値を求める手段と、この値の小さいものから順に所定数の水平ラインを選択する手段と、同様にして、所定数の垂直ラインを選択する手段を備えるようにするとなおよい（請求項１２）。この様に構成すると、請求項１１に規定するラインごとの評価値を求める処理を所定時間間隔で複数回繰り返し、その平均値を用いることによって、時間的に変動のある画像を考慮してラインを選択することが可能である。
【００３７】
【発明の実施の形態】
図１は、本発明に係る水路流出入物監視装置の第１の実施の形態を示している。同図に示すように、まず、監視ＴＶカメラ１から得られる濃淡画像をＡ／Ｄ変換部２に与え、そこにおいてＡ／Ｄ変換してディジタル画像に変換させる。そしてこのディジタル画像を次段のフレーム積算・平均化部３に与える。
【００３８】
フレーム積算・平均化部３では、順次連続して入力されてくるｎ枚の画像データに対し、同一座標の各画素の濃淡値を積算するとともにその平均値を求め、その求めた平均濃淡値をその後の画像処理の基準となる画像データの画素の濃淡値とする。これにより、信号中のノイズ成分や水面の波による画像の細かいむらは同一の座標上に存在し続けることが少ないので、その影響が軽減される。これにより、ノイズなどの誤判別の要因となる雑音成分を除去することができる。
【００３９】
また、フレーム積算・平均化部３の後段には、平均値縮小処理部４が接続され、積算・平均化された画像データに対し、ブロックサイズ設定部５で設定されたブロックサイズで平均値縮小処理を行う。この平均値縮小処理は、原画像を設定部５で設定されたＮ×Ｍ（Ｎ＝Ｍでも可）のブロックサイズで分割し、さらに分割されたブロック内に存在する画素の濃淡値の平均値を求める。そして、その求めた平均濃淡値をそのブロックの代表値とするようになっている。
【００４０】
係る処理をすることにより、例えばブロックサイズをＮ×Ｎ（Ｎ＝Ｍ）とすると、データ数は１／Ｎ２に圧縮することができる。このように圧縮することにより、画像をぼかし、例えば各くらげの細かい寸法・形状や濃度の差が現れにくくするとともに、処理対象のデータ数を縮小することにより、短時間でより正確な判断を行えるようにしている。
【００４１】
なお、分割する際のブロックサイズは、上記のようにブロックサイズ設定部５からの制御信号に基づいて設定されるが、この設定は、検出処理において毎回更新を行うものではなく、手動設定または自動設定で定期・不定期に行うようになっている。なおまた、自動設定の具体的な構成については後述する。そして、具体的なサイズとしては、くらげの平面形状がほぼ円形であることから、Ｎ＝Ｍとするのが好ましく、しかもＮ個の画素の長さと、くらげの半径とが同じになるように設定するのが好ましい。そして、本例では、８×８でブロック化するようにした。
【００４２】
さらに、平均値縮小処理部４で生成された画像データを、空間フィルタ処理部６に与え、そこにおいて所定の空間フィルタ処理を行い、検出対象物のくらげの部分が浮き出るようにする。そして、この空間フィルタの具体的な処理方法として、例えば処理対象画素を中心とするｎ×ｎの局所領域の中の各濃淡データと処理対象画素の濃淡値との差の絶対値を求め、求められた（ｎ×ｎ−１）個の差の絶対値の中から、最大値を選択して、空間フィルタ処理の結果として出力することができる。
【００４３】
一例を示すと、ｎ＝３とすると、図２（Ａ）に示すように、局所領域を構成する画素は、▲１▼〜▲９▼の９個となり、そのうち中央の▲５▼の画素が処理対象画素となる。そこで、｜▲１▼−▲５▼｜，｜▲２▼−▲５▼｜，｜▲３▼−▲５▼｜，…，｜▲８▼−▲５▼｜，｜▲９▼−▲５▼｜を求め、計８個の演算結果の中からもっとも大きい値をその処理対象画素▲５▼の代表値とする。なお、上記した絶対値演算の式中丸数字は、各画素の濃淡値を意味する。
【００４４】
係る構成にすると、周囲の画素との濃度差が大きい場合には代表値が高くなり、処理対象画素▲５▼を含む９個の画素の濃淡値がほぼ同じ場合には、代表値が小さくなる。つまり、上記したように、ここでの処理対象画素は、前段で縮小化処理がされており、くらげの半径と同程度の大きさとなっている。従って、処理対象画素にくらげが存在している場合には、同図（Ｂ）中ハッチングで示すように、４画素分に存在することになる。従って、図示の例では、ハッチングをしていない５個の画素との間の濃度差が大きくなる。一方、くらげがいない部分では、局所領域は海面或いは水面となっているので、各画素間での濃度差はいずれも小さくなる。よって、少なくとも処理対象画素にくらげが存在する場合には、その処理対象画素の代表値が大きくなる。
【００４５】
そして、係る方法により空間フィルタリングした場合の処理結果の一例を示すと図３のようになる。そして、図中濃淡値（上記で言う「代表値」）が高くなっているところが、くらげが存在している候補地である。
【００４６】
また、別の空間フィルタリング方法としては、検出対象のくらげの濃淡値が、背景となる水面の濃淡値よりも高い（明るい）ことに着目し、背景の水面よりも濃淡値の高い画素を抽出することを目的としている。
【００４７】
すなわち、処理対象画素を中心とするｎ×ｎの矩形領域に存在する各画素の濃淡値データの中から、最大濃淡値および最小濃淡値を抽出する。そして、処理対象画素の濃淡値から、最大濃淡値と最小濃淡値をそれぞれ減算し、求められた２つの減算値を加算する。そして、求めた加算値が、正の場合にはその値をフィルタ出力値とし、また負の場合には０をフィルタ出力値とする。
【００４８】
画像データに対する具体的な処理は次式により求めることができる。
【００４９】
【数１】

そして、３×３の局所領域とした場合の処理例を示すと、処理対象画素に検出対象物がある場合には、図４に示すように、処理対象画素の濃淡値が最大濃淡値となるので、その差は「０」となり、最小濃淡値との差も大きな正の値となる。よって、最終的な加算結果は、最小濃淡値との差と等しくなり、大きな正の値となる。
【００５０】
なお、上記したように、本実施の形態では、くらげの場合には、４画素分を占めるが、少なくとも処理対象画素にくらげの部分がかかっている場合には、上記の通りとなる。
【００５１】
また、処理対象領域に検出対象物のくらげがいない（もちろん処理対象画素にもいない）場合には、各画素の差が少ないために、処理対象画素の濃淡値と最大濃淡値および最小濃淡値との差が小さくなる。加えて処理対象画素が最大濃淡値でない場合は、処理対象画素から最大濃淡値を引いた値は負になるため、この分だけ最終的な加算結果が低く抑えられることになる。さらに、図５の例のように、処理対象画素の濃淡値が最大濃淡値よりも最小濃淡値に近い場合は、加算結果が負となり、フィルタ出力は０となる。
【００５２】
そして、図３を求めた際に使用したのと同一の平均値縮小処理画像に対し、上記の方法を実行して得られた部分領域の一例を示すと、図６のようになった。図３と図６を比較すると明らかなように、くらげが存在する部分がより急峻となるとともに、背景部分の値はより低く抑えられるため、くらげを検出しやすくなる。
【００５３】
また、平均値縮小処理部４の出力は、上記のように空間フィルタ処理部６に与えられるのと並列して検出外領域設定部７にも与えられる。この検出外領域設定部７では、画面内の極端に明るい部分，暗い部分、また濃淡にむらがある部分，水面と壁などの境界部分など、誤動作につながりやすい部分を検出対象領域から除く処理を行うようになっている。つまり、検出外領域に関する情報（座標データ等）を出力するようになる。そして、この処理は、検出処理において毎回更新を行うものではなく、手動設定および自動設定で定期・不定期に行うようになっている。なお、自動設定を行うための具体的な装置構成については、後述する。
【００５４】
そして、空間フィルタ処理部６と検出外領域設定部７の出力が、それぞれフレーム画像２値化部８に与えられる。このフレーム画像２値化部８では、空間フィルタ処理部６から得られた画像データのうち検出外領域設定部７で設定された検出外領域を除いたデータに対し、設定されたしきい値で２値化（例えば、検出対象画素（くらげに対応する明るい画素）を１，非検出画素を０）する。本例では、前処理として空間フィルタ処理を施しているので、検出対象のくらげ部分の濃淡値は高くなり、背景の水面の濃淡値は小さく（暗く）なるようにし、両者の濃淡値の差が大きくなるようにしたため、２値化しきい値を比較的ラフに設定しても、くらげ部分を確実に抽出することができる。そして、図６に示す空間フィルタ処理結果の濃淡画像データに対して２値化処理した結果、図７に示すようになる。なお、図中白抜き部分がくらげが存在する候補部分である。
【００５５】
さらに、上記したフレーム画像２値化部８の出力を画面内検出対象物数計測部９に与え、その画面内検出対象物数計測部９にて、１フレームの２値画像内の検出対象物（くらげ）の数量を計測する。そして、本例では、一つの検出対象物が複数の画素で検出される場合があるので、ラべリング部９ａで所定のラベリング処理を実行し、複数の画素が連結しているものをひとかたまりとして識別する。また、この際、ラベリングして生成された各かたまりを、検出対象物の形、大きさの基準値或いはモデルパターンと比較し、検出対象物らしくないものは、除外するようにしてもよい。そして、ラベリング部９ａでラベリングされた画像データを画面内検出数計測部９ｂに与え、画像内に存在する検出対象物（白画素のかたまり）の数を求める。
【００５６】
これにより、撮像した監視領域中に検出対象物たるくらげが何匹いるかを容易に求めることができる。そして、例えばその計数値が一定のしきい値を越えた場合に警報出力をするようにすることができる。
【００５７】
但し、本例では、より正確な判断を行うため、その算出結果を画像内検出数時間推移グラフ作成部１０に与えるようにしている。この推移グラフ作成部１０は、画像内検出数計測部９ｂから得られる画像内検出数を所定時間間隔で順次求めて時間軸上に並べることにより、画像内検出数時間推移グラフを作成するようになっている。そして、係るグラフを図示省略の出力装置に出力することで、増加傾向にあるか減少傾向にあるか、さらには、その増減率の大小を容易に理解することができ、くらげの除去作業の必要性及び緊急性を迅速に判断することができる。
【００５８】
上記した各処理部は、ある時刻の時に撮像して得られた１フレームの画像全体を用いて抽出処理を行うためのものである。ところで本例では、係る１フレーム単位での処理と並列して、時間経過に伴うある領域の画像データに基づいて、検出対象物であるくらげの流出入状態を認識できるようにしている。つまり単位時間当たりの流出入量が一定の場合には、画像内検出数時間推移グラフ作成部１０ラフは、時間変化に伴うくらげの存在量が一定となる。また、くらげが監視領域内で停滞し、流出入量が０の場合でも、上記グラフ作成部１０で作成されたグラフは、上記と同様に時間変化に伴う存在量が一定となる。つまり、それら各種の状態を弁別することはできない。
【００５９】
そして、流出入量が多い場合には、その監視領域の下流側に大量のくらげが流れ込んでいき、詰まるおそれが高いため、緊急にくらげの除去処理を行う必要があるが、流出入量が少ないか０の場合には、緊急に除去処理を行う必要がなかったり、除去処理自体をしなくても良い場合もある。
【００６０】
しかしながら、上記のように各状態を弁別できないので、従来のモニタを監視する方法や、一般に行われる画像処理のものに比べると遥かに優れた監視を行うことができるものの、より正確な判定を行うことには限界がある。そこで本例では、上記したように、時間経過に伴うある領域の画像データに基づいて、検出対象物であるくらげの流出入状態を認識するための処理部を設け、より正確な判定を行うことができるようにした。そして、係る処理部の具体的な構成は以下のようになっている。
【００６１】
まず、空間フィルタ処理部６の出力画像が、１フレームずつ時空間画像蓄積部１２に与えられる。そして、時空間画像蓄積部１２では、空間フィルタ処理部６から得られた画像データのうち、時空間画像ライン選択部１１で選択された所定の水平およびまたは垂直ラインについて、ラインごとに設定された時間間隔で設定された回数分、時間経過に従って並べて蓄積するようになっている。
【００６２】
すなわち、空間フィルタ処理部６から、図８（Ａ）のように、ある時間間隔でｔ１，ｔ２，ｔ３，……というように画像データが送られてきたとすると、時空間画像ライン選択部１１で選択されたラインＬに属する画像データ部分のみが抽出され、同図（Ｂ）に示すように、時間順つまりｔ１，ｔ２，ｔ３，…というように蓄積部１８内に格納されるようになっている。
【００６３】
そして、図示の例では垂直ラインを１つ示したが、複数のラインが選択された場合には、各ライン毎に同図（Ｂ）に示すような画像が蓄積される。そして、画像を抽出するタイミングは、空間フィルタ処理部６から出力される１フレーム毎に行ってもよく、適宜な間隔でサンプリングしても良い。そして、抽出するラインが複数存在する場合には、すべてのラインを同じタイミングで抽出しても良いが、一部或いは全部を異なるタイミングで抽出しても良い。
【００６４】
なお、抽出するラインＬの幅は、縮小化された画像における１画素分でもよく、或いは複数画素分でも良い。なおまた、この時空間画像ライン選択は、検出処理ごとに毎回行うものではなく、手動設定および自動設定で定期／不定期に行うようになっている。そして、自動設定するための具体的な構成については、後述する。
【００６５】
一定時間経過後に時空間画像蓄積部１２に格納された画像データの一例を示すと、ラインＬをあるタイミングでくらげが通過すると、図９のように、その通過時刻・通過場所に相当する位置にくらげＫ１，Ｋ２が出現する。そして、くらげがゆっくりと通過すると、符号Ｋ２で示すように、細長なパターンとして出現する。よって、その形状を見ることにより、移動速度等を検出することができるとともに、ラインを通過したくらげの数を正確に計数できる。
【００６６】
係るライン通過数の計数処理を行うため、時空間画像蓄積部１２に蓄積された画像データを、次段の時空間画像２値化部１３に与え、そこにおいて与えられた画像データのうち検出外域設定部７で設定された検出外領域を除いたデータに対し、設定されたしきい値で２値化する。
【００６７】
これにより、検出対象物のくらげとそれ以外の背景部分とが分離された２値画像が生成される。そして、その２値画像が通過数計測処理部１４に与えられ、そこにおいてラべリングすることにより、複数の画素が連結しているものはひとかたまりとして識別し、選択されたライン上を設定された時間内に通過する検出対象物の物量を計測する。このラベリング処理及び計数処理は、上記した画面内検出対象物数計測部９のものと同様のアルゴリズムで処理できる。
【００６８】
そして、通過数計測処理部１４で求められた各ライン上を通過した検出対象物（くらげ）の通過数を、通過数時間推移グラフ作成部１５に送り、上記した画面内検出数時間推移グラフ作成部１０と同様に、くらげのライン上の通過数を所定時間間隔で順次求めて時間軸上に並べることにより通過数時間推移グラフを作成する。
【００６９】
さらに本例では、両グラフ作成部１０，１５の出力を警報処理部１６に与えるようになっている。警報処理部１６では、与えられた２つのグラフを用い、その値や傾き等により、検出対象物の流入度合いを設定された複数段階に区別して判別し、警報を発報するようになっている。
【００７０】
また、時空間画像２値化部１３で生成された２値画像に対し、あるライン上を走査すると、図１０に示すように、くらげの部分がＨになる（或いはその逆）パルス列信号が得られる。従って、くらげが多数頻繁に発生すると、パルスの出現数も多くなる。そして、１つのパルスが１つのくらげに相当する。つまり、パルス幅が大きいほど移動速度は遅く停滞しているものといえる。よって、係るパルス列の立ち上がり（或いは立ち下がり）をカウントすることによっても、通過数が求められる。
【００７１】
図１１は、上記した実施の形態におけるブロックサイズ設定部５において、自動的にサイズを設定するようにした装置の一例を示している。すなわち、このブロックサイズ設定部５は、図１１に示すフローチャートを実施する機能を有している。
【００７２】
具体的には、まず、画像内検出数計測部９ｂより、そこで検出した対象物（くらげ）の数を取得する（ＳＴ０）。そして、取得したくらげの数が一定値以上の場合には、ステップ２以降に進みブロックサイズ設定処理に移行する。また、取得したくらげの数が一定値以上でない場合には、正確なサイズだしができないため、ステップ０に戻り次の検出結果の取得を待つ（ＳＴ１）。
【００７３】
一方、ステップ１の分岐判断で、Ｙｅｓになった場合にはブロック設定処理に移行するが、本例では、平均値縮小処理をしてぼかす前の詳細な画像データ中に存在するくらげ部分を抽出し、そのくらげの大きさを求めるとともに、画像中に存在する各くらげの大きさの平均値を求め、その平均値に基づいてブロックサイズを決定するようにしている。
【００７４】
具体的には、平均値縮小処理する前の画像データ中のくらげの存在位置を求めるべく検出位置座標算出処理を行う（ＳＴ２）。すなわち、画面内検出対象物数計測部９で検出したくらげの存在位置（座標）は、平均値縮小処理後の画像データに基づいて（実際には、さらに各種の画像処理を行っている）行っているため、わかっている存在位置は、縮小処理したぼかした画像データ中の座標値である。そこで、画面内検出対象物数計測部９で検出した、そのぼかした画像（平均値縮小処理後の画像）におけるくらげの存在する位置（座標値）を座標変換し、平均値縮小処理前の画像の座標値を求めるようにしている。
【００７５】
なお、縮小処理後の１画素（１つの座標値）は、縮小処理前のＮ×Ｍ画素分に対応するため、厳密に言うと、「１対多」対応となっており、縮小処理後のある画素を変換して得られる縮小処理前の座標値候補は、Ｎ×Ｍ個あり、正確に特定できない。しかし、本例では、縮小前の画像データ中のおおよその存在位置がわかればよいので、例えばＮ×Ｍ画素分の中央の画素の座標値，或いは、左上の画素の座標値等というように便宜的にＮ×Ｍ画素のブロックの代表座標を決め、係る座標に変換するようにする。
【００７６】
次に、縮小前の画像データとして、フレーム積算・平均化処理部４の出力画像データを取得し、その画像データに対し、上記ステップ２で求めた複数の座標をそれぞれ中心とする矩形領域を設定する。一例を示すと、図１２のように、検出対象物Ｋの周囲を囲むようにして矩形領域Ｒが設定される。なお、この矩形領域Ｒは、予想されるくらげの最大径よりもさらに一回り以上大きくし、矩形領域Ｒ内に検出対象物であるくらげＫが確実に存在するようにしている。そして、その矩形領域Ｒで囲まれた領域をそれぞれ抽出する（ＳＴ３）。
【００７７】
そして、ステップ３の処理で抽出された、各領域の画像データに対し、くらげＫと背景部分とを分離するためのしきい値を求める（ＳＴ４）。このように、本例では、くらげの近傍の水面（背景）を含む小さな領域に基づいてしきい値を設定するため、その背景部分の濃淡の差は少なく、精度の良いしきい値を決定することができる。
【００７８】
そして、本例では、このしきい値決定を、図１３に示すフローチャートに従って処理するようにしている。つまり、まず、抽出された複数の矩形領域データについてそれぞれ濃淡値ヒストグラムを作成する（ＳＴ４ａ）。これにより、例えば図１４中黒丸で示すようなヒストグラムが得られる。なお、図中濃淡値の低い（横軸の左側）部分が、背景（水面）部分であり、濃淡値の高い（横軸の右側）部分が、くらげ部分である。
【００７９】
そして、図から明らかなように、背景部分は比較的濃淡値の差が少ないため、ある濃淡値の度数が大きくなり、１つの山が形成される。しかし、くらげの場合には、全体的に濃淡値が高いものの、各部で微妙に濃淡値が異なるので、各濃淡値の度数は少なく、全体的に均一に存在して平坦となり、背景部分のような山が現れないことが多い。従って、従来しきい値の決定法として一般的に用いられている判別分析法を用いると、精度の良いしきい値を求めることが困難となる。
【００８０】
そこで、本例では、歪度の概念を利用し、歪みが少ない部分を背景部分とし、しきい値を決定するようにした。つまり、ステップ１で生成した矩形領域内の濃淡値ヒストグラムの中で度数が１以上となる濃淡値の最大値より濃淡値を減少方向に順次選択し、選択された濃淡値以上のデータを除いた残りのヒストグラムを用いて歪度を算出する。そして、その歪度が正から負に転じる濃淡値を検出する（ＳＴ４ｂ）。
【００８１】
つまり、残ったヒストグラムの平均値を基準として左右両側の図形を見たときに、どちら側に歪んでいるかの度合いを示すもので、当初は、くらげの部分が存在しているので、濃淡値が高い方が多く存在しており歪度は正になる。そして、徐々に濃淡値を減少させると、くらげの存在率が少なくなるので、歪度も減少していく。そして、くらげの部分がなくなり、背景部分のみになると、歪度が０に近づき、さらに濃淡値を減少させると、背景部分の濃淡値のうち低い方が多く存在することになるので、歪度は負になる。
【００８２】
背景部分を構成する各画素の濃淡値は、ある濃淡値を中心として例えば正規部分のように両側に分布する（実際には正規部分にはならないが、山状にはなる）。従って、背景部分のみが過不足なく残ったヒストグラムの場合には、その平均値を基準にその両側が近くなるので、歪度が０に近づく。換言すると、歪度が正から負に変わる濃淡値が、背景部分が過不足なく残る点といえる。
【００８３】
そして、求めた濃淡値に基づいて、しきい値を決定する（ＳＴ４ｃ）。つまり、図１４に示すように、ステップ４ｂで求めた濃淡値に補正値を加算して得られた濃淡値をその矩形領域の２値化しきい値とする。すなわち、本発明者の経験によると、背景部分の濃淡値のヒストグラムは、実際には正規分布にならないため、ステップ４ｂで求めた値が背景部分のみを過不足なく抽出したものにはならず、背景部分の濃淡値の高い部分が除かれた状態になる。さらに、２つの状態を弁別するためのしきい値は、一方の状態の境界ラインにするのではなく、そこから一定のマージンをとるようにすることが精度よく弁別するためによく行われる。上記した各理由に基づいて、補正値を加算するようにした。
【００８４】
このようにして求めた２値化しきい値に基づいて、ステップ３で抽出した各領域に対して２値化処理を行う（ＳＴ６）。すると、精度良くくらげの部分と背景部分とを弁別でき、くらげ部分が白画素となる。
【００８５】
次いで、ステップ６で求めた各矩形領域内の２値画像に基づいて、その白画素の面積値の平均値および外接四角形の垂直径、水平径の平均値から、検出対象物であるくらげの平均垂直径および平均水平径を画素数で算出する（ＳＴ７）。その算出方法の一例を示すと、次式に基づいて求めることができる。
【００８６】
【数２】

そして、上記処理により求められた各領域のくらげの大きさに関する情報に基づいて、ブロックサイズを決定する（ＳＴ８）。具体的には、ステップ７で求めた平均垂直径、水平径の１／２程度に設定する。さらに、平均垂直径と水平径が異なる場合には、各値を１／２して、ブロックサイズをＮ×Ｍ（ＮとＭは異なる値）としても良く、或いは大きい方の値をとった正方形（Ｎ＝Ｍ）とするなどの他最終的な決定法は任意である。
【００８７】
図１５は、上記した実施の形態における検出外領域設定部７において、自動的に検出外領域を設定するようにした装置の一例を示している。同図に示すように、入力側に第１，第２偏差値得点データメモリ２１，２５を備えている。平均値縮小処理部４から得られる１枚の画像データ全体を第１偏差値得点データメモリ２１に格納し、空間フィルタ処理部６から送られる空間フィルタ処理画像を第２偏差値得点データメモリ２５に格納するようにしている。そして、両データメモリ２１，２５に格納されたデータに基づいて、検出外領域を決定するようにしている。
【００８８】
すなわち、第１偏差値得点データメモリ２１に格納されたデータを第１偏差値得点算出部２２にて読み出し、そこにおいて、第１偏差値得点データメモリ２１に格納されたデータを母集合として、画像データを構成する各画素に対し次式によって偏差値得点を算出する。
【００８９】
【数３】

また、第１偏差値得点算出部２２の出力（各画素の偏差値得点）は、次段の検出外領域候補１Ａ設定部２３に与えられる。この検出外領域候補１Ａ設定部２３では、各画素の偏差値得点のうち、一定の基準以上のものを抽出し、検出外領域候補１Ａとする。すなわち、くらげが存在しない平常時に撮像した画像データに基づいて上記処理を行うと、本来であれば、背景部分は全体的に暗くその濃淡値の差も少ないため、偏差値得点は小さい値をとるが、例えば、反射物その他明るい物体が監視領域中に存在すると、その部分の偏差値得点は大きくなる。そして、そのように明るい物体は、実際の監視の際にくらげ等と誤認識するおそれがあるので、偏差値得点の高い画素部分は検出外領域候補１Ａとして抽出し、実際の監視領域から外すための候補データとする。
【００９０】
さらに、検出外領域候補１Ａ設定部２３の後段には検出外領域候補Ａ設定部２４を接続し、上記抽出した検出外領域候補１Ａに基づいて、膨張処理を所定回数行い、検出外領域Ａを設定する。つまり、検出外領域候補１Ａは、画素単位であるため、その範囲を広げて実効性を高めるようにしている。
【００９１】
そして、上記各設定部２３，２４の具体的な処理機能は、図１６に示すようになっている。つまり、第１偏差値得点算出部２２にて求められた全画素に対する偏差値得点を取得し、設定されたしきい値を越えた領域をすべて抽出する。そして、抽出した領域を、検出外領域候補１Ａ（初期データは空白）としてバッファに追加格納するとともに、該当する領域の第１偏差値得点データメモリ２１内のデータを除去する。そして、係る処理を予め決めた所定回数繰り返し、各回で抽出されたすべての領域を検出外領域候補１Ａとし、検出外領域候補Ａ設定部２４に出力するようになる。
【００９２】
なお、２回目以降の抽出処理は、前回までの処理でしきい値以上の領域として抽出されたデータは、偏差値得点データメモリから除去されているので、残ったデータに基づいて再度第１偏差値得点算出部２２を実行させて残った各画素に対して偏差値得点を求め、それに基づいて抽出処理を行う。
【００９３】
一方、検出外領域候補Ａ設定部２４では、求めた検出外領域候補１Ａの各画素について膨張処理を行い、その画素自身とそれに接する周囲の８個の画素すべてを検出外領域候補Ａとして設定する。以上の膨脹処理を用いて所定回数繰り返した結果を、検出外領域候補Ａとして出力する。
【００９４】
一方、図１５を見ると明らかなように、第２偏差値得点データメモリ２５の出力が第２偏差値得点算出部２６に与えられ、そこにおいて空間フィルタ処理画像を構成する各画素の偏差値得点を求める。そして、その算出部２の出力側には検出外領域候補１Ｂ設定部２７及び検出外領域候補Ｂ設定部２８が接続されている。そして、各検出外領域候補１Ｂ設定部２７及び検出外領域候補Ｂ設定部２８は、図１７に示すようになっている。つまり、処理対象の画像データが、平均値縮小処理画像から空間フィルタ処理画像に替わっただけで、具体的な処理は上記したのと同様の処理を各部１６〜２８で実行し、最終的に空間フィルタ処理画像に基づく検出外領域候補Ｂを求め、出力するようになっている。
【００９５】
さらに、上記した検出外領域候補Ａ設定部２４と検出外領域候補Ｂ設定部２８の出力が、検知外領域設定部２９に接続されている。この設定部２９は、図１８に示すような構造を採っており、２つの入力の論理和をとり、検出外領域候補Ａと検出外領域候補Ｂのどちらかに当てはまる領域を設定する機能を有する。そして、係る機能により設定された領域と、検出外領域候補Ｂのいずれかを選択部により択一的に選択し、選択した領域を検出外領域と設定する。そしてその設定した領域についての情報（座標値）を、図１に示す両２値化部８，１３にそれぞれ出力するようになっている。
【００９６】
そして、上記した検出外領域を求める処理は、くらげなどが存在しないか、仮に存在してもその量が少ないときに行うのが正確に求められて良い。従って、例えば画面内検出対象物数計測部９により求められた検出数が所定の値以下の時に動作するようにしても良い。また、そのように状態に関係なく、所定時間間隔で繰り返し、得られた複数の検出外領域のいずれかに当てはまる領域を検出外領域とするようにしてもよい。
【００９７】
図１９は、本発明の変形例を示している。本例では、上記した検出外領域設定部７を改良したもので、所定サイズ以下の検出外領域候補を除去する機能を加えるものである。すなわち、同図（Ａ）に示すように、第１所定サイズ以下除去部３０では、検出外領域候補１Ａを算出したあとに、検出外領域候補１Ａについてその連結性を調べ（ラべリング）、設定された連結個数以下となる領域を検出外領域候補１Ａから除外するようになっている。図示の例では、一回の処理ごとに行うようにしているが、「処理回数？」の分岐判断の後、すなわち、最終的に次段の検出外領域Ａ設定部２４に出力する前に行うようにしてももちろん良い。さらに、同図（Ｂ）に示すように、検出外領域候補１Ｂ設定部２７側にも同様の機能を持った第２所定サイズ以下除去部３１を接続し、検出外領域候補１Ｂから所定サイズ以下の検出外候補を除去するようになっている。
【００９８】
さらにまた、図２０に示すように、上記した各所定サイズ以下除去部３０，３１を、検出外領域候補Ａ設定部２４および検出外領域候補Ｂ設定部２８に接続し、各候補Ａ，Ｂを算出したあとに、上記と同様の除去処理を行うようにしてももちろん良い。
【００９９】
図２１は、上記した実施の形態における時空間画像ライン選択部１１において、自動的にラインを設定するようにした装置の一例を示している。
【０１００】
すなわち、図示するように、まず、平均値縮小処理画像水平ライン平均濃淡値算出部４１において、平均値縮小処理部４からの画像データを用いて、水平ラインの各ラインごとに平均濃淡値を算出する。また、平均値縮小処理画像水平ライン平均濃淡値の平均値・標準偏差算出部４２では、上記の算出部４１で算出された水平ライン濃淡平均値を母集合として、さらにその平均値および標準偏差を求める。そして、平均値縮小処理画像水平ライン偏差データ算出部４３では、各算出部４１，４２で求めた値を下記式に代入することによって偏差データを求めるようになっている。
【０１０１】
【数４】

また、同様に平均値縮小処理画像垂直ライン平均濃淡値算出部４４において、平均値縮小処理部４からの画像データを用いて、垂直ラインの各ラインごとに平均濃淡値を算出し、平均値縮小処理画像垂直ライン平均濃淡値の平均値・標準偏差算出部４５にて、上記の算出部４４で算出された水平ライン濃淡平均値を母集合として、さらにその平均値および標準偏差を求める。そして、平均値縮小処理画像垂直ライン偏差データ算出部４６では、各算出部４４，４５で求めた値を下記式に代入することにより偏差データを求めるようになっている。
【０１０２】
【数５】

さらに、空間フィルタ処理部６からの画像データを用いて、空間フィルタ処理画像水平ライン平均濃淡値算出部４７，空間フィルタ処理画像水平ライン平均濃淡値の平均値・標準偏差算出部４８，空間フィルタ処理画像水平ライン偏差データ算出部４９により各値を算出し、最終的に、次式により、空間フィルタに基づく水平ラインの偏差データを求める。
【０１０３】
【数６】

さらにまた、空間フィルタ処理画像垂直ライン平均濃淡値算出部５０，空間フィルタ処理画像垂直ライン平均濃淡値の平均値・標準偏差算出部５１，空間フィルタ処理画像垂直ライン偏差データ算出部５２により各値を算出し、最終的に、次式により、空間フィルタに基づく垂直ラインの偏差データを求める。
【０１０４】
【数７】

そして、両水平ライン偏差データ算出部４３，４９の出力を水平ライン評価値算出部５３に与える。また、両垂直ライン偏差データ算出部４６，５２の出力を垂直ライン評価値算出部５４に与える。そして、それら各部において、次式により、平均値縮小処理画像の水平（垂直）ライン偏差データと空間フィルタ処理画像の水平（垂直）ライン偏差データを用いて水平（垂直）ライン評価値を求める。
【０１０５】
【数８】

さらに、水平，垂直ライン平滑化評価値算出部５５，５６では、上記のようにして求められた水平，垂直ライン評価値をそれぞれ用い、各水平ラインごと或いは各垂直ラインごとに、自身のラインの評価値とその両側から設定されたライン数分の評価値を用いてその平均値を平滑化評価値として算出する。そして、水平，垂直ライン選択部５７，５８で、この平滑化評価値がもっとも小さいものから順に、設定された数の水平ライン及び垂直ラインを選択するようになっている。
【０１０６】
そして、このラインの選択処理は、ある時期の１回の処理に基づいて行っても良いが、それに限ることはなく、所定時間間隔で複数回繰り返し、その平均値を用いてライン選択を行っても良い。
【０１０７】
【発明の効果】
以上のように本発明に係る水路流出入物監視装置では、空間フィルタ処理を行うことにより、濃淡値の勾配やむらが存在する画像が比較的フラットな画像になるためその後の２値化処理が容易に行うことができる。しかも、その前処理として平均値縮小処理を行うため、処理対象のデータ量を削減することができ、処理負荷が軽減されて、リアルタイムでの処理が可能となるばかりでなく、ブロックサイズを適宜に設定することにより、対象物が分断される可能性が低くなり、検出対象物の計数が容易かつ正確に行える。
【０１０８】
しかも、時空間画像処理を平行に行うことにより、あるライン上を通過する検出対象物の数を求めることができる。その結果、画面内対象物数の計数値と併せて利用することにより、対象物の滞留状態などその流出入状態の判別がより正確になる。
【０１０９】
その結果、監視カメラの画像から水路へ流出入する物体（主にくらげ）の検出およびその流出入度合の計測を簡易な画像処理手法で実現することができる。
【図面の簡単な説明】
【図１】本発明に係る水路流出入物監視装置の好適な一実施の形態を示すブロック図である。
【図２】空間フィルタの機能を説明する図である。
【図３】空間フィルタの処理結果の一例を示す図である。
【図４】空間フィルタの機能を説明する図である。
【図５】空間フィルタの機能を説明する図である。
【図６】空間フィルタの処理結果の一例を示す図である。
【図７】フレーム画像２値化処理結果の一例を示す図である。
【図８】時空間画像蓄積部の機能を説明する図である。
【図９】時空間画像蓄積部の機能を説明する図である。
【図１０】時空間画像蓄積部の機能を説明する図である。
【図１１】ブロックサイズ設定部の機能を説明するフローチャートの一部である。
【図１２】ブロックサイズ設定部での処理途中で設定される矩形領域を示す図である。
【図１３】ブロックサイズ設定部の機能を説明するフローチャートの一部である。
【図１４】ブロックサイズ設定部におけるしきい値決定処理を説明する図である。
【図１５】検出外領域設定部の内部構造を示すブロック図である。
【図１６】検出外領域設定部のさらに詳細な内部構造を示すブロック図である。
【図１７】検出外領域設定部のさらに詳細な内部構造を示すブロック図である。
【図１８】検出外領域設定部のさらに詳細な内部構造を示すブロック図である。
【図１９】検出外領域設定部の変形例を示す要部ブロック図である。
【図２０】検出外領域設定部のさらに他の変形例を示す要部ブロック図である。
【図２１】時空間画像ライン選択部の内部構成を示す図である。
【符号の説明】
４平均値縮小処理部
５ブロックサイズ設定部
６空間フィルタ処理部
７検出外領域設定部
８フレーム画像２値化処理部
９画面内検出対象物数計測部
１１時空間画像ライン選択部
１２時空間画像蓄積部
１３時空間画像２値化処理部
１４通過数計測処理部
１６警報処理部
２１第１偏差値得点算出データ記憶部
２２第１偏差値得点算出部
２３検出外領域候補１Ａ設定部
２４検出外領域候補Ａ設定部
２５第２偏差値得点算出データ記憶部
２６第２偏差値得点算出部
２７検出外領域候補１Ｂ設定部
２８検出外領域候補Ｂ設定部
２９検出外領域設定部
３０第１所定サイズ以下除去部
３１第２所定サイズ以下除去部
４１平均値縮小処理画像水平ライン平均濃淡値算出部
４２平均値縮小処理画像水平ライン平均濃淡値の平均値・標準偏差算出部
４３平均値縮小処理画像水平ライン偏差データ算出部
４４平均値縮小処理画像垂直ライン平均濃淡値算出部
４５平均値縮小処理画像垂直ライン平均濃淡値の平均値・標準偏差算出部
４６平均値縮小処理画像垂直ライン偏差データ算出部
４７空間フィルタ処理画像水平ライン平均濃淡値算出部
４８空間フィルタ処理画像水平ライン平均濃淡値の平均値・標準偏差算出部
４９空間フィルタ処理画像水平ライン偏差データ算出部
５０空間フィルタ処理画像垂直ライン平均濃淡値算出部
５１空間フィルタ処理画像垂直ライン平均濃淡値の平均値・標準偏差算出部
５２空間フィルタ処理画像垂直ライン偏差データ算出部
５３水平ライン評価値算出部
５４垂直ライン評価値算出部
５５水平ライン平滑化評価値算出部
５６垂直ライン平滑化評価値算出部
５７水平ライン選択部
５８垂直ライン選択部[0001]
[Technical field to which the invention belongs]
TECHNICAL FIELD The present invention relates to a water channel inflow / outflow monitoring device, and more specifically, an image from a video of a monitoring camera in order to monitor an object flowing in / out of a water channel (mainly a jellyfish flowing into a cooling water intake channel). The present invention relates to a method for detecting an object by processing and measuring the inflow / outflow degree.
[0002]
[Prior art]
When a lot of jellyfish have entered the water channel, the water channel is clogged and normal water intake treatment at the water intake or the like cannot be performed. Therefore, conventionally, the water channel is imaged by the monitoring camera, and the captured video signal is output to the monitor. Then, a monitor monitors the monitor, and if a jellyfish has invaded, an operation for removing the jellyfish is performed.
[0003]
[Problems to be solved by the invention]
However, in the conventional monitoring method described above, in order to detect the occurrence of jellyfish without delay, it is necessary to constantly monitor the monitor, but in practice, the monitor must also perform other processing and work. , Just stay at the monitor every fixed time. As a result, the jellyfish removal work may be delayed. Also, what you can see from the monitor is the number of jellyfishes at that time, and it is not known whether it is inflowing and increasing or outflowing. Furthermore, the speed of the increase / decrease is not known. As a result, it is difficult to determine whether or not it is necessary to perform a jellyfish removal operation, or whether or not it is necessary to perform urgently.
[0004]
Therefore, the image information captured by the surveillance camera is subjected to predetermined image processing to extract the jellyfish portion, and the number of jellyfishes on the screen is counted, or the history of changes in the number of jellyfishes over time is detected. By doing so, it may be possible to make a correct judgment as to whether or not the jellyfish is removed and whether it is urgent. And the following two can be considered as what utilized general image processing.
[0005]
** First method
A moving object or state change is extracted as an image change area by difference processing between images, and it is determined whether or not it is jellyfish based on the characteristics (size, shape, number, etc.) of the extracted change area, and finally it is determined as jellyfish The number of jellyfishes present in the image can be obtained by counting the number of the images.
[0006]
That is, the difference (interframe difference) between the image data obtained by A / D-converting the gray value of the image obtained from the surveillance TV camera and converted into a digital image and the image data of the previous frame obtained in the same manner is obtained. . Then, since the background part etc. which are not moving are removed by taking a difference, the moving jellyfish etc. will be extracted after all.
[0007]
Therefore, the gradation value of each pixel of the obtained difference image is binarized by comparing with the set threshold value, so that the change area and the non-change area are distinguished, and the jellyfish portion which is the change area To extract. Finally, it is determined whether or not the obtained change area has characteristics (size, shape, number of pixels, etc.).
[0008]
Further, instead of the inter-frame difference, a method (background difference) in which a background portion is captured in advance and a difference image between the background image and the input image is obtained can be used.
[0009]
However, in this method, if the background portion is not fixed when it is a gray image, a part of the background portion is extracted as a difference image and may be erroneously detected. In particular, since the background image of the monitoring target area of the present invention is the sea surface or the water surface and is constantly changing, the above problem appears remarkably.
[0010]
Furthermore, since the detection target is a jellyfish that floats on the surface of the sea or water, its moving speed is not constant and may stay in the same place. And when obtaining the inter-frame difference, it is assumed that the object moves a certain amount during the time between the two images, so the movement speed of the jellyfish that is the object is slow, and the object in the two images In the case where the positions partially overlap, the difference value of the portion is kept low, and a shape defect at the time of binarization occurs, so that extraction may not be possible.
[0011]
** Second method
It is conceivable to apply a method of extracting a detection target area by binarizing the obtained image itself and determining the state based on the characteristics (size, shape, number, etc.) of the area.
[0012]
That is, the image obtained from the surveillance TV camera is A / D converted into a digital image, and further, the grayscale value of each pixel of the obtained digital image is compared with a set threshold value to be detected. And binarization processing for sorting into non-detection target areas. Finally, it is determined whether or not it is a jellyfish from the characteristics (size, shape, number of pixels, etc.) of the detection target region obtained from the binary image, and the number of jellyfishes is counted.
[0013]
By the way, in order to perform accurate discrimination by this method, it is important to determine a threshold value when binarizing. However, since the background image of the monitoring target region of the present invention is the sea surface / water surface, there are large gradients and unevenness in the gray value within one screen. As a result, if the entire screen is binarized with one threshold value, an area that cannot be binarized properly is generated, and there is a possibility that jellyfish cannot be extracted correctly.
[0014]
Further, as described above, in the case where the gray value is uneven in the entire screen, it is conceivable to apply the method by automatically setting the threshold value according to the partial portion of the image. However, when the gray value of an image varies with time, such as the sea surface or water surface, it is necessary to set an appropriate threshold value accordingly, and it is obtained to cope with the temporal variation of the image. Processing for setting a threshold value for each image in accordance with the portion of the image must be performed, and the processing becomes enormous, which is not suitable for real-time processing for the purpose of monitoring.
[0015]
In addition, since both the first and second methods perform binarization on a pixel-by-pixel basis, a single detection target object may be extracted in several ways, and if subsequent integration processing is not performed successfully, Has the problem of inaccurate counting.
[0016]
The present invention has been made in view of the above-described background. The object of the present invention is to solve the above-described problem, to detect an object (mainly a jellyfish) flowing into and out of a water channel from an image of a surveillance camera, and to flow out of the object. It is an object of the present invention to provide a channel outflow / entry monitoring device that can measure the degree of entry with a simple image processing technique.
[0017]
[Means for Solving the Problems]
In order to achieve the above-described object, the channel inflow / outflow monitoring device according to the present invention performs an average value reduction process with a block size set for image data based on a video image obtained by imaging a water channel to be monitored. A spatial filter processing means for performing predetermined spatial filter processing for emphasizing a processing target pixel having a large difference in gray value from surrounding neighboring pixels for the image data subjected to the average value reduction processing; Frame image binarization processing means for binarizing the filtered image data with a set threshold value, and binary image data binarized by the frame image binarization processing means. On-screen detection target number measuring means for measuring the number of detection target objects, and grayscale value data of a line selected from a horizontal line and a vertical line among the spatially filtered image data. Only for a predetermined number of times at a set time interval, and a time-space that binarizes the image data stored in the space-time image storage means with a set threshold value. An object to be detected that passes through the selected line during a set time using the image binarization processing means and the binary image spatiotemporal image data binarized by the spatiotemporal image binarization processing means Passing number measurement processing means for measuring the quantity of the object, degree of inflow and outflow of the detection target object in the monitoring area based on data measured by the in-screen detection object number measuring means, and the passing number measurement processing means And alarm processing means for issuing an alarm when an alarm issue condition is reached (claim 1).
[0018]
Here, the water channel includes not only a cooling water intake channel, but also a natural river and an artificial one through which water flows to a certain extent and a relatively wide portion such as a dam or a pond. And although the detection target has illustrated the jellyfish in embodiment, it is not restricted to this, What may clog a water channel, for example, garbage, such as vinyl, may be sufficient.
[0019]
With such a configuration, by performing a predetermined spatial filter process, an image in which the gradient or unevenness of the gray value is present becomes a relatively flat image, and the subsequent binarization process is facilitated. This is because even when there is a characteristic of image data in which the gray value constantly varies like the water surface as the background image in the present invention, and the gray value in each part is slightly different instead of being uniform throughout. Since the gray value of the jellyfish that is the detection target is larger (brighter) than the background part, the difference in the gray value at the boundary part becomes large. Therefore, the object to be detected is highlighted because it is emphasized by performing the spatial filter process. Therefore, the detection object and the background portion can be reliably distinguished by threshold processing.
[0020]
Furthermore, performing the average value reduction process as the pre-processing of the spatial filter process not only reduces the processing load by reducing the amount of data, but also reduces the possibility of the detection object being divided. Counting is easy.
[0021]
In addition, it is possible to easily count objects flowing in and out by spatio-temporal image processing, and by using this together with the count value of the number of objects in the screen, Discrimination is required more accurately.
[0022]
Preferably, the image processing apparatus further includes a non-detection region setting unit that sets a non-detection region to be excluded from the detection target region in the spatially filtered image data, and the non-detection region set by the non-detection region setting unit Said The binarization processing by the frame image binarization processing means and the spatio-temporal image binarization processing means; In other words, at least the object to be detected is not present (claim 2).
[0023]
That is, in the case of the water surface, since the gray value is low, it is easy to separate from the detection target object. There is a risk of being extracted. Therefore, by setting such a region as a non-detection region in advance, the portion of the non-detection region is set to the same value as the background portion even if binarization processing is not performed. Therefore, the possibility of erroneous detection is reduced.
[0024]
Further, according to claim 1 Based on the invention, The setting of the block size in the average value reduction processing means is the average value reduction processing that is the basis of the processing from the detection position of the detection target detected by the in-screen detection target number measuring means with respect to a predetermined image. Find the coordinates of the detection position in the previous image data, and extract the gray value data of each pixel in the rectangular area of the predetermined size including the obtained detection position coordinates from the image data before the average value reduction processing A binarization threshold value is determined for each extracted rectangular area, the image data in the rectangular area is binarized with the determined binarization threshold value, and based on the binarized image data Thus, it is possible to obtain information related to the dimensional shape of the detection target, and to determine and set the block size based on the obtained dimensional shape.
[0025]
In order to effectively perform the average value reduction processing in the invention described in claim 1, it is necessary to select a block size suitable for the detection target. Therefore, by configuring as in claim 3, when an object is detected, an appropriate block size is automatically selected by measuring this size. Therefore, for example, when the imaging size of an object changes due to camera zoom, pan, or tilt, an appropriate block size can be easily set based on the changed image data, so accurate detection processing is always possible. Yes.
[0026]
At this time, based on the detection position by binarization / labeling of the spatial filter image, only the rectangular area including the object is extracted from the image before the average value reduction process, and the threshold value for each area is set. By using it and binarizing it, the size of each object can be measured, and from this result, an appropriate block size can be selected.
[0027]
And according to claim 3 Based on the invention, Setting a binarization threshold value when binarizing image data in a rectangular area creates a gray value histogram for the image data in the extracted rectangular area, and the gray level where the frequency is 1 or more in the histogram data The gray value is sequentially selected in the decreasing direction from the maximum value, and the skewness is calculated using data below the selected gray value, and the skewness is changed based on the gray value that changes from a positive value to a negative value. Preferably, the binarization threshold value of the rectangular area is determined (claim 4). In this case, it is more preferable to set a light / dark value that is higher than the light / dark value by a predetermined correction value as the binarization threshold value.
[0028]
In the invention according to claim 3, when binarizing the rectangular area, even if there is a large unevenness in the gray value on the entire screen, the background portion excluding the object is a relatively flat gray value in each rectangular area. The binarization threshold value for extracting the object is obtained by using the feature of having. When a grayscale histogram is obtained, a single mountain appears in a low gray area (mainly the gray value of the background portion), and in a high gray area (mainly the gray value of the object), the mountain is flat and often does not appear. . Therefore, although it is difficult to set the threshold accurately with the “discriminant analysis method” which is a typical technique for setting the binarized threshold, in the present invention, by using the concept of skewness, 2 The reference value of the threshold value can be selected. Even when the relative area of the object with respect to the background portion is small, the threshold value can be accurately set by paying attention to the skewness of the gradation histogram of the background portion.
[0029]
Meanwhile, according to claim 1 Based on the invention, As a specific example of the spatial filter processing means, for example, the maximum absolute value of the difference between the gray value of the pixel to be processed and the gray value of the neighboring pixel is obtained, and the obtained maximum value is output as a result of the spatial filter processing. (Claim 6). Further, the maximum gray value and the minimum gray value are extracted from the gray value data of each pixel constituting the n × n rectangular area centered on the processing target pixel, and the maximum gray value is extracted from the gray value of the processing target pixel. The sum of the value obtained by subtracting the value and the value obtained by subtracting the minimum shading value from the shading value of the pixel to be processed is obtained. If the obtained sum is 0 or more, it is left as it is. The value may be output as the result of the spatial filter, and if this sum is less than 0, 0 may be output as the result of the spatial filter.
[0030]
In particular, when configured as in claim 7, the spatial filter processing is effective for detecting an object having a gray value higher than the gray value of the background. In this method, the output value of the background portion can be kept low while the contrast between the detection target and the background is maintained, and therefore, excessive detection of the background portion at the time of binarization can be suppressed to a lower level.
[0031]
Further, according to claim 2 Based on the invention, The non-detection area setting means obtains a deviation value score obtained from the average value and the standard deviation for each pixel using the entire image data obtained from the average value reduction processing means as a population, and the deviation value score is An area exceeding the set threshold is set as a non-detection area candidate 1A, and the data of the non-detection area candidate 1A is removed from the population of image data for which the deviation value score was previously obtained, and again for each pixel. A deviation value score is obtained, a means for adding the area where the deviation value score exceeds the set threshold value to the non-detection area candidate 1A to be the non-detection processing candidate 1A, and obtaining the above deviation value score again. A means for obtaining the non-detection area candidate 1A by repeating the means for adding the non-detection area candidate a predetermined number of times, and a process of setting all of the pixels and its neighboring pixels as non-detection area candidates for each pixel of the non-detection area candidate 1A ( And a deviation value obtained from an average value and a standard deviation of the whole image data obtained from the spatial filter processing means as a population. A score is obtained for each pixel, and an area where the deviation value score exceeds a set threshold value is added to the non-detection area candidate 1B to be a non-detection process candidate 1B, and the above deviation value score is obtained again. A means for obtaining the non-detection area candidate 1B by repeating the means for adding the non-detection area candidate a predetermined number of times, and a process for setting all of the pixels and its neighboring pixels as non-detection area candidates for each pixel of the non-detection area candidate 1B This applies to the means for obtaining the non-detection area candidate B by repeating the predetermined number of times and either the non-detection area candidate B or the non-detection area candidate A and the non-detection area candidate B. It is to be configured to the detection area outside the region (claim 8).
[0032]
With this configuration, in the out-of-detection area setting unit, an area that is likely to cause a malfunction in the image by using together the average value reduced processed image that represents the shade state of the image and the spatial filter image that represents the shade difference between the surrounding pixels. Except for the above, only a region having a relatively flat shading is processed, so that stable detection operation is possible. At this time, it is easy to set a threshold value for determining removal by evaluating using a deviation value score representing a relative value in an image, instead of using the gray value itself for each pixel. There is an advantage to become. Further, by providing means for repeating threshold setting, removal processing, and expansion processing, the strength of the non-detection region setting processing can be freely selected.
[0033]
In this case, it is preferable that an area that is equal to or smaller than a predetermined size among the predetermined undetected area candidates is removed from the undetected area candidates. With such a configuration, when obtaining a non-detection candidate, its size is examined, and an area having a size that is likely to be a detection target is excluded from the candidates, so that the non-detection area setting is set when the detection target exists in the image. When performing, it can reduce that the area | region where a detection target exists unnecessarily becomes a non-detection area | region. In other words, by adopting this configuration, even if a detection target such as a jellyfish exists in the image data, the jellyfish part is excluded from non-detection candidates. Regardless of the presence / absence or the like, the non-detection area candidate setting process can be performed at an arbitrary timing.
[0034]
Further, according to claim 8 Based on the invention, The process for obtaining the non-detection area may be repeated a predetermined number of times at predetermined time intervals, and an area that falls into any of the predetermined non-detection areas obtained may be set as the non-detection area. With such a configuration, the above-described processing for obtaining the non-detection area is repeated a plurality of times at predetermined time intervals, and all of the areas are set as non-detection areas, so that an unstable area having a temporal variation in gray value is detected outside the detection image It becomes possible to make it an area, which leads to further reduction of false detection.
[0035]
Furthermore, according to claim 1 Based on the invention, Line selection means for automatically setting the lines to be accumulated in the spatiotemporal image accumulation means is further provided, and the line selection means uses the image data obtained by the average value reduction processing means for each horizontal line. Means for calculating the average gray value, means for obtaining the horizontal line average gray value of the obtained average value reduced processed image as a population, further obtaining an average value and standard deviation of the population, and each horizontal line average Using means for obtaining deviation data obtained by dividing the absolute value of the difference between the gray value and the obtained average value by the obtained standard deviation, and using the image data obtained by the average value reduction processing means, Similarly, for each line of the horizontal line, using the means for calculating the deviation data of the vertical line and the image data obtained by the spatial filter processing means, Means for calculating the average gray value of the horizontal line, means for calculating the average value and standard deviation of the average gray value of the horizontal line of the obtained spatially filtered image as a population, and the average gray value of each horizontal line. In the same manner as the means for obtaining deviation data obtained by dividing the difference from the average value by the obtained standard deviation, and using the image data obtained by the spatial filter processing, the deviation data of the vertical line is obtained. Each horizontal line is multiplied by a coefficient that is calculated and multiplied by one of the horizontal line deviation data obtained using the average reduction processing image and the horizontal line deviation data of the spatial filter processing image. Use the sum as the horizontal line evaluation value and the obtained horizontal line evaluation value. Means for calculating an average value calculated using evaluation values for the number of lines as a smoothing evaluation value, and means for selecting a predetermined number of horizontal lines in order from the smallest smoothing evaluation value obtained by the calculating means Similarly, it is preferable to provide a means for selecting a predetermined number of vertical lines (claim 11). Such a configuration automatically selects a line advantageous for detection in the spatio-temporal image accumulating unit according to the first aspect of the present invention. That is, by using the evaluation value using the average value of the grayscale value of each line of the average value reduced image data and the spatial filter processed image, a line having an intermediate grayscale value in the image and having less unevenness is obtained. It becomes possible to select. Therefore, it is useful for stable detection by selecting such a line and accumulating a spatiotemporal image.
[0036]
In that case, the processing for obtaining the smoothing evaluation value of the horizontal line is repeated a predetermined number of times at predetermined time intervals, the means for obtaining the average value, and the means for selecting the predetermined number of horizontal lines in order from the smallest value Further, it is more preferable to provide means for selecting a predetermined number of vertical lines (claim 12). With this configuration, the process for obtaining the evaluation value for each line as defined in claim 11 is repeated a plurality of times at predetermined time intervals, and the average value is used to take the line in consideration of the temporally varying image. It is possible to select.
[0037]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows a first embodiment of a water channel inflow / outflow monitoring apparatus according to the present invention. As shown in the figure, first, the grayscale image obtained from the surveillance TV camera 1 is given to the A / D converter 2, where it is A / D converted and converted into a digital image. Then, this digital image is given to the frame integration / averaging unit 3 in the next stage.
[0038]
The frame integration / averaging unit 3 integrates the gray value of each pixel of the same coordinate with respect to n pieces of image data that are sequentially input successively, obtains the average value, and obtains the obtained average gray value. It is set as the gray value of the pixel of the image data used as a reference for subsequent image processing. As a result, the fine unevenness of the image due to the noise component in the signal or the waves on the water surface is less likely to remain on the same coordinates, and the influence thereof is reduced. Thereby, it is possible to remove a noise component that causes erroneous determination such as noise.
[0039]
The average value reduction processing unit 4 is connected to the subsequent stage of the frame integration / averaging unit 3, and the average value reduction is performed on the integrated / averaged image data with the block size set by the block size setting unit 5. Process. In this average value reduction processing, the original image is divided into N × M (N = M is acceptable) block sizes set by the setting unit 5, and the average value of the gray values of the pixels existing in the divided blocks is further divided. Ask for. Then, the obtained average gray value is used as a representative value of the block.
[0040]
By performing such processing, for example, if the block size is N × N (N = M), the number of data is 1 / N. 2 Can be compressed. By compressing in this way, the image is blurred, for example, the difference in size, shape and density of each jellyfish is less likely to appear, and more accurate judgment can be made in a short time by reducing the number of data to be processed. I am doing so.
[0041]
Note that the block size at the time of division is set based on the control signal from the block size setting unit 5 as described above, but this setting is not updated every time in the detection process, but is manually set or automatically set. It is designed to be performed regularly or irregularly in the settings. A specific configuration of automatic setting will be described later. The specific size is preferably N = M because the planar shape of the jellyfish is almost circular, and the length of the N pixels and the radius of the jellyfish are set to be the same. It is preferable to do this. In this example, 8 × 8 blocks are used.
[0042]
Further, the image data generated by the average value reduction processing unit 4 is given to the spatial filter processing unit 6 where a predetermined spatial filter process is performed so that the jellyfish portion of the detection object is raised. Then, as a specific processing method of this spatial filter, for example, the absolute value of the difference between the grayscale data in the n × n local region centered on the pixel to be processed and the grayscale value of the pixel to be processed is obtained and obtained. The maximum value can be selected from the absolute values of the (n × n−1) differences obtained and output as a result of the spatial filter processing.
[0043]
As an example, if n = 3, as shown in FIG. 2A, the number of pixels constituting the local area is nine from (1) to (9), of which the pixel of (5) in the center is It becomes a processing target pixel. Therefore, │ ▲ 1 ▼-▲ 5 ▼ |, │ ▲ 2 ▼-▲ 5 ▼ |, │ ▲ 3 ▼-▲ 5 ▼ |, ..., │ ▲ 8 ▼-▲ 5 ▼ |, │ ▲ 9 ▼-▲ 5 ▼ | is obtained, and the largest value among the total eight calculation results is set as the representative value of the processing target pixel {circle around (5)}. The circled numbers in the absolute value calculation formulas described above mean the gray value of each pixel.
[0044]
With such a configuration, the representative value increases when the density difference from the surrounding pixels is large, and the representative value decreases when the gray values of the nine pixels including the pixel to be processed (5) are substantially the same. . In other words, as described above, the pixel to be processed here has been reduced in the previous stage, and has the same size as the radius of the jellyfish. Therefore, when jellyfish exist in the processing target pixel, it exists for four pixels as shown by hatching in FIG. Therefore, in the illustrated example, the density difference between the five pixels that are not hatched becomes large. On the other hand, in the portion where there is no jellyfish, since the local region is the sea surface or the water surface, the density difference between each pixel becomes small. Therefore, when at least the processing target pixel has a jellyfish, the representative value of the processing target pixel becomes large.
[0045]
FIG. 3 shows an example of the processing result when spatial filtering is performed by such a method. And the place where the shading value ("representative value" mentioned above) is high in the figure is a candidate site where jellyfish exist.
[0046]
As another spatial filtering method, paying attention to the fact that the gray value of the detection target jellyfish is higher (brighter) than the gray value of the background water surface, pixels having a higher gray value than the background water surface are extracted. The purpose is that.
[0047]
That is, the maximum gray value and the minimum gray value are extracted from the gray value data of each pixel existing in the n × n rectangular area centered on the processing target pixel. Then, the maximum gray value and the minimum gray value are subtracted from the gray value of the pixel to be processed, and the two obtained subtraction values are added. When the obtained addition value is positive, that value is used as a filter output value, and when it is negative, 0 is used as a filter output value.
[0048]
Specific processing for image data can be obtained by the following equation.
[0049]
[Expression 1]

An example of processing in the case of a 3 × 3 local region is shown. When there is a detection target object in the processing target pixel, as shown in FIG. 4, the gray value of the processing target pixel becomes the maximum gray value. Therefore, the difference is “0”, and the difference from the minimum gray value is a large positive value. Therefore, the final addition result is equal to the difference from the minimum gray value and becomes a large positive value.
[0050]
As described above, in this embodiment, in the case of a jellyfish, it occupies four pixels. However, if at least a jellyfish portion is applied to a pixel to be processed, the result is as described above.
[0051]
In addition, when there is no detection target jellyfish in the processing target area (of course, there is no processing target pixel), since there is little difference between the pixels, the gray value of the processing target pixel, the maximum gray value, the minimum gray value, The difference of becomes smaller. In addition, when the pixel to be processed is not the maximum gray value, the value obtained by subtracting the maximum gray value from the pixel to be processed is negative, so that the final addition result is suppressed by this amount. Furthermore, as in the example of FIG. 5, when the gray value of the processing target pixel is closer to the minimum gray value than the maximum gray value, the addition result is negative and the filter output is zero.
[0052]
FIG. 6 shows an example of a partial region obtained by executing the above method on the same average value reduced processed image that was used when FIG. 3 was obtained. As is clear from comparison between FIG. 3 and FIG. 6, the portion where the jellyfish exists is steeper and the value of the background portion is suppressed to be lower, so that it is easy to detect the jellyfish.
[0053]
In addition, the output of the average value reduction processing unit 4 is also supplied to the non-detection region setting unit 7 in parallel with being supplied to the spatial filter processing unit 6 as described above. The non-detection area setting unit 7 performs processing for excluding, from the detection target area, portions that are likely to cause malfunctions, such as extremely bright portions, dark portions, uneven portions in the screen, and boundary portions such as water surfaces and walls. To do. That is, information (coordinate data or the like) related to the non-detection area is output. This process is not updated every time in the detection process, but is performed regularly or irregularly by manual setting and automatic setting. A specific apparatus configuration for performing automatic setting will be described later.
[0054]
The outputs of the spatial filter processing unit 6 and the out-of-detection region setting unit 7 are respectively supplied to the frame image binarization unit 8. In the frame image binarization unit 8, the image data obtained from the spatial filter processing unit 6 except for the non-detection area set by the non-detection area setting unit 7 is set with a set threshold value. Binarization (for example, 1 for detection target pixels (bright pixels corresponding to jellyfishes) and 0 for non-detection pixels). In this example, since spatial filtering is performed as pre-processing, the gray value of the jellyfish part to be detected is high, the gray value of the background water surface is small (dark), and the difference between the two gray values is Since it becomes large, even if the binarization threshold is set to be relatively rough, the jellyfish portion can be reliably extracted. Then, as a result of binarization processing on the grayscale image data of the spatial filter processing result shown in FIG. 6, the result is as shown in FIG. In addition, the white part in a figure is a candidate part in which a jellyfish exists.
[0055]
Further, the output of the above-described frame image binarization unit 8 is given to the in-screen detection object number measuring unit 9, and the in-screen detection object number measuring unit 9 detects the detection object in the binary image of one frame. Measure the quantity of jellyfish. In this example, since one detection target may be detected by a plurality of pixels, a predetermined labeling process is executed by the labeling unit 9a, and a group of pixels connected to each other is collected. Identify. At this time, each block generated by labeling may be compared with a reference value or model pattern of the shape and size of the detection object, and those that are not likely to be detection objects may be excluded. Then, the image data labeled by the labeling unit 9a is given to the in-screen detection number measuring unit 9b, and the number of detection objects (a group of white pixels) existing in the image is obtained.
[0056]
As a result, it is possible to easily determine how many jellyfishes are detected objects in the captured monitoring area. For example, when the count value exceeds a certain threshold value, an alarm can be output.
[0057]
However, in this example, in order to make a more accurate determination, the calculation result is given to the in-image detection time transition graph creation unit 10. The transition graph creation unit 10 creates the intra-image detection number time transition graph by sequentially obtaining the detection numbers in the image obtained from the in-image detection number measuring unit 9b at predetermined time intervals and arranging them on the time axis. It has become. By outputting such a graph to an output device (not shown), it is possible to easily understand whether it is increasing or decreasing, and the magnitude of the increase / decrease rate, and it is necessary to remove the jellyfish. Gender and urgency can be quickly determined.
[0058]
Each processing unit described above is for performing extraction processing using the entire image of one frame obtained by imaging at a certain time. By the way, in this example, in parallel with the processing in units of one frame, the inflow / outflow state of the jellyfish that is the detection target can be recognized based on the image data of a certain region with time. That is, when the inflow / outflow amount per unit time is constant, the detected number time transition graph creation unit 10 rough in the image has a constant amount of jellyfish with time change. Further, even when the jellyfish stagnates within the monitoring area and the inflow / outflow amount is 0, the graph created by the graph creating unit 10 has a constant abundance with time change as described above. That is, these various states cannot be distinguished.
[0059]
And when there is a large amount of inflow and outflow, a large amount of jellyfish will flow into the downstream side of the monitoring area, and there is a high risk of clogging, so it is necessary to urgently remove jellyfish, but the amount of inflow and outflow is small In the case of 0, there is a case where it is not necessary to perform the removal process urgently or the removal process itself may not be performed.
[0060]
However, since each state cannot be discriminated as described above, it is possible to perform monitoring that is far superior to conventional methods of monitoring a monitor or generally performed image processing, but more accurate determination is performed. There are limits to this. Therefore, in this example, as described above, a processing unit for recognizing the inflow / outflow state of the jellyfish that is the detection target is provided based on the image data of a certain region with time, and more accurate determination is performed. I was able to. The specific configuration of the processing unit is as follows.
[0061]
First, the output image of the spatial filter processing unit 6 is given to the spatiotemporal image storage unit 12 frame by frame. In the spatio-temporal image storage unit 12, the predetermined horizontal and / or vertical lines selected by the spatio-temporal image line selection unit 11 out of the image data obtained from the spatial filter processing unit 6 are set for each line. The number of times set at the time interval is stored side by side as time elapses.
[0062]
That is, assuming that image data is sent from the spatial filter processing unit 6 at a certain time interval, such as t1, t2, t3,..., As shown in FIG. Only the image data portion belonging to the selected line L is extracted and stored in the storage unit 18 in time order, that is, t1, t2, t3,... As shown in FIG. Yes.
[0063]
In the illustrated example, one vertical line is shown, but when a plurality of lines are selected, an image as shown in FIG. 5B is accumulated for each line. And the timing which extracts an image may be performed for every frame output from the spatial filter process part 6, and may be sampled at a suitable space | interval. When there are a plurality of lines to be extracted, all the lines may be extracted at the same timing, but some or all may be extracted at different timings.
[0064]
Note that the width of the line L to be extracted may be for one pixel in the reduced image or for a plurality of pixels. In addition, the spatiotemporal image line selection is not performed every time for each detection process, but is performed regularly / irregularly by manual setting and automatic setting. A specific configuration for automatic setting will be described later.
[0065]
An example of image data stored in the spatio-temporal image storage unit 12 after a lapse of a certain time, when a jellyfish passes through the line L at a certain timing, as shown in FIG. 9, at a position corresponding to the passing time and passing place. Jellyfish K1 and K2 appear. And if a jellyfish passes slowly, it will appear as an elongate pattern as shown with the code | symbol K2. Therefore, by looking at the shape, the moving speed and the like can be detected, and the number of jellyfishes passing through the line can be accurately counted.
[0066]
In order to perform the process of counting the number of line passages, the image data stored in the spatio-temporal image storage unit 12 is supplied to the spatio-temporal image binarization unit 13 in the next stage, and the detected outer area of the image data provided there The data excluding the non-detection area set by the setting unit 7 is binarized with the set threshold value.
[0067]
Thereby, a binary image in which the jellyfish of the detection target object and the other background parts are separated is generated. Then, the binary image is given to the passage number measurement processing unit 14, and by labeling the binary image, a plurality of connected pixels are identified as a group and set on the selected line. Measure the amount of the detection object passing in time. The labeling process and the counting process can be performed by the same algorithm as that of the above-mentioned in-screen detection target number measuring unit 9.
[0068]
Then, the number of passages of the detection object (jellyfish) that has passed through each line determined by the passage number measurement processing unit 14 is sent to the passage number time transition graph creating unit 15, and the above-described on-screen detection number time transition graph creation Similarly to the part 10, the passage number time transition graph is created by sequentially obtaining the number of passages on the jellyfish line at predetermined time intervals and arranging them on the time axis.
[0069]
Furthermore, in this example, the outputs of both

graph creation units

10 and 15 are given to the alarm processing unit 16. The alarm processing unit 16 uses two given graphs, distinguishes and determines the inflow degree of the detection object into a plurality of set levels based on the value, inclination, etc., and issues an alarm. .
[0070]
Further, when a binary image generated by the spatiotemporal image binarization unit 13 is scanned on a certain line, a pulse train signal in which the jellyfish portion becomes H (or vice versa) is obtained as shown in FIG. It is done. Therefore, when many jellyfishes frequently occur, the number of appearances of pulses increases. One pulse corresponds to one jellyfish. In other words, the larger the pulse width, the slower the moving speed and the more stagnant. Therefore, the number of passages can also be obtained by counting the rise (or fall) of the pulse train.
[0071]
FIG. 11 shows an example of an apparatus that automatically sets the size in the block size setting unit 5 in the above-described embodiment. That is, the block size setting unit 5 has a function of executing the flowchart shown in FIG.
[0072]
Specifically, first, the number of objects (jellyfish) detected there is acquired from the in-image detection number measuring unit 9b (ST0). If the acquired number of jellyfishes is equal to or greater than a certain value, the process proceeds to step 2 and the subsequent steps and the process proceeds to block size setting processing. If the acquired number of jellyfish is not equal to or greater than a certain value, the accurate size cannot be obtained, so the process returns to step 0 and waits for acquisition of the next detection result (ST1).
[0073]
On the other hand, if the branch determination in Step 1 is Yes, the process proceeds to block setting processing. In this example, the jellyfish portion existing in the detailed image data before blurring is extracted by the average value reduction processing. Then, the size of the jellyfish is obtained, the average value of the sizes of each jellyfish present in the image is obtained, and the block size is determined based on the average value.
[0074]
Specifically, detection position coordinate calculation processing is performed to obtain the jellyfish existing position in the image data before the average value reduction processing (ST2). That is, the position (coordinates) of the jellyfish detected by the in-screen detection target number measuring unit 9 is based on the image data after the average value reduction processing (actually, various image processing is actually performed). Therefore, the known existence position is a coordinate value in the blurred image data subjected to the reduction process. Therefore, the position (coordinate value) where the jellyfish is present in the blurred image (image after the average value reduction process) detected by the in-screen detection target number measuring unit 9 is coordinate-transformed, and the image before the average value reduction process The coordinate value of is calculated.
[0075]
Note that one pixel (one coordinate value) after the reduction process corresponds to N × M pixels before the reduction process. Strictly speaking, it corresponds to “one-to-many”. There are N × M coordinate value candidates before reduction processing obtained by converting a certain pixel, and cannot be accurately specified. However, in this example, since it is only necessary to know the approximate location in the image data before reduction, for example, the coordinate value of the center pixel of N × M pixels or the coordinate value of the upper left pixel is convenient. Specifically, representative coordinates of a block of N × M pixels are determined and converted to such coordinates.
[0076]
Next, as the image data before reduction, the output image data of the frame integration / averaging processing unit 4 is acquired, and a rectangular area centered on each of the plurality of coordinates obtained in step 2 is set for the image data. To do. As an example, a rectangular region R is set so as to surround the detection target K as shown in FIG. The rectangular area R is further made larger than the expected maximum diameter of the jellyfish so that the jellyfish K, which is a detection target, is reliably present in the rectangular area R. Then, each area surrounded by the rectangular area R is extracted (ST3).
[0077]
Then, a threshold value for separating the jellyfish K from the background portion is obtained for the image data of each region extracted in the process of step 3 (ST4). Thus, in this example, since the threshold value is set based on a small area including the water surface (background) in the vicinity of the jellyfish, the threshold value is determined with a small difference in lightness and darkness of the background portion. be able to.
[0078]
In this example, this threshold value determination is processed according to the flowchart shown in FIG. That is, first, a gray value histogram is created for each of the extracted rectangular area data (ST4a). Thereby, for example, a histogram as indicated by a black circle in FIG. 14 is obtained. In the figure, the portion having a low gray value (left side of the horizontal axis) is the background (water surface) portion, and the portion having a high gray value (right side of the horizontal axis) is the jellyfish portion.
[0079]
As is apparent from the figure, the background portion has a relatively small difference in gray value, so the frequency of a certain gray value increases and one mountain is formed. However, in the case of jellyfish, although the gray value is high overall, the gray value is slightly different in each part, so the frequency of each gray value is small, it exists uniformly and is flat overall, like the background part. In many cases, no mountain appears. Therefore, when a discriminant analysis method generally used as a conventional threshold value determination method is used, it is difficult to obtain a highly accurate threshold value.
[0080]
Therefore, in this example, the concept of the degree of distortion is used, and a threshold value is determined by setting a portion with less distortion as a background portion. In other words, in the gradation histogram in the rectangular area generated in step 1, the gradation value is sequentially selected in the decreasing direction from the maximum value of the gradation value having a frequency of 1 or more, and data exceeding the selected gradation value is excluded. The skewness is calculated using the remaining histogram. Then, a gray value at which the skewness changes from positive to negative is detected (ST4b).
[0081]
In other words, it shows the degree of distortion to the left or right when looking at the left and right figures based on the average value of the remaining histogram. There are many higher ones, and the skewness becomes positive. When the gray value is gradually decreased, the existence ratio of the jellyfish decreases, so that the degree of distortion also decreases. Then, when the jellyfish part disappears and only the background part is present, the skewness approaches 0, and when the gradation value is further reduced, the lower one of the gradation values of the background part exists, so the skewness is Become negative.
[0082]
The gray value of each pixel constituting the background portion is distributed on both sides like a normal portion, for example, with a certain gray value as the center (actually, it does not become a normal portion but has a mountain shape). Therefore, in the case of a histogram in which only the background part remains without excess or deficiency, both sides thereof are close based on the average value, and the skewness approaches zero. In other words, the gray value where the skewness changes from positive to negative can be said to be a point where the background portion remains without excess or deficiency.
[0083]
Then, a threshold value is determined based on the obtained gray value (ST4c). That is, as shown in FIG. 14, the light and dark value obtained by adding the correction value to the light and dark value obtained in step 4b is set as the binarized threshold value of the rectangular area. That is, according to the inventor's experience, since the histogram of the gray value of the background portion does not actually have a normal distribution, the value obtained in step 4b does not extract only the background portion without excess or deficiency, A portion with a high gray value in the background portion is removed. Further, the threshold value for discriminating between the two states is not set to the boundary line of one state, but a certain margin is often taken from the threshold line for accurate discrimination. Based on the above reasons, correction values are added.
[0084]
Based on the binarization threshold value thus obtained, binarization processing is performed on each region extracted in step 3 (ST6). Then, the jellyfish portion and the background portion can be distinguished with high accuracy, and the jellyfish portion becomes a white pixel.
[0085]
Next, based on the binary image in each rectangular area obtained in step 6, from the average value of the area values of the white pixels and the average value of the vertical and horizontal diameters of the circumscribed rectangle, the average of the jellyfish that is the detection target The vertical diameter and the average horizontal diameter are calculated by the number of pixels (ST7). An example of the calculation method can be obtained based on the following equation.
[0086]
[Expression 2]

Then, the block size is determined based on the information about the size of the jellyfish in each area obtained by the above processing (ST8). Specifically, the average vertical diameter obtained in step 7 is set to about ½ of the horizontal diameter. Further, when the average vertical diameter and the horizontal diameter are different, each value may be halved and the block size may be set to N × M (N and M are different values), or a square having a larger value. Other final determination methods such as (N = M) are arbitrary.
[0087]
FIG. 15 shows an example of an apparatus that automatically sets the non-detection area in the non-detection area setting unit 7 in the above-described embodiment. As shown in the figure, first and second deviation value

score data memories

21 and 25 are provided on the input side. The entire image data obtained from the average value reduction processing unit 4 is stored in the first deviation value score data memory 21, and the spatial filter processed image sent from the spatial filter processing unit 6 is stored in the second deviation value score data memory 25. I am trying to store it. Based on the data stored in the

data memories

21 and 25, the non-detection area is determined.
[0088]
That is, the data stored in the first deviation value score data memory 21 is read by the first deviation value score calculation unit 22, where the data stored in the first deviation value score data memory 21 is used as a population, and the image A deviation value score is calculated for each pixel constituting the data by the following equation.
[0089]
[Equation 3]

Further, the output of the first deviation value score calculation unit 22 (deviation value score of each pixel) is given to the next detection non-detection area candidate 1A setting unit 23. The out-of-detection area candidate 1A setting unit 23 extracts a deviation value score of each pixel that exceeds a certain reference and sets it as an out-of-detection area candidate 1A. In other words, if the above processing is performed based on image data captured in a normal state where no jellyfish exist, the deviation value score is small because the background portion is generally dark and there is little difference in the gray value. However, for example, when a reflective object or other bright object is present in the monitoring area, the deviation value score for that part increases. Since such a bright object may be erroneously recognized as a jellyfish or the like during actual monitoring, a pixel portion having a high deviation value score is extracted as the non-detection area candidate 1A and excluded from the actual monitoring area. Candidate data.
[0090]
Further, a non-detection area candidate A setting unit 24 is connected to the subsequent stage of the non-detection area candidate 1A setting unit 23, and the expansion process is performed a predetermined number of times based on the extracted non-detection area candidate 1A. Set. That is, since the out-of-detection area candidate 1A is in units of pixels, the range is expanded to increase the effectiveness.
[0091]
The specific processing functions of the setting

units

23 and 24 are as shown in FIG. That is, the deviation value score for all the pixels obtained by the first deviation value score calculation unit 22 is acquired, and all the regions exceeding the set threshold value are extracted. Then, the extracted area is additionally stored in the buffer as an undetected area candidate 1A (initial data is blank), and the data in the first deviation value score data memory 21 of the corresponding area is removed. Then, such processing is repeated a predetermined number of times, and all the regions extracted each time are set as the undetected region candidate 1A and output to the undetected region candidate A setting unit 24.
[0092]
In the second and subsequent extraction processes, since the data extracted as the area above the threshold value in the previous process has been removed from the deviation value score data memory, the first deviation is again determined based on the remaining data. The value score calculation unit 22 is executed to obtain a deviation value score for each remaining pixel, and an extraction process is performed based on the deviation value score.
[0093]
On the other hand, the non-detection area candidate A setting unit 24 performs dilation processing on each pixel of the obtained non-detection area candidate 1A, and sets the pixel itself and all the surrounding eight pixels as the non-detection area candidate A. . The result of repeating a predetermined number of times using the above expansion processing is output as a non-detection area candidate A.
[0094]
On the other hand, as apparent from FIG. 15, the output of the second deviation value score data memory 25 is given to the second deviation value score calculation unit 26, where the deviation value score of each pixel constituting the spatial filtered image is obtained. Ask for. Further, an undetected region candidate 1B setting unit 27 and an undetected region candidate B setting unit 28 are connected to the output side of the calculation unit 2. Each non-detection region candidate 1B setting unit 27 and non-detection region candidate B setting unit 28 are configured as shown in FIG. That is, only the image data to be processed is changed from the average value reduced processed image to the spatial filter processed image, and the specific processing is executed by the units 16 to 28 as described above. A non-detection area candidate B based on the filtered image is obtained and output.
[0095]
Further, the outputs of the non-detection area candidate A setting unit 24 and the non-detection area candidate B setting unit 28 described above are connected to the non-detection area setting unit 29. The setting unit 29 has a structure as shown in FIG. 18 and has a function of calculating a logical sum of two inputs and setting a region that falls into either the undetected region candidate A or the undetected region candidate B. . Then, either the area set by the function and the non-detection area candidate B are alternatively selected by the selection unit, and the selected area is set as the non-detection area. Information (coordinate values) about the set area is output to both

binarization units

8 and 13 shown in FIG.
[0096]
The above-described processing for obtaining the non-detection area may be accurately performed when there is no jellyfish or the like, or even if it exists, the amount is small. Therefore, for example, the detection may be performed when the number of detections obtained by the in-screen detection target number measuring unit 9 is equal to or less than a predetermined value. In addition, regardless of the state, it may be repeated at a predetermined time interval, and an area that falls into any of the obtained plurality of non-detection areas may be set as the non-detection area.
[0097]
FIG. 19 shows a modification of the present invention. In this example, the above-mentioned non-detection area setting unit 7 is improved, and a function of removing a non-detection area candidate having a predetermined size or less is added. That is, as shown in FIG. 5A, the first predetermined size or smaller removing unit 30 calculates the undetected region candidate 1A, and then checks the connectivity of the undetected region candidate 1A (labeling). Regions that are less than or equal to the set number of connections are excluded from the non-detection region candidate 1A. In the illustrated example, the processing is performed for each processing, but after the branch determination of “number of processing?”, That is, before the final output to the undetected area A setting unit 24 in the next stage. Of course it is good. Further, as shown in FIG. 5B, a second predetermined size or less removal unit 31 having the same function is also connected to the undetected region candidate 1B setting unit 27 side, and the predetermined size or less from the undetected region candidate 1B. The undetected candidates are removed.
[0098]
Furthermore, as shown in FIG. 20, the above-described predetermined size or less removing

units

30 and 31 are connected to an undetected region candidate A setting unit 24 and an undetected region candidate B setting unit 28, and the candidates A and B are connected to each other. Of course, after the calculation, a removal process similar to the above may be performed.
[0099]
FIG. 21 shows an example of an apparatus that automatically sets lines in the spatiotemporal image line selection unit 11 in the above-described embodiment.
[0100]
That is, as shown in the figure, first, in the average value reduced image horizontal line average gray value calculation unit 41, the average gray value is calculated for each line of the horizontal line using the image data from the average value reduction processing unit 4. To do. The average value reduction processing image horizontal line average gray value average value / standard deviation calculation unit 42 sets the horizontal line gray level average value calculated by the calculation unit 41 as a population, and further calculates the average value and standard deviation. Ask. Then, the average value reduction processed image horizontal line deviation data calculation unit 43 obtains deviation data by substituting the values obtained by the

calculation units

41 and 42 into the following equations.
[0101]
[Expression 4]

Similarly, the average value reduction processing image vertical line average gray value calculation unit 44 calculates the average gray value for each line of the vertical lines using the image data from the average value reduction processing unit 4, and reduces the average value. The average value / standard deviation calculation unit 45 of the processed image vertical line average gray value calculates the average value and standard deviation by using the horizontal line gray value average calculated by the calculation unit 44 as a population. Then, the average value reduction processed image vertical line deviation data calculation unit 46 obtains deviation data by substituting the values obtained by the

respective calculation units

44 and 45 into the following equations.
[0102]
[Equation 5]

Further, using the image data from the spatial filter processing unit 6, the spatial filter processed image horizontal line average gray value calculation unit 47, the spatial filter processed image horizontal line average gray value average value / standard deviation calculation unit 48, spatial filter processing Each value is calculated by the image horizontal line deviation data calculation unit 49, and finally, horizontal line deviation data based on the spatial filter is obtained by the following equation.
[0103]
[Formula 6]

Furthermore, the spatial filter processed image vertical line average gray value calculator 50, the spatial filter processed image vertical line average gray value average value / standard deviation calculator 51, and the spatial filter processed image vertical line deviation data calculator 52 calculate each value. Finally, the deviation data of the vertical line based on the spatial filter is obtained by the following equation.
[0104]
[Expression 7]

The outputs of both horizontal line deviation

data calculation units

43 and 49 are given to the horizontal line evaluation value calculation unit 53. Further, the outputs of both vertical line deviation

data calculation units

46 and 52 are given to the vertical line evaluation value calculation unit 54. In each of these units, the horizontal (vertical) line evaluation value is obtained by using the horizontal (vertical) line deviation data of the average value reduction processed image and the horizontal (vertical) line deviation data of the spatial filter processed image according to the following equation.
[0105]
[Equation 8]

Further, the horizontal and vertical line smoothing evaluation

value calculation units

55 and 56 use the horizontal and vertical line evaluation values obtained as described above, respectively, for each horizontal line or each vertical line. The average value is calculated as the smoothed evaluation value using the evaluation value and the evaluation values for the number of lines set from both sides. The horizontal and vertical

line selection units

57 and 58 select a set number of horizontal lines and vertical lines in order from the smallest smoothing evaluation value.
[0106]
This line selection process may be performed based on a single process at a certain time, but is not limited thereto, and is repeated a plurality of times at a predetermined time interval, and the line is selected using the average value. Also good.
[0107]
【The invention's effect】
As described above, in the channel inflow / outflow monitoring apparatus according to the present invention, by performing the spatial filter process, an image in which the gradient and unevenness of the gray value are present becomes a relatively flat image, and the subsequent binarization process is performed. It can be done easily. Moreover, since the average value reduction process is performed as the pre-processing, the amount of data to be processed can be reduced, the processing load is reduced, real-time processing is possible, and the block size is appropriately set. By setting, the possibility that the object is divided is reduced, and the detection object can be counted easily and accurately.
[0108]
Moreover, the number of detection objects passing on a certain line can be obtained by performing the spatio-temporal image processing in parallel. As a result, by using this together with the count value of the number of objects in the screen, it is possible to more accurately determine the inflow / outflow state such as the staying state of the object.
[0109]
As a result, it is possible to realize detection of an object (mainly jellyfish) flowing into and out of a water channel from an image of a monitoring camera and measurement of the degree of flow in and out with a simple image processing method.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a preferred embodiment of a channel inflow / outflow monitoring device according to the present invention.
FIG. 2 is a diagram illustrating the function of a spatial filter.
FIG. 3 is a diagram illustrating an example of a processing result of a spatial filter.
FIG. 4 is a diagram illustrating a function of a spatial filter.
FIG. 5 is a diagram illustrating a function of a spatial filter.
FIG. 6 is a diagram illustrating an example of a processing result of a spatial filter.
FIG. 7 is a diagram illustrating an example of a frame image binarization processing result.
FIG. 8 is a diagram illustrating the function of a spatiotemporal image storage unit.
FIG. 9 is a diagram illustrating the function of a spatiotemporal image storage unit.
FIG. 10 is a diagram illustrating functions of a spatiotemporal image storage unit.
FIG. 11 is a part of a flowchart explaining functions of a block size setting unit;
FIG. 12 is a diagram illustrating a rectangular area set during processing in a block size setting unit.
FIG. 13 is a part of a flowchart explaining functions of a block size setting unit;
FIG. 14 is a diagram illustrating threshold value determination processing in a block size setting unit.
FIG. 15 is a block diagram showing an internal structure of a non-detection area setting unit.
FIG. 16 is a block diagram showing a more detailed internal structure of a non-detection area setting unit.
FIG. 17 is a block diagram showing a more detailed internal structure of a non-detection area setting unit.
FIG. 18 is a block diagram showing a more detailed internal structure of a non-detection area setting unit.
FIG. 19 is a principal block diagram showing a modification of the non-detection area setting unit.
FIG. 20 is a principal block diagram showing still another modified example of the non-detection area setting unit.
FIG. 21 is a diagram illustrating an internal configuration of a spatiotemporal image line selection unit.
[Explanation of symbols]
4 Average value reduction processing section
5 Block size setting section
6 Spatial filter processing section
7 Undetected area setting section
8 Frame image binarization processing unit
9 Number of objects to be detected in the screen
11 Spatio-temporal image line selection part
12 Space-time image storage
13 Spatio-temporal image binarization processing unit
14 Passing number measurement processing section
16 Alarm processing section
21. First deviation value score calculation data storage unit
22 First deviation value score calculation unit
23 Undetected region candidate 1A setting unit
24 Undetected region candidate A setting unit
25 Second deviation value score calculation data storage section
26 Second deviation value score calculation unit
27 Undetected region candidate 1B setting unit
28 Undetected region candidate B setting unit
29 Non-detection area setting section
30 First predetermined size or less removal section
31 Removal unit below second predetermined size
41 Average value reduction processing image horizontal line average gray value calculation unit
42 Average Value Reduction Process Image Horizontal Line Average Gray Value Average Value / Standard Deviation Calculation Unit
43 Average value reduction processing image horizontal line deviation data calculation unit
44 Average value reduction processing image vertical line average gray value calculation unit
45 Average value reduction processing image Vertical line average gray value average value / standard deviation calculation unit
46 Average Value Reduction Process Image Vertical Line Deviation Data Calculation Unit
47 Spatial Filtered Image Horizontal Line Average Tint Value Calculation Unit
48 Spatial Filter Processed Image Horizontal Line Average Tone Value Average / Standard Deviation Calculation Unit
49 Spatial Filtering Image Horizontal Line Deviation Data Calculation Unit
50 Spatial filter processing image vertical line average gray value calculation unit
51 Spatial Filter Processed Image Vertical Line Average Shading Value Average Value / Standard Deviation Calculation Unit
52 Spatial Filter Processed Image Vertical Line Deviation Data Calculation Unit
53 Horizontal line evaluation value calculator
54 Vertical line evaluation value calculator
55 Horizontal line smoothing evaluation value calculator
56 Vertical line smoothing evaluation value calculation unit
57 Horizontal line selector
58 Vertical line selector

Claims

Means for performing an average value reduction process with a block size set for image data based on a video image obtained by imaging a water channel to be monitored;
Spatial filter processing means for performing a predetermined spatial filter processing for emphasizing a processing target pixel having a large difference in gray value with surrounding neighboring pixels for the image data subjected to the average value reduction processing;
Frame image binarization processing means for binarizing at a threshold value set for the image data subjected to spatial filter processing;
In-screen detection object number measuring means for measuring the number of detection objects existing in the binary image data binarized by the frame image binarization processing means;
Spatio-temporal image storage means for sequentially storing only the grayscale value data of the line selected from the horizontal line and the vertical line among the image data subjected to the spatial filter processing a predetermined number of times at a set time interval;
Spatio-temporal image binarization processing means for binarizing the image data stored in the spatio-temporal image storage means with a set threshold;
Using the binary image spatiotemporal image data binarized by the spatiotemporal image binarization processing means, the number of passages for measuring the number of detection objects passing over the selected line during a set time Measurement processing means;
When the inflow detection level of the detection object in the monitoring area is determined based on data measured by the in-screen detection object number measuring means and the passing number measurement processing means, and an alarm issue condition is reached A waterway spillage monitoring apparatus, comprising alarm processing means for issuing an alarm.

Of the image data that has undergone spatial filtering, further comprising a non-detection region setting means for setting a non-detection region to be excluded from the detection target region,
The out-of-detection area set by the out-of-detection area setting means is at least not detected when the binarization processing is performed by the frame image binarization processing means and the spatiotemporal image binarization processing means. The channel inflow / outflow monitoring apparatus according to claim 1, wherein

Configuring the block size in the average reduction processing means,
From the detection position of the detection target detected by the in-screen detection target number measuring means for a predetermined image, obtain the coordinates of the detection position in the image data before the average value reduction process that is the source of the processing,
In the image data before the average value reduction processing, extract the gray value data of each pixel in a rectangular area of a predetermined size including the obtained detection position coordinates,
A binarization threshold value is determined for each extracted rectangular area, and the image data in the rectangular area is binarized with the determined binarization threshold value.
Claim 1 of acquiring information about geometry of the object to be detected on the basis of the binarized image data, the block size is determined based on the obtained size and shape, and wherein it has to be set waterway outflow vessel monitoring device as claimed in.

Binary threshold value setting when binarizing the image data of the rectangular area,
Create a gray value histogram for the image data in the extracted rectangular area,
In the histogram data, the gray value is sequentially selected in the decreasing direction from the maximum gray value having a frequency of 1 or more, and the skewness is calculated using the data below the selected gray value. The channel inflow / outflow monitoring apparatus according to claim 3, wherein a binarization threshold value of the rectangular area is determined based on a gray value that changes from a value to a negative value.

5. The channel inflow / outflow according to claim 4, wherein a grayscale value that is higher by a predetermined correction value than a grayscale value at which the skewness changes from a positive value to a negative value is set as a binarization threshold value. Object monitoring device.

The spatial filtering means;
And gray value of the pixel to be processed, according to claim, characterized in that the maximum value of the absolute value of the difference between the gray value of neighboring pixels determined, and outputs the maximum value thereof obtained as a result of the spatial filtering 1 The channel outflow entry monitoring device described in 1 .

The spatial filtering means;
Extracting the maximum gray value and the minimum gray value from the gray value data of each pixel constituting the n × n rectangular area centered on the processing target pixel,
Obtaining a sum of a value obtained by subtracting the maximum gray value from the gray value of the processing target pixel and a value obtained by subtracting the minimum gray value from the gray value of the processing target pixel;
When the obtained sum value is 0 or more, the value is output as it is as a spatial filter result, and when this sum value is less than 0, 0 is output as the spatial filter result. The channel outflow / inflow monitoring device according to claim 1 .

The non-detection region setting means is
Using the entire image data obtained from the average value reduction processing means as a population, a deviation value score obtained from the average value and standard deviation is obtained for each pixel, and a threshold value at which the deviation value score is set is determined. Means for setting the exceeded region as the undetected region candidate 1A;
The deviation value score is obtained again for each pixel by excluding the data of the non-detection area candidate 1A from the image data population from which the deviation value score was previously obtained, and this deviation value score exceeds the set threshold value. Means for adding an area to the non-detection area candidate 1A to be a non-detection process candidate 1A;
The means for obtaining the deviation value score and adding the non-detection area candidate is repeated a predetermined number of times to obtain the non-detection area candidate 1A, and for each pixel of the non-detection area candidate 1A, all of its own pixels and its neighboring pixels Means for obtaining a non-detection area candidate A by repeating the process of setting a non-detection area candidate a predetermined number of times,
Using the entire image data obtained from the spatial filter processing means as a population, a deviation value score obtained from the average value and standard deviation is obtained for each pixel, and the deviation value score exceeds a set threshold value. A non-detection process candidate 1B in addition to the detected area candidate 1B,
Means for obtaining the out-of-detection area candidate 1B by repeating the above-mentioned means for obtaining the deviation value score and adding the out-of-detection area candidate a predetermined number of times;
Means for obtaining the non-detection area candidate B by repeating the process of setting each of the pixels of the non-detection area candidate 1B and all its neighboring pixels as non-detection area candidates a predetermined number of times
Detection extracellular region candidate B, or waterways outflow vessel monitoring according to claim 2, characterized in that the regions that apply to either the detection area outside candidate B and the detection area outside Candidate A was set as the detection area outside apparatus.

9. The channel inflow / outflow monitoring apparatus according to claim 8, wherein an area that is equal to or smaller than a predetermined size among the predetermined undetected area candidates is removed from the undetected area candidates.

The process for obtaining the non-detection area is repeated a predetermined number of times at predetermined time intervals,
9. The water channel inflow / outflow monitoring apparatus according to claim 8, wherein a region that falls into any of the predetermined number of non-detection regions obtained is set as a non-detection region.

Further provided line selection means for automatically setting the line to accumulate in the spatio-temporal image accumulation unit,
The line selection means is
Means for calculating the average gray value for each horizontal line using the image data obtained by the average value reduction processing means;
Means for obtaining the average value and standard deviation of the average set of the horizontal line average gray value of the obtained average value reduction processed image as a set,
Means for obtaining deviation data obtained by dividing the absolute value of the difference between each horizontal line average gray value and the obtained average value by the obtained standard deviation;
Similarly, using the image data obtained by the average value reduction processing unit, means for calculating deviation data of the vertical line,
Using the image data obtained by the spatial filter processing means, means for calculating an average gray value for each horizontal line;
Means for calculating the average value and standard deviation of the average gray value of the horizontal line of the obtained spatial filtered image as a population,
Means for obtaining deviation data obtained by dividing the difference between each horizontal line average gray value and the obtained average value by the obtained standard deviation;
Similarly, means for calculating deviation data of a vertical line using image data obtained by spatial filter processing;
Multiply the horizontal line deviation data obtained using the average-value-reduced image and the horizontal line deviation data of the spatially filtered image by the set coefficient, and then add the horizontal line to each horizontal line. Means for making an evaluation value;
Means for calculating, as the smoothed evaluation value, using the obtained evaluation value of the horizontal line and calculating the average value calculated using the evaluation value of the own line and the evaluation values for the predetermined number of lines on both sides of each horizontal line When,
Means for selecting a predetermined number of horizontal lines in order from the smallest smoothing evaluation value obtained by the means for calculating;
Similarly, the channel inflow / outflow monitoring device according to claim 1, further comprising means for selecting a predetermined number of vertical lines.

In the line selection means,
Means for calculating a smoothing evaluation value of a horizontal line a predetermined number of times at predetermined time intervals, and calculating an average value thereof;
Means for selecting a predetermined number of horizontal lines in order from the smallest value;
Similarly, the channel inflow / outflow monitoring device according to claim 11, further comprising means for selecting a predetermined number of vertical lines.