JP4729325B2 - 画像処理装置 - Google Patents

Description

本発明は、火災によって生じる炎や煙を検出する画像処理装置に関するものである。

従来、背景差分、輝度変化、フーリエ変換などの手法を使用して、監視カメラで撮像した画像を処理して、画像内に火災領域があるかどうかを検出する画像処理装置が開示されている。例えば、火災時の煙を検出する画像処理装置として特許文献１がある。
特開平４−２６３３９４号公報

この特許文献１の煙監視システムでは、差分処理により煙を検出しているが、差分処理は、小動物や風によるカーテンの動きなども検出してしまい、煙だけを効率良く検出できる手法ではなかった。

そこで本発明は、画像から確実に煙を検出できる画像処理装置を得ることを目的とする。

本発明は以上の課題を解決するためになされたもので、監視領域を撮影する撮影手段と、該撮影手段により撮影された画像を格納するための画像メモリとを備え、該画像メモリに格納された画像を処理することにより煙を検出する画像処理装置において、更新時刻がくる度に更新される基準画像を記憶する基準画像メモリと、該基準画像および入力画像の局所領域の最小輝度値と最大輝度値の比率から、該局所領域のコントラストを演算する処理と、前記基準画像と前記入力画像の両画像において対応する前記局所領域同士のコントラストの比率からコントラスト比を演算する処理とを備え、前記コントラスト比が所定の低下率を下回る領域を、煙が存在する異常領域と判断することを特徴とするものである。

本発明は、画像処理装置において、入力画像のコントラストを演算する処理を設けて、そのコントラストの値が低下した領域を煙が存在する異常領域と判断するようにした。このため差分処理と異なり、小動物や風などの環境変化の影響を受けず、特に周囲の明るさの変化の影響を受けずに、煙の検出を行うことができる。

図１は本発明の画像処理装置を示すブロック図である。図１において、１は撮影手段としての監視カメラであり、所定のサンプリング周期（例えば１／３０秒の周期）で監視領域を撮影するものである。２はアナログデジタル変換器で、監視カメラ１から得られた映像信号を画素単位で多階調、例えば２５５階調のデジタル信号に変換するものである。３はデジタル化された映像信号を記憶する画像メモリで、監視カメラ１で撮影された画像の１画面分を格納するものである。画像メモリ３は複数の画像を格納できるようにそれぞれ複数個で構成され、一番古い画像を削除しながら、順次新しい画像を更新格納していく。

４は画像を処理する画像処理部である。画像処理部４のハード構成としては、記憶手段としてのＲＯＭ５、作業領域としてのＲＡＭ６及び演算手段としてのＭＰＵ（マイクロプロセッサ）７などにより構成されている。本実施形態においては、特に、ＭＰＵ７は、並列処理が可能な複数のプロセッサ、例えば４つのＭＰＵ７ａ〜７ｄで構成されている。この画像処理部４における各種演算処理などは、ＲＯＭ５などの記憶手段に格納されたプログラムに基づいてＭＰＵ７により行われ、この際、演算された値はＲＡＭ６などのメモリに格納されるようになっている。

なお、８は基準画像（背景画像）を記憶するための基準画像メモリである。この基準画像メモリ８は、監視カメラ１が撮像する映像と対応しており、撮像した画像の背景に移動物体が何もない時の画像が記憶される。そして、図示しないタイマによって更新時刻がくる度に、新しい基準画像に更新される。なお、この基準画像の更新は、元の基準画像と新たにサンプリングした画像の相関係数を分析するなどして、撮像した画像に変化領域がない時に画像の更新を行うようにしてある。９は処理用メモリで、画像処理された画像を格納するメモリである。

画像処理部４には、ＲＯＭ５以外に主要な画像処理用のプログラムを格納した記憶手段としての処理格納部が設けられている。この処理格納部について説明する。画像処理部４は、空間処理又は画像間処理を行って画像中の異常領域を抽出する異常領域抽出処理格納部１０と、その異常領域抽出処理格納部１０によって抽出された異常領域の時系列データを処理して、異常領域の異常判定を行う時系列処理格納部２０とを有する。なお、ここで「異常領域の異常判定を行う」とは、例えば、火災によって生じる炎又は煙が原因で、異常の可能性のある領域として抽出された「異常領域」が本当に異常（炎、煙）であるかどうかを判定することをいう。

また、異常領域抽出処理格納部１０は、炎検出用の異常領域抽出処理格納部１０ａ及び煙検出用の異常領域抽出処理格納部１０ｂとから構成され、時系列処理格納部２０は、炎検出用の時系列処理格納部２０ａ及び煙検出用の時系列処理格納部２０ｂとから構成されている。

各処理格納部１０，２０は、図２に示すように、具体的な処理によって表される。炎や煙を検出する画像処理の手法は、その明るさや形状といった特徴などを基に、何通りも検出方法がある。このため、各処理格納部１０，２０として、どのような画像処理を採用することも可能であるので、図２に示した画像処理は、あくまでも一例に過ぎない。

本実施形態においては、炎検出用の異常領域抽出処理格納部１０ａは、エッジ差分累積処理１１，フレーム差分累積処理１２，輝度差分累積処理１３とを有している。そして各処理１１〜１３の出力は、加算処理１６に接続されている。また、煙検出用の異常領域抽出処理格納部１０ｂは、局所相関処理１４と、コントラスト比処理１５とを有しており、その各処理１４、１５の出力は加算処理１７に接続されている。

また炎検出用の時系列処理格納部２０ａは、サブバンドフィルタ処理２１及び自己相関関数処理２２とから構成され、煙検出用の時系列処理格納部２０ｂは、フーリエ変換処理２３から構成されている。

画像処理部４には、以上説明したように、エッジ差分累積処理１１からフーリエ変換処理２２までの８つの処理がある。そして、異常領域抽出処理格納部１０におけるエッジ差分累積処理１１〜コントラスト比１５までの５つの処理、及び時系列処理格納部２０におけるサブバンドフィルタ処理２１〜フーリエ変換処理２３までの３つの処理は、それぞれが互いに独立しており、ＭＰＵ７ａ〜７ｄによってそれぞれ並列に処理されるように設けられている。また、同様に、異常領域抽出処理格納部１０及び時系列処理格納部２０における炎検出用の処理と煙検出用の処理も互いに独立しており、ＭＰＵ７ａ〜７ｄによってそれぞれ並列に処理される。

具体的には、炎検出用の異常領域抽出処理格納部１０ａに格納された各処理は、ＭＰＵ７ａによって演算処理され、煙検出用の異常領域抽出処理格納部１０ｂに格納された各処理は、ＭＰＵ７ｂによって演算処理される。そして、炎検出用の時系列処理格納部２０ａに格納された各処理は、ＭＰＵ７ｃによって演算処理され、煙検出用の時系列処理格納部１０ｄに格納された処理は、ＭＰＵ７ｄによって演算処理される。

これら８つの画像処理方法については後で詳しく説明するとして、先に、本実施形態におけるマルチプロセッサによる、画像処理の並列処理について説明する。監視カメラ１によって撮像された監視領域の画像（映像信号）は、アナログデジタル変換器２によってデジタル化された後、画像メモリ３に格納される。画像メモリ３に取り込まれた画像は、まず、異常領域抽出処理格納部１０内の炎検出用の異常領域抽出処理格納部１０ａと煙検出用の異常領域抽出処理格納部１０ｂに格納された各処理によって、同時に並列に処理される。

画像処理部４は、複数のマイクロプロセッサ７ａ〜７ｄを搭載しており、複数の処理を同時に並列に行うために、上述したように、マイクロプロセッサ７ごとに役割分担を決めてある。これはＡＳＭＰ（非対称型マルチプロセッサ）と呼ばれる方式で、「異常領域抽出処理格納部１０を実行するＭＰＵ７ａ，７ｂ」、「時系列処理格納部２０を実行するＭＰＵ７ｃ，７ｄ」、などのように、処理内容によって分担する処理装置をあらかじめ決めておくマルチプロセッサ手法である。なお、複数のＭＰＵが同等な立場で処理を分担するSMP（「対称型マルチプロセッサ」）と呼ばれるマルチプロセッサ手法を使用してもよい。

このようにＭＰＵ７を複数設け、処理分担を予め決めておことで、異常領域抽出処理格納部１０の炎検出用の処理１１〜１３と、煙検出用の処理１４、１５を同時に並列に行うことが可能となる。なお、ＭＰＵを複数設けずに、一つのＭＰＵで複数の処理を行わせるようにしてもよい。これは、スケジューラによってＭＰＵ７に処理を分担させる方式で、１つのＭＰＵが１秒間に数百回という速さで、複数の処理を切り換えながら動作し、擬似的に複数のＭＰＵがあるように振る舞うものである。

ここでＭＰＵ７ａが、炎検出用の異常領域抽出処理格納部１０ａに格納された空間処理又は画像間処理を行うことで、撮像した画像の中から炎が発生している箇所を異常領域として抽出する。そして、画像処理の結果、炎の発生の可能性のある領域ほど、炎の確率が高いものとして、例えば、０〜１で表される確率数値を画素毎に付与する。ここでは、炎の確率が高い場合に、その領域の画素に「１」に近い確率数値を設定する。例えば一番簡単な例として、２５５階調で表される輝度値が高い程、「１」に近い確率数値を設定し、輝度値が低く暗い領域、即ち炎の可能性が限りなく低い場合には、「０」に近い確率数値が設定される。

このように、炎の可能性の高さに対応して、画像の領域（画素）に確率数値を設定して、炎領域確率分布の画像Ｆを作成して処理用メモリ９に格納する。つまり、炎領域確率分布画像Ｆとは、入力画像において、画像のどの部分に炎があるかを確率的に示した画像であり、簡易的に、炎の可能性の高い領域を「１」、低い領域を「０」で示す二値化画像で作成してもよい。この炎領域確率分布の画像Ｆを参照することで、画像のどのあたりに炎が存在しているのかがわかると共に、後述する時系列処理格納部２０で処理する領域が特定される。

つまり、時系列処理格納部２０では、ある時間にわたって、画像の特徴を処理しなければならないので、画像全体を処理するような手法をとると、処理に時間がかかる。そこで、異常領域抽出処理格納部１０で、画像内から怪しい部分を抽出し、確率分布の画像を作成することで、画像内のどの部分が怪しいかを特定して、時系列処理格納部２０で処理する範囲を狭くして絞っているのである。

同様に、ＭＰＵ７ｂが、煙検出用の異常領域抽出処理格納部１０ｂに格納された空間処理又は画像間処理を行うことで、撮像した画像の中から煙が発生している箇所を異常領域として抽出する。そして、煙の発生の可能性のある領域ほど、煙の確率が高いものとして、例えば、０〜１で表される確率数値を画素毎に付与して、煙領域確率分布の画像Ｓを作成して、処理用メモリ９に格納する。この煙領域確率分布の画像Ｓを参照することで、画像のどのあたりに煙が存在しているのかがわかる。

以上のようにして、異常領域抽出処理格納部１０によって抽出された異常領域は、炎領域及び煙領域の確率分布画像Ｆ、Ｓとして、その異常の可能性が確率数値で示される。確率分布画像Ｆ、Ｓは、異常領域が抽出される度に、順次、作成されて処理用メモリ９に格納されていく。そして、何枚もの確率分布画像Ｆ、Ｓが作成され、所定時間にわたって、特定の箇所に異常領域が継続して存在する場合には、時系列処理格納部２０が、その異常領域の画素数や輝度情報をもとに、時系列データを作成する。

時系列処理格納部２０では、この時系列データを処理して、その異常領域が本当に異常であるかどうかの判定を行う。例えば、後述するサブバンドフィルタ処理２１によって、炎領域確率分布画像Ｆの異常領域の周波数帯域において、低周波数帯域のエネルギーが高周波数帯域のエネルギーよりも大きいと判定され、かつ自己相関関数処理２２によって、時系列データの相関係数が小さく周期性のないものと判定されれば、異常領域は炎であると判断する。また後述するフーリエ変換処理２３によって演算した正規化相関係数が小さい値を示す時には、煙領域確率分布画像Ｓの異常領域は煙であると判断する。

この際、時系列処理格納部２０によって行われる演算処理は、異常領域抽出処理格納部１０から確率分布画像Ｆ、Ｓを経由して行われるが、異常領域抽出処理格納部１０での演算処理とは、互いに独立しており、ＭＰＵ７ａ〜７ｄによって、それぞれの演算処理は、並列に処理される。つまりＭＰＵ７ａ，７ｂが、異常領域抽出処理格納部１０内の処理を行いながら、ＭＰＵ７ｃ，７ｄが時系列処理格納部２０内の処理を同時に行う。このように本実施形態では、複数の処理を同時に並列に処理していくので、処理速度の向上を図ることができ、異常判定までにかかる時間を短くすることができる。

このマルチプロセッサ手法は、異常領域抽出処理格納部１０及び時系列処理格納部２０の処理だけでなく、各処理部１０，２０内における炎検出用の処理と、煙検出用の処理についても、ＭＰＵ７ａ〜ＭＰＵ７ｄに処理を分担させることで、同時に並列に処理することができる。また、異常領域抽出処理格納部１０内の５つの画像処理（エッジ差分累積処理１１〜コントラスト比処理１５）、及び時系列処理格納部２０の画像処理（サブバンドフィルタ処理２１〜フーリエ変換処理２３）についても、それぞれの処理を異なるプロセッサＭＰＵによって並列に処理することができる。

それでは、次に、各画像処理の具体的な方法について簡単に説明する。異常領域抽出処理格納部１０のエッジ差分累積処理１１から時系列処理部２０のフーリエ変換処理２３まで順次説明していく。
（１）エッジ差分累積処理１１
エッジ差分累積処理１１によって、炎領域を抽出する動作を図３を用いて説明する。エッジ差分累積処理１１とは、ある時刻（ｔ１，ｔ３、ｔ５・・・）のエッジ入力画像とエッジ基準画像との差分画像をそれぞれ求める処理と、得られた各時刻毎の差分画像を累積、即ち加算する処理とを備えた画像処理である。

ここで、少し詳しく説明すると、エッジ差分累積処理１１は、画像のエッジ（輪郭）を検出するエッジ検出部を有する。エッジ検出部とは、撮像した画像において、ソベルオペレータ等により物体のエッジ（輪郭）だけを抽出した画像を作成するもので、基準画像メモリ８および画像メモリ３に入力された画像に対してエッジ画像を作成する。

図３（ｔ０）にエッジ基準画像を示す。この画像は、基準画像メモリ８に格納した基準画像にエッジ処理をしたものである。図には、監視領域である室内の机と窓ガラスの輪郭が描かれている。図３（ｔ１）、図３（ｔ３）、図３（ｔ５）は、基準画像後に撮像された画像で、それぞれ時刻ｔ１，ｔ３，ｔ５に撮像された画像である。今、時刻ｔ１において、机の左前に人ｍが現れ、火災の炎ｆが窓ガラスの右側に発生したとする。そして、時刻ｔ３，ｔ５において、人ｍが机の前を右側に進む状態を撮している。

こうして、各時刻の差分画像を累積して加算した状態の画像を図３（Ｔ）に示す。ここで入力画像と基準画像に共通する窓ガラス及び机は差分処理を施すことで、消去される。そして人ｍは移動しているため、図３（Ｔ）には、非常に低い密度の状態で現れる。これに対し、炎ｆは、その発生場所は変わらず、ほとんど位置的に動くことはないが、炎ｆ自体の形状は絶えず変化している。このため炎ｆのエッジ自体は、時間の異なる画像同士であれば、そのエッジ同士が重なるということはまずないので、差分処理をすると、エッジ部分が残る。そして何枚かの画像でこのような差分処理をして、差分結果を加算すると、差分して残ったエッジ同士が加算して重なり、図の右側部分には、高い密度で多数のエッジ部分が現れた状態となる。

エッジ差分累積処理１１においては、この差分画像を累積加算処理してエッジ部分が高密度で表される領域を異常領域として抽出する。そして、その異常領域に対して、画素単位で、０〜１で表される確率数値を付与し、炎領域確率分布画像Ｆを作成する。ここでは、高い密度で多数のエッジ部分が残った領域に、より高い確率数値が付与される。
（２）フレーム差分累積処理１２
フレーム差分累積処理１２によって、炎領域を抽出する動作を図４を用いて説明する。フレーム差分累積処理１２とは、ある時刻（ｔ１，ｔ３、ｔ５・・・）の入力画像を、直前の時刻の入力画像と差分して、差分画像をそれぞれ求める処理と、得られた各時刻毎の差分画像を累積、即ち加算する処理とを備えた画像処理である。従来技術で簡単に説明した、時間差分法と呼ばれる手法で、移動物体を効果的に抽出する手法である。

図４（ｔ１）に一番始めに撮像された入力画像を示す。この画像は、説明の便宜上、図３（ｔ０）と対応しており、図には、室内にある机と窓ガラスが描かれている。図４（ｔ１）、図４（ｔ２）は、時刻ｔ０の後に撮像された画像で、それぞれ時刻ｔ１，ｔ２に撮像された画像である。なお、時刻ｔの表記として、ｔの後の数値が大きくなる程、時間が経過していることとする。図３の例と同じように、今、時刻ｔ１において、机の左前に人ｍが現れ、火災の炎ｆが窓ガラスの右側に発生したとする。そして、時刻ｔの経過に伴い、人ｍが机の前を右側に進む状態を撮している。

このような状態で、直前の時刻ｔとの画像と時間差分を行って、その差分画像を累積加算していくと、差分処理によって動きのない領域は消去されていく。このため、各時刻の差分画像を累積して加算していくと、動きのある物体のみが抽出されることになる。この累積加算した状態の画像を図４（Ｔ）に示す。

ここで、人ｍは止まることなく移動しているため、図４（Ｔ）には、その人ｍが歩き始めた部分から右端に移動するまで領域全体にわたって、異常領域として抽出される。また炎に関しては、炎全体というよりは、炎ｆの上部部分を中心として、その上部の箇所だけが異常領域として抽出される。これは炎ｆは移動しないので、炎の下部領域は、差分によって消去されるためである。なお差分画像は、累積加算されており、人ｍは止まることなく移動しているため、抽出された人ｍと炎ｆの領域では、炎ｆの領域がより強調された感じで異常領域として抽出され、より「１」に近い高い確率数値が付与される。
（３）輝度差分累積処理１３
輝度差分累積処理によって、炎領域を抽出する動作を図５を用いて説明する。
輝度差分累積処理１３とは、ある時刻（ｔ１，ｔ３、ｔ５・・・）の入力画像と基準画像との差分画像をそれぞれ求める処理と、得られた各時刻毎の差分画像を累積、即ち加算する処理とを備えた画像処理である。この処理１３と、図３のエッジ差分累積処理１１との違いは、エッジ画像の代わり、原画像を使用することにある。

図５（ｔ０）に基準画像を示す。この画像は、基準画像メモリ８に格納されている。図には、室内にある机と窓ガラスが描かれている。図５（ｔ１）、図５（ｔ３）、図５（ｔ５）は、基準画像後に撮像された画像で、それぞれ時刻ｔ１，ｔ３，ｔ５に撮像された画像である。今、時刻ｔ１において、机の左前に人ｍが現れ、火災の炎ｆが窓ガラスの右側に発生したとする。そして、時刻ｔ３，ｔ５において、人ｍが机の前を右側に進む状態を撮している。

こうして、基準画像と各時刻の入力画像との差分画像を累積して加算した状態の画像を図５（Ｔ）に示す。ここで入力画像と基準画像に共通する窓ガラス及び机は消去され、差分処理した画像には現れない。また炎ｆは、差分処理をする度に、異常領域と抽出され、しかもほとんどその位置が動くことのないことから、累積加算すると、炎ｆの領域は非常に強調される。なお、フレーム差分累積処理１２と違い、炎ｆのない基準画像と差分処理をしているので、炎ｆの上部だけでなく、炎全体が異常領域として抽出される。

これに対し、人ｍの場合は、差分処理をする度に、異常領域と抽出されるが、移動しているため、各時刻の差分画像に現れる人ｍの位置は、微妙にずれており、差分画像同士を累積加算しても、各時刻毎の抽出された人ｍの領域はほとんど重なることはなく、炎ｆの領域にようには強調されない。このため異常領域として抽出される領域には、０〜１で表される確率数値が付与されるが、抽出した人ｍの領域は、炎の発生の可能性は低く、炎の確率が低いものとして、その領域の画素には「０」に近い確率数値が設定される。また、炎の確率が高い領域には、その領域の画素に「１」に近い確率数値が設定されて、炎確率分布の画像Ｆを作成する。続いて、煙検出用の異常領域抽出処理格納部１０ｂの画像処理について説明する。
（４）局所相関処理１４
局所相関処理１４によって、煙領域を抽出する動作を図６を用いて説明する。局所相関処理１４における局所相関法とは、参照（基準）画像Ｒnと最も対応（類似）する画像領域ｒnを領域Ｓnについて探索して、この対応（類似）の程度を相関係数（相関値）という評価量を導入することにより定量的に把握するものである。

本実施形態における局所相関処理１４とは、基準画像とある時刻ｔの入力画像において、局所領域、例えば９画素からなる領域を画像の左上から右下方向に向かって水平方向に走査する処理（ラスタ走査）と、両画像において対応する９画素の相関係数を算出する処理とを備える。そして、相関係数の高い領域、つまり基準画像と入力画像とが類似している領域を異常領域とする画像処理である。

今ここで、入力画像をI、基準画像をM とし、それぞれ縦横３画素ずつの局所領域ＲI ，ＲM を設定し、この局所領域ＲI ，ＲM を各画像I ，M の左上から水平方向に同タイミングで走査させると共に、各走査位置における局所領域ＲI ，ＲM内の画像データを用いて、両局所領域間の正規化相互相関演算を実行する場合について説明する。

この場合において、両局所領域ＲI ，ＲM間の相関係数Ｒは、次式によって求められ、−１から１の値をとる。なお次式において、ｎは９である。

このようにして演算された相関係数Ｒを用いると、入力画像Ｉだけに現れる移動体や遮蔽物の存在を認識することができる。例えば、入力画像Ｉに移動体（人物）があれば、その領域の部分における相関係数Ｒは小さくなり、「０」に近い値をとる。これに対し、入力画像Ｉに煙がある場合には、煙が存在したとしても、光の透過により背景が見えることから、演算される相関係数Ｒは高い値を維持し、「１」に近い値をとる。この局所相関処理１４においては、９画素毎の相互相関係数Ｒを算出して、その相関係数Ｒの値をもとに、０〜１で表される確率数値を付与し、煙領域確率分布画像Ｓを作成する。

この正規化相関演算の利点は、照明の変動に影響されることなく常に安定した結果が得られることであり、たとえ入力画像Ｉの入力時の照明が基準画像の入力時から大きく変動していても、対象物の画像のみを正確に抽出することが可能である。
（５）コントラスト比処理１５
コントラスト比処理１５によって、煙領域を抽出する動作を図７を用いて説明する。ここで、コントラストとは画像の最小輝度と最大輝度の比率のことをいう。即ち、本実施形態におけるコントラスト比処理１５とは、基準画像とある時刻ｔの入力画像において、例えば９画素からなる領域を画像の左上から右下方向に向かって水平方向に走査する処理（ラスタ走査）と、両画像において対応する９画素内の最小輝度値と最大輝度値を有する各画素の輝度値からコントラスト比を演算する処理とを備える。そして、コントラスト比が低下した領域を煙が存在する可能性の高い異常領域とする画像処理である。以下に、コントラスト比を求める計算式を示す。

このコントラスト比処理１５においては、ラスタ走査を行いながら、９画素毎のコントラスト比を算出して、そのコントラスト比の値をもとに、０〜１で表される確率数値を付与し、煙領域確率分布画像Ｓを作成する。確率数値の割り当てとしては、所定のコントラストの低下率を下回り、かつコントラストの低下の大きな箇所ほど高い確率数値を付与する。また短時間で急激にコントラストが低下した領域は、光を遮る何らかの遮蔽体が存在するものとして、遮断の可能性を考慮して低い確率数値を付与する。

この処理においては、差分処理と異なり、小動物や風などの環境変化の影響を受けず、特に周囲の明るさの変化の影響を受けずに、煙の検出を行うことができる。

次に、時系列処理格納部２０の３つの画像処理方法を説明する前に、確率分布画像を作成する手順について説明する。炎検出用の異常領域抽出処理格納部１０ａにおける各画像処理１１〜１３では、画像処理の結果として、炎の発生の可能性のある異常領域について画素ごとに０〜１で示される確率数値を付与した。

そして、図２に示す加算処理１６によって、３つの画像処理によって得られた確率数値を画素ごとに加算して、炎領域確率分布画像Ｆを作成する。この分布画像Ｆによって、炎検出用の異常領域抽出処理格納部１０ａによる画像処理の結果がまとめられ、炎の可能性の高い領域は、最大値「３」（１＋１＋１）をとることになる。この合算された確率数値は、所定値と比較され、確率的に本当の炎の可能性の高い領域だけが、以下の時系列処理格納部２０で使用する異常領域として特定される。なお、煙領域確率分布画像Ｓも同じように作成され、局所相関処理１４の結果とコントラスト比処理１５の結果を、加算処理１７で加算することで、画像のどの部分に煙があるかを確率的に示した煙確率分布画像Ｓを作成する。

ここでは、加算処理１６，１７を設けることで、各画像処理の確率数値を加算して確率分布画像を作成するようにしたが、異常領域抽出格納部の画像処理が一つの場合には加算処理は不要となる。本実施形態では、炎検出及び煙検出それぞれ複数の異なる画像処理を行うことで、誤報要因を減らし、より精度の高い異常検出を行うことができるようにしてある。

この際、ただ複数の画像処理を設けるのではなく、処理手順の似た画像処理方法を複数設けることがシステム構築の上で望ましい。本実施形態では、炎検出用の異常領域抽出処理格納部１０ａは、エッジ差分累積処理１１，フレーム差分累積処理１２，輝度差分累積処理１３とを有しているが、これらは全て差分処理と累積加算という同じ基本処理を備えるものである。また同様に、煙検出用の異常領域抽出処理格納部１０ｂは、局所相関処理１４と、コントラスト比処理１５とを有しているが、これらは、どちらの処理も、ラスタ走査と、基準画像と入力画像における９画素の局所領域内の演算処理という同じ基本処理を備えるものである。このように画像処理において認識の骨子となる手順が共通化されていれば、コンパクトなシステムを実現することができ、改良なども行いやすくなる。

続いて、時系列処理格納部２０の画像処理について説明する。所定時間にわたって、特定の箇所に異常領域が継続して存在する場合には、時系列処理格納部２０は、確率分布画像から、炎又は煙の可能性の高い確率数値の高い領域から、その異常領域の画素数や輝度情報をもとに、時系列データを作成する。そして、以下の具体的な３つの処理により、この時系列データを処理して、その異常領域が本当に異常であるかどうかの判定を行う
（６）サブバンドフィルタ処理２１
サブバンドフィルタ処理２１によって、抽出された異常領域が炎の領域であるかを判定する動作を図８、図９を用いて説明する。まず図８により炎の特徴について説明する。図８は燃焼炎からの赤外線を観測し周波数解析して得られた信号強度と周波数の関係を示す図であり、縦軸は信号のレベル、横軸は周波数を示す。この図８から明らかなように、炎は低い周波数で高い信号のレベルを有し、高周波側になる程、信号のレベルは小さくなる。サブバンドフィルタ処理２１では、このような炎の特徴を利用して、炎の判定を行う。

サブバンドフィルタとは、入力信号を複数個の周波数帯域に分割するもので、ここでは、ハイパスフィルタ（以下、ＨＰＦとかく）とローパスフィルタ（ＬＰＦ）を３つ組み合わせたものを使用している。まず、炎領域確率分布画像Ｆから得られる時系列データを入力させる、１段目のＨＰＦ１，ＬＰＦ１を設け、その１段目のＬＰＦ１の出力を入力させる２段目のＨＰＦ２，ＬＰＦ２を設け、更にその２段目のＬＰＦ２の出力を入力させる３段目のＨＰＦ３，ＬＰＦ３を設ける（図９参照）。このようにして、時系列データを４つの周波数帯域に分割する。即ち、ＨＰＦ１を通過する最高周波帯域Ａ、ＨＰＦ２を通過する高周波帯域Ｂ、ＨＰＦ３を通過する低周波帯域Ｃ、ＬＰＦ３を通過する最低周波帯域Ｄの４つに時系列データを分割する。そして、分割された時系列データの各帯域Ａ〜Ｄ毎のエネルギーを比較して、
最低周波数帯域Ｄ＞低周波数帯域Ｃ＞高周波数帯域Ｂ＞最高周波数帯域Ａ
を満たせば、サブバンドフィルタ処理２１では、抽出された異常領域を炎であると判定する。

本処理においては、画像から炎の可能性の高い領域を抽出して炎領域確率分布画像を作成し、その炎領域確率分布画像から、ある領域の輝度の時間的な振る舞いを表す時系列データを得て、その時系列データをサブバンドフィルタバンクに入力させて、複数の帯域に分割するようにした。

このため、低周波帯域のエネルギーが高周波帯域側のエネルギーよりも高いという炎の特性を利用して、正確な炎の検出が可能である。

特に、帯域分割するための、サブバンドフィルタバンクは、ハイパスフィルタとローパスフィルタとを複数組み合わせた構成されるので、簡単に構成することができ、処理系統が同じであるので、演算処理に負担がかからない。

また、サブバンドフィルタバンクを利用することで、フーリエ変換のような普通の周波数解析と異なり、時間軸も考慮した周波数解析を行うことが可能である。
（７）自己相関関数処理２２
自己相関関数処理２２によって、抽出された異常領域が炎の領域であるかを判定する動作を図１０を用いて説明する。まず図１０により炎の特徴について説明する。図１０は赤外線エネルギーの時間変動を示す図であり、（ａ）は炎、（ｃ）は回転灯の赤外線エネルギーの図である。図１０（ａ）において、炎の赤外線エネルギーは極めて低い周波数を含む周波数帯の周波数でゆらいでいる。一方、図１０（ｃ）の回転灯の赤外線エネルギーは、明らかな周期性変動を伴っており、その周波数は回転灯の回転に同期している。

そこで、自己相関関数処理２２では、検出信号が周期性を有するものであれば回転灯、周期性を有しなければ炎であるという特徴を利用して、炎の判定を行う。ここで自己相関関数というものについて詳しく説明すると、自己相関関数は、時間がｔだけ離れた２つの信号間の相関の強さを示すものであり、検出信号の波形の周期性を評価するための手法である。

具体的には、ある時系列データｚがある場合、時系列データｚと時間ｔ１だけづらした時系列データｚ１とで相互相関係数を算出する。ここで、ずらす時間ｔ１を、ｔ２，ｔ３，ｔ４・・・と変化させて、時系列データｚと順次比較させると、時系列データの波形同士が最も類似したとき、相関係数は最大値を示す。相関係数は、時系列データに周期性があれば大きな値を示すので、この相関係数を算出して所定値以上であれば、抽出された異常領域は炎によるものでないと判定する。この自己相関関数処理を使用すると、複雑な振る舞いをする短時間の周期性を見つけるのに効果的である。

以上のように、異常領域が炎であるかどうかを判定するには、サブバンドフィルタ処理２１と自己相関関数処理２２との結果にもとづき、２つの処理の条件を満たした時に、異常領域が炎であると判定する。
（８）フーリエ変換処理２３
フーリエ変換処理２３によって、抽出された異常領域が煙の領域であるかを判定する動作について説明する。このフーリエ変換処理２３については、本件出願人が先に出願した特開平１０−１８８１６９号に開示されている。

この公報に記載されたフーリエ変換処理２３は、ある時系列データｚを、例えば等しい時間間隔で３つに分割する処理と、その３つに分割された時系列データｚ１，ｚ２，ｚ３をそれぞれフーリエ変換して周波数軸に対する強度を求める処理と、フーリエ変換された３つのデータの類似度合いを正規化相関係数を演算して判定する処理とを備えている。

そして正規化相関係数は、各時系列データｚ１，ｚ２，ｚ３が対応しており、類似度合いが高ければ大きな値を示す。このため、煙や炎のように周期性を持たないものの場合には、この相関係数で高い値をとることはない。よって算出された相関係数が所定値以上であれば、抽出された異常領域は煙によるものでないと判定できる。この正規化相関係数を算出するフーリエ変換処理を使用すると、長い周期の周期性を見つけるのに効果的である。

以上のように炎検出用と煙検出用の各画像処理方法について説明したが、検出手法としてこれに限られるのものではなく、他の画像処理方法を使用してもよい。また検出の精度の観点から、複数の画像処理を併用して異常を検出することが望ましいが、この場合には、システムのコンパクト化から同じ基本処理を含む画像処理を使うのが効果的である。

本発明のブロック図である。 本発明のブロック図である。 エッジ累積差分処理を説明する図である。 フレーム累積差分を説明するための図である。 輝度累積差分処理を説明するための図である。 局所相関を説明するための図面である。 コントラスト比を説明するための図面である。 炎の周波数を説明するための図面である。 サブバンドフィルタバンクを説明する図面である。 炎と光源のレベル変化を説明する図面である。

符号の説明

１５ コントラスト比処理

Claims (2)

1. 監視領域を撮影する撮影手段と、該撮影手段により撮影された画像を格納するための画像メモリとを備え、該画像メモリに格納された画像を処理することにより煙を検出する画像処理装置において、
   更新時刻がくる度に更新される基準画像を記憶する基準画像メモリと、
   該基準画像および入力画像の局所領域の最小輝度値と最大輝度値の比率から、該局所領域のコントラストを演算する処理と、
   前記基準画像と前記入力画像の両画像において対応する前記局所領域同士のコントラストの比率からコントラスト比を演算する処理とを備え、
   前記コントラスト比が所定の低下率を下回る領域を、煙が存在する異常領域と判断することを特徴とする画像処理装置。
2. 前記局所領域のコントラスト比の値をもとに、煙の発生の可能性のある領域ほど高い確率数値が付与される煙領域確率分布画像を作成し、
   該煙領域確率分布画像における確率数値の高い領域の画素数や輝度情報を基に、時系列データを作成して、異常領域が本当に異常であるかどうかの判定を行うことを特徴とする請求項１記載の画像処理装置。

Images