JP4366807B2

JP4366807B2 - Infrared image edge processing method

Info

Publication number: JP4366807B2
Application number: JP2000018593A
Authority: JP
Inventors: 光也川下; 伸司宮崎
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2000-01-27
Filing date: 2000-01-27
Publication date: 2009-11-18
Anticipated expiration: 2020-01-27
Also published as: JP2001209809A

Description

【０００１】
【発明の属する技術分野】
本発明は、赤外線画像のエッジ処理方式に係り、特に、赤外線検知器を構成する赤外線検知素子の出力に雑音などによる画像データの変動があっても正確にエッジを処理して画像に表示することが可能な赤外線画像のエッジ処理方式、及び、２つのフィールドの画像データを異なるタイミングで取得して１つのフレームに表示するという特殊な画像処理をすることがあっても違和感がない画像を表示することが可能な赤外線画像のエッジ処理方式に関する。
【０００２】
全ての物体は、その物体自体の温度と一義的関係にある強度の赤外線を放射している。そして、放射される赤外線の波長はその物体を形成している物質に依存している。
【０００３】
赤外線画像装置は、物体から放射される赤外線を検出して画像表示するので、種々のカメラを使用して可視光を捕捉して画像表示する画像装置とは大きく異なり、昼夜を問わず物体の認識が可能である。
【０００４】
又、レーダやソナーとも大きく異なり、物体を認識するために積極的に電磁波、音波又は超音波を放射しないで、認識対象の物体が放射する赤外線を捕捉することによって受動的に物体を認識することが可能なので、認識対象の物体側に気づかれないで物体を認識できるという利点を有している。
【０００５】
更に、物体が放射する赤外線を検知して当該物体を認識するということは、物体を非接触で認識できるということで、認識対象の物体に接近すること自体が不可能であったり、接近することが危険な場合にも容易に物体の認識をすることができる。
【０００６】
このような多くの特徴を活かして、赤外線画像装置は監視カメラ、サーモ・グラフィ、リモート・センシング、航空機や車輛などの移動体の前方監視装置など、官民を問わず広範囲な分野で使用されている。又、最近では医療やスポーツ生理学の分野での使用が注目されている。
【０００７】
上記のように、赤外線画像装置には極めて広い技術範囲にそれぞれ適用される多種の物があるが、別の観点から大別すると、赤外線の強度分布そのものを画像表示する物と、赤外線の強度分布にエッジ処理を行ない、物体の有無や追尾している物体の形状を認識する物とに分けられる。
【０００８】
そして、特に後者においては、エッジ処理が正確であることと、エッジ処理による表示品質の劣化がないことが命である。
【０００９】
かかる背景にあって、赤外線検知器を構成する赤外線検知素子の画像データに変動があっても正確にエッジを処理して画像に表示することが可能な赤外線画像のエッジ処理方式、及び、特殊な画像処理をすることがあっても違和感がない画像を表示することが可能な赤外線画像のエッジ処理方式の開発が待たれている。
【００１０】
【従来の技術】
図１５は、エッジ処理機能を備える赤外線画像装置の一般的構成である。
【００１１】
図１５において、
１０１は、到達する赤外光を受けて走査する光学系、
１０２は、光学系１０１が走査した赤外光を検知してアナログ電気信号に変換する赤外線検知器、
１０３は、赤外線検知器１０２が出力するアナログ電気信号を所要レベルまで増幅した後デジタル信号に変換するアナログ・デジタル変換部、
１０４は、赤外線検知器１０２を構成する個々の赤外線検知素子の感度ばらつきを補正する感度補正部である。
【００１２】
又、１０５は、エッジ処理部で、平滑フィルタ１、ラプラシアン・フィルタによって代表されるエッジ強調フィルタ２、エッジ検出の閾値を格納するレジスタ４、及び、エッジ強調フィルタ２の出力とレジスタ４に格納されている閾値を比較して論理レベル“０”又は“１”のデジタル信号を出力するコンパレータ６によって構成される。
【００１３】
１０６は、感度補正された画像データとエッジ処理部が出力するエッジ検出信号とを受けて、２値化処理やヒストグラム変換などの処理をした後でアナログ信号に変換して画像表示信号を出力する画像処理部、
１０７は、画像処理部１０６が出力する画像表示信号を表示して、画面から可視光を出力する表示部である。
【００１４】
図１６は、図１５の感度補正部１０４が出力する画像データを受けて、特定の画素の画像データと周囲の画素の画像データの平均値を求める平滑フィルタ１の構成である。
【００１５】
図１６において、１１乃至１１ｈは画像データを保持するフリップ・フロップ、１２は第一の遅延回路、１３は第二の遅延回路、１４乃至１４ｇは加算回路、１５は平均する画素数を格納するレジスタ、１６は除算回路である。
【００１６】
尚、画像データは複数ビットのデジタル信号であるので、実は、フリップ・フロップ、遅延回路、加算回路、レジスタ及び除算回路は全て複数ビットを扱うことができる回路である。しかし、正確にそれを図示すると図が煩雑化するので、単一ビットであるかの如く図示している。
【００１７】
さて、図１６の構成の平滑フィルタに入力される画像データは、１次元走査された赤外光を赤外線検知器を構成する個々の赤外線検知素子が順に電気変換したライン・データである。
【００１８】
従って、図１６のフリップ・フロップ１１ｄに保持される画像データに対して、フリップ・フロップ１１乃至１１ｃ及びフリップ・フロップ１１ｅ乃至１１ｈに保持される画像データが周囲の画素の画像データになりうるには、フリップ・フロップ１１には特定ラインの画像データが直接供給されているので、第一の遅延回路１２の遅延時間を１ラインの遅延時間とし、第二の遅延回路１３の遅延時間を２ラインの遅延時間とすればよい。
【００１９】
即ち、２次元画像と平滑フリップ・フロップのデータの対比を図示すると図１７のようになる。
【００２０】
図１７において、太い実線の矩形で示してあるのが２次元画像であり、該２次元画像の中に「・」や添字付の小文字のアルファベットで示してあるのが赤外線検知器を構成する単一の赤外線検知素子毎の画像データである。尚、以降、画像データに関する記載においては「赤外線検知器を構成する単一の赤外線検知素子」を「画素」と標記し、物理的な赤外線検知素子に関する記載においては「赤外線検知素子」というように、区別して標記する。
【００２１】
１次元走査された赤外光を赤外線検知器を構成する個々の赤外線検知素子が順に電気変換してライン・データを形成するので、ライン・データは図１７の縦の矢印の方向に順に出力される。
【００２２】
そのライン・データを図１７の横方向の矢印の方向に順に出力することによって２次元画像が形成される。
【００２３】
そして、図１６の第一の遅延回路１２と第二の遅延回路１３の遅延時間を上記のように設定しているので、図１６のフリップ・フロップ１１ｄに画素データｂ₂が保持される時には、フリップ・フロップ１１ｂ、１１ａ及び１１には、それぞれ、画素データｃ₃、ｃ₂及びｃ₁が保持され、フリップ・フロップ１１ｅと１１ｃには、それぞれ、画素データｂ₃とｂ₁が保持され、フリップ・フロップ１１ｈ、１１ｇ及び１１ｆには、それぞれ、画素データａ₃、ａ₂及びａ₁が保持される。この状態を、図１７では細い実線の矩形で囲んだ３×３の２次元画像データで示している。
【００２４】
従って、次の画素の画像データが入力されると、図１６のフリップ・フロップ１１乃至１１ｈに保持される３×３の２次元画像データは、図１７の細い破線で囲んだ画像データとなる。
【００２５】
そして、ライン方向の画像データが全て入力された後には、１ラインずれて３×３の２次元画像データが図１６のフリップ・フロップ１１乃至１１ｈに保持されることになる。これを、図１７では細い一点鎖線の３×３の２次元画像データで示している。
【００２６】
尚、図１７の縦の矢印の方向をライン方向と呼び、１ラインの画像データをライン・データ又はサンプル・データと呼び、図１７の横の矢印の方向をサンプル方向と呼ぶことにする。
【００２７】
上記のように図１６のフリップ・フロップ１１乃至１１ｈに保持された画像データは加算回路に供給されて、加算回路１４において画像データｃ₃と画像データｃ₂の加算が行なわれ、加算回路１４ａにおいて加算回路１４の出力と画像データｃ₁の加算が行なわれる。１ライン違う画像データｂ_i（この場合、ｉは１乃至３である。）、２ライン違う画像データａ_iについても同様である。
【００２８】
更に、加算回路１４ａの出力と加算回路１４ｃの出力が加算回路１４ｆにて加算され、加算回路１４ｆの出力と加算回路１４ｅの出力が加算回路１４ｇにて加算されて、３×３の２次元画像の中心の画素の画像データと、該中心の画素を囲む８画素の画像データ、即ち、３×３の２次元画像を形成する９画素の画像データが全て加算される。
【００２９】
ここで、画像データを加算する画素数は９であるので、レジスタ１５には９を格納しておき、除算回路１６にて加算回路１４ｇの出力を９で割って平均し、３×３の２次元画像の中心の画素の画像データとする。
【００３０】
この平均化によって、３×３の２次元画像を形成する画素の画像データにばらつきが残存していても、その影響を緩和することができる。
【００３１】
図１８は、ラプラシアン・フィルタの構成である。ラプラシアン・フィルタはエッジ強調フィルタの典型であるので、エッジ強調フィルタとしてラプラシアン・フィルタの構成を示している。
【００３２】
図１８において、２１乃至２１ｆはフリップ・フロップ、２２は第一の遅延回路、２３は第二の遅延回路、２４乃至２４ｃは加算回路、２５は強調係数４を格納するレジスタ、２６は乗算回路である。
【００３３】
ここで、強調係数を４にしているのは、後の説明で明らかになるように、３×３の２次元画像の中心の画素の平均化された画素データを、該中心の画素の上下及び左右の４画素の平均化された画素データとの間で強調するからである。
【００３４】
図１８のラプラシアン・フィルタには、図１６の平滑フィルタの出力が供給される。該平滑フィルタの出力は、該平滑フィルタに保持される画像データを平均化した画像データであるので、図１６のａ_i、ｂ_i及びｃ_iに対応させてＡ_i、Ｂ_i及びＣ_iと標記すると、フリップ・フロップ２１ｃに図１６の画像データｂ₂に対応する平均化された画像データＢ₂が保持される時には、フリップ・フロップ２１ａには平均化された画像データＣ₂が、フリップ・フロップ２１には平均化された画像データＣ₁が、フリップ・フロップ２１ｄには平均化された画像データＢ₃が、フリップ・フロップ２１ｂには平均化された画像データＢ₁が、フリップ・フロップ２１ｆには平均化された画像データＡ₂が、フリップ・フロップ２１ｅには平均化された画像データＡ₁が保持される。
【００３５】
そして、加算回路２４、２４ａ及び２４ｂによって平均化された画像データＣ₂、Ｂ₁、Ａ₂の加算を行ない、乗算回路２６によって平均化された画像データＢ₂に強調係数４を乗算し、加算回路２４ｂの出力と乗算回路２６の出力の差を求めて出力する。
【００３６】
図１９は、面的に見たラプラシアン・フィルタの出力である。
【００３７】
即ち、図１９は平均化された画像データを有する３×３の２次元画像の中心の画素と、該中心の画素の上下左右の４画素について有効な平均化された画像データを有するものとなっており、且つ、該中心の画像データが（−４）倍されている。
【００３８】
従って、該中心の画素がエッジを形成する画素でない場合には、（Ａ₂＋Ｂ₁＋Ｂ₃＋Ｃ₂）と４×Ｂ₂の差は小さく、該中心の画素がエッジを形成する画素である場合には、（Ａ₂＋Ｂ₁＋Ｂ₃＋Ｃ₂）と４×Ｂ₂の差が大きくなるので、図１８に示した演算によってエッジを強調することができる。
【００３９】
つまり、図１５の構成の赤外線画像装置では、画素の画像データの、雑音などによる変動をエッジであると認識しないように平滑フィルタを使用し、該平滑フィルタの出力によってエッジを検出するようにしている。
【００４０】
図２１は、エッジ強調フィルタを備える赤外線画像装置の一般的構成である。
【００４１】
図２１において、
１０１は、到達する赤外光を受けて走査する光学系、
１０２は、光学系１０１が走査した赤外光を検知してアナログ電気信号に変換する赤外線検知器、
１０３は、赤外線検知器１０２が出力するアナログ電気信号を所要レベルまで増幅した後にデジタル信号に変換するアナログ・デジタル変換部、
１０４は、赤外線検知器１０２を構成する個々の赤外線検知素子の感度オフセットを補正する感度補正部である。
【００４２】
又、１０５ａは、エッジ処理部で、エッジ強調フィルタの典型であるラプラシアン・フィルタ２によって構成される。
【００４３】
１０６は、感度補正され、エッジ強調された画像データを受けて、２値化処理やヒストグラム変換などの処理をした後でアナログ信号に変換して画像表示信号を出力する画像処理部、
１０７は、画像処理部１０６が出力する画像表示信号を表示して、画面から可視光を出力する表示部である。
【００４４】
図２１の構成は、感度補正部１０４が出力する画像データに対してエッジ強調フィルタ２によってエッジを強調して画像処理部１０６に画像データを供給し、画像処理部１０６において２値化したりヒストグラム変換して表示画像データを生成するものである。
【００４５】
【発明が解決しようとする課題】
図２０は、従来の赤外線画像装置におけるエッジ検出方式の第一の問題点を説明する図である。
【００４６】
図２０（イ）は、直線の真のエッジを有する画像イメージで、矩形が画像全体を、矩形の中の縦の直線が真のエッジである。
【００４７】
図２０（ロ）は、従来の赤外線画像装置におけるエッジ処理方式の第一の問題点を示す可視エッジである。
【００４８】
図１５の構成の説明において記載した如く、デジタル化された画像データに対して感度補正部１０４によって個々の赤外線検知素子のオフセットを補正した画像データについて、平均化した上でエッジ強調を行ない、所定の閾値と比較してエッジ検出をするが、感度補正部１０４の出力では雑音などによる画像データの変動を完全には補正しきれないことがある。
【００４９】
従って、平均化して雑音成分の影響を緩和しているとはいえ、雑音などの影響を含んだままエッジ検出することがある。即ち、真の画像では連続したエッジになっているところでも、図２０（ロ）の如く、ラプラシアン・フィルタの出力は一定ではなく、閾値より低レベルになることがある。
【００５０】
このため、可視エッジは図２０（ロ）に太い実線と細い破線で示す如く、本来は連続な直線であるべきものが、一部エッジが切れることがある。極端な場合、切れる方が長くてエッジ検出に支障が生ずることにもなる。
【００５１】
図２２は、従来の赤外線画像装置におけるエッジ処理方式の第二の問題点を説明する図で、特に、図２１の構成の赤外線画像装置においてフィールド毎にエッジ検出をする場合の問題点を説明する図である。即ち、１つの赤外線検知器によって２つのフィールドの画像データを取得して、１／６０秒ずらして１フレームとする場合の問題点である。
【００５２】
図２２（イ）は、上記の処理によるフィールド間の画像のずれを示す図で、▲１▼は真の原画像、▲２▼はフィールド間の画像のずれを示している。即ち、赤外線検知素子の奇数番目の赤外線検知素子の画像データと偶数番目の赤外線検知素子の画像データがずれて表示されることになるため、同一フレームに異なるフィールドの画像データが一緒に表示されることになる。図２２（イ）▲２▼の太い実線と細い破線は上記のことを示している。
【００５３】
これでも、画像データに何の処理もしてない場合や、静止している目標物体を表示する場合には特段の表示品質の低下はないが、図２１の構成の如く、エッジ強調をしている場合や、動きが大きい目標物体を表示する場合には表示品質の劣化が目につくようになる。
【００５４】
図２２（ロ）は、フィールド間でのエッジ検出のずれを示すもので、▲１▼は比較のために示すエッジ検出のずれがない場合のラプラシアン・フィルタの出力、▲２▼はエッジ検出のずれがある場合のラプラシアン・フィルタの出力である。
【００５５】
即ち、▲１▼のように、実際に近接する画素の画像データによって３×３のエッジ強調のための画像データが形成されるべきところ、▲２▼に示すように、例えば２行目の強調画像データが異なるフレームに移ってしまい、本来のフレームでは破線で示した１フレーム前の２行目の強調画像データと合わせてエッジ強調を行なうことになる。
【００５６】
従って、エッジ強調をしている場合や、動きが大きい目標物体を表示する場合には表示品質の劣化が目につくようになるのである。
【００５７】
本発明は、かかる問題点に鑑み、赤外線検知器を構成する赤外線検知素子毎の画像データに雑音などによる変動があっても正確にエッジ処理して画像に表示することが可能な赤外線画像のエッジ処理方式、及び、２つのフィールドの画像データを異なるタイミングで取得して１つのフレームに表示するという特殊な画像処理をすることがあっても違和感がない画像を表示することが可能な赤外線画像のエッジ処理方式を提供することを目的とする。
【００５８】
【課題を解決するための手段】
本発明の第一の手段は、
画像データを平均化してエッジ強調し、エッジ強調された画像データと閾値を比較してエッジ検出を行なう赤外線画像のエッジ処理方式において、
雑音などによる画像データの変動を該閾値に加算した第一の閾値と、該画像データの変動を該閾値から減算した第二の閾値とを生成し、
該エッジ強調された画像データと該第一の閾値を比較して得たデジタル信号と、該エッジ強調された画像データと該第二の閾値を比較して得たデジタル信号とを併用した２ビットのディジタル信号を１０進変換して、その値によって該画像データの中心の画素がエッジであると判定する技術である。
【００５９】
本発明の第一の手段によれば、該エッジ強調された画像データと該第一の閾値を比較して得たデジタル信号の論理レベルが“１”であれば、着目している画素にエッジが存在することが確実であり、該エッジ強調された画像データと該第二の閾値を比較して得たデジタル信号の論理レベルが“０”であれば、着目している画素にエッジが存在しないことが確実であり、該エッジ強調された画像データと該第一の閾値を比較して得たデジタル信号の論理レベルが“１”で、該エッジ強調された画像データと該第二の閾値を比較して得たデジタル信号の論理レベルが“０”であれば、着目している画素にエッジが存在する可能性を認識することができるので、エッジ検出の確度を高めることができる。
【００６０】
又、本発明の第一の手段において、該画像データの変動に設定可能な係数を乗算し、該閾値と加減算して第一の閾値及び第二の閾値を生成するという変形も可能である。
【００６１】
本発明の第二の手段は、
連続して入力される画像データに対してエッジ強調する技術において、
連続して入力される複数の画像データを平均化し、
該平均化された画像データに対してエッジ強調を行なう技術である。
【００６２】
本発明の第二の手段によれば、赤外線検知器の赤外線検知素子方向、即ちライン方向に画像データの平均化して画像データの変動を抑圧しながら、サンプル方向のエッジを強調することができる。
【００６３】
又、本発明の第二の手段において、連続して入力される画像データの各々に重み係数を乗算して平均化するという変形も可能である。
【００６４】
本発明の第三の手段は、
エッジ強調を行なうラプラシアン・フィルタにおいて、
奇数番目のフィールドの画像データを保持する記憶素子と偶数番目のフィールドの画像データを保持する記憶素子の間にダミーの記憶素子を挿入し、
ラプラシアン・フィルタの出力を形成すべき行の画像データを全て仮想的な同一フレームの画像データとして取り扱う技術である。
【００６５】
本発明の第三の手段によれば、ラプラシアン・フィルタの出力を形成すべき行の画像データを全て仮想的な同一フレームの画像データとして取り扱うことになるので、２つのフィールドの画像データを異なるタイミングで取得して１つのフレームに表示するという特殊な画像処理をしている場合に、同一フレームの画像データによってエッジ強調をすることができる。従って、上記画像処理をしている場合にも、エッジ強調による赤外線画像の表示品質の低下を防止することが可能になる。
【００６６】
【発明の実施の形態】
図１は、本発明のエッジ処理回路の第一の実施の形態である。
【００６７】
図１において、
１は、平滑フィルタで、３×３の２次元画像の画像データによって９つの画素の中心の画素の画像データを平均化した画像データとするものである。
【００６８】
２は、平滑フィルタ１が出力する平均化された画像データに対してエッジ強調を行なうラプラシアン・フィルタである。
【００６９】
３は、雑音などによる画像データの変動を格納するメモリである。
【００７０】
４は、所定の閾値を格納するレジスタである。
【００７１】
５は、レジスタ４が格納している閾値とメモリ３から読み出した画像データの変動を加算して第一の閾値を生成する第一の加算回路、５ａは、レジスタ４が格納している閾値からメモリ３から読み出した画像データの変動を減算して第二の閾値を生成する第二の加算回路、
６は、ラプラシアン・フィルタ２の出力と該第一の閾値とを比較する第一のコンパレータ、６ａは、ラプラシアン・フィルタ２の出力と該第二の閾値とを比較する第二のコンパレータである。
【００７２】
７は、第一のコンパレータ６の出力ｐと第二のコンパレータ６ａの出力ｑとを受けて、エッジの有無を判定するエッジ監視フィルタで、エッジ監視フィルタ７の出力がエッジ検出信号となる。
【００７３】
即ち、画像データの変動を該閾値に加算した該第一の閾値と、該画像データの変動を該閾値から減算した該第二の閾値とを生成し、エッジ監視フィルタにおいて、該エッジ強調された画像データと該第一の閾値を比較して得たデジタル信号ｐと、該エッジ強調された画像データと該第二の閾値を比較して得たデジタル信号ｑとを併用してエッジ検出を行なう。
【００７４】
図２は、図１の構成におけるエッジ監視フィルタの構成である。
【００７５】
図２において、
７１乃至７１ｈは、図１の第一のコンパレータ６及び第二のコンパレータ６ａから供給されるデジタル信号を保持するフリップ・フロップである。
【００７６】
７２は、１ライン分の遅延時間を有する第一の遅延回路、７３は、２ライン分の遅延時間を有する第二の遅延回路である。
【００７７】
７４は、全てのフリップ・フロップ７１乃至７１ｈの出力を受けて、該出力を１０進数に変換した数値によってエッジ検出をするデコーダである。
【００７８】
尚、７５は、２ビットのデジタル信号ｐ及びｑを集線するという意味を持つ回路シンボルである。即ち、回路シンボル７５は、入力における２ビットのデジタル信号を出力側では１本の線で表わすものである。
【００７９】
従って、全てのフリップ・フロップ７１乃至７１ｈと、第一の遅延回路７２と第二の遅延回路７３は、全て２ビットのデジタル信号に対応するものである。これを正確に図示していないのは図の煩雑化を避けるためで、図１６における表示法と同じである。
【００８０】
さて、図２の構成において、２ビットのデジタル信号ｐとｑは、フリップ・フロップ７１乃至７１ｂには直接入力され、フリップ・フロップ７１ｃ乃至７１ｅには１ラインの遅延を受けて入力され、フリップ・フロップ７１ｆ乃至７１ｈには２ラインの遅延を受けて入力される。
【００８１】
従って、フリップ・フロップ７１乃至７１ｈに保持されているデジタル信号ｐとｑは、３×３の２次元画像の中心の画素と該中心の画素を取り囲む８画素における２ビットのデジタル信号である。デコーダ７４は、フリップ・フロップ７１乃至７１ｈに保持されている２ビットのデジタル信号を１０進変換して、その値によって該中心の画素がエッジであるか否かを判定する。
【００８２】
即ち、デジタル信号ｐとｑの論理レベルが共に“０”の時には１０進数を０とし、デジタル信号ｐの論理レベルが“０”でデジタル信号ｑの論理レベルが“１”の時には１０進数を１とし、デジタル信号ｐとｑの論理レベルが共に“１”の時には１０進数を３とする。そして、もしデジタル信号ｐの論理レベルが“１”でデジタル信号ｑの論理レベルが“０”である場合には、これを無視して１０進変換しない。
【００８３】
何故かというと、デジタル信号ｐは図１のメモリ３に格納されている画像データの変動とレジスタ４に格納されている閾値の和である第一の閾値とラプラシアン・フィルタ２の出力を比較した出力で、デジタル信号ｑは図１のレジスタ４に格納されている閾値とメモリ３に格納されている画像データの変動の差である第二の閾値とラプラシアン・フィルタ２の出力を比較した出力である。つまり、該第二の閾値は該第一の閾値より小さい。
【００８４】
従って、ラプラシアン・フィルタ２の出力が該第一の閾値より大きくて、該第二の閾値より小さいということは物理的にあり得ないので、もしデジタル信号ｐの論理レベルが“１”でデジタル信号ｑの論理レベルが“０”である場合には、これを無視して１０進変換しないのである。
【００８５】
そして、図２のフリップ・フロップ７１ｄに保持されているデジタル信号を１０進変換した値が３の時には、３×３の２次元画像の中心の画素は無条件にエッジであると判定する。
【００８６】
又、図２のフリップ・フロップ７１ｄに保持されているデジタル信号を１０進変換した値が１の時には、３×３の２次元画像の中心の画素はエッジである可能性があるとし、周囲の８つの画素に対応する１０進数に３もしくは１がある時には該中心の画素はエッジであると判定する。
【００８７】
更に、図２のフリップ・フロップ７１ｄに保持されているデジタル信号を１０進変換した値が０の時には、３×３の２次元画像の中心の画素は無条件にエッジではないと判定する。
【００８８】
図３は、図１の構成のエッジ検出機能を説明する図である。
【００８９】
図３（イ）は、直線の真のエッジを有する画像イメージで、矩形が画像全体を、矩形の中に描かれている縦の直線が真のエッジである。
【００９０】
図３（ロ）は、図１の構成のエッジ検出機能を説明するための可視エッジで、該デジタル信号ｐとｑの論理レベル及びｐとｑからなる２ビットのデジタル信号を１０進変換した数を併記している。
【００９１】
図１の構成の如く、デジタル化された画像データに対して感度補正部１０４によって個々の画素の画素データのオフセットを補正した画像データについて、平均化した上でエッジ強調を行ない、所定の閾値と比較してエッジ検出をする場合には、感度補正部１０４の出力では画像データの変動を完全には補正しきれないことがある。
【００９２】
従って、平均化して画像データの変動の影響を緩和するとはいえ、該変動の影響を含んだままエッジ検出することがある。即ち、真の画像では連続したエッジになっているところでも、図３（ロ）の太い実線の如く、ラプラシアン・フィルタの出力は一定ではなく、細い破線で示される閾値より低レベルになることがある。
【００９３】
しかし、図２の構成ではラプラシアン・フィルタの出力と上記第一の閾値及び上記第二の閾値との比較をして、双方を用いて上記の如くエッジの有無を判定するので、判定結果が正確になる。
【００９４】
仔細に見ると、デジタル信号ｐの論理レベルが上から順に“０”、“０”、“１”、“１”、“０”、“０”“１”、“１”、“１”、“０”、“１”、“０”、“０”であり、デジタル信号ｑの論理レベルが上から“０”、“０”、“１”、“１”、“１”、“１”、“１”、“１”、“１”、“１”、“１”、“０”、“０”であるから、１０進数は上から順に０、０、３、３、１、１、３、３、３、１、３、０、０となる。
【００９５】
上記の判定方法により、１０進数が３になっているところは無条件にエッジであると判定し、１０進数が０になっているところは無条件にエッジでないと判定する。
【００９６】
一方、１０進数が１になっているところについては、周囲の８つの画素に対応する１０進数に３もしくは１がある時にエッジであると判定する。上記の例の場合、１０進数が１になっている画素の上下の画素において１０進数が３もしくは１になっているのでエッジであると判定する。
【００９７】
尚、図３では特定のライン上の画素に対するエッジ検出の１０進数を示しているが、同じことを隣接ライン上の画素に対するエッジ検出の１０進数を求めて見れば、上記の判定条件の根拠が妥当であることがよく判る。
【００９８】
又、上記では２ビットのデジタル信号ｐとｑを１０進数に変換してエッジの有無の可能性の判定を行なうと記載したが、これに限定されるものではない。
【００９９】
即ち、２ビットのデジタル信号ｐとｑの論理レベル自体のパターンを使ってエッジの有無の可能性の判定を行なうことも可能である。つまり、本発明の本質は、２ビットのデジタル信号ｐとｑをを併用してエッジの有無の可能性の判定を行なうことにある。
【０１００】
ところで、図１のメモリ３に格納されている、画像データの変動の値によっては、上記第一の閾値及び上記第二の閾値と図１のラプラシアン・フィルタ２の出力の大小関係が適切ではなくなり、エッジとなっている画素において上記１０進数が０になったり、エッジではない画素において上記１０進数が１になる恐れを否定できない。次に説明するのは、エッジとなっている画素において上記１０進数が０になったり、エッジではない画素において上記１０進数が１になることを回避する技術である。
【０１０１】
図４は、本発明のエッジ処理回路の第二の実施の形態である。
【０１０２】
図４において、
１は、平滑フィルタで、３×３の２次元画像の画像データによって９つの画素の中心の画素の画像データを平均化した画像データとするものである。
【０１０３】
２は、平滑フィルタ１が出力する平均化された画像データに対してエッジ強調を行なうラプラシアン・フィルタである。
【０１０４】
３は、雑音などによる画像データの変動を格納するメモリである。
【０１０５】
４は、所定の閾値を格納するレジスタである。
【０１０６】
８は、メモリ３に格納されている画像データの変動に乗算する係数を格納するレジスタである。
【０１０７】
９は、メモリ３に格納されている画像データの変動と、レジスタ８に格納されている係数を乗算する乗算回路である。
【０１０８】
５は、レジスタ４が格納している閾値と乗算回路９の出力を加算して第三の閾値を生成する第一の加算回路、５ａは、レジスタ４が格納している閾値から乗算回路９の出力を減算して第四の閾値を生成する第二の加算回路である。
【０１０９】
６は、ラプラシアン・フィルタ２の出力と該第三の閾値とを比較する第一のコンパレータ、６ａは、ラプラシアン・フィルタ２の出力と該第四の閾値とを比較する第二のコンパレータである。
【０１１０】
７は、第一のコンパレータ６の出力ｐと第二のコンパレータ６ａの出力ｑとを受けて、エッジの有無を判定するエッジ監視フィルタで、エッジ監視フィルタ７の出力がエッジ検出信号となる。
【０１１１】
即ち、画像データの変動に対して設定された係数を乗算した値を該閾値に加算した該第三の閾値と、該画像データの変動に対して設定された係数を乗算した値を該閾値から減算した該第四の閾値とを生成し、エッジ監視フィルタにおいて、該エッジ強調された画像データと該第三の閾値を比較して得たデジタル信号ｐと、該エッジ強調された画像データと該第四の閾値を比較して得たデジタル信号ｑとを併用してエッジ監視フィルタにおいてエッジ検出を行なう。
【０１１２】
尚、エッジ監視フィルタの構成は図２に示した構成と同一である。又、図４の構成は、予めメモリ３に格納されている画像データの変動に係数を乗算する点だけが図１の構成と違う点である。従って、図４の構成の動作は本質的に図１の構成の動作と同じであるので、図４の構成の動作説明は省略する。
【０１１３】
さて、図１及び図４において、メモリ３には画像データの変動を格納するという説明をしたが、該画像データの変動については未だ説明をしていない。そこで、以降暫くの間、画像データの変動として適用できる物理量とその計算について説明する。
【０１１４】
第一の物理量は、雑音の低周波成分である。これは、監視に先立って赤外線検知器に温度基準板からの赤外線を複数回入射させて、ラインを構成する画素毎の画像データをフレーム内でサンプル方向に平均した平均的なラインの画像データを複数回計算し、前回の計算値との差を求めて格納したものである。即ち、ラインを構成する画素毎の画像データをフレーム内で平均した平均的なラインの画像データの変動であるから、物理的には雑音の低周波成分となる訳である。
【０１１５】
図５は、低周波成分の計算のための構成である。
【０１１６】
図５において、１１１は加算回路、１１２は第一のライン・メモリである。
【０１１７】
加算回路１１１には、１ライン分の画像データ（サンプル・データ）が入力され、第一のライン・メモリ１１２に書き込まれ、書き込まれたサンプル・データは次のサンプル・データが入力される時に第一のライン・メモリ１１２から読み出されて、加算回路１１１において第一のライン・メモリ１１２から読み出されたデータと入力されるサンプル・データが加算される。この動作をサンプル方向にサンプル数だけ行なえば、最終的に第一のライン・メモリ１１２にはサンプル・データをフレーム内で積分したデータが格納される。
【０１１８】
１１３はデータ取得回数のＬＳＢ（Least Significant Bit の頭文字を取った一般的な略語である。）を反転入力端子に受け、加算回路１１１の出力を非反転入力端子に受ける論理積回路（正確には、入力されるデータが複数ビットの並列データであるので、複数の論理積回路で構成される論理積回路群であるが、あたかも単一の論理積回路の如く図示している。）、１１４はデータ取得回数のＬＳＢを非反転入力端子に受け、加算回路１１１の出力を非反転入力端子に受ける論理積回路（正確には、入力されるデータが複数ビットの並列データであるので、複数の論理積回路で構成される論理積回路群であるが、あたかも単一の論理積回路の如く図示している。）、１１５は論理積回路１１３の出力を格納する第二のライン・メモリ、１１６は論理積回路１１４の出力を格納する第三のライン・メモリである。
【０１１９】
データ取得回数を０からカウントするものとすれば、１回目のデータ取得時にはデータ取得回数のＬＳＢは“０”であるので、加算回路１１１の出力は第二のライン・メモリに書き込まれる。しかも、この書き込みはサンプル・データが入力される度に第二のライン・メモリ１１５に格納されているデータに上書きする形で行なわれる。
【０１２０】
２回目のデータ取得時にはデータ取得回数のＬＳＢは“１”であるので、加算回路１１１の出力は第三のライン・メモリ１１６に書き込まれる。しかも、この書き込みはサンプル・データが入力される度に第三のライン・メモリ１１６に格納されているデータに上書きする形で行なわれる。
【０１２１】
１１７は第二のライン・メモリ１１５と第三のライン・メモリ１１６の出力の差を求める加算回路、１１８はサンプル数を格納するレジスタ、１１９は加算回路１１７の出力をレジスタ１１８に格納されているサンプル数で除算する除算回路、１２０は除算回路１１９の出力の絶対値を求める絶対値演算回路、１２１は絶対値演算回路１２０の出力を格納する第四のライン・メモリである。
【０１２２】
上記の如く第二のライン・メモリ１１５と第三のライン・メモリ１１６に、フレーム内で全サンプル・データの加算が格納された後に、第二のライン・メモリ１１５と第三のライン・メモリ１１６からデータを読み出して、加算回路１１７によって両者の差を求める。
【０１２３】
その上で、除算回路１１９において加算回路１１７の出力を画素毎にサンプル数で除算し、ラインを構成する画素毎にフレーム内で平均した画像データを求め、絶対値演算回路１２０によって除算回路１１９の出力を絶対値化して、第四のライン・メモリ１２１に格納する。
【０１２４】
そして、監視開始後に図５の第四のライン・メモリ１２１を図１又は図４のメモリ３として使用すればよい。
【０１２５】
第二の物理量は、雑音の最大値と最小値の差、即ちピーク・ピーク値である。これは、監視に先立って赤外線検知器に温度基準板からの赤外線を入射させて得た画像データに対して、ラインを構成する画素毎の画像データをサンプル方向に比較して最大値と最小値を求め、これらの差を求めて格納したものである。即ち、ラインを構成する画素毎の画像データの最大値と最小値の差であるから、物理的には雑音のピーク・ピーク値である。
【０１２６】
図６は、ピーク・ピーク値の計算のための構成である。
【０１２７】
図６において、１２２は１フレーム分の画像データを格納するフレーム・メモリ、１２３はライン内の同一アドレスの画素の画像データの最大値を格納する第一のレジスタ、１２３ａはライン内の同一アドレスの画素の画像データの最小値を格納する第二のレジスタ、１２４は第一のレジスタから読み出した画像データとフレーム・メモリから読み出した画像データを比較して、フレーム・メモリから読み出した画像データの方が大きい時に第一のレジスタに書き込みイネーブル信号を供給する第一のコンパレータ、１２４ａは第二のレジスタから読み出した画像データとフレーム・メモリから読み出した画像データを比較して、フレーム・メモリから読み出した画像データの方が小さい時に第二のレジスタに書き込みイネーブル信号を供給する第二のコンパレータである。
【０１２８】
フレーム・メモリ１２２には、監視に先立って赤外線検知器に温度基準板からの赤外線を入射させて得た１フレーム分の画像データを格納しておく。
【０１２９】
まず、第一のレジスタ１２３をクリアすると共に、第二のレジスタ１２３ａには想定しうる最大値を書き込んでおく。
【０１３０】
ついで、異なるラインの同一アドレスの画素の画像データを順に読み出して第一のレジスタ１２３、第一のコンパレータ１２４、第二のレジスタ１２３ａ及び第二のコンパレータ１２４ａに供給する。
【０１３１】
最初に画像データが第一のレジスタ１２３、第一のコンパレータ１２４、第二のレジスタ１２３ａ及び第二のコンパレータ１２４ａに供給された時には、供給された画像データは第一のレジスタ１２３に格納されている値より必ず大きいので、供給された画像データが第一のレジスタ１２３に格納され、又、供給された画像データは第二のレジスタ１２３ａに格納されている値より必ず小さいので、供給された画像データが第二のレジスタ１２３ａに格納される。
【０１３２】
次に、異なるラインの同一アドレスの画像データが供給された時には、第一のコンパレータ１２４は、供給された画像データが第一のレジスタ１２３から読み出された画像データより大きい時に書き込みイネーブル信号を出力し、供給された画像データが第一のレジスタ１２３から読み出された画像データより小さい時に書き込みイネーブル信号を出力しない。従って、供給された画像データが第一のレジスタ１２３から読み出された画像データより大きい時に該供給された画像データが第一のレジスタ１２３に上書きされる。
【０１３３】
又、第二のコンパレータ１２４ａは、供給された画像データが第二のレジスタ１２３ａから読み出された画像データより小さい時に書き込みイネーブル信号を出力し、供給された画像データが第二のレジスタ１２３ａから読み出された画像データより大きい時に書き込みイネーブル信号を出力しない。従って、供給された画像データが第二のレジスタ１２３ａから読み出された画像データより小さい時に該供給された画像データが第二のレジスタ１２３ａに上書きされる。
【０１３４】
上記の動作が、フレーム内のサンプル数から１を減じた数に等しい回数行なわれると、全てのラインの特定アドレスの画像データの最大値が第一のレジスタ１２３に格納され、最小値が第二のレジスタ１２３ａに格納される。
【０１３５】
１２５は第一のレジスタ１２３と第二のレジスタ１２３ａから読み出される画像データの最大値と最小値の差を求める加算回路、１２６は加算回路１２５の出力を格納する第五のライン・メモリである。
【０１３６】
全てのラインの特定アドレスの画像データの最大値と最小値が第一のレジスタ１２３と第二のレジスタ１２３ａに格納された時に該最大値と該最小値を双方のレジスタから読み出し、加算回路１２５によって該最大値と該最小値の差、即ち、ピーク・ピーク値を求め、求めたピーク・ピーク値を第五のライン・メモリ１２６の当該アドレスに格納する。
【０１３７】
上記の動作をラインを構成する画素数に等しい回数行なえば、第五のライン・メモリ１２６にはラインを構成する全ての画素の画像データのピーク・ピーク値が格納できる。
【０１３８】
そして、監視開始後に図６の第五のライン・メモリ１２６を図１又は図４ののメモリ３として使用すればよい。
【０１３９】
さて、上記の如くして求めたライン内の同一アドレスの画像データのピーク・ピーク値をそのまま画像データの変動として使用してもよいが、画素間の特性のばらつきが大きい時や欠陥画素が含まれている時には、求めた画像データのピーク・ピーク値をそのまま雑音による画像データの変動として使用することが危険なことが多い。
【０１４０】
そこで、本発明は、突出したピーク・ピーク値が生じないような処置をして画像データの変動として使用する。
【０１４１】
図７は、突出値の排除処理（その１）で、図６の構成によって求めたピーク・ピーク値に突出値がある場合にそれを排除するものである。以降、図７の符号に沿って説明する。
【０１４２】
そして、図７では、最大のピーク・ピーク値からｍ（ｍは少なくとも２以上の整数である。）番目に大きいピーク・ピーク値の間と、最小のピーク・ピーク値からｍ番目に小さいピーク・ピーク値の間で突出値の排除を行なうものとしている。
【０１４３】
Ｓ１．図６の構成によって求めたピーク・ピーク値について、最大のピーク・ピーク値からｍ番目に大きいピーク・ピーク値までをソーティングによって求める。
【０１４４】
尚、ソーティングの技術は一般的な技術となっているので、図と説明の記載は省略する。
【０１４５】
Ｓ２．（ｍ−１）番目に大きいピーク・ピーク値と、ｍ番目に大きいピーク・ピーク値の差を求める。
【０１４６】
Ｓ３．上記差が所定の閾値より大きいか否かを判定する。
【０１４７】
Ｓ４．ステップＳ４で、上記差が所定の閾値より大きいと判定された場合（Ｙｅｓ）には、（ｍ−１）番目に大きいピーク・ピーク値はｍ番目に大きいピーク・ピーク値に対して異常に突出していると考えられるので、ｍ番目のピーク・ピーク値を最大値に決定し、（ｍ−１）番目のピーク・ピーク値以上のピーク・ピーク値をｍ番目のピーク・ピーク値に置換して、ステップＳ１１にジャンプする。
【０１４８】
Ｓ５．ステップＳ４で、上記差が所定の閾値より小さいと判定された場合（Ｎｏ）には、（ｍ−２）番目のピーク・ピーク値と（ｍ−１）番目のピーク・ピーク値との差を求める。
【０１４９】
Ｓ６．上記差が所定の閾値より大きいか否かを判定する。
【０１５０】
Ｓ７．ステップＳ６で、上記差が所定の閾値より大きいと判定された場合（Ｙｅｓ）には、（ｍ−２）番目に大きいピーク・ピーク値は（ｍ−１）番目に大きいピーク・ピーク値に対して異常に突出していると考えられるので、（ｍ−１）番目のピーク・ピーク値を最大値に決定し、（ｍ−２）番目のピーク・ピーク値以上のピーク・ピーク値を（ｍ−１）番目のピーク・ピーク値に置換して、ステップＳ１１にジャンプする。
【０１５１】
そして、ステップＳ６で、上記差が所定の閾値より小さいと判定された場合（Ｎｏ）には、次に大きいピーク・ピーク値の比較を行ない、上記と同様な判定と処置を継続し、２番目のピーク・ピーク値が３番目のピーク・ピーク値に対して突出していない場合には、ステップＳ８に移行する。
【０１５２】
Ｓ８．最大のピーク・ピーク値と２番目のピーク・ピーク値との差を求める。
【０１５３】
Ｓ９．上記差が所定の閾値より大きいか否かを判定する。
【０１５４】
上記差が所定の閾値より小さいと判定された場合（Ｎｏ）には、ステップＳ１１にジャンプする。
【０１５５】
Ｓ１０．ステップＳ９で、上記差が所定の閾値より大きいと判定された場合（Ｙｅｓ）には、２番目のピーク・ピーク値を最大値に決定し、最大のピーク・ピーク値を２番目のピーク・ピーク値に置換して、ステップＳ１１にジャンプする。
【０１５６】
Ｓ１１．図６の構成によって求めたピーク・ピーク値について、最小のピーク・ピーク値からｍ番目に小さいピーク・ピーク値までをソーティングによって求める。
【０１５７】
Ｓ１２．（ｍ−１）番目に小さいピーク・ピーク値と、ｍ番目に小さいピーク・ピーク値の差を求める。
【０１５８】
Ｓ１３．上記差が所定の閾値より小さいか否かを判定する。
【０１５９】
Ｓ１４．ステップＳ１３で、上記差が所定の閾値より小さいと判定された場合（Ｙｅｓ）には、（ｍ−１）番目に小さいピーク・ピーク値はｍ番目に小さいピーク・ピーク値に対して異常に突出していると考えられるので、ｍ番目のピーク・ピーク値を最小値に決定し、（ｍ−１）番目のピーク・ピーク値以上のピーク・ピーク値をｍ番目のピーク・ピーク値に置換して、処理を終了する。
【０１６０】
Ｓ１５．ステップＳ１４で、上記差が所定の閾値より小さいと判定された場合（Ｎｏ）には、（ｍ−２）番目のピーク・ピーク値と（ｍ−１）番目のピーク・ピーク値との差を求める。
【０１６１】
Ｓ１６．上記差が所定の閾値より小さいか否かを判定する。
【０１６２】
Ｓ１７．ステップＳ１６で、上記差が所定の閾値より小さいと判定された場合（Ｙｅｓ）には、（ｍ−２）番目に小さいピーク・ピーク値は（ｍ−１）番目に小さいピーク・ピーク値に対して異常に突出していると考えられるので、（ｍ−１）番目のピーク・ピーク値を最小値に決定し、（ｍ−２）番目のピーク・ピーク値以上のピーク・ピーク値を（ｍ−１）番目のピーク・ピーク値に置換して、処理を終了する。
【０１６３】
そして、ステップＳ１６で、上記差が所定の閾値より小さいと判定された場合（Ｎｏ）には、次に小さいピーク・ピーク値の比較を行ない、上記と同様な判定と処置を継続し、２番目のピーク・ピーク値が３番目のピーク・ピーク値に対して突出していない場合には、ステップＳ１８に移行する。
【０１６４】
Ｓ１８．最小のピーク・ピーク値と２番目のピーク・ピーク値との差を求める。
【０１６５】
Ｓ１９．上記差が所定の閾値より小さいか否かを判定する。
【０１６６】
上記差が所定の閾値より小さいと判定された場合（Ｎｏ）には、処理を終了する。
【０１６７】
Ｓ２０．ステップＳ１９で、上記差が所定の閾値より小さいと判定された場合（Ｙｅｓ）には、２番目のピーク・ピーク値を最小値に決定し、最小のピーク・ピーク値を２番目のピーク・ピーク値に置換して、処理を終了する。
【０１６８】
上記処理を行なうことによって、画素のばらつきが大きい場合や欠陥画素が含まれている場合にも、異常なピーク・ピーク値を雑音による画像データの変動として使用することがなくなるので、図１又は図４の構成によるピーク検出の確度を高めることができる。
【０１６９】
ここで、最大値又は最小値からｍ番目のピーク・ピーク値と（ｍ−１）番目のピーク・ピーク値の比較を最初に行なうのは、（ｍ−１）番目のピーク・ピーク値以上が異常に突出していて、ｍ番目以下のピーク・ピーク値の分布が妥当な場合に、異常値を全て排除できる利点があるためである。
【０１７０】
しかし、上記のように異常値が複数あることは想定しにくい場合には、最大値又は最小値から１番目のピーク・ピーク値と２番目のピーク・ピーク値の比較を最初に行なうことも可能である。
【０１７１】
そして、このことは、以下に記載する突出値の排除処理においても同様である。
【０１７２】
図８は、突出値の排除処理（その２）で、赤外線検知器を構成する画素の画像データに突出値がある場合に、画像データの突出値に影響されていると思われるピーク・ピーク値を排除し、異常値が混入しないようにするものである。以降、図８の符号に沿って説明する。
【０１７３】
Ｓ６１．赤外線検知を構成する画素毎に画像データの平均値を求めて最大からｍ番目までソーティングし、又、ピーク・ピーク値も最大からｍ番目までソーティングする。
【０１７４】
Ｓ６２．（ｍ−１）番目に大きい画像データの平均値と、ｍ番目に大きい画像データの平均値の差を求める。
【０１７５】
Ｓ６３．上記差が所定の閾値より大きいか否かを判定する。
【０１７６】
Ｓ６４．ステップＳ６３で、上記差が所定の閾値より大きいと判定された場合（Ｙｅｓ）には、（ｍ−１）番目に大きいピーク・ピーク値はｍ番目に大きいピーク・ピーク値に対して異常に突出していると考えられるので、ｍ番目のピーク・ピーク値を最大値に決定し、（ｍ−１）番目のピーク・ピーク値以上のピーク・ピーク値をｍ番目のピーク・ピーク値に置換して、ステップＳ７１にジャンプする。
【０１７７】
Ｓ６５．ステップＳ６３で、上記差が所定の閾値より小さいと判定された場合（Ｎｏ）には、（ｍ−２）番目の画像データの平均値と（ｍ−１）番目の画像データの平均値との差を求める。
【０１７８】
Ｓ６６．上記差が所定の閾値より大きいか否かを判定する。
【０１７９】
Ｓ６７．ステップＳ６６で、上記差が所定の閾値より大きいと判定された場合（Ｙｅｓ）には、（ｍ−２）番目に大きいピーク・ピーク値は（ｍ−１）番目に大きいピーク・ピーク値に対して異常に突出していると考えられるので、（ｍ−１）番目のピーク・ピーク値を最大値に決定し、（ｍ−２）番目のピーク・ピーク値以上のピーク・ピーク値を（ｍ−１）番目のピーク・ピーク値に置換して、ステップＳ７１にジャンプする。
【０１８０】
そして、ステップＳ６６で、上記差が所定の閾値より小さいと判定された場合（Ｎｏ）には、次に大きい画像データの平均値の比較を行ない、上記と同様な判定と処置を継続し、２番目の画像データの平均値が３番目の画像データの平均値に対して突出していない場合には、ステップＳ６８に移行する。
【０１８１】
Ｓ６８．最大の画像データの平均値と２番目の画像データの平均値との差を求める。
【０１８２】
Ｓ６９．上記差が所定の閾値より大きいか否かを判定する。
【０１８３】
上記差が所定の閾値より小さいと判定された場合（Ｎｏ）には、ステップＳ７１にジャンプする。
【０１８４】
Ｓ７０．ステップＳ６９で、上記差が所定の閾値より大きいと判定された場合（Ｙｅｓ）には、２番目のピーク・ピーク値を最大値に決定し、最大のピーク・ピーク値を２番目のピーク・ピーク値に置換して、ステップＳ７１にジャンプする。
【０１８５】
Ｓ７１．赤外線検知を構成する画素毎に画像データの平均値を求めて最小からｍ番目までソーティングし、又、ピーク・ピーク値も最小からｍ番目までソーティングする。
【０１８６】
Ｓ７２．（ｍ−１）番目に小さい画像データの平均値と、ｍ番目に小さい画像データの平均値の差を求める。
【０１８７】
Ｓ７３．上記差が所定の閾値より小さいか否かを判定する。
【０１８８】
Ｓ７４．ステップＳ７３で、上記差が所定の閾値より小さいと判定された場合（Ｙｅｓ）には、（ｍ−１）番目に小さいピーク・ピーク値はｍ番目に小さいピーク・ピーク値に対して異常に突出していると考えられるので、ｍ番目のピーク・ピーク値を最小値に決定し、（ｍ−１）番目のピーク・ピーク値以上のピーク・ピーク値をｍ番目のピーク・ピーク値に置換して、処理を終了する。
【０１８９】
Ｓ７５．ステップＳ７３で、上記差が所定の閾値より小さいと判定された場合（Ｎｏ）には、（ｍ−２）番目の画像データの平均値と（ｍ−１）番目の画像データの平均値との差を求める。
【０１９０】
Ｓ７６．上記差が所定の閾値より小さいか否かを判定する。
【０１９１】
Ｓ７７．ステップＳ７６で、上記差が所定の閾値より小さいと判定された場合（Ｙｅｓ）には、（ｍ−２）番目に小さいピーク・ピーク値は（ｍ−１）番目に小さいピーク・ピーク値に対して異常に突出していると考えられるので、（ｍ−１）番目のピーク・ピーク値を最小値に決定し、（ｍ−２）番目のピーク・ピーク値以上のピーク・ピーク値を（ｍ−１）番目のピーク・ピーク値に置換して、処理を終了する。
【０１９２】
そして、ステップＳ７６で、上記差が所定の閾値より小さいと判定された場合（Ｎｏ）には、次に小さい画像データの平均値の比較を行ない、上記と同様な判定と処置を継続し、２番目の画像データの平均値が３番目の画像データの平均値に対して突出していない場合には、ステップＳ７８に移行する。
【０１９３】
Ｓ７８．最小の画像データの平均値と２番目の画像データの平均値との差を求める。
【０１９４】
Ｓ７９．上記差が所定の閾値より小さいか否かを判定する。
【０１９５】
上記差が所定の閾値より小さいと判定された場合（Ｎｏ）には、処理を終了する。
【０１９６】
Ｓ８０．ステップＳ７９で、上記差が所定の閾値より小さいと判定された場合（Ｙｅｓ）には、２番目のピーク・ピーク値を最小値に決定し、最小のピーク・ピーク値を２番目のピーク・ピーク値に置換して、処理を終了する。
【０１９７】
上記処理を行なうことによって、画素のばらつきが大きい場合や欠陥画素が含まれている場合にも、異常なピーク・ピーク値を画像データの変動として使用することがなくなるので、図１又は図４の構成によるピーク検出の確度を高めることができる。
【０１９８】
図９は、突出値の排除処理（その３）で、ラインを構成する画素毎に画像データの突出値を排除して、突出値を排除した画像データを使用して図６の構成によってピーク・ピーク値を求めるられるようにするものである。以降、図９の符号に沿って説明する。
【０１９９】
Ｓ３１．同一ライン内で最大の画像データからからｍ番目に大きい画像データまでをソーティングによって求める。
【０２００】
Ｓ３２．（ｍ−１）番目に大きい画像データと、ｍ番目に大きい画像データの差を求める。
【０２０１】
Ｓ３３．上記差が所定の閾値より大きいか否かを判定する。
【０２０２】
Ｓ３４．ステップＳ３３で、上記差が所定の閾値より大きいと判定された場合（Ｙｅｓ）には、（ｍ−１）番目に大きい画像データはｍ番目に大きい画像データに対して異常に突出していると考えられるので、ｍ番目の画像データを最大値に決定し、（ｍ−１）番目の画像データ以上の画像データをｍ番目の画像データに置換して、ステップＳ４１にジャンプする。
【０２０３】
Ｓ３５．ステップＳ３３で、上記差が所定の閾値より小さいと判定された場合（Ｎｏ）には、（ｍ−２）番目の画像データと（ｍ−１）番目の画像データとの差を求める。
【０２０４】
Ｓ３６．上記差が所定の閾値より大きいか否かを判定する。
【０２０５】
Ｓ３７．ステップＳ３６で、上記差が所定の閾値より大きいと判定された場合（Ｙｅｓ）には、（ｍ−２）番目に大きい画像データは（ｍ−１）番目に大きい画像データに対して異常に突出していると考えられるので、（ｍ−１）番目の画像データを最大値に決定し、（ｍ−２）番目の画像データ以上の画像データを（ｍ−１）番目の画像データに置換して、ステップＳ４１にジャンプする。
【０２０６】
そして、ステップＳ３６で、上記差が所定の閾値より小さいと判定された場合（Ｎｏ）には、次に大きい画像データの比較を行ない、上記と同様な判定と処置を継続し、２番目の画像データが３番目の画像データに対して突出していない場合には、ステップＳ３８に移行する。
【０２０７】
Ｓ３８．最大の画像データと２番目の画像データとの差を求める。
【０２０８】
Ｓ３９．上記差が所定の閾値より大きいか否かを判定する。
【０２０９】
上記差が所定の閾値より小さいと判定された場合（Ｎｏ）には、ステップＳ４１にジャンプする。
【０２１０】
Ｓ４０．ステップＳ３９で、上記差が所定の閾値より大きいと判定された場合（Ｙｅｓ）には、２番目の画像データを最大値に決定し、最大の画像データを２番目の画像データに置換して、ステップＳ４１にジャンプする。
【０２１１】
Ｓ４１．同一ライン内で最小の画像データからからｍ番目に小さい画像データまでをソーティングによって求める。
【０２１２】
Ｓ４２．（ｍ−１）番目に小さい画像データと、ｍ番目に小さい画像データの差を求める。
【０２１３】
Ｓ４３．上記差が所定の閾値より小さいか否かを判定する。
【０２１４】
Ｓ４４．ステップＳ４３で、上記差が所定の閾値より小さいと判定された場合（Ｙｅｓ）には、（ｍ−１）番目に小さい画像データはｍ番目に小さい画像データに対して異常に突出していると考えられるので、ｍ番目の画像データを最小値に決定し、（ｍ−１）番目の画像データ以上の画像データをｍ番目の画像データに置換して、ステップＳ５１にジャンプする。
【０２１５】
Ｓ４５．ステップＳ４３で、上記差が所定の閾値より小さいと判定された場合（Ｎｏ）には、（ｍ−２）番目の画像データと（ｍ−１）番目の画像データとの差を求める。
【０２１６】
Ｓ４６．上記差が所定の閾値より小さいか否かを判定する。
【０２１７】
Ｓ４７．ステップＳ４６で、上記差が所定の閾値より小さいと判定された場合（Ｙｅｓ）には、（ｍ−２）番目に小さい画像データは（ｍ−１）番目に小さい画像データに対して異常に突出していると考えられるので、（ｍ−１）番目の画像データを最小値に決定し、（ｍ−２）番目の画像データ以上の画像データを（ｍ−１）番目の画像データに置換して、ステップＳ５１にジャンプする。
【０２１８】
そして、ステップＳ４６で、上記差が所定の閾値より小さいと判定された場合（Ｎｏ）には、次に小さい画像データの比較を行ない、上記と同様な判定と処置を継続し、２番目の画像データが３番目の画像データに対して突出していない場合には、ステップＳ４８に移行する。
【０２１９】
Ｓ４８．最小の画像データと２番目の画像データとの差を求める。
【０２２０】
Ｓ４９．上記差が所定の閾値より小さいか否かを判定する。
【０２２１】
上記差が所定の閾値より小さいと判定された場合（Ｎｏ）には、ステップＳ５１に移行する。
【０２２２】
Ｓ５０．一方、ステップＳ４９で、上記差が所定の閾値より小さいと判定された場合（Ｙｅｓ）には、２番目の画像データを最小値に決定し、最小の画像データを２番目の画像データに置換して、ステップＳ５１に移行する。
【０２２３】
Ｓ５１．上記処理を全てのラインについて行なったか否かを判定する。
【０２２４】
Ｓ５２．ステップＳ５１で、上記処理を全てのラインについて終了していないと判定された場合（Ｎｏ）には、ライン番号を歩進して、ステップＳ３１にジャンプする。
【０２２５】
一方、ステップＳ５１で、上記処理を全てのラインについて行なったと判定された場合（Ｙｅｓ）には、処理を終了する。
【０２２６】
上記処理を行なうことによって、ライン内で画素毎に見て突出した画像データを排除してからピーク・ピーク値を求めることができるようになるので、処理時間が若干増加することを許容できれば、画素のばらつきが大きい場合や欠陥画素が含まれている場合にも、図１又は図４の構成によるピーク検出の確度を一層高めることができる。
【０２２７】
ところで、図７乃至図９では、ラインを構成する同一アドレスの画素の画像データのピーク・ピーク値自体のばらつきが大きい場合や、ラインを構成する同一アドレスの画素の画像データ自体のばらつきが大きい場合に、突出して大きいピーク・ピーク値及び突出して小さいピーク・ピーク値を妥当なピーク・ピーク値に置換して画像データの変動とするとして説明した。
【０２２８】
しかし、突出して大きいピーク・ピーク値は瞬時的に高レベルの雑音が生じたとか欠陥画素であるとか、なんらかの異常を表わす可能性が高いが、突出して小さいピーク・ピーク値が異常を表わすか否かは単純には断定できないこともあり得て、突出して小さいピーク・ピーク値を他のピーク・ピーク値に置換すべきか否かは監視対象の特性も含め、しかも、経験的に判断する方がよいことも少なくない。
【０２２９】
従って、画像データの変動値として、異なるラインにおいて同一アドレスの画素の画像データのピーク・ピーク値を採用する場合で、該ピーク・ピーク値のばらつきが大きい場合には、少なくとも突出して大きいピーク・ピーク値を妥当なピーク・ピーク値に置換して該画像データの変動とすることが一般的であるといえる。
【０２３０】
さて、第三の物理量は、画素ごとに求めた画像データの標準偏差δ（ｉ）である。これは、監視に先立って赤外線検知器に温度基準板からの赤外線を入射させて、ラインを構成する画素毎の画像データそのものと、ラインを構成する画像データをフレーム内でサンプル方向に平均した平均値の差の２乗を平均したもので、次の式で表される。
【０２３１】
δ（ｉ）＝（Σ(S_ij−mean(S_i))²/(n-1))^1/2
但し、ｉはライン内の画素番号、
ｊはライン番号、
ｎはライン数、
Ｓ_ijはｊライン目のｉ番目の画素の画像データ、
mean（Ｓ_i) は全ラインにわたるｉ画素目の画像データの平均値
である。従って、δ（ｉ）は全ラインにわたるｉ画素目の画像データの標準偏差である。
【０２３２】
図１０は、標準偏差の計算のための構成である。
【０２３３】
図１０において、１２７は加算回路、１２８は第六のライン・メモリ、１２９は第七のライン・メモリ、１３０は第二のフレーム・メモリ、１３１は標準偏差計算部、１３２は第八のライン・メモリである。
【０２３４】
加算回路１２７、第六のライン・メモリ１２８によって、ラインを構成する画素毎の画像データを全ラインに渡って加算して第七のライン・メモリ１２９に格納する。
【０２３５】
一方、ラインを構成する画素毎の画像データを全ラインにわたって加算している間に、第二のフレーム・メモリ１３０に１フレーム分の画像データが格納される。
【０２３６】
標準偏差計算部１３１は例えばデジタル信号プロセッサで構成され、第七のライン・メモリ１２９が格納している、ラインを構成する画素毎の全ラインにわたる画像データの加算値と、第二のフレーム・メモリが格納している各々の画素の画像データを取り込んで、ラインを構成する同一番号の画素の画像データの標準偏差δ（ｉ）を上の式によって計算し、第八のライン・メモリ１３２に格納する。尚、図１０の構成は、ラインを構成する同一番号の画素の画像データの平均値は標準偏差計算部で求めることを想定した構成である。
【０２３７】
そして、図１０の第八のライン・メモリを図１又は図４のメモリとして使用して、画像データの変動データとすればよい。
【０２３８】
続いて、本発明のエッジ処理回路の他の実施の形態について説明する。
【０２３９】
図１１は、本発明のエッジ処理回路の第三の実施の形態である。
【０２４０】
図１１において、１ａは平滑フィルタで、フリップ・フロップ１１ｉ、１１ｊ、１１ｋ、１１ｍ及び１１ｎ、フリップ・フロップ１１ｉ、１１ｊ、１１ｋ、１１ｍ及び１１ｎの出力を加算する加算回路１４ｈ、加算する画像データ数を格納するレジスタ１５ａ、加算回路１４ｈの出力をレジスタ１５ａに格納されている数で除算する除算回路１６ａによって構成される。
【０２４１】
２はラプラシアン・フィルタに代表されるエッジ強調フィルタである。
【０２４２】
図１１の構成は、エッジ強調フィルタの前処理として赤外線検知器のライン方向に画像データを平均化するもので、これにより、画素毎のばらつきを抑圧しながらサンプル方向のエッジをシャープに強調することができる。
【０２４３】
尚、図１１においてフリップ・フロップを５つ縦続接続する構成を示しているが、これは１×５の画像に対して平均化をする単なる例で、ｍ×ｎ（ｍ、ｎは正の整数）の構成も可能である。
【０２４４】
図１２は、本発明のエッジ処理回路の第四の実施の形態である。
【０２４５】
図１２において、１ｂは平滑フィルタで、フリップ・フロップ１１ｐ、１１ｑ、１１ｒ、１１ｓ及び１１ｔ、フリップ・フロップ１１ｐ乃至１１ｔの出力に乗算する係数を格納するレジスタ１５ｂ、１５ｃ、１５ｄ、１５ｅ及び１５ｆ、フリップ・フロップ１１ｐ乃至１１ｔの出力に、それぞれ、レジスタ１５ｂ乃至１５ｆに格納されている係数を乗算する乗算回路１７、１７ａ、１７ｂ、１７ｃ及び１７ｄ、乗算回路１７乃至１７ｄの出力を加算する加算回路１４ｉ、レジスタ１５ｂ乃至１５ｆの出力を加算する加算回路１４ｊ、加算回路１４ｉの出力を加算回路１４ｊの出力で除算する除算回路１６ｂによって構成される。
【０２４６】
又、２はラプラシアン・フィルタによって代表されるエッジ強調フィルタである。
【０２４７】
図１２の構成は、エッジ強調フィルタの前処理として赤外線検知器のライン方向に画像データを平均化する際に、素子毎に異なる係数を乗算してから平均化するもので、これにより、画素毎のばらつきを抑圧しながらサンプル方向のエッジをシャープに強調することができる上に、特定の画素を更に強調することが可能になるため、用途に応じて画像処理を柔軟に行なうことができるようになる。
【０２４８】
尚、図１２においてフリップ・フロップを５つ縦続接続する構成を示しているが、これは１×５の画像に対して平均化をする単なる例で、ｍ×ｎの構成も可能である。
【０２４９】
図１３は、本発明のラプラシアン・フィルタの構成である。
【０２５０】
図１３において、２１、２１ａ、２１ｂ、２１ｃ、２１ｄ、２１ｅ、２１ｆ、２１ｇ、２１ｈ、２１ｉ及び２１ｊはフリップ・フロップ、２２は１ライン分の遅延時間の第一の遅延回路、２３は２ライン分の遅延時間の第二の遅延回路、２４、２４ａ、２４ｂ及び２４ｃは加算回路、２５は強調係数を格納するレジスタ、２６はフリップ・フロップ２１ｃの出力にレジスタ２５に格納されている係数を乗算する乗算回路である。
【０２５１】
図１３のラプラシアン・フィルタと図１８のラプラシアン・フィルタの違いは、図１３においては、フリップ・フロップ２１とフリップ・フロップ２１ａの間にフリップ・フロップ２１ｇを挿入し、フリップ・フロップ２１ｂとフリップ・フロップ２１ｃの間にフリップ・フロップ２１ｈを挿入し、フリップ・フロップ２１ｃとフリップ・フロップ２１ｄの間にフリップ・フロップ２１ｉを挿入し、フリップ・フロップ２１ｅとフリップ・フロップ２１ｆの間にフリップ・フロップ２１ｊを挿入したことである。そして、挿入したフリップ・フロップ２１ｇ、２１ｈ、２１ｉ及び２１ｊの出力は後段の加算回路及び乗算回路には供給されない。
【０２５２】
図１４は、面的に見た図１３のラプラシアン・フィルタの出力である。
【０２５３】
即ち、平均化された画像データを有する仮想的な５×３の２次元画像の中心の画素と、該中心の画素の左右の画素と１つ離れた上下の画素について有効な平均化された画像データを有するものとなっており、且つ、該中心の画像データが（−４）倍されている。
【０２５４】
従って、該中心の画素がエッジを形成する画素でない場合には、（Ａ₂＋Ｂ₁＋Ｂ₃＋Ｃ₂）と４×Ｂ₂の差は小さく、該中心の画素がエッジを形成する画素である場合には、（Ａ₂＋Ｂ₁＋Ｂ₃＋Ｃ₂）と４×Ｂ₂の差が大きくなるので、図１３に示した演算によってエッジを強調することができる。
【０２５５】
しかも、仮想的な５×３の２次元画像の中で、有効な画像データを有する画素番号は全て偶数（又は、奇数）になる。これにより、エッジを強調に使用される画素が仮想的に同一フィールドにあることになり、同一フィールド内でエッジ強調を行なうことができるようになる。
【０２５６】
従って、１つの赤外線検知器によって２つのフィールドの画像データを取得して、１／６０秒ずらして１フレームとする場合において、等価的に、同一フレームに異なるフィールドの画像データが表示されることがなくなり、エッジ強調をしても、又、動きが大きい目標物体を捉える時にも表示品質の劣化は生じない。
【０２５７】
尚、図１３においてはフリップ・フロップを使用して本発明のラプラシアン・フィルタを構成する例を説明したが、フリップ・フロップを適用することには限定されない。
【０２５８】
即ち、ランダム・アクセス・メモリを適用しても同様な機能の回路を構成することも可能である。従って、図１３の構成における本質は、奇数番目のフィールドの画像データを保持する記憶素子と偶数番目のフィールドの画像データを保持する記憶素子の間にダミーの記憶素子を挿入し、
エッジ強調フィルタの出力を形成すべき画像データを全て同一のフィールドの画像データとしてエッジ強調するエッジ強調フィルタということになる。
【０２５９】
【発明の効果】
本発明の第一の手段によれば、該エッジ強調された画像データと該第一の閾値を比較して得たデジタル信号の論理レベルが“１”であれば、着目している画素にエッジが存在することが確実であり、該エッジ強調された画像データと該第二の閾値を比較して得たデジタル信号の論理レベルが“０”であれば、着目している画素にエッジが存在しないことが確実であり、該エッジ強調された画像データと該第一の閾値を比較して得たデジタル信号の論理レベルが“１”で、該エッジ強調された画像データと該第二の閾値を比較して得たデジタル信号の論理レベルが“０”であれば、着目している画素にエッジが存在する可能性を認識することができるので、エッジ検出の確度を高めることができる。
【０２６０】
本発明の第二の手段によれば、赤外線検知器の赤外線検知素子方向に画像データの平均化を行なうことができ、画像データの変動を抑圧しながらサンプル方向のエッジを強調することができる。
【０２６１】
本発明の第三の手段によれば、ラプラシアン・フィルタの出力を形成すべき行の画像データを全て仮想的な奇数番目のフィールド又は仮想的な偶数番目のフィールドの画像データとして取り扱うことになるので、２つのフィールドの画像データを異なるタイミングで取得して１つのフレームに表示するという特殊な画像処理をしている場合に、同一フレームの画像データによってエッジ強調をすることができる。従って、エッジ強調による赤外線画像の表示品質の低下を防止することが可能になる。
【図面の簡単な説明】
【図１】本発明のエッジ処理回路の第一の実施の形態。
【図２】エッジ監視フィルタの構成。
【図３】図１の構成のエッジ検出機能を説明する図。
【図４】本発明のエッジ処理回路の第二の実施の形態。
【図５】低周波成分の計算のための構成。
【図６】ピーク・ピーク値の計算のための構成。
【図７】突出値の排除処理（その１）。
【図８】突出値の排除処理（その２）。
【図９】突出値の排除処理（その３）。
【図１０】標準偏差の計算のための構成。
【図１１】本発明のエッジ処理回路の第三の実施の形態。
【図１２】本発明のエッジ処理回路の第四の実施の形態。
【図１３】本発明のラプラシアン・フィルタの構成。
【図１４】面的に見た図１３のラプラシアン・フィルタの出力。
【図１５】エッジ処理機能を備える赤外線画像装置の一般的構成。
【図１６】平滑フィルタの構成。
【図１７】２次元画像と平滑フィルタの対比。
【図１８】ラプラシアン・フィルタの構成。
【図１９】面的に見たラプラシアン・フィルタの出力。
【図２０】従来のエッジ検出方式の問題点を説明する図。
【図２１】エッジ強調フィルタを備える赤外線画像装置の一般的構成。
【図２２】フィールド毎にエッジ検出する場合の問題点。
【符号の説明】
１、１ａ、１ｂ平滑フィルタ
１１、１１ａ、１１ｂ、１１ｃ、１１ｄ、１１ｅ、１１ｆ、１１ｇ、１１ｈ、１１ｉ、１１ｊ、１１ｋ、１１ｍ、１１ｎ、１１ｐ、１１ｑ、１１ｒ、１１ｓ、１１ｔフリップ・フロップ
１２第一の遅延回路
１３第二の遅延回路
１４、１４ａ、１４ｂ、１４ｃ、１４ｄ、１４ｅ、１４ｆ、１４ｇ、１４ｈ、１４ｉ、１４ｊ加算回路
１５、１５ａ、１５ｂ、１５ｃ、１５ｄ、１５ｅレジスタ
１６、１６ａ、１６ａ除算回路
１７、１７ａ、１７ｂ、１７ｃ、１７ｄ乗算回路
２エッジ強調フィルタ
２１、２１ａ、２１ｂ、２１ｃ、２１ｄ、２１ｅ、２１ｆ、２１ｇ、２１ｈ、２１ｉ、２１ｊフリップ・フロップ
２２第一の遅延回路
２３第二の遅延回路
２４、２４ａ、２４ｂ、２４ｃ加算回路
２５レジスタ
２６乗算回路
３メモリ
４レジスタ
５、５ａ加算回路
６、６ａコンパレータ
７エッジ監視フィルタ
８レジスタ
９乗算回路
７１、７１ａ、７１ｂ、７１ｃ、７１ｄ、７１ｅ、７１ｆ、７１ｇ、７１ｈ
フリップ・フロップ
７２第一の遅延回路
７３第二の遅延回路
７４デコーダ
１０１光学系
１０２赤外線検知器
１０３アナログ・デジタル変換回路（Ａ／Ｄ）
１０４感度補正部
１０５、１０５ａエッジ処理部
１０６画像処理部
１０７表示部
１１１加算回路
１１２第一のライン・メモリ
１１３論理積回路
１１４論理積回路
１１５第二のライン・メモリ
１１６第三のライン・メモリ
１１７加算回路
１１８レジスタ
１１９除算回路
１２０絶対値演算回路
１２１第四のライン・メモリ
１２２フレーム・メモリ
１２３第一のレジスタ
１２３ａ第二のレジスタ
１２４コンパレータ
１２４ａコンパレータ
１２５加算回路
１２６第五のライン・メモリ
１２７加算回路
１２８第六のライン・メモリ
１２９第七のライン・メモリ
１３０第二のフレーム・メモリ
１３１標準偏差計算部
１３２第八のライン・メモリ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an infrared image edge processing method, and in particular, accurately processes an edge and displays it on an image even if there is a fluctuation in image data due to noise or the like in the output of an infrared detection element constituting the infrared detector. Image processing that enables image processing, and an image that does not feel uncomfortable even when special image processing is performed in which image data of two fields is acquired at different timings and displayed in one frame. The present invention relates to an edge processing method for infrared images.
[0002]
All objects emit infrared rays with an intensity that is uniquely related to the temperature of the object itself. The wavelength of the emitted infrared light depends on the substance forming the object.
[0003]
An infrared imaging device detects infrared rays emitted from an object and displays an image, so it is very different from an imaging device that captures visible light and displays an image using various cameras. Is possible.
[0004]
Also, unlike radar and sonar, it does not actively radiate electromagnetic waves, sound waves, or ultrasonic waves to recognize the object, but passively recognizes the object by capturing infrared light emitted by the object to be recognized. Therefore, there is an advantage that the object can be recognized without being noticed on the object side to be recognized.
[0005]
Furthermore, detecting an infrared ray emitted from an object and recognizing the object means that the object can be recognized in a non-contact manner, and thus it is impossible or impossible to approach the object to be recognized. It is possible to easily recognize an object even in the case where there is danger.
[0006]
Taking advantage of these many features, infrared imaging devices are used in a wide range of fields, both public and private, including surveillance cameras, thermography, remote sensing, and forward monitoring devices for moving objects such as aircraft and vehicles. . Recently, the use in the fields of medical care and sports physiology has attracted attention.
[0007]
As described above, there are various types of infrared imaging devices that can be applied to a very wide technical range, but from a different point of view, the infrared intensity distribution itself can be displayed as an image and the infrared intensity distribution. The edge processing is performed to classify the presence of the object and the shape of the object being tracked.
[0008]
Particularly in the latter case, it is important that the edge processing is accurate and that there is no deterioration in display quality due to the edge processing.
[0009]
In such a background, an edge processing method of an infrared image capable of accurately processing an edge and displaying it on an image even if there is a change in image data of an infrared detection element constituting the infrared detector, and a special Development of an infrared image edge processing method capable of displaying an image that does not feel uncomfortable even when image processing is performed is awaited.
[0010]
[Prior art]
FIG. 15 shows a general configuration of an infrared imaging apparatus having an edge processing function.
[0011]
In FIG.
101 is an optical system that receives and scans infrared light that arrives;
102 is an infrared detector that detects infrared light scanned by the optical system 101 and converts it into an analog electrical signal;
103 is an analog / digital conversion unit that amplifies the analog electric signal output from the infrared detector 102 to a required level and then converts it to a digital signal;
Reference numeral 104 denotes a sensitivity correction unit that corrects sensitivity variations among the individual infrared detection elements constituting the infrared detector 102.
[0012]
An edge processing unit 105 is stored in the smoothing filter 1, the edge enhancement filter 2 typified by a Laplacian filter, the register 4 for storing the edge detection threshold value, and the output of the edge enhancement filter 2 and the register 4. The comparator 6 outputs a digital signal having a logic level “0” or “1” by comparing the threshold values.
[0013]
In response to the sensitivity-corrected image data and the edge detection signal output by the edge processing unit 106, the image data is converted into an analog signal after being subjected to processing such as binarization processing and histogram conversion, and an image display signal is output. Image processing unit,
Reference numeral 107 denotes a display unit that displays an image display signal output from the image processing unit 106 and outputs visible light from the screen.
[0014]
FIG. 16 shows a configuration of the smoothing filter 1 that receives the image data output from the sensitivity correction unit 104 in FIG. 15 and calculates the average value of the image data of a specific pixel and the image data of surrounding pixels.
[0015]
In FIG. 16, 11 to 11h are flip-flops for holding image data, 12 is a first delay circuit, 13 is a second delay circuit, 14 to 14g are addition circuits, and 15 is a register for storing the average number of pixels. , 16 are division circuits.
[0016]
Since the image data is a multi-bit digital signal, the flip-flop, delay circuit, adder circuit, register, and divider circuit are all circuits that can handle a plurality of bits. However, if it is accurately illustrated, the figure becomes complicated, so that it is shown as if it is a single bit.
[0017]
Now, the image data input to the smoothing filter having the configuration shown in FIG. 16 is line data obtained by sequentially converting one-dimensionally scanned infrared light by each infrared detection element constituting the infrared detector in order.
[0018]
Therefore, in contrast to the image data held in the flip-flop 11d in FIG. 16, the image data held in the flip-flops 11 to 11c and the flip-flops 11e to 11h can become image data of surrounding pixels. Since the image data of a specific line is directly supplied to the flip-flop 11, the delay time of the first delay circuit 12 is set to one line delay time, and the delay time of the second delay circuit 13 is set to two lines. What is necessary is just a delay time.
[0019]
That is, FIG. 17 shows a comparison between the two-dimensional image and the smooth flip-flop data.
[0020]
In FIG. 17, a two-dimensional image is indicated by a thick solid rectangle, and a single letter constituting the infrared detector is indicated by a lowercase alphabet with a suffix “·” in the two-dimensional image. This is image data for each infrared detection element. In the following description, “single infrared detection element constituting the infrared detector” will be referred to as “pixel” in the description relating to the image data, and “infrared detection element” in the description relating to the physical infrared detection element. , To distinguish.
[0021]
The individual infrared detection elements constituting the infrared detector sequentially convert the one-dimensionally scanned infrared light to form line data, so that the line data is sequentially output in the direction of the vertical arrow in FIG. The
[0022]
The two-dimensional image is formed by sequentially outputting the line data in the direction of the horizontal arrow in FIG.
[0023]
Since the delay times of the first delay circuit 12 and the second delay circuit 13 in FIG. 16 are set as described above, the pixel data b is stored in the flip-flop 11d in FIG.₂Is held in the flip-flops 11b, 11a and 11, respectively, the pixel data c_Three, C₂And c₁Are stored in the flip-flops 11e and 11c, respectively._ThreeAnd b₁Are stored in the flip-flops 11h, 11g, and 11f, respectively._Three, A₂And a₁Is retained. This state is shown in FIG. 17 by 3 × 3 two-dimensional image data surrounded by a thin solid line rectangle.
[0024]
Therefore, when the image data of the next pixel is input, the 3 × 3 two-dimensional image data held in the flip-flops 11 to 11h in FIG. 16 becomes image data surrounded by a thin broken line in FIG.
[0025]
After all the image data in the line direction is input, 3 × 3 two-dimensional image data shifted by one line is held in the flip-flops 11 to 11h in FIG. This is shown in FIG. 17 by 3 × 3 two-dimensional image data of a thin one-dot chain line.
[0026]
The direction of the vertical arrow in FIG. 17 is referred to as a line direction, one line of image data is referred to as line data or sample data, and the direction of the horizontal arrow in FIG. 17 is referred to as a sample direction.
[0027]
As described above, the image data held in the flip-flops 11 to 11h in FIG. 16 is supplied to the adding circuit, and the adding circuit 14 outputs the image data c._ThreeAnd image data c₂Are added, and the output of the addition circuit 14 and the image data c are added in the addition circuit 14a.₁Is added. One line different image data b_i(In this case, i is 1 to 3.) Two lines of different image data a_iThe same applies to.
[0028]
Further, the output of the adder circuit 14a and the output of the adder circuit 14c are added by the adder circuit 14f, and the output of the adder circuit 14f and the output of the adder circuit 14e are added by the adder circuit 14g to obtain a 3 × 3 two-dimensional image. The image data of the center pixel and the image data of 8 pixels surrounding the center pixel, that is, the image data of 9 pixels forming a 3 × 3 two-dimensional image are all added.
[0029]
Here, since the number of pixels to which the image data is added is 9, 9 is stored in the register 15, and the division circuit 16 divides the output of the addition circuit 14g by 9 and averages it, and 3 × 3 2 The image data is the pixel at the center of the three-dimensional image.
[0030]
By this averaging, even if variations remain in image data of pixels forming a 3 × 3 two-dimensional image, the influence can be mitigated.
[0031]
FIG. 18 shows the configuration of a Laplacian filter. Since the Laplacian filter is a typical edge enhancement filter, the configuration of the Laplacian filter is shown as the edge enhancement filter.
[0032]
In FIG. 18, 21 to 21f are flip-flops, 22 is a first delay circuit, 23 is a second delay circuit, 24 to 24c are adder circuits, 25 is a register for storing the enhancement coefficient 4, and 26 is a multiplier circuit. is there.
[0033]
Here, the enhancement coefficient is set to 4, as will be apparent from the following description, the averaged pixel data of the center pixel of the 3 × 3 two-dimensional image is set above and below the center pixel and This is because emphasis is made between the averaged pixel data of the left and right four pixels.
[0034]
The Laplacian filter in FIG. 18 is supplied with the output of the smoothing filter in FIG. Since the output of the smoothing filter is image data obtained by averaging the image data held in the smoothing filter, a in FIG._i, B_iAnd c_iCorresponding to A_i, B_iAnd C_i, The image data b in FIG. 16 is displayed on the flip-flop 21c.₂Averaged image data B corresponding to₂Is stored in the flip-flop 21a, the averaged image data C is stored in the flip-flop 21a.₂However, the flip-flop 21 contains the averaged image data C₁However, the averaged image data B is stored in the flip-flop 21d._ThreeHowever, the averaged image data B is stored in the flip-flop 21b.₁However, the flip-flop 21f has the averaged image data A₂However, the averaged image data A is stored in the flip-flop 21e.₁Is retained.
[0035]
Then, the image data C averaged by the adder circuits 24, 24a and 24b₂, B₁, A₂The image data B averaged by the multiplication circuit 26 is added.₂Is multiplied by the emphasis coefficient 4, and the difference between the output of the adder circuit 24b and the output of the multiplier circuit 26 is obtained and output.
[0036]
FIG. 19 is an output of a Laplacian filter viewed from a plane.
[0037]
That is, FIG. 19 has effective averaged image data for the center pixel of the 3 × 3 two-dimensional image having the averaged image data and four pixels above, below, left, and right of the center pixel. The center image data is multiplied by (−4).
[0038]
Therefore, if the central pixel is not a pixel forming an edge, (A₂+ B₁+ B_Three+ C₂) And 4 x B₂When the center pixel is a pixel forming an edge, (A₂+ B₁+ B_Three+ C₂) And 4 x B₂Therefore, the edge can be emphasized by the calculation shown in FIG.
[0039]
That is, in the infrared imaging apparatus having the configuration shown in FIG. 15, a smoothing filter is used so that fluctuation due to noise or the like in pixel image data is not recognized as an edge, and an edge is detected by the output of the smoothing filter. Yes.
[0040]
FIG. 21 shows a general configuration of an infrared imaging device including an edge enhancement filter.
[0041]
In FIG.
101 is an optical system that receives and scans infrared light that arrives;
102 is an infrared detector that detects infrared light scanned by the optical system 101 and converts it into an analog electrical signal;
Reference numeral 103 denotes an analog / digital conversion unit that amplifies the analog electric signal output from the infrared detector 102 to a required level and converts it to a digital signal.
Reference numeral 104 denotes a sensitivity correction unit that corrects sensitivity offsets of individual infrared detection elements constituting the infrared detector 102.
[0042]
Reference numeral 105a denotes an edge processing unit which includes a Laplacian filter 2 which is a typical edge enhancement filter.
[0043]
An image processing unit 106 receives image data that has been subjected to sensitivity correction and edge enhancement, performs binarization processing, histogram conversion, and the like, and then converts the analog signal into an analog signal and outputs an image display signal.
Reference numeral 107 denotes a display unit that displays an image display signal output from the image processing unit 106 and outputs visible light from the screen.
[0044]
In the configuration of FIG. 21, the image data output from the sensitivity correction unit 104 is edge-enhanced by the edge enhancement filter 2 and supplied to the image processing unit 106, and the image processing unit 106 binarizes or converts the image data. Thus, display image data is generated.
[0045]
[Problems to be solved by the invention]
FIG. 20 is a diagram for explaining the first problem of the edge detection method in the conventional infrared imaging apparatus.
[0046]
FIG. 20A is an image image having a true edge of a straight line, in which a rectangle is the entire image, and a vertical straight line in the rectangle is a true edge.
[0047]
FIG. 20B is a visible edge showing the first problem of the edge processing method in the conventional infrared imaging apparatus.
[0048]
As described in the description of the configuration in FIG. 15, the image data obtained by correcting the offsets of the individual infrared detection elements by the sensitivity correction unit 104 with respect to the digitized image data is averaged and edge-enhanced to obtain a predetermined value. Although the edge detection is performed in comparison with the threshold value, the output of the sensitivity correction unit 104 may not completely correct fluctuations in image data due to noise or the like.
[0049]
Therefore, although the influence of noise components is reduced by averaging, edge detection may be performed while including the influence of noise and the like. That is, even in a true image where there are continuous edges, the output of the Laplacian filter is not constant and may be lower than the threshold value as shown in FIG.
[0050]
For this reason, as shown by the thick solid line and the thin broken line in FIG. 20B, the visible edge, which should be a continuous straight line, may be partially cut off. In an extreme case, the edge is cut longer, which causes trouble in edge detection.
[0051]
FIG. 22 is a diagram for explaining a second problem of the edge processing method in the conventional infrared image device, and particularly, a problem in the case of performing edge detection for each field in the infrared image device having the configuration of FIG. FIG. That is, there is a problem when image data of two fields is acquired by one infrared detector and shifted to 1/60 second to be one frame.
[0052]
FIG. 22 (a) is a diagram showing the image shift between fields due to the above processing. (1) indicates the true original image and (2) indicates the image shift between the fields. That is, since the image data of the odd-numbered infrared detection elements and the image data of the even-numbered infrared detection elements of the infrared detection elements are displayed shifted from each other, the image data of different fields are displayed together in the same frame. It will be. The thick solid line and thin broken line in (2) (2) of FIG. 22 indicate the above.
[0053]
Even in this case, when no processing is performed on the image data or when a stationary target object is displayed, there is no particular deterioration in display quality, but edge enhancement is performed as in the configuration of FIG. In this case, when displaying a target object with a large movement, the display quality deteriorates.
[0054]
FIG. 22 (b) shows the edge detection deviation between fields. (1) is the output of the Laplacian filter when there is no edge detection deviation shown for comparison, and (2) is the edge detection. This is the output of the Laplacian filter when there is a deviation.
[0055]
That is, as shown in (2), the image data for 3 × 3 edge enhancement should be formed by the image data of the pixels that are actually close to each other. The image data moves to a different frame, and in the original frame, edge enhancement is performed together with the enhanced image data in the second row one frame before indicated by a broken line.
[0056]
Therefore, when edge emphasis is performed or when a target object with a large movement is displayed, the display quality deteriorates.
[0057]
In view of such a problem, the present invention provides an edge of an infrared image that can be accurately edge-processed and displayed on an image even if there is a variation in image data for each infrared detection element constituting the infrared detector due to noise or the like. Processing method and infrared image that can display an image that does not feel strange even if special image processing is performed in which image data of two fields are acquired at different timings and displayed in one frame An object is to provide an edge processing method.
[0058]
[Means for Solving the Problems]
  The first means of the present invention is:
  Edge enhancement by averaging image data, edge-enhanced image data and thresholdThePerform edge detection by comparisonInfrared imageEdge processingmethodIn
  Generating a first threshold obtained by adding fluctuation of image data due to noise or the like to the threshold, and a second threshold obtained by subtracting fluctuation of the image data from the threshold;
  A digital signal obtained by comparing the edge-enhanced image data and the first threshold value and a digital signal obtained by comparing the edge-enhanced image data and the second threshold value are used in combination.The 2-bit digital signal is converted into a decimal number, and the center pixel of the image data is determined to be an edge according to the value.Technology.
[0059]
According to the first means of the present invention, if the logical level of the digital signal obtained by comparing the edge-enhanced image data and the first threshold is “1”, the edge of the pixel of interest If the logical level of the digital signal obtained by comparing the edge-enhanced image data and the second threshold is “0”, the pixel of interest has an edge. And the logical level of the digital signal obtained by comparing the edge-enhanced image data with the first threshold is “1”, and the edge-enhanced image data and the second threshold are If the logical level of the digital signal obtained by comparing the two is “0”, it is possible to recognize the possibility that an edge exists in the pixel of interest, so that the accuracy of edge detection can be improved.
[0060]
Further, the first means of the present invention can be modified such that the first threshold value and the second threshold value are generated by multiplying the change of the image data by a settable coefficient and adding / subtracting with the threshold value.
[0061]
The second means of the present invention is:
In the technique of edge enhancement for image data that is input continuously,
Averaging multiple input image data,
This is a technique for performing edge enhancement on the averaged image data.
[0062]
According to the second means of the present invention, the edge in the sample direction can be emphasized while suppressing the fluctuation of the image data by averaging the image data in the direction of the infrared detection element of the infrared detector, that is, the line direction.
[0063]
Further, in the second means of the present invention, it is possible to modify the image data that are successively input by multiplying each of the image data by a weighting factor and averaging.
[0064]
The third means of the present invention is:
In Laplacian filter for edge enhancement,
Inserting a dummy storage element between the storage element holding the image data of the odd-numbered field and the storage element holding the image data of the even-numbered field;
This is a technique for handling all the image data of the rows that should form the output of the Laplacian filter as image data of the same virtual frame.
[0065]
According to the third means of the present invention, all the image data of the rows that should form the output of the Laplacian filter are handled as virtual image data of the same frame. When special image processing is performed such that the image is acquired and displayed in one frame, edge enhancement can be performed using image data of the same frame. Therefore, even when the image processing is performed, it is possible to prevent the display quality of the infrared image from being deteriorated due to edge enhancement.
[0066]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a first embodiment of an edge processing circuit according to the present invention.
[0067]
In FIG.
Reference numeral 1 denotes a smoothing filter, which is image data obtained by averaging image data of pixels at the center of nine pixels by image data of a 3 × 3 two-dimensional image.
[0068]
A Laplacian filter 2 performs edge enhancement on the averaged image data output from the smoothing filter 1.
[0069]
Reference numeral 3 denotes a memory for storing image data fluctuations due to noise or the like.
[0070]
A register 4 stores a predetermined threshold value.
[0071]
Reference numeral 5 denotes a first addition circuit that generates a first threshold value by adding the threshold value stored in the register 4 and the variation of the image data read from the memory 3, and reference numeral 5a denotes a threshold value stored in the register 4. A second addition circuit that subtracts fluctuations in the image data read from the memory 3 to generate a second threshold value;
Reference numeral 6 denotes a first comparator that compares the output of the Laplacian filter 2 with the first threshold value, and reference numeral 6a denotes a second comparator that compares the output of the Laplacian filter 2 with the second threshold value.
[0072]
7 is an edge monitoring filter that receives the output p of the first comparator 6 and the output q of the second comparator 6a and determines the presence or absence of an edge. The output of the edge monitoring filter 7 becomes an edge detection signal.
[0073]
That is, the first threshold value obtained by adding the fluctuation of the image data to the threshold value and the second threshold value obtained by subtracting the fluctuation of the image data from the threshold value are generated, and the edge enhancement is performed in the edge monitoring filter. Edge detection is performed by using the digital signal p obtained by comparing the image data with the first threshold value and the digital signal q obtained by comparing the edge-enhanced image data with the second threshold value. .
[0074]
FIG. 2 shows the configuration of the edge monitoring filter in the configuration of FIG.
[0075]
In FIG.
Reference numerals 71 to 71h denote flip-flops that hold digital signals supplied from the first comparator 6 and the second comparator 6a shown in FIG.
[0076]
72 is a first delay circuit having a delay time of one line, and 73 is a second delay circuit having a delay time of two lines.
[0077]
74 is a decoder that receives the outputs of all the flip-flops 71 to 71h and detects an edge by using a numerical value obtained by converting the output into a decimal number.
[0078]
Incidentally, 75 is a circuit symbol having a meaning of collecting 2-bit digital signals p and q. That is, the circuit symbol 75 represents a 2-bit digital signal at the input by a single line on the output side.
[0079]
Accordingly, all the flip-flops 71 to 71h, the first delay circuit 72, and the second delay circuit 73 all correspond to 2-bit digital signals. This is not illustrated accurately in order to avoid complication of the figure, and is the same as the display method in FIG.
[0080]
In the configuration of FIG. 2, the 2-bit digital signals p and q are directly input to the flip-flops 71 to 71b, and input to the flip-flops 71c to 71e with a delay of one line. The flops 71f to 71h are inputted with a delay of two lines.
[0081]
Accordingly, the digital signals p and q held in the flip-flops 71 to 71h are 2-bit digital signals in the central pixel of the 3 × 3 two-dimensional image and the eight pixels surrounding the central pixel. The decoder 74 performs decimal conversion on the 2-bit digital signals held in the flip-flops 71 to 71h, and determines whether or not the central pixel is an edge based on the value.
[0082]
That is, when both the logical levels of the digital signals p and q are “0”, the decimal number is 0. When the logical level of the digital signal p is “0” and the logical level of the digital signal q is “1”, the decimal number is 1. When the logical levels of the digital signals p and q are both “1”, the decimal number is set to 3. If the logic level of the digital signal p is “1” and the logic level of the digital signal q is “0”, this is ignored and no decimal conversion is performed.
[0083]
This is because the digital signal p is an output obtained by comparing the output of the Laplacian filter 2 with the first threshold which is the sum of the fluctuation of the image data stored in the memory 3 of FIG. 1 and the threshold stored in the register 4. The digital signal q is an output obtained by comparing the output of the Laplacian filter 2 with the second threshold, which is the difference between the threshold value stored in the register 4 and the image data stored in the memory 3 in FIG. . That is, the second threshold value is smaller than the first threshold value.
[0084]
Therefore, it is physically impossible that the output of the Laplacian filter 2 is larger than the first threshold and smaller than the second threshold. Therefore, if the logical level of the digital signal p is “1”, the digital signal When the logical level of q is “0”, it is ignored and decimal conversion is not performed.
[0085]
When the value obtained by decimal conversion of the digital signal held in the flip-flop 71d in FIG. 2 is 3, it is determined that the center pixel of the 3 × 3 two-dimensional image is an edge unconditionally.
[0086]
When the value obtained by decimal conversion of the digital signal held in the flip-flop 71d in FIG. 2 is 1, the center pixel of the 3 × 3 two-dimensional image may be an edge. When there is 3 or 1 in the decimal number corresponding to 8 pixels, it is determined that the central pixel is an edge.
[0087]
Furthermore, when the value obtained by decimal conversion of the digital signal held in the flip-flop 71d in FIG. 2 is 0, it is determined that the center pixel of the 3 × 3 two-dimensional image is not an edge unconditionally.
[0088]
FIG. 3 is a diagram for explaining the edge detection function of the configuration of FIG.
[0089]
FIG. 3A shows an image having a true edge of a straight line. A rectangle is the entire image, and a vertical straight line drawn in the rectangle is a true edge.
[0090]
FIG. 3B is a visible edge for explaining the edge detection function of the configuration of FIG. 1, and is a number obtained by decimal conversion of the logical levels of the digital signals p and q and a 2-bit digital signal composed of p and q. Is also written.
[0091]
As shown in FIG. 1, the image data obtained by correcting the offset of the pixel data of each pixel by the sensitivity correction unit 104 with respect to the digitized image data is averaged and subjected to edge emphasis to obtain a predetermined threshold value. When performing edge detection by comparison, the output of the sensitivity correction unit 104 may not be able to completely correct fluctuations in image data.
[0092]
Therefore, although the effect of fluctuation in image data is reduced by averaging, edge detection may be performed while including the influence of the fluctuation. In other words, the output of the Laplacian filter is not constant, as shown by the thick solid line in FIG. 3B, even when there are continuous edges in the true image, and may be at a level lower than the threshold indicated by the thin broken line. is there.
[0093]
However, in the configuration of FIG. 2, the output of the Laplacian filter is compared with the first threshold value and the second threshold value, and both are used to determine the presence or absence of an edge as described above. become.
[0094]
Looking closely, the logic level of the digital signal p is “0”, “0”, “1”, “1”, “0”, “0” “1”, “1”, “1”, in order from the top. “0”, “1”, “0”, “0”, and the logical level of the digital signal q from the top is “0”, “0”, “1”, “1”, “1”, “1” , “1”, “1”, “1”, “1”, “1”, “0”, “0”, the decimal numbers are 0, 0, 3, 3, 1, 1, 3, 3, 3, 1, 3, 0, 0.
[0095]
According to the above determination method, a place where the decimal number is 3 is unconditionally determined to be an edge, and a place where the decimal number is 0 is unconditionally determined not to be an edge.
[0096]
On the other hand, when the decimal number is 1, the edge is determined to be an edge when there are 3 or 1 in the decimal number corresponding to the surrounding eight pixels. In the case of the above example, since the decimal number is 3 or 1 in the pixels above and below the pixel whose decimal number is 1, it is determined to be an edge.
[0097]
Note that FIG. 3 shows the decimal number of edge detection for pixels on a specific line, but if the same thing is obtained by finding the decimal number of edge detection for pixels on an adjacent line, the basis of the above judgment condition is It turns out well.
[0098]
In the above description, the 2-bit digital signals p and q are converted into decimal numbers to determine the possibility of the presence of an edge. However, the present invention is not limited to this.
[0099]
That is, it is also possible to determine the possibility of the presence or absence of an edge by using the pattern of the logical level itself of the 2-bit digital signals p and q. That is, the essence of the present invention is to determine the presence / absence of an edge by using the 2-bit digital signals p and q together.
[0100]
By the way, depending on the fluctuation value of the image data stored in the memory 3 of FIG. 1, the magnitude relationship between the first threshold value and the second threshold value and the output of the Laplacian filter 2 of FIG. There is no denying the possibility that the decimal number becomes 0 in a pixel that is an edge, or that the decimal number becomes 1 in a pixel that is not an edge. Next, a technique for avoiding that the decimal number becomes 0 in a pixel that is an edge or that the decimal number becomes 1 in a pixel that is not an edge will be described.
[0101]
FIG. 4 shows a second embodiment of the edge processing circuit of the present invention.
[0102]
In FIG.
Reference numeral 1 denotes a smoothing filter, which is image data obtained by averaging image data of pixels at the center of nine pixels by image data of a 3 × 3 two-dimensional image.
[0103]
A Laplacian filter 2 performs edge enhancement on the averaged image data output from the smoothing filter 1.
[0104]
Reference numeral 3 denotes a memory for storing image data fluctuations due to noise or the like.
[0105]
A register 4 stores a predetermined threshold value.
[0106]
Reference numeral 8 denotes a register for storing a coefficient for multiplying the fluctuation of the image data stored in the memory 3.
[0107]
Reference numeral 9 denotes a multiplication circuit that multiplies the fluctuation of the image data stored in the memory 3 by the coefficient stored in the register 8.
[0108]
Reference numeral 5 denotes a first adder circuit that generates a third threshold value by adding the threshold value stored in the register 4 and the output of the multiplier circuit 9. It is the 2nd addition circuit which subtracts an output and produces | generates a 4th threshold value.
[0109]
Reference numeral 6 denotes a first comparator that compares the output of the Laplacian filter 2 with the third threshold value, and reference numeral 6a denotes a second comparator that compares the output of the Laplacian filter 2 with the fourth threshold value.
[0110]
7 is an edge monitoring filter that receives the output p of the first comparator 6 and the output q of the second comparator 6a and determines the presence or absence of an edge. The output of the edge monitoring filter 7 becomes an edge detection signal.
[0111]
That is, the third threshold value obtained by multiplying the threshold value obtained by multiplying the coefficient set for the variation in the image data by the threshold value, and the value obtained by multiplying the coefficient value set for the variation in the image data from the threshold value. The fourth threshold value obtained by subtraction is generated, and the edge monitoring filter compares the edge-enhanced image data with the third threshold value, the edge-enhanced image data, and the edge-threshold image data. The edge detection filter performs edge detection using the digital signal q obtained by comparing the fourth threshold value.
[0112]
The configuration of the edge monitoring filter is the same as that shown in FIG. The configuration of FIG. 4 is different from the configuration of FIG. 1 only in that the variation of the image data stored in the memory 3 is multiplied by a coefficient. Therefore, since the operation of the configuration of FIG. 4 is essentially the same as the operation of the configuration of FIG. 1, the description of the operation of the configuration of FIG. 4 is omitted.
[0113]
In FIGS. 1 and 4, it has been described that the memory 3 stores changes in image data, but the changes in the image data have not been described yet. Therefore, for a while, a physical quantity that can be applied as a change in image data and its calculation will be described.
[0114]
The first physical quantity is a low frequency component of noise. Prior to monitoring, the infrared ray from the temperature reference plate is incident on the infrared detector a plurality of times, and the image data of the average line obtained by averaging the image data for each pixel constituting the line in the sample direction within the frame is obtained. It is calculated several times and the difference from the previous calculated value is obtained and stored. That is, since it is the fluctuation of the average line image data obtained by averaging the image data for each pixel constituting the line within the frame, it is physically a low-frequency component of noise.
[0115]
FIG. 5 shows a configuration for calculating a low frequency component.
[0116]
In FIG. 5, 111 is an adder circuit, and 112 is a first line memory.
[0117]
One line of image data (sample data) is input to the adder circuit 111 and written to the first line memory 112. The written sample data is the first when the next sample data is input. The data read from one line memory 112 and read from the first line memory 112 are added to the input sample data by the adder circuit 111. If this operation is performed for the number of samples in the sample direction, the first line memory 112 finally stores data obtained by integrating the sample data within the frame.
[0118]
113 is a logical product circuit (accurately) that receives the LSB of data acquisition count (a general abbreviation with the acronym of Least Significant Bit) received at the inverting input terminal and the output of the adder circuit 111 at the non-inverting input terminal. Since the input data is parallel data of a plurality of bits, it is a logical product circuit group composed of a plurality of logical product circuits, but it is shown as if it is a single logical product circuit). Is an AND circuit that receives the LSB of the number of times of data acquisition at the non-inverting input terminal and the output of the adder circuit 111 at the non-inverting input terminal (more precisely, since the input data is parallel data of a plurality of bits, A logical product circuit group composed of logical product circuits is shown as if it is a single logical product circuit.), 115 is a second line memory for storing the output of the logical product circuit 113; 116 Is logical A third line memory for storing the output of the product circuit 114.
[0119]
If the data acquisition count is counted from 0, the LSB of the data acquisition count is “0” at the time of the first data acquisition, so the output of the adder circuit 111 is written in the second line memory. Moreover, this writing is performed by overwriting the data stored in the second line memory 115 every time sample data is input.
[0120]
Since the LSB of the data acquisition count is “1” at the time of the second data acquisition, the output of the adder circuit 111 is written in the third line memory 116. Moreover, this writing is performed by overwriting the data stored in the third line memory 116 every time sample data is input.
[0121]
117 is an adder circuit for obtaining the difference between the outputs of the second line memory 115 and the third line memory 116, 118 is a register for storing the number of samples, and 119 is an output of the adder circuit 117 stored in the register 118. A division circuit for dividing by the number of samples, 120 is an absolute value calculation circuit for obtaining an absolute value of the output of the division circuit 119, and 121 is a fourth line memory for storing the output of the absolute value calculation circuit 120.
[0122]
After the addition of all sample data within the frame is stored in the second line memory 115 and the third line memory 116 as described above, the second line memory 115 and the third line memory 116 are stored. The data is read out from the data, and the difference between the two is obtained by the adder circuit 117.
[0123]
After that, the division circuit 119 divides the output of the addition circuit 117 by the number of samples for each pixel to obtain image data averaged in the frame for each pixel constituting the line, and the absolute value calculation circuit 120 uses the division circuit 119. The output is converted into an absolute value and stored in the fourth line memory 121.
[0124]
Then, the fourth line memory 121 shown in FIG. 5 may be used as the memory 3 shown in FIG.
[0125]
The second physical quantity is the difference between the maximum value and the minimum value of noise, that is, the peak-peak value. This is because the image data obtained by making infrared rays from the temperature reference plate incident on the infrared detector prior to the monitoring is compared with the image data for each pixel constituting the line in the sample direction, and the maximum value and the minimum value. And the difference between them is obtained and stored. That is, since it is the difference between the maximum value and the minimum value of image data for each pixel constituting the line, it is physically the peak / peak value of noise.
[0126]
FIG. 6 shows a configuration for calculating a peak / peak value.
[0127]
In FIG. 6, 122 is a frame memory for storing image data for one frame, 123 is a first register for storing the maximum value of image data of pixels at the same address in the line, and 123a is at the same address in the line. A second register 124 for storing the minimum value of the image data of the pixel, 124 compares the image data read from the first register with the image data read from the frame memory, and the image data read from the frame memory The first comparator 124a for supplying a write enable signal to the first register when the value is large compares the image data read from the second register with the image data read from the frame memory, and reads it from the frame memory Supply write enable signal to second register when image data is smaller That is a second comparator.
[0128]
The frame memory 122 stores image data for one frame obtained by making infrared rays from the temperature reference plate incident on the infrared detector prior to monitoring.
[0129]
First, the first register 123 is cleared, and the maximum possible value is written in the second register 123a.
[0130]
Next, image data of pixels at the same address on different lines are read in order and supplied to the first register 123, the first comparator 124, the second register 123a, and the second comparator 124a.
[0131]
When image data is first supplied to the first register 123, the first comparator 124, the second register 123a, and the second comparator 124a, the supplied image data is stored in the first register 123. Since the supplied image data is always larger than the value, the supplied image data is stored in the first register 123, and the supplied image data is always smaller than the value stored in the second register 123a. Is stored in the second register 123a.
[0132]
Next, when image data of the same address on different lines is supplied, the first comparator 124 outputs a write enable signal when the supplied image data is larger than the image data read from the first register 123. When the supplied image data is smaller than the image data read from the first register 123, the write enable signal is not output. Therefore, when the supplied image data is larger than the image data read from the first register 123, the supplied image data is overwritten in the first register 123.
[0133]
The second comparator 124a outputs a write enable signal when the supplied image data is smaller than the image data read from the second register 123a, and the supplied image data is read from the second register 123a. A write enable signal is not output when the image data is larger than the output image data. Therefore, when the supplied image data is smaller than the image data read from the second register 123a, the supplied image data is overwritten in the second register 123a.
[0134]
When the above operation is performed a number of times equal to the number obtained by subtracting 1 from the number of samples in the frame, the maximum value of the image data at the specific address of all lines is stored in the first register 123, and the minimum value is the second value. Stored in the register 123a.
[0135]
Reference numeral 125 denotes an adder circuit for obtaining a difference between the maximum value and the minimum value of the image data read from the first register 123 and the second register 123a, and reference numeral 126 denotes a fifth line memory for storing the output of the adder circuit 125.
[0136]
When the maximum value and the minimum value of the image data of the specific address of all the lines are stored in the first register 123 and the second register 123a, the maximum value and the minimum value are read from both registers, and the adder circuit 125 A difference between the maximum value and the minimum value, that is, a peak-to-peak value is obtained, and the obtained peak-to-peak value is stored at the corresponding address of the fifth line memory 126.
[0137]
If the above operation is performed a number of times equal to the number of pixels constituting the line, the fifth line memory 126 can store the peak / peak values of the image data of all the pixels constituting the line.
[0138]
Then, the fifth line memory 126 shown in FIG. 6 may be used as the memory 3 shown in FIG.
[0139]
The peak / peak value of the image data at the same address in the line obtained as described above may be used as the fluctuation of the image data as it is. However, when the variation in characteristics between pixels is large or defective pixels are included. In such cases, it is often dangerous to use the obtained peak / peak value of the image data as it is as the fluctuation of the image data due to noise.
[0140]
Therefore, in the present invention, a measure is taken so that no prominent peak / peak value occurs, and this is used as fluctuations in image data.
[0141]
FIG. 7 is a process for eliminating a protruding value (No. 1) in which there is a protruding value in the peak-to-peak value obtained by the configuration of FIG. Hereinafter, description will be made along the reference numerals in FIG.
[0142]
In FIG. 7, between the largest peak / peak value, m (m is an integer of at least 2), the largest peak / peak value, and the mth smallest peak / peak value from the smallest peak / peak value. Excess values are excluded between peak values.
[0143]
S1. With respect to the peak / peak value obtained by the configuration of FIG. 6, the maximum peak / peak value to the mth largest peak / peak value are obtained by sorting.
[0144]
In addition, since the sorting technique is a general technique, description of the figure and description is omitted.
[0145]
S2. The difference between the (m−1) th largest peak / peak value and the mth largest peak / peak value is obtained.
[0146]
S3. It is determined whether the difference is greater than a predetermined threshold.
[0147]
S4. If it is determined in step S4 that the difference is greater than the predetermined threshold (Yes), the (m−1) th largest peak / peak value protrudes abnormally with respect to the mth largest peak / peak value. Therefore, the m-th peak / peak value is determined as the maximum value, and the peak / peak value equal to or higher than the (m−1) -th peak / peak value is replaced with the m-th peak / peak value. Jump to step S11.
[0148]
S5. If it is determined in step S4 that the difference is smaller than the predetermined threshold (No), the difference between the (m-2) th peak-peak value and the (m-1) th peak-peak value is calculated. Ask.
[0149]
S6. It is determined whether the difference is greater than a predetermined threshold.
[0150]
S7. If it is determined in step S6 that the difference is greater than the predetermined threshold (Yes), the (m−2) -th largest peak / peak value is compared to the (m−1) -th largest peak / peak value. The (m−1) th peak / peak value is determined as the maximum value, and the peak / peak value equal to or greater than the (m−2) th peak / peak value is (m− 1) Replace with the first peak / peak value and jump to step S11.
[0151]
If it is determined in step S6 that the difference is smaller than the predetermined threshold value (No), the next largest peak / peak value is compared, and the same determination and treatment as described above are continued. If the peak / peak value does not protrude from the third peak / peak value, the process proceeds to step S8.
[0152]
S8. Find the difference between the maximum peak value and the second peak value.
[0153]
S9. It is determined whether the difference is greater than a predetermined threshold.
[0154]
If it is determined that the difference is smaller than the predetermined threshold (No), the process jumps to step S11.
[0155]
S10. If it is determined in step S9 that the difference is greater than the predetermined threshold (Yes), the second peak / peak value is determined as the maximum value, and the maximum peak / peak value is determined as the second peak / peak. The value is replaced with a value, and the process jumps to step S11.
[0156]
S11. With respect to the peak / peak value obtained by the configuration of FIG. 6, the minimum peak / peak value to the mth smallest peak / peak value are obtained by sorting.
[0157]
S12. The difference between the (m−1) th smallest peak / peak value and the mth smallest peak / peak value is obtained.
[0158]
S13. It is determined whether the difference is smaller than a predetermined threshold value.
[0159]
S14. If it is determined in step S13 that the difference is smaller than the predetermined threshold (Yes), the (m−1) th smallest peak / peak value protrudes abnormally with respect to the mth smallest peak / peak value. The m-th peak / peak value is determined to be the minimum value, and the peak / peak value equal to or higher than the (m−1) th peak / peak value is replaced with the m-th peak / peak value. The process is terminated.
[0160]
S15. If it is determined in step S14 that the difference is smaller than the predetermined threshold (No), the difference between the (m-2) th peak / peak value and the (m-1) th peak / peak value is calculated. Ask.
[0161]
S16. It is determined whether the difference is smaller than a predetermined threshold value.
[0162]
S17. When it is determined in step S16 that the difference is smaller than the predetermined threshold value (Yes), the (m−2) th smallest peak / peak value is smaller than the (m−1) th smallest peak / peak value. Therefore, the (m−1) th peak / peak value is determined to be the minimum value, and the (m−2) th peak / peak value is set to (m−) 1) Replace with the first peak / peak value and end the process.
[0163]
If it is determined in step S16 that the difference is smaller than the predetermined threshold (No), the next smallest peak / peak value is compared, and the same determination and treatment as above are continued. If the peak-to-peak value does not protrude from the third peak-to-peak value, the process proceeds to step S18.
[0164]
S18. Find the difference between the minimum peak value and the second peak value.
[0165]
S19. It is determined whether the difference is smaller than a predetermined threshold value.
[0166]
If it is determined that the difference is smaller than the predetermined threshold (No), the process is terminated.
[0167]
S20. If it is determined in step S19 that the difference is smaller than the predetermined threshold (Yes), the second peak / peak value is determined as the minimum value, and the minimum peak / peak value is determined as the second peak / peak. Replace with a value and finish the process.
[0168]
By performing the above processing, even when there is a large variation in pixels or when defective pixels are included, abnormal peak / peak values are not used as fluctuations in image data due to noise. The accuracy of peak detection by the configuration of 4 can be increased.
[0169]
Here, the comparison between the m-th peak / peak value and the (m−1) -th peak / peak value from the maximum value or the minimum value is performed first when the (m−1) -th peak / peak value or more is compared. This is because there is an advantage that all abnormal values can be eliminated when the distribution of peaks and peak values of mth or less is reasonable.
[0170]
However, if it is difficult to assume that there are multiple abnormal values as described above, the first peak / peak value can be compared with the second peak / peak value from the maximum or minimum value first. It is.
[0171]
This also applies to the protrusion value elimination process described below.
[0172]
FIG. 8 shows a peak / peak value that is considered to be influenced by the protrusion value of image data when there is a protrusion value in the image data of the pixels constituting the infrared detector in the protrusion value elimination process (part 2). Is to prevent abnormal values from being mixed. Hereinafter, description will be made along the reference numerals in FIG.
[0173]
S61. The average value of the image data is obtained for each pixel constituting the infrared detection and is sorted from the maximum to the mth, and the peak / peak value is also sorted from the maximum to the mth.
[0174]
S62. The difference between the average value of the (m−1) th largest image data and the average value of the mth largest image data is obtained.
[0175]
S63. It is determined whether the difference is greater than a predetermined threshold.
[0176]
S64. If it is determined in step S63 that the difference is greater than the predetermined threshold (Yes), the (m−1) th largest peak / peak value protrudes abnormally with respect to the mth largest peak / peak value. Therefore, the m-th peak / peak value is determined as the maximum value, and the peak / peak value equal to or higher than the (m−1) -th peak / peak value is replaced with the m-th peak / peak value. Jump to step S71.
[0177]
  S65. If it is determined in step S63 that the difference is smaller than the predetermined threshold (No), the average value of the (m-2) th image data and the average of the (m-1) th image dataValue andFind the difference.
[0178]
S66. It is determined whether the difference is greater than a predetermined threshold.
[0179]
S67. If it is determined in step S66 that the difference is greater than the predetermined threshold value (Yes), the (m-2) th largest peak / peak value is compared to the (m-1) th largest peak / peak value. The (m−1) th peak / peak value is determined as the maximum value, and the peak / peak value equal to or greater than the (m−2) th peak / peak value is (m− 1) Replace with the first peak / peak value and jump to step S71.
[0180]
  If it is determined in step S66 that the difference is smaller than the predetermined threshold (No), the average of the next largest image dataValueCompare and continue the same judgment and treatment as above, and average the second image datavalueAverage of the third image dataIn valueIf it does not protrude, the process proceeds to step S68.
[0181]
  S68. Average of the largest image dataValue andAverage of second image dataValue andFind the difference.
[0182]
S69. It is determined whether the difference is greater than a predetermined threshold.
[0183]
If it is determined that the difference is smaller than the predetermined threshold (No), the process jumps to step S71.
[0184]
S70. If it is determined in step S69 that the difference is larger than the predetermined threshold (Yes), the second peak / peak value is determined as the maximum value, and the maximum peak / peak value is determined as the second peak / peak. The value is replaced with a value, and the process jumps to step S71.
[0185]
S71. The average value of the image data is obtained for each pixel constituting the infrared detection and sorted from the minimum to the mth, and the peak / peak value is also sorted from the minimum to the mth.
[0186]
  S72. (M-1) Average of the smallest image dataValue and, Average of mth smallest image dataValueFind the difference.
[0187]
S73. It is determined whether the difference is smaller than a predetermined threshold value.
[0188]
S74. If it is determined in step S73 that the difference is smaller than the predetermined threshold (Yes), the (m−1) th smallest peak / peak value protrudes abnormally with respect to the mth smallest peak / peak value. Therefore, the m-th peak / peak value is determined to be the minimum value, and the peak / peak value equal to or higher than the (m−1) th peak / peak value is replaced with the m-th peak / peak value. The process is terminated.
[0189]
  S75. If it is determined in step S73 that the difference is smaller than the predetermined threshold (No), the average of the (m-2) th image dataValue and(M-1) average of the image dataValue andFind the difference.
[0190]
S76. It is determined whether the difference is smaller than a predetermined threshold value.
[0191]
S77. When it is determined in step S76 that the difference is smaller than the predetermined threshold (Yes), the (m−2) th smallest peak / peak value is smaller than the (m−1) th smallest peak / peak value. Therefore, the (m−1) th peak / peak value is determined to be the minimum value, and the (m−2) th peak / peak value is set to (m−) 1) Replace with the first peak / peak value and end the process.
[0192]
  If it is determined in step S76 that the difference is smaller than the predetermined threshold (No), the average of the next smallest image dataValueCompare and continue the same judgment and treatment as above, and average the second image datavalueAverage of the third image dataIn valueOn the other hand, if it does not protrude, the process proceeds to step S78.
[0193]
  S78. Average of the smallest image dataValue andAverage of second image dataValue andFind the difference.
[0194]
S79. It is determined whether the difference is smaller than a predetermined threshold value.
[0195]
If it is determined that the difference is smaller than the predetermined threshold (No), the process is terminated.
[0196]
S80. If it is determined in step S79 that the difference is smaller than the predetermined threshold (Yes), the second peak / peak value is determined as the minimum value, and the minimum peak / peak value is determined as the second peak / peak. Replace with a value and finish the process.
[0197]
By performing the above processing, abnormal peaks and peak values are not used as fluctuations in image data even when there are large pixel variations or defective pixels are included. The accuracy of peak detection by the configuration can be increased.
[0198]
FIG. 9 is a projection value elimination process (No. 3), wherein the projection value of the image data is eliminated for each pixel constituting the line, and the peak / The peak value can be obtained. Hereinafter, description will be made along the reference numerals in FIG.
[0199]
S31. From the maximum image data to the mth largest image data in the same line is obtained by sorting.
[0200]
S32. The difference between the (m−1) th largest image data and the mth largest image data is obtained.
[0201]
S33. It is determined whether the difference is greater than a predetermined threshold.
[0202]
S34. If it is determined in step S33 that the difference is larger than the predetermined threshold (Yes), it is considered that the (m−1) th largest image data protrudes abnormally with respect to the mth largest image data. Therefore, the mth image data is determined as the maximum value, the image data equal to or greater than the (m−1) th image data is replaced with the mth image data, and the process jumps to step S41.
[0203]
S35. If it is determined in step S33 that the difference is smaller than the predetermined threshold (No), the difference between the (m-2) th image data and the (m-1) th image data is obtained.
[0204]
S36. It is determined whether the difference is greater than a predetermined threshold.
[0205]
S37. If it is determined in step S36 that the difference is greater than the predetermined threshold (Yes), the (m-2) th largest image data protrudes abnormally with respect to the (m-1) th largest image data. Therefore, the (m−1) th image data is determined to be the maximum value, and the image data greater than the (m−2) th image data is replaced with the (m−1) th image data. Jump to step S41.
[0206]
If it is determined in step S36 that the difference is smaller than the predetermined threshold value (No), the next largest image data is compared, and the determination and treatment similar to the above are continued, so that the second image is obtained. If the data does not protrude from the third image data, the process proceeds to step S38.
[0207]
S38. The difference between the maximum image data and the second image data is obtained.
[0208]
S39. It is determined whether the difference is greater than a predetermined threshold.
[0209]
If it is determined that the difference is smaller than the predetermined threshold (No), the process jumps to step S41.
[0210]
S40. If it is determined in step S39 that the difference is greater than the predetermined threshold (Yes), the second image data is determined as the maximum value, the maximum image data is replaced with the second image data, Jump to step S41.
[0211]
S41. From the smallest image data to the mth smallest image data within the same line is obtained by sorting.
[0212]
S42. The difference between the (m−1) th smallest image data and the mth smallest image data is obtained.
[0213]
S43. It is determined whether the difference is smaller than a predetermined threshold value.
[0214]
S44. When it is determined in step S43 that the difference is smaller than the predetermined threshold (Yes), it is considered that the (m−1) th smallest image data protrudes abnormally with respect to the mth smallest image data. Therefore, the mth image data is determined to be the minimum value, the image data equal to or larger than the (m−1) th image data is replaced with the mth image data, and the process jumps to step S51.
[0215]
S45. If it is determined in step S43 that the difference is smaller than the predetermined threshold (No), the difference between the (m-2) th image data and the (m-1) th image data is obtained.
[0216]
S46. It is determined whether the difference is smaller than a predetermined threshold value.
[0217]
S47. If it is determined in step S46 that the difference is smaller than the predetermined threshold (Yes), the (m-2) th smallest image data protrudes abnormally with respect to the (m-1) th smallest image data. Therefore, the (m−1) th image data is determined to be the minimum value, and the image data equal to or greater than the (m−2) th image data is replaced with the (m−1) th image data. The process jumps to step S51.
[0218]
If it is determined in step S46 that the difference is smaller than the predetermined threshold value (No), the next smaller image data is compared, and the determination and treatment similar to the above are continued, so that the second image is obtained. If the data does not protrude from the third image data, the process proceeds to step S48.
[0219]
S48. The difference between the minimum image data and the second image data is obtained.
[0220]
S49. It is determined whether the difference is smaller than a predetermined threshold value.
[0221]
When it is determined that the difference is smaller than the predetermined threshold (No), the process proceeds to step S51.
[0222]
S50. On the other hand, if it is determined in step S49 that the difference is smaller than the predetermined threshold (Yes), the second image data is determined to be the minimum value, and the minimum image data is replaced with the second image data. Then, the process proceeds to step S51.
[0223]
S51. It is determined whether or not the above processing has been performed for all lines.
[0224]
S52. If it is determined in step S51 that the above processing has not been completed for all lines (No), the line number is incremented and the process jumps to step S31.
[0225]
On the other hand, if it is determined in step S51 that the above process has been performed for all lines (Yes), the process ends.
[0226]
By performing the above processing, it becomes possible to obtain the peak / peak value after eliminating the protruding image data for each pixel in the line, so if the processing time can be allowed to increase slightly, Even when there is a large variation in the number of pixels or when defective pixels are included, the accuracy of peak detection by the configuration of FIG. 1 or FIG. 4 can be further increased.
[0227]
By the way, in FIG. 7 thru | or 9, when the dispersion | variation in the peak-peak value itself of the image data of the pixel of the same address which comprises a line is large, or when the dispersion | variation in the image data itself of the pixel of the same address which comprises a line is large In the above description, the large peak / peak value that protrudes and the small peak / peak value that protrudes are replaced with appropriate peak / peak values to obtain fluctuations in the image data.
[0228]
However, there is a high possibility that a large peak / peak value that is prominently presents a high level of noise instantaneously or a defective pixel, or something abnormal. It may not be possible to simply determine, and it is better to empirically determine whether or not to replace a prominently small peak / peak value with another peak / peak value, including the characteristics of the monitored object. There are many good things.
[0229]
Therefore, when the peak / peak value of the image data of the pixel of the same address in different lines is adopted as the fluctuation value of the image data, and the variation of the peak / peak value is large, at least a prominently large peak / peak It can be said that it is general to replace the value with an appropriate peak / peak value to change the image data.
[0230]
Now, the third physical quantity is the standard deviation δ (i) of the image data obtained for each pixel. Prior to monitoring, infrared rays from the temperature reference plate are incident on the infrared detector, and the average of the image data itself for each pixel constituting the line and the image data constituting the line in the sample direction within the frame is averaged. This is the average of the squares of the value differences, and is expressed by the following formula.
[0231]
δ (i) = (Σ (S_ij−mean (S_i))²/ (n-1))^1/2
Where i is the pixel number in the line,
j is the line number,
n is the number of lines,
S_ijIs the image data of the i-th pixel in the j-th line,
mean (S_i) Is the average value of the i-th pixel image data across all lines
It is. Therefore, δ (i) is the standard deviation of the image data of the i-th pixel across all lines.
[0232]
FIG. 10 shows a configuration for calculating the standard deviation.
[0233]
In FIG. 10, 127 is an adder circuit, 128 is a sixth line memory, 129 is a seventh line memory, 130 is a second frame memory, 131 is a standard deviation calculator, and 132 is an eighth line memory. It is memory.
[0234]
The adder circuit 127 and the sixth line memory 128 add the image data for each pixel constituting the line over all the lines and store them in the seventh line memory 129.
[0235]
On the other hand, image data for one frame is stored in the second frame memory 130 while image data for each pixel constituting the line is added over all lines.
[0236]
The standard deviation calculation unit 131 is composed of, for example, a digital signal processor, and is stored in the seventh line memory 129. The added value of the image data over all lines for each pixel constituting the line, and the second frame memory Is taken in, and the standard deviation δ (i) of the image data of the same numbered pixels constituting the line is calculated by the above formula and stored in the eighth line memory 132. To do. Note that the configuration of FIG. 10 is a configuration that assumes that the average value of the image data of the pixels having the same number constituting the line is obtained by the standard deviation calculator.
[0237]
Then, the eighth line memory of FIG. 10 may be used as the memory of FIG. 1 or FIG.
[0238]
Next, another embodiment of the edge processing circuit of the present invention will be described.
[0239]
FIG. 11 shows a third embodiment of the edge processing circuit of the present invention.
[0240]
In FIG. 11, 1a is a smoothing filter, an adder circuit 14h for adding the outputs of flip-flops 11i, 11j, 11k, 11m and 11n, flip-flops 11i, 11j, 11k, 11m and 11n, and the number of image data to be added. The register 15a to be stored and the division circuit 16a that divides the output of the adder circuit 14h by the number stored in the register 15a.
[0241]
Reference numeral 2 denotes an edge enhancement filter typified by a Laplacian filter.
[0242]
The configuration of FIG. 11 averages image data in the line direction of the infrared detector as preprocessing of the edge enhancement filter, thereby sharply enhancing the edge in the sample direction while suppressing variation for each pixel. Can do.
[0243]
FIG. 11 shows a configuration in which five flip-flops are cascade-connected. This is merely an example of averaging for a 1 × 5 image, and m × n (m and n are positive integers). ) Is also possible.
[0244]
FIG. 12 shows a fourth embodiment of the edge processing circuit of the present invention.
[0245]
In FIG. 12, 1b is a smoothing filter, registers 15b, 15c, 15d, 15e and 15f for storing coefficients for multiplying the outputs of flip-flops 11p, 11q, 11r, 11s and 11t and flip-flops 11p to 11t, flip A multiplier circuit 17, 17a, 17b, 17c and 17d for multiplying the outputs of the flops 11p to 11t by the coefficients stored in the registers 15b to 15f, respectively, and an adder circuit 14i for adding the outputs of the multiplier circuits 17 to 17d, An adder circuit 14j for adding the outputs of the registers 15b to 15f, and a divider circuit 16b for dividing the output of the adder circuit 14i by the output of the adder circuit 14j.
[0246]
Reference numeral 2 denotes an edge enhancement filter represented by a Laplacian filter.
[0247]
In the configuration of FIG. 12, when averaging image data in the line direction of the infrared detector as preprocessing of the edge enhancement filter, the image data is averaged after being multiplied by a different coefficient for each element. The edge in the sample direction can be sharply enhanced while suppressing variations in the image quality, and specific pixels can be further enhanced, so that image processing can be flexibly performed according to the application. Become.
[0248]
Although FIG. 12 shows a configuration in which five flip-flops are connected in cascade, this is merely an example of averaging a 1 × 5 image, and an m × n configuration is also possible.
[0249]
FIG. 13 shows the configuration of the Laplacian filter of the present invention.
[0250]
In FIG. 13, 21, 21 a, 21 b, 21 c, 21 d, 21 e, 21 f, 21 g, 21 h, 21 i and 21 j are flip-flops, 22 is a first delay circuit with a delay time of one line, and 23 is for two lines The delay circuit of the second delay time, 24, 24a, 24b and 24c are adder circuits, 25 is a register for storing the emphasis coefficient, and 26 is an output of the flip-flop 21c multiplied by a coefficient stored in the register 25. It is a multiplication circuit.
[0251]
The difference between the Laplacian filter of FIG. 13 and the Laplacian filter of FIG. 18 is that in FIG. 13, a flip-flop 21g is inserted between the flip-flop 21 and the flip-flop 21a, and the flip-flop 21b and the flip-flop are inserted. The flip-flop 21h is inserted between the flip-flop 21c, the flip-flop 21i is inserted between the flip-flop 21c and the flip-flop 21d, and the flip-flop 21j is inserted between the flip-flop 21e and the flip-flop 21f. It is that. The outputs of the inserted flip-flops 21g, 21h, 21i, and 21j are not supplied to the subsequent adder circuit and multiplier circuit.
[0252]
FIG. 14 is an output of the Laplacian filter of FIG.
[0253]
That is, an averaged image effective for the center pixel of a virtual 5 × 3 two-dimensional image having averaged image data, and the upper and lower pixels that are one distance away from the left and right pixels of the center pixel. The center image data is multiplied by (−4).
[0254]
Therefore, if the central pixel is not a pixel forming an edge, (A₂+ B₁+ B_Three+ C₂) And 4 x B₂When the center pixel is a pixel forming an edge, (A₂+ B₁+ B_Three+ C₂) And 4 x B₂Therefore, the edge can be emphasized by the calculation shown in FIG.
[0255]
In addition, in the virtual 5 × 3 two-dimensional image, the pixel numbers having valid image data are all even numbers (or odd numbers). As a result, the pixels used for edge enhancement are virtually in the same field, and edge enhancement can be performed in the same field.
[0256]
Therefore, when image data of two fields is acquired by one infrared detector and shifted to 1 frame by 1/60 seconds, equivalently, image data of different fields may be displayed in the same frame. Even when edge emphasis is performed or when a target object with a large movement is captured, display quality does not deteriorate.
[0257]
In FIG. 13, the example in which the Laplacian filter of the present invention is configured using flip-flops has been described. However, application of flip-flops is not limited.
[0258]
That is, even if a random access memory is applied, a circuit having a similar function can be configured. Accordingly, the essence in the configuration of FIG. 13 is that a dummy storage element is inserted between the storage element that holds the image data of the odd-numbered field and the storage element that holds the image data of the even-numbered field,
This is an edge enhancement filter that edge-enhances all the image data that should form the output of the edge enhancement filter as image data in the same field.
[0259]
【The invention's effect】
According to the first means of the present invention, if the logical level of the digital signal obtained by comparing the edge-enhanced image data and the first threshold is “1”, the edge of the pixel of interest If the logical level of the digital signal obtained by comparing the edge-enhanced image data and the second threshold is “0”, the pixel of interest has an edge. And the logical level of the digital signal obtained by comparing the edge-enhanced image data with the first threshold is “1”, and the edge-enhanced image data and the second threshold are If the logical level of the digital signal obtained by comparing the two is “0”, it is possible to recognize the possibility that an edge exists in the pixel of interest, so that the accuracy of edge detection can be improved.
[0260]
According to the second means of the present invention, the image data can be averaged in the direction of the infrared detection element of the infrared detector, and the edge in the sample direction can be emphasized while suppressing fluctuations in the image data.
[0261]
According to the third means of the present invention, all of the image data in the row where the output of the Laplacian filter should be formed is handled as image data of the virtual odd-numbered field or virtual even-numbered field. When special image processing is performed in which image data of two fields are acquired at different timings and displayed in one frame, edge enhancement can be performed using image data of the same frame. Therefore, it is possible to prevent the deterioration of the display quality of the infrared image due to edge enhancement.
[Brief description of the drawings]
FIG. 1 is a first embodiment of an edge processing circuit according to the present invention.
FIG. 2 is a configuration of an edge monitoring filter.
FIG. 3 is a diagram for explaining an edge detection function having the configuration of FIG. 1;
FIG. 4 is a second embodiment of an edge processing circuit according to the present invention.
FIG. 5 shows a configuration for calculating a low frequency component.
FIG. 6 shows a configuration for calculating a peak / peak value.
FIG. 7 is a process for eliminating a protrusion value (No. 1).
FIG. 8 is a process for eliminating a protrusion value (part 2).
FIG. 9 is a projection value elimination process (No. 3).
FIG. 10 shows a configuration for calculating a standard deviation.
FIG. 11 is a third embodiment of an edge processing circuit according to the present invention.
FIG. 12 shows a fourth embodiment of the edge processing circuit of the present invention.
FIG. 13 shows a configuration of a Laplacian filter of the present invention.
14 is an output of the Laplacian filter of FIG.
FIG. 15 shows a general configuration of an infrared imaging apparatus having an edge processing function.
FIG. 16 shows a configuration of a smoothing filter.
FIG. 17 is a comparison between a two-dimensional image and a smoothing filter.
FIG. 18 shows a configuration of a Laplacian filter.
FIG. 19 is an output of a Laplacian filter viewed from a plane.
FIG. 20 is a diagram for explaining a problem of a conventional edge detection method.
FIG. 21 shows a general configuration of an infrared imaging device including an edge enhancement filter.
FIG. 22 shows a problem when edge detection is performed for each field.
[Explanation of symbols]
1, 1a, 1b Smoothing filter
11, 11a, 11b, 11c, 11d, 11e, 11f, 11g, 11h, 11i, 11j, 11k, 11m, 11n, 11p, 11q, 11r, 11s, 11t Flip flops
12 First delay circuit
13 Second delay circuit
14, 14a, 14b, 14c, 14d, 14e, 14f, 14g, 14h, 14i, 14j Adder circuit
15, 15a, 15b, 15c, 15d, 15e registers
16, 16a, 16a Division circuit
17, 17a, 17b, 17c, 17d Multiplication circuit
2 Edge enhancement filter
21, 21a, 21b, 21c, 21d, 21e, 21f, 21g, 21h, 21i, 21j Flip-flop
22 First delay circuit
23 Second delay circuit
24, 24a, 24b, 24c Adder circuit
25 registers
26 Multiplier circuit
3 memory
4 registers
5, 5a Adder circuit
6, 6a Comparator
7 Edge monitoring filter
8 registers
9 Multiplier circuit
71, 71a, 71b, 71c, 71d, 71e, 71f, 71g, 71h
flip flop
72 First delay circuit
73 Second delay circuit
74 Decoder
101 Optical system
102 Infrared detector
103 Analog-digital conversion circuit (A / D)
104 Sensitivity correction unit
105, 105a Edge processing unit
106 Image processing unit
107 Display section
111 Adder circuit
112 First line memory
113 AND circuit
114 AND circuit
115 second line memory
116 Third line memory
117 Adder circuit
118 registers
119 Division circuit
120 Absolute value calculation circuit
121 Fourth line memory
122 frame memory
123 First register
123a Second register
124 Comparator
124a Comparator
125 Adder circuit
126 Fifth line memory
127 Adder circuit
128 Sixth line memory
129 Seventh line memory
130 Second frame memory
131 Standard deviation calculator
132 Eighth line memory

Claims

In the edge processing method of the infrared image that performs edge detection by averaging the image data and performing edge enhancement, comparing the edge-enhanced image data with a threshold value,
Generating a first threshold value obtained by adding the fluctuation value of the image data to the threshold value, and a second threshold value obtained by subtracting the fluctuation value of the image data from the threshold value;
2 bits using both the edge-enhanced image data and the digital signal obtained by comparing the first threshold, and the edge-enhanced image data and the digital signal obtained by comparing the second threshold The infrared signal edge processing method is characterized in that the digital signal is converted to a decimal and the central pixel of the image data is determined to be an edge based on the value.

The infrared image edge processing method according to claim 1,
Infrared image edge processing characterized by multiplying a changeable coefficient of the image data by a settable coefficient and adding / subtracting with the threshold to generate a threshold in place of the first threshold and the second threshold method.

In the infrared image edge processing method according to claim 1 or 2,
When the difference between the maximum value and the minimum value (peak / peak value) of the image data of pixels at the same address in different lines is adopted as the fluctuation value of the image data, and the variation of the peak / peak value is large An infrared image edge processing method characterized in that at least a prominently large peak / peak value is replaced with an appropriate peak / peak value to obtain a fluctuation value of the image data.

The infrared image edge processing method according to claim 1,
Each of the image data is successively inputted to and multiplied by the weighting factor averaging,
An infrared image edge processing method, wherein edge enhancement is performed on the averaged image data.

The infrared image edge processing method according to claim 1,
Insert the dummy storage elements during storage element for holding the image data of the storage element and the even-numbered fields for holding the image data of the odd-numbered field,
An infrared image edge processing method, wherein an edge enhancement filter that applies edge enhancement to all image data that should form an output of an edge enhancement filter as image data of the same field is applied.