JP6984766B2 - 赤外線撮像装置および赤外線撮像プログラム - Google Patents
赤外線撮像装置および赤外線撮像プログラム Download PDFInfo
- Publication number
- JP6984766B2 JP6984766B2 JP2020570298A JP2020570298A JP6984766B2 JP 6984766 B2 JP6984766 B2 JP 6984766B2 JP 2020570298 A JP2020570298 A JP 2020570298A JP 2020570298 A JP2020570298 A JP 2020570298A JP 6984766 B2 JP6984766 B2 JP 6984766B2
- Authority
- JP
- Japan
- Prior art keywords
- thermal image
- pixel
- correction
- value
- pixel values
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/677—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
- H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Toxicology (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Radiation Pyrometers (AREA)
Description
マトリックス状に配置された赤外線検出素子には、素子の並ぶ行または列ごとに別々の駆動線が接続されており、各駆動線から電力が供給されている。これらの駆動線の特性にバラツキがあると、赤外線検出素子への入力値と赤外線検出素子からの出力値との関係が行または列ごとに変化してしまい、熱画像を生成した際に、熱画像に行方向または列方向に延びる筋状ノイズが生じる場合がある。
本発明の実施の形態1に係る赤外線撮像装置1の構成について、図1、図2および図3を用いて説明する。
図1に示されるように、赤外線撮像装置1は、熱画像センサ2および熱画像処理装置3を含む。
複数の赤外線検出素子は、マトリックス状に配置されており、行方向に並ぶ素子には一本の駆動線が接続され、電力が供給される。
熱画像センサ2は、通信線9を介して熱画像処理装置3に接続され、素子が出力する電圧信号を熱画像処理装置3へ送信する。
また、上述のとおり、行方向に並んだ赤外線検出素子は、同一の駆動線に接続され電力の供給を受けている。そのため、行方向に並んだ赤外線検出素子の感度を示す係数aは、駆動線の特性によって影響を受け、行方向に並んだ赤外線検出素子すべてが、ほかの赤外線検出素子に比べ傾きが大きくになり高感度になるまたは傾きが小さくなり低感度になる場合がある(すなわち、行方向に並んだ赤外線検出素子の係数aが一律に増加または減少する)。また、切片成分である係数bも同様に変化する場合があり、これらの場合、行方向に並んだ赤外線検出素子すべての出力値が変化してしまう。この場合、熱画像には熱画像の一端から他端まで行方向に延びる筋状のノイズ(以下、筋状ノイズという)が生じる。
さらに、熱画像センサの使用を継続すると、例えば駆動線の特性の変化などにより行方向に並んだ赤外線検出素子の感度を示す係数aまたは切片成分である係数bが変化するため、筋状ノイズの強度は、常に一定ではなく、経時的に変化する。
プロセッサ4は、熱画像センサ2から送信される電圧信号に基づいて熱画像を生成するためのプログラム、熱画像に含まれる画素の画素値を補正式で補正するためのプログラム、補正式に含まれる補正係数を算出するためのプログラムなど各種プログラムを読み出し、メモリ5に展開して、当該プログラムを実行する。
メモリ5は、RAM(Random Access Memory)などの揮発性の記憶媒体であり、プロセッサ4がプログラムを実行する際にプログラムを展開する領域、各種キャッシュおよびバッファとして用いられる。
記憶装置6は、HDD(Hard Disk Drive)またはSSD(Solid State Disk)などの大容量の不揮発性の記録媒体であり、プロセッサ4が実行する各種プログラムなどを記憶している。
インタフェース7は、熱画像センサ2から送信される電圧信号を受信し、熱画像処理装置3が筋状ノイズを補正した補正済みの熱画像を表示装置等(不図示)の出力先へ送信するものである。
データバス8は、プロセッサ4、メモリ5、記憶装置6およびインタフェース7を通信可能に接続する伝送路である。
熱画像生成部31は、インタフェース7を介して受信した熱画像センサ2の電圧信号を画素値に変換して、筋状ノイズが発生する方向に画素値の異なる複数の画素を含む一枚の熱画像を生成する機能を有する。
平滑化処理部32は、熱画像生成部31が生成した一枚の熱画像における筋状ノイズが発生する方向に並ぶ画素の集合である画素列であって、画素値の異なる複数の画素を含む画素列に含まれる画素の画素値(対象画素値)ごとに、筋状ノイズが発生する方向と交差する方向に隣接する画素列に含まれる隣接する画素の画素値(隣接画素値)を用いて平滑化処理を行い、各画素の補正前画素値に対応する目標値としての平滑化済みの画素値(平滑化画素値)を算出する機能を有する。この平滑化画素値は、対象画素値と隣接画素値の平均値である。
熱画像補正部34は、補正係数算出部33が算出した二つの補正係数を用いて熱画像生成部31が生成した画像を補正する機能を有する。
なお、対象画素値は、特定の画素列に対して平滑化処理、補正係数算出処理または補正処理を行う場合に、特定の画素列に含まれる画素値をいうものであり、隣接画素値は、特定の画素列に隣接する画素列に含まれる画素値をいうものである。したがって、処理が進んで特定の画素列が変われば、対象画素値および隣接画素値が指す画素値も変わる。対象画素値と呼んでいたものが隣接画素値になることもあれば、その反対もありうる。
まず、図4に示されるフローチャートに従って、赤外線撮像装置1が熱画像を生成し、熱画像に含まれる筋状ノイズを低減し、画像を出力する処理について説明する。この処理は、図3のブロック図では熱画像センサ2、熱画像生成部31、熱画像補正部34、出力先をつなぐ矢印で表されている。
ここで、熱画像センサ2は、電気製品の稼働時に室内を撮影する。電気製品が稼働していることで、電気製品自体またはその周辺の物体が温められることになるため、熱画像は、露光状態で室内における温度の異なる複数の領域を撮影したものとなり、熱画像センサ2の電圧信号に基づいて生成される熱画像は、筋状ノイズが発生する方向(行方向)に画素値の異なる複数の画素を含むこととなる。
具体的には、熱画像センサ2は、赤外線検出素子の配置と対応づけられた順序に従って、各赤外線検出素子から出力される電圧信号を熱画像処理装置3へ送信する。熱画像処理装置3は、インタフェース7を介して電圧信号を受信して、素子の配置と対応づけられた順序の情報とともに電圧信号の電圧値をメモリ5または記憶装置6(以下、メモリ5等と記載する)へ記憶する。赤外線撮像装置1のプロセッサ4は電圧値と順序の情報とを読み出して、電圧値を予め対応づけられた画素値に変換するとともに、順序の情報を用いて、画素値を並べ、一枚の熱画像を生成し、メモリ5等へ記憶する。
具体的には、プロセッサ4は、生成した一枚の熱画像のL行目(Lが初期値の場合は1行目)の左端の画素を開始位置として、行方向に並ぶ各画素値をメモリ5等から読み出す。
補正式は上述のz=cy+dであり、行ごとに補正係数cおよびdは異なっている。なお、補正係数cおよびdは、後述の図5のフローチャートで説明する補正係数算出処理で算出されるものである。
具体的には、プロセッサ4は、L行目を補正するために予め用意されている補正係数cおよびdをメモリ5等から読み出し、これらの補正係数とL行目の一番左に位置する画素の画素値を補正式に代入して、一番左に位置する画素の目標値であるzを求める。このzが筋状ノイズを低減した補正後の画素値である。また、プロセッサ4は、二番目以降の画素の画素値も同様に処理し、複数の補正後の画素値からなる画素値列を、行の情報とともにメモリ5等に記憶する。
具体的には、プロセッサ4は、メモリ5等から各画素列の補正後の画素値と行の情報を読み出し、行の情報に沿って画素列を並べ替え、一枚の熱画像を生成する。
具体的には、プロセッサ4は、画像のデータを所定の通信規格に沿ったデータフレームに変換して、インタフェース7を介して出力先へ送信する。
具体的には、プロセッサ4は、生成した一枚の熱画像のM行目、M−1行目、およびM+1行目の左端の画素を開始位置として、行方向に並ぶ各画素値をメモリ5から読み出す。
なお、M=1の場合、すなわち、熱画像の最上段の画素列の画素値を読み出す場合、M−1行目は存在しないので、代わりにM行目またはM+1行目と同様の画素列がM−1行目に存在するとして、別途読み出しているM行目またはM+1行目の画素列をM−1行目の画素列として扱うこととする。熱画像の最下段についても同様に、M+1行目の画素列が存在しないため、別途読み出しているM行目またはM−1行目の画素列をM+1行目の画素列として扱うこととする。
また、ここでは、M行目に含まれる画素値が対象画素値であり、M−1行目、およびM+1行目に含まれる画素値が隣接画素値である。
具体的なプロセッサ4の処理を、図6を用いて説明する。例えば図6(a)のM行目の対象画素値を平滑化する場合、プロセッサ4は、それぞれの対象画素値と、対応する二つの隣接画素値の平均値を求める(例えば図6(a)の枠Aの範囲で平均値を求める)。この平均値は、M行目の画素列の一番左の対象画素値および一番左の隣接画素値で求め、二番目以降の対象画素値および隣接画素値も同様に処理して求められる。求めた複数の平均値を各対象画素値に対応する平滑化画素値として、行の情報および行内での画素の位置情報とともにメモリ5等に記憶する。
ここで、図6(a)の枠Aの範囲で平均値を求める平滑化処理を行うと、図6(b)のようにM行目において筋状ノイズが低減された平滑化画素値で構成される平滑化熱画像が得られる。M行目における赤外線の分布と隣接するM−1行目およびM+1行目における赤外線分布とは概ね相関があるため、M行目に含まれる個々の対象画素値と、平滑化熱画像に含まれる平滑化画素値の対応関係は維持されているとみなすことができ、筋状ノイズが低減された平滑化画素値を対象画素値の目標値zとすることができる。平滑化画素値を目標値zとして、以降のステップS106から109の処理で各行の補正式z=cy+dの補正係数を算出する。
具体的なプロセッサ4の処理を、図7を用いて説明する。例えばN行目の対象画素値と平滑化画素値とから座標値を設定する場合、プロセッサ4は、熱画像のN行目の画素列の対象画素値を読み出す(図7(a)におけるN1からN6)。また、プロセッサ4は、平滑化熱画像のN行目の画素列の平滑化画素値を読み出す(図7(b)におけるN1hからN6h)。そして、プロセッサ4は、対象画素値と、対応する平滑化画素値を用いて、対象画素値をy座標、平滑化画素値をz座標とする座標値(例えば(N1,N1h))を設定する(ステップS106)。
具体的には、プロセッサ4は、設定した座標値と直線の式z=cy+dとの距離が最小になるように最小二乗法を用いて、補正係数cおよびdを算出し(図7(c))、行の情報とともにメモリ5等へ記憶する。
赤外線撮像装置1は、一枚の熱画像に含まれる画素の画素値の違いに基づいて複数の補正係数を算出している。複数の補正係数を求めるためには、複数の異なる画素値が必要となる。例えば、一枚の熱画像に同一の画素値しか含まれない場合や一枚の画像に含まれる画素値の平均値を用いて複数の補正係数を求める場合、温度状況の異なる複数の熱画像を撮影しなければならない。これに対して、当該赤外線撮像装置1を用いることで、一枚の熱画像だけで複数の補正係数を算出することができる。よって、複数の熱画像を用意せずとも複数の補正係数を算出でき、算出された補正係数により精度よく筋状ノイズを低減することができる。
また、赤外線撮像装置1は、座標値を直線近似して補正係数を算出している。補正係数を算出する行に熱源体のエッジ部分が位置する場合、エッジ部分は平滑化されてしまい、平滑化画素値の目標値としての精度が低下してしまう場合がある。このような平滑化画素値を目標値として対象画素値を補正すると、適切な熱画像が得られないが、当該赤外線撮像装置1では、複数の座標値を直線で近似するため、エッジ部分の平滑化画素値の座標値が含まれていたとしても、エッジ部分は行に含まれる画素全体としては割合が少ないので、エッジ部分による補正精度の低下を抑制することができる。
次に、本発明の実施の形態2について説明する。実施の形態1で説明した構成および動作と同様の部分については説明を省略し、実施の形態1と異なる部分について、以下に説明する。
実施の形態1では、熱画像の対象画素値と、平滑化熱画像の平滑化画素値(目標値)を用いて座標値を設定し、座標値を直線近似することで補正係数を算出していた。
実施の形態2では、熱画像の対象画素値をソートして降順または昇順に並べたものを直線近似してy=en+f(y:対象画素値、n:対象画素値の順番、eおよびf:係数)を求め、平滑化熱画像の平滑化画素値(目標値)をソートして降順または昇順に並べたものを直線近似してz=gn+h(z:平滑化画素値(目標値)、n:平滑化画素値の順番、gおよびh:係数)を求め、これらの式を合成してz=cy+dの形に変形して、補正係数cおよびdを求める。
第1ソーティング部235は、熱画像の中で行方向に並ぶ対象画素値を降順または昇順に並び替える機能を有する。
第2ソーティング部236は、平滑化熱画像の中で行方向に並ぶ平滑化画素値を降順または昇順に並び替える機能を有する。
また、第1ソーティング部235および第2ソーティング部236を総称して、単にソーティング部と呼ぶ。
具体的には、プロセッサ4は、熱画像のN行目の対象画素値をメモリ5等から読み出し、バブルソートなどの公知の手法で画素値を降順または昇順でソートし、ソート後の順番で画素値をメモリ5等に記憶する。
また、第2ソーティング部236は、平滑化熱画像のN行目の平滑化画素値を降順または昇順でソートする(ステップS202)。ソートを行う対象となる画素値が平滑化画素値であるだけで、ステップS201と同様の処理である。
同様に、補正係数算出部233は、平滑化熱画像の平滑化画素値zとその順番nからなる座標値(n,z)を設定し、図10(b)に示されるように、n−z座標空間にプロットし、直線近似して直線の式z=gn+hを求め、係数gおよびhを算出する(ステップS204)。
なお、対象画素値yはソートされており、もともと(N1、N2、N3、N4、N5、N6)と並んでいたが、(N1、N4、N3、N6、N2、N5)と並び替えられている。また、この平滑化画素値zもソートされており、もともと(N1h、N2h、N3h、N4h、N5h、N6h)と並んでいたが、(N1h、N4h、N3h、N6h、N2h、N5h)と並び替えられている(図10(a)および(b))。ソート前の対象画素値(N1、N2、N3、N4、N5、N6)と、ソート前の平滑化画素値(N1h、N2h、N3h、N4h、N5h、N6h)は、それぞれ同じ画素の画素値であるから、画素値の順番は対応している。一方、ソートすることで、順番の対応関係が崩れる可能性があるが、平滑化画素値は隣接する画素値を用いて算出されたものであり、隣接する画素値の分布は対象画素値の分布と概ね相関があることから、ソート後の順番でも概ね対応関係は崩れない。そのため、直線の式y=en+fにおける順番nと、直線の式z=gn+hにおける順番nとは対応したものとなる。
熱画像の直線の式y=en+fと、平滑化熱画像の直線の式z=gn+hとは、上述のとおり順番nが対応しているので、一方の式をn=の形に変形して、他方の式に代入し、z=cy+dの形に変形することで、補正係数cおよびdを求めることができる。変形した式は次のとおりである。
実施の形態2に係る赤外線撮像装置201は、実施の形態1における座標値の設定および一回の直線近似の処理を行うだけで補正係数を算出できるという効果を除いて、同様の効果を奏する。
次に、本発明の実施の形態3について説明する。実施の形態1および2で説明した構成および動作と同様の部分については説明を省略し、実施の形態1および2と異なる部分について、以下に説明する。
実施の形態1および2では、熱画像の対象画素値と、平滑化熱画像の平滑化画素値(目標値)を用いて補正係数を算出していた。
実施の形態3では、行ごとに熱画像の対象画素値をソートして降順または昇順に並べたものを直線近似してy=en+f(y:対象画素値、n:対象画素値の順番、eおよびf:係数)を求め、また、平滑化熱画像の平滑化画素値(目標値)の直線の式に代えて、隣接する行の対象画素値の直線の式に含まれる係数を用いてz=in+j(z:目標値、n:目標値の順番、iおよびj:係数)を求め、これらの式を合成してz=cy+dの形に変形して、補正係数cおよびdを求める。
次に、第1ソーティング部235は、一枚の熱画像のS行目に並ぶ画素の集合である画素列に含まれる対象画素値を降順または昇順でソートする(ステップS302)。この処理は図9のステップS201と同様である。なお、Sは自然数であり、本フローチャートの処理が始まった際に初期値としてS=1が設定されている。
対象となる行および隣接する行の対象画素値yは程度の差はあるものの、筋状ノイズにより増加または低減されている。そのため、これらの対象画素値yの平均値は、筋状ノイズによる増減が相殺され、目標値zに近いものとなる。したがって、複数の直線の式を平均化することで、yAVE=eAVE・n+fAVE=zとみなすことができる。
以上から、平均係数iは、eAVE、すなわち対象となる行および隣接する行の係数eを平均化したもの、平均係数jは、fAVE、すなわち対象となる行および隣接する行の係数fを平均化したものとして算出することができる。
なお、ここでTは自然数であり、本フローチャートの処理が始まった際に初期値としてT=1が設定されている。
なお、T=1の場合、すなわち、熱画像の最上段の係数を読み出す場合、T−1行目は存在しないので、代わりにT行目またはT+1行目と同様の係数がT−1行目に存在するとして、別途読み出しているT行目またはT+1行目の係数をT−1行目の係数として扱うこととする。熱画像の最下段についても同様に、T+1行目の係数が存在しないため、別途読み出しているT行目またはT−1行目の係数をT+1行目の係数として扱うこととする。
具体的には、プロセッサ4は、上記の補正係数cおよびdと係数e、f、および平均係数i、jの変換式(図9のステップS205と同様)をメモリ5等から読み出し、係数e、f、および平均係数i、jを代入して、補正係数cおよびdを算出し、メモリ5等に記憶して更新する。
実施の形態3に係る赤外線撮像装置301は、実施の形態1と同様の効果を奏するだけでなく、熱画像の平滑化処理および平滑化熱画像に含まれる平滑化画素値のソーティング処理を行う必要がなく、迅速に補正係数を算出することができる。
次に、本発明の実施の形態4について説明する。実施の形態1、2および3で説明した構成および動作と同様の部分については説明を省略し、実施の形態1、2および3と異なる部分について、以下に説明する。なお、実施の形態4は、実施の形態1、2または3と組み合わせて実施することができる。
実施の形態4の赤外線撮像装置は、実施の形態2(図8)と同様の構成であるが、補正係数算出部に熱画像の画素値および平滑化熱画像の画素値の一部を除去する機能が追加されている。
補正係数算出部は、ソーティングされた熱画像の画素列の端部に位置する画素値を除去する機能を有する。また、ソーティングされた平滑化熱画像の画素列の端部に位置する平滑化画素値を除去する機能を有する。
それぞれのソーティングされた画素列の端部を除去することは、画素列の中で大きな値および小さな値を、以降の補正係数算出部の処理(例えば補正係数cおよびdを算出する処理)に用いないことを意味する。例えば、室内に電球、ガスコンロまたは人などが存在すると、熱画像内にそれらの輪郭であるエッジ部分が生じる。実施の形態1または実施の形態2で熱画像を平滑化処理する際に、平滑化によってこのエッジ部分がならされてしまい、平滑化画素値の目標値としての精度が低下してしまう場合がある。また、外気によって冷やされた窓なども同様に精度を低下させる場合がある。補正係数算出部は、これらの例のように画素列の中で大きな値および小さな値を持つ物体を補正係数の算出処理から除外するものである。
端部を除去する処理を具体的に示すと、プロセッサ4は、熱画像の画素列の中で大きな値を除去するための閾値をメモリ5等から読み出し、ソート後の画素列の最も大きい値から順番に閾値を上回るか否かを判定し、閾値を上回らない値が見つかるまで判定を繰り返し、閾値を上回る画素値を画素列から削除する。
同様に、プロセッサ4は、熱画像の画素列の中で小さな値を除去するための閾値をメモリ5等から読み出し、画素列を最も小さな値から走査して、閾値を下回る画素値を画素列から削除する。
この処理は、平滑化熱画像についても行われる。
赤外線撮像装置が撮影する熱画像には人などの熱源物体が写りこむことがある。また、窓などの極端に冷やされた物体が写りこむことがある。これらの物体のエッジ部分は、平滑化処理を行うと消失してしまい、目標値の精度が低下する。そのため、実施の形態4の赤外線撮像装置は、これらの物体を補正係数算出処理から除去する。よって、算出される補正係数の精度低下を抑制することができる。
実施の形態4の赤外線撮像装置1は、ソート後の画素列の端部を閾値と比較して、除去する画素値を決定していたが、閾値を用いずに、除去する画素値の数を予め定めておき、対応する数の画素値を除去するようにしてもよい。
また、実施の形態4の赤外線撮像装置は、画素列の両端部の画素値を除去していたが、一方の端部のみ除去してもよい。この場合、熱画像における筋状ノイズが発生する方向に位置する画素列に少なくとも三つの画素値が含まれていればよい。
また、実施の形態4の赤外線撮像装置は、ソート後の画素列の端部を除去していたが、ソートされていない画素列の個々の画素値に対して、閾値を用いて除去するか否かを判定してもよい。
次に、本発明の実施の形態5について説明する。実施の形態1、2、3および4で説明した構成および動作と同様の部分については説明を省略し、実施の形態1、2、3および4と異なる部分について、以下に説明する。なお、実施の形態5は、実施の形態1、2、3,4またはその変形例と組み合わせて実施することができる。
実施の形態5では、複数の赤外線検出素子が縦方向に一列に並んだ熱画像センサ502を用い、この熱画像センサ502を横方向に移動させ、赤外線検出素子の出力である電圧信号を合成することで一枚の熱画像を生成する。
熱画像センサ502は、複数の赤外線検出素子が縦方向に一列に並んだものである。
センサ移動部504は、熱画像センサ502の位置を変化させるように、横方向、すなわち熱画像センサ502が並んだ方向と交差する方向に熱画像センサ502を移動するものである。具体的には、モータであり、モータの回転軸と熱画像センサ502とが駆動部材505を介して接続され、モータの回転動作が熱画像センサ502へ伝達される。
また、センサ移動部504は、ロータリエンコーダを備えており、モータの回転量、すなわち、熱画像センサ502の移動量を示す信号を、通信線9を介して熱画像処理装置503(より具体的には、熱画像生成部531)へ送信する。
図15(a)は、センサ移動部504の回転軸を中心に、熱画像センサ502が回転するように構成された例を示す図である。熱画像センサ502は、回転軸と同心円状に円弧を描くように回転し、周辺の赤外線に対応する電圧信号を送信する。
図15(b)は、センサ移動部504の回転動作に伴って、熱画像センサ502が並進運動するように構成された例を示す図である。熱画像センサ502は、並進運動しながら、周辺の赤外線に対応する電圧信号を送信する。
図15(c)は、ある位置における熱画像センサ502の電圧信号から生成される熱画像I1と、複数の熱画像I1を合成して一枚の熱画像I2の例を示す図である。一枚の熱画像I2は、熱画像センサ502が可動域の範囲内で移動した際の熱画像I1を合成したものとなる。
実施の形態5の赤外線撮像装置501は、赤外線検出素子をマトリックス状に配置する必要がなく、少ない赤外線検出素子でも熱画像の撮像が可能となる。赤外線検出素子を少なくすることで、赤外線検出素子をマトリックス状に並べるためのスペースがない場合でも赤外線撮像装置501を設置することができる。また、赤外線検出素子を少なくすることで、赤外線撮像装置501を設置するためのコストを低減することができる。
実施の形態5では、センサ移動部504で熱画像センサ502の位置を移動する例を示したが、モータの回転軸上に熱画像センサ502を固定して、熱画像センサ502の方向を変化させるようにしてもよい。
また、実施の形態5では、熱画像センサ502が縦方向に並んでおり、センサ移動部504が横方向に熱画像センサ502を移動させる例を示したが、熱画像センサ502が横方向に並んでおり、センサ移動部504が縦方向に熱画像センサ502を移動させるようにしてもよい。
実施の形態1から実施の形態5の赤外線撮像装置では、直線の式や補正式として一次関数を用いて係数、補正係数を算出していたが、三次関数などの多項式関数を用いてもよい。高次の多項式関数を用いることで、精度よく画素値を近似することができる。また、高次の多項式を用いる場合、補正係数は、2つ以上となる。
駆動線が行方向に配置された赤外線検出素子に接続されていることが、行方向に筋状ノイズが発生する原因と述べたが、駆動線が列方向や斜め方向に接続された場合、列方向や斜め方向に筋状ノイズが発生する。
さらに、画像を生成する処理では、筋状ノイズを低減する処理以外にもノイズ低減処理が行われる場合があり、この処理が一行ごとに行われる場合は、一行ごとにノイズ低減処理の程度が異なり、筋状ノイズが発生しうる。
実施の形態1から実施の形態5の赤外線撮像装置は、これらの筋状ノイズについても同様に低減することができる。
実施の形態3では、平均係数を求めるために3つの隣接する行の係数の平均値を算出していたが、個々の係数に重みづけをして、平均値を求めてもよい。また、補正係数を求める行の係数を用いずに、隣接する行の係数だけを用いて平均係数を求めてもよい。また、3つの隣接する行だけでなく、さらに3つの行に隣接する2つの行の係数を用いて5つの行の係数で平均値を求めてもよい。さらに隣接する行の係数を用いて5つ以上の行の係数で平均値を求めてもよい。
さらに、実施の形態1から実施の形態5の赤外線撮像装置は、電気製品に設置するだけでなく、室内外に設置される防犯または監視用のカメラとして用いてもよい。
また、筋状ノイズの強度は、外部の環境温度に依存して変化することがあるため、赤外線撮像装置に温度検出器を設けておき、温度が予め定めた閾値以上変化した場合に補正係数の算出処理を開始してもよい。
また、図4のフローチャートに沿って熱画像を補正等する処理と、図5などのフローチャートに沿って補正係数を算出する処理を同時に行う場合、熱画像を生成する処理は共通するため、別々に行う必要はない。
Claims (8)
- 赤外線を受光して前記赤外線と対応する信号を出力する熱画像センサと、
前記熱画像センサの前記信号に基づいて、一枚の熱画像を生成する熱画像生成部と、
前記一枚の熱画像に含まれる画素の画素値を、前記一枚の熱画像の一端から他端まで延びる筋状ノイズが抑制された目標値に変換するための補正式に含まれる複数の補正係数を算出する補正係数算出部と、
前記複数の補正係数を用いて前記熱画像生成部が生成する熱画像を補正する熱画像補正部と、
を備え、
前記補正係数算出部は、前記一枚の熱画像における前記筋状ノイズが発生する方向に並ぶ画素の画素値の違いに基づいて前記複数の補正係数を算出する
ことを特徴とする赤外線撮像装置。
- 前記筋状ノイズが発生する方向に並ぶ画素に対して前記筋状ノイズが発生する方向と交差する方向に隣接する画素の画素値を用いて、前記筋状ノイズが発生する方向に並ぶ画素の画素値を平滑化処理し、平滑化済みの画素値である平滑化画素値を、前記目標値として算出する平滑化処理部をさらに備え、
前記補正係数算出部は、前記筋状ノイズが発生する方向に並ぶ画素の画素値と前記平滑化画素値とで表される複数の座標値を前記補正式である多項式関数で近似し、多項式関数に含まれる前記複数の補正係数を算出する
ことを特徴とする請求項1に記載の赤外線撮像装置。
- 前記筋状ノイズが発生する方向に並ぶ画素に対して前記筋状ノイズが発生する方向と交差する方向に隣接する画素の画素値を用いて、前記筋状ノイズが発生する方向に並ぶ画素の画素値を平滑化処理し、平滑化済みの画素値である平滑化画素値を、前記目標値として算出する平滑化処理部と、
前記筋状ノイズが発生する方向に並ぶ画素の画素値と、前記平滑化画素値とをそれぞれ降順または昇順でソートするソーティング部と、
をさらに備え、
前記補正係数算出部は、前記筋状ノイズが発生する方向に並ぶ画素の画素値とその順番で表される座標値、および前記平滑化画素値とその順番で表される座標値をそれぞれ多項式関数で近似し、それぞれの多項式関数の係数を用いて前記補正式の前記複数の補正係数を算出する
ことを特徴とする請求項1に記載の赤外線撮像装置。
- 前記一枚の熱画像の中で前記筋状ノイズが発生する方向に並ぶ画素の集合である画素列に含まれる画素の画素値を降順または昇順でソートし、前記筋状ノイズが発生する方向と交差する方向に隣接する画素列に含まれる画素の画素値を降順または昇順でソートするソーティング部をさらに備え、
前記補正係数算出部は、
前記筋状ノイズが発生する方向に並ぶ画素の画素値とその順番で表される座標値を多項式関数で近似して、多項式関数の係数を算出し、
前記隣接する画素列に含まれる画素の画素値とその順番で表される座標値を多項式関数で近似して、多項式関数の係数を算出し、
前記筋状ノイズが発生する方向に並ぶ画素の画素値に基づいて算出された係数と、前記隣接する画素列に含まれる画素の画素値に基づいて算出された係数との平均値である平均係数を算出し、
前記画素値の異なる複数の画素の画素値に基づいて算出された係数と、前記平均係数を用いて前記補正式の前記複数の補正係数を算出する
ことを特徴とする請求項1に記載の赤外線撮像装置。
- 前記筋状ノイズが発生する方向に並ぶ画素には、画素値の異なる三つ以上の画素が含まれており、
前記補正係数算出部は、前記異なる三つ以上の画素値のうち、最も大きいまたは最も小さい画素値を用いずに前記複数の補正係数を算出する
ことを特徴とする請求項1に記載の赤外線撮像装置。
- 前記一枚の熱画像は、前記熱画像センサが露光状態で撮像した熱画像である
ことを特徴とする請求項1に記載の赤外線撮像装置。
- 前記熱画像センサの位置または方向を変化させるように前記熱画像センサを移動するセンサ移動部をさらに備え、
前記熱画像生成部は、前記熱画像センサが移動しながら受光した前記赤外線に対応する前記信号から前記一枚の熱画像を生成する
ことを特徴とする請求項1に記載の赤外線撮像装置。
- 計算装置を、
熱画像センサの出力する信号に基づいて、一枚の熱画像を生成する熱画像生成部、
前記一枚の熱画像に含まれる画素の画素値を、前記一枚の熱画像の一端から他端まで延びる筋状ノイズが抑制された目標値に変換するための補正式に含まれる複数の補正係数を算出する補正係数算出部、
前記複数の補正係数を用いて前記熱画像生成部が生成する画像を補正する熱画像補正部、
として機能させ、
前記補正係数算出部に、前記一枚の熱画像における前記筋状ノイズが発生する方向に並ぶ画素の画素値の違いに基づいて前記複数の補正係数を算出させる
ように前記計算装置を機能させるための赤外線撮像プログラム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2019/004452 WO2020161867A1 (ja) | 2019-02-07 | 2019-02-07 | 赤外線撮像装置および赤外線撮像プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2020161867A1 JPWO2020161867A1 (ja) | 2021-09-09 |
| JP6984766B2 true JP6984766B2 (ja) | 2021-12-22 |
Family
ID=71947735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020570298A Active JP6984766B2 (ja) | 2019-02-07 | 2019-02-07 | 赤外線撮像装置および赤外線撮像プログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11937009B2 (ja) |
| EP (1) | EP3923563B1 (ja) |
| JP (1) | JP6984766B2 (ja) |
| WO (1) | WO2020161867A1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4084467B1 (en) * | 2021-04-30 | 2023-02-01 | Axis AB | A method and a thermal camera having a microbolometer detector for capturing a sequence of image frames |
| CN114998136B (zh) * | 2022-01-29 | 2025-04-04 | 杭州微影软件有限公司 | 一种热成像图像校正方法和装置 |
| CN115375545B (zh) * | 2022-08-22 | 2023-08-18 | 杭州微影软件有限公司 | 一种图像校正方法及装置 |
| CN118118801A (zh) * | 2022-11-30 | 2024-05-31 | 浙江宇视科技有限公司 | 条纹噪声图像的优化方法、装置、设备和介质 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02246681A (ja) * | 1989-03-20 | 1990-10-02 | Fujitsu Ltd | 赤外線撮像装置の縞状ノイズ軽減回路 |
| GB2305799A (en) * | 1995-10-02 | 1997-04-16 | Secr Defence | Thermal imaging system with controlled mean scene reference temperature source |
| US20040239782A1 (en) | 2003-05-30 | 2004-12-02 | William Equitz | System and method for efficient improvement of image quality in cameras |
| JP2006098217A (ja) * | 2004-09-29 | 2006-04-13 | Fujitsu Ltd | 画像検査装置、画像検査方法及び画像検査プログラム |
| JP4625685B2 (ja) * | 2004-11-26 | 2011-02-02 | 株式会社東芝 | 固体撮像装置 |
| JP4785717B2 (ja) * | 2006-11-22 | 2011-10-05 | 三菱電機株式会社 | 赤外線撮像装置 |
| JP4749397B2 (ja) * | 2007-08-23 | 2011-08-17 | 三菱電機株式会社 | 赤外線撮像装置 |
| JP5055485B2 (ja) | 2009-01-28 | 2012-10-24 | 株式会社メガチップス | 撮像システム |
| JP4868003B2 (ja) | 2009-02-06 | 2012-02-01 | ソニー株式会社 | 固定パターンノイズ除去回路、固定パターンノイズ除去方法、プログラムおよび撮像装置 |
| US8538114B2 (en) * | 2011-06-06 | 2013-09-17 | Kabushiki Kaisha Toshiba | Method and system utilizing parameter-less filter for substantially reducing streak and or noise in computer tomography (CT) images |
| DE102013111547B4 (de) | 2013-10-21 | 2021-01-21 | Sick Ag | Sensor mit um Drehachse beweglicher Abtasteinheit |
| JP2015122616A (ja) | 2013-12-24 | 2015-07-02 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US20190387185A1 (en) * | 2018-06-13 | 2019-12-19 | Luminar Technologies, Inc. | Thermal imager with enhanced processing |
-
2019
- 2019-02-07 WO PCT/JP2019/004452 patent/WO2020161867A1/ja not_active Ceased
- 2019-02-07 JP JP2020570298A patent/JP6984766B2/ja active Active
- 2019-02-07 US US17/424,894 patent/US11937009B2/en active Active
- 2019-02-07 EP EP19914457.7A patent/EP3923563B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP3923563B1 (en) | 2024-04-03 |
| WO2020161867A1 (ja) | 2020-08-13 |
| EP3923563A4 (en) | 2022-02-23 |
| US11937009B2 (en) | 2024-03-19 |
| EP3923563A1 (en) | 2021-12-15 |
| US20220094860A1 (en) | 2022-03-24 |
| JPWO2020161867A1 (ja) | 2021-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6984766B2 (ja) | 赤外線撮像装置および赤外線撮像プログラム | |
| CN107532999B (zh) | 基于波长带的无源红外气体成像 | |
| US20060279632A1 (en) | Method for fixed pattern noise reduction in infrared imaging cameras | |
| US11249016B2 (en) | Wavelength band based passive infrared gas imaging | |
| CN107810630B (zh) | 校正乱真像素方法、计算机可读存储介质和图像处理装置 | |
| US20210310941A1 (en) | Gas lens filter systems and methods | |
| US10600164B2 (en) | Image adjustment based on locally flat scenes | |
| JP2009089138A (ja) | 赤外線カメラ | |
| KR101965204B1 (ko) | 비냉각 적외선 검출기 및 이의 동작 방법 | |
| CN107736013B (zh) | 检测乱真像素的方法、介质和图像处理装置 | |
| CN115836530B (zh) | 红外线图像处理装置和红外线图像处理方法 | |
| KR101854355B1 (ko) | 다중센서를 선택적으로 이용하는 영상보정 장치 | |
| KR20230033302A (ko) | 영상 불균일 보정 시스템 및 영상 불균일 보정 방법 | |
| JP4466584B2 (ja) | 照度取得装置、照度取得方法および照度取得プログラム | |
| JP6701025B2 (ja) | データ処理装置、データ処理方法、プログラム | |
| JP7373777B2 (ja) | 赤外線処理システム、赤外線センサシステム、赤外線処理方法、及び、プログラム | |
| CN113767419B (zh) | 用于去除静态场景的红外图像中的余辉的方法和设备 | |
| KR101918761B1 (ko) | 적외선 열상 검출기의 불량 화소 처리 방법 및 장치 | |
| KR101854354B1 (ko) | 다중센서 기반 영상보정 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210108 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211026 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211108 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6984766 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |