JP6936806B2 - 画像処理方法 - Google Patents

Description

分野
本発明は、観察される空間における観察される所定の領域の判別分析を目的とした画像処理方法に関する。判別分析は、例えば、脅威検出からなることができる。

発明の背景
オペレーションの分野では、昼間及び、特に夜間の、明度の低い期間に利用可能な光学脅威検出ツール／装置を有することが必要であり得る。

２つの画像センサを収容するケーシングを含む装置であって、第１の画像センサが、第１のスペクトル範囲をカバーすることが可能であり、第２の画像センサが、第１のスペクトル範囲とは異なる第２のスペクトル範囲をカバーすることが可能である装置であり、第１及び第２の各画像センサが、空間における同一の観察される所定の領域の画像を形成することが可能であり、処理手段が、第１の画像センサ及び／又は第２の画像センサから得られた画像に基づいて前記観察される所定の領域に位置する脅威を検出することが可能である装置は公知である。

異なるスペクトル範囲をカバーすることが可能ないくつかの画像センサの使用により、多数の脅威、特に非常に異なる波長を有する脅威、の検出が可能になる。第１の画像センサ及び／又は第２の画像センサによって検出されるかどうかに応じて、いくつかのタイプの脅威を区別することも可能である。

しかしながら、このタイプの装置において実施される処理手段では、夜間に遭遇するような、低い明度の条件下における使用が可能ではなく、その結果、各画像センサによって通常表示されるデータが観察者にとって十分ではないことが判明している。

本発明は、特に、単純、効果的、かつ経済的にこれらの欠点を回避することを目的とする。

概要
この目的のために、第１のスペクトル範囲をカバーすることが可能な少なくとも１つの画像センサおよび第１のスペクトル範囲とは異なる第２のスペクトル範囲をカバーすることが可能な少なくとも１つの第２の画像センサを含んだ少なくとも１つのケーシングを含む装置を使用して画像を処理する方法であって、第１及び第２の各画像センサが、空間における同一の観察される所定の領域の画像を形成することが可能であり、第１の画像センサが、可視光スペクトルの波長の範囲に属するスペクトル範囲をカバーすることが可能であり、
（ａ）第１の画像センサによって空間における観察される前記所定の領域の第１の画像Ｉ_１を取得することと、
（ｂ）第２の画像センサによって空間における観察される前記所定の領域の第２の画像Ｉ_２を取得することと、
（ｃ）少なくとも１つの色情報及び輝度画像Ｉ_１Ｌを得るように第１の画像Ｉ_１の分離を実行することと、
（ｄ）輝度画像Ｉ_１Ｌと第２の画像Ｉ_２とのデジタル融合から生じる融合画像Ｉ_ｆを得ることと、
（ｅ）融合画像Ｉ_ｆに、又は融合工程（ｄ）の間に、色情報を加えることと、
を伴う方法を提供する。

２つの画像（この場合にはＩ_１Ｌ及びＩ_２）のデジタル融合は、画素レベル融合を意味し、すなわち、融合が、画像の画素値に基づいて、各々の画像全体に直接実行される。

従来技術の画像処理方法とは異なり、本発明は、それぞれ可視光の波長範囲で得られた第１の画像Ｉ_１ 、及び、例えば赤外線の波長範囲で得られた第２の画像Ｉ_２の各々のデータ量を分析すること、これらの画像を新しい融合画像Ｉ_ｆにデジタル融合すること、並びに色情報を加えることを提供する。これにより、得られる最終画像は、可視光の波長に対する高い感度のために、人間の眼によって容易に解釈可能な色情報を含んだ画像をユーザに復元することを可能にする。

別の特徴によれば、方法は、工程（ｃ）の前に、第１の画像Ｉ_１及び最低解像度を有する第２の画像Ｉ_２の尺度を、第１の画像及び第２の画像の一方の尺度に合わせることを伴う。

この変形工程は、更に、演算子による最低解像度を有する画像の拡大、回転、オフセット、及び幾何収差の補正の実行を目的とする。

工程（ｃ）の前に、方法はまた、第１の画像のダイナミクスを第２の画像のダイナミクスに適合させることを伴う。

ダイナミクスを合わせることは、基本的に、第１及び第２の画像を比較可能にして、後続の工程における最大量のデータの画像からの抽出を可能にすることを目的とする。

本発明の特定の一実施形態によれば、デジタル融合は、輝度画像Ｉ_１Ｌ及び第２の画像Ｉ_２の連続した数ｎの空間周波数成分の画像への分解を実行する工程を含む。

これらの空間周波数成分の画像への分解により、輝度画像Ｉ_１Ｌ及び第２の画像Ｉ_２の各々の内容を局所的に、すなわち分析される各々の画素のレベルで解釈することが可能になる。

方法の別の特徴によれば、デジタル融合工程は、
（ｉ）輝度画像Ｉ_１Ｌ及び第２の画像Ｉ_２ の、それぞれ

で示される、連続した数ｎの空間周波数成分と関連した画像、への分解を実行することと、
（ii）数ｎの空間周波数成分と各々関連した画像

の、少なくともいくつかの、観察される領域における、エネルギー計算を実行することと、
（iii）前の工程で実行された局所分析のエネルギー計算に基づいて、重み付け画像

を、数ｎの空間周波数成分と関連した画像

毎に計算することと、
（iv）数ｎの空間周波数成分と関連した画像

毎に、以下の計算を実行することと、

（ｖ）すべての空間周波数成分の画像の融合された融合画像Ｉ_ｆを得るために、数ｎの空間周波数成分と各々関連したすべての画像Ｆ’_ｎの再結合を実行することと、
を伴う。

本発明によれば、輝度画像Ｉ_１Ｌと第２の画像Ｉ_２とのデジタル融合は、人間の眼によって実行されるように、画像の空間周波数成分分析及びコントラストに基づく。

方法の特定の一実施形態では、空間周波数成分の画像への分解は、以下の数式により、各々の輝度画像Ｉ_１Ｌ及び第２の画像Ｉ_２に平均化又はローパスフィルタを連続して適用することを伴う：

Ｓはローパスフィルタを示し、Ｉ_ｅは入力画像

を示す。

実際には、最高空間周波数成分を含む画像

は、

で表され、及び最低空間周波数成分を含む画像は、

で表され、ｈは入力画像Ｉ_ｅに適用された畳み込み演算の数を表す。

同様に、本発明の実用的な実施形態では、工程（ii）は、以下の式により、エネルギーを計算することを伴う：

式中、ｋ_ｘ及びｋ_ｙは分析ウィンドウの尺度を表す。

このエネルギーは、尺度ｋ_ｘ×ｋ_ｙのウィンドウにおける局所分散として計算される。

このように定められた重み付け演算子により、関連性に応じて、可視光のスペクトル範囲の第１の画像又は第２の赤外線のスペクトル範囲の画像から導かれるデータを優先することが可能になる。エネルギーが画像

において等価である場合には、重み付け演算子は、エネルギーが異なると判明する場合とは異なり、画像の両方を等価に表すことになる。

最後に、再結合工程は、以下の計算を実行することを伴う：

式中、ｈは空間周波数成分の数を表す。

色が観察者にとって判別／識別の重要な側面を有するときは、観察接眼レンズにおいて表示された最終画像の比色分析を修正しないことが好ましい場合がある。

このため、工程（ｃ）は、好ましくは、第１の画像Ｉ_１の輝度画像Ｉ_１Ｌ並びに２つの色差画像

への分離を実行することを伴う。工程（ｅ）は、次いで、融合画像Ｉ_ｆを色差画像

と再結合又は再合成することを伴う。

実用的な実施形態では、第１の画像センサは、０．４μmと１．１μmとの間に属するスペクトル範囲をカバーすることが可能である。

本発明の別の特徴では、第２の画像センサは、赤外線の波長の範囲に属する第２のスペクトル範囲をカバーすることが可能である。

第２の画像センサは、７．５μmと１４μmとの間に属するスペクトル範囲をカバーすることが可能であり得る。

本発明の他の詳細、特徴、及び利点は、以下の添付の図面を参照しながら、非限定的な例として与えられる以下の説明を読むことで明らかになるであろう。

本発明による方法を使用して実行される主な処理工程のフローチャートである。 デジタル融合工程の間に実行される主な処理工程のフローチャートである。

本発明による画像取得及び処理の原理を示す図１を最初に参照する。本発明による画像処理方法は、異なるスペクトル範囲をカバーすることが可能な少なくも２つの画像センサを収容したケーシングを含む装置において実施されることが意図される。

したがって、一例として、ケーシングは、可視光のスペクトル範囲に位置する０．４μmと１．１μmとの間に含まれるスペクトル範囲をカバーすることが可能な第１の画像センサ及び赤外線のスペクトル範囲に位置する７．５μmと１４μmとの間に含まれるスペクトル範囲をカバーすることが可能な第２の画像センサを含む。両方の画像センサは、空間における同一の観察される所定の領域の画像を形成することが可能なようにケーシングに配列される。

本発明による方法１０は、第１の画像センサを使用して空間における観察される所定の領域の１２における第１の画像Ｉ_１を取得すること、及び第２の画像センサを使用して空間における同一の観察される所定の領域の１４における第２の画像Ｉ_２を取得することを伴う。

最初に、第２の画像Ｉ_２が、１６において第１の画像Ｉ_１に関する再較正を受ける。この選択は、基本的に使用された各画像センサの尺度による。一般に、第２の画像センサのような赤外線画像センサは、第１の画像センサのような可視光のスペクトル範囲の画像センサよりも低い解像度を有する。例えば、第１の画像センサは１０ビット１２８０×１０２４画素の画像解像度を有することができ、第２の画像センサは１４ビット６４０×４８０画素の画像解像度を有することができる。したがって、再較正は、最良に定められた第１の画像センサの解像度を維持するために、第１の画像センサによって得られた第１の画像の解像度に対応するように、第２の画像センサによって得られた第２の画像の解像度を合わせることを基本的に伴う。

この再較正工程はまた、達成倍率、回転、オフセット、及び幾何収差を考慮に入れて画像の完全な変形を実行することを伴う。再較正を実行するために、第１及び第２の各画像センサの光学系の光軸の実質的に平行な位置のような、事前情報が使用され得る。更に、第２の画像Ｉ_２になされる補正が最小限であると想定することが可能である。

第１の画像Ｉ_１の取得直後に実行され得る別の工程１８の間に、第１の画像Ｉ_１の輝度画像Ｉ_１Ｌ並びに２つの色差画像

への分離が実行される。画像Ｉ_１はモデル画像（ＲＧＢ）であるので、このモデル画像（ＲＧＢ）は、３つの成分、すなわち輝度成分及び２つの色差成分を有する色空間を定めたモデルの画像に変換されることを必要とする。各々の画素の値は、Ｒ、Ｇ、及びＢチャンネル毎に０と２５５との間で変化する。

使用され得るモデルの一例は、Ｙ'ＣｂＣｒモデルである。Ｙ'ＰｂＰｒモデル、Ｙ'ＵＶモデル、ＴＳＬモデル、又はＬａｂモデルのような他のモデルが、使用されてもよい。一般的に、１つの輝度成分の画像及び２つの色差成分の画像が得られる任意のモデルが使用され得る。

１つの輝度成分の画像Ｉ_１並びに２つの色差成分の画像

へのモデル画像（ＲＧＢ）の変換をＹ'ＣｂＣｒモデルに従って実行することができる計算が、非限定的な例としてここで提供される。

例えば、画像Ｉ_１は、以下の画像に分離される：
−以下の数式によって計算されたＩ_１Ｌで示される輝度画像：

−以下の数式によって計算された色差画像

：

−以下の数式によって計算された色差画像

：

このモデル（ＲＧＢ）及びＹ´ＣｂＣｒの場合には、チャンネル毎の画素値は、０と２５５との間で変化する。

次の工程２０の間に、方法は、画像Ｉ_１Ｌのダイナミクスを第２の画像Ｉ_２と合わせる。先に言及されたように、第１及び第２の画像は同じダイナミクスで取得されず、例えば第１の画像については１０ビット、第２の画像については１４ビットになる。したがって、比較することができる第１及び第２の画像の各々に関する情報を得ることが可能な同じスケールに第１及び第２の画像を導くことが重要である。実際には、ダイナミクスを合わせることで、第２の画像Ｉ_２と輝度画像Ｉ_１Ｌ及び２つの色差画像

のダイナミクスを合わせることが可能になる。

次の工程２２の間に、第２の画像Ｉ_２と輝度画像

の融合が実行され、それにより、融合画像Ｉ_ｆが得られる。

最後に、１つ又は２つの最終工程２４において、色情報を含む融合された最終画像を３０において得るように、色情報が融合画像Ｉ_ｆに加えられる。

実際の融合工程２２は、図２を参照にしてここで詳細に説明される。

輝度画像Ｉ_１Ｌ及び第２の画像Ｉ_２の各々の内容を局所的に、すなわち分析される各々の画素のレベルで解釈することが可能であるように、空間周波数成分の画像への分解が実行される。したがって、空間周波数成分の画像への分解は、輝度画像Ｉ_１Ｌ及び第２の画像Ｉ_２に対して実行される。再較正しダイナミクスを合わせた後に得られる画像である画像Ｉ_１Ｌ及びＩ_２をここで参照する。

一般的に、第１の空間周波数成分の画像Ｆ_１（最高空間周波数成分の画像）を得るために、ｍ×ｍ画素のウィンドウの単純な局所平均の形、すなわちガウシアン形状を表す係数によって続いてこの同じ計算ウィンドウの画素を重み付けするガウシアン形状の形をとることができる平均化又は「ローパス」フィルタＫによって、画像は、初めに、畳み込みによりフィルタリングされる。「ローパスフィルタリングされた」画像Ｇ_１を暗示する「フィルタリングされた」は、以下のように得られる：

このフィルタリングされた画像は、原画像から減算される。高空間周波数成分のみを含む画像Ｆ _１

が、この場合に得られる：

第２の空間周波数成分の画像Ｆ _２

は、前のパターンを複製し、入力画像として前のフィルタリングされた画像Ｆ _１ を使用することによって得られる。したがって、このフィルタリングされた画像は、前と同じローパスフィルタを使用して再度フィルタリングされ、画像Ｆ _２ が差によって得られる：

反復により、以下の数式が得られる。

最後の空間周波数成分の画像Ｆ _ｈ

は、最後の畳み込みによって表され、画像の局所平均レベルを表すことになる：

したがって、以下のようになる。

第２の処理工程の間に、空間周波数成分の各々の画像

の領域の少なくともいくつかにおけるエネルギー計算が実行される。観察者に対するデータの瞬時応答を可能にするリアルタイム処理に対応した分析の実行がここで選択される。このため、画像

の各々のエネルギーの比較による分析が実行される。この分析は、分析される画素を中心とした尺度ｋｘ×ｋｙのウィンドウにおける局所分散を計算することを伴い、以下の数式がもたらされる：

次の工程の間に、方法は、前の工程で実行された局所分析のエネルギー計算に基づいて、重み付け画像

を数ｎの空間周波数成分と関連した画像

毎に計算する。この目的のために、これらのエネルギーの差

が計算される：

続いて最大値

が、計算される：

次に、以下のように重み付けした重み付け画像

が、空間周波数成分の画像毎に計算される：

空間周波数成分の画像毎の重み付け画像

が、それぞれの画像

に続いて適用されて、以下の数式によって最後に合計される：

したがって、数ｎの空間周波数成分の画像に対する合成画像Ｆ'_ｎ（ｘ，ｙ）は、適用された重み付けのため、最も多くの情報を含む画像

に近い。

空間周波数成分の画像の再合成は、工程１の逆処理である。したがって、最低空間周波数成分ｈ、すなわち上で説明された分解から得られた最後の空間周波数成分、の画像から始まり、以下のようになる：

再合成は、前の空間周波数成分の画像を使用して、続いて実行される：

融合画像Ｉ_ｆが再結合の結果である場合、以下のようになる：

式中、ｈは空間周波数成分の画像の数を表す。

融合画像Ｉ_ｆを得た後に、方法は、融合画像Ｉ_ｆに色情報を加える。

したがって、方法は、第１の画像センサの色情報を使用する。この目的のために、上で言及されたようにダイナミクスが合わせられた色差画像

と融合画像Ｉ_ｆを合計するか又は再合成することによって、色情報は加えられる。

実際には、観察される領域の明度のレベルが減少するにつれてこのタイプの色情報の追加は重要ではなくなると判明していることが理解される。実際に、色差画像から導かれる色情報は、徐々に減少することになる。

情報目的のために繰り返され、従来技術から周知であるが、暗さのレベルが下の表によって長い間標準化されていることに留意しなければならない。

上の表に示される単位は、国際単位系の単位であるルクスであり、１ルクス＝cd・sr・m^-2である。この表は照度に応じた暗さレベル値を示し、空のタイプが各々の暗さレベルと関連している。

Claims (12)

1. 第１のスペクトル範囲をカバーすることが可能な少なくとも１つの第１の画像センサ、および、前記第１のスペクトル範囲とは異なる第２のスペクトル範囲をカバーすることが可能な少なくとも１つの第２の画像センサ、を含んだ、少なくとも１つのケーシング、を含む装置を使用する画像処理の方法（１０）であって、
   前記第１及び第２の各画像センサが、空間において同一の観察される所定の領域の各画像を形成することが可能であり、
   前記第１の画像センサが、可視光スペクトルの波長の範囲に属するスペクトル範囲をカバーすることが可能であり、
   前記第２の画像センサが、赤外線の波長の範囲に属する第２のスペクトル範囲をカバーすることが可能であり、
   （ａ）前記第１の画像センサによって、前記空間における前記所定の領域の第１の画像Ｉ_１を取得する工程（１２）と、
   （ｂ）前記第２の画像センサによって、前記空間における前記所定の領域の第２の画像Ｉ_２を取得する工程（１４）と、
   （ｃ）少なくとも１つの色情報及び輝度画像Ｉ_１Ｌを得るように、前記第１の画像Ｉ_１の分離を実行する工程と、
   （ｄ）前記輝度画像Ｉ_１Ｌと前記第２の画像Ｉ_２とのデジタル融合（２２）から生じる融合画像Ｉ_ｆを得る工程と、
   （ｅ）前記融合画像Ｉ_ｆに、前記色情報を加える工程と、を伴い、
   前記デジタル融合が、
   （ｉ）前記輝度画像Ｉ _１Ｌ 及び前記第２の画像Ｉ _２ の、それぞれ
   

   

   
   で示される、連続した数ｎの空間周波数成分と関連した画像、への分解を実行する工程と、
   （ii）前記数ｎの空間周波数成分と各々関連した画像
   

   

   
   の、少なくともいくつかの、前記所定の領域における、エネルギー計算を実行する工程と、
   （iii）前の工程で実行された局所分析のエネルギー計算に基づいて、重み付け画像
   

   

   
   を、前記数ｎの空間周波数成分と関連した画像
   

   

   
   毎に、計算する工程と、
   （iv）前記数ｎの空間周波数成分と関連した画像
   

   

   
   毎に、以下の計算を実行する工程と、
   

   

   
   （ｖ）すべての前記空間周波数成分の画像の融合された融合画像Ｉ _ｆ を得るために、前記数ｎの空間周波数成分と各々関連したすべての画像Ｆ’ _ｎ の、再結合を実行する工程と、
   を伴う、
   方法。
2. 前記工程（ｃ）の前に、前記第１の画像Ｉ_１及び前記第２の画像Ｉ_２の最低解像度を有する一方の尺度を、前記第１の画像及び前記第２の画像の他方の尺度に合わせる工程（１６）を伴う、
   ことを特徴とする、請求項１に記載の方法。
3. 前記工程（ｃ）の前に、前記第１の画像Ｉ_１のダイナミクスを、前記第２の画像Ｉ_２のダイナミクスに適合させる工程（２０）を伴う、
   ことを特徴とする、請求項１又は請求項２に記載の方法。
4. 前記デジタル融合が、前記輝度画像Ｉ_１Ｌ及び前記第２の画像Ｉ_２の前記連続した数ｎの空間周波数成分の画像への分解を実行する工程を含む、
   ことを特徴とする、請求項１〜３のうちのいずれか１項に記載の方法。
5. 前記空間周波数成分の画像への分解が、以下の数式により、
   

   

   
   （Ｓはローパスフィルタを示し、Ｉ_ｅは入力画像
   

   

   
   を示す）
   各々の輝度画像Ｉ_１Ｌ及び第２の画像Ｉ_２に平均化又はローパスフィルタを連続して適用する工程を伴う、
   ことを特徴とする、請求項１〜４のうちのいずれか１項に記載の方法。
6. 前記工程（ii）が、以下の式により、
   

   

   
   （式中、ｋ_ｘ及びｋ_ｙは分析ウィンドウの尺度を表す）
   エネルギーを計算する工程を伴う、
   ことを特徴とする、請求項１〜５のうちのいずれか１項に記載の方法。
7. 前記重み付け画像
   

   

   
   が、以下のようにして
   

   

   
   得られる、
   ことを特徴とする、請求項６に記載の方法。
8. 前記再結合工程が、以下の計算
   

   

   
   （式中、ｈは空間周波数成分の数を表す）
   を実行する工程を伴う、
   ことを特徴とする、請求項１〜７のうちのいずれか１項に記載の方法。
9. 前記工程（ｃ）が、前記第１の画像Ｉ_１の輝度画像Ｉ_１Ｌ並びに前記色情報を導く２つの色差画像
   

   

   
   への分離を実行する工程を伴う、
   ことを特徴とする、請求項１〜８のうちのいずれか１項に記載の方法。
10. 前記工程（ｅ）が、前記融合画像Ｉ_ｆを前記色差画像
    

    

    
    と合計する工程を伴う、
    ことを特徴とする、請求項９に記載の方法。
11. 前記第１の画像センサが、０．４μmと１．１μmとの間に属するスペクトル範囲をカバーすることが可能である、
    ことを特徴とする、請求項１〜１０のうちのいずれか１項に記載の方法。
12. 前記第２の画像センサが、７．５μmと１４μmとの間に属するスペクトル範囲をカバーすることが可能である、
    ことを特徴とする、請求項１〜１１のうちのいずれか１項に記載の方法。
    

Images