JP6285940B2 - 画像処理方法、該画像処理方法と共に実行される対象物自動検出方法、観測装置、及び、発射されたロケットの飛翔経路を遠距離から高精度で追跡する方法 - Google Patents

Description

本発明は、請求項１の前段に記載された種類の画像処理方法に関する。本発明は更に、請求項４の前段に記載された種類の対象物自動検出方法と、請求項６及び請求項７に記載された種類の観測装置に関する。

対象物の遠距離観測においては、また特に軍事偵察として行われる遠距離観測においては、対象物を捕捉することが先ず何よりも重要であり、更に、対象物の移動経路の追跡及び対象物の識別を行うことも重要である。その対象物が、例えば、発射されてエンジンが燃焼過程にあるロケットであるならば、１５００ｋｍもの遠距離から遠距離観測が行われ、また、その対象物がエンジンの燃焼過程が終了したロケットであっても、場合によってはそのロケットにレーダー波を照射するなどして、１０００ｋｍもの遠距離から遠距離観測が行われる。かかる遠距離観測を、長焦点対物レンズを備えた光学観測機器と高解像度の画像センサとを用いて行う場合に、その対象物までの距離が５００ｋｍ〜１５００ｋｍにもなると、エンジンの火焔噴流を放出している対象物の画像を、高い鮮鋭度で、且つ、数メートルという高い解像度で得ることは不可能であった。これは、火焔噴流の内部の輝度分布が、あらゆる方向に、場合によっては１００ｍもの長さに亘って、高い揺らぎ周波数で揺らいでいるからである。しかし乍ら、このように画像生成の能力が低くとも、捕捉した対象物が軍用ロケットであるのか、民間用ロケットであるのか、或いはレーダー撹乱物であるのかを確認する能力は必要とされている。更に、そのような対象物の捕捉は、十分に長い時間に亘って捕捉を継続でき、捕捉結果の信頼性が高く、しかも数メートルの精度で捕捉を行えるものでなければならず、これらは、対象物（例えばロケット）の飛翔経路の追跡を観測装置で安定して実行できる精度で、また場合によっては対象物を飛翔経路上で迎撃できる精度で計測を行うために必要なことである。

従来、その種のターゲットを追跡するための手段としては、大規模なＸバンドのレーダー設備を備えたレーダー基地を、複数設置して運用するということが行われていた。それらレーダー基地は、ロケットの飛来が予想される予測飛翔経路に沿って配置して、飛翔してくるロケットがレーダー設備の水平線上のレーダー視野に必ず入るようにしておく必要があった。しかしながら、それには莫大な費用が必要とされるばかりでなく、レーダー基地をそのように配置することそれ自体が、政治上の理由から不可能なことも少なくなかった。更に、それらレーダー基地を運用して１０００ｋｍ離れたターゲット（対象物）の位置を測定したときの、それらレーダーの視線方向に直交する方向の位置精度は、数ｋｍという低精度であり、また、対象物で反射した反射レーダービームの断面積は計測できても、その対象物を高精度で識別することは不可能であった。また特に、レーダーでは、デコイと本物の弾頭とを区別することができず、そのことによっても重大な問題が生じていた。

また、静止軌道上の偵察衛星を用いることも従来周知であり、これは、望遠鏡を用いて中赤外線領域での観測を行うことにより、発射されたロケットを発見しようとするものである。上方からの観測により発見するようにしているため、その観測は地表面を背景にして行うことになるが、地表面はある程度の温度を有することから、容易に識別することのできない多数の偽ターゲットが背景に存在することになり、そのためこのシステムを用いた場合には、検出感度が低いということに苦慮せざるを得ない。更に、上方から観測するため、エンジンの火焔噴流のうち、低輝度でしかも激しく揺らいでいる部分しか画像センサの視野には入らない。その結果、画像センサの計測精度は、数百メートル程度の精度にしかならず、システムに付随するこの本来的な制約のために、計測精度を大幅に改善することは不可能であった。

本願の優先日以降に刊行された下記の特許文献１には、遠距離の移動対象物の検出及びその飛翔経路の追跡を、濃密大気領域の上方を飛行する高高度飛行体から行うようにしたカメラシステムが開示されている。

このカメラシステムの持つ大きな利点は、発射されたロケットの観測を、事実上の大気圏外において、下方から、低温の宇宙空間を背景として行えるため、星などの近接天体が存在しない限り、そのロケットの位置を高精度で把握することができ、偽ターゲットの排除を特に行わずとも、誤警告が発せられることがないということにある。

ロケットの飛翔経路を下方や側方から観測することにはもう１つの大きな利点があり、それは、その観測のための視線方向が、ロケットエンジンの火焔噴流のうちの、ノズル噴出口に位置する２０００°Ｋを超える高温のコア領域を直接的に見ることのできる視線方向になることである。火焔噴流のコア領域は、後方の火焔噴流の部分と比べて百倍もの高い輝度を有し、しかも、常にノズル噴出口に位置して移動することがないため、揺らぎを生じることもない。それゆえ、理想的な非常に高い輝度（１ＭＷ／ｍ^２）を有する、直径が数メートルの点光源の移動経路を追跡すればよいことから、ロケットの飛翔経路の追跡を高精度で安定して行うことができる。

特許文献１に記載された発明の目的は、１５００ｋｍもの遠距離にある点光源の位置の特定を、数メートルの高精度で行うことができ、また、その位置の追跡を行うこともできるセンサを提供することにある。

かかる目的を達成するために、近赤外線領域におけるマルチスペクトル撮像を行えるようにした、マルチスペクトルカメラシステムが提案されている。そのマルチスペクトルカメラシステムは、モータで駆動する、少なくとも３つの狭帯域（例えば２０ｎｍ）の透過フィルタを備えたフィルタホイールを用いて、シーンのマルチスペクトル画像（例えば７００ｎｍ、８００ｎｍ、及び９５０ｎｍのスペクトル領域の画像）を撮像する。そして、そのマルチスペクトル画像を、黒体放射則に基づいた演算処理によって温度画像に変換するようにしており、その温度解像度は例えば５０°Ｋである。特許文献１に記載された発明によれば、温度解像度がこの大きさであることから、温度が約２３００°Ｋで特徴的な形状を有する固体燃料ロケットの火焔噴流の高温のコア領域を、温度が約２１００°Ｋで固体燃料ロケットのものとは異なる形状を有する液体燃料ロケットの火焔噴流の高温のコア領域と区別することができ、また、そのカメラの光学解像度が１０００ｋｍ離れた距離において１ｍ〜２ｍという十分な高解像度であるため、火焔噴流のコア領域の大きさ及び温度分布を計測することもできる。これらのデータに基づいて、軍用の固体燃料ロケットを民間用の液体燃料ロケットと区別することができ、また、様々に異なるロケットの型式を、そのエンジンの大きさ、エンジン搭載台数、及びエンジン配列に基づいて区別することもできる。

このカメラシステムに用いられているカメラは、長焦点対物レンズを備えており、姿勢安定化プラットフォームに取付けられている。このカメラは、高速シャッタと、第１画像センサと、第２画像センサとを備えている。カメラの光学系が取込んだ光線束は、第１画像センサと第２画像センサのいずれか一方へ選択的に導光することができ、それら画像センサの一方には更なる望遠レンズが備えられている。このカメラの光学系は更に、揺動ミラーを備えており、この揺動ミラーを揺動させることで画像領域をラスタ走査することができ、それによって、取込んだ画像の画像信号を一方の画像センサから送出するようにしている。このラスタ走査のステップの実行中に、ターゲット（対象物）が検出されたならば、光線束を偏向して他方の画像センサへ入射させるようにし、そして、この他方の画像センサを用いてそのターゲット（対象物）の識別を行い、また場合によってはそのターゲット（対象物）の追跡を行うようにしている。

独国特許出願公開第10 2011 010 337号明細書

本発明の目的は、画像データを例えば数百ｋｍの遠距離から、また特に、１００ｋｍ〜５００ｋｍの遠距離から取込んだならば、その画像データに画像処理を施すことにより、その取込んだシーンに含まれる対象物を、その処理後画像データに基づいて検出できるようにする画像処理方法を提供することにある。本発明の更なる目的は、かかる画像処理方法を用いて自動対象物検出を実行できるようにすることにある。本発明の更なる目的は、かかる画像処理方法を実施することのできる観測装置を提供することにある。

上記目的のうち画像処理方法に関する部分の目的は、請求項１に記載の方法ステップにより達成される。

このように構成された本発明に係る方法は、下記の方法ステップを含むものである。
ａ）シーンの画像データを電磁波の線束として光学装置を介して取込む方法ステップ。ここで電磁波の線束とは、例えば、可視光スペクトル領域、赤外線スペクトル領域、それに紫外線スペクトル領域などにおける電磁波の線束である。
ｂ）前記ステップａ）において取込んだ前記画像データに画像処理装置により処理を施して前記画像データの信号雑音比を改善する方法ステップ。この方法ステップは下記のサブステップｂ１）〜サブステップｂ５）を含むものである。
ｂ１）前記画像データから成る原画像を、複数本の行及び複数本の列に分割することにより、ラスタ画像を生成するサブステップ。
ｂ２）１つのラスタ画素を、奇数本の行と奇数本の列とを有するラスタフィルタの中心ラスタフィルタ素子に位置合わせするサブステップ。
ｂ３）前記中心ラスタフィルタ素子以外のその他のラスタフィルタ素子の各々が個別の減光特性を有しており、前記ラスタフィルタがカバーしている複数個のラスタ画素の各々の輝度値を求めるサブステップ。
ｂ４）前記サブステップｂ３）において求めた複数の輝度値の総和である輝度総和値を求め、該輝度総和値をもって、前記中心ラスタフィルタ素子に位置合わせされているラスタ画素の輝度総和値とするサブステップ。
ｂ５）前記サブステップｂ２）〜前記サブステップｂ４）を、前記ラスタ画像に含まれるラスタ画素の各々について反復実行するサブステップ。
ｃ）前記ステップｂ）で個々に求めた複数個のラスタ画素の輝度総和値から、原画像と同じ解像度を有する処理後画像を生成する方法ステップ。

本発明に係る画像処理方法によれば、取込んだ原画像の輝度変化が平滑化され、原画像の信号雑音比が改善される。また、原画像の背景に起因するノイズ画素が除去されることによっても、画像が平滑化される。処理後画像における輝度変化は安定しており、原画像における輝度変化との相違は顕著である。更に、画像コントラストも改善されるため、原画像に含まれている対象物は、処理後画像にはより鮮明に明確に現れることになる。

本発明に係る画像処理方法の特に好適な発展形態によれば、前記ステップａ）において、前記シーンの画像データを２つ以上の電磁波波長領域において取込むことによって互いに異なる複数のスペクトル領域における前記シーンの原画像を取込み、前記ステップｂ）及び前記ステップｃ）を複数の前記シーンの原画像の各々について実行することによって互いにスペクトル領域が異なる複数の処理後画像を生成し、そして、互いにスペクトル領域が異なるそれら複数の処理後画像を重ね合わせて合成することによって１つのマルチスペクトル処理後画像を生成する。

互いに異なる複数のスペクトル領域における前記シーンの取込みを、複数の狭帯域（例えば２０ｎｍ）のフィルタを切換えつつ複数の画像を次々と、即ちシーケンシャルに取込むことによって行うようにし、それら互いに異なる複数のスペクトル領域における原画像の各々に本発明に従って処理を施して夫々に処理後画像とし、そして、それらを１つのマルチスペクトル処理後画像にすることにより、最終的に得られる画像の表現力を改善することができる。

特にその改善が顕著であるのは、複数の処理後画像を互いに色の異なる単色画像とし、それらを合成して１つのマルチスペクトル処理後画像とする場合である。使用する複数のフィルタの夫々のスペクトル領域を、観測対象物の温度（例えば２３００°Ｋ）に合わせて黒体放射曲線の短波長側部分に位置するように選定することによって得られるマルチスペクトル画像は、温度画像に変換することのできる、カラー画像のマルチスペクトル画像となる。そして、その温度画像を用いて、例えばロケットの火焔噴流の尾部のような、その規模が非常に大きく、場合によっては局所的な高輝度部分を含み、また大きな揺らぎを有する輝度領域を背景とした、小さな安定した温度領域を検出することができる。

これに関しては、互いに異なる前記複数のスペクトル領域における前記シーンの画像データの取込みを、互いにスペクトル領域が異なる複数のスペクトル領域フィルタを高速で順次切換えつつ、高速カメラを用いて行うとよい。これによって、観測対象物の移動量と比べれば、ほぼ同時的といってよい程の短時間の間に、互いに異なる複数のスペクトル領域における複数の原画像を取込むことができ、そして、それら複数の原画像が極めて短時間のうちに次々と取込まれるため、それら複数の原画像の中の観測対象物の位置は互いに略々同一となり、それゆえ、何ら問題を生じることなく、複数の処理後画像を重ね合わせて合成することで１枚のマルチスペクトル処理後画像を生成することができる。

上記目的のうち、自動対象物検出方法に関する部分の目的は、請求項４に記載の特徴を備えた方法により達成される。この自動対象物検出方法においては、本発明に係る画像処理方法を用いて以下の方法ステップが実行される。
前記方法ステップａ）における前記シーンの取込みを、前記光学装置の光軸（Ｘ）を中心とした回転角を夫々に異ならせて複数回実行する方法ステップ。
前記回転角の各々において、前記画像処理方法の前記方法ステップを実行して処理後画像を生成する方法ステップ。
個々の処理後画像を、対象物データベースに格納しておいた個々の対象物のサンプル画像と比較する方法ステップ。
処理後画像のうちの１枚または数枚との差分が最小のサンプル画像によって、前記シーンに含まれている対象物を特定すると共に、処理後画像の中の当該対象物の位置を判定する方法ステップ。

この自動対象物検出方法によれば、本発明に係る画像処理方法を用いて自動的に対象物を特定することができる。更に、この自動対象検出方法によれば、処理後画像の中の当該対象物の位置を判定することができ、そのため、シーンの取込み及び解析を行うだけで、対象物（例えばロケット）の運動の方向ベクトルを従来方法より高精度で予測することができる。

本発明に係る対象物検出方法の特に好適な発展形態によれば、処理後画像の中の対象物の位置の判定は、サンプル画像の対応するラスタ画素に相当する当該処理後画像のラスタ画素を判定することにより行われる。

上記目的のうち観測装置に関する部分は、請求項６に記載の特徴を備えた観測装置並びに請求項７に記載の特徴を備えた観測装置により達成される。

請求項６に記載の特徴を備えた観測装置は、本発明に係る画像処理方法を実施するための観測装置であるのに対して、請求項７に記載の観測装置は、本発明に係る画像処理方法を用いた本発明に係る自動対象物検出方法を実施するための観測装置である。

本発明に係るそれら観測装置はいずれも、前記画像処理装置が画像ラスタ化モジュールとラスタフィルタモジュールとを備えている実施の形態とすると有利である。

本発明に係る観測装置の第１の実施形態によれば、前記画像ラスタ化モジュールはマトリクス状に配列された複数個の導光素子を備えており、それら複数個の導光素子は、前記光学装置と、取込んだ線束を検出するセンサとの間に配設されている。また、前記複数個の導光素子のうちの少なくとも幾つかの導光素子は、それらの各々に、輝度減衰フィルタ素子である前記ラスタフィルタモジュールのラスタフィルタ素子が備えられている。前記光学装置は取込んだ画像データを前記画像ラスタ化モジュールの入力面に原画像として投射するように構成されている。前記光学装置は原画像を前記画像ラスタ化モジュールの前記入力面上において、該入力面に対して相対的に移動させ得るように構成されている。更に、演算処理装置を備えており、該演算処理装置は前記センサから輝度信号を受取るようにしてあり、また、請求項１の前記方法ステップｃ）を実施し、また好ましくは更に請求項２〜請求項５の何れか１項の前記方法ステップを実施するソフトウェアが、前記演算処理装置において実行されるようにしてある。前記観測装置のこの好適な実施形態は、本発明に係る方法ステップを光学的機械的に実施するようにしたものである。

本明細書において使用する「輝度」という用語は、可視光スペクトル領域に限定されずその他のスペクトル領域の線束の強度をも含むものであり、その他のスペクトル領域の具体例としては、例えば赤外線スペクトル領域や紫外線スペクトル領域があり、またそれらに限定されるものでもない。

あるいは、本発明に係る方法ステップがソフトウェアによって実施されるようにすることも可能であり、それに適した観測装置は、演算処理装置を備えると共に、前記光学装置の後段に画像センサが備えられており、前記光学装置は取込んだ画像データを前記画像センサのセンサ面上に投射するように構成されており、該演算処理装置は前記画像センサから画像信号を受取るようにしてあり、請求項１の方法ステップｂ）及びｃ）を実施し、また好ましくは更に請求項２〜請求項５の何れか１項の方法ステップを実施するソフトウェアが、前記演算処理装置において実行されるようにしてあり、前記画像ラスタ化モジュール及び前記ラスタフィルタモジュールは、前記ソフトウェアのサブルーチンとして構成されていることを特徴とする。

観測装置のこの好適な実施形態は、本発明に係る方法ステップを光電子的に実施するようにしたものである。

合成マルチスペクトル画像は、互いに異なるスペクトル領域において取込んだ個々の原画像に上述した画像処理を施した上で夫々のスペクトル領域に応じた色を付与した複数の処理後画像を、演算処理装置において重ね合わせることにより生成される。十分な枚数の処理後画像を重ね合わせれば、それら多数の処理後画像の平均値を取れることから、その合成マルチスペクトル画像の信号雑音比は、重ね合わせられる前の個々の原画像のものと比べて格段に改善され、好適な例では１００倍以上にも改善される。

合成マルチスペクトル画像の評価は、マルチスペクトル画像に対して図３ないし図４に示した画像評価及び識別方法を適用して、画像評価装置２５、１２５において行うようにするとよい。またその場合に好ましくは、先ず、ターゲットの挙動を観測し、特に、見えている対象物の数と移動経路曲線とを判定する。続いて、全ての飛翔対象物とその飛翔経路とをデータファイルに記録する。これによって、将来の計測において観測されるあらゆる対象物を高い信頼性をもって認識することが可能になると共に、対象物の観測された位置から先の飛翔経路を外挿法により算出することも可能になり、また特に、その飛翔経路の最終点である飛翔対象物の落下点を算出することが可能になる。また何よりも、合成マルチスペクトル画像に基づいて観測及び解析を行うことによって、対象物の挙動（例えば多段ロケットの切り離し、レーダー擾乱物の放出、弾頭の飛翔経路制御）の時系列的な履歴を把握することができる。

合成マルチスペクトル画像は更に、マルチスペクトル画像に対して図３ないし図４に示したターゲット画像の画像認識を行うようにして、格納装置２９、１２９に記録されているターゲット画像のサンプル画像データベースとの比較をマルチスペクトル画像どうしで行う上でも有用である。ターゲット画像の画像認識は、ターゲット画像に含まれているターゲット（対象物）の種別を特定して識別し得るようにするものである。このターゲット画像の画像認識は、多数のステップから成る処理操作を加える前に画像を加え合わせてマルチスペクトル画像を生成するならば、それによって、より高い信頼性をもってより正確に区別し得るものとなる。

そのためには先ず合成マルチスペクトル画像を本発明に従って正規化した画像とする。その正規化のためには先ず各画素ごとに、互いに直交する色ベクトル成分を合わせて合計輝度値を求め、その合計輝度値をもって当該画素の輝度値とし、更に続いて、個々の色ベクトル成分をその合計輝度値に対して正規化する。こうして合計した色ベクトルは、輝度値と正規化された色成分値とを有する。ＲＧＢ色座標系では３つの色成分を定めることしかできないが、この方法によれば任意の個数のスペクトル成分を有する色座標系を定義することができ、その色座標系では、マルチスペクトル画像に対していかなる色相操作を加えることも可能である。

そして、各画素ごとに、当該画素の全ての色成分値と輝度値とに対して、図２に示したデジタル方式の画像処理を施すことにより、画像の平滑化と識別性強化とが同時に達成され、即ち、複数の画像の平均が取られるために残存していたノイズ画素が除去されて平滑化され、またそれによって、輝度急変部即ちエッジ部が強調されるために、処理後画像の鮮鋭度、コントラスト、及び彩度が向上して、より信頼性の高い画像認識が可能になる。これらは、正規化された画像の全ての色成分及び輝度成分が変換されることによって達成されるものであり、その変換は、図２に示した、信号雑音比の劣る画像にデジタル方式で画像処理を施すための画像処理装置に備えられている、図示例では５×５画素の大きさのフィルタマトリクスであるラスタフィルタ１２２によって行われるものである。

その処理後画像には更に、色相アフィン変換を施して、ターゲットに特徴的なスペクトル成分を拡大して評価容易性を高め、特徴的でないスペクトル成分は圧縮するとよい。これにより、ターゲット認識において処理後画像と当該画像に隠れている真正ターゲットである対象物との相関を求める際に、真正ターゲットと、真正ターゲットであると誤認される偽ターゲットとの区別を、この処理を施さない場合よりも明瞭に行えるようになる。

マルチスペクトル画像の画像認識は、光学方式で画像認識を実施するための図３に示した装置を用いて行うことも、また、デジタル方式で画像認識を実施するための図４に示した装置を用いて行うこともでき、後者の装置の方が高い精度が得られる。

光学方式の装置（図３に示した装置）では、望遠鏡ユニット１１０が偏向ミラー１１２を介して、遠距離ターゲットの実像を２５×２５画素の大きさのターゲット画像として、画像取込装置１２０に備えられている５×５個の導光素子を束にした光学構成要素の前面が位置する平面１２１上に結像させる。この光学構成要素の前面において、その結像した実像のターゲット画像のうちの５×５画素の部分が取込まれる。走査ミラーである偏向ミラー１１２は、ターゲット画像を水平方向及び垂直方向に偏向して、各５×５画素ブロックの各中心画素を、次々と、即ちシーケンシャルに、５×５個の導光素子の束からなる光学構成要素の中心導光素子の位置に合わせて行く。２５×２５画素の大きさのターゲット画像に含まれる２５個の５×５画素ブロックの夫々に対応した２５個の値が、所定の複数のスペクトル領域の各々について演算処理装置１２６において格納される。そして、２５×２５画素の大きさのターゲット画像を、３６０°を１２等分した１２個の回転位置に次々と位置付けつつ、以上を反復して実行する。ターゲット画像に含まれる複数の１５×１５画素ブロックから成るサーチ領域と、サーチ対象の１５×１５画素の大きさのサンプル画像とを、それらの各５×５画素ブロックの各中心画素の値について比較し、その際には、入力画像のサーチ領域と現在サーチ対象となっているサンプル画像との間で、それらの９個ずつの係数の値の夫々の差分を求める。それら差分の合計値が最小で、しかも所定の最小値以下になるような位置及び回転位置をもって、現在サーチ対象となっているサンプル画像のターゲット種別である発見されたターゲットの位置及び回転位置として記録する。サーチ領域の外に位置する画像部分は考慮されない。この画像認識における位置の解像度は、水平方向及び垂直方向のいずれも５画素である。

デジタル方式の装置（図４に示した装置）では、例えば望遠鏡ユニット１１０が偏向ミラー１１２を介して、近赤外線カメラを備えた画像取込装置１２０の投影面上に、レーダー波をこちらから照射している遠距離ターゲットの実像を２５×２５画素の大きさのターゲット画像として結像させる。近赤外線カメラは、光信号を高解像度のデジタル画像であるマルチスペクトル画像に変換する。マルチスペクトル画像認識の場合には、本発明に係る評価関数の特性値は、既述のごとくサーチ画像（その大きさは２５×２５画素である）の中の各々のサーチ画素位置について算出される。以上に述べた評価関数を生成するならば、画像を取込む回転位置を１２個に制限しても、分離鮮鋭度が低下することはない。

以上に述べた実施形態のうちの１つに従って構成された近赤外線センサシステムを使用することによって、ターゲットの検出、飛翔経路の追跡、飛翔経路の計測、及びターゲットの観察及びターゲットの識別を、発射されたロケットについて行うことができ、エンジン停止後も、５００ｋｍ離れていても可能である。

以下に、添付図面を参照しつつ、本発明の好適な実施の形態、更なる細部構成、更なる利点について、より詳細に説明する。

本発明に係る画像処理方法を実施するための観測装置の第１の実施の形態を示した模式図である。 図１の観測装置のラスタフィルタマトリクスを示した図である。 本発明に係る画像処理方法を実施するための観測装置の第２の実施の形態を示した図である。 図２の観測装置のラスタフィルタマトリクスを示した図である。 本発明に係る自動対象物検出方法を実施するための観測装置の第１の実施の形態を示した図である。 本発明に係る自動対象物検出方法を実施するための観測装置の第２の実施の形態を示した図である。

図１に示したのは本発明に係る観測装置であり、この観測装置は光学装置１と画像処理装置２とを備えている。光学装置１は長焦点対物レンズを有する望遠鏡ユニット１０を備えており、図１にはこの望遠鏡ユニット１０が模式的に示されている。望遠鏡ユニット１０は、観測対象シーンの電磁波の線束Ｓを取込むものである。取込む線束Ｓは、可視光スペクトル領域の電磁波の線束（即ち可視光線束）とすることもでき、また、可視光スペクトル領域以外の電磁波の線束（例えば赤外線及び／または紫外線の光線束など）とすることもできる。

望遠鏡ユニット１０が取込んだ線束Ｓは、可動ミラーとして構成された偏向ミラー１２へ入射するようにしてあり、この偏向ミラー１２は、図１に模式的に示した駆動機構１４により駆動されて、２次元走査運動を行うものである。偏向ミラー１２の垂直方向の偏向角度範囲の一例を、図１に、線束中心線Ｓ_Ｍの上方限界線ａと下方限界線ａ’とで示してあり、更に、線束中心線Ｓ_Ｍの第１側方限界線ｂと第２側方限界線ｂ’とを併せて示してある。それら４本の限界線ａ、ａ’、ｂ、ｂ’によって範囲が示された領域Ｚにおいて、偏向ミラー１２は望遠鏡ユニット１０が取込んだ線束Ｓのラスタ走査を実行し、そのラスタ走査によって、領域Ｚに切り取られたターゲット画像Ｚ’の、その各々の部分を次々と画像処理装置２の画像ラスタ化モジュール２０の入力面Ｅ上に投射して行く。

画像ラスタ化モジュール２０は、行列状（マトリクス状）に配列された複数の導光素子から成る導光素子マトリクスを備えている。ただしこの導光素子マトリクスは、図１では不図示とした。この導光素子マトリクスは、その一端が入力面Ｅ上に位置している。この導光素子マトリクスの他端には、同様に行列状（マトリクス状）に配列された複数のラスタフィルタ素子から成るラスタフィルタ２２が備えられている。このラスタフィルタ２２は図１には模式的にしか示していないが、図１Ａの断面図にはフィルタマトリクスとして示した。ラスタフィルタ２２は、中心ラスタフィルタ素子２２”と、その周りを囲む複数の更なるラスタフィルタ素子２２’とを備えており、それら周囲の更なるラスタフィルタ素子２２’の各々は、中心導光素子の周りを囲む複数の更なる導光素子の各々に対応付けられている。そのため図示例では、画像ラスタ化モジュール２０は、５×５個（即ち２５個）の導光素子から成り、それら導光素子の各々に、ラスタフィルタ素子２２’、２２”の各々が対応付けられている。

図１Ａでは、更なるラスタフィルタ素子２２’の各々に、夫々に係数の値を記してあるが、それら係数の値は個々のラスタフィルタ素子の透光率を示している。中心導光素子に対応付けられている中心ラスタフィルタ素子２２”の透光率は１．００であり、即ち透光率１００％である。従って、中心導光素子の中を導光される光はラスタフィルタ２２によって減衰されない。これに対して、中心導光素子の周囲の更なる導光素子の中を夫々に導光される光はフィルタによる減衰作用を受けることになり、図１Ａに示した夫々の係数の値は以下のことを示している。
０．０３は透光率３％であることを示している。
０．０６は透光率６％であることを示している。
０．０９は透光率９％であることを示している。
０．１２は透光率１２％であることを示している。
０．１５は透光率１５％であることを示している。
０．２１は透光率２１％であることを示している。

画像ラスタ化モジュール２０の複数の導光素子を夫々に通過し、更に、ラスタフィルタ２２を通過して出射する光は、センサ２４に入射する。このセンサ２４は例えば光電子増倍管などであり、複数のラスタフィルタ素子を夫々に通過して出射する複数の光線束の光の総和を表す総和信号が、このセンサ２４によって生成される。この信号は輝度総和信号または線束強度総和信号Ｓ_Ｓと呼ぶべき信号であり、この信号がセンサ２４から画像処理装置２の演算処理装置２６へ送られる。

以上の構成によれば、偏向ミラー１２が走査運動をするのに伴って、そのとき入射している光線束Ｓが、一連の画素の形でセンサ２４により検出され、そして、一連の線束強度総和信号Ｓ_Ｓの形で演算処理装置２６へ送られる。また、ターゲット画像（観測対象物の画像）の各画素ごとに、当該画素を図１Ａに示したマトリクスの中心に位置付けたときに、このマトリクスに含まれる複数の画素の夫々の線束強度にこのマトリクスに示された夫々のフィルタ係数で重み付けしたものの総和が、センサ２４により検出される。従って、ターゲット画像の１つの画素は、画像ラスタ化モジュールの１つのラスタ素子（即ち複数の導光素子のうちの１つ、または、ラスタフィルタの複数のラスタフィルタ素子のうちの１つ）に対応している。また、ターゲット画像の各画素には、当該画素を図１Ａに示した輝度減衰率マトリクスの中心画素としたときのその周囲の複数の画素の夫々の輝度値にこのマトリクスの夫々の輝度減衰率係数で重み付けしたものが加算され、それによって、当該画素に関して、このマトリクスの輝度減衰係数に応じて重み付けされた光電子増幅が行われる。

演算処理装置２６では、偏向ミラー１２の走査運動が全て完了したならば、格納しておいたターゲット画像の個々の画素の輝度総和値を全て読み出し、それら輝度総和値によって処理後画像を生成する。その処理後画像は出力インターフェース２７を介して例えばディスプレイ装置２８などへ出力される。格納しておいた輝度総和値から処理後画像を生成するには、メモリに格納されている個々のターゲット画素の夫々の輝度総和値の処理後画像中における位置を、それらターゲット画素が原画像中で占めていた夫々の位置に割り当てるようにする。

こうして出力される処理後画像は、既述のごとく光増幅がなされているために入力面Ｅに投射された元のターゲット画像（処理対象画像）Ｚ’と比べて輝度が増大していることに加えて、更に、複数の近隣画素の夫々に図１Ａに示した係数マトリクスに従って重み付けが施されることで平滑化処理も施されており、そのため、背景に現れるようなノイズ画素は、処理後画像にはもはや含まれていない。これによって処理後画像の輝度変化が安定化されており、処理後画像の原画像との差違は顕著である。更に、以上に説明した方法によれば画像のコントラストも向上する。

図示例では、輝度フィルタマトリクス（ラスタフィルタ２２）は５×５個のラスタフィルタ素子で構成され、また、走査領域に対応したターゲット画像Ｚ’は２５×２５個の画素から成るものであるが、本発明を実施する上では、ターゲット画像の解像度をこれ以外のいかなる解像度とすることもでき、また、輝度フィルタマトリクスの解像度（これは導光素子マトリクスの解像度でもある）をこれ以外のいかなる解像度とすることもできる。

図２に示したものは、図１に示した観測装置に変更を加えた変形実施形態に係る観測装置である。光学装置１０１の望遠鏡ユニット１１０が観測対象シーンから取込んだ線束Ｓは、偏向ミラー１１２（この偏向ミラー１１２は図１の偏向ミラーと異なり固定されている）を介して、画像処理装置１０２の構成要素である画像取込装置１２０の画像センサ１２１（例えばＣＣＤセンサなど）へ投射される。観察対象シーンのターゲット画像Ｚ’は、その画像の全体が、画像センサ１２１上に結像する。

画像取込装置１２０は、画像センサ１２１上に結像した光学画像であるターゲット画像Ｚ’をデジタル画像に変換し、そのデジタル画像を画像データの形で演算処理装置１２６へ供給する。

演算処理装置１２６は、受取ったデジタル画像に画像処理を施すためのソフトウェアを実行しており、その画像処理は、図１に関連して上で説明した光学的な方式で画像に処理を施す画像処理方法に対応した画像処理である。即ち、取込んだターゲット画像Ｚ’をラスタ画像に変換し、そのラスタ画像の各画素ごとに処理を施すようにし、その処理においては、当該画素の輝度値を求め、そして、図２Ａに示したフィルタマトリクス（このフィルタマトリクスは、複数のラスタフィルタ素子１２２’、１２２”から成るラスタフィルタ１２２の機能をソフトウェアのサブルーチンで実現したものである）に従って、ターゲット画像において当該画素の周囲に位置する複数の画素にフィルタ処理を施した輝度値を加え合わせて輝度総和値を求める。こうして行う輝度総和値の生成を、ターゲット画像の各画素ごとに実行し、そして、そのようにして個々に求めた、この電子的にラスタ化したターゲット画像の夫々の画素の輝度総和値から、図１に関連して上で説明した方法と同様にして処理後画像を生成する。その処理後画像は、出力インターフェース１２７を介してディスプレイ装置１２８へ出力される。

ここで説明している実施形態は可視光スペクトル領域に関するものであるが、本発明の構成はそのようなものに限定されない。ここに説明しているような可視光スペクトル領域で取込んだシーンの画像処理の他に、更に、例えば赤外線スペクトル領域や紫外線スペクトル領域などをはじめとするその他のスペクトル領域で取込んだシーンの画像処理を、図１及び図２に関連して説明した画像処理方法で処理するようにしてもよい。そして、互いに異なる複数のスペクトル領域の夫々で得られた複数の処理後画像を演算処理装置２６、１２６で重ね合わせることによって、マルチスペクトル画像を生成する。こうして生成したマルチスペクトル画像は、出力インターフェース２７、１２７を介して出力される。

図３に示した観測装置は、図１を参照して上で説明した観測装置と同様に構成されている。そのため図３で使用している参照符号は、図１のものに対応している。図１の実施形態との実質的な相違点は、複数の導光素子を備えた画像ラスタ化モジュール２０が、導光素子の長手方向に対して平行に延在する回転軸Ｘを中心として、所定のステップ角（例えば３６０°を１２等分したステップ角）で回転可能であることにあり、図３にはこのことを矢印２３で表している。

望遠鏡ユニット１０は偏向ミラー１２を介して、例えば２５×２５画素の大きさのターゲット画像Ｚ’を生成する。このターゲット画像Ｚ’は、図３に、５×５個のフィールドを有するマトリクスで示されている。各フィールドの大きさは５×５画素（ここでいう画素とはラスタ画素である）であり、従って、各フィールドは、ラスタフィルタ２２と同じ大きさを有しており、ラスタフィルタ２２のラスタ画素と同数のラスタ画素から成る。

偏向ミラー１２は、望遠鏡ユニット１０が取込んだ線束を水平方向及び垂直方向に偏向することにより、各々の５×５画素ブロック（即ちターゲット画像の５×５個の画素Ｚ_ｉから成るブロック）の中心画素を、次々と、即ちシーケンシャルに、画像ラスタ化モジュール２０の中心導光素子に位置合わせして行く。それに伴って、ターゲット画像の２５個の画素Ｚ_ｉの夫々の輝度総和値が、図１に関連して上で説明した画像処理によって求められ、演算処理装置２６の中に格納される。この画像処理は、可視光スペクトル領域で行うだけでなく、その他のスペクトル領域でも同様に行うようにするとよい。その場合には、その他のスペクトル領域で行った画像処理により得られた夫々の画素の輝度総和値も、演算処理装置２６の中に格納される。

続いて、画像ラスタ化モジュール２０をステップ角の１つ分ずつ回転させて、上述した画像処理ステップを反復実行する。全てのステップ角での画像処理を完了したならば、即ち、画像ラスタ化モジュール２０が光軸Ｘを中心として１回転したならば、そのステップ角の個数に対応した枚数の、互いに回転角度の異なる処理後画像が得られている。

ここで、ターゲット画像Ｚ’を構成する２５個の５×５画素ブロックのうち、内方部分の９個の５×５画素ブロックＺ_ｍから成る領域を、サーチ画像領域として規定し、それら９個の５×５画素ブロックＺ_ｍの領域のみに範囲が減縮されたターゲット画像を、格納装置２９に格納されている、それと同じ大きさで同じ解像度のサンプル画像と比較する。ある位置とある角度とで取り出されたサーチ画像と、比較したサンプル画像との間の差分が最小のものであったならば、その位置及び角度を、サンプル画像に示されているターゲットと同じ種別のターゲットの観測対象シーンの中における位置及び角度として記録する。

以上によって、図１に関連して説明した画像処理方法を用いた自動対象物検出方法が構成されている。

図４に示したものは、自動対象物検出のための本発明に係る観測装置の他の実施形態である。この観測装置は、構造的には図２に関連して説明した観測装置に対応しており、そのため図４の参照符号は図２の参照符号に対応しており、同一の参照符号は同一の構成要素を示している。図２の実施形態との相違点は、図４の実施形態では格納装置１２９に多数のサンプル画像が格納されており、この格納装置１２９と演算処理装置１２６とがデータの受け渡し可能に接続されていることである。

演算処理装置２６、１２６と格納装置２９、１２９とによって、画像処理装置２の内部に画像評価装置２５が構成されている。

この図４の観測装置においても、図３に関連して説明した対象物検出方法と同様の対象物検出方法が実行される。ただし、図４の実施形態では、ターゲット画像Ｚ’の回転は、演算処理装置１２６で実行されるソフトウェアにより仮想的に実行される。

ここではターゲット画像Ｚ’（２５×２５画素）を対象として画像認識を実行する。対象とするターゲット画像Ｚ’は、マルチスペクトル画像とすることが好ましい。この画像認識においては、各サーチ画素位置Ｐ_Ｚごとに以下のようにして特性値を算出する。
１）図４に網掛けで示した９個の５×５画素ブロックＺ_ｍの各々について、並びに、それら９個の５×５画素ブロックから成る中央領域の四隅に位置する４つの隅部画素ブロックの夫々の中心画素１２３の全てについて、ラスタフィルタ１２２のマトリクスに従って重み付けした夫々の正規化スペクトル成分の平均値並びに輝度総和値を算出し、また、それら４つの隅部画素ブロックの各々の周りを囲んでいるリング状配列の８個ずつの５×５画素ブロックＺ_Ｒの各々についての当該平均値の平均値を算出する。
２）上記９個の５×５画素ブロックＺ_ｍの各々について、並びに、上記４個の中心画素１２３の全てについて、夫々に求めた正規化スペクトル成分及び輝度総和値の標準偏差を算出し、また、上記リング状配列の８個ずつの５×５画素ブロックＺ_Ｒの各々についての当該標準偏差の平均値を算出する。
３）上記１）及び上記２）で算出する特性値を、３６０°を１２等分した各角度位置ごとに算出する。
４）各角度位置における、各サーチ画素についての特性値集合を、サーチ対象のターゲットのサンプル画像の特性値集合と比較し、そして、差分の総和の絶対値が最小の特性値集合を、当該サーチ画素を代表する特性値集合として記録する。
５）続いて、ターゲット画像を複数のより小さな部分領域に分割し、各部分領域の中で上記差分の総和が最小のサーチ画素を探索する。上記差分の総和が最小のサーチ画素の特性値集合を、認識されたターゲット画像の特性値集合であると判定すると共に、画素１個分の解像度で考察対象としているサーチ画素位置と回転位置とに、サンプル画像のターゲット種別の発見されたターゲットとして記録する。

特許請求の範囲、明細書、及び図面中の参照符号は、本発明の理解を容易にするためのものであり、範囲を限定するものではない。

１ 光学装置
２ 画像処理装置
１０ 望遠鏡ユニット
１２ 偏向ミラー
１４ 駆動機構
２０ 画像ラスタ化モジュール
２２ ラスタフィルタ
２２’ ラスタフィルタ素子
２２” ラスタフィルタ素子
２４ センサ
２５ 画像評価装置
２６ 演算処理装置
２７ 出力インターフェース
２８ ディスプレイ装置
２９ 格納装置
１０１ 光学装置
１０２ 画像処理装置
１１０ 望遠鏡ユニット
１１２ 偏向ミラー
１２０ 画像取込装置
１２１ 画像センサ
１２２ ラスタフィルタ
１２２’ ラスタフィルタ素子
１２２” ラスタフィルタ素子
１２５ 画像評価装置
１２６ 演算処理装置
１２７ 出力インターフェース
１２８ ディスプレイ装置
１２９ サンプル画像格納装置
ａ 限界線
ａ’ 限界線
ｂ 限界線
ｂ’ 限界線
Ｅ 入力面
Ｐ_Ｚ サーチ画素位置
Ｓ 電磁波の線束
Ｓ_Ｍ 線束中心線
Ｓ_Ｓ 総和信号
Ｘ 光軸
Ｚ 領域
Ｚ’ ターゲット画像
Ｚ_ｉ ターゲット画像の画素
Ｚ_m 画素ブロック
Ｚ_Ｒ 画素ブロック

Claims (8)

1. 下記の画像処理方法を用いて行う自動対象物検出方法において、
   下記方法ステップａ）における前記シーンの取込みを、前記光学装置の光軸（Ｘ）を中心とした回転角を夫々に異ならせて複数回実行し、
   前記回転角の各々において、前記画像処理方法の前記方法ステップを実行して処理後画像を生成し、
   個々の処理後画像を、対象物データベースに格納しておいた個々の対象物のサンプル画像と比較し、
   処理後画像のうちの１枚または数枚との差分が最小のサンプル画像によって、前記シーンに含まれている対象物を特定すると共に、処理後画像の中の該対象物の位置を判定する、
   ことを特徴とする自動対象物検出方法。
   前記画像処理方法：
   ａ）シーンの画像データを電磁波の線束として光学装置（１、１０１）を介して取込むステップと、
   ｂ）前記ステップａ）において取込んだ前記画像データに画像処理装置（２、１０２）により処理を施して前記画像データの信号雑音比を改善する、下記のサブステップを含むステップと、
   ｂ１）前記画像データから成る原画像を、複数本の行及び複数本の列に分割することにより、ラスタ画像を生成するサブステップ；
   ｂ２）１つのラスタ画素を、奇数本の行と奇数本の列とを有するラスタフィルタ（２２、１２２）の中心ラスタフィルタ素子（２２”、１２２”）に位置合わせするサブステップ；
   ｂ３）前記中心ラスタフィルタ素子（２２”、１２２”）以外のその他のラスタフィルタ素子（２２‘、１２２’）の各々が個別の減光特性を有しており、前記ラスタフィルタ（２２、１２２）がカバーしている複数個のラスタ画素の各々の輝度値を求めるサブステップ；
   ｂ４）前記サブステップｂ３）において求めた複数の輝度値の総和である輝度総和値を求め、該輝度総和値をもって、前記中心ラスタフィルタ素子（２２“、１２２”）に位置合わせされているラスタ画素の輝度総和値とするサブステップ；
   ｂ５）前記サブステップｂ２）〜前記サブステップｂ４）を、前記ラスタ画像に含まれるラスタ画素の各々について反復実行するサブステップ；
   ｃ）前記ステップｂ）で個々に求めた複数個のラスタ画素の輝度総和値から、原画像と同じ解像度を有する処理後画像を生成するステップと、を含む、
   ことを特徴とする画像処理方法。
2. 前記ステップａ）において、前記シーンの画像データを２つ以上の電磁波波長領域において取込むことによって互いに異なる複数のスペクトル領域における前記シーンの原画像を取込み、
   前記ステップｂ）及び前記ステップｃ）を複数の前記シーンの原画像の各々について実行することによって互いにスペクトル領域が異なる複数の処理後画像を生成し、
   互いにスペクトル領域が異なるそれら複数の処理後画像を重ね合わせて合成することによって１つのマルチスペクトル処理後画像を生成する、
   ことを特徴とする請求項１記載の方法。
3. 互いに異なる前記複数のスペクトル領域における前記シーンの画像データの取込みを、互いにスペクトル領域が異なる複数のスペクトル領域フィルタを高速で順次切換えつつ、高速カメラを用いて行うことを特徴とする請求項２記載の方法。
4. 処理後画像の中の対象物の位置の判定は、サンプル画像の対応するラスタ画素に一致する当該処理後画像のラスタ画素を判定することにより行われることを特徴とする請求項１記載の方法。
5. シーンの画像データを取込むための光学装置（１、１０１）と、取込んだ画像データの信号雑音比を改善するための画像処理装置（２、１０２）と、画像評価装置（２５、１２５）とを備えた観測装置であって、
   請求項１記載の対象物検出方法の前記方法ステップを実行するように構成されていることを特徴とする観測装置。
6. 前記画像処理装置（２、１０２）は画像ラスタ化モジュール（２０）とラスタフィルタモジュール（２２、１２２）とを備えていることを特徴とする請求項５記載の観測装置。
7. 演算処理装置（２６）を備え、
   前記画像ラスタ化モジュール（２０）はマトリクス状に配列された複数個の導光素子を備えており、それら複数個の導光素子は、前記光学装置（１）と、取込んだ線束を検出するセンサ（２４）との間に配設されており、
   前記複数個の導光素子のうちの少なくとも幾つかの導光素子は、それらの各々に、輝度減衰フィルタ素子である前記ラスタフィルタモジュール（２２）のラスタフィルタ素子（２２”）が備えられており、
   前記光学装置（１）は取込んだ画像データを前記画像ラスタ化モジュール（２）の入力面（Ｅ）に原画像として投射するように構成されており、
   前記光学装置は原画像を前記画像ラスタ化モジュール（２０）の前記入力面（Ｅ）上において該入力面（Ｅ）に対して相対的に移動させ得るように構成されており、
   前記演算処理装置は前記センサ（２４）から輝度信号を受取るようにしてあり、
   請求項１の前記方法ステップｃ）を実施するソフトウェアが、前記演算処理装置（２６）において実行されるようにしてある、
   ことを特徴とする請求項６記載の観測装置。
8. 演算処理装置（１２６）を備えると共に、前記光学装置（１０１）の後段に画像センサ（１２１）が備えられており、
   前記光学装置（１０１）は取込んだ画像データを前記画像センサ（１２１）のセンサ面上に投射するように構成されており、
   前記演算処理装置は前記画像センサ（１２１）から画像信号を受取るようにしてあり、
   請求項１の方法ステップｂ）及びｃ）を実施するソフトウェアが、前記演算処理装置（１２６）において実行されるようにしてあり、前記画像ラスタ化モジュール及び前記ラスタフィルタモジュール（１２２）は、前記ソフトウェアのサブルーチンとして構成されていることを特徴とする請求項６記載の観測装置。

Images