JP5325822B2

JP5325822B2 - 対象物識別装置

Info

Publication number: JP5325822B2
Application number: JP2010065228A
Authority: JP
Inventors: 美徳佐藤; 徹郎相川; 隆裕小柳
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2010-03-19
Filing date: 2010-03-19
Publication date: 2013-10-23
Anticipated expiration: 2030-03-19
Also published as: JP2011196633A

Description

本発明は、対象物識別装置に関する。

従来の対象物識別装置は、近赤外線波長領域の画像データ及び遠赤外線波長領域の画像データの２波長領域の画像データを利用して、対象物とフレアとの赤外線特性の違いを利用した減算手段により対象物を識別する技術が知られている（例えば、特許文献１参照）。また、近赤外線領域の画像データ及び中赤外線領域の画像データを利用して対象物の本体情報、フレアの画像情報を抽出し、それらに基づいて対象物を識別する技術が知られている（例えば、特許文献２参照）。

特開平６−１７４８２８号公報特許第３４３１２０６号

従来の対象物識別装置は、対象物が遠行状態に（撮像装置に対して対象物が遠方へ進行している状態）ある場合、対象物とフレアの絶対温度及びその温度分布は似通ったものとなり、誤識別が生じ誤誘導を招く恐れがあり、信頼性を欠いていた。

そこで本発明は、対象物が遠行状態にある場合においても正確に目標を識別することが出来る信頼性の高い対象物識別装置を提供することを目的とする。

上記目的を達成する為に請求項１記載の対象物識別装置は、第１の波長帯での画像データである第１の画像データと、第２の波長帯での画像データである第２の画像データとを同じ視野で取得する画像データ取得手段と、前記第１の画像データ及び前記第２の画像データのうち一方を一次対象画像データ、もう一方を二次対象画像データと設定する画像データ設定手段と、前記一次対象画像データ上での対象物の状態を示す第１の状態パターンを記憶する第１の記憶手段と、前記二次対象画像データ上での対象物の状態を示す第２の状態パターンを記憶する第２の記憶手段と、前記一次対象画像データ上において前記第１の状態パターンとの類似度を示す第１類似度評価値を算出する第１類似度算出手段と、前記第１の類似度評価値を基に対象物の候補位置を抽出する候補位置抽出手段と、前記候補位置において前記第２の状態パターンとの類似度を示す第２類似度評価値を算出する第２類似度算出手段と、前記第１類似度評価値、及び前記第２類似度評価値に基づいて前記視野内において対象物を識別する識別手段と、を有することを特徴とする。

本発明によれば、対象物が遠行状態にある場合においても正確に目標を識別することが出来る信頼性の高い対象物識別装置を提供することができる。

本発明の実施の形態１に係る対象物識別装置の構成を示す図。本発明の実施の形態１に係る対象物識別装置の処理を示すフローチャート。本発明の実施の形態１に係る長波長赤外線画像データ及び中波長赤外線画像データを示す図。本発明の実施の形態１に係る第１類似度評価値の算出方法を説明する図。本発明の実施の形態１に係る候補位置の抽出方法を説明する図。本発明の実施の形態１に係る候補位置の抽出方法を説明する図。本発明の実施の形態２に係る対象物識別装置の構成を示す図。本発明の実施の形態２に係る対象領域の設定方法を説明する図。本発明の実施の形態３に係る対象物識別装置の構成を示す図。本発明の実施の形態４に係る対象物識別装置の構成を示す図。

以下、図面を参照して本発明の実施の形態を説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る対象物識別装置の構成を示す構成図である。図１に示すように対象物識別装置は、同じ視野の２波長帯（例えば、長波長帯及び中波長帯）の赤外線画像データを撮像する撮像系１００、２波長帯の赤外線画像データのうちの一方（長波長帯の赤外線画像データ）を一次対象画像データ１０４として設定し、もう一方（中波長帯の赤外線画像データ）を二次対象画像データ１０５として設定する画像データ設定部１０３、画像データ設定部１０３から入力された一次対象画像データ１０４上での対象物の状態を示す第１の状態パターンを記憶する第１状態記憶部１０６（第１の記憶手段）、二次対象画像データ１０５上での対象物の状態を示す第２の状態パターンを記憶する第２状態記憶部１０７（第２の記憶手段）、一次対象画像データ１０４上で第１の状態パターンとの類似度を示す第１の類似度評価値を算出する第１類似度算出部１０８（第１類似度算出手段）、第１の類似度評価値を基に対象物の候補位置を抽出する候補位置抽出部１０９（候補位置抽出手段）、候補位置抽出部１０９において抽出された候補位置において第２の状態パターンとの類似度を示す第２の類似度評価値を算出する第２類似度算出部１１０（第２類似度算出手段）、第２類似度算出部１１０によって算出された第２の類似度評価値に基づいて視野内における対象物の存在領域を識別する評価識別部１１１（識別手段）を有している。

撮像系１００は、ジンバル機構（図示しない）などにより駆動されて対象物に指向する。視野内の像はレンズ２００、及びダイクロイックミラー２０１を介して長波長赤外線センサ２０２、及び中波長赤外線センサ２０３に案内される。ダイクロイックミラー２０１は、長波長の赤外線を透過し中波長の赤外線を反射するもので、レンズ２００に対して後方に配置される。透過方向には長波長赤外線センサ２０２が配置され、反射方向には中波長赤外線センサ２０３が設けられている。

長波長赤外線センサ２０２は、案内されて結像した光学的画像を長波長赤外線画像データ１０１（第１の画像データ）に変換し、画像データ設定部１０３に出力する。一方、中波長赤外線センサ２０３は、案内されて結像した光学的画像を中波長赤外線画像データ１０２（第２の画像データ）に変換し、画像データ設定部１０３（画像データ設定手段）に出力する。

図２は、本発明の実施の形態１に係る対象物識別装置の処理のフローチャートである。以下、図２を参照して対象物識別装置の行う処理について説明する。撮像系１００は、ジンバル機構などにより駆動されて対象物に指向し、視野内の像はレンズ２００、及びダイクロイックミラー２０１を介して長波長赤外線センサ２０２、及び中波長赤外線センサ２０３に案内される（Ｓｔ１）。

長波長赤外線センサ２０２は、Ｓｔ１において案内されて結像した光学的画像を長波長赤外線画像データ１０１に変換し、画像データ設定部１０３に出力する。一方、中波長赤外線センサ２０３は、Ｓｔ１において案内されて結像した光学的画像を中波長赤外線画像データ１０２に変換し、画像データ設定部１０３に出力する（画像データ取得手段）（Ｓｔ２）。図３に画像データ設定部１０３に出力された長波長赤外線画像データ１０１、及び中波長赤外線画像データ１０２を示す。

画像データ設定部１０３は、入力された長波長赤外線画像データ１０１、及び中波長赤外線画像データ１０２に基づいて一次対象画像データ１０４、及び二次対象画像データ１０５を設定し、（Ｓｔ３）。一次対象画像データ１０４を第１類似度算出部に出力し、二次対象画像データ１０５を第２類似度算出部に出力する。

一次対象画像データ１０４、及び二次対象画像データ１０５の設定方法は、長波長赤外線画像データ１０１上の信号強度が所定の閾値以上となる領域の形状と、中波長赤外線画像データ１０２上の信号強度が所定の閾値以上となる領域の形状の複雑さを比較し、複雑である方を一次対象画像データ１０４、もう一方を二次対象画像データ１０５として設定する。

複雑さの評価方法は、長波長赤外線画像データ１０１上の信号強度により所定の閾値以上となる領域（Ｔ１）、閾値未満となる領域（Ｔ２）に二値化する。また、中波長赤外線画像データ１０２上の信号強度が所定値以上となる領域（Ｔ３）、閾値未満となる領域（Ｔ４）に二値化する。二値化した両赤外線画像データの閾値以上となる領域Ｔ１、Ｔ２の各々の周長Ｌと面積Ｓとから領域の形状の複雑度Ｅ_１を下式（１）に基づいて算出した上で複雑さを比較することにより評価する。また、下式（２）に基づいて円形度Ｅ_２を算出した上で複雑さを比較しても良い。つまり、複雑度Ｅ_１の値が大きいほど、円形度Ｅ_２の値が小さいほど形状は複雑であると評価できる。

更に、予め領域の形状が複雑になる波長帯が分かっている場合には、その波長帯のデータを一次対象画像データ１０４とすることもできる。このように一次対象画像データ１０４を設定することにより、上述の複雑さの評価処理を行う必要が無く、対象物の識別をより効率的に行うことができる。

また、より長波長のデータである長波長赤外線画像データ１０１を一次対象画像データ１０４、より短波長のデータである中波長赤外線画像データ１０２を二次対象画像データ１０５として設定してもよい。このように一次対象画像データ１０４、及び二次対象画像データ１０５を決定することにより、上述の複雑さの評価処理を行う必要が無く、対象物の識別をより効率的に行うことができる。

Ｓｔ３の後、第１類似字度算出部１０８は、画像データ設定部１０３から入力された一次対象画像データ１０４上の各座標において第１類似度評価値が算出される（Ｓｔ４）。

類似度評価値の算出法は、図４に示すように図１に示す第１状態記憶部１０５にて記憶されている第１の状態パターンの信号強度１０６ａと、一次対象画像データ１０４上の各座標における第１の状態パターンの領域の大きさに相当する領域の信号強度とを比較し、その類似度が算出される。

この第１の状態パターンの信号強度１０６ａは、予め取得されている対象物の状態パターンを記憶したものを利用しても良い。或いは、後述する評価識別部１１１で直前に識別された対象物の状態パターンを記憶しても良い。この場合には、徐々に、信号強度の形状が変化する対象物の場合に特に有効である。

第１類似度算出部１０８は、撮影条件、信号レベル、評価領域の重なりが生じることによる誤識別が生じる可能性がある。そのため、一次対象画像データ１０４の類似度の評価時において誤識別を低減させるためにベクトル情報に基づいた対象物の識別手法を用いる。ベクトル情報は、画像領域内の画素間の信号強度の差分として与えられ、下式（３）で表すことができる。

式（３）においてＩは画素の信号強度であり、添え字ｉ、ｊは画素を区別するためのインデックスである。式（３）から得たベクトルＲ_ｉ，ｊの大きさは画素間の信号強度の勾配の強度を示す。また、ベクトルの方向は画素の連結性を示す。すなわちベクトルＲ_ｉ，ｊは画素の明るさの勾配に対する直行成分を示す。

第１類似度算出部１０８は、入力された一次対象画像データ１０４及びベクトルＲ_ｉ，ｊを用いて信号分布形状の統計量を評価する。この統計量を用いることで、目標領域の抽出の指標を絶対量（強度そのもの）から強度間の関係に置き換えることができる。従って、第１類似度算出部１０８に信号レベルの強弱変化に対するロバストな性質を持たせることができる。

また、前記ベクトル情報を基にした具体的な類似度の算出方法としては、第１状態記憶部１０５にて記憶されている第１の状態パターンのベクトル情報Ｒａと、一次対象画像データ１０４上の各座標における第１の状態パターンの領域の大きさに相当する領域のベクトル情報Ｒｂとを比較することになるが、例えば、下式（４）のようにベクトルの内積の総和Ｅ_３で算出することができる。このＥ_３が小さいほど類似度が高いと言える。

さらに、画像中の対象物の大きさが変化する場合は、大きさの変化に対して不変な量であるベクトル情報の強度と方向に関するヒストグラムを比較することで対処が可能である。例えば、方向に関するヒストグラムは、対象領域中に０°〜５°の方向に向いているベクトルが幾つあるかなど、全３６０°を区間分割し、各区間に相当するベクトルの存在頻度をカウントし作成する。ヒストグラム間の類似度の算出としては、前記ベクトル情報Ｒａのヒストグラムをｐ、前記ベクトル情報のヒストグラムをｑとすると下式（５）に示すバタチャリヤ距離Ｅ_４を利用するなどが考えられる。

ここで、

である。また、ｍは区関数、ｐ^（ｕ）はｕ番目の区間の頻度を示す。このとき、さらに

を満たしておく必要がある。

第１類似度算出部１０８において算出された各座標における第１類似度評価値は、候補位置抽出部１０９に入力され、この類似度評価値に基づいて対象物の候補位置が抽出され決定される（Ｓｔ５）。

ここで対象物の候補位置は、高い類似度を示している位置を基に決定される。例えば、類似度が高い順に上位Ｎ個の候補位置が抽出される。また、設定により所定の閾値以上の類似度を示す位置は全て抽出するようにしても良い。候補位置抽出部１０９は、抽出した類似度の上位Ｎ個の候補位置を第２類似度算出部１１０へ入力する。

また、第２類似度算出部１１０は、第１類似度算出部１０８と同様に、第２状態記憶部１０７が記憶する第２の状態パターンに基づいて二次対象画像データ１０５上の類似度の上位Ｎ個の候補位置で第２類似度評価値を算出する（Ｓｔ６）。

Ｓｔ４、及びＳｔ６において第１類似度算出部１０８、及び第２類似度算出部１１０によって算出されたＮ個の第１の類似度評価値、及びＮ個の第２の類似度評価値が評価識別部１１１へ入力されて、これらの評価値を総合して評価識別部１１１によって対象物の位置が識別される（Ｓｔ７）。

ここで、第１類似度算出部１０８で算出された第１類似度評価値については、類似度の高い位置は画像データ上で固まりやすく、候補位置抽出部１０９において抽出する候補位置の個数Ｎをある程度多く設定しなければ十分な識別が行えない場合が有る。

このような場合、候補位置をある程度分散させて抽出した方が、画像全体を効率的に評価することができる。この分散の程度の決定方法であるが、例えば候補位置同士の距離を所定の距離以上に保ちながら決定する方法が有る。

図５に示すように類似度の高い順に候補位置１０９ａが抽出され、抽出された候補位置１０９ａから所定距離ｌ_１離れた領域から候補位置が抽出される。つまり、候補位置１０９ａを中心とした半径ｌ_１の円領域１０９ｃ内の候補位置は１０９ａのみとなる。この所定距離ｌ_１は第１の状態パターンの信号強度の大きさよって任意に設定できる。つまり、図６に示すように第１の状態パターンの領域に相当する領域１０９ｄ内の候補位置は候補位置１０９ａのみとなる。

以上のように実施の形態１では、複数の波長帯の画像データ（長波長赤外線画像データ１０１、中波長赤外線画像データ１０２）に基づいて信号が得られていない領域や信号強度が飽和してしまっている領域の情報を補間することができるため詳細な温度状態を観察することができる。また、フレア発出途中過程において対象物とフレアの像に重なりが生じる場合あっても、適切に対象物を識別および検出することができる。従って、対象物の識別性能が向上し、信頼性の高い対象物識別装置を提供することが出来る。

なお、円領域１０９ｃは領域の形状が円形状に限らず、例えば矩形状などでも良い。

（実施の形態２）
続いて、本発明の実施の形態２について説明する。図７は、本発明の実施の形態２に係る対象物識別装置の構成を示す図である。実施の形態１と同一構成については同一の符号を付し重複する説明は省略する。実施の形態２は、図１に示す対象物識別装置に評価領域設定部１１２（評価領域設定手段）を更に有する点が実施の形態１とは異なる。

画像データ設定部１０３において設定された一次対象画像データ１０４は、評価領域設定部１１２に入力され、第１類似度算出部１０８において第１類似度評価値を算出する際の対象領域が設定される。

対象領域の設定方法は、例えば図８に示すように所定の信号強度の閾値帯を抽出することにより２値化さされた画像において、その抽出された領域１０４ａに対して最少矩形を設定し、これを一次評価領域１１２ａとする。更に、所定の裕度ｌ_２を持って拡張された領域を二次評価領域１１２ｂとする。この二次評価領域１１２ｂを第１類似度算出部１０８に入力することにより、一次対象画像データ上の第１の類似度評価値を算出する領域を限定することができる。

以上のように実施の形態２では、類似度評価値の算出処理の回数を低減することができるため、対象物識別装置の識別効率の向上を図ることができる。

（実施の形態３）
続いて、本発明の実施の形態３について説明する。図９は、本発明の実施の形態３に係る対象物識別装置の構成を示す図である。実施の形態１と同一構成については同一の符号を付し重複する説明は省略する。実施の形態３は、図１に示す評価領域識別部１１１の代わりに相互評価識別部１１３（識別手段）を有する点が実施の形態１とは異なる。

実施の形態１と同様に、Ｎ個の候補位置におけるＮ個の第１類似度評価値、及びＮ個の第２類似度評価値が算出され、相互評価識別部１１３に入力される。相互評価識別部１１３では評価値同士の差異が評価される。一つの対象物に対して複数個の類似物が存在しているときは、相互に評価値の差異を算出し、最も異なる候補位置が対象物と識別される。

以上のように実施の形態３では、複数存在する対象物の評価値同士を相互で評価することにより、対象物を識別することができる。また、予め対象物のパターン情報を保持していなくても識別が可能となる。

（実施の形態４）
続いて、本発明の実施の形態４について説明する。図１０は、本発明の実施の形態４に係る対象物識別装置の構成を示す図である。実施の形態１と同一構成については同一の符号を付し重複する説明は省略する。実施の形態４は、図１に示す対象物識別装置に評価値履歴記憶部１１４を更に有する点が実施の形態１とは異なる。

実施の形態１と同様に、Ｎ個の候補位置におけるＮ個の第１類似度評価値、及びＮ個の第２類似度評価値が算出され、評価識別部１１１に入力されて対象物か否かが識別されるが、それと同時にそれらの情報は評価履歴記憶部１１４へ入力され記憶される。評価領域記憶部１１４における記憶容量はユーザにより任意に設定することができる。例えば、過去Ｍフレーム分として設定した場合には、直前のＭフレーム分の対象物の候補位置及び類似度評価値について蓄積することができる。そして、評価識別部１１１では、評価値履歴記憶部１１４に記憶されたＭフレーム分の対象物の候補位置及び類似度評価値の時間変化を総合して対象物か否かが識別される。

以上のように実施の形態４では、各目標候補領域の評価値ＥをＭフレームの一定時間に亘り記録することで、時間経過における形状の変化を一つの特徴量として評価することができ、誤識別を低減することができる。対象物の排気部に対してフレアのような類似物は発出された後はその温度は減衰していくため、対象物とフレアの識別の際には有効に働く。

なお、本実施の形態では複数の波長帯は長波長帯、及び中波長帯であるものとして説明したが、波長帯は異なっているものであれば良い。

なお、この発明は、上述した実施の形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具現化できる。また、上述の実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除しても良い。さらに異なる実施の形態にわたる構成要素を適宜組み合わせても良い。

１００撮像系
１０１長波長赤外線画像データ
１０２中波長赤外線画像データ
１０３画像データ設定部
１０６第１状態記憶部
１０７第２状態記憶部
１０９候補位置抽出部
１１０第２類似度算出部
１１１評価識別部
１１２評価領域設定部
１１３相互評価識別部
２００レンズ
２０１ダイクロイックミラー
２０２長波長赤外線センサ
２０３中波長赤外線センサ

Claims

第１の波長帯での画像データである第１の画像データと、第２の波長帯での画像データである第２の画像データとを同じ視野で取得する画像データ取得手段と、
前記第１の画像データ及び前記第２の画像データのうち一方を一次対象画像データ、もう一方を二次対象画像データと設定する画像データ設定手段と、
前記一次対象画像データ上での対象物の状態を示す第１の状態パターンを記憶する第１の記憶手段と、
前記二次対象画像データ上での対象物の状態を示す第２の状態パターンを記憶する第２の記憶手段と、
前記一次対象画像データ上において前記第１の状態パターンとの類似度を示す第１類似度評価値を算出する第１類似度算出手段と、
前記第１の類似度評価値を基に対象物の候補位置を抽出する候補位置抽出手段と、
前記候補位置において前記第２の状態パターンとの類似度を示す第２類似度評価値を算出する第２類似度算出手段と、
前記第１類似度評価値、及び前記第２類似度評価値に基づいて前記視野内において対象物を識別する識別手段と、
を有することを特徴とする対象物識別装置。
前記画像データ設定手段は、
前記第１の画像データ、及び前記第２の画像データ上の信号強度が所定の閾値以上となる領域の形状の複雑さの比較に基づいて、一次対象画像データ及び二次対象画像データを設定することを特徴とする請求項１記載の対象物識別装置。
前記画像データ設定手段は、
前記第１の画像データ及び前記第２の画像データの波長帯の長短に基づいて一次対象画像データ及び二次対象画像データを設定することを特徴とする請求項１記載の対象物識別装置。
前記第１の状態パターン及び前記第２の状態パターンは、
予め取得された対象物の状態パターンであることを特徴とする請求項１乃至請求項３の何れか１項記載の対象物識別装置。
前記第１の状態パターン及び前記第２の状態パターンは、
前記識別手段によって識別された対象物の状態パターンであることを特徴とする請求項１乃至請求項３の何れか１項記載の対象物識別装置。
前記一次対象画像データ上の信号強度が所定の閾値以上の領域を一次評価領域、前記一次評価領域に所定の裕度を持たせて拡張した領域を二次評価領域と設定する評価領域設定手段を更に有し、
前記第１類似度算出手段は、
前記一次対象画像データ上の前記二次評価領域において前記第１の状態パターンとの類似度を示す第１類似度評価値を算出することを特徴とする請求項１乃至請求項５の何れか１項記載の対象物識別装置。
前記候補位置抽出手段は、
対象物の候補位置が複数あった場合、対象物の候補位置間が所定の距離以上となるように対象物の候補位置を抽出することを特徴とする請求項１乃至請求項６の何れか１項記載の対象物識別装置。
前記識別手段は、
前記第１類似度評価値、及び前記第２類似度評価値を相互に比較し、最も異となる候補位置を対象物とする請求項１乃至請求項７の何れか１項記載の対象物識別装置。
前記識別手段は、
前記第１類似度評価値、及び前記第２類似度評価値の時間変化に基づいて、前記視野内において対象物を識別することを特徴とする請求項１乃至請求項８記載の対象物識別装置。