JP6687296B2 - 監視装置 - Google Patents

Description

この発明は、観測センサにより観測された目標物と、画像センサの撮像画像内の目標物とが同一物であるか否かを判定する監視装置に関するものである。

例えば、観測諸元が異なるレーダ又はカメラなどの複数のセンサを用いて、航空機、船舶又は車両などの目標物を観測し、複数のセンサにより観測された目標物の同一性を判定する監視装置がある。
この監視装置は、例えば、画像センサから出力された撮像画像内の目標物と、或るレーダにより観測された目標物とが同一物であると判定すれば、或るレーダにより観測された目標物の識別情報を撮像画像上に重ねて表示する。

この監視装置を適用可能なシステムとして、例えば、目標物である航空機を観測する航空管制支援システムがある。
航空管制支援システムに適用される監視装置が備えるセンサとして、例えば、空港面探知レーダ（ＡＳＤＥ：Ａｉｒｐｏｒｔ Ｓｕｒｆａｃｅ Ｄｅｔｅｃｔｉｏｎ Ｅｑｕｉｐｍｅｎｔ）、空港監視レーダ（ＡＳＲ：Ａｉｒｐｏｒｔ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｒａｄａｒ）がある。ＡＳＤＥは目標物である航空機の距離や方位を探知することによって２次元位置を取得することができる。ＡＳＲは、例えば、一次監視レーダ（ＰＳＲ：Ｐｒｉｍａｒｙ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｒａｄａｒ）と、二次監視レーダ（ＳＳＲ：Ｓｅｃｏｎｄａｒｙ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｒａｄａｒ）とを組み合わせたレーダである。ＰＳＲは、目標物である航空機の距離及び方位を探知する。ＳＳＲは、レーダのアンテナから送信された電波である質問信号に対して、航空機に搭載されたトランスポンダが応答することによって、目標物の航空機である距離及び方位を探知し、応答信号には、航空機の識別情報及び高度が含まれるため、距離及び方位に加えて、高度を知ることができる。
これらのセンサは、航空機の高度を取得できない場合、２次元位置として取得することになり、航空機の高度が取得できる場合、３次元位置として取得することができる。
また、監視装置が備えるセンサとして、マルチラテレーション（ＭＬＡＴ：ＭｕｌｔｉｒａｔｅＬＡＴｉｏｎ）、広域マルチラテレーション（ＷＡＭ：Ｗｉｄｅ Ａｒｅａ Ｍｕｌｔｉｒａｔｅｌａｔｉｏｎ）、ＡＤＳ-Ｂ（Ａｕｔｏｍａｔｉｃ Ｄｅｐｅｎｄｅｎｔ Ｓｕｒｖｅｉｌｌａｎｃｅ-Ｂｒｏａｄｃａｓｔ）ｏｕｔ／ｉｎなどがある。
これらのセンサは、目標物である航空機の３次元位置及び航空機の識別情報を取得することができる。

以下の特許文献１に開示されている監視装置は、観測センサとして、空港面探知レーダを使用して、空港面を移動する全ての目標物を観測し、全ての目標物の位置及び識別情報を取得するようにしている。目標物には、空港面を移動する航空機のほか、空港面を移動する車両なども含まれる。
また、この監視装置は、画像センサであるビデオカメラを用いて、目標物を撮影し、目標物が映っている撮像画像を取得するようにしている。
この監視装置は、撮像画像内の目標物を検出して、撮像画像上での目標物の位置と、空港面探知レーダにより取得された目標物の位置との相関の有無を判定することで、空港面探知レーダにより観測された目標物と、画像センサの撮像画像内の目標物とが同一物であるか否かを判定している。

特開平１１−１６０４２４号公報

従来の監視装置は以上のように構成されているので、目標物が空港面を移動している航空機又は車両などであれば、目標物の同一性を判定することができる。しかし、目標物が飛行中の航空機である場合、撮像画像内の目標物の位置座標を解析しても、目標物の３次元位置を正確に求めることが困難であり、撮像画像上での目標物の３次元位置と、空港面探知レーダにより取得された目標物の３次元位置との相関の有無を判定することができない。このため、目標物が飛行中の航空機である場合、空港面探知レーダにより観測された目標物と、画像センサの撮像画像内の目標物とが同一物であるか否かを判定することができないという課題があった。

この発明は上記のような課題を解決するためになされたもので、目標物が飛行中の航空機である場合でも、観測センサにより観測された目標物と、画像センサの撮像画像内の目標物とが同一物であるか否かを判定することができる監視装置を得ることを目的とする。

この発明に係る監視装置は、目標物が存在している領域を撮像して、その領域の撮像画像を出力する画像センサと、画像センサから出力された撮像画像内の目標物を検出し、検出した目標物を包含している範囲である目標物包含画像領域を特定する目標検出部と、目標物を観測して、観測した目標物の識別情報及び観測した目標物の位置である目標物観測位置を出力する観測センサと、観測センサから出力された識別情報によって目標物の大きさを特定し、特定した目標物の大きさ及び観測センサから出力された目標物観測位置のそれぞれを画像センサの投影面に変換し、変換した目標物の大きさと、変換した目標物観測位置とから、画像センサの投影面上で、観測センサにより観測された目標物を包含している範囲である目標物包含観測領域を特定する変換処理部とを設け、第１の判定処理部が、変換処理部により特定された目標物包含観測領域と、目標検出部により特定された目標物包含画像領域とを比較して、観測センサにより観測された目標物と、目標検出部により検出された目標物とが同一物であるか否かを判定するようにしたものである。

この発明によれば、観測センサから出力された識別情報によって目標物の大きさを特定し、特定した目標物の大きさ及び観測センサから出力された目標物観測位置のそれぞれを画像センサの投影面に変換し、変換した目標物の大きさと、変換した目標物観測位置とから、画像センサの投影面上で、観測センサにより観測された目標物を包含している範囲である目標物包含観測領域を特定する変換処理部を設け、第１の判定処理部が、変換処理部により特定された目標物包含観測領域と、目標検出部により特定された目標物包含画像領域とを比較して、観測センサにより観測された目標物と、目標検出部により検出された目標物とが同一物であるか否かを判定するように構成したので、目標物が飛行中の航空機である場合でも、観測センサにより観測された目標物と、画像センサの撮像画像内の目標物とが同一物であるか否かを判定することができる効果がある。

この発明の実施の形態１による監視装置を示す構成図である。 この発明の実施の形態１による監視装置を示すハードウェア構成図である。 監視装置の画像センサ１、観測センサ３及びディスプレイ１６を除く構成要素がソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。 監視装置の画像センサ１、観測センサ３及びディスプレイ１６を除く構成要素がソフトウェア又はファームウェアなどで実現される場合の処理手順を示すフローチャートである。 変換処理部５により画像センサ１の投影面に変換された目標物観測位置及び変換処理部５により特定された目標物包含観測領域を示す説明図である。 図６Ａは、目標物の全長と全幅に対応する第１の矩形領域を示す説明図、図６Ｂは、目標物の全幅と高さに対応する第２の矩形領域を示す説明図である。 目標物包含観測領域と目標物包含画像領域との重なり範囲Ｏｖを示す説明図である。 目標物包含観測領域と第１及び第２の目標物包含画像領域との重なり範囲Ｏｖを示す説明図である。 この発明の実施の形態１による他の監視装置を示す構成図である。 包含領域特定部８により特定される双方包含領域を示す説明図である。 この発明の実施の形態１による他の監視装置を示す構成図である。 重み付け平均した位置を示す説明図である。 観測センサ３に起因する目標物観測位置と目標物画像位置との位置ずれを示す説明図である。 目標物観測位置の観測誤差範囲及び画像センサ１の投影面上での観測誤差範囲を示す説明図である。 楕円体の固有ベクトルと長軸の幅との関係を示す説明図である。 補正前後の目標物包含観測領域及び投影面上での観測誤差範囲を示す説明図である。 この発明の実施の形態３による監視装置を示す構成図である。 この発明の実施の形態３による監視装置を示すハードウェア構成図である。 この発明の実施の形態４による監視装置を示す構成図である。 この発明の実施の形態４による監視装置を示すハードウェア構成図である。 観測位置射影部６１により算出される射影位置を示す説明図である。 観測位置射影部６１により算出される射影位置と、目標検出部３２ｂから出力される目標物地図座標位置との関係を示す説明図である。 第２の判定処理部６２の処理内容を示すフローチャートである。 この発明の実施の形態５による監視装置を示す構成図である。 この発明の実施の形態５による監視装置を示すハードウェア構成図である。 画像センサ１−１〜１−Ｎの基準位置と、画像センサ１−１〜１−Ｎの角度とを示す説明図である。 この発明の実施の形態６による監視装置を示す構成図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。

実施の形態１．
図１は、この発明の実施の形態１による監視装置を示す構成図である。図２は、この発明の実施の形態１による監視装置を示すハードウェア構成図である。
図１及び図２において、画像センサ１は、例えば、光学カメラ又は赤外カメラなどで実現される。
画像センサ１は、目標物が存在している領域として、例えば、移動体が交通する空港敷地内及び空港周辺の領域を撮像して、前記領域の撮像画像を目標検出部２及び表示処理部７に出力する。この目標物には、航空機のほか、地上を走行する車両なども含まれる。さらに、海が近い空港であれば船舶なども含まれ、また、鉄道があれば、鉄道車両なども含まれる。

目標検出部２は、例えば、図２に示す目標検出回路１１で実現される。
目標検出部２は、画像センサ１から出力された撮像画像内の目標物を検出する処理を実施する。
目標検出部２は、撮像画像上での検出した目標物の位置である目標物画像位置及び撮像画像上で目標物を包含している範囲である目標物包含画像領域のそれぞれを第１の判定処理部６及び表示処理部７に出力する処理を実施する。

観測センサ３は、画像センサ１以外のセンサであり、例えば、ＡＳＲ、ＡＳＤＥ、ＭＬＡＴ、ＷＡＭ、ＡＤＳ−Ｂｏｕｔ／ｉｎなどで実現される。
観測センサ３は、目標物を観測して、観測した目標物の識別情報及び目標物の３次元位置である目標物観測位置のそれぞれを変換処理部５に出力する。目標物の識別情報には、例えば、航空機の便名のほか、航空機の機体など、目標物の固有の識別番号が含まれている。
物体形状情報格納部４は、例えば、図２に示す形状記憶回路１２で実現される。
物体形状情報格納部４は、各種の目標物の形状を示す形状情報を格納している。例えば、目標物の識別情報に対応する形状情報として、識別情報が示す目標物の全長、全幅及び高さなどを格納している。

変換処理部５は、例えば、図２に示す変換処理回路１３で実現される。
変換処理部５は、物体形状情報格納部４から、観測センサ３から出力された識別情報に対応する形状情報を読み出し、形状情報を参照することで、観測センサ３により観測された目標物の大きさを特定する処理を実施する。
変換処理部５は、特定した目標物の大きさ及び観測センサ３から出力された目標物観測位置のそれぞれを画像センサ１の投影面に変換する処理を実施する。
変換処理部５は、変換した目標物の大きさと、変換した目標物観測位置とから、画像センサ１の投影面上で、観測センサ３により観測された目標物を包含している範囲である目標物包含観測領域を特定する処理を実施する。
この実施の形態１では、変換処理部５が、観測センサ３から出力された識別情報に対応する形状情報を参照することで、観測センサ３により観測された目標物の大きさを特定し、特定した目標物の大きさを画像センサ１の投影面に変換する例を示しているが、これに限るものではない。
例えば、観測センサ３が目標物の識別情報を得ることが困難であるような場合、変換処理部５が、予め設定されている目標物の大きさを画像センサ１の投影面に変換するようにしてもよい。
予め設定されている目標物の大きさは、例えば、カタログ上の大きさなどが考えられる。

第１の判定処理部６は、例えば、図２に示す第１の判定処理回路１４で実現される。
第１の判定処理部６は、変換処理部５により特定された目標物包含観測領域と、目標検出部２から出力された目標物包含画像領域とを比較して、観測センサ３により観測された目標物と、目標検出部２により検出された目標物とが同一物であるか否かを判定する処理を実施する。
即ち、第１の判定処理部６は、画像センサ１の投影面上で、変換処理部５により特定された目標物包含観測領域と、目標検出部２から出力された目標物包含画像領域との重なり範囲を算出する処理を実施する。
また、第１の判定処理部６は、重なり範囲が閾値以上であれば、観測センサ３により観測された目標物と、目標検出部２により検出された目標物とが同一物であると判定し、重なり範囲が閾値未満であれば、観測センサ３により観測された目標物と、目標検出部２により検出された目標物とが同一物でないと判定する処理を実施する。

表示処理部７は、例えば、図２に示す表示処理回路１５で実現される。
表示処理部７は、画像センサ１から出力された撮像画像をディスプレイ１６に表示する処理を実施する。
表示処理部７は、第１の判定処理部６により同一物であると判定された場合、変換処理部５により画像センサ１の投影面に変換された目標物観測位置及び観測センサ３から出力された識別情報のそれぞれを撮像画像上に表示し、また、目標検出部２から出力された目標物包含画像領域を撮像画像上に表示する処理を実施する。
また、第１の判定処理部６により同一物であると判定されなかった場合でも、表示処理部７は、変換処理部５により画像センサ１の投影面に変換された目標物観測位置、観測センサ３から出力された識別情報、変換処理部５により特定された目標物包含観測領域、目標検出部２から出力された目標物画像位置、目標検出部２から出力された目標物包含画像領域のそれぞれを独立に撮像画像上に表示しても良いこととする。
ディスプレイ１６は、例えば、液晶ディスプレイなどの表示装置である。

図１では、監視装置の構成要素である画像センサ１、目標検出部２、観測センサ３、物体形状情報格納部４、変換処理部５、第１の判定処理部６、表示処理部７及びディスプレイ１６のそれぞれが、図２に示すような専用のハードウェアで実現されるものを想定している。即ち、画像センサ１、目標検出回路１１、観測センサ３、形状記憶回路１２、変換処理回路１３、第１の判定処理回路１４、表示処理回路１５及びディスプレイ１６で実現されるものを想定している。

ここで、形状記憶回路１２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などが該当する。
また、目標検出回路１１、変換処理回路１３、第１の判定処理回路１４及び表示処理回路１５は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、これらを組み合わせたものが該当する。

監視装置の画像センサ１、観測センサ３及びディスプレイ１６を除く構成要素は、専用のハードウェアで実現されるものに限るものではなく、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
ソフトウェア又はファームウェアはプログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などが該当する。

図３は、監視装置の画像センサ１、観測センサ３及びディスプレイ１６を除く構成要素がソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。
監視装置の画像センサ１、観測センサ３及びディスプレイ１６を除く構成要素がソフトウェア又はファームウェアなどで実現される場合、物体形状情報格納部４をコンピュータのメモリ２１上に構成するとともに、目標検出部２、物体形状情報格納部４、変換処理部５、第１の判定処理部６及び表示処理部７の処理手順をコンピュータに実行させるためのプログラムをメモリ２１に格納し、コンピュータのプロセッサ２２がメモリ２１に格納されているプログラムを実行するようにすればよい。

図４は、監視装置の画像センサ１、観測センサ３及びディスプレイ１６を除く構成要素がソフトウェア又はファームウェアなどで実現される場合の処理手順を示すフローチャートである。
また、図２では、監視装置の構成要素のそれぞれが専用のハードウェアで実現される例を示し、図３では、監視装置の画像センサ１、観測センサ３及びディスプレイ１６を除く構成要素がソフトウェアやファームウェアなどで実現される例を示しているが、監視装置における一部の構成要素が専用のハードウェアで実現され、残りの構成要素がソフトウェアやファームウェアなどで実現されるものであってもよい。

次に動作について説明する。
画像センサ１は、目標物が存在している領域として、例えば、移動体が交通する空港敷地内及び空港周辺の領域を撮像して、前記領域の撮像画像を目標検出部２及び表示処理部７に出力する。この目標物には、航空機のほか、地上を走行する車両なども含まれる。

目標検出部２は、画像センサ１から出力された撮像画像内の目標物を検出する処理を実施する（図４のステップＳＴ１）。
撮像画像内の目標物を検出する処理自体は、公知の技術であるため詳細な説明を省略する。
目標検出部２は、検出した目標物の撮像画像上での位置である目標物画像位置を第１の判定処理部６及び表示処理部７に出力する。
また、目標検出部２は、撮像画像上で目標物を包含している範囲である目標物包含画像領域と、検出した目標物を識別するＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）とを第１の判定処理部６及び表示処理部７に出力する。このＩＤは、目標検出部２により任意に割り当てられた番号等である。
ここで、目標物包含画像領域は、例えば、撮像画像上で目標物を囲む矩形の枠、曲線と直線から構成する枠が該当する。
また、目標物画像位置は、例えば、目標物包含画像領域の中心に存在している画素の位置座標が該当する。

この実施の形態１では、監視装置が１つの画像センサ１を実装している例を想定しているが、監視装置が複数の画像センサ１を実装しているものであってもよい。
監視装置が複数の画像センサ１を実装している場合、目標検出部２が、画像センサ１毎に、独立して目標物を検出するようにしてもよいし、複数の画像センサ１により撮影された画像をパノラマ映像として１つの撮像画像に合成し、合成した撮像画像上で目標物を検出するようにしてもよい。また、複数の画像センサ１が、独立して目標物を検出すると同時に、他の画像センサ１と協調動作することで、複数の画像センサ１間を跨がって存在する同一の目標物について同一のＩＤを付与し、前記ＩＤが同じ目標物については、ある画像センサ１で検出した目標物を他の画像センサ１で検出しない、もしくは後段の処理部へ出力しないようにしてもよい。

観測センサ３は、目標物を観測して、観測した目標物の識別情報及び目標物の３次元位置である目標物観測位置（Ｘ１，Ｙ１，Ｚ１）のそれぞれを変換処理部５及び表示処理部７に出力する。また、前述した通り、単一の観測センサ３を扱う際に、センサによってはＡＳＲのように距離と方位、ＡＳＤＥのように地上面の２次元位置のみ取得される場合がある。ＡＳＲの場合は、航空機の気圧高度、もしくは気圧高度に標準大気の補正を加えて海面からの高度に変換し、距離、方位、高度を３次元位置（Ｘ１，Ｙ１，Ｚ１）へ変換して出力しても良いこととする。ＡＳＤＥの場合は、目標物の高度として、デフォルト値（航空管制のルール上、現実的にあり得る値）を設定して、３次元位置（Ｘ１，Ｙ１，Ｚ１）を出力しても良いこととする。
目標物の識別情報には、例えば、航空機の便名又は航空機の機体の情報など、目標物の固有の識別番号が含まれている。
また、観測センサ３は、目標物の推定速度を示す速度ベクトルを取得できる場合は変換処理部５に出力しても良いこととする。

変換処理部５は、図５に示すように、観測センサ３から出力された目標物観測位置（Ｘ１，Ｙ１，Ｚ１）を画像センサ１の投影面に投影することで、目標物観測位置（Ｘ１，Ｙ１，Ｚ１）を画像センサ１の投影面の座標（ｕ，ｖ）に変換する（図４のステップＳＴ２）。
図５は、変換処理部５により画像センサ１の投影面に変換された目標物観測位置及び変換処理部５により特定された目標物包含観測領域を示す説明図である。
画像センサ１の投影面の座標（ｕ，ｖ）は、目標物包含観測領域における中心画素の座標に相当する。

例えば、変換処理部５は、以下の式（１）を用いることで、目標物観測位置（Ｘ１，Ｙ１，Ｚ１）を画像センサ１の投影面の座標（ｕ，ｖ）に変換することができる。

式（１）において、Ａは、画像センサ１の内部パラメータ、Ｒは、回転行列、Ｔは、平行移動ベクトルである。
Ｘ_{ｗｏｒｌｄ}，Ｙ_{ｗｏｒｌｄ}，Ｚ_{ｗｏｒｌｄ}は、目標物が存在している３次元直交座標系の各軸の座標値である。例えば、観測センサ３が設置されている位置を原点とする北基準直交座標系が考えられる。
ｕ_{ｉｍａｇｅ}，ｖ_{ｉｍａｇｅ}は、画像センサ１の投影面上での各軸の座標値である。
したがって、目標物観測位置（Ｘ１，Ｙ１，Ｚ１）を式（１）の座標値（Ｘ_{ｗｏｒｌｄ}，Ｙ_{ｗｏｒｌｄ}，Ｚ_{ｗｏｒｌｄ}）に代入すると、式（１）の画像センサ１の投影面上での座標値（ｕ_{ｉｍａｇｅ}，ｖ_{ｉｍａｇｅ}）が、画像センサ１の投影面の座標（ｕ，ｖ）となる。

変換処理部５は、観測センサ３から目標物の識別情報を受けると、物体形状情報格納部４から識別情報に対応する形状情報の読み出しを行う。
変換処理部５は、形状情報を参照することで、目標物の全長、全幅及び高さを把握する。目標物の識別情報が入力されない場合は、例えば、一般的な全長、全幅及び高さをデフォルト値予め設定しておき、使用しても良いこととする。
また、変換処理部５は、観測センサ３から速度ベクトルを受けると、速度ベクトルから目標物の進行方向を把握する。速度ベクトルが入力されない場合は、例えば、航空管制のルール上、予め設定されているコース又は一般的な速度よって、速度ベクトルのデフォルト値を設定して、目標物の進行方向を把握しても良いこととする。
図６は、変換処理部５により特定される目標物包含観測領域を示す説明図である。
図６Ａは、目標物の全長と全幅に対応する第１の矩形領域を示し、図６Ｂは、目標物の全幅と高さに対応する第２の矩形領域を示している。

変換処理部５は、図６Ａに示すように、目標物の進行方向に対応する辺の長さが目標物の全長であり、進行方向と直交する方向に対応する辺の長さが目標物の全幅である第１の矩形領域を生成する。
また、変換処理部５は、図６Ｂに示すように、高さ方向に対応する辺の長さが目標物の高さであり、水平方向に対応する辺の長さが目標物の全幅である第２の矩形領域を生成する。
ここで、目標物の進行方向が把握できない場合でも、予め設定しておいた進行方向や目標物の傾きよって、矩形領域を生成しても良いこととする。一方、目標物のピッチ、ヨー、ロールなどの詳細な情報が得られる場合は利用しても良いこととする。

次に、変換処理部５は、図６Ａに示すように、第１の矩形領域における２つの対角線Ｄ１，Ｄ２のうち、画像センサ１の視線方向との角度が直角に近い方向の対角線Ｄ１を選択する。
変換処理部５は、選択した対角線Ｄ１の端点ａ１，ａ２を画像センサ１の投影面に投影することで、対角線Ｄ１の端点ａ１，ａ２を画像センサ１の投影面の座標ａ３，ａ４に変換する。

対角線Ｄ１の端点ａ１，ａ２を画像センサ１の投影面の座標ａ３，ａ４に変換するには、対角線Ｄ１の端点ａ１，ａ２における３次元直交座標系の座標を得る必要がある。
観測センサ３から出力された目標物観測位置（Ｘ１，Ｙ１，Ｚ１）が、第１の矩形領域の中心位置に対応していれば、目標物観測位置（Ｘ１，Ｙ１，Ｚ１）と第１の矩形領域の大きさとから、対角線Ｄ１の端点ａ１，ａ２における３次元直交座標系の座標を得ることができる。
しかし、一般的には、観測センサ３から出力された目標物観測位置（Ｘ１，Ｙ１，Ｚ１）は、第１の矩形領域の中心位置に対応しているとは限らない。
目標物観測位置（Ｘ１，Ｙ１，Ｚ１）が、第１の矩形領域の中心位置に対応していない場合、対角線Ｄ１の端点ａ１，ａ２における３次元直交座標系の座標を得ることが困難である。
そこで、この実施の形態１では、例えば、以下のようにして、対角線Ｄ１の端点ａ１，ａ２を画像センサ１の投影面の座標ａ３，ａ４に変換する。

対角線Ｄ１の端点ａ１，ａ２は、第１の矩形領域に９おける対角線Ｄ１の端点であるため、端点ａ１と端点ａ２との距離を算出することができる。このため、例えば、端点ａ２における３次元直交座標系の座標を、端点ａ１における３次元直交座標系の座標で表すことができる。
端点ａ１の未知の座標を式（１）に代入することで、端点ａ１の座標を画像センサ１の投影面の座標ａ３に変換し、端点ａ１の座標で表した端点ａ２の座標を式（１）に代入することで、端点ａ２の座標を画像センサ１の投影面の座標ａ４に変換すれば、座標ａ３と座標ａ４との距離Ｌ１−２を求めることができる。
画像センサ１の投影面上での目標物観測位置である座標（ｕ，ｖ）は既に算出しているため、座標（ｕ，ｖ）と距離Ｌ１−２から、画像センサ１の投影面の座標ａ３，ａ４を算出することができる。

また、変換処理部５は、図６Ｂに示すように、第２の矩形領域における２つの対角線Ｄ３，Ｄ４のうち、画像センサ１の視線方向との角度が直角に近い方向の対角線Ｄ３を選択する。
変換処理部５は、選択した対角線Ｄ３の端点ｂ１，ｂ２を画像センサ１の投影面に投影することで、対角線Ｄ３の端点ｂ１，ｂ２を画像センサ１の投影面の座標ｂ３，ｂ４に変換する。
対角線Ｄ３の端点ｂ１，ｂ２を画像センサ１の投影面の座標ｂ３，ｂ４に変換する処理も、対角線Ｄ１の端点ｂ１，ｂ２を画像センサ１の投影面の座標ｂ３，ｂ４に変換する処理と同様に行うことができる。

変換処理部５は、変換した投影面の座標ａ３，ａ４及び座標ｂ３，ｂ４から、図５に示すように、画像センサ１の投影面上で、目標物を包含している範囲である目標物包含観測領域を特定する（図４のステップＳＴ３）。
図５において、目標物包含観測領域の左上の端点の座標は、（ａ３，ｂ３）であり、目標物包含観測領域の左下の端点の座標は、（ａ３，ｂ４）である。
また、目標物包含観測領域の右上の端点の座標は、（ａ４，ｂ３）であり、目標物包含観測領域の右下の端点の座標は、（ａ４，ｂ４）である。

第１の判定処理部６は、変換処理部５により特定された目標物包含観測領域と、目標検出部２から出力された目標物包含画像領域とを比較して、観測センサ３により観測された目標物と、目標検出部２により検出された目標物とが同一物であるか否かを判定する。
即ち、第１の判定処理部６は、図７に示すように、画像センサ１の投影面上で、変換処理部５により特定された目標物包含観測領域と、目標検出部２から出力された目標物包含画像領域との重なり範囲Ｏｖを算出する（図４のステップＳＴ４）。
図７は、目標物包含観測領域と目標物包含画像領域との重なり範囲Ｏｖを示す説明図である。

第１の判定処理部６は、図７に示すように、算出した重なり範囲Ｏｖと事前に設定された閾値Ｔｈとを比較する（図４のステップＳＴ５）。
第１の判定処理部６は、重なり範囲Ｏｖが閾値Ｔｈ以上であれば（図４のステップＳＴ５：ＹＥＳの場合）、観測センサ３により観測された目標物と、目標検出部２により検出された目標物とが同一物であると判定する（図４のステップＳＴ６）。
第１の判定処理部６は、重なり範囲Ｏｖが閾値Ｔｈ未満であれば（図４のステップＳＴ５：ＮＯの場合）、観測センサ３により観測された目標物と、目標検出部２により検出された目標物とが同一物でないと判定する（図４のステップＳＴ７）。

表示処理部７は、画像センサ１から出力された撮像画像をディスプレイ１６に表示する。
表示処理部７は、第１の判定処理部６により同一物であると判定された場合、変換処理部５により画像センサ１の投影面に変換された目標物観測位置及び観測センサ３から出力された識別情報のそれぞれを撮像画像上に表示し、また、目標検出部２から出力された目標物包含画像領域を撮像画像上に表示する（図４のステップＳＴ８）。

表示処理部７は、第１の判定処理部６により同一物でないと判定された場合、目標検出部２から出力された目標物画像位置、目標物包含画像領域及び目標物のＩＤとを撮像画像上に表示する（図４のステップＳＴ９）。
あるいは、表示処理部７は、第１の判定処理部６により同一物でないと判定された場合、観測センサ３から出力された識別情報と、変換処理部５により画像センサ１の投影面に変換された目標物観測位置及び変換処理部５により特定された目標物包含観測領域とを撮像画像上に表示する。

以上で明らかなように、この実施の形態１によれば、観測センサ３から出力された識別情報によって目標物の大きさを特定し、特定した目標物の大きさ及び観測センサ３から出力された目標物観測位置のそれぞれを画像センサ１の投影面に変換し、変換した目標物の大きさと、変換した目標物観測位置とから、画像センサ１の投影面上で、観測センサ３により観測された目標物を包含している範囲である目標物包含観測領域を特定する変換処理部５を設け、第１の判定処理部６が、変換処理部５により特定された目標物包含観測領域と、目標検出部２により特定された目標物包含画像領域とを比較して、観測センサ３により観測された目標物と、目標検出部２により検出された目標物とが同一物であるか否かを判定するように構成している。これにより、目標物が飛行中の航空機である場合でも、観測センサ３により観測された目標物と、画像センサ１の撮像画像内の目標物とが同一物であるか否かを判定することができる効果を奏する。

この実施の形態１では、目標検出部２により撮像画像上で１つの目標物が検出されている例を示しているが、例えば、１つの目標物の前方部分と後方部分が分離されて、２つの目標物として検出されることがある。
このような場合、目標検出部２は、図８に示すように、１つの目標物の前方部分を包含している範囲である目標物包含画像領域（以下、第１の目標物包含画像領域と称する）と、１つの目標物の後方部分を包含している範囲である目標物包含画像領域（以下、第２の目標物包含画像領域と称する）とを特定する。
図８は、目標物包含観測領域と第１及び第２の目標物包含画像領域との重なり範囲Ｏｖを示す説明図である。

第１の判定処理部６は、画像センサ１の投影面上で、変換処理部５により特定された目標物包含観測領域と、第１の目標物包含画像領域との重なり範囲Ｏｖ１を算出し、また、変換処理部５により特定された目標物包含観測領域と、第２の目標物包含画像領域との重なり範囲Ｏｖ２を算出する。
第１の判定処理部６は、重なり範囲Ｏｖ１と重なり範囲Ｏｖ２の合計が閾値Ｔｈ以上であれば、目標検出部２により検出された複数の目標物が１つの目標物の一部であり、観測センサ３により観測された目標物と、１つの目標物とが同一物であると判定する。
第１の判定処理部６は、重なり範囲Ｏｖ１と重なり範囲Ｏｖ２の合計が閾値Ｔｈ未満であれば、観測センサ３により観測された目標物と、１つの目標物とが同一物でないと判定する。

この実施の形態１では、表示処理部７が、目標検出部２から出力された目標物包含画像領域、あるいは、変換処理部５により特定された目標物包含観測領域を撮像画像上に表示する例を示している。
これは一例に過ぎず、例えば、表示処理部７が、目標物包含画像領域と目標物包含観測領域の双方を含む領域である双方包含領域を撮像画像上に表示するようにしてもよい。
図９は、この発明の実施の形態１による他の監視装置を示す構成図である。
図９において、包含領域特定部８は、例えば包含領域特定回路で実現される。
包含領域特定部８は、図１０に示すように、画像センサの１投影面上で、変換処理部５により特定された目標物包含観測領域と、目標検出部２から出力された目標物包含画像領域との双方を含む領域である双方包含領域を特定する処理を実施する。
図１０は、包含領域特定部８により特定される双方包含領域を示す説明図である。
表示処理部７は、画像センサ１から出力された撮像画像上に、包含領域特定部８により特定された双方包含領域を表示する。

この実施の形態１では、表示処理部７が、変換処理部５により画像センサ１の投影面に変換された目標物観測位置、あるいは、目標検出部２から出力された目標物画像位置を撮像画像上に表示する例を示している。
これは一例に過ぎず、例えば、表示処理部７が、目標物観測位置と目標物画像位置とを重み付け平均して、重み付け平均した位置を撮像画像上に表示するようにしてもよい。
図１１は、この発明の実施の形態１による他の監視装置を示す構成図である。
図１１において、平均位置出力部９は、例えば平均位置出力回路で実現される。
平均位置出力部９は、図１２に示すように、変換処理部５により画像センサ１の投影面に変換された目標物観測位置と、目標検出部２から出力された目標物画像位置とを重み付け平均して、重み付け平均した位置を出力する処理を実施する。
図１２は、重み付け平均した位置を示す説明図である。
表示処理部７は、画像センサ１から出力された撮像画像上に、平均位置出力部９から出力された位置を表示する。

実施の形態２．
上記実施の形態１では、変換処理部５が、目標物包含観測領域を特定する例を示している。
この実施の形態２では、変換処理部５が、目標物観測位置の観測誤差範囲を示す観測誤差情報に従って目標物包含観測領域を補正する例を説明する。
この実施の形態２の監視装置の構成図は、上記実施の形態１の監視装置と同様に、図１、図９又は図１１である。

観測センサ３により観測された目標物の位置には観測誤差が含まれている。このため、図１３に示すように、観測センサ３から出力された目標物観測位置と、目標検出部２から出力された目標物画像位置とが大きくずれていることがある。
図１３は、観測センサ３に起因する目標物観測位置と目標物画像位置との位置ずれを示す説明図である。

この実施の形態２では、観測センサ３は、目標物観測位置の観測誤差範囲を示す観測誤差情報として、３次元の観測誤差共分散行列を変換処理部５に出力する。
変換処理部５は、図１４に示すように、観測センサ３から出力された観測誤差情報が示す目標物観測位置の観測誤差範囲を画像センサ１の投影面に投影することで、目標物観測位置の観測誤差範囲を画像センサ１の投影面の座標に変換する。
図１４は、目標物観測位置の観測誤差範囲及び画像センサ１の投影面上での観測誤差範囲を示す説明図である。
目標物観測位置の観測誤差範囲は、幾何的には図１４のような楕円体で表現される。
変換処理部５は、目標物観測位置の観測誤差範囲における各々の点の位置を式（１）の座標値（Ｘ_{ｗｏｒｌｄ}，Ｙ_{ｗｏｒｌｄ}，Ｚ_{ｗｏｒｌｄ}）に代入することで、目標物観測位置の観測誤差範囲を画像センサ１の投影面の座標に変換することができる。
目標物観測位置の観測誤差範囲を画像センサ１の投影面の座標に変換する処理として、以下の処理を用いることもできる。

変換処理部５は、目標物観測位置の観測誤差範囲である楕円体の固有値及び固有ベクトルから、楕円体の長軸の幅及び短軸の幅のそれぞれを算出する。
図１５は、楕円体の固有ベクトルと長軸の幅との関係を示す説明図である。
そして、変換処理部５は、式（１）を用いて、楕円体における長軸の幅の端点及び短軸の幅の端点のそれぞれを画像センサ１の投影面の座標に変換することで、投影面上での観測誤差範囲を算出する。

変換処理部５は、図１６に示すように、投影面上での観測誤差範囲が、上記実施の形態１と同様の方法で特定した目標物包含観測領域を包含していない場合、投影面上での観測誤差範囲が目標物包含観測領域を包含するように、投影面上での観測誤差範囲を拡大する。
次に、変換処理部５は、目標物包含観測領域が、拡大した観測誤差範囲と一致するように、目標物包含観測領域を補正する。
即ち、変換処理部５は、図１６に示すように、拡大した観測誤差範囲を補正後の目標物包含観測領域とする。
変換処理部５は、補正後の目標物包含観測領域を第１の判定処理部６に出力する。
図１６は、補正前後の目標物包含観測領域及び投影面上での観測誤差範囲を示す説明図である。
第１の判定処理部６の処理内容は、上記実施の形態１と同様であるため、詳細な説明を省略する。

以上で明らかなように、この実施の形態２によれば、観測センサ３が、目標物観測位置の観測誤差範囲を示す観測誤差情報を出力し、変換処理部５が、観測センサ３から出力された観測誤差情報に従って目標物包含観測領域を補正するように構成したので、観測センサ３の観測誤差が大きくても、同一物の判定精度の劣化を防止することができる効果を奏する。

実施の形態３．
この実施の形態３では、目標検出部２と第１の判定処理部６との間に第１の追尾処理部を備え、観測センサ３と変換処理部５との間に第２の追尾処理部を備えている例を説明する。

図１７は、この発明の実施の形態３による監視装置を示す構成図である。図１８は、この発明の実施の形態３による監視装置を示すハードウェア構成図である。
図１７及び図１８において、図１及び図２と同一符号は同一または相当部分を示すので説明を省略する。
画像センサ１−１〜１−Ｎは、図１の画像センサ１と同様に、例えば、光学カメラ又は赤外カメラなどで実現される。
画像センサ１−１〜１−Ｎは、目標物が存在している領域として、例えば、移動体が交通する空港敷地内及び空港周辺の領域を撮像して、前記領域の撮像画像を映像生成部３１及び目標検出部３２に出力する。

映像生成部３１は、例えば、図１８に示す映像生成回路４１で実現される。
映像生成部３１は、画像センサ１−１〜１−Ｎから出力された撮像画像のそれぞれを表示処理部４０に出力する。
また、映像生成部３１は、画像センサ１−１〜１−Ｎから出力された撮像画像を合成することで、１つのパノラマ画像を生成し、パノラマ画像を撮像画像として目標検出部３２及び表示処理部４０に出力する。ここで、画像センサ１−１〜１−Ｎから出力された撮像画像を別々に、直接、撮像画像として目標検出部３２及び表示処理部４０に出力しても良いこととする。

目標検出部３２は、例えば、図１８に示す目標検出回路４２で実現される。
目標検出部３２は、画像センサ１−ｎ（ｎ＝１，２，・・・，Ｎ）から出力された撮像画像内の目標物、あるいは、映像生成部３１から出力された撮像画像内の目標物を検出する処理を実施する。
目標検出部３２は、撮像画像上で検出した目標物の位置である目標物画像位置及び撮像画像上で目標物を包含している範囲である目標物包含画像領域のそれぞれを第１の追尾処理部３３に出力する処理を実施する。

第１の追尾処理部３３は、例えば、図１８に示す第１の追尾処理回路４３で実現される。
第１の追尾処理部３３は、目標検出部３２により検出された目標物の追尾処理を実施して、追尾処理後の目標物を包含している範囲である目標物包含画像領域を第１の判定処理部３７に出力する処理を実施する。
第１の追尾処理部３３が実施する目標物の追尾処理として、例えば、カルマンフィルタ、パーティクルフィルタなどを用いる公知の追尾処理を利用することができる。

観測センサ３−１〜３−Ｍは、図１の観測センサ３と同様に、例えば、ＡＳＲ、ＭＬＡＴ、ＷＡＭなどで実現される。
観測センサ３−ｍ（ｍ＝１，２，・・・，Ｍ）は、目標物を観測して、観測した目標物の識別情報及び目標物の３次元位置である目標物観測位置のそれぞれを第２の追尾処理部３４−ｍ及びマルチセンサ追尾処理部３５に出力する。

第２の追尾処理部３４−ｍは、例えば、図１８に示す第２の追尾処理回路４４で実現される。
第２の追尾処理部３４−ｍは、観測センサ３−ｍから出力された目標物観測位置を用いて、目標物の追尾処理を実施し、追尾処理後の目標物の位置である目標物観測位置を変換処理部３６に出力する処理を実施する。
また、第２の追尾処理部３４−ｍは、観測センサ３−ｍから出力された目標物の識別情報を変換処理部３６に出力する処理を実施する。
マルチセンサ追尾処理部３５は、例えば、図１８に示すマルチセンサ追尾処理回路４５で実現される。
マルチセンサ追尾処理部３５は、Ｍ個の観測センサ３−１〜３−Ｍから出力された目標物観測位置を用いて、目標物の追尾処理を実施し、追尾処理後の目標物の位置である目標物観測位置を変換処理部３６に出力する処理を実施する。
マルチセンサ追尾処理部３５は、第２の追尾処理部３４−ｍと比べて、複数の目標物観測位置を用いる点でのみ相違している。
第２の追尾処理部３４−ｍ及びマルチセンサ追尾処理部３５のそれぞれが実施する目標物の追尾処理として、例えば、カルマンフィルタ、パーティクルフィルタなどを用いる公知の追尾処理を利用することができる。

変換処理部３６は、例えば、図１８に示す変換処理回路４６で実現される。
変換処理部３６は、物体形状情報格納部４から、第２の追尾処理部３４−ｍ又はマルチセンサ追尾処理部３５から出力された識別情報に対応する形状情報を読み出し、形状情報を参照することで、観測センサ３−ｍにより観測された目標物の大きさを特定する処理を実施する。
変換処理部３６は、特定した目標物の大きさ及び第２の追尾処理部３４−ｍ又はマルチセンサ追尾処理部３５から出力された目標物観測位置のそれぞれを画像センサ１−ｎの投影面に変換する処理を実施する。
変換処理部３６は、変換した目標物の大きさと、変換した目標物観測位置とから、画像センサ１−ｎの投影面上で、観測センサ３−ｍにより観測された目標物を包含している範囲である目標物包含観測領域を特定する処理を実施する。

第１の判定処理部３７は、例えば、図１８に示す第１の判定処理回路４７で実現される。
第１の判定処理部３７は、変換処理部３６により特定された目標物包含観測領域と、第１の追尾処理部３３から出力された目標物包含画像領域とを比較して、観測センサ３−ｍにより観測された目標物と、目標検出部３２により検出された目標物とが同一物であるか否かを判定する処理を実施する。
即ち、第１の判定処理部３７は、画像センサ１−ｎの投影面上で、変換処理部３６により特定された目標物包含観測領域と、第１の追尾処理部３３から出力された目標物包含画像領域との重なり範囲を算出する処理を実施する。
また、第１の判定処理部３７は、重なり範囲が閾値以上であれば、観測センサ３−ｍにより観測された目標物と、目標検出部３２により検出された目標物とが同一物であると判定する処理を実施する。
第１の判定処理部３７は、重なり範囲が閾値未満であれば、観測センサ３−ｍにより観測された目標物と、目標検出部３２により検出された目標物とが同一物でないと判定する処理を実施する。
判定結果格納部３８は、例えば、図１８に示す判定結果記憶回路４８で実現される。
判定結果格納部３８は、第１の判定処理部３７の判定結果を格納する。

平滑処理部３９は、例えば、図１８に示す平滑処理回路４９で実現される。
平滑処理部３９は、第１の追尾処理部３３から出力された目標物包含画像領域を時間方向に平滑化し、平滑化後の目標物包含画像領域を表示処理部４０に出力する処理を実施する。
表示処理部４０は、例えば、図２に示す表示処理回路５０で実現される。
表示処理部４０は、映像生成部３１から出力された撮像画像をディスプレイ１６に表示する処理を実施する。
表示処理部４０は、第１の判定処理部３７により同一物であると判定された場合、変換処理部３６により画像センサ１−ｎの投影面に変換された目標物観測位置及び観測センサ３−ｍから出力された識別情報のそれぞれを撮像画像上に表示し、また、平滑処理部３９から出力された平滑化後の目標物包含画像領域を撮像画像上に表示する処理を実施する。

図１７では、監視装置の構成要素である画像センサ１−ｎ、観測センサ３−ｍ、映像生成部３１、目標検出部３２、第１の追尾処理部３３、第２の追尾処理部３４−ｍ、マルチセンサ追尾処理部３５、変換処理部３６、第１の判定処理部３７、判定結果格納部３８、平滑処理部３９、表示処理部４０及びディスプレイ１６のそれぞれが、図１８に示すような専用のハードウェアで実現されるものを想定している。即ち、画像センサ１−ｎ、観測センサ３−ｍ、映像生成回路４１、目標検出回路４２、第１の追尾処理回路４３、第２の追尾処理回路４４、マルチセンサ追尾処理回路４５、変換処理回路４６、第１の判定処理回路４７、判定結果記憶回路４８、平滑処理回路４９、表示処理回路５０及びディスプレイ１６で実現されるものを想定している。

ここで、形状記憶回路１２及び判定結果記憶回路４８は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。
また、映像生成回路４１、目標検出回路４２、第１の追尾処理回路４３、第２の追尾処理回路４４、マルチセンサ追尾処理回路４５、変換処理回路４６、第１の判定処理回路４７、平滑処理回路４９及び表示処理回路５０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、または、これらを組み合わせたものが該当する。

監視装置の画像センサ１−ｎ、観測センサ３−ｍ及びディスプレイ１６を除く構成要素は、専用のハードウェアで実現されるものに限るものではなく、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。

監視装置の画像センサ１−ｎ、観測センサ３−ｍ及びディスプレイ１６を除く構成要素がソフトウェア又はファームウェアなどで実現される場合、物体形状情報格納部４及び判定結果格納部３８を図３に示すコンピュータのメモリ２１上に構成するとともに、映像生成部３１、目標検出部３２、第１の追尾処理部３３、第２の追尾処理部３４−ｍ、マルチセンサ追尾処理部３５、変換処理部３６、第１の判定処理部３７、平滑処理部３９及び表示処理部４０の処理手順をコンピュータに実行させるためのプログラムをメモリ２１に格納し、コンピュータのプロセッサ２２がメモリ２１に格納されているプログラムを実行するようにすればよい。

次に動作について説明する。
画像センサ１−ｎ（ｎ＝１，２，・・・，Ｎ）は、目標物が存在している領域として、例えば、移動体が交通する空港敷地内及び空港周辺の領域を撮像して、前記領域の撮像画像を目標検出部３２及び映像生成部３１に出力する。
映像生成部３１は、画像センサ１−ｎから出力された撮像画像を表示処理部４０に出力する。
また、映像生成部３１は、画像センサ１−１〜１−Ｎから出力されたＮ個の撮像画像を合成することで、１つのパノラマ画像を生成し、パノラマ画像を撮像画像として目標検出部３２及び表示処理部４０に出力する。

目標検出部３２は、画像センサ１−ｎから出力された撮像画像内の目標物、あるいは、映像生成部３１から出力された撮像画像内の目標物を検出する処理を実施する。
撮像画像内の目標物を検出する処理自体は、公知の技術であるため詳細な説明を省略する。
この実施の形態３では、説明の簡単化のため、目標検出部３２によって、１つの目標物が検出されるものとする。
目標検出部３２は、撮像画像上で検出した目標物の位置である目標物画像位置と、検出した目標物を識別するＩＤとを第１の追尾処理部３３及び表示処理部４０に出力する。
また、目標検出部３２は、撮像画像上で検出した目標物を包含している範囲である目標物包含画像領域を第１の追尾処理部３３に出力する。

第１の追尾処理部３３は、目標検出部３２から出力された目標物画像位置を用いて、撮像画像内の目標物の追尾処理を実施し、追尾処理後の目標物を包含している範囲である目標物包含画像領域を第１の判定処理部３７及び平滑処理部３９に出力する。
第１の追尾処理部３３による目標物の追尾処理は、目標検出部３２から出力された目標物画像位置の時系列方向の相関を取る処理であり、例えば、カルマンフィルタを用いることができる。
なお、第１の追尾処理部３３は、目標物包含画像領域を平滑化し、平滑後の目標物包含画像領域を第１の判定処理部３７に出力するようにしてもよい。目標物包含画像領域を平滑化することで、目標物包含画像領域の変動が抑えられるため、第１の判定処理部３７の判定精度を高めることができる。

観測センサ３−ｍ（ｍ＝１，２，・・・，Ｍ）は、目標物を観測して、観測した目標物の識別情報及び目標物の３次元位置である目標物観測位置を第２の追尾処理部３４−ｍ及びマルチセンサ追尾処理部３５に出力する。
また、観測センサ３−ｍは、目標物の推定速度を示す速度ベクトルを第２の追尾処理部３４−ｍに出力する。
この実施の形態３では、説明の簡単化のため、観測センサ３−ｍによって、１つの目標物が観測されるものとする。

第２の追尾処理部３４−ｍは、観測センサ３−ｍから出力された目標物観測位置及び速度ベクトルを用いて、観測センサ３−ｍにより観測された目標物の追尾処理を実施し、追尾処理後の目標物の位置である目標物観測位置を変換処理部３６に出力する。
第２の追尾処理部３４−ｍによる目標物の追尾処理は、観測センサ３−ｍから出力された目標物観測位置の時系列方向の相関を取る処理であり、例えば、カルマンフィルタを用いることができる。
また、第２の追尾処理部３４−ｍは、観測センサ３−ｍから出力された目標物の識別情報及び追尾処理時に算出される推定誤差共分散行列などを変換処理部３６に出力する。
推定誤差共分散行列は、目標物の追尾処理による推定誤差を示す推定誤差情報に相当する。

マルチセンサ追尾処理部３５は、Ｍ個の観測センサ３−１〜３−Ｍから出力された目標物観測位置及び速度ベクトルを用いて、観測センサ３−ｍにより観測された目標物の追尾処理を実施し、追尾処理後の目標物の位置である目標物観測位置を変換処理部３６に出力する。
また、マルチセンサ追尾処理部３５は、追尾処理時に算出される推定誤差共分散行列などを変換処理部３６に出力する。
マルチセンサ追尾処理部３５が目標物の追尾処理を実施することで、Ｍ個の観測センサ３−１〜３−Ｍのうち、いずれかの観測センサが目標物の識別情報を取得できない場合でも、マルチセンサ追尾処理部３５は、他の観測センサにより取得された識別情報を追尾処理後の目標物に対応付けることができる。
このため、マルチセンサ追尾処理部３５は、Ｍ個の観測センサ３−１〜３−Ｍの中に、目標物の識別情報を取得できない観測センサが存在していても、追尾処理後の目標物の識別情報を変換処理部３６に出力することができる。

変換処理部３６は、物体形状情報格納部４から、第２の追尾処理部３４−ｍ又はマルチセンサ追尾処理部３５から出力された識別情報に対応する形状情報を読み出し、形状情報を参照することで、観測センサ３−ｍにより観測された目標物の大きさを特定する。
変換処理部３６は、特定した目標物の大きさ及び第２の追尾処理部３４−ｍ又はマルチセンサ追尾処理部３５から出力された目標物観測位置のそれぞれを画像センサ１−ｎの投影面に変換する処理を実施する。
変換処理部３６は、変換した目標物の大きさと、変換した目標物観測位置とから、画像センサ１−ｎの投影面上で、観測センサ３−ｍにより観測された目標物を包含している範囲である目標物包含観測領域を特定する。
変換処理部３６の処理内容は、概ね、上記実施の形態２における変換処理部５の処理内容と同様であるが、以下の点で相違している。

上記実施の形態２における変換処理部５は、目標物観測位置の観測誤差範囲を示す観測誤差情報に従って目標物包含観測領域を補正している。
これに対して、この実施の形態３における変換処理部３６は、目標物観測位置の観測誤差範囲の代わりに、第２の追尾処理部３４−ｍ又はマルチセンサ追尾処理部３５から出力された追尾処理による推定誤差を示す推定誤差共分散行列に従って目標物包含観測領域を補正する。
変換処理部３６による目標物包含観測領域の補正処理自体は、変換処理部５による目標物包含観測領域の補正処理と同様であるため詳細な説明を省略するが、追尾処理による推定誤差の範囲は、目標物観測位置の観測誤差範囲と比べて狭い範囲となるため、上記実施の形態２よりも、更に同一物の判定精度を高めることができる。

第１の判定処理部３７は、変換処理部３６により補正された目標物包含観測領域と、第１の追尾処理部３３から出力された目標物包含画像領域とを比較して、観測センサ３−ｍにより観測された目標物と、目標検出部３２により検出された目標物とが同一物であるか否かを判定する。
即ち、第１の判定処理部３７は、画像センサ１−ｎの投影面上で、変換処理部３６により補正された目標物包含観測領域と、第１の追尾処理部３３から出力された目標物包含画像領域との重なり範囲Ｏｖを算出する。

第１の判定処理部３７は、算出した重なり範囲Ｏｖと事前に設定された閾値Ｔｈとを比較する。
第１の判定処理部３７は、重なり範囲Ｏｖが閾値Ｔｈ以上であれば、観測センサ３−ｍにより観測された目標物と、目標検出部３２により検出された目標物とが同一物であると判定する。
第１の判定処理部３７は、重なり範囲Ｏｖが閾値Ｔｈ未満であれば、観測センサ３により観測された目標物と、目標検出部３２により検出された目標物とが同一物でないと判定する。

第１の判定処理部３７による判定処理の処理タイミングが、画像センサ１−ｎのフレームレートに対応している場合、第１の判定処理部３７の処理負荷が大きくなり、画像センサ１−ｎのフレームレートで判定処理が終了しない場合がある。
そこで、第１の判定処理部３７が、同一物であるか否かの判定結果を判定結果格納部３８に格納し、一定期間中は、判定処理を実施せずに、判定結果格納部３８に格納されている判定結果を読み出して、その判定結果を表示処理部４０に出力するようにしてもよい。
また、第１の判定処理部３７は、観測センサ３により観測された目標物と、目標検出部３２により検出された目標物とが同一物であると判定した場合、目標物のＩＤ、目標物の識別情報、目標物包含画像領域及び目標物包含観測領域などの情報を判定結果格納部３８に格納する。
そして、第１の判定処理部３７は、判定結果格納部３８に格納されている情報を、判定結果と一緒に表示処理部４０に出力するようにしてもよい。

平滑処理部３９は、以下の式（２）に示すように、第１の追尾処理部３３から出力された目標物包含画像領域を時間方向に平滑化し、平滑化後の目標物包含画像領域を表示処理部４０に出力する。

式（２）において、Ｌｋは、時刻ｔｋにおける目標物包含画像領域の横幅（または縦幅）、Ｌｓ，ｋ−１は、時刻ｔｋ−１における目標物包含画像領域の横幅推定値（または縦幅推定値）、Ｌｓ，ｋは、時刻ｔｋにおける目標物包含画像領域の横幅推定値（または縦幅推定値）、ａは係数である。
平滑処理部３９が目標物包含画像領域を時間方向に平滑化することで、目標物包含画像領域の横幅又は縦幅の変動を抑えることができる。

表示処理部４０は、映像生成部３１から出力された画像センサ１−ｎの撮像画像、または、パノラマ画像である撮像画像をディスプレイ１６に表示する。
表示処理部４０は、第１の判定処理部３７により同一物であると判定された場合、変換処理部３６により画像センサ１の投影面に変換された目標物観測位置及び観測センサ３−ｍから出力された識別情報のそれぞれを撮像画像上に表示し、また、平滑処理部３９から出力された平滑化後の目標物包含画像領域を撮像画像上に表示する。

表示処理部４０は、第１の判定処理部３７により同一物でないと判定された場合、目標検出部３２から出力された目標物画像位置及び平滑処理部３９から出力された平滑化後の目標物包含画像領域と、目標検出部３２から出力された目標物のＩＤとを撮像画像上に表示する。
あるいは、表示処理部７は、第１の判定処理部３７により同一物でないと判定された場合、観測センサ３−ｍから出力された識別情報と、変換処理部３６により画像センサ１−ｎの投影面に変換された目標物観測位置及び変換処理部３６により補正された目標物包含観測領域とを撮像画像上に表示する。

この実施の形態３では、第１の判定処理部３７が、変換処理部３６により補正された目標物包含観測領域と、第１の追尾処理部３３から出力された目標物包含画像領域とを比較する例を示している。
しかし、観測センサ３−ｍは、画像センサ１−ｎと比べて、更新レートが低いため、観測センサ３−ｍの観測時刻と、画像センサ１−ｎの撮像時刻との間に時刻差を生じることがある。上記の時刻差は、第１の判定処理部３７の判定精度の劣化要因になる。
また、観測センサ３−ｍの観測時刻と、画像センサ１−ｎの撮像時刻とが同じ時刻であっても、観測センサ３−ｍと第１の判定処理部３７間のデータ遅延時間と、画像センサ１−ｎと第１の判定処理部３７間のデータ遅延時間との間に時間差を生じることがある。上記の時間差は、第１の判定処理部３７の判定精度の劣化要因になる。

そこで、第１の判定処理部３７が、以下のようにして、判定精度の劣化要因を解消するようにしてもよい。
まず、第１の判定処理部３７は、例えば、画像センサ１−ｎの更新レートに対応する更新時刻ｔを設定する。
第１の判定処理部３７は、観測センサ３−ｍの観測時刻が更新時刻ｔよりも遅れている場合、更新時刻ｔと、第２の追尾処理部３４−ｍから目標物観測位置が出力される時刻ｔ’又はマルチセンサ追尾処理部３５から目標物観測位置が出力される時刻ｔ’との時刻差（ｔ−ｔ’）を算出する。

次に、第１の判定処理部３７は、時刻差（ｔ−ｔ’）によって、以下の式（３）に示すように、例えば、第２の追尾処理部３４−ｍの追尾処理で算出される推定状態ベクトルｘハットｔを時間外挿する。明細書の文章中では、電子出願の関係上、ｘの文字の上に“＾”の記号を付することができないので、「ｘハットｔ」のように表記している。推定状態ベクトルｘハットｔは、第２の追尾処理部３４−ｍ等による追尾処理後の時刻ｔの目標物観測位置に相当する。
式（３）におけるΦ（ｔ−ｔ’）は、例えば、以下の式（４）に示すように、等速直線運動モデルの状態推移行列として定義することができる。

式（４）において、Ｉｎ×ｎは、ｎ行ｎ列の単位行列、Ｏｎ×ｎは、ｎ行ｎ列の零行列である。

また、第１の判定処理部３７は、時刻差（ｔ−ｔ’）によって、以下の式（５）に示すように、例えば、第２の追尾処理部３４−ｍの追尾処理による推定誤差を示す推定誤差共分散行列Ｐｔを時間外挿する。

式（５）において、Ｑ（ｔ−ｔ’）は、駆動雑音共分散行列である。
第１の判定処理部３７が、時間外挿した推定状態ベクトルｘハットｔである追尾処理後の目標物観測位置及び時間外挿した推定誤差共分散行列Ｐｔを変換処理部３６に出力することで、時刻差（ｔ−ｔ’）による判定精度の劣化要因が解消される。

以上で明らかなように、この実施の形態３によれば、目標検出部３２により検出された目標物の追尾処理を実施して、追尾処理後の目標物を包含している範囲である目標物包含画像領域を第１の判定処理部３７に出力する第１の追尾処理部３３と、観測センサ３−ｍにより観測された目標物の追尾処理を実施して、追尾処理後の目標物の位置である目標物観測位置を変換処理部３６に出力する第２の追尾処理部３４−ｍとを備えている。これにより、画像センサ１−ｎによる目標物の撮像誤差及び観測センサ３−ｍによる目標物の観測誤差のそれぞれが抑圧される。その結果、上記実施の形態１よりも、更に、同一物の判定精度を高めることができる効果を奏する。

実施の形態４．
上記実施の形態１〜３では、監視装置が第１の判定処理部６又は第１の判定処理部３７を備えている例を示している。
この実施の形態４では、監視装置が第１の判定処理部３７、第２の判定処理部６２及び第３の判定処理部６４を備えている例を説明する。
また、この実施の形態４では、上記実施の形態１〜３と異なり、同一物の判定に画像上ではなく、地図座標における位置を用いることを特徴としている。

図１９は、この発明の実施の形態４による監視装置を示す構成図である。図２０は、この発明の実施の形態４による監視装置を示すハードウェア構成図である。
図１９及び図２０において、図１、図２、図１７及び図１８と同一符号は同一または相当部分を示すので説明を省略する。
観測位置射影部６１は、例えば、図２０に示す観測位置射影回路７１で実現される。
観測位置射影部６１は、第２の追尾処理部３４−ｍから出力された目標物観測位置又はマルチセンサ追尾処理部３５から出力された目標物観測位置を、画像センサ１−ｎの視線方向に移動したときに、地上面と交差する位置を射影位置として算出する処理を実施する。

第２の判定処理部６２は、例えば、図２０に示す第２の判定処理回路７２で実現される。
第２の判定処理部６２は、観測位置射影部６１により算出された射影位置と目標検出部３２bから出力された目標物地図座標位置とを比較して、観測センサ３−ｍにより観測された目標物と、目標検出部３２ｂにより検出された目標物とが同一物であるか否かを判定する処理を実施する。
ここで、目標検出部３２ｂは、図１７の目標検出部３２と同様に、目標物を検出する処理を実施する。
ただし、目標検出部３２ｂが、目標物地図座標位置を算出する方法としては、画像上での目標物画素位置より、予め用意していた地図ＤＢを用いて、地図上の座標位置と照合する方法でも良い。一方、飛行中の目標物については、地上を走行する目標物でないことから、地図との照合が困難であるため、図２１のように、画像センサ視線方向ベクトルを延長し、水平面と交差する位置を目標物地図座標位置として出力しても良いこととする。

第３の追尾処理部６３は、例えば、図２０に示す第３の追尾処理回路７３で実現される。
第３の追尾処理部６３は、目標検出部３２ｂにより検出された１つ以上の目標物のうち、第２の判定処理部６２により同一物であると判定された目標物以外の目標物の追尾処理を実施して、追尾処理後の目標物の位置を出力する処理を実施する。

第３の判定処理部６４は、例えば、図２０に示す第３の判定処理回路７４で実現される。
第３の判定処理部６４は、第２の追尾処理部３４−ｍから出力された目標物観測位置又はマルチセンサ追尾処理部３５から出力された目標物観測位置と、第３の追尾処理部６３から出力された追尾処理後の目標物の位置とを比較して、観測センサ３−ｍにより観測された目標物と、目標検出部３２ｂにより検出された目標物とが同一物であるか否かを判定する処理を実施する。
目標物選択部６５は、例えば、図２０に示す目標物選択回路７５で実現される。
目標物選択部６５は、第１の判定処理部３７、第２の判定処理部６２又は第３の判定処理部６４により同一物であると判定された目標物の中から、１つ以上の目標物を選択する処理を実施する。

図１９の監視装置は、観測位置射影部６１、第２の判定処理部６２、第３の追尾処理部６３、第３の判定処理部６４及び目標物選択部６５が図１７の監視装置に適用されている例を示しているが、図１の監視装置に適用されているものであってもよい。
図１９では、監視装置の構成要素である画像センサ１−ｎ、観測センサ３−ｍ、映像生成部３１、目標検出部３２ｂ、第１の追尾処理部３３、第２の追尾処理部３４−ｍ、マルチセンサ追尾処理部３５、変換処理部３６、第１の判定処理部３７、判定結果格納部３８、平滑処理部３９、表示処理部４０、観測位置射影部６１、第２の判定処理部６２、第３の追尾処理部６３、第３の判定処理部６４、目標物選択部６５及びディスプレイ１６のそれぞれが、図２０に示すような専用のハードウェアで実現されるものを想定している。即ち、画像センサ１−ｎ、観測センサ３−ｍ、映像生成回路４１、目標検出回路４２、第１の追尾処理回路４３、第２の追尾処理回路４４、マルチセンサ追尾処理回路４５、変換処理回路４６、第１の判定処理回路４７、判定結果記憶回路４８、平滑処理回路４９、表示処理回路５０、観測位置射影回路７１、第２の判定処理回路７２、第３の追尾処理回路７３、第３の判定処理回路７４、目標物選択回路７５及びディスプレイ１６で実現されるものを想定している。

映像生成回路４１、目標検出回路４２、第１の追尾処理回路４３、第２の追尾処理回路４４、マルチセンサ追尾処理回路４５、変換処理回路４６、第１の判定処理回路４７、平滑処理回路４９、表示処理回路５０、観測位置射影回路７１、第２の判定処理回路７２、第３の追尾処理回路７３、第３の判定処理回路７４及び目標物選択回路７５は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、または、これらを組み合わせたものが該当する。

監視装置の画像センサ１−ｎ、観測センサ３−ｍ及びディスプレイ１６を除く構成要素は、専用のハードウェアで実現されるものに限るものではなく、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
監視装置の画像センサ１−ｎ、観測センサ３−ｍ及びディスプレイ１６を除く構成要素がソフトウェア又はファームウェアなどで実現される場合、物体形状情報格納部４及び判定結果格納部３８を図３に示すコンピュータのメモリ２１上に構成するとともに、映像生成部３１、目標検出部３２ｂ、第１の追尾処理部３３、第２の追尾処理部３４−ｍ、マルチセンサ追尾処理部３５、変換処理部３６、第１の判定処理部３７、平滑処理部３９、表示処理部４０、観測位置射影部６１、第２の判定処理部６２、第３の追尾処理部６３、第３の判定処理部６４及び目標物選択部６５の処理手順をコンピュータに実行させるためのプログラムをメモリ２１に格納し、コンピュータのプロセッサ２２がメモリ２１に格納されているプログラムを実行するようにすればよい。

次に動作について説明する。
観測位置射影部６１は、図２１に示すように、第２の追尾処理部３４−ｍから出力された目標物観測位置又はマルチセンサ追尾処理部３５から出力された目標物観測位置を、画像センサ１−ｎの視線方向に移動したときに、地上面と交差する位置を射影位置として算出する。
図２１は、観測位置射影部６１により算出される射影位置を示す説明図である。
図２２は、観測位置射影部６１により算出される射影位置と、目標検出部３２ｂから出力される目標物地図座標位置との関係を示す説明図である。
観測センサ３−ｍにより観測された目標物と、目標検出部３２bにより検出された目標物である撮像画像上の目標物とが同一物であれば、図２２に示している射影位置と目標物地図座標位置との距離が短いが、同一物でなければ、射影位置と目標物地図座標位置との距離が長い。

第２の判定処理部６２は、観測位置射影部６１により算出された射影位置と、目標検出部３２ｂから出力された目標物地図座標位置とを比較して、観測センサ３−ｍにより観測された目標物と、目標検出部３２ｂにより検出された目標物とが同一物であるか否かを判定する。
図２３は、第２の判定処理部６２の処理内容を示すフローチャートである。
以下、図２３を参照しながら、第２の判定処理部６２の処理内容を具体的に説明する。
この実施の形態４では、目標検出部３２ｂによって、Ｉ個の目標物が検出され、観測センサ３−ｍによって、Ｊ個の目標物が観測されているものとする。

第２の判定処理部６２は、第２の追尾処理部３４−ｍ又はマルチセンサ追尾処理部３５から目標物ｊ（ｊ＝１，２，・・・，Ｊ）の目標物観測位置を受けると、目標物ｊの高度Ｚを認識する。
第２の判定処理部６２は、目標物ｊの高度Ｚと事前に設定された閾値Ｚｔｈとを比較する（図２３のステップＳＴ１１）。
第２の判定処理部６２は、目標物ｊの高度Ｚが閾値Ｚｔｈ以上であれば（図２３のステップＳＴ１１：ＹＥＳの場合）、目標物ｊが飛行中の移動体であると認識する（図２３のステップＳＴ１２）。
第２の判定処理部６２は、目標物ｊの高度Ｚが閾値Ｚｔｈ未満であれば（図２３のステップＳＴ１１：ＮＯの場合）、目標物ｊが地上に存在している移動体であると認識する（図２３のステップＳＴ１３）。地上に存在している移動体には、停止中の移動体も含まれる。

第２の判定処理部６２は、目標物ｊが飛行中の移動体であると認識すると、飛行中の移動体である目標物ｊと、目標検出部３２ｂにより検出された目標物ｉ（ｉ＝１，２，・・・，Ｉ）とが同一物であるか否かを判定する。
具体的には、第２の判定処理部６２は、観測位置射影部６１により算出された目標物ｊの射影位置を取得する（図２３のステップＳＴ１４）。

次に、第２の判定処理部６２は、例えば、以下の式（６）に示すように、観測位置射影部６１により算出された目標物ｊの射影位置と、目標検出部３２ｂから出力された目標物ｉの目標物地図座標位置とを用いて、カイ二乗検定の検定値εを算出する（図２３のステップＳＴ１５）。

式（６）において、
ｘハット _{ｔ，ｊ，ＨＥＴ} は、観測位置射影部６１により算出された目標物ｊの時刻ｔにおける射影位置を示す推定位置ベクトル
ｘハット _{ｔ，ｊ，ＣＡＭ} は、目標検出部３２ｂにより検出された目標物ｉの時刻ｔにおける目標物地図座標位置を示す推定位置ベクトル
Ｐ _{ｔ，ｊ，ＨＥＴ} は、第２の追尾処理部３４−ｍ又はマルチセンサ追尾処理部３５の追尾処理による目標物ｊの時刻ｔにおける推定位置誤差を示す推定誤差共分散行列
Ｐ _{ｔ，ｉ，ＣＡＭ} は、目標検出部３２ｂにより検出された目標物ｉの時刻ｔにおける推定位置誤差を示す推定誤差共分散行列

次に、第２の判定処理部６２は、以下の式（７）に示すように、カイ二乗検定の検定値εと事前に設定された閾値εｔｈとを比較する（図２３のステップＳＴ１６）。

閾値εｔｈは、所定の有意水準に基づいて、例えば、カイ二乗分布表から求めたものである。
例えば、有意水準を５％として検定すると、危険率５％で、本来同一である航跡が、同一でない航跡と誤った判定がなされることを意味する。
第２の判定処理部６２は、カイ二乗検定の検定値εが閾値εｔｈ未満であれば（図２３のステップＳＴ１６：ＹＥＳの場合）、飛行中の移動体である目標物ｊと、目標検出部３２ｂにより検出された目標物ｉとが同一物であると判定する（図２３のステップＳＴ１７）。
第２の判定処理部６２は、カイ二乗検定の検定値εが閾値εｔｈ以上であれば（図２３のステップＳＴ１６：ＮＯの場合）、飛行中の移動体である目標物ｊと、目標検出部３２ｂにより検出された目標物ｉとが同一物でないと判定する（図２３のステップＳＴ１８）。
第２の判定処理部６２は、目標物ｉと同一物であると判定した目標物ｊの識別情報を第３の判定処理部６４及び目標物選択部６５に出力し、目標物ｊと同一物であると判定した目標物ｉのＩＤを第３の追尾処理部６３に出力する。
第２の判定処理部６２による飛行中の移動体である目標物ｊと、目標検出部３２ｂにより検出された目標物ｉとの同一物か否かの判定処理は、飛行中の移動体である目標物ｊと目標検出部３２ｂにより検出された目標物ｉとの全ての組み合わせについて行われる。

第３の追尾処理部６３は、目標検出部３２ｂから出力されたＩ個の目標物のＩＤと、第２の判定処理部６２から出力された目標物ｉのＩＤとを比較し、Ｉ個の目標物の中から、目標物ｉのＩＤと異なるＩＤを有する目標物ｆを選択する。
第３の追尾処理部６３は、目標検出部３２ｂから出力されたＩ個の目標物の目標物地図座標位置のうち、選択した目標物ｆについての目標物地図座標位置を用いて、目標物ｆの追尾処理を実施する。
第３の追尾処理部６３は、追尾処理後の目標物ｆの位置である目標物地図座標位置を第３の判定処理部６４に出力する。
第３の追尾処理部６３による目標物ｆの追尾処理は、選択した目標物ｆについての目標物地図座標位置の時系列方向の相関を取る処理であり、例えば、カルマンフィルタを用いることができる。

第３の判定処理部６４は、第２の追尾処理部３４−ｍ又はマルチセンサ追尾処理部３５から出力されたＪ個の目標物の識別情報と、第２の判定処理部６２から出力された目標物ｊの識別情報とを比較し、Ｊ個の目標物の中から、目標物ｊの識別情報と異なる識別情報を有する目標物ｇを選択する。
第３の判定処理部６４は、第２の追尾処理部３４−ｍ又はマルチセンサ追尾処理部３５から出力されたＪ個の目標物の目標物観測位置の中から、選択した目標物ｇの目標物観測位置を選択する。
第３の判定処理部６４は、選択した目標物ｇの目標物観測位置と、第３の追尾処理部６３から出力された追尾処理後の目標物ｆの位置である目標物地図座標位置とを比較して、観測センサ３−ｍにより観測された目標物ｇと、目標検出部３２ｂにより検出された目標物ｆとが同一物であるか否かを判定する。
以下、第３の判定処理部６４の処理内容を具体的に説明する。

第３の判定処理部６４は、例えば、以下の式（８）に示すように、目標物ｇの目標物観測位置と、第３の追尾処理部６３から出力された追尾処理後の目標物ｆの位置とを用いて、カイ二乗検定の検定値εを算出する。

式（８）において、
ｘハット _{ｔ，ｇ，ＨＥＴ} は、第２の追尾処理部３４−ｍ又はマルチセンサ追尾処理部３５から出力された目標物ｇの時刻ｔにおける目標物観測位置及び速度を含む推定状態ベクトル
ｘハット _{ｔ，ｆ，ＣＡＭ} は、第３の追尾処理部６３から出力された追尾処理後の時刻ｔにおける目標物ｆの位置及び速度を含む推定状態ベクトル
Ｐ _{ｔ，ｇ，ＨＥＴ} は、第２の追尾処理部３４−ｍ又はマルチセンサ追尾処理部３５の追尾処理による目標物ｇの時刻ｔにおける推定位置誤差を示す推定誤差共分散行列
Ｐ _{ｔ，ｆ，ＣＡＭ} は、第３の追尾処理部６３の追尾処理による目標物ｆの時刻ｔにおける推定位置誤差を示す推定誤差共分散行列

次に、第３の判定処理部６４は、以下の式（９）に示すように、カイ二乗検定の検定値εと事前に設定された閾値εｔｈとを比較する。

第３の判定処理部６４は、カイ二乗検定の検定値εが閾値εｔｈ未満であれば、観測センサ３−ｍにより観測された目標物ｇと、目標検出部３２ｂにより検出された目標物ｆとが同一物であると判定する。
第３の判定処理部６４は、カイ二乗検定の検定値εが閾値εｔｈ以上であれば、観測センサ３−ｍにより観測された目標物ｇと、目標検出部３２ｂにより検出された目標物ｆとが同一物でないと判定する。
第３の判定処理部６４は、目標物ｆと同一物であると判定した目標物ｇの識別情報を目標物選択部６５に出力する。

目標物選択部６５は、第１の判定処理部３７、第２の判定処理部６２又は第３の判定処理部６４により同一物であると判定された目標物の中から、１つ以上の目標物を選択する。
例えば、目標物選択部６５は、第２の判定処理部６２から出力された識別情報が示す目標物の中から、いずれかの目標物を選択する。
次に、目標物選択部６５は、第３の判定処理部６４から出力された識別情報が示す目標物の中から、第２の判定処理部６２から出力された識別情報と異なる識別情報を有する目標物を選択する。
次に、目標物選択部６５は、第１の判定処理部３７から出力された識別情報が示す目標物の中から、第２の判定処理部６２から出力された識別情報及び第３の判定処理部６４から出力された識別情報と異なる識別情報を有する目標物を選択する。
目標物選択部６５は、目標物を選択すると、選択した目標物の識別情報と、選択した目標物の目標物観測位置及び目標物観測位置とを表示処理部４０に出力する。

表示処理部４０は、映像生成部３１から出力された画像センサ１−ｎの撮像画像、または、パノラマ画像である撮像画像をディスプレイ１６に表示する。
表示処理部４０は、第１の判定処理部３７により同一物であると判定された場合、目標物選択部６５から出力された目標物観測位置及び観測センサ３−ｍから出力された識別情報のそれぞれを撮像画像上に表示し、また、平滑処理部３９から出力された平滑化後の目標物包含画像領域を撮像画像上に表示する。

表示処理部４０は、第１の判定処理部３７により同一物でないと判定された場合、目標検出部３２ｂから出力された目標物地図座標位置及び平滑処理部３９から出力された平滑化後の目標物包含画像領域と、目標検出部３２ｂから出力された目標物のＩＤとを撮像画像上に表示する。
あるいは、表示処理部７は、第１の判定処理部３７により同一物でないと判定された場合、観測センサ３−ｍから出力された識別情報と、目標物選択部６５から出力された目標物観測位置及び目標物包含観測領域とを撮像画像上に表示する。

以上で明らかなように、この実施の形態４によれば、第２の追尾処理部３４−ｍから出力された目標物観測位置又はマルチセンサ追尾処理部３５から出力された目標物観測位置を、画像センサ１−ｎの視線方向に移動したときに、地上面と交差する位置を射影位置として算出する観測位置射影部６１と、観測位置射影部６１により算出された射影位置と目標検出部３２ｂから出力された目標物観測位置とを比較して、観測センサ３−ｍにより観測された目標物と、目標検出部３２ｂにより検出された目標物とが同一物であるか否かを判定する第２の判定処理部６２とを備えている。これにより、上記実施の形態１〜３よりも、更に、同一物の判定精度を高めることができる効果を奏する。

また、この実施の形態４によれば、目標検出部３２ｂにより検出された１つ以上の目標物のうち、第２の判定処理部６２により同一物であると判定された目標物以外の目標物の追尾処理を実施して、追尾処理後の目標物の位置である目標物観測位置を出力する第３の追尾処理部６３と、観測センサ３−ｍから出力された目標物観測位置と、第３の追尾処理部６３から出力された目標物観測位置とを比較して、観測センサ３−ｍにより観測された目標物と、目標検出部３２ｂにより検出された目標物とが同一物であるか否かを判定する第３の判定処理部６４とを備えている。これにより、上記実施の形態１〜３よりも、更に、同一物の判定精度を高めることができる効果を奏する。

実施の形態５．
この実施の形態５では、第１の変換処理部８２が、目標物地図座標位置を画像センサ１−ｎの基準位置を原点とする角度に変換し、第２の変換処理部８５が、目標物観測位置を画像センサ１−ｎの基準位置を原点とする角度に変換し、判定処理部８６が、双方の変換角度を比較する例を説明する。

図２４は、この発明の実施の形態５による監視装置を示す構成図である。図２５は、この発明の実施の形態５による監視装置を示すハードウェア構成図である。
図２４及び図２５において、図１、図２、図１７、図１８、図１９及び図２０と同一符号は同一または相当部分を示すので説明を省略する。
第１の対応情報格納部８１は、例えば、図２５を示す第１の対応情報記憶回路９１で実現される。
第１の対応情報格納部８１は、画像センサ１−１〜１−Ｎの基準位置を原点とする角度である方位角及び仰角と、目標検出部３２から出力された目標物地図座標位置との対応関係を格納しているデータベースである。
画像センサ１の個数が１つである場合には、第１の対応情報格納部８１が、１つの画像センサ１の設置位置を原点とする方位角及び仰角と、目標物地図座標位置との対応関係を格納しているものであってもよい。

第１の変換処理部８２は、例えば、図２５を示す第１の変換処理回路９２で実現される。
第１の変換処理部８２は、目標検出部３２から出力された目標物地図座標位置を画像センサ１−１〜１−Ｎの基準位置を原点とする角度である方位角及び仰角に変換する処理を実施する。
即ち、第１の変換処理部８２は、第１の対応情報格納部８１に格納されている対応関係を参照して、目標検出部３２から出力された目標物地図座標位置に対応する方位角及び仰角を取得する処理を実施する。

第１の追尾処理部８３は、例えば、図２５に示す第１の追尾処理回路９３で実現される。
第１の追尾処理部８３は、第１の変換処理部８２により変換された方位角及び仰角の追尾処理を実施して、追尾処理後の方位角及び仰角と、追尾処理後の方位角の角速度及び仰角の角速度とを出力する処理を実施する。
第１の追尾処理部８３による方位角及び仰角の追尾処理は、第１の変換処理部８２により変換された方位角及び仰角の時系列方向の相関を取る処理であり、例えば、カルマンフィルタを用いることができる。

第２の対応情報格納部８４は、例えば、図２５を示す第２の対応情報記憶回路９４で実現される。
第２の対応情報格納部８４は、画像センサ１−１〜１−Ｎの基準位置を原点とする角度である方位角及び仰角と、第２の追尾処理部３４−ｍ又はマルチセンサ追尾処理部３５から出力された目標物観測位置及び目標物観測速度との対応関係を格納しているデータベースである。
画像センサ１の個数が１つである場合には、第２の対応情報格納部８４が、１つの画像センサ１の設置位置を原点とする方位角及び仰角と、目標物観測位置及び目標物観測速度との対応関係を格納しているものであってもよい。

第２の変換処理部８５は、例えば、図２５を示す第２の変換処理回路９５で実現される。
第２の変換処理部８５は、第２の追尾処理部３４−ｍ又はマルチセンサ追尾処理部３５から出力された目標物観測位置を画像センサ１−１〜１−Ｎの基準位置を原点とする角度である方位角及び仰角に変換する処理を実施する。
即ち、第２の変換処理部８５は、第２の対応情報格納部８４に格納されている対応関係を参照して、第２の追尾処理部３４−ｍ又はマルチセンサ追尾処理部３５から出力された目標物観測位置に対応する方位角及び仰角を取得する処理を実施する。
また、第２の変換処理部８５は、第２の追尾処理部３４−ｍ又はマルチセンサ追尾処理部３５から出力された目標物観測速度を画像センサ１−１〜１−Ｎの基準位置を原点とする方位角の角速度及び仰角の角速度に変換する処理を実施する。
即ち、第２の変換処理部８５は、第２の対応情報格納部８４に格納されている対応関係を参照して、第２の追尾処理部３４−ｍ又はマルチセンサ追尾処理部３５から出力された目標物観測速度に対応する方位角の角速度及び仰角の角速度とを取得する処理を実施する。

判定処理部８６は、例えば、図２５に示す判定処理回路９６で実現される。
判定処理部８６は、第１の追尾処理部８３から出力された追尾処理後の方位角、仰角、方位角の角速度及び仰角の角速度と、第２の変換処理部８５により変換された方位角、仰角、方位角の角速度及び仰角の角速度とを比較して、観測センサ３−ｍにより観測された目標物と、目標検出部３２により検出された目標物とが同一物であるか否かを判定する処理を実施する。

図２４では、監視装置の構成要素である画像センサ１−ｎ、観測センサ３−ｍ、映像生成部３１、目標検出部３２、第２の追尾処理部３４−ｍ、マルチセンサ追尾処理部３５、表示処理部４０、第１の対応情報格納部８１、第１の変換処理部８２、第１の追尾処理部８３、第２の対応情報格納部８４、第２の変換処理部８５、判定処理部８６及びディスプレイ１６のそれぞれが、図２５に示すような専用のハードウェアで実現されるものを想定している。即ち、画像センサ１−ｎ、観測センサ３−ｍ、映像生成回路４１、目標検出回路４２、第２の追尾処理回路４４、マルチセンサ追尾処理回路４５、表示処理回路５０、第１の対応情報記憶回路９１、第１の変換処理回路９２、第１の追尾処理回路９３、第２の対応情報記憶回路９４、第２の変換処理回路９５、判定処理回路９６及びディスプレイ１６で実現されるものを想定している。

映像生成回路４１、目標検出回路４２、第２の追尾処理回路４４、マルチセンサ追尾処理回路４５、表示処理回路５０、第１の変換処理回路９２、第１の追尾処理回路９３、第２の変換処理回路９５及び判定処理回路９６は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、または、これらを組み合わせたものが該当する。

監視装置の画像センサ１−ｎ、観測センサ３−ｍ及びディスプレイ１６を除く構成要素は、専用のハードウェアで実現されるものに限るものではなく、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。

監視装置の画像センサ１−ｎ、観測センサ３−ｍ及びディスプレイ１６を除く構成要素がソフトウェア又はファームウェアなどで実現される場合、第１の対応情報格納部８１及び第２の対応情報格納部８４を図３に示すコンピュータのメモリ２１上に構成するとともに、映像生成部３１、目標検出部３２、第２の追尾処理部３４−ｍ、マルチセンサ追尾処理部３５、表示処理部４０、第１の変換処理部８２、第１の追尾処理部８３、第２の変換処理部８５及び判定処理部８６の処理手順をコンピュータに実行させるためのプログラムをメモリ２１に格納し、コンピュータのプロセッサ２２がメモリ２１に格納されているプログラムを実行するようにすればよい。

次に動作について説明する。
この実施の形態５では、説明の簡単化のため、目標検出部３２によって、１つの目標物が検出され、観測センサ３−ｍによって、１つの目標物が観測されるものとする。
図２６は、画像センサ１−１〜１−Ｎの基準位置と、画像センサ１−１〜１−Ｎの角度とを示す説明図である。
第１の対応情報格納部８１は、画像センサ１−１〜１−Ｎの基準位置を原点とする方位角及び仰角と、目標検出部３２から出力された目標物地図座標位置との対応関係を格納している。

第１の変換処理部８２は、目標検出部３２から出力された目標物地図座標位置を画像センサ１−１〜１−Ｎの基準位置を原点とする方位角及び仰角に変換する。
即ち、第１の変換処理部８２は、第１の対応情報格納部８１に格納されている対応関係を参照して、目標検出部３２から出力された目標物地図座標位置に対応する方位角及び仰角を取得し、取得した方位角及び仰角を第１の追尾処理部８３に出力する。
第１の追尾処理部８３は、第１の変換処理部８２から出力された方位角及び仰角の追尾処理を実施して、追尾処理後の方位角及び仰角と、追尾処理後の方位角の角速度及び仰角の角速度とを判定処理部８６に出力する。

第２の追尾処理部３４−ｍ及びマルチセンサ追尾処理部３５のそれぞれは、追尾処理後の目標物観測位置のほか、追尾処理後の目標物の速度である目標物観測速度を第２の変換処理部８５に出力する。
第２の変換処理部８５は、第２の追尾処理部３４−ｍ又はマルチセンサ追尾処理部３５から出力された目標物観測位置を画像センサ１−１〜１−Ｎの基準位置を原点とする方位角及び仰角に変換する。
即ち、第２の変換処理部８５は、第２の対応情報格納部８４に格納されている対応関係を参照して、第２の追尾処理部３４−ｍ又はマルチセンサ追尾処理部３５から出力された目標物観測位置に対応する方位角及び仰角を取得する。

また、第２の変換処理部８５は、第２の追尾処理部３４−ｍ又はマルチセンサ追尾処理部３５から出力された目標物観測速度を画像センサ１−１〜１−Ｎの基準位置を原点とする方位角の角速度及び仰角の角速度に変換する。
即ち、第２の変換処理部８５は、第２の対応情報格納部８４に格納されている対応関係を参照して、第２の追尾処理部３４−ｍ又はマルチセンサ追尾処理部３５から出力された目標物観測速度に対応する方位角の角速度及び仰角の角速度とを取得する。
第２の変換処理部８５は、取得した方位角、仰角、方位角の角速度及び仰角の角速度を判定処理部８６に出力する。

判定処理部８６は、第１の追尾処理部８３から出力された追尾処理後の方位角、仰角、方位角の角速度及び仰角の角速度と、第２の変換処理部８５から出力された方位角、仰角、方位角の角速度及び仰角の角速度とを比較して、観測センサ３−ｍにより観測された目標物と、目標検出部３２により検出された目標物とが同一物であるか否かを判定する。
以下、判定処理部８６の処理内容を具体的に説明する。

判定処理部８６は、以下の式（１０）に示すように、第１の追尾処理部８３から出力された追尾処理後の方位角、仰角、方位角の角速度及び仰角の角速度と、第２の変換処理部８５から出力された方位角、仰角、方位角の角速度及び仰角の角速度とを用いて、カイ二乗検定の検定値εを算出する。

式（１０）において、
ｘハットｘｔ，ＨＥＴは、第２の変換処理部８５から出力された目標物の時刻ｔにおける方位角、仰角、方位角の角速度及び仰角の角速度を含む推定状態ベクトル
ｘハットｘｔ，ＣＡＭは、第１の追尾処理部８３から出力された目標物の時刻ｔにおける方位角、仰角、方位角の角速度及び仰角の角速度を含む推定状態ベクトル
Ｐｔ，ＨＥＴは、第２の追尾処理部３４−ｍ又はマルチセンサ追尾処理部３５の追尾処理による目標物の時刻ｔにおける推定誤差を示す推定誤差共分散行列
Ｐｔ，ＣＡＭは、目標検出部３２により検出された目標物の時刻ｔにおける推定誤差を示す推定誤差共分散行列

次に、判定処理部８６は、以下の式（１１）に示すように、カイ二乗検定の検定値εと事前に設定された閾値εｔｈとを比較する。

判定処理部８６は、カイ二乗検定の検定値εが閾値εｔｈ未満であれば、観測センサ３−ｍにより観測された目標物と、目標検出部３２により検出された目標物とが同一物であると判定する。
判定処理部８６は、カイ二乗検定の検定値εが閾値εｔｈ以上であれば、観測センサ３−ｍにより観測された目標物と、目標検出部３２により検出された目標物とが同一物でないと判定する。

以上で明らかなように、第１の追尾処理部８３から出力された追尾処理後の方位角、仰角、方位角の角速度及び仰角の角速度と、第２の変換処理部８５により変換された方位角、仰角、方位角の角速度及び仰角の角速度とを比較して、観測センサ３−ｍにより観測された目標物と、目標検出部３２により検出された目標物とが同一物であるか否かを判定する判定処理部８６を備えている。これにより、目標物が飛行中の航空機である場合でも、観測センサ３により観測された目標物と、画像センサ１の撮像画像内の目標物とが同一物であるか否かを判定することができる効果を奏する。

実施の形態６．
上記実施の形態５では、第１の変換処理部８２の後段に第１の追尾処理部８３が設けられている監視装置の例を示している。
しかし、これは一例に過ぎず、図２７に示すように、第１の変換処理部８２の前段に第１の追尾処理部３３が設けられている監視装置であってもよい。
図２７は、この発明の実施の形態６による監視装置を示す構成図である。
この実施の形態６の場合でも、上記実施の形態５と同様に、目標物が飛行中の航空機である場合でも、観測センサ３により観測された目標物と、画像センサ１の撮像画像内の目標物とが同一物であるか否かを判定することができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明は、観測センサにより観測された目標物と、画像センサの撮像画像内の目標物とが同一物であるか否かを判定する監視装置に関するものである。

１，１−１〜１−Ｎ 画像センサ、２ 目標検出部、３，３−１〜３−Ｍ 観測センサ、４ 物体形状情報格納部、５ 変換処理部、６ 第１の判定処理部、７ 表示処理部、８ 包含領域特定部、９ 平均位置出力部、１１ 目標検出回路、１２ 形状記憶回路、１３ 変換処理回路、１４ 第１の判定処理回路、１５ 表示処理回路、１６ ディスプレイ、２１ メモリ、２２ プロセッサ、３１ 映像生成部、３２，３２ｂ 目標検出部、３３ 第１の追尾処理部、３４−１〜３４−Ｍ 第２の追尾処理部、３５ マルチセンサ追尾処理部、３６ 変換処理部、３７ 第１の判定処理部、３８ 判定結果格納部、３９ 平滑処理部、４０ 表示処理部、４１ 映像生成回路、４２ 目標検出回路、４３ 第１の追尾処理回路、４４ 第２の追尾処理回路、４５ マルチセンサ追尾処理回路、４６ 変換処理回路、４７ 第１の判定処理回路、４８ 判定結果記憶回路、４９ 平滑処理回路、５０ 表示処理回路、６１ 観測位置射影部、６２ 第２の判定処理部、６３ 第３の追尾処理部、６４ 第３の判定処理部、６５ 目標物選択部、７１ 観測位置射影回路、７２ 第２の判定処理回路、７３ 第３の追尾処理回路、７４ 第３の判定処理回路、７５ 目標物選択回路、８１ 第１の対応情報格納部、８２ 第１の変換処理部、８３ 第１の追尾処理部、８４ 第２の対応情報格納部、８５ 第２の変換処理部、８６ 判定処理部、９１ 第１の対応情報記憶回路、９２ 第１の変換処理回路、９３ 第１の追尾処理回路、９４ 第２の対応情報記憶回路、９５ 第２の変換処理回路、９６ 判定処理回路。

Claims (14)

1. 目標物が存在している領域を撮像して、前記領域の撮像画像を出力する画像センサと、
   前記画像センサから出力された撮像画像内の目標物を検出し、前記検出した目標物を包含している範囲である目標物包含画像領域を特定する目標検出部と、
   目標物を観測して、前記観測した目標物の識別情報及び前記観測した目標物の位置である目標物観測位置を出力する観測センサと、
   前記観測センサから出力された識別情報によって目標物の大きさを特定し、前記特定した目標物の大きさ及び前記観測センサから出力された目標物観測位置のそれぞれを前記画像センサの投影面に変換し、前記変換した目標物の大きさと、前記変換した目標物観測位置とから、前記画像センサの投影面上で、前記観測センサにより観測された目標物を包含している範囲である目標物包含観測領域を特定する変換処理部と、
   前記変換処理部により特定された目標物包含観測領域と、前記目標検出部により特定された目標物包含画像領域とを比較して、前記観測センサにより観測された目標物と、前記目標検出部により検出された目標物とが同一物であるか否かを判定する第１の判定処理部と
   を備えた監視装置。
2. 前記第１の判定処理部により同一物であると判定された場合、前記画像センサから出力された撮像画像上に、前記変換処理部により投影面に変換された目標物観測位置及び前記観測センサから出力された識別情報のそれぞれを表示する表示処理部を備えたことを特徴とする請求項１記載の監視装置。
3. 前記表示処理部は、前記画像センサから出力された撮像画像上に、前記目標検出部により特定された目標物包含画像領域を表示することを特徴とする請求項２記載の監視装置。
4. 前記画像センサの投影面上で、前記変換処理部により特定された目標物包含観測領域と、前記目標検出部により特定された目標物包含画像領域との双方を含む領域である双方包含領域を特定する包含領域特定部を備え、
   前記表示処理部は、前記画像センサから出力された撮像画像上に、前記包含領域特定部により特定された双方包含領域を表示することを特徴とする請求項２記載の監視装置。
5. 前記画像センサの投影面上で、前記変換処理部により投影面に変換された目標物観測位置と、前記目標検出部により検出された撮像画像内の目標物の位置とを重み付け平均して、重み付け平均した位置を出力する平均位置出力部を備え、
   前記表示処理部は、前記画像センサから出力された撮像画像上に、前記平均位置出力部から出力された位置を表示することを特徴とする請求項２記載の監視装置。
6. 前記観測センサは、前記目標物観測位置の観測誤差範囲を示す観測誤差情報を出力し、
   前記変換処理部は、前記観測センサから出力された観測誤差情報に従って前記特定した目標物包含観測領域を補正することを特徴とする請求項１記載の監視装置。
7. 前記目標検出部により特定された目標物包含画像領域を時間方向に平滑化する平滑処理部を備え、
   前記表示処理部は、前記画像センサから出力された撮像画像上に、前記平滑処理部により平滑化された目標物包含画像領域を表示することを特徴とする請求項２記載の監視装置。
8. 前記目標検出部により検出された目標物の追尾処理を実施して、追尾処理後の目標物を包含している範囲である目標物包含画像領域を前記第１の判定処理部に出力する第１の追尾処理部と、
   前記観測センサにより観測された目標物の追尾処理を実施して、追尾処理後の目標物の位置である目標物観測位置を前記変換処理部に出力する第２の追尾処理部とを備え、
   前記変換処理部は、前記特定した目標物の大きさ及び前記第２の追尾処理部から出力された目標物観測位置のそれぞれを前記画像センサの投影面に変換し、前記変換した目標物の大きさと、前記変換した目標物観測位置とから、前記画像センサの投影面上で、前記観測センサにより観測された目標物を包含している範囲である目標物包含観測領域を特定し、
   前記第１の判定処理部は、前記変換処理部により特定された目標物包含観測領域と、前記第１の追尾処理部から出力された目標物包含画像領域とを比較して、前記観測センサにより観測された目標物と、前記目標検出部により検出された目標物とが同一物であるか否かを判定することを特徴とする請求項１記載の監視装置。
9. 前記第２の追尾処理部は、目標物の追尾処理による推定誤差を示す推定誤差情報を出力し、
   前記変換処理部は、前記第２の追尾処理部から出力された推定誤差情報に従って前記特定した目標物包含観測領域を補正することを特徴とする請求項８記載の監視装置。
10. 前記第１の判定処理部は、
    前記画像センサの投影面上で、前記変換処理部により特定された目標物包含観測領域と、前記目標検出部により特定された目標物包含画像領域との重なり範囲を算出し、前記重なり範囲が閾値以上であれば、前記観測センサにより観測された目標物と、前記目標検出部により検出された目標物とが同一物であると判定し、前記重なり範囲が前記閾値未満であれば、前記観測センサにより観測された目標物と、前記目標検出部により検出された目標物とが同一物でないと判定することを特徴とする請求項１記載の監視装置。
11. 前記第１の判定処理部は、
    前記目標検出部により複数の目標物が検出されており、前記目標検出部により各々の目標物の目標物包含画像領域が特定されていれば、前記画像センサの投影面上で、前記変換処理部により特定された目標物包含観測領域と、前記各々の目標物の目標物包含画像領域との重なり範囲をそれぞれ算出し、各々の重なり範囲の合計が閾値以上であれば、前記複数の目標物が１つの目標物の一部であり、前記観測センサにより観測された目標物と、前記１つの目標物とが同一物であると判定し、前記重なり範囲の合計が前記閾値未満であれば、前記観測センサにより観測された目標物と、前記１つの目標物とが同一物でないと判定することを特徴とする請求項１記載の監視装置。
12. 前記観測センサから出力された目標物観測位置を、前記画像センサの視線方向に移動したときに、地上面と交差する位置を射影位置として算出する観測位置射影部と、
    前記観測位置射影部により算出された射影位置と、前記目標検出部により検出された目標物が存在している地図上の座標位置である目標物地図座標位置とを比較して、前記観測センサにより観測された目標物と、前記目標検出部により検出された目標物とが同一物であるか否かを判定する第２の判定処理部とを備えたことを特徴とする請求項１記載の監視装置。
13. 前記観測センサにより観測された目標物の追尾処理を実施して、追尾処理後の目標物の位置である目標物観測位置を出力する第２の追尾処理部と、
    前記目標検出部により検出された１つ以上の目標物のうち、前記第２の判定処理部により同一物であると判定された目標物以外の目標物の追尾処理を実施して、追尾処理後の目標物の位置である目標物地図座標位置を出力する第３の追尾処理部と、
    前記第２の追尾処理部から出力された目標物観測位置と、前記第３の追尾処理部から出力された目標物地図座標位置とを用いて、前記観測センサにより観測された目標物と、前記目標検出部により検出された目標物とが同一物であるか否かを判定する第３の判定処理部と、
    前記第１から第３の判定処理部により同一物であると判定された目標物の中から、１つ以上の目標物を選択する目標物選択部とを備えたことを特徴とする請求項１２記載の監視装置。
14. 前記目標物選択部は、
    前記第２の判定処理部により同一物であると判定された目標物の中から、いずれかの目標物を選択し、
    前記第３の判定処理部により同一物であると判定された目標物の中から、選択済みの目標物と異なる目標物を選択し、
    前記第１の判定処理部により同一物であると判定された目標物の中から、選択済みの目標物と異なる目標物を選択することを特徴とする請求項１３記載の監視装置。

Images