JP6976496B2 - 画像変化検出装置及び画像変化検出方法 - Google Patents
画像変化検出装置及び画像変化検出方法 Download PDFInfo
- Publication number
- JP6976496B2 JP6976496B2 JP2021539712A JP2021539712A JP6976496B2 JP 6976496 B2 JP6976496 B2 JP 6976496B2 JP 2021539712 A JP2021539712 A JP 2021539712A JP 2021539712 A JP2021539712 A JP 2021539712A JP 6976496 B2 JP6976496 B2 JP 6976496B2
- Authority
- JP
- Japan
- Prior art keywords
- subspace
- image
- change
- period
- comparison target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/04—Systems determining presence of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Radar Systems Or Details Thereof (AREA)
Description
図1は、実施の形態1に係る画像変化検出装置4を示す構成図である。
図2は、実施の形態1に係る画像変化検出装置4のハードウェアを示すハードウェア構成図である。
図1において、画像生成部1は、レーダの観測電波に基づいて、電波画像を生成する。
画像生成部1は、生成した電波画像のうち、例えば、比較対象期間T1の電波画像を、後述する部分空間生成部11の比較対象行列生成部12に出力する。以下、画像生成部1から比較対象行列生成部12に出力される電波画像を比較対象画像2と称する。
画像生成部1は、生成した電波画像のうち、例えば、変化検出期間T2,T4,・・・におけるそれぞれの電波画像を、部分空間生成部11の後述する検出対象行列生成部15に出力する。以下、画像生成部1から検出対象行列生成部15に出力される電波画像を検出対象画像3と称する。
画像生成部1は、後述する判定部19から出力された判定結果が、変化検出期間T2の検出対象画像3が、比較対象期間T1の比較対象画像2から変化している旨を示していれば、比較対象期間T1の次の比較対象期間T3の比較対象画像2を比較対象行列生成部12に出力し、変化検出期間T2の次の変化検出期間T4の検出対象画像3を検出対象行列生成部15に出力する。
画像生成部1は、判定部19から出力された判定結果が、変化検出期間T2の検出対象画像3が、比較対象期間T1の比較対象画像2から変化していない旨を示していれば、比較対象期間T3の比較対象画像2を比較対象行列生成部12に出力せずに、変化検出期間T4の検出対象画像3を検出対象行列生成部15に出力する。
図1に示す画像変化検出装置4では、画像生成部1が画像変化検出装置4の外部に設けられている。しかし、これは一例に過ぎず、画像生成部1が画像変化検出装置4の内部に設けられていてもよい。
画像変化検出装置4は、画像生成部1により生成された比較対象画像2と、画像生成部1により生成された検出対象画像3とを比較して、検出対象画像3が比較対象画像2から変化しているか否かを判定する。
また、画像変化検出装置4は、部分空間更新部20による更新後の比較対象画像2と、画像生成部1により生成された検出対象画像3とを比較して、検出対象画像3が更新後の比較対象画像2から変化しているか否かを判定する。
部分空間生成部11は、画像生成部1から比較対象期間T1の比較対象画像2を受けると、比較対象画像2の左特異ベクトルLSV1を算出して、左特異ベクトルLSV1を基底とする第1の部分空間span(U1)を生成する。
部分空間生成部11は、第1の部分空間span(U1)を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
また、部分空間生成部11は、画像生成部1から、変化検出期間T2,T4,・・・におけるそれぞれの検出対象画像3を受けると、それぞれの検出対象画像3の左特異ベクトルLSV2,LSV4,・・・を算出して、それぞれの左特異ベクトルLSV2,LSV4,・・・を基底とする第2の部分空間span(U2),span(U4),・・・を生成する。
部分空間生成部11は、生成したそれぞれの第2の部分空間span(U2),span(U4),・・・を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
部分空間生成部11は、比較対象期間T3の比較対象画像2の左特異ベクトルLSV3を算出して、左特異ベクトルLSV3を基底とする第1の部分空間span(U3)を生成し、第1の部分空間span(U3)を変化度算出部18に出力する。
部分空間生成部11は、判定部19により変化していないと判定されると、画像生成部1から比較対象期間T3の比較対象画像2を取得しない。したがって、部分空間生成部11は、左特異ベクトルLSV3を基底とする第1の部分空間span(U3)を生成しない。
比較対象期間T1,T3と、変化検出期間T2,T4,・・・とは、互いに異なる期間である。比較対象期間T1,T3と、変化検出期間T2,T4との中で、例えば、比較対象期間T1が最も古い期間であり、次に変化検出期間T2が古い期間であり、次に比較対象期間T3が古い期間であり、変化検出期間T4が最も新しい期間である。
比較対象行列生成部12は、画像生成部1から出力された比較対象期間T1の比較対象画像2を示す比較対象行列U1を生成し、比較対象行列U1を第1のベクトル算出部13に出力する。
比較対象行列生成部12は、画像生成部1から、比較対象期間T3の比較対象画像2を受けると、比較対象期間T3の比較対象画像2を示す比較対象行列U3を生成し、比較対象行列U3を第1のベクトル算出部13に出力する。
第1のベクトル算出部13は、比較対象行列生成部12から出力された比較対象行列U1に対する特異値分解を行うことで、比較対象画像2の左特異ベクトルLSV1を算出する。
第1のベクトル算出部13は、左特異ベクトルLSV1を第1の空間生成処理部14に出力する。
第1のベクトル算出部13は、比較対象行列生成部12から、比較対象行列U3を受けると、比較対象行列U3に対する特異値分解を行うことで、比較対象画像2の左特異ベクトルLSV3を算出する。
第1のベクトル算出部13は、左特異ベクトルLSV3を第1の空間生成処理部14に出力する。
第1の空間生成処理部14は、第1のベクトル算出部13から、例えば、左特異ベクトルLSV1を受けると、左特異ベクトルLSV1を基底とする第1の部分空間span(U1)を生成する。
第1の空間生成処理部14は、第1の部分空間span(U1)を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
第1の空間生成処理部14は、第1のベクトル算出部13から、例えば、左特異ベクトルLSV3を受けると、左特異ベクトルLSV3を基底とする第1の部分空間span(U3)を生成する。
第1の空間生成処理部14は、第1の部分空間span(U3)を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
検出対象行列生成部15は、画像生成部1から、変化検出期間T2,T4,・・・におけるそれぞれの検出対象画像3を取得する。
検出対象行列生成部15は、それぞれの検出対象画像3を示す検出対象行列U2,U4,・・・を生成し、それぞれの検出対象行列U2,U4,・・・を第2のベクトル算出部16に出力する。
第2のベクトル算出部16は、検出対象行列生成部15から出力されたそれぞれの検出対象行列U2,U4,・・・に対する特異値分解を行うことで、それぞれの検出対象画像3の左特異ベクトルLSV2,LSV4,・・・を算出する。
第2のベクトル算出部16は、それぞれの左特異ベクトルLSV2,LSV4,・・・を第2の空間生成処理部17に出力する。
第2の空間生成処理部17は、第2のベクトル算出部16から出力されたそれぞれの左特異ベクトルLSV2,LSV4,・・・を基底とする第2の部分空間span(U2),span(U4),・・・を生成する。
第2の空間生成処理部17は、それぞれの第2の部分空間span(U2),span(U4),・・・を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
変化度算出部18は、部分空間生成部11の第1の空間生成処理部14により生成された第1の部分空間span(U1)と、部分空間生成部11の第2の空間生成処理部17により生成された第2の部分空間span(U2)とを取得する。
変化度算出部18は、第1の部分空間span(U1)と第2の部分空間span(U2)との変化度c(t2)を算出する。
t2は、変化検出期間T2に含まれる時刻である。時刻t2は、変化検出期間T2の開始時刻であってもよいし、変化検出期間T2の終了時刻であってもよい。また、時刻t2は、変化検出期間T2の開始時刻と終了時刻との間の時刻であってもよい。
変化度算出部18は、変化度c(t2)を判定部19に出力する。
変化度算出部18は、第1の部分空間span(U3’)と第2の部分空間span(U4)との変化度c(t4)を算出する。
仮に、第1の空間生成処理部14によって、比較対象期間T3に係る第1の部分空間span(U3)が生成されたとすると、第1の部分空間span(U3’)は、第1の部分空間span(U3)と類似している。
第2の空間生成処理部17により生成された第2の部分空間span(U4)は、変化検出期間T4の検出対象画像3の左特異ベクトルLSV4を基底とする第2の部分空間である。
変化度算出部18は、第1の部分空間span(U3)と第2の部分空間span(U4)との変化度c(t4)を算出する。
部分空間生成部11により生成された第1の部分空間span(U3)は、比較対象期間T3の比較対象画像2の左特異ベクトルLSV3を基底とする部分空間である。
判定部19は、変化度算出部18により算出された変化度に基づいて、変化検出期間の検出対象画像3が、比較対象期間の比較対象画像2から変化しているか否かを判定する。
即ち、判定部19は、変化度算出部18により算出された変化度c(t2)が閾値θ以上であれば、変化検出期間T2の検出対象画像3が、比較対象期間T1の比較対象画像2から変化していると判定し、変化度c(t2)が閾値θ未満であれば、変化検出期間T2の検出対象画像3が、比較対象期間T1の比較対象画像2から変化いないと判定する。
また、判定部19は、変化度算出部18により算出された変化度c(t4)が閾値θ以上であれば、変化検出期間T4の検出対象画像3が、比較対象期間T3の比較対象画像2から変化していると判定し、変化度c(t4)が閾値θ未満であれば、変化検出期間T4の検出対象画像3が、比較対象期間T3の比較対象画像2から変化いないと判定する。
閾値θとして、例えば、0.5の値又は0.6の値が用いられる。閾値θは、判定部19の内部メモリに格納されていてもよいし、画像変化検出装置4の外部から与えられるものであってもよい。
判定部19は、変化検出期間T2の検出対象画像3が、比較対象期間T1の比較対象画像2から変化していると判定すると、変化検出期間T2中に電波画像の変化点がある旨を示す情報を外部に出力する。また、判定部19は、変化検出期間T4の検出対象画像3が、比較対象期間T3の比較対象画像2から変化していると判定すると、変化検出期間T4中に電波画像の変化点がある旨を示す情報を外部に出力する。
また、判定部19は、例えば、変化検出期間T2の検出対象画像3が、比較対象期間T1の比較対象画像2から変化していないと判定すると、変化検出期間T2の検出対象画像3が、比較対象期間T1の比較対象画像2から変化していない旨を示す判定結果を部分空間更新部20に出力する。
図1に示す画像変化検出装置4では、判定部19が変化度c(t2)等と閾値θとを比較することで、検出対象画像3が比較対象画像2から変化しているか否かを判定している。しかし、これは一例に過ぎず、判定部19は、例えば、変化度c(t2)等の微分値と閾値とを比較することで、検出対象画像3が比較対象画像2から変化しているか否かを判定するようにしてもよい。
部分空間更新部20は、判定部19により、例えば、変化検出期間T2の検出対象画像3が、比較対象期間T1の比較対象画像2から変化していないと判定されると、第2の部分空間span(U2)に近づくように第1の部分空間span(U1)を回転させることによって、第1の部分空間span(U1)を更新する。
部分空間更新部20は、更新後の第1の部分空間span(U1)を、第1の部分空間span(U3’)として、変化度算出部18に出力する。
部分空間更新部20は、判定部19により、例えば、変化検出期間T2の検出対象画像3が、比較対象期間T1の比較対象画像2から変化していると判定されると、第1の部分空間span(U1)の更新を行わない。
ソフトウェア又はファームウェアは、プログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、CPU(Central Processing Unit)、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、あるいは、DSP(Digital Signal Processor)が該当する。
画像変化検出装置4が、ソフトウェア又はファームウェア等によって実現される場合、比較対象行列生成部12、第1のベクトル算出部13、第1の空間生成処理部14、検出対象行列生成部15、第2のベクトル算出部16、第2の空間生成処理部17、変化度算出部18、判定部19及び部分空間更新部20の処理手順をコンピュータに実行させるためのプログラムがメモリ41に格納される。そして、コンピュータのプロセッサ42がメモリ41に格納されているプログラムを実行する。
図4は、画像変化検出装置4の処理手順である画像変化検出方法を示すフローチャートである。
図5は、レーダの観測電波に基づいて生成された電波画像の一例を示す説明図である。
図5に示す電波画像は、例えば、プロペラ式の小型ドローンにより得られた電波がマイクロドップラースペクトルグラムとして可視化されている画像である。
図5において、横軸は、時刻を示し、縦軸は、周波数を示している。
例えば、縦軸の中心付近において、横軸方向に延びている赤色の画素は、振幅が大きい画素であり、青色に近い画素ほど、振幅が小さい画素である。
図5に示す電波画像を構成している複数の画素のうち、目標を表している画素は、目標を表していない画素と比べて、振幅の時間的な変化が大きい。
図5に示す電波画像のうち、青色から赤色に急激に変化し、赤色から青色に急激に変化している範囲内の画素群は、目標を表している。
画像生成部1は、生成した電波画像のうち、比較対象期間T1の電波画像を比較対象画像2(図6を参照)として、部分空間生成部11の比較対象行列生成部12に出力する。
画像生成部1は、生成した電波画像のうち、変化検出期間T2の電波画像を検出対象画像3(図6を参照)として、部分空間生成部11の検出対象行列生成部15に出力する。
図6は、部分空間生成部11による第1の部分空間span(U1)及び第2の部分空間span(U2)の生成処理を示す説明図である。
図6では、便宜上、第1の部分空間span(U1)及び第2の部分空間span(U2)のそれぞれを円錐の形で表現している。実際には、第1の部分空間span(U1)は、比較対象行列U1に対する複数の左特異ベクトルLSV1の集合が張る部分空間である。また、第2の部分空間span(U2)は、検出対象行列U2に対する複数の左特異ベクトルLSV2の集合が張る部分空間である。
第1の部分空間span(U1)及び第2の部分空間span(U2)のそれぞれを含む全体の空間RDは、半球で表現している。
比較対象画像2が、例えば、(x1×y1)個の画素値を有する2次元画像であれば、比較対象行列生成部12は、比較対象行列U1として、x1個の行方向の要素を有し、y1個の列方向の要素を有する行列を生成する。x1及びy1のそれぞれは、1以上の整数である。
比較対象行列生成部12は、比較対象行列U1を第1のベクトル算出部13に出力する。
比較対象行列U1に対する特異値分解を行うことによる左特異ベクトルLSV1の算出処理自体は、公知の技術であるため詳細な説明を省略する。
第1のベクトル算出部13により算出される左特異ベクトルLSV1の最大数は、比較対象行列U1のランクによって決まる。第1のベクトル算出部13は、任意の数だけ、左特異ベクトルLSV1を算出すればよい。任意の数は、第1のベクトル算出部13の内部メモリに格納されていてもよいし、外部から与えられるものであってもよい。
あるいは、第1のベクトル算出部13は、算出可能な複数の左特異ベクトルLSV1の中から、特異値の累積寄与率が、或る閾値よりも大きい左特異ベクトルLSV1を選択するようにしてもよい。
第1のベクトル算出部13は、算出した左特異ベクトルLSV1を第1の空間生成処理部14に出力する。
第1の部分空間span(U1)は、比較対象画像2における複数の左特異ベクトルLSV1のうち、比較対象行列U1に対する特異値が大きい上位n本の左特異ベクトルLSV1の集合が張る部分空間である。nは、2以上の整数である。なお、比較対象画像2における複数の左特異ベクトルLSV1は、互いに直交しており、ノルムが1であるため、第1の部分空間span(U1)の基底は、正規直交基底である。
第1の空間生成処理部14は、第1の部分空間span(U1)を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
検出対象画像3が、例えば、(x2×y2)個の画素値を有する2次元画像であれば、検出対象行列生成部15は、検出対象行列U2として、x2個の行方向の要素を有し、y2個の列方向の要素を有する行列を生成する。x2及びy2のそれぞれは、1以上の整数である。
図1に示す画像変化検出装置4では、x1>x2、y1=y2である。
検出対象行列生成部15は、検出対象行列U2を第2のベクトル算出部16に出力する。
検出対象行列U2に対する特異値分解を行うことによる左特異ベクトルLSV2の算出処理自体は、公知の技術であるため詳細な説明を省略する。
第2のベクトル算出部16により算出される左特異ベクトルLSV2の最大数は、検出対象行列U2のランクによって決まる。第2のベクトル算出部16は、任意の数だけ、左特異ベクトルLSV2を算出すればよい。任意の数は、第2のベクトル算出部16の内部メモリに格納されていてもよいし、外部から与えられるものであってもよい。
あるいは、第2のベクトル算出部16は、算出可能な複数の左特異ベクトルLSV2の中から、特異値の累積寄与率が、或る閾値よりも大きい左特異ベクトルLSV2を選択するようにしてもよい。
第2のベクトル算出部16は、算出した左特異ベクトルLSV2を第2の空間生成処理部17に出力する。
第2の部分空間span(U2)は、検出対象画像3における複数の左特異ベクトルLSV2のうち、検出対象行列U2に対する特異値が大きい上位m本の左特異ベクトルLSV2の集合が張る部分空間である。mは、2以上の整数である。なお、検出対象画像3における複数の左特異ベクトルLSV2は、互いに直交しており、ノルムが1であるため、第2の部分空間span(U2)の基底は、正規直交基底である。
第2の空間生成処理部17は、第2の部分空間span(U2)を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
変化度算出部18は、第1の部分空間span(U1)と第2の部分空間span(U2)との変化度c(t2)を算出する(図4のステップST7)。
変化度c(t2)は、第1の部分空間span(U1)と第2の部分空間span(U2)との距離(図6を参照)に相当する。変化度c(t2)は、以下の式(1)のように表される。
変化度算出部18は、変化度c(t2)を判定部19に出力する。
判定部19は、変化度c(t2)が閾値θ以上であれば(図4のステップST8:YESの場合)、変化検出期間T2の検出対象画像3が、比較対象期間T1の比較対象画像2から変化していると判定する(図4のステップST9)。
判定部19は、変化していると判定すると、変化検出期間T2中に電波画像の変化点がある旨を示す情報を外部に出力する。
判定部19は、変化度c(t2)が閾値θ未満であれば(図4のステップST8:NOの場合)、変化検出期間T2の検出対象画像3が、比較対象期間T1の比較対象画像2から変化していないと判定する(図4のステップST10)。
判定部19は、変化検出期間T2の検出対象画像3が、比較対象期間T1の比較対象画像2から変化しているか否かを示す判定結果を変化度算出部18及び画像生成部1のそれぞれに出力する。
判定部19は、変化していないと判定すると、変化検出期間T2の検出対象画像3が、比較対象期間T1の比較対象画像2から変化していない旨を示す判定結果を部分空間更新部20に出力する。
画像生成部1は、判定部19から出力された判定結果が、変化検出期間T2の検出対象画像3が、比較対象期間T1の比較対象画像2から変化していない旨を示していれば、比較対象期間T3の比較対象画像2を比較対象行列生成部12に出力せずに、変化検出期間T4の検出対象画像3を検出対象行列生成部15に出力する。
図7は、比較対象期間T1,T3,T5の比較対象画像2及び変化検出期間T2,T4,T6の検出対象画像3を示す説明図である。
ここでは説明の便宜上、判定部19から出力された判定結果が、変化検出期間T2の検出対象画像3が、比較対象期間T1の比較対象画像2から変化していない旨を示しているものとする。したがって、画像生成部1は、比較対象期間T3の比較対象画像2を比較対象行列生成部12に出力せずに、変化検出期間T4の検出対象画像3を検出対象行列生成部15に出力する。
即ち、部分空間更新部20は、第1の部分空間生成処理部14から出力された第1の部分空間span(U1)を取得し、第2の部分空間生成処理部17から出力された第2の部分空間span(U2)を取得する。
部分空間更新部20は、第2の部分空間span(U2)に近づくように第1の部分空間span(U1)を回転させることによって、第1の部分空間span(U1)を更新する。
判定部19が既に2回以上判定を行っている場合、部分空間更新部20は、判定部19から今回の判定結果を受ける前に、前回の判定結果を受けていることがある。部分空間更新部20は、判定部19から出力された前回の判定結果が変化していない旨を示しているために、既に第1の部分空間span(U1)を更新している場合、第1の部分空間生成処理部14から出力された第1の部分空間span(U1)の代わりに、更新後の第1の部分空間span(U1)を更に更新する。
以下の式(2)は、第1の部分空間span(U1)に係る比較対象行列U1の更新式である。式(2)は、第1の部分空間span(U1)に係る比較対象行列U1と、第2の部分空間span(U2)に係る検出対象行列U2と、更新後の第1の部分空間span(U1)である第1の部分空間span(U3’)に係る比較対象行列U3’との関係を示している。
式(2)において、μは、回転係数、Iは、単位行列である。
orth()は、正規直交化を行う関数である。正規直交化としては、例えば、グラムシュミットの直交化法を用いることができる。
部分空間更新部20は、更新後の第1の部分空間span(U1)を、第1の部分空間span(U3’)として、変化度算出部18に出力する。
図8では、部分空間更新部20が、第2の部分空間span(U2)に近づくように第1の部分空間span(U1)を回転させている。
第2の部分空間span(U2)に近づくように、第1の部分空間span(U1)が回転されることで、第2の部分空間span(U2)が有する情報が、第1の部分空間span(U3’)に反映されるようになる。したがって、第1の部分空間span(U3’)は、比較対象期間T3に係る第1の部分空間span(U3)と類似している部分空間となる。比較対象期間T3に係る第1の部分空間span(U3)は、部分空間生成部11によって、比較対象期間T3の比較対象画像2から生成されたと仮定した場合の部分空間である。
第2のベクトル算出部16は、算出した左特異ベクトルLSV4を第2の空間生成処理部17に出力する。
第2の部分空間span(U4)は、検出対象画像3における複数の左特異ベクトルLSV4のうち、検出対象行列U4に対する特異値が大きい上位m本の左特異ベクトルLSV4の集合が張る部分空間である。
第2の空間生成処理部17は、第2の部分空間span(U4)を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
変化度算出部18は、第1の部分空間span(U3’)と第2の部分空間span(U4)との変化度c(t4)を算出する(図4のステップST7)。
変化度c(t4)は、第1の部分空間span(U3’)と第2の部分空間span(U4)との距離に相当する。変化度c(t4)は、以下の式(3)のように表される。
変化度算出部18は、変化度c(t4)を判定部19に出力する。
判定部19は、変化度c(t4)が閾値θ以上であれば(図4のステップST8:YESの場合)、変化検出期間T4の検出対象画像3が、比較対象期間T3の比較対象画像2から変化していると判定する(図4のステップST9)。
判定部19は、変化していると判定すると、変化検出期間T4中に電波画像の変化点がある旨を示す情報を外部に出力する。
判定部19は、変化度c(t4)が閾値θ未満であれば(図4のステップST8:NOの場合)、変化検出期間T4の検出対象画像3が、比較対象期間T3の比較対象画像2から変化していないと判定する(図4のステップST10)。
判定部19は、変化検出期間T4の検出対象画像3が、比較対象期間T3の比較対象画像2から変化しているか否かを示す判定結果を変化度算出部18及び画像生成部1のそれぞれに出力する。
判定部19は、変化していないと判定すると、変化検出期間T4の検出対象画像3が、比較対象期間T3の比較対象画像2から変化していない旨を示す判定結果を部分空間更新部20に出力する。
画像生成部1は、判定部19から出力された判定結果が、変化検出期間T4の検出対象画像3が、比較対象期間T3の比較対象画像2から変化していない旨を示していれば、比較対象期間T5の比較対象画像2を比較対象行列生成部12に出力せずに、変化検出期間T6の検出対象画像3を検出対象行列生成部15に出力する。
ここでは説明の便宜上、判定部19から出力された判定結果が、変化検出期間T4の検出対象画像3が、比較対象期間T3の比較対象画像2から変化している旨を示しているものとする。したがって、画像生成部1は、比較対象期間T5の比較対象画像2を比較対象行列生成部12に出力し、変化検出期間T6の検出対象画像3を検出対象行列生成部15に出力する。
第1のベクトル算出部13は、算出した左特異ベクトルLSV5を第1の空間生成処理部14に出力する。
第1の部分空間span(U5)は、比較対象画像2における複数の左特異ベクトルLSV5のうち、比較対象行列U5に対する特異値が大きい上位n本の左特異ベクトルLSV1の集合が張る部分空間である。
第1の空間生成処理部14は、第1の部分空間span(U5)を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
第2のベクトル算出部16は、算出した左特異ベクトルLSV6を第2の空間生成処理部17に出力する。
第2の部分空間span(U6)は、検出対象画像3における複数の左特異ベクトルLSV6のうち、検出対象行列U6に対する特異値が大きい上位m本の左特異ベクトルLSV6の集合が張る部分空間である。
第2の空間生成処理部17は、第2の部分空間span(U6)を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
変化度算出部18は、第1の部分空間span(U5)と第2の部分空間span(U6)との変化度c(t6)を算出する(図4のステップST7)。
変化度c(t6)は、第1の部分空間span(U5)と第2の部分空間span(U6)との距離に相当する。変化度c(t6)は、以下の式(4)のように表される。
変化度算出部18は、変化度c(t6)を判定部19に出力する。
判定部19は、変化度c(t6)が閾値θ以上であれば(図4のステップST8:YESの場合)、変化検出期間T6の検出対象画像3が、比較対象期間T5の比較対象画像2から変化していると判定する(図4のステップST9)。
判定部19は、変化していると判定すると、変化検出期間T6中に電波画像の変化点がある旨を示す情報を外部に出力する。
判定部19は、変化度c(t6)が閾値θ未満であれば(図4のステップST8:NOの場合)、変化検出期間T6の検出対象画像3が、比較対象期間T5の比較対象画像2から変化していないと判定する(図4のステップST10)。
判定部19は、変化検出期間T6の検出対象画像3が、比較対象期間T5の比較対象画像2から変化しているか否かを示す判定結果を変化度算出部18及び画像生成部1のそれぞれに出力する。
判定部19は、変化していないと判定すると、変化検出期間T6の検出対象画像3が、比較対象期間T5の比較対象画像2から変化していない旨を示す判定結果を部分空間更新部20に出力する。
図1に示す画像変化検出装置4は、画像生成部1から検出対象画像3が出力されなくなるまで、図4に示す処理手順を実行する。
実施の形態2では、部分空間更新部21が、変化度算出部18により算出された変化度が大きいほど、第1の部分空間を大きく回転させることによって、第1の部分空間を更新する画像変化検出装置4について説明する。
図10は、実施の形態2に係る画像変化検出装置4のハードウェアを示すハードウェア構成図である。
図9及び図10において、図1及び図2と同一符号は同一又は相当部分を示すので詳細な説明を省略する。
部分空間更新部21は、例えば、図10に示す部分空間更新回路40によって実現される。
部分空間更新部21は、判定部19により、例えば、変化検出期間T2の検出対象画像3が、比較対象期間T1の比較対象画像2から変化していないと判定されると、図1に示す部分空間更新部20と同様に、第2の部分空間span(U2)に近づくように第1の部分空間span(U1)を回転させることによって、第1の部分空間span(U1)を更新する。
ただし、部分空間更新部21は、図1に示す部分空間更新部20と異なり、変化度算出部18により算出された変化度c(t2)が大きいほど、第1の部分空間span(U1)を大きく回転させることによって、第1の部分空間span(U1)を更新する。
部分空間更新部21は、更新後の第1の部分空間span(U1)を、第1の部分空間span(U3’)として、変化度算出部18に出力する。
部分空間更新回路40は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC、FPGA、又は、これらを組み合わせたものが該当する。
画像変化検出装置4が、ソフトウェア又はファームウェア等によって実現される場合、比較対象行列生成部12、第1のベクトル算出部13、第1の空間生成処理部14、検出対象行列生成部15、第2のベクトル算出部16、第2の空間生成処理部17、変化度算出部18、判定部19及び部分空間更新部21の処理手順をコンピュータに実行させるためのプログラムが、図3に示すメモリ41に格納される。そして、図3に示すプロセッサ42がメモリ41に格納されているプログラムを実行する。
部分空間更新部21以外は、図1に示す画像変化検出装置4と同様であるため、ここでは、主に、部分空間更新部21の動作を説明する。
変化度算出部18は、変化度c(t2)を判定部19及び部分空間更新部21のそれぞれに出力する。
ただし、部分空間更新部21は、図1に示す部分空間更新部20と異なり、変化度算出部18により算出された変化度c(t2)に基づいて、式(2)に含まれている回転係数μを算出する。回転係数μは、変化度算出部18により算出された変化度c(t2)が大きいほど、第1の部分空間span(U1)を大きく回転させるための係数である。
したがって、部分空間更新部21は、図1に示す部分空間更新部20と異なり、変化度算出部18により算出された変化度c(t2)が大きいほど、第1の部分空間span(U1)を大きく回転させることによって、第1の部分空間span(U1)を更新する。
なお、第1の部分空間span(U1)の最大の回転は、第2の部分空間span(U2)と重なる位置までの回転である。部分空間更新部21は、更新後の第1の部分空間span(U1)である第1の部分空間span(U3’)が、第1の部分空間span(U1)と第2の部分空間span(U2)との間に存在するように、第1の部分空間span(U1)を回転させる。
図11は、第2の部分空間span(U2)に対する第1の部分空間span(U1)の射影長L1と、直交補空間span(U1/2)に対する第1の部分空間span(U1)の射影長L2とを示す説明図である。
Claims (6)
- レーダの観測電波に基づいて生成された画像のうち、比較対象期間の画像の左特異ベクトルを基底とする第1の部分空間と、前記比較対象期間と異なる期間である変化検出期間の画像の左特異ベクトルを基底とする第2の部分空間とを受けると、前記第1の部分空間と前記第2の部分空間との変化度を算出する変化度算出部と、
前記変化度算出部により算出された変化度に基づいて、前記変化検出期間の画像が、前記比較対象期間の画像から変化しているか否かを判定する判定部と、
前記判定部により変化していないと判定されると、前記第2の部分空間に近づくように前記第1の部分空間を回転させることによって、前記第1の部分空間を更新する部分空間更新部とを備え、
前記変化度算出部は、前記判定部により変化していないと判定されると、前記部分空間更新部による更新後の第1の部分空間と、前記変化検出期間の次の変化検出期間の画像の左特異ベクトルを基底とする第2の部分空間との変化度を算出し、
前記判定部は、前記変化度算出部により算出された変化度が閾値以上であれば、前記変化検出期間の画像が、前記比較対象期間の画像から変化していると判定し、前記変化度が前記閾値未満であれば、前記変化検出期間の画像が、前記比較対象期間の画像から変化していないと判定する
ことを特徴とする画像変化検出装置。 - 前記変化度算出部は、前記判定部により変化していると判定されると、前記比較対象期間の次の比較対象期間であって前記比較対象期間と異なる期間である変化検出期間に引き続く前記次の比較対象期間の画像の左特異ベクトルを基底とする第1の部分空間であって前記更新後の第1の部分空間と相違する前記第1の部分空間と、前記変化検出期間の次の変化検出期間の画像の左特異ベクトルを基底とする第2の部分空間との変化度を算出することを特徴とする請求項1記載の画像変化検出装置。
- 前記部分空間更新部は、前記変化度算出部により算出された変化度が大きいほど、前記第1の部分空間を大きく回転させることによって、前記第1の部分空間を更新することを特徴とする請求項1記載の画像変化検出装置。
- 前記変化検出期間の次の変化検出期間の画像の左特異ベクトルを算出して、算出した左特異ベクトルを基底とする第2の部分空間を生成し、生成した第2の部分空間を前記変化度算出部に出力する部分空間生成部を備えたことを特徴とする請求項1記載の画像変化検出装置。
- 前記部分空間生成部は、前記判定部により変化していると判定されると、前記比較対象期間の次の比較対象期間であって前記比較対象期間と異なる期間である変化検出期間に引き続く前記次の比較対象期間の画像の左特異ベクトルを算出して、算出した左特異ベクトルを基底とする第1の部分空間を生成し、生成した第1の部分空間を前記変化度算出部に出力することを特徴とする請求項4記載の画像変化検出装置。
- レーダの観測電波に基づいて生成された画像のうち、比較対象期間の画像の左特異ベクトルを基底とする第1の部分空間と、前記比較対象期間と異なる期間である変化検出期間の画像の左特異ベクトルを基底とする第2の部分空間とを受けると、変化度算出部が、前記第1の部分空間と前記第2の部分空間との変化度を算出し、
判定部が、前記変化度算出部により算出された変化度に基づいて、前記変化検出期間の画像が、前記比較対象期間の画像から変化しているか否かを判定し、
部分空間更新部が、前記判定部により変化していないと判定されると、前記第2の部分空間に近づくように前記第1の部分空間を回転させることによって、前記第1の部分空間を更新し、
前記変化度算出部は、前記判定部により変化していないと判定されると、前記部分空間更新部による更新後の第1の部分空間と、前記変化検出期間の次の変化検出期間の画像の左特異ベクトルを基底とする第2の部分空間との変化度を算出し、
前記判定部は、前記変化度算出部により算出された変化度が閾値以上であれば、前記変化検出期間の画像が、前記比較対象期間の画像から変化していると判定し、前記変化度が前記閾値未満であれば、前記変化検出期間の画像が、前記比較対象期間の画像から変化していないと判定する
することを特徴とする画像変化検出方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2019/031690 WO2021028978A1 (ja) | 2019-08-09 | 2019-08-09 | 画像変化検出装置及び画像変化検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2021028978A1 JPWO2021028978A1 (ja) | 2021-10-21 |
| JP6976496B2 true JP6976496B2 (ja) | 2021-12-08 |
Family
ID=74569444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021539712A Active JP6976496B2 (ja) | 2019-08-09 | 2019-08-09 | 画像変化検出装置及び画像変化検出方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11983888B2 (ja) |
| EP (1) | EP4006583A4 (ja) |
| JP (1) | JP6976496B2 (ja) |
| CA (1) | CA3145696A1 (ja) |
| WO (1) | WO2021028978A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113093135B (zh) * | 2021-03-23 | 2023-05-26 | 南京邮电大学 | 基于f范数归一化距离的目标检测方法及装置 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5245587A (en) * | 1990-12-14 | 1993-09-14 | Hutson William H | Multi-dimensional signal processing and display |
| US6178261B1 (en) * | 1997-08-05 | 2001-01-23 | The Regents Of The University Of Michigan | Method and system for extracting features in a pattern recognition system |
| US6466685B1 (en) * | 1998-07-14 | 2002-10-15 | Kabushiki Kaisha Toshiba | Pattern recognition apparatus and method |
| US7412098B2 (en) * | 2004-09-02 | 2008-08-12 | Mitsubishi Electric Research Laboratories, Inc. | Method for generating a low-dimensional representation of high-dimensional data |
| JP4953239B2 (ja) * | 2006-12-11 | 2012-06-13 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 観測対象の異常を検出する技術 |
| US7917540B2 (en) * | 2007-02-22 | 2011-03-29 | Colorado State University Research Foundation | Nonlinear set to set pattern recognition |
| JP4769983B2 (ja) * | 2007-05-17 | 2011-09-07 | 独立行政法人産業技術総合研究所 | 異常検出装置および異常検出方法 |
| US8620093B2 (en) * | 2010-03-15 | 2013-12-31 | The United States Of America As Represented By The Secretary Of The Army | Method and system for image registration and change detection |
| CN103400383A (zh) * | 2013-07-22 | 2013-11-20 | 西安电子科技大学 | 基于nsct和压缩投影的sar图像变化检测方法 |
| US9449372B2 (en) * | 2013-08-22 | 2016-09-20 | Bae Systems Information And Electronic Systems Integration Inc. | Dust removal technology for driver vision leverage |
| US10545232B2 (en) * | 2016-08-24 | 2020-01-28 | Mitsubishi Electric Research Laboratories, Inc. | System and method for radar imaging using distributed moving platforms under unknown position perturbations |
-
2019
- 2019-08-09 EP EP19941055.6A patent/EP4006583A4/en not_active Withdrawn
- 2019-08-09 CA CA3145696A patent/CA3145696A1/en not_active Abandoned
- 2019-08-09 WO PCT/JP2019/031690 patent/WO2021028978A1/ja not_active Ceased
- 2019-08-09 JP JP2021539712A patent/JP6976496B2/ja active Active
-
2021
- 2021-12-30 US US17/565,900 patent/US11983888B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20220122270A1 (en) | 2022-04-21 |
| EP4006583A4 (en) | 2022-07-20 |
| CA3145696A1 (en) | 2021-02-18 |
| JPWO2021028978A1 (ja) | 2021-10-21 |
| US11983888B2 (en) | 2024-05-14 |
| WO2021028978A1 (ja) | 2021-02-18 |
| EP4006583A1 (en) | 2022-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6636828B2 (ja) | 監視システム、監視方法、および監視プログラム | |
| JP6405891B2 (ja) | 位置・姿勢推定装置、位置・姿勢推定方法、及び、プログラム | |
| JP2020003379A (ja) | データ生成装置、画像識別装置、データ生成方法及びプログラム | |
| WO2018139461A1 (ja) | 移動物体検出装置、移動物体検出方法及び記憶媒体 | |
| JP5523298B2 (ja) | 目標類識別装置 | |
| JP6594170B2 (ja) | 画像処理装置、画像処理方法、画像投影システムおよびプログラム | |
| US9940700B2 (en) | Information processing apparatus, information processing method, information processing system, and non-transitory computer readable medium | |
| JP6976496B2 (ja) | 画像変化検出装置及び画像変化検出方法 | |
| JP5679406B2 (ja) | 目標物速度特定装置、目標物速度特定プログラム及び目標物速度特定方法 | |
| JP6667676B2 (ja) | 超音波撮像システム、超音波撮像装置、超音波撮像方法、及び画像合成プログラム | |
| JP2022525526A5 (ja) | ||
| WO2010023982A1 (ja) | 動きベクトル検出装置および画像処理装置 | |
| US10765297B2 (en) | Image processing apparatus, image processing method, and computer readable recording medium | |
| JP4560023B2 (ja) | 画像マッチング装置、画像マッチングプログラム及び画像マッチング方法 | |
| JP7186816B2 (ja) | レーダ装置、信号処理装置、および信号処理方法 | |
| US11734835B2 (en) | Image processing apparatus, image processing method, and program | |
| US11978182B2 (en) | Image processing apparatus, image processing method, and program | |
| EP4310784A1 (en) | Image processing apparatus, image processing method, and program | |
| US12620111B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP2018180964A (ja) | 画像処理装置及び画像処理方法 | |
| JPWO2014142088A1 (ja) | レーダー装置 | |
| JP2001268431A (ja) | 補正画像生成装置,補正画像生成方法,補正画像生成用プログラム記録媒体および補正画像生成用プログラム | |
| JP7643596B2 (ja) | 教師データ生成装置、教師データ生成方法、およびプログラム | |
| US12322116B2 (en) | Video magnification using anisotropy measure for noise reduction | |
| JP5701816B2 (ja) | 画像処理装置、画像処理プログラム及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210720 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210720 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210817 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210924 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211012 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211109 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6976496 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |