Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6976496B2 - 画像変化検出装置及び画像変化検出方法 - Google Patents
[go: Go Back, main page]

JP6976496B2 - 画像変化検出装置及び画像変化検出方法 - Google Patents

画像変化検出装置及び画像変化検出方法 Download PDF

Info

Publication number
JP6976496B2
JP6976496B2 JP2021539712A JP2021539712A JP6976496B2 JP 6976496 B2 JP6976496 B2 JP 6976496B2 JP 2021539712 A JP2021539712 A JP 2021539712A JP 2021539712 A JP2021539712 A JP 2021539712A JP 6976496 B2 JP6976496 B2 JP 6976496B2
Authority
JP
Japan
Prior art keywords
subspace
image
change
period
comparison target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021539712A
Other languages
English (en)
Other versions
JPWO2021028978A1 (ja
Inventor
竜馬 谷▲高▼
將 白石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2021028978A1 publication Critical patent/JPWO2021028978A1/ja
Application granted granted Critical
Publication of JP6976496B2 publication Critical patent/JP6976496B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04Systems determining presence of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

この発明は、画像が変化しているか否かを判定する画像変化検出装置及び画像変化検出方法に関するものである。
以下の非特許文献1には、特異スペクトル変換法が開示されている。当該特異スペクトル変換法は、変化検出期間の画像が、比較対象期間の画像から変化しているか否かを判定する方法の1つである。当該特異スペクトル変換法では、レーダの観測電波に基づいて生成された画像のうち、比較対象期間の画像の左特異ベクトルを算出して、当該左特異ベクトルを基底とする部分空間(以下、「第1の部分空間」と称する)を生成する。また、当該特異スペクトル変換法では、レーダの観測電波から生成された画像のうち、変化検出期間の画像の左特異ベクトルを算出して、当該左特異ベクトルを基底とする部分空間(以下、「第2の部分空間」と称する)を生成する。当該特異スペクトル変換法では、第1の部分空間と第2の部分空間との変化度を算出し、変化度に基づいて、変化検出期間の画像が、比較対象期間の画像から変化しているか否かを判定する。
T. Ide and K. Inoue, "Knowledge discovery from heterogeneous dynamic systems using change-point correlations", In Proceedings of 2005 SIAM International Conference on Data Mining (SDM 05), pages 571-575, 2005.
複数の変化検出期間におけるそれぞれの画像が、複数の比較対象期間におけるそれぞれの画像から変化しているか否かを判定する場合、非特許文献1に開示されている特異スペクトル変換法では、それぞれの比較検出期間の画像の左特異ベクトルを算出して、それぞれの左特異ベクトルを基底とする第1の部分空間を生成する必要がある。左特異ベクトルは、画像を特異値分解することで求まる。特異値分解は、一般的に計算コストが高いため、左特異ベクトルの算出が、ボトルネックとなり、画像の変化をリアルタイムに検出できないことがあるという課題があった。
この発明は上記のような課題を解決するためになされたもので、或る変化検出期間の画像が、比較対象期間の画像から変化していなければ、当該比較対象期間の次の比較対象期間の画像については特異値分解することなく、或る変化検出期間の次の変化検出期間の画像が、当該比較対象期間の次の比較対象期間の画像から変化しているか否かを判定することができる画像変化検出装置及び画像変化検出方法を得ることを目的とする。
この発明に係る画像変化検出装置は、レーダの観測電波に基づいて生成された画像のうち、比較対象期間の画像の左特異ベクトルを基底とする第1の部分空間と、比較対象期間と異なる期間である変化検出期間の画像の左特異ベクトルを基底とする第2の部分空間とを受けると、第1の部分空間と前記第2の部分空間との変化度を算出する変化度算出部と、変化度算出部により算出された変化度に基づいて、変化検出期間の画像が、比較対象期間の画像から変化しているか否かを判定する判定部と、判定部により変化していないと判定されると、第2の部分空間に近づくように第1の部分空間を回転させることによって、第1の部分空間を更新する部分空間更新部とを備え、変化度算出部が、判定部により変化していないと判定されると、部分空間更新部による更新後の第1の部分空間と、変化検出期間の次の変化検出期間の画像の左特異ベクトルを基底とする第2の部分空間との変化度を算出し、前記判定部は、前記変化度算出部により算出された変化度が閾値以上であれば、前記変化検出期間の画像が、前記比較対象期間の画像から変化していると判定し、前記変化度が前記閾値未満であれば、前記変化検出期間の画像が、前記比較対象期間の画像から変化していないと判定するものである。
この発明によれば、判定部により変化していないと判定されると、第2の部分空間に近づくように第1の部分空間を回転させることによって、第1の部分空間を更新する部分空間更新部を備え、変化度算出部が、判定部により変化していないと判定されると、部分空間更新部による更新後の第1の部分空間と、変化検出期間の次の変化検出期間の画像の左特異ベクトルを基底とする第2の部分空間との変化度を算出するように、画像変化検出装置を構成した。したがって、この発明に係る画像変化検出装置は、或る変化検出期間の画像が、比較対象期間の画像から変化していなければ、当該比較対象期間の次の比較対象期間の画像については特異値分解することなく、或る変化検出期間の次の変化検出期間の画像が、当該比較対象期間の次の比較対象期間の画像から変化しているか否かを判定することができる。
実施の形態1に係る画像変化検出装置4を示す構成図である。 実施の形態1に係る画像変化検出装置4のハードウェアを示すハードウェア構成図である。 画像変化検出装置4が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。 画像変化検出装置4の処理手順である画像変化検出方法を示すフローチャートである。 レーダの観測電波に基づいて生成された電波画像の一例を示す説明図である。 部分空間生成部11による第1の部分空間span(U)及び第2の部分空間span(U)の生成処理を示す説明図である。 比較対象期間T,T,Tの比較対象画像2及び変化検出期間T,T,Tの検出対象画像3を示す説明図である。 部分空間更新部20による第1の部分空間span(U)の更新処理を示す説明図である。 実施の形態2に係る画像変化検出装置4を示す構成図である。 実施の形態2に係る画像変化検出装置4のハードウェアを示すハードウェア構成図である。 第2の部分空間span(U)に対する第1の部分空間span(U)の射影長Lと、直交補空間span(U1/2)に対する第1の部分空間span(U)の射影長Lとを示す説明図である。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、実施の形態1に係る画像変化検出装置4を示す構成図である。
図2は、実施の形態1に係る画像変化検出装置4のハードウェアを示すハードウェア構成図である。
図1において、画像生成部1は、レーダの観測電波に基づいて、電波画像を生成する。
画像生成部1は、生成した電波画像のうち、例えば、比較対象期間Tの電波画像を、後述する部分空間生成部11の比較対象行列生成部12に出力する。以下、画像生成部1から比較対象行列生成部12に出力される電波画像を比較対象画像2と称する。
画像生成部1は、生成した電波画像のうち、例えば、変化検出期間T,T,・・・におけるそれぞれの電波画像を、部分空間生成部11の後述する検出対象行列生成部15に出力する。以下、画像生成部1から検出対象行列生成部15に出力される電波画像を検出対象画像3と称する。
画像生成部1は、後述する判定部19から出力された判定結果が、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化している旨を示していれば、比較対象期間Tの次の比較対象期間Tの比較対象画像2を比較対象行列生成部12に出力し、変化検出期間Tの次の変化検出期間Tの検出対象画像3を検出対象行列生成部15に出力する。
画像生成部1は、判定部19から出力された判定結果が、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化していない旨を示していれば、比較対象期間Tの比較対象画像2を比較対象行列生成部12に出力せずに、変化検出期間Tの検出対象画像3を検出対象行列生成部15に出力する。
図1に示す画像変化検出装置4では、画像生成部1が画像変化検出装置4の外部に設けられている。しかし、これは一例に過ぎず、画像生成部1が画像変化検出装置4の内部に設けられていてもよい。
画像変化検出装置4は、部分空間生成部11、変化度算出部18、判定部19及び部分空間更新部20を備えている。
画像変化検出装置4は、画像生成部1により生成された比較対象画像2と、画像生成部1により生成された検出対象画像3とを比較して、検出対象画像3が比較対象画像2から変化しているか否かを判定する。
また、画像変化検出装置4は、部分空間更新部20による更新後の比較対象画像2と、画像生成部1により生成された検出対象画像3とを比較して、検出対象画像3が更新後の比較対象画像2から変化しているか否かを判定する。
部分空間生成部11は、比較対象行列生成部12、第1のベクトル算出部13、第1の空間生成処理部14、検出対象行列生成部15、第2のベクトル算出部16及び第2の空間生成処理部17を備えている。
部分空間生成部11は、画像生成部1から比較対象期間Tの比較対象画像2を受けると、比較対象画像2の左特異ベクトルLSVを算出して、左特異ベクトルLSVを基底とする第1の部分空間span(U)を生成する。
部分空間生成部11は、第1の部分空間span(U)を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
また、部分空間生成部11は、画像生成部1から、変化検出期間T,T,・・・におけるそれぞれの検出対象画像3を受けると、それぞれの検出対象画像3の左特異ベクトルLSV,LSV,・・・を算出して、それぞれの左特異ベクトルLSV,LSV,・・・を基底とする第2の部分空間span(U),span(U),・・・を生成する。
部分空間生成部11は、生成したそれぞれの第2の部分空間span(U),span(U),・・・を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
部分空間生成部11は、判定部19により変化していると判定されると、画像生成部1から、比較対象期間Tの次の比較対象期間Tの比較対象画像2を取得する。
部分空間生成部11は、比較対象期間Tの比較対象画像2の左特異ベクトルLSVを算出して、左特異ベクトルLSVを基底とする第1の部分空間span(U)を生成し、第1の部分空間span(U)を変化度算出部18に出力する。
部分空間生成部11は、判定部19により変化していないと判定されると、画像生成部1から比較対象期間Tの比較対象画像2を取得しない。したがって、部分空間生成部11は、左特異ベクトルLSVを基底とする第1の部分空間span(U)を生成しない。
比較対象期間T,Tと、変化検出期間T,T,・・・とは、互いに異なる期間である。比較対象期間T,Tと、変化検出期間T,Tとの中で、例えば、比較対象期間Tが最も古い期間であり、次に変化検出期間Tが古い期間であり、次に比較対象期間Tが古い期間であり、変化検出期間Tが最も新しい期間である。
比較対象行列生成部12は、例えば、図2に示す比較対象行列生成回路31によって実現される。
比較対象行列生成部12は、画像生成部1から出力された比較対象期間Tの比較対象画像2を示す比較対象行列Uを生成し、比較対象行列Uを第1のベクトル算出部13に出力する。
比較対象行列生成部12は、画像生成部1から、比較対象期間Tの比較対象画像2を受けると、比較対象期間Tの比較対象画像2を示す比較対象行列Uを生成し、比較対象行列Uを第1のベクトル算出部13に出力する。
第1のベクトル算出部13は、例えば、図2に示す第1のベクトル算出回路32によって実現される。
第1のベクトル算出部13は、比較対象行列生成部12から出力された比較対象行列Uに対する特異値分解を行うことで、比較対象画像2の左特異ベクトルLSVを算出する。
第1のベクトル算出部13は、左特異ベクトルLSVを第1の空間生成処理部14に出力する。
第1のベクトル算出部13は、比較対象行列生成部12から、比較対象行列Uを受けると、比較対象行列Uに対する特異値分解を行うことで、比較対象画像2の左特異ベクトルLSVを算出する。
第1のベクトル算出部13は、左特異ベクトルLSVを第1の空間生成処理部14に出力する。
第1の空間生成処理部14は、例えば、図2に示す第1の空間生成処理回路33によって実現される。
第1の空間生成処理部14は、第1のベクトル算出部13から、例えば、左特異ベクトルLSVを受けると、左特異ベクトルLSVを基底とする第1の部分空間span(U)を生成する。
第1の空間生成処理部14は、第1の部分空間span(U)を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
第1の空間生成処理部14は、第1のベクトル算出部13から、例えば、左特異ベクトルLSVを受けると、左特異ベクトルLSVを基底とする第1の部分空間span(U)を生成する。
第1の空間生成処理部14は、第1の部分空間span(U)を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
検出対象行列生成部15は、例えば、図2に示す検出対象行列生成回路34によって実現される。
検出対象行列生成部15は、画像生成部1から、変化検出期間T,T,・・・におけるそれぞれの検出対象画像3を取得する。
検出対象行列生成部15は、それぞれの検出対象画像3を示す検出対象行列U,U,・・・を生成し、それぞれの検出対象行列U,U,・・・を第2のベクトル算出部16に出力する。
第2のベクトル算出部16は、例えば、図2に示す第2のベクトル算出回路35によって実現される。
第2のベクトル算出部16は、検出対象行列生成部15から出力されたそれぞれの検出対象行列U,U,・・・に対する特異値分解を行うことで、それぞれの検出対象画像3の左特異ベクトルLSV,LSV,・・・を算出する。
第2のベクトル算出部16は、それぞれの左特異ベクトルLSV,LSV,・・・を第2の空間生成処理部17に出力する。
第2の空間生成処理部17は、例えば、図2に示す第2の空間生成処理回路36によって実現される。
第2の空間生成処理部17は、第2のベクトル算出部16から出力されたそれぞれの左特異ベクトルLSV,LSV,・・・を基底とする第2の部分空間span(U),span(U),・・・を生成する。
第2の空間生成処理部17は、それぞれの第2の部分空間span(U),span(U),・・・を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
変化度算出部18は、例えば、図2に示す変化度算出回路37によって実現される。
変化度算出部18は、部分空間生成部11の第1の空間生成処理部14により生成された第1の部分空間span(U)と、部分空間生成部11の第2の空間生成処理部17により生成された第2の部分空間span(U)とを取得する。
変化度算出部18は、第1の部分空間span(U)と第2の部分空間span(U)との変化度c(t)を算出する。
は、変化検出期間Tに含まれる時刻である。時刻tは、変化検出期間Tの開始時刻であってもよいし、変化検出期間Tの終了時刻であってもよい。また、時刻tは、変化検出期間Tの開始時刻と終了時刻との間の時刻であってもよい。
変化度算出部18は、変化度c(t)を判定部19に出力する。
変化度算出部18は、判定部19により、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化していないと判定されると、部分空間更新部20による更新後の第1の部分空間span(U)である第1の部分空間span(U’)と、第2の空間生成処理部17により生成された第2の部分空間span(U)とを取得する。
変化度算出部18は、第1の部分空間span(U’)と第2の部分空間span(U)との変化度c(t)を算出する。
仮に、第1の空間生成処理部14によって、比較対象期間Tに係る第1の部分空間span(U)が生成されたとすると、第1の部分空間span(U’)は、第1の部分空間span(U)と類似している。
第2の空間生成処理部17により生成された第2の部分空間span(U)は、変化検出期間Tの検出対象画像3の左特異ベクトルLSVを基底とする第2の部分空間である。
変化度算出部18は、判定部19により、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化していると判定されると、第1の空間生成処理部14により生成された第1の部分空間span(U)と、第2の空間生成処理部17により生成された第2の部分空間span(U)とを取得する。
変化度算出部18は、第1の部分空間span(U)と第2の部分空間span(U)との変化度c(t)を算出する。
部分空間生成部11により生成された第1の部分空間span(U)は、比較対象期間Tの比較対象画像2の左特異ベクトルLSVを基底とする部分空間である。
判定部19は、例えば、図2に示す判定回路38によって実現される。
判定部19は、変化度算出部18により算出された変化度に基づいて、変化検出期間の検出対象画像3が、比較対象期間の比較対象画像2から変化しているか否かを判定する。
即ち、判定部19は、変化度算出部18により算出された変化度c(t)が閾値θ以上であれば、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化していると判定し、変化度c(t)が閾値θ未満であれば、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化いないと判定する。
また、判定部19は、変化度算出部18により算出された変化度c(t)が閾値θ以上であれば、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化していると判定し、変化度c(t)が閾値θ未満であれば、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化いないと判定する。
閾値θとして、例えば、0.5の値又は0.6の値が用いられる。閾値θは、判定部19の内部メモリに格納されていてもよいし、画像変化検出装置4の外部から与えられるものであってもよい。
判定部19は、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化していると判定すると、変化検出期間T中に電波画像の変化点がある旨を示す情報を外部に出力する。また、判定部19は、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化していると判定すると、変化検出期間T中に電波画像の変化点がある旨を示す情報を外部に出力する。
判定部19は、検出対象画像3が比較対象画像2から変化しているか否かを示す判定結果を変化度算出部18及び画像生成部1のそれぞれに出力する。
また、判定部19は、例えば、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化していないと判定すると、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化していない旨を示す判定結果を部分空間更新部20に出力する。
図1に示す画像変化検出装置4では、判定部19が変化度c(t)等と閾値θとを比較することで、検出対象画像3が比較対象画像2から変化しているか否かを判定している。しかし、これは一例に過ぎず、判定部19は、例えば、変化度c(t)等の微分値と閾値とを比較することで、検出対象画像3が比較対象画像2から変化しているか否かを判定するようにしてもよい。
部分空間更新部20は、例えば、図2に示す部分空間更新回路39によって実現される。
部分空間更新部20は、判定部19により、例えば、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化していないと判定されると、第2の部分空間span(U)に近づくように第1の部分空間span(U)を回転させることによって、第1の部分空間span(U)を更新する。
部分空間更新部20は、更新後の第1の部分空間span(U)を、第1の部分空間span(U’)として、変化度算出部18に出力する。
部分空間更新部20は、判定部19により、例えば、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化していると判定されると、第1の部分空間span(U)の更新を行わない。
図1では、画像変化検出装置4の構成要素である比較対象行列生成部12、第1のベクトル算出部13、第1の空間生成処理部14、検出対象行列生成部15、第2のベクトル算出部16、第2の空間生成処理部17、変化度算出部18、判定部19及び部分空間更新部20のそれぞれが、図2に示すような専用のハードウェアによって実現されるものを想定している。即ち、画像変化検出装置4が、比較対象行列生成回路31、第1のベクトル算出回路32、第1の空間生成処理回路33、検出対象行列生成回路34、第2のベクトル算出回路35、第2の空間生成処理回路36、変化度算出回路37、判定回路38及び部分空間更新回路39によって実現されるものを想定している。
ここで、比較対象行列生成回路31、第1のベクトル算出回路32、第1の空間生成処理回路33、検出対象行列生成回路34、第2のベクトル算出回路35、第2の空間生成処理回路36、変化度算出回路37、判定回路38及び部分空間更新回路39のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)、又は、これらを組み合わせたものが該当する。
画像変化検出装置4の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、画像変化検出装置4が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
ソフトウェア又はファームウェアは、プログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、CPU(Central Processing Unit)、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、あるいは、DSP(Digital Signal Processor)が該当する。
図3は、画像変化検出装置4が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。
画像変化検出装置4が、ソフトウェア又はファームウェア等によって実現される場合、比較対象行列生成部12、第1のベクトル算出部13、第1の空間生成処理部14、検出対象行列生成部15、第2のベクトル算出部16、第2の空間生成処理部17、変化度算出部18、判定部19及び部分空間更新部20の処理手順をコンピュータに実行させるためのプログラムがメモリ41に格納される。そして、コンピュータのプロセッサ42がメモリ41に格納されているプログラムを実行する。
また、図2では、画像変化検出装置4の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図3では、画像変化検出装置4がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、画像変化検出装置4における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
次に、図1に示す画像変化検出装置4の動作について説明する。
図4は、画像変化検出装置4の処理手順である画像変化検出方法を示すフローチャートである。
図5は、レーダの観測電波に基づいて生成された電波画像の一例を示す説明図である。
図5に示す電波画像は、例えば、プロペラ式の小型ドローンにより得られた電波がマイクロドップラースペクトルグラムとして可視化されている画像である。
図5において、横軸は、時刻を示し、縦軸は、周波数を示している。
例えば、縦軸の中心付近において、横軸方向に延びている赤色の画素は、振幅が大きい画素であり、青色に近い画素ほど、振幅が小さい画素である。
図5に示す電波画像を構成している複数の画素のうち、目標を表している画素は、目標を表していない画素と比べて、振幅の時間的な変化が大きい。
図5に示す電波画像のうち、青色から赤色に急激に変化し、赤色から青色に急激に変化している範囲内の画素群は、目標を表している。
画像生成部1は、レーダの観測電波に基づいて、図5に示すような電波画像を生成する。
画像生成部1は、生成した電波画像のうち、比較対象期間Tの電波画像を比較対象画像2(図6を参照)として、部分空間生成部11の比較対象行列生成部12に出力する。
画像生成部1は、生成した電波画像のうち、変化検出期間Tの電波画像を検出対象画像3(図6を参照)として、部分空間生成部11の検出対象行列生成部15に出力する。
図6は、部分空間生成部11による第1の部分空間span(U)及び第2の部分空間span(U)の生成処理を示す説明図である。
図6では、便宜上、第1の部分空間span(U)及び第2の部分空間span(U)のそれぞれを円錐の形で表現している。実際には、第1の部分空間span(U)は、比較対象行列Uに対する複数の左特異ベクトルLSVの集合が張る部分空間である。また、第2の部分空間span(U)は、検出対象行列Uに対する複数の左特異ベクトルLSVの集合が張る部分空間である。
第1の部分空間span(U)及び第2の部分空間span(U)のそれぞれを含む全体の空間Rは、半球で表現している。
比較対象行列生成部12は、画像生成部1から比較対象期間Tの比較対象画像2を受けると、比較対象期間Tの比較対象画像2を示す比較対象行列Uを生成する(図4のステップST1)。
比較対象画像2が、例えば、(x×y)個の画素値を有する2次元画像であれば、比較対象行列生成部12は、比較対象行列Uとして、x個の行方向の要素を有し、y個の列方向の要素を有する行列を生成する。x及びyのそれぞれは、1以上の整数である。
比較対象行列生成部12は、比較対象行列Uを第1のベクトル算出部13に出力する。
第1のベクトル算出部13は、比較対象行列生成部12から比較対象行列Uを受けると、比較対象行列Uに対する特異値分解を行うことで、比較対象画像2の左特異ベクトルLSVを算出する(図4のステップST2)。
比較対象行列Uに対する特異値分解を行うことによる左特異ベクトルLSVの算出処理自体は、公知の技術であるため詳細な説明を省略する。
第1のベクトル算出部13により算出される左特異ベクトルLSVの最大数は、比較対象行列Uのランクによって決まる。第1のベクトル算出部13は、任意の数だけ、左特異ベクトルLSVを算出すればよい。任意の数は、第1のベクトル算出部13の内部メモリに格納されていてもよいし、外部から与えられるものであってもよい。
あるいは、第1のベクトル算出部13は、算出可能な複数の左特異ベクトルLSVの中から、特異値の累積寄与率が、或る閾値よりも大きい左特異ベクトルLSVを選択するようにしてもよい。
第1のベクトル算出部13は、算出した左特異ベクトルLSVを第1の空間生成処理部14に出力する。
第1の空間生成処理部14は、第1のベクトル算出部13から左特異ベクトルLSVを受けると、左特異ベクトルLSVを基底とする第1の部分空間span(U)を生成する(図4のステップST3)。
第1の部分空間span(U)は、比較対象画像2における複数の左特異ベクトルLSVのうち、比較対象行列Uに対する特異値が大きい上位n本の左特異ベクトルLSVの集合が張る部分空間である。nは、2以上の整数である。なお、比較対象画像2における複数の左特異ベクトルLSVは、互いに直交しており、ノルムが1であるため、第1の部分空間span(U)の基底は、正規直交基底である。
第1の空間生成処理部14は、第1の部分空間span(U)を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
検出対象行列生成部15は、画像生成部1から変化検出期間Tの検出対象画像3を受けると、検出対象画像3を示す検出対象行列Uを生成する(図4のステップST4)。
検出対象画像3が、例えば、(x×y)個の画素値を有する2次元画像であれば、検出対象行列生成部15は、検出対象行列Uとして、x個の行方向の要素を有し、y個の列方向の要素を有する行列を生成する。x及びyのそれぞれは、1以上の整数である。
図1に示す画像変化検出装置4では、x>x、y=yである。
検出対象行列生成部15は、検出対象行列Uを第2のベクトル算出部16に出力する。
第2のベクトル算出部16は、検出対象行列生成部15から検出対象行列Uを受けると、検出対象行列Uに対する特異値分解を行うことで、検出対象画像3の左特異ベクトルLSVを算出する(図4のステップST5)。
検出対象行列Uに対する特異値分解を行うことによる左特異ベクトルLSVの算出処理自体は、公知の技術であるため詳細な説明を省略する。
第2のベクトル算出部16により算出される左特異ベクトルLSVの最大数は、検出対象行列Uのランクによって決まる。第2のベクトル算出部16は、任意の数だけ、左特異ベクトルLSVを算出すればよい。任意の数は、第2のベクトル算出部16の内部メモリに格納されていてもよいし、外部から与えられるものであってもよい。
あるいは、第2のベクトル算出部16は、算出可能な複数の左特異ベクトルLSVの中から、特異値の累積寄与率が、或る閾値よりも大きい左特異ベクトルLSVを選択するようにしてもよい。
第2のベクトル算出部16は、算出した左特異ベクトルLSVを第2の空間生成処理部17に出力する。
第2の空間生成処理部17は、第2のベクトル算出部16から左特異ベクトルLSVを受けると、左特異ベクトルLSVを基底とする第2の部分空間span(U)を生成する(図4のステップST6)。
第2の部分空間span(U)は、検出対象画像3における複数の左特異ベクトルLSVのうち、検出対象行列Uに対する特異値が大きい上位m本の左特異ベクトルLSVの集合が張る部分空間である。mは、2以上の整数である。なお、検出対象画像3における複数の左特異ベクトルLSVは、互いに直交しており、ノルムが1であるため、第2の部分空間span(U)の基底は、正規直交基底である。
第2の空間生成処理部17は、第2の部分空間span(U)を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
変化度算出部18は、第1の空間生成処理部14から出力された第1の部分空間span(U)と、第2の空間生成処理部17から出力された第2の部分空間span(U)とを取得する。
変化度算出部18は、第1の部分空間span(U)と第2の部分空間span(U)との変化度c(t)を算出する(図4のステップST7)。
変化度c(t)は、第1の部分空間span(U)と第2の部分空間span(U)との距離(図6を参照)に相当する。変化度c(t)は、以下の式(1)のように表される。

Figure 0006976496

Figure 0006976496
変化度算出部18は、変化度c(t)を判定部19に出力する。
判定部19は、変化度算出部18により算出された変化度c(t)と閾値θとを比較する。
判定部19は、変化度c(t)が閾値θ以上であれば(図4のステップST8:YESの場合)、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化していると判定する(図4のステップST9)。
判定部19は、変化していると判定すると、変化検出期間T中に電波画像の変化点がある旨を示す情報を外部に出力する。
判定部19は、変化度c(t)が閾値θ未満であれば(図4のステップST8:NOの場合)、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化していないと判定する(図4のステップST10)。
判定部19は、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化しているか否かを示す判定結果を変化度算出部18及び画像生成部1のそれぞれに出力する。
判定部19は、変化していないと判定すると、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化していない旨を示す判定結果を部分空間更新部20に出力する。
画像生成部1は、判定部19から出力された判定結果が、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化している旨を示していれば、比較対象期間Tの比較対象画像2を比較対象行列生成部12に出力し、変化検出期間Tの検出対象画像3を検出対象行列生成部15に出力する。
画像生成部1は、判定部19から出力された判定結果が、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化していない旨を示していれば、比較対象期間Tの比較対象画像2を比較対象行列生成部12に出力せずに、変化検出期間Tの検出対象画像3を検出対象行列生成部15に出力する。
図7は、比較対象期間T,T,Tの比較対象画像2及び変化検出期間T,T,Tの検出対象画像3を示す説明図である。
ここでは説明の便宜上、判定部19から出力された判定結果が、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化していない旨を示しているものとする。したがって、画像生成部1は、比較対象期間Tの比較対象画像2を比較対象行列生成部12に出力せずに、変化検出期間Tの検出対象画像3を検出対象行列生成部15に出力する。
部分空間更新部20は、判定部19から、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化していない旨を示す判定結果を受けると、第1の部分空間span(U)を更新する(図4のステップST11)。
即ち、部分空間更新部20は、第1の部分空間生成処理部14から出力された第1の部分空間span(U)を取得し、第2の部分空間生成処理部17から出力された第2の部分空間span(U)を取得する。
部分空間更新部20は、第2の部分空間span(U)に近づくように第1の部分空間span(U)を回転させることによって、第1の部分空間span(U)を更新する。
判定部19が既に2回以上判定を行っている場合、部分空間更新部20は、判定部19から今回の判定結果を受ける前に、前回の判定結果を受けていることがある。部分空間更新部20は、判定部19から出力された前回の判定結果が変化していない旨を示しているために、既に第1の部分空間span(U)を更新している場合、第1の部分空間生成処理部14から出力された第1の部分空間span(U)の代わりに、更新後の第1の部分空間span(U)を更に更新する。
以下の式(2)は、第1の部分空間span(U)に係る比較対象行列Uの更新式である。式(2)は、第1の部分空間span(U)に係る比較対象行列Uと、第2の部分空間span(U)に係る検出対象行列Uと、更新後の第1の部分空間span(U)である第1の部分空間span(U’)に係る比較対象行列U’との関係を示している。

Figure 0006976496

式(2)において、μは、回転係数、Iは、単位行列である。
orth()は、正規直交化を行う関数である。正規直交化としては、例えば、グラムシュミットの直交化法を用いることができる。
部分空間更新部20は、更新後の第1の部分空間span(U)を、第1の部分空間span(U’)として、変化度算出部18に出力する。
図8は、部分空間更新部20による第1の部分空間span(U)の更新処理を示す説明図である。
図8では、部分空間更新部20が、第2の部分空間span(U)に近づくように第1の部分空間span(U)を回転させている。
第2の部分空間span(U)に近づくように、第1の部分空間span(U)が回転されることで、第2の部分空間span(U)が有する情報が、第1の部分空間span(U’)に反映されるようになる。したがって、第1の部分空間span(U’)は、比較対象期間Tに係る第1の部分空間span(U)と類似している部分空間となる。比較対象期間Tに係る第1の部分空間span(U)は、部分空間生成部11によって、比較対象期間Tの比較対象画像2から生成されたと仮定した場合の部分空間である。
検出対象行列生成部15は、画像生成部1から変化検出期間Tの検出対象画像3を受けると、検出対象画像3を示す検出対象行列Uを生成し、検出対象行列Uを第2のベクトル算出部16に出力する(図4のステップST4)。
第2のベクトル算出部16は、検出対象行列生成部15から検出対象行列Uを受けると、検出対象行列Uに対する特異値分解を行うことで、検出対象画像3の左特異ベクトルLSVを算出する(図4のステップST5)。
第2のベクトル算出部16は、算出した左特異ベクトルLSVを第2の空間生成処理部17に出力する。
第2の空間生成処理部17は、第2のベクトル算出部16から左特異ベクトルLSVを受けると、左特異ベクトルLSVを基底とする第2の部分空間span(U)を生成する(図4のステップST6)。
第2の部分空間span(U)は、検出対象画像3における複数の左特異ベクトルLSVのうち、検出対象行列Uに対する特異値が大きい上位m本の左特異ベクトルLSVの集合が張る部分空間である。
第2の空間生成処理部17は、第2の部分空間span(U)を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
変化度算出部18は、部分空間更新部20から出力された更新後の第1の部分空間span(U)である第1の部分空間span(U’)と、第2の空間生成処理部17から出力された第2の部分空間span(U)とを取得する。
変化度算出部18は、第1の部分空間span(U’)と第2の部分空間span(U)との変化度c(t)を算出する(図4のステップST7)。
変化度c(t)は、第1の部分空間span(U’)と第2の部分空間span(U)との距離に相当する。変化度c(t)は、以下の式(3)のように表される。

Figure 0006976496

変化度算出部18は、変化度c(t)を判定部19に出力する。
判定部19は、変化度算出部18により算出された変化度c(t)と閾値θとを比較する。
判定部19は、変化度c(t)が閾値θ以上であれば(図4のステップST8:YESの場合)、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化していると判定する(図4のステップST9)。
判定部19は、変化していると判定すると、変化検出期間T中に電波画像の変化点がある旨を示す情報を外部に出力する。
判定部19は、変化度c(t)が閾値θ未満であれば(図4のステップST8:NOの場合)、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化していないと判定する(図4のステップST10)。
判定部19は、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化しているか否かを示す判定結果を変化度算出部18及び画像生成部1のそれぞれに出力する。
判定部19は、変化していないと判定すると、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化していない旨を示す判定結果を部分空間更新部20に出力する。
画像生成部1は、判定部19から出力された判定結果が、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化している旨を示していれば、比較対象期間Tの比較対象画像2を比較対象行列生成部12に出力し、変化検出期間Tの検出対象画像3を検出対象行列生成部15に出力する。
画像生成部1は、判定部19から出力された判定結果が、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化していない旨を示していれば、比較対象期間Tの比較対象画像2を比較対象行列生成部12に出力せずに、変化検出期間Tの検出対象画像3を検出対象行列生成部15に出力する。
ここでは説明の便宜上、判定部19から出力された判定結果が、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化している旨を示しているものとする。したがって、画像生成部1は、比較対象期間Tの比較対象画像2を比較対象行列生成部12に出力し、変化検出期間Tの検出対象画像3を検出対象行列生成部15に出力する。
比較対象行列生成部12は、画像生成部1から比較対象期間Tの比較対象画像2を受けると、比較対象期間Tの比較対象画像2を示す比較対象行列Uを生成し、比較対象行列Uを第1のベクトル算出部13に出力する(図4のステップST1)。
第1のベクトル算出部13は、比較対象行列生成部12から比較対象行列Uを受けると、比較対象行列Uに対する特異値分解を行うことで、比較対象画像2の左特異ベクトルLSVを算出する(図4のステップST2)。
第1のベクトル算出部13は、算出した左特異ベクトルLSVを第1の空間生成処理部14に出力する。
第1の空間生成処理部14は、第1のベクトル算出部13から左特異ベクトルLSVを受けると、左特異ベクトルLSVを基底とする第1の部分空間span(U)を生成する(図4のステップST3)。
第1の部分空間span(U)は、比較対象画像2における複数の左特異ベクトルLSVのうち、比較対象行列Uに対する特異値が大きい上位n本の左特異ベクトルLSVの集合が張る部分空間である。
第1の空間生成処理部14は、第1の部分空間span(U)を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
検出対象行列生成部15は、画像生成部1から変化検出期間Tの検出対象画像3を受けると、検出対象画像3を示す検出対象行列Uを第2のベクトル算出部16に出力する(図4のステップST4)。
第2のベクトル算出部16は、検出対象行列生成部15から検出対象行列Uを受けると、検出対象行列Uに対する特異値分解を行うことで、検出対象画像3の左特異ベクトルLSVを算出する(図4のステップST5)。
第2のベクトル算出部16は、算出した左特異ベクトルLSVを第2の空間生成処理部17に出力する。
第2の空間生成処理部17は、第2のベクトル算出部16から左特異ベクトルLSVを受けると、左特異ベクトルLSVを基底とする第2の部分空間span(U)を生成する(図4のステップST6)。
第2の部分空間span(U)は、検出対象画像3における複数の左特異ベクトルLSVのうち、検出対象行列Uに対する特異値が大きい上位m本の左特異ベクトルLSVの集合が張る部分空間である。
第2の空間生成処理部17は、第2の部分空間span(U)を変化度算出部18及び部分空間更新部21のそれぞれに出力する。
変化度算出部18は、第1の空間生成処理部14から出力された第1の部分空間span(U)と、第2の空間生成処理部17から出力された第2の部分空間span(U)とを取得する。
変化度算出部18は、第1の部分空間span(U)と第2の部分空間span(U)との変化度c(t)を算出する(図4のステップST7)。
変化度c(t)は、第1の部分空間span(U)と第2の部分空間span(U)との距離に相当する。変化度c(t)は、以下の式(4)のように表される。

Figure 0006976496

変化度算出部18は、変化度c(t)を判定部19に出力する。
判定部19は、変化度算出部18により算出された変化度c(t)と閾値θとを比較する。
判定部19は、変化度c(t)が閾値θ以上であれば(図4のステップST8:YESの場合)、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化していると判定する(図4のステップST9)。
判定部19は、変化していると判定すると、変化検出期間T中に電波画像の変化点がある旨を示す情報を外部に出力する。
判定部19は、変化度c(t)が閾値θ未満であれば(図4のステップST8:NOの場合)、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化していないと判定する(図4のステップST10)。
判定部19は、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化しているか否かを示す判定結果を変化度算出部18及び画像生成部1のそれぞれに出力する。
判定部19は、変化していないと判定すると、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化していない旨を示す判定結果を部分空間更新部20に出力する。
図1に示す画像変化検出装置4は、画像生成部1から検出対象画像3が出力されなくなるまで、図4に示す処理手順を実行する。
以上の実施の形態1では、判定部19により変化していないと判定されると、第2の部分空間に近づくように第1の部分空間を回転させることによって、第1の部分空間を更新する部分空間更新部20を備え、変化度算出部18が、判定部19により変化していないと判定されると、部分空間更新部20による更新後の第1の部分空間と、変化検出期間の次の変化検出期間の画像の左特異ベクトルを基底とする第2の部分空間との変化度を算出するように、画像変化検出装置4を構成した。したがって、画像変化検出装置4は、或る変化検出期間の画像が、比較対象期間の画像から変化していなければ、当該比較対象期間の次の比較対象期間の画像については特異値分解することなく、或る変化検出期間の次の変化検出期間の画像が、当該比較対象期間の次の比較対象期間の画像から変化しているか否かを判定することができる。
実施の形態2.
実施の形態2では、部分空間更新部21が、変化度算出部18により算出された変化度が大きいほど、第1の部分空間を大きく回転させることによって、第1の部分空間を更新する画像変化検出装置4について説明する。
図9は、実施の形態2に係る画像変化検出装置4を示す構成図である。
図10は、実施の形態2に係る画像変化検出装置4のハードウェアを示すハードウェア構成図である。
図9及び図10において、図1及び図2と同一符号は同一又は相当部分を示すので詳細な説明を省略する。
部分空間更新部21は、例えば、図10に示す部分空間更新回路40によって実現される。
部分空間更新部21は、判定部19により、例えば、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化していないと判定されると、図1に示す部分空間更新部20と同様に、第2の部分空間span(U)に近づくように第1の部分空間span(U)を回転させることによって、第1の部分空間span(U)を更新する。
ただし、部分空間更新部21は、図1に示す部分空間更新部20と異なり、変化度算出部18により算出された変化度c(t)が大きいほど、第1の部分空間span(U)を大きく回転させることによって、第1の部分空間span(U)を更新する。
部分空間更新部21は、更新後の第1の部分空間span(U)を、第1の部分空間span(U’)として、変化度算出部18に出力する。
図9では、画像変化検出装置4の構成要素である比較対象行列生成部12、第1のベクトル算出部13、第1の空間生成処理部14、検出対象行列生成部15、第2のベクトル算出部16、第2の空間生成処理部17、変化度算出部18、判定部19及び部分空間更新部21のそれぞれが、図10に示すような専用のハードウェアによって実現されるものを想定している。即ち、画像変化検出装置4が、比較対象行列生成回路31、第1のベクトル算出回路32、第1の空間生成処理回路33、検出対象行列生成回路34、第2のベクトル算出回路35、第2の空間生成処理回路36、変化度算出回路37、判定回路38及び部分空間更新回路40によって実現されるものを想定している。
部分空間更新回路40は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC、FPGA、又は、これらを組み合わせたものが該当する。
画像変化検出装置4の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、画像変化検出装置4が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
画像変化検出装置4が、ソフトウェア又はファームウェア等によって実現される場合、比較対象行列生成部12、第1のベクトル算出部13、第1の空間生成処理部14、検出対象行列生成部15、第2のベクトル算出部16、第2の空間生成処理部17、変化度算出部18、判定部19及び部分空間更新部21の処理手順をコンピュータに実行させるためのプログラムが、図3に示すメモリ41に格納される。そして、図3に示すプロセッサ42がメモリ41に格納されているプログラムを実行する。
また、図9では、画像変化検出装置4の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図3では、画像変化検出装置4がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、画像変化検出装置4における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
次に、図9に示す画像変化検出装置4の動作について説明する。
部分空間更新部21以外は、図1に示す画像変化検出装置4と同様であるため、ここでは、主に、部分空間更新部21の動作を説明する。
変化度算出部18は、実施の形態1と同様に、例えば、第1の部分空間span(U)と第2の部分空間span(U)との変化度c(t)を算出する。
変化度算出部18は、変化度c(t)を判定部19及び部分空間更新部21のそれぞれに出力する。
部分空間更新部21は、判定部19から、例えば、変化検出期間Tの検出対象画像3が、比較対象期間Tの比較対象画像2から変化していない旨を示す判定結果を受けると、図1に示す部分空間更新部20と同様に、第1の部分空間span(U)を更新する。
ただし、部分空間更新部21は、図1に示す部分空間更新部20と異なり、変化度算出部18により算出された変化度c(t)に基づいて、式(2)に含まれている回転係数μを算出する。回転係数μは、変化度算出部18により算出された変化度c(t)が大きいほど、第1の部分空間span(U)を大きく回転させるための係数である。
したがって、部分空間更新部21は、図1に示す部分空間更新部20と異なり、変化度算出部18により算出された変化度c(t)が大きいほど、第1の部分空間span(U)を大きく回転させることによって、第1の部分空間span(U)を更新する。
なお、第1の部分空間span(U)の最大の回転は、第2の部分空間span(U)と重なる位置までの回転である。部分空間更新部21は、更新後の第1の部分空間span(U)である第1の部分空間span(U’)が、第1の部分空間span(U)と第2の部分空間span(U)との間に存在するように、第1の部分空間span(U)を回転させる。
部分空間更新部21は、以下の式(5)に示すように、回転係数μを算出する。

Figure 0006976496
式(5)に示す回転係数μは、図11に示すように、第2の部分空間span(U)に対する第1の部分空間span(U)の射影長Lと、直交補空間span(U1/2)に対する第1の部分空間span(U)の射影長Lとの比によって算出されるものである。

Figure 0006976496

図11は、第2の部分空間span(U)に対する第1の部分空間span(U)の射影長Lと、直交補空間span(U1/2)に対する第1の部分空間span(U)の射影長Lとを示す説明図である。
以上の実施の形態2では、部分空間更新部21が、変化度算出部18により算出された変化度が大きいほど、第1の部分空間を大きく回転させることによって、第1の部分空間を更新するように、図9に示す画像変化検出装置4を構成した。したがって、図9に示す画像変化検出装置4は、図1に示す画像変化検出装置4よりも、更新後の第1の部分空間を、第1の空間生成処理部14により生成される第1の部分空間に近づけることができる。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
この発明は、画像が変化しているか否かを判定する画像変化検出装置及び画像変化検出方法に適している。
1 画像生成部、2 比較対象画像、3 検出対象画像、4 画像変化検出装置、11 部分空間生成部、12 比較対象行列生成部、13 第1のベクトル算出部、14 第1の空間生成処理部、15 検出対象行列生成部、16 第2のベクトル算出部、17 第2の空間生成処理部、18 変化度算出部、19 判定部、20,21 部分空間更新部、31 比較対象行列生成回路、32 第1のベクトル算出回路、33 第1の空間生成処理回路、34 検出対象行列生成回路、35 第2のベクトル算出回路、36 第2の空間生成処理回路、37 変化度算出回路、38 判定回路、39,40 部分空間更新回路。

Claims (6)

  1. レーダの観測電波に基づいて生成された画像のうち、比較対象期間の画像の左特異ベクトルを基底とする第1の部分空間と、前記比較対象期間と異なる期間である変化検出期間の画像の左特異ベクトルを基底とする第2の部分空間とを受けると、前記第1の部分空間と前記第2の部分空間との変化度を算出する変化度算出部と、
    前記変化度算出部により算出された変化度に基づいて、前記変化検出期間の画像が、前記比較対象期間の画像から変化しているか否かを判定する判定部と、
    前記判定部により変化していないと判定されると、前記第2の部分空間に近づくように前記第1の部分空間を回転させることによって、前記第1の部分空間を更新する部分空間更新部とを備え、
    前記変化度算出部は、前記判定部により変化していないと判定されると、前記部分空間更新部による更新後の第1の部分空間と、前記変化検出期間の次の変化検出期間の画像の左特異ベクトルを基底とする第2の部分空間との変化度を算出し、
    前記判定部は、前記変化度算出部により算出された変化度が閾値以上であれば、前記変化検出期間の画像が、前記比較対象期間の画像から変化していると判定し、前記変化度が前記閾値未満であれば、前記変化検出期間の画像が、前記比較対象期間の画像から変化していないと判定する
    ことを特徴とする画像変化検出装置。
  2. 前記変化度算出部は、前記判定部により変化していると判定されると、前記比較対象期間の次の比較対象期間であって前記比較対象期間と異なる期間である変化検出期間に引き続く前記次の比較対象期間の画像の左特異ベクトルを基底とする第1の部分空間であって前記更新後の第1の部分空間と相違する前記第1の部分空間と、前記変化検出期間の次の変化検出期間の画像の左特異ベクトルを基底とする第2の部分空間との変化度を算出することを特徴とする請求項1記載の画像変化検出装置。
  3. 前記部分空間更新部は、前記変化度算出部により算出された変化度が大きいほど、前記第1の部分空間を大きく回転させることによって、前記第1の部分空間を更新することを特徴とする請求項1記載の画像変化検出装置。
  4. 前記変化検出期間の次の変化検出期間の画像の左特異ベクトルを算出して、算出した左特異ベクトルを基底とする第2の部分空間を生成し、生成した第2の部分空間を前記変化度算出部に出力する部分空間生成部を備えたことを特徴とする請求項1記載の画像変化検出装置。
  5. 前記部分空間生成部は、前記判定部により変化していると判定されると、前記比較対象期間の次の比較対象期間であって前記比較対象期間と異なる期間である変化検出期間に引き続く前記次の比較対象期間の画像の左特異ベクトルを算出して、算出した左特異ベクトルを基底とする第1の部分空間を生成し、生成した第1の部分空間を前記変化度算出部に出力することを特徴とする請求項記載の画像変化検出装置。
  6. レーダの観測電波に基づいて生成された画像のうち、比較対象期間の画像の左特異ベクトルを基底とする第1の部分空間と、前記比較対象期間と異なる期間である変化検出期間の画像の左特異ベクトルを基底とする第2の部分空間とを受けると、変化度算出部が、前記第1の部分空間と前記第2の部分空間との変化度を算出し、
    判定部が、前記変化度算出部により算出された変化度に基づいて、前記変化検出期間の画像が、前記比較対象期間の画像から変化しているか否かを判定し、
    部分空間更新部が、前記判定部により変化していないと判定されると、前記第2の部分空間に近づくように前記第1の部分空間を回転させることによって、前記第1の部分空間を更新し、
    前記変化度算出部は、前記判定部により変化していないと判定されると、前記部分空間更新部による更新後の第1の部分空間と、前記変化検出期間の次の変化検出期間の画像の左特異ベクトルを基底とする第2の部分空間との変化度を算出し、
    前記判定部は、前記変化度算出部により算出された変化度が閾値以上であれば、前記変化検出期間の画像が、前記比較対象期間の画像から変化していると判定し、前記変化度が前記閾値未満であれば、前記変化検出期間の画像が、前記比較対象期間の画像から変化していないと判定する
    することを特徴とする画像変化検出方法。
JP2021539712A 2019-08-09 2019-08-09 画像変化検出装置及び画像変化検出方法 Active JP6976496B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/031690 WO2021028978A1 (ja) 2019-08-09 2019-08-09 画像変化検出装置及び画像変化検出方法

Publications (2)

Publication Number Publication Date
JPWO2021028978A1 JPWO2021028978A1 (ja) 2021-10-21
JP6976496B2 true JP6976496B2 (ja) 2021-12-08

Family

ID=74569444

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021539712A Active JP6976496B2 (ja) 2019-08-09 2019-08-09 画像変化検出装置及び画像変化検出方法

Country Status (5)

Country Link
US (1) US11983888B2 (ja)
EP (1) EP4006583A4 (ja)
JP (1) JP6976496B2 (ja)
CA (1) CA3145696A1 (ja)
WO (1) WO2021028978A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113093135B (zh) * 2021-03-23 2023-05-26 南京邮电大学 基于f范数归一化距离的目标检测方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5245587A (en) * 1990-12-14 1993-09-14 Hutson William H Multi-dimensional signal processing and display
US6178261B1 (en) * 1997-08-05 2001-01-23 The Regents Of The University Of Michigan Method and system for extracting features in a pattern recognition system
US6466685B1 (en) * 1998-07-14 2002-10-15 Kabushiki Kaisha Toshiba Pattern recognition apparatus and method
US7412098B2 (en) * 2004-09-02 2008-08-12 Mitsubishi Electric Research Laboratories, Inc. Method for generating a low-dimensional representation of high-dimensional data
JP4953239B2 (ja) * 2006-12-11 2012-06-13 インターナショナル・ビジネス・マシーンズ・コーポレーション 観測対象の異常を検出する技術
US7917540B2 (en) * 2007-02-22 2011-03-29 Colorado State University Research Foundation Nonlinear set to set pattern recognition
JP4769983B2 (ja) * 2007-05-17 2011-09-07 独立行政法人産業技術総合研究所 異常検出装置および異常検出方法
US8620093B2 (en) * 2010-03-15 2013-12-31 The United States Of America As Represented By The Secretary Of The Army Method and system for image registration and change detection
CN103400383A (zh) * 2013-07-22 2013-11-20 西安电子科技大学 基于nsct和压缩投影的sar图像变化检测方法
US9449372B2 (en) * 2013-08-22 2016-09-20 Bae Systems Information And Electronic Systems Integration Inc. Dust removal technology for driver vision leverage
US10545232B2 (en) * 2016-08-24 2020-01-28 Mitsubishi Electric Research Laboratories, Inc. System and method for radar imaging using distributed moving platforms under unknown position perturbations

Also Published As

Publication number Publication date
US20220122270A1 (en) 2022-04-21
EP4006583A4 (en) 2022-07-20
CA3145696A1 (en) 2021-02-18
JPWO2021028978A1 (ja) 2021-10-21
US11983888B2 (en) 2024-05-14
WO2021028978A1 (ja) 2021-02-18
EP4006583A1 (en) 2022-06-01

Similar Documents

Publication Publication Date Title
JP6636828B2 (ja) 監視システム、監視方法、および監視プログラム
JP6405891B2 (ja) 位置・姿勢推定装置、位置・姿勢推定方法、及び、プログラム
JP2020003379A (ja) データ生成装置、画像識別装置、データ生成方法及びプログラム
WO2018139461A1 (ja) 移動物体検出装置、移動物体検出方法及び記憶媒体
JP5523298B2 (ja) 目標類識別装置
JP6594170B2 (ja) 画像処理装置、画像処理方法、画像投影システムおよびプログラム
US9940700B2 (en) Information processing apparatus, information processing method, information processing system, and non-transitory computer readable medium
JP6976496B2 (ja) 画像変化検出装置及び画像変化検出方法
JP5679406B2 (ja) 目標物速度特定装置、目標物速度特定プログラム及び目標物速度特定方法
JP6667676B2 (ja) 超音波撮像システム、超音波撮像装置、超音波撮像方法、及び画像合成プログラム
JP2022525526A5 (ja)
WO2010023982A1 (ja) 動きベクトル検出装置および画像処理装置
US10765297B2 (en) Image processing apparatus, image processing method, and computer readable recording medium
JP4560023B2 (ja) 画像マッチング装置、画像マッチングプログラム及び画像マッチング方法
JP7186816B2 (ja) レーダ装置、信号処理装置、および信号処理方法
US11734835B2 (en) Image processing apparatus, image processing method, and program
US11978182B2 (en) Image processing apparatus, image processing method, and program
EP4310784A1 (en) Image processing apparatus, image processing method, and program
US12620111B2 (en) Image processing apparatus, image processing method, and storage medium
JP2018180964A (ja) 画像処理装置及び画像処理方法
JPWO2014142088A1 (ja) レーダー装置
JP2001268431A (ja) 補正画像生成装置,補正画像生成方法,補正画像生成用プログラム記録媒体および補正画像生成用プログラム
JP7643596B2 (ja) 教師データ生成装置、教師データ生成方法、およびプログラム
US12322116B2 (en) Video magnification using anisotropy measure for noise reduction
JP5701816B2 (ja) 画像処理装置、画像処理プログラム及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210720

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211109

R150 Certificate of patent or registration of utility model

Ref document number: 6976496

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250