Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6964786B2 - レーダー作動のための自動カメラ駆動型航空機制御 - Google Patents
[go: Go Back, main page]

JP6964786B2 - レーダー作動のための自動カメラ駆動型航空機制御 - Google Patents

レーダー作動のための自動カメラ駆動型航空機制御 Download PDF

Info

Publication number
JP6964786B2
JP6964786B2 JP2020538995A JP2020538995A JP6964786B2 JP 6964786 B2 JP6964786 B2 JP 6964786B2 JP 2020538995 A JP2020538995 A JP 2020538995A JP 2020538995 A JP2020538995 A JP 2020538995A JP 6964786 B2 JP6964786 B2 JP 6964786B2
Authority
JP
Japan
Prior art keywords
interest
radar
control unit
region
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2020538995A
Other languages
English (en)
Other versions
JP2021508893A (ja
Inventor
サバト,モシェ
Original Assignee
イスラエル エアロスペース インダストリーズ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by イスラエル エアロスペース インダストリーズ リミテッド filed Critical イスラエル エアロスペース インダストリーズ リミテッド
Publication of JP2021508893A publication Critical patent/JP2021508893A/ja
Application granted granted Critical
Publication of JP6964786B2 publication Critical patent/JP6964786B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021SAR image post-processing techniques
    • G01S13/9029SAR image post-processing techniques specially adapted for moving target detection within a single SAR image or within multiple SAR images taken at the same time
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/25Fixed-wing aircraft
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/904SAR modes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/904SAR modes
    • G01S13/9056Scan SAR mode
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/91Radar or analogous systems specially adapted for specific applications for traffic control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Description

本開示の主題は、空中データ取得システムの分野に関する。
無人航空機(UAV、ドローン、遠隔操縦航空機(RPA)または遠隔操縦航空機システム(RPAS)としても知られる)は、対象物の調査および遠隔観測と追跡のための航空システムとして利用されることがある。この目的のために、UAVには、ある種のデータ取得デバイス(たとえば、電気光学撮像デバイス(カメラ)、レーダーなど)を含む感知サブシステムが装備されている。データ取得デバイスは、現場を調査して検出データを収集し、調査した現場の画像を生成するために使用される。
生成された検出データおよび/または画像は、通信リンクを介して制御ユニットに送信することができ、画像はオペレータが確認できるように表示デバイス上に表示される。制御ユニットは、たとえば、ロックおよび追跡コマンド、ズームインコマンド、センタリングコマンドなどの異なる種類のコマンドを含むユーザー入力を可能にする。コマンドは、たとえば、調査現場にある対象物をロックおよび追跡する感知サブシステムにおいて実行される。
航空機搭載データ感知サブシステムで使用できるレーダーの1つに、合成開口レーダー(SAR)がある。UAVなどの航空プラットフォームに搭載されたSARは、調査エリアの画像を提供する。SARは、レーダー送信間のプラットフォームの動きを利用しながら、連続するレーダー送信エコーのデータを合成することが可能な信号処理アルゴリズムに基づいて動作する。このプロセスによって、合成アンテナ開口が形成され、既知の物理アンテナを使用した場合よりも高解像度の画像を作成することができる。SARの高解像度出力は飛行高度や天候に依存せず、昼夜を問わず動作できる。
SARモードでは、プラットフォームが移動すると、レーダーが関心領域を走査し、その領域に対する位置を変更する。領域を連続的に走査するために、SARは飛行方向にほぼ垂直な方向を指すプラットフォームに搭載される場合が多い(「側方監視機上レーダー」としても知られる)。通常、SARモードで動作している場合、航空プラットフォームは関心領域に沿って飛行し、搭載SARはその領域の側方を走査する。
別の種類のレーダー動作モードとして、地上移動目標表示(GMTI)がある。SARが静止物体の高解像度画像を生成するのに対し、GMTIは、地上を移動する車両や人員などの移動物体の検出と地理的位置に重点を置いている。GMTIモードでは、レーダーエコーのドップラー変調を利用して、移動物体を識別する。GMTIは通常、プラットフォームの前面にあるレーダーが掃引動作することによって実行される。
概要
SARモードおよび/またはGMTIモードで動作するUAVには、所望のモードで所望の関心領域を走査できるように選択された飛行ルートに沿ってUAVを航行させるための特定の指示が与えられる。そのような指示は、たとえば、飛行中のUAVを遠隔制御するUAVオペレータによって、またはUAVにアップロードされた所定の動作計画によって与えることができ、これらの指示には、所望の結果を得るための飛行指示およびレーダー作動指示が含まれる。たとえば、SAR動作計画は、UAVを関心領域の側方と平行して(UAVがたどるべき一連のウェイポイント(座標)で構成される)あらかじめ定義された戦闘ルートに沿って誘導し、側方に搭載されたSARによってその領域の走査を可能とするための飛行指示を含む。通常、特定の領域のデータを収集するためにSARを作動させることが望ましい場合は常に、それぞれの飛行指示を含む指定された動作計画が最初に生成されてUAVにアップロードされ、次に飛行指示に従ってその領域を飛行しながらSARが作動される。
ただし、場合によっては、あらかじめ定義された動作計画を実行する準備ができていない状態で、SARデータ取得をリアルタイムで作動させる必要がある。当然、適切な飛行指示をその場で生成しなければならない。このプロセスは、時間がかかり、SAR作動の初期化が遅れる可能性があるため、SARの動作が複雑になる。さらに、動作計画の準備中に余分な飛行時間を使うことで、リソースの過剰な消費をもたらす可能性もある。
たとえば、搭載された電気光学データ取得デバイスを操作している間に、SARデータ取得に切り替える必要が生じる場合がある。SARとは異なり、電気光学データ取得デバイス(たとえば、カラー、白黒、赤外線カメラ、レーザーベースの走査デバイスのいずれか1つ)は、悪天候で動作する能力に制限がある。電気光学データ取得デバイスは雲を貫通しないため、曇天下では不十分な結果しか得られない。天候が急に変化した場合、搭載されたSARを作動させて、電気光学デバイスとほぼ同じ領域を走査し、代替のデータソースを提供することができれば、有益である。ただし、前述のように、SARをその場で即時に作動させるために、動作計画を常に利用できるとは限らない。
本開示の主題は、あらかじめ定義された適切な飛行命令がなくとも、搭載レーダーを(たとえば、SARまたはGMTIモードで)迅速かつ便利に作動可能にするUAV調査システムおよび方法を含む。これにより、レーダーデータ取得デバイスのアドホック動作が可能になり、EOデータ取得からレーダーデータ取得に切り替えたり、EO感知デバイスと並行してレーダーを作動させたりすることができる。
本開示の主題の一態様によれば、自律飛行能力を有する航空機(たとえば、UAV)に搭載可能な空中制御ユニットであって、電気光学(EO)データ取得デバイスとレーダーとを含む空中制御ユニットに対し、通信リンクを介して動作可能に接続できる遠隔制御ユニットを備える調査システムであって、
EOデータ取得デバイスは、UAVが空中にある間、調査エリアの1つ以上の画像を撮像し、かつ画像を制御ユニットに送信するように構成され、
遠隔制御ユニットは、1つ以上の画像内の関心領域を識別するデータを受信するように構成され、関心領域はレーダーによって走査されるように選択され、
調査システムは、処理回路をさらに備え、処理回路は、受信したデータに応じて、
1つ以上の画像を1つ以上の画像に表示された領域のそれぞれの地図と位置合わせし、
画像内で識別された関心領域に対応するそれぞれの地図におけるサブ領域を識別し、かつ
レーダーを動作可能にしながら、UAVを関心領域上で航行させるための飛行ルートを自動的に生成するように構成され、
空中制御ユニットは、
飛行ルートに沿った航空機の飛行を自律的に制御するための飛行命令を実行し、かつ関心領域にわたってレーダーデータ出力を取得するためにレーダーを作動させるように構成されている、調査システムが提供される。
本開示の主題の特定の例によれば、システムは、技術的に可能な組み合わせおよび/または順列で以下に列挙される追加の特徴(i-x)を備え得る。
i.飛行ルートは、SAR動作モードおよびGMTI動作モードを含む所望のレーダー動作モードのうちのいずれか1つに適合されている、調査システム。
ii.それぞれの地図は正射写真である、調査システム。
iii.受信されたデータは、所望のレーダー動作モードを示すデータを含む、調査システム。
iv.処理回路は、遠隔制御ユニットの一部として統合され、飛行ルートを示すデータを空中制御ユニットに送信するように構成されている、調査システム。
v.処理回路は、空中制御ユニットの一部として統合され、遠隔制御ユニットは、1つ以上の画像における関心領域を示すデータを空中制御ユニットに送信するように構成されている、調査システム。
vi.遠隔制御ユニットは、画像を表示するための表示デバイスを有するユーザーインターフェースを含み、かつユーザーが関心領域を識別するデータを提供できるように構成されている、調査システム。
vii.関心領域を識別するデータは、表示デバイスに表示された画像上でユーザーによって示された2つ以上のポイントを含む、調査システム。
viii.処理回路は、関心領域を識別するデータの位置に対応するそれぞれの地図内の地図座標を識別するように構成されている、調査システム。
ix.処理回路は、受信されたデータに基づいて、それぞれの地図内の関心領域を定義するように構成されている、調査システム。
x.航空機は無人航空機である、調査システム。
本開示の主題の別の態様によれば、調査システムで動作可能な遠隔制御ユニットであって、調査システムは、通信リンクを介して遠隔制御ユニットに動作可能に接続でき、かつ自律飛行能力を有する航空機に搭載可能な空中制御ユニットを備え、空中制御ユニットは、電気光学(EO)データ取得デバイスとレーダーとを含み、
前記遠隔制御ユニットは、
航空機が空中にいる間、EOデータ取得デバイスによって撮像された調査領域の1つ以上の画像を受信し、1つ以上の画像内の関心領域を示すデータを受信し、関心領域はレーダーによって走査されるように選択され、1つ以上の画像を1つ以上の画像に表示された領域のそれぞれの地図と位置合わせし、関心領域に対応するそれぞれの地図におけるサブ領域を識別し、レーダーを動作可能にしながら、UAVを関心領域上で航行させるための飛行ルートを自動的に生成し、飛行ルートを示すデータを空中制御ユニットに送信し、それにより空中制御ユニットが飛行ルートに沿った航空機の飛行を自律的に制御するための飛行命令を実行できるようにし、かつ関心領域にわたってレーダーデータ出力を取得するためにレーダーを作動させるように構成されている、遠隔制御ユニットが提供される。
本開示の主題の別の態様によれば、調査システムにおいてレーダーを動作させる方法であって、調査システムは、飛行機に搭載可能な空中制御ユニットに対し、通信リンクを介して動作可能に接続できる遠隔制御ユニットを備え、空中制御ユニットは、電気光学(EO)データ取得デバイスとレーダーとを含み、
前記方法は、
航空機が空中にいる間、遠隔制御ユニットにおいて、EOデータ取得デバイスによって撮像された調査エリアの1つ以上の画像を受信することと、
遠隔制御ユニットにおいて、1つ以上の画像内の関心領域を識別するデータを受信することであって、関心領域はレーダーによって走査されるように選択される、受信することと、1つ以上の画像を1つ以上の画像に表示された領域のそれぞれの地図と位置合わせすることと、関心領域に対応するそれぞれの地図におけるサブ領域を識別することと、レーダーを動作可能にしながら、UAVを関心領域上で誘導するための飛行ルートを自動的に生成することと、空中制御ユニットにおいて、飛行ルートに沿った航空機の飛行を自律的に制御するための飛行命令を実行し、かつ関心領域にわたってレーダーデータ出力を取得するためにレーダーを作動させることとを含む、方法が提供される。
本開示の主題の別の態様によれば、調査システムにおいてレーダーを動作させる方法を実行するために調査システムに動作可能に接続された処理回路によって実行可能な命令のプログラムを有形的に具現化するコンピュータ可読の非一時的メモリデバイスであって、調査システムは、飛行機に搭載可能な空中制御ユニットに対し、通信リンクを介して動作可能に接続できる遠隔制御ユニットを備え、空中制御ユニットは、電気光学(EO)データ取得デバイスとレーダーとを含み、
方法は、
航空機が空中にいる間、遠隔制御ユニットにおいて、EOデータ取得デバイスによって撮像された調査エリアの1つ以上の画像を受信することと、
遠隔制御ユニットにおいて、1つ以上の画像内の関心領域を識別するデータを受信することであって、関心領域はレーダーによって走査されるように選択される、受信することと、1つ以上の画像を1つ以上の画像に表示された領域のそれぞれの地図と位置合わせすることと、関心領域に対応するそれぞれの地図におけるサブ領域を識別することと、レーダーを動作可能にしながら、UAVを関心領域上で誘導するための飛行ルートを自動的に生成することと、空中制御ユニットにおいて、飛行ルートに沿った航空機の飛行を自律的に制御するための飛行命令を実行し、かつ関心領域にわたってレーダーデータ出力を取得するためにレーダーを作動させることとを含む、メモリデバイスが提供される。
本開示の主題の別の態様によれば、調査システムにおいてレーダーを動作させる方法であって、調査システムは、飛行機に搭載可能な空中制御ユニットを備え、空中制御ユニットは、電気光学(EO)データ取得デバイスとレーダーとを含み、
前記方法は、
航空機が空中にいる間、EOデータ取得デバイスによって撮像された調査エリアの1つ以上の画像を生成することと、
1つ以上の画像内の関心領域を識別するデータを受信することであって、関心領域はレーダーによって走査されるように選択される、受信することと、1つ以上の画像を1つ以上の画像に表示された領域のそれぞれの地図と位置合わせすることと、示されている関心領域に対応するそれぞれの地図におけるサブ領域を識別することと、レーダーを動作可能にしながら、UAVを関心領域上で誘導するための飛行ルートを自動的に生成することと、空中制御ユニットにおいて、飛行ルートに沿った航空機の飛行を自律的に制御するための飛行命令を実行し、かつ関心領域にわたってレーダーデータ出力を取得するためにレーダーを作動させることとを含む、方法が提供される。
本開示の主題の別の態様によれば、自律飛行能力を有し、かつ通信リンクを介して遠隔制御ユニットに動作可能に接続されたUAVであって、空中制御ユニットおよび遠隔制御ユニットは調査システムを構成し、空中制御ユニットは電気光学(EO)データ取得デバイスとレーダーとを備え、
EOデータ取得デバイスは、UAVが空中にある間、調査エリアの1つ以上の画像を撮像し、かつ画像を制御ユニットに送信するように構成され、
遠隔制御ユニットは、1つ以上の画像内の関心領域を識別するデータを受信するように構成され、関心領域はレーダーによって走査されるように選択され、
調査システムは、処理回路をさらに備え、処理回路は、受信したデータに応じて、
1つ以上の画像を1つ以上の画像に表示された領域のそれぞれの地図と位置合わせし、
画像内で識別された関心領域に対応するそれぞれの地図におけるサブ領域を識別し、かつ
レーダーを動作可能にしながら、UAVを関心領域上で航行させるための飛行ルートを自動的に生成するように構成され、
空中制御ユニットは、
飛行ルートに沿った航空機の飛行を自律的に制御するための飛行命令を実行し、かつ関心領域にわたってレーダーデータ出力を取得するためにレーダーを作動させるように構成されている、UAVが提供される。
上記の本開示の主題の様々な態様は、任意の技術的に可能な組み合わせまたは必要な変更を加えた順列で、上記の特徴(i-x)の1つ以上を任意選択で含み得る。
特許請求される主題を理解し、それが実際にどのように実行され得るかを理解するために、添付の図面を参照して、非限定的な例としてのみ、種々の実施形態をここで説明する。
本開示の主題の一例によるUAVベースの調査システムの高レベルの図である。 本開示の主題の一例によるUAVベースの調査システムのブロック図である。 本開示の主題の例に従って実行される一連の動作のフローチャートである。 電気光学撮像装置によって生成された領域の画像の例である。 図4aに示す領域の地図の例である。 図4bの正射写真に示されている領域の地図を示す。 本開示の主題の一例によるSARモードの飛行ルートを示す概略上面図である。 本開示の主題の一例によるGMTIモードの飛行ルートを示す概略上面図である。
特に明記しない限り、以下の記述から明らかなように、明細書の記述全体を通して、「受信する」、「識別する」、「生成する」、「実行する」、「作動させる」などの用語を使用する場合は、データを操作および/または他のデータに変換するコンピュータ化デバイスの動作および/または処理を含んでおり、当該データはたとえば電子量などの物理量として表され、および/または当該データは物理的な対象物を表す。
「制御ユニット」、「制御ユニット」などの用語は、少なくとも1つのコンピュータプロセッサ(たとえば、中央処理装置(CPU)、マイクロプロセッサ、集積回路(IC)、デジタルシグナルプロセッサ(DSP)などの特定のプロセッサ用に作成または移植されたファームウェア、マイクロコントローラー、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)など)を含み、かつ本明細書に開示されるように、(たとえば、プロセッサに動作可能に接続されたコンピュータメモリにロードされた)コンピュータ命令を実行するように構成され、かつ動作可能であるデータ処理回路を有する任意の種類の電子デバイスを含むように包括的に解釈されるものとする。
本明細書で使用されるように、「たとえば」、「など」、「例として」などの語句およびその変形は、本開示の主題の非限定的な実施形態を説明するものである。本明細書における「1つの事例」、「いくつかの事例」、「他の事例」またはそれらの変形への言及は、実施形態に関連して記述された特定の特徴、構造または特性が、本開示の主題の少なくとも1つの実施形態に含まれることを意味する。したがって、「1つの事例」、「いくつかの事例」、「他の事例」またはその変形の表現は、必ずしも同じ実施形態を指すとは限らない。
特許請求された主題のあるいくつかの特徴は、明快にするために別々の実施形態の文脈で記載されているが、これらを組み合わせて提供しても単一の実施形態で提供してもよいことを理解されたい。逆に、本発明の様々な特徴は、簡潔にするために単一の実施形態の文脈で記載されているが、これらは別々に提供することも任意の好適な部分組み合わせで提供することもできる。本発明を、特定の実施形態に関して示し、説明しているが、これは限定的なものではない。本明細書の読み手は、特許請求された主題の範囲内において数々の変形、変更、および改良に思い至るであろう。
特許請求された主題の実施形態では、図3に示される段階よりも少ない、多い、および/または異なる段階が実行されてもよい。特許請求された主題の実施形態では、図3に示される1つ以上の段階は、異なる順序で実行されてもよく、および/または段階のうちの1つ以上のグループは、同時に実行されてもよい。
図2は、本開示の主題の実施形態によるシステム構成の概略図を示している。制御ユニット110に関して説明されるものなど、図2のいくつかの要素は、一箇所に集中されるか、または二箇所以上に分散されてもよい。本開示の主題の他の実施形態では、システムは、図2に示される要素よりも少ない、多い、および/または異なる要素を備え得る。たとえば、図2の感知取得サブシステムは単一のユニットとして示されているが、他の例では、たとえば個別のEOデータ取得ユニットとレーダーユニットとを含む分散サブシステムとして設計されてもよい。
本明細書で特定の方向および/または角度の値が与えられる場合、それらは、関連分野で知られている実際の公差内で許容可能な値の範囲を含むように意図されることを理解されたい。さらに、明解にするため、「実質的に」という用語は、本明細書では許容範囲内の値の変動の可能性を示唆するために使用される。一例によれば、本明細書で使用される「実質的に」という用語は、任意の指定された値の上下で最大15%の変動が可能であることを示唆していると解釈されるべきである。別の例によれば、本明細書で使用される「実質的に」という用語は、任意の指定された値の上下で最大10%の変動が可能であることを示唆していると解釈されるべきである。さらに別の例によれば、本明細書で使用される「実質的に」という用語は、任意の指定された値の上下で最大5%の変動が可能であることを示唆していると解釈されるべきである。さらなる例によれば、本明細書で使用される「実質的に」という用語は、任意の指定された値の上下で最大2.5%の変動が可能であることを示唆していると解釈されるべきである。指定された値は、絶対値(たとえば、実質的に45°を超えない、実質的に垂直など)または相対値(たとえば、実質的にxの高さを超えないなど)とすることができる。
上記を念頭に置いて、ここで、本開示の主題の一例による、調査システムの概略図を示す図1に注目する。図1は、UAVベースの調査および追跡システム100の高レベルの図示の例を提供する。本明細書に記載された説明は主にUAVに関係するが、これは単に非限定的な例として示されたものであって、UAVに関して開示された原理は、たとえばSAR/GMTI作動時の自動操縦機能が設定された有人航空機の自律モードなど、他の種類の航空機にも同様に実施できることに留意されたい。
上記を念頭に置いて、一例によるUAVベースの調査システム100の概略図を示す図1に注目する。システム100は、ある場所に配置された制御ユニット110(地上制御ユニット(GCU)としても知られる)と、別の場所で飛行する、感知サブシステムを積載するUAV120とを備える。以下の説明では、UAVに搭載された空中制御ユニット20と区別するために、制御ユニット110を「遠隔制御ユニット」と呼ぶことがある。図1は、関心領域(AOI)180を調査するUAV120を示す。遠隔制御ユニットは、オペレータがUAVの動作を監視および制御できるように構成されている。UAV120の制御は、UAV自体の動作に対する制御(たとえば飛行命令)と、UAVに装着されている各種ペイロードの動作に対する制御の両方を含み得る。UAVによって実行される動作は、人間のオペレータ150によって制御されてもよく、代替的に一部または完全に自律的であってもよい。制御システム110は、見通し内(LOS)および/または見通し外(BLOS)通信リンクを介してUAV120と通信することができる。
図2は、本開示の主題のいくつかの例による、UAVベースの調査システム100のブロック図である。図2は、通信リンクを介してUAV120搭載の空中制御ユニット20に接続された遠隔制御ユニット110を示す。空中制御ユニット20は、たとえば、感知サブシステム136、飛行制御デバイス130に動作可能に接続された飛行制御回路132を含む。感知サブシステム136は、電気光学(EO)取得デバイス122とレーダー124とを含むデータ取得ペイロードを備える。データ取得ペイロードは、関心領域を調査し、感知データを生成し、通信リンク160を介して遠隔制御ユニット110に感知データを送信するために使用される。感知データには、データ取得ペイロードによって取得または生成されたデータが含まれる(たとえば、調査された関心領域の撮像画像、撮像画像で識別された物体を特徴付けるデータなど)。いくつかの例では、レーダー124は、SARモードおよびGMTIモードを含む異なる動作モードで動作することができる。図2は、一般にSARモードでのレーダー124の動作を制御するように構成されたSAR制御回路126を例示する。いくつかの非限定的な例によれば、SAR制御回路126は、以下で説明するように、関心領域上を飛行しながらSAR動作を制御するように指定されたSAR動作命令を実行するように構成されている。同様に、GMTI制御回路128は、GMTIモードでのレーダーの動作を制御するように構成されている。
飛行制御回路132は、UAVの飛行を制御するように構成されている。いくつかの例によれば、飛行制御回路は、UAVを所望の飛行経路に沿って誘導するために、各種のUAV飛行制御デバイス130に動作命令を提供するように構成されている。以下でさらに説明するように、飛行経路は、たとえば、SARモードまたはGMTIモードで搭載レーダーによるデータ取得を可能にするために指定された飛行経路とすることができる。
UAV飛行制御デバイス130は、たとえば、UAVを現在の位置から新しい所望の位置に誘導するように構成された、スロットル、安定板、補助翼および方向舵を含む。各種制御ユニット(図示せず)は、その動作を制御するための専用の飛行制御デバイスにそれぞれ動作可能に接続することができる。
空中制御ユニット20は、遠隔制御ユニット110と通信するための通信ユニット128をさらに備える。いくつかの例では、空中制御ユニット20は、受信コマンドを指定されたユニットに配信するように構成されたインターフェース134をさらに備えることができる。たとえば、飛行命令はインターフェース134によって飛行制御回路132に転送され、EOまたはレーダー作動命令はインターフェース134によって関連するデータ取得デバイスに転送される。
感知データ(たとえば、撮像画像)は、空中制御ユニット20によって送信され、遠隔制御ユニット110で受信されて、オペレータが確認できるように表示デバイス(たとえば、1つ以上のLEDスクリーン。例として、ユーザーインターフェース114の一部として示される)に表示される。いくつかの例では、感知サブシステム120は、照準された物体を見つけて追跡するようにさらに構成することができる。
ユーザーインターフェース114は、1つ以上の表示デバイスに加えて、オペレータがコマンドなどのユーザー入力を与えられるようにした種々の入力デバイス(たとえば、タッチスクリーン、マウス、ジョイスティックなど)を備えることができる。コマンド処理回路116は、受信したユーザー入力を処理し、かつ、たとえば感知サブシステムに対して様々な動作を実行するように指示するための命令を与えるコマンドをはじめとする、UAVで実行すべきそれぞれのコマンドを生成するように構成されている。たとえば、ユーザー入力には、EO感知デバイスやレーダーなどの特定のデータ取得デバイスに対する制御コマンドが含まれる。上記のように、コマンドには、たとえば、ロックおよび追跡コマンド、ズームコマンド、センタリングコマンドなどが含まれる。感知サブシステムは、受信した命令を実行し、制御ユニットに所望の感知データを提供するように構成されている。
本開示の主題の特定の例によれば、遠隔制御ユニット110は、EO対レーダー処理回路10をさらに備える。以下でより詳細に説明するように、EO対レーダー処理回路10は、SARモードまたはGMTIモードでレーダーを動作させるためのレーダー動作計画を自動的に生成するように構成されている。動作計画は、EOデータ取得デバイス122によって撮像され、制御ユニット110によって表示されたEO画像に対して与えられたユーザー入力に基づいてUAVを制御するための飛行命令を含む。例として、EO対レーダー処理回路10は、SARモードで感知サブシステム136を動作させるための動作計画を生成するためのSAR処理モジュール116と、GMTIモードで感知サブシステムを動作させるための動作計画を生成するためのGMTI処理モジュール118とを備える。EO対レーダー処理回路10の機能の詳細は、図3を参照して以下に説明する。
いくつかの例によれば、調査システム100は、コアUAV制御システム(CUCS、地上と空中の両方のUAV制御部品を含む)を実装するためのNATO仕様であるSTANAG4586の要件に準拠するように設計することができる。STANAG4586によれば、制御システム110は、アプリケーションサーバユニット、車両固有モジュール、およびプライマリB/LOS地上データ端末に順に接続されたクライアントモジュール(オペレータ制御盤)を備える。
アプリケーションサーバユニットは、様々なタスクの実行を可能にするように構成された1つ以上のコンピュータ化デバイス(たとえばコンピュータサーバ)を含む。各サーバは、適切なコンピュータメモリと必要なデータ処理機能を提供する1つ以上のコンピュータプロセッサとを備えたコンピュータ化デバイスである。
アプリケーションサーバユニットは、非限定的な例として、UAVの飛行を制御するように構成された飛行制御サーバと、UAVに装着されたそれぞれのデータ取得デバイス(たとえば、カメラ、レーダー、通信インテリジェンスデバイスなど)に動作可能に接続された様々なデータ取得サーバを含み得る。
B/LOS GDTは、UAV搭載制御システムの一部であるそれぞれの空中データ端末(B/LOS ADT)を介してUAVと通信するように構成されている。GDTとADTとの間の通信は、見通し内通信(LOS)または衛星ベースで見通し外通信(B−LOS)とすることができる。通信ユニット112は、地上データ端末(B/LOS GDT)を備えるか、またはそれに動作可能に接続することができ、通信ユニット128は、空中データ端末(B/LOS ADT)を備えるか、またはそれに動作可能に接続することができる。
図3は、本開示の主題のいくつかの例に従って実行される一連の動作のフローチャートである。図3を参照して説明する動作は、たとえば、図2を参照して上述された原理に従って構成された調査システム100によって実行することができる。ただし、図3の要素を参照した動作の記述はいずれも、例として説明することを目的としており、決して限定的なものとして解釈されるべきではないことに留意されたい。
ブロック301において、空中電気光学データ取得デバイス(たとえば、UAV120搭載の122)によって生成される調査現場の1つ以上の画像が、制御ユニット(たとえば、110)で受信される。受信した画像は表示デバイスに表示され、オペレータが確認することができる。いくつかの例では、調査現場の連続的な映像を提供する目的で、画像が連続的に撮像され、連続的に送信され、制御ユニットに表示される。
EOデータ取得デバイスと共に、レーダー(たとえば、SARモード)を作動させることが望ましい場合もある。このような場合、両方の種類のデータ取得デバイス(たとえば、EOおよびSARモードのレーダー)によって生成された感知データを、制御ユニットで受信し、たとえば並べて表示することができる。たとえば、空が曇った場合、EOデータの取得は、少なくとも一部の時間だけ有効としてもよいし、あるいは後に再び晴天となった時点で有効としてもよい。SARデータ出力を使用してEOデータ出力を補完することができるので、雲がEOデータ取得デバイスのLOSを覆い隠すような場合に役立つ。他の事例では、EOデータ取得デバイスの代わりにSARを作動させることが望ましい場合がある。たとえば、空に雲の多い状態が長時間続くと、EOデータ取得デバイスの視界が完全に妨げられる。
ブロック303において、(たとえば、SARモードまたはGMTIモードの)レーダーによって走査されるべき関心領域を示すデータ入力が、制御ユニットで受信される。レーダー関心領域(本明細書では「レーダー目標領域」とも称する)を示すデータ入力は、たとえば、制御ユニット110のオペレータによって提供され得る。上述のように、本開示の主題によれば、制御ユニット110は、レーダー目標領域を表示または選択するためのユーザー対話を可能にするユーザーインターフェース(114)を備える。このため、オペレータは、空中EOデータ取得デバイス122によって生成され、表示デバイス上に表示され、レーダー目標領域がマークされた画像(たとえば、ビデオストリーム)と対話することができる。たとえば、オペレータは、コンピュータのマウス、タッチパッド、ジョイスティックなどのポインティングデバイスを使用して、領域がマークされた表示画像またはビデオストリーム上の2つ以上のポイントを指してクリックすることができる。特に、本明細書で使用される用語「オペレータ」(または「ユーザー」)は、人間のオペレータおよびロボットのオペレータ(ボット)を想定している。たとえば、EO対レーダー処理回路10は、所定の条件に基づいてレーダー目標領域の表示された画像に自動的に表示を提供するように構成された専用コンピュータプログラムを含み得る。たとえば、EO出力画像は対応する画像処理回路で処理することができ、画像内の領域または物体があらかじめ定義された条件(サイズ、形状、色など)に適合している場合は、その領域または物体はEO画像内で自動的にマークされ、レーダーでさらに検査される。この構成を選択すれば、画像からレーダーへの完全自律的な移行が可能となる。
図4aは、UAVに搭載されたEOデータ取得デバイスによって撮像された特定領域の航空写真(たとえば、EO映像出力からの画像)を示す。図4aには2つの十字が表示されており、各十字はレーダー目標領域をマークするそれぞれのポイントを示す。特に、レーダー目標領域をマークするためのユーザー入力は、図示の例とは異なる場合があり、より多くのポイント(3ポイント、4ポイントなど)を含んでいてもよいし、あるいは他の種類のマーク(たとえば、長方形、円、または目標領域周辺に描かれた他の形状)を含んでいてもよい。
ブロック305では、画像から地図(正射写真)への位置合わせ処理が実行される。この処理では、レーダー目標領域を示す表示画像(EO画像出力)と同じ領域の正射写真画像とが、同じ座標系に配置される。位置合わせは、たとえば、EOによってEO対レーダー処理回路10内の位置合わせモジュール119に対して実行することができる。図4bは、図4aと同じ領域の正射写真画像(正射写真地図としても知られる)である。図4bに示すように、正射写真画像は地図と同様に、均一な表面形状および縮尺を特徴とし、地図化された領域を正確に表現するものである。
画像に表示されている領域の正射写真画像は、たとえばデータリポジトリ12または遠隔画像/地図ライブラリなどの他のソースから取得することができる。たとえば、当技術分野で知られているように、地球上のUAVの位置および地球上のレーダー目標領域の位置に基づいて、正射写真を適切に識別することができる。
ブロック307で、画像と正射写真との位置合わせが完了すると、EO画像出力上のマークに対応する正射写真画像の座標が正射写真(たとえば、EO対レーダー処理回路10)で識別され、それにより、EO画像で識別された関心領域に対応する正射写真におけるサブ領域が識別される。図4bには2つの十字が表示されており、各十字は、(図4bに示す)正射写真を(図4aに示す)画像と位置合わせすることによって正射写真で識別されたEO画像出力内のポイント(たとえば、ユーザーが入力したポイント)に対応するそれぞれの点を示す。
遠隔制御ユニット110はさらに、ユーザーが画像に入力したマークに基づいて正射写真内のレーダー目標領域を定義するように構成することができる。これは、適切な処理回路、たとえば、SARモードで動作するときはSAR処理回路116、GMTIモードで動作するときはGMTI処理回路118によって達成することができる。たとえば、画像に入力されたポイントによって目標領域がマークされる場合、制御ユニット110は、マークされたポイントの周囲の領域を定義するように構成することができる。たとえば、SAR目標領域をマークするために2つのポイントが使用された場合、その2つのポイントに基づいて四角形を定義することができる。四角形の辺はポイント間の距離に従って定義される。たとえば、2つのマークされたポイントは、各辺がマークされたポイント間の距離に基づいて定義された正方形の1つの辺を定義する。さらに多くのポイントを使用してSAR目標領域をマークする場合、すべてのポイントを囲む領域をSAR目標領域として定義できる。他の例では、目標領域をマークするために画像内に図形(たとえば、四角形または円)が描かれた場合、その図形を画像から地図(正射写真)への位置合わせ出力に基づいて画像から地図にコピーできる。
ブロック309で、動作計画が自動的に生成される。動作計画は、所望のモードでレーダーによる目標領域の走査を可能にする飛行ルートを含む。飛行ルートは一連のウェイポイント(地図座標)で定義することができる。上記で説明したように、SARは、飛行方向に対して実質的に垂直な領域を走査する、側方監視機上レーダーである。したがって、地図内にSAR目標領域が与えられると、SARが目標領域を走査することを可能にする飛行ルートが(たとえば、SAR処理回路116によって)生成される。動作計画は、飛行ルートに沿ってSARを作動させるための作動指示をさらに含み得る。
上述のように、本開示の主題は、SARモードおよびGMTIモードを含む異なるレーダー作動モードでのレーダー作動のための自動EO駆動UAV制御を企図している。GMTIモードが作動すると、ブロック309を参照して上記で説明した動作がGMTI動作に適合される。一例によれば、GMTIモードでのレーダー動作は、UAVの前部(たとえば、UAVの機首)に位置するレーダーを左右に動かして、特定の走査角度で水平に走査し、ついでレーダーを垂直に動かして異なる高度で別の水平走査を行うことを含む。したがって、動作計画は、UAVの前面から目標領域の走査を可能にする飛行ルートに沿ってUAVを導くための飛行命令を含む。
図4cは、図4bの正射写真に示されている領域の地図を示す。当技術分野で知られているように、正射写真は同じ領域の地図と位置揃え(オーバーレイ)することができ、したがって、地図と対応する正射写真とは、本明細書では同等物と見なされる。したがって、いくつかの例では、正射写真ではなく、描画された地図に対していくつかの処理を実行することができる。たとえば、以下で説明する飛行ルートの生成は、正射写真ではなく、対応する描画地図上で行うことができる。
図5および6は、それぞれSARモードとGMTIモード用に指定された飛行ルートを示す。図5は、本開示の主題のいくつかの例による、SAR動作モードの飛行ルートの概略上面図である。図5は、EO画像上でなされた入力に基づいて正射写真または地図上でリアルタイムに自律的に生成され、かつレーダー目標領域520を識別する飛行ルート510の簡略化された例を示す。飛行ルートは、SARモードで目標領域520の走査を可能にする。この特定の例では、ルートは目標領域を囲み、SAR動作に必要な側方表示を可能にする。SARの走査範囲505は、目標領域520の半分をカバーするため、目標領域全体を走査するためには、目標領域上を2回通過する必要がある。
図6は、本開示の主題のいくつかの例による、GMTI動作モードの飛行ルートの概略上面図である。図6は、EO画像上でなされた入力に基づいて正射写真または地図上でリアルタイムに自律的に生成され、かつレーダー目標領域520を識別する飛行ルート610の簡略化された例を示す。飛行ルートは、GMTIモードで目標領域520の走査を可能にする。この特定の例では、ルートは2回の目標領域上の通過が含む。各通過において、目標領域の一部がUAVの前面にあるレーダーによって走査される。したがって、目標領域がわかれば、その目標領域を所望の動作モードのレーダーで走査するための飛行ルートを自動的に生成することができる。
動作計画が利用可能になると、その動作計画がUAVによって実行され、飛行ルートに沿ったUAVの自律飛行が可能となる(ブロック311)。実行中、UAVは飛行ルートに沿った飛行指示に従って飛行し、レーダーを所望の動作モードで作動させることができる。飛行ルートをたどるための飛行命令は、飛行制御回路132によって生成および実行することができる。たとえば、制御回路132は、ルートに沿ってUAVを導くために、様々な搭載飛行デバイス130に対して特定の命令を生成するように構成することができる。レーダーが作動して、所望のレーダー出力が得られる。レーダーの作動は、たとえば、所望の動作モードに従って適切な処理回路により制御することができる。レーダー出力は制御ユニット110に送り返され、表示デバイスに表示される。いくつかの例によれば、EOデータ取得デバイスによって撮像された画像は、レーダー出力(たとえば、2つの隣接する表示デバイス)に並べて表示され、オペレータが両方の種類のデータを同時に見ることができる。
一部のシステム設計によれば、UAVは、特に、あらかじめプログラムされた飛行ルートに従って飛行し、かつ飛行中にレーダーを作動させるように構成された既製の(OTS)デバイスであってもよい。この場合、飛行ルートは、所望のレーダー動作モード(たとえば、SARモードまたはGMTIモード)の動作要件に従って生成される。OTSのUAVが使用されている場合、上記のようにEO画像に関して出された指示に従って飛行ルートを自動生成できるように調査システムに加えられた特定の修正は、OTSのUAVを変更する必要を避けるため、遠隔制御ユニットで実施してもよい。
いくつかの代替システム設計では、遠隔制御ユニット110に割り当てられたものとして上述したいくつかの機能を、空中制御ユニット20に割り当ててもよい。たとえば、制御ユニットで受信された関心領域を示す情報が、空中制御ユニット20に送信され、ブロック305〜311を参照して上述した動作がそこで実行されてもよい。あるいは、関心領域の表示がコンピュータによって自動的に生成される場合、システムのほぼすべての機能は空中制御ユニット20によって実行される。このため、空中制御ユニット20は、画像と地図との位置合わせおよび飛行ルート生成機能をはじめとする、EO対レーダー処理回路10と同様の機能を有する空中EO対レーダー処理回路を備えていてもよい。
さらに別のシステム設計では、調査システムの機能を遠隔制御ユニットと空中制御ユニットとに分散させてもよい。たとえば、画像と地図との位置合わせは遠隔制御ユニット110で実行されてもよく、飛行ルートの生成は空中制御ユニット120で実行されてもよい。
本開示の主題は主に無人航空機を指しているが、これは例として挙げたものであって、他の種類の自律車両、たとえば自律飛行能力を有する操縦航空機(たとえば、自動操縦機)や、地上や船舶の無人車両などの他の種類の自律型車両も企図することに留意されたい。
本開示の主題は、本開示の主題の方法を実行するためにコンピュータ可読の非一時的なコンピュータ使用可能媒体上に実装されるコンピュータプログラムを企図する。本開示の主題は、本開示の主題の方法を実行するためにコンピュータによって実行可能な命令のプログラムを有形的に具現化するコンピュータ可読の非一時的コンピュータメモリをさらに企図する。
本明細書において「非一時的」という用語は、一時的な伝播信号を除外するために使用されるが、それ以外の場合、用途に適した揮発性または不揮発性のコンピュータメモリ技術を含む。
本開示の主題は、その用途において、本明細書に含まれる説明の詳細や図面に示される詳細に限定されるものではないことを理解されたい。本開示の主題は、他の実施形態が可能であり、様々なやり方で実施および実行することができる。
したがって、本明細書で使用される表現および用語は、説明を目的とするものであり、限定的なものと見なされるべきではないことを理解されたい。そのため、当業者は、本開示の基づく概念が、本開示の主題のいくつかの目的を実行するための他の構造、方法、およびシステムを設計するための基礎として容易に利用できることを理解するであろう。

Claims (20)

  1. 自律飛行能力を有する航空機に搭載可能な空中制御ユニットであって、電気光学(EO)データ取得デバイスとレーダーとを含む空中制御ユニットを備える調査システムであって、
    前記EOデータ取得デバイスは、前記航空機が空中にある間、調査エリアの1つ以上の画像を撮像し、かつ前記画像を遠隔制御ユニットに送信するように構成され、
    前記遠隔制御ユニットは、前記1つ以上の画像における関心領域を識別するデータを提供するために、オペレータが前記EOデータ取得デバイスによって撮像された前記1つ以上の画像とリアルタイムに交信できるように構成され、前記関心領域は、前記レーダーによって走査されるように選択され、
    調査システムは、処理回路をさらに備え、前記処理回路は、関心領域を識別する前記データに応じて、
    前記1つ以上の画像を前記1つ以上の画像に表示された前記関心領域のそれぞれの地図と位置合わせし、
    前記画像内で識別された前記関心領域に対応する前記それぞれの地図におけるサブ領域を識別し、かつ
    前記レーダーを動作可能にしながら、前記航空機を前記関心領域上で航行させるための飛行ルートを自動的に生成するように構成され、
    前記空中制御ユニットは、
    前記飛行ルートに沿った前記航空機を自律的に制御するための飛行命令を実行し、かつ前記関心領域にわたってレーダーデータ出力を取得するために前記レーダーを作動させるように構成されている、調査システム。
  2. 前記飛行ルートは、SAR動作モードおよびGMTI動作モードを含む所望のレーダー動作モードのうちのいずれか1つに適合されている、請求項1に記載の調査システム。
  3. 前記データは、所望のレーダー動作モードを示すデータを含む、請求項2に記載の調査システム。
  4. 前記処理回路は、前記遠隔制御ユニットの一部として統合され、前記飛行ルートを示すデータを前記空中制御ユニットに送信するように構成されている、請求項1に記載の調査システム。
  5. 前記処理回路は、前記空中制御ユニットの一部として統合され、前記遠隔制御ユニットは、前記1つ以上の画像における前記関心領域を示すデータを前記空中制御ユニットに送信するように構成されている、請求項1に記載の調査システム。
  6. 前記遠隔制御ユニットは、オペレータが画像と交信して前記関心領域を識別する前記データを提供できるように構成され、かつ前記1つ以上の画像を表示するための表示デバイスを含むユーザーインターフェースを備える、請求項1に記載の調査システム。
  7. 前記処理回路は、前記それぞれの地図内の地図座標を識別するように構成され、前記地図座標は前記関心領域の位置を示している、請求項1に記載の調査システム。
  8. 前記処理回路は、前記データに基づいて、前記それぞれの地図内の前記関心領域を定義するように構成されている、請求項1に記載の調査システム。
  9. 調査システムで動作可能な遠隔制御ユニットであって、前記調査システムは、通信リンクを介して前記遠隔制御ユニットに動作可能に接続でき、かつ自律飛行能力を有する航空機に搭載可能な空中制御ユニットを備え、前記空中制御ユニットは、電気光学(EO)データ取得デバイスおよび前記航空機に搭載されたレーダーにさらに動作可能に接続でき、
    前記遠隔制御ユニットは、前記航空機が空中にいる間、
    前記航空機が空中にいる間に前記EOデータ取得デバイスによって撮像された調査エリアの1つ以上の画像を受信し、
    前記1つ以上の画像における関心領域を示すデータを提供するために、オペレータが前記EOデータ取得デバイスによって撮像された前記1つ以上の画像とリアルタイムに交信できるように構成され、前記関心領域は、前記レーダーによって走査されるように選択され、
    前記1つ以上の画像を前記1つ以上の画像に表示された前記領域のそれぞれの地図と位置合わせし、
    示された前記関心領域に対応する前記それぞれの地図におけるサブ領域を識別し、
    前記レーダーを動作可能にしながら、前記画像と交信する前記オペレータによって提供された前記データに基づいて、前記航空機を前記関心領域上で航行させるための飛行ルートを自動的に生成し、かつ
    前記飛行ルートを示すデータを前記空中制御ユニットに送信し、それにより前記空中制御ユニットが前記飛行ルートに沿った前記航空機の飛行を自律的に制御するための飛行命令を実行し、かつ前記関心領域にわたってレーダーデータ出力を取得するために前記レーダーを作動させることを可能にするように構成されている、遠隔制御ユニット。
  10. さらに、前記画像を表示するための表示デバイスを含むユーザーインターフェースを備え、かつオペレータが前記関心領域を識別する前記データを提供できるように構成されている、請求項9に記載の遠隔制御ユニット。
  11. 調査システムにおいてレーダーを動作させる方法であって、前記調査システムは、航空機に搭載された空中制御ユニットに対し、通信リンクを介して動作可能に接続された遠隔制御ユニットを備え、前記空中制御ユニットは、電気光学(EO)データ取得デバイスとレーダーとを含み、
    前記方法は、前記航空機が空中にいる間、
    前記遠隔制御ユニットにおいて、前記航空機が空中にいる間に前記EOデータ取得デバイスによって撮像された調査エリアの1つ以上の画像を受信することと、
    前記遠隔制御ユニットにおいて、前記EOデータ取得デバイスによって撮像された前記1つ以上の画像とのリアルタイムの交信によってオペレータから提供されたデータを受信することであって、前記データは前記1つ以上の画像における関心領域を識別するデータを含み、前記関心領域は、前記レーダーによって走査されるように選択される、受信することと、
    前記1つ以上の画像を前記1つ以上の画像に表示された前記関心領域のそれぞれの地図と位置合わせすることと、
    示された前記関心領域に対応する前記それぞれの地図におけるサブ領域を識別することと、
    前記レーダーを動作可能にしながら、前記航空機を前記関心領域上で誘導するための飛行ルートを自動的に生成することと、かつ
    前記空中制御ユニットにおいて、前記飛行ルートに沿った前記航空機を自律的に制御するための飛行命令を実行し、かつ前記関心領域にわたってレーダーデータ出力を取得するために前記レーダーを作動させることとを含む、方法。
  12. SAR動作モードおよびGMTI動作モードを含む所望のレーダー動作モードのうちのいずれか1つに前記飛行ルートを適合させることをさらに含む、請求項11に記載の方法。
  13. 前記飛行ルートの前記生成は前記遠隔制御ユニットにおいて実行され、前記方法は、前記飛行ルートを前記空中制御ユニットに送信することをさらに含む、請求項11に記載の方法。
  14. 前記飛行ルートの前記生成は、前記空中制御ユニットにおいて実行され、前記方法は、前記1つ以上の画像内の前記関心領域を示すデータを前記空中制御ユニットに送信することをさらに含む、請求項11に記載の方法。
  15. 前記1つ以上の画像を表示デバイスに表示することと、前記オペレータによる前記関心領域を示すための前記表示された画像との交信に応じて、前記関心領域を識別する前記データを受信することとをさらに含み、
    前記データは、前記表示デバイスに表示された前記画像上でオペレータによって指示された2つ以上のポイントを含む、請求項11に記載の方法。
  16. 前記画像内の前記関心領域を識別するデータの位置を示すそれぞれの地図内の地図座標を識別することをさらに含む、請求項11に記載の方法。
  17. 前記受信したデータに基づいて、前記それぞれの地図内の前記関心領域を定義することをさらに含む、請求項11に記載の方法。
  18. 航空機に搭載された空中制御ユニットを備える調査システムにおいてレーダーを動作させる方法であって、前記空中制御ユニットは、電気光学(EO)データ取得デバイスとレーダーとを含み、
    前記方法は、前記航空機が空中にいる間、
    前記航空機が空中にいる間に前記EOデータ取得デバイスによって撮像された調査エリアの1つ以上の画像を生成することと、
    前記1つ以上の画像内の関心領域を識別するデータを受信することであって、前記関心領域は前記レーダーによって走査されるように選択され、前記データは、オペレータが前記関心領域を示すために前記EOデータ取得デバイスによって撮像された前記1つ以上の画像と交信することでリアルタイムで生成される、受信することと、前記1つ以上の画像を前記1つ以上の画像に表示された前記関心領域のそれぞれの地図と位置合わせすることと、示されている前記関心領域に対応する前記それぞれの地図におけるサブ領域を識別することと、前記レーダーを動作可能にしながら、前記航空機を前記関心領域上で誘導するための飛行ルートを自動的に生成することと、前記空中制御ユニットにおいて、前記飛行ルートに沿った前記航空機を自律的に制御するための飛行命令を実行し、かつ前記関心領域にわたってレーダーデータ出力を取得するために前記レーダーを作動させることとを含む、方法。
  19. 調査システムにおいてレーダーを動作させる方法を実行するために調査システムに動作可能に接続された処理回路によって実行可能な命令のプログラムを有形的に具現化するコンピュータ可読の非一時的メモリデバイスであって、前記調査システムは、航空機に搭載可能な空中制御ユニットに対し、通信リンクを介して動作可能に接続できる遠隔制御ユニットを備え、前記空中制御ユニットは、電気光学(EO)データ取得デバイスとレーダーとを含み、
    前記方法は、前記航空機が空中にいる間、
    前記遠隔制御ユニットにおいて、前記航空機が空中にいる間に前記EOデータ取得デバイスによって撮像された調査エリアの1つ以上の画像を受信することと、
    前記EOデータ取得デバイスによって撮像された前記1つ以上の画像と交信することによってリアルタイムでオペレータから提供されたデータを受信することであって、前記データは前記1つ以上の画像における関心領域を識別するデータを含み、前記関心領域は、前記レーダーによって走査されるように選択される、受信することと、
    前記1つ以上の画像を前記1つ以上の画像に表示された前記関心領域のそれぞれの地図と位置合わせすることと、
    前記関心領域に対応する前記それぞれの地図におけるサブ領域を識別することと、
    前記レーダーを動作可能にしながら、前記航空機を前記関心領域上で誘導するための飛行ルートを自動的に生成することと、
    前記空中制御ユニットにおいて、前記飛行ルートに沿った前記航空機を自律的に制御するための飛行命令を実行し、かつ前記関心領域にわたってレーダーデータ出力を取得するために前記レーダーを作動させることとを含む、方法。
  20. 搭載電気光学(EO)データ取得デバイスの動作から搭載レーダーへの移行中に航空機の飛行経路を自律的に適応させる方法であって、前記航空機が自律的に飛行している間、

    前記航空機が空中にいる間に前記EOデータ取得デバイスによって撮像された調査エリアの1つ以上の画像を生成することと、
    前記1つ以上の画像における関心領域を識別するデータを受信することであって、前記関心領域は、前記搭載レーダーによって走査されるように選択される、受信することと、
    前記1つ以上の画像を前記1つ以上の画像に表示された前記領域のそれぞれの地図と位置合わせすることと、示されている前記関心領域に対応する前記それぞれの地図におけるサブ領域を識別することと、前記搭載レーダーを動作可能にしながら、前記航空機を前記関心領域上で誘導するための飛行ルートを自動的に生成することと、空中制御ユニットにおいて、前記飛行ルートに沿った前記航空機の飛行を自律的に制御するための飛行命令を実行し、かつ前記関心領域にわたってレーダーデータ出力を取得するために前記搭載レーダーを作動させることとを含む、方法。
JP2020538995A 2018-01-18 2019-01-13 レーダー作動のための自動カメラ駆動型航空機制御 Expired - Fee Related JP6964786B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL257010A IL257010B (en) 2018-01-18 2018-01-18 Automatic camera driven aircraft control for rader activation
IL257010 2018-01-18
PCT/IL2019/050051 WO2019142181A1 (en) 2018-01-18 2019-01-13 Automatic camera driven aircraft control for radar activation

Publications (2)

Publication Number Publication Date
JP2021508893A JP2021508893A (ja) 2021-03-11
JP6964786B2 true JP6964786B2 (ja) 2021-11-10

Family

ID=66624334

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020538995A Expired - Fee Related JP6964786B2 (ja) 2018-01-18 2019-01-13 レーダー作動のための自動カメラ駆動型航空機制御

Country Status (10)

Country Link
US (1) US11086339B2 (ja)
EP (1) EP3740785B1 (ja)
JP (1) JP6964786B2 (ja)
KR (1) KR102229268B1 (ja)
AU (1) AU2019210120B2 (ja)
ES (1) ES2923956T3 (ja)
IL (1) IL257010B (ja)
PL (1) PL3740785T3 (ja)
SG (1) SG11202005587WA (ja)
WO (1) WO2019142181A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102296961B1 (ko) * 2019-10-01 2021-09-01 엘아이지넥스원 주식회사 Gpu 기반의 소형 무인 비행체용 sar 영상 복원 장치 및 sar 영상 복원 시스템
CN110703248A (zh) * 2019-10-31 2020-01-17 中国科学院电子学研究所 一种基于低秩和一维稀疏分解的sar-gmti方法
US11741843B2 (en) * 2020-04-03 2023-08-29 The Boeing Company Systems and methods of radar surveillance on-board an autonomous or remotely piloted aircraft
CN113966496A (zh) * 2020-05-21 2022-01-21 深圳市大疆创新科技有限公司 控制方法、控制装置、可移动平台与计算机可读存储介质
US12405367B2 (en) 2020-06-25 2025-09-02 Lassen Peak, Inc. Systems and methods for noninvasive detection of impermissible objects
US12613330B2 (en) 2020-06-25 2026-04-28 Lassen Peak, Inc. Systems and methods for using a conducted energy weapon in conjunction with a noninvasive detection of impermissible objects
US12529781B2 (en) 2020-06-25 2026-01-20 Lassen Peak, Inc. Systems and methods for noninvasive detection of impermissible objects using decoupled analog and digital components
US12379485B2 (en) 2020-06-25 2025-08-05 Lassen Peak, Inc. Systems and methods for handheld single chip submillimeter radars
KR102773545B1 (ko) 2020-07-20 2025-02-27 주식회사 엘지에너지솔루션 정하중 스프링을 포함하는 전지 모듈 및 이를 포함하는 전지 팩
US12099360B2 (en) 2020-12-16 2024-09-24 Lassen Peak, Inc. Systems and methods for noninvasive aerial detection of impermissible objects
US11982734B2 (en) 2021-01-06 2024-05-14 Lassen Peak, Inc. Systems and methods for multi-unit collaboration for noninvasive detection of concealed impermissible objects
US12000924B2 (en) 2021-01-06 2024-06-04 Lassen Peak, Inc. Systems and methods for noninvasive detection of impermissible objects
CN115240475B (zh) * 2022-09-23 2022-12-13 四川大学 融合飞行数据和雷达图像的航空器进近规划方法及装置
WO2024225917A1 (en) * 2023-04-28 2024-10-31 Isaksen Per Arne Radar system
WO2025170639A2 (en) * 2023-09-28 2025-08-14 Arizona Board Of Regents On Behalf Of Arizona State University Joint remote vital signs sensing communications and pnt based drone swarm

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3153784A (en) 1959-12-24 1964-10-20 Us Industries Inc Photo radar ground contour mapping system
US4914734A (en) * 1989-07-21 1990-04-03 The United States Of America As Represented By The Secretary Of The Air Force Intensity area correlation addition to terrain radiometric area correlation
US9121669B1 (en) * 1994-09-02 2015-09-01 The Boeing Company System and method for designating a target for a remote aerial vehicle
US5673050A (en) * 1996-06-14 1997-09-30 Moussally; George Three-dimensional underground imaging radar system
US7411196B2 (en) * 2005-08-18 2008-08-12 Itt Manufacturing Enterprises, Inc. Multi-sensors and differential absorption LIDAR data fusion
EP2225533B1 (de) 2008-11-24 2014-03-26 Deutsches Zentrum für Luft- und Raumfahrt e. V. Verfahren zur georeferenzierung optischer fernerkundungsbilder
IL197522A (en) * 2009-03-10 2013-10-31 Bird Aerosystems Ltd A system and method for protecting aircraft from assault
US8207887B2 (en) * 2009-06-19 2012-06-26 The United States Of America As Represented By The Secretary Of The Army Computationally efficent radar processing method and sytem for SAR and GMTI on a slow moving platform
DE102010046479B4 (de) * 2010-08-31 2023-10-12 Lacos Computerservice Gmbh Verfahren zur Erfassung von Daten für eine teilflächenspezifische Behandlung oder Bearbeitung von Agrarflächen
KR101415145B1 (ko) 2014-01-08 2014-07-04 국방과학연구소 항공기 탑재용 eo/ir 장비 자동임무 수행을 위한 촬영표적좌표 생성방법
US9978013B2 (en) 2014-07-16 2018-05-22 Deep Learning Analytics, LLC Systems and methods for recognizing objects in radar imagery
FR3031193B1 (fr) 2014-12-30 2018-08-17 Thales Dispositif d'imagerie multi-senseurs
KR101837979B1 (ko) * 2015-07-31 2018-03-13 삼성에스디에스 주식회사 드론 관제 방법 및 이를 수행하기 위한 장치 및 시스템과 드론 관제 서버
JP6657257B2 (ja) * 2015-12-25 2020-03-04 株式会社小松製作所 作業機械の管理システム、作業機械及び作業機械の管理装置
KR20170109432A (ko) * 2016-03-21 2017-09-29 한국전자통신연구원 무인 항공기의 비행 제어 서버 및 제어 방법
KR20170111219A (ko) * 2016-03-25 2017-10-12 한국전자통신연구원 화재 관찰을 위한 무인 항공기의 비행 제어 서버 및 제어 방법
GB201609427D0 (en) * 2016-05-27 2016-07-13 Sintef Tto As Accelerometers
KR20180089679A (ko) * 2017-02-01 2018-08-09 한화에어로스페이스 주식회사 비행 경로 생성 장치 및 방법
WO2018217902A1 (en) * 2017-05-23 2018-11-29 King Abdullah City Of Science And Technology Synthetic aperture radar imaging apparatus and methods for moving targets

Also Published As

Publication number Publication date
AU2019210120A1 (en) 2020-07-23
JP2021508893A (ja) 2021-03-11
SG11202005587WA (en) 2020-07-29
US20200341493A1 (en) 2020-10-29
PL3740785T3 (pl) 2022-09-05
EP3740785A4 (en) 2021-03-10
US11086339B2 (en) 2021-08-10
EP3740785B1 (en) 2022-05-25
IL257010A (en) 2018-04-30
EP3740785A1 (en) 2020-11-25
ES2923956T3 (es) 2022-10-03
AU2019210120B2 (en) 2020-09-17
KR20200089333A (ko) 2020-07-24
IL257010B (en) 2021-10-31
WO2019142181A1 (en) 2019-07-25
KR102229268B1 (ko) 2021-03-22

Similar Documents

Publication Publication Date Title
JP6964786B2 (ja) レーダー作動のための自動カメラ駆動型航空機制御
US11126201B2 (en) Image sensor based autonomous landing
US11017679B2 (en) Unmanned aerial vehicle visual point cloud navigation
EP1906151B1 (en) Imaging and display system to aid helicopter landings in brownout conditions
Johnson et al. Real-time terrain relative navigation test results from a relevant environment for Mars landing
US20100286859A1 (en) Methods for generating a flight plan for an unmanned aerial vehicle based on a predicted camera path
US20220390940A1 (en) Interfaces And Control Of Aerial Vehicle For Automated Multidimensional Volume Scanning
EP3283368B1 (en) Graphical control interface for uxv
Scholz et al. Concept for Sensor and Processing Equipment for Optical Navigation of VTOL during Approach and Landing
KR102899316B1 (ko) 3차원 측위 및 지도작성 시스템 및 방법
US11566894B2 (en) Systems and methods for generating a two-dimensional map
US20230394771A1 (en) Augmented Reality Tracking of Unmanned Systems using Multimodal Input Processing
RU200639U1 (ru) Автоматизированное устройство управления беспилотным летательным аппаратом при полете над движущимся наземным объектом
Vadlamani et al. Preliminary design and analysis of a lidar based obstacle detection system
DE202014011010U1 (de) Systeme zur Zielverfolgung
Skowronska et al. The Use of Unmanned Platforms in Image Reconnaissance
Lee Military Application of Aerial Photogrammetry Mapping Assisted by Small Unmanned Air Vehicles
IL292732A (en) A method and system for maintaining a line of sight between follower and follower
Brown et al. Three-dimensional terrain display for UAV applications

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20200714

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200714

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201109

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211019

R150 Certificate of patent or registration of utility model

Ref document number: 6964786

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees