Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7754292B2 - 観測支援装置、観測支援方法、及びプログラム - Google Patents
[go: Go Back, main page]

JP7754292B2 - 観測支援装置、観測支援方法、及びプログラム - Google Patents

観測支援装置、観測支援方法、及びプログラム

Info

Publication number
JP7754292B2
JP7754292B2 JP2024511638A JP2024511638A JP7754292B2 JP 7754292 B2 JP7754292 B2 JP 7754292B2 JP 2024511638 A JP2024511638 A JP 2024511638A JP 2024511638 A JP2024511638 A JP 2024511638A JP 7754292 B2 JP7754292 B2 JP 7754292B2
Authority
JP
Japan
Prior art keywords
target area
pseudo image
image
observation
control command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024511638A
Other languages
English (en)
Other versions
JPWO2023189360A1 (ja
JPWO2023189360A5 (ja
Inventor
優弥子 浦沢
健太 井関
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2023189360A1 publication Critical patent/JPWO2023189360A1/ja
Publication of JPWO2023189360A5 publication Critical patent/JPWO2023189360A5/ja
Application granted granted Critical
Publication of JP7754292B2 publication Critical patent/JP7754292B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64GCOSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00Cosmonautic vehicles
    • B64G1/10Artificial satellites; Systems of such satellites; Interplanetary vehicles
    • B64G1/1021Earth observation satellites
    • B64G1/1028Earth observation satellites using optical means for mapping, surveying or detection, e.g. of intelligence
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64GCOSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00Cosmonautic vehicles
    • B64G1/22Parts of, or equipment specially adapted for fitting in or to, cosmonautic vehicles
    • B64G1/24Guiding or controlling apparatus, e.g. for attitude control
    • B64G1/242Orbits and trajectories
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/22Command input arrangements
    • G05D1/221Remote-control arrangements
    • G05D1/225Remote-control arrangements operated by off-board computers
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60Intended control result
    • G05D1/656Interaction with payloads or external entities
    • G05D1/689Pointing payloads towards fixed or moving targets
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00Three-dimensional [3D] image rendering
    • G06T15/50Lighting effects
    • G06T15/60Shadow generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00Types of controlled vehicles
    • G05D2109/20Aircraft, e.g. drones
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10Optical signals
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Evolutionary Computation (AREA)
  • Processing Or Creating Images (AREA)

Description

技術分野は、軌道に沿って移動する移動体を用いた観測を支援する観測支援装置、観測支援方法に関し、更には、これらを実現するためのプログラムに関する。
人工衛星に搭載されている撮像装置を用いて、運用者が希望する対象領域を撮像する場合、運用者は、実際に撮像されると予測される対象領域の画像をイメージして、撮像の立案をしている。
ところが、撮像装置により実際に撮像されると予測される対象領域の画像をイメージして立案をするには、軌道上の人工衛星の位置と、その位置における人工衛星が向く方向(姿勢)と、人工衛星がその位置に到着する時刻などを加味しなければならない。
そのため、現状では、経験豊富な熟練した運用者が立案をしている。
言い換えれば、撮像装置により実際に撮像されると予測される対象領域の画像をイメージして、撮像の立案をすることは、経験の少ない運用者には困難である。
また、運用者が希望する対象領域の画像を撮像するためには、撮像の立案に基づいて、人工衛星を制御するための制御命令情報(衛星コマンド)を生成しなければならない。
関連する技術として特許文献1には、注目ポイントから変化のあったポイントを抽出して、抽出したポイントを優先して撮像する撮像計画作成装置が開示されている。特許文献1の撮像計画作成装置は、飛翔体(人工衛星)が撮像した第一の撮像データと、過去に撮像した第二の撮像データとを比較して、比較結果に基づいて撮像優先度を設定する。
また、特許文献1の撮像計画作成装置は、観測時刻における撮像可否を判定する。その後、特許文献1の撮像計画作成装置は、撮像優先度と撮像可否判定とに基づいて、撮像計画を作成し、撮像計画を衛星コマンドに変換して、衛星コマンドを飛翔体に送信する。
特開2015-028759号公報
しかしながら、特許文献1の撮像計画作成装置では、人工衛星から抽出したポイント(観測対象)を撮像するための撮像計画を生成しているが、人工衛星の撮像を制御するために用いる衛星コマンドの生成を支援するものではない。
すなわち、撮像装置により実際に撮像されると予測される対象領域の画像に相当する疑似画像を、あらかじめ運用者に提示し、その提示された疑似画像に基づいて、衛星コマンドを生成するものではない。
一つの側面として、移動体が行う観測に用いる制御命令情報の生成を支援する、観測支援装置、観測支援方法、及びプログラムを提供することを目的とする。
上記目的を達成するため、一つの側面における観測支援装置は、
地表を観測するための観測装置を搭載した、前記地表より上の空間を軌道に沿って移動する移動体の視点で、対象領域を撮像した場合に予測される、対象領域を表す対象領域疑似画像を生成する、対象領域疑似画像生成部と、
運用者により前記対象領域疑似画像が選択された場合、選択された前記対象領域疑似画像が生成された際に用いた、前記移動体の位置を表す移動体位置情報と、前記移動体の方向を表す移動体方向情報とに基づいて、前記対象領域疑似画像に相当する実際の前記対象領域の観測画像を前記移動体に観測させるための、少なくとも前記移動体が前記対象領域を観測する時期と、前記移動体が観測する位置と、前記移動体が観測する方向とを制御するために用いる制御命令情報を生成する、制御命令情報生成部と、
を有することを特徴とする。
また、上記目的を達成するため、一側面における観測支援方法は、
地表を観測するための観測装置を搭載した、前記地表より上の空間を軌道に沿って移動する移動体の視点で、対象領域を撮像した場合に予測される、対象領域を表す対象領域疑似画像を生成する、対象領域疑似画像生成ステップと、
運用者により前記対象領域疑似画像が選択された場合、選択された前記対象領域疑似画像が生成された際に用いた、前記移動体の位置を表す移動体位置情報と、前記移動体の方向を表す移動体方向情報とに基づいて、前記対象領域疑似画像に相当する実際の前記対象領域の観測画像を前記移動体に観測させるための、少なくとも前記移動体が前記対象領域を観測する時期と、前記移動体が観測する位置と、前記移動体が観測する方向とを制御するために用いる制御命令情報を生成する、制御命令情報生成ステップと、
を有することを特徴とする。
さらに、上記目的を達成するため、一側面におけるプログラムは、
コンピュータに、
地表を観測するための観測装置を搭載した、前記地表より上の空間を軌道に沿って移動する移動体の視点で、対象領域を撮像した場合に予測される、対象領域を表す対象領域疑似画像を生成する、対象領域疑似画像生成ステップと、
運用者により前記対象領域疑似画像が選択された場合、選択された前記対象領域疑似画像が生成された際に用いた、前記移動体の位置を表す移動体位置情報と、前記移動体の方向を表す移動体方向情報とに基づいて、前記対象領域疑似画像に相当する実際の前記対象領域の観測画像を前記移動体に観測させるための、少なくとも前記移動体が前記対象領域を観測する時期と、前記移動体が観測する位置と、前記移動体が観測する方向とを制御するために用いる制御命令情報を生成する、制御命令情報生成ステップと、
を実行させることを特徴とする。
一つの側面として、移動体が行う観測に用いる制御命令情報の生成を支援できる。
図1は、観測支援装置の一例を説明するための図である。 図2は、観測支援装置を有するシステムの一例を示す図である。 図3は、対象領域疑似画像の生成を説明するための図である。 図4は、対象領域疑似画像の生成を説明するための図である。 図5は、対象領域疑似画像に影が付加された図である。 図6は、対象領域疑似画像に制御命令情報の内容を表示した図である。 図7は、観測支援装置の動作を説明するための図である。 図8は、実施形態、変形例1、2における観測支援装置を実現するコンピュータの一例を示す図である。
以下、図面を参照して実施形態について説明する。なお、以下で説明する図面において、同一の機能又は対応する機能を有する要素には同一の符号を付し、その繰り返しの説明は省略することもある。
(実施形態)
図1を用いて、実施形態における観測支援装置の構成について説明する。図1は、観測支援装置の一例を説明するための図である。
[装置構成]
図1に示す観測支援装置10は、撮像装置により実際に撮像されると予測される対象領域の画像に相当する疑似画像を、あらかじめ運用者に提示し、その提示された疑似画像に基づいて制御命令情報を生成する装置である。また、図1に示すように、観測支援装置10は、対象領域疑似画像生成部11と、制御命令情報生成部12とを有する。
対象領域疑似画像生成部11は、地表を観測するための観測装置を搭載した、地表より上の空間を軌道に沿って移動する移動体の視点で、対象領域を撮像した場合に予測される、対象領域を表す対象領域疑似画像を生成する。
移動体は、地表より上の空間を、あらかじめ設定された軌道に沿って移動する。移動体は、例えば、人工衛星、無人飛行機などの飛翔体である。人工衛星が観測衛星などである場合、軌道は、例えば、衛星軌道である。無人飛行機の場合、軌道は、運用者によってあらかじめ設定された飛行ルートである。
観測装置は、例えば、地表観測に用いる各種センサである。観測衛星の場合、観測装置は、カメラなどの光学センサ、合成開口レーダ(SAR:Synthetic Aperture Radar)などのミッション機器である。
制御命令情報生成部12は、運用者により対象領域疑似画像が選択された場合、選択された対象領域疑似画像を生成した際に用いた、移動体の位置を表す移動体位置情報と、移動体の方向を表す移動体方向情報とに基づいて、対象領域疑似画像に相当する実際の対象領域の観測画像を移動体に観測させるための、少なくとも移動体が対象領域を観測する時期と、移動体が観測する位置と、移動体が観測する方向とを制御するために用いる制御命令情報を生成する。
移動体位置情報は、例えば、移動体の緯度、経度、高度などの情報である。移動体方向情報は、例えば、対象領域の位置と移動体の位置により表される入射角などの情報である。観測画像は、観測装置により実際に撮像される画像である。
制御命令情報は、移動体が観測衛星の場合、地上運用局(以降において局と呼ぶ)から人工衛星へ送信される制御情報(衛星コマンド)である。無人飛行機の場合、無人飛行機を制御するための制御情報である。
このように実施形態においては、移動体に搭載された観測装置を用いて、運用者が希望する対象領域の画像を観測するための立案をする場合に、運用者が観測したい対象領域の対象領域疑似画像を選択するだけで、移動体の制御に必要な情報を含む制御命令情報を自動生成できる。その結果、経験豊富な熟練した運用者でなくても、簡単に制御命令情報を生成できる。
[システム構成]
実施形態における観測支援装置10の構成をより具体的に説明する。図2は、観測支援装置を有するシステムの一例を示す図である。
図2に示すように、システム100は、観測支援装置10と、移動体20と、局30と、記憶装置40と、表示装置50と、入力装置60と、ネットワーク70とを有する。
観測支援装置10は、例えば、CPU(Central Processing Unit)、又はFPGA(Field-Programmable Gate Array)などのプログラマブルなデバイス、又はGPU(Graphics Processing Unit)、又はそれらのうちのいずれか一つ以上を搭載した回路、サーバコンピュータ、パーソナルコンピュータ、モバイル端末などの情報処理装置である。
移動体20は、地表より上の空間を、あらかじめ設定された軌道に沿って移動する、例えば、人工衛星、無人飛行機などの飛翔体である。人工衛星は、例えば、地球などの惑星を観察する観測衛星などである。無人飛行機は、例えば、ドローンなどである。
なお、以降において、移動体20は観測衛星とし、観測装置はカメラなどの光学センサとして説明をする。
局30は、移動体20が観測衛星である場合、衛星コマンドを含む送信信号を生成して観測衛星に送信する機能と、観測衛星からテレメトリデータ、ミッションデータなどの受信情報を受信する機能とを有する送受信局である。
ミッションデータは、例えば、観測データ(例えば、観測画像など)である。観測データは、例えば、運用者が選択した対象領域疑似画像に相当する、移動体20が実際に対象領域を観測した際に得られた画像である。
記憶装置40は、データベース、サーバコンピュータ、メモリを有る回路などである。記憶装置40は、例えば、少なくとも観測衛星の軌道に関する軌道情報、地図情報などの情報が記憶されている。図2の例では、記憶装置40は観測支援装置10の外部に設けているが、観測支援装置10の内部に設けてもよい。なお、地図情報は、各種地図をウェブブラウザで提供するサイトから取得してもよい。
表示装置50は、例えば、液晶、有機EL(Electro Luminescence)、CRT(Cathode Ray Tube)を用いた表示装置などである。入力装置60は、例えば、マウス、キーボード、タッチパネルなどの装置である。
ネットワーク70は、例えば、インターネット、LAN(Local Area Network)、専用回線、電話回線、企業内ネットワーク、移動体通信網、ブルートゥース(登録商標)、WiFi(Wireless Fidelity)などの通信回線を用いて構築された一般的なネットワークである。
観測支援装置10について詳細に説明する。
図2に示すように、観測支援装置10は、対象領域疑似画像生成部11と、制御命令情報生成部12と、通信部13とを有する。
対象領域疑似画像生成部11は、観測衛星(移動体20)に搭載された観測装置(光学センサ)の視点で、対象領域を撮像した場合に予測される対象領域疑似画像を生成する。すなわち、あたかも運用者が観測衛星に搭乗して、運用者自身がカメラを用いて対象領域を撮影したような感覚の画像(疑似画像)が生成できる。
具体的には、まず、対象領域疑似画像生成部11は、運用者により表示装置50と入力装置60とを用いて入力された、対象領域を撮像するための観測衛星に搭載された光学センサの視点を表す情報を取得する。視点を表す情報とは、移動体位置情報と、移動体方向情報とを有する。
次に、対象領域疑似画像生成部11は、移動体位置情報と、移動体方向情報と、対象領域の地図情報とを入力として、既存のシミュレータとして、例えば、CESIUMなどのライブラリを用いたシミュレータなどを用いて対象領域疑似画像を生成し、生成した対象領域疑似画像を表示装置50に表示する。
シミュレータは、対象領域疑似画像生成部11の内部に設けてもよい。又は、対象領域疑似画像生成部11の外部に、シミュレータの機能を有する装置を設け、その装置を用いてシミュレーションをしてもよい。
地図情報は、二次元又は三次元の地図情報である。地図情報には、建造物などの二次元又は三次元の情報が含まれている。対象領域疑似画像は、二次元又は三次元の地図画像である。対象領域疑似画像には地形だけでなく建造物などの画像も含まれている。
図3、図4を用いて対象領域疑似画像の生成について説明する。図3、図4は、対象領域疑似画像の生成を説明するための図である。
まず、対象領域疑似画像生成部11は、既存のシミュレータとして、例えば、CESIUMなどのライブラリを用いたシミュレータなどを用いて、表示装置50に、運用開始時において、運用者に対象領域を指定させるために、地球(又は惑星)の全体又は一部の画像を表示させる。図3の例では、画像31に、地球の一部を表す画像32が表示されている。
例えば、運用者が、表示装置50に表示された画像31を参照して、マウスなどの入力装置60を用いて、地球の一部を表す画像32の対象領域に対応する画像33(破線範囲)を指定したとする。
そうすると、対象領域疑似画像生成部11は、既存のシミュレータとして、例えば、CESIUMなどのライブラリを用いたシミュレータなどを用いて、指定された画像33を拡大し、拡大した対象領域に対応する画像34を表示装置50に表示させる。画像34には、例えば、対象領域の地形(例えば、川、山、道路など)に対応する画像と、対象領域建造物35aから35fに対応する画像とが表示されている。
次に、表示装置50に表示された画像34が、希望する対象領域疑似画像でない場合には、運用者は、マウスなどの入力装置60を用いて視点を動かす。例えば、対象の建造物が、他の建造物などにより遮断されて上手く撮像されていない場合、対象の建造物が上手く撮像できる位置に視点を移動する。
例えば、図4の画像34に示すように、軌道41(破線)と視点42(×印)とを表示し、マウスなどの入力装置60を用いて、視点42を、軌道41上を移動させる。すると、対象領域疑似画像生成部11は、視点42に対応する移動体位置情報及び移動体方向情報と、対象領域の地図情報とにより、視点42からみた新たな対象領域疑似画像を生成する。
また、視点の移動に加えて、観測衛星の姿勢(対象領域を撮像する方向)を変更してもよい。また、観測衛星に搭載されている光学センサに倍率変更機能(ズーム)がある場合には、入力装置60を用いて倍率を変更してもよい。
さらに、視点42に観測衛星を模した画像を表示してもよい。その場合、その観測衛星の画像を、マウスなどの入力装置60用いて操作することで、観測衛星の観測方向を変更できるようにしてもよい。
なお、図4のように、軌道41(破線)と視点42(×印)とを表示せずに、視点を動かしてもよい。その場合、マウスなどの入力装置60を用いて、あらかじめ設定された一連のマウス操作に基づいて視点を移動し、新たに対象領域疑似画像を生成してもよい。
次に、表示装置50に表示された、新たに生成された対象領域疑似画像が、運用者が希望する対象領域疑似画像となった場合、運用者はマウスなどの入力装置60を用いて、新たに生成された対象領域疑似画像を選択する。
上述したように、観測衛星は軌道上を移動するので、軌道上の位置から対象領域を撮像する。したがって対象領域を全ての方向から撮像できない。すなわち、対象領域を撮像できる方向は制限されているので、運用者が希望する対象領域疑似画像を必ずしも撮像できるわけではない。
そこで、対象領域疑似画像生成部11を用いて、観測衛星に搭載された光学センサからの視点で撮像した対象領域の疑似画像、すなわち光学センサで撮像できる範囲で対象領域に対応する対象領域疑似画像を生成して、運用者に提示する。
そうすることで、運用者は、希望する対象領域疑似画像を得られるまで視点を動かすことができる。すなわち、視点ごとに対象領域疑似画像をリアルタイムで生成して、運用者に提示するので、運用者は直感的に、希望する対象領域疑似画像を得ることができる。
制御命令情報生成部12は、運用者により対象領域疑似画像が選択された場合、選択された対象領域疑似画像が生成された際に用いた移動体位置情報と、移動体方向情報とに基づいて制御命令情報を生成する。
具体的には、まず、制御命令情報生成部12は、選択された対象領域疑似画像が生成された際に用いた移動体位置情報と移動体方向情報とを取得する。
次に、制御命令情報生成部12は、選択された対象領域疑似画像が生成された際に用いた、移動体位置情報と移動体方向情報とに基づいて、制御命令情報で用いる、観測衛星が対象領域を撮像する位置と方向とを算出する。
また、制御命令情報生成部12は、制御命令情報で用いる、観測衛星が選択された対象領域疑似画像に相当する観測画像を撮像できる時期を算出する。時期は、上述した算出した撮像する位置と方向から観測衛星が撮像可能な日時を算出する。その後、制御命令情報生成部12は、制御命令情報を生成して、通信部13に、制御命令情報を出力する。又は、制御命令情報生成部12は、制御命令情報を記憶装置40に記憶する。
通信部13は、制御命令情報生成部12から、生成された制御命令情報を取得し、ネットワーク70を介して局30へ送信する。その後、局30は、制御命令情報を用いて変調した送信信号を観測衛星に送信する。
(変形例1)
変形例1では、対象領域疑似画像を、実際に撮像される観測画像に近づけるために、対象領域疑似画像に影を付加する。
具体的には、対象領域疑似画像生成部11は、まず、観測衛星に搭載された光学センサの視点で、対象領域を撮像した場合に予測される対象領域疑似画像を生成する。
次に、対象領域疑似画像生成部11は、既存のシミュレータとして、例えば、CESIUMなどのライブラリを用いたシミュレータなどを用いて、図5に示すように、生成した対象領域疑似画像に影を付加する。図5は、対象領域疑似画像に影が付加された図である。
シミュレータは、生成された対象領域疑似画像が観測できる時期と、その時期における対象領域における太陽の高度と方位角を表す日射情報と、対象領域の三次元地図情報とを用いて、対象領域疑似画像に影画像43aから43f(図5の黒塗り部分)を追加する。
また、シミュレータは、生成された対象領域疑似画像が観測できる時期と、その時期の対象領域における天候を表す天候情報(例えば、曇り具合、日照時間などを表す情報)と、対象領域の三次元地図情報とを用いて、対象領域疑似画像に影画像を追加してもよい。
さらに、シミュレータは、生成された対象領域疑似画像が観測できる時期と、その時期の日射情報及び天候情報と、対象領域の三次元地図情報とを用いて、対象領域疑似画像に影画像を追加してもよい。
このように、変形例1によれば、対象領域疑似画像に影画像を付加することで、対象領域疑似画像が、実際に撮像される観測画像に近づくため、運用者は、更に、直感的に対象領域疑似画像を参照できる。
(変形例2)
変形例2では、対象領域疑似画像とともに制御命令情報を表示装置50に表示する。具体的には、対象領域疑似画像生成部11は、制御命令情報生成部12が生成した制御命令情報を取得して、対象領域疑似画像とともに制御命令情報の内容を表示装置50に表示する。
図6は、対象領域疑似画像に制御命令情報の内容を表示した図である。図6のように制御命令情報を表示するための表示部50に表示することで、運用者は、制御命令情報の内容をリアルタイムで確認できる。
なお、制御命令情報の内容は、図6に示す位置に限定されるものではなく、他の箇所に表示してもよい。
[装置動作]
次に、実施形態における観測支援装置の動作について図7を用いて説明する。図7は、観測支援装置の動作を説明するための図である。以下の説明においては、適宜図を参照する。また、実施形態では、観測支援装置を動作させることによって、観測支援方法が実施される。よって、実施形態における観測支援方法の説明は、以下の観測支援装置の動作説明に代える。
図7に示すように、対象領域疑似画像生成部11は、観測衛星(移動体20)に搭載された観測装置(光学センサ)の視点で、対象領域を撮像した場合に予測される対象領域疑似画像を生成し、対象領域疑似画像を表示装置50に表示する(ステップA1)。
次に、運用者により対象領域疑似画像が選択された場合(ステップA2:Yes)、制御命令情報生成部12は、選択された対象領域疑似画像が生成された際に用いた、移動体位置情報と、移動体方向情報とに基づいて、制御命令情報を生成する(ステップA3)。
なお、ステップA1において、変形例1に示したように対象領域疑似画像に影を付加してもよい。
なお、運用者により対象領域疑似画像がまだ選択されていない場合(ステップA2:No)、例えば、運用者がマウスなどの入力装置60を用いて視点を動かしている場合、視点に対応する対象領域疑似画像をリアルタイムで生成するため、ステップA1の処理を実行する。
なお、ステップA1において、変形例2に示したように対象領域疑似画像とともに制御命令情報の内容を表示装置50に表示してもよい。
[実施形態の効果]
以上のように、実施形態、変形例1、2においては、移動体に搭載された観測装置を用いて、運用者が希望する対象領域の画像を観測するための立案をする場合に、運用者が観測したい対象領域の対象領域疑似画像を選択するだけで、移動体の制御に必要な情報を含む制御命令情報を自動生成できる。その結果、経験豊富な熟練した運用者でなくても、容易に制御命令情報を生成できる。
観測衛星は軌道上を移動して、軌道上の位置から対象領域を撮像するので、対象領域を全ての方向から撮像できない。すなわち、対象領域を撮像できる方向が制限されるので、運用者が希望する対象領域疑似画像を必ずしも撮像できない。
そこで、観測衛星に搭載された光学センサからの視点で撮像した対象領域の疑似画像、すなわち光学センサで撮像できる対象領域に対応する対象領域疑似画像を、観測衛星の位置を表す移動体位置情報と対象領域の地図情報とに基づいて生成して、運用者に提示する。また、視点を動かすごとに、対象領域疑似画像をリアルタイムで生成して提示する。
その結果、運用者は直感的に、希望する対象領域疑似画像を得ることができるので、経験豊富な熟練した運用者でなくても、容易に制御命令情報を生成できる。
[プログラム]
実施形態、変形例1、2におけるプログラムは、コンピュータに、図7に示すステップA1からA3を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、実施形態、変形例1、2における観測支援装置と観測支援方法とを実現することができる。この場合、コンピュータのプロセッサは、対象領域疑似画像生成部11、制御命令情報生成部12として機能し、処理を行なう。
また、実施形態、変形例1、2におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、対象領域疑似画像生成部11、制御命令情報生成部12のいずれかとして機能してもよい。
[物理構成]
ここで、実施形態、変形例1、2におけるプログラムを実行することによって、観測支援装置を実現するコンピュータについて図8を用いて説明する。図8は、実施形態、変形例1、2における観測支援装置を実現するコンピュータの一例を示す図である。
図8に示すように、コンピュータ110は、CPU(Central Processing Unit)111と、メインメモリ112と、記憶装置113と、入力インターフェイス114と、表示コントローラ115と、データリーダ/ライタ116と、通信インターフェイス117とを備える。これらの各部は、バス121を介して、互いにデータ通信可能に接続される。なお、コンピュータ110は、CPU111に加えて、又はCPU111に代えて、GPU、又はFPGAを備えていてもよい。
CPU111は、記憶装置113に格納された、実施形態、変形例1、2におけるプログラム(コード)をメインメモリ112に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ112は、典型的には、DRAM(Dynamic Random Access Memory)などの揮発性の記憶装置である。また、実施形態、変形例1、2におけるプログラムは、コンピュータ読み取り可能な記録媒体120に格納された状態で提供される。なお、実施形態、変形例1、2におけるプログラムは、通信インターフェイス117を介して接続されたインターネット上で流通するものであってもよい。なお、記録媒体120は、不揮発性記録媒体である。
また、記憶装置113の具体例としては、ハードディスクドライブの他、フラッシュメモリなどの半導体記憶装置があげられる。入力インターフェイス114は、CPU111と、キーボード及びマウスといった入力機器118との間のデータ伝送を仲介する。表示コントローラ115は、ディスプレイ装置119と接続され、ディスプレイ装置119での表示を制御する。
データリーダ/ライタ116は、CPU111と記録媒体120との間のデータ伝送を仲介し、記録媒体120からのプログラムの読み出し、及びコンピュータ110における処理結果の記録媒体120への書き込みを実行する。通信インターフェイス117は、CPU111と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体120の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)などの汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)などの磁気記録媒体、又はCD-ROM(Compact Disk Read Only Memory)などの光学記録媒体があげられる。
なお、実施形態、変形例1、2における観測支援装置10は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。さらに、観測支援装置10は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
[付記]
以上の実施形態、変形例1、2に関し、更に以下の付記を開示する。上述した実施形態、変形例1、2の一部又は全部は、以下に記載する(付記1)から(付記12)により表現することができるが、以下の記載に限定されるものではない。
(付記1)
地表を観測するための観測装置を搭載した、前記地表より上の空間を軌道に沿って移動する移動体の視点で、対象領域を撮像した場合に予測される、対象領域を表す対象領域疑似画像を生成する、対象領域疑似画像生成部と、
運用者により前記対象領域疑似画像が選択された場合、選択された前記対象領域疑似画像が生成された際に用いた、前記移動体の位置を表す移動体位置情報と、前記移動体の方向を表す移動体方向情報とに基づいて、前記対象領域疑似画像に相当する実際の前記対象領域の観測画像を前記移動体に観測させるための、少なくとも前記移動体が前記対象領域を観測する時期と、前記移動体が観測する位置と、前記移動体が観測する方向とを制御するために用いる制御命令情報を生成する、制御命令情報生成部と、
を有する観測支援装置。
(付記2)
付記1に記載の観測支援装置であって、
前記対象領域疑似画像生成部は、生成した前記対象領域疑似画像が観測できる時期と、前記対象領域における太陽の高度と方位角を表す日射情報と、前記対象領域の三次元地図情報とを用いて、前記対象領域疑似画像に影画像を追加する
観測支援装置。
(付記3)
付記1又は2に記載の観測支援装置であって、
前記対象領域疑似画像生成部は、生成した前記対象領域疑似画像が観測できる時期と、前記対象領域における天候を表す天候情報と、前記対象領域の三次元地図情報とを用いて、前記対象領域疑似画像に影画像を追加する
観測支援装置。
(付記4)
付記1から3のいずれか一つに記載の観測支援装置であって、
前記対象領域疑似画像とともに前記制御命令情報を前記表示装置に表示する
観測支援装置。
(付記5)
地表を観測するための観測装置を搭載した、前記地表より上の空間を軌道に沿って移動する移動体の視点で、対象領域を撮像した場合に予測される、対象領域を表す対象領域疑似画像を生成する、対象領域疑似画像生成ステップと、
運用者により前記対象領域疑似画像が選択された場合、選択された前記対象領域疑似画像が生成された際に用いた、前記移動体の位置を表す移動体位置情報と、前記移動体の方向を表す移動体方向情報とに基づいて、前記対象領域疑似画像に相当する実際の前記対象領域の観測画像を前記移動体に観測させるための、少なくとも前記移動体が前記対象領域を観測する時期と、前記移動体が観測する位置と、前記移動体が観測する方向とを制御するために用いる制御命令情報を生成する、制御命令情報生成ステップと、
を有する観測支援方法。
(付記6)
付記5に記載の観測支援方法であって、
前記対象領域疑似画像生成ステップは、生成した前記対象領域疑似画像が観測できる時期と、前記対象領域における太陽の高度と方位角を表す日射情報と、前記対象領域の三次元地図情報とを用いて、前記対象領域疑似画像に影画像を追加する
観測支援方法。
(付記7)
付記5又は6に記載の観測支援方法であって、
前記対象領域疑似画像生成ステップは、生成した前記対象領域疑似画像が観測できる時期と、前記対象領域における天候を表す天候情報と、前記対象領域の三次元地図情報とを用いて、前記対象領域疑似画像に影画像を追加する
観測支援方法。
(付記8)
付記5から7のいずれか一つに記載の観測支援方法であって、
前記対象領域疑似画像とともに前記制御命令情報を前記表示装置に表示する
観測支援方法。
(付記9)
コンピュータに、
地表を観測するための観測装置を搭載した、前記地表より上の空間を軌道に沿って移動する移動体の視点で、対象領域を撮像した場合に予測される、対象領域を表す対象領域疑似画像を生成する、対象領域疑似画像生成ステップと、
運用者により前記対象領域疑似画像が選択された場合、選択された前記対象領域疑似画像が生成された際に用いた、前記移動体の位置を表す移動体位置情報と、前記移動体の方向を表す移動体方向情報とに基づいて、前記対象領域疑似画像に相当する実際の前記対象領域の観測画像を前記移動体に観測させるための、少なくとも前記移動体が前記対象領域を観測する時期と、前記移動体が観測する位置と、前記移動体が観測する方向とを制御するために用いる制御命令情報を生成する、制御命令情報生成ステップと、
を実行させる命令を含むプログラム。
(付記10)
付記9に記載のプログラムであって、
前記対象領域疑似画像生成ステップは、生成した前記対象領域疑似画像が観測できる時期と、前記対象領域における太陽の高度と方位角を表す日射情報と、前記対象領域の三次元地図情報とを用いて、前記対象領域疑似画像に影画像を追加する
プログラム
(付記11)
付記9又は10に記載のプログラムであって、
前記対象領域疑似画像生成ステップは、生成した前記対象領域疑似画像が観測できる時期と、前記対象領域における天候を表す天候情報と、前記対象領域の三次元地図情報とを用いて、前記対象領域疑似画像に影画像を追加する
プログラム
(付記12)
付記9から11のいずれか一つに記載のプログラムであって、
前記対象領域疑似画像とともに前記制御命令情報を前記表示装置に表示させる
プログラム
以上、実施形態、変形例1、2を参照して発明を説明したが、実施形態、変形例1、2に限定されるものではない。発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2022年03月28日に出願された日本出願特願2022-051790を基礎とする優先権を主張し、その開示の全てをここに取り込む。
上述した記載によれば、移動体が行う観測を制御するために用いる制御命令情報を生成するための支援をすることができる。また、移動体を用いた観測が必要な分野において有用である。
10 観測支援装置
11 対象領域疑似画像生成部
12 制御命令情報生成部
13 通信部
20 移動体
30 局
40 記憶装置
50 表示装置
60 入力装置
70 ネットワーク
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス

Claims (12)

  1. 地表を観測するための観測装置を搭載した、前記地表より上の空間を軌道に沿って移動する移動体の視点で、対象領域を撮像した場合に予測される、対象領域を表す対象領域疑似画像を生成する、対象領域疑似画像生成手段と、
    運用者により前記対象領域疑似画像が選択された場合、選択された前記対象領域疑似画像が生成された際に用いた、前記移動体の位置を表す移動体位置情報と、前記移動体の方向を表す移動体方向情報とに基づいて、前記対象領域疑似画像に相当する実際の前記対象領域の観測画像を前記移動体に観測させるための、少なくとも前記移動体が前記対象領域を観測する時期と、前記移動体が観測する位置と、前記移動体が観測する方向とを制御するために用いる制御命令情報を生成する、制御命令情報生成手段と、
    を有する観測支援装置。
  2. 請求項1に記載の観測支援装置であって、
    前記対象領域疑似画像生成手段は、生成した前記対象領域疑似画像が観測できる時期と、前記対象領域における太陽の高度と方位角を表す日射情報と、前記対象領域の三次元地図情報とを用いて、前記対象領域疑似画像に影画像を追加する
    観測支援装置。
  3. 請求項1に記載の観測支援装置であって、
    前記対象領域疑似画像生成手段は、生成した前記対象領域疑似画像が観測できる時期と、前記対象領域における天候を表す天候情報と、前記対象領域の三次元地図情報とを用いて、前記対象領域疑似画像に影画像を追加する
    観測支援装置。
  4. 請求項1に記載の観測支援装置であって、
    前記対象領域疑似画像と前記制御命令情報とを表示装置に表示する
    観測支援装置。
  5. コンピュータが、
    地表を観測するための観測装置を搭載した、前記地表より上の空間を軌道に沿って移動する移動体の視点で、対象領域を撮像した場合に予測される、対象領域を表す対象領域疑似画像を生成し、
    運用者により前記対象領域疑似画像が選択された場合、選択された前記対象領域疑似画像が生成された際に用いた、前記移動体の位置を表す移動体位置情報と、前記移動体の方向を表す移動体方向情報とに基づいて、前記対象領域疑似画像に相当する実際の前記対象領域の観測画像を前記移動体に観測させるための、少なくとも前記移動体が前記対象領域を観測する時期と、前記移動体が観測する位置と、前記移動体が観測する方向とを制御するために用いる制御命令情報を生成する
    観測支援方法。
  6. 請求項5に記載の観測支援方法であって、
    生成した前記対象領域疑似画像が観測できる時期と、前記対象領域における太陽の高度と方位角を表す日射情報と、前記対象領域の三次元地図情報とを用いて、前記対象領域疑似画像に影画像を追加する
    観測支援方法。
  7. 請求項5に記載の観測支援方法であって、
    生成した前記対象領域疑似画像が観測できる時期と、前記対象領域における天候を表す天候情報と、前記対象領域の三次元地図情報とを用いて、前記対象領域疑似画像に影画像を追加する
    観測支援方法。
  8. 請求項5に記載の観測支援方法であって、
    前記対象領域疑似画像と前記制御命令情報とを表示装置に表示する
    観測支援方法。
  9. コンピュータに、
    地表を観測するための観測装置を搭載した、前記地表より上の空間を軌道に沿って移動する移動体の視点で、対象領域を撮像した場合に予測される、対象領域を表す対象領域疑似画像を生成させ、
    運用者により前記対象領域疑似画像が選択された場合、選択された前記対象領域疑似画像が生成された際に用いた、前記移動体の位置を表す移動体位置情報と、前記移動体の方向を表す移動体方向情報とに基づいて、前記対象領域疑似画像に相当する実際の前記対象領域の観測画像を前記移動体に観測させるための、少なくとも前記移動体が前記対象領域を観測する時期と、前記移動体が観測する位置と、前記移動体が観測する方向とを制御するために用いる制御命令情報を生成させる
    命令を含むプログラム。
  10. 請求項9に記載のプログラムであって、
    前記コンピュータに、
    生成した前記対象領域疑似画像が観測できる時期と、前記対象領域における太陽の高度と方位角を表す日射情報と、前記対象領域の三次元地図情報とを用いて、前記対象領域疑似画像に影画像を追加させる
    プログラム
  11. 請求項9に記載のプログラムであって、
    前記コンピュータに、
    生成した前記対象領域疑似画像が観測できる時期と、前記対象領域における天候を表す天候情報と、前記対象領域の三次元地図情報とを用いて、前記対象領域疑似画像に影画像を追加させる
    プログラム
  12. 請求項9に記載のプログラムであって、
    前記コンピュータに、
    前記対象領域疑似画像と前記制御命令情報とを表示装置に表示させる
    プログラム
JP2024511638A 2022-03-28 2023-03-09 観測支援装置、観測支援方法、及びプログラム Active JP7754292B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2022051790 2022-03-28
JP2022051790 2022-03-28
PCT/JP2023/009084 WO2023189360A1 (ja) 2022-03-28 2023-03-09 観測支援装置、観測支援方法、及びコンピュータ読み取り可能な記録媒体

Publications (3)

Publication Number Publication Date
JPWO2023189360A1 JPWO2023189360A1 (ja) 2023-10-05
JPWO2023189360A5 JPWO2023189360A5 (ja) 2024-11-26
JP7754292B2 true JP7754292B2 (ja) 2025-10-15

Family

ID=88200637

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024511638A Active JP7754292B2 (ja) 2022-03-28 2023-03-09 観測支援装置、観測支援方法、及びプログラム

Country Status (3)

Country Link
US (1) US20250168499A1 (ja)
JP (1) JP7754292B2 (ja)
WO (1) WO2023189360A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024098449A (ja) * 2023-01-10 2024-07-23 トヨタ自動車株式会社 情報処理装置及び情報処理システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009009436A (ja) * 2007-06-29 2009-01-15 Hitachi Software Eng Co Ltd 人工衛星画像要求システム
KR20110097277A (ko) * 2010-02-25 2011-08-31 (주)쎄트렉아이 합성 개구면 레이더 영상 형성 시뮬레이션 시스템 및 방법
JP5825046B2 (ja) * 2011-10-27 2015-12-02 富士通株式会社 衛星の観測計画立案装置、方法、及びプログラム
IL231114A0 (en) * 2013-07-05 2014-08-31 Hitachi Ltd Device for formulating a photography program and software and method for it

Also Published As

Publication number Publication date
JPWO2023189360A1 (ja) 2023-10-05
US20250168499A1 (en) 2025-05-22
WO2023189360A1 (ja) 2023-10-05

Similar Documents

Publication Publication Date Title
AU2011314338C1 (en) Real-time moving platform management system
EP3875901B1 (en) Planning method and apparatus for surveying and mapping sampling points
EP3971612B1 (en) Formation flight control device, observation satellite, ground station, formation flight system, sand observation system, formation flight control method, and program
CN105324633A (zh) 提供加强环境感知的增强视频系统
CN109561282B (zh) 一种用于呈现地面行动辅助信息的方法与设备
CN115439531B (zh) 一种获取目标对象的目标空间位置信息的方法与设备
CN115439528B (zh) 一种获取目标对象的图像位置信息的方法与设备
JP7754292B2 (ja) 観測支援装置、観測支援方法、及びプログラム
EP2015277A2 (en) Systems and methods for side angle radar training and simulation
KR20190075635A (ko) 위경 고도 좌표계를 기반으로 하는 비행 모델의 입체영상 생성 장치 및 그 방법
Adams et al. Passive optical terrain relative navigation using APLNav
KR20210104033A (ko) 측량 및 매핑 표본점의 계획 방법, 장치, 제어 단말기 및 저장 매체
CN114946176A (zh) 显示控制设备、显示控制方法和程序
KR102704199B1 (ko) 비행체 추적 장치의 추적성 보장 장치 및 방법 및 컴퓨터 프로그램
US10659717B2 (en) Airborne optoelectronic equipment for imaging, monitoring and/or designating targets
US9342206B1 (en) Fingerprint location indicator
Gademer et al. Solutions for near real time cartography from a mini-quadrators UAV
CN113791630A (zh) 火星椭圆轨道像移补偿控制地面验证系统
CN119268756B (zh) 一种长时驻空平台的扫描效果的地面评估装置及方法
Guo et al. A new UAV PTZ Controlling System with Target Localization
Borowiec Real-time synthetic aperture radar imagery displaying application: Implementation and results
Jensen gRAID: A geospatial real-time aerial image display for a low-cost autonomous multispectral remote sensing platform (AggieAir)
Borowiec Application for displaying synthetic aperture radar imagery in real-time Implementation and results
Wang et al. Control and on-Board Calibration Method for in-Situ Detection Using the Visible and Near-Infrared Imaging Spectrometer on the Yutu-2 Rover
JP2025166746A (ja) 走行可能性表示システム、走行可能性表示方法、走行可能性表示制御装置、および走行可能性表示制御プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240816

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250915

R150 Certificate of patent or registration of utility model

Ref document number: 7754292

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150