Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7641981B2 - 情報処理装置、情報処理方法、プログラム、及び情報収集システム - Google Patents
[go: Go Back, main page]

JP7641981B2 - 情報処理装置、情報処理方法、プログラム、及び情報収集システム - Google Patents

情報処理装置、情報処理方法、プログラム、及び情報収集システム Download PDF

Info

Publication number
JP7641981B2
JP7641981B2 JP2022553815A JP2022553815A JP7641981B2 JP 7641981 B2 JP7641981 B2 JP 7641981B2 JP 2022553815 A JP2022553815 A JP 2022553815A JP 2022553815 A JP2022553815 A JP 2022553815A JP 7641981 B2 JP7641981 B2 JP 7641981B2
Authority
JP
Japan
Prior art keywords
image
building
information
unphotographed
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022553815A
Other languages
English (en)
Other versions
JPWO2022070956A1 (ja
JPWO2022070956A5 (ja
Inventor
伸治 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2022070956A1 publication Critical patent/JPWO2022070956A1/ja
Publication of JPWO2022070956A5 publication Critical patent/JPWO2022070956A5/ja
Application granted granted Critical
Publication of JP7641981B2 publication Critical patent/JP7641981B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/176Urban or other man-made structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Alarm Systems (AREA)
  • Traffic Control Systems (AREA)

Description

本開示の技術は、情報処理装置、情報処理方法、プログラム、及び情報収集システムに関する。
大規模災害発生時に、発災地域の被害の最小化、及び住民の生活支援のために、自治体では、被害状況を迅速に把握する必要がある。近年、航空機、ドローン、又は高い建物の屋上等に設置された固定カメラにより撮影された俯瞰画像に基づいて、被害状況の把握が行われている。
航空機又はドローンは、災害の現場に到着するまでに時間がかかるので、被害状況を迅速に把握することができない。また、航空機又はドローンによる撮影では、建物までの距離が遠いので、戸々の建物の精緻な被害状況を把握することは困難である。一方、高い建物の屋上等に設置された固定カメラによる撮影では、建物までの距離が比較的近いため、戸々の建物の精緻な被害状況を把握することが可能である。ただし、高い建物の死角を撮影することができないため、被害状況の把握は限定された範囲にとどまる。
関連する技術として、複数の監視カメラが設置された監視対象エリアのうち、火災等の災害の発生場所から一定距離の範囲を撮影要請エリアとして決定し、撮影要請エリアの撮影を、撮影要請エリアの付近に存在する人物に依頼することが知られている(特許文献1参照)。
国際公開第2018/116485号
しかしながら、特許文献1に記載の技術は、撮影要請エリアという比較的大まかなエリアの状況把握を目的とするものであり、建物ごとの被害状況の把握を目的とするものではない。災害時に被害状況を把握する場合には、建物ごとの被害状況を取得する必要がある。
特に、高い建物の屋上等に設置された固定カメラで発災地域の被害状況を把握する場合には、例えば、他の建物の死角に存在することにより俯瞰画像に写っていない建物の被害状況を把握する必要がある。
本開示の技術は、固定カメラで撮影した俯瞰画像に写っていない建物の被害状況を迅速に把握することを可能とする情報処理装置、情報処理方法、プログラム、及び情報収集システムを提供することを目的とする。
上記目的を達成するために、本開示の情報処理装置は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を備え、プロセッサは、固定カメラで撮影された俯瞰画像を取得する取得処理と、俯瞰画像から建物の画像を個別に抽出する抽出処理と、抽出処理により抽出された抽出画像と、建物と住所とが対応付けられた地図情報に含まれる建物のうち、俯瞰画像に写っていない建物である未撮影建物を特定する特定処理と、撮影機能及び位置情報の送信機能を有する複数の端末のうち、位置情報により未撮影建物の付近に存在すると検知された端末に、未撮影建物の撮影を依頼する依頼情報を送信する撮影依頼処理と、を実行する。
プロセッサは、抽出処理において、地図情報に含まれる各住所の建物の外周を表す座標を俯瞰画像上の座標に変換し、変換した座標に基づいて建物の画像を抽出し、特定処理において、抽出処理により抽出された抽出画像に写っている構造物が建物であるか否かを判定し、構造物が建物でない場合に、当該抽出画像が抽出された住所の建物を未撮影建物として特定することが好ましい。
プロセッサは、特定処理において、構造物が建物であるか否かを示す教師データを用いて学習した学習済みモデルに基づいて、抽出画像に写っている構造物が建物であるか否かを判定することが好ましい。
地図情報は、建物の輪郭を表すポリゴン画像を含んでおり、プロセッサは、特定処理において、抽出画像に写っている構造物の輪郭と、抽出画像に対応するポリゴン画像との類似度に基づいて、抽出画像に写っている構造物が建物であるか否かを判定することも好ましい。
プロセッサは、抽出処理において、俯瞰画像から建物の特徴を有するオブジェクトを含む画像を抽出画像として抽出し、特定処理において、抽出した抽出画像を地図情報に含まれる住所に関連付け、関連付けがなされなかった住所の建物を未撮影建物として特定することも好ましい。
依頼情報には、未撮影建物の住所を示した地図が含まれることが好ましい。
依頼情報には、撮影すべき画像の例を表すサンプル画像が含まれることが好ましい。
本開示の情報処理方法は、固定カメラで撮影された俯瞰画像を取得する取得処理と、俯瞰画像から建物の画像を個別に抽出する抽出処理と、抽出処理により抽出された抽出画像と、建物と住所とが対応付けられた地図情報に含まれる建物のうち、俯瞰画像に写っていない建物である未撮影建物を特定する特定処理と、撮影機能及び位置情報の送信機能を有する複数の端末のうち、位置情報により未撮影建物の付近に存在すると検知された端末に、未撮影建物の撮影を依頼する依頼情報を送信する撮影依頼処理と、を含む。
本開示のプログラムは、固定カメラで撮影された俯瞰画像を取得する取得処理と、俯瞰画像から建物の画像を個別に抽出する抽出処理と、抽出処理により抽出された抽出画像と、建物と住所とが対応付けられた地図情報に含まれる建物のうち、俯瞰画像に写っていない建物である未撮影建物を特定する特定処理と、撮影機能及び位置情報の送信機能を有する複数の端末のうち、位置情報により未撮影建物の付近に存在すると検知された端末に、未撮影建物の撮影を依頼する依頼情報を送信する撮影依頼処理と、をコンピュータに実行させる。
本開示の情報収集システムは、俯瞰画像を撮影する固定カメラと、プロセッサを有する情報処理装置と、撮影機能及び位置情報の送信機能を有する複数の端末と、を備えた情報収集システムであって、プロセッサは、固定カメラで撮影された俯瞰画像を取得する取得処理と、俯瞰画像から建物の画像を個別に抽出する抽出処理と、抽出処理により抽出された抽出画像と、建物と住所とが対応付けられた地図情報とに基づいて、地図情報に含まれる建物のうち、俯瞰画像に写っていない建物である未撮影建物を特定する特定処理と、撮影機能及び位置情報の送信機能を有する複数の端末のうち、位置情報により未撮影建物の付近に存在すると検知された端末に、未撮影建物の撮影を依頼する依頼情報を送信する撮影依頼処理と、を実行する。
本開示の技術によれば、固定カメラで撮影した俯瞰画像に写っていない建物の被害状況を迅速に把握することを可能とする情報処理装置、情報処理方法、プログラム、及び情報収集システムを提供することができる。
第1実施形態に係る情報収集システムの構成例を示す図である。 情報処理サーバの構成の一例を示すブロック図である。 携帯端末の構成の一例を示すブロック図である。 情報処理サーバの機能構成の一例を示すブロック図である。 俯瞰画像の一例を示す図である。 地図情報の一例を示す図である。 抽出処理の一例を説明するフローチャートである。 抽出処理により抽出される抽出画像の一例を示す図である。 抽出処理により抽出される抽出画像の他の一例を示す図である。 特定処理の一例を説明するフローチャートである。 特定部の構成の一例を示すブロック図である。 学習フェーズを説明する図である。 未撮影建物情報の一例を示す図である。 撮影依頼処理の一例を説明するフローチャートである。 携帯端末の表示部に表示される依頼情報の一例を示す図である。 第2実施形態に係る地図情報の一例を示す図である。 第2実施形態に係る特定部の構成の一例を示すブロック図である。 類似度算出部を用いた判定の一例を示す図である。 類似度算出部を用いた判定の他の一例を示す図である。 第3実施形態に係る抽出処理の一例を説明するフローチャートである。 スライディングウィンドウ法を模式的に説明する図である。 第3実施形態に係る特定処理を説明するフローチャートである。 第3実施形態に係る特定処理を模式的に説明する図である。 外周座標の座標変換の一例を示す図である。
[第1実施形態]
図1は、本開示の第1実施形態に係る情報収集システムの構成例を示す図である。情報収集システム2には、情報処理サーバ10と、固定カメラ20と、複数の携帯端末30とが含まれる。情報収集システム2は、例えば、災害発生時に自治体が市街地の被害状況を把握するために、戸々の建物の画像(以下、建物画像という。)を収集する。なお、建物には、戸建て住宅、集合住宅、店舗、オフィスビル等の種々の建物が含まれる。
情報処理サーバ10、固定カメラ20、及び複数の携帯端末30は、ネットワークNを介して相互に通信可能に接続されている。ネットワークNは、例えばインターネットや公衆通信網等のWAN(Wide Area Network)である。なお、WANを利用する場合には、情報セキュリティを考慮して、VPN(Virtual Private Network)を構築したり、HTTPS(Hypertext Transfer Protocol Secure)等のセキュリティレベルの高い通信プロトコルを使用することが好ましい。
情報処理サーバ10は、例えば、都道府県、市区町村等の自治体の災害対策本部(庁、役所等)に設置されている。情報処理サーバ10は、本開示の技術に係る「情報処理装置」の一例である。
ネットワークNには、クライアント端末12も有線方式又は無線方式で接続されている。クライアント端末12は、例えば災害対策本部のスタッフに配備されたデスクトップ型のパーソナルコンピュータであり、ディスプレイ13と入力デバイス14とを有している。ディスプレイ13には各種画面が表示される。入力デバイス14は、キーボード、マウス、タッチパネル、マイクロフォン等である。クライアント端末12は、例えば、災害対策本部の職員により操作される。なお、図1においては、クライアント端末12が1台しか図示されていないが、クライアント端末12の数は2以上であってもよい。
固定カメラ20は、高い建物21の屋上等に、市街地22を俯瞰可能に設置されている。固定カメラ20は、デジタルカメラであって、クライアント端末12からの撮影指示に基づいて、静止画撮影を行う。固定カメラ20により撮影された市街地22の俯瞰画像は、ネットワークNを介して情報処理サーバ10に送信される。俯瞰画像は、自治体の区域内を含む画像である。
なお、固定カメラ20は、固設されているが、撮影する方位及び仰角が変更可能に構成されていてもよい。また、固定カメラ20は、画角αが変更可能に構成されていてもよい。
携帯端末30は、撮影機能及び位置情報の送信機能を有するスマートフォン又はタブレット端末等の携帯型電子端末である。携帯端末30は、基地局31を介してネットワークNに接続される。携帯端末30は、撮影機能により撮影した画像、及び位置情報取得機能により取得した位置情報を、基地局31及びネットワークNを介して情報処理サーバ10に送信する。携帯端末30は、例えば、GPS(Global Positioning System)衛星32から送信される電波を受信することにより位置情報を取得する。携帯端末30は、本開示の技術に係る「端末」の一例である。
携帯端末30は、例えば、市街地22に住んでいる住人により所有されている。複数の携帯端末30のうち、俯瞰画像に写っていない建物である未撮影建物の付近に存在する携帯端末30には、情報処理サーバ10から未撮影建物の撮影を依頼する依頼情報が送信される。例えば、未撮影建物は、市街地22に存在する建物のうち、固定カメラ20から見て、比較的高い建物の死角23に存在する建物である。
情報処理サーバ10は、複数の携帯端末30の各々から送信される位置情報に基づいて、未撮影建物の付近に存在する携帯端末30を特定し、特定した携帯端末30に依頼情報を送信する。携帯端末30の所有者は、依頼情報に従って未撮影建物を撮影し、撮影した画像を情報処理サーバ10へ送信する。
図2は、情報処理サーバ10の構成の一例を示す。情報処理サーバ10は、CPU(Central Processing Unit)101、メモリ102、ストレージ103、及び通信部104を有し、これらがバスライン105を介して相互接続されたコンピュータにより構成されている。CPU101は、本開示の技術に係る「プロセッサ」の一例である。
ストレージ103は、情報処理サーバ10を構成するコンピュータに内蔵、又は、ケーブル若しくはネットワークを通じて接続されたハードディスクドライブである。ストレージ103は、ハードディスクドライブを複数台連装したディスクアレイであってもよい。ストレージ103には、オペレーティングシステム(OS:Operatingn System)等の制御プログラム、各種アプリケーションプログラム、及びこれらのプログラムに付随する各種データ等が記憶されている。なお、ハードディスクドライブに代えてソリッドステートドライブを用いてもよい。
メモリ102は、CPU101が処理を実行するためのRAM(Random Access Memory)等のワークメモリである。メモリ102は、CPU101に接続又は内蔵されている。CPU101は、ストレージ103に記憶された作動プログラム106をメモリ102へロードして、作動プログラム106にしたがった処理を実行する。これによりCPU101は、コンピュータの各部の動作を統括的に制御する。通信部104は、ネットワークNを介して、クライアント端末12、固定カメラ20、及び携帯端末30等の外部装置との各種情報の伝送制御を行う。
図3は、携帯端末30の構成の一例を示す。携帯端末30は、一般的なコンピュータの構成を含んで構成されている。携帯端末30は、例えば、CPU301、メモリ302、入力部303、表示部304、カメラ部305、位置情報取得部306、スピーカ部307、通信部308、及びバスライン309等を有する。
CPU301は、メモリ302に格納されたプログラム及びデータを読み出して処理を実行することにより、携帯端末30の各機能を実現する。メモリ302は、OS、アプリケーションプログラム、画像データ、及び各種データ等を記憶する。
入力部303は、タッチ操作により入力を受け付けるタッチパネル等の入力デバイスである。入力部303は、携帯端末30に各操作信号を入力するために用いられる。なお、入力部303は、マイクロフォン等を含み、マイクロフォン等を介して音声入力を受け付けてもよい。
表示部304は、ディスプレイ等の表示デバイスであり、携帯端末30による処理結果等を表示する。なお、入力部303及び表示部304は、例えば、タッチパネルディスプレイ等の入力機能と表示機能とを有する表示入力デバイスであってもよい。表示入力デバイスは、タッチパネルセンサを内蔵したLCD(Liquid Crystal Display)又は有機EL(Electro Luminescent)ディスプレイ等である。カメラ部305は、撮像素子及び画像処理デバイス等を含む撮影装置である。
位置情報取得部306は、GPS衛星32から送信される電波に含まれる測位信号を受信することにより位置情報を生成し、生成した位置情報を出力する。スピーカ部307は、音声信号を生成する音声回路、及び音声信号を音声に変換して出力する音声出力装置である。
通信部308は、携帯端末30を、基地局31を介してネットワークNに接続するための通信インタフェースである。通信部308は、例えば、LTE(Long Term Evolution)等の移動通信網を介して、携帯端末30をネットワークNに接続する無線通信装置であり、アンテナ、無線送受信回路、及び通信制御回路等を含む。通信部308は、情報処理サーバ10等と通信を行う。
図4は、情報処理サーバ10の機能構成の一例を示す。作動プログラム106が起動されると、情報処理サーバ10を構成するコンピュータのCPU101は、メモリ102等と協働して、RW(Read/Write)制御部40、抽出部41、特定部42、及び撮影依頼部43として機能する。
RW制御部40は、ストレージ103への各種データの記憶と、ストレージ103からの各種データの読み出しを制御する。例えば、RW制御部40は、固定カメラ20で撮影された俯瞰画像POを取得する取得処理を行い、取得した俯瞰画像POをストレージ103に記憶させる。なお、固定カメラ20は、クライアント端末12から送信される撮影指示SIに応じて市街地22の撮影を行い、撮影により得られた俯瞰画像POを情報処理サーバ10に送信する。図5は、俯瞰画像POの一例を示す。
ストレージ103には、固定カメラ20が撮影した俯瞰画像POに対応する地図情報MIが予め記憶されている。図6は、地図情報MIの一例を示す。地図情報MIは、地図Mと住所情報AIとが含まれる。地図Mは、例えば、固定カメラ20により撮影される市街地22の領域に対応する2次元の住宅地図である。住所情報AIは、地図M内に存在する全ての建物について、建物とその住所とを対応付けた情報である。
RW制御部40は、俯瞰画像POをストレージ103から読み出し、読み出した俯瞰画像POを抽出部41に出力する。また、RW制御部40は、地図情報MIをストレージ103から読み出し、読み出した地図情報MIを抽出部41に出力する。
抽出部41は、地図情報MIに基づいて、俯瞰画像POから、俯瞰画像PO内の各住所に対応する建物の画像を個別に抽出する抽出処理を行う。抽出部41は、抽出した抽出画像PEを特定部42に出力する。また、抽出画像PEは、RW制御部40を介してストレージ103に記憶される。なお、抽出画像PEには、建物の住所情報が付されている。
特定部42は、抽出部41により抽出された抽出画像PEに基づいて、地図情報MIに含まれる建物のうち、俯瞰画像POに写っていない建物である未撮影建物を特定する特定処理を行う。また、特定部42は、特定した未撮影建物を表す情報(以下、未撮影建物情報という。)NSを生成し、生成した未撮影建物情報NSを撮影依頼部43に出力する。例えば、特定部42は、抽出画像PEに建物の輪郭が含まれる場合には、抽出画像PEを建物画像P1として、RW制御部40を介してストレージ103に出力する。特定部42は、抽出画像PEに建物の輪郭が含まれていない場合には、抽出画像PEが抽出された住所の建物を、未撮影建物として特定する。
撮影依頼部43は、複数の携帯端末30の各々から送信される位置情報LIに基づいて、未撮影建物の付近に存在する携帯端末30を特定し、特定した携帯端末30に依頼情報RIを送信する撮影依頼処理を行う。未撮影建物の付近とは、例えば、未撮影建物の場所を中心とした一定の半径の範囲内(例えば、半径100メートルの範囲)である。撮影依頼部43は、例えば、未撮影建物情報NSに基づき、依頼情報RIとして、携帯端末30の表示部304に表示する画面データを生成する。依頼情報RIには、未撮影建物の住所等が含まれる。携帯端末30には、例えば、依頼情報RIを表示部304に表示するためのアプリケーションプログラムが予めインストールされている。
なお、撮影依頼部43は、俯瞰画像PO内の複数の場所に未撮影建物が存在する場合には、未撮影建物の各々の付近に存在する携帯端末30に依頼情報RIを送信する。また、撮影依頼部43は、1つの未撮影建物に対して複数の携帯端末30に依頼情報RIを送信してもよい。
ストレージ103には、携帯端末30の各々と個別に通信するための携帯端末情報TIが記憶されている。携帯端末情報TIには、電話番号、電子メールアドレス等が含まれる。撮影依頼部43は、携帯端末情報TIを参照し、SMS(Short Message Service)、電子メール等により、依頼情報RIを対象の携帯端末30に送信する。
未撮影建物の付近に存在する携帯端末30の表示部304には、所有者が所定の操作を行うことにより、依頼情報RIが表示される。例えば、撮影依頼部43から送信されたメッセージに記載されたリンクが押下されることにより、依頼情報RIが表示部304に表示される。携帯端末30の所有者は、依頼情報RIにしたがって未撮影建物を撮影することができる。携帯端末30により未撮影建物が撮影されると、未撮影建物の画像(すなわち、建物画像)P2が、情報処理サーバ10に送信される。情報処理サーバ10は、携帯端末30から建物画像P2を受信すると、受信した建物画像P2を、RW制御部40を介してストレージ103に記憶させる。
図7は、抽出部41による抽出処理の一例を説明する。図7に示すように、まず、抽出部41は、RW制御部40を介してストレージ103から俯瞰画像POを取得する(ステップS10)。次に、抽出部41は、RW制御部40を介してストレージ103から地図情報MIを取得する(ステップS11)。
次に、抽出部41は、地図情報MIに含まれる1つの住所を選択する(ステップS12)。次に、抽出部41は、地図M上において選択した住所に存在する建物の外周の座標(以下、外周座標という。)を特定する(ステップS13)。外周座標とは、例えば、地図M上において建物の外周の位置を表す緯度経度情報である。次に、抽出部41は、地図M上における外周座標を、俯瞰画像PO上に座標に変換する(ステップS14)。そして、抽出部41は、変換した座標に基づいて、俯瞰画像POから画像を抽出する(ステップS15)。このとき、例えば、抽出部41は、俯瞰画像PO上において変換された外周座標を含むように矩形領域を設定し、設定した矩形領域から画像を抽出する。
この後、抽出部41は、地図情報MIに含まれる全ての住所を選択したか否かを判定する(ステップS16)。抽出部41は、全ての住所を選択していないと判定した場合には(ステップS16:NO)、処理をステップS12に戻し、他の住所を選択する。抽出部41は、ステップS16で全ての住所を選択したと判定するまでの間、ステップS12からステップS16までの処理を繰り返し実行する。抽出部41は、全ての住所を選択したと判定した場合には(ステップS16:YES)、処理を終了する。
以上の処理により、抽出部41は、地図情報MIに含まれる全ての住所に対応する建物の画像を、俯瞰画像POから抽出する。
図8は、抽出処理により抽出される抽出画像PEの一例を示す。図8に示すように、地図M上における1つの建物の外周座標が、俯瞰画像PO上の座標に変換される。俯瞰画像PO上において、座標変換された外周座標で表される建物を含む領域から画像が抽出される。本例では、抽出画像PEには、選択された住所に存在する建物の輪郭が写っている。ここで、建物の輪郭とは、例えば、建物の外周を表す線を意味する。
図9は、抽出処理により抽出される抽出画像PEの他の一例を示す。図9は、図8とは異なる住所から抽出された抽出画像PEを示している。本例では、抽出部41により選択された住所に存在する建物の輪郭は、手前に存在する他の建物に遮られており、抽出画像PEには写っていない(すなわち、俯瞰画像POには写っていない)。このように、抽出部41により選択される住所に存在する建物のうち、俯瞰画像POに写っていない建物は、特定部42により未撮影建物として特定される。
なお、抽出部41により選択された住所に存在する建物は、他の建物に遮られた場合だけでなく、火災発生時に生じる煙等の障害物により遮られた場合においても、俯瞰画像POに写らず、未撮影建物として特定されることがある。
図10は、特定部42による特定処理の一例を説明する。図10に示すように、まず、特定部42は、抽出部41により抽出された複数の抽出画像PEのうちの1つの抽出画像PEを取得する(ステップS20)。次に、特定部42は、取得した抽出画像PE内の構造物が建物であるか否かを判定する(ステップS21)。例えば、特定部42は、抽出画像PEに建物の輪郭が含まれるか否かに基づいて、抽出画像PE内の構造物が建物であるか否かを判定する。
特定部42は、抽出画像PE内の構造物が建物であると判定した場合には(ステップS21:YES)、当該抽出画像PEを建物画像P1としてストレージ103に保存する(ステップS22)。一方、特定部42は、抽出画像PE内の構造物が建物でないと判定した場合には(ステップS21:NO)、抽出画像PEが抽出された住所の建物を未撮影建物として特定する(ステップS23)。
そして、特定部42は、抽出部41により抽出された全ての抽出画像PEを取得したか否かを判定する(ステップS24)。特定部42は、全ての抽出画像PEを取得していないと判定した場合には(ステップS24:NO)、処理をステップS20に戻し、他の抽出画像PEを取得する。特定部42は、ステップS24で全ての抽出画像PEを取得したと判定するまでの間、ステップS20からステップS24までの処理を繰り返し実行する。特定部42は、全ての抽出画像PEを取得したと判定すると(ステップS24:YES)、未撮影建物情報NSを生成し、生成した未撮影建物情報NSを撮影依頼部43に出力する(ステップS25)。以上で特定処理は終了する。
図11は、特定部42の構成の一例を示す。特定部42には、抽出画像PEに写っている構造物が建物であるか否かを判定する構造物判定モデル42Aを有する。構造物判定モデル42Aは、ニューラルネットワーク、サポートベクターマシン、ブースティング等の手法によって構築された機械学習モデルである。構造物判定モデル42Aは、ストレージ103に記憶されており、RW制御部40によりストレージ103から読み出されて特定部42に出力される。構造物判定モデル42Aは、本開示の技術に係る「学習済みモデル」の一例である。
特定部42は、抽出画像PEを構造物判定モデル42Aに入力する。構造物判定モデル42Aは、抽出画像PEに建物の輪郭が含まれるか否か(すなわち、構造物が建物であるか否か)を判定し、判定結果JRを出力する。特定部42は、構造物判定モデル42Aから出力される判定結果JRに基づいて、未撮影建物の住所を表す未撮影建物情報NSを生成する。未撮影建物情報NSには、建物の輪郭が含まれない(すなわち、構造物が建物でない)と判定された抽出画像PEに付された住所情報が含まれる。
図12は、構造物判定モデル42Aを機械学習により学習させる学習フェーズを説明する。構造物判定モデル42Aは、教師データTDを用いて学習を行う。教師データTDは、学習用画像PLと正解データCAとを含む。学習用画像PLには、建物の輪郭を含む画像と、建物の輪郭を含まない画像とが含まれる。正解データCAは、学習用画像PLが建物の輪郭を含むか否かの正解を表すデータである。
学習フェーズにおいて、構造物判定モデル42Aには、学習用画像PLが入力される。構造物判定モデル42Aは、学習用画像PLに対して判定結果JRを出力する。この判定結果JRと正解データCAとに基づいて、損失関数を用いた損失演算がなされる。そして、損失演算の結果に応じて構造物判定モデル42Aの各種係数の更新設定がなされ、更新設定にしたがって構造物判定モデル42Aが更新される。
構造物判定モデル42Aの学習フェーズにおいては、学習用画像PLの構造物判定モデル42Aへの入力、構造物判定モデル42Aからの判定結果JRの出力、損失演算、更新設定、及び構造物判定モデル42Aの更新の一連の処理が繰り返し行われる。この一連の処理の繰り返しは、判別精度が、予め定められた設定レベルまで達した場合に終了される。こうして判別精度が設定レベルまで達した構造物判定モデル42Aが、ストレージ103に記憶されて特定部42で用いられる。
学習用画像PLは、例えば、俯瞰画像POから抽出した戸々の建物の画像である。正解データCAは、例えば、人が目視で学習用画像PLに建物の輪郭が含まれるか否かを判定した結果である。学習用画像PLは、固定カメラ20で撮影された市街地22とは異なる市街地の俯瞰画像から抽出された画像であってもよい。また、学習用画像PLは、同一の市街地を、日時、天候等が異なる様々な条件下で撮影した俯瞰画像から抽出された画像であってもよい。
図13は、未撮影建物情報NSの一例を示す。例えば、未撮影建物情報NSは、地図M上に、未撮影建物が存在するエリア50を表した情報である。例えば、地図M上には、複数のエリア50が存在している。
図14は、撮影依頼部43による撮影依頼処理の一例を説明する。図14に示すように、撮影依頼部43は、特定部42から未撮影建物情報NSを取得する(ステップS30)。撮影依頼部43は、未撮影建物情報NSを取得すると、地図M上に存在する複数の携帯端末30の各々から位置情報を取得する(ステップS31)。そして、撮影依頼部43は、未撮影建物情報NSと、携帯端末30の位置情報とに基づき、未撮影建物の付近に存在する携帯端末30を検知する(ステップS32)。
次に、撮影依頼部43は、未撮影建物情報NSに基づき、依頼情報RIを生成する(ステップS33)。具体的には、撮影依頼部43は、検知した携帯端末30ごとに個別の依頼情報RIを生成する。そして、撮影依頼部43は、ストレージ103に記憶された携帯端末情報TIを参照し、SMS、電子メール等により依頼情報RIを、検知した携帯端末30に送信する(ステップS34)。以上で撮影依頼処理は終了する。
図15は、携帯端末30の表示部304に表示される依頼情報RIの一例を示す。依頼情報RIは、依頼情報RIを受信した携帯端末30の所有者が入力部303を操作することにより、表示部304に表示される。
例えば、依頼情報RIには、未撮影建物の撮影を促すメッセージ60と、未撮影建物の住所61と、未撮影建物の位置を示した地図62と、撮影すべき画像の例を表すサンプル画像63とが含まれる。
例えば、地図62には、未撮影建物の位置を示す矢印64が表示される。また、地図62には、携帯端末30の現在地を示す現在地マーク65が表示される。携帯端末30の所有者は、住所61及び地図62に基づいて、未撮影建物の場所を把握することができる。なお、地図62は、携帯端末30の移動に応じて、インターネット上の地図データから随時更新されるものであってもよい。
サンプル画像63は、建物全体が写っているものであることが好ましい。また、表示部304に複数のサンプル画像63を表示することも好ましい。サンプル画像63には、建物の4方向の壁がすべて含まれることが好ましい。また、表示部304にサンプル画像63とともに、撮影に際しての注意事項66を表示することも好ましい。
また、表示部304は、撮影を開始するための実行ボタン67が表示される。携帯端末30の所有者は、実行ボタン67を押下することにより、カメラ部305(図3参照)が起動し、未撮影建物の撮影を開始することができる。携帯端末30により撮影された未撮影建物の建物画像P2は、情報処理サーバ10に送信され、ストレージ103に保存される。
以上のように構成された情報収集システム2は、例えば、災害発生の直後に、自治体の職員がクライアント端末12を操作することにより、情報収集処理を開始する。この場合、俯瞰画像POは、災害発生エリアを含む画像である。自治体の職員は、クライアント端末12で、収集された建物画像P1,P2を確認することができる。
本開示の技術によれば、俯瞰画像POに写っている戸々の建物の建物画像P1が俯瞰画像POから収集されるとともに、俯瞰画像POに写っていない未撮影建物の建物画像P2は、未撮影建物の付近に存在する携帯端末30により撮影されることにより収集される。したがって、本開示の技術によれば、俯瞰画像POに写っていない建物の被害状況を迅速に把握することができる。
なお、情報収集システム2は、災害が発生していない平時に情報収集処理を実行することにより、未撮影建物情報NSを取得しておいてもよい。この場合、未撮影建物情報NSを災害発生前に事前に取得しているので、災害発生後に、未撮影建物の撮影依頼を迅速に行うことができる。また、情報収集システム2は、災害が発生していない平時に、定期的に情報収集処理を実行することにより、未撮影建物情報NSを最新の情報に随時更新することも好ましい。これにより、建物の新築、解体等による未撮影建物情報NSの変化に迅速に対応することができる。
[第2実施形態]
次に、第2実施形態について説明する。第1実施形態では、地図情報MIに含まれる地図Mは、2次元的な平面地図であるが、第2実施形態では、地図Mを、建物がポリゴンで表された3次元的な立体地図とする。
図16は、第2実施形態に係る地図情報MIの一例を示す。地図情報MIに含まれる地図Mには、ポリゴン画像により表された建物が、住所と対応付けられて記録されている。住所情報AIは、第1実施形態と同様に、地図M内に存在する全ての建物について、建物とその住所とを対応付けた情報である。
本実施形態では、抽出部41及び撮影依頼部43の構成は第1実施形態と同様であるが、特定部42の構成が第1実施形態と異なる。
図17は、第2実施形態に係る特定部42の構成の一例を示す。本実施形態では、特定部42は、構造物判定モデル42Aに代えて、類似度算出部42Bを用いて判定を行う。類似度算出部42Bには、抽出画像PEと、抽出画像PEに対応するポリゴン画像PGとが入力される。地図Mにおいて、ポリゴン画像PGは、抽出画像PEが抽出された住所に対応する建物の画像である。
類似度算出部42Bは、抽出画像PEに写っている構造物の輪郭と、ポリゴン画像PGとの類似度を算出する。特定部42は、類似度算出部42Bにより算出される類似度に基づいて、抽出画像PEに建物の輪郭が含まれるか否か(すなわち、構造物が建物であるか否か)を判定する。そして、特定部42は、判定結果JRに基づいて、未撮影建物の住所を表す未撮影建物情報NSを生成する。
類似度算出部42Bは、例えば、パターンマッチング法により類似度の算出を行う。なお、類似度算出部42Bは、ニューラルネットワーク等の機械学習を用いた手法によって類似度の算出を行ってもよい。
図18は、類似度算出部42Bを用いた判定の一例を示す。図18に示す抽出画像PEには、建物の輪郭が写っているので、類似度算出部42Bにより算出される抽出画像PEとポリゴン画像PGとの類似度は、閾値以上となる。このように類似度が閾値以上である場合には、特定部42は、抽出画像PEは建物の輪郭を含むと判定する。この場合、抽出画像PEは、建物画像P1としてストレージ103に保存される。
図19は、類似度算出部42Bを用いた判定の他の一例を示す。図19に示す抽出画像PEには、建物の輪郭が完全には写っていないので、類似度算出部42Bにより算出される抽出画像PEとポリゴン画像PGとの類似度は、閾値未満となる。このように類似度が閾値未満である場合には、特定部42は、抽出画像PEは建物の輪郭を含まないと判定する。この場合、抽出画像PEが抽出された住所の建物は未撮影建物として特定され、未撮影建物情報NSに含められる。
[第3実施形態]
次に、第3実施形態について説明する。第1実施形態では、抽出部41は、地図情報MIに基づいて、俯瞰画像PO内の各住所に対応する建物の画像を抽出画像PEとして抽出している。これに対して、第3実施形態では、抽出部41は、地図情報MIを用いずに、俯瞰画像POから建物の特徴を有するオブジェクトを含む画像を抽出画像PEとして抽出する。本実施形態では、地図情報MIは、特定部42によって用いられる。
図20は、第3実施形態に係る抽出部41による抽出処理の一例を説明する。図20に示すように、まず、抽出部41は、ストレージ103から俯瞰画像POを取得する(ステップS40)。次に、抽出部41は、スライディングウィンドウ法により、俯瞰画像POから建物の特徴を有するオブジェクトを探索する(ステップS41)。そして、抽出部41は、建物の特徴を有するオブジェクトを抽出画像PEとして抽出する(ステップS42)。以上で抽出処理は終了する。
図21は、スライディングウィンドウ法を模式的に説明する。抽出部41は、俯瞰画像PO内にウィンドウWを設定し、ウィンドウWの位置を変更しながらウィンドウW内に含まれる構造物の特徴量に基づいて、建物の特徴を有するオブジェクトを検出する。なお、抽出部41は、ウィンドウWの位置に加えて、ウィンドウWの大きさ及び形状を変更しながらオブジェクトの探索を行う。
抽出部41は、例えば、畳み込みニューラルネットワークにより構成される。なお、スライディングウィンドウ法による探索は、俯瞰画像POを畳み込み層により変換した特徴マップに基づいて行われてもよい。
図22は、第3実施形態に係る特定部42による特定処理を説明する。図22に示すように、まず、特定部42は、ストレージ103から地図情報MIを取得する(ステップS50)。次に、特定部42は、抽出部41により抽出された抽出画像PEを取得する(ステップS51)。特定部42は、取得した抽出画像PEを、地図情報MIに含まれる住所に関連付ける(ステップS52)。ここで、特定部42は、抽出部41から取得した全ての抽出画像PEを地図情報MIに含まれる住所に関連付ける。
そして、特定部42は、地図情報MIに含まれる建物の住所のうち、抽出画像PEの関連付けがなされなかった住所の建物を、未撮影建物として特定する(ステップS53)。以上で特定処理は終了する。
図23は、第3実施形態に係る特定処理を模式的に説明する。図23に示すように、特定処理により、地図情報MIに含まれる住所に、建物の特徴を有するオブジェクトを含む画像として俯瞰画像POから抽出された抽出画像PEが関連付けられる。俯瞰画像POから抽出された全ての抽出画像PEが住所に関連付けられた後、関連付けられなかった住所の建物が未撮影建物として特定される。
[外周座標の座標変換]
次に、抽出処理により実行される建物の外周座標の座標変換について説明する。図24は、外周座標の座標変換の一例を示す。本例では、地図Mは、2次元の平面地図である。
まず、地図Mと俯瞰画像POとにおいて対応する4つの点S1~S4が設定される。この4つの点S1~S4の設定は手動で行われてもよいし、画像処理等により行われてもよい。次に、対応する4つの点S1~S4の地図Mにおける座標と俯瞰画像PO上における座標とに基づいて、射影変換行列が求められる。
地図MPは、射影変換行列を用いて地図Mを射影変換した地図である。地図MP上における建物の外周座標が、俯瞰画像PO上における外周座標に対応する。抽出部41は、射影変換行列を用いて、建物の外周座標を座標変換すればよい。
また、地図Mが3次元の立体地図である場合には、立体地図の視線方向及び画角等のパラメータを変更しながら、俯瞰画像POと最もマッチング度合いが高いパラメータを求めることにより、射影変換された地図MPと同様の地図を生成することが可能である。
また、俯瞰画像PO内の6点について緯度、経度、及び高さの情報が取得可能である場合には、俯瞰画像POを平面的な画像に変換することが可能である。この変換された俯瞰画像POと、2次元の平面地図Mとに基づいて、俯瞰画像POにおける建物の外周座標を求めてもよい。
上記各実施形態において、例えば、RW制御部40、抽出部41、特定部42、及び撮影依頼部43といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。各種のプロセッサには、上述したように、ソフトウェア(作動プログラム106)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU101に加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、及び/又は、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。
本開示の技術は、上述の種々の実施形態及び/又は種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本発明は、プログラムに加えて、プログラムを非一時的に記憶する、コンピュータで読み取り可能な記憶媒体にもおよぶ。
本明細書において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
2 情報収集システム
10 情報処理サーバ
12 クライアント端末
13 ディスプレイ
14 入力デバイス
20 固定カメラ
21 高い建物
22 市街地
23 死角
30 携帯端末
31 基地局
32 GPS衛星
40 RW制御部
41 抽出部
42 特定部
42A 構造物判定モデル
42B 類似度算出部
43 撮影依頼部
50 エリア
60 メッセージ
61 未撮影建物の住所
62 地図
63 サンプル画像
64 矢印
65 現在地マーク
66 注意事項
67 実行ボタン
101 CPU
102 メモリ
103 ストレージ
104 通信部
105 バスライン
106 作動プログラム
301 CPU
302 メモリ
303 入力部
304 表示部
305 カメラ部
306 位置情報取得部
307 スピーカ部
308 通信部
309 バスライン
α 画角
AI 住所情報
CA 正解データ
JR 判定結果
LI 位置情報
M 地図
MI 地図情報
MP 地図
N ネットワーク
NS 未撮影建物情報
P1,P2 建物画像
PE 抽出画像
PG ポリゴン画像
PL 学習用画像
PO 俯瞰画像
RI 依頼情報
SI 撮影指示
TD 教師データ
TI 携帯端末情報
W ウィンドウ

Claims (10)

  1. プロセッサと、
    前記プロセッサに接続又は内蔵されたメモリと、
    を備え、
    前記プロセッサは、
    固定カメラで撮影された俯瞰画像を取得し、
    前記俯瞰画像から建物と推定される画像を抽出画像として個別に抽出し、
    前記抽出画像に基づいて、建物と住所とが対応付けられた地図情報に含まれる建物のうち、前記俯瞰画像に写っていない建物である未撮影建物を特定し、
    撮影機能及び位置情報の送信機能を有する複数の端末のうち、前記位置情報により前記未撮影建物の付近に存在すると検知された端末に、前記未撮影建物の撮影を依頼する依頼情報を送信する、
    情報処理装置。
  2. 前記抽出画像は、前記地図情報に含まれる各住所の建物の外周を表す座標を前記俯瞰画像上の座標に変換し、変換した座標に対応する領域を前記俯瞰画像から抽出することにより得られる画像であり
    前記プロセッサは、前記抽出画像に写っている構造物が建物であるか否かを判定し、前記構造物が建物でない場合に、前記抽出画像が抽出された住所の建物を前記未撮影建物として特定する、
    請求項1に記載の情報処理装置。
  3. 前記プロセッサは、
    前記構造物が建物であるか否かを示す教師データを用いて学習した学習済みモデルに基づいて、前記抽出画像に写っている構造物が建物であるか否かを判定する、
    請求項2に記載の情報処理装置。
  4. 前記地図情報は、建物の輪郭を表すポリゴン画像を含んでおり、
    前記プロセッサは、
    前記構造物の輪郭と、前記抽出画像に対応する前記ポリゴン画像との類似度に基づいて、前記構造物が建物であるか否かを判定する、
    請求項2に記載の情報処理装置。
  5. 前記抽出画像は、前記俯瞰画像から抽出された建物の特徴を有するオブジェクトを含む画像であり
    前記プロセッサは、前記抽出画像を前記地図情報に含まれる住所に関連付け、関連付けがなされなかった住所の建物を前記未撮影建物として特定する、
    請求項1に記載の情報処理装置。
  6. 前記依頼情報には、前記未撮影建物の住所を示した地図が含まれる、
    請求項1から請求項5のうちいずれか1項に記載の情報処理装置。
  7. 前記依頼情報には、撮影すべき画像の例を表すサンプル画像が含まれる、
    請求項1から請求項6のうちいずれか1項に記載の情報処理装置。
  8. 固定カメラで撮影された俯瞰画像を取得する取得処理と、
    前記俯瞰画像から建物と推定される画像を抽出画像として個別に抽出する抽出処理と、
    前記抽出画像に基づいて、建物と住所とが対応付けられた地図情報に含まれる建物のうち、前記俯瞰画像に写っていない建物である未撮影建物を特定する特定処理と、
    撮影機能及び位置情報の送信機能を有する複数の端末のうち、前記位置情報により前記未撮影建物の付近に存在すると検知された端末に、前記未撮影建物の撮影を依頼する依頼情報を送信する撮影依頼処理と、
    を含む情報処理方法。
  9. 固定カメラで撮影された俯瞰画像を取得する取得処理と、
    前記俯瞰画像から建物と推定される画像を抽出画像として個別に抽出する抽出処理と、
    前記抽出画像に基づいて、建物と住所とが対応付けられた地図情報に含まれる建物のうち、前記俯瞰画像に写っていない建物である未撮影建物を特定する特定処理と、
    撮影機能及び位置情報の送信機能を有する複数の端末のうち、前記位置情報により前記未撮影建物の付近に存在すると検知された端末に、前記未撮影建物の撮影を依頼する依頼情報を送信する撮影依頼処理と、
    をコンピュータに実行させるプログラム。
  10. 俯瞰画像を撮影する固定カメラと、プロセッサを有する情報処理装置と、撮影機能及び位置情報の送信機能を有する複数の端末と、を備えた情報収集システムであって、
    前記プロセッサは、
    固定カメラで撮影された俯瞰画像を取得する取得処理と、
    前記俯瞰画像から建物と推定される画像を抽出画像として個別に抽出する抽出処理と、
    前記抽出画像に基づいて、建物と住所とが対応付けられた地図情報に含まれる建物のうち、前記俯瞰画像に写っていない建物である未撮影建物を特定する特定処理と、
    撮影機能及び位置情報の送信機能を有する複数の端末のうち、前記位置情報により前記未撮影建物の付近に存在すると検知された端末に、前記未撮影建物の撮影を依頼する依頼情報を送信する撮影依頼処理と、
    を実行する、
    情報収集システム。
JP2022553815A 2020-10-01 2021-09-16 情報処理装置、情報処理方法、プログラム、及び情報収集システム Active JP7641981B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020167015 2020-10-01
JP2020167015 2020-10-01
PCT/JP2021/034133 WO2022070956A1 (ja) 2020-10-01 2021-09-16 情報処理装置、情報処理方法、プログラム、及び情報収集システム

Publications (3)

Publication Number Publication Date
JPWO2022070956A1 JPWO2022070956A1 (ja) 2022-04-07
JPWO2022070956A5 JPWO2022070956A5 (ja) 2023-06-20
JP7641981B2 true JP7641981B2 (ja) 2025-03-07

Family

ID=80950234

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022553815A Active JP7641981B2 (ja) 2020-10-01 2021-09-16 情報処理装置、情報処理方法、プログラム、及び情報収集システム

Country Status (3)

Country Link
US (1) US12581041B2 (ja)
JP (1) JP7641981B2 (ja)
WO (1) WO2022070956A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12430916B2 (en) * 2022-01-19 2025-09-30 Target Brands, Inc. Safety compliance system and method
JP7815026B2 (ja) * 2022-05-16 2026-02-17 株式会社国際電気 撮影システム、ビデオサーバシステム
CN115359378B (zh) * 2022-10-22 2023-03-24 长岛国家海洋公园管理中心(庙岛群岛海豹省级自然保护区管理中心) 一种基于近海海洋垃圾分布确定打捞路径的海洋打捞设备
WO2025041487A1 (ja) * 2023-08-23 2025-02-27 富士フイルム株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012026848A (ja) * 2010-07-22 2012-02-09 Ohbayashi Corp 被災情報収集システム
US9530197B2 (en) * 2015-04-30 2016-12-27 Microsoft Technology Licensing, Llc Digital signage for immersive views
US11076131B2 (en) * 2016-12-22 2021-07-27 Nec Corporation Video collection system, video collection server, video collection method, and program

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
茂木学 他1名,複数視点画像による被災状況推定,第26回日本ロボット学会学術講演会予稿集,2008年09月09日,pp.908-909
藤田翔乃 他1名,航空写真を用いた深層学習による地震災害時の屋根損傷家屋の把握,情報処理学会研究報告 情報システムと社会環境(IS),2019年11月24日,Vol.2019-IS-150, No.10,pp.1-6

Also Published As

Publication number Publication date
WO2022070956A1 (ja) 2022-04-07
JPWO2022070956A1 (ja) 2022-04-07
US20230247181A1 (en) 2023-08-03
US12581041B2 (en) 2026-03-17

Similar Documents

Publication Publication Date Title
JP7641981B2 (ja) 情報処理装置、情報処理方法、プログラム、及び情報収集システム
CN103841374B (zh) 一种视频监控图像的显示方法及系统
KR101354688B1 (ko) 공사현장 감리 시스템 및 감리 방법
CN111368615B (zh) 一种违章建筑预警方法、装置及电子设备
JP6614335B2 (ja) 画像表示システム、端末、方法およびプログラム
JP2019020889A (ja) ダイナミックマップ更新装置、ダイナミックマップ更新方法、ダイナミックマップ更新プログラム
US11538276B2 (en) Communication system, distributed processing system, distributed processing method, and recording medium
KR101515434B1 (ko) 재난 신고 시스템
JP6591594B2 (ja) 情報提供システム、サーバ装置、及び情報提供方法
US20180197006A1 (en) Imaging support system, device and method, and imaging terminal
JP2021064825A (ja) 撮像装置、学習装置、制御方法、学習方法、及びコンピュータプログラム
CN113660452A (zh) 系统、移动体以及信息处理装置
JP6779315B2 (ja) 判別装置、判別システム、判別方法及びプログラム
GB2557141A (en) Image generation system and image generation method
JP6787481B2 (ja) 探索支援プログラム、探索支援方法および探索支援装置
JP2016194783A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
JP6750931B1 (ja) デジタル・モーションフォーミュラ・セキュリティシステム、方法及びプログラム
Lee et al. Assessment of smartphone-based technology for remote environmental monitoring and its development
JP2019095550A (ja) 地図情報更新システム及び方法
JP7715726B2 (ja) 災害情報処理装置、災害情報処理装置の作動方法、災害情報処理装置の作動プログラム、並びに災害情報処理システム
JP7457948B2 (ja) 位置推定システム、位置推定方法、位置情報管理システム、位置情報管理方法及びプログラム
JP2016194782A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
JP2023152907A (ja) 災害時行動支援システム、災害時行動支援デバイス、災害時情報解析プログラム及び災害時情報収集プログラム
KR20190135860A (ko) 단말기와의 연계를 통한 영상 관제 방법 및 이를 이용한 영상 관제 시스템
JP6593665B2 (ja) 画像表示システム、端末、方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230324

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250225

R150 Certificate of patent or registration of utility model

Ref document number: 7641981

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150