Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7715726B2 - 災害情報処理装置、災害情報処理装置の作動方法、災害情報処理装置の作動プログラム、並びに災害情報処理システム - Google Patents
[go: Go Back, main page]

JP7715726B2 - 災害情報処理装置、災害情報処理装置の作動方法、災害情報処理装置の作動プログラム、並びに災害情報処理システム - Google Patents

災害情報処理装置、災害情報処理装置の作動方法、災害情報処理装置の作動プログラム、並びに災害情報処理システム

Info

Publication number
JP7715726B2
JP7715726B2 JP2022553831A JP2022553831A JP7715726B2 JP 7715726 B2 JP7715726 B2 JP 7715726B2 JP 2022553831 A JP2022553831 A JP 2022553831A JP 2022553831 A JP2022553831 A JP 2022553831A JP 7715726 B2 JP7715726 B2 JP 7715726B2
Authority
JP
Japan
Prior art keywords
disaster
damage situation
image
building
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022553831A
Other languages
English (en)
Other versions
JPWO2022070981A1 (ja
Inventor
樹彦 苅部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2022070981A1 publication Critical patent/JPWO2022070981A1/ja
Application granted granted Critical
Publication of JP7715726B2 publication Critical patent/JP7715726B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/10Alarms for ensuring the safety of persons responsive to calamitous events, e.g. tornados or earthquakes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30184Infrastructure
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Environmental & Geological Engineering (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Geology (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

本開示の技術は、災害情報処理装置、災害情報処理装置の作動方法、災害情報処理装置の作動プログラム、並びに災害情報処理システムに関する。
地震、津波、火山の噴火、豪雨による洪水および/または土砂崩れ、大規模火災といった様々な災害が各地で発生している。従来、こうした災害の被害状況を把握するための施策が種々提案されている。例えば特許文献1には、監視カメラが撮影した発災地域の俯瞰画像を取得し、取得した俯瞰画像から災害の被害状況を把握する技術が記載されている。特許文献1では、監視カメラの設置位置、監視カメラの撮影範囲等を記憶し、こうした情報に基づいて所望の俯瞰画像を撮影可能な監視カメラを見極めたりしている。
特開2013-187760号公報
特許文献1に記載の監視カメラの撮影範囲は、発災地域の環境条件がある特定の条件の場合を想定して、監視カメラの性能に基づいて決められた1つの範囲である。ところが、俯瞰画像において実際に災害の被害状況の把握が可能な有効視界範囲は、晴れ、曇り、雨、雪等の天候、建物の倒壊による砂塵、あるいは火災の煙といった発災地域の環境条件に応じて変化する。このため、監視カメラの撮影範囲の情報だけでは、所望の俯瞰画像を撮影可能な監視カメラの見極め等を誤るおそれがあった。
本開示の技術に係る1つの実施形態は、発災地域の環境条件に適合した監視カメラの動作の制御を行うことが可能な災害情報処理装置、災害情報処理装置の作動方法、災害情報処理装置の作動プログラム、並びに災害情報処理システムを提供する。
本開示の災害情報処理装置は、プロセッサと、プロセッサに接続または内蔵されたメモリと、を備え、プロセッサは、監視カメラが撮影した発災地域の俯瞰画像における有効視界範囲であって、発災地域の被害状況の把握が可能で、かつ発災地域の環境条件に応じて変化する有効視界範囲を取得し、取得した有効視界範囲に基づいて、監視カメラの動作を制御する。
プロセッサは、有効視界範囲に基づいて、監視カメラのズーム倍率の設定、監視カメラのチルト角度の設定、および俯瞰画像の撮影を行うか否かの設定のうちの少なくともいずれか1つを行うことが好ましい。
プロセッサは、監視カメラがリアルタイムで撮影した俯瞰画像から、有効視界範囲を取得することが好ましい。
複数パターンの環境条件に応じた有効視界範囲が記憶部に予め記憶されており、プロセッサは、発災地域の現在の環境条件に応じた有効視界範囲を、記憶部から取得することが好ましい。
監視カメラは複数台あり、プロセッサは、複数台の監視カメラの各々の有効視界範囲に基づいて、複数台の監視カメラの各々の動作を制御することが好ましい。
プロセッサは、俯瞰画像を用いて、発災地域の建物毎の被害状況を解析することが好ましい。
プロセッサは、被害状況の解析対象の建物を複数台の監視カメラで撮影していた場合、複数台の監視カメラがそれぞれ撮影した俯瞰画像を用いて、解析対象の建物の被害状況を解析することが好ましい。
プロセッサは、俯瞰画像を用いて、発災地域の隣り合う複数の建物を含む区画毎の被害状況を解析することが好ましい。
プロセッサは、被害状況の解析対象の区画を複数台の監視カメラで撮影していた場合、複数台の監視カメラがそれぞれ撮影した俯瞰画像を用いて、解析対象の区画の被害状況を解析することが好ましい。
本開示の災害情報処理装置の作動方法は、監視カメラが撮影した発災地域の俯瞰画像における有効視界範囲であって、発災地域の被害状況の把握が可能で、かつ発災地域の環境条件に応じて変化する有効視界範囲を取得すること、および、取得した有効視界範囲に基づいて、監視カメラの動作を制御すること、を含む。
本開示の災害情報処理装置の作動プログラムは、監視カメラが撮影した発災地域の俯瞰画像における有効視界範囲であって、発災地域の被害状況の把握が可能で、かつ発災地域の環境条件に応じて変化する有効視界範囲を取得すること、および、取得した有効視界範囲に基づいて、監視カメラの動作を制御すること、を含む処理をコンピュータに実行させる。
本開示の災害情報処理システムは、発災地域の被害状況の把握に供する俯瞰画像を撮影する監視カメラと、プロセッサと、プロセッサに接続または内蔵されたメモリと、を備え、プロセッサは、俯瞰画像における被害状況の把握が可能で、かつ発災地域の環境条件に応じて変化する有効視界範囲を取得し、取得した有効視界範囲に基づいて、監視カメラの動作を制御する。
本開示の技術によれば、発災地域の環境条件に適合した監視カメラの動作の制御を行うことが可能な災害情報処理装置、災害情報処理装置の作動方法、災害情報処理装置の作動プログラム、並びに災害情報処理システムを提供することができる。
災害情報処理システムを示す図である。 地域と撮影範囲との関係を示す図である。 災害情報処理サーバを構成するコンピュータを示すブロック図である。 災害情報処理サーバのCPUの処理部を示すブロック図である。 有効視界範囲導出部の詳細を示すブロック図である。 被害状況解析モデルの学習フェーズにおける処理の概要を示す図である。 有効視界範囲判定部の処理の一例を示す図である。 制御信号を示す図である。 ズーム倍率を等倍、チルト角度を0°とする制御信号に基づいて、監視カメラが地域の俯瞰画像を撮影する様子を示す図である。 ズーム倍率を10倍、チルト角度を-5°とする制御信号に基づいて、監視カメラが地域の俯瞰画像を撮影する様子を示す図である。 被害状況解析部の詳細を示すブロック図である。 被害状況表示画面を示す図である。 災害情報処理サーバの処理手順を示す図である。 災害情報処理サーバの処理手順を示す図である。 制御信号の別の例を示す図である。 図15で示した制御信号に基づいて、監視カメラが地域の俯瞰画像を撮影する様子を示す図である。 制御信号のさらに別の例を示す図である。 複数パターンの環境条件に応じた有効視界範囲を予め記憶しておく第2実施形態を示す図である。 複数台の監視カメラを用いる第3実施形態を示す図である。 複数台の監視カメラの各々の動作を制御する具体例を示す図である。 第4実施形態の被害状況解析部の詳細を示すブロック図である。 第4実施形態の被害状況解析モデルの学習フェーズにおける処理の概要を示す図である。 第5実施形態の被害状況解析部の詳細を示すブロック図である。 第5実施形態の被害状況解析モデルの学習フェーズにおける処理の概要を示す図である。 第6実施形態の被害状況解析部の詳細を示すブロック図である。 第6実施形態の被害状況解析モデルの学習フェーズにおける処理の概要を示す図である。
[第1実施形態]
一例として図1に示すように、災害の被害状況を把握するための災害情報処理システム2は、監視カメラ10と災害情報処理サーバ11とを備える。監視カメラ10は、例えば地上50m~100m程度の高層ビル12の屋上に設置されている。監視カメラ10は、矢印13で示すように、+方向(上方向)および-方向(下方向)への首振り、つまりチルト動作が可能である。また、監視カメラ10はズームレンズを有し、等倍(ワイド端)から例えば10倍(テレ端)までの範囲のズーム倍率の設定が可能である。災害情報処理サーバ11は、例えば都道府県、市区町村等の自治体の災害対策本部(庁、役所等)に設置されている。災害情報処理サーバ11は、本開示の技術に係る「災害情報処理装置」の一例である。なお、監視カメラ10は、左右方向への首振り、すなわちパン動作が可能であってもよい。
監視カメラ10と災害情報処理サーバ11とは、ネットワーク14を介して相互に通信可能に接続されている。監視カメラ10と災害情報処理サーバ11とは、ネットワーク14と有線接続または無線接続される。ネットワーク14は、例えばインターネットや公衆通信網等のWAN(Wide Area Network)である。なお、WANを利用する場合には、情報セキュリティを考慮して、VPN(Virtual Private Network)を構築したり、HTTPS(Hypertext Transfer Protocol Secure)等のセキュリティレベルの高い通信プロトコルを使用することが好ましい。
ネットワーク14には、クライアント端末15も有線接続または無線接続されている。
クライアント端末15は、例えば災害対策本部のスタッフに配備されたデスクトップ型のパーソナルコンピュータであり、ディスプレイ16と入力デバイス17とを有している。ディスプレイ16には各種画面が表示される。入力デバイス17は、キーボード、マウス、タッチパネル、マイクロフォン等である。なお、図1においては、クライアント端末15が1台しか描かれていないが、もちろんクライアント端末15は複数台あってもよい。
一例として図2に示すように、監視カメラ10は、予め設定されたフレームレート(例えば30fps(frames per second))にしたがって、地域20を含む撮影範囲21を撮影して、地域20の俯瞰画像22を出力する。撮影範囲21は、ズーム倍率が等倍(ワイド端)で、かつチルト角度が0°(基準角度)の場合に、監視カメラ10の性能に基づいて決められる範囲である。撮影範囲21は、監視カメラ10からの距離で表現すると、例えば4000mである。ここで、撮影範囲21の底辺(俯瞰画像22の下辺)を、監視カメラ10からの距離0mとする。なお、地域20は、災害が発生して災害対策本部が置かれている地域であり、本開示の技術に係る「発災地域」の一例である。
一例として図3に示すように、災害情報処理サーバ11を構成するコンピュータは、ストレージ30、メモリ31、CPU(Central Processing Unit)32、および通信部33を備えている。これらはバスライン34を介して相互接続されている。なお、ストレージ30は、本開示の技術に係る「記憶部」の一例である。また、
CPU32は、本開示の技術に係る「プロセッサ」の一例である。
ストレージ30は、災害情報処理サーバ11を構成するコンピュータに内蔵、またはケーブル、ネットワークを通じて接続されたハードディスクドライブである。もしくはストレージ30は、ハードディスクドライブを複数台連装したディスクアレイである。ストレージ30には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム、およびこれらのプログラムに付随する各種データ等が記憶されている。なお、ハードディスクドライブに代えてソリッドステートドライブを用いてもよい。
メモリ31は、CPU32が処理を実行するためのワークメモリである。CPU32は、ストレージ30に記憶されたプログラムをメモリ31へロードして、プログラムにしたがった処理を実行する。これによりCPU32は、コンピュータの各部の動作を統括的に制御する。通信部33は、監視カメラ10等の外部装置との各種情報の伝送制御を行う。なお、メモリ31は、CPU32に内蔵されていてもよい。
一例として図4に示すように、災害情報処理サーバ11のストレージ30には、作動プログラム40が記憶されている。作動プログラム40は、コンピュータを災害情報処理サーバ11として機能させるためのアプリケーションプログラムである。すなわち、作動プログラム40は、本開示の技術に係る「災害情報処理装置の作動プログラム」の一例である。
作動プログラム40が起動されると、災害情報処理サーバ11を構成するコンピュータのCPU32は、メモリ31等と協働して、リードライト(以下、RW(Read Write)と略す)制御部45、有効視界範囲導出部46、制御信号生成部47、送信制御部48、被害状況解析部49、および画面配信制御部50として機能する。
RW制御部45は、ストレージ30への各種データの記憶、およびストレージ30内の各種データの読み出しを制御する。例えばRW制御部45は、監視カメラ10からの俯瞰画像22を受け付け、受け付けた俯瞰画像22をストレージ30に記憶する。RW制御部45は、クライアント端末15からの処理要求(図示省略)を受け付けた場合、俯瞰画像22をストレージ30から読み出し、読み出した俯瞰画像22を有効視界範囲導出部46に出力する。また、RW制御部45は、クライアント端末15からの配信要求(図示省略)を受け付けた場合、俯瞰画像22をストレージ30から読み出し、読み出した俯瞰画像22を被害状況解析部49に出力する。なお、俯瞰画像22のストレージ30への記憶は、災害対策本部のスタッフからの指示に応じて行われる。
有効視界範囲導出部46は、ズーム倍率が等倍で、チルト角度が0°というデフォルトの設定で得られた俯瞰画像22における有効視界範囲55を導出する。有効視界範囲55は、図2で示した撮影範囲21とは異なり、地域20の環境条件に応じて変化する。有効視界範囲導出部46は、導出した有効視界範囲55を制御信号生成部47に出力する。
制御信号生成部47は、有効視界範囲55に応じた監視カメラ10の制御信号56を生成する。制御信号生成部47は、生成した制御信号56を送信制御部48に出力する。送信制御部48は、制御信号56を監視カメラ10に送信する制御を行う。
被害状況解析部49は、俯瞰画像22に基づいて、地域20における災害の被害状況69(図11参照)を解析する。被害状況解析部49は、被害状況69の解析結果57を、画面配信制御部50に出力する。
画面配信制御部50は、解析結果57に基づく被害状況表示画面58を生成する。画面配信制御部50は、生成した被害状況表示画面58の画面データを、配信要求の要求元のクライアント端末15に配信する制御を行う。画面データは、例えば、XML(Extensible Markup Language)等のマークアップ言語によって作成されるウェブ配信用の画面データである。クライアント端末15は、画面データに基づき被害状況表示画面58をウェブブラウザ上に再現して表示する。なお、XMLに代えて、JSON(Javascript(登録商標) Object Notation)等の他のデータ記述言語を利用してもよい。
一例として図5に示すように、有効視界範囲導出部46は、建物情報付与部60、建物画像切り出し部61、第1処理部62、および有効視界範囲判定部63を有する。建物情報付与部60は、建物情報付き地図64を参照して、俯瞰画像22に写る各建物78(図7参照)に対して建物情報65を付与し、俯瞰画像22を建物情報付き俯瞰画像22Iとする。建物情報付与部60は、建物情報付き俯瞰画像22Iを建物画像切り出し部61に出力する。
建物情報付き地図64はストレージ30に記憶されており、RW制御部45によりストレージ30から読み出されて建物情報付与部60に出力される。建物情報付き地図64は、地域20の三次元地図であり、屋上の角等の特徴点および建物情報65が各建物78に関連付けられたものである。建物情報65は、具体的には「富士一男」等の建物(住宅)78の戸主の氏名、あるいは「富士第1ビル」等の建物78の名称である。また、建物情報65は、建物78の監視カメラ10からの距離、および建物78の住所等も含む。
建物情報付与部60は、監視カメラ10の設置位置の経緯度情報、チルト角度等に基づいて、建物情報付き地図64の建物の向きを、俯瞰画像22に写る建物78の向きに合わせる。また、建物情報付与部60は、俯瞰画像22に写る建物78の屋上の角等の特徴点を抽出する。建物情報付与部60は、俯瞰画像22に写る建物78の向きに合わせた建物情報付き地図64と俯瞰画像22とをマッチングし、建物情報付き地図64の特徴点と、俯瞰画像22の特徴点との相関が最も高くなる位置を探索する。そして、相関が最も高くなった位置において、建物情報付き地図64の建物情報65を俯瞰画像22の各建物78に付与する。
建物画像切り出し部61は、建物情報付き俯瞰画像22Iから、例えば監視カメラ10からの距離10m毎に任意の5軒の建物78の建物画像66を切り出す。建物画像切り出し部61は、例えば俯瞰画像22を入力画像とし、俯瞰画像22に写る一戸一戸の建物78の画像を出力画像とする機械学習モデル(図示省略)を用いる。建物画像切り出し部61は、監視カメラ10からの距離10m毎の任意の5軒の建物78の建物画像66と建物情報65との組を含む建物画像群67を、第1処理部62に出力する。
第1処理部62は、建物画像66を被害状況解析モデル68に入力する。そして、被害状況解析モデル68から被害状況69を出力させる。被害状況69は、災害として地震等を想定したもので、「全壊」、「半壊」、「無事」、および「不明」のうちのいずれかである。第1処理部62は、建物画像群67に含まれる、監視カメラ10からの距離10m毎の5軒の建物78の建物画像66の全てについて、被害状況解析モデル68から被害状況69を出力させる。第1処理部62は、建物78毎の被害状況69を監視カメラ10からの距離とともにまとめた有効視界範囲判定用解析結果70を、有効視界範囲判定部63に出力する。
有効視界範囲判定部63は、有効視界範囲判定用解析結果70に基づいて、有効視界範囲55を判定する。なお、図5においては、監視カメラ10からの距離が0mの「富士一男」および「富士二郎」等の建物78の被害状況69が「無事」、監視カメラ10からの距離が1300mの「富士第1ビル」等の被害状況69が「不明」である場合を例示している。また、曇り、霧、雨、雪、スモッグ等の影響で有効視界範囲55が撮影範囲21よりも狭まり、有効視界範囲55を「1200m」と判定した場合を例示している。
被害状況解析モデル68は、ニューラルネットワーク、サポートベクターマシン、ブースティング等の手法によって構築された機械学習モデルである。被害状況解析モデル68はストレージ30に記憶されており、RW制御部45によりストレージ30から読み出されて第1処理部62に出力される。
一例として図6に示すように、学習フェーズにおいて、被害状況解析モデル68は、学習データ75を与えられて学習される。学習データ75は、学習用建物画像66Lと、学習用建物画像66Lに対応する正解被害状況69CAとの組である。学習用建物画像66Lは、ある地域の俯瞰画像を建物画像切り出し部61に入力して得られたものである。正解被害状況69CAは、学習用建物画像66Lに写る建物78の被害状況69を、住家被害認定士等の有資格者が実際に判別した結果である。
学習フェーズにおいて、被害状況解析モデル68には、学習用建物画像66Lが入力される。被害状況解析モデル68は、学習用建物画像66Lに対して学習用被害状況69Lを出力する。この学習用被害状況69Lおよび正解被害状況69CAに基づいて、損失関数を用いた被害状況解析モデル68の損失演算がなされる。そして、損失演算の結果に応じて被害状況解析モデル68の各種係数の更新設定がなされ、更新設定にしたがって被害状況解析モデル68が更新される。
被害状況解析モデル68の学習フェーズにおいては、学習用建物画像66Lの被害状況解析モデル68への入力、被害状況解析モデル68からの学習用被害状況69Lの出力、損失演算、更新設定、および被害状況解析モデル68の更新の上記一連の処理が、学習データ75が交換されつつ繰り返し行われる。上記一連の処理の繰り返しは、正解被害状況69CAに対する学習用被害状況69Lの判別精度が、予め定められた設定レベルまで達した場合に終了される。こうして判別精度が設定レベルまで達した被害状況解析モデル68が、ストレージ30に記憶されて第1処理部62で用いられる。
一例として図7に示すように、有効視界範囲判定部63は、監視カメラ10からの距離毎に、被害状況69が「不明」である建物78の軒数を計数する。有効視界範囲判定部63は、監視カメラ10からの距離のうち、被害状況69が「不明」である建物78の軒数が5軒未満であって、以降、被害状況69が「不明」である建物78の軒数が5軒である距離が2回以上連続する距離を、有効視界範囲55と判定する。図7においては、図5の場合と同じく、有効視界範囲55を「1200m」と判定した場合を例示している。
一例として図8に示すように、有効視界範囲55が図7で例示した「1200m」であった場合、制御信号生成部47は、監視カメラ10からの距離1200m以下の有効視界範囲55の撮影用に、ズーム倍率を等倍、チルト角度を0°とする制御信号56を生成する。また、制御信号生成部47は、監視カメラ10からの距離1200m超の範囲の撮影用に、ズーム倍率を10倍、チルト角度を-5°とする制御信号56を生成する。
図9は、ズーム倍率を等倍、チルト角度を0°とする制御信号56に基づいて、監視カメラ10が地域20の俯瞰画像22を撮影する様子を示す。この場合、俯瞰画像22には撮影範囲21の全ての建物78が写っているが、有効視界範囲55は1200mであるため、有効視界範囲55を超える範囲の建物78については、被害状況の把握が不可能な状態で写っている。
図10は、ズーム倍率を10倍、チルト角度を-5°とする制御信号56に基づいて、監視カメラ10が地域20の俯瞰画像22を撮影する様子を示す。この場合の撮影範囲80は、ズーム倍率およびチルト角度が異なるため、図9の場合よりも狭い範囲となり、かつ有効視界範囲55を超える範囲となる。このため、この場合に撮影される俯瞰画像22には、有効視界範囲55を超える範囲の建物78が、被害状況の把握が可能な状態で写っている可能性が高い。なお、ストレージ30には、図9の場合に得られた俯瞰画像22と、図10の場合に得られた俯瞰画像22とが両方記憶され、両俯瞰画像22が被害状況解析部49に出力される。そして、両俯瞰画像22のそれぞれに基づく解析結果57が出力される。
一例として図11に示すように、被害状況解析部49は、建物情報付与部85、建物画像切り出し部86、および第2処理部87を有する。建物情報付与部85は、有効視界範囲導出部46の建物情報付与部60と同じく、建物情報付き地図64を参照して、俯瞰画像22に写る各建物78に対して建物情報65を付与し、俯瞰画像22を建物情報付き俯瞰画像22Iとする。建物情報付与部85は、建物情報付き俯瞰画像22Iを建物画像切り出し部86に出力する。
建物画像切り出し部86は、有効視界範囲導出部46の建物画像切り出し部61と同じく、建物情報付き俯瞰画像22Iから建物画像66を切り出す。ただし、建物画像切り出し部86は、建物情報付き俯瞰画像22Iに写る全ての建物78の建物画像66を切り出す。建物画像切り出し部86は、全ての建物78の建物画像66と建物情報65との組を含む建物画像群88を、第2処理部87に出力する。
第2処理部87は、有効視界範囲導出部46の第1処理部62と同じく、建物画像66を被害状況解析モデル68に入力する。そして、被害状況解析モデル68から被害状況69を出力させる。第2処理部87は、建物画像群88に含まれる全ての建物78の建物画像66について、被害状況解析モデル68から被害状況69を出力させる。第2処理部87は、建物78毎の被害状況69をまとめた解析結果57を出力する。図11においては、「富士一男」および「富士二郎」等の建物78の被害状況69が「無事」、「富士第1ビル」等の被害状況69が「半壊」である場合を例示している。
なお、図5で示した有効視界範囲判定用解析結果70においては、「富士第1ビル」の被害状況69は「不明」であったが、図11においては「半壊」となっている。これは、図10の場合に得られた俯瞰画像22によって、有効視界範囲55を超える距離1300mの範囲にある「富士第1ビル」の被害状況69を「半壊」と判別することができたことを示している。
一例として図12に示すように、クライアント端末15のディスプレイ16に表示される被害状況表示画面58は、建物別被害状況表示領域90と、統計被害状況表示領域91とを有する。建物別被害状況表示領域90には、各建物の建物情報65、建物画像66、および被害状況69が表示される。統計被害状況表示領域91には、地域20の建物78の全壊、半壊、無事、不明のそれぞれのトータルの棟数が表示される。確認ボタン92が選択された場合、被害状況表示画面58の表示が消される。
次に、上記構成による作用について、図13および図14のフローチャートを参照して説明する。まず、災害情報処理サーバ11において作動プログラム40が起動されると、図4で示したように、災害情報処理サーバ11のCPU32は、RW制御部45、有効視界範囲導出部46、制御信号生成部47、送信制御部48、被害状況解析部49、および画面配信制御部50として機能する。図5で示したように、有効視界範囲導出部46には、建物情報付与部60、建物画像切り出し部61、第1処理部62、および有効視界範囲判定部63が含まれる。また、図11で示したように、被害状況解析部49には、建物情報付与部85、建物画像切り出し部86、および第2処理部87が含まれる。
災害が発生した地域20の俯瞰画像22が、監視カメラ10から災害情報処理サーバ11に送信される。一例として図13に示すように、災害情報処理サーバ11においては、RW制御部45により俯瞰画像22が受け付けられる(ステップST100)。俯瞰画像22は、災害対策本部のスタッフからの指示に応じて、RW制御部45によってストレージ30に記憶される。
クライアント端末15からの処理要求(図示省略)が受け付けられた場合、RW制御部45によって俯瞰画像22がストレージ30から読み出され、読み出された俯瞰画像22がRW制御部45から有効視界範囲導出部46に出力される。そして、図5および図7で示したように、有効視界範囲導出部46によって、俯瞰画像22における有効視界範囲55が導出される(ステップST110)。有効視界範囲55は、有効視界範囲導出部46から制御信号生成部47に出力される。
制御信号生成部47によって、有効視界範囲55に基づいて、図8で示したような制御信号56が生成される(ステップST120)。制御信号56は、制御信号生成部47から送信制御部48に出力される。そして、制御信号56は、送信制御部48によって監視カメラ10に送信される(ステップST130)。
監視カメラ10においては、図9および図10で示したように、制御信号56にしたがって動作が制御される。そして、図9および図10で示した状態における俯瞰画像22が、災害対策本部のスタッフからの指示に応じて、RW制御部45によってストレージ30に記憶される。
一例として図14に示すように、クライアント端末15からの配信要求が受け付けられた場合、RW制御部45によって俯瞰画像22がストレージ30から読み出され、読み出された俯瞰画像22がRW制御部45から被害状況解析部49に出力される。そして、図11で示したように、被害状況解析部49において、俯瞰画像22を用いて、地域20の建物78毎の被害状況69が解析される(ステップST200)。被害状況69の解析結果57は、被害状況解析部49から画面配信制御部50に出力される。
画面配信制御部50によって、解析結果57に基づき、図12で示した被害状況表示画面58が生成される。被害状況表示画面58の画面データは、画面配信制御部50によって配信要求元のクライアント端末15に配信される(ステップST210)。被害状況表示画面58は、配信要求元のクライアント端末15のディスプレイ16に表示され、災害対策本部のスタッフの閲覧に供される。
以上説明したように、災害情報処理サーバ11のCPU32は、有効視界範囲導出部46および制御信号生成部47を備える。有効視界範囲導出部46は、監視カメラ10が撮影した地域20の俯瞰画像22における有効視界範囲55であって、地域20の被害状況69の把握が可能で、かつ地域20の環境条件に応じて変化する有効視界範囲55を導出することで取得する。制御信号生成部47は、有効視界範囲55に応じた監視カメラ10の制御信号56を生成する。この制御信号56によって、監視カメラ10の動作が制御される。したがって、地域20の環境条件に適合した監視カメラ10の動作の制御を行うことが可能となる。
図8~図10で示したように、制御信号生成部47は、有効視界範囲55に基づいて、監視カメラ10のズーム倍率、および監視カメラ10のチルト角度を設定する制御信号56を生成する。このため、ズーム倍率が等倍で、チルト角度が0°というデフォルトの設定では被害状況69が「不明」とされた建物78を、比較的高画質で俯瞰画像22に収められる可能性が高まり、被害状況69が「不明」の建物78の棟数を減らすことができる。
有効視界範囲導出部46は、監視カメラ10がリアルタイムで撮影した俯瞰画像22から、有効視界範囲55を導出する。このため、地域20の現在の環境条件によりよく適合した有効視界範囲55を取得することができ、ひいては地域20の現在の環境条件によりよく適合した監視カメラ10の動作の制御を行うことができる。
被害状況解析部49は、俯瞰画像22を用いて、地域20の建物78毎の被害状況69を解析する。このため、地域20を実際に歩き回る煩雑な調査をすることなく、建物78の被害状況69を容易に把握することができる。
制御信号56としては、図8で例示した内容に限らない。一例として図15に示すように、有効視界範囲55が例えば1200mであった場合、監視カメラ10からの距離1200m以下の有効視界範囲55の撮影用に、ズーム倍率を等倍、チルト角度を-20°とする制御信号56を生成してもよい。
図16は、ズーム倍率を等倍、チルト角度を-20°とする図15の制御信号56に基づいて、監視カメラ10が地域20の俯瞰画像22を撮影する様子を示す。この場合の撮影範囲102は、有効視界範囲55とほぼ同じ範囲となる。このため、この場合に撮影される俯瞰画像22には、有効視界範囲55を超える範囲の建物78は写っておらず、ほぼ有効視界範囲55内に存在する建物78だけが写っている。
このように、監視カメラ10の撮影範囲102を有効視界範囲55とほぼ同じ範囲とする制御信号56によれば、被害状況が「不明」となる確率が非常に高い有効視界範囲55を超える範囲の建物78は俯瞰画像22に写らない。したがって、有効視界範囲55を超える範囲の建物78に対する被害状況解析部49の処理負担を軽減することができる。
制御信号56は、図17に示す内容でもよい。図17に示す制御信号56は、有効視界範囲55が予め設定された閾値未満、例えば500m未満であった場合に、監視カメラ10に俯瞰画像22の撮影を停止させるという内容である。閾値には、当該有効視界範囲55における俯瞰画像22に基づいて被害状況69を解析しても、人手で被害状況を解析する場合と比べて大してメリットがないと考えられる値が設定される。
有効視界範囲55が閾値未満であった場合に、監視カメラ10に俯瞰画像22の撮影を停止させるという制御信号56によれば、監視カメラ10に無駄な撮影を行わせずに済む。
建物画像切り出し部61において用いる機械学習モデルを、建物画像66に加えて建物画像66に写る建物78の画質の評価値を出力するモデルとしてもよい。そして、建物78の画質の評価値が予め設定された閾値以上の建物画像66を切り出せたか否かに基づいて、有効視界範囲55を判定してもよい。具体的には、建物78の画質の評価値が閾値未満の建物画像66しか切り出せなかった距離の手前の距離を、有効視界範囲55と判定する。
ランドマーク建物とその距離を予め登録しておき、ランドマーク建物を切り出した建物画像66に対する被害状況69に基づいて、有効視界範囲55を判定してもよい。
[第2実施形態]
上記第1実施形態では、有効視界範囲導出部46において、監視カメラ10がリアルタイムで撮影した俯瞰画像22から有効視界範囲55を導出しているが、これに限らない。図18に示す第2実施形態のように、複数パターンの環境条件に応じた有効視界範囲55を予め記憶しておいてもよい。
一例として図18に示すように、第2実施形態においては、有効視界範囲テーブル110がストレージ30に予め記憶されている。有効視界範囲テーブル110は、環境条件毎の有効視界範囲55が登録されたテーブルである。環境条件には、「晴れ(春、夏)」、「晴れ(秋、冬)」、「本曇り」、「雨」、「雪」、「スモッグ」等がある。春、夏は、例えば3月~9月、秋、冬は、例えば10月~2月である。有効視界範囲55には、例えば、「晴れ(春、夏)」の場合は「2500m」が登録され、「晴れ(秋、冬)」の場合は「3000m」が登録され、「本曇り」の場合は「2000m」が登録されている。有効視界範囲55は、例えば、各環境条件において発災前に実際に複数回撮影した俯瞰画像22から、上記第1実施形態の有効視界範囲導出部46のように有効視界範囲55を導出し、その平均値を求めることで得られる。
RW制御部45は、地域20の現在の環境条件111を受け付ける。RW制御部45は、受け付けた環境条件111に応じた有効視界範囲55を、ストレージ30の有効視界範囲テーブル110から読み出すことで取得する。RW制御部45は、有効視界範囲55を制御信号生成部47に出力する。その後の処理は上記第1実施形態と同様であるため、説明を省略する。図18においては、環境条件111が「晴れ(秋、冬)」で、有効視界範囲55として「3000m」が読み出された場合を例示している。なお、環境条件111は、災害対策本部のスタッフが入力してもよいし、気象庁等の公共機関からネットワーク14経由で受け取ってもよい。
このように、第2実施形態では、複数パターンの環境条件に応じた有効視界範囲55がストレージ30に予め記憶されており、RW制御部45は、地域20の現在の環境条件111に応じた有効視界範囲55を、ストレージ30から読み出すことで取得する。このため、上記第1実施形態のように、俯瞰画像22から有効視界範囲55を導出する手間を省くことができる。
有効視界範囲テーブル110に有効視界範囲55を記憶する環境条件としては、「黄砂飛散」、「花粉飛散」、「真夏日」、および「猛暑日」等を加えてもよい。「黄砂飛散」および「花粉飛散」の場合は、「スモッグ」と同様に、空気中に飛散する微粒子の影響で有効視界範囲55が狭まる。また、「真夏日」および「猛暑日」の場合は、陽炎の影響で遠くが霞んで見える。
[第3実施形態]
上記各実施形態では、監視カメラ10が1台の場合を例示したが、これに限らない。図19および図20に示す第3実施形態のように、監視カメラ10は複数台あってもよい。
一例として図19に示すように、本実施形態の災害情報処理サーバ120には、複数台の監視カメラ10A、10B、10C、・・・が接続されている。災害情報処理サーバ120は、監視カメラ10Aからの俯瞰画像22A、監視カメラ10Bからの俯瞰画像22B、監視カメラ10Cからの俯瞰画像22C、・・・を受け付ける。有効視界範囲導出部121は、俯瞰画像22Aにおける有効視界範囲55A、俯瞰画像22Bにおける有効視界範囲55B、俯瞰画像22Cにおける有効視界範囲55C、・・・を導出する。制御信号生成部122は、有効視界範囲55Aに応じた制御信号56A、有効視界範囲55Bに応じた制御信号56B、有効視界範囲55Cに応じた制御信号56C、・・・を生成する。制御信号56Aは監視カメラ10A、制御信号56Bは監視カメラ10B、制御信号56Cは監視カメラ10C、・・・に送信される。
図20は、複数台の監視カメラ10の各々の動作を制御する具体例を示す。図20においては、簡単化のため、2台の監視カメラ10Aおよび10Bの各々の動作を制御する態様を示す。因みに監視カメラ10Aは高層ビル12Aの屋上に設置され、監視カメラ10Bは高層ビル12Aと対向する高層ビル12Bの屋上に設置されている。
矢印上部に示すように、最初、監視カメラ10Aは、ズーム倍率を等倍、チルト角度を0°とする制御信号56Aに基づいて、デフォルトの撮影範囲21Aの俯瞰画像22Aを撮影している。監視カメラ10Bも同じく、ズーム倍率を等倍、チルト角度を0°とする制御信号56Bに基づいて、デフォルトの撮影範囲21Bの俯瞰画像22Bを撮影している。
ここで、火災の煙125によって、監視カメラ10Aによる俯瞰画像22Aの有効視界範囲55Aが500m未満となった場合を考える。この場合、矢印下部に示すように、制御信号生成部122は、監視カメラ10Aに俯瞰画像22Aの撮影を停止させるという内容の制御信号56Aを生成する。また、制御信号生成部122は、監視カメラ10Bによる俯瞰画像22Bの有効視界範囲55Bの範囲外の建物78であって、火災の煙125の直下の建物78を俯瞰画像22Bに収めるために、監視カメラ10Bのズーム倍率を10倍、チルト角度を-5°とする制御信号56Bを生成する。
このように、第3実施形態では、監視カメラ10は複数台あり、制御信号生成部122は、複数台の監視カメラ10の各々の有効視界範囲55に基づいて、複数台の監視カメラ10の各々の動作を制御する制御信号56を生成する。このため、図20で示したように、一方の監視カメラ10でカバーしきれない範囲を、他方の監視カメラ10でカバーする等、複数台の監視カメラ10で連携して俯瞰画像22を撮影することができる。
複数台の監視カメラ10の各々の動作を制御する例としては、図20で示した例の他に以下が考えられる。例えば濃霧、豪雨等の悪天候で、全ての監視カメラ10による俯瞰画像22の有効視界範囲55が閾値未満となった場合、全ての監視カメラ10に俯瞰画像22の撮影を停止させるという内容の制御信号56を生成し、全ての監視カメラ10に俯瞰画像22の撮影を停止させる。
[第4実施形態]
上記第1実施形態では、1台の監視カメラ10が撮影した俯瞰画像22のみに基づいて被害状況69を解析しているが、これに限らない。図21および図22に示す第4実施形態のように、複数台の監視カメラ10がそれぞれ撮影した俯瞰画像22に基づいて被害状況を解析してもよい。なお、以下では、簡単化のため、図20の場合と同じく2台の監視カメラ10Aおよび10Bを用いる場合を例示する。そして、監視カメラ10Aおよび10Bの撮影範囲が少なくとも一部重なっており、俯瞰画像22Aおよび俯瞰画像22Bには、同じ建物78が異なる態様で写っているとする。
一例として図21に示すように、第4実施形態の被害状況解析部130の建物情報付与部131は、上記第1実施形態の建物情報付与部85と同様に、建物情報付き地図64を参照して、監視カメラ10Aによる俯瞰画像22Aに写る各建物78に対して建物情報65を付与し、俯瞰画像22Aを建物情報付き俯瞰画像22AIとする。また、建物情報付与部131は、監視カメラ10Bによる俯瞰画像22Bに写る各建物78に対しても建物情報65を付与し、俯瞰画像22Bを建物情報付き俯瞰画像22BIとする。建物画像切り出し部132は、建物情報付き俯瞰画像22AIから第1建物画像66Aを切り出し、かつ、建物情報付き俯瞰画像22BIから第2建物画像66Bを切り出す。建物画像切り出し部132は、第1建物画像66Aと建物情報65との組を複数含む第1建物画像群88A、および第2建物画像66Bと建物情報65との組を複数含む第2建物画像群88Bを、第2処理部133に出力する。
第2処理部133は、同じ建物情報65が関連付けられた第1建物画像66Aと第2建物画像66Bを被害状況解析モデル134に入力する。そして、被害状況解析モデル134から被害状況135を出力させる。被害状況135は、上記第1実施形態の被害状況69と同じく、「全壊」、「半壊」、「無事」、および「不明」のうちのいずれかである。第2処理部133は、第1建物画像群88Aおよび第2建物画像群88Bに含まれる、同じ建物情報65が関連付けられた全ての第1建物画像66Aおよび第2建物画像66Bについて、被害状況解析モデル134から被害状況135を出力させる。なお、同じ建物情報65が関連付けられていない第1建物画像66Aおよび第2建物画像66Bについては、上記第1実施形態の被害状況解析モデル68に入力して被害状況69を出力させる。
一例として図22に示すように、学習フェーズにおいて、被害状況解析モデル134は、学習データ140を与えられて学習される。学習データ140は、学習用第1建物画像66ALおよび学習用第2建物画像66BLと、学習用第1建物画像66ALおよび学習用第2建物画像66BLに対応する正解被害状況135CAとの組である。学習用第1建物画像66ALは、ある地域をある監視カメラで撮影した俯瞰画像を建物画像切り出し部132に入力して得られたものである。また、学習用第2建物画像66BLは、ある地域を別の監視カメラで撮影した俯瞰画像を建物画像切り出し部132に入力して得られたものである。正解被害状況135CAは、学習用第1建物画像66ALおよび学習用第2建物画像66BLに写る建物78の被害状況135を、住家被害認定士等の有資格者が実際に判別した結果である。
学習フェーズにおいて、被害状況解析モデル134には、学習用第1建物画像66ALおよび学習用第2建物画像66BLが入力される。被害状況解析モデル134は、学習用第1建物画像66ALおよび学習用第2建物画像66BLに対して学習用被害状況135Lを出力する。この学習用被害状況135Lおよび正解被害状況135CAに基づいて、損失関数を用いた被害状況解析モデル134の損失演算がなされる。そして、損失演算の結果に応じて被害状況解析モデル134の各種係数の更新設定がなされ、更新設定にしたがって被害状況解析モデル134が更新される。
被害状況解析モデル134の学習フェーズにおいては、学習用第1建物画像66ALおよび学習用第2建物画像66BLの被害状況解析モデル134への入力、被害状況解析モデル134からの学習用被害状況135Lの出力、損失演算、更新設定、および被害状況解析モデル134の更新の上記一連の処理が、学習データ140が交換されつつ繰り返し行われる。上記一連の処理の繰り返しは、正解被害状況135CAに対する学習用被害状況135Lの判別精度が、予め定められた設定レベルまで達した場合に終了される。こうして判別精度が設定レベルまで達した被害状況解析モデル134が、ストレージ30に記憶されて第2処理部133で用いられる。
このように、第4実施形態においては、被害状況解析部130は、被害状況135の解析対象の建物78を複数台の監視カメラ10で撮影していた場合、複数台の監視カメラ10がそれぞれ撮影した俯瞰画像22を用いて、解析対象の建物78の被害状況135を解析する。このため、1台の監視カメラ10が撮影した俯瞰画像22だけでは判然としない建物78の被害状況135を把握できる可能性が高まり、結果として、解析結果57の信頼性を向上させることができる。
なお、監視カメラ10の台数は2台に限らず、したがって被害状況解析モデル134に入力する建物画像66も、3台以上の監視カメラ10がそれぞれ撮影した俯瞰画像22から切り出した建物画像66であってもよい。
[第5実施形態]
図23および図24に示す第5実施形態では、建物78毎ではなく、区画毎の被害状況を解析する。
一例として図23に示すように、第5実施形態の被害状況解析部145は、区画画像切り出し部146および第2処理部147を有する。区画画像切り出し部146は、ランドマーク建物情報148を参照して、俯瞰画像22から区画毎の区画画像149を切り出す。区画は、地域20を分割した複数の領域であって、地域20の隣り合う複数の建物78を含む領域である。本例において、区画は、「富士一丁目」、「綿布狐穴(わたぶきつねあな)二丁目」といった丁目である。区画画像切り出し部146は、区画画像149と、当該区画画像149の区画を表す区画情報150との組を複数含む区画画像群151を、第2処理部147に出力する。
ランドマーク建物情報148はストレージ30に記憶されており、RW制御部45によりストレージ30から読み出されて区画画像切り出し部146に出力される。ランドマーク建物情報148は、各区画の角に位置する建物78であるランドマーク建物の画像と、当該ランドマーク建物が属する区画の区画情報150とを含む。区画画像切り出し部146は、周知の画像認識技術を用いて、ランドマーク建物の画像を頼りに俯瞰画像22からランドマーク建物を見つけ出す。そして、見つけ出したランドマーク建物を結んだ線で囲まれた領域を、区画画像149として俯瞰画像22から切り出す。
第2処理部147は、区画画像149を被害状況解析モデル152に入力する。そして、被害状況解析モデル152から被害状況153を出力させる。被害状況153は、「被害大」、「被害小」、および「不明」のうちのいずれかである。第2処理部147は、区画画像群151に含まれる全ての区画画像149について、被害状況解析モデル152から被害状況153を出力させる。第2処理部147は、区画毎の被害状況153をまとめた解析結果154を出力する。図23においては、「富士一丁目」および「綿布狐穴二丁目」等の区画の被害状況153が「被害大」である場合を例示している。
被害状況解析モデル152は、被害状況解析モデル68および134と同じく、ニューラルネットワーク、サポートベクターマシン、ブースティング等の手法によって構築された機械学習モデルである。被害状況解析モデル152はストレージ30に記憶されており、RW制御部45によりストレージ30から読み出されて第2処理部147に出力される。
一例として図24に示すように、学習フェーズにおいて、被害状況解析モデル152は、学習データ160を与えられて学習される。学習データ160は、学習用区画画像149Lと、学習用区画画像149Lに対応する正解被害状況153CAとの組である。学習用区画画像149Lは、ある地域の俯瞰画像を区画画像切り出し部146に入力して得られたものである。正解被害状況153CAは、学習用区画画像149Lに写る区画の被害状況153を、住家被害認定士等の有資格者が実際に判別した結果である。
学習フェーズにおいて、被害状況解析モデル152には、学習用区画画像149Lが入力される。被害状況解析モデル152は、学習用区画画像149Lに対して学習用被害状況153Lを出力する。この学習用被害状況153Lおよび正解被害状況153CAに基づいて、損失関数を用いた被害状況解析モデル152の損失演算がなされる。そして、損失演算の結果に応じて被害状況解析モデル152の各種係数の更新設定がなされ、更新設定にしたがって被害状況解析モデル152が更新される。
被害状況解析モデル152の学習フェーズにおいては、学習用区画画像149Lの被害状況解析モデル152への入力、被害状況解析モデル152からの学習用被害状況153Lの出力、損失演算、更新設定、および被害状況解析モデル152の更新の上記一連の処理が、学習データ160が交換されつつ繰り返し行われる。上記一連の処理の繰り返しは、正解被害状況153CAに対する学習用被害状況153Lの判別精度が、予め定められた設定レベルまで達した場合に終了される。こうして判別精度が設定レベルまで達した被害状況解析モデル152が、ストレージ30に記憶されて第2処理部147で用いられる。
このように、第5実施形態では、被害状況解析部145は、地域20の隣り合う複数の建物78を含む区画毎の被害状況153を解析する。このため、一戸一戸の建物78の被害状況の解析を行う場合よりも、被害状況153の解析を短い時間で済ませることができる。結果として、多少粗いながらも手っ取り早く凡その被害状況153を把握することができる。
[第6実施形態]
図25および図26に示す第6実施形態では、複数台の監視カメラ10がそれぞれ撮影した俯瞰画像22に基づいて、区画毎の被害状況を解析する。なお、以下では、簡単化のため、図20等の場合と同じく2台の監視カメラ10Aおよび10Bを用いる場合を例示する。そして、監視カメラ10Aおよび10Bの撮影範囲が少なくとも一部重なっており、俯瞰画像22Aおよび俯瞰画像22Bには、同じ区画が異なる態様で写っているとする。
一例として図25に示すように、第6実施形態の被害状況解析部165の区画画像切り出し部166は、上記第5実施形態の区画画像切り出し部146と同様に、ランドマーク建物情報148を参照して、監視カメラ10Aによる俯瞰画像22Aから区画毎の第1区画画像149Aを切り出す。また、区画画像切り出し部166は、監視カメラ10Bによる俯瞰画像22Bからも区画毎の第2区画画像149Bを切り出す。区画画像切り出し部166は、第1区画画像149Aと区画情報150との組を複数含む第1区画画像群151A、および第2区画画像149Bと区画情報150との組を複数含む第2区画画像群151Bを、第2処理部167に出力する。
第2処理部167は、同じ区画情報150が関連付けられた第1区画画像149Aと第2区画画像149Bを被害状況解析モデル168に入力する。そして、被害状況解析モデル168から被害状況169を出力させる。被害状況169は、上記第5実施形態の被害状況153と同じく、「被害大」、「被害小」、および「不明」のうちのいずれかである。第2処理部167は、第1区画画像群151Aおよび第2区画画像群151Bに含まれる、同じ建物情報65が関連付けられた全ての第1区画画像149Aおよび第2区画画像149Bについて、被害状況解析モデル168から被害状況169を出力させる。なお、同じ区画情報150が関連付けられていない第1区画画像149Aおよび第2区画画像149Bについては、上記第5実施形態の被害状況解析モデル152に入力して被害状況153を出力させる。
一例として図26に示すように、学習フェーズにおいて、被害状況解析モデル168は、学習データ170を与えられて学習される。学習データ170は、学習用第1区画画像149ALおよび学習用第2区画画像149BLと、学習用第1区画画像149ALおよび学習用第2区画画像149BLに対応する正解被害状況169CAとの組である。学習用第1区画画像149ALは、ある地域をある監視カメラで撮影した俯瞰画像を区画画像切り出し部166に入力して得られたものである。また、学習用第2区画画像149BLは、ある地域を別の監視カメラで撮影した俯瞰画像を区画画像切り出し部166に入力して得られたものである。正解被害状況169CAは、学習用第1区画画像149ALおよび学習用第2区画画像149BLに写る区画の被害状況169を、住家被害認定士等の有資格者が実際に判別した結果である。
学習フェーズにおいて、被害状況解析モデル168には、学習用第1区画画像149ALおよび学習用第2区画画像149BLが入力される。被害状況解析モデル168は、学習用第1区画画像149ALおよび学習用第2区画画像149BLに対して学習用被害状況169Lを出力する。この学習用被害状況169Lおよび正解被害状況169CAに基づいて、損失関数を用いた被害状況解析モデル168の損失演算がなされる。そして、損失演算の結果に応じて被害状況解析モデル168の各種係数の更新設定がなされ、更新設定にしたがって被害状況解析モデル168が更新される。
被害状況解析モデル168の学習フェーズにおいては、学習用第1区画画像149ALおよび学習用第2区画画像149BLの被害状況解析モデル168への入力、被害状況解析モデル168からの学習用被害状況169Lの出力、損失演算、更新設定、および被害状況解析モデル168の更新の上記一連の処理が、学習データ170が交換されつつ繰り返し行われる。上記一連の処理の繰り返しは、正解被害状況169CAに対する学習用被害状況169Lの判別精度が、予め定められた設定レベルまで達した場合に終了される。こうして判別精度が設定レベルまで達した被害状況解析モデル168が、ストレージ30に記憶されて第2処理部167で用いられる。
このように、第6実施形態においては、被害状況解析部165は、被害状況169の解析対象の区画を複数台の監視カメラ10で撮影していた場合、複数台の監視カメラ10がそれぞれ撮影した俯瞰画像22を用いて、解析対象の区画の被害状況169を解析する。このため、1台の監視カメラ10が撮影した俯瞰画像22だけでは判然としない区画の被害状況169を把握できる可能性が高まり、結果として、解析結果154の信頼性を向上させることができる。
なお、上記第4実施形態と同じく、監視カメラ10の台数は2台に限らず、したがって被害状況解析モデル168に入力する区画画像149も、3台以上の監視カメラ10がそれぞれ撮影した俯瞰画像22から切り出した区画画像149であってもよい。
隣り合う複数の建物を含む区画は、例示の丁目に限らない。道路を境界とした所定の大きさの矩形の領域を区画としてもよい。
被害状況153および169として、「被害大」、「被害小」、および「不明」のうちのいずれかを例示したが、これに限らない。被害状況69等と同じく、「全壊」、「半壊」、「無事」、および「不明」のいずれかでもよい。
上記各実施形態では、監視カメラ10は可視光カメラを想定しているが、これに限らない。監視カメラ10として、夕方、夜間の撮影のために赤外線カメラを用意してもよい。
上記各実施形態において、被害状況の例として、災害として主に地震を想定して、「全壊」、「半壊」、「無事」、および「不明」のうちのいずれかを挙げたが、これに限らない。災害として水害を想定して、「床上浸水」、「床下浸水」、「無事」、および「不明」のうちのいずれかを被害状況として出力してもよい。また、災害として大規模火災を想定して、「全焼」、「半焼」、「無事」、および「不明」のうちのいずれかを被害状況として出力してもよい。災害の種類に応じた被害状況解析モデルを用意しておき、災害の種類によって被害状況解析モデルを使い分けてもよい。
第2処理部において用いる被害状況解析モデルを、建物78毎の被害状況の信頼度も併せて出力するモデルとしてもよい。この場合、1台の監視カメラ10が撮影した俯瞰画像22を用いる上記第1実施形態の場合は、信頼度が予め設定された第1閾値以上の被害状況のみを採用する。一方で、複数台の監視カメラ10が撮影した俯瞰画像22を用いる上記第4実施形態の場合は、信頼度が予め設定された第2閾値以上の被害状況のみを採用する。第2閾値は、第1閾値よりも低い値に設定される。第2閾値を第1閾値よりも低く設定するのは、複数台の監視カメラ10が撮影した俯瞰画像22を用いたほうが、より被害状況に信頼がもてるからである。
同様に、上記第5実施形態および上記第6実施形態の第2処理部において用いる被害状況解析モデルを、区画毎の被害状況の信頼度も併せて出力するモデルとしてもよい。この場合、1台の監視カメラ10が撮影した俯瞰画像22を用いる上記第5実施形態の場合は、信頼度が予め設定された第1閾値以上の被害状況のみを採用する。一方で、複数台の監視カメラ10が撮影した俯瞰画像22を用いる上記第6実施形態の場合は、信頼度が予め設定された第2閾値(<第1閾値)以上の被害状況のみを採用する。
有効視界範囲55が予め設定された閾値未満であった場合、機械学習モデルを用いた超解像技術を俯瞰画像22に適用して俯瞰画像22を超解像の俯瞰画像22とし、超解像の俯瞰画像22を用いて被害状況を解析してもよい。ただし、超解像の俯瞰画像22はいわゆるフェイク画像であるため、被害状況表示画面58において、あくまでも参考であることを明示することが好ましい。
上記各実施形態において、例えば、RW制御部45、有効視界範囲導出部46および121、制御信号生成部47および122、送信制御部48、被害状況解析部49、130、145、および165、画面配信制御部50、建物情報付与部60、85、および131、建物画像切り出し部61、86、および132、第1処理部62、第2処理部87、133、147、および167、並びに区画画像切り出し部146および166といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。各種のプロセッサには、上述したように、ソフトウェア(作動プログラム40)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU32に加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、および/または、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。
本開示の技術は、上述の種々の実施形態および/または種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。
以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「Aおよび/またはB」は、「AおよびBのうちの少なくとも1つ」と同義である。つまり、「Aおよび/またはB」は、Aだけであってもよいし、Bだけであってもよいし、AおよびBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「および/または」で結び付けて表現する場合も、「Aおよび/またはB」と同様の考え方が適用される。
本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
2 災害情報処理システム
10、10A、10B、10C 監視カメラ
11、120 災害情報処理サーバ
12、12A、12B 高層ビル
13 矢印
14 ネットワーク
15 クライアント端末
16 ディスプレイ
17 入力デバイス
20 地域
21、21A、21B、80、102、126 撮影範囲
22、22A、22B、22C 俯瞰画像
22I、22AI、22BI 建物情報付き俯瞰画像
30 ストレージ
31 メモリ
32 CPU
33 通信部
34 バスライン
40 作動プログラム
45 リードライト制御部(RW制御部)
46、121 有効視界範囲導出部
47、122 制御信号生成部
48 送信制御部
49、130、145、165 被害状況解析部
50 画面配信制御部
55、55A、55B、55C 有効視界範囲
56、56A、56B、56C 制御信号
57、154 解析結果
58 被害状況表示画面
60、85、131 建物情報付与部
61、86、132 建物画像切り出し部
62 第1処理部
63 有効視界範囲判定部
64 建物情報付き地図
65 建物情報
66 建物画像
66A 第1建物画像
66AL 学習用第1建物画像
66B 第2建物画像
66BL 学習用第2建物画像
66L 学習用建物画像
67、88 建物画像群
68、134、152、168 被害状況解析モデル
69、135、153、169 被害状況
69CA、135CA、153CA、169CA 正解被害状況
69L、135L、153L、169L 学習用被害状況
70 有効視界範囲判定用解析結果
75、140、160、170 学習データ
78 建物
87、133、147、167 第2処理部
88A 第1建物画像群
88B 第2建物画像群
90 建物別被害状況表示領域
91 統計被害状況表示領域
92 確認ボタン
110 有効視界範囲テーブル
111 環境条件
125 煙
146、166 区画画像切り出し部
148 ランドマーク建物情報
149 区画画像
149A 第1区画画像
149AL 学習用第1区画画像
149B 第2区画画像
149BL 学習用第2区画画像
149L 学習用区画画像
150 区画情報
151 区画画像群
151A 第1区画画像群
151B 第2区画画像群
ST100、ST110、ST120、ST130、ST200、ST210 ステップ

Claims (12)

  1. プロセッサと、
    前記プロセッサに接続または内蔵されたメモリと、を備え、
    前記プロセッサは、
    監視カメラが撮影した発災地域の俯瞰画像における有効視界範囲であって、前記発災地域の被害状況の把握が可能で、かつ前記発災地域の環境条件に応じて変化する有効視界範囲を取得し、
    取得した前記有効視界範囲に基づいて、前記監視カメラの動作を制御する、
    災害情報処理装置。
  2. 前記プロセッサは、
    前記有効視界範囲に基づいて、前記監視カメラのズーム倍率の設定、前記監視カメラのチルト角度の設定、および前記俯瞰画像の撮影を行うか否かの設定のうちの少なくともいずれか1つを行う請求項1に記載の災害情報処理装置。
  3. 前記プロセッサは、
    前記監視カメラがリアルタイムで撮影した前記俯瞰画像から、前記有効視界範囲を取得する請求項1または請求項2に記載の災害情報処理装置。
  4. 複数パターンの前記環境条件に応じた前記有効視界範囲が記憶部に予め記憶されており、
    前記プロセッサは、
    前記発災地域の現在の環境条件に応じた前記有効視界範囲を、前記記憶部から取得する請求項1または請求項2に記載の災害情報処理装置。
  5. 前記監視カメラは複数台あり、
    前記プロセッサは、
    複数台の前記監視カメラの各々の前記有効視界範囲に基づいて、複数台の前記監視カメラの各々の動作を制御する請求項1から請求項4のいずれか1項に記載の災害情報処理装置。
  6. 前記プロセッサは、
    前記俯瞰画像を用いて、前記発災地域の建物毎の前記被害状況を解析する請求項1から請求項5のいずれか1項に記載の災害情報処理装置。
  7. 前記プロセッサは、
    前記被害状況の解析対象の建物を複数台の前記監視カメラで撮影していた場合、複数台の前記監視カメラがそれぞれ撮影した俯瞰画像を用いて、前記解析対象の建物の前記被害状況を解析する請求項6に記載の災害情報処理装置。
  8. 前記プロセッサは、
    前記俯瞰画像を用いて、前記発災地域の隣り合う複数の建物を含む区画毎の前記被害状況を解析する請求項1から請求項5のいずれか1項に記載の災害情報処理装置。
  9. 前記プロセッサは、
    前記被害状況の解析対象の区画を複数台の前記監視カメラで撮影していた場合、複数台の前記監視カメラがそれぞれ撮影した前記俯瞰画像を用いて、前記解析対象の区画の前記被害状況を解析する請求項8に記載の災害情報処理装置。
  10. 監視カメラが撮影した発災地域の俯瞰画像における有効視界範囲であって、前記発災地域の被害状況の把握が可能で、かつ前記発災地域の環境条件に応じて変化する有効視界範囲を取得すること、および、
    取得した前記有効視界範囲に基づいて、前記監視カメラの動作を制御すること、
    を含む災害情報処理装置の作動方法。
  11. 監視カメラが撮影した発災地域の俯瞰画像における有効視界範囲であって、前記発災地域の被害状況の把握が可能で、かつ前記発災地域の環境条件に応じて変化する有効視界範囲を取得すること、および、
    取得した前記有効視界範囲に基づいて、前記監視カメラの動作を制御すること、
    を含む処理をコンピュータに実行させるための災害情報処理装置の作動プログラム。
  12. 発災地域の被害状況の把握に供する俯瞰画像を撮影する監視カメラと、
    プロセッサと、
    前記プロセッサに接続または内蔵されたメモリと、を備え、
    前記プロセッサは、
    前記俯瞰画像における前記被害状況の把握が可能で、かつ前記発災地域の環境条件に応じて変化する有効視界範囲を取得し、
    取得した前記有効視界範囲に基づいて、前記監視カメラの動作を制御する、
    災害情報処理システム。
JP2022553831A 2020-10-01 2021-09-17 災害情報処理装置、災害情報処理装置の作動方法、災害情報処理装置の作動プログラム、並びに災害情報処理システム Active JP7715726B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020167013 2020-10-01
JP2020167013 2020-10-01
PCT/JP2021/034263 WO2022070981A1 (ja) 2020-10-01 2021-09-17 災害情報処理装置、災害情報処理装置の作動方法、災害情報処理装置の作動プログラム、並びに災害情報処理システム

Publications (2)

Publication Number Publication Date
JPWO2022070981A1 JPWO2022070981A1 (ja) 2022-04-07
JP7715726B2 true JP7715726B2 (ja) 2025-07-30

Family

ID=80951467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022553831A Active JP7715726B2 (ja) 2020-10-01 2021-09-17 災害情報処理装置、災害情報処理装置の作動方法、災害情報処理装置の作動プログラム、並びに災害情報処理システム

Country Status (3)

Country Link
US (1) US12531964B2 (ja)
JP (1) JP7715726B2 (ja)
WO (1) WO2022070981A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114722113B (zh) * 2022-06-10 2022-08-09 中国地质科学院地质力学研究所 一种用于地质灾害的数据可视化处理方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006165981A (ja) 2004-12-07 2006-06-22 Hitachi Kokusai Electric Inc 無線通信システム
JP2020017102A (ja) 2018-07-26 2020-01-30 株式会社シー・イー・デー・システム 火災監視装置、および火災監視システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5966456B2 (ja) 2012-03-08 2016-08-10 オムロン株式会社 アダプタ
US10134092B1 (en) * 2014-10-09 2018-11-20 State Farm Mutual Automobile Insurance Company Method and system for assessing damage to insured properties in a neighborhood
US9129355B1 (en) * 2014-10-09 2015-09-08 State Farm Mutual Automobile Insurance Company Method and system for assessing damage to infrastructure
KR20170101519A (ko) * 2016-02-29 2017-09-06 한국전자통신연구원 무인 항공기를 이용한 재난 감시 장치 및 방법
US9846915B2 (en) * 2016-03-17 2017-12-19 Conduent Business Services, Llc Image capture system for property damage assessment
WO2018058044A1 (en) * 2016-09-23 2018-03-29 Aon Benfield Inc. Platform, systems, and methods for identifying property characteristics and property feature maintenance through aerial imagery analysis
JP7629021B2 (ja) * 2020-09-23 2025-02-12 富士フイルム株式会社 被害判定情報システム、サーバ装置およびプログラム
WO2022070808A1 (ja) * 2020-10-01 2022-04-07 富士フイルム株式会社 災害情報処理装置、災害情報処理装置の作動方法、災害情報処理装置の作動プログラム、並びに災害情報処理システム
JP7756149B2 (ja) * 2021-03-19 2025-10-17 富士フイルム株式会社 被災情報処理装置、被災情報処理システム、被災情報処理方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006165981A (ja) 2004-12-07 2006-06-22 Hitachi Kokusai Electric Inc 無線通信システム
JP2020017102A (ja) 2018-07-26 2020-01-30 株式会社シー・イー・デー・システム 火災監視装置、および火災監視システム

Also Published As

Publication number Publication date
US20230231975A1 (en) 2023-07-20
WO2022070981A1 (ja) 2022-04-07
US12531964B2 (en) 2026-01-20
JPWO2022070981A1 (ja) 2022-04-07

Similar Documents

Publication Publication Date Title
US11676258B1 (en) Method and system for assessing damage to infrastructure
US12423756B2 (en) Method and system for remote virtual visualization of physical locations
KR102209384B1 (ko) 3차원 bim 객체 모델을 이용한 재난관리 시스템 및 재난관리 방법
US10134092B1 (en) Method and system for assessing damage to insured properties in a neighborhood
JP7505609B2 (ja) 光ファイバセンシングシステム及び行動特定方法
WO2021095351A1 (ja) 監視装置、監視方法、及びプログラム
CN111368615A (zh) 一种违章建筑预警方法、装置及电子设备
JP7641980B2 (ja) 災害情報処理装置、災害情報処理装置の作動方法、災害情報処理装置の作動プログラム、並びに災害情報処理システム
JP7641981B2 (ja) 情報処理装置、情報処理方法、プログラム、及び情報収集システム
WO2019235415A1 (ja) 災害状況判定システムおよび災害判定飛行システム
Kustu et al. Deep learning and stereo vision based detection of post-earthquake fire geolocation for smart cities within the scope of disaster management: İstanbul case
JP7715726B2 (ja) 災害情報処理装置、災害情報処理装置の作動方法、災害情報処理装置の作動プログラム、並びに災害情報処理システム
JP2025521372A (ja) リモート不動産検査
WO2021124552A1 (ja) 情報提供方法
Stipaničev et al. Advanced automatic wildfire surveillance and monitoring network
JP7456496B2 (ja) 監視システム、通信量制御方法、及び、プログラム
KR102633938B1 (ko) Cctv 영상을 활용한 군중 밀집도 계산 방법 및 장치
JP2018005642A (ja) 流動物体解析装置
US12260753B1 (en) Augmented reality interface for visualizing and coordinating disaster event response efforts
JP7756149B2 (ja) 被災情報処理装置、被災情報処理システム、被災情報処理方法及びプログラム
JP7111397B1 (ja) プログラム、方法及び情報処理装置
CN114049470A (zh) 一种能自主旋转角度的沉浸式电力巡检交互系统及方法
CN106856558A (zh) 具摄影机自动调派功能的3d影像监控系统及其监控方法
US20250069303A1 (en) Information display apparatus, information display method, and computer-readable recording medium
KR102477783B1 (ko) 디지털 트윈에 기반한 메타버스를 제공하는 방법 및 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250624

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250717

R150 Certificate of patent or registration of utility model

Ref document number: 7715726

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150