Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7828158B2 - 視界判定システム、視界判定方法、及びプログラム - Google Patents
[go: Go Back, main page]

JP7828158B2 - 視界判定システム、視界判定方法、及びプログラム - Google Patents

視界判定システム、視界判定方法、及びプログラム

Info

Publication number
JP7828158B2
JP7828158B2 JP2021183930A JP2021183930A JP7828158B2 JP 7828158 B2 JP7828158 B2 JP 7828158B2 JP 2021183930 A JP2021183930 A JP 2021183930A JP 2021183930 A JP2021183930 A JP 2021183930A JP 7828158 B2 JP7828158 B2 JP 7828158B2
Authority
JP
Japan
Prior art keywords
image
extracted
visibility
edge
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021183930A
Other languages
English (en)
Other versions
JP2023071272A (ja
Inventor
祐弥 ▲高▼島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Furuno Electric Co Ltd
Original Assignee
Furuno Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Furuno Electric Co Ltd filed Critical Furuno Electric Co Ltd
Priority to JP2021183930A priority Critical patent/JP7828158B2/ja
Priority to CN202210977418.2A priority patent/CN116132763A/zh
Priority to US17/889,372 priority patent/US12067727B2/en
Priority to EP22190528.4A priority patent/EP4181087B1/en
Publication of JP2023071272A publication Critical patent/JP2023071272A/ja
Application granted granted Critical
Publication of JP7828158B2 publication Critical patent/JP7828158B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/176Urban or other man-made structures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本開示は、視界判定システム、視界判定方法、及びプログラムに関する。
空港やヘリポートなどの航空機(移動体)の発着場において、周囲の視界が良好であるかを判断する必要がある。従来から発着場にいる人が目視で確認しており、自動化が求められる。
特許文献1には、車両に搭載され、車両からのカメラの撮像環境を判定する技術が開示されている。
特許文献2には、道路の視認状況を確認する技術が開示されている。
特許第3444192号公報 特許第4749142号公報
本開示は、カメラが撮像した画像に基づいて視界の良否を判定可能な視界判定システム、視界判定方法及びプログラムを提供する。
本開示の視界判定システムは、カメラで撮影した画像に基づいて視界状況を判定するシステムであって、前記カメラで撮影された第1画像内において撮影目標のエッジを抽出した第1抽出画像を取得する取得部と、前記第1画像とは異なる時点に前記カメラで撮影された第2画像内において前記撮影目標のエッジを抽出した第2抽出画像と、前記第1抽出画像とに基づいて、視界の良否を判定する判定部と、を備える。
この構成によれば、同じカメラで別の時点で撮影した第1画像及び第2画像から、撮影目標のエッジを抽出した第1抽出画像及び第2抽出画像を用いるので、視界の良否を判定可能となる。
第1実施形態の視界判定システムの構成を示すブロック図。 第1画像内の撮影目標、第1画像から抽出したエッジを示す画像を示す図。 第1画像、第1画像からエッジを抽出した画像、空領域、非空領域を示す説明図。 エッジ抽出された第1画像から、撮影目標(島)のエッジを含む第1領域を抽出する処理に関する説明図。 第2画像、エッジ抽出された第2画像、フィルタを用いて、第2抽出画像を生成する処理に関する説明図。 第2領域における撮影目標と既知の高度を示す図。 表示部の表示態様の例を示す図。 航空機のスタート地点から目的地点までの間に設置されたカメラの画像に基づき、迂回ルートを生成する例を示す図。 別の迂回ルートに関する説明図。 第1実施形態のデータ生成システムが実行するデータ生成処理を示すフローチャート。 第1実施形態の視界判定システムが実行する処理を示すフローチャート。
<第1実施形態>
以下、本開示の第1実施形態の視界判定システム1及びデータ生成システム2を、図面を参照して説明する。第1実施形態の視界判定システム1(装置でもよい)は、カメラが撮像した画像に基づいて視界の良否を判定する。データ生成システム2は、視界判定システム1が用いる判定用データを生成する。
視界判定システム1は、観測システムとして用いることが可能である。図1に示すように、視界判定システム1は、撮影目標を撮像する1以上のカメラ10及びカメラ10が撮像した画像を処理するコンピュータを有する。カメラ10は、撮影目標を撮影することができれば、どのようなカメラであってもよい。第1実施形態では、カメラ設置地点の周囲にある撮影目標を含む広範囲を1つのカメラで撮影するために、魚眼レンズを用いた全天カメラを設置している。全天カメラは、水平方向に沿った横向きで設置して、特定の方位にある1以上の撮影目標を撮像するようにしてもよい。また、第1方位を向く第1全天カメラと、第1方位とは反対の方位を向く第2全天カメラとを背中合わせに設置してもよい。図2は、第1画像G1内の撮影目標(S1)、第1画像G1から抽出したエッジを示す画像G3を示す。第1画像G1はカメラ10で撮影された画像である。第1実施形態では、図2に示すように、カメラ設置地点から海を向いて撮影した際に写る島を撮影目標S1としている。カメラ10から得られる画像は、画像内の画素とその方位が既知である。
なお、カメラ10は魚眼レンズを用いた全天カメラでなくてもよく、特定方位のみを撮影可能な非全天カメラであってもよい。また、全天カメラは、鉛直方向上向きで設置して、周囲の複数個所の撮影目標を同時に撮像するようにしてもよい。
[データ生成システム2]
図1に示すように、データ生成システム2は、エッジ抽出部21と、平均化処理部22と、判定用データ生成部23と、を有する。これら各部(21~23)は、CPUなどのプロセッサ、メモリなどのストレージ、各種インターフェイス等を備えたコンピュータにおいてプロセッサが予めメモリに記憶されているプログラムを実行することによりソフトウェア及びハードウェアが協働して実現される。
エッジ抽出部21は、図2に例示するように、カメラ10で撮影された第1画像G1内におけるエッジを抽出する。第1画像G1内に撮影目標S1(島)が含まれている場合には、抽出されたエッジに撮影目標S1(島)のエッジが含まれることになる。エッジは、画像内において隣接する画素の強度が急激に変化する部分であり、画素同士の強度の差分を取ることで抽出できる。例えば、図2に示すように、カメラ10が撮像した第1画像G1にエッジ抽出処理を実行して、エッジを表す画像G3を得る。画像G3は白色部分がエッジであり、黒色がエッジでない部分を示している。カメラ10で複数回撮影すれば、時系列に連続する複数の第1画像G1を得ることができる。複数の第1画像G1は、一定の時間間隔で撮像されたものでもよいし、ランダムな間隔で撮像されてもよい。図3は、第1画像G1、第1画像G1からエッジを抽出した画像G3、空領域P1、非空領域P2を示す説明図である。図3に示すように、第1画像G1には、気象状況で変化する空領域P1と、気象状況で変化が観測できない又は変化を観測しにくい非空領域P2(背景部分)とが含まれている。撮影時点が異なる複数の第1画像G1を得ることで、空領域P1と、非空領域P2とを区別可能となる。図3の下部左の画像は、白が空領域P1を示し、黒が非空領域P2を示している。図3の下部右の画像は、グレーが空領域P1を示し、その他のエッジは空領域P1以外のエッジを示している。なお、複数の第1画像G1は時系列に連続していなくてもよいが、本実施形態のように、複数の第1画像G1が時系列に連続していることが好ましい。
平均化処理部22は、図2~3に示す時系列に連続する複数の第1画像G1からエッジ抽出された複数の画像G3に対して平均化処理を実行する。平均化処理により、空領域P1と非空領域P2とを区別可能となる。具体的な一例として、1つの画像G3(1フレーム)毎に、エッジがある部分の画素に1ポイント値を加算し、エッジがない部分の画素にはポイント値を加算しない処理を行う。この処理を複数の画像G3に対して実行すれば、ポイント値が相対的に低い部分の画素が空領域P1であり、ポイント値が相対的に高い部分の画素が非空領域P2であると識別できる。
判定用データ生成部23は、判定用データを生成する。判定用データは、視界判定システム1に用いられるデータであり、第1抽出画像T1と、フィルタ24とを含む。
図4は、エッジ抽出された第1画像G1(抽出されたエッジを示す画像G3)から、撮影目標S1(島)のエッジを含む第1領域Ar1を抽出する処理に関する説明図である。第1抽出画像T1は、図4に示すように、撮影目標S1(島)の全体が写っているエッジ抽出された第1画像G1(抽出されたエッジを示す画像G3)から、撮影目標S1(島)のエッジを含む第1領域Ar1を抽出した画像である。第1抽出画像T1は、比較対象の基準となる画像であり、視界判定システム1のストレージ1aに記憶される。第1領域Ar1は、画像内において空である領域の輪郭の形状に基づいて抽出された領域であることが好ましい。図2の例では、撮影目標S1(島)の輪郭は、空である領域の輪郭の一部を構成している。空である領域の輪郭は気象状況によって遮蔽されやすくて変化しやすく、視界の良否の判定に有効である。第1領域Ar1の座標は、画像G3内の座標で表現できる。
図5は、第2画像G2、エッジ抽出された第2画像G2(エッジを示す画像G4)、フィルタ24を用いて、第2抽出画像T2を生成する処理に関する説明図である。フィルタ24は、図5に示すように、カメラ10が撮像した第2画像G2から第1領域Ar1に対応する第2領域Ar2(後述する)を抽出するために用いられるデータである。第2画像G2は、第1抽出画像T1と比較され、視界の良否を判定する対象となる画像であり、第1画像G1とは異なる時点にカメラ10で撮像された画像である。フィルタ24は、第1画像G1内における第1領域Ar1の座標、空領域P1および非空領域P2に基づいて生成される。一例として、フィルタ24は、撮影目標S1(島)のエッジ及び撮影目標S1(島)のエッジの周辺領域を含む第1領域Ar1内のエッジのみを抽出するようにすることが挙げられる。フィルタ24は、視界判定システム1のストレージ1aに記憶される。
[視界判定システム1]
図1に示すように、視界判定システム1は、エッジ抽出部11と、領域抽出部12と、取得部13と、判定部14と、を有する。これら各部(11~14)は、CPUなどのプロセッサ1b、メモリなどのストレージ1a、各種インターフェイス等を備えたコンピュータにおいてプロセッサ1bが予めストレージ1aに記憶されているプログラムを実行することによりソフトウェア及びハードウェアが協働して実現される。
エッジ抽出部11は、データ生成システム2のエッジ抽出部21と同じ機能を有する。エッジ抽出部11は、カメラ10で撮影された第2画像G2内におけるエッジを抽出し、エッジを表す画像G4を得る。第2画像G2内に撮影目標(島)が含まれている場合には、抽出されたエッジに撮影目標の島のエッジが含まれることになる。
領域抽出部12は、図5に示すように、エッジ抽出された第2画像G2(エッジを表す画像G4)から、第1領域Ar1に対応する第2領域Ar2を抽出する。第2領域Ar2は、エッジ抽出された第2画像G2(画像G4)の一部である。第2領域Ar2の画像G4に対する位置関係は、第1領域Ar1の画像G3に対する位置関係と同じである。領域抽出部12は、ストレージ1aに記憶されているフィルタ24を用いて、エッジ抽出された第2画像G2(画像G4)から第2領域Ar2を抽出する。図5に示すように、エッジ抽出された第2画像G2(画像G4)に対してフィルタ24を適用することで、第2領域Ar2を含む第2抽出画像T2を得る。視界が良好であれば、第2抽出画像T2には、撮影目標S1(島)のエッジが含まれる。一方、視界が良好でない場合には、第2抽出画像T2には、撮影目標S1(島)のエッジが含まれないか、含まれる撮影目標S1(島)のエッジの量が視界良好時に比べて少なくなる。
取得部13は、ストレージ1aに記憶されている第1抽出画像T1を取得する。ストレージ1aは、プロセッサ1bと同じコンピュータ内にあるメモリであるが、これに限定されない。例えば、プロセッサ1bとは異なるコンピュータにある外部記憶装置であってもよく、取得部13は、通信ネットワークを介して第1抽出画像T1を取得してもよい。
判定部14は、第1領域Ar1を含む第1抽出画像T1と、第2領域Ar2を含む第2抽出画像T2とに基づいて、視界の良否を判定する。第1実施形態では、判定部14は、明瞭度算出部14aを有し、判定結果として視界の明瞭度を算出可能に構成されている。明瞭度算出部14aは、第1抽出画像T1における第1領域Ar1の画素数に対する、第2抽出画像T2における第2領域Ar2の画素数の割合に基づいて、視界の明瞭度を算出する。具体的には、明瞭度算出部14aは、第2領域Ar2の抽出されたエッジの画素数/第1抽出画像T1におけるエッジの画素数(第1領域の画素数)、を視界の明瞭度として算出する。判定部14は、明瞭度が所定値(例えば、指標値では0.8、割合では80%が挙げられる)以上であれば、視界が良好と判定し、明瞭度が所定値未満であれば、視界が不良であると判定する。
報知部15は、判定部14が算出した明瞭度が、所定の明瞭度の閾値(例えば割合換算で30%等)よりも低い場合に、警告信号を出力可能に構成されている。これにより、算出された明瞭度が閾値よりも低い場合は、撮影目標S1が雲などで遮蔽されて視認できないことを意味するので、視界良好とは言えず、警告信号を出力して報知することに意義がある。なお、所定の明瞭度の閾値は、予め設定されていてもよいし、ユーザが設定してもよい。
判定部14は、地形の高度毎に視界の良否を判定してもよい。図6は、第2領域Ar2における撮影目標S1と既知の高度を示す図である。第1領域Ar1でも同じである。判定部14は、例えば、図2に示す撮影目標S1(島)の場合は、図6に示すように、第2領域Ar2における地形の高度が既知である。図6の例では、撮影目標S1の形状に合わせて、高度400m、200m、50mの3高度毎に撮影目標S1のエッジの存在を判定し、高度毎の視界の良否を判定する。表示部16は、高度毎の視界の良否の判定結果(視界不良領域を含む)を、地形の標高データに対応して表示する。
図7は、表示部16の表示態様の例を示す図である。表示部16は、図7に示すように、地図上の標高分布と、評価対象の地形の断面図と、抽出結果である第2抽出画像と、視界の良否の判定結果(視界不良領域を含む)とを合わせて表示可能である。地図ではスタート地点を「S」と表記し、目的地点を「G」と表記し、スタート地点から目的地点までの直線上の複数個所を数字(1~7)で表記している。地図上の数字(1~7)は、断面図における数字(1~7)に対応している。図7の上部は、晴天時で視界良好な例であり、視界不良領域が図示されていない。図7の下部は、曇天時で視界が一部の高度で不良な例であり、高度180m以上が視界不良領域であると表示している。
また、図1に示すように迂回ルート生成部17を設けてもよい。迂回ルート生成部17を設ける場合には、カメラを周囲360度撮影可能にしている。空である領域の輪郭の形状を撮影目標に設定し、撮影目標のエッジを含む第1領域を方位毎に設定している。撮影目標は、周囲の山と空の境界が多い。撮影目標を設定した方位毎に明瞭度を算出し、撮影目標である空領域の輪郭が抽出できない場合には、視界不良と判定し、撮影目標である空領域の輪郭が抽出できる場合には、視界良好と判定する。図8は、航空機のスタート地点から目的地点までの間に設置されたカメラ10の画像に基づき、迂回ルートを生成する例を示している。図8の下部は、魚眼カメラが撮影した画像を360にパノラマに展開した画像である。図8の上部は、地図を示し、カメラによる視界判定結果を丸、三角、バツの印で示している。カメラ設置地点において北西が最短ルートであるが、視界が不良であり最短ルートを採用できない(図8においてバツ印で示している)。判定部14は、カメラの画像に基づいて、北、東及び南の視界が良好と判定する。よって、迂回ルート生成部17は、カメラから得られる第2画像G2に基づく判定部14の判定結果に基づいて、移動体の迂回ルートを生成する。図8の例では、北を経由するルートR1を生成する。
また、判定部14は、図9に示すようにしてもよい。図9は、別の迂回ルートに関する説明図である。判定部14は、互いに異なる地点に設置された複数のカメラから得られる第2画像G2毎に周囲の視界の良否を判定する。迂回ルート生成部17は、各地点の第2画像G2に基づく判定部14の判定結果に基づいて、移動体の迂回ルートを生成する。複数の候補のルートが生成される場合には、最短距離の迂回ルートを生成するようにしてもよい。
[方法]
上記視界判定システム1及びデータ生成システム2が実行する、情報処理方法について図10及び図11を参照しつつ説明する。図10は、第1実施形態のデータ生成システム2が実行するデータ生成処理を示すフローチャートである。図11は、第1実施形態の視界判定システム1が実行する視界判定処理を示すフローチャートである。
データ生成処理を説明する。図10に示すステップST200において、カメラ10が、学習用画像としての第1画像G1を複数の時点で撮影する。ステップST201において、エッジ抽出部21が、複数の第1画像G1それぞれについてエッジ抽出を行う。ステップST202において、平均化処理部22が、エッジ抽出された画像に対して時系列で平均化処理を実行し、空領域を特定する。ステップ203において、空領域を特定した画像に基づいて、判定用データ生成部23は、撮影目標S1の島部分を含む第1領域Ar1を示す第1抽出画像T1と、撮像した画像から第1領域Ar1を抽出するためのフィルタ24とを生成する。
視界判定処理を説明する。図11に示すステップST100において、カメラ10が、判定対象としての第2画像G2を撮影する。第2画像G2は、第1画像G1とは異なる時点で撮影される。ステップST101において、エッジ抽出部11は、第2画像G2のエッジを抽出する。ステップST102において、領域抽出部12は、エッジ抽出された第2画像G2から第2抽出画像T2をフィルタ24を用いて抽出する。第2抽出画像T2は、撮影目標S1のエッジを含み得る第2領域Ar2を有する。ステップST103において、取得部13は、カメラ10で撮影された第1画像G1内において撮影目標S1のエッジを抽出した第1抽出画像T1を取得する。ステップST104において、判定部14は、第1抽出画像T1と第2抽出画像T2とに基づいて、視界の良否を判定する。具体的には、判定部14を構成する明瞭度算出部14aが、第1抽出画像T1における第1領域Ar1の画素数に対する、第2抽出画像T2における第2領域Ar2の画素数の割合に基づいて、視界の明瞭度を算出する。
なお、上記実施形態では、撮影目標は、島、山、空領域の輪郭などの自然物であるが、これに限定されない。例えば、地上に固定された建物、塔などの構造物であってもよい。
以上のように、第1実施形態のように、視界判定システム1は、カメラ10で撮影した画像に基づいて視界状況を判定するシステム1であって、カメラ10で撮影された第1画像G1内において撮影目標S1のエッジを抽出した第1抽出画像T1を取得する取得部13と、第1画像G1とは異なる時点にカメラ10で撮影された第2画像G2内において撮影目標S1のエッジを抽出した第2抽出画像T2と、第1抽出画像T1とに基づいて、視界の良否を判定する判定部14と、を備える、としてもよい。
この構成によれば、同じカメラ10で別の時点で撮影した第1画像G1及び第2画像G2から、撮影目標S1のエッジを抽出した第1抽出画像T1及び第2抽出画像T2を用いるので、視界の良否を判定可能となる。
第1実施形態のように、視界判定方法は、カメラ10で撮影された第1画像G1内において撮影目標S1のエッジを抽出した第1抽出画像T1を取得することと、第1画像G1とは異なる時点にカメラ10で撮影された第2画像G2内において撮影目標S1のエッジを抽出した第2抽出画像T2と、第1抽出画像T1とに基づいて、視界の良否を判定することと、を含む、としてもよい。
特に限定されないが、第1実施形態のシステムのように、第1抽出画像T1は、エッジ抽出された複数の第1画像G1(画像G3)に対して平均化処理することで生成されている、としてもよい。
複数の第1画像G1は、背景だけでなく、撮影目標S1の遮蔽体の経時変化を含んでおり、複数の第1画像G1を平均化処理することで経時変化を適切に反映された第1抽出画像T1を生成でき、現地にあった第1抽出画像T1を用いるので、判定精度を向上可能となる。
特に限定されないが、第1実施形態のシステム1のように、第1抽出画像T1は、エッジ抽出された第1画像G1の一部であり且つ撮影目標S1のエッジを含む第1領域Ar1を抽出して生成されており、視界判定システム1は、エッジ抽出された第2画像G2の一部であり且つ第1領域Ar1に対応する第2領域Ar2を抽出する領域抽出部12を更に備え、判定部14は、第1領域Ar1を含む第1抽出画像T1と、領域抽出部12によって抽出された第2領域Ar2を含む第2抽出画像T2とに基づいて、視界の良否を判定する、としてもよい。
このようにすれば、第1領域Ar1は、撮影目標S1のエッジを含み第1画像G1の一部であり、第2領域Ar2は撮影目標S1のエッジを含む可能性があり且つ画像の一部であるので、判定精度を向上可能となる。
特に限定されないが、第1実施形態のように、第1領域Ar1は、第1画像G1内において空である領域の輪郭の形状に基づいて、抽出された領域である、としてもよい。
この構成によれば、空における雲、空に隣接する地平線、山および島などの撮影目標の位置を特定して第1領域Ar1を抽出することが可能となる。これらの撮影目標が第2領域Ar2に含まれ、気象の影響を受けやすいので、視界の判定精度を向上可能となる。
特に限定されないが、第1実施形態のシステムのように、第1抽出画像T1における第1領域Ar1の画素数に対する、第2抽出画像T2における第2領域Ar2の画素数の割合に基づいて、視界の明瞭度を算出する明瞭度算出部14aを備える、としてもよい。
視界の良否を明瞭度で表現可能となり、有用である。
特に限定されないが、第1実施形態のシステムのように、明瞭度算出部14aが算出した明瞭度が、所定の明瞭度の閾値よりも低い場合に、警告信号を出力する報知部15を備える、としてもよい。
視界が不良となる状況になれば、システムから警告信号が出力されるので、人手による監視に比べて自動監視が実現でき、有用である。
特に限定されないが、第1実施形態のシステムのように、互いに異なる地点に設置された複数のカメラ10から得られる第2画像G2に基づく判定部14の判定結果に基づいて、移動体の迂回ルートを生成する、としてもよい。
視界の良否を考慮した、移動体の迂回ルートを提供可能となる。
特に限定されないが、第1実施形態のシステムのように、判定部14は、地形の高度毎に視界の良否を判定する、としてもよい。
この構成によれば、地形の高度毎に視界の良否が判定され、有用である。
特に限定されないが、第1実施形態のシステムのように、判定部14の判定結果に基づく視界不良領域を、地形の標高データに対応して表示する表示部16を備える、としてもよい。
この構成によれば、視界不良領域を、地形の標高データに対応して理解できるので、有用である。
特に限定されないが、第1実施形態のように、撮影目標は、自然物、または地上に固定された構造物を含む、としてもよい。
撮影目標は、カメラとの位置関係が不変であれば、どのようなものでも撮影目標にでき、視界判定の運用に有用である。
特に限定されないが、第1実施形態のように、視界判定システム1は、さらにカメラ10を含む、としてもよい。
本実施形態に係るプログラムは、上記方法を1又は複数のプロセッサに実行させるプログラムである。つまり、本実施形態に係るプログラムは、カメラで撮影された第1画像内において撮影目標のエッジを抽出した第1抽出画像を取得することと、前記第1画像とは異なる時点に前記カメラで撮影された第2画像内において前記撮影目標のエッジを抽出した第2抽出画像と、前記第1抽出画像とに基づいて、視界の良否を判定することと、を1又は複数のプロセッサに実行させる。また、本実施形態に係るコンピュータに読み取り可能な一時記録媒体は、上記プログラムを記憶している。
以上、本開示の実施形態について図面に基づいて説明したが、具体的な構成は、これらの実施形態に限定されるものでないと考えられるべきである。本開示の範囲は、上記した実施形態の説明だけではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。
例えば、特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現できる。特許請求の範囲、明細書、および図面中のフローに関して、便宜上「まず」、「次に」等を用いて説明したとしても、この順で実行することが必須であることを意味するものではない。
図1に示す各部(11~17、21~23)は、所定プログラムを1又はプロセッサで実行することで実現しているが、各部を専用メモリや専用回路で構成してもよい。
上記実施形態のシステムは、一つのコンピュータのプロセッサ1bに各部が実装されているが、各部を分散させて、複数のコンピュータやクラウドで実装してもよい。すなわち、上記方法を1又は複数のプロセッサで実行してもよい。
図1では、視界判定システム1とデータ生成システム2とを別々に実装しているが、これに限定されない。例えば、データ生成システム2を構成する各部を視界判定システム1に組み込んでもよい。
上記の各実施形態で採用している構造を他の任意の実施形態に採用することは可能である。図1では、説明の便宜上、各部(11~17)を実装しているが、これらの一部を任意に省略することが可能である。例えば、報知部15、表示部16、迂回ルート生成部17は任意で設けることができる。
各部の具体的な構成は、上述した実施形態のみに限定されるものではなく、本開示の趣旨を逸脱しない範囲で種々変形が可能である。
1 視界判定システム
12 領域抽出部
13 取得部
14 判定部
14a 明瞭度算出部
15 報知部
16 表示部
17 迂回ルート生成部
G1 第1画像
G2 第2画像
S1 撮影目標
T1 第1抽出画像
T2 第2抽出画像

Claims (13)

  1. 地上に固定されたカメラで撮影した画像に基づいて視界状況を判定するシステムであって、
    前記カメラで撮影された第1画像内において撮影目標のエッジを抽出した第1抽出画像を取得する取得部と、
    前記第1抽出画像におけるエッジの画素数に対する、前記第1画像とは異なる時点に前記カメラで撮影された第2画像内において前記撮影目標のエッジを抽出した第2抽出画像におけるエッジの画素数の割合に基づいて、前記第2画像が撮影された時点における視界の良否を判定する判定部と、
    を備え、
    前記第1抽出画像は、エッジ抽出された複数の前記第1画像に対して平均化処理することで生成されている、視界判定システム。
  2. 前記第1抽出画像は、エッジ抽出された複数の前記第1画像に対して平均化処理することで生成されている、請求項1に記載の視界判定システム。
  3. 前記第1抽出画像は、エッジ抽出された前記第1画像の一部であり且つ前記撮影目標のエッジを含む第1領域を抽出して生成されており、
    前記視界判定システムは、エッジ抽出された前記第2画像の一部であり且つ前記第1領域に対応する第2領域を抽出する領域抽出部を更に備え、
    前記判定部は、前記第1領域を含む前記第1抽出画像と、前記領域抽出部によって抽出された前記第2領域を含む前記第2抽出画像とに基づいて、視界の良否を判定する、請求項1または2に記載の視界判定システム。
  4. 前記第1領域は、前記第1画像内において空である領域における撮影目標の輪郭の形状に基づいて、抽出された領域である、請求項3に記載の視界判定システム。
  5. 前記第1抽出画像におけるエッジの画素数に対する、前記第1画像とは異なる時点に前記カメラで撮影された第2画像内において前記撮影目標のエッジを抽出した第2抽出画像におけるエッジの画素数の割合に基づいて算出された、前記第2画像が撮影された時点における視界の明瞭度が、所定の明瞭度の閾値よりも低い場合に、警告信号を出力する報知部を備える、請求項1に記載の視界判定システム。
  6. 前記第1領域の前記第1抽出画像に対する位置関係は、前記第2領域の前記第2抽出画像に対する位置関係と同一である、請求項3または4に記載の視界判定システム。
  7. 互いに異なる地点に設置された複数のカメラから得られる前記第2画像に基づく前記判定部の判定結果に基づいて、移動体の迂回ルートを生成する、請求項1から請求項6のいずれかに記載の視界判定システム。
  8. 前記判定部は、地形の高度毎に視界の良否を判定する、請求項1から請求項7のいずれかに記載の視界判定システム。
  9. 前記判定部の判定結果に基づく視界不良領域を、地形の標高データに対応して表示する表示部を備える、請求項1から請求項8のいずれかに記載の視界判定システム。
  10. 前記撮影目標は、自然物、または地上に固定された構造物を含む、請求項1から請求項9のいずれかに記載の視界判定システム。
  11. 前記視界判定システムは、さらに前記カメラを含む、請求項1から請求項10のいずれかに記載の視界判定システム。
  12. 地上に固定されたカメラで撮影された第1画像内において撮影目標のエッジを抽出した第1抽出画像を取得することと、
    前記第1抽出画像におけるエッジの画素数に対する、前記第1画像とは異なる時点に前記カメラで撮影された第2画像内において前記撮影目標のエッジを抽出した第2抽出画像におけるエッジの画素数の割合に基づいて、前記第2画像が撮影された時点における視界の良否を判定することと、
    を含み、
    前記第1抽出画像は、エッジ抽出された複数の前記第1画像に対して平均化処理することで生成されている、視界判定方法。
  13. 地上に固定されたカメラで撮影された第1画像内において撮影目標のエッジを抽出した第1抽出画像を取得することと、
    前記第1抽出画像におけるエッジの画素数に対する、前記第1画像とは異なる時点に前記カメラで撮影された第2画像内において前記撮影目標のエッジを抽出した第2抽出画像におけるエッジの画素数の割合に基づいて、前記第2画像が撮影された時点における視界の良否を判定することと、
    を1又は複数のプロセッサに実行させ、
    前記第1抽出画像は、エッジ抽出された複数の前記第1画像に対して平均化処理することで生成されている、プログラム。
JP2021183930A 2021-11-11 2021-11-11 視界判定システム、視界判定方法、及びプログラム Active JP7828158B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021183930A JP7828158B2 (ja) 2021-11-11 2021-11-11 視界判定システム、視界判定方法、及びプログラム
CN202210977418.2A CN116132763A (zh) 2021-11-11 2022-08-15 视野判定系统、视野判定方法以及存储介质
US17/889,372 US12067727B2 (en) 2021-11-11 2022-08-16 Visibility determination system, visibility determination method, and non-transitory computer-readable medium
EP22190528.4A EP4181087B1 (en) 2021-11-11 2022-08-16 Visibility determination system, visibility determination method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021183930A JP7828158B2 (ja) 2021-11-11 2021-11-11 視界判定システム、視界判定方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2023071272A JP2023071272A (ja) 2023-05-23
JP7828158B2 true JP7828158B2 (ja) 2026-03-11

Family

ID=83270810

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021183930A Active JP7828158B2 (ja) 2021-11-11 2021-11-11 視界判定システム、視界判定方法、及びプログラム

Country Status (4)

Country Link
US (1) US12067727B2 (ja)
EP (1) EP4181087B1 (ja)
JP (1) JP7828158B2 (ja)
CN (1) CN116132763A (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007265277A (ja) 2006-03-29 2007-10-11 Denso Corp 車両用視程測定装置、及び運転支援装置
JP2016053504A (ja) 2014-09-03 2016-04-14 パイオニア株式会社 ルート探索装置、制御方法、プログラム及び記憶媒体
JP2018503061A (ja) 2014-11-06 2018-02-01 ジェンテックス コーポレイション 視程検出のためのシステムおよび方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3444192B2 (ja) 1998-05-21 2003-09-08 日産自動車株式会社 撮像環境推定装置
JP4749142B2 (ja) 2005-01-14 2011-08-17 小糸工業株式会社 視認状況測定装置
US10748012B2 (en) 2018-02-13 2020-08-18 Ford Global Technologies, Llc Methods and apparatus to facilitate environmental visibility determination
US10803570B2 (en) 2018-05-10 2020-10-13 Eagle Technology, Llc Method and system for a measure of visibility from a single daytime image
KR102257078B1 (ko) * 2018-12-18 2021-05-27 허병도 좌표계를 이용한 안개 탐지 장치 및 그 방법
JP7295012B2 (ja) * 2019-12-24 2023-06-20 日立Astemo株式会社 車両制御システム、および、車両制御方法
US20230368357A1 (en) * 2020-10-06 2023-11-16 Bristol Industrial and Research Associates Limited Visibility measurement device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007265277A (ja) 2006-03-29 2007-10-11 Denso Corp 車両用視程測定装置、及び運転支援装置
JP2016053504A (ja) 2014-09-03 2016-04-14 パイオニア株式会社 ルート探索装置、制御方法、プログラム及び記憶媒体
JP2018503061A (ja) 2014-11-06 2018-02-01 ジェンテックス コーポレイション 視程検出のためのシステムおよび方法

Also Published As

Publication number Publication date
EP4181087B1 (en) 2026-01-21
JP2023071272A (ja) 2023-05-23
US20230143999A1 (en) 2023-05-11
US12067727B2 (en) 2024-08-20
CN116132763A (zh) 2023-05-16
EP4181087A1 (en) 2023-05-17

Similar Documents

Publication Publication Date Title
US8116530B2 (en) Map change detection device, map change detection method, and program
EP3223191B1 (en) Creation of a 3d city model from oblique imaging and lidar data
US7528938B2 (en) Geospatial image change detecting system and associated methods
US7630797B2 (en) Accuracy enhancing system for geospatial collection value of an image sensor aboard an airborne platform and associated methods
CN106504192B (zh) 一种输电线路走廊地质灾害勘探影像处理方法及系统
EP3648050B1 (en) Image compositing method, image compositing device, and recording medium
US7603208B2 (en) Geospatial image change detecting system with environmental enhancement and associated methods
JP6947927B2 (ja) 雲観測装置、雲観測システム、雲観測方法、及びプログラム
KR100904078B1 (ko) 항공 사진의 영상정합을 이용한 3차원 공간 정보 생성 시스템 및 방법
JP2018205264A (ja) 画像処理装置、画像処理方法および画像処理用プログラム
US11157735B2 (en) Cloud detection in aerial imagery
US8433457B2 (en) Environmental condition detecting system using geospatial images and associated methods
US9571801B2 (en) Photographing plan creation device and program and method for the same
JP7828158B2 (ja) 視界判定システム、視界判定方法、及びプログラム
EP4191507A1 (en) Structure investigation support device, structure investigation support method, and program
JP7830376B2 (ja) 地物変化検知装置と地物変化検知方法
KR102049433B1 (ko) Gps 좌표의 활주로 내 이물질 위치를 공항 그리드 맵에 표시하는 방법
JP2008276436A (ja) 画像処理による稜線・尾根線の判定方法とその装置
WO2023209413A1 (en) System and method for monitoring a right of way
JP5012703B2 (ja) 目標物検出システム
JP7511147B2 (ja) 撮像パラメータ出力方法、及び、撮像パラメータ出力装置
US20260099937A1 (en) Cloud measuring system and cloud height measuring method
JP4941421B2 (ja) 目標物検出システム
CN121304797A (zh) 基于数据融合的滑坡监测方法、装置、系统和电子设备
CN120411898A (zh) 一种环境隐患的空天地一体化监测方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20241031

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20251106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20251209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20260115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20260129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260227

R150 Certificate of patent or registration of utility model

Ref document number: 7828158

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150