JP7480838B2 - 道路劣化診断装置、道路劣化診断方法、及び、プログラム - Google Patents
道路劣化診断装置、道路劣化診断方法、及び、プログラム Download PDFInfo
- Publication number
- JP7480838B2 JP7480838B2 JP2022511769A JP2022511769A JP7480838B2 JP 7480838 B2 JP7480838 B2 JP 7480838B2 JP 2022511769 A JP2022511769 A JP 2022511769A JP 2022511769 A JP2022511769 A JP 2022511769A JP 7480838 B2 JP7480838 B2 JP 7480838B2
- Authority
- JP
- Japan
- Prior art keywords
- deterioration
- image
- road
- shadow
- road surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Description
第1の実施形態について説明する。
(撮像装置の構成)
撮像装置20は、図2に示すように、撮像部21、時刻取得部22、地点取得部23、撮影方向取得部24、記憶部25、及び、送信部26を含む。
(道路劣化診断装置の構成)
道路劣化診断装置30は、記憶部31、画像情報取得部32、道路劣化検出部33、影方向算出部34、誤検出判定部35、及び、表示制御部36を含む。画像情報取得部32、道路劣化検出部33、影方向算出部34、及び、誤検出判定部35は、本開示における、それぞれ、取得手段、検出手段、算出手段、及び、判定手段の一実施形態である。道路劣化診断装置30の構成要素の一部又は全部が、上述のように、クラウドコンピューティングシステムにより実現されてもよい。例えば、記憶部31、画像情報取得部32、道路劣化検出部33、影方向算出部34、及び、誤検出判定部35がクラウド上に配置され、表示制御部36が、道路管理部門に配置されてもよい。
(道路劣化診断処理)
道路劣化診断装置30における、道路劣化診断処理について説明する。
第2の実施形態について説明する。
(道路劣化診断装置の構成)
道路劣化診断装置300は、記憶部31、画像情報取得部32、道路劣化検出部33、影方向算出部34、誤検出判定部35、表示制御部36、及び、構造物認識部37を含む。構造物認識部37は、本開示における、構造物認識手段の一実施形態である。
(道路劣化診断処理)
図12は、第2の実施形態の道路劣化診断処理のフローチャートである。第2の実施形態の道路劣化診断処理における、画像情報取得から影方向推定までの処理(ステップS201~ステップS206)は、第1の実施形態の道路劣化診断処理における、ステップS101~ステップS106と同じである。
第3の実施形態について説明する。
(道路劣化診断装置の構成)
道路劣化診断装置300は、記憶部31、画像情報取得部32、道路劣化検出部33、影方向算出部34、誤検出判定部35、表示制御部36、構造物認識部37、及び、信頼度算出部38を含む。信頼度算出部38は、本開示における、信頼度算出手段の一実施形態である。
(信頼度算出処理)
図15は、第3の実施形態における、信頼度算出処理のフローチャートである。信頼度算出処理は、例えば、オペレータ等により、信頼度算出の実行指示が入力された場合に実行される。実行指示の入力では、例えば、信頼度のレベル数が指定される。レベル数が3と入力されれば、信頼度は、例えば、0.8及び0.5を境界として、大中小に設定されてもよい。この場合、レベル分けの境界となる値は、任意に設定されてもよい。
第4の実施形態について説明する。
上述した各実施形態において、各装置(撮像装置20、道路劣化診断装置30、300、310等)の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、コンピュータ500とプログラムとの任意の組み合わせにより実現されてもよい。
2 取得部
3 検出部
4 算出部
5 判定部
10、100、110 道路劣化診断システム
20 撮像装置
21 撮像部
22 時刻取得部
23 地点取得部
24 撮影方向取得部
25、31 記憶部
26 送信部
32 画像情報取得部
33 道路劣化検出部
34 影方向算出部
35 誤検出判定部
36 表示制御部
37 構造物認識部
38 信頼度算出部
40 車両
500 コンピュータ
501 CPU
502 ROM
503 RAM
504 プログラム
505 記憶装置
506 記録媒体
507 ドライブ装置
508 通信インタフェース
509 入力装置
510 出力装置
511 入出力インタフェース
512 バス
Claims (10)
- 道路を撮影した画像と、前記画像を撮影した日付、位置、時刻、及び、方向とを取得
する取得手段と、
取得した前記画像の路面上の劣化を検出し、当該路面上の劣化の方向を算出する検出手段と、
前記画像を撮影した日付、位置、時刻、及び、方向を用いて、前記画像の路面上で構造物の影ができ得る方向を算出する算出手段と、
算出された前記路面上の劣化の方向と、前記影ができ得る方向と、が形成する角度が所定の閾値以下の場合に、前記劣化が誤検出であると判定する判定手段と、
を含む道路劣化診断装置。 - 取得した前記画像から、前記構造物を認識する構造物認識手段を更に含み、
前記算出手段が、前記構造物認識手段により認識された前記構造物の影ができ得る方向
及び長さを算出し、
前記判定手段が、前記路面上の劣化の方向及び長さと、前記構造物の影ができ得る方向
及び長さとの差異が、所定の閾値以下の場合に、前記劣化が誤検出であると判定する
請求項1に記載の道路劣化診断装置。 - 前記路面上の劣化が線状である
請求項1または2に記載の道路劣化診断装置。 - 前記構造物は、電柱、標識、電線、街灯、及び、樹木のうちのいずれかである
請求項1乃至3のいずれか1項に記載の道路劣化診断装置。 - 前記検出手段は、前記画像において前記劣化が検出された複数の部分領域が並ぶ方向と、前記画像を撮影した方向と、を用いて、前記劣化の方向を算出する
請求項1乃至4のいずれか1項に記載の道路劣化診断装置。 - 検出された前記劣化について、前記角度に基づく信頼度、前記検出手段による前記劣化の検出信頼度、及び、前記差異に基づく信頼度、のうち少なくとも1つを用いて、当該劣化の信頼度を算出する信頼度算出手段を備え、
前記信頼度算出手段は、前記信頼度を出力する
請求項2に記載の道路劣化診断装置。 - 前記画像において検出された前記劣化を表示装置に表示する表示制御手段を更に含み、
前記表示制御手段は、前記路面上の劣化を示す線分および前記影ができ得る方向を示す線分を前記画像上に重畳して表示する
請求項1乃至6のいずれか1項に記載の道路劣化診断装置。 - 前記表示制御手段は、前記画像において誤検出であると判定された前記劣化を、誤検出であると判定されていない前記劣化と異なる態様で表示装置に表示する
請求項7に記載の道路劣化診断装置。 - コンピュータが、
路面を撮影した画像と、前記画像を撮影した日付、位置、時刻、及び、方向とを取得し、
取得した前記画像の路面上の劣化を検出し、当該路面上の劣化の方向を算出し、
前記画像を撮影した日付、位置、時刻、及び、方向に基づいて、前記画像の路面上で構造物の影ができ得る方向を算出し、
算出された前記路面上の劣化の方向と、前記影ができ得る方向と、が形成する角度が所定の閾値以下の場合に、前記劣化が誤検出であると判定する、
道路劣化診断方法。 - コンピュータに、
路面を撮影した画像と、前記画像を撮影した日付、位置、時刻、及び、方向とを取得し、
取得した前記画像の路面上の劣化を検出し、当該路面上の劣化の方向を算出し、
前記画像を撮影した日付、位置、時刻、及び、方向に基づいて、前記画像の路面上で構造物の影ができ得る方向を算出し、
算出された前記路面上の劣化の方向と、前記影ができ得る方向と、が形成する角度が所定の閾値以下の場合に、前記劣化が誤検出であると判定する、
処理を実行させるプログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020062852 | 2020-03-31 | ||
| JP2020062852 | 2020-03-31 | ||
| PCT/JP2021/010099 WO2021200038A1 (ja) | 2020-03-31 | 2021-03-12 | 道路劣化診断装置、道路劣化診断方法、及び、記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPWO2021200038A1 JPWO2021200038A1 (ja) | 2021-10-07 |
| JPWO2021200038A5 JPWO2021200038A5 (ja) | 2022-11-11 |
| JP7480838B2 true JP7480838B2 (ja) | 2024-05-10 |
Family
ID=77927228
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022511769A Active JP7480838B2 (ja) | 2020-03-31 | 2021-03-12 | 道路劣化診断装置、道路劣化診断方法、及び、プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US12240465B2 (ja) |
| JP (1) | JP7480838B2 (ja) |
| WO (1) | WO2021200038A1 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020158262A1 (ja) * | 2019-01-30 | 2020-08-06 | 日本電気株式会社 | 劣化診断装置、劣化診断システム、劣化診断方法、記録媒体 |
| US12541942B2 (en) * | 2021-12-22 | 2026-02-03 | Ikegps Group Limited | Utility pole pixel masks |
| WO2023228239A1 (ja) * | 2022-05-23 | 2023-11-30 | 三菱電機株式会社 | 道路状態検出装置および道路状態検出方法 |
| US20240200974A1 (en) * | 2022-12-16 | 2024-06-20 | Here Global B.V. | Method, apparatus, and computer program product for road surface anomaly detection |
| WO2024198068A1 (zh) * | 2023-03-30 | 2024-10-03 | 杜豫川 | 一种路面损伤匹配与连续跟踪方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018021375A (ja) | 2016-08-03 | 2018-02-08 | 株式会社東芝 | 舗装ひび割れ解析装置、舗装ひび割れ解析方法及び舗装ひび割れ解析プログラム |
| JP2018036769A (ja) | 2016-08-30 | 2018-03-08 | 株式会社トプコン | 画像処理装置、画像処理方法および画像処理用プログラム |
| JP2018087484A (ja) | 2015-07-21 | 2018-06-07 | 株式会社東芝 | ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム |
| WO2018131165A1 (ja) | 2017-01-16 | 2018-07-19 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
| JP2019144608A (ja) | 2018-02-15 | 2019-08-29 | 阪神高速技術株式会社 | 解析装置、ひび割れ検出処理装置、および解析プログラム |
| JP2019154017A (ja) | 2018-03-06 | 2019-09-12 | 東芝インフラシステムズ株式会社 | 撮影画像事前確認システム及び撮影画像事前確認方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160292518A1 (en) * | 2015-03-30 | 2016-10-06 | D-Vision C.V.S Ltd | Method and apparatus for monitoring changes in road surface condition |
| US11156911B2 (en) * | 2018-09-17 | 2021-10-26 | Fereydun Tabaian | Pipeline inspection devices and methods |
| CN110390664A (zh) * | 2018-11-30 | 2019-10-29 | 武汉滨湖电子有限责任公司 | 一种基于孔洞填充路面裂缝识别方法 |
| US11151713B2 (en) * | 2019-09-18 | 2021-10-19 | Wipro Limited | Method and system for detection of anomalies in surfaces |
-
2021
- 2021-03-12 JP JP2022511769A patent/JP7480838B2/ja active Active
- 2021-03-12 WO PCT/JP2021/010099 patent/WO2021200038A1/ja not_active Ceased
- 2021-03-12 US US17/910,610 patent/US12240465B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018087484A (ja) | 2015-07-21 | 2018-06-07 | 株式会社東芝 | ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム |
| JP2018021375A (ja) | 2016-08-03 | 2018-02-08 | 株式会社東芝 | 舗装ひび割れ解析装置、舗装ひび割れ解析方法及び舗装ひび割れ解析プログラム |
| JP2018036769A (ja) | 2016-08-30 | 2018-03-08 | 株式会社トプコン | 画像処理装置、画像処理方法および画像処理用プログラム |
| WO2018131165A1 (ja) | 2017-01-16 | 2018-07-19 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
| JP2019144608A (ja) | 2018-02-15 | 2019-08-29 | 阪神高速技術株式会社 | 解析装置、ひび割れ検出処理装置、および解析プログラム |
| JP2019154017A (ja) | 2018-03-06 | 2019-09-12 | 東芝インフラシステムズ株式会社 | 撮影画像事前確認システム及び撮影画像事前確認方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230135985A1 (en) | 2023-05-04 |
| US12240465B2 (en) | 2025-03-04 |
| WO2021200038A1 (ja) | 2021-10-07 |
| JPWO2021200038A1 (ja) | 2021-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7480838B2 (ja) | 道路劣化診断装置、道路劣化診断方法、及び、プログラム | |
| CN112950725B (zh) | 一种监控相机参数标定方法及装置 | |
| EP3581890B1 (en) | Method and device for positioning | |
| CN105512646B (zh) | 一种数据处理方法、装置及终端 | |
| WO2021239156A1 (zh) | 交通目标识别模型训练方法、交通目标定位方法、装置 | |
| US10872246B2 (en) | Vehicle lane detection system | |
| WO2021135879A1 (zh) | 监控车辆数据方法、装置、计算机设备及存储介质 | |
| CN112639822B (zh) | 一种数据处理方法及装置 | |
| US20230108779A1 (en) | Road deterioration diagnostic device, road deterioration diagnostic system, roaddeterioration diagnostic method, and recording medium | |
| CN115790568B (zh) | 基于语义信息的地图生成方法及相关设备 | |
| CN112990169B (zh) | 煤岩界面的识别方法、割煤轨迹的确定方法及装置 | |
| CN110660113A (zh) | 特征地图的建立方法、装置、采集设备和存储介质 | |
| CN114463654A (zh) | 状态检测方法、装置、设备及计算机存储介质 | |
| KR20190134303A (ko) | 영상 인식 장치 및 그 방법 | |
| KR20210044127A (ko) | 영상 분석 기반 가시거리 측정 및 경보 시스템 및 방법 | |
| CN114092857B (zh) | 基于闸道的集卡图像采集方法、系统、设备及存储介质 | |
| TWI682361B (zh) | 路面影像重建與載具定位之方法與系統 | |
| CN114264310B (zh) | 定位及导航方法、装置、电子设备、计算机存储介质 | |
| JP2011209896A (ja) | 障害物検知装置、障害物検知方法及び障害物検知プログラム | |
| CN112241717A (zh) | 前车检测方法、前车检测模型的训练获取方法及装置 | |
| JP2008269218A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| CN114779276A (zh) | 一种障碍物检测方法和装置 | |
| CN119693908A (zh) | 一种自动驾驶汽车避障控制方法、系统、汽车及存储介质 | |
| CN115100558B (zh) | 目标行为的识别方法、装置、电子设备和存储介质 | |
| JP2019050622A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220818 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220818 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230627 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230823 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240326 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240408 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7480838 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |