JP7102383B2 - 路面画像管理システム及びその路面画像管理方法 - Google Patents
路面画像管理システム及びその路面画像管理方法 Download PDFInfo
- Publication number
- JP7102383B2 JP7102383B2 JP2019193764A JP2019193764A JP7102383B2 JP 7102383 B2 JP7102383 B2 JP 7102383B2 JP 2019193764 A JP2019193764 A JP 2019193764A JP 2019193764 A JP2019193764 A JP 2019193764A JP 7102383 B2 JP7102383 B2 JP 7102383B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- road surface
- unit
- recording unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
図1は、実施形態に係る路面画像管理システムの概略構成を示すブロック図である。図2は、図1に示すシステムに用いられる路面画像収集車両と撮影された路面画像群を示す図である。この路面画像管理システムは、図2(a)に示すように、車両に搭載されたGPS及びビデオカメラによるGPS機能付き搭載カメラ(搭載対象は、車両に限らず、走行ロボットでもよい。また、GPS内蔵ビデオカメラでもよい。)で同一ルートの道路の路面を、図2(b)に示すように一定の距離または時間間隔で繰り返し撮影して収集された路面画像群とそれぞれの収集位置及び日時情報を入力する。そして、入力された路面画像群及び収集位置・日時情報を蓄積し、同一地点の路面画像を検索して紐付け処理を行い、路面画像の同一地点の紐付け結果を出力し、要求に応じて任意の地点の新旧路面画像を抽出して比較表示する。
図4は、図1に示すシステムの第1の実施例に係る機能ブロック構成を示すブロック図である。
手順2:NO.6とターゲット画像の類似度を算出する(図10参照)。
手順3:元画像から特徴量が大きい画像(例えば閾値以上)を抽出する。ここでは、NO.3,NO.9が抽出されたとする。
手順4:NO.3,NO.9について、手順2と同様に類似度を算出し(図10参照)、最も類似度の高い画像を紐付け対象とする。これにより、元画像NO.3の紐付け対象はターゲット画像NO.4に決定し、元画像NO.9の紐付け対象はターゲット画像NO.10に決定する。
手順5:元画像No.3、NO.6、NO.9の位置関係から元画像それぞれに対応するターゲット画像を決定する(図11参照)。
図14は、図1に示すシステムの第2の実施例に係る機能ブロック構成を示すブロック図である。図14において、図4と同一部分には同一符号を付して示してその説明は省略するものとし、ここでは異なる部分を説明する。図14に示すシステムは、表示制御部15A、表示部16Aにフィードバック機能を搭載する。表示部16Aのフィードバック機能とは、ユーザが画面操作により同一地点画像を選択登録した場合に、その情報を新旧の画像紐付け結果を記憶するための記憶部14に記録する機能である。この機能は、前述の画像紐付け処理がうまくいかなかった場合や、紐付け候補が複数抽出された場合に使用する。
Claims (9)
- 道路走行体に搭載され、撮影時の位置及び時刻情報を含む撮影情報を取得する機能を有するカメラで、同一のルートを所定の距離または時間間隔で繰り返し撮影して収集される路面画像とそれぞれの撮影情報を入力する入力部と、
前記入力部から入力される路面画像及び撮影情報を記録する第1記録部と、
前記第1記録部に記録された路面画像から同一地点の新旧画像を選択して紐付け処理を行う紐付け処理部と、
前記紐付け処理部の紐付け処理結果を記録する第2記録部と、
前記第2記録部に記録された紐付け処理結果に基づいて前記第1記録部から任意の地点の旧画像である元画像と当該元画像に紐付けされる新画像であるターゲット画像を抽出して出力する出力部とを具備し、
前記紐付け処理部は、前記元画像の特徴量を算出して特徴量の最も大きい画像を選択し、選択された特徴量の大きい画像と同程度の位置のターゲット画像を複数枚抽出し、前記選択された元画像と抽出された複数枚のターゲット画像との類似度を算出し、類似度が最も高いターゲット画像を前記選択された元画像に紐付ける路面画像管理システム。 - 道路走行体に搭載され、撮影時の位置及び時刻情報を含む撮影情報を取得する機能を有するカメラで、同一のルートを所定の距離または時間間隔で繰り返し撮影して収集される路面画像とそれぞれの撮影情報を入力する入力部と、
前記入力部から入力される路面画像及び撮影情報を記録する第1記録部と、
前記第1記録部に記録された路面画像から同一地点の新旧画像を選択して紐付け処理を行う紐付け処理部と、
前記紐付け処理部の紐付け処理結果を記録する第2記録部と、
前記第2記録部に記録された紐付け処理結果に基づいて前記第1記録部から任意の地点の旧画像である元画像と当該元画像に紐付けされる新画像であるターゲット画像を抽出して出力する出力部とを具備し、
前記紐付け処理部は、前記元画像の特徴量を算出して特徴量の大きい画像を複数枚選択し、選択された特徴量の大きい複数枚の元画像それぞれと同程度の位置の複数のターゲット画像を複数枚抽出し、前記選択された複数枚の元画像についてそれぞれ抽出された複数枚のターゲット画像との類似度を算出して紐付け候補画像を選定し、特徴量の大きい複数枚の元画像の画像間の距離と紐付け候補の複数枚のターゲット画像の画像間の距離とを比較し、位置関係が同じ画像を同一地点画像として紐付ける路面画像管理システム。 - 前記紐付け処理部は、入力画像に対して透視投影変換を行い、その変換結果の画像を縮小し、その縮小画像の中央部分を切り出して元画像の特徴部分とし、横方向エッジの画素数が最多の範囲の探索するためのテンプレートを選択し、前記テンプレートに基づく画素数>閾値が成立するとき、特徴部分の画素数を特徴量として出力する請求項1または2記載の路面画像管理システム。
- 前記紐付け処理部は、前記元画像の特徴部分と前記ターゲット画像の特徴部分とを比較して正規化相関によるマッチングを図って類似度を計算する請求項1または2記載の路面画像管理システム。
- 前記紐付け処理部は、前記撮影情報に含まれる撮影位置と日時の情報から走行方向判別処理を行い、各画像に対して走行方向情報を付与する請求項1または2記載の路面画像管理システム。
- 前記出力部は、前記第1記録部から任意の位置の元画像と紐付けされたターゲット画像を抽出し、抽出結果を表示画面に比較表示する請求項1または2記載の路面画像管理システム。
- さらに、前記表示画面の比較表示から、ユーザが画面操作により同一地点の画像を選択指示した場合に、その情報を新旧の画像紐付け結果を記憶する第2記憶部の記録内容に反映するフィードバック手段を備える請求項6記載の路面画像管理システム。
- 道路走行体に搭載され、撮影時の位置及び時刻情報を含む撮影情報を取得する機能を有するカメラで、同一のルートを所定の距離または時間間隔で繰り返し撮影して収集される路面画像とそれぞれの撮影情報を入力する入力部と、前記入力部から入力される路面画像及び撮影情報を記録する第1記録部と、前記第1記録部に記録された路面画像から同一地点の新旧画像を選択して紐付け処理を行う紐付け処理部と、前記紐付け処理部の紐付け処理結果を記録する第2記録部と、前記第2記録部に記録された紐付け処理結果に基づいて前記第1記録部から任意の地点の旧画像である元画像と当該元画像に紐付けされる新画像であるターゲット画像を抽出して出力する出力部とを具備する路面画像管理システムに用いられ、
前記元画像の特徴量を算出して特徴量の最も大きい画像を選択し、
選択された特徴量の大きい画像と同程度の位置のターゲット画像を複数枚抽出し、
前記選択された元画像と抽出された複数枚のターゲット画像との類似度を算出し、類似度が最も高いターゲット画像を前記選択された元画像に紐付ける
路面画像管理システムの路面画像管理方法。 - 道路走行体に搭載され、撮影時の位置及び時刻情報を含む撮影情報を取得する機能を有するカメラで、同一のルートを所定の距離または時間間隔で繰り返し撮影して収集される路面画像とそれぞれの撮影情報を入力する入力部と、前記入力部から入力される路面画像及び撮影情報を記録する第1記録部と、前記第1記録部に記録された路面画像から同一地点の新旧画像を選択して紐付け処理を行う紐付け処理部と、前記紐付け処理部の紐付け処理結果を記録する第2記録部と、前記第2記録部に記録された紐付け処理結果に基づいて前記第1記録部から任意の地点の旧画像である元画像と当該元画像に紐付けされる新画像であるターゲット画像を抽出して出力する出力部とを具備する路面画像管理システムに用いられ、
前記元画像の特徴量を算出して特徴量の大きい画像を複数枚選択し、
選択された特徴量の大きい複数枚の元画像それぞれと同程度の位置の複数のターゲット画像を抽出し、
前記選択された複数枚の元画像についてそれぞれ抽出された複数枚のターゲット画像との類似度を算出して紐付け候補画像を選定し、
特徴量の大きい複数枚の元画像の画像間の距離と紐付け候補の複数枚のターゲット画像の画像間の距離とを比較し、
位置関係が同じ画像を同一地点画像として紐付ける
路面画像管理システムの路面画像管理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019193764A JP7102383B2 (ja) | 2019-10-24 | 2019-10-24 | 路面画像管理システム及びその路面画像管理方法 |
| US17/078,798 US11256930B2 (en) | 2019-10-24 | 2020-10-23 | Road surface management system and road surface management method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019193764A JP7102383B2 (ja) | 2019-10-24 | 2019-10-24 | 路面画像管理システム及びその路面画像管理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021068240A JP2021068240A (ja) | 2021-04-30 |
| JP7102383B2 true JP7102383B2 (ja) | 2022-07-19 |
Family
ID=75587101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019193764A Active JP7102383B2 (ja) | 2019-10-24 | 2019-10-24 | 路面画像管理システム及びその路面画像管理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11256930B2 (ja) |
| JP (1) | JP7102383B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7102383B2 (ja) * | 2019-10-24 | 2022-07-19 | 株式会社東芝 | 路面画像管理システム及びその路面画像管理方法 |
| CN115690469B (zh) | 2021-07-30 | 2026-02-03 | 北京原创世代科技有限公司 | 一种双目图像匹配方法、装置、设备和存储介质 |
| CN119600429B (zh) * | 2024-07-22 | 2025-10-17 | 南京大学 | 一种基于双路立体视觉的路面状况快速检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009251667A (ja) | 2008-04-01 | 2009-10-29 | Toyota Motor Corp | 画像検索装置 |
| JP2011215052A (ja) | 2010-03-31 | 2011-10-27 | Aisin Aw Co Ltd | 風景画像認識を用いた自車位置検出システム |
| WO2017014288A1 (ja) | 2015-07-21 | 2017-01-26 | 株式会社東芝 | ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4624594B2 (ja) * | 2000-06-28 | 2011-02-02 | パナソニック株式会社 | 物体認識方法および物体認識装置 |
| US8046330B2 (en) * | 2003-11-11 | 2011-10-25 | Fujifilm Corporation | Image accumulation device and image accumulation method |
| JP4321821B2 (ja) * | 2005-01-28 | 2009-08-26 | アイシン・エィ・ダブリュ株式会社 | 画像認識装置及び画像認識方法 |
| JP4773794B2 (ja) | 2005-10-19 | 2011-09-14 | 株式会社岩根研究所 | 新旧映像座標統合装置 |
| JP4870546B2 (ja) | 2006-12-27 | 2012-02-08 | 株式会社岩根研究所 | レイヤー生成・選択機能を備えたcvタグ映像表示装置 |
| JP4569837B2 (ja) * | 2007-03-30 | 2010-10-27 | アイシン・エィ・ダブリュ株式会社 | 地物情報収集装置及び地物情報収集方法 |
| JP4568845B2 (ja) | 2007-04-26 | 2010-10-27 | 三菱電機株式会社 | 変化領域認識装置 |
| US8379989B2 (en) | 2008-04-01 | 2013-02-19 | Toyota Jidosha Kabushiki Kaisha | Image search apparatus and image processing apparatus |
| JP5505723B2 (ja) * | 2010-03-31 | 2014-05-28 | アイシン・エィ・ダブリュ株式会社 | 画像処理システム及び位置測位システム |
| JP5057184B2 (ja) * | 2010-03-31 | 2012-10-24 | アイシン・エィ・ダブリュ株式会社 | 画像処理システム及び車両制御システム |
| US8791996B2 (en) * | 2010-03-31 | 2014-07-29 | Aisin Aw Co., Ltd. | Image processing system and position measurement system |
| JP5062498B2 (ja) * | 2010-03-31 | 2012-10-31 | アイシン・エィ・ダブリュ株式会社 | 風景マッチング用参照データ生成システム及び位置測位システム |
| US9581431B1 (en) * | 2014-03-18 | 2017-02-28 | Jeffrey M. Sieracki | Method and system for parallactically synced acquisition of images about common target |
| JP6322126B2 (ja) | 2014-12-02 | 2018-05-09 | 株式会社日立製作所 | 変化検出装置、変化検出方法、および、変化検出プログラム |
| JP6203208B2 (ja) * | 2015-02-18 | 2017-09-27 | 株式会社東芝 | 道路構造物管理システム、及び道路構造物管理方法 |
| JP6444835B2 (ja) * | 2015-09-07 | 2018-12-26 | 株式会社東芝 | 画像処理装置、画像処理プログラムおよび画像処理システム |
| US11450026B2 (en) * | 2017-12-27 | 2022-09-20 | Sony Corporation | Information processing apparatus, information processing method, and mobile object |
| JP7102383B2 (ja) * | 2019-10-24 | 2022-07-19 | 株式会社東芝 | 路面画像管理システム及びその路面画像管理方法 |
-
2019
- 2019-10-24 JP JP2019193764A patent/JP7102383B2/ja active Active
-
2020
- 2020-10-23 US US17/078,798 patent/US11256930B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009251667A (ja) | 2008-04-01 | 2009-10-29 | Toyota Motor Corp | 画像検索装置 |
| JP2011215052A (ja) | 2010-03-31 | 2011-10-27 | Aisin Aw Co Ltd | 風景画像認識を用いた自車位置検出システム |
| WO2017014288A1 (ja) | 2015-07-21 | 2017-01-26 | 株式会社東芝 | ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021068240A (ja) | 2021-04-30 |
| US20210124958A1 (en) | 2021-04-29 |
| US11256930B2 (en) | 2022-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4380838B2 (ja) | ビデオ画像の道路標識自動認識方法及び道路標識自動認識装置並びに道路標識自動認識プログラム | |
| CN111860352B (zh) | 一种多镜头车辆轨迹全跟踪系统及方法 | |
| JP7456536B2 (ja) | 移動体追跡システム、移動体追跡方法及びプログラム | |
| JP6675770B2 (ja) | 地図更新方法および車載端末 | |
| US7917286B2 (en) | Database assisted OCR for street scenes and other images | |
| CN115205559B (zh) | 一种跨域车辆重识别及连续轨迹构建方法 | |
| JP7240573B2 (ja) | 施工支援システムおよび施工支援装置 | |
| KR102200299B1 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
| JP4517003B2 (ja) | 道路標識自動認識システム | |
| JP7102383B2 (ja) | 路面画像管理システム及びその路面画像管理方法 | |
| KR100971778B1 (ko) | 그래프 구조를 이용하여 파노라마 이미지에 대한 이미지 매칭을 수행하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 | |
| CN110796074B (zh) | 一种基于时空数据融合的行人再识别方法 | |
| WO2015098442A1 (ja) | 映像検索システム及び映像検索方法 | |
| JP5300585B2 (ja) | 情報処理装置、情報処理方法 | |
| KR101678004B1 (ko) | 노드-링크 기반 카메라 네트워크 통합 감시 시스템 및 감시 방법 | |
| JP2022042146A (ja) | データ処理装置、データ処理方法およびデータ処理用プログラム | |
| CN113627497B (zh) | 一种基于时空约束的跨摄像头行人轨迹匹配方法 | |
| JP7001149B2 (ja) | データ提供システムおよびデータ収集システム | |
| JP6916975B2 (ja) | 標識位置特定システム及びプログラム | |
| KR102189926B1 (ko) | 관심 영역 변화를 검출하는 방법 및 시스템 | |
| CN116740753A (zh) | 一种基于改进YOLOv5和DeepSORT的目标检测及追踪的方法及系统 | |
| JP6503079B2 (ja) | 特定人物検知システム、特定人物検知方法および検知装置 | |
| Wong et al. | Vision-based vehicle localization using a visual street map with embedded SURF scale | |
| CN120071207B (zh) | 一种基于轨迹匹配的跨境重识别方法及装置 | |
| US11216969B2 (en) | System, method, and computer-readable medium for managing position of target |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210201 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211020 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220607 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220706 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7102383 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |