JP7558082B2 - 適正画像選択システム - Google Patents
適正画像選択システム Download PDFInfo
- Publication number
- JP7558082B2 JP7558082B2 JP2021027576A JP2021027576A JP7558082B2 JP 7558082 B2 JP7558082 B2 JP 7558082B2 JP 2021027576 A JP2021027576 A JP 2021027576A JP 2021027576 A JP2021027576 A JP 2021027576A JP 7558082 B2 JP7558082 B2 JP 7558082B2
- Authority
- JP
- Japan
- Prior art keywords
- point
- vector
- gaze point
- image
- gaze
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Description
(1)オクルージョンの少ない画像を選択したうえで対象物の3次元座標を求めることから、例えば道路縁のように陰になりやすい地物でも適切に結果を得ることができる。
(2)ユーザの判断が必要とされないため、ユーザの労力が軽減されるとともに、主観等による人為的なミスも回避され、効率的かつ高精度の結果を得ることができる。
本願発明は、「法線ベクトル」と「視線ベクトル」との角度差を利用することによってオクルージョンの少ない空中写真を選択することを技術的特徴のひとつとしている。そこで図1を参照しながら、法線ベクトルVNと視線ベクトルVSについて説明するとともに、空中写真を選択する手順について説明する。
次に、本願発明の適正画像選択システムについて、図を参照しながら詳しく説明する。図2は、本願発明の適正画像選択システム100の主な構成を示すブロック図である。この図に示すように本願発明の適正画像選択システム100は、法線ベクトル算出手段101と視線ベクトル算出手段102、角度算出手段103、画像選択手段104、画像記憶手段109、3D地形モデル記憶手段110を含んで構成され、さらに勾配算出手段105や領域抽出手段106、地物抽出手段107、注視点設定手段108、2D地図情報記憶手段111、撮影諸元記憶手段112などを含んで構成することもできる。
3D地形モデル記憶手段110は、対象とする範囲(以下、「対象領域」という。)の3次元地形モデル(DSMやDTMなど)を記憶する手段である。一方、2D地図情報記憶手段111は、対象領域の2次元地図情報を記憶するものである。ここで2次元地図情報とは、高さ情報を備えていない地形図といった2次元の地形情報であり、地物に関する情報(以下、「地物情報」という。)を具備する地図情報である。また地物情報とは、ポリゴンやポリラインなど地物の平面位置と形状に関する情報(以下、「地物図形」という。)と、地物に関する属性情報を含むものである。さらに地物の属性情報には道路や道路縁、歩道縁、中央分離帯の外縁(以下、単に「中央分離帯縁」という。)、建物や建物の外縁、公園、学校といった地物の種別(以下、「地物分類」という。)が含まれている。つまり、対象領域内に地物図形が平面配置され、この地物図形には地物に関する属性情報(地物分類を含む)が関連付けられているわけである。
画像記憶手段109は、対象領域を一部重複しながら撮影して得られた複数の画像を記憶する手段であり、例えば図6に示すように多重高ラップ撮影によって得られた多重撮影画像を記憶することができるものである。また撮影諸元記憶手段112は、画像記憶手段109に記憶されるそれぞれの画像を取得したときの撮影主点PMを記憶するものであり、そのほかの外部標定要素や内部標定要素も合わせて記憶することができる。なお撮影主点PMは、その撮影主点PMに係る画像に関連付けられて(紐づけられて)撮影諸元記憶手段112に記憶される。
注視点設定手段108は、注視点PVを設定する手段である。この注視点設定手段108は、ユーザが地形モデルや画像などを目視しながらポインティングデバイスやキーボードを操作することによって設定する仕様とすることもできるし、ユーザが操作することなく自動で設定する仕様とすることもできる。以下、注視点設定手段108が注視点PVを自動設定する処理について説明する。
法線ベクトル算出手段101は、法線ベクトルVNを算出する手段である。より詳しくは法線ベクトル算出手段101が、注視点設定手段108によって設定された注視点PVに係るメッシュを3D地形モデル記憶手段110から読み出し、そのメッシュの傾斜(姿勢)に基づいて法線ベクトルVNを算出する。なお法線ベクトル算出手段101は、注視点設定手段108が注視点PVを設定するタイミングで算出することもできるし、メッシュの格子点や地物ポリゴン等の3D構成点ごとにあらかじめ算出しておくこともできる。
視線ベクトル算出手段102は、視線ベクトルVSを算出する手段である。より詳しくは視線ベクトル算出手段102が、撮影諸元記憶手段112から撮影主点PMを読み出し、この撮影主点PMと注視点設定手段108によって設定された注視点PVに基づいて視線ベクトルVSを算出する。なお視線ベクトル算出手段102は、既述したとおり撮影主点PMの数だけ視線ベクトルVSを算出することができる。もちろん、全ての撮影主点PM(つまりすべての画像)に対して視線ベクトルVSを算出する仕様とすることもできるし、例えば画角内に注視点PVが含まれる画像のみを選出するなど、特定の条件に合致する画像を選出したうえで視線ベクトルVSを算出する仕様とすることもできる。
角度算出手段103は、法線ベクトルVNと視線ベクトルVSに基づいてベクトル挟角を算出する手段である。また角度算出手段103は、ベクトル挟角に代えて(あるいは加えて)法線ベクトルVNと視線ベクトルVSに基づく内積(以下、「ベクトル内積」という。)を算出することもできる。ただしベクトル内積を算出する場合、法線ベクトルVNと視線ベクトルVSのうちいずれか一方を逆向き(負の値を乗じる)としたうえで算出される。
画像選択手段104は、ベクトル挟角(ベクトル内積)に基づいて、実体視に適した画像(以下、「適正画像」という。)を画像記憶手段109から選択する手段である。ベクトル挟角に基づいて判断する場合は小さな値のベクトル挟角に係る(つまり視線ベクトルVSに係る)画像が選択され、ベクトル内積に基づいて判断する場合は大きな値のベクトル内積に係る(つまり視線ベクトルVSに係る)画像が選択される。このとき、ステレオペアとして上位2つの画像を適正画像として選択することもできるし、ベクトル挟角があらかじめ定めた閾値を下回る(ベクトル内積のときは上回る)すべての画像を適正画像として選択することもできるし、あるいは上位(例えば1~6位)に位置する画像を適正画像として選択することもできる。
続いて、図3を参照しながら本願発明の適正画像選択システム100を使用するときの主な処理の流れについて説明する。なお図3や後述する図4のフロー図では、中央の列に実施する行為を示し、左列にはその行為に必要なものを、右列にはその行為から生ずるものを示している。
101 法線ベクトル算出手段
102 視線ベクトル算出手段
103 角度算出手段
104 画像選択手段
105 勾配算出手段
106 領域抽出手段
107 地物抽出手段
108 注視点設定手段
109 画像記憶手段
110 3D地形モデル記憶手段
111 2D地図情報記憶手段
112 撮影諸元記憶手段
PM 撮影主点
PV 注視点
VN 法線ベクトル
VS 視線ベクトル
Claims (5)
- 対象領域のステレオ実体視に用いる適正画像を選択するシステムであって、
前記対象領域を一部重複しながら撮影して得られた複数の画像を記憶する画像記憶手段と、
前記対象領域を3次元で表した地形モデルを記憶する地形モデル記憶手段と、
前記対象領域内で設定される注視点における法線ベクトルを、前記地形モデルに基づいて算出する法線ベクトル算出手段と、
前記画像を取得したときの撮影主点と、前記注視点と、からなる視線ベクトルを算出する視線ベクトル算出手段と、
前記注視点における前記法線ベクトルと、前記画像に係る前記視線ベクトルと、の角度差を算出する角度算出手段と、
前記角度算出手段によって算出された前記角度差に基づいて、前記注視点に適した前記適正画像を選択する画像選択手段と、を備えた、
ことを特徴とする適正画像選択システム。 - 前記地形モデルは、座標が付与された複数の格子点と、複数の分割領域と、を具備する、
ことを特徴とする請求項1記載の適正画像選択システム。 - 前記分割領域の勾配を算出する勾配算出手段と、
前記勾配があらかじめ定めた閾値を上回る前記分割領域を抽出する領域抽出手段と、をさらに備え、
前記領域抽出手段で抽出された前記分割領域に係る3次元座標点が、前記注視点として設定される、
ことを特徴とする請求項2記載の適正画像選択システム。 - 前記対象領域の地物に対して地物分類が付与された2次元地図情報を記憶する2次元地図情報記憶手段と、
前記2次元地図情報に基づいて、特定の前記地物分類が付与された前記地物を抽出する地物抽出手段と、をさらに備え、
前記地物抽出手段で抽出された前記地物を含む前記分割領域に係る前記3次元座標点が、前記注視点として設定される、
ことを特徴とする請求項3記載の適正画像選択システム。 - 前記対象領域の地物に対して地物分類が付与された2次元地図情報を記憶する2次元地図情報記憶手段と、
前記2次元地図情報に基づいて、道路縁、歩道縁、又は中央分離帯縁を抽出する地物抽出手段と、をさらに備え、
前記地物抽出手段で抽出された前記道路縁、前記歩道縁、又は前記中央分離帯縁を含む前記分割領域に係る前記3次元座標点が、前記注視点として設定される、
ことを特徴とする請求項3記載の適正画像選択システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021027576A JP7558082B2 (ja) | 2021-02-24 | 2021-02-24 | 適正画像選択システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021027576A JP7558082B2 (ja) | 2021-02-24 | 2021-02-24 | 適正画像選択システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022129040A JP2022129040A (ja) | 2022-09-05 |
| JP7558082B2 true JP7558082B2 (ja) | 2024-09-30 |
Family
ID=83150170
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021027576A Active JP7558082B2 (ja) | 2021-02-24 | 2021-02-24 | 適正画像選択システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7558082B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7706037B1 (ja) * | 2024-01-11 | 2025-07-10 | ソニーセミコンダクタソリューションズ株式会社 | 点群処理装置および点群処理システム |
| JP2025109173A (ja) * | 2024-01-11 | 2025-07-24 | ソニーセミコンダクタソリューションズ株式会社 | 点群処理装置および点群処理システム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008203940A (ja) | 2007-02-16 | 2008-09-04 | Hitachi Ltd | 立体地図表示システム、立体地図の表示方法、及びそのプログラム |
| JP2014139538A (ja) | 2013-01-21 | 2014-07-31 | Mitsubishi Heavy Ind Ltd | 地形情報取得装置、地形情報取得システム、地形情報取得方法及びプログラム |
| JP2014185947A (ja) | 2013-03-25 | 2014-10-02 | Geo Technical Laboratory Co Ltd | 3次元復元のための画像撮影方法 |
| JP2017049883A (ja) | 2015-09-03 | 2017-03-09 | 国際航業株式会社 | ステレオペア画像表示装置 |
| US20190188902A1 (en) | 2017-12-19 | 2019-06-20 | Sony Interactive Entertainment Inc. | Determining pixel values using reference images |
-
2021
- 2021-02-24 JP JP2021027576A patent/JP7558082B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008203940A (ja) | 2007-02-16 | 2008-09-04 | Hitachi Ltd | 立体地図表示システム、立体地図の表示方法、及びそのプログラム |
| JP2014139538A (ja) | 2013-01-21 | 2014-07-31 | Mitsubishi Heavy Ind Ltd | 地形情報取得装置、地形情報取得システム、地形情報取得方法及びプログラム |
| JP2014185947A (ja) | 2013-03-25 | 2014-10-02 | Geo Technical Laboratory Co Ltd | 3次元復元のための画像撮影方法 |
| JP2017049883A (ja) | 2015-09-03 | 2017-03-09 | 国際航業株式会社 | ステレオペア画像表示装置 |
| US20190188902A1 (en) | 2017-12-19 | 2019-06-20 | Sony Interactive Entertainment Inc. | Determining pixel values using reference images |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022129040A (ja) | 2022-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7273927B2 (ja) | 画像ベースの測位方法及びシステム | |
| US12254573B2 (en) | Method and system for displaying and navigating an optimal multi-dimensional building model | |
| KR102007567B1 (ko) | 스테레오 드론 및 이를 이용하는 무기준점 토공량 산출 방법과 시스템 | |
| KR101933216B1 (ko) | 드론과 공간정보를 이용한 하천지형정보 생성 방법 | |
| CN108702444B (zh) | 一种图像处理方法、无人机及系统 | |
| EP3044726B1 (en) | Landmark identification from point cloud generated from geographic imagery data | |
| US20150172628A1 (en) | Altering Automatically-Generated Three-Dimensional Models Using Photogrammetry | |
| US20070269102A1 (en) | Method and System of Generating 3D Images with Airborne Oblique/Vertical Imagery, GPS/IMU Data, and LIDAR Elevation Data | |
| CN109255808B (zh) | 基于倾斜影像的建筑物纹理提取方法和装置 | |
| EP2910899A1 (en) | A method and a system for building a three-dimensional model from satellite images | |
| EP3413266B1 (en) | Image processing device, image processing method, and image processing program | |
| US20210264666A1 (en) | Method for obtaining photogrammetric data using a layered approach | |
| KR101771492B1 (ko) | 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템 | |
| CN112862966B (zh) | 地表三维模型构建方法、装置、设备及存储介质 | |
| US20210201522A1 (en) | System and method of selecting a complementary image from a plurality of images for 3d geometry extraction | |
| JP2014106118A (ja) | 数値表層モデル作成方法、及び数値表層モデル作成装置 | |
| JP7558082B2 (ja) | 適正画像選択システム | |
| US8884950B1 (en) | Pose data via user interaction | |
| JP6146731B2 (ja) | 座標補正装置、座標補正プログラム、及び座標補正方法 | |
| JP6606748B2 (ja) | ステレオペア画像表示装置 | |
| CN113610952A (zh) | 一种三维场景重建方法、装置、电子设备和存储介质 | |
| KR102475790B1 (ko) | 지도제작플랫폼장치 및 이를 이용한 지도제작방법 | |
| CN118644554B (zh) | 基于单目深度估计和地面特征点匹配的飞行器导航方法 | |
| CN112785686A (zh) | 一种基于大数据的林区地图构建方法及可读存储介质 | |
| JP6996047B2 (ja) | 2時期変化推定装置、及び2時期変化推定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240110 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240724 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240730 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240828 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240910 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240917 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7558082 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |