JP2019517688A - 二枚の表示画像間の移行を割り出すための方法及び装置、並びに、車両 - Google Patents
二枚の表示画像間の移行を割り出すための方法及び装置、並びに、車両 Download PDFInfo
- Publication number
- JP2019517688A JP2019517688A JP2018555737A JP2018555737A JP2019517688A JP 2019517688 A JP2019517688 A JP 2019517688A JP 2018555737 A JP2018555737 A JP 2018555737A JP 2018555737 A JP2018555737 A JP 2018555737A JP 2019517688 A JP2019517688 A JP 2019517688A
- Authority
- JP
- Japan
- Prior art keywords
- depiction
- interpolated
- interpolation
- image
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—Two-dimensional [2D] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—Three-dimensional [3D] image rendering
- G06T15/10—Geometric effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/44—Morphing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
2 三次元のモデル空間
21 第一描写
22 第二描写
31 第一表示画像
32 第二表示画像
33 補間される表示画像
4 表示手段
5 画像処理装置
51 第一画像作成手段
52 第二画像作成手段
53 補間手段
54 移行画像作成手段
K1 第一カメラ描写
K2 第二カメラ描写
Kw 補間されるカメラ描写
t1 第一テクスチャー座標
t2 第二テクスチャー座標
tw 補間されるテクスチャー座標
u1 第一元画像座標
u2 第二元画像座標
uw 補間される元画像座標
P1 第一投影描写
P2 第二投影描写
Pw 補間される投影描写
V1 第一転換描写
V2 第二転換描写
Vw 補間される転換描写
w 補間パラメータ
x1 第一グリッド点
x2 第二グリッド点
xw 補間されるグリッド点
y1 第一表示画像座標
y2 第二表示画像座標
yw 補間される表示画像座標
Claims (15)
- 以下のステップを有することを特徴とする二枚の表示画像(31, 32)間の移行を割り出すための方法:
二次元の元画像(1)を、第一描写ファンクションを用いて、三次元のモデル空間(2)内の第一描写(21)上に描写するとともに、該第一描写(21)を第一表示画像(31)上に描写するステップ(S1);
二次元の元画像(1)を、第二描写ファンクションを用いて、三次元のモデル空間(2)内の第二描写(22)上に描写するとともに、該第一描写(22)を第一表示画像(32)上に描写するステップ(S2);
該元画像(1)を、補間する描写ファンクションによって、モデル空間(2)内の補間される描写(23)上に描写するステップ(S3)、但し、該補間される描写(23)は、補間パラメータ(w)に依存した第一描写(21)と第二描写(22)の補間よって定められる;並びに、
補間する描写ファンクションによって補間される描写(23)上に描写された元画像(1)を、補間パラメータ(w)を変化させることによって、第一表示画像(31)から第二表示画像(32)に移行する補間される表示画像(33)上に描写するステップ(S4)。 - 該補間する描写ファンクションが、補間パラメータ(w)に依存した第一描写ファンクションと第二描写ファンクションの補間によって定められることを特徴とする請求項1に記載の方法。
- 三次元のモデル空間(2)が、グリッドを包含する;
該第一描写(21)が、グリッドのグリッド点の第一集合(x1)を有するが、該第一描写ファンクションは、グリッド点の第一集合のグリッド点の第一テクスチャー座標(t1)によって定められる;並びに、
該第二描写(21)が、グリッドのグリッド点の第二集合(x2)を有するが、該第二描写ファンクションは、グリッド点の第二集合(x2)のグリッド点の第二テクスチャー座標(t2)によって定められる;
ことを特徴とする請求項1或いは2に記載の方法。 - グリッド点の該第一集合の各々のグリッド点(x1)が、グリッド点の第二集合の一つのグリッド点(x2)に帰属されている;
補間される描写(23)が、グリッド点の第一集合の各々のグリッド点(x1)用に、グリッド点の第二集合の帰属されているグリッド点(x2)と補間することによって定められ;並びに、
補間する描写ファンクションが、グリッド点の第一集合の各々のグリッド点(x1)用に、対応する第一テクスチャー座標(t1)とグリッド点の第二集合の帰属されているグリッド点(x2)の第二テクスチャー座標(t2)と共に補間されることによって定められる;
ことを特徴とする請求項3に記載の方法。 - 該グリッド点の第二集合の各々のグリッド点(x2)のグリッド点の第一集合の各々のグリッド点(x1)への帰属が、最近傍探索によって実施されることを特徴とする請求項4に記載の方法。
- 補間される描写ファンクションによって補間される描写(23)に描写された元画像の補間される表示画像への描写が、以下のステップを包含していることを特徴とする先行請求項のうち一項に記載の方法:
- 第一描写(21)、乃至、第二描写(22)上に投影された元画像(1)が、第一表示画像(21)、乃至、第二表示画像(22)上に描写される第一カメラ描写(K1)と第二カメラ描写(K2)を割り出すステップ;並びに、
補間する描写ファンクションによって補間される描写(23)上に描写された元画像(1)を、補間される表示画像(23)上に描写する補間するカメラ描写(Kw)を、補間パラメータ(w)に依存して割り出すステップ。
該補間するカメラ描写(Kw)の割り出しが、第一カメラ描写(K1)と第二カメラ描写(K2)の補間も包含していることを特徴とする請求項6に記載の方法。 - 該第一カメラ描写(K1)と第二カメラ描写(K2)の割り出しが、第一乃至第二転換描写(V1, V2)と第一乃至第二投影描写(P1, P2)とのつなぎ合わせを包含している;
該第一乃至第二転換描写(V1, V2)が、転換された第一乃至第二描写上に第一乃至第二描写(21, 22)を描写する;並びに、
該第一乃至第二投影描写(P1, P2)が、転換された第一乃至第二描写を、第一乃至第二表示画像(31, 32)上に投影する;
ことを特徴とする請求項6に記載の方法。 - 該補間するカメラ描写の割り出し(Kw)が、補間される転換描写(Vw)と補間される投影描写(Pw)とのつなぎ合わせを包含している;
該補間される転換描写(Vw)が、第一転換描写(V1)と第二転換描写(V2)との、補間パラメータ(w)に依存した補間によって割り出される;並びに、
該補間される投影描写(Pw)が、第一投影描写(P1)と第二投影描写(P2)との補間パラメータ(w)に依存した補間によって割り出される;
ことを特徴とする請求項8に記載の方法。 - 該補間される描写(33)の割り出し、及び/或いは、補間する描写ファンクションの割り出しが、線形補間、或いは、多項補間によって実施されることを特徴とする先行請求項のうち一項に記載の方法。
- 以下を装備することを特徴とする二枚の表示画像(31, 32)間の移行を割り出すための画像処理装置(5):
該二次元の元画像(1)を、第一描写ファンクションによって、三次元のモデル空間(2)内の第一描写(21)上に、描写し、且つ、該第一描写(21)を第一表示画像(3)上に描写する第一画像作成手段(51);
該二次元の元画像(1)を、第二描写ファンクションによって、三次元のモデル空間(2)内の第二描写(22)上に、描写し、且つ、該第二描写(22)を第二表示画像(4)上に描写する第二画像作成手段(52);
該元画像(1)を、補間する描写ファンクションによって、モデル空間(2)内の補間される描写(23)上に描写し、該補間される描写(23)を、補間パラメータ(w)に依存した第一描写(21)と第二描写(22)の補間よって割り出す補間手段(53);並びに、
該補間する描写ファンクションによって補間される描写(23)上に描写された元画像(1)を、補間パラメータ(w)を変化させることによって、第一表示画像(31)から第二表示画像(32)に移行する、補間される表示画像(33)上に描写する移行画像作成手段(54)。 - 補間される表示画像(33)を表示することができるように構成された画像表示手段(4)を有していることを特徴とする請求項11に記載の画像処理装置(5)。
- 補間手段(53)が、該補間する描写ファンクションを、補間パラメータ(w)に依存した第一描写ファンクションと第二描写ファンクションの補間によって割り出すことを特徴とする請求項11或いは12の何れか一項に記載の画像処理装置(5)。
- 該補間手段(53)が、補間される描写(23)、及び/或いは、補間する描写ファンクションを線形補間、或いは、多項補間によって割り出すことを特徴とする請求項11から13の何れか一項に記載の画像処理装置(5)。
- 元画像(1)を生成する様に構成されたカメラ手段(61);
作成した元画像(1)によって、二枚の表示画像間の移行(31, 32)を割り出すための請求項11から14の何れか一項に記載の画像処理装置(5);
を備えたことを特徴とする車両(6)。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102016209662.1A DE102016209662A1 (de) | 2016-06-02 | 2016-06-02 | Verfahren und Vorrichtung zum Bestimmen eines Übergangs zwischen zwei Anzeigebildern, und Fahrzeug |
| DE102016209662.1 | 2016-06-02 | ||
| PCT/DE2017/200046 WO2017207001A1 (de) | 2016-06-02 | 2017-05-30 | Verfahren und vorrichtung zum bestimmen eines übergangs zwischen zwei anzeigebildern, und fahrzeug |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019517688A true JP2019517688A (ja) | 2019-06-24 |
| JP6967013B2 JP6967013B2 (ja) | 2021-11-17 |
Family
ID=59683359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018555737A Active JP6967013B2 (ja) | 2016-06-02 | 2017-05-30 | 二枚の表示画像間の移行を割り出すための方法及び装置、並びに、車両 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10825135B2 (ja) |
| EP (1) | EP3465608B1 (ja) |
| JP (1) | JP6967013B2 (ja) |
| DE (2) | DE102016209662A1 (ja) |
| WO (1) | WO2017207001A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102020213473A1 (de) | 2020-10-27 | 2022-04-28 | Continental Automotive Gmbh | Kamerasystem sowie Verfahren zur Anzeige von Widgets für ein Kamerasystem |
| CN113870350B (zh) * | 2021-09-27 | 2025-05-23 | 深圳市优必选科技股份有限公司 | 图像样本标注方法、装置、终端设备和图像标注系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011061511A (ja) * | 2009-09-10 | 2011-03-24 | Dainippon Printing Co Ltd | 魚眼監視システム |
| JP2012089947A (ja) * | 2010-10-15 | 2012-05-10 | Sharp Corp | 画像縮小装置 |
| JP2014165866A (ja) * | 2013-02-27 | 2014-09-08 | Canon Inc | 画像処理装置及びその制御方法、プログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001076177A (ja) * | 1999-09-06 | 2001-03-23 | Fujitsu Ltd | ポリゴンリダクション処理を用いたモーフィング画像処理装置および方法 |
| US8224122B2 (en) * | 2006-12-15 | 2012-07-17 | Microsoft Corporation | Dynamic viewing of wide angle images |
| EP2285109B1 (en) * | 2008-05-29 | 2018-11-28 | Fujitsu Limited | Vehicle image processor, and vehicle image processing system |
| US8994719B1 (en) * | 2011-04-20 | 2015-03-31 | Google Inc. | Matching views between a two-dimensional geographical image and a three-dimensional geographical image |
| DE102013209159B4 (de) | 2013-05-16 | 2016-02-25 | Continental Automotive Gmbh | Kamera für ein Surroundview-System |
-
2016
- 2016-06-02 DE DE102016209662.1A patent/DE102016209662A1/de not_active Withdrawn
-
2017
- 2017-05-30 JP JP2018555737A patent/JP6967013B2/ja active Active
- 2017-05-30 DE DE112017001566.9T patent/DE112017001566A5/de active Pending
- 2017-05-30 EP EP17755056.3A patent/EP3465608B1/de active Active
- 2017-05-30 WO PCT/DE2017/200046 patent/WO2017207001A1/de not_active Ceased
- 2017-05-30 US US16/096,348 patent/US10825135B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011061511A (ja) * | 2009-09-10 | 2011-03-24 | Dainippon Printing Co Ltd | 魚眼監視システム |
| JP2012089947A (ja) * | 2010-10-15 | 2012-05-10 | Sharp Corp | 画像縮小装置 |
| JP2014165866A (ja) * | 2013-02-27 | 2014-09-08 | Canon Inc | 画像処理装置及びその制御方法、プログラム |
Non-Patent Citations (1)
| Title |
|---|
| 外村 元伸: "各種射影方式の比較と相互変換方法 クルマに搭載され始めた魚眼レンズの研究", DESIGN WAVE MAGAZINE 第13巻 第9号, vol. 2008 September, JPN6021008627, 1 September 2008 (2008-09-01), JP, pages 111 - 125, ISSN: 0004463140 * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3465608B1 (de) | 2024-03-20 |
| DE102016209662A1 (de) | 2017-12-07 |
| JP6967013B2 (ja) | 2021-11-17 |
| DE112017001566A5 (de) | 2018-12-06 |
| US10825135B2 (en) | 2020-11-03 |
| US20190156456A1 (en) | 2019-05-23 |
| EP3465608A1 (de) | 2019-04-10 |
| WO2017207001A1 (de) | 2017-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200366838A1 (en) | Panoramic image generation method and device | |
| TWI524306B (zh) | 圖像轉換和多視圖輸出系統及方法 | |
| JP5762142B2 (ja) | 撮像装置、画像処理装置およびその方法 | |
| CN103345736B (zh) | 一种虚拟视点绘制方法 | |
| JP2011060216A (ja) | 画像処理装置および画像処理方法 | |
| CN101821769B (zh) | 图像生成方法、装置 | |
| JP6276719B2 (ja) | 画像生成装置、座標変換テーブル作成装置および作成方法 | |
| JP5473173B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| CN104809719A (zh) | 基于单应性矩阵分割的虚拟视点合成的方法 | |
| CN107077719A (zh) | 数码照片中基于深度图的透视校正 | |
| CN103080882A (zh) | 信息处理设备、信息处理方法和程序 | |
| JP5927541B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2009075646A (ja) | 映像表示システム及び該システムのパラメータ生成方法 | |
| JP2016015037A (ja) | 情報処理装置及びその制御方法、並びに、ビデオカメラ | |
| KR102917059B1 (ko) | 삼각형 기반의 선택적 워핑을 통한 가상 시점 영상 합성 방법 및 장치 | |
| JP2010152529A (ja) | 頂点テクスチャマッピング装置及びプログラム | |
| JP6967013B2 (ja) | 二枚の表示画像間の移行を割り出すための方法及び装置、並びに、車両 | |
| JP6487671B2 (ja) | 画像処理装置、画像処理方法。およびプログラム | |
| US9602708B2 (en) | Rectified stereoscopic 3D panoramic picture | |
| KR20170077331A (ko) | 임의시점 영상생성 방법 및 시스템 | |
| JP2006350852A (ja) | 画像生成システム | |
| Mody et al. | Flexible and efficient perspective transform engine | |
| CN106384372B (zh) | 视图合成方法和装置 | |
| JPH04329484A (ja) | 画像合成装置 | |
| Yamanaka et al. | Adaptive image projection onto non-planar screen using projector-camera systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200204 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200703 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210305 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210317 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210610 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210630 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210910 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210929 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211022 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6967013 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |