JP7612890B2 - 周囲光補正画像の誤差を最小化する方法及び画像キャプチャ装置 - Google Patents
周囲光補正画像の誤差を最小化する方法及び画像キャプチャ装置 Download PDFInfo
- Publication number
- JP7612890B2 JP7612890B2 JP2023554860A JP2023554860A JP7612890B2 JP 7612890 B2 JP7612890 B2 JP 7612890B2 JP 2023554860 A JP2023554860 A JP 2023554860A JP 2023554860 A JP2023554860 A JP 2023554860A JP 7612890 B2 JP7612890 B2 JP 7612890B2
- Authority
- JP
- Japan
- Prior art keywords
- primary images
- primary
- subset
- image
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
Claims (11)
- 動きによる周囲光補正画像の誤差を最小化する方法であって、
時間にわたり変化する制御された照明強度の複数の一次画像をキャプチャするステップと、
前記複数の一次画像の複数の部分組の各々に関して動きによる誤差値を推定するステップと、
最小の推定された誤差値を有する一次画像の誤差が最小化された部分組に対して周囲光補正を実行して、最小化された誤差の周囲光補正画像を生成するステップと
を有し、
前記複数の一次画像の各部分組に関する誤差値を推定するステップは、
前記部分組における第1の一次画像及び第2の一次画像を含む一次画像の対を識別するステップであって、前記第1の一次画像が前記第2の一次画像より時間的に前にキャプチャされる、ステップと、
前記対の一次画像の間の変位ベクトル行列を決定するステップと、
前記一次画像の部分組に関する誤差値を、前記対の一次画像の間の前記変位ベクトル行列に基づいて推定するステップと
を有し、
前記対の一次画像の間の変位ベクトル行列を決定するステップが、
前記第1の一次画像を複数の第1の格子状エレメントに分割すると共に、前記第2の一次画像を複数の第2の格子状エレメントに分割するステップと、
第1の格子状エレメントを物体上の同じ位置に対応する第2の格子状エレメントと照合するステップと、
各々の照合された第1の格子状エレメントと第2の格子状エレメントとの間の変位ベクトルを決定して、各格子状エレメントの変位ベクトルを記述する前記変位ベクトル行列を決定するステップと
を有する、方法。 - 前記一次画像の部分組に関する誤差値を推定するステップが、前記対の一次画像に関する変位ベクトル行列における最大の変位ベクトルを選択するステップと、前記誤差値を該最大の変位ベクトルに基づいて推定するステップとを有する、請求項1に記載の方法。
- 前記各部分組に関する誤差値を推定するステップが、
前記部分組における一次画像の複数の対を識別するステップと、
一次画像の各対に関して前記変位ベクトル行列を決定するステップと、
前記複数の一次画像の部分組に関する誤差値を、前記部分組における一次画像の各対に関する変位ベクトル行列に基づいて推定するステップと
を有する、請求項1又は2に記載の方法。 - 前記複数の一次画像の部分組に関する誤差値を推定するステップが、一次画像の各対に関する最大の変位ベクトルから最も大きい絶対変位ベクトルを選択するステップと、前記誤差値を前記一次画像の部分組における該最も大きい絶対変位ベクトルに基づいて推定するステップとを有する、請求項2又は3に記載の方法。
- 前記一次画像の時間的に隣接する対の間の変位ベクトルを決定するステップは、前記第1の格子状エレメント及び前記第2の格子状エレメントを照合するステップを有し、前記一次画像の時間的に隣接しない対の間の変位ベクトルを決定するステップが、前記一次画像の時間的に隣接する対の変位ベクトルを加算して、前記一次画像の時間的に隣接しない対の間の動き軌跡をマッピングするステップを有する、請求項3又は4に記載の方法。
- 各々の照合された第1の格子状エレメントと第2の格子状エレメントとの間の変位ベクトルを決定するステップが、位相相関に基づいて変位推定を実行するステップを有する、請求項1から5の何れか一項に記載の方法。
- 一次画像の各部分組は複数の時間的に隣接する一次画像を有し、一次画像の各部分組が一次画像の他の部分組から1つの時間的に隣接する一次画像分だけオフセットされる、請求項1から6の何れか一項に記載の方法。
- 前記複数の部分組の各々に関して動きによる誤差値を推定するステップは前記一次画像の時間的に連続する部分組に対してリアルタイムで実行され、前記一次画像の部分組に関する推定された誤差値が、以前に推定されたいずれの誤差値よりも小さくなる毎に、当該方法が、前記一次画像の対応する部分組に対し周囲光補正を実行して、最小化された誤差のALC画像を生成するステップを有する、請求項7に記載の方法。
- プロセッサにより実行された場合に、請求項1から8の何れか一項に記載の方法を実行させるコンピュータ可読命令を有する、非一時的コンピュータ可読記憶媒体。
- コンピュータにより読み取られた場合に、請求項1から8の何れか一項に記載の方法を前記コンピュータに実行させる、コンピュータプログラム。
- 画像キャプチャ装置であって、
少なくとも1つのプロセッサと、
コンピュータ可読命令を含む少なくとも1つのメモリと
を有し、
前記少なくとも1つのプロセッサが前記コンピュータ可読命令を読み取って、請求項1から8の何れか一項に記載の方法を実行する、
画像キャプチャ装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP21161944.0A EP4057217A1 (en) | 2021-03-11 | 2021-03-11 | A method and image capturing apparatus for minimising error in ambient light corrected images |
| EP21161944.0 | 2021-03-11 | ||
| PCT/EP2022/051735 WO2022189060A1 (en) | 2021-03-11 | 2022-01-26 | A method and image capturing apparatus for minimising error in ambient light corrected images |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2024509246A JP2024509246A (ja) | 2024-02-29 |
| JP2024509246A5 JP2024509246A5 (ja) | 2024-05-01 |
| JP7612890B2 true JP7612890B2 (ja) | 2025-01-14 |
Family
ID=74871201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023554860A Active JP7612890B2 (ja) | 2021-03-11 | 2022-01-26 | 周囲光補正画像の誤差を最小化する方法及び画像キャプチャ装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US12526534B2 (ja) |
| EP (2) | EP4057217A1 (ja) |
| JP (1) | JP7612890B2 (ja) |
| CN (1) | CN116964621A (ja) |
| WO (1) | WO2022189060A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4057218A1 (en) | 2021-03-11 | 2022-09-14 | Koninklijke Philips N.V. | A method and image capturing apparatus |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004010711A1 (ja) | 2002-07-18 | 2004-01-29 | Sony Corporation | 撮像データ処理方法、および撮像データ処理装置、並びにコンピュータ・プログラム |
| US20040080623A1 (en) | 2002-08-15 | 2004-04-29 | Dixon Cleveland | Motion clutter suppression for image-subtracting cameras |
| US20070263099A1 (en) | 2006-05-09 | 2007-11-15 | Pixim Inc. | Ambient Light Rejection In Digital Video Images |
| US20200265258A1 (en) | 2018-02-08 | 2020-08-20 | Genetec Inc. | Systems and methods for locating a retroreflective object in a digital image |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR0154920B1 (ko) * | 1994-12-30 | 1998-11-16 | 배순훈 | 동영상 부호화 장치에 있어서 움직임 추정기 |
| JP3840129B2 (ja) * | 2002-03-15 | 2006-11-01 | 株式会社東芝 | 動きベクトル検出方法と装置、補間画像作成方法と装置及び画像表示システム |
| JP2003304443A (ja) | 2002-04-10 | 2003-10-24 | Nikon Corp | 画像処理装置および画像処理方法 |
| KR20050012766A (ko) * | 2002-05-30 | 2005-02-02 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 현재 모션 벡터 추정을 위한 유닛 및 모션 벡터 추정 방법 |
| DE102004017145B4 (de) * | 2004-04-07 | 2006-02-16 | Micronas Gmbh | Verfahren und Vorrichtung zur Ermittlung von Bewegungvektoren, die Bildbereichen eines Bildes zugeordnet sind |
| US7359564B2 (en) | 2004-10-29 | 2008-04-15 | Microsoft Corporation | Method and system for cancellation of ambient light using light frequency |
| US7697836B2 (en) * | 2006-10-25 | 2010-04-13 | Zoran Corporation | Control of artificial lighting of a scene to reduce effects of motion in the scene on an image being acquired |
| JP2010239267A (ja) | 2009-03-30 | 2010-10-21 | Fujifilm Corp | 撮像装置、周辺減光補正制御方法およびプログラム |
| US8289300B2 (en) * | 2009-07-17 | 2012-10-16 | Microsoft Corporation | Ambient correction in rolling image capture system |
| US9232150B2 (en) * | 2014-03-12 | 2016-01-05 | Apple Inc. | System and method for estimating an ambient light condition using an image sensor |
| JP6638652B2 (ja) | 2014-08-27 | 2020-01-29 | ソニー株式会社 | 撮像装置および撮像装置の制御方法 |
| US20160232672A1 (en) * | 2015-02-06 | 2016-08-11 | Qualcomm Incorporated | Detecting motion regions in a scene using ambient-flash-ambient images |
| WO2018199902A1 (en) * | 2017-04-24 | 2018-11-01 | Hewlett-Packard Development Company, L.P. | Ambient light color compensation |
| GB2568924B (en) | 2017-11-30 | 2022-07-20 | Apical Ltd | Method of flicker reduction |
| EP3820134A1 (en) | 2019-11-06 | 2021-05-12 | Koninklijke Philips N.V. | A system for performing ambient light image correction |
| EP3869781A1 (en) | 2020-02-20 | 2021-08-25 | Koninklijke Philips N.V. | Determining intensity distributions in imaging |
-
2021
- 2021-03-11 EP EP21161944.0A patent/EP4057217A1/en not_active Withdrawn
-
2022
- 2022-01-26 WO PCT/EP2022/051735 patent/WO2022189060A1/en not_active Ceased
- 2022-01-26 EP EP22705020.0A patent/EP4305589B1/en active Active
- 2022-01-26 US US18/276,288 patent/US12526534B2/en active Active
- 2022-01-26 JP JP2023554860A patent/JP7612890B2/ja active Active
- 2022-01-26 CN CN202280020391.6A patent/CN116964621A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004010711A1 (ja) | 2002-07-18 | 2004-01-29 | Sony Corporation | 撮像データ処理方法、および撮像データ処理装置、並びにコンピュータ・プログラム |
| US20040080623A1 (en) | 2002-08-15 | 2004-04-29 | Dixon Cleveland | Motion clutter suppression for image-subtracting cameras |
| US20070263099A1 (en) | 2006-05-09 | 2007-11-15 | Pixim Inc. | Ambient Light Rejection In Digital Video Images |
| US20200265258A1 (en) | 2018-02-08 | 2020-08-20 | Genetec Inc. | Systems and methods for locating a retroreflective object in a digital image |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4057217A1 (en) | 2022-09-14 |
| EP4305589A1 (en) | 2024-01-17 |
| US20240107178A1 (en) | 2024-03-28 |
| EP4305589B1 (en) | 2024-07-03 |
| US12526534B2 (en) | 2026-01-13 |
| CN116964621A (zh) | 2023-10-27 |
| JP2024509246A (ja) | 2024-02-29 |
| WO2022189060A1 (en) | 2022-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240420031A1 (en) | System and method for end-to-end differentiable joint image refinement and perception | |
| US8805057B2 (en) | Method and system for generating structured light with spatio-temporal patterns for 3D scene reconstruction | |
| KR101692227B1 (ko) | Fast를 이용한 파노라마 영상 생성 방법 | |
| JP6097282B2 (ja) | 構造化された照明を用いる3dスキャナ | |
| CN117495919B (zh) | 一种基于遮挡物体检测及运动连续性的光流估计方法 | |
| US11457158B2 (en) | Location estimation device, location estimation method, and program recording medium | |
| CN110895807A (zh) | 用于评估图像的系统、运行辅助方法和工作设备 | |
| JP7612890B2 (ja) | 周囲光補正画像の誤差を最小化する方法及び画像キャプチャ装置 | |
| US9721348B2 (en) | Apparatus and method for raw-cost calculation using adaptive window mask | |
| CN112001949B (zh) | 确定目标点移动速度的方法、装置、可读存储介质及设备 | |
| EP2465095A1 (en) | System and method for region-of-interest-based artifact reduction in image sequences | |
| EP4078506A1 (en) | A system for performing ambient light image correction | |
| KR101216663B1 (ko) | 고스트 왜곡을 제거하는 높은 동적 대역 영상 생성장치 및 방법 | |
| JPH1098644A (ja) | 動き検出装置 | |
| WO2017032096A1 (en) | Method for predicting stereoscopic depth and apparatus thereof | |
| US20200244937A1 (en) | Image processing apparatus and method, and program | |
| JP6565513B2 (ja) | 色補正装置、色補正方法及び色補正用コンピュータプログラム | |
| US12501169B2 (en) | Method and image capturing apparatus | |
| JP2021164059A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| KR101477009B1 (ko) | 고속 움직임 추정 방법 및 장치 | |
| US20250045955A1 (en) | Information processing apparatus, information processing method, and computer-readable recording medium | |
| Noraky et al. | Low Power Adaptive Time-of-Flight Imaging for Multiple Rigid Objects | |
| KR101004623B1 (ko) | 플래쉬 장치를 이용한 영상 품질 개선 장치 및 방법 | |
| Toscano-Palomino et al. | Deep Robust Object Detection Under High Illumination Conditions Using Modulo Images | |
| RO135782A0 (ro) | Corecţia suprafeţelor plane din imaginile provenite de la camere cu informaţie de distanţă folosind reţele neuronale convoluţionale |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240418 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240418 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20240418 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240723 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240903 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241127 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241225 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7612890 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |