Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7612890B2 - 周囲光補正画像の誤差を最小化する方法及び画像キャプチャ装置 - Google Patents
[go: Go Back, main page]

JP7612890B2 - 周囲光補正画像の誤差を最小化する方法及び画像キャプチャ装置 - Google Patents

周囲光補正画像の誤差を最小化する方法及び画像キャプチャ装置 Download PDF

Info

Publication number
JP7612890B2
JP7612890B2 JP2023554860A JP2023554860A JP7612890B2 JP 7612890 B2 JP7612890 B2 JP 7612890B2 JP 2023554860 A JP2023554860 A JP 2023554860A JP 2023554860 A JP2023554860 A JP 2023554860A JP 7612890 B2 JP7612890 B2 JP 7612890B2
Authority
JP
Japan
Prior art keywords
primary images
primary
subset
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023554860A
Other languages
English (en)
Other versions
JP2024509246A5 (ja
JP2024509246A (ja
Inventor
ミシェル ヨセフ アグネス アッセルマン
マシヴァナン ダモダラン
ヤニク パルリアン ジュリアン ブールキン
ジョナサン アランブラ パレロ
リエコ フェルハーフェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2024509246A publication Critical patent/JP2024509246A/ja
Publication of JP2024509246A5 publication Critical patent/JP2024509246A5/ja
Application granted granted Critical
Publication of JP7612890B2 publication Critical patent/JP7612890B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、周囲光補正(ALC)画像の誤差を最小化する方法及びそのための画像キャプチャ装置に関する。
カメラ又は画像キャプチャ装置によりキャプチャされる物体の画像は、しばしば、周囲光(環境光)及び別の照明源により照明される。同じ物体の画像を正確に比較し、又は物体の色を決定できるようにするために、周囲光は、周囲光補正画像を生成するために補正されねばならない。しかしながら、このような画像は、しばしば、キャプチャされた画像のピクセルを比較することにより生成され、このことは、フレーム間で物体の何らかの動きがあった場合に誤差を生じさせる。
米国特許出願公開第2004/080623号は、画像生成装置におけるモーションクラッタを最小化するためのシステム及び方法を開示している。時間的にインターリーブされた画像減算が、モーションクラッタの大きさを減少させ、静止画像の望ましい周囲光キャンセルに対して悪影響を有することはない。
本発明の目的は、従来技術の問題を解決することである。
第1の特定の態様によれば、動きによる周囲光補正画像の誤差を最小化する方法が提供される。該方法は:時間にわたり変化する制御された照明強度の複数の一次画像をキャプチャするステップ;複数の一次画像の複数の部分組の各々に関して動きによる誤差値を推定するステップ;及び最小の推定された誤差値を有する一次画像の誤差が最小化された部分組に対して周囲光補正を実行して、最小化された誤差の周囲光補正(ALC)画像を生成するステップ;を有する。複数の一次画像の各部分組に関する誤差値を推定するステップは:部分組における第1の一次画像及び第2の一次画像を含む一次画像の対を識別するステップであって、第1の一次画像が第2の一次画像より時間的に前にキャプチャされるステップ;前記対の一次画像の間の変位ベクトル行列を決定するステップ;及び一次画像の部分組に関する誤差値を、前記対の一次画像の間の変位ベクトル行列に基づいて推定するステップ;を有し、前記対の一次画像の間の変位ベクトル行列を決定するステップは:第1の一次画像を複数の第1の格子状エレメントに分割すると共に、第2の一次画像を複数の第2の格子状エレメントに分割するステップ;第1の格子状エレメントを物体上の同じ位置に対応する第2の格子状エレメントと照合するステップ;及び各々の照合された第1の格子状エレメントと第2の格子状エレメントとの間の変位ベクトルを決定して、各格子状エレメントの変位ベクトルを記述する変位ベクトル行列を決定するステップ;を含む。
一次画像の部分組に関する誤差値を推定するステップは、前記対の一次画像に関する変位ベクトル行列における最大の変位ベクトルを選択するステップ、及び誤差値を該最大の変位ベクトルに基づいて推定するステップを有し得る。
一次画像の各部分組に関する誤差値を推定するステップは:部分組における一次画像の複数の対を識別するステップ;一次画像の各対に関して変位ベクトル行列を決定するステップ;及び複数の一次画像の部分組に関する誤差値を、部分組における一次画像の各対に関する変位ベクトル行列に基づいて推定するステップ;を有し得る。
複数の一次画像の部分組に関する誤差値を推定するステップは、一次画像の各対に関する最大の変位ベクトルから最も大きい絶対変位ベクトルを選択するステップ、及び誤差値を一次画像の部分組における該最も大きい絶対変位ベクトルに基づいて推定するステップ;を有し得る。
一次画像の時間的に隣接する対の間の変位ベクトルを決定するステップは、第1の格子状エレメント及び第2の格子状エレメントを照合するステップを有し得る。一次画像の時間的に隣接しない対の間の変位ベクトルを決定するステップは、一次画像の時間的に隣接する対の変位ベクトルを加算して、一次画像の時間的に隣接しない対の間の動き軌跡をマッピングするステップを有し得る。
各々の照合された第1の格子状エレメントと第2の格子状エレメントとの間の変位ベクトルを決定するステップは、位相相関に基づいて変位推定を実行するステップを有し得る。
一次画像の各部分組は、複数の時間的に隣接する一次画像を有し得る。一次画像の各部分組は、一次画像の他の部分組から1つの時間的に隣接する一次画像分だけオフセットされ得る。
複数の部分組の各々に関して動きによる誤差値を推定するステップは、一次画像の時間的に連続する部分組に対してリアルタイムで実行され得る。一次画像の部分組に関する推定された誤差値が、以前に推定されたいずれの誤差値よりも小さくなる毎に、当該方法は、一次画像の対応する部分組に対し周囲光補正を実行して、最小化された誤差のALC画像を生成するステップを有し得る。
第2の態様によれば、プロセッサにより実行された場合に、第1の態様による方法を実行させるコンピュータ可読命令を有する非一時的コンピュータ可読記憶媒体が提供される。
第3の態様によれば、コンピュータにより読み取られた場合に、第1の態様による方法を実行させるコンピュータプログラムが提供される。
第4の態様によれば、少なくとも1つのプロセッサ;及びコンピュータ可読命令を含む少なくとも1つのメモリ;を有する画像キャプチャ装置が提供され、少なくとも1つのプロセッサはコンピュータ可読命令を読み取って、第1の態様による方法を実行させるように構成される。
これら及び他の態様は、後述される実施形態から明らかとなり、それら実施形態を参照して説明されるであろう。
例示的な実施形態は、単なる例として、以下の図面を参照して説明されるであろう。
図1は、周囲光補正画像の誤差を最小化する画像キャプチャ装置を概略的に示す。 図2は、周囲光補正画像の誤差を最小化する第1の例示的な方法のステップを示すフローチャートである。 図3は、第1の例示的な方法のステップを概略的に示す。 図4は、一次画像の部分組の誤差値を推定する第2の例示的な方法のステップを示すフローチャートである。 図5Aは、第2の例示的な方法のステップを概略的に示す。 図5Bは、第2の例示的な方法のステップを概略的に示す。 図5Cは、第2の例示的な方法のステップを概略的に示す。 図6は、周囲光補正画像の誤差を最小化する第3の例示的な方法のステップを示すフローチャートである。
図1は画像キャプチャ装置10を示し、該画像キャプチャ装置は画像キャプチャデバイス12、ライト14、プロセッサ16、及びコンピュータ可読命令を含むメモリ18を備える。画像キャプチャデバイス12は、プロセッサ16に接続されると共に、物体20(この例では人間である)の画像をキャプチャするように構成され、これら画像はプロセッサ16により読み取られて処理され得る。
ライト14は、物体20を照明するように構成されると共に、プロセッサ16にも接続さる。ライト14は、プロセッサ16により制御される可変強度の照明を発するように構成される。他の例において、ライト14は、別のプロセッサ16により制御することもできる。
メモリ18はコンピュータ可読命令を含み、プロセッサ16は、該コンピュータ可読命令を読み取って周囲光補正(ALC)画像の誤差を最小化する方法を実行するように構成される。
図2は、ALC画像における誤差を最小化する第1の例示的な方法100のステップを示すフローチャートである。図3は、該方法のステップを、キャプチャ及び処理された画像の出力に関して示す。
ブロック102において、第1の例示的な方法100は、物体20の複数の一次画像30を時間にわたりキャプチャするステップを有し、その場合において、該物体20はライト14により照明され、該照明は時間とともに変化するように制御される。図3において、時間の経過は矢印34により表されている。各一次画像30は複数のピクセル50を有し、これらピクセルの各々は、画像内の当該ピクセル50の位置に対応するピクセルインデックス、及び当該ピクセル50においてキャプチャされた光の強度を定義するピクセル値を有する。
ブロック102に続くブロック104において、方法100は一次画像30の複数の部分組(サブセット)を識別するステップを含む。一次画像30の各部分組は、周囲光補正(ALC)画像42を生成するために周囲光補正が実行される所定数の時間的に隣接する一次画像30を含む。この例において、ALC画像は2つの一次画像30から生成され、したがって、一次画像30の各部分組は2つの一次画像30を含む。他の例では、単一のALC画像が生成される任意の数の一次画像が存在し得る。周囲光補正のプロセスを、以下に更に詳細に説明する。
一次画像30の各部分組は、一次画像30の先行する部分組から、1つの時間的に隣接する一次画像30分だけオフセットされる。他の例では、一次画像の部分組間に2以上の一次画像のオフセットが存在し得る。
ブロック104に続くブロック106において、方法100は、一次画像30の複数の部分組の各々の動きに起因する誤差値を推定するステップを有する。方法100の該ブロック106は、ブロック108、ブロック110、ブロック112、ブロック114及びブロック116を含む。ブロック106におけるステップは一次画像30の各部分組に適用されるので、これらステップは以下に単一の部分組の一次画像30に関して説明する。
ブロック108において、方法100は、一次画像30の当該部分組内の一次画像30の対を識別するステップを有する。この例において、一次画像30の部分組は2つの一次画像30を含むので、一対の一次画像30のみが存在する。一次画像30の各対は、第1の一次画像30a及び第2の一次画像30bとして定義され、第1の一次画像30aは、第2の一次画像30bより時間的に前に取り込まれるものである。
一次画像の部分組が3以上の一次画像を含む場合、当該一次画像の部分組内には2対以上の一次画像が存在することが理解されるであろう。
ブロック108に続くブロック110において、方法100は、第1の一次画像30aを複数の第1の格子状エレメントに分割すると共に、第2の一次画像30bを複数の第2の格子状エレメントに分割するステップを有する。各格子状エレメントは、1つのピクセル50又は複数のピクセル50を含むことができる。
ブロック112において、方法100は、各々が物体20上の位置を表し得る第1の格子状エレメントを、物体20上の同じ位置に対応する第2の格子状エレメントと照合するステップを有する。照合される第1の格子状エレメント及び第2の格子状エレメントは、第1の一次画像30aのキャプチャと第2の一次画像30bのキャプチャとの間での物体20の動きにより、異なるピクセルインデックスを持つピクセル50を含み得る。
ブロック114において、方法100は、各々の照合された第1格子状エレメントと第2格子状エレメントとの間の変位ベクトルを決定し、物体20の動きを第1の一次画像30aから第2の一次画像30bへの動きに関して記述し、及び各々の照合された格子状エレメントの変位ベクトルを記述する変位ベクトル行列36を決定するステップを有する。変位ベクトル行列36は、格子状エレメントに対応するアレイで記録され得るベクトルのリストであるか、又は単に格子状エレメントとの対応を保持しないベクトルのリストであり得る。
幾つかの例において、照合された第1の格子状エレメント及び第2の格子状エレメントの変位ベクトルを決定するステップは、位相相関に基づいて変位推定を実行するステップを有することができる。各ピクセル又は格子状エレメントにおいて受光された光の位相情報を使用して変位ベクトルを決定し、光の強度(すなわち、光の振幅)を無視することは、特に光に変化がある場合に、変位推定が一層正確になることを意味する。
ブロック116において、方法100は、一次画像30の部分組の誤差値38を、一対の一次画像30の間の変位ベクトル行列36に基づいて推定するステップを有する。一次画像の部分組内に2対以上の一次画像が存在する場合、該一次画像の部分組の誤差値は該部分組内の一次画像の各対の変位ベクトル行列に基づくものとなる。
この例において、一次画像30の部分組の誤差値38を推定するステップは、一次画像30の該対の変位ベクトル行列36内の最大変位ベクトルを選択し、該最大変位ベクトルに基づいて誤差値を推定するステップを含む。一次画像30の部分組内に2対以上の一次画像30が存在する場合、誤差値38を推定するステップは、一次画像30の当該部分組内の一次画像30の全ての対の変位ベクトル行列36における最大変位ベクトルを選択し、該最大変位ベクトルに基づいて誤差値38を推定するステップを含み得る。他の例において、誤差値を推定するステップは、例えば、変位ベクトルを合計することにより集計するステップ、又は平均絶対変位ベクトルを決定するステップを含み得る。
ブロック108~116は一次画像30の各部分組に対して繰り返されるので、ブロック106からの出力は、各々が一次画像30の対応する部分組の動きによる推定誤差に対応する複数の誤差値38である。
ブロック118において、方法100は、最小の誤差値Exを有する一次画像の誤差が最小化された部分組40を選択すると共に、該一次画像の誤差が最小化された部分組40に対して周囲光補正を実行して、最小化された誤差のALC画像42を生成するステップを有する。周囲光補正の簡略化された例において、第1の一次画像は当該物体を照明するためにライトをオンにしてキャプチャされ得る一方、第2の一次画像は周囲光のみが該物体を照明するようにライトをオフにしてキャプチャされ得る。第1の一次画像の各ピクセルに対して、当該ピクセルにおける第2の一次画像の強度が減算されてALCピクセルを生成することができ、これらALCピクセルの全てを結合することでALC画像を生成する。もっと複雑な周囲光補正の例は、Kolaman,Amir & Hagege,Rami & Guterman,Hugo.(2014).Light source separation from image sequences of oscillating lights.2014 IEEE 28th Convention of Electrical and Electronics Engineers in Israel, IEEEI 2014. 1-5. 10.1109/EEEI.2014.7005874に見られる。
図4は、3以上の一次画像30を有する一次画像30の部分組の誤差値38を推定する第2の例示的方法200のステップを示すフローチャートである。第2の例示的方法200は、第1の例示的方法のブロック106を置き換えることができる。図5A、図5B及び図5Cは、該第2の例示的方法200のステップを概略的に示す。
図3に戻ると、第2の例示的方法200は種々のステップにおいて第1の例示的方法100と同じ基本的出力を生成するので、以下の説明は図3の符号を参照する。
ブロック202において、第2の例示的方法200は、当該部分組内の複数の対の一次画像30を識別するステップを有する。例えば、部分組が3つの一次画像を含む場合、該部分組は、(i)第1の一次画像及び第2の一次画像、(ii)第2の一次画像及び第3の一次画像、及び(iii)第1の一次画像及び第3の一次画像を含む、3つの独立した対の一次画像を有するであろう。図5A~図5Cに示される例において、当該部分組は、6つの一次画像30を有し、これは15対の一次画像30を有する。
ブロック204において、方法200は、時間的に隣接する一次画像30の各対について、第1の例示的方法100のブロック110~114と同様の方法で、変位ベクトル行列36を決定するステップを有する。図5Aは複数の格子状エレメント46に分割された第1の一次画像30aを示し、変位ベクトル48が各格子状エレメント46に対して矢印により示され、ここで、矢印の始点は当該対の第1の一次画像30a上の格子状エレメントの位置であり、矢印の終点は当該対の第2の一次画像30b上の合致する格子状エレメントの位置である。複数の格子状エレメント46に対する複数の変位ベクトル48は、時間的に隣接する対の第1の一次画像30aと第2の一次画像30bとの間の変位ベクトル行列36を形成する。
ブロック206において、方法200は、一次画像30の時間的に隣接する対の各格子状エレメント46に関する変位ベクトル48を加算することにより、一次画像30の時間的に隣接しない対に関する変位ベクトル行列36を決定して、時間的に隣接しない一次画像30の対の間に動き軌跡52をマッピングするステップを有する。
図5Bは、一次画像30の時間的に隣接する対の間の変位ベクトル48を集約することにより、第1の一次画像と第6の一次画像との間の格子状エレメント46に関する動き軌跡52を示す。他の例において、時間的に隣接しない一次画像に関する変位ベクトル行列は、時間的に隣接する一次画像に関する変位ベクトル行列と同様の方法で計算できる。動きの軌跡をマッピングすることにより時間的に隣接しない画像の対に関する変位ベクトル行列を決定することは、格子状エレメントを照合し、一次画像の時間的に隣接しない対の間の照合された格子状エレメントの変位ベクトルを計算するよりも、少ない処理能力しか必要としない。
図5Cは、動き軌跡52上に重ね合わされた、一次画像の時間的に隣接しない対間の変位ベクトル48を示す。
ブロック208において、方法200は、一次画像30の部分組の誤差値38を、該部分組内の一次画像30の対の各々の間の変位ベクトル行列36に基づいて推定するステップを有する。この例において、複数の一次画像30の部分組の誤差値を推定するステップは、一次画像30の該部分組内の一次画像30の各対の最大変位ベクトルを決定し、これら最大変位ベクトルから最も大きい絶対変位ベクトルを選択するステップを有する。誤差値38は、該最大の絶対変位ベクトルに基づくものであり得る。
この方法200は誤差値を推定するために一次画像30の部分組ごとに繰り返すことができ、該方法は、第1の例示的方法100のブロック118に進み、最小の誤差値Exを有する一次画像の誤差が最小化された部分組40を選択し、一次画像の該誤差が最小化された部分組40に対して周囲光補正を実行して、誤差が最小化されたALC画像42を生成することができる。
図6は、動きによるALC画像の誤差を最小化する第3の例示的方法300を示す。
ブロック302において、方法300は、複数の一次画像30を第1の例示的方法100のブロック102と同様の方法でキャプチャするステップを有する。
ブロック304において、当該方法は、周囲光補正(ALC)画像42を生成するために周囲光補正が実行されるべき所定数の時間的に隣接する一次画像30を含む一次画像30の部分組を第1の例示的方法100のブロック104と同様の方法で識別するステップを有する。
ブロック304に続くブロック306において、方法300は、一次画像30の部分組の動きによる誤差値38を推定するステップを有する。これは、第2の例示的方法200のブロック202~208、又は第1の例示的方法100のブロック106と同様の方法によるものであり得る。
ブロック308では、一次画像30の当該部分組の誤差値38が、これまでに見つかった最小の誤差値であるかが判定される。一次画像30の当該部分組の誤差値38がこれまでの最小ではないと判定された場合、方法300はブロック302に戻り、少なくとも1つの更なる一次画像30をキャプチャし、一次画像30の他の後の部分組を識別する。一次画像30の該後の部分組は一次画像30の以前の部分組から1つの時間的に隣接する一次画像30分だけオフセットされ得る。
一次画像30の各部分組は、一次画像30の先行する部分組から、1つの時間的に隣接する一次画像30分だけオフセットされる。他の例においては、一次画像の部分組間に2以上の一次画像のオフセットが存在し得る。
ブロック308において、一次画像30の当該部分組の誤差値がこれまでの最小のものである(すなわち、一次画像30の該部分組は、一次画像の誤差が最小化された部分組40である)と判定された場合、方法300はブロック310に進み、該ブロックにおいて、該誤差が最小化された一次画像の部分組40に対して周囲光補正が実行され、誤差が最小化されたALC画像42を形成する。
次いで、方法300はブロック302に戻り、更なる一次画像30のキャプチャを継続する。したがって、該第3の例示的方法300は、第1の例示的方法00と非常に類似するが、複数の一次画像30がキャプチャされた後、一次画像30の該複数の部分組のうちの何れが最小の推定誤差を有するかを判定し、該誤差が最小化された部分組に対して周囲光補正を実行するというより、一次画像の時間的に連続する部分組に対して一次画像30の部分組の誤差値をリアルタイムで推定し、各部分組が以前に推定された誤差値よりも小さい推定誤差値38を有するたびに一次画像30の部分組に対して周囲光補正を実行する点で相違する。
開示された実施形態の変形は、当業者によれば、本明細書に記載の原理及び技術を実施するに際して、図面、開示及び添付請求項の精査から理解し、実施できるものである。請求項において、「有する(含む)」という文言は他の要素又はステップを排除するものではなく、単数形は複数を排除するものではない。単一のプロセッサ又は他のユニットは、請求項に記載されている幾つかの項目の機能を果たすことができる。特定の手段が互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用できないことを示すものではない。コンピュータプログラムは、他のハードウェアと一緒に、又は他のハードウェアの一部として供給される光記憶媒体又はソリッドステート媒体等の適切な媒体により記憶又は配布することができるのみならず、インターネット又は他の有線若しくは無線通信システムを介して等のように、他の形態で配布することもできる。請求項における如何なる参照符号も、当該範囲を限定するものとして解釈されるべきではない。

Claims (11)

  1. 動きによる周囲光補正画像の誤差を最小化する方法であって、
    時間にわたり変化する制御された照明強度の複数の一次画像をキャプチャするステップと、
    前記複数の一次画像の複数の部分組の各々に関して動きによる誤差値を推定するステップと、
    最小の推定された誤差値を有する一次画像の誤差が最小化された部分組に対して周囲光補正を実行して、最小化された誤差の周囲光補正画像を生成するステップと
    を有し、
    前記複数の一次画像の各部分組に関する誤差値を推定するステップは、
    前記部分組における第1の一次画像及び第2の一次画像を含む一次画像の対を識別するステップであって、前記第1の一次画像が前記第2の一次画像より時間的に前にキャプチャされる、ステップと、
    前記対の一次画像の間の変位ベクトル行列を決定するステップと、
    前記一次画像の部分組に関する誤差値を、前記対の一次画像の間の前記変位ベクトル行列に基づいて推定するステップと
    を有し、
    前記対の一次画像の間の変位ベクトル行列を決定するステップが、
    前記第1の一次画像を複数の第1の格子状エレメントに分割すると共に、前記第2の一次画像を複数の第2の格子状エレメントに分割するステップと、
    第1の格子状エレメントを物体上の同じ位置に対応する第2の格子状エレメントと照合するステップと、
    各々の照合された第1の格子状エレメントと第2の格子状エレメントとの間の変位ベクトルを決定して、各格子状エレメントの変位ベクトルを記述する前記変位ベクトル行列を決定するステップと
    を有する、方法。
  2. 前記一次画像の部分組に関する誤差値を推定するステップが、前記対の一次画像に関する変位ベクトル行列における最大の変位ベクトルを選択するステップと、前記誤差値を該最大の変位ベクトルに基づいて推定するステップとを有する、請求項1に記載の方法。
  3. 前記各部分組に関する誤差値を推定するステップが、
    前記部分組における一次画像の複数の対を識別するステップと、
    一次画像の各対に関して前記変位ベクトル行列を決定するステップと、
    前記複数の一次画像の部分組に関する誤差値を、前記部分組における一次画像の各対に関する変位ベクトル行列に基づいて推定するステップと
    を有する、請求項1又は2に記載の方法。
  4. 前記複数の一次画像の部分組に関する誤差値を推定するステップが、一次画像の各対に関する最大の変位ベクトルから最も大きい絶対変位ベクトルを選択するステップと、前記誤差値を前記一次画像の部分組における該最も大きい絶対変位ベクトルに基づいて推定するステップとを有する、請求項2又は3に記載の方法。
  5. 前記一次画像の時間的に隣接する対の間の変位ベクトルを決定するステップは、前記第1の格子状エレメント及び前記第2の格子状エレメントを照合するステップを有し、前記一次画像の時間的に隣接しない対の間の変位ベクトルを決定するステップが、前記一次画像の時間的に隣接する対の変位ベクトルを加算して、前記一次画像の時間的に隣接しない対の間の動き軌跡をマッピングするステップを有する、請求項3又は4に記載の方法。
  6. 各々の照合された第1の格子状エレメントと第2の格子状エレメントとの間の変位ベクトルを決定するステップが、位相相関に基づいて変位推定を実行するステップを有する、請求項1から5の何れか一項に記載の方法。
  7. 一次画像の各部分組は複数の時間的に隣接する一次画像を有し、一次画像の各部分組が一次画像の他の部分組から1つの時間的に隣接する一次画像分だけオフセットされる、請求項1から6の何れか一項に記載の方法。
  8. 前記複数の部分組の各々に関して動きによる誤差値を推定するステップは前記一次画像の時間的に連続する部分組に対してリアルタイムで実行され、前記一次画像の部分組に関する推定された誤差値が、以前に推定されたいずれの誤差値よりも小さくなる毎に、当該方法が、前記一次画像の対応する部分組に対し周囲光補正を実行して、最小化された誤差のALC画像を生成するステップを有する、請求項7に記載の方法。
  9. プロセッサにより実行された場合に、請求項1から8の何れか一項に記載の方法を実行させるコンピュータ可読命令を有する、非一時的コンピュータ可読記憶媒体。
  10. コンピュータにより読み取られた場合に、請求項1から8の何れか一項に記載の方法を前記コンピュータに実行させる、コンピュータプログラム。
  11. 画像キャプチャ装置であって、
    少なくとも1つのプロセッサと、
    コンピュータ可読命令を含む少なくとも1つのメモリと
    を有し、
    前記少なくとも1つのプロセッサが前記コンピュータ可読命令を読み取って、請求項1から8の何れか一項に記載の方法を実行る、
    画像キャプチャ装置。
JP2023554860A 2021-03-11 2022-01-26 周囲光補正画像の誤差を最小化する方法及び画像キャプチャ装置 Active JP7612890B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP21161944.0A EP4057217A1 (en) 2021-03-11 2021-03-11 A method and image capturing apparatus for minimising error in ambient light corrected images
EP21161944.0 2021-03-11
PCT/EP2022/051735 WO2022189060A1 (en) 2021-03-11 2022-01-26 A method and image capturing apparatus for minimising error in ambient light corrected images

Publications (3)

Publication Number Publication Date
JP2024509246A JP2024509246A (ja) 2024-02-29
JP2024509246A5 JP2024509246A5 (ja) 2024-05-01
JP7612890B2 true JP7612890B2 (ja) 2025-01-14

Family

ID=74871201

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023554860A Active JP7612890B2 (ja) 2021-03-11 2022-01-26 周囲光補正画像の誤差を最小化する方法及び画像キャプチャ装置

Country Status (5)

Country Link
US (1) US12526534B2 (ja)
EP (2) EP4057217A1 (ja)
JP (1) JP7612890B2 (ja)
CN (1) CN116964621A (ja)
WO (1) WO2022189060A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4057218A1 (en) 2021-03-11 2022-09-14 Koninklijke Philips N.V. A method and image capturing apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004010711A1 (ja) 2002-07-18 2004-01-29 Sony Corporation 撮像データ処理方法、および撮像データ処理装置、並びにコンピュータ・プログラム
US20040080623A1 (en) 2002-08-15 2004-04-29 Dixon Cleveland Motion clutter suppression for image-subtracting cameras
US20070263099A1 (en) 2006-05-09 2007-11-15 Pixim Inc. Ambient Light Rejection In Digital Video Images
US20200265258A1 (en) 2018-02-08 2020-08-20 Genetec Inc. Systems and methods for locating a retroreflective object in a digital image

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0154920B1 (ko) * 1994-12-30 1998-11-16 배순훈 동영상 부호화 장치에 있어서 움직임 추정기
JP3840129B2 (ja) * 2002-03-15 2006-11-01 株式会社東芝 動きベクトル検出方法と装置、補間画像作成方法と装置及び画像表示システム
JP2003304443A (ja) 2002-04-10 2003-10-24 Nikon Corp 画像処理装置および画像処理方法
KR20050012766A (ko) * 2002-05-30 2005-02-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 현재 모션 벡터 추정을 위한 유닛 및 모션 벡터 추정 방법
DE102004017145B4 (de) * 2004-04-07 2006-02-16 Micronas Gmbh Verfahren und Vorrichtung zur Ermittlung von Bewegungvektoren, die Bildbereichen eines Bildes zugeordnet sind
US7359564B2 (en) 2004-10-29 2008-04-15 Microsoft Corporation Method and system for cancellation of ambient light using light frequency
US7697836B2 (en) * 2006-10-25 2010-04-13 Zoran Corporation Control of artificial lighting of a scene to reduce effects of motion in the scene on an image being acquired
JP2010239267A (ja) 2009-03-30 2010-10-21 Fujifilm Corp 撮像装置、周辺減光補正制御方法およびプログラム
US8289300B2 (en) * 2009-07-17 2012-10-16 Microsoft Corporation Ambient correction in rolling image capture system
US9232150B2 (en) * 2014-03-12 2016-01-05 Apple Inc. System and method for estimating an ambient light condition using an image sensor
JP6638652B2 (ja) 2014-08-27 2020-01-29 ソニー株式会社 撮像装置および撮像装置の制御方法
US20160232672A1 (en) * 2015-02-06 2016-08-11 Qualcomm Incorporated Detecting motion regions in a scene using ambient-flash-ambient images
WO2018199902A1 (en) * 2017-04-24 2018-11-01 Hewlett-Packard Development Company, L.P. Ambient light color compensation
GB2568924B (en) 2017-11-30 2022-07-20 Apical Ltd Method of flicker reduction
EP3820134A1 (en) 2019-11-06 2021-05-12 Koninklijke Philips N.V. A system for performing ambient light image correction
EP3869781A1 (en) 2020-02-20 2021-08-25 Koninklijke Philips N.V. Determining intensity distributions in imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004010711A1 (ja) 2002-07-18 2004-01-29 Sony Corporation 撮像データ処理方法、および撮像データ処理装置、並びにコンピュータ・プログラム
US20040080623A1 (en) 2002-08-15 2004-04-29 Dixon Cleveland Motion clutter suppression for image-subtracting cameras
US20070263099A1 (en) 2006-05-09 2007-11-15 Pixim Inc. Ambient Light Rejection In Digital Video Images
US20200265258A1 (en) 2018-02-08 2020-08-20 Genetec Inc. Systems and methods for locating a retroreflective object in a digital image

Also Published As

Publication number Publication date
EP4057217A1 (en) 2022-09-14
EP4305589A1 (en) 2024-01-17
US20240107178A1 (en) 2024-03-28
EP4305589B1 (en) 2024-07-03
US12526534B2 (en) 2026-01-13
CN116964621A (zh) 2023-10-27
JP2024509246A (ja) 2024-02-29
WO2022189060A1 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
US20240420031A1 (en) System and method for end-to-end differentiable joint image refinement and perception
US8805057B2 (en) Method and system for generating structured light with spatio-temporal patterns for 3D scene reconstruction
KR101692227B1 (ko) Fast를 이용한 파노라마 영상 생성 방법
JP6097282B2 (ja) 構造化された照明を用いる3dスキャナ
CN117495919B (zh) 一种基于遮挡物体检测及运动连续性的光流估计方法
US11457158B2 (en) Location estimation device, location estimation method, and program recording medium
CN110895807A (zh) 用于评估图像的系统、运行辅助方法和工作设备
JP7612890B2 (ja) 周囲光補正画像の誤差を最小化する方法及び画像キャプチャ装置
US9721348B2 (en) Apparatus and method for raw-cost calculation using adaptive window mask
CN112001949B (zh) 确定目标点移动速度的方法、装置、可读存储介质及设备
EP2465095A1 (en) System and method for region-of-interest-based artifact reduction in image sequences
EP4078506A1 (en) A system for performing ambient light image correction
KR101216663B1 (ko) 고스트 왜곡을 제거하는 높은 동적 대역 영상 생성장치 및 방법
JPH1098644A (ja) 動き検出装置
WO2017032096A1 (en) Method for predicting stereoscopic depth and apparatus thereof
US20200244937A1 (en) Image processing apparatus and method, and program
JP6565513B2 (ja) 色補正装置、色補正方法及び色補正用コンピュータプログラム
US12501169B2 (en) Method and image capturing apparatus
JP2021164059A (ja) 画像処理装置、画像処理方法、及びプログラム
KR101477009B1 (ko) 고속 움직임 추정 방법 및 장치
US20250045955A1 (en) Information processing apparatus, information processing method, and computer-readable recording medium
Noraky et al. Low Power Adaptive Time-of-Flight Imaging for Multiple Rigid Objects
KR101004623B1 (ko) 플래쉬 장치를 이용한 영상 품질 개선 장치 및 방법
Toscano-Palomino et al. Deep Robust Object Detection Under High Illumination Conditions Using Modulo Images
RO135782A0 (ro) Corecţia suprafeţelor plane din imaginile provenite de la camere cu informaţie de distanţă folosind reţele neuronale convoluţionale

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240418

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240418

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20240418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240723

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241225

R150 Certificate of patent or registration of utility model

Ref document number: 7612890

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150