Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5021338B2 - ホワイトバランス補正装置および方法 - Google Patents
[go: Go Back, main page]

JP5021338B2 - ホワイトバランス補正装置および方法 - Google Patents

ホワイトバランス補正装置および方法 Download PDF

Info

Publication number
JP5021338B2
JP5021338B2 JP2007053276A JP2007053276A JP5021338B2 JP 5021338 B2 JP5021338 B2 JP 5021338B2 JP 2007053276 A JP2007053276 A JP 2007053276A JP 2007053276 A JP2007053276 A JP 2007053276A JP 5021338 B2 JP5021338 B2 JP 5021338B2
Authority
JP
Japan
Prior art keywords
white balance
balance correction
specific target
correction value
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007053276A
Other languages
English (en)
Other versions
JP2008219414A (ja
Inventor
岳志 三沢
誠 大石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2007053276A priority Critical patent/JP5021338B2/ja
Priority to US12/071,128 priority patent/US8310561B2/en
Priority to KR1020080018754A priority patent/KR100959343B1/ko
Priority to CN2008100806845A priority patent/CN101262617B/zh
Publication of JP2008219414A publication Critical patent/JP2008219414A/ja
Application granted granted Critical
Publication of JP5021338B2 publication Critical patent/JP5021338B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Description

本発明は画像信号のホワイトバランスを補正する装置および方法に関するものである。
デジタルカメラ等の撮影装置においては、撮影装置で被写体像を画像信号に変換した後に、信号に対してホワイトバランス補正を行うことがよく知られている。
特許文献1には、映像信号中から肌色領域または人の顔の領域を検出し、その検出領域のみ、輝度補正、色補正、アパーチャ補正を行う映像信号処理装置が開示されている。映像信号中の肌色領域を人間の顔領域と見なし、その顔領域に対して色補正処理を行うことにより肌の色再現を向上する技術について開示している。これによると、R−Y,B−Y色差信号の位相及び振幅に基づくメモリの出力と輝度信号のレベルとに応じて、肌色領域を示す肌色検出信号を比較器から出力し、その肌色検出信号によって、R−Y,B−Y色差信号の利得を利得制御回路にて制御することによって実現している。
特許文献2には、画像データから主要被写体の形状を抽出し、その主要被写体の形状に合致する領域を含む複数の領域を重み付け領域として決定するとともに、重み付け領域ごとの測光値および色測定値と、重み付け係数とに基づいて露出補正処理およびホワイトバランス補正処理を行う画像処理装置が開示されている。これによると、元画像データから人物などの主要被写体の形状を抽出し、その主要被写体の形状に合致する主要被写体の領域を測光/測色のための領域とし、この主要被写体の領域を含む複数の領域を重み付け領域として決定するとともに、重み付け領域ごとに重み付け係数を割り当てる。一方、画面全体を複数の分割領域に分割して分割領域ごとに分割測光及び/又は分割測色の測定値を算出し、分割領域ごとに算出された測定値に対して、それぞれ重み付け係数を決定する。そして、分割領域ごとに算出された測定値と各測定値の分割領域が属する前記重み付け領域ごとに決定されている重み付け係数とに基づいて露出補正及び/又はホワイトバランス補正を行うようにしている。
特許文献3には、顔検出を行い、顔部分の色情報をホワイトバランス演算に用いないことで、顔部分が青白いなどの違和感のあるホワイトバランスが行わないようにして良好な画像処理を実現する画像処理装置が開示されている。これによると、撮像装置が顔認識動作モードかどうか判断し、顔認識動作モードでない場合AWB評価値取得エリアを通常エリアに指定する。顔認識動作モードの場合顔認識処理を行い、顔と認識されるか否かを判断する。顔と認識されない場合AWB評価値取得エリアを通常エリアに指定する。ステップで顔と認識された場合、AWB評価値取得エリアを顔以外のエリアに移動させる。そして、AWB評価値取得エリアを設定し、そのAWB評価値を取得するし、AWB値を演算して最終的なAWBゲインを設定することによって実現している。
特開平6−121332号公報 特開2006−211416号公報 特開2003−189325号公報
このような撮影装置あるいは画像処理装置では、より良い画像を撮影するために特に画像の色補正に工夫をしている。特許文献1に記載の技術は、人間の肌色再現を向上するために肌色の部分だけを検出して色補正するもので、肌色の再現は向上すると考えられるが、肌色以外の部分に関しては考慮していない。そのために例えば顔に関しても肌色以外の眼の色などと肌色の部分の色バランスがずれてしまうことが考えられる。また、特許文献2に記載の技術は、主要被写体と主要被写体以外の領域について重み付けを変えて露出補正やホワイトバランスを算出し、撮影した画像を補正するものである。この時補正に用いられるのは一の補正値であることから、画面の中に複数の光源によって照明されている被写体がある場合については考慮されていない。さらに、特許文献3に記載の技術は、検出した顔領域以外の部分でホワイトバランス情報を得るものである。顔によるカラーフェリアを防ぐホワイトバランス補正を実現演算に用いないことで、顔部分が青白いなどの違和感のあるホワイトバランスが行わないようにしているが、やはり画面の中に複数の光源によって照明されている被写体がある場合については考慮されていない。
ところで、感度が低いデジタルカメラでは主要被写体を照明する主光源のみについてホワイトバランス補正を行えば画面全体のホワイトバランスを均一に保った画像を得ることができる。例えば屋外で有ればその時の太陽光に、夜の屋内でフラッシュを焚いたのであればフラッシュ光についてのホワイトバランス補正を行うことで、良好な画像を得ることができる。なぜならば、感度の低いカメラは主光源以外の光源の微弱な光量をとらえることが出来ないからである。ところが、感度の高いデジタルカメラで撮影する場合は、主要被写体を照明する主光源と、背景部分を照明する従光源の両方の光量をとらえることができる。従光源としての白熱灯光源下で、主光源としてフラッシュを用いて主要被写体を撮影したような場合にも、従光源で照明された背景部分が再現可能である。この場合、主光源としてのフラッシュ光は約7000Kの色温度となるが、従光源としての白熱灯は約3000Kであり、主光源であるフラッシュ光に画面全体のホワイトバランスを合わせると従光源で照明された背景は赤っぽい画像となってしまう。また従光源が白熱灯色の蛍光灯などであっても同様に問題が生じる。本発明はこのような課題に対しての解決手段として考案されたものである。
本発明によるホワイトバランス補正装置は、入力された画像信号に含まれる特定対象を、その特定対象らしさを示す特定対象評価値によって検出する特定対象検出手段と、入力された画像信号で表される画像から前記特定対象を除いた領域における第1ホワイトバランス補正値を取得する第1ホワイトバランス補正手段と、前記特定対象検出手段によって検出された特定対象の領域における第2ホワイトバランス補正値を取得する第2ホワイトバランス補正手段と、前記第1ホワイトバランス補正値と前記第2ホワイトバランス補正値を比較するホワイトバランス補正値比較手段とを備え、前記第1ホワイトバランス補正値と前記第2ホワイトバランス補正値が異なる場合に、前記特定対象を除いた領域は第1ホワイトバランス補正値を使用してホワイトバランスを補正し、前記特定対象領域は第2ホワイトバランス補正値を使用してホワイトバランスを補正することを特徴とする。すなわち、特定対象として検出された領域に対しては、第2ホワイトバランス補正手段によって、その他の領域に対しては第1ホワイトバランス補正手段によってホワイトバランスを補正するようにしたことを特徴とするものである。被写体の光源に応じたホワイトバランス補正が行えることで、複数の光源下でも自然な画像の撮影が可能となる。
また、第2の本発明によるホワイトバランス補正装置は、入力された画像信号に含まれる特定対象を、その特定対象らしさを示す特定対象評価値によって検出する特定対象検出手段と、入力された画像信号で表される画像から前記特定対象を除いた領域における第1ホワイトバランス補正値を取得する第1ホワイトバランス補正手段と、前記特定対象検出手段によって検出された特定対象の内を複数に分割し、分割したそれぞれの領域における個々の分割ホワイトバランス補正値を取得すると共に、前記分割ホワイトバランス補正値の分布を検出する補正値分布検出手段とを備え、前記特定対象を除いた領域は第1ホワイトバランス補正値を使用してホワイトバランスを補正し、前記補正値分布検出手段によって検出された前記分割ホワイトバランス補正値の分布が複数のホワイトバランス補正値の分布と判断される場合には、前記特定対象領域は前記分割領域ごとに、領域ごとの分割ホワイトバランス補正値に最も近い前記複数ホワイトバランス補正値の値を使用してホワイトバランスを補正することを特徴とするものである。すなわち、特定対象以外の領域は、第1ホワイトバランス補正値を使用して補正し、また特定対象として検出された領域に対しては特定対象を複数に分割し、分割したそれぞれの領域ごとの分割ホワイトバランス補正値に最も近い前記複数ホワイトバランス補正値の値を使用してホワイトバランスを補正することを特徴とするものである。
これらのホワイトバランス補正装置において、前記特定対象の具体例としては人の顔が一般的に考えられる。すなわち、特定対象が顔である場合について上記ホワイトバランス補正を適用することにより、顔部分について違和感のないホワイトバランス補正を行うことが可能である。
実用的には、これらのホワイトバランス補正装置を撮影装置に搭載して、被写体の光源に応じたホワイトバランス補正を行った画像を撮影する撮影装置を実現することが可能になる。
本発明による第1のホワイトバランス補正方法は、入力された画像信号に含まれる特定対象を、その特定対象らしさを示す特定対象評価値によって検出し、入力された画像信号で表される画像から前記特定対象を除いた領域における第1ホワイトバランス補正値を取得すると共に、検出された前記特定対象領域における第2ホワイトバランス補正値を取得し、前記第1ホワイトバランス補正値と前記第2ホワイトバランス補正値が異なる場合に、前記特定対象を除いた領域は第1ホワイトバランス補正値を使用してホワイトバランスを補正し、前記特定対象領域は第2ホワイトバランス補正値を使用してホワイトバランスを補正することを特徴とするものである。
また本発明による第2のホワイトバランス補正方法は、入力された画像信号に含まれる特定対象を、その特定対象らしさを示す特定対象評価値によって検出し、入力された画像信号で表される画像から前記特定対象を除いた領域における第1ホワイトバランス補正値を取得し、前記特定対象検出手段によって検出された特定対象の内を複数に分割し、分割したそれぞれの領域における個々の分割ホワイトバランス補正値を取得すると共に、前記分割ホワイトバランス補正値の分布を検出し、前記特定対象を除いた領域は第1ホワイトバランス補正値を使用してホワイトバランスを補正し、前記分割ホワイトバランス補正値の分布が複数のホワイトバランス補正値の分布と判断される場合には、前記特定対象領域は前記分割領域ごとに、領域ごとの分割ホワイトバランス補正値に最も近い前記複数ホワイトバランス補正値の値を使用してホワイトバランスを補正することを特徴とするものである。
本発明により、入力された画像信号に含まれる特定対象の領域を主被写体とし、主被写体を照明する主光源に対しての主光源ホワイトバランス補正値と、画像から前記特定対象を除いた領域を照明する従光源に対する従光源ホワイトバランス補正値を取得し、主光源ホワイトバランス補正値と従光源ホワイトバランス補正値が異なる場合は、主光源と従光源が異なると判断して、それぞれの領域に最適なホワイトバランス補正を行うことで、主光源と従光源が異なるような複数種類の光源によって照明された被写体でも、ホワイトバランス補正値を最適に制御し、画面全体として色バランスの整った画像を得ることが可能になる。
また、主被写体が複数の光源によって照明されている場合でも、特定対象を含む主被写体領域をさらに複数に分割し、分割したそれぞれの領域における個々の分割ホワイトバランス補正値を求めて補正することにより、ホワイトバランス補正値を最適に制御し、画面全体としてホワイトバランスおよび色バランスの整った画像を得ることが可能になる。
以下、添付図面に従って本発明に係る撮影装置および撮影方法の好ましい実施の形態について説明する。
図1は本発明に係るホワイトバランス補正手段の実施形態としての撮像装置1の内部構成ブロック図である。
同図において、撮影装置1は、画像入力部10、入力信号処理部12、CPU20、画像記録部24,操作入力部26,通信部28、表示部30、特定対象検出部40、ホワイトバランス補正部50で構成される。またCPU20が、操作入力部26あるいは通信部28からの操作者の指示により前記ブロックごとの制御を行う。
画像入力部10が撮像部として構成される場合、画像入力部10で外部から入射する光学像をレンズ、撮像素子等を用い、画像信号に変えて出力する。必要に応じて、低照度時などに補助光発光部として用いるフラッシュもしくは照明手段を持っていても良い。また、画像入力部10が、外部からの画像信号を入力する外部信号入力部として構成される場合は、画像入力部10が画像記録部24あるいは通信部28と構成が重複することがある。すなわち、画像記録部24の記録媒体用インターフェース、あるいは通信部28を使用して画像入力が行われる。この他、図示しないが、必要に応じて撮影時に補助光を投影する補助光投影部、声や環境音、音楽等の音声記録を行う音声記録部、音声等の再生や警告音を出す音声再生部などを持っても良い。
入力信号処理部12は前記画像信号を処理し、CPU20に渡す。ここでの信号処理は、操作者の要求する出力画像信号形態により異なる。撮影モードに応じて、オフセット補正処理、カラーマトリクス処理、階調変換処理、デモザイク処理、輪郭強調処理、そして圧縮処理等を前記画像信号に対して行う。撮影モードとは静止画撮影モード、動画撮影モードなどであり、さらに静止画撮影モードおよび動画撮影モード内に、複数の撮影モードを持っても良い。
画像記録部24は入力された画像信号を記録する。記録する媒体は、内蔵記録媒体、あるいはメモリカードに代表される外部記憶媒体のどちらでも良いし、両方存在しても良い。画像信号だけでなく、入力された、あるいは生成された情報(データ)を記録可能である。また、記録部という名称であるが記録だけでなく読出しも可能であり、ここから読み出されたデータをCPU20経由で通信部28から送信することや、表示部30に表示することも可能である。
操作入力部26は、撮像装置1を操作する電源スイッチや、シャッタースイッチを含む操作スイッチで構成される。操作者は、操作入力部26から撮像装置1に指示を与えることで、撮像装置1を操作することが可能になる。
通信部28は、撮像装置1が外部と通信するための手段である。通信方式として、有線通信、無線通信、光通信などを必要に応じて使用することができる。また通信プロトコルも必要に応じて選択可能である。通信部は外部に情報を送信できる他、外部からの情報を受信することができる。
特定対象検出手段としての特定対象検出部40は、画像入力部10から入力された画像信号、又は画像記録部24に記録された画像信号から被写体の特徴部、すなわち頭、顔、目、瞳、鼻、口、あるいはサングラス等を検出し、それらの特徴点やパターンを識別することにより特定対象を検出する。特定対象検出の具体的な方法は、エッジ検出又は形状パターン検出による顔検出方法、特徴部の座標である特徴点をベクトル化し、特徴点ベクトルを近似検出することによる特徴点ベクトル近似法、色相検出又は肌色検出による領域検出方法等の公知の方法を利用することができる。特定対象としては、人物全体や人物の顔部の他に、ペットなどが考えられる。特定対象検出部40は、それらの特定対象顔を検出すると、その特定対象の領域を示す情報をCPU20に出力し、ホワイトバランス補正には使用することはもちろん、記録や表示などにも利用することができる。
ホワイトバランス補正手段としてのホワイトバランス補正部50は、画像入力部10から入力された画像信号から被写体のホワイトバランス補正値を決定する。ホワイトバランス補正部に関しては後で詳述する。
撮影装置において撮影は通常、操作入力部26の一部として構成されるシャッターボタンで開始される。静止画撮影であれば、シャッターボタンを押し込み一枚の静止画を撮影指示するか、連続撮影の場合はシャッターボタンを押し込んでいる(ONの)間静止画撮影を連続して行う。また動画撮影であれば、一般的にはシャッターボタンを一度押し込んだら撮影開始、もう一度押し込んだら撮影停止になる。
図2(a)は本発明に係るホワイトバランス補正部50の第1内部構成例としてのホワイトバランス補正部51、図2(b)は第2内部構成例としてのホワイトバランス補正部52のブロック図である。これらの内部構成例について、順次説明していく。
ホワイトバランス補正部51および52は、共に、画像入力部10から入力された画像信号から被写体のホワイトバランス補正値を計算する。そのためには、まず色調評価値を色調評価値計算部200および201で計算する。
色調評価値計算の具体的な方法としては、まず図2(a)のように入力された画像信号を光の三原色RGBごとに積分する方法がある。画像入力部10や通信部を通して入力される画像信号中の色RをR積分部202で、色GをG積分部204で、色BをB積分部206で積分し、色調評価値としてホワイトバランス補正値計算部210に渡す。ホワイトバランス補正値計算部210は色調評価値を元にホワイトバランス補正値を計算する。ホワイトバランス補正処理部212はホワイトバランス補正値を使用し、入力された画像信号を変換し出力画像信号とする。
色調評価値計算の別な方法は、図2(b)のように色Gに対する色Rの比をR/G計算部222で、色Gに対する色Bの比をB/G計算部224で計算し、R/GをR/G積分部226で積分し、B/GをB/G積分部228で積分して、これらの積分値を色調評価値として使用する方法である。
さらに図2の説明では画面全体に対して色調評価値およびホワイトバランス補正値を求めるとしているが、入力された画像信号を複数のブロックに分割し、ブロックごとに色調評価値を算出することもできる。
<第1の実施形態>
以下に第1の実施形態を説明する。図3が複数光源に照明された被写体の第1の例であり、このような状況で撮影された映像信号のホワイトバランス補正を例に説明する。図3の被写体例は屋内の一室であり、白熱灯を使用した天井灯302によって照明されている。主要被写体304である人物を撮影する時に、撮影装置306に内蔵または付属するフラッシュを使用して撮影する場合がある。この時、背景となるカーテン310などは天井灯302によって照明され、主要被写体304はフラッシュ308によって照明されるため、被写体中に複数光源によって照明された領域が存在することになる。
図4(a)は図3の複数光源に照明された被写体の第1の例による撮影画像であり、図4(b)に図4(a)から検出された特定対象領域406を示す。また、図5(a)に本発明に係るホワイトバランス補正手段の実施形態としてのホワイトバランス補正部の構成例を、図5(b)にホワイトバランス補正処理部の詳細例を示す。図5を用いながら、図4を必要に応じて参照し、以下にホワイトバランス補正の実施例を説明する。
図5(a)は本発明に係るホワイトバランス補正手段の実施形態としてのホワイトバランス補正部の構成例である。図4(a)のような撮影画像の画像信号中から特定対象402(本実施例では特定対象402は主要被写体である人物)を図5(a)に示す特定対象検出部40により検出する。特定対象検出部40は、画像信号の特定対象領域を出力可能となっている。
特定対象の領域を照明する光源と特定対象以外の領域を照明する光源が一致するか異なるかを判断するために、入力された画像信号を、図4(b)に示す特定対象領域を除いた領域404と、特定対象領域406の信号に振り分ける。具体的な手順は以下の通りである。特定対象検出部40が、画像信号の特定対象領域で “H”を、そのほかの領域で“L”を出力する。ホワイトバランス入力選択手段502は、特定対象検出手段40の出力が“L”の時は入力信号を第1ホワイトバランス補正値計算部504に入力し、特定対象検出手段40の出力が“H”の時は入力信号を第2ホワイトバランス補正値計算部506に入力するように制御する。
ホワイトバランス入力選択手段502によって選択入力された画像信号を使用して、第1ホワイトバランス補正値計算部504は第1ホワイトバランス補正値を計算し、第2ホワイトバランス補正値計算部506は第2ホワイトバランス補正値を計算する。ホワイトバランス補正値比較部510は、計算された第1ホワイトバランス補正値と第2ホワイトバランス補正値を比較し光源がひとつか複数かを判別する。ホワイトバランス補正値比較部510は、比較結果が異なる場合は論理積部512に“L”を出力し、比較結果が一致する場合は、論理積部512に“H”を出力する。比較結果が異なるのは、図4の例のように光源が複数の場合であり、光源がひとつである場合は比較結果が一致することになる。
なお、ここでは一致すると記載しているが、例えば第1および第2ホワイトバランス補正値に対し、統計的な誤差(例えば5%)を含めた一定の値の幅(例えば統計的誤差が5%であれば倍の幅を持たせ約10%)を持たせたのち範囲が一致するかどうかを判別しても良い。統計的な誤差を含めて一致を判断すれば、被写体そのものの色などによる影響を少なくすることができる。
前述したように、特定対象検出部40は、画像信号の特定対象領域で “H”を、そのほかの領域で“L”を出力する。論理積部512は、特定対象検出部40とホワイトバランス補正値比較部510の出力が共に“H”である(論理積条件の)時だけ、“H”をホワイトバランス補正値切り換え部514に出力する。つまり、第1ホワイトバランス補正値と第2ホワイトバランス補正値が異なり、かつ特定対象領域である時である。
ホワイトバランス補正値切り換え部514は、論理積部512の出力が“L”の時は第1ホワイトバランス補正値を選択し、論理積部512の出力が“H”の時は第2ホワイトバランス補正値を選択してホワイトバランス補正部212に送る。つまり第1ホワイトバランス補正値と第2ホワイトバランス補正値が一致する場合は、第1ホワイトバランス補正値を選択して、入力された画像信号のホワイトバランス補正を実施する。第1ホワイトバランス補正値と第2ホワイトバランス補正値が異なる場合は次のように動作する。入力画像信号の、特定対象402を除いた領域は第1ホワイトバランス補正値を選択してホワイトバランス補正を行い、特定対象402領域は第2ホワイトバランス補正値を選択してホワイトバランス補正を行う。
被写体中の特定対象領域が、特定対象領域以外(背景領域)と異なる光源によって照明されていた場合でも、光源に応じたホワイトバランス補正が行えることで、複数の光源下でも自然な画像の撮影が可能となる。
また、光源ごとにホワイトバランス補正が可能であるので、光源によっては、ある光源は雰囲気を残したり(補正を弱めたり)、別の光源は完全にホワイトバランス補正をしてしまうようなことも可能である。例えば屋内の主要被写体を白熱灯光源で照明され、背景の窓から見える屋外は太陽で照明されている場合を考えてみる。屋内の白熱灯光源で照明される特定対象は、雰囲気を残してやや弱めにホワイトバランス補正をすることで赤みを残しながら、背景の窓から見える屋外は完全にホワイトバランス補正をすると、室内の被写体の雰囲気と、背景の窓から見える屋外の雰囲気を共に残すことができる。
さらに、特定対象領域を照明する光源と、背景領域を照明する光源が異なる場合、特定対象領域の色味を背景領域の色味に合わせることも可能である。色調評価値計算結果と、ここでは述べていない露出条件計算結果を用いることで被写体を照明する光源を推定することが可能である。被写体が複数の領域に分けられ、それぞれの領域について光源推定を行えば、例えば特定対象領域を照明する光源と、背景領域を照明する光源を推定することが可能である。ここで特定対象領域が主要被写体領域であるとして、主要被写体領域がフラッシュによって照明され、背景領域が白熱灯によって照明されていることが推定できたとする。背景領域は、白熱灯の赤みを残すように弱めにホワイトバランス補正を行い、主要被写体領域は背景領域と色味が合うようやや赤目にホワイトバランス補正を行う。このように補正することによってフラッシュで撮影をしたにもかかわらず、白熱灯だけで照明されているかのような画像を得ることができる。
次に図5(b)を用いてホワイトバランス補正処理部について説明する。ホワイトバランス補正処理部は、前述のように、入力された画像信号にホワイトバランス補正処理を行う処理部である。
まず、ホワイトバランス補正値解析部520がホワイトバランス補正値切り換え部514から送られるホワイトバランス補正値の解析を行う。後述する各処理部に対し、解析した結果に応じて処理内容(補正内容)を送る。
ホワイトバランス補正処理部を構成するのは、図5(b)に示す各調整部、処理部、変換部である。図5(b)左から信号の流れに沿って、オフセット調整部(色Rオフセット調整部532、色Gオフセット調整部534、色Bオフセット調整部536)、ゲイン調整部(色Rゲイン調整部542、色Gゲイン調整部544、色Bゲイン調整部546)、リニアマトリクス補正処理部550、輝度信号・色信号変換部552(色マトリクス補正処理部554に色RGBからなる画像信号を入力するための変換部であり、本変換部単独では補正は行わない)、色マトリクス補正処理部554を持つ。これら全ての調整部および処理部を使用してホワイトバランス補正処理を行うことも可能であるし、一部の調整部および処理部だけを使用してホワイトバランス補正処理を行うことも可能である。さらに、これら全ての調整部および処理部をホワイトバランス補正部内に持たなくても、同様のホワイトバランス補正処理が行うことが可能であれば良い。例えば、一部の処理部を入力信号処理部12内に持っている構成が考えられる。
これらの調整部および処理部を用いてホワイトバランス補正を行うことによって、単純にゲインだけを補正するほかに、例えば階調の中間の色調だけを調整したり、階調のハイライトだけを調整したりすることや、色を細かく調整することでより高度なホワイトバランス補正が可能である。
ところで、検出する特定対象は1対象に限らない。従って1対象より特定対象が多い場合は、上記ホワイトバランス補正計算部を、特定対象数に1(特定対象を除いた部分を1として)を加えた数を持つのが望ましい。ホワイトバランス補正計算部および補正処理部が増加するが、全体的な動作に関しては前述した説明と同様となる。
また、ホワイトバランス補正を行う動作は1回の連続した動作で行う必要は無く、複数の動作で行うことも可能である。例えば最初に入力画像信号から特定対象を検出すると共にホワイトバランス補正値の計算を行い、その後入力画像信号をホワイトバランス補正処理するような動作を行うことをしても良い。また、これらの動作が連続していなくても可能である。
<第2の実施形態>
第1の実施形態では、ホワイトバランス補正部50の構成を装置として構成しているが、CPU20上におけるソフトウェアにおいても実施可能である。これを次の図6以下に示し、第2の実施形態として説明する。
図6は本発明に係るホワイトバランス補正手段の実施形態としての撮像装置2の内部構成ブロック図である。図6は図1のホワイトバランス補正部50を持たないが、同じ機能をCPU20におけるソフトウェアで実現する。その他の部分は図1と同じであるので説明は省略する。
図7は、本発明に係るホワイトバランス補正値算出手段の実施形態としてのフローチャートである。ここでは、ソフトウェアによる処理のために、画像信号のx方向をKブロックに、y方向をLブロックに分割して処理している。
まずステップS702で画像信号を取得する。次にステップS704で取得した画像信号から特定対象を検出する。特定対象の検出は、特定対象検出部40を使って実施しても良いし、CPU20を使用しソフトウェアで実施しても良い。特定対象検出部40を使用した場合には専用ハードウェアによる高速化を見込むことができる。ソフトウェアで実施した場合にはシステムを柔軟に構成することができる(例えば係数やアルゴリズムを簡単に更新できる)。その後処理に用いる係数をステップS706で初期化する。x方向のカウンタXおよびy方向のカウンタYに初期値1を代入し、次に第1色調評価値のブロックカウンタm、第2色調評価値のブロックカウンタn、第1色調評価値、第2色調評価値、およびブロック判別値B(i,j)に初期値0を代入する。ただしB(i,j)はB(1,1)からB(K,L)までの行列であり、ここでは示していないがカウンタi,jをインクリメントしながらブロック判別値B(i,j)を初期化する。
次に処理に入る。ステップS710で、ブロック座標(X、Y)として表されるブロックXYの色調評価値を算出する。第1実施例の色調評価値算出をソフトウェアにより実施する。その後、ステップS712において、ブロックXYが特定対象領域か否かを判別する。特定対象領域で無かった場合は、ステップS714に進み、ブロックXYの色調評価値を第1色調評価値に代入する。次にステップS718でブロック判別値B(X,Y)に第1色調評価値を示す1を代入すると共に第1色調評価値のブロックカウンタmをインクリメントする。ステップS712において、ブロックXYが特定対象領域であった場合、ステップS716でブロックXYの色調評価値を第2色調評価値に代入し、ステップS720でブロック判別値B(X,Y)に第2色調評価値を示す2を代入すると共に、第2色調評価値のブロックカウンタnをインクリメントする。
ステップS718およびステップS720の後は、ステップS722でXカウンタがKであるか否か、すなわちX方向の最終ブロックであるか否かを判別する。X=Kで無い場合、ステップS726でカウンタXをインクリメントし、ステップS710に戻る。ステップS722でX=Kの場合、ステップS724でカウンタYがLであるか否か、すなわちY方向の最終ブロックであるか否かを判別する。Y=Lの場合、ステップS728でカウンタYをインクリメントし、ステップS710に戻る。ステップS724でY=Lの場合、ステップS730に進み、第1色調評価値をブロックカウンタmで除算した値を新たな第1色調評価値とし、第2色調評価値をブロックカウンタnで除算した値を新たな第2色調評価値とする。つまりこのステップS730では、各評価値をその評価値を算出したブロック数で除算して正規化している。尚、ここでは単純にブロックごとで算出した色調評価値を平均化しているが、他にも中央値を求める、あるいは最頻値を求めるなどの統計処理を実施する方法もある。
その後、ステップS732で第1色調評価値から第1ホワイトバランス補正値を算出し、第2色調評価値から第2ホワイトバランス補正値を算出した後に終了する。以上のステップにより、ソフトウェアによって第1ホワイトバランス補正値および第2ホワイトバランス補正値を算出することが可能である。ただし、必ずしも全ての処理をソフトウェアによって行う必要はなく、ハードウェアによって置き換えることも可能である。
尚、図7の説明では特定対象であるか否かでホワイトバランス補正値の算出を分けているが、特定対象が複数である場合はホワイトバランス補正値もそれに応じて増やすのが望ましい。例えば特定対象が3対象検出された場合は、3対象それぞれの領域に対するホワイトバランス補正値と、特定対象を除いた領域のホワイトバランス補正値の計4ホワイトバランス補正値を使用するのが望ましい。特定対象数や光源種類が多数となる場合でも、ソフトウェアによる処理であれば柔軟に対応することが可能である。
図8は、本発明に係るホワイトバランス補正値補正手段の第2実施形態としてのフローチャートである。図7の本発明に係るホワイトバランス補正値算出手段で算出したホワイトバランス補正値を使い、ホワイトバランス補正を実施する際の例を示している。また、図7の本発明に係るホワイトバランス補正値算出手段と同じく、ソフトウェアによる処理のために、画像信号のx方向をKブロックに、y方向をLブロックに分割して処理している。
まずステップS802で、その後の処理に用いる係数を初期化する。x方向のカウンタXおよびy方向のカウンタYに初期値1を代入する。
次に処理に入る。ステップS804で第1ホワイトバランス補正値と第2ホワイトバランス補正値が一致するか否かを判別する。ここでは一致を判別するよう記載しているが、例えば第1および第2ホワイトバランス補正値に対し、統計的な誤差(例えば5%)を含めた一定の値の幅(例えば統計的誤差が5%であれば倍の幅を持たせ約10%)を持たせたのち一致する値の範囲があるかどうかを判別しても良い。被写体の色調などによる誤差を除くことが可能である。
第1ホワイトバランス補正値と第2ホワイトバランス補正値が一致しない場合は、ステップS806に進みブロック判別値B(X,Y)が1であるかどうかを判別する。ブロック判別値B(X,Y)が1であれば第1色調評価値を示すので、ステップS808に進み画像信号のXYブロックを第1ホワイトバランス補正値で補正する。ブロック判別値B(X,Y)が1で無ければ、この場合は第2色調評価値を示すので、ステップS810に進み画像信号のXYブロックを第2ホワイトバランス補正値で補正する。
ステップS808の後およびステップS810の後はステップS812でXカウンタがKであるか否か、すなわちX方向の最終ブロックであるか否かを判別する。X=Kで無い場合、ステップS814でカウンタXをインクリメントし、ステップS804に戻る。ステップS812でX=Kの場合、ステップS816でカウンタYがLであるか否か、すなわちY方向の最終ブロックであるか否かを判別する。Y=Lの場合、ステップS818でカウンタYをインクリメントし、ステップS804に戻る。ステップS816でY=Lの場合は処理を終了する。
以上のステップにより、第1ホワイトバランス補正値および第2ホワイトバランス補正値を条件に応じて使用しホワイトバランス補正を実施することを、ソフトウェアによって実現することが可能である。ただし、必ずしも全ての処理をソフトウェアによって行う必要はなく、ハードウェアによって置き換えることも可能である。
尚、図8の説明ではホワイトバランス補正値が第1および第2のみであるが、図7の説明でも述べたように光源領域の数が増加した場合はホワイトバランス補正値も増加するため、2種類よりもホワイトバランス補正値が増える可能性がある。そのような場合には数に応じてホワイトバランス補正処理ステップを増やすのが望ましい。特定対象数や光源種類が多数となる場合でも、ソフトウェアによる処理であれば柔軟に対応することが可能である。
<第2の実施形態の変形例>
第2の実施形態では、ホワイトバランス補正において、第1のホワイトバランス補正値を使用するか、第2のホワイトバランス補正値を使用するかをブロックごとに判別している(図8のステップS806)。しかし、特定対象と特定対象以外の中間の領域があることも考えられる。その場合、中間領域に応じたホワイトバランス補正値を用いるとより効果的にホワイトバランスの補正が可能となる。これを第2の実施形態の変形例として説明する。
図9はブロック判別値B(X,Y)に低域通過フィルタを適用した例である。ブロック判別値B(X,Y)は前述の通り、ブロックが第1色調評価値算出領域であれば1を、ブロックが第2色調評価値算出領域であれば2を代入する。第1および第2色調領域に従って、第1および第2ホワイトバランス補正値を適用するので、これらはホワイトバランス補正領域を表していると考えても良い。ブロック判別値B(X,Y)が図9の(a)のようになっているとする。中央やや右側の12ブロックが第2ホワイトバランス補正値補正領域、残りのブロックが第1ホワイトバランス補正領域となる。
第1ホワイトバランス補正領域と第2ホワイトバランス補正領域を連続させるため、ブロック判別値B(X,Y)に低域通過フィルタ(LPF)を適用する。LPFは図9(b)に例を示すが、これに限定されるものではない。この例のLPFは中央の値(=元の値)に対する係数が4/12、周辺の値に対する係数が1/12で均一であるLPFとなっている。このLPFを図9(a)に適用すると、図9(c)のようになる。すなわち、図9(a)で各ブロック判別値B(X,Y)が1または2の領域のみであったのに対し、ブロック判別値B(X,Y)が1から2の間の連続的な値をとるようになった。
このような処理を行うことによって、特定対象領域と背景領域とのホワイトバランス補正の境界を目立たなくすることが可能である。
<第3の実施形態>
図11に複数光源に照明された被写体の第2の例を示す。屋内の一室であり、白熱灯を使用した天井灯1102によって照明されている。主要被写体1104である人物を撮影する時に、撮影装置1106に内蔵または付属するフラッシュ1108を使用して撮影する場合がある。この時、背景となるカーテン1110などは天井灯302によって照明されている。主要被写体1104は天井灯1102によって照明されると共にフラッシュ光によっても照明される。被写体中に天井灯1102とフラッシュ1108との複数光源によって照明された領域が存在することになる。特に、主要被写体1104が複数の光源によって照明されている場合は、光源に応じて適切なホワイトバランス補正を行いたい。以下で説明する本実施形態は、このような場合に適切なホワイトバランス補正を行う例を示したものである。
図12に複数光源に照明された被写体の第2の例による撮影画像のホワイトバランス補正領域を示す。また、図13に本発明に係るホワイトバランス補正手段の実施形態としてのホワイトバランス補正部の構成例を示す。図13を用いて、図12を必要に応じて参照しながら本実施例を説明する。尚、図13は、図5と共通する部分は同一番号をつける。
図12(a)に撮影画像中から検出された特定対象1206(本実施例では主要被写体を特定対象として検出する)を示す。人物は白熱灯1102に照明された領域(白で表す)とフラッシュ1108によって照明された領域(黒で表す)が混じっている。
入力された画像信号は、図12(b)の特定対象を除いた領域1214と、特定対象領域1216に、ホワイトバランス入力選択手段502によって切り換える。特定対象検出部40は、画像信号の特定対象領域で “H”を、そのほかの領域で“L”を出力する。ホワイトバランス入力選択手段502は、特定対象検出手段40の出力が“L”の時は入力信号を第1ホワイトバランス補正値計算部504に入力されるように、特定対象検出手段40の出力が“H”の時は入力信号を分割ホワイトバランス補正値計算部1302に入力されるように制御する。
第1ホワイトバランス補正値計算部504は、第1ホワイトバランス補正値を計算する。分割ホワイトバランス補正値計算部1302は特定対象領域1216の分割したブロック(例えばブロック1218)ごとのホワイトバランス補正値を計算する。
まず、入力された画像信号をブロック分割部1304で小領域のブロックに分割する。ブロックで構成された特定対象領域1216は、検出された特定対象領域1206と完全には一致しないが、ブロックをより小領域で構成することで両者の差を少なくすることが可能である。図12では説明のためにブロックが認識可能な大きさで記載しているが、前述した理由で実施する際はより小領域のブロックで構成されるのが望ましい。
分割された入力画像信号から分割したブロックごとのホワイトバランス補正値を、分割ごとのホワイトバランス補正値計算部1306で計算する。計算したブロックの各ホワイトバランス補正値の分布を、ホワイトバランス補正値分布判断部1308で判断する。判断する内容は、ブロックの各ホワイトバランス補正値の分布が複数のホワイトバランス補正値の分布であるか否かと、複数のホワイトバランス補正値の分布であると判断された場合には、分割した各ブロックが前記複数のホワイトバランス補正値中の、どのホワイトバランス補正値を使用して補正を行うかである。
図14にホワイトバランス補正値の頻度分布例を示す。図14のX軸、Y軸はホワイトバランス補正値であり、例えばR係数に対する係数をx軸、Bに対する係数をy軸で表した座標に、係数で示されるホワイトバランス補正値、あるいは係数で示されるホワイトバランス補正値の範囲のブロック数を円の大きさで表している。係数で示されるホワイトバランス補正値(もしくは範囲)のブロック数(頻度)が多くなれば、円が大きく表示される。図14のホワイトバランス補正値の分布例は、例えば図14中に四角形の太線で表した領域Aおよび領域Bのふたつのホワイトバランス補正値分布であると判断する。判断手法そのものは、一般に良く知られる統計手法などを用いることで可能であり、また本発明の要旨ではないのでここでは述べない。
領域Aの中で最も頻度の多いホワイトバランス補正値aを領域Aの代表ホワイトバランス補正値、領域Bの中で最も頻度の多いホワイトバランス補正値bを領域Bの代表ホワイトバランス補正値とする。各ブロックは、そのブロックが領域A中のブロックであると判断された場合には、代表ホワイトバランス補正値aを使用してホワイトバランス補正を行い、そのブロックが領域B中のブロックであると判断された場合には、代表ホワイトバランス補正値bを使用してホワイトバランス補正を行う。
または、各ブロックは、そのブロックのホワイトバランス補正値と、代表ホワイトバランス補正値aおよびbを比較し、最も近い代表ホワイトバランス補正値の値を使用してホワイトバランス補正を行う。
このようなホワイトバランス補正を行うことによって、特定対象領域が複数の光源で照明されたものである場合でも、特定対象領域内を均一の色調(雰囲気)とするようなホワイトバランス補正が可能である。また、この場合は特定対象領域が人物であるが、逆に人物以外を検出するような構成とした場合、背景領域内を均一の色調(雰囲気)とすることもかのうである。さらに、分割ホワイトバランス補正値計算部を複数持つことで、複数の光源により照明された特定対象領域と、複数の光源により照明された背景領域があっても、特定対象領域内を均一の色調(雰囲気)とし、背景領域内も均一の色調(雰囲気)とすることが可能であるほか、各領域の色調を光源に合わせて変えることも可能である。
<第4の実施形態>
第3の実施形態では、ホワイトバランス補正部54の構成を装置として構成しているが、CPU20上におけるソフトウェアにおいても実施可能である。この第4の実施形態を次に示す。
図15は、本発明に係るホワイトバランス補正値算出手段の第4実施形態としてのフローチャートである。ここでは、ソフトウェアによる処理のために、画像信号のx方向をKブロックに、y方向をLブロックに分割して処理している。
まずステップS1502で画像信号を取得する。次にステップS1504で取得した画像信号から特定対象を検出する。特定対象の検出は、特定対象検出部40を使って実施しても良いし、CPU20を使用しソフトウェアで実施しても良い。特定対象検出部40を使用した場合には専用ハードウェアによる高速化を見込むことができる。ソフトウェアで実施した場合にはシステムを柔軟に構成することができる(例えば係数やアルゴリズムを簡単に更新できる)。その後処理に用いる係数をステップS1506で初期化する。x方向のカウンタXおよびy方向のカウンタYに初期値1、分割ホワイトバランス補正値用のカウンタmに初期値0を代入し、第1ホワイトバランス補正値、分割ホワイトバランス補正値XY(行列)に初期値0を代入する。
次に処理に入る。ステップS1510で、ブロック座標(X、Y)として表されるブロックXYのホワイトバランス補正値を算出する。その後、ステップS1512において、ブロックXYが特定対象領域か否かを判別する。特定対象領域で無かった場合は、ステップS1514に進み、ブロックXYのホワイトバランス補正値を元に第1ホワイトバランス補正値を再計算する。例えば重み付け加算を行い、ループ終了時に第1ホワイトバランス補正値が求められるようなアルゴリズムを採用するのが望ましい。ステップS1512においてブロックXYが特定対象領域であった場合、ステップS1516で分割ホワイトバランス補正値用のカウンタmをインクリメントする。次にステップS1518でブロック座標(X、Y)として表される分割ホワイトバランス補正値XYに、計算したホワイトバランス補正値を代入する。
ステップS1514およびステップS1518の後は、ステップS1520でXカウンタがKであるか否か、すなわちX方向の最終ブロックであるか否かを判別する。X=Kで無い場合、ステップS1522でカウンタXをインクリメントし、ステップS1510に戻る。ステップS1522でX=Kの場合、ステップS1524でカウンタYがLであるか否か、すなわちY方向の最終ブロックであるか否かを判別する。Y=Lの場合、ステップS1526でカウンタYをインクリメントし、ステップS1510に戻る。ステップS1524でY=Lの場合は全てのブロックについて、ホワイトバランス補正値の算出の終わりを意味する。その場合、ステップS1532に進み、分割ホワイトバランス補正値XY(m個)の分布計算を行い、分割ホワイトバランス補正値XYの分布から1または複数の代表ホワイトバランス補正値を計算する。次に、ステップS1534において、ステップS1532で計算した代表ホワイトバランス補正値が複数であるか否かを判別する。複数の代表ホワイトバランス補正値である場合、ステップS1536に進み、分割ホワイトバランス補正値XYに対し、一番近い代表ホワイトバランス補正値を計算し、代入して終了する。ステップS1534において、ひとつの代表ホワイトバランス補正値と判別された時はステップS1538に進み、分割ホワイトバランス補正値XYに代表ホワイトバランス補正値を代入して終了する。
尚、図15の説明では特定対象であるか否かでホワイトバランス補正値の算出を分けているが、特定対象が複数である場合は分割ホワイトバランス補正値の計算および統計ルーチンもそれに応じて増やすのが望ましい。例えば特定対象が3対象検出された場合は、3対象それぞれの領域に対する分割ホワイトバランス補正値を求め、特定対象ごとにブロックごとの補正値を求めるのが望ましい。
図16は、本発明に係るホワイトバランス補正値補正手段の第4実施形態としてのフローチャートである。図15の本発明に係るホワイトバランス補正値算出手段で算出したホワイトバランス補正値を使い、ホワイトバランス補正を実施する際の例を示している。また、図15の本発明に係るホワイトバランス補正値算出手段と同じく、ソフトウェアによる処理のために、画像信号のx方向をKブロックに、y方向をLブロックに分割して処理している。
まずステップS1602で、その後の処理に用いる係数を初期化する。x方向のカウンタXおよびy方向のカウンタYに初期値1を代入する。
次に処理に入る。ステップS1604でブロック座標(X、Y)として表されるブロックXYの分割ホワイトバランス補正値XYが0であるか否かを判別する。分割ホワイトバランス補正値XYが0でない場合は、図15のフローチャートで分割ホワイトバランスが計算されているので、ステップS1608に進み、画像のブロックXYを分割ホワイトバランス補正値XYで補正する。分割ホワイトバランス補正値XYが0の場合は、分割ホワイトバランス補正値が初期値のままであるということであるので、ステップS1610に進み画像のブロックXYを第1ホワイトバランス補正値で補正する。
ステップS1608の後およびステップS1610の後はステップS1612でXカウンタがKであるか否か、すなわちX方向の最終ブロックであるか否かを判別する。X=Kで無い場合、ステップS1614でカウンタXをインクリメントし、ステップS1606に戻る。ステップS1612でX=Kの場合、ステップS1616でカウンタYがLであるか否か、すなわちY方向の最終ブロックであるか否かを判別する。Y=Lの場合、ステップS1618でカウンタYをインクリメントし、ステップS1606に戻る。ステップS1616でY=Lの場合は処理を終了する。
以上のステップにより、特定対象領域が複数の光源によって照明されている場合の、光源に応じた適切なホワイトバランス補正を、ソフトウェアによって実現することが可能である。ただし、必ずしも全ての処理をソフトウェアによって行う必要はなく、ハードウェアによって置き換えることも可能である。特定対象数や光源種類が多数となる場合でも、ソフトウェアによる処理であれば柔軟に対応することが可能である。
本発明に係るホワイトバランス補正手段の実施形態としての撮像装置1の内部構成ブロック図 本発明に係るホワイトバランス補正部50の第1および第2内部構成例 複数光源に照明された被写体の第1の例 複数光源に照明された被写体の第1の例による撮影画像とホワイトバランス補正領域 本発明に係るホワイトバランス補正手段の実施形態としてのホワイトバランス補正部の構成例 本発明に係るホワイトバランス補正手段の実施形態としての撮像装置2の内部構成ブロック図 本発明に係るホワイトバランス補正値算出手段の第2実施形態としてのフローチャート 本発明に係るホワイトバランス補正値手段の第2実施形態としてのフローチャート ブロック判別値B(X,Y)に低域通過フィルタを適用した例 本発明に係るホワイトバランス補正値手段の変形例 複数光源に照明された被写体の第2の例 複数光源に照明された被写体の第2の例による撮影画像の光源分布とホワイトバランス補正領域 本発明に係るホワイトバランス補正手段の実施形態としてのホワイトバランス補正部の他の構成例 本発明に係るホワイトバランス補正値算出手段の第4実施形態としてのフローチャート 複数光源に照明された被写体の第1の例による撮影画像とホワイトバランス補正領域 本発明に係るホワイトバランス補正値補正手段の第4実施形態としてのフローチャート
符号の説明
10 画像入力部
12 入力信号処理部
20 CPU
24 画像記録部
26 操作入力部
28 通信部
30 表示部
40 特定対象検出部
50 ホワイトバランス補正部
210 ホワイトバランス補正値計算部
212 ホワイトバランス補正処理部
502 ホワイトバランス入力選択手段
504 第1ホワイトバランス補正値計算部
506 第2ホワイトバランス補正値計算部
510 ホワイトバランス補正値比較部
512 論理積部
514 ホワイトバランス補正値切り換え部
1302 分割ホワイトバランス補正値計算部
1306 分割ごとのホワイトバランス補正値計算部
1308 ホワイトバランス補正値分布判断部

Claims (5)

  1. 入力された画像信号に含まれる特定対象を、その特定対象らしさを示す特定対象評価値によって検出する特定対象検出手段と、
    前記特定対象検出手段によって検出された特定対象内を複数に分割し、該分割したそれぞれの領域における個々の分割ホワイトバランス補正値を取得する分割ホワイトバランス補正値取得手段と、
    前記分割ホワイトバランス補正値の分布を検出する補正値分布検出手段とを備え、
    該補正値分布検出手段によって検出された分布から代表ホワイトバランス補正値を算出し、該算出した代表ホワイトバランス補正値が複数存在する場合には、該複数の代表ホワイトバランス補正値に基づいて、前記特定対象内の各分割領域のホワイトバランスを補正することを特徴とするホワイトバランス補正装置。
  2. 前記特定対象内の分割領域毎について、該分割領域の分割ホワイトバランス補正値に最も近い前記代表ホワイトバランス補正を用いてホワイトバランスを補正することを特徴とする請求項1記載のホワイトバランス補正装置。
  3. 前記特定対象が顔であることを特徴とする請求項1または2記載のホワイトバランス補正装置。
  4. 請求項1から3いずれか1項記載のホワイトバランス補正装置を備えてなる撮影装置。
  5. 入力された画像信号に含まれる特定対象を、その特定対象らしさを示す特定対象評価値によって検出し、
    該検出した特定対象の内を複数に分割し、分割したそれぞれの領域における個々の分割ホワイトバランス補正値を取得するとともに、該分割ホワイトバランス補正値の分布を検出し、
    該検出した分布から代表ホワイトバランス補正値を算出し、該算出した代表ホワイトバランス補正値が複数存在する場合には、該複数の代表ホワイトバランス補正値に基づいて、前記特定対象内の各分割領域のホワイトバランスを補正することを特徴とするホワイトバランス補正方法。
JP2007053276A 2007-03-02 2007-03-02 ホワイトバランス補正装置および方法 Expired - Fee Related JP5021338B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007053276A JP5021338B2 (ja) 2007-03-02 2007-03-02 ホワイトバランス補正装置および方法
US12/071,128 US8310561B2 (en) 2007-03-02 2008-02-15 White balance correction apparatus and method
KR1020080018754A KR100959343B1 (ko) 2007-03-02 2008-02-29 화이트 밸런스 보정 장치 및 방법
CN2008100806845A CN101262617B (zh) 2007-03-02 2008-03-03 白平衡校正设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007053276A JP5021338B2 (ja) 2007-03-02 2007-03-02 ホワイトバランス補正装置および方法

Publications (2)

Publication Number Publication Date
JP2008219414A JP2008219414A (ja) 2008-09-18
JP5021338B2 true JP5021338B2 (ja) 2012-09-05

Family

ID=39732783

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007053276A Expired - Fee Related JP5021338B2 (ja) 2007-03-02 2007-03-02 ホワイトバランス補正装置および方法

Country Status (4)

Country Link
US (1) US8310561B2 (ja)
JP (1) JP5021338B2 (ja)
KR (1) KR100959343B1 (ja)
CN (1) CN101262617B (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7646517B2 (en) * 2004-02-27 2010-01-12 Seiko Epson Corporation Image processing system and image processing method
JP5066398B2 (ja) * 2007-06-29 2012-11-07 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP5064947B2 (ja) * 2007-09-11 2012-10-31 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
JP5113514B2 (ja) * 2007-12-27 2013-01-09 キヤノン株式会社 ホワイトバランス制御装置およびホワイトバランス制御方法
JP5398156B2 (ja) * 2008-03-04 2014-01-29 キヤノン株式会社 ホワイトバランス制御装置およびその制御方法並びに撮像装置
US8717459B2 (en) * 2008-12-11 2014-05-06 Texas Instruments Incorporated Method and apparatus for improving automatic white balance with scene information
JP5134528B2 (ja) * 2008-12-25 2013-01-30 ブラザー工業株式会社 画像読取装置
JP5187241B2 (ja) * 2009-02-16 2013-04-24 株式会社リコー 撮像装置及び撮像方法
JP5517685B2 (ja) * 2009-04-14 2014-06-11 キヤノン株式会社 画像処理装置および方法
JP5031877B2 (ja) * 2010-01-06 2012-09-26 キヤノン株式会社 画像処理装置及び画像処理方法
JP5471510B2 (ja) * 2010-01-27 2014-04-16 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム
US8547450B2 (en) * 2010-02-22 2013-10-01 Texas Instruments Incorporated Methods and systems for automatic white balance
JP2011188186A (ja) * 2010-03-08 2011-09-22 Aof Imaging Technology Ltd ホワイトバランスゲイン算出装置
KR101650842B1 (ko) 2010-05-27 2016-08-25 삼성전자주식회사 영상 처리 장치, 영상 처리 방법, 및 이를 실행하기 위해 프로그램을 저장한 기록 매체
JP5665436B2 (ja) * 2010-09-02 2015-02-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5761946B2 (ja) * 2010-09-02 2015-08-12 キヤノン株式会社 画像処理装置、画像処理方法及び記憶媒体
US8773577B2 (en) * 2010-10-27 2014-07-08 Qualcomm Incorporated Region of interest extraction
JP5459178B2 (ja) * 2010-11-05 2014-04-02 カシオ計算機株式会社 撮像装置、ホワイトバランス調整方法及びホワイトバランス調整プログラム
JP4935925B1 (ja) * 2010-11-04 2012-05-23 カシオ計算機株式会社 撮像装置、ホワイトバランス調整方法及びホワイトバランス調整プログラム
JP5804857B2 (ja) * 2011-09-07 2015-11-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5911241B2 (ja) 2011-09-07 2016-04-27 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5804856B2 (ja) 2011-09-07 2015-11-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2013106284A (ja) * 2011-11-16 2013-05-30 Sony Corp 光源推定装置、光源推定方法、光源推定プログラムおよび撮像装置
KR101896386B1 (ko) * 2011-11-22 2018-09-11 삼성전자주식회사 화이트 밸런스 조절장치 및 방법
KR101901184B1 (ko) * 2012-09-20 2018-09-21 삼성전자주식회사 깊이 영상을 사용한 컬러 영상 처리 장치 및 방법
CN103905804B (zh) * 2012-12-26 2016-03-02 联想(北京)有限公司 一种调整白平衡的方法及电子设备
JP2014209681A (ja) * 2013-04-16 2014-11-06 リコーイメージング株式会社 色調調整装置および色調調整方法
JP6446790B2 (ja) * 2014-02-21 2019-01-09 株式会社リコー 画像処理装置、撮像装置、画像補正方法およびプログラム
JP6063093B2 (ja) * 2014-03-31 2017-01-18 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
CN105282530B (zh) * 2014-05-28 2019-03-08 深圳力维智联技术有限公司 基于背景建模的自动白平衡实现方法及装置
CN106033538B (zh) * 2015-03-19 2020-06-23 联想(北京)有限公司 一种信息处理方法及电子设备
CN104780353B (zh) * 2015-03-26 2017-11-07 广东欧珀移动通信有限公司 一种图像处理方法及装置
CN104994362A (zh) * 2015-07-02 2015-10-21 广东欧珀移动通信有限公司 白平衡处理的方法及装置
CN105894458A (zh) * 2015-12-08 2016-08-24 乐视移动智能信息技术(北京)有限公司 一种具有人脸的图像处理方法和装置
CN105872500A (zh) * 2015-12-08 2016-08-17 乐视移动智能信息技术(北京)有限公司 图像白平衡的调整方法和装置
CN105898264B (zh) * 2016-05-26 2018-02-02 努比亚技术有限公司 一种图像处理方式的获取设备和方法
CN106097261B (zh) * 2016-06-01 2019-10-18 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及终端设备
CN106851238B (zh) * 2017-03-09 2018-07-06 广东欧珀移动通信有限公司 白平衡控制方法、白平衡控制装置及电子装置
CN107454345B (zh) * 2017-07-12 2019-10-22 Oppo广东移动通信有限公司 图像的白平衡处理方法、装置和终端设备
CN107277481A (zh) * 2017-07-14 2017-10-20 维沃移动通信有限公司 一种图像处理方法及移动终端
CN107483906B (zh) * 2017-07-25 2019-03-19 Oppo广东移动通信有限公司 图像的白平衡处理方法、装置和终端设备
CN107580205B (zh) * 2017-08-31 2019-06-07 Oppo广东移动通信有限公司 白平衡调整方法和装置
CN107396079B (zh) * 2017-08-31 2019-06-07 Oppo广东移动通信有限公司 白平衡调整方法和装置
US10970552B2 (en) * 2017-09-28 2021-04-06 Gopro, Inc. Scene classification for image processing
CN108012133B (zh) * 2017-12-12 2019-09-17 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN107948619B (zh) * 2017-12-13 2019-07-16 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和移动终端
JP7515271B2 (ja) * 2020-02-28 2024-07-12 キヤノン株式会社 画像処理装置および画像処理方法
KR102745872B1 (ko) 2020-05-21 2024-12-23 삼성전자주식회사 Awb를 수행하여 이미지를 생성하는 전자 장치 및 방법
US12052516B2 (en) * 2021-07-07 2024-07-30 Qualcomm Incorporated Flexible region of interest color processing for cameras

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3366357B2 (ja) 1992-01-13 2003-01-14 三菱電機株式会社 映像信号処理装置および映像信号処理方法
JP3540485B2 (ja) * 1995-04-13 2004-07-07 株式会社リコー 電子スチルカメラ
JPH0974516A (ja) * 1995-09-06 1997-03-18 Sharp Corp 画像入力装置
JP3838532B2 (ja) * 1998-02-09 2006-10-25 株式会社リコー ホワイトバランス制御方法及び装置
JP2000308068A (ja) * 1999-04-16 2000-11-02 Olympus Optical Co Ltd 撮像装置
JP2002271638A (ja) 2001-03-09 2002-09-20 Fuji Photo Film Co Ltd ホワイトバランス補正方法及び装置並びに該方法を実行するためのプログラムを記録した記録媒体
US7148922B2 (en) * 2001-08-02 2006-12-12 Olympus Optical Co., Ltd. Electronic camera which detects flash influence on an image and controls white balance in accordance with the flash influence
JP3927802B2 (ja) * 2001-12-19 2007-06-13 株式会社リコー 画像処理装置
JP2004297650A (ja) 2003-03-28 2004-10-21 Fuji Photo Film Co Ltd ホワイトバランスの制御方法及びデジタルカメラ
JP4158592B2 (ja) 2003-04-25 2008-10-01 富士フイルム株式会社 オートホワイトバランス調整方法及びこの方法が適用されたカメラ
JP2005268877A (ja) * 2004-03-16 2005-09-29 Matsushita Electric Ind Co Ltd 撮像装置および画像データの変換方法
JP4433883B2 (ja) 2004-05-31 2010-03-17 カシオ計算機株式会社 ホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置
JP4284448B2 (ja) 2005-01-28 2009-06-24 富士フイルム株式会社 画像処理装置及び方法
JP4849818B2 (ja) * 2005-04-14 2012-01-11 イーストマン コダック カンパニー ホワイトバランス調整装置及び色識別装置
JP4217698B2 (ja) 2005-06-20 2009-02-04 キヤノン株式会社 撮像装置及び画像処理方法

Also Published As

Publication number Publication date
US20080211925A1 (en) 2008-09-04
KR20080080931A (ko) 2008-09-05
JP2008219414A (ja) 2008-09-18
CN101262617A (zh) 2008-09-10
KR100959343B1 (ko) 2010-05-20
CN101262617B (zh) 2010-12-01
US8310561B2 (en) 2012-11-13

Similar Documents

Publication Publication Date Title
JP5021338B2 (ja) ホワイトバランス補正装置および方法
US8803994B2 (en) Adaptive spatial sampling using an imaging assembly having a tunable spectral response
US8629919B2 (en) Image capture with identification of illuminant
JP4217698B2 (ja) 撮像装置及び画像処理方法
US7969483B2 (en) White balance control method, imaging apparatus and storage medium storing white balance control program
CN103929628B (zh) 摄像装置
US8514293B2 (en) Moving image processing device and method for performing different image processings to moving object region and still object region
US11451719B2 (en) Image processing apparatus, image capture apparatus, and image processing method
US9083929B2 (en) Image-pickup apparatus and white-balance control method provided therefor
JP2019106045A (ja) 画像処理装置、方法及びプログラム
US10187592B2 (en) Imaging device, image signal processing method, and image signal processing program
US8208037B2 (en) Digital camera and gain computation method
JP2021182672A (ja) 画像処理装置、画像処理方法、及びプログラム
JP4029206B2 (ja) 撮像装置
JPH11113018A (ja) 撮像装置
JP2007036462A (ja) 画像処理装置
CN112532960B (zh) 白平衡同步方法及装置、电子设备和存储介质
US20060177127A1 (en) Spectral normalization using illuminant exposure estimation
US8363895B2 (en) Image processing apparatus and image sensing apparatus
JP3958700B2 (ja) デジタルカメラ
WO2020026561A1 (ja) 画像処理装置と画像処理方法とプログラムおよび撮像装置
JP2016024482A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP3973820B2 (ja) ホワイトバランス調整装置、カラー撮像装置
JP2002135802A (ja) 信号処理装置、撮像装置、信号処理方法および記憶媒体
JP2021086269A (ja) 画像処理装置、その制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090911

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120522

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120614

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5021338

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150622

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees