JP4528349B2 - 撮像装置 - Google Patents

Description

この発明は、画像処理機能を備えた撮像装置に関する。

いわゆるビデオカメラは言うまでもなく、近年普及するに至ったメモリカード等を記録媒体としたディジタルカメラに代表される、主として静止画の記録装置として構成された電子スチルカメラなど、撮像素子を用いて被写体像を撮影し電気信号の形で記録する電子撮像装置は広く知られている。

電子撮像装置は、その信号が電気回路によって処理可能であることから、その記録画像の生成に際しては画質向上のための様々な画像処理が行われているが、通常は旧来の銀塩フィルムカメラシステムの画質に対して未だ劣ることの多いその画質を補うに留まっている。

これに対して、画質向上のための画像処理を行うに際して、領域によって異なる処理を施せば様々な可能性が広がる。このような観点から試みられている技術もいくつかは存在している。例えば特開平８−５１６３２号公報には、ストロボ撮影画像と外光のみでの撮影画像との輝度比較に基づいて、ストロボ撮影画像のホワイトバランス制御をブロック単位で処理する、領域対応型ホワイトバランス処理技術が開示されている。

特開平８−５１６３２号公報

一般に、人工照明下で外光も取り入れたストロボ撮影を行うと、人物などの主要被写体と背景の照明色温度が異なるため、それぞれ色の異なった画像が得られる。主要被写体と背景で色調が異なる画像は、不自然で不具合である。この問題に対して、銀塩フィルムカメラにおいて撮影時に対策を施すことは、原理的に不可能である。電子撮像装置においては、画像処理技術を利用することが考えられ試みられている。

具体的には、上記公報開示の従来例は、本撮影であるストロボ撮影画像と、これと同じ露出条件における外光のみでの撮影画像との比較に基づいて、ストロボ撮影画像のホワイトバランス制御をブロック単位で処理することで、ストロボ光が主に寄与したブロックと、外光が主に寄与したブロックとで異なるホワイトバランス制御を行って、上記不具合の解決を試みている。しかしながら、この方法はその基本思想は優れているものの、いくつかの点で不具合を有している。

すなわち、まず主要被写体領域と背景領域とを弁別して領域設定する領域設定手段を有していないから、撮影時の手ぶれが生じた場合に誤動作が生じ、これに全く対処することができないことである。すなわち、手ぶれ（カメラぶれ）によって２画像にずれが生じた場合には、被写体の濃淡（反射率の大小）を反映して同一画素（画素ブロック）における２画像のレベルが異なることになるから、上記公報開示の従来例のような被写体の領域認識（主要被写体領域か、背景領域かの弁別）を伴わない単純なレベル比較によってブロック処理を行うと、この画像のずれによるレベル差をストロボ光の有無によるレベル差と区別できないから、誤ったホワイトバランス設定を生じてしまうという問題があった。

また、上記従来例においては処理がブロック単位で単純に行われているから、処理に伴うブロック歪みが生じる。すなわち、処理ブロック内に主要被写体と背景との境界が存在した場合には、そのブロックのホワイトバランス処理は上記公報記載の例に従えばブロック代表画素の比較結果に基づいて行われるから、そのブロック全体についてストロボに基づく処理か外光に基づく処理かの二者択一的設定となる。したがって、少なくとも上記被写体境界を含むブロック内には、本来受けるべきものとは異なるホワイトバランス調整を受ける画素が生じ、隣の（被写体境界を含まないため、全ての画素が適正なホワイトバランス調整を受けた）ブロックとのブロック境界では、色の段差が発生してしまうという問題があった。また、比較する２画像の与え方も「ストロボの有無だけが異なる同じ露出条件（同じ絞り値、同じ露出時間）」を必須としているから、適用できる被写体条件範囲が狭くなってしまうということも問題であった。

本発明は、従来の撮像装置における上記問題点を解決するためになされたもので、外光下のストロボ撮影において主要被写体と背景との双方に適正なホワイトバランス調節を行うことができるようにした撮像装置を提供することを目的とする。請求項毎の目的を述べると、請求項１に係る発明は、弁別設定した被写体画像の各領域に基づき、各領域を抜き出した画像の合成によって記録画像を生成することにより、領域毎に異なるホワイトバランス調節処理を行わなくとも結果として全ての被写体領域に対して良好なホワイトバランス調節を行うことができ、また従来の被写体の領域認識を伴わないブロック処理時における誤動作の発生を防止できるようにした撮像装置を実現することを目的とする。請求項２に係る発明は、弁別設定した被写体画像の各領域毎に異なるホワイトバランス調節処理を行うことができ、また従来の被写体の領域認識を伴わないブロック処理時における誤動作の発生を防止することができ、また画像生成に際して画像合成等の処理を必要とせず、回路構成や制御等を簡単にすることが可能な撮像装置を実現することを目的とする。請求項３に係る発明は、ホワイトバランス調節処理を行う場合に従来技術の有するブロックひずみの問題を容易に解決できるようにした撮像装置を実現することを目的とする。

上記問題点を解決するため、請求項１に係る発明は、被写体照明装置を含む露出手段と、該露出手段を制御する露出制御手段と、少なくとも前記照明装置による照射を行って撮像した第１の画像の情報に基づいて、画像領域全体から主要被写体領域と背景領域とを弁別して領域設定する領域設定手段と、前記第１の画像と、該第１の画像とは別の少なくとも外光に起因する露光成分を実質的に含む露出条件で前記照明装置による照射を行わないで撮像した第２の画像とに基づいて、記録等の利用対象画像である第３の画像を生成する記録画像生成手段と、前記第１及び第２の画像に対してそれぞれ異なるホワイトバランス調節処理を行う画質調節手段と、該記録画像生成手段による前記第３の画像の生成過程において、前記領域設定手段により設定された前記主要被写体領域と背景領域に対して前記第１及び第２の画像のそれぞれ該当する領域の画像を選択する選択手段とを備え、前記露出制御手段は、前記第１の画像の撮像に当たっては外光の影響を排除するために、実質露光時間を前記第２の画像の撮像時よりも小さくするように構成されていることを特徴として、撮像装置を構成するものである。

請求項２に係る発明は、被写体照明装置を含む露出手段と、該露出手段を制御する露出制御手段と、前記照明装置による照射を行って撮像した第１の画像の情報に基づいて、画像領域全体から主要被写体領域と背景領域とを弁別して領域設定する領域設定手段と、前記第１の画像とは別の少なくとも外光に起因する露光成分を実質的に含む露出条件で前記照明装置による照射を行って撮像した第２の画像に基づいて、記録等の利用対象画像である第３の画像を生成する記録画像生成手段と、該記録画像生成手段による前記第３の画像の生成過程において、前記領域設定手段により設定された前記主要被写体領域と背景領域に対してそれぞれ異なるホワイトバランス調節処理を行う画質調節手段とを備え、前記露出制御手段は、前記第１の画像の撮像に当たっては外光の影響を排除するために、実質露光時間を前記第２の画像の撮像時よりも小さくするように構成されていることを特徴として、撮像装置を構成するものである。

請求項３に係る発明は、請求項１又は２に係る撮像装置において、前記領域設定手段による領域の設定は、色処理に関する画像の最小単位以下の単位でなされていることを特徴とするものである。

本発明によれば、外光下のストロボ撮影において主要被写体と背景との双方に適正なホワイトバランス調節を行うことができるようにした撮像装置を実現することができる。特に請求項１に係る発明によれば、主要被写体領域と背景領域とを弁別して設定できるので、弁別設定した被写体画像の各領域に基づき、各領域を抜き出した画像の合成によって記録画像を生成することにより、領域毎に異なるホワイトバランス調節処理を行わなくとも結果として全ての被写体領域に対して良好なホワイトバランス調節を行うことができ、また従来技術における「被写体の領域認識を伴わない単純なレベル比較によってブロック処理するため、手ぶれ等に起因する画像のずれによって誤動作を生ずる」という問題を解決することができる。また請求項２に係る発明によれば、弁別設定した被写体画像の各領域毎に異なるホワイトバランス調節処理を行うことができ、また従来の被写体の領域認識を伴わないブロック処理時における誤動作の発生を防止することができ、また画像生成に際して画像合成等の処理を必要としないので、回路構成や制御等を簡単にすることが可能となる。また請求項３に係る発明によれば、ホワイトバランス調節処理においては、ブロック処理の場合に被写体境界に起因して発生するブロックひずみの発生を有効に防止することができる。

本発明に係る撮像装置の実施の形態を示すブロック構成図である。 ストロボ照射（発光）を伴わない露光による第２画像とストロボ照射を伴う露光による第１画像を示す概略図である。

次に、本発明を実施するための最良の形態について説明する。

次に実施例について説明する。図１は、本発明に係る撮像装置（ディジタルカメラ）の実施例を示すブロック構成図である。図１において、１はレンズ系、２はレンズ駆動機構、３は露出制御機構、４はフィルタ系、５はＣＣＤ撮像素子、６はＣＣＤドライバ、７はＡ／Ｄ変換器を含むプリプロセス回路、８はディジタルプロセス回路で、ハードとしてメモリを含み、全てのディジタルプロセス処理を行うものである。９はメモリカードインターフェース、10はメモリカード、11はＬＣＤ画像表示系、12は主たる構成としてマイコンを含むシステムコントローラ、13は操作スイッチ系、14は表示用ＬＣＤ及び発音ブザーを含む操作表示系、15はストロボ、16はレンズドライバ、17は露出制御ドライバである。なお、撮像装置には、この他に図示しないレリーズボタンなどが設けられている。

このように構成されているディジタルカメラにおいて、主要な動作である領域の弁別設定、ホワイトバランス処理、画像の選択又は合成による利用対象画像である記録画像の生成等は、全てディジタルプロセス回路８をシステムコントローラ12が制御することによって行い、また必要に応じてシステムコントローラ12は露出制御ドライバ17を制御することで、ストロボ発光も含めた露出動作を行うようになっている。また本実施例に係るディジタルカメラは、撮影モードとして従来のオートホワイトバランス撮影に相当するＡＷＢモードと、本実施例独自のＨＷＢ(Hyper White Balance）モードとを切り換え可能に有しており、操作スイッチ13によって撮影に先立ち、これを切り換え選択することができるようになっている。また、以下の説明におけるカメラ制御は、全てシステムコントローラ12が各部を適宜制御することによって実行される。

まず初めに、ＨＷＢモードにおいて撮影者がレリーズボタンを操作すると、まず１回目の露光がストロボ照射を伴って行われる。このとき絞り及びシャッタの制御については、領域判別処理の方法によっていくつか態様が考えられるが、本実施例においては、本撮影の露出値にかかわらず絞りは開放、露出時間はストロボ発光時間を下回らない範囲で最短時間に設定される。そして、ストロボ発光光量は公知のフラッシュマチックや測光等の技術により適正に調光させるようになっている。絞りを開放にすることで、ストロボ光の到達限界をより長くすることができ、また露出時間を短くすることで外光の影響を低下させることができる。このとき得られた画像を第１画像とする。なお、以下において背景は主要被写体より充分遠方にあるものと仮定する。したがって、背景に到達するストロボ光は主要被写体に比して充分小さい。

上記１回目の露光に引き続き２回目の露光を、本来意図した露出条件で直ちに行う。ただし、この際ストロボ発光は行わない。このとき得られた画像を第２画像とする。多くの撮影においては、この２回の露光間の時間差を充分小さく設定すれば、被写体の変化や手ぶれは無視し得るから、以下当面の説明にあたっては第１及び第２画像は実用上全く同じ構図の画像が得られているものとして説明する。

第２画像が図２の（Ａ）に示すような画像であるとすれば、第１画像は図２の（Ｂ）に示すように背景部がほぼ暗黒になった画像のようになる。すなわち、上記した如く第１画像においては露出時間が最短に設定されているから、外光による露光はほとんど無視できる。また背景は遠方にあるから、ストロボによる露光レベルは小さい。この第１画像に対して、画素単位で所定レベルに対するレベル比較を行い、所定レベル以上である画素位置を主要被写体領域として登録し、他の所定レベル未満の画素位置を背景領域として登録する。先に外光による露光はほとんど無視できると述べたが、現実には若干の露光はあり得るし、ストロボによる背景露光も存在するから、このレベル比較処理によって、この影響を確実に除去するものである。なお、上記１回目の露出の際のストロボ調光レベルを、通常撮影におけるそれよりも高めに設定すれば、主要被写体における低反射率部分に対する誤判別の可能性を低減することができ、この比較処理における領域設定をより確実なものにすることができる。

続いて、各画像に対するホワイトバランス調節を従来公知の方法により行う。第１画像に対してはストロボ光に対して適正になるように、第２画像に対しては外光に対して適正になるように行われる。次に、記録画像生成としての画像合成を行う。すなわち第１画像の主要被写体領域の画像と、上記第２画像の背景領域の画像とを組み合わせて、最終的な一つの記録画像とする。この結果、主要被写体と背景との双方に適正なホワイトバランス調節がなされた一つのストロボ撮影画像が得られる。

なお、上記説明においては、２つの画像は実用上全く同じ構図の画像であるとしたが、上記実施の形態で示したようなやり方で主要被写体と背景を弁別して領域設定して処理すれば、仮に手ぶれによって２画像に多少のずれを生じても、被写体境界付近を除けば上記従来例のような不具合は生じない。被写体境界付近についても、領域設定は第１画像のみに基づいて行っているから、少なくとも主要被写体に関しては不具合のない適正なホワイトバランス調節がなされている。これは上記領域設定を前提とした処理の直接的効果の一つの顕れである。

また、上記実施例では領域設定処理を画素毎に行うようにしたものを示した。これは上述のように、一般のブロック処理では被写体境界に起因するブロックひずみが生じるためであるが、目的がホワイトバランス処理である限り、その処理単位は必ずしも撮像素子の画素やメモリの画素そのものである必要はなく、例えば色帯域制限の関係で色信号処理の最小単位が複数の画素単位であるような系の場合は、その色信号処理単位以下であればよいということである。

以上本発明について上記実施例に基づいて説明を行ったが、上記実施例には次に示すような様々な変形例が考えられる。第１の変形例としては、露光の処理に関するものが挙げられる。上記実施例では、第１の画像の露光に際して外光を排除すべく設定したが、背景が上記実施例で仮定したよりも近くに存在するような場合は、誤動作を生じる可能性がある。これに対処するには、第１露光と第２露光で外光に対する露出レベルを等しくし、領域設定の場合の条件として、２画像のレベル比較を行うことが考えられる。このようにすることにより、ストロボ光と外光の寄与がどの程度かを具体的に考慮して主要被写体と背景とを弁別することが可能になる。具体例として、ストロボ光の寄与度が外光のそれ以上である領域を主要被写体とするケースを挙げておく。この際に重要なのは、あくまでも露出レベルであるから、絞り値・露光時間個別の値自体は、露出値ＥＶ（Exposure Value）一定の条件のもとであれば、任意に設定可能である。ストロボ発光の無駄を押さえ到達距離を伸ばす観点からは、より絞りを開く制御が一つの好適例となる。

第２の変形例としては、第１露光及び領域設定処理は、上記実施例と同様に行い、第２露光に際してもストロボを発光させて、本来目的とする本露光の露出条件で行うものが挙げられる。この場合、記録画像の生成にあたっては、第１の画像を用いず、第２の画像に対して主要被写体と背景で領域毎に異なるホワイトバランス処理を行うことが可能であるため、画像合成等の処理を必要としない。

１ レンズ系
２ レンズ駆動機構
３ 露出制御機構
４ フィルタ系
５ ＣＣＤ撮像素子
６ ＣＣＤドライバ
７ プリプロセス回路
８ ディジタルプロセス回路
９ メモリカードインターフェース
10 メモリカード
11 ＬＣＤ画像表示系
12 システムコントローラ
13 操作スイッチ系
14 操作表示系
15 ストロボ
16 レンズドライバ
17 露出制御ドライバ

Claims (3)

1. 被写体照明装置を含む露出手段と、
   該露出手段を制御する露出制御手段と、
   少なくとも前記照明装置による照射を行って撮像した第１の画像の情報に基づいて、画像領域全体から主要被写体領域と背景領域とを弁別して領域設定する領域設定手段と、
   前記第１の画像と、該第１の画像とは別の少なくとも外光に起因する露光成分を実質的に含む露出条件で前記照明装置による照射を行わないで撮像した第２の画像とに基づいて、記録等の利用対象画像である第３の画像を生成する記録画像生成手段と、
   前記第１及び第２の画像に対してそれぞれ異なるホワイトバランス調節処理を行う画質調節手段と、
   該記録画像生成手段による前記第３の画像の生成過程において、前記領域設定手段により設定された前記主要被写体領域と背景領域に対して前記第１及び第２の画像のそれぞれ該当する領域の画像を選択する選択手段とを備え、
   前記露出制御手段は、前記第１の画像の撮像に当たっては外光の影響を排除するために、実質露光時間を前記第２の画像の撮像時よりも小さくするように構成されていることを特徴とする撮像装置。
2. 被写体照明装置を含む露出手段と、
   該露出手段を制御する露出制御手段と、
   前記照明装置による照射を行って撮像した第１の画像の情報に基づいて、画像領域全体から主要被写体領域と背景領域とを弁別して領域設定する領域設定手段と、
   前記第１の画像とは別の少なくとも外光に起因する露光成分を実質的に含む露出条件で前記照明装置による照射を行って撮像した第２の画像に基づいて、記録等の利用対象画像である第３の画像を生成する記録画像生成手段と、
   該記録画像生成手段による前記第３の画像の生成過程において、前記領域設定手段により設定された前記主要被写体領域と背景領域に対してそれぞれ異なるホワイトバランス調節処理を行う画質調節手段とを備え、
   前記露出制御手段は、前記第１の画像の撮像に当たっては外光の影響を排除するために、実質露光時間を前記第２の画像の撮像時よりも小さくするように構成されていることを特徴とする撮像装置。
3. 前記領域設定手段による領域の設定は、色処理に関する画像の最小単位以下の単位でなされていることを特徴とする請求項１又は２に係る撮像装置。

Images