Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5167405B2 - 閃光の影響を補正する撮像装置 - Google Patents
[go: Go Back, main page]

JP5167405B2 - 閃光の影響を補正する撮像装置 - Google Patents

閃光の影響を補正する撮像装置 Download PDF

Info

Publication number
JP5167405B2
JP5167405B2 JP2011502627A JP2011502627A JP5167405B2 JP 5167405 B2 JP5167405 B2 JP 5167405B2 JP 2011502627 A JP2011502627 A JP 2011502627A JP 2011502627 A JP2011502627 A JP 2011502627A JP 5167405 B2 JP5167405 B2 JP 5167405B2
Authority
JP
Japan
Prior art keywords
video signal
unit
flash
output
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011502627A
Other languages
English (en)
Other versions
JPWO2010100866A1 (ja
Inventor
克幸 福井
良次 浅田
保 福島
直幸 井上
一真 元田
貴政 横山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2011502627A priority Critical patent/JP5167405B2/ja
Publication of JPWO2010100866A1 publication Critical patent/JPWO2010100866A1/ja
Application granted granted Critical
Publication of JP5167405B2 publication Critical patent/JP5167405B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、連続画像を撮像するデジタルカメラやビデオカメラなどの撮像装置に活用される技術であって、外部閃光による悪影響を緩和することができる撮像装置に関するものである。
撮像装置(カメラ等)のフラッシュなどの外部閃光により、撮像装置により撮像(取得)される画像において、画面が急に明るくなりすぎることがある。このとき、CCD型撮像素子(CCD型イメージセンサ)を使用した撮像装置(カメラ等)では、外部閃光による影響は、撮像画像の画面でほぼ一律に現れる。これは、CCD型撮像素子の画素ごとに設けられたフォトダイオードから電荷をバッファとなるCCD(Charge Coupled Device)に送る動作が、全てのフォトダイオードで同時に行われるためである。
しかしながら、近年、撮像装置(カメラ等)に搭載されるようになった、CMOS型撮像素子(CMOS型イメージセンサ)は、CMOS型撮像素子の画素ごとに設けられたフォトダイオードの電荷(蓄積電荷)を画面(撮像素子面)の上から順にバッファとなる部分に送る。このため、CMOS型撮像素子では、画面(撮像素子面)の上部に配置されているフォトダイオードにより蓄積された電荷がバッファに転送される期間と、画面(撮像素子面)の下部に配置されているフォトダイオードにより蓄積された電荷がバッファに転送される期間と、にずれが生じる。
例えば、図17(a)に示すような期間に、フラッシュによる強い光がCMOS型撮像素子に入ったとすると、図17(a)に示すように、このCMOS型撮像素子により取得される撮像画像の画面の下の部分では、「フィールド2」が、画面の上の部分では、「フィールド3」が、それぞれ、フラッシュ光による影響を受ける。その結果、図17(b)に示す通り、「フィールド2」では、撮像画像の画面の下だけが明るくなり、「フィールド3」では、撮像画像の画面の上だけが明るくなってしまう。そして、フラッシュの光は強い光なので、このような状況下で、撮像された映像(画像)は、その明るくなる部分が白く飛ぶことになり(いわゆる「白飛び」現象が発生し)、白い帯状になる(画像(映像上)に白い帯状の高輝度部分が発生する)ことが多い。
こうした映像に対し、特許文献1に開示されている技術(従来の撮像装置)では、映像を記録するときに、閃光による帯状の映像が含まれるフィールドを記録せず、代わりに帯状の映像の影響を受けていない前後の映像を記録するようにしている。例えば、図17(b)に示す映像で言えば、従来の撮像装置では、「フィールド2」の映像(画像)と「フィールド3」の映像(画像)の代わりに、「フィールド1」の映像(画像)を記録する。
特開2007−306225号公報
しかしながら、従来の方法(従来の撮像装置)では、静止画を撮影する場合は良いが、動画を撮影する場合、閃光の影響により置き換えられた箇所で映像が不連続になりぎこちなさが生じる。また、従来の方法(従来の撮像装置)により撮像した映像では、閃光が入った映像が残らないため、閃光の有無もわからない(従来の撮像装置により、実際に閃光があったシーンを撮像する場合、現実には、閃光があったにも関わらず、撮像映像では、閃光が存在しないため、現実のシーンを忠実に再現していないことになる。)。
本発明は、上記従来の課題を解決するもので、外部閃光による明るい横帯のある不自然な画面(撮像画像)を無くし、閃光が入ったかどうかもわかるようにし、動画として連続性を確保した画像(映像)を出力する撮像装置、撮像方法、プログラムおよび集積回路を提供することを目的とする。
第1の発明は、撮像部と、閃光検出部と、閃光補正部と、を備える撮像装置である。
撮像部は、撮像素子を有し、被写体から入射する光信号を電気信号に変換して映像信号を取得し、出力する。閃光検出部は、撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出する。閃光補正部は、閃光検出部により、撮像部により取得される映像信号が、閃光の影響を受けていると判断された場合、閃光の影響を受けていると判断された映像信号を用いて、撮像部から出力される映像信号を補正する。
この撮像装置では、上記構成により、撮像部により取得される映像信号が、閃光の影響を受けていると判断された場合、閃光の影響を受けていると判断された映像信号を用いて、撮像部から出力される映像信号を補正する。これにより、この撮像装置では、外部閃光による明るい横帯のある不自然な画面を無くし、また、閃光が撮像装置に入ったかどうかも分かるようにしつつ、動画として連続性を確保した映像(画像)を得ることができる。
第2の発明は、第1の発明であって、閃光検出部により、N番目(Nは整数)の単位画像を形成する映像信号であるN番目映像信号およびN+1番目(Nは整数)の単位画像を形成する映像信号である(N+1)番目映像信号が、閃光の影響を受けていると判断された場合、閃光補正部は、N番目映像信号および(N+1)番目映像信号を用いて補正映像信号を生成し、撮像部から出力される映像信号を、補正映像信号に置換することで、撮像部から出力される映像信号を補正する。
これにより、閃光の影響を受けているN番目映像信号および(N+1)番目映像信号が形成する画面(N番目の画面および(N+1)番目の画面)において、外部閃光による明るい横帯のある不自然な画面を無くし、また、閃光が撮像装置に入ったかどうかも分かるようにしつつ、動画として連続性を確保した映像(画像)を得ることができる。
なお、「単位画像」とは、映像信号(画像信号)により形成される画像であり、表示装置において、1画面を構成する。例えば、フィールド画像(映像)やフレーム画像(映像)が、「単位画像」に該当する。
なお、「置換」とは、一部を置換することを含む概念である。「置換」は、例えば、以下のような一部を置換する場合を含む。
すなわち、「単位画像」がフィールド画像である場合において、1番目のフィールド画像は、外部閃光の影響を受けておらず、2番目および3番目のフィールド画像が、外部閃光の影響を受けており、そして、4番目のフィールド画像は、外部閃光の影響を受けていない場合、
(1)2番目のフィールド画像を、外部閃光の影響を受けていない1番目のフィールド画像で置換し、
(2)3番目のフィールド画像を、外部閃光の影響を受けている2番目のフィールド画像および3番目のフィールド画像を加算することで生成した補正画像で置換する。
「置換」には、上記のように、外部閃光の影響を受けている2つのフィールド画像のうち、1つのフィールド画像のみを、外部閃光の影響を受けているフィールド画像を用いて生成した補正画像で置換することが含まれる。
第3の発明は、第1または第2の発明であって、閃光補正部は、第1選択部と、遅延部と、出力選択部と、を有する。
第1選択部は、複数の映像信号を入力することができ、入力される複数の映像信号から、閃光検出部の検出結果に基づいて、いずれか1つの映像信号を選択し、出力する。遅延部は、第1選択部から出力される映像信号を、映像信号により形成される単位画像に相当する時間である単位画像時間だけ遅延させて出力する。加算部は、撮像部から出力される映像信号および遅延部から出力される映像信号に対して加算処理を行い、処理を行った映像信号を出力する。出力選択部は、加算部から出力される映像信号または遅延部から出力される映像信号のどちらか一方を選択して出力する。
そして、第1選択部は、撮像部から出力される映像信号および加算部から出力される映像信号を入力とし、閃光検出部により、撮像部から出力される映像信号が、閃光の影響を受けていないと判断された場合、撮像部から出力される映像信号を選択して出力し、閃光検出部により、撮像部から出力される映像信号が、閃光の影響を受けていると判断された場合、加算部から出力される映像信号を選択して出力する。出力選択部は、閃光検出部により、撮像部から出力される映像信号が、閃光の影響を受けていないと判断された場合、遅延部から出力される映像信号を選択して出力し、閃光検出部により、撮像部から出力される映像信号が、閃光の影響を受けていると判断された場合、加算部から出力される映像信号を選択して出力する。
この撮像装置では、上記構成により、その画面の一部(例えば、画面上部または画面下部)において閃光の影響を受けて明るくなっている単位画像(例えば、フィールド画像やフレーム画像)を検出し、当該単位画像を、閃光の影響を受けて明るくなっている画像領域(例えば、画面上部または画面下部)を用いて補正することができる。その結果、この撮像装置により取得される映像において、閃光の影響が不自然に発生することを防止することができる。
これにより、この撮像装置では、外部閃光による明るい横帯のある不自然な画面を無くし、また、閃光が撮像装置に入ったかどうかも分かるようにしつつ、動画として連続性を確保した映像(画像)を得ることができる。
なお、「単位画像」とは、映像信号(画像信号)により形成される画像であり、表示装置において、1画面を構成する。例えば、フィールド画像(映像)やフレーム画像(映像)が、「単位画像」に該当する。
また、「単位画像時間」とは、映像信号により単位画像が形成されるのに要する時間であり、例えば、「単位画像」が「フィールド画像」である場合、「単位画像時間」は、「フィールド時間」であり、「単位画像」が「フレーム画像」である場合、「単位画像時間」は、「フレーム時間」である。
第4の発明は、第3の発明であって、加算部は、撮像部から出力される映像信号と、遅延部から出力される映像信号と、を加算することで、加算処理を行う。
第5の発明は、第3の発明であって、加算部は、撮像部から出力される映像信号と、遅延部から出力される映像信号と、を加算して平均することで、加算処理を行う。
これにより、この撮像装置により取得される映像信号の信号値が大きくなりすぎることを防ぐことができるので、閃光の影響に発生する、いわゆる「白飛び」現象等を効果的に抑制することができる。
なお、「加算して平均する」とは、2つの映像信号を加算し、平均をとること以外に、2つの映像信号に、それぞれ、「1/2」の重付をして加算することも含む。さらに、「1/2」以外の重付による加算をも含む。
第6の発明は、第1または第2の発明であって、閃光検出部は、撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出し、映像信号により形成される単位画像に相当する時間である単位画像時間前の検出結果を保持する。
そして、閃光補正部は、第1選択部と、遅延部と、出力選択部と、を有している。
第1選択部は、複数の映像信号を入力することができ、入力される複数の映像信号から、閃光検出部の検出結果に基づいて、いずれか1つの映像信号を選択し、出力する。遅延部は、第1選択部から出力される映像信号を、1単位画像時間だけ遅延させて出力する。出力選択部は、撮像部から出力される映像信号または遅延部から出力される映像信号のどちらか一方を選択して出力する。
そして、第1選択部は、閃光検出部により、1単位画像前の映像信号により形成される単位画像の画面の下部に相当する映像信号が、閃光による影響を受けていると判断された場合、処理対象となっている単位画像において、画面の下部に相当する期間、遅延部から出力される映像信号を選択して出力し、それ以外の場合、撮像部から出力される映像信号を選択して出力する。出力選択部は、閃光検出部により、映像信号により形成される単位画像の画面の上部に相当する映像信号が、閃光による影響を受けていると判断された場合、処理対象となっている単位画像において、画面の上部に相当する期間、撮像部から出力される映像信号を選択して出力し、それ以外の場合、遅延部から出力される映像信号を選択して出力する。
この撮像装置では、上記構成により、その画面の一部(例えば、画面上部または画面下部)において閃光の影響を受けて明るくなっている単位画像(例えば、フィールド画像やフレーム画像)を検出し、当該単位画像を、閃光の影響を受けて明るくなっている画像領域(例えば、画面上部または画面下部)を用いて補正することができる。その結果、この撮像装置により取得される映像において、閃光の影響が不自然に発生することを防止することができる。
これにより、この撮像装置では、外部閃光による明るい横帯のある不自然な画面を無くし、また、閃光が撮像装置に入ったかどうかも分かるようにしつつ、動画として連続性を確保した映像(画像)を得ることができる。また、閃光が入った画像の元の画像が第3の発明よりわかりやすくなる。
第7の発明は、第1または第2の発明であって、閃光検出部は、撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出し、映像信号により形成される単位画像に相当する時間である単位画像時間前の検出結果を保持する。
そして、閃光補正部は、遅延部と、選択部と、を有する。
遅延部は、閃光検出部により、1単位画像前の映像信号により形成される単位画像の画面の下部に相当する映像信号が、閃光による影響を受けていると判断された場合、処理対象となっている単位画像において、画面の下部に相当する期間、撮像部から出力される映像信号を受け付けずに、1単位画像時間前に、撮像部から受け付けた映像信号を、さらに1単位画像時間遅延させて出力し、それ以外の場合、撮像部からの映像信号を1単位画像時間遅延させて出力する。選択部は、閃光検出部により、映像信号により形成される単位画像の画面の上部に相当する映像信号が、閃光による影響をうけていると判断された場合、処理対象となっている単位画像において、画面の上部に相当する期間、撮像部から出力される映像信号を選択して出力し、それ以外の場合、遅延部から出力される映像信号を選択して出力する。
この撮像装置では、上記構成により、その画面の一部(例えば、画面上部または画面下部)において閃光の影響を受けて明るくなっている単位画像(例えば、フィールド画像やフレーム画像)を検出し、当該単位画像を、閃光の影響を受けて明るくなっている画像領域(例えば、画面上部または画面下部)を用いて補正することができる。その結果、この撮像装置により取得される映像において、閃光の影響が不自然に発生することを防止することができる。
これにより、この撮像装置では、外部閃光による明るい横帯のある不自然な画面を無くし、また、閃光が撮像装置に入ったかどうかも分かるようにしつつ、動画として連続性を確保した映像(画像)を得ることができる。第6の発明より回路規模が小さくなり、閃光の影響のある画像を処理するときの電力も小さくなる。
なお、「処理対象となっている単位画像において、前記画面の下部(上部)に相当する期間」とは、例えば、「単位画像」を「フィールド画像」とした場合、現在、撮像装置が処理対象としているフィールド画像において、そのフィールド画像の画面の下部(上部)を形成する映像信号が、撮像装置において処理対象となる時間(期間)のことをいう。
第8の発明は、第1または第2の発明であって、閃光検出部は、撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出し、映像信号により形成される単位画像に相当する時間である単位画像時間前の検出結果を保持する。
そして、閃光補正部は、第1選択部と、遅延部と、加算部と、混合部と、出力選択部と、を有する。
第1選択部は、複数の映像信号を入力することができ、入力される複数の映像信号から、閃光検出部の検出結果に基づいて、いずれか1つの映像信号を選択し、出力する。遅延部は、第1選択部から出力される映像信号を1単位画像時間遅延させた第1遅延信号と、第1遅延信号を1単位画像時間遅延させた第2遅延信号と、を出力する。加算部は、撮像部から出力される映像信号と遅延部から出力される第1遅延信号とに対して加算処理を行い、処理をおこなった映像信号を出力する。混合部は、加算部から出力される映像信号と第2遅延信号と、を所定の割合で混合し、出力する。出力選択部は、混合部から出力される映像信号または遅延部から出力される第1遅延信号のどちらか一方を選択して出力する。
そして、第1選択部は、撮像部から出力される映像信号および混合部から出力される映像信号を入力とし、閃光検出部により、撮像部から出力される映像信号が、閃光の影響を受けていないと判断された場合、撮像部から出力される映像信号を選択して出力し、閃光検出部により、撮像部から出力される映像信号が、閃光の影響を受けていると判断された場合、混合部から出力される映像信号を選択して出力する。出力選択部は、閃光検出部により、撮像部から出力される映像信号が、閃光の影響を受けていないと判断された場合、第1遅延信号を選択して出力し、閃光検出部により、撮像部から出力される映像信号が、閃光の影響を受けていると判断された場合、混合部から出力される映像信号を選択して出力する。
この撮像装置では、上記構成により、その画面の一部(例えば、画面上部または画面下部)において閃光の影響を受けて明るくなっている単位画像(例えば、フィールド画像やフレーム画像)を検出し、当該単位画像を、閃光の影響を受けて明るくなっている画像領域(例えば、画面上部または画面下部)を用いて補正することができる。その結果、この撮像装置により取得される映像において、閃光の影響が不自然に発生することを防止することができる。
これにより、この撮像装置では、外部閃光による明るい横帯のある不自然な画面を無くし、また、閃光が撮像装置に入ったかどうかも分かるようにしつつ、動画として連続性を確保した映像(画像)を得ることができる。また、この撮像装置では、混合部により、より多くの単位画像を用いて生成される画像(映像)により、閃光補正を行うので、第3の発明より動きの不連続さを緩和することができる。
第9の発明は、第8の発明であって、遅延部は、閃光検出部により、撮像部から出力される映像信号が、閃光の影響を受けていると判断された場合のみ、第2遅延信号を出力する。
この撮像装置では、必要なときのみ、遅延部により、第2遅延信号が出力されるので、第8の発明より閃光の影響のある画像を処理するときの電力が小さくなる。
第10の発明は、第1から第9のいずれかの発明であって、単位画像は、フィールド画像であり、単位画像時間は、フィールド時間である。
これにより、フィールド単位での閃光補正処理を行うことができる。
第11の発明は、第1から第10のいずれかの発明であって、閃光検出部は、画素単位、ライン単位、または、フィールド単位のいずれかで撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出する。
また、閃光検出部は、以下の信号の生成を行う。
(1)映像信号により形成される画像の画面において、閃光の影響を受けている画面領域に相当する期間だけ、閃光の影響があることを示す値を出力する第1閃光判断信号の生成。
(2)映像信号により形成される画像の画面の開始時において、閃光の影響を受けていると判断した場合、画面全部に相当する期間だけ、閃光の影響があることを示す値を出力する第2閃光判断信号の生成。
(3)映像信号により形成される画像の画面内の下部だけに閃光の影響が有ると判断した場合、画面全部に相当する期間だけ、閃光の影響があることを示す値を出力する第3閃光判断信号の生成。
そして、閃光検出部は、第1閃光判断信号、第2閃光判断信号および第3閃光判断信号を、それぞれ、所定時間遅延させることができ、第1閃光判断信号、第2閃光判断信号および第3閃光判断信号、並びに、第1閃光判断信号、第2閃光判断信号および第3閃光判断信号を所定時間遅延させた信号のうちのいずれか1つまたは複数の信号を出力することができる。
これにより、どの単位画像が閃光の影響を受けているかを示す信号、映像信号により形成される画像において画面のどの領域が閃光の影響を受けているかを示す信号を生成することができ、これらの信号を用いて、撮像装置において、適切に閃光補正処理を行うことができる。
第12の発明は、第1から第11のいずれかの発明であって、加算部および選択部は、加算部及び選択部に入力される2つの映像信号の垂直位相が互いに0.5ラインずれているとき、どちらかの映像信号を0.5ライン分シフトして垂直方向の位相を合わせた上で信号を加算及び選択する。
この撮像装置では、撮像部で生成する信号が、加算部及び選択部に入力される2つの映像信号の垂直位相が互いに0.5ラインずれているとき、どちらかの映像信号を0.5ライン分シフトして垂直方向の位相を合わせた上で信号を加算及び選択することで、信号の垂直方向の位相が処理によりずれることがなくなる。
これにより、インターレース形式の映像信号に対しても閃光補正処理を適切に行うことができる。
第13の発明は、撮像素子を有し、被写体から入射する光信号を電気信号に変換して映像信号を取得し、出力する撮像部を備える撮像装置に用いられる撮像方法であって、閃光検出ステップと、閃光補正ステップと、を備える撮像方法である。
閃光検出ステップでは、撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出する。閃光補正ステップでは、閃光検出ステップにより、撮像部により取得される映像信号が、閃光の影響を受けていると判断された場合、閃光の影響を受けていると判断された映像信号を用いて、撮像部から出力される映像信号を補正する。
これにより、第1の発明と同様の効果を奏する撮像方法を実現することができる。
第14の発明は、撮像素子を有し、被写体から入射する光信号を電気信号に変換して映像信号を取得し、出力する撮像部を備える撮像装置に用いられる撮像方法をコンピュータに実行させるプログラムである。そして、撮像方法は、閃光検出ステップと、閃光補正ステップと、を備える。
閃光検出ステップでは、撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出する。閃光補正ステップでは、閃光検出ステップにより、撮像部により取得される映像信号が、閃光の影響を受けていると判断された場合、閃光の影響を受けていると判断された映像信号を用いて、撮像部から出力される映像信号を補正する。
これにより、第1の発明と同様の効果を奏する撮像方法をコンピュータに実行させるプログラムを実現することができる。
第15の発明は、撮像素子を有し、被写体から入射する光信号を電気信号に変換して映像信号を取得し、出力する撮像部を備える撮像装置に用いられる集積回路であって、閃光検出部と、閃光補正部と、を備える。
閃光検出部は、撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出する。閃光補正部は、閃光検出部により、撮像部により取得される映像信号が、閃光の影響を受けていると判断された場合、閃光の影響を受けていると判断された映像信号を用いて、撮像部から出力される映像信号を補正する。
これにより、第1の発明と同様の効果を奏する集積回路を実現することができる。
本発明によれば、外部閃光による明るい横帯のある不自然な画面を無くし、また、閃光が入ったかどうかも分かるようにしつつ、動画として連続性を確保した映像(画像)を得ることができる撮像装置、撮像方法、プログラムおよび集積回路を実現することができる。
第1実施形態の撮像装置1のブロック図 第1実施形態の閃光補正部103のブロック図 第1実施形態の各部の映像の様子を示す図 第1実施形態の第1変形例の閃光補正部103のブロック図 第1実施形態の第1変形例の各部の映像の様子を示す図 第1実施形態の第2変形例の閃光補正部103Bのブロック図 第1実施形態の第2変形例の各部の映像の様子を示す図 第1実施形態の第3変形例の閃光補正部103Cのブロック図 第1実施形態の第3変形例の各部の映像の様子を示す図 第2実施形態の撮像装置2のブロック図 第2実施形態の閃光補正部103B’のブロック図 第2実施形態の閃光補正部103C’のブロック図 第2実施形態の各部の映像の様子を示す図 第3実施形態の閃光補正部103のブロック図 第3実施形態の閃光補正部103のブロック図 第3実施形態の各部の映像の様子を示す図 CMOS型撮像素子を使用したときに閃光が入ったときの例を示す図
以下、実施形態について、図面を参照しながら説明する。
[第1実施形態]
<1.1:撮像装置の構成>
図1に、第1実施形態の撮像装置1のブロック図(概略構成図)を示す。
なお、以下では、説明便宜のため、フィールド単位での処理について説明する。
図1に示すように、撮像装置1は、被写体を撮して映像信号VIを生成する撮像部101と、撮像部101で生成した映像信号VIから外部閃光の有無をフィールド単位で検出し、検出結果の情報を含む閃光検出信号FDを生成するする閃光検出部102と、閃光検出部102により生成された閃光検出信号FDに従って外部閃光の影響を受けた撮像部101の出力映像信号VIを補正する閃光補正部103と、を備える。
撮像部101は、例えば、CMOS型撮像素子(CMOS型イメージセンサ等)を含み、被写体からの光を集光し、集光した光を光電変換することにより映像信号VIとして取得する。撮像部101は、取得した映像信号VIを閃光検出部102および閃光補正部103に出力する。
閃光検出部102は、撮像部101から出力される映像信号VIを入力とし、映像信号VIから外部閃光の有無をフィールド単位で検出する。具体的には、映像信号VIにより形成されるフィールドにおいて、フィールドの開始時に相当する映像信号VIが外部閃光による影響を受けていると判定した場合(フィールドの1ライン目の映像信号VIが外部閃光による影響を受けていると判定した場合)、当該フィールドフィールド期間において、「1」になり、他の場合は、「0」になる閃光検出信号FDを生成する。そして、閃光検出部102は、生成した閃光検出信号FDを閃光補正部103に出力する。
閃光補正部103は、撮像部101から出力される映像信号VIと、閃光検出部102から出力される閃光検出信号FDと、を入力として、閃光検出信号FDに基づいて、映像信号VIに対して、閃光補正処理を行い、閃光補正処理後の映像信号VOを出力する。
図2に示すように、閃光補正部103は、第1選択部201と、出力選択部202と、遅延部203と、加算部204と、を有する。
第1選択部201は、撮像部101から出力される映像信号VIと、加算部204から出力される映像信号VMと、閃光検出部102から出力される閃光検出信号FDと、を入力とし、閃光検出信号FDに基づいて、映像信号VIまたは映像信号VMのいずれかを選択し、映像信号VWとして、遅延部203に出力する。
具体的には、第1選択部201は、以下のようにして、選択処理を行い、映像信号VWを出力する。
(1)閃光検出信号FDが「0」のときは、撮像部101から出力される映像信号VIを選択し、映像信号VWとして、遅延部203に出力する。
(2)閃光検出信号FDが「1」のときは、加算部204から出力される映像信号VMを選択し、映像信号VWとして、遅延部203に出力する。
遅延部203は、第1選択部201から出力される映像信号VWを入力とし、映像信号VWを1フィールド遅延(1フィールド期間に相当する時間だけ遅延)させた映像信号を、映像信号VRとして、加算部204および出力選択部202に出力する。
加算部204は、撮像部101から出力される映像信号VIと、遅延部203から出力される映像信号VRと、を入力とし、映像信号VIと映像信号VRとを加算した映像信号VMを生成する。そして、加算部204は、映像信号VMを出力選択部202に出力する。
出力選択部202は、遅延部203から出力される映像信号VRと、加算部204から出力される映像信号VMと、閃光検出部102から出力される閃光検出信号FDと、を入力とし、閃光検出信号FDに基づいて、映像信号VRまたは映像信号VMのいずれかを選択し、映像信号VOとして、出力する。
具体的には、出力選択部202は、以下のようにして、選択処理を行い、映像信号VOを出力する。
(1)閃光検出信号FDが「0」のときは、遅延部203から出力される映像信号VRを選択し、映像信号VOとして、出力する。
(2)閃光検出信号FDが「1」のときは、加算部204から出力される映像信号VMを選択し、映像信号VOとして、出力する。
<1.2:撮像装置の動作>
以上のように構成された撮像装置1について、その動作を、図3を併用し説明する。
図3は、図17で示すタイミングで閃光が、撮像装置1に入射した場合の映像信号VI、VR、VM、VO、VW、および、閃光検出信号FDの関係を、時間軸を合わせて示す図である。図3では、映像信号VI、VR、VM、VO、およびVW、のそれぞれにより形成される画像(映像)における閃光の影響の様子を模式的に示している。
なお、図3中のイタリック文字(太字)の番号は、入力映像(信号)のフィールドの番号を示している(以下、同様)。
まず、撮像部101では、撮像部101に含まれるレンズを通して、CMOS型撮像素子に入った光学像(被写体からの光)が電気信号に変換される。その電気信号に対して、A/D変換を行い、さらに、ホワイトバランスなどの処理が行うことで生成(取得)された信号は、映像信号VIとして、撮像部101から閃光検出部102および閃光補正部103に出力される。
そして、この映像(映像信号VIにより形成される映像)に対して、図17に示すようなタイミングで閃光が入ると、図3に示したVIのような映像(フィールド画像)になる。すなわち、閃光が入ったとき、「画面2」(フィールド2)(以下、「フィールドN」(N:整数)のことを「画面N」ということがある。)の上部は、既に映像信号として出力された後なので(「画面2」の上部に相当する部分の映像(画像)を形成する映像信号を生成するための蓄積電荷(撮像部101のCMOS型撮像素子の画素に蓄積される電荷)は、(閃光の前に)既に、撮像部101のCMOS型撮像素子から読み出されているので)、閃光の影響を受けておらず、通常の映像となる。一方、「画面2」の下部は、閃光により明るくなって、図3のVIの「画面2」(フィールド2)に示すような映像になる。これは、「画面2」の下部に相当する部分の映像(画像)を形成する映像信号を生成するための蓄積電荷(撮像部101のCMOS型撮像素子の画素に蓄積される電荷)が、閃光があった後に、撮像部101のCMOS型撮像素子から読み出されるからである。そして、「画面3」(フィールド3)は、閃光が入っている間に画面の上部の映像が生成されるので(「画面3」の上部に相当する部分の映像(画像)を形成する映像信号を生成するための蓄積電荷(撮像部101のCMOS型撮像素子の画素に蓄積される電荷)は、閃光があった後に、撮像部101のCMOS型撮像素子から読み出されるので)、「画面3」の画面上部は、明るい映像になり、「画面3」の画面下部の映像が生成されるときには、閃光がなくなっているので、「画面3」の画面下部は、閃光の影響を受けることなく通常の映像となる。
この映像信号VIに基づいて、閃光検出部102により、図3に示すような閃光検出信号FDが生成される。つまり、閃光検出部102は、映像信号VIが形成するフィールド画像の最初に(最初のラインに)外部閃光が入っている(外部閃光の影響を受けている)と判断した場合、当該フィールド期間において、閃光検出信号FDの信号値を「1」(H)にして出力する。すなわち、図3に示す場合、閃光検出部102は、映像信号VIが「画面3」のときに、閃光検出信号FDの信号値は「1」(H)にして出力し、それ以外のフィールドでは、閃光検出信号FDの信号値は「0」(L)にして出力する。なお、外部閃光の検出方法自体は、本発明の主とするところではないので、詳細な説明は省略する。
(1.2.1:閃光補正部103の動作)
次に、図3の「画面1」から「画面5」までの映像信号VIが、閃光補正部103に入力されたときの動作について、説明する。なお、ここで、「画面1」の前のフィールドの映像を「画面0」とし、「画面0」では外部閃光の影響はないものとする。
(「画面1」のとき):
映像信号VIが「画面1」のときは、外部閃光はなく(外部閃光の影響はなく)閃光検出信号FDの値が「0」なので、第1選択部201では、映像信号VIが選択される。したがって、図3に示すように、映像信号VWは、「画面1」の映像信号となり、遅延部203に出力される。
遅延部203では、1フィールド前のフィールドの映像信号が出力されるので、図3に示すように、映像信号VRは、「画面0」の信号となる。
そして、出力選択部202では、閃光検出信号FDの値が「0」なので、映像信号VRが選択される。したがって、図3に示すように、出力選択部202の出力信号である映像信号VOは、「画面0」の映像信号になる。
(「画面2」のとき):
次のフィールドでは、「画面2」、すなわち、図3に示すように画面下部が閃光の影響で明るくなった映像が入力される。このとき、閃光検出信号FDの値は、「0」なので、「画面1」が入力されるときと同じ動作になり、図3に示すように、映像信号VRは、「画面1」の映像信号となり、出力選択部202の出力であり、閃光補正部103の出力でもある映像信号VOは、「画面1」の映像信号となり、1フィールド遅延させるために、遅延部203に入力される映像信号VWは、「画面2」の映像信号となる。
(「画面3」のとき):
さらに、次のフィールドでは、「画面3」、すなわち、図3に示すように画面上部が閃光の影響で明るくなった映像が入力される。このとき、閃光検出信号FDの値は、「1」なので、「画面1」が入力されるときと異なる動作になる。
遅延部203では、前のフィールドで、1フィールド遅延させるために、遅延部203に入力された「画面2」の映像信号が、1フィールド遅延されて映像信号VRとして出力される。この映像信号VRである「画面2」の映像信号と映像信号VIである「画面3」の映像信号とが加算部204で加算され、映像信号VMが生成される。そして、閃光検出信号FDの値が「1」であるので、「画面2」の映像信号と「画面3」の映像信号とを加算して生成された映像信号VMは、出力選択部202により選択され、閃光補正部103としての出力信号VOとなる。また、閃光検出信号FDの値が「1」であるので、第1選択部201では、「画面2」の映像信号と「画面3」の映像信号とを加算して生成された映像信号VMが選択される。つまり、1フィールド遅延させるために、遅延部203に入力される映像信号VWは、映像信号VMとなる。
(「画面4」のとき):
さらに次のフィールドでは、図3に示すような「画面4」の映像信号が入力される。このとき、閃光検出信号FDの値は、「0」なので、「画面1」が入力されるときと同じ動作になる。従って、図3に示すように、映像信号VRは、前のフィールドで映像信号VWであった「画面2」の映像信号と「画面3」の映像信号とを加算した信号となる。そして、出力選択部202の出力であり、閃光補正部103の出力でもある映像信号VOは、閃光検出信号FDの値が「0」なので、映像信号VRである「画面2」の映像信号と「画面3」の映像信号とを加算した信号を選択し、映像信号VOとする。また、遅延部203へ1フィールド遅延させるために出力される映像信号VWは、入力された映像信号VIである「画面4」の映像信号になる。
(「画面5」のとき):
さらに次も同様に、映像信号VIとして、「画面5」の信号が入力されると、図3に示すように、映像信号VRは、「画面4」の映像信号になり、映像信号VOは、「画面4」の映像信号になり、そして、映像信号VWは、「画面5」の映像信号になる。以下同様の動作が毎フィールド繰り返されていく。
なお、加算部204にて、2つの映像信号を加算した結果、加算後の信号値が大きくなりすぎたときは、当該加算後の信号値を、入力映像信号が表現できる最大値に置き換えても良い。例えば、入力映像信号が10ビットのデジタル信号であれば、加算結果(加算後の信号値)が1024〜2046になると、これを1023に置き換えるようにしても良い。
以上の動作により、撮像装置1では、図3の映像信号VIのように「画面2」で画面下部が、「画面3」で画面上部が、それぞれ、閃光の影響で明るい映像になっていた映像信号を、図3の出力映像信号VOのように、映像信号VIの「画面2」および「画面3」に相当するところで、画面全部が明るい映像(「画面2」の映像信号と「画面3」の映像信号とを加算した映像信号による映像)になり、実際の被写体のように全部が均一に明るくなる映像を生成することができる。また、撮像装置1では、閃光の影響のある映像を使用することで、閃光が入ったかどうかも映像信号に残るようになる。
なお、撮像部101で生成される映像信号が、インターレースの形式のときには、図2の加算部204で映像信号を加算するとき映像信号VIのほうを0.5ライン分垂直方向にシフトして映像信号VRと垂直の画面の位置が同じになるように補正してから加算する。このとき、上記で説明した場合とは遅延量が変わることになるが、遅延部203から映像信号VRを読み出すタイミングを変えることで調整すれば良い。
また、本実施形態では、撮像装置1において、閃光が入ったかどうかを判断するための情報として映像信号VIを使用したが、これに限定されることはなく、例えば、閃光そのものを検出する専用のセンサーを撮像装置1に設け、撮像装置1では、そのセンサーから得られる信号で閃光検出信号FDを生成するようにしても良い。
≪第1変形例≫
次に、本実施形態の第1変形例について、説明する。
本変形例の撮像装置では、撮像装置1において、閃光補正部103を、図4に示す閃光補正部103Aに置換した構成となっている。閃光補正部103Aは、閃光補正部103における加算部204(図2参照)を、図4に示すように加算平均部404に置換した構成となっており、それ以外については、閃光補正部103Aは、閃光補正部103と同様である。
閃光補正部103を、図4に示す閃光補正部103Aに置換した構成の撮像装置では、図3で、「画面2」及び「画面3」のところで、「画面2」の映像信号と「画面3」の映像信号とを加算した映像信号による画面(図3中では、「2+3」と表記)に置き換わっていた信号が、図5に示すように、「画面2」の映像信号と「画面3」と映像信号とを加算平均した映像信号による画面(図5中では、「(2+3)/2」と表記)になる。これにより、この撮像装置では、加算したときと同様に、画面全部が均一に明るくなる映像を得ることができ、かつ、加算したときと違い、閃光の影響を受けていない部分の映像の情報が、閃光が強すぎることにより何が写っているかわからなくなることがなくなる(閃光が強すぎることによる影響を抑制することができる)。その代わり、この撮像装置では、閃光により明るくなる効果が抑えられることになる。そこで、この撮像装置において、加算して取得した映像信号を半分にする加算平均処理ではなく、加算して取得した映像信号に4分の3をかけることで加算平均処理を行うようにしてもよい。これにより、この撮像装置では、閃光により明るくなる効果を残しつつ、閃光が強すぎることによる影響を効果的に抑制することができる。なお、上記において、加算して取得した映像信号にかける数値は、「3/4」以外の数値であってもよいことは言うまでもない。
≪第2変形例≫
次に、本実施形態の第2変形例について、説明する。
本変形例の撮像装置では、撮像装置1において、閃光補正部103を、図6に示す閃光補正部103Bに置換した構成となっている。なお、以下では、上記と同様の部分については、同一符号を付し、詳細な説明を省略する。
閃光補正部103Bは、図6に示すように、第1選択部201と、加算部204と、遅延部203Bと、を備える。
第1選択部201は、映像信号VIと、加算部204から出力される映像信号VMと、閃光検出信号FDとを入力とする。第1選択部201は、閃光検出信号FDに基づいて、映像信号VIおよび映像信号VMのいずれか一方を選択し、選択した映像信号を映像信号VWとして、遅延部203Bに出力する。
加算部204は、映像信号VIと、遅延部203Bから出力される映像信号VRとを入力とする。加算部204は、映像信号VIと映像信号VRとを加算した映像信号VMを、第1選択部201に出力する。
遅延部203Bは、閃光検出信号FDと、第1選択部201から出力される映像信号VWとを入力とする。遅延部203Bは、映像信号VWを1フィールド遅延(1フィールド期間に相当する時間だけ遅延)させた映像信号を、映像信号VRとして、加算部204に出力する。また、遅延部203Bは、閃光検出信号FDに基づいて、映像信号VOを出力する。すなわち、
(1)閃光検出信号FDが「0」のとき、遅延部203Bは、映像信号VRと同じ映像信号を、映像信号VOとして出力する。
(2)閃光検出信号FDが「1」のとき、遅延部203Bは、1フィールド前の映像信号VRと同じ映像信号を、映像信号VOとして出力する。つまり、現在処理中のフィールドがN(Nは自然数)番目のフィールドである場合、遅延部203Bは、(N−1)番目のフィールドの映像信号VRを出力する。
図7は、図17で示すタイミングで閃光が、本変形例の撮像装置に入射した場合の映像信号VI、VR、VM、VO、VW、および、閃光検出信号FDの関係を、時間軸を合わせて示す図である。
図7に示すように、本変形例の撮像装置では、図3の場合と比較して、以下の点が異なる。
すなわち、図3の場合、「画面3」において、映像信号VOは、「画面2」の映像信号と「画面3」の映像信号とを加算した映像信号(図3中では、「2+3」と表記)である。
一方、図7の場合、「画面3」において、映像信号VOは、「画面1」の映像信号(図7中では、「1」と表記)である。
つまり、本変形例の撮像装置では、「画面3」において、閃光検出信号FDが「1」であるので、映像信号VOとして、1フィールド前の映像信号(図7中では、「1」と表記)(「画面2」における映像信号V0(VR))が出力されることになる。
≪第3変形例≫
次に、本実施形態の第3変形例について、説明する。
本変形例の撮像装置では、撮像装置1において、閃光補正部103を、図8に示す閃光補正部103Cに置換した構成となっている。なお、以下では、上記と同様の部分については、同一符号を付し、詳細な説明を省略する。
閃光補正部103Cは、図8に示すように、図2に示す閃光補正部103から、出力選択部202を削除し、遅延部203を遅延部203Cに置換した構成となっている。それ以外については、閃光補正部103Cは、閃光補正部103と同様である。
遅延部203Cは、閃光検出信号FDと、第1選択部201から出力される映像信号VWとを入力とする。遅延部203Cは、映像信号VWを1フィールド遅延(1フィールド期間に相当する時間だけ遅延)させた映像信号を、映像信号VRとして、加算平均部404に出力する。また、遅延部203Cは、閃光検出信号FDに基づいて、映像信号VOを出力する。すなわち、
(1)閃光検出信号FDが「0」のとき、遅延部203Cは、映像信号VRと同じ映像信号を、映像信号VOとして出力する。
(2)閃光検出信号FDが「1」のとき、遅延部203Cは、1フィールド前の映像信号VRと同じ映像信号を、映像信号VOとして出力する。つまり、現在処理中のフィールドがN(Nは自然数)番目のフィールドである場合、遅延部203Cは、(N−1)番目のフィールドの映像信号VRを出力する。
図9は、図17で示すタイミングで閃光が、本変形例の撮像装置に入射した場合の映像信号VI、VR、VM、VO、VW、および、閃光検出信号FDの関係を、時間軸を合わせて示す図である。
図9に示すように、本変形例の撮像装置では、図5の場合と比較して、以下の点が異なる。
すなわち、図5の場合、「画面3」において、映像信号VOは、「画面2」の映像信号と「画面3」の映像信号とを加算平均した映像信号(図中では、「(2+3)/2」と表記)である。
一方、図9の場合、「画面3」において、映像信号VOは、「画面1」の映像信号(図9中では、「1」と表記)である。
つまり、本変形例の撮像装置では、「画面3」において、閃光検出信号FDが「1」であるので、映像信号VOとして、1フィールド前の映像信号(図9中では、「1」と表記)(「画面2」における映像信号V0(VR))が出力されることになる。
[第2実施形態]
本実施形態は、第1実施形態と信号の流れはほぼ同じで、主に、閃光補正部103の構成と動作とが異なるので、その異なる部分を中心に、以下説明する。
<2.1:撮像装置の構成>
図10に示すように、本実施形態の撮像装置2は、第1実施形態の撮像装置1において、閃光検出部102を閃光検出部102Aに置換し、閃光補正部103を閃光補正部103Bに置換したものであり、それ以外については、本実施形態の撮像装置は、第1実施形態の撮像装置1と同様である。
なお、本実施形態において、上記実施形態と同様の部分については、同一の符号を付し、詳細な説明を省略する。
閃光検出部102Aは、撮像部101から出力される映像信号VIを入力とし、映像信号VIから閃光検出信号FDを生成し、閃光補正部103Bに出力する。なお、閃光検出信号FDは、上位ビットをFDO、下位ビットをFDWで構成される2ビットの信号であるものとする。
具体的には、閃光検出部102Aは、以下のようにして、閃光検出信号FDに生成し、出力する。
(1)閃光検出部102Aが、各フィールド画像の画面において、画面の上部だけ閃光がある(画面上部が閃光の影響を受けている)と判断したとき、閃光検出部102Aは、閃光検出信号の上位ビットFDOの値を「1」にし、それ以外のときは、閃光検出信号の上位ビットFDOの値を「0」にして、閃光補正部103Bに出力する。
(2)閃光検出部102Aが、1フィールド前のフィールド画像の画面において、画面の下部にだけ閃光がある(画面下部が閃光の影響を受けている)と判断したとき、閃光検出部102Aは、閃光検出信号の下位ビットFDWの値を「1」にし、それ以外のときは、閃光検出信号の下位ビットFDWの値を「0」にして、閃光補正部103Bに出力する。
閃光補正部103Bは、図11に示すように、第1選択部601と、出力選択部602と、遅延部203と、を備える。
第1選択部601は、閃光検出信号の下位ビットFDWが「0」のときは、撮像部101から出力される映像信号VIを選択し、閃光検出信号の下位ビットFDWが「1」のときは、遅延部203から出力される映像信号VRを選択し、映像信号VWを生成し、遅延部203に出力する。
遅延部203は、第1選択部601から出力される映像信号VWを1フィールド遅延させて映像信号VRを生成し、第1選択部601および出力選択部602に出力する。
出力選択部602は、閃光検出信号の上位ビットFDOが「0」のときは、遅延部203から出力される映像信号VRを選択し、閃光検出信号の上位ビットFDOが「1」のときは、撮像部101から出力される映像信号VIを選択し、映像信号VOとして出力する。
<2.2:撮像装置の動作>
以上のように構成された撮像装置2について、その動作を、図13を併用し説明する。また、図13の「画面1」の前のフィールドの映像を「画面0」とし、「画面0」では、外部閃光の影響はないものとする。
撮像部101から出力された映像信号VIは、図13に示すように、「画面2」では、画面の下部が閃光の影響を受けて明るくなっており、「画面3」では、画面の上部が閃光の影響を受けて明るくなっている。
閃光検出部102Aでは、図13に示すように、閃光の影響を受けている「画面2」と「画面3」の映像信号に対して、画面の上部だけ閃光があると判断されるとき「1」になる閃光検出信号FDO(閃光検出信号FDの上位1ビットによる信号)と、前のフィールドで画面の下部だけ閃光があると判断されるときだけ「1」になる閃光検出信号FDW(閃光検出信号FDの下位1ビットによる信号)を生成する。
13に示す場合、閃光検出部102Aは、「画面2」の最後(「画面2」の最後のラインを形成する映像信号)に、まだ、閃光が入っている(閃光の影響を受けている)と判断し、次の垂直ブランキング期間になったら、閃光検出信号FDOの値を、「1」にして出力する。そして、閃光検出部102Aは、映像信号VIを監視しつづけて、閃光による明るさの増加(閃光による影響)がなくなったと判断できる「画面3」の中央部分で、閃光検出信号FDOの値を、「0」にする。
また、閃光検出部102Aは、閃光が入り始めたラインを記憶しておき、次のフィールドで記憶しておいたラインになったときに、閃光検出信号FDWの値を「1」にして、さらに、次の垂直ブランキング期間が来たときに、閃光検出信号FDWの値を「0」にする。
(2.2.1:閃光補正部103Bの動作)
次に、図13の「画面1」から「画面5」までの映像信号VIが閃光補正部103Bに入力されたときの動作を説明する。
(「画面1」のとき):
閃光補正部103Bに入力された映像信号VIが「画面1」のときは、閃光検出信号FDWの値が「0」なので、第1選択部601では、映像信号VIが選択され、映像信号VWは、「画面1」の映像信号となり、遅延部203に出力される。
遅延部203では、1フィールド遅延した映像信号VRを出力するので、1フィールド前のフィールドの映像信号である「画面0」の信号を、第1選択部601および出力選択部602に出力する。
出力選択部602では、閃光検出信号FDOの値が「0」なので遅延部203から出力される映像信号VRが選択されるので、図3に示すように、出力選択部602の出力信号である映像信号VOは、「画面0」の映像信号になる。
(「画面2」のとき):
次のフィールドでは、「画面2」、すなわち、図13に示すように、画面下半分が閃光の影響で明るくなった映像が入力される。このとき、閃光検出信号FDWとFDOとは、ともに「0」なので、「画面1」が入力されるときと同じ動作になり、図13に示すように、映像信号VRは、「画面1」の映像信号となり、出力選択部602の出力であり閃光補正部103Bの出力でもある映像信号VOは、「画面1」の映像信号となり、遅延部203へ1フィールド遅延させるために入力される映像信号VWは、「画面2」の映像信号になる。
(「画面3」のとき):
さらに、次のフィールドでは、「画面3」、すなわち、図13に示すように、画面上部が閃光の影響で明るくなった映像が入力される。このとき、閃光検出信号FDWの値が「1」になる期間と、閃光検出信号FDOの値が「1」になる期間とがあるので、「画面1」が入力されるときと異なる動作になる。
遅延部203では、前のフィールドで、1フィールド遅延させるために、遅延部203に入力された「画面2」の映像信号が、1フィールド遅延されて映像信号VRとして出力される。
そして、出力選択部602では、閃光検出信号FDOの値が「1」のときは、映像信号VIである「画面3」の映像信号が選択され、閃光検出信号FDOの値が「0」のときは、映像信号VRである「画面2」の映像信号が選択される。ここで、図13に示すように、閃光検出信号FDOの値が「1」のとき、映像信号VIである「画面3」の映像信号は、閃光の影響を受けて明るい映像になっており、また、閃光検出信号FDOの値が「0」のとき、映像信号VRである「画面2」の映像信号が閃光の影響を受けて明るくなっているので、図13の映像信号VIが「画面3」のときの、映像信号VOに示すように、画面上部が「画面3」、下部が「画面2」となり、共に閃光の影響を受けて明るくなっているので、画面全部が明るい映像になる。すなわち、出力選択部602の出力、すなわち閃光補正部103Bの出力の映像信号は、画面全部が明るい映像信号になる。
(「画面4」のとき):
さらに次のフィールドでは、図13に示すように、閃光の影響を受けていない「画面4」の映像信号が入力される。このとき、閃光検出信号FDW及びFDOの値は、「0」なので、「画面1」が入力されるときと同じ動作になる。従って、図13に示すように、映像信号VRは、前のフィールドで映像信号VWであった「画面2」と「画面3」を組み合わせた画面全体が明るい映像信号になり、その映像信号が、出力選択部602にて選択され、閃光補正部103Bの出力でもある映像信号VOとなる。また、遅延部203へ1フィールド遅延させるために入力される映像信号VWは、入力された映像信号VIである「画面4」の映像信号になる。
(「画面5」のとき):
さらに次のフィールドでも同様に、映像信号VIとして、「画面5」の信号が入力されると、図13に示すように、映像信号VRは、「画面4」の映像信号になり、映像信号VOは、「画面4」の映像信号になり、そして、映像信号VWは、「画面5」の映像信号になる。そして、以下同様の動作が毎フィールド繰り返されていく。
以上の動作により、本実施形態の撮像装置2では、図13の映像信号VIのように、画面下部が閃光の影響により明るい画面である「画面2」の映像信号と、画面上部が閃光の影響により明るい画面である「画面3」の映像信号と、を組み合わせることで、図3に示した映像信号VOと同様に、「画面2」および「画面3」に相当するところで、画面全部が明るい映像になり、実際の被写体のように全部が均一に明るくなる映像を生成することができる。また、撮像装置2では、閃光の影響のある映像を使用することで、閃光が入ったかどうかも映像信号に残るようになる。そして、撮像装置2では、第1実施形態の撮像装置1に比べて、加算部がない分だけ回路規模が小さくなり、また、加算処理によるオーバーフローも生じない。
なお、撮像部101で生成される映像信号が、インターレースの形式のときには、図11の出力選択部602で映像信号を選択するとき映像信号VIのほうを0.5ライン分垂直方向にシフトして映像信号VRと垂直の画面の位置が同じになるように補正してから選択する。このとき、上記で説明した場合とは、遅延量が変わることになるが、遅延部203から映像信号VRを読み出すタイミングを変えることで調整すれば良い。
また、本実施形態では、撮像装置2において、閃光が入ったかどうかを判断するための情報として映像信号VIを使用したが、これに限定されることはなく、例えば、閃光そのものを検出する専用のセンサーを撮像装置2に設け、そのセンサーから得られる信号で閃光検出信号FDを生成するようにしても良い。
≪変形例≫
また、撮像装置2において、閃光補正部103Bを、図12に示す閃光補正部103Cに置換してもよい。図12に示すように、閃光補正部103Cは、閃光検出信号FDWを遅延部703の制御に加えて、第1選択部601を省略した構成となっている。
この撮像装置(本変形例の撮像装置)において、遅延部703では、FDWの値が「1」のとき、1フィールド遅延させるために入力される映像信号VWを受け付けないようにして、前のフィールドの値を維持する。すなわち、遅延部703では、「画面3」の映像が入力されるフィールドにおいて、「画面3」の上部の映像信号は、1フィールド遅延すべき信号として受け付けられ(遅延部703に入力され)、1フィールド遅延されて、次のフィールドで出力される。一方、遅延部703では、「画面3」の下部の映像信号は無視され(遅延部703に入力されず)、その代わり、遅延部703は、前のフィールドで受け付けた「画面2」の下部の映像信号をそのまま維持し、次のフィールドで「画面2」の下部の映像信号を出力する。
これによって、この撮像装置(本変形例の撮像装置)では、図11の構成と同じ映像信号VRを得ることができる。この撮像装置の遅延部703を半導体メモリで実現するならば、遅延部703に対して、書き込みの許可を閃光検出信号FDWが「1」のときは与えないようにする。これにより、選択部(第1選択部601に相当。)が1つ減ることになる。
[第3実施形態]
本実施形態は、第1実施形態と信号の流れはほぼ同じで、主に、閃光補正部103の構成と動作が異なるので、その異なる部分を中心に、以下説明する。
<3.1:撮像装置の構成>
本実施形態の撮像装置は、第1実施形態の撮像装置1において、閃光補正部103を、図14に示す閃光補正部103Dに置換したものである。
閃光補正部103Dにおいて、第1実施形態の閃光補正部103と相違する点は以下の通りである。
すなわち、閃光補正部103Dでは、図14に示すように、
(1)加算部204の後に混合部905が追加されたこと、
(2)その混合部905に、遅延部903により、第1選択部201の出力信号を2フィールド遅延した信号VR2を入力するようにしたこと、
(3)遅延部903が、2フィールド遅延した信号VR2を生成できるようにしたこと、
である。
ここで、混合部905は、加算部204から出力される映像信号と、映像信号VWを2フィールド遅延した映像信号VR2と、を7対1の比で混合する。
<3.2:撮像装置の動作>
以上のように構成された閃光補正部103Dを含む本実施形態の撮像装置について、その動作を、図16を併用し説明する。また、図16の「画面1」の前のフィールドの映像を「画面0」とし、「画面0」では、外部閃光の影響はないものとする。
撮像部101から出力された映像信号VIは、図16に示すように、「画面2」では、画面の下部が閃光の影響を受けて明るくなっており、「画面3」では、画面の上部が閃光の影響を受けて明るくなっている。この映像信号VIが閃光補正部103Dに入力される。
(「画面1」、「画面2」、「画面5」のとき):
「画面1」、「画面2」、「画面5」が入力されるときは、第1実施形態と同じく、図16に示す通り、映像信号VIを1フィールド遅延させた映像信号が、閃光補正部103Dの出力信号VOになる。
(「画面3」のとき):
「画面3」が入力されるとき、加算部204では、遅延部903から映像信号VWを1フィールド遅延させた映像信号VR1である「画面2」の映像信号と、撮像部101から出力される映像信号VI、すなわち、「画面3」の映像信号が加算され、混合部905に出力される。そして、この「画面2」の映像信号と「画面3」の映像信号とが加算された映像信号は、混合部905にて、遅延部903から出力される映像信号VWを2フィールド遅延した映像信号VR2、すなわち「画面1」の映像信号と、7対1の比で混合され、映像信号VMが生成される。
すなわち、映像信号VMは、
((画面2)+(画面3))×(7/8)+(画面1)×(1/8)
により取得された信号値を有する信号として、閃光補正部103Dにより生成される。なお、上式において、「(画面N)」(N:整数)は、「画面N」の映像信号の信号値を示している。
そして、出力選択部202では、閃光検出信号FDの値が「1」なので、この映像信号VMを選択し、閃光補正部103Dの出力信号VOとなる。よって、閃光補正部103Dの出力信号VOは、「画面2」の映像信号および「画面3」の映像信号を加算した映像信号と、「画面1」の映像信号と、を7対1の比で混合した映像信号になる。
一方、この混合した映像信号VMは、閃光検出信号FDの値が「1」なので、第1選択部201で選択され、遅延部903に出力される。ここで、混合部で、7対1の比で混合する処理は、8分の7を乗じた信号と8分の1を乗じた信号を加算することである。なお、上記において混合比は、7対1の場合について説明したが、これに限定されず、他の混合比であってもよい。また、加算処理の代わりに、加算平均処理、重付平均処理等を用いるようにしてもよい。
(「画面4」のとき):
次に、撮像部101から「画面4」の映像信号が入力されるときは、動作自体は、「画面1」の映像信号が入力されるときと同じだが、遅延部903で1フィールド遅延された映像信号VR1が、前のフィールドで「画面2」の映像信号、および「画面3」の映像信号を加算した映像信号と、「画面1」の映像信号と、を7対1の比で混合した映像信号になる点が異なる。
従って、出力選択部202の出力は、映像信号VR1になるので、閃光補正部103Dの出力信号VOとしては、図16に示すように、前のフィールドと同じく、「画面2」の映像信号および「画面3」の映像信号を加算した映像信号と、「画面1」の映像信号を7対1の比で混合した信号になる。
一方、第1選択部201では、閃光検出信号FDの値が「0」なので、撮像部101から出力された映像信号である「画面4」の映像信号が選択され、映像信号VWとして、遅延部903に出力される。
以上の動作により、本実施形態の撮像装置では、図16の映像信号VIのように、画面下部が閃光の影響により明るい画面である「画面2」の映像信号と、画面上部が閃光の影響により明るい画面である「画面3」の映像信号を、図16の映像信号VOのように、「画面2」および「画面3」に相当するところで、画面全部が明るい映像を得ることができる。また、本実施形態の撮像装置では、加算してオーバーフローしたところ(場合)でも、およそどのような映像かがわかる映像を得ることができる。また、本実施形態の撮像装置では、閃光の影響のある映像を使用するので(閃光の影響のある映像を完全に削除することなく、使用するので)、本実施形態の撮像装置から出力される映像信号により形成される映像において、閃光が入ったかどうかも分かる。
なお、撮像部101で生成される映像信号が、インターレースの形式のときには、図14の加算部204で映像信号を加算するとき映像信号VIのほうを0.5ライン分垂直方向にシフトして映像信号VR1と垂直の画面の位置が同じになるように補正してから選択する。このとき、上記で説明した場合とは、遅延量が変わることになるが、遅延部903から映像信号VR1を読み出すタイミングを変えることで調整すれば良い。
また、本実施形態の撮像装置では、閃光が入ったかどうかを判断するための情報として映像信号VIを使用したが、これに限定されることはなく、例えば、閃光そのものを検出する専用のセンサーを本実施形態の撮像装置に設け、そのセンサーから得られる信号で閃光検出信号FDを生成するようにしても良い。
≪変形例≫
また、本実施形態の撮像装置において、閃光補正部103Dを、図15に示す閃光補正部103Eに置換してもよい。図15に示すように、閃光補正部103Eは、閃光補正部103Dにおいて、遅延部903を、遅延部1003に置換した構成となっている。つまり、遅延部1003に、閃光検出信号FDを入力するようにし、遅延部1003が閃光検出信号FDにより制御される構成とする。
そして、遅延部1003は、閃光検出信号FDの値が「1」のときだけ、映像信号VR2を出力する。このようにすることで、遅延部1003による読み出し処理が止まった分だけ、撮像装置において、電力を削減することができる。
また、図14、図15の加算部204の処理を加算平均に置き換えても良い。これにより、閃光が当てられた被写体がどのようなものかが、より分かるようになる。但し、閃光の影響が少なくなるので、強い光が入ったという印象が小さくなる。
また、本実施形態では、「画面1」の映像を混合する場合について述べたが、「画面4」の映像を混合しても同様の効果を得ることができる。
また、本実施形態では、3つの画面(フィールド)を混合(上記では、「画面1」、「画面2」および「画面3」を混合)する場合について説明したが、これに限定されることはなく、さらに多くの画面(フィールド)を混合するようにしてもよい。
[他の実施形態]
なお、上記においては、フィールド単位での処理について説明したが、これに限定されることはなく、例えば、撮像装置が、フレーム単位での処理を行うものであってもよい。
また、上記実施形態で説明した撮像装置において、各ブロックは、LSIなどの半導体装置により個別に1チップ化されても良いし、一部又は全部を含むように1チップ化されても良い。
なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア(OS(オペレーティングシステム)、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。)により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
本実施形態にかかる撮像装置、撮像方法、プログラムおよび集積回路は、外部閃光による高輝度の横帯が撮像した映像(画像)に発生するのを防止し、かつ、動画として連続性を確保した画像(映像)を出力することが可能になるため、連続画像を撮像するデジタルカメラやビデオカメラなどに有用である。
1、200 撮像装置
101 撮像部
102 閃光検出部
103、103A、103B、103C、103D、103E 閃光補正部
201、601 第1選択部
202、602 出力選択部
203、703、903、1003 遅延部
204 加算部
404 加算平均部
905 混合部

Claims (14)

  1. 撮像素子を有し、被写体から入射する光信号を電気信号に変換して映像信号を取得し、出力する撮像部と、
    前記撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出する閃光検出部と、
    前記閃光検出部により、前記撮像部により取得される単位画像を形成する映像信号が、閃光の影響を受けていると判断された場合、前記撮像部から出力される映像信号を補正する閃光補正部と、
    を備え
    前記閃光検出部により、N番目(Nは整数)の単位画像を形成する映像信号であるN番目映像信号が、閃光の影響を受けていると判断された場合、
    前記閃光補正部は、前記N番目映像信号およびN+1番目(Nは整数)の単位画像を形成する映像信号である(N+1)番目映像信号を用いて補正映像信号を生成し、前記撮像部から出力される映像信号を、前記補正映像信号に置換することにより補正する、
    撮像装置。
  2. 前記閃光補正部は、
    複数の映像信号を入力することができ、入力される複数の映像信号から、前記閃光検出部の検出結果に基づいて、いずれか1つの映像信号を選択し、出力する第1選択部と、
    前記第1選択部から出力される映像信号を、映像信号により形成される単位画像に相当する時間である単位画像時間だけ遅延させて出力する遅延部と、
    前記撮像部から出力される映像信号および前記遅延部から出力される映像信号に対して加算処理を行い、前記処理を行った映像信号を前記補正映像信号として出力する加算部と、
    前記加算部から出力される映像信号または前記遅延部から出力される映像信号のどちらか一方を選択して出力する出力選択部と、
    を有し、
    前記第1選択部は、前記撮像部から出力される映像信号および前記加算部から出力される映像信号を入力とし、前記閃光検出部により、前記撮像部から出力される映像信号が、閃光の影響を受けていないと判断された場合、前記撮像部から出力される映像信号を選択して出力し、前記閃光検出部により、前記撮像部から出力される映像信号が、閃光の影響を受けていると判断された場合、前記加算部から出力される映像信号を選択して出力し、
    前記出力選択部は、前記閃光検出部により、前記撮像部から出力される映像信号が、閃光の影響を受けていないと判断された場合、前記遅延部から出力される映像信号を選択して出力し、前記閃光検出部により、前記撮像部から出力される映像信号が、閃光の影響を受けていると判断された場合、前記加算部から出力される映像信号を選択して出力する、
    請求項1記載の撮像装置。
  3. 前記加算部は、前記撮像部から出力される映像信号と、前記遅延部から出力される映像信号と、を加算することで、前記加算処理を行う、
    請求項に記載の撮像装置。
  4. 前記加算部は、前記撮像部から出力される映像信号と、前記遅延部から出力される映像信号と、を加算して平均することで、前記加算処理を行う、
    請求項に記載の撮像装置。
  5. 前記閃光検出部は、前記撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出し、映像信号により形成される単位画像に相当する時間である単位画像時間前の検出結果を保持し、
    前記閃光補正部は、
    複数の映像信号を入力することができ、入力される複数の映像信号から、前記閃光検出部の検出結果に基づいて、いずれか1つの映像信号を選択し、出力する第1選択部と、
    前記第1選択部から出力される映像信号を、1単位画像時間だけ遅延させて出力する遅延部と、
    前記撮像部から出力される映像信号または前記遅延部から出力される映像信号のどちらか一方を選択して出力する出力選択部と、
    を有し、
    前記第1選択部は、前記閃光検出部により、1単位画像前の映像信号により形成される単位画像の画面の下部に相当する映像信号が、閃光による影響を受けていると判断された場合、処理対象となっている単位画像において、前記画面の下部に相当する期間、前記遅延部から出力される映像信号を選択して出力し、それ以外の場合、前記撮像部から出力される映像信号を選択して出力し、
    前記出力選択部は、前記閃光検出部により、映像信号により形成される単位画像の画面の上部に相当する映像信号が、閃光による影響を受けていると判断された場合、処理対象となっている単位画像において、前記画面の上部に相当する期間、前記撮像部から出力される映像信号を選択して出力し、それ以外の場合、前記遅延部から出力される映像信号を選択して出力する、
    請求項に記載の撮像装置。
  6. 前記閃光検出部は、前記撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出し、映像信号により形成される単位画像に相当する時間である単位画像時間前の検出結果を保持し、
    前記閃光補正部は、
    前記閃光検出部により、1単位画像前の映像信号により形成される単位画像の画面の下部に相当する映像信号が、閃光による影響を受けていると判断された場合、処理対象となっている単位画像において、前記画面の下部に相当する期間、前記撮像部から出力される映像信号を受け付けずに、1単位画像時間前に、前記撮像部から受け付けた映像信号を、さらに1単位画像時間遅延させて出力し、それ以外の場合、前記撮像部からの映像信号を1単位画像時間遅延させて出力する遅延部と、
    前記閃光検出部により、映像信号により形成される単位画像の画面の上部に相当する映像信号が、閃光による影響をけていると判断された場合、処理対象となっている単位画像において、前記画面の上部に相当する期間、前記撮像部から出力される映像信号を選択して出力し、それ以外の場合、前記遅延部から出力される映像信号を選択して出力する選択部と、
    を有する、
    請求項に記載の撮像装置。
  7. 前記閃光検出部は、前記撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出し、映像信号により形成される単位画像に相当する時間である単位画像時間前の検出結果を保持し、
    前記閃光補正部は、
    複数の映像信号を入力することができ、入力される複数の映像信号から、前記閃光検出部の検出結果に基づいて、いずれか1つの映像信号を選択し、出力する第1選択部と、
    前記第1選択部から出力される映像信号を1単位画像時間遅延させた第1遅延信号と、前記第1遅延信号を1単位画像時間遅延させた第2遅延信号と、を出力する遅延部と、
    前記撮像部から出力される映像信号と前記遅延部から出力される前記第1遅延信号とに対して加算処理を行い、前記処理をおこなった映像信号を出力する加算部と、
    前記加算部から出力される映像信号と前記第2遅延信号と、を所定の割合で混合し、前記補正映像信号として出力する混合部と、
    前記混合部から出力される映像信号または前記遅延部から出力される前記第1遅延信号のどちらか一方を選択して出力する出力選択部と、
    を有し、
    前記第1選択部は、前記撮像部から出力される映像信号および前記混合部から出力される映像信号を入力とし、前記閃光検出部により、前記撮像部から出力される映像信号が、閃光の影響を受けていないと判断された場合、前記撮像部から出力される映像信号を選択して出力し、前記閃光検出部により、前記撮像部から出力される映像信号が、閃光の影響を受けていると判断された場合、前記混合部から出力される映像信号を選択して出力し、
    前記出力選択部は、前記閃光検出部により、前記撮像部から出力される映像信号が、閃光の影響を受けていないと判断された場合、前記第1遅延信号を選択して出力し、前記閃光検出部により、前記撮像部から出力される映像信号が、閃光の影響を受けていると判断された場合、前記混合部から出力される映像信号を選択して出力する、
    請求項に記載の撮像装置。
  8. 前記遅延部は、前記閃光検出部により、前記撮像部から出力される映像信号が、閃光の影響を受けていると判断された場合のみ、前記第2遅延信号を出力する、
    請求項に記載の撮像装置。
  9. 前記単位画像は、フィールド画像であり、
    前記単位画像時間は、フィールド時間である、
    請求項1からのいずれかに記載の撮像装置。
  10. 閃光検出部は、
    画素単位、ライン単位、または、フィールド単位のいずれかで前記撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出し、
    前記撮像部により取得される単位画像を形成する映像信号において、閃光の影響を受けている領域に相当する期間だけ、閃光の影響があることを示す値を出力する第1閃光判断信号の生成と、
    前記撮像部により取得される単位画像を形成する映像信号の取得開始時において、閃光の影響を受けていると判断した場合、前記単位画像領域全部に相当する期間だけ、閃光の影響があることを示す値を出力する第2閃光判断信号の生成と、
    前記撮像部により取得される単位画像を形成する映像信号の下部だけに閃光の影響が有ると判断した場合、前記単位画像領域全部に相当する期間だけ、閃光の影響があることを示す値を出力する第3閃光判断信号の生成と、
    を行い、
    前記第1閃光判断信号、前記第2閃光判断信号および前記第3閃光判断信号を、それぞれ、所定時間遅延させることができ、
    前記第1閃光判断信号、前記第2閃光判断信号および前記第3閃光判断信号、並びに、第1閃光判断信号、前記第2閃光判断信号および前記第3閃光判断信号を所定時間遅延させた信号のうちのいずれか1つまたは複数の信号を出力することができ
    前記閃光補正部は、前記閃光検出部からの出力に応じて前記撮像部から出力される映像信号を補正する、
    請求項1からのいずれかに記載の撮像装置。
  11. 前記加算部または前記選択部は、前記加算部または前記選択部に入力される2つの映像信号の垂直位相が互いに0.5ラインずれているとき、どちらかの映像信号を0.5ライン分シフトして垂直方向の位相を合わせた上で信号を加算及び選択する、
    請求項1から10のいずれかに記載の撮像装置。
  12. 撮像素子を有し、被写体から入射する光信号を電気信号に変換して映像信号を取得し、出力する撮像部を備える撮像装置に用いられる撮像方法であって、
    前記撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出する閃光検出ステップと、
    前記閃光検出ステップにより、前記撮像部により取得される単位画像を形成する映像信号が、閃光の影響を受けていると判断された場合、前記撮像部から出力される映像信号を補正する閃光補正ステップと、
    を備え、
    前記閃光検出ステップにおいて、N番目(Nは整数)の単位画像を形成する映像信号であるN番目映像信号が、閃光の影響を受けていると判断された場合、
    前記閃光補正ステップにおいて、前記N番目映像信号およびN+1番目(Nは整数)の単位画像を形成する映像信号である(N+1)番目映像信号を用いて補正映像信号を生成し、前記撮像部から出力される映像信号を、前記補正映像信号に置換することにより補正する、
    撮像方法。
  13. 撮像素子を有し、被写体から入射する光信号を電気信号に変換して映像信号を取得し、出力する撮像部を備える撮像装置に用いられる撮像方法をコンピュータに実行させるプログラムであって、
    前記撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出する閃光検出ステップと、
    前記閃光検出ステップにより、前記撮像部により取得される単位画像を形成する映像信号が、閃光の影響を受けていると判断された場合、前記撮像部から出力される映像信号を補正する閃光補正ステップと、
    を備え
    前記閃光検出ステップにおいて、N番目(Nは整数)の単位画像を形成する映像信号であるN番目映像信号が、閃光の影響を受けていると判断された場合、
    前記閃光補正ステップにおいて、前記N番目映像信号およびN+1番目(Nは整数)の単位画像を形成する映像信号である(N+1)番目映像信号を用いて補正映像信号を生成し、前記撮像部から出力される映像信号を、前記補正映像信号に置換することにより補正する、
    撮像方法をコンピュータに実行させるプログラム。
  14. 撮像素子を有し、被写体から入射する光信号を電気信号に変換して映像信号を取得し、出力する撮像部を備える撮像装置に用いられる集積回路であって、
    前記撮像部により取得される映像信号が、閃光の影響を受けているか否かを検出する閃光検出部と、
    前記閃光検出部により、前記撮像部により取得される単位画像を形成する映像信号が、閃光の影響を受けていると判断された場合、前記撮像部から出力される映像信号を補正する閃光補正部と、
    を備え
    前記閃光検出部により、N番目(Nは整数)の単位画像を形成する映像信号であるN番目映像信号が、閃光の影響を受けていると判断された場合、
    前記閃光補正部は、前記N番目映像信号およびN+1番目(Nは整数)の単位画像を形成する映像信号である(N+1)番目映像信号を用いて補正映像信号を生成し、前記撮像部から出力される映像信号を、前記補正映像信号に置換することにより補正する、
    集積回路。
JP2011502627A 2009-03-03 2010-02-24 閃光の影響を補正する撮像装置 Active JP5167405B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011502627A JP5167405B2 (ja) 2009-03-03 2010-02-24 閃光の影響を補正する撮像装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009049361 2009-03-03
JP2009049361 2009-03-03
JP2011502627A JP5167405B2 (ja) 2009-03-03 2010-02-24 閃光の影響を補正する撮像装置
PCT/JP2010/001252 WO2010100866A1 (ja) 2009-03-03 2010-02-24 閃光の影響を補正する撮像装置

Publications (2)

Publication Number Publication Date
JPWO2010100866A1 JPWO2010100866A1 (ja) 2012-09-06
JP5167405B2 true JP5167405B2 (ja) 2013-03-21

Family

ID=42709436

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011502627A Active JP5167405B2 (ja) 2009-03-03 2010-02-24 閃光の影響を補正する撮像装置

Country Status (5)

Country Link
US (1) US8976272B2 (ja)
EP (1) EP2405647B1 (ja)
JP (1) JP5167405B2 (ja)
CN (1) CN102342091B (ja)
WO (1) WO2010100866A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5129182B2 (ja) * 2009-03-12 2013-01-23 富士フイルム株式会社 撮像装置及び撮像制御方法
JP5634901B2 (ja) * 2010-05-10 2014-12-03 パナソニック株式会社 撮像装置、外部閃光補正方法、プログラム、および、集積回路
JP5928290B2 (ja) * 2012-02-14 2016-06-01 株式会社Jvcケンウッド 画像処理装置、画像処理方法、画像処理プログラム
JP5928319B2 (ja) * 2012-12-03 2016-06-01 株式会社Jvcケンウッド 画像処理装置及び方法
JP6156686B2 (ja) * 2013-02-20 2017-07-05 パナソニックIpマネジメント株式会社 画像処理装置
JP6145746B2 (ja) 2013-03-08 2017-06-14 パナソニックIpマネジメント株式会社 撮像装置
JP5826229B2 (ja) * 2013-08-30 2015-12-02 東芝テック株式会社 商品認識装置およびその制御プログラム
JP2015149691A (ja) * 2014-02-10 2015-08-20 ソニー株式会社 画像補正装置、画像補正方法、及び、撮像装置
US9332179B2 (en) * 2014-06-30 2016-05-03 Qualcomm Incorporated Flash collision detection, compensation, and prevention
CN111710061B (zh) * 2020-06-28 2021-04-13 北京嘀嘀无限科技发展有限公司 图像采集系统、方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06205374A (ja) * 1992-03-31 1994-07-22 Toshiba Corp 画像補間回路
JP2006246400A (ja) * 2005-03-07 2006-09-14 Nec Corp 映像データ修復装置と修復方法、及びそれを用いた映像圧縮符号化システム
JP2007306225A (ja) * 2006-05-10 2007-11-22 Sony Corp 撮像装置および方法、並びにプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912699A (en) 1992-02-18 1999-06-15 Neopath, Inc. Method and apparatus for rapid capture of focused microscopic images
CN101179663A (zh) * 2006-11-07 2008-05-14 明基电通股份有限公司 拍照方法及系统及其机器可读取介质
US9036977B2 (en) 2007-03-22 2015-05-19 Microsoft Technology Licensing, Llc Automatic detection, removal, replacement and tagging of flash frames in a video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06205374A (ja) * 1992-03-31 1994-07-22 Toshiba Corp 画像補間回路
JP2006246400A (ja) * 2005-03-07 2006-09-14 Nec Corp 映像データ修復装置と修復方法、及びそれを用いた映像圧縮符号化システム
JP2007306225A (ja) * 2006-05-10 2007-11-22 Sony Corp 撮像装置および方法、並びにプログラム

Also Published As

Publication number Publication date
EP2405647A4 (en) 2014-01-01
US20110317029A1 (en) 2011-12-29
EP2405647B1 (en) 2019-06-12
CN102342091B (zh) 2014-12-10
JPWO2010100866A1 (ja) 2012-09-06
WO2010100866A1 (ja) 2010-09-10
CN102342091A (zh) 2012-02-01
EP2405647A1 (en) 2012-01-11
US8976272B2 (en) 2015-03-10

Similar Documents

Publication Publication Date Title
JP5167405B2 (ja) 閃光の影響を補正する撮像装置
JP5935876B2 (ja) 画像処理装置、撮像素子、および画像処理方法、並びにプログラム
US9124809B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and program
JP5634901B2 (ja) 撮像装置、外部閃光補正方法、プログラム、および、集積回路
JP6082274B2 (ja) 撮像装置、及びその制御方法
JP2010136224A (ja) 撮像装置及び撮像方法
JP2013165487A (ja) 画像処理装置、撮像装置、およびプログラム
JP5520704B2 (ja) 撮像装置、閃光判定方法およびプログラム
JP2007006021A (ja) 撮像装置および画像処理プログラム
US8218021B2 (en) Image capture apparatus, method of controlling the same, and program
JP5320245B2 (ja) 撮像装置、撮像方法、プログラムおよび集積回路
KR20120024448A (ko) 촬상 장치, 신호 처리 방법 및 프로그램
JP2006293009A (ja) 自動焦点調節装置及び焦点調節方法
JP5959194B2 (ja) 撮像装置
US8908060B2 (en) Imaging apparatus generating evaluation values at a high frame rate and having a live view function of displaying a video smoothly at a low frame rate
JP5446847B2 (ja) 画像処理装置及び方法、並びにプログラム
JP2007235342A (ja) 撮像装置
JP5947625B2 (ja) 撮像装置、及びその制御方法
JP2010273147A (ja) 撮像信号特定状態検出装置、撮像装置、撮像信号特定状態検出方法、プログラムおよび集積回路
JP4781147B2 (ja) 撮像装置及び画像処理方法
JP2010206591A (ja) 固体撮像装置、集積回路及びプログラム
JP2010193061A (ja) 画像処理装置
JP2010273079A (ja) 閃光の影響を補正する撮像装置
JP2007336092A (ja) 撮像装置、撮像方法
JP2006339689A (ja) 撮像装置およびその駆動方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121221

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151228

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5167405

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150